提示

返回博客列表

风扇响了一晚上

23:40 看到 Ollama 的官网,说一行命令就能在自己电脑上跑大模型。我想这不正好,试试。

ollama run qwen2.5:7b

回车之后它开始拉文件,4.7 GB。我家宽带那一晚不知道怎么回事,速度一直在 2MB/s 上下来回晃,等了差不多四十分钟。中间我去洗了个澡,回来还在拉。

00:15 左右终于跑起来了,终端里出现一个 >>>,我打了句"用一句话解释什么是复利"。它想了大概六七秒,一个字一个字往外蹦,答案中规中矩,没出错。

那一刻其实挺有意思的。这东西没连我家以外的任何服务器,网线拔了照样答。我特意把 Wi-Fi 关了又问了一遍,还是能答。

然后我注意到了风扇。

响

不是那种偶尔转一下的响,是一直全速,声音有点尖。我摸了下出风口,烫。系统监视器显示内存吃掉 5 个多 G,八个核里有六个是满的。我这台是 2021 年的轻薄本,16G 内存,没独显,平时写写文档风扇基本不转。

后来查了下才知道,没独显的时候模型是拿 CPU 硬算的,内存还得把整个模型装进去。7b 这个规格,量化之后 4.7 GB,听着不大,但每回答一个字都要把这几 GB 从头到尾过一遍。所以它蹦字慢,所以风扇疯转。

我又试了最小的那个:

ollama run qwen2.5:0.5b

这个快多了,几乎不用等,风扇也消停了。但问它稍微绕一点的问题就开始胡说,让它算个 24 乘以 17 都能给我编个数。小模型就是这样,别指望它算账。

00:50 我开始折腾别的参数,想看看能不能让 7b 别那么吵。搜到有人说可以限制线程数,有人说换个量化版本。我试了半天,速度确实变了一点,风扇该响还是响。中间还顺手把 ollama ps 的输出截图发了群里,有人回我一句"你这笔记本挺拼的"。

卸

1 点 02 分,我把它关了。

ollama stop qwen2.5:7b

风扇大概又过了半分钟才降下来。房间突然安静,反而有点不习惯。

第二天想了想,这东西对我没什么用。真要问点什么,网页版又快又准,还不用听风扇。本地跑的意义大概是:文件不想传出去、或者要在没网的地方用、或者就是想拆开看看。这三样我那晚一样都不占,纯粹是好奇。

模型我没删,还占着 4.7 GB。哪天真有需要再说吧。

不想听风扇这么转,VidDown 上的解析和转换都在网页里做,笔记本不用出力。

只是那晚之后我有个后遗症:现在一听见风扇全速转,就下意识去摸一下出风口。

想亲手试试?用 VidDown 一键解析下载

粘贴视频链接即可解析,多平台支持、网页端即用;下载桌面客户端解锁海外平台本地解析,开通会员更享不限次下载。

顶部