23:40 看到 Ollama 的官网,说一行命令就能在自己电脑上跑大模型。我想这不正好,试试。
ollama run qwen2.5:7b
回车之后它开始拉文件,4.7 GB。我家宽带那一晚不知道怎么回事,速度一直在 2MB/s 上下来回晃,等了差不多四十分钟。中间我去洗了个澡,回来还在拉。
00:15 左右终于跑起来了,终端里出现一个 >>>,我打了句"用一句话解释什么是复利"。它想了大概六七秒,一个字一个字往外蹦,答案中规中矩,没出错。
那一刻其实挺有意思的。这东西没连我家以外的任何服务器,网线拔了照样答。我特意把 Wi-Fi 关了又问了一遍,还是能答。
然后我注意到了风扇。
响
不是那种偶尔转一下的响,是一直全速,声音有点尖。我摸了下出风口,烫。系统监视器显示内存吃掉 5 个多 G,八个核里有六个是满的。我这台是 2021 年的轻薄本,16G 内存,没独显,平时写写文档风扇基本不转。
后来查了下才知道,没独显的时候模型是拿 CPU 硬算的,内存还得把整个模型装进去。7b 这个规格,量化之后 4.7 GB,听着不大,但每回答一个字都要把这几 GB 从头到尾过一遍。所以它蹦字慢,所以风扇疯转。
我又试了最小的那个:
ollama run qwen2.5:0.5b
这个快多了,几乎不用等,风扇也消停了。但问它稍微绕一点的问题就开始胡说,让它算个 24 乘以 17 都能给我编个数。小模型就是这样,别指望它算账。
00:50 我开始折腾别的参数,想看看能不能让 7b 别那么吵。搜到有人说可以限制线程数,有人说换个量化版本。我试了半天,速度确实变了一点,风扇该响还是响。中间还顺手把 ollama ps 的输出截图发了群里,有人回我一句"你这笔记本挺拼的"。
卸
1 点 02 分,我把它关了。
ollama stop qwen2.5:7b
风扇大概又过了半分钟才降下来。房间突然安静,反而有点不习惯。
第二天想了想,这东西对我没什么用。真要问点什么,网页版又快又准,还不用听风扇。本地跑的意义大概是:文件不想传出去、或者要在没网的地方用、或者就是想拆开看看。这三样我那晚一样都不占,纯粹是好奇。
模型我没删,还占着 4.7 GB。哪天真有需要再说吧。
不想听风扇这么转,VidDown 上的解析和转换都在网页里做,笔记本不用出力。
只是那晚之后我有个后遗症:现在一听见风扇全速转,就下意识去摸一下出风口。