我表妹在群里发了张截图,问我:哥,你电脑里是不是偷偷装了个 ChatGPT?
截图是她借我电脑改简历时拍的,一个黑框框,里头滚了一屏英文。其实那是我前一天装东西留下的终端,模型一个都没跑起来,滚的全是报错。她大概是看见 Successfully installed 就当装好了。
我跟她说没装 ChatGPT,装的是个叫 transformers 的库。她问那有啥区别。
这个问题我答得挺烂的。
我想了想,说:你去网页上跟 AI 聊天,那是别人把整套东西都摆好了端给你,你只管打字。但如果你想在自己电脑上、或者在自己写的小程序里让它干活,就得有人把中间那一串脏活包起来——去哪下模型、把汉字切成模型认得的数字、算完了再把数字变回汉字、显存不够了怎么办。transformers 就是包脏活的。做它的公司叫 Hugging Face,业内一般直接叫"抱抱脸"。
她发了句"哦",过了两分钟又问:所以它是个软件吗,双击能打开那种?
不是。它连图标都没有,就是一堆 Python 代码,你得写几行去叫它。
我把当时敲的命令翻出来发给她了:
pip install transformers
三行就能让它说句话,我本来想一起发过去:
from transformers import pipeline
p = pipeline("text-generation", model="Qwen/Qwen2.5-0.5B")
print(p("今天天气不错,所以")[0]["generated_text"])
但她做财务的,看到这个只会更晕,最后没发。
顺带说一句,我给她装这个的起因根本不是 ChatGPT。她前阵子天天加班整理会议录音,问我能不能自动弄成要点。我说能啊,结果她一想,说那还得先把录音变成字,我说那又是另一个库了,她说算了太麻烦。你看,一个"能"字说出口,后面能拖出三四样东西。
哦对,她那个改简历的事最后也没改成,我俩光聊 AI 了,她走的时候简历还是原来那版,配色被我吐槽了两句。
真正卡住我的是下模型。上面那三行你第一次跑,会先去网上拉好几百 MB 的东西(那个 Qwen2.5-0.5B 是最小的之一,也得好几百兆),进度条走半天。公司网慢的时候我以为是死机了,强制关过一次,结果缓存里留了个半截文件,再跑就一直报校验错。后来删掉重下才好。
所以"断网能不能用"这事,答案是:装的时候得联网,装完模型下到本地了,之后断网确实能跑。但我当时没说这么细,只说了个能。
她最后问的是:那它能记住我上次跟它说了啥吗?
我打了一半字又删了。这个要讲清楚,得从"它其实每次都是从零开始"说起,然后就得解释上下文、显存、还有为什么聊久了会变慢。那天太晚了。
顺带说一句,VidDown 上那些工具是打开网页就能用的那类,不用像我昨晚那样守着进度条。
到现在我也没跟她讲明白。