一、起因旧笔记本的新活法那台五年前的笔记本最近又被我从柜子里翻了出来。屏幕左下角裂了一道风扇转起来像拖拉机但插上电它还能跑。我想给它找个新活法——装一个只属于我自己的 AI 助手。要求不高不上传任何东西、不花一分钱、断网也能用。听起来有点贪心直到我遇见了Xiaothink-T17-RWKV5-MLA-Instruct-Pro——一个只有 ≈0.6B 参数613.9M的中文小模型。二、装上只花了十分钟一条命令装库加载权重也是现成的pipinstallxiaothink[torch]fromxiaothink.llm.inference_torch.torch_formalimportTorchModel modelTorchModel(ckpt_dirrpath/to/ckpt_test_t17_rwkv5_mla_instruct_pro,MTt17_rwkv5_mla_instruct_pro,use_bf16False)model.set_form(ua_chat)没有环境配置地狱没有显存焦虑。一个 CPU 都能跑起来的模型我这台旧笔记本自然不在话下。三、第一个惊喜它真的会写诗我随口说写一首关于春天的诗。它没有扔给我一句“抱歉我还在学习中”而是认认真真地押着韵写了一首。韵律谈不上惊艳但那种“它在认真回应你”的感觉是很多小模型给不了的。盲测里它的古诗生成拿了 74.0 分——同尺寸的 Qwen3-0.6B 只有 36.4。它确实是被中文喂养大的。四、第二个惊喜它会“先想再答”给对话加上深度思考thinkTrue它会在正式回答前先输出一段think.../think的思考过程# 强制深度思考先想再答respmodel.chat(为什么秋天树叶会变黄,thinkTrue)print(resp)开启后它像换了个人问题稍微绕一点它也会先把思路捋一遍再给出结论。多轮对话时还可以用keep_think_in_historyFalse把上一轮的“思考草稿”从历史里清掉保证对话干净。需要 xiaothink ≥ 1.5.0。五、它成了我的“固定工位”几周下来它承担了我日常里最琐碎的文字活周报的第一版草稿朋友圈文案的三种写法偶尔的翻译和常识问答还有深夜睡不着时的闲聊。维度本地推理Instruct-Pro 0.6B云端大模型 API数据不出设备需上传服务器网络断网可用依赖网络连接计费无按量计费按 token 计费参数量≈0.6B百亿级最重要的是这一切都发生在我的笔记本里。没有数据上传没有 token 计费断网也能继续聊。那种“它是我自己的”的感觉是云端 API 给不了的。六、一点实话它当然不是万能的。让它写复杂的前端页面它会露怯盲测里前端生成只有 25.0 分那是 frontend 版模型的活让它处理超长文本也不如专门的模型。但对我这台五年前的旧笔记本来说一个免费、离线、数据不出门的 AI 助手——已经是生活里最好的科技升级了。模型下载ModelScopeXiaothink-T17-RWKV5-MLA-0.6B-Instruct-Pro 我把 0.6B 的 AI 装进了那台吃灰的旧笔记本
一、起因旧笔记本的新活法那台五年前的笔记本最近又被我从柜子里翻了出来。屏幕左下角裂了一道风扇转起来像拖拉机但插上电它还能跑。我想给它找个新活法——装一个只属于我自己的 AI 助手。要求不高不上传任何东西、不花一分钱、断网也能用。听起来有点贪心直到我遇见了Xiaothink-T17-RWKV5-MLA-Instruct-Pro——一个只有 ≈0.6B 参数613.9M的中文小模型。二、装上只花了十分钟一条命令装库加载权重也是现成的pipinstallxiaothink[torch]fromxiaothink.llm.inference_torch.torch_formalimportTorchModel modelTorchModel(ckpt_dirrpath/to/ckpt_test_t17_rwkv5_mla_instruct_pro,MTt17_rwkv5_mla_instruct_pro,use_bf16False)model.set_form(ua_chat)没有环境配置地狱没有显存焦虑。一个 CPU 都能跑起来的模型我这台旧笔记本自然不在话下。三、第一个惊喜它真的会写诗我随口说写一首关于春天的诗。它没有扔给我一句“抱歉我还在学习中”而是认认真真地押着韵写了一首。韵律谈不上惊艳但那种“它在认真回应你”的感觉是很多小模型给不了的。盲测里它的古诗生成拿了 74.0 分——同尺寸的 Qwen3-0.6B 只有 36.4。它确实是被中文喂养大的。四、第二个惊喜它会“先想再答”给对话加上深度思考thinkTrue它会在正式回答前先输出一段think.../think的思考过程# 强制深度思考先想再答respmodel.chat(为什么秋天树叶会变黄,thinkTrue)print(resp)开启后它像换了个人问题稍微绕一点它也会先把思路捋一遍再给出结论。多轮对话时还可以用keep_think_in_historyFalse把上一轮的“思考草稿”从历史里清掉保证对话干净。需要 xiaothink ≥ 1.5.0。五、它成了我的“固定工位”几周下来它承担了我日常里最琐碎的文字活周报的第一版草稿朋友圈文案的三种写法偶尔的翻译和常识问答还有深夜睡不着时的闲聊。维度本地推理Instruct-Pro 0.6B云端大模型 API数据不出设备需上传服务器网络断网可用依赖网络连接计费无按量计费按 token 计费参数量≈0.6B百亿级最重要的是这一切都发生在我的笔记本里。没有数据上传没有 token 计费断网也能继续聊。那种“它是我自己的”的感觉是云端 API 给不了的。六、一点实话它当然不是万能的。让它写复杂的前端页面它会露怯盲测里前端生成只有 25.0 分那是 frontend 版模型的活让它处理超长文本也不如专门的模型。但对我这台五年前的旧笔记本来说一个免费、离线、数据不出门的 AI 助手——已经是生活里最好的科技升级了。模型下载ModelScopeXiaothink-T17-RWKV5-MLA-0.6B-Instruct-Pro