凌晨刷 Hugging Face 的时候看到 Liquid AI 今早新放的 LFM2.5-1.2B Thinking——一个 900MB 左右、号称先思考后回答的端侧推理模型直接往智能手机里塞。往下翻两页又是 PrismML 那个 Bonsai 27B把基于 Qwen 的 27B 模型压到 3.9GB一样在手机内存预算里跑。最近这个月这种端侧跑大模型的新闻几乎每周来一条从 Bonsai 到 MiniCPM5 再到各种 1B/2B 小模型流量一个比一个响。可我不太想跟着喊DeepSeek 时刻。我更好奇的是这些数字背后到底有多少是能用的有多少只是发了个 Show。先把确定的摆清楚。Bonsai 27B 用的是阿里通义千问 Qwen3.6-27B 做底子出了两个变体一个叫 Ternary5.9GB每个权重约 1.71 bit定位笔记本另一个 1-bit 版 3.9GB每个权重约 1.125 bit专门放手机。往细了算27B 模型按照比特直接存16-bit 要 54GB就算 4-bit 量化也压到 18GB——手机显然装不下。它靠的是把权重压到接近 1 bit官方说 1-bit 版在 15 项基准上保住了全精度大概 90% 的水平数学和写代码这俩几乎不掉。听起来很美。但你先别急着下单买推理卡接着往下看。真正让我留个心眼的是那块降幅。Bonsai 官方自己也承认Agentic 工具调用那个维度1-bit 版掉了大概 17.5%。Hacker News 上有人实际跑说在真实的工程场景里这个差距会被放大得更凶。翻译成人话你让它算个题、写段代码它装得挺像回事可你要它自己规划、调工具、来回好几步把一件事串起来量化砍掉的那层精度就开始咬人了。端侧模型这几年解决的其实是同一件事——把跑不跑得动内存、显存、功耗的物理限制往前推。这是真本事不是营销。可跑得动和干得好是两码事尤其是当任务从一顿出一句话变成一个 Agent 要连续调用几十上百次工具的时候。Liquid AI 自己也承认这类模型适合数据提取和工具调用不适合复杂推理——这话放在 PPT 上没人会写但写程序的都懂。所以我觉得这一轮端侧模型的看点根本不在又多塞进去几个亿的参数而在它倒逼出来的两件事。第一件是取舍终于被摆上台面了。过去云端大模型把又大又准当默认值端侧一上来就被迫回答一个问题为了在本地跑我愿意损失多少精度Bonsai 用 1-bit 换 90% 的综合能力但 Agent 维度单独掉了近两成——这说明一个很扎心的事实量化对不同能力的伤害是非均匀的推理类任务扛得住Agentic 那种多步编排的扛不住。你如果在做一个端侧 Agent 应用GPQA 跑分漂亮没用你要盯的是它在你的工具链里打几折。这个打折不同步才是真实的工程约束而不是发布会上那行大大的 90%。第二件是端和云终于开始分工了而不是硬碰硬。阶跃星辰的 Step Edge 系列、Liquid 这波其实都在讲同一套话术能本地跑的简单高频任务就乖乖在本地跑0.1 秒出结果、数据不上云、隐私也护住一遇到复杂推理直接丢回云端。这套端云协同听着像外包甩锅但细想是对的——端侧模型的物理天花板就摆在那你让它硬啃长逻辑不如让它当个快而专的前台把重活分给后面的大模型。我挺认同这个思路但它带来的运维复杂度比想象中大什么时候该触发云端、切换时延怎么兜底、数据分级怎么划这些都要你亲自踩一遍。这是我目前最想劝同行先别上头的地方——端侧不是装上模型就完事是做一轮新的架构拆分。再往后顺一程我觉得端侧真正的爆发点不在参数在场景。900MB 的模型能塞进手机、1B 的模型能跑在树莓派上意味着很多过去想都不敢想的体面场景开始成立车机上那句帮我导个航不用联网卡半天办公软件里本地总结一份几十页的文档不用往云端传甚至离线环境下给设备加一点会思考的能力。这也是为什么我看到 MiniCPM5 那种把 INT4 压到 0.5GB 的小模型会觉得挺有价值——它不跟云端的巨人拼谁更博学它拼的是在没网的时候、在偷偷算的时候、在你的数据不出设备的时候能不能把事办得差不多。窄但真实。可越是这样我越想追着问一句当所有模型都能被压进手机、当端侧跑 27B 变成标配那量化能力本身还会是护城河吗如果 Bonsai 这种把权重打到 1 bit 的做法大家都能抄决定差异的会不会又回到数据、回到后训练、回到 Agent 编排那套老东西端侧模型在手机里跑和云端模型在机房跑最后拼的到底是压缩技术还是别的什么题目我不会下死结论。我只说一路看下来端侧这条线终于让我有了从 PPT 拽进现实的实感但它的坑远比发布会 road map 上画的多。你手上那个端侧项目是打算把 Agent 整套搬本地还是只敢拿它做快而稳的前台压到 1 bit 那 18% 的能力折损你愿意为谁的隐私买单埋单评论区聊聊我挺想听听你的衡量标准。