端侧小模型：on-device AI 实战

云 AI 不是唯一答案。隐私（数据不出设备）、延迟（零网络往返）、离线（没网也能用）、成本（不烧云端 token）——这四个理由让"端侧 AI"（on-device）在 2025–2026 重新变热。小模型够强、量化够好、硬件够快，三件事凑齐，端侧 AI 从玩具变成可选项。

一、端侧 AI 的四个驱动力

1. 隐私。数据不出设备——医疗、财务、个人助理场景的刚需。云端再保证，不如根本不出本机。

2. 延迟。零网络往返 + 本地推理，体感最快。实时交互（输入预测、本地助手）受益明显。

3. 离线。没网也能用——出差、弱网、边缘设备。云端 AI 断网即停。

4. 成本。不调 API = 不烧 token。对高频/大规模场景，端侧摊到每设备成本极低。

代价：模型能力受限（端侧跑不了旗舰大模型）、设备适配复杂（手机/浏览器/桌面各一套）、更新难（模型要随 app 发版或 OTA）。

二、模型：小而美的 1B–7B

端侧能跑的模型，主流在 1B–7B 参数（再大塞不进手机/浏览器，且慢）。代表性：

• Qwen 系列（1.5B/3B/7B）：中文友好、综合强，端侧首选之一。
• Llama 3.2（1B/3B）：Meta 专门为端侧优化。
• Phi 系列（微软）：小而精，合成数据训练，推理强。
• Gemma 2（2B）：Google 的小模型。

关键是量化：1B–3B 模型 4-bit 量化后只要 0.5–2GB，手机/浏览器能跑。质量在常见任务（对话、摘要、分类）已可用——比云端旗舰弱，但"端侧够用"的门槛已达。

经验：端侧模型的选型哲学是"够用就行"，不是"越强越好"。3B 量化能解决的，别硬塞 7B（慢、占空间）。

三、运行环境与框架

端侧 AI 的三个主战场：

1. 桌面（Mac/Windows/Linux）。算力最强、最容易。用 Ollama 或 llama.cpp 跑 GGUF 量化模型，本地服务 / 桌面 app 集成。Mac（统一内存）尤其适合，M 系列芯片能流畅跑 7B–13B。

2. 浏览器（WebGPU）。最有想象空间——模型在网页里跑，零安装、跨平台。

• 框架：Transformers.js（HuggingFace，WebGPU 后端）、MLC Web、ONNX Runtime Web。
• 模型：WebGPU 跑 1B–3B 量化可行（4-bit/GGUF 转的）。
• 限制：首次下载模型（几 GB）、浏览器 WebGPU 成熟度参差。

3. 移动端（iOS/Android）。最复杂也最需要。

• iOS：MLX（Apple）、Core ML。
• Android：MediaPipe、MLC、ExecuTorch（PyTorch 端侧）。
• 挑战：内存限制（1B–3B）、电量、芯片碎片化（要适配不同 NPU）。

四、什么场景值得上端侧

端侧 AI 的甜区：

1. 隐私敏感。个人健康记录、私密笔记、本地知识库问答——数据不出设备。
2. 实时交互。输入预测、语音转写、实时翻译——延迟敏感。
3. 离线必需。野外/飞行/弱网场景的工具。
4. 高频低成本。一个能力要调用千万次，云端 token 不可承受。
5. 本地开发助手。在你机器上跑的编程助手（隐私 + 离线）。

不值得上的场景：

• 需要旗舰模型能力（端侧模型不够强）。
• 需要全局知识（端侧没法装大知识库）。
• 低频使用（端侧的部署/适配成本不划算）。

五、端侧 AI 的工程挑战

落地端侧，几个真实坑：

1. 模型分发。模型几 GB，怎么下发？app 内置（包太大）？首次启动下载？CDN？差分更新？这是产品决策。

2. 性能差异。不同设备芯片/内存差异大，同一模型在旗舰机流畅、在低端机卡死。要做设备分级（高端跑大模型、低端跑小模型或降级到云端）。

3. 内存压力。模型加载占几 GB 内存，手机 app 后台被杀、模型要重载。要管理生命周期（按需加载/卸载）。

4. 电量。持续推理耗电快，要克制（只在需要时跑，别后台常驻）。

5. 更新。模型迭代要随 app 发版或 OTA，不如云端灵活。

六、务实路径：云 + 端混合

很多产品的正解不是"纯端侧"，而是云 + 端混合：

• 简单/隐私/实时任务 → 端侧（输入预测、私密问答、离线兜底）。
• 复杂/知识密集任务 → 云端（深度推理、大知识库）。
• 自动路由：能端侧处理就本地，搞不定再上云。

这种架构兼顾隐私/延迟（端侧）和能力/知识（云端），是当前 on-device AI 落地的主流形态。

七、现状与判断

端侧 AI 2026 的位置：

• 桌面：成熟可用（Ollama + 开源模型，开发者首选的本地 AI）。
• 浏览器：起步但潜力大（WebGPU 普及后会是爆发点）。
• 移动：大厂在推（Apple Intelligence、Gemini Nano），第三方集成仍有门槛。

判断：端侧不会取代云端，而是和云端分工共存。隐私/实时/离线的场景归端侧，重能力/大知识的场景归云端，中间地带自动路由。

小结

端侧 AI 因为隐私、延迟、离线、成本四个驱动力，从玩具变成可选项：

• 模型：1B–7B 量化（Qwen/Llama/Phi），"够用就行"。
• 框架：桌面 llama.cpp/Ollama、浏览器 Transformers.js/WebGPU、移动 MLX/ExecuTorch。
• 场景：隐私敏感、实时、离线、高频低成本。
• 形态：云 + 端混合是主流，纯端侧是少数。

记住一句：端侧 AI 不是"云端 AI 的廉价版"，而是"云端做不到的那些场景的解"。把隐私、延迟、离线、成本这四件事中的一件做到极致，端侧就有不可替代的价值——这恰是它在大模型时代的差异化所在。