Local-first AI 应用:数据自有 + 智能

过去两年,几乎所有 AI 应用的默认架构都是同一个配方:把用户数据 POST 到云端大模型,云端返回结果,服务端顺手把你的对话存进它的向量库做"产品改进"。能力强是强,但你越来越说不清自己的笔记、聊天记录、代码、健康数据到底躺在哪些服务器上、被谁训练了什么。

而另一边,一条不那么喧闹的路线正在回归——Local-first。它的主张很朴素:数据优先存在你自己的设备上、离线也能用、多端可选同步、你对数据有真正的所有权。当这条理念撞上正在快速成熟的端侧 AI(WebGPU、llama.cpp、3B~8B 量化小模型),一种新的应用形态出现了:数据不出设备 + 本地小模型干日常活 + 云端大模型按需增强、用户点一下才上云。

本文讲清楚这件事为什么成立、怎么落地、它的边界在哪里。

一、Local-first:一种被遗忘的软件理想

Local-first 不是新概念。2019 年 Ink & Switch 的那篇《Local-first software》就把它讲透了,提出七条原则,核心是这四条:

1. 数据自有(Ownership):数据是你自己的,不是租来的。你能导出、能迁移、能删除干净。
2. 本地优先(Local):读写都先打本地,响应是毫秒级的,不依赖网络往返。
3. 离线可用(Offline):断网照常工作,联网只是"顺便同步"。
4. 可选同步(Sync):多端协作是能力,不是前提。同步挂了,应用本身不挂。

和 cloud-first 的对比是结构性的:

cloud-first:  浏览器 ──HTTP──> 服务端 DB  (数据"住"在云,本地是缓存)
local-first:  本地 DB <──后台同步──> 其它端   (数据"住"在本地,云是中转)

差别不只是"数据库放在哪",而是谁是 source of truth。cloud-first 里,服务端那份数据才是真的,你本地的副本随时可以被吊销、被改、被关停。local-first 里,本地这份数据是真的,云端只是个可选的搬运工。

这条路线在 SaaS 时代被冷落了十年——因为做 cloud-first 更省事、更好变现、更方便做数据分析。但 AI 时代,它的价值被重新放大了。

二、为什么 AI 让 local-first 重新重要

四个理由,每个都足够硬。

隐私是第一位的。 让 AI 真正有用,你得喂给它上下文:日记、医疗记录、财务、私人通讯、公司代码。这些一旦上云,你就失去了对它们的控制——不是法律意义上的"隐私政策"控制,而是技术意义上的"它物理上不在我设备外"的控制。端侧推理天然解决了这个问题:数据进了模型的 forward pass,但从来没离开过内存。

数据主权。 当一个 AI 笔记应用停服、被收购、改 ToS,你三年的思考沉淀可能一夜之间变成"产品资产"。local-first 把数据所有权还给你——服务可以死,数据不死。

离线与延迟。 飞机上、地铁里、客户现场断网时,cloud AI 直接哑火。而本地模型的首 token 延迟可以做到 100ms 以内,没有网络抖动、没有排队。对"随叫随到的助手"这种交互,延迟体验是产品力本身。

成本。 cloud AI 是按 token 收钱的。你让一个 agent 跑一万次"总结这段""提取待办""分类标签",账单会很可观。本地小模型把这些高频、低难度、可批量的活儿消化掉,只在真正需要 GPT-5 级能力时才花钱上云——成本结构从"每次调用都付费"变成"硬件折旧 + 偶尔上云"。

三、AI 在 local-first 中的角色:本地为主,云端为客

关键是别陷入二选一。不是"全本地"或"全上云",而是分层。

┌─────────────────────────────────────────────┐
│  云端大模型(可选,按需,用户授权)            │
│  - 复杂推理 / 长文写作 / 跨域知识             │
│  - 用户的敏感段落先问一句:"这段要上云吗?"    │
└──────────────────▲──────────────────────────┘
                   │ 显式 fallback(用户点同意)
┌──────────────────┴──────────────────────────┐
│  端侧小模型(默认,3B~8B 量化)                │
│  - 日常:摘要 / 抽取 / 分类 / 改写 / RAG 检索 │
│  - 数据不出设备,断网可用                      │
└──────────────────▲──────────────────────────┘
                   │ 本地推理(WebGPU / llama.cpp)
┌──────────────────┴──────────────────────────┐
│  本地数据层(SQLite/IndexedDB + CRDT)        │
│  - 用户全部原始数据,source of truth          │
└─────────────────────────────────────────────┘

这个分层的关键不是技术,是默认值:

• 默认所有数据存在本地。
• 默认所有推理在本地跑。
• 只有当本地模型力不从心,并且用户对"上云"明确点头,才把需要的片段(注意:是片段,不是整个数据库)发给云端模型。

这就是 local-first AI 和 cloud AI 在产品哲学上的根本分野:cloud AI 默认拿走你所有数据、给你一个开关去"关闭训练";local-first AI 默认不碰你的数据流动、给你一个开关去"这次允许上云"。默认值不同,信任关系就不同。

四、架构:三层栈

落到工程,一个典型的 local-first AI 应用是这样堆的。

数据层:本地优先存储 + CRDT 同步

• 桌面/Electron:SQLite(PGlite 也越来越流行,直接在浏览器跑 Postgres)。
• Web:IndexedDB(或 OPFS + SQLite WASM),配 Drizzle / Dexie 这类 ORM。
• 移动:SQLite 或平台 KV。

同步用 CRDT(Conflict-free Replicated Data Type),比如 Yjs、Automerge。CRDT 的好处是:多端随便写、断网随便写、回来自动合并、数学上保证无冲突。不需要中央锁、不需要手动 conflict resolution。这对"离线优先"的应用是刚需——你不能要求用户在网络差的时候还先解决冲突。

推理层:端侧优先

• Web:WebGPU(Chrome/Edge 已稳定,Safari/Firefox 在路上),跑 ONNX Runtime Web、transformers.js,或直接 GGUF via webgpu。
• 桌面:llama.cpp、Ollama、MLX(Apple Silicon)。3B~8B 的 Q4 量化模型在 M 系列 Mac 或 16GB 显存的 PC 上,token 吞吐完全可用。
• 嵌入:用 bge-small / nomic-embed 这类小模型在本地算向量,做 RAG 检索,完全不用把文档发给云端 embedding API。

工程上的关键细节:模型懒加载 + 分级。别一启动就拉一个 4GB 的模型,按任务路由——摘要用 1.5B、改写用 3B、复杂推理再考虑 8B 或上云。

云端层:可选,薄,加密

云端要做的事很少,但要做得干净:

1. 中转同步:存 CRDT 的 update binary,不做任何业务逻辑。
2. 端到端加密:客户端用用户密钥加密后再上传,服务端只看到密文。丢了密钥,平台也解不开。
3. 可选的代理网关:当用户授权上云时,统一转发到大模型 API,顺带做配额和审计(让用户回看"我把哪些内容发给了哪个模型")。

注意第 3 点——一个诚实做 local-first 的应用,应该把"上云记录"本身也存成本地数据,让用户可查、可审计。这不是法律合规,是产品诚意。

五、数据流:默认本地,上云需明确授权

把数据流想清楚,比选什么框架更重要。我建议团队在设计时画一张"数据信任边界图",明确每条数据流向。

一个健康的 local-first AI 应用,数据流长这样:

用户输入
   │
   ▼
[本地 DB] ── 永远是 source of truth
   │
   ├──► 本地小模型推理(默认路径,数据不出设备)
   │       │
   │       └──► 结果写回本地 DB
   │
   └──► 【能力不足?】──► 弹窗:"这段内容需要更强模型,
                          是否允许发送到 {Provider}?"
                              │
                   用户同意 ──► 仅发送相关片段(非全库)
                              │
                              ▼
                        云端模型 → 结果回写本地
                        (同步:该片段是否落盘由用户决定)

这里有几个实战原则,我建议当硬规矩:

• 最小片段上云:用户问"帮我把这周的日记总结一下",本地做不了时,只把"这周日记"这几 KB 发出去,而不是把整个笔记库的索引一起带过去。脱敏、截断、按需取。
• 可撤销:每次上云都记一条 log,用户能回看、能撤销未来同类上云(即"以后这种内容别再上云")。
• 分级内容:让用户给数据打标签——"公开""内部""机密"。机密内容永远不进云端 fallback 路径,宁可本地模型答得差一点。

这套机制增加了产品复杂度,但它是 local-first AI 的灵魂。少了它,你就只是个"偶尔能离线的 cloud app"。

六、同步与多端:CRDT + 端到端加密

多端同步是 local-first 最容易做砸的地方。两个技术选型决定了它能不能立住。

CRDT 解决"合并"问题。 传统同步用 last-write-wins 或服务端冲突解决,在离线多端场景下会丢数据。CRDT 用数学结构保证:任何顺序的并发更新都能收敛到同一个最终状态,不需要中心仲裁。

实战上,Yjs 适合文档/结构化协同,Automerge 更适合"把整个应用状态当 CRDT"的玩法。两者都有成熟的 IndexedDB persistence 和 WebSocket/relay 同步层。代价是:CRDT 会带来额外的元数据开销(每条更新都带因果信息),需要定期压缩(garbage collection),否则本地 DB 会膨胀。

端到端加密解决"中转信任"问题。 同步服务器即使被攻破、被传票、被卖掉,也只能看到密文。密钥派生自用户密码(用 Argon2id + NaCl box 这类成熟方案),永远不下发到服务端。

两者结合,得到一个很重要的性质:多端同步的可用性,不以牺牲单端的数据自有为代价。你随时可以删掉云端账号,本地数据照常工作;你随时可以换一个同步服务器(自建、换厂商),只要密钥在手,数据无缝迁移。这是 cloud-first 应用给不了的。

七、适合场景与局限

讲了一堆好处,但 local-first AI 不是银弹。说清楚它适合什么、不适合什么。

适合:

• 隐私敏感的个人助手:日记、健康、财务、心理记录类。用户天然不想把这些交给云端。
• 笔记与知识管理:Obsidian、Logseq、AnyType 已经证明了这个市场。加上本地 RAG,它们正在变成"私人 second brain"。
• 开发者本地工具:代码补全、本地文档问答、私有代码库的 chat。源码不该发给第三方。
• 边缘/离线场景:车载、机载、田野调查、医疗巡诊——网络不稳定或合规要求离线。
• 企业内部知识库:数据合规要求"数据不出内网",本地模型 + 内部 RAG 是天然解。

局限:

• 强模型能力天花板:8B 量化模型再怎么调,在深度推理、复杂代码生成、长篇结构化写作上,和 frontier 模型有明显差距。需要承认这个 gap。
• 大知识库:本地 RAG 适合"我的笔记"这种 GB 级语料,但面对"全网法律条文"或"整个 PubMed"这种 TB 级知识,本地放不下,还是得靠云端检索。
• 设备门槛:跑得动的端侧模型,对内存和算力有要求。低端 Android、老款 PC 体验会差。
• 多端协同的工程复杂度:CRDT + E2EE + 模型分发 + 冲突收敛,这套栈的学习曲线不低,团队没经验会踩很多坑。
• 协作场景的天然弱势:多人实时协同编辑(尤其陌生人之间)仍是 cloud-first 的主场——信任建立、权限管理、审计,这些在纯 local-first 里更难做。

所以一个诚实的判断是:local-first AI 不是要取代 cloud AI,而是补上被忽略的那一半场景——那些因为隐私、主权、离线、成本而被 cloud AI 拒之门外的需求。它的市场是"被吓跑的用户",不是"追求最强能力的用户"。

小结

写到这里,把要点收紧:

1. Local-first 的核心是 source of truth 在本地:数据自有、离线可用、同步可选。它和 cloud-first 的差别是哲学,不是技术栈。
2. AI 时代放大了它的价值:隐私、主权、延迟、成本四个痛点,cloud AI 解决不了,local-first AI 天然对症。
3. 架构是分层而非二选一:本地 DB(CRDT 同步)+ 端侧推理(WebGPU/llama.cpp)+ 云端可选 fallback,默认值决定了信任关系。
4. 数据流的关键是"上云需显式授权":最小片段、可审计、可撤销、内容分级——这是 local-first AI 的灵魂,少一条就退回 cloud app。
5. 它有明确边界:强推理、大知识库、低端设备、复杂多人协作仍是 cloud 的主场。诚实的定位是"补全被吓跑的那一半用户"。

一句话收尾:

真正的智能助手,不该以"拿走你的数据"为前提。Local-first AI 让"数据自有"和"能力增强"第一次可以同时成立——你既能拥有 AI,也能拥有你自己。

这条路线还早,工程栈也不成熟,但方向是对的。如果你正在做一个笔记、知识库、个人助手类的产品,认真考虑一下把默认值从"上云"翻到"本地"——这可能是未来三年最大的差异化机会。