训练数据集快照:不可变 Manifest、血缘与可复现取数
同一个数据集名称可能在训练期间继续变化。本文用不可变成员清单、源端水位、转换摘要和派生血缘,让每次训练都能精确重放输入集合。
Articles
沉淀 AI、Web、云原生和独立开发经验。
同一个数据集名称可能在训练期间继续变化。本文用不可变成员清单、源端水位、转换摘要和派生血缘,让每次训练都能精确重放输入集合。
RAG/语义搜索的质量,embedding 模型决定上限。但很多人随便选一个就上,效果不好还怪检索。本文讲清 embedding 选型的四个维度(语言/维度/领域/成本)、主流模型怎么挑,以及最重要的——怎么在自己的数据上评估,而不是迷信榜单。
每个分片校验成功仍可能漏掉整个文件或让不同 worker 混读版本。本文用描述符、集合承诺、发布屏障和代际指针保证训练输入完整一致。
把整个产品绑死在一个模型 API 上是高风险——故障、限流、政策、涨价、封号,任何一个都能让你当场下线。本文讲清多模型容灾:主备 fallback、智能路由、降级链,触发条件,以及统一接口/重试/熔断的工程实现——让你的 AI 应用不被单一供应商拿捏。
业务行与事件分别写数据库和消息系统会留下双写窗口,而发送超时又无法证明消息没有到达。本文把 outbox 事件、dispatcher claim、未知投递与消费去重组成可对账协议。
测 Agent 比测普通软件难一个量级——它非确定、多步、还会调外部工具。本文给一套分层的 Agent 测试策略:单元测工具、集成测端到端、评测集测质量、混沌测容错,加上 trace 复现和回归。把"上线靠运气"变成"上线有底气"。
类型声明不会验证网络、Worker、URL、IndexedDB 或跨标签页消息。本文把 unknown 输入转换为规范内部类型,并设计 Schema 演进、双读发布和旧数据可回滚路径。
全参微调动辄几十张卡,多数团队摸不到;LoRA/QLoRA 把门槛打到一张消费级卡。本文讲清 LoRA 的原理(低秩适配)、QLoRA 怎么进一步省显存、完整的微调流程(数据准备→训练→合并→部署),以及一个关键认知——微调前先确认它真是你问题的最优解。
按帧号均匀抽样会误读变帧率视频并漏掉短事件。本文用规范时间轴、分层采样、场景补点、音画对齐和时序回归门建立可复现视频输入。
AI 应用绕不开框架选择,但 LangChain、LangGraph、LlamaIndex 的边界很多人没搞清——以为它们是竞争关系,其实各管一段。本文讲清三者定位(LangChain 全栈胶水 / LangGraph Agent 编排 / LlamaIndex 数据与 RAG),按你的需求选,以及一个被低估的选项:什么都不用,自己写。
图像文件小不等于视觉推理便宜,统一缩到固定尺寸也会抹掉小字。本文用任务切片、像素层级、区域二次读取和真实计费建立可验证的分辨率预算。
"AI 应用天生是数据黑洞——用户输入、模型调用、训练留存,处处踩雷。本文讲清四个合规要点:用户输入数据、第三方模型的数据处理、训练/微调的数据来源、跨境与行业合规(GDPR/医疗/金融),以及一套'隐私优先'的工程实践,让你的产品不踩法律红线。"