多轮对话的状态管理
单轮好做,多轮难——用户会追问、改主意、引用上文、打断。本文讲清多轮对话的工程:上下文管理(窗口/摘要/压缩)、对话状态(槽位/实体/阶段)、指代消解、话题切换、中断与恢复,把"聊着聊着就乱了"治好。
#AI Agent #TypeScript♥ 840 评论
Articles
技术文章
沉淀 AI、Web、云原生和独立开发经验。
AI 搜索的相关性调优
搜索好不好用,核心是"相关性"——用户搜的和你返回的,匹配得上吗。本文讲清 AI 搜索相关性的调优:相关性信号(语义/关键词/权威/时效/个性化)、加权融合、离线评测(标注+指标)、点击反馈(隐式学习),以及避免"看似相关实则无用"。
#RAG #DevOps♥ 850 评论
Prompt Caching 深度:原理与命中优化
Prompt Caching 是当前 LLM 降本最有效的单点优化,但很多人用错了——命中率低、缓存失效、成本没降反增。本文讲清它的原理(前缀缓存)、命中条件(前缀逐字节相同)、如何设计 prompt 结构提升命中率、TTL 与失效、监控命中率,让 prompt cache 真正省钱。
#AI #DevOps♥ 860 评论
Local-first AI 应用:数据自有 + 智能
"Cloud AI 让人爱它的能力、怕它的隐私。Local-first 理念(数据优先存本地、可选同步)遇上端侧 AI,给出新解法:数据不出设备 + 本地小模型 + 可选云端增强。本文讲清 local-first 的原则、AI 在其中的角色、架构(本地存储 CRDT + 端侧模型 + 云端 fallback),以及它适合的场景。"
#AI #开源♥ 790 评论
推理模型的用法:什么时候该用 o1 类模型
推理模型(o1/o3/DeepSeek-R1 类)会"先想再答",在复杂数学/代码/多步推理上更强,但也更慢更贵更难驾驭。本文讲清推理模型和普通模型的区别、它擅长的场景(数学/逻辑/复杂代码/科研)、不擅长的(简单任务/创意/实时)、以及混合架构——简单活给快模型,硬推理才上推理模型。
#AI #大模型♥ 890 评论
用 AI 写 commit message 与 PR 描述
commit message 和 PR 描述是开发者最懒得写、又最有价值的文档之一。AI 能从 diff 自动生成高质量的它们。本文讲清怎么用 AI 生成符合规范的 commit(Conventional Commits)、PR 描述(动机/变更/测试/风险),以及怎么集成进 git hook/CI,让"懒得写"不再是借口。
#Vibe Coding #TypeScript♥ 900 评论
向量索引的零停机重建
换 embedding 模型、改切分、重建索引——这些操作在生产 RAG 里很头疼,搞不好就停服或搜不准。本文讲清向量索引零停机重建的几种方案:蓝绿索引、双写、影子流量、重建+切换,以及增量更新避免全量重建,让你的 RAG 改 embedding/改结构时用户无感。
#RAG #DevOps♥ 910 评论
Agent 评估的自动化
Agent 非确定、多步、调工具,靠手动试根本测不过来。本文讲清怎么把 Agent 评估自动化:建任务集 + 评判标准、LLM-as-judge 批量打分、trace 驱动的回归、把 eval 挂进 CI,以及从线上 trace 挖 bad case 自动入库——让 Agent 每次改动都有客观分数。
#AI Agent #DevOps♥ 920 评论
AI 产品的留存与 churn
AI 产品的留存比传统更难——用户新鲜感过了就走、免费档白嫖不付费、大厂更新抢人。本文讲清 AI 产品留存的特殊性、关键留存指标(首次价值/习惯养成/付费续费)、提升留存的杠杆(持续价值/工作流嵌入/数据飞轮),以及识别和降低 churn。
#AI #独立开发♥ 930 评论
MCP Server 的安全审计
MCP 让 AI 工具能即插即用调用你的能力,也把你的数据和操作暴露给了所有兼容客户端——安全面不小。本文讲清 MCP Server 的安全审计要点:工具权限最小化、参数校验与注入防护、远程 Server 的鉴权与限流、信任边界(本地 vs 远程)、供应链(第三方 MCP server 的风险),以及一份 MCP Server 上线前的安全 checklist。
#AI Agent #DevOps♥ 940 评论
LLM 应用的 SLO 与告警
LLM 应用要定 SLI/SLO,但你不能照搬传统 Web(它的延迟方差大、质量难量化、成本是指标)。本文讲清 LLM 应用的 SLO 怎么定:延迟(p95/首字时间)、可用性(模型 API 失败率)、质量(评测分/bad case 率)、成本(token/请求),以及配套的告警与错误预算。
#AI #DevOps♥ 950 评论
AI 时代的个人与团队知识管理
笔记软件记了一堆却从来不看?AI 让"知识库"从"仓库"变成"能问答的助手"。本文讲清 AI 时代的知识管理:个人(把笔记/文档做成可问答的私有 RAG)、团队(共享知识库 + AI 检索 + 持续沉淀),以及关键——AI 不替代整理,它放大整理的价值。
#AI #独立开发♥ 960 评论