从 bad case 挖掘优化 RAG
RAG 的真正优化方向不在论文里,而在你用户的 bad case 里——那些答错的、找不到的、答非所问的。本文讲清一套 bad case 驱动的 RAG 优化闭环:如何收集(用户反馈/低分/重试)、如何分类(检索没找到/找到了没用对/生成幻觉/格式错)、针对性修复,以及把它们沉淀进 eval 集防回归。
#大模型 #RAG♥ 720 评论
Articles
技术文章
沉淀 AI、Web、云原生和独立开发经验。
LLM 应用的缓存策略
LLM 调用贵且慢,缓存是降本提速的利器——但缓存层做错,要么没命中、要么返回陈旧错误答案。本文讲清 LLM 应用的三层缓存:prompt cache(前缀)、语义缓存(相似 query)、结果缓存(精确 key),各自的适用、命中条件、一致性陷阱,以及组合策略。
#AI #DevOps♥ 740 评论
生产级 Text-to-SQL
'"用自然语言查数据库"听起来很美,做生产却很难——schema 理解、歧义、SQL 正确性、注入安全都是坑。本文讲清生产级 Text-to-SQL 的完整方案:schema RAG、few-shot、SQL 校验与只读权限、安全(防注入/防全表扫)、评估,让用户能用自然语言安全查数。'
#大模型 #RAG♥ 730 评论
AI 功能的灰度与 Feature Flag
AI 功能上线风险更高(质量不稳、成本失控、安全翻车),灰度发布几乎是必需。本文讲清 AI 功能的 feature flag:除了基础开关,还要支持按 prompt 版本/模型/参数灰度,配合 eval 和 A/B,以及灰度策略(1%→10%→100%、按人群),让你敢上线、能回滚。
#AI #DevOps♥ 740 评论
Prompt 链与多步工作流编排
复杂任务一次 LLM 调用搞不定,要拆成多步链——但链怎么拆、中间结果怎么传、错误怎么恢复,是工程问题。本文讲清 prompt chaining 的几种模式(顺序/并行/路由/循环)、何时该链何时该用 Agent、中间状态管理,以及和单次调用的成本/质量权衡。
#AI #AI Agent♥ 750 评论
开源 vs 闭源模型:深度选型
用 GPT/Claude 还是用 Llama/Qwen,是每个 AI 应用都要做的决策。本文不讲谁更强,讲选型逻辑:闭源的优势(能力/便利)、开源的优势(数据自有/可控/成本/定制)、按场景(隐私/规模/合规/定制)怎么选,以及混合策略——闭源做主力、开源兜底/特定场景。
#大模型 #开源♥ 780 评论
Tokenizer:理解 token 才能真正控成本
token 是 LLM 的计费单位和上下文货币,但很多人对它只有模糊概念——中文一个字几个 token?代码占多少?为什么切词影响成本和效果?本文讲清 tokenizer 原理(BPE)、不同语言的 token 效率、用 tiktoken 实测、以及控成本的实操(缩 prompt/选高效语言/缓存)。
#大模型 #TypeScript♥ 790 评论
AI 内容审核系统设计
你的 AI 产品要防黄赌毒、防违规、防滥用,还要避免误杀正常内容。本文讲清 AI 内容审核的系统设计:审核维度(输入/输出/生成内容)、多层防护(规则/分类模型/LLM 审查)、误杀与漏检的平衡、申诉与人工复核,以及 OpenAI Moderation/自建分类器的选型。
#AI #DevOps♥ 760 评论
RAG 应用的流式 UI 实现
RAG 不是"一次返回"——检索和生成都该流式,让用户边等边看。本文讲清 RAG 流式 UI 的实现:检索阶段流式(先显示"找到的文档")、生成阶段流式(打字机正文)、引用渲染(答案出完同步亮引用)、React 的增量渲染不卡,以及"检索中→生成中"的状态切换。
#RAG #Next.js♥ 770 评论
Agent 浏览器自动化实战
让 Agent 自己开浏览器、点页面、抓数据、填表单——agentic browsing 是 AI 自动化的高价值场景,也是工程深水区。本文讲清架构(Playwright/Puppeteer + 视觉模型)、操作模式(坐标点击 vs DOM 选择器)、健壮性(等待/重试/反爬)、安全沙箱,以及它当前能做和做不好的事。
#AI Agent #TypeScript♥ 810 评论
AI 时代的工程团队文化
AI 编程工具改变的不只是个人效率,是整个团队协作方式。本文讲清团队如何拥抱 AI:code review 的变化(AI 代码要怎么 review)、知识共享(AI 使用经验/最佳实践沉淀)、技能演进(从写代码到读/判/拆)、工具采用策略、以及避免"AI 黑箱化"和"过度依赖"的团队规范。
#Vibe Coding #DevOps♥ 780 评论
微调数据准备实战
"微调圈有句行话:garbage in garbage out——数据质量决定一切。本文讲清微调数据怎么准备:指令对格式、数据收集与清洗、质量把控(去重/去噪/一致性)、合成数据的用法与风险、数据增强,以及用 LLM 辅助生成训练数据的正确姿势。"
#大模型 #开源♥ 830 评论