端侧小模型：on-device AI 实战
"AI 不一定非要在云端——隐私、延迟、离线、成本，四个理由让端侧推理重新变热。本文讲清端侧 AI 的现状：模型（1B–7B 量化）、框架（llama.cpp/MLC/ExecuTorch）、运行环境（手机/浏览器 WebGPU/桌面），以及它真正适合的场景和当前局限。"
#AI #开源♥ 540 评论
AI 前沿
大模型、多模态、推理模型和 AI 产品趋势
专题
本专题收录 AI 前沿 方向的文章和社区讨论，重点关注真实工程场景、工具选择、实践路径和风险边界。
页面会持续更新，适合作为学习路线、选型参考和技术复盘入口。
LLM 的对齐与安全：RLHF 简介
模型预训练出来是"续写机器"，能变成"有用的助手"靠的是对齐——RLHF/DPO 那一套。本文用大白话讲清对齐在干什么、RLHF 和 DPO 的区别、为什么对齐既是"安全"也是"能力"，以及作为应用开发者理解对齐边界的重要性——知道模型为什么有时"过度拒绝"、怎么和它相处。
#AI #大模型♥ 600 评论
RAG 处理表格与结构化数据
表格是 RAG 的硬骨头——切分破坏结构、向量丢语义、检索找不到。本文讲清表格 RAG 的完整方案:表格检测与抽取、切分策略(整表/行级)、结构化存储 vs 向量、Text-to-SQL 模式,以及混合检索,让 RAG 能真正处理含表格的文档。
#大模型 #RAG♥ 610 评论
检索的 Query 改写进阶
用户的原始提问往往不是好的检索词——有指代、太模糊、是多问合一。Query 改写是 RAG/搜索里 ROI 极高的一步。本文系统讲清五种改写(指代消解/子问题分解/HyDE/Multi-query/同义扩展)、各自的适用场景、工程实现与成本,以及改写本身也要评估。
#大模型 #RAG♥ 640 评论
ColBERT 与 late-interaction:检索的第三条路
向量检索(bi-encoder)快但精度有限,cross-encoder 准但慢到不能做召回。ColBERT 的 late-interaction 给了第三条路——精度近 cross、速度近 bi。本文讲清三种检索模型的权衡、ColBERT 的 late-interaction 原理、它适合什么场景,以及工程落地(RAGatouille/ColBERTv2)。
#大模型 #RAG♥ 670 评论
语音/音频 AI 应用实战
语音 AI 从"玩具"进入了产品级——实时转写、语音对话、配音、实时翻译都已可用。本文讲清语音 AI 的能力栈(ASR/TTS/语音助手)、典型产品场景、工程要点(流式 ASR、低延迟 TTS、VAD、打断处理),以及多模态语音交互的现状与坑。
#AI #大模型♥ 680 评论
LLM 应用的灾难恢复与韧性
AI 应用的故障源比传统软件多——模型 API 挂、向量库挂、工具挂、自家服务挂。本文讲清韧性设计:降级、熔断、重试、兜底,多模型多供应商容灾,数据备份(向量库/记忆/会话),以及监控+混沌演练,让你的 AI 应用在故障下不裸奔。
#AI #DevOps♥ 700 评论
从 bad case 挖掘优化 RAG
RAG 的真正优化方向不在论文里,而在你用户的 bad case 里——那些答错的、找不到的、答非所问的。本文讲清一套 bad case 驱动的 RAG 优化闭环:如何收集(用户反馈/低分/重试)、如何分类(检索没找到/找到了没用对/生成幻觉/格式错)、针对性修复,以及把它们沉淀进 eval 集防回归。
#大模型 #RAG♥ 720 评论
生产级 Text-to-SQL
'"用自然语言查数据库"听起来很美,做生产却很难——schema 理解、歧义、SQL 正确性、注入安全都是坑。本文讲清生产级 Text-to-SQL 的完整方案:schema RAG、few-shot、SQL 校验与只读权限、安全(防注入/防全表扫)、评估,让用户能用自然语言安全查数。'
#大模型 #RAG♥ 730 评论
开源 vs 闭源模型:深度选型
用 GPT/Claude 还是用 Llama/Qwen,是每个 AI 应用都要做的决策。本文不讲谁更强,讲选型逻辑:闭源的优势(能力/便利)、开源的优势(数据自有/可控/成本/定制)、按场景(隐私/规模/合规/定制)怎么选,以及混合策略——闭源做主力、开源兜底/特定场景。
#大模型 #开源♥ 780 评论
Tokenizer:理解 token 才能真正控成本
token 是 LLM 的计费单位和上下文货币,但很多人对它只有模糊概念——中文一个字几个 token?代码占多少?为什么切词影响成本和效果?本文讲清 tokenizer 原理(BPE)、不同语言的 token 效率、用 tiktoken 实测、以及控成本的实操(缩 prompt/选高效语言/缓存)。
#大模型 #TypeScript♥ 790 评论
AI 内容审核系统设计
你的 AI 产品要防黄赌毒、防违规、防滥用,还要避免误杀正常内容。本文讲清 AI 内容审核的系统设计:审核维度(输入/输出/生成内容)、多层防护(规则/分类模型/LLM 审查)、误杀与漏检的平衡、申诉与人工复核,以及 OpenAI Moderation/自建分类器的选型。
#AI #DevOps♥ 760 评论