我用的 chunking 策略
RAG 里 chunking 看着不起眼,实际决定召回质量。分享我用得最顺的策略。 核心思路是"按结构切,不按字数切"。对 Markdown 按标题层级切,每块带上父标题作为上下文;对代码按函数/类切;对长文按段落+滑动窗口。 加父标题前缀之后,召回时模型能知道这块在讲啥。细节决
#RAG♥ 130 评论
@quartz
前端,做 WebGL 和三维。
RAG 里 chunking 看着不起眼,实际决定召回质量。分享我用得最顺的策略。 核心思路是"按结构切,不按字数切"。对 Markdown 按标题层级切,每块带上父标题作为上下文;对代码按函数/类切;对长文按段落+滑动窗口。 加父标题前缀之后,召回时模型能知道这块在讲啥。细节决
不想给云厂商交对象存储的钱,自建了一套 MinIO 存用户上传图片,S3 兼容 API,配 Next.js 的 image loader 很顺。 部署很简单,docker compose 一把梭,挂个挂载点就行。配合 mc 客户端做 bucket 管理和生命周期策略。 踩过的坑:
做 AI 产品的同学应该都懂这个痛:API 成本涨得比收入快,毛利越来越薄,眼看就要亏本,求优化经验。 我的产品用 GPT 4 处理用户请求,单次调用成本约 $0.03,日均 5000 次调用,一个月就是 $4500,而月收入才 $6000,毛利只剩 25%,还在往下掉。 目前在