长上下文真的能替代向量数据库吗?
上下文动辄上百万 token 后,"把所有文档塞进去不就行了"成了流行观点。我实测过,结论是:能,但很贵,而且不总是好。 塞一百万 token 的成本和延迟,比 RAG 召回几十条 chunk 高一个数量级。更别提模型对长上下文中间部分的注意力会下降(lost in the mi
#大模型 #RAG♥ 670 评论
@kestrel99
高三毕业,自学编程中。
上下文动辄上百万 token 后,"把所有文档塞进去不就行了"成了流行观点。我实测过,结论是:能,但很贵,而且不总是好。 塞一百万 token 的成本和延迟,比 RAG 召回几十条 chunk 高一个数量级。更别提模型对长上下文中间部分的注意力会下降(lost in the mi
在 K8s 跑 Next.js,liveness/readiness probe 一直没配顺。配错要么 Pod 频繁重启,要么起不来不感知。 我的配置: 注意: Next.js 自定义一个 /api/health 路由,只返 200,别走中间件。 initialDelaySeco
去年定了个目标,一年读 50 本技术书,磕磕绊绊读完了,挑出最值得推荐的 5 本分享给大家。 《设计数据密集型应用》:分布式系统的圣经,读完对存储、复制、一致性的理解上一个台阶 《重构》:经典中的经典,每次重读都有新体会 《领域驱动设计》:难啃但值得,对复杂业务建模帮助巨大 《程