编程 Agent 的上下文预算:如何保留关键证据而不淹没模型
上下文窗口变大并不意味着应把整个仓库交给模型。本文介绍任务级 token 预算、分层摘要、证据引用、缓存失效和压缩质量检查,让编程 Agent 在有限上下文中保持工程判断力。
这里聚合 CodeNodeX AI 社区中与 大模型 相关的技术文章和讨论,覆盖概念解释、工具对比、工程实践、常见问题和独立开发经验。
如果你正在研究 大模型,建议先阅读高质量长文,再参与帖子讨论,形成从理解到实践的完整路径。
上下文窗口变大并不意味着应把整个仓库交给模型。本文介绍任务级 token 预算、分层摘要、证据引用、缓存失效和压缩质量检查,让编程 Agent 在有限上下文中保持工程判断力。
编程 Agent 接手大型仓库时,最大的浪费是无差别读取文件。本文设计仓库地图、模块边界、命令证据和风险标签,让 Agent 在改代码前先建立可验证的工作上下文。
"调 RAG 没有 eval 集,就是凭感觉。本文用 RAGAS 框架,讲清四个核心指标(context precision/recall、faithfulness、answer relevancy)各自在测什么、怎么建评测集、怎么跑、怎么用结果定位问题——让'我感觉变好了'变成'召回率从 0.72 提升到 0.91'。"
机密虚拟机或 GPU 标识并不自动等于可信。本文用 RATS 角色、EAT 新鲜度、复合测量与策略化密钥释放,把机密推理变成可验证控制。
单独测 OCR、ASR 或文本回答会漏掉跨模态错配。本文用资产对齐、缺失与冲突切片、变形关系、分层指标和影子流量阻断模态间质量回归。
LLM 应用的主要可变成本是 token,而它往往在不经意间失控。本文讲清五个降本杠杆——prompt 缓存、模型路由、prompt 瘦身、批处理、结果缓存,以及一套"按功能/用户拆账"的成本监控,帮你的 AI 产品从"烧钱"变"可持续"。
两名标注者给出相同标签不一定代表标准清晰,意见不同也不能用最后一次覆盖。本文把题目快照、盲化分配、证据跨度、争议仲裁和标签代际组成可追溯的金标合同。
"Prompt 工程的时代正在让位给 Context 工程。区别在于:prompt 关心'怎么说',context 关心'给模型看什么'。本文讲清四类上下文、上下文窗口的管理策略(优先级/压缩/遗忘),以及一个 Agent 的上下文该怎么搭——决定 Agent 上限的,往往不是模型多强,而是你喂了什么。"
仪表盘截图和事后重跑无法证明事故当时发生了什么。本文冻结模型、Prompt、检索与工具证据,定义追加式封存和转交链,并在保护敏感原文的前提下支持复核。
GPU 容量不能按请求数直接换算。本文用输入输出 token 分布、并发序列、KV Cache、批处理效率和故障冗余建立可压测、可复盘的推理容量模型。
人类点了“修改”并不自动让 AI 决策安全。本文将原始机器建议、操作者资格、覆盖理由、真实效果和后续结果绑定成不可变记录,并限制不可人工绕过的底线。
固定 seed 仍可能因 GPU、内核、批处理和浮点归约顺序产生不同输出。本文定义分级复现目标、完整环境快照、token 级回放和跨平台等价阈值。