评测标签争议账本：双盲标注、Rubric 代际与仲裁接受点
两名标注者给出相同标签不一定代表标准清晰，意见不同也不能用最后一次覆盖。本文把题目快照、盲化分配、证据跨度、争议仲裁和标签代际组成可追溯的金标合同。
#AI #大模型 #DevOps♥ 900 评论
AI 前沿
大模型、多模态、推理模型和 AI 产品趋势
专题
本专题收录 AI 前沿 方向的文章和社区讨论，重点关注真实工程场景、工具选择、实践路径和风险边界。
页面会持续更新，适合作为学习路线、选型参考和技术复盘入口。
生成式 AI 事故证据保全：可复现快照、保管链与最小暴露
仪表盘截图和事后重跑无法证明事故当时发生了什么。本文冻结模型、Prompt、检索与工具证据，定义追加式封存和转交链，并在保护敏感原文的前提下支持复核。
#AI #大模型 #DevOps♥ 960 评论
高风险 AI 人工 Override：保留原建议、责任边界与结果闭环
人类点了“修改”并不自动让 AI 决策安全。本文将原始机器建议、操作者资格、覆盖理由、真实效果和后续结果绑定成不可变记录，并限制不可人工绕过的底线。
#AI #大模型 #DevOps♥ 980 评论
跨硬件与运行时的推理可复现性：从制品快照到统计等价门禁
固定 seed 仍可能因 GPU、内核、批处理和浮点归约顺序产生不同输出。本文定义分级复现目标、完整环境快照、token 级回放和跨平台等价阈值。
#AI #大模型 #DevOps♥ 00 评论
让 LLM 稳定输出结构化数据：JSON、Schema 与容错
"让模型吐 JSON，是 AI 应用最常见的工程需求，也是最常见的翻车点——多一个字段、少一个逗号、混进一句解释，解析就崩。本文按可靠性递进讲四档方案：prompt 约束、JSON mode、Function Calling、受限解码（grammar），再给一套解析+容错的兜底，让结构化输出从'大多数时候行'变'生产稳'。"
#AI #TypeScript♥ 270 评论
KV Cache 准入与淘汰：在显存耗尽前控制长会话和优先级
KV Cache 不是先到先得的剩余显存。本文从请求级显存估算、租户预算、块式分配、抢占代价和前缀隔离设计可测量的准入与淘汰控制面。
#AI #大模型 #DevOps♥ 00 评论
LLM 上下文消息序列 Dispatch：Role 边界、工具回合与中断重组
上下文能装进窗口不代表消息序列合法。本文把 role、tool call/result、序列化请求和流式 block 固定为一次 dispatch manifest，阻止半截工具参数或旧流进入下一轮。
#大模型 #AI Agent #DevOps♥ 1100 评论
LLM 上下文 token 预算准入：预留、降级梯与拒绝契约
超窗后临时截断会把成本问题变成错误回答。本文把上下文装配改成服务端准入协议，用分桶预留、确定性降级梯和结算指标控制每次调用。
#AI #大模型 #DevOps♥ 1110 评论
LLM-as-a-Judge 校准：盲化人工锚点、偏差探针与发布门禁
Judge 与人工评分相关，不代表它能稳定比较新模型。本文把盲化锚点、位置互换、风格反事实、校准映射和 Judge release 组成可复验的裁判准入合同。
#AI #大模型 #DevOps♥ 1130 评论
长上下文位置回归测试：证据平移、干扰与截断门禁
同一证据放在开头能答对，移到中段却可能漏读。本文构造位置可控的变形样本，按最差位置而非平均分阻断模型与装配器退化。
#AI #大模型 #DevOps♥ 1150 评论
自部署大模型：Ollama 与 vLLM 选型实战
"用 API 省心，但有时你必须自部署——数据合规、成本可控、离线、定制。本文讲清两条主线：Ollama（本地实验、个人开发的最优选）和 vLLM（生产级高吞吐推理），以及绕不开的量化、显存、硬件选型，帮你判断'这个场景该用 API 还是自建'。"
#大模型 #开源♥ 290 评论
Multi-LoRA 在线服务隔离：适配器身份、显存配额与跨租户防串用
在同一基础模型上动态挂载多个 LoRA 可以节省 GPU，却引入制品替换、缓存污染和跨租户串用风险。本文设计可信注册、资源限额、批处理隔离和逐适配器回滚。
#AI #大模型 #DevOps♥ 00 评论