AI 云工作负载身份联邦：绑定 SPIFFE、OIDC 与 STS 交换边界
推理 worker、评测任务和模型构建器不应共享云密钥。本文分离源凭据、交换请求与输出令牌的受众，并用 profile 和资源策略阻断身份混淆。
#AI #大模型 #DevOps♥ 280 评论
#大模型
专题介绍
这里聚合 CodeNodeX AI 社区中与 大模型 相关的技术文章和讨论，覆盖概念解释、工具对比、工程实践、常见问题和独立开发经验。
如果你正在研究 大模型，建议先阅读高质量长文，再参与帖子讨论，形成从理解到实践的完整路径。
AI 评测 Run 可复现制品：从 Dataset 到 Evaluator 的闭合 Manifest
保存模型名、Prompt 和最终分数不足以重放一次评测。本文冻结数据与标签代际、请求序列、解码器、运行环境、Evaluator 和结果集合，形成可验证的 run evidence root。
#AI #大模型 #DevOps♥ 330 评论
AI 功能证据评分卡：用行为、效果、成本与风险决定开发顺序
功能投票和客户音量容易误导路线图。本文建立一套可审计的 AI 功能证据评分卡，把问题频率、结果价值、真实承诺、可触达用户、交付能力与风险放到同一决策记录中。
#AI #大模型 #独立开发♥ 00 评论
AI 平台密钥轮换：双凭证过渡、工作负载身份与零停机撤销
模型供应商 Key、对象存储凭证和签名密钥不能靠人工替换。本文给出资产盘点、双凭证切换、动态刷新、撤销验证与泄露应急的一体化轮换流程。
#AI #大模型 #DevOps♥ 00 评论
AI 平台租户配额隔离：同时约束请求、token、并发与 GPU 时间
单一 QPS 限流无法阻止长上下文和批任务挤占推理池。本文设计分层配额、原子记账、公平排队、突发额度与故障降级，保护多租户 AI 平台。
#AI #大模型 #DevOps♥ 00 评论
AI 运行时安全判定回执：把 Policy Decision 绑定到实际执行
策略引擎返回 allow 不代表下游按同一输入和义务执行。本文定义可验证判定回执、一次性接受点与执行确认，阻止陈旧策略、参数替换和 fail-open 绕过。
#AI #大模型 #DevOps♥ 440 评论
AI 安全分类器阈值发布门：校准误差、风险切片与处置边界
换模型但沿用旧阈值，或只看总体准确率，都会静默改变拦截与误杀。本文把分类器、校准器、类目阈值和处置表冻结为独立制品，并以切片置信上界控制发布。
#AI #大模型 #DevOps♥ 460 评论
AI 安全策略例外治理：到期租约、补偿控制与复核水位
永久 allowlist 会把临时业务需求变成不可见后门。本文将策略例外建模为有界租约，绑定精确范围、补偿控制和使用回执，并让到期、撤销与续期重新评估真正生效。
#AI #大模型 #DevOps♥ 470 评论
LLM 应用的可观测性：trace、eval、监控
传统 APM 不够用——LLM 应用是非确定的、链路长的、烧 token 的。本文讲清可观测性的三层：trace（每步 LLM/工具调用）、eval（输出质量自动评测）、metric（延迟/token/成本告警），以及怎么把它们接进开发循环，让 AI 应用从"上线后黑盒"变"可调试可改进"。
#大模型 #DevOps♥ 210 评论
AI 遥测高基数预算：控制租户、Prompt 与 Trace 标签爆炸
AI 请求天然携带模型、租户、Prompt 版本和工具链等高维信息。本文给出指标标签分层、基数预算、OpenTelemetry 属性裁剪、Prometheus 验收与超限回滚方案。
#AI #大模型 #DevOps♥ 00 评论
LLM 工具调用工程化：让 Function Calling 稳定、幂等、可恢复
"Function Calling 的难点不是让模型返回函数名，而是处理选错工具、参数漂移、重复执行、超时与部分成功。本文给出工具契约、执行器、幂等、重试和确认机制的完整设计。"
#大模型 #AI Agent♥ 220 评论
AI 用量事件计量账本：幂等去重、迟到修正与可审计出账
网关重试、流式分段和供应商回调会制造重复或迟到用量。本文设计不可变 usage event、唯一去重键、冲突隔离、账期水位和三方对账流程。
#AI #大模型 #独立开发♥ 500 评论