用队列指标扩缩 Kubernetes AI Worker：HPA 稳定性实战
CPU 指标无法及时反映 AI 队列积压与模型预热。本文用 autoscaling/v2 外部指标建立 backlog 扩缩容，覆盖指标语义、启动延迟、稳定窗口、失效测试和回滚。
#AI #大模型 #DevOps♥ 1030 评论
#大模型
专题介绍
这里聚合 CodeNodeX AI 社区中与 大模型 相关的技术文章和讨论，覆盖概念解释、工具对比、工程实践、常见问题和独立开发经验。
如果你正在研究 大模型，建议先阅读高质量长文，再参与帖子讨论，形成从理解到实践的完整路径。
Kubernetes GPU 设备分配：从 Device Plugin 到 DRA 的拓扑隔离
GPU 数量可调度不等于设备、CPU 与内存拓扑正确。本文区分 Device Plugin 和 DRA 的职责，给出 API 探测、NUMA 对齐、租户隔离、验收与回滚方法。
#AI #大模型 #DevOps♥ 1040 评论
Kubernetes 推理 Pod 优雅下线：摘流、在途请求与终止预算
推理 Pod 退出时仅设置 preStop 或延长 grace period 仍可能丢请求。本文串联 readiness、EndpointSlice、SIGTERM、在途计数、PDB、故障测试与回滚。
#AI #大模型 #DevOps♥ 1050 评论
Kubernetes 模型权重分发：节点缓存、摘要校验与回滚
大模型权重不能在每次 Pod 启动时无校验下载。本文比较 init container、共享卷与 DaemonSet 节点缓存，给出不可变摘要、原子发布、容量回收和回滚验收流程。
#AI #大模型 #DevOps♥ 1060 评论
Kueue 管理 AI 批任务：配额借用、准入与抢占边界
训练与批量推理不应靠创建大量 Pending Pod 抢 GPU。本文用 Kueue 的 LocalQueue、ClusterQueue 和 ResourceFlavor 建立租户准入、配额借用、抢占与回滚流程。
#AI #大模型 #DevOps♥ 1070 评论
KV Cache 准入与淘汰：在显存耗尽前控制长会话和优先级
KV Cache 不是先到先得的剩余显存。本文从请求级显存估算、租户预算、块式分配、抢占代价和前缀隔离设计可测量的准入与淘汰控制面。
#AI #大模型 #DevOps♥ 00 评论
LLM 上下文消息序列 Dispatch：Role 边界、工具回合与中断重组
上下文能装进窗口不代表消息序列合法。本文把 role、tool call/result、序列化请求和流式 block 固定为一次 dispatch manifest，阻止半截工具参数或旧流进入下一轮。
#大模型 #AI Agent #DevOps♥ 1100 评论
LLM 上下文 token 预算准入：预留、降级梯与拒绝契约
超窗后临时截断会把成本问题变成错误回答。本文把上下文装配改成服务端准入协议，用分桶预留、确定性降级梯和结算指标控制每次调用。
#AI #大模型 #DevOps♥ 1110 评论
LLM 网关路由策略：按能力、风险与预算分流，而不是随机挑模型
生产 LLM 网关不能只做轮询。本文给出能力约束、数据边界、延迟预算、成本上限、健康状态与降级顺序共同驱动的可审计路由策略。
#AI #大模型 #DevOps♥ 00 评论
LLM-as-a-Judge 校准：盲化人工锚点、偏差探针与发布门禁
Judge 与人工评分相关，不代表它能稳定比较新模型。本文把盲化锚点、位置互换、风格反事实、校准映射和 Judge release 组成可复验的裁判准入合同。
#AI #大模型 #DevOps♥ 1130 评论
长上下文位置回归测试：证据平移、干扰与截断门禁
同一证据放在开头能答对，移到中段却可能漏读。本文构造位置可控的变形样本，按最差位置而非平均分阻断模型与装配器退化。
#AI #大模型 #DevOps♥ 1150 评论
Function Calling 深度：从工具调用到可靠执行
Function Calling 是 Agent 影响真实世界的接口，但"模型说我要调工具"和"可靠地执行完"之间隔着好几道工程关。本文讲清它的工作机制、并行与多轮调用、参数校验与错误恢复，以及它和 MCP 的关系——把 function calling 从"能跑"用到"生产可靠"。
#大模型 #AI Agent♥ 280 评论