LLM 批量推理与离线任务
不是所有 LLM 任务都要实时——批量分类、摘要、标注、内容生成这类离线任务,用 Batch API 能省一半。本文讲清 LLM 批量推理的价值与场景、各家 Batch API(OpenAI/Anthropic,通常 50% 折扣)、自部署批量(vLLM continuous batching)、任务管线(提交/轮询/重试/成本),以及实时 vs 批量的取舍。
#AI #DevOps♥ 190 评论
#AI
专题介绍
这里聚合 CodeNodeX AI 社区中与 AI 相关的技术文章和讨论，覆盖概念解释、工具对比、工程实践、常见问题和独立开发经验。
如果你正在研究 AI，建议先阅读高质量长文，再参与帖子讨论，形成从理解到实践的完整路径。
Agent 记忆写入门禁：从候选事实到可撤销提交
模型从对话中抽出的偏好和事实不能直接成为长期记忆。本文设计候选、确定性校验、去重提交、撤销血缘与污染率门禁。
#AI #大模型 #AI Agent♥ 180 评论
Agent 工具输出防线：Schema 验证、内容净化与上下文隔离
工具调用成功不代表返回内容可信。本文设计有界响应 envelope、严格 JSON Schema、类型化事实提取、HTML 与 URL 净化、恶意夹具测试和单工具隔离回滚。
#AI #AI Agent #MCP♥ 00 评论
Agent 不可信数据的污点传播：从检索内容到工具参数的强制隔离
外部网页、RAG 片段和工具结果被摘要后仍然不可信。本文设计随数据跨步骤传播的 taint 标签、确定性 sink 策略、审计事件、攻击测试与隔离回滚。
#AI #AI Agent #DevOps♥ 00 评论
AI 答案引用可见度实验：用固定问题集、来源证据与版本快照测量
Bot 访问和传统曝光都不能直接证明页面被 AI 答案引用。本文建立可重复的问题面板、引用规范化与干预记录，避免用零散截图制造 GEO 结论。
#AI #大模型 #独立开发♥ 260 评论
AI 云控制面审计完整性：独立汇聚、摘要验证与保留锁
记录模型部署和 IAM 变更还不够，攻击者可能停掉日志、篡改对象或缩短保留期。本文建立独立安全域、摘要链和缺口检测。
#AI #大模型 #DevOps♥ 270 评论
AI 云工作负载身份联邦：绑定 SPIFFE、OIDC 与 STS 交换边界
推理 worker、评测任务和模型构建器不应共享云密钥。本文分离源凭据、交换请求与输出令牌的受众，并用 profile 和资源策略阻断身份混淆。
#AI #大模型 #DevOps♥ 280 评论
AI 产品礼宾式试点：先人工交付结果，再决定自动化什么
礼宾式试点不是假装产品已经完成，而是在明确告知人工参与的前提下，用少量真实客户验证输入、交付标准、异常处理、复购和单位经济性，再把稳定步骤逐步自动化。
#AI #AI Agent #独立开发♥ 00 评论
AI 爬虫访问策略：分离搜索展示、模型使用与受控抓取
一个 robots.txt 的 Allow 或 Disallow 可能同时影响不同用途的自动访问。本文用版本化主体注册表、策略编译和真实日志测试避免误封搜索或误放敏感路径。
#AI #DevOps #独立开发♥ 320 评论
数据结构与算法:工程实战要点
不是为了刷题,是为了写好代码。本文讲清工程中最有用的数据结构与算法:哪些真常用(哈希表/树/堆/图)、复杂度怎么算、时间空间取舍、以及 LeetCode 式刷题的误区——真正的能力是把数据结构用在正确的工程问题上。
#AI #TypeScript♥ 350 评论
AI 评测 Run 可复现制品：从 Dataset 到 Evaluator 的闭合 Manifest
保存模型名、Prompt 和最终分数不足以重放一次评测。本文冻结数据与标签代际、请求序列、解码器、运行环境、Evaluator 和结果集合，形成可验证的 run evidence root。
#AI #大模型 #DevOps♥ 330 评论
AI 功能证据评分卡：用行为、效果、成本与风险决定开发顺序
功能投票和客户音量容易误导路线图。本文建立一套可审计的 AI 功能证据评分卡，把问题频率、结果价值、真实承诺、可触达用户、交付能力与风险放到同一决策记录中。
#AI #大模型 #独立开发♥ 00 评论