Multi-LoRA 在线服务隔离:适配器身份、显存配额与跨租户防串用
在同一基础模型上动态挂载多个 LoRA 可以节省 GPU,却引入制品替换、缓存污染和跨租户串用风险。本文设计可信注册、资源限额、批处理隔离和逐适配器回滚。
Articles
沉淀 AI、Web、云原生和独立开发经验。
在同一基础模型上动态挂载多个 LoRA 可以节省 GPU,却引入制品替换、缓存污染和跨租户串用风险。本文设计可信注册、资源限额、批处理隔离和逐适配器回滚。
主流大模型都已原生支持图像输入,"看图说话"从玩具变成了产品能力。本文讲清 Vision 模型擅长什么、典型产品场景(文档解析/客服/审核/无障碍),以及工程实现的要点——图片 token 成本、预处理、prompt 设计、局限与坑,帮你判断"这个功能该不该用 Vision"。
全平台共用一把 KMS Key 只能证明数据被加密,不能阻止跨租户替换与误解密。本文设计租户密钥层级、上下文绑定、缓存和恢复验收。
Lighthouse 跑分高但用户还觉得慢?实验室(模拟)和现场(真实用户)差距可能很大。本文讲清两种数据的区别、为什么以现场为准(真实设备/网络/行为)、怎么收集现场数据(CrUX/web-vitals 库/RUM),以及两种数据各自的用途。
命中率上升不代表缓存正确。本文为托管与自建前缀缓存定义作用域、内容身份、授权 epoch、命中复核和跨租户负向测试。
应用怎么连数据库,决定了能扛多少并发。本文讲清三种连接架构:应用内池(Prisma/node-pg-pool)、连接代理、Serverless 连接池(PgBouncer transaction 模式),各自的适用与并发瓶颈,以及 Serverless 场景的特殊解法(Neon/SUPABASE pooler)。
上传成功不代表媒体可以直接交给模型。本文为图像、音频和视频建立探测、解码、限额、方向与色彩修正、规范化摘要及版本回滚契约。
微服务多了,mTLS/流量控制/可观测每个服务都要做一遍?服务网格把这些从代码里抽出来,做成基础设施。本文讲清服务网格的核心(Sidecar 代理)、Istio(功能全重)vs Linkerd(轻量)的取舍、它解决什么(统一 mTLS/流量/可观测)、以及什么时候该上(大型微服务)什么时候不该。
在页面顶层添加 use client 会把静态会话、Markdown 依赖和工具面板一起带进客户端图。本文按 Next.js 16.2.6 建立边界清单、冷启动夹具和可回滚的水合门禁。
组件怎么拆、状态怎么管、逻辑怎么复用——这些是"设计模式"决定的。本文讲清 React 常用模式:容器/展示分离、自定义 Hook(逻辑复用)、Render Props、Compound Components、Provider 模式,以及每个模式解决什么问题。
AI 回答已输出一半后断开,简单重试可能重复文本、重复工具副作用或丢失上下文。本文建立事件日志、恢复游标、错误分类和安全重试边界。
组织架构、菜单树、评论嵌套——层级数据用 JOIN 查不了 N 层,递归 CTE 一条 SQL 搞定。本文讲清 CTE(WITH 子句)的用途、递归 CTE 的写法(anchor + recursive)、层级查询实战、PG 14+ 的 MATERIALIZED 改动。