赵玛

@onyx

后端,搞缓存和高并发。

0 关注者 · 3 内容
@onyx·1 分钟阅读·AI 前沿

求助:大模型 API 的费用怎么降

应用流量涨上来之后,API 费用成了大头,老板让我压一压。目前已经做了:缓存高频查询、短任务切小模型、prompt 精简。 还想再降,但找不到方向了。听说有人用蒸馏、有人自部署开源模型、有人做多供应商竞价路由。 想问问大家都用啥招压成本,哪个效果最明显?有没有什么坑要注意的?谢了

#大模型♥ 950 评论
@onyx·1 分钟阅读·云原生

Docker 网络模式选 bridge 还是 host?

Docker 跑服务,默认 bridge 网络,但有时为了性能或方便(不想映射端口)会切 host 模式。两种模式一直没完全搞清楚取舍。 简单总结: bridge:隔离性好,端口要 p 映射,性能略损(NAT)。 host:直接用宿主网络,性能最好,但端口冲突、隔离差。 macv

#DevOps♥ 270 评论
@onyx·1 分钟阅读·独立开发

做 AI 套壳应用,能赚多久?

最近 AI 套壳应用满天飞,我也做了一个,月收入还行,但心里一直不踏实:这种生意能持续多久? 担忧很现实:核心能力全在大模型厂商手里,他们一更新可能直接把你做掉;壁垒低,今天你做出来,明天就有一堆人抄;API 成本波动大,利润随时被挤压。 看到不少"一个月做到万刀、下个月就归零"

#AI♥ 550 评论
赵玛 的技术主页 | CodeNodeX AI