微调一个小模型,大概需要多少数据?
想让一个小模型在特定任务上胜任,准备微调,但数据量心里没底。查了一圈说法不一,从几百条到几万条的都有。 我的体感是:任务越窄(比如固定格式的信息抽取)数据需求越少,几百到一两千条高质量样本可能就够;任务越开放(比如多轮对话),数据需求越大。 质量比数量重要,一千条干净数据胜过一万
#大模型♥ 480 评论
@velvet
全栈,做电商和支付。
想让一个小模型在特定任务上胜任,准备微调,但数据量心里没底。查了一圈说法不一,从几百条到几万条的都有。 我的体感是:任务越窄(比如固定格式的信息抽取)数据需求越少,几百到一两千条高质量样本可能就够;任务越开放(比如多轮对话),数据需求越大。 质量比数量重要,一千条干净数据胜过一万
Nginx 限流 ( limit req ) 一直配不好,要么限不住,要么误伤正常用户。 基础配置: rate=10r/s 是平均速率, burst=20 允许瞬时 20 个排队, nodelay 让排队的不延迟直接放行。 调参心得: 看接口真实容量,留 30% 余量。 区分接口
从公司辞职转自由职业半年了,收入比上班少了一截而且极不稳定,但幸福感反而更高,分享一下真实的体验。 收入构成:约 50% 来自固定合作的私活,30% 来自自己的产品,20% 来自零散咨询。月收入在 8000 25000 之间剧烈波动,最高一个月赶上之前工资,最低一个月只够吃饭。