大模型应用最大的坑是什么？聊聊

做大模型应用这两年，踩过最大的坑不是技术，是"高估了模型的理解力"。

demo 里你精心设计的 prompt 跑得很好，上线后用户用各种你没想到的方式提问，模型就翻车。你以为它"懂了"，其实它只是在你精心构造的输入上表现好。

我现在做应用第一件事是想"用户会怎么瞎用"，然后构造对抗样本测试。模型不会让你失望——它总会以你想不到的方式失望。

大家踩过最深的坑是啥？欢迎聊聊。