技术实践

最近在做公司内部的知识库搜索系统时，遇到一个很现实的问题：用户搜索"Python异步编程"，结果只返回了包含完全匹配这个词的文档，但实际上很多关…

这篇笔记想解决几件具体事：

回到我的文本分类项目，具体需求是这样的：

这次项目要部署一个 7B 参数的大模型，一开始单次推理要 30 秒，用户根本接受不了。

当一个模型越来越聪明，越来越能做决策时，光靠训练时的奖励机制已经不够了。

大概从2023年开始，我就在思考一个很现实的问题：我们做的产品，核心能力是不是都依赖GPT？

这在某些场景下表现不错：

去年搞一个文本分类模型时，测试集准确率到了 99.2%，团队都觉得"稳了"。

最开始的想法是：用关键词匹配，比如 TF-IDF 或者 BM25。

我们的数据主要有三类： 1. **代码-注释对**：从内部仓库提取的代码文件和对应注释 2.…