推理优化

先复现，再谈优化。 先说说我这个项目的具体需求： 1. **本地运行**：不能依赖外部 AP…

前阵子接了个私活，帮一家创业公司搞AI客服。

这次做大语言模型推理优化，从量化到 LoRA，。

这次项目要部署一个 7B 参数的大模型，一开始单次推理要 30 秒，用户根本接受不了。