知识蒸馏

这次的具体需求有三个硬指标： 1. 模型大小要控制在 500MB 以内（目标设备是 4GB …

项目里那个 7B 参数的模型训练好了，部署到推理服务器上时，CPU 占用直接拉满，延迟干到了 3 秒多。