模型训练

后来硬着头皮从头实现了一遍 Transformer，过程中踩了不少坑，也算是对这个架构有了些实际体会。

我们的数据主要有三类： 1. **代码-注释对**：从内部仓库提取的代码文件和对应注释 2.…

按教程设置0.001，开始训练，盯着loss曲线等它下降，然后隔几轮降低学习率。