注意力机制

测试时我们发现：当关键信息出现在 token 序列的前 20% 时，准确率会比出现在后 20% 低 15 个百分点。

把CNN换到ViT时踩过的坑上手并不难，难的是稳定跑起来。