Attention

在我的实际项目中，具体遇到了这些问题： 1. **长文档分类**：需要对500-1000字的技术文档进行分类，RNN经常记不住文档的主题 2.…

测试时我们发现：当关键信息出现在 token 序列的前 20% 时，准确率会比出现在后 20% 低 15 个百分点。