BPE

在开始动手之前，我先想清楚了自己的需求： 1. **词表可控**：我需要能根据自己的语料库来构建词表，而不是依赖别人预训练好的词表 2. **…

项目最初用的是 BERT 的 WordPiece 分词器，数据主要是中文和英文。