Tokenization

在开始动手之前，我先想清楚了自己的需求： 1. **词表可控**：我需要能根据自己的语料库来构建词表，而不是依赖别人预训练好的词表 2. **…