分词器

项目最初用的是 BERT 的 WordPiece 分词器，数据主要是中文和英文。