指尖魔法屋
  • 文章
  • 分类
  • 标签
  • 时间轴
  • 关于
  • 联系
  • 🔍

分词

分词 Tokenization BPE
把文本换到Token时踩过的坑
在开始动手之前,我先想清楚了自己的需求: 1. **词表可控**:我需要能根据自己的语料库来构建词表,而不是依赖别人预训练好的词表 2. **…
醉月思 醉月思
📁 技术实践
📅 2025-12-18
Copyright © 2017-2026 指尖魔法屋. All rights reserved POWERED BY thinkBlog · v6.1.0 关于 · 联系 · 隐私政策 · Cookie 政策 本站已顽强运行:加载中...
粤ICP备17055617号