M1 · 分词全景
分词器是 LLM 的咽喉：把人类文本切成模型能消化的子词单元。从原始文本到 Token ID，再到词表查询与编解码回路，本模块呈现分词流水线全貌。
M2 · BPE 算法
Byte-Pair Encoding 是最主流的子词算法：统计相邻符号对频率，反复合并最高频对，逐步构造词表。本模块拆解合并规则、频率统计、迭代过程与词表增长。
M3 · WordPiece & SentencePiece
BPE 之外的两大家族：WordPiece 用最大似然贪心匹配（## 前缀标记词内），SentencePiece 直接处理原始字节流、与语言解耦，Unigram 模型则基于概率做最优切分与子词正则。
M4 · Tokenizer 对比
不同分词器在原理、多语言表现与效率上差异显著。BPE 频率驱动、WordPiece 似然驱动、Unigram 概率驱动，三者对同一文本产出不同 Token 数与切分边界。
M5 · 词表设计
词表大小是核心权衡：太小则 fertility 升高、序列变长；太大则 embedding 参数膨胀、罕见词浪费。还需设计特殊 Token、领域适配词与多语言覆盖配额。
M6 · Token 压缩
同样的文本，好的分词器用更少 Token 表达。字节回退兜底未知字符、高效编码压缩序列、压缩比与 Token 效率直接决定推理成本与上下文利用率。
M7 · 多语言分词
分词器对语言极不平等：中日韩常被切成单字、阿拉伯语词形变化丰富、代码需保留缩进与运算符、Emoji 与文字混排挑战边界。多语言能力是分词器设计的硬仗。
M8 · 应用场景
分词器不止服务训练：它决定 LLM 训练语料覆盖、API 计费成本、搜索索引粒度与内容审核边界。同一个 Token，在不同场景承担不同角色。