定义概述
子词切分是一种介于「按字切分」与「按词切分」之间的文本离散化方法：常见词保留为整词，罕见词拆分为更小子词或字符，从而在控制词表规模的同时降低未登录词问题。切分结果与词表共同构成分词器（Tokenizer）。 齐e慧享
背景与发展
早期统计机器翻译与神经模型常使用整词词表，面临词表爆炸与未登录词问题。字节对编码（BPE）从压缩算法引入自然语言处理后被广泛采用，随后出现基于似然的 WordPiece 与将空格纳入建模的 SentencePiece，使多语言与无空格语言的处理更统一。 齐e慧享
核心特点
- 词表规模折中：通常在数万量级，兼顾表达力与嵌入参数量。
- 未登录词缓解：罕见词可退化为子词或字符表示。
- 多语言适配：共享词表可降低多语言模型参数量。
- 切分粒度影响：粒度越细，序列越长、计算成本越高。
- 字节级回退：以字节为最小单元可覆盖任意输入。
典型应用
大语言模型与翻译模型的前置处理、多语言模型训练、代码模型（需处理缩进与标识符）、中文与日文等无空格语言建模，以及计费与上下文长度统计的依据。 齐e慧享
局限与争议
切分粒度会造成同一词在不同上下文中的表示不一致，影响数字与算术类任务；词表设计对低资源语言不友好，可能导致序列被过度切分并增加成本；分词器与模型必须严格配套，替换会破坏权重语义。 齐e慧享