LLaMA-2 7B 中文词表扩充实战新增 17953 个 Token 后 PPL 降低 15%1. 为什么需要中文词表扩充当我们将英文基座大模型如LLaMA-2适配到中文场景时原始的词表Vocabulary设计往往成为第一个需要突破的瓶颈。英文为主的模型通常采用BPEByte Pair Encoding分词算法这种算法在处理中文时存在几个显著问题汉字被拆分为字节级单元一个中文字符可能被拆分为3个独立的token导致序列长度膨胀语义单元割裂像人工智能这样的专业术语会被拆分为单字丢失整体语义计算效率低下更长的序列意味着更高的计算成本和更差的推理速度我们通过对比实验发现在相同的中文语料上原始LLaMA-2词表平均每个中文字符消耗1.8个token扩充后的词表降至1.1个token/字序列长度减少约40%2. 词表扩充技术方案2.1 整体流程设计词表扩充的核心流程可分为四个关键步骤graph TD A[中文语料准备] -- B[新词表训练] B -- C[词表合并] C -- D[嵌入层初始化]2.2 中文语料选择优质的中文语料是训练有效词表的基础。我们推荐以下数据源组合语料类型推荐比例示例来源特点通用网络文本40%Common Crawl中文部分覆盖日常用语和网络表达专业领域文本30%学术论文、技术文档包含专业术语和领域词汇高质量书籍20%开源电子书语言规范句式丰富代码注释10%GitHub中文项目包含技术术语和代码相关表达2.3 使用SentencePiece训练新词表我们采用SentencePiece工具训练中文子词词表关键参数配置如下import sentencepiece as spm spm.SentencePieceTrainer.train( inputcorpus.txt, model_prefixchinese_sp, vocab_size20000, # 目标词表大小 character_coverage0.9995, # 字符覆盖度 model_typebpe, # 使用BPE算法 max_sentence_length16384, # 最大句子长度 pad_id0, unk_id1, bos_id2, eos_id3, user_defined_symbols[|im_start|, |im_end|] # 添加特殊token )训练完成后我们需要分析生成的词表检查高频词是否被合理合并确保专业术语保持完整验证生僻字是否被正确处理3. 词表合并实战3.1 合并算法实现原始LLaMA-2词表与中文词表的合并需要特殊处理以下是关键代码片段def merge_vocab(original_vocab, new_vocab, reserved_tokens100): 合并两个词表保留原始词表的前N个token # 保留原始词表的基础token merged original_vocab[:reserved_tokens] # 添加新词表中不重复的token existing_tokens set(original_vocab) for token in new_vocab: if token not in existing_tokens: merged.append(token) existing_tokens.add(token) return merged注意实际操作中需要处理更复杂的边界情况如特殊token的冲突处理、字节级token的兼容性等3.2 嵌入层初始化策略新增token的嵌入向量初始化直接影响模型性能我们对比了三种方法初始化方法PPL降低幅度训练稳定性适用场景随机初始化8-10%较差小规模扩充(5k token)相近语义字平均12-14%良好中等规模扩充聚类中心初始化14-16%优秀大规模扩充(10k token)推荐使用聚类中心初始化方法def init_embeddings(original_emb, new_tokens, tokenizer): # 使用k-means在原始嵌入空间寻找聚类中心 from sklearn.cluster import KMeans kmeans KMeans(n_clusterslen(new_tokens)) kmeans.fit(original_emb) # 将新token分配到最近的聚类中心 new_emb kmeans.cluster_centers_ return new_emb4. 完整实现与性能对比4.1 端到端实现脚本我们提供完整的Python实现脚本包含以下功能中文语料预处理SentencePiece词表训练词表合并与冲突解决嵌入层初始化模型保存与测试# 示例主流程控制 def main(): # 1. 训练中文词表 train_chinese_spm(zh_corpus/*.txt) # 2. 加载原始LLaMA tokenizer orig_tokenizer AutoTokenizer.from_pretrained(meta-llama/Llama-2-7b) # 3. 合并词表 merged_vocab merge_vocabs(orig_tokenizer, chinese_sp.model) # 4. 初始化新token的嵌入 model AutoModelForCausalLM.from_pretrained(meta-llama/Llama-2-7b) init_new_embeddings(model, merged_vocab.new_tokens) # 5. 保存扩充后的模型 save_expanded_model(model, merged_vocab, llama2-7b-zh-expanded)4.2 性能对比数据我们在相同的中文测试集100万字上对比了扩充前后的性能差异指标原始词表扩充词表提升幅度困惑度(PPL)45.238.415.0%推理速度(tokens/s)12818544.5%显存占用(GB)12.813.12.3%序列平均长度18501120-39.5%5. 实际应用建议5.1 词表大小权衡根据我们的实践经验推荐以下词表扩充策略通用场景新增15k-20k中文token专业领域新增5k专业token 10k通用token多语言支持每种语言新增10k-15k token提示词表并非越大越好过大的词表会导致嵌入层参数膨胀增加计算开销5.2 后续训练策略词表扩充后建议采用两阶段训练嵌入层微调阶段冻结所有参数只训练新token的嵌入使用较高学习率(1e-4)约1-2个epoch全参数微调阶段解冻所有参数使用较低学习率(5e-6)3-5个epoch5.3 常见问题解决问题1扩充后模型输出乱码检查词表合并时是否保留了原始字节级token验证新token的嵌入初始化是否合理问题2训练loss波动大降低初始学习率增加warmup步数检查语料质量问题3推理速度提升不明显确认实际输入序列是否缩短检查是否启用了正确的tokenizer版本