1. 项目缘起当韩语LLM遇上“臃肿”的词表最近在折腾一个韩语大语言模型LLM的本地部署项目目标很明确在有限的消费级GPU上比如我的RTX 4090 24GB跑起一个能流畅对话、理解复杂韩语语境的模型。一开始我直接选用了市面上一个知名的、参数量在70亿级别的多语言开源模型。本以为硬件够用但实际跑起来才发现问题出在一个意想不到的地方——词表Vocabulary。这个模型为了覆盖全球上百种语言词表大小膨胀到了惊人的六位数级别。对于韩语任务而言这意味着大量宝贵的显存和计算资源被那些在韩语中几乎永远不会出现的拉丁字母组合、西里尔字符甚至emoji词元所占据。每次前向推理模型都要处理这个庞大的词表矩阵带来了巨大的内存开销和计算延迟。更直观的感受是在生成韩语长文本时吞吐量Tokens per Second明显上不去而且显存占用一直处于高位稍微开大点上下文长度就告警。这让我开始思考一个在英中模型优化中常见但在韩语场景下讨论较少的技术词元剪枝Token Pruning。简单说就是给模型的词表“瘦身”剔除掉对目标语言这里是韩语贡献极低甚至为零的词元从而在基本不损失模型核心能力的前提下显著提升推理效率和降低资源消耗。这不仅仅是“删除文件”那么简单它涉及到对模型嵌入层Embedding Layer和输出层LM Head的精准外科手术以及剪枝后模型性能的评估与微调是一个典型的在性能Performance与效率Efficiency之间寻找最优平衡点的工程。2. 理解词元剪枝为何它对韩语LLM尤为关键词元剪枝的核心思想是移除冗余。对于一个多语言大模型其词表可以看作是一个巨大的“词典库”。训练时模型学习了所有词元包括子词的向量表示以及它们之间的关系。但在特定语言场景下比如我们只关心韩语那么词表中可能超过一半的词元如其他语言的字符、生僻符号的利用率趋近于零。这些“僵尸词元”不仅占用静态的存储空间嵌入矩阵的参数量更在每次推理的动态计算中成为负担。2.1 韩语文本的特性与词表设计的挑战韩语한글是一种字母文字但其书写单位是音节块자모。在子词切分算法如BPE、WordPiece中韩语文本通常会被切分成三种类型的词元完整音节块词元如 “합니다”, “입니다”这些高频敬语结尾有独立的词元。子音节或字母词元如 “하”, “ᆫ”, “다”BPE算法可能会将音节拆解。其他语言/符号词元多语言词表中大量存在的英文单词、中文汉字、标点、数字等。问题在于一个为多语言设计的通用词表其词元分布是面向训练语料全局优化的。韩语语料在其中占比可能并不高导致词元利用率极端不均少数高频韩语词元被反复使用而大量其他语言词元在纯韩语任务中从未被激活。嵌入矩阵稀疏嵌入层Embedding Layer是一个[词表大小V, 隐藏维度H]的矩阵。V很大例如10万但实际前向传播时输入的韩语句子只激活了其中几千个行向量。这造成了巨大的内存带宽浪费因为GPU需要从显存中读取整个大矩阵但大部分数据不被使用。输出层计算开销模型在每个时间步都需要计算所有V个词元的logits得分以进行下一个词元的预测。这个[H, V]的矩阵乘法是计算瓶颈之一。减少V能直接降低计算量。2.2 剪枝带来的效率收益分析假设原词表大小V_original 100,000隐藏维度H 4096。嵌入层参数减少ΔV * H个参数。若剪掉50%的词元则参数减少约2亿个100,000 * 0.5 * 4096 ≈ 2.05亿。这直接转化为显存占用的下降。输出层参数同样减少ΔV * H个参数。推理速度计算量FLOPs的减少主要来自输出层矩阵乘。同时更小的张量意味着更好的缓存利用率和更低的延迟。在实际测试中对于序列生成任务词表缩小30%-50%吞吐量提升20%-40%是常见的。注意剪枝并非没有代价。粗暴地删除词元可能会破坏模型在训练中学到的某些语言间的隐式对齐关系例如某些语义概念在不同语言词元间的向量空间几何关系。因此剪枝策略需要精心设计。3. 实战为韩语LLM实施词元剪枝的完整流程下面我将结合具体工具和代码拆解从分析到落地的完整步骤。我以 Hugging Facetransformers库中的某个多语言模型例如bigscience/bloom-560m此处仅作流程示例和韩语语料为例。3.1 第一步词元使用频率分析与目标词元筛选剪枝的前提是知道“剪哪些”。我们需要一个代表性的韩语语料库如来自AI Hub的韩语维基百科dump、新闻文本、对话数据集来分析词元的使用情况。from transformers import AutoTokenizer import collections import json # 1. 加载原始模型和分词器 model_name bigscience/bloom-560m # 示例模型请替换为你的目标模型 tokenizer AutoTokenizer.from_pretrained(model_name) # 2. 加载并处理韩语语料假设我们有一个文本文件列表 corpus_files [“korean_corpus.txt] token_counter collections.Counter() for file in corpus_files: with open(file, r, encodingutf-8) as f: for line in f: line line.strip() if line: # 使用分词器将文本转换为词元ID tokens tokenizer.encode(line, add_special_tokensFalse) token_counter.update(tokens) # 3. 统计频率并排序 total_tokens sum(token_counter.values()) token_freq {tokenizer.convert_ids_to_tokens([tid])[0]: count/total_tokens for tid, count in token_counter.items()} # 按频率降序排序 sorted_tokens sorted(token_freq.items(), keylambda x: x[1], reverseTrue) # 4. 设定阈值选择要保留的词元 # 策略A保留频率最高的前K个词元 top_k 30000 tokens_to_keep [tok for tok, freq in sorted_tokens[:top_k]] # 策略B保留累计频率达到一定比例的词元如99.5% target_coverage 0.995 cumulative_freq 0.0 tokens_to_keep_b [] for tok, freq in sorted_tokens: cumulative_freq freq tokens_to_keep_b.append(tok) if cumulative_freq target_coverage: break print(f“保留 {len(tokens_to_keep_b)} 个词元覆盖了 {cumulative_freq*100:.2f}% 的语料。”) # 5. 必须保留特殊词元如[CLS], [SEP], [PAD], [UNK]等 special_tokens list(tokenizer.special_tokens_map.values()) for st in special_tokens: st_id tokenizer.convert_tokens_to_ids(st) if st_id is not None and tokenizer.convert_ids_to_tokens([st_id])[0] not in tokens_to_keep_b: tokens_to_keep_b.append(tokenizer.convert_ids_to_tokens([st_id])[0]) # 最终确定要保留的词元列表 final_tokens_to_keep list(set(tokens_to_keep_b)) # 去重关键决策点选择top_k还是target_coverage这取决于你的效率目标和性能容忍度。top_k直接控制词表大小目标明确。target_coverage则从信息保真度出发。对于韩语我通常先用一个中等规模的语料1-10GB文本跑target_coverage0.995观察保留的词元数量再根据硬件限制微调。3.2 第二步重构分词器与嵌入矩阵确定了要保留的词元ID列表后我们需要创建一个新的、词表更小的分词器并相应地裁剪模型的嵌入矩阵。from transformers import AutoModelForCausalLM, AutoTokenizer import torch # 1. 加载原始模型和分词器 model_name bigscience/bloom-560m original_model AutoModelForCausalLM.from_pretrained(model_name) original_tokenizer AutoTokenizer.from_pretrained(model_name) # 假设我们已经有了 final_tokens_to_keep (词元字符串列表) # 2. 创建新的词汇表映射 new_vocab {} new_ids_to_tokens [] for token in final_tokens_to_keep: original_id original_tokenizer.convert_tokens_to_ids(token) if original_id is not None: new_vocab[token] len(new_vocab) # 新的ID从0开始连续分配 new_ids_to_tokens.append(token) # 处理原始词表中可能不在final_tokens_to_keep里的词元将它们映射到[UNK] original_vocab_size original_tokenizer.vocab_size new_vocab[“unk“] len(new_vocab) # 确保[UNK]存在 unk_token_id new_vocab[“unk“] # 3. 创建新的分词器这里以复制配置并修改词汇表为例 from transformers import BloomTokenizerFast # 根据原分词器类型选择 new_tokenizer BloomTokenizerFast.from_pretrained(model_name) # 更新分词器的词汇表和映射 new_tokenizer.vocab new_vocab new_tokenizer.ids_to_tokens {new_id: tok for tok, new_id in new_vocab.items()} new_tokenizer._tokenizer.model.vocab new_vocab # 针对底层tokenizers库的操作视具体分词器而定 # 这是一个简化示例实际操作中可能需要更深入地克隆和修改分词器内部状态。 # 更稳健的做法是使用 tokenizers 库从头构建一个BPE分词器并加载保留的词元。 # 4. 裁剪模型嵌入层和输出层 original_embedding original_model.transformer.word_embeddings # Bloom模型结构 original_lm_head original_model.lm_head # 获取要保留的原始词元ID keep_original_ids [original_tokenizer.convert_tokens_to_ids(tok) for tok in final_tokens_to_keep if original_tokenizer.convert_tokens_to_ids(tok) is not None] # 从原始嵌入矩阵中提取对应的行 new_embedding_weight original_embedding.weight[keep_original_ids, :].clone() new_lm_head_weight original_lm_head.weight[keep_original_ids, :].clone() # 因果语言模型通常共享权重 # 5. 创建新模型这里需要手动创建一个新模型实例并替换权重 # 由于直接修改模型结构较复杂一个更实用的方法是 # A. 保存新的分词器。 # B. 保存裁剪后的权重矩阵。 # C. 在一个脚本中加载原始模型结构然后手动替换其中的嵌入层和输出层为更小的版本。 # 以下是一个概念性代码 class PrunedBloomForCausalLM(AutoModelForCausalLM.__class__): # 为了简化这里省略了完整的类定义。实际操作中你可能需要 # 1. 复制原始模型的配置config并修改其中的 vocab_size 参数。 # 2. 用这个新配置实例化一个“空”模型。 # 3. 将原始模型的其他权重除了嵌入层和lm_head复制过来。 # 4. 将裁剪后的 new_embedding_weight 和 new_lm_head_weight 赋值给新模型的对应层。 pass # 更简单直接的方案针对某些架构 from transformers import BloomConfig, BloomForCausalLM # 修改配置中的词表大小 new_config BloomConfig.from_pretrained(model_name) new_config.vocab_size len(new_vocab) # 用新配置创建模型 pruned_model BloomForCausalLM(new_config) # 将原始模型除了word_embeddings和lm_head之外的权重复制过来 # 注意这是一个复杂操作需要按模块名逐一匹配此处仅为示意。 with torch.no_grad(): # 复制所有其他层的权重... for name, param in original_model.named_parameters(): if “word_embeddings” not in name and “lm_head” not in name: # 找到pruned_model中对应的参数并复制 parts name.split(‘.’) target_param pruned_model for part in parts[:-1]: target_param getattr(target_param, part) setattr(target_param, parts[-1], param.data.clone()) # 赋值裁剪后的嵌入层和输出层权重 pruned_model.transformer.word_embeddings.weight.data new_embedding_weight pruned_model.lm_head.weight.data new_lm_head_weight # 如果lm_head有偏置项也需要相应裁剪 if pruned_model.lm_head.bias is not None: pruned_model.lm_head.bias.data original_lm_head.bias[keep_original_ids].clone() # 6. 保存新模型和新分词器 save_path “./bloom-560m-pruned-korean” pruned_model.save_pretrained(save_path) new_tokenizer.save_pretrained(save_path)重要提示上述代码是一个高度简化的概念流程。在实际操作中直接修改预训练模型的嵌入层大小是极其棘手的因为模型的前向传播逻辑与词表大小深度绑定。更推荐使用社区提供的专门工具例如text-pruner或llama.cpp中的词表剪枝功能或者参考相关研究代码如LLaMA-Factory中的实现。这里展示的是最底层的逻辑帮助你理解剪枝究竟在做什么。3.3 第三步剪枝后模型的评估与微调剪枝后的模型就像一个动了手术的病人需要观察和康复训练。基础功能验证词元化与反词元化用新分词器对一些韩语句子进行编码和解码确保过程流畅没有异常unk。前向传播输入一个短的韩语提示检查模型是否能正常产生logits且形状应为[batch_size, seq_len, new_vocab_size]。性能评估零样本/少样本在标准的韩语理解基准测试上如KLUE中的部分任务运行剪枝前后的模型对比准确率、F1分数等指标。预期会有小幅下降但应在可接受范围内例如3%的绝对下降。进行生成质量的人工评估给定相同的韩语提示对比剪枝前后模型生成文本的流畅性、连贯性、事实一致性。这是最重要的主观指标。效率评估显存占用使用torch.cuda.memory_allocated()对比加载模型后和推理过程中的显存使用峰值。推理速度使用固定的批处理大小batch size和生成长度max_new_tokens测量生成固定数量词元的平均耗时和吞吐量tokens/sec。模型文件大小对比.bin或.safetensors文件的大小变化。必要的微调可选但推荐 剪枝操作相当于对模型施加了一个“冲击”。为了让它适应新的、更紧凑的词表空间并在韩语任务上恢复甚至提升性能进行轻量级的指令微调Instruction Tuning是很有价值的。数据使用高质量的韩语指令数据集如翻译自Alpaca格式的韩语数据或专门构建的韩语对话数据。方法采用LoRALow-Rank Adaptation等参数高效微调方法只训练极少量参数通常小于模型总量的1%重点微调注意力机制和语言建模头附近的模块。目标让模型重新学习在剪枝后的词表空间中进行有效预测巩固其韩语能力。4. 避坑指南词元剪枝实践中常见的陷阱与对策在实际操作中我踩过不少坑这里总结几个关键点陷阱一误删关键功能词元现象剪枝后模型无法生成正确的句末助词如“입니다”“합니다”或连接词尾如“고”“는데”导致句子生硬或不语法。根因频率统计基于书面语料但一些在对话中极其高频的语法功能词可能在书面语中频率并非顶尖。单纯依赖频率排序可能会将它们排除在top_k之外。对策在筛选词元时建立一个韩语语法功能词元保护列表。将常用的助词、词尾、连接词等提前加入final_tokens_to_keep不受频率阈值限制。陷阱二特殊词元处理不当导致分词器崩溃现象保存再加载新分词器后调用tokenizer.encode报错或tokenizer.decode输出乱码。根因transformers的分词器对象内部状态复杂不仅包含vocab字典还有added_tokens_encoder、added_tokens_decoder、unique_no_split_tokens等属性。仅修改vocab可能破坏其一致性。对策采用更安全的分词器重建方法。使用tokenizers库从零开始构建一个BPE模型并将final_tokens_to_keep作为初始词汇表加载进去。然后使用这个新的tokenizers对象来创建Hugging Face的PreTrainedTokenizerFast。# 更安全的分词器重建示例概念 from tokenizers import Tokenizer, models, pre_tokenizers, decoders, trainers, processors from transformers import PreTrainedTokenizerFast # 1. 初始化一个BPE模型 bpe_model models.BPE() # 2. 从保留的词元列表初始化一个“假”的训练器只是为了构建词汇表 # 注意这里需要将词元列表转换成 (token, count) 的形式count可以设为1。 vocab_items {token: 1 for token in final_tokens_to_keep} tokenizer_hf PreTrainedTokenizerFast( tokenizer_objectTokenizer(bpe_model), bos_tokenoriginal_tokenizer.bos_token, eos_tokenoriginal_tokenizer.eos_token, unk_tokenoriginal_tokenizer.unk_token, pad_tokenoriginal_tokenizer.pad_token, # ... 复制其他特殊词元 ) # 手动设置词汇表这是一个hacky方法更严谨的做法是通过trainer训练 tokenizer_hf._tokenizer.model models.BPE(vocabvocab_items, merges[]) # 还需要设置pre_tokenizer, decoder等以匹配原始分词器的行为这步很关键且复杂陷阱三剪枝后模型输出混乱或重复现象模型生成的内容开始循环重复或者逻辑混乱失去长程一致性。根因剪枝可能破坏了模型输出层LM Head的概率分布稳定性。原本模型是在全词表上进行softmax归一化剪掉大量低概率词元后剩余词元的概率分布被重新缩放可能使得模型过于“自信”地集中在少数词元上导致重复。对策输出层权重初始化在裁剪lm_head权重后可以考虑对权重进行轻微的重新缩放或添加小的噪声以打破可能存在的对称性。推理参数调整在生成时适当提高temperature如从0.7调到0.9或增加top-pnucleus sampling的值如从0.9调到0.95增加生成的随机性避免陷入重复循环。进行微调如前所述指令微调是解决此问题最根本的方法能让模型重新校准剪枝后的输出分布。陷阱四效率提升未达预期现象词表缩小了40%但推理速度只提升了10%显存节省也不明显。根因推理瓶颈可能不在词表相关计算上。对于LLM推理注意力Attention的计算复杂度O(n²d)和KV缓存Key-Value Cache的显存占用在长序列下可能是主要瓶颈。词表剪枝主要优化的是[序列长度, 隐藏层]与[隐藏层, 词表大小]的矩阵乘。对策进行性能剖析Profiling。使用PyTorch Profiler或nsys等工具定位模型推理的热点Hotspot。如果发现注意力计算占主导那么需要结合其他优化技术如FlashAttention、量化Quantization或更激进的模型压缩如结构化剪枝。词元剪枝应被视为优化组合拳中的一招而非银弹。5. 进阶思考超越静态剪枝的动态与混合策略上述方法是静态剪枝即一次性确定新词表并应用于所有场景。在实际应用中还可以考虑更精细的策略动态词表Dynamic Vocabulary思路不永久删除词元而是在每次推理前根据输入提示Prompt动态地选择一个相关的词元子集。例如如果输入是韩语科技新闻则动态激活科技相关词元如果是日常对话则激活日常用语词元。挑战需要高效的词元检索和激活机制以及模型能适应动态变化的输出层。这通常需要修改模型架构和推理引擎实现难度较高但潜力巨大。任务感知的词元重要性剪枝思路不仅仅基于词频而是基于词元对下游任务损失函数的贡献例如通过计算梯度的敏感度来评估其重要性。对任务重要的词元即使频率低也应保留。方法可以在少量任务数据上运行模型计算每个词元嵌入向量的梯度范数或使用类似Taylor Expansion的方法评估重要性再进行剪枝。这能更好地保持特定任务上的性能。层级化词表Hierarchical Vocabulary思路将词表分为“核心高频词元”和“边缘低频词元”两层。核心词元参与每次计算边缘词元则被分组或聚类通过一个轻量的路由机制如一个小型神经网络决定是否激活某个边缘词元组。这是一种在精度和效率间更灵活的权衡。对于大多数本地部署韩语LLM的应用场景基于频率分析的静态剪枝配合轻量指令微调已经能取得非常显著的效率提升和可接受的性能折损是性价比最高的方案。这个过程让我深刻体会到优化大模型不仅仅是调参和堆硬件更是对模型内部机理的深入理解和精准操作。每一次成功的剪枝都像是为模型做了一次精准的“减重手术”让它能在资源受限的环境下依然保持敏捷的思维和流畅的表达。