更多请点击 https://intelliparadigm.com第一章AI预训练与微调避坑总览AI模型的预训练与微调看似流程化实则暗藏诸多易被忽视的陷阱。从数据偏差到梯度爆炸从显存溢出到评估失真每一个环节都可能让数周训练功亏一篑。本章聚焦高频实践误区提供可立即落地的规避策略与验证手段。数据清洗不彻底引发语义漂移微调阶段若直接复用未经去重、未过滤低质文本的下游数据集模型极易习得噪声模式。例如在医疗领域微调时混入论坛口语化表述如“这药吃着没啥感觉”将显著削弱专业术语一致性。建议执行三步清洗使用fuzzywuzzy或datasets库的deduplicate功能去除近似重复样本基于预训练分词器统计token分布剔除异常长尾序列长度 95% 分位数且无有效标点对关键实体字段如疾病名、药品名做正则校验与标准化映射学习率设置失配导致收敛失败预训练模型对学习率极度敏感。过大易跳过最优解过小则陷入局部极小。推荐采用分层学习率策略# Hugging Face Transformers 示例 from transformers import get_polynomial_decay_schedule_with_warmup scheduler get_polynomial_decay_schedule_with_warmup( optimizer, num_warmup_steps100, # 预热步数 num_training_steps1000, # 总训练步数 power1.0, # 线性衰减 lr_end1e-7 # 终止学习率 )该调度器在warmup阶段线性提升学习率随后按多项式衰减兼顾稳定性与收敛速度。评估指标选择不当掩盖真实性能常见误区是仅依赖准确率Accuracy评估分类任务。下表对比不同场景下的推荐指标任务类型数据分布推荐指标说明二分类类别严重不平衡正例5%F1-score / AUC-ROCAccuracy易被多数类主导F1兼顾精确率与召回率多标签分类标签稀疏平均每样本2个标签Micro-F1 / Hamming LossMicro-F1按样本加权Hamming Loss反映单标签错误率第二章预训练阶段高频故障与工程对策2.1 数据污染识别与去重策略从Common Crawl清洗失效到Meta Llama-2数据回溯实践污染特征建模Llama-2 团队发现 Common Crawl 中约 18% 的 HTML 文档含重复