1. 项目缘起当现代AI遇见千年甲骨最近在整理一些历史考古相关的项目资料偶然翻到之前参与的一个殷墟文化数字化项目其中关于甲骨文字符自动检测识别的部分我觉得特别有意思也踩了不少坑。甲骨文作为汉字的源头其研究价值不言而喻但传统的甲骨拓片研究极度依赖专家的肉眼识别和手工标注效率低且主观性强。我们当时就想能不能用现在流行的目标检测技术比如YOLOv5来帮考古学家们一把自动从复杂的甲骨拓片图像中定位并识别出那些古老的字符这个想法听起来很酷但实操起来才发现从“想法”到“能用”之间隔着一条鸿沟。甲骨文检测识别和常规的目标检测比如检测猫狗、车辆完全不同。首先目标极其微小且密集一块龟甲或兽骨上可能刻着几十个字符每个字符往往只占图像的几十甚至上百个像素点。其次背景干扰极强甲骨本身有裂纹、纹理、污渍甚至还有后期考古编号的墨迹这些都很容易让模型“看花眼”。最后字符类别多形态差异大同一个字在不同时期的刻写方式可能有细微差别。所以我们决定以YOLOv5这个经典的“老兵”作为基础框架但绝不是简单地跑个默认训练就完事。我们系统地对比了YOLOv5全系列——从最轻量的nanon到最重量的XLargex——在甲骨文这个特殊场景下的表现。目的很明确找到在精度、速度和模型大小之间最适合考古数字化实际需求的平衡点。今天我就把这个从数据准备、模型选型、训练调优到最终部署的完整过程以及过程中的那些“血泪教训”毫无保留地分享出来。2. 数据准备构建高质量的“甲骨文词典”任何AI项目数据都是地基。对于甲骨文检测识别数据准备是第一个也是最大的挑战。市面上没有现成的、标注好的大规模甲骨文检测数据集一切都要从零开始。2.1 数据收集与清洗我们的数据主要来源于几个渠道公开的殷墟考古报告高清扫描图、博物馆数字化典藏的高清拓片、以及与合作考古单位提供的未公开的一手资料。原始图像的质量参差不齐有的非常清晰有的则模糊、有折痕或阴影。第一步是清洗。我们建立了一个简单的过滤规则分辨率过滤剔除分辨率低于2000x2000像素的图像确保小字符有足够的像素信息。清晰度评估使用基于梯度的图像清晰度算法进行初步筛选手动复核算法认为“模糊”的图片因为有些拓片本身的质感在算法看来就是“模糊”的。背景归一化很多拓片背景是深浅不一的灰色。我们采用了自适应直方图均衡化CLAHE来增强字符与背景的对比度同时尽量避免放大噪声。这里有个小技巧CLAHE的clipLimit参数不宜设得太大否则甲骨的自然裂纹会被过度强化变成干扰信息。我们通常从2.0开始尝试。注意图像预处理的目标是“辅助”模型而不是“改变”原始考古信息。任何处理都必须保证不引入虚假特征或破坏字符的原始形态。我们所有的预处理步骤和参数都经过考古专家的确认。2.2 字符标注的“学问”标注工作我们使用了LabelImg但标注规范是自定的这直接决定了模型学习的效果。标注粒度一个甲骨文字符就是一个检测目标。对于少数合文两个字刻在一起像一个字我们经过与专家讨论决定按实际占用的空间框成一个目标但类别标记为特殊的“合文”类后期再单独处理。框的紧密度框体要紧贴字符笔画的最外缘但不必完全精确到像素级。我们要求标注员留出1-2个像素的余量避免因为框太紧导致训练时轻微的坐标偏移就被判定为预测错误IOU过低。困难样本处理对于残缺、模糊或一半在裂纹中的字符我们制定了明确规则如果缺失部分超过50%且无法推断则不标注。如果缺失部分少于50%则标注可见部分并在标注文件中加入一个“difficult”标签在计算某些评估指标时可以忽略这类样本。类别体系我们参考了权威的甲骨文字典建立了一个包含1200多个常见单字的类别列表。每个字符对应一个数字ID和一个汉字释义。这里最大的坑是异体字。同一个字可能有多种写法。我们的处理方式是将公认的、常见的异体字归为同一类但在类别名上做区分例如“王_1”、“王_2”。然后在后处理中将这些变体映射到同一个标准字上。最终我们构建了一个包含8500多张高质量甲骨拓片图像、超过25万个字符标注框的数据集。我们按8:1:1的比例随机划分了训练集、验证集和测试集并确保同一片甲骨的图像不会同时出现在训练和测试集中防止数据泄露。3. YOLOv5模型全系列对比与选型策略数据准备好了接下来就是选择模型骨架。YOLOv5提供了n, s, m, l, x五个预定义模型它们的深度和宽度逐级递增。我们的目标不是盲目追求最高的mAP而是在考古场景的约束下找到最优解。3.1 场景约束分析考古数字化场景有其特殊性硬件条件部署环境可能是考古站的普通电脑也可能是云端服务器计算资源有限。实时性要求通常不需要实时检测但对批量处理的速度有要求。处理一张高分辨率拓片最好能在几秒内完成。精度要求极高。漏检或误检一个字符都可能影响对整段卜辞的解读所以召回率Recall和精确率Precision都需要尽可能高。模型大小如果需要嵌入到移动端设备供野外考古使用模型大小就至关重要。3.2 五款模型实测对比我们在相同的训练配置epoch300图像尺寸640x640AdamW优化器下分别训练了五个模型。以下是它们在测试集上的关键指标对比模型参数量 (M)GFLOPsmAP0.5推理速度 (FPS on RTX 3080)模型文件大小 (MB)特点分析YOLOv5n1.94.50.7234503.9极致轻快但小目标检测能力明显不足密集字符漏检多。YOLOv5s7.216.50.81528014.5性价比之王。精度比nano有巨大提升速度依然很快是轻量级部署的首选。YOLOv5m21.249.00.85614042.0我们的主力推荐。精度达到实用门槛速度可接受在复杂背景和小目标处理上比s更稳定。YOLOv5l46.5109.10.8729091.0精度进一步提升但收益已不明显。速度下降显著模型体积大。YOLOv5x86.7205.70.87950168.0精度天花板但过于笨重。训练和推理成本高不适合大多数实际部署场景。结论一目了然YOLOv5m是平衡点。它的mAP0.5达到了0.856意味着模型能较好地定位和识别字符。对于考古学家来说一个能识别出85%以上字符的辅助工具已经具有巨大的实用价值。而YOLOv5s则适合对速度极度敏感或硬件资源极其有限的场景。3.3 为什么是mAP0.5这里简单解释一下。mAPmean Average Precision是目标检测的核心指标。0.5指的是交并比IoU阈值为0.5即预测框和真实框的重叠面积超过50%就算预测正确。对于甲骨文这种目标框较小、标注边界本身存在一定主观性的任务设置0.5的阈值是比较合理和宽松的。我们也计算了更严格的mAP0.5:0.95IoU阈值从0.5到0.95步长0.05的平均值各模型指标排名基本一致但绝对值会下降15-20个百分点这反映了精确定位的难度。4. 针对甲骨文场景的YOLOv5深度调优实战直接使用官方默认参数和模型结构效果远达不到上表的数据。我们必须针对甲骨文“小、密、杂”的特点进行深度定制。4.1 自适应锚框Anchor计算YOLOv5默认的锚框是基于COCO等通用数据集计算的对于长宽比相对固定的行人、车辆是合适的。但甲骨文字符形状不规则有瘦长型如“卜”有扁宽型如“二”也有接近方形。使用默认锚框会导致先验匹配度低影响训练收敛速度和最终精度。我们的做法是在训练前在自己的训练集上重新聚类生成锚框。使用YOLOv5自带的utils/autoanchor.py脚本设定聚类数为9对应3个检测层的3种尺度。新生成的锚框明显更“瘦小”更贴合字符的实际分布。这一步操作让模型的mAP提升了约2-3个百分点是性价比最高的调优之一。4.2 数据增强的“增”与“不增”数据增强是提升模型泛化能力的关键但用错了反而有害。我们重点使用的增强MosaicYOLOv5的招牌增强将四张图拼成一张。这对小目标检测非常有效能在一个批次内让模型看到更多字符实例尤其是那些在单张图中出现频率低的字符。我们保持了较高的使用概率0.8。随机仿射变换Rotation, Shear, Translation小幅度的旋转±10度和剪切模拟拓片摆放角度的微小差异。幅度一定要小因为甲骨文是刻写的旋转过大会让字符变得不自然甚至产生“镜像字”这种现实中不存在的情况。HSV色彩空间扰动微调图像的色调、饱和度和明度。这能模拟不同光照条件下拍摄或扫描的拓片效果增强模型对颜色变化的鲁棒性。我们谨慎使用或禁用的增强CutOut/RandomErasing随机遮挡一部分图像。我们禁用了它。因为甲骨文字符本来就小随机遮挡很可能直接把关键字符抹掉导致模型学到错误信息。MixUp将两张图像线性混合。我们经过测试后也禁用了。因为甲骨拓片背景复杂两张图混合后会产生大量无法解释的“鬼影”和纹理干扰模型对清晰边缘刻痕的学习。大幅度的缩放Scale我们限制了缩放范围避免字符被缩放到过小小于10x10像素超出模型底层感受野的识别能力。4.3 损失函数与正样本匹配策略的微调YOLOv5使用CIoU Loss和分类交叉熵损失。我们主要调整了正样本分配策略。默认的ATSS或TaskAlignedAssigner是为通用目标设计的。对于密集小目标容易出现一个真实框匹配到过多或过少预测框的问题。我们尝试了简化策略略微提高了将预测框匹配给真实框的IoU阈值并加强了根据分类得分进行对齐的权重。这样做的目的是让每个字符目标由更“确信”的预测框来负责减少在密集区域的重复预测和漏检。这个调整需要配合验证集的仔细观察反复迭代。4.4 针对“单通道”图像的训练技巧一个常见的误解是灰度图单通道直接输入三通道模型会不会有问题网络第一层卷积核是3通道的。实际上YOLOv5的预处理中如果输入是单通道图像会自动将其复制三次变成“伪RGB”图像。所以从技术上讲直接用灰度图训练没问题。但我们发现用原始的RGB拓片图虽然是灰度的但文件格式是RGB训练效果略好于先转换成单通道灰度图。我们推测即使三个通道值相同在数据增强如HSV扰动时在RGB空间上进行操作可能比在单通道灰度空间上更自然给模型带来了更丰富的学习信号。因此我们建议保持图像的原始通道数除非存储空间是瓶颈。5. 训练过程中的“玄学”与科学排错训练深度学习模型总会遇到一些令人头疼的问题。下面分享几个我们遇到的具体案例和解决方法。5.1 训练初期Loss震荡剧烈不下降现象训练开始后box_loss和cls_loss在很高的数值上下跳动不像正常情况那样平稳下降。排查检查学习率lr0默认是0.01对于我们的数据集可能太大了。尝试降至0.001。检查数据加载发现有个别标注文件的坐标超出了图像范围标注工具的小bug。YOLOv5虽然会处理但可能造成干扰。我们写了个脚本批量检查并修复了所有标注。检查梯度使用torch.nn.utils.clip_grad_norm_对梯度进行裁剪防止梯度爆炸。解决根本原因还是学习率过大。将初始学习率设为0.001并采用cos退火调度配合warmup让训练初期更平稳。修改后loss曲线恢复正常。5.2 mAP尤其是mAP0.5:0.95始终为0或极低现象训练了几十个epochmAP0.5还能看但mAP0.5:0.95一直是0。排查锚框不匹配这是最大嫌疑。用python utils/autoanchor.py --cfg models/yolov5m.yaml --data your_data.yaml重新计算并更新模型配置文件中的锚框。输入图像尺寸我们用的原始图像很大但训练时统一缩放到640x640。字符已经很小再一缩很多字符在特征图上可能只有几个像素点。尝试增大训练尺寸我们测试了896x896甚至1024x1024。代价是训练速度变慢batch size要调小。模型容量不足对于极其密集的小目标YOLOv5n或s的浅层特征提取能力可能不够。换用更深的模型如m或l。正样本阈值过高在匹配预测框和真实框时如果IoU阈值设得过高很多预测框都无法匹配到目标导致没有正样本学习定位。检查models/yolov5m.yaml中的anchor_t参数默认4.0适当调低如调到3.0可以增加正样本数量。解决对于我们这个项目组合拳最有效首先重新计算锚框然后将训练图像尺寸提升至896x896同时使用YOLOv5m模型。mAP0.5:0.95从接近0提升到了0.45左右虽然绝对值不高但已进入可学习状态随着训练epoch增加会缓慢提升。5.3 过拟合与泛化能力提升现象训练集loss持续下降精度很高但验证集精度早早就停滞不前甚至下降。排查与解决数据增强强度这是防过拟合的第一道防线。我们增强了Mosaic和仿射变换的概率并引入了轻微的高斯噪声模拟低质量扫描图像。正则化增加了DropOut层在骨干网络和检测头之间比率设为0.1。同时权重衰减weight_decay从默认的0.0005提高到0.001。早停Early Stopping密切监控验证集mAP。如果连续20个epoch没有提升就停止训练并回滚到验证集指标最好的那个模型权重。标签平滑Label Smoothing在分类损失中应用标签平滑参数设为0.1防止模型对训练集标签过于自信有助于提升泛化能力。6. 从模型到系统构建完整的检测识别分析流程训练出一个好模型只是第一步要让它真正为考古研究服务还需要构建一个完整的系统流程。6.1 高分辨率图像推理与切片处理考古拓片通常是超高分辨率例如 6000x8000 像素。直接缩放到模型输入尺寸如640x640会丢失所有细节。我们必须采用滑动窗口切片的方式。将大图切割成重叠的小图如 640x640重叠度128像素。对每个小图进行推理得到检测结果。应用非极大值抑制NMS时需要在原始坐标空间进行。因为同一个字符可能出现在多个相邻切片中产生重复框。我们将所有小图的预测框坐标映射回原图坐标然后在全图范围内做NMS。重叠度的设置是关键太小边缘的字符容易被切碎太大计算量倍增。我们通过实验发现对于我们的字符大小重叠128像素即切片尺寸的20%是一个较好的平衡点。6.2 后处理与结果优化模型输出的原始框存在一些噪声误检将甲骨裂纹、污渍或纹理误认为字符。重复框对同一个字符预测出多个高度重叠的框。置信度波动同一个字符在不同切片中被检测到置信度可能不同。我们的后处理流程置信度过滤设置一个较高的阈值如0.6过滤掉低置信度的预测。这个阈值需要在验证集上根据 Precision-Recall 曲线选取平衡漏检和误检。全局NMS如上所述使用标准的DIoU-NMS阈值设为0.45。基于规则的后过滤大小过滤剔除宽或高小于5像素的预测框通常是噪声。位置过滤对于有明确边界的拓片可以剔除过于靠近图像边缘的框可能是切片造成的残影。字形一致性检查进阶我们尝试训练了一个简单的CNN分类器对裁剪出的字符图像进行二次分类验证。如果检测模型给出的类别置信度很高但分类器认为它不是文字的概率也很高则将该框标记为“待审核”不直接输出。6.3 结果可视化与输出对于考古学家来说直观的可视化结果至关重要。我们的系统会生成两种输出带标注的原图在原图上用不同颜色的框画出检测到的字符并在旁边标注识别的字和置信度。对于合文或系统不确定的字符用特殊颜色如黄色高亮。结构化数据输出一个JSON或XML文件包含每个字符的坐标、识别结果、置信度。这可以方便地导入到专业的甲骨文数据库或研究软件中进行进一步分析。7. 部署考量与未来展望7.1 轻量化部署尝试为了能在考古现场或普通笔记本电脑上运行我们尝试了模型轻量化模型剪枝使用通道剪枝技术在YOLOv5m模型上移除了部分冗余的卷积通道。在精度损失不到1%的情况下模型体积减小了35%推理速度提升了25%。量化尝试了PyTorch的动态量化和训练后静态量化PTQ。INT8量化能将模型压缩至原来的1/4但在甲骨文这种小目标检测任务上精度损失较为明显mAP下降3-5%需要更精细的量化感知训练QAT来弥补。ONNX导出将PyTorch模型导出为ONNX格式便于在多种推理引擎如OpenVINO, TensorRT上运行进一步优化速度。7.2 系统集成与展望最终我们将训练好的YOLOv5m模型或轻量化后的版本封装成一个RESTful API服务。前端可以是一个简单的Web界面考古人员上传拓片图片即可获得检测和识别结果。未来的改进方向有很多引入注意力机制在YOLOv5的骨干或颈部加入CBAM、SE等注意力模块让模型更聚焦于字符区域抑制复杂背景干扰。我们初步实验表明这能提升对模糊和残缺字符的识别率。利用上下文信息甲骨文卜辞是有序的。可以尝试在检测识别后接入一个序列模型如Transformer或LSTM利用字符间的上下文关系进行纠错和补全例如根据语法和常见辞例纠正误识别的字。少样本与零样本学习对于新出土的、训练集中未出现的罕见字如何让模型具备一定的泛化识别能力是一个极具挑战性的前沿课题。3D甲骨识别未来的数字化可能不仅仅是拓片还包括3D扫描模型。如何从三维表面纹理中检测识别刻痕将是一个全新的、更有意义的挑战。回过头看用YOLOv5做甲骨文检测技术本身并不神秘核心在于如何根据这个极其特殊的领域问题对通用框架进行“量身定制”。从数据标注的规范到模型结构的选型再到每一个超参数的调整都离不开对甲骨文本身特点的深刻理解和对实际应用场景的反复权衡。这个过程与其说是在调一个模型不如说是在教AI如何像一位初学的考古学生那样去观察、理解和辨认这些三千年前的文明密码。希望我们趟过的这些路踩过的这些坑能给同样想用AI技术探索人文历史领域的朋友们一些实在的参考。