——大胖老师“小菜你猜哈佛燕京图书馆的古籍数字化率是多少”——小菜“五成”——二黑推了推眼镜头也不抬“去年他们公开的报告是83.7%。我们全国平均值算上刚完成的那个馆8.3%。小数点都一样位置差了一位。”——小菜“二黑你什么时候来的你不是在写论文吗”——二黑“论文哪有看小菜被数据暴击有意思。”——大胖老师端着保温杯悠悠补了一刀“二黑说的没错。差距是十倍不是百分比是小数点。咱们的进度是人家十年前的零头。”一、二黑出场一个让大胖老师又骄傲又头疼的存在话说二黑这人在实验室是个传奇。他是大胖老师带的第一届研究生从本科毕设就开始跟着大胖老师搞古籍数字化如今博士快毕业了被师弟师妹们尊称为“二师兄”——因为大胖老师是“大师傅”他自然就是二师兄。至于为什么叫“二黑”据小菜考证是因为他本科时参加数学建模大赛连着通宵三天脸色黑得跟锅底一样从此这个外号就焊在了他身上。二黑对此评价“总比叫‘二狗’强。”二黑和小菜最大的区别是小菜遇到问题会问“怎么办”二黑遇到问题会问“为什么”。比如古籍OCR竖排识别率低小菜的反应是“咱们换个模型试试”二黑的反应是“这个模型的训练数据里竖排样本占比多少数据增强时旋转角度分布是什么测试集是刻本还是抄本”——大胖老师评价“小菜是冲锋枪火力猛但费子弹二黑是狙击枪一颗子弹一个答案。”这天大胖老师刚从哈佛燕京图书馆的线上公开数据里扒拉出一组对比数字正想给小菜上一堂“国际视野”课二黑推门进来了。大胖老师眼睛一亮“正好二黑你给小菜讲讲你在哈佛交换那半年都看到了什么。”二黑也不客气拉过白板就开始画。二、哈佛燕京不止是钱多是系统性碾压二黑在白板上画了一张表字迹工整得像个打印机对比维度哈佛燕京图书馆国内普通高校图书馆中文古籍总量约60万册约10-30万册头部高校已完成数字化约50万册83%约2-5万册不足20%OCR完成率约60%30万册有文字层不足5%数字化启动年份2000年多数2015年后年度经费数字化专项约200万美元约10-50万人民币专职团队12人含3名工程师通常0-2人兼职为主小菜看着表眼睛越瞪越大“他们专职团队12个人我们整个学校古籍部才3个老师还兼着阅览室值班。”二黑点头“而且他们的12个人里有3个是专职的软件工程师专门写OCR优化和元数据管理。我们呢馆员大姐连装Python环境都要叫儿子帮忙。这不是态度差距是结构性差距。人家是把古籍数字化当成一个工程问题来解决我们还在当它是一个‘等上面拨款’的行政任务。”大胖老师补充“最关键的是他们从2000年就开始干了。2000年什么概念那年北京刚申奥成功我们还在拨号上网人家已经在批量扫描古籍了。领先了整整二十年。这二十年他们不仅积累了海量的扫描数据更重要的是积累了一套完整的工作流怎么扫描、怎么元数据著录、怎么质量检查、怎么上网发布全都标准化了。我们到2020年还在争论‘要不要做OCR’人家已经在做手写体识别和知识图谱了。”三、但二黑说别急着跪哈佛也有自己的坑小菜正沮丧着二黑话锋一转“不过你也别把他们想得太神。我在哈佛那半年踩了不少他们的坑。”他翻出几张截图投在屏幕上。第一张是哈佛燕京线上阅览室的一页《永乐大典》影印本。页面精美图像清晰下方有“View Text”按钮。点开一看文字层里错误百出“永樂大典”变成了“永樂大典”“卷之一萬一千一百三十一”里混入了乱码。二黑说“他们的OCR引擎早期是和谷歌合作的用的是谷歌图书的通用OCR根本不是针对中文古籍优化的。后来虽然换过几版但历史数据量太大重跑一遍成本太高就这么一直烂着。说白了他们也是‘先扫了再说’文字质量并不高。”第二张图是一份明代方志页面显示“该资源仅限哈佛用户访问”。小菜问“不是应该开放吗”二黑解释“哈佛的数字化分两种。一种是善本特藏很多已经公开到互联网但还有大量普通古籍因为版权、合作协议、或涉及第三方数据商只能内网访问。你在中国想检索连书目都看不到。这是‘开放’的另一面——开放是有选择的不是全人类都能用。我们虽然数字化率低但我们一旦放出来就真的是面向全体网民不搞IP限制那套。国图的中华古籍资源库全世界都能免费看。这理念比哈佛开放得多。”第三张图更有意思是一份哈佛燕京的数字化项目年度报告截图。二黑指着其中一行小字“他们的经费虽然多但70%花在了硬件和外包扫描上真正投给OCR技术研发的比例不到10%。因为扫描是可见的政绩OCR是幕后的技术。这毛病全世界都一样。”大胖老师哈哈一笑“看来官僚主义不分肤色。”四、欧洲的“标准化执念”和日本的“精耕细作”讲完美国二黑又翻出两张PPT。“再说说欧洲和日本这俩是另外两个极端。”欧洲标准先行的学院派。欧洲数字图书馆Europeana聚集了全欧洲几千家文化机构的数字资源。二黑说“他们的特点是一个字——‘慢’。做什么都先定标准Dublin Core元数据、METS封装格式、ALTO文字坐标标准文档比实际数据还厚。好处是跨馆互操作能力超强荷兰馆的书和法国馆的书能无缝联搜。坏处是等标准定完十年过去了。他们到现在为止收录的中文古籍数量可能还不如我们一个省馆。而且OCR引擎清一色是拉丁字母优先汉字识别全靠Tesseract硬撑准确率感人。”他讲了个段子2019年他去参加一个欧洲数字人文会议一位德国教授展示了一套用AI识别中世纪拉丁手稿的系统效果极好。会后他问教授能不能处理中文竖排教授认真想了想回答“理论上可以只要改一下文本方向参数。不过我们暂时没有计划因为手稿研究圈子里没有人提过这个需求。”二黑总结“这就是欧洲的问题——他们技术上能做到但闭环的文化圈子决定了中文古籍永远排不上优先级。”日本精细到毛孔的工匠派。日本国立国会图书馆的“NDL OCR”在东亚古籍圈口碑很好。二黑展示了他们的技术方案专门针对江户时代刻本训练了手写体模型对变体假名一种日本特有的草书字符识别率极高。而且他们的图像预处理做得极细——用超高清扫描把纸张纹理和墨迹分层处理然后AI自动去掉透背和虫蛀噪点。“但”二黑话锋一转“他们的中文识别还是差一截。因为日语汉字和中文汉字的异体字分布不同比如‘國’字日本多用‘国’中文古籍里却常见‘囯’‘囻’‘囶’等十几种写法。日本模型遇到这些就直接输出假名或者乱码。他们也没动力去优化中文因为人家的核心文献是日文的。”大胖老师插话“日本的方案让我想到一个比喻他们的刀磨得飞快但只切自己的菜。你要用它来切中国菜得重新开刃。而我们的厨房菜的种类比他们多十倍。”五、台北故宫与“中研院”精品化路线的得与失二黑又切到台北故宫博物院的数字平台页面。画面上一幅《快雪时晴帖》的高清影像缓缓展开每一笔牵丝都清晰可见旁边附了释文、印章释读、历代题跋标注甚至还有AI生成的书法风格分析。小菜看得口水直流“这也太精美了吧”二黑点头“台北故宫走的是精品路线一年只做几百件每件都当艺术品来雕琢。他们和台湾‘中研院’合作开发的古籍OCR主要针对清代奏折专门训练了馆阁体模型准确率据说95%以上。但你知道这套系统多少钱吗不是买不买得起的问题而是他们根本不卖也不开源。完全封闭仅供内部使用。我们想学都学不到。”大胖老师叹口气“这就是技术壁垒的另一种形式——不是人家不让你用而是人家根本没打算让你用。他们的数字化更像是给自家珍宝拍写真集美轮美奂但不解决‘还有几百万册在库房里等待’的大规模问题。我们是救灾队他们是影楼干的不是同一件事。”六、国内的“散装江湖”星星之火还没燎原讲完海外二黑把话题拉回国内。他在白板上写下了几个名字国图、北大、浙大、民间开源社区。“国家图书馆是当之无愧的旗舰。从2012年起就开始大规模扫描古籍到2024年线上发布的数字善本已经超过10万部。但有个数据你们可能不知道——这些发布出来的绝大多数只有图像没有文本层。真正做完OCR并公开全文的比例不到5%。因为OCR这一步太贵也太难他们内部做过多次尝试换了好几套方案至今没有形成统一的技术路线。”“北大数字人文中心搞了个‘吾与点’古籍标注平台走的是众包校对路线。他们把OCR的初步结果发到网上招募志愿者来校对。这个思路很巧妙把最耗人工的环节外包给了热心网友。但问题在于众包质量控制难而且校对速度受限于志愿者积极性——几百个人轰轰烈烈干了一周可能只校完一本书。无法规模化。”“浙大团队在墓志铭识别上做得不错哈工大搞手写满文识别复旦有近代报刊OCR……每家都有绝活但都是实验室产品工程化程度不够离开校园就水土不服。就像每个大学食堂都有拿手菜但没有一家能开连锁店遍布全国。”二黑打了个形象的比方。“民间开源社区更热闹。从2020年开始陆陆续续有个人开发者用PaddleOCR搭古籍识别工具发布在GitHub上。我数过至少有四十多个相关项目质量参差不齐。有的只有几十个starREADME还是乱码。但这些项目有一个共同的闪光点它们证明了用开源工具做古籍OCR在技术上是完全可行的。只是缺乏一个能整合力量、持续迭代的团队。”小菜听懂了“所以我们做的‘文渊慧典’就是想把这些散落的星星之火拢到一起烧一把大的”二黑点点头难得夸了小菜一句“你可以啊跟了大胖老师这么久终于学会总结了。”七、落差背后不是技术差距是“时间债”和“组织债”大胖老师觉得是时候来个总结了。他让二黑把全球情况梳理成一个结论。二黑擦了擦白板写下两行大字“我们差的不是技术是二十年时间。”“我们缺的不是钱是一套能持续运转的机制。”他解释“从技术本身看2024年的PaddleOCR在竖排繁体上的能力已经超过了哈佛2000年用的谷歌OCR和日本2015年训练的模型比也不逊色。我们在单个技术点上并不落后。真正落后的是积累。哈佛用了二十年攒下来的标准化工作流、元数据体系、质量管控流程、人才梯队这些东西不是一朝一夕能补上的。我们只能加速追赶但不可能一天跑完别人二十年的路。”“另一个差距是组织化程度。人家的古籍数字化是一个系统工程有专职团队、有年度预算、有项目管理制度。我们呢绝大多数馆是靠一两个热心馆员业余在做或者指望一个两年期的项目经费突击一把结题后就没人管了。这不是花钱能解决的是需要体制上的持续投入。我们现在能做的是用技术手段降低门槛让那‘一两个热心馆员’能凭一己之力就搞定全馆的古籍OCR。把对人的依赖降到最低把对组织的依赖降到最低把对经费的依赖降到最低。这就是‘文渊慧典’的使命。”八、二黑的冷思考落差不是坏事是后发优势会议最后二黑忽然说了一句让大家意外的话“其实这个十倍落差也不全是坏事。”小菜不解“怎么说”二黑道“哈佛他们起步早技术栈老旧历史包袱重。他们现在要升级OCR引擎得把几十万册书全部重跑一遍数据迁移成本巨大所以很多就干脆不升了用着旧引擎凑合。而我们起步晚可以直接用最新最好的技术一张白纸好画图。这就像中国移动支付跳过信用卡阶段直接到扫码支付一样——后发有后发的优势我们有机会用最新的深度学习模型以最低的成本跑出比他们更高的识别质量。”他顿了顿又说“还有一点。国内的开源社区活跃度是国外没法比的。PaddleOCR的迭代速度和社区贡献量已经远超同期的任何国外OCR开源项目。我们站在这个巨人的肩膀上再针对古籍做垂直优化完全有可能在几年内把OCR完成率拉到50%以上。关键是要有行动要快别让差距从十倍变成二十倍。”大胖老师拍板“二黑这段话值一篇论文。咱们这系统做完第一个试点就是咱们馆。年底之前争取把咱们馆的数字化率从8%拉到30%。”他看看小菜又看看二黑“你俩谁写代码谁写文档”二黑举手“我写代码。让小菜写文档吧他文笔比我好。”小菜翻了个白眼“你就是懒得写。”二黑面无表情“对。”实验室里笑声一片。窗外校图书馆的阅览室灯火通明王大姐正在整理书架她不知道就在她头顶上的那间实验室里一群人刚刚把全国古籍数字化的进度条又往前推了小小的一步。本文为注水技术版您看看即可不必当真写此文字就是图一乐-