这项由西蒙弗雷泽大学、蒙特利尔魁北克大学和微软联合开展的研究以预印本形式于2026年6月24日发布论文编号为arXiv:2606.26040v1分类在计算语言学领域。有兴趣深入了解的读者可以通过该编号在arXiv平台查询完整论文。**一个你可能没意识到的现实**当你拿起一本2026年出版的翻译小说也许你正在读的已经是AI翻译的作品了。荷兰最大的商业出版商Veen Bosch Keuning宣布启用AI辅助翻译日本出版商小学馆推出了面向美加市场、由AI辅助翻译轻小说的应用程序亚马逊为自助出版作者推出了Kindle Translate服务还有GlobeScribe这样的公司专门向小型出版商和独立作者兜售AI翻译服务。出版业的这股浪潮正在悄悄改变你书架上那些书的来历。问题来了——AI翻译的小说读起来究竟怎么样你还愿意读下去吗你甚至能察觉出来吗这正是这组研究者想要弄清楚的事情。他们没有满足于那些只会测量翻译准不准确的机器评分系统而是直接去问真正的读者。毕竟文学翻译的意义从来不只是把一个词换成另一个词它关乎节奏、情感、语感关乎你读到一句话时心里那种对就是这个感觉的东西。**研究是怎么做的**研究团队精心挑选了15本近年出版的文学小说原著分别用法语、波兰语和日语写成均有2025至2026年间出版的英语人工翻译版本。选择这些新书是有讲究的——因为越新的书被AI在训练时吃进去的可能性越低这样的对比才公平。每本书都被截取开头约八千个英文单词的片段然后用一套他们自己搭建的AI翻译流程重新翻译一遍形成人工翻译版和AI翻译版两个平行版本。接着15位热爱阅读的读者登场了。这些人通过自由职业平台Upwork招募而来每人每年阅读量从12本到120本不等全都以英语为主要阅读语言且对长篇文学文本驾轻就熟。每位读者被分配到两本书每本书都有两位读者独立评估——一位先读人工翻译版另一位先读AI版交叉安排以避免先入为主的影响。整个评测分两个阶段进行。第一阶段叫做沉浸式阅读读者像平时看书一样把一个版本完整读完填写关于流畅度、可接受性、沉浸感和是否愿意继续读的问卷然后再读另一个版本同样填写一遍最后才将两个版本放在一起做比较。第二阶段叫做细读在至少一天后进行把两个版本切分成约三百个词的小段左右并排显示让读者标注出他们觉得写得好或写得差的具体短语然后选出哪个版本更好并解释原因。这套设计的精妙之处在于它同时捕捉了两种不同的阅读体验一种是你拿起一本书、沉进故事里的整体感受另一种是你拿着放大镜、逐句审视翻译工艺的精细判断。**AI翻译流水线是怎么工作的**在正式开始读者评测之前研究团队先花了很大力气挑选最强的AI翻译方案。他们测试了五种不同的配置包括用GPT-5.4和Gemini 3.1 Pro做全文翻译后再润色、分段翻译后再整体润色以及一套被称为智能体流水线的复杂系统。最终胜出的是这套改编自AutoFiction小说生成框架的智能体系统使用了Claude Opus 4.6和GPT-5.4两个AI模型协同工作。整个翻译过程分三大环节首先是预处理AI会先分析原文的文体风格、词汇偏好、叙事视角生成一份翻译指导手册然后把原文切成约一千词的小块接着是逐块翻译与修改每个小块翻译完后会同时经过两轮平行审查一轮检查翻译的忠实度另一轮检查文学质量如果不合格就打回重译最多循环三次最后是整体审查把所有小块拼回完整草稿后再检查全文风格统一性和段落衔接问题同样设有最多两轮修改机会。这套流程在整个实验中总共处理了441个源语言段落产生了超过一千次翻译或修改记录整个过程的订阅服务花费约四百美元。**读者的真实感受还行但人工翻译还是更好**现在到了最核心的结果部分。在沉浸式阅读结束后读者选择更愿意继续读哪个版本30次比较中有19次选择了人工翻译11次选择了AI翻译。这个差距从统计角度来说还算不上确定无疑但方向是清楚的——人工翻译更受欢迎。细读阶段的差距就更明显了。772次段落对比中有522次约67%选择了人工翻译250次选择了AI翻译。这个差距在统计上已经是显著的。质量评分方面读者对人工翻译的打分在可接受性上高出AI翻译约4倍的获得高分概率在流畅度上同样高出约4.3倍。沉浸感和是否愿意继续读的差距稍小一些但依然偏向人工翻译。特别值得一提的是AI翻译的评分跨越了整个1到5分的区间也就是说它有时候被评为1分最差而人工翻译从未被评到1分。然而这里有一个重要的补充AI翻译并没有被读者彻底否定。在那11次选择AI翻译的整体判断中有7次表达了明确的偏好。在细读阶段大约三分之一的段落判断也是倾向AI版本的。有54%的读者表示读了AI翻译后大概率或肯定会继续读而人工翻译这个数字是66%。换句话说AI翻译已经可以让相当一部分读者接受并愿意读下去只是与人工翻译相比还差了一截。**差距体现在哪里——读者的挑错实录**研究团队收集了读者在细读时标注的好句子和差句子数据非常有揭示性。在人工翻译的文字里读者平均每千词标出约107.8个词是写得好的约42.9个词是写得差的。在AI翻译里好的只有68.5个词差的却高达100.7个词。也就是说AI翻译里被挑出来的毛病大约是人工翻译的两倍还多。更有意思的是分布模式。AI翻译里有41.7%的段落被读者标注了高密度的差词句而人工翻译只有11.9%的段落有这种情况。这说明AI翻译不只是整体差一点点而是偶尔会出现集中翻车的段落质量起伏很大。研究团队进一步发现在15本书里有13本AI翻译的质量波动比人工翻译更剧烈。人工翻译通常在一本书里保持相对稳定的水准而AI翻译则可能在某些段落表现得不错另一些段落又让读者皱眉头。读者们是怎么形容这种差距的在选择人工翻译时他们最常提到的三类原因是读起来更流畅、更容易理解发生了什么、用词更自然。他们的原话包括从故事开头起人工版就清晰多了人工版让整个阅读过程行云流水而AI版让我时不时需要重读一遍。批评AI翻译时最集中的意见是句子结构问题30次单独阅读评价中提到了15次、读起来费劲11次、难以理解11次读者形容AI版断断续续、生硬或者长篇大论像流水账或者逼着你停下来重读。当然AI翻译也有赢的时候。在那些更倾向AI翻译的情况里读者说它更自然、更吸引人、更有代入感甚至用词更丰富生动。有读者称赞AI版用词更精妙多样给了他们更清晰的人物性格和关系感。在细读层面读者有时更喜欢AI版的某个具体措辞——比如用便当盒而不是塑料容器用眼镜更正式的spectacles而不是更口语的glasses或者用手臂划桨这样的动态表达。**偏好因书而异与语言无关**一个特别有趣的发现是读者对AI翻译的偏好程度跟原著是什么语言几乎没有关系不管是法语、日语还是波兰语细读阶段选择AI翻译的比例都在31%到34%之间非常接近。但是不同书目之间的差距却相当悬殊从最低的4%到最高的88%。有一本名叫《执念》Hooked: A Novel of Obsession日本作者夕木春央的原著波利·巴顿翻译的书AI版被读者选择了88%的次数而且两位读者意见一致。这意味着偶尔AI翻译真的更好人工翻译反而不尽如人意。这个发现说明AI翻译的成败更多取决于具体这本书的特性而不是原著语言本身。某些书的语言风格恰好更适合AI处理或者人工翻译这次发挥一般就会出现这种情况。**读者根本认不出来哪个是AI翻译的**这或许是整篇研究最出乎意料的发现之一。在单独读完一个版本之后读者猜测它是人工翻译还是AI翻译的准确率只有57%与完全随机猜测的50%相差无几——统计上完全谈不上可靠。两个版本读完之后再做判断准确率同样是57%几乎没有提高。更戏剧性的是自信程度与准确率的脱节。在做完比较后有20人表示非常或极其自信自己猜对了结果其中8人猜错了40%的错误率其中8个极其自信的人里有1人猜错12.5%的错误率。自信并不等于正确。读者猜测AI翻译时用了什么线索最常提到的是用词——但这个线索对于正确猜测和错误猜测都同等常见所以实际上没有区分作用。正确猜测AI翻译的线索中比较有效的包括字面翻译感读起来像词典直译或保留了法语句子结构、句子流动性差有断裂感、截断感、以及格式问题场景分隔符、段落断开方式等。最不可靠的是民间理论——那些关于AI写作特征的流行说法。比如AI喜欢用破折号em-dash或者AI不会写脏话。数据显示依赖这类理论的读者猜对猜错的概率基本持平完全没有帮助。有一位读者就是因为坚信AI爱用破折号把写了很多破折号的人工翻译误判为AI作品尽管他/她其实更喜欢那个版本。还有一位读者因为注意到法语原著的人工翻译里保留了法式句子结构便判断它是AI翻译——毕竟谁料到会有人类译者保留这种特点呢研究还发现了一个耐人寻味的规律读者几乎总是认为自己喜欢的那个版本是人工翻译的。30次比较中有28次读者把自己更喜欢的版本判断为人工翻译。那11位最终选择AI翻译的读者全都以为自己选的是人工翻译版。这说明哪个更像人写的和哪个读起来更好在读者的直觉里几乎是同一个问题的两面。**机器评分的失灵**研究团队还测试了目前常用的几种自动翻译评分工具包括METRICX-QE、COMETKiwi和LiTransProQA一种基于大语言模型的问答式评估工具。结果出人意料所有这些自动工具都把AI翻译评得比人工翻译更高与读者的真实判断恰好相反。自动评分和读者判断之间的相关系数不仅很低甚至是负的——工具给AI翻译打高分的地方往往正是读者觉得有问题的地方。这说明现有的翻译自动评估体系在衡量读者真正的阅读体验这件事上存在根本性的局限。专门为评价忠实度、流畅度而设计的评分工具捕捉不到沉浸感、有没有灵魂这类阅读体验维度。**翻译到非英语语言时AI的短板更明显**研究团队还做了一个补充性的小规模实验把同一批原著翻译成西班牙语、法语、波兰语和日语并同样招募了这几种语言的母语读者来评估。结果差距悬殊——在细读阶段111个段落判断中有103个92.8%倾向人工翻译只有1位读者法语组在整体层面选择了AI翻译而且那位读者在细读时也转而倾向人工翻译。更关键的是这些读者能清楚地说出AI翻译哪里不对劲而不像英语读者那样茫然。一位波兰语读者表示读到大约10%的地方他就百分之百确定这不可能是人工翻译。他们指出了具体的语法结构问题比如句子悬在那里像是直接从源语言翻过来的没有谓语以及源语言的一些习惯被生硬移植过来比如日语中人物用第三人称称呼自己的做法。词汇选择也是一个问题——有时AI不会直接用正确的专业词汇而是迂回描述就像一个还没掌握词汇量的学生。比如在波兰语里人工翻译用了讣告nekrolog而AI版却写成报纸上的身后文章prasowe artykuly posmiertne。这个对比揭示了英语的特殊地位当代大语言模型在英语上的训练量远超其他语言因此英语翻译已经接近难以察觉的程度而其他语言还有明显差距。**读者事后怎么说**研究结束后研究团队问了读者一些开放性问题你原来对AI翻译有什么预期你对自己的猜测准确率感到意外吗现在对AI翻译有什么看法大多数读者15人中有12人表示AI翻译比他们预想的要好没那么容易被发现。有读者说如果这本书摆在书架上他完全不会想到是AI翻译的。但也有读者始终坚持AI翻译压平了作者的声音从语义层面看没什么大问题但缺少情感重量、诗意感也没有考虑到在目标语言里某些东西需要根据文化和语言差异做出改变。读者们比较一致的结论是AI翻译系统现在还不适合单独出版但作为生成初稿供人类译者进一步打磨或许是一种有价值的工具。**这项研究留给我们的思考**归根结底这项研究用严谨的实验告诉了我们几件事。其一AI翻译文学已经到了相当多读者可以接受、愿意读下去的程度特别是在英语这个大语言模型最擅长的语言上。其二读者依然能感觉到人工翻译的优越性尤其在流畅度、沉浸感和用词自然度上细读时差距尤其明显。其三AI翻译的质量在一本书内部起伏更大时好时坏而人工翻译通常更稳定。其四读者几乎无法稳定地辨别哪个版本是AI翻译的而且总倾向于把自己喜欢的版本认定为人工翻译。其五现有的自动翻译评估工具与读者的真实感受背道而驰亟需新的评估方法。这意味着什么对于普通读者而言这意味着你手里的翻译小说也许已经部分或全部由AI完成而你很可能察觉不到——但如果仔细品读人工翻译通常还是更值得细细咀嚼。对于出版业而言这意味着用AI翻译的书卖给不知情的读者这件事技术上已经可行但这也带来了透明度和伦理上的问题——读者是否有权知道自己在读什么对于翻译从业者而言这意味着AI翻译最大的竞争力恐怕不在于整体翻译质量而在于速度和成本但也意味着人类译者那种对语感、文化、情感的细腻处理至少目前仍然是机器难以完全复制的。研究团队已将他们的数据集LAITLiterary AI Translation文学AI翻译数据集连同评估协议一并公开发布内含两千条读者判断、一千条读者评语和七千两百多条短语级别的标注希望为未来的研究提供基础。有兴趣深入探究这一话题的读者可以在arXiv平台通过编号2606.26040找到完整论文在那里可以看到更多具体的书目案例、完整的统计模型细节以及研究团队开发的评估界面截图。---QAQ1LAIT数据集包含哪些内容可以用来做什么ALAIT是这项研究发布的文学AI翻译评估数据集包含15本法语、波兰语、日语小说的开篇片段每本都有人工翻译和AI翻译两个版本在段落、段落块和整本书三个层级上对齐。数据集收录了约2000条读者偏好判断、1000条读者评语和7200多条短语级好/差标注还附带16本书的无标注开发集用于测试不同AI翻译流程。研究者可以用它来训练或评估文学翻译质量模型也可以用来研究读者阅读体验的评估方法。Q2为什么自动翻译评分工具会给AI翻译打更高分和读者感受相反A现有的自动翻译评分工具主要设计用来衡量翻译的忠实度和流畅度——也就是原文意思有没有准确传达、语句有没有语法错误。AI翻译在这两点上确实表现不差所以机器打分较高。但读者真正在意的是更难量化的东西读起来有没有灵魂、沉浸感强不强、用词是不是真正自然而不是正确但别扭。这些体验维度根本没有被现有评分体系捕捉到所以工具高分的地方恰恰可能是读者觉得最别扭的地方。Q3读者识别AI翻译的准确率为什么这么低只有57%A主要有两个原因。首先现代AI翻译特别是针对英语的技术水平已经相当高语法错误少整体语义准确表面上看不出什么明显破绽。其次读者依赖的那些AI写作特征判断标准比如破折号用得多、不会写脏话、过于正式等在实际中并不可靠既会出现在AI翻译里也会出现在人工翻译里。读者的民间理论反而成了误判来源。相比之下明确感受到字面翻译味句子不连贯才是更有效的判断线索但这些特征并不总是出现。