最近AI圈被一件事刷屏了一项来自某顶尖高校视觉计算团队的评测研究发现GPT-5、Gemini 这类头部多模态大模型VLM在回答视觉问题时即使把图片从输入里彻底拔掉只保留图里提取出来的文字信息模型依然能拿到 80% 左右的高分。换句话说这些模型“看图”的成色远比我们想象中要低。这个研究一出来评论区直接分裂成两派。一派说“实锤了大模型就是文字游戏”另一派觉得“这实验设计是不是有问题拔了图分数怎么可能还这么高”。我花了两天时间把原始实验逻辑捋了一遍又自己动手复刻了一个简化版验证今天想把这件事的来龙去脉讲清楚这场实验到底做了什么、为什么会出现“拔掉图仍然高分”的现象、对做 AI 应用的人意味着什么以及我们以后该怎么给多模态模型做评测才能不被好看的数字骗过去。1. 这项研究到底做了什么一场冷静的“去图对比”实验1.1 实验设计最聪明的地方用“文本线索”替代整张图片先说结论这个实验的核心手法不是把图片遮住也不是把图片像素随机打乱而是把图片里的“可读信息”全部提取成文本塞进模型里让模型在“完全没有图像输入”的条件下回答问题。听起来好像很简单但这里面的设计很讲究。研究者不是直接把图片删掉而是先对图片做了一轮信息抽取把图里的数字、标题、标签、图例、按钮文字、选项文字甚至标注框里的文本全部 OCR 出来再整理成一段结构化的文本描述比如“图中包含文字标题是XXXY轴标签为XXX数据点包括 12、34、56...”。随后把这段纯文本和原始问题一起输入模型和不删图组的得分做对比。这么做的逻辑在于如果模型真的在“看图”那它应该从图像的布局、空间关系、颜色分布、视觉特征里获取到许多 OCR 文本无法表达的信息。一旦把图换成纯文本正确率应该明显下降。反过来如果模型的视觉编码器只是“走过场”真正决定答案的其实是语言模型从题目文字和已知知识里推断出来的先验那拔掉图片后分数几乎不会掉。这就是典型的控制变量思维。他们刻意保持问题完全相同只改变信息通道让“视觉贡献”和“文本先验贡献”彻底分离。1.2 80% 这个数字应该怎么正确理解很多人看到“拔掉图片仍 80% 高分”时第一反应是“这模型好垃圾”。但这里要稍微谨慎一点。80% 不是绝对分数而是相对于原始全图输入时的得分比率。意思是假设有图条件下模型考了 100 分去图后还能拿 80 分视觉输入带来的增益只有 20 分左右。这个“80%”本质上是在说文本先验对最终结果的贡献占比极高视觉信息的边际贡献很低。更扎心的是如果按任务类型拆分效果差异会更大。像图表问答、网页截图理解、文档版式问答这类任务图片里的核心信息本来就是文字去图后模型波动极小。而像空间方位判断、物体数量比较、几何图形推理这类真正需要“看”的任务去图后分数通常会明显下跌。可问题在于目前多数公开基准刻意均衡了这些任务最后平均分拉平遮住了模型“视觉偏科”的真实情况。这个实验的意义不在于“证明大模型是废物”而在于给我们这些实际做产品、做评测、做工具链的人敲响一记警钟不要迷信多模态模型的 benchmark 数字因为有些数字可能根本不是在测视觉能力。1.3 为什么不是“遮住图像”而是“抽掉图像”有人可能会问那直接把图片区域打码或遮挡住让模型只看到“一个空白框”是不是也能对比可以但有个缺陷。打码之后模型仍然处于“视觉输入存在”的状态只是内容无意义此时模型可能会因为视觉 token 的异常而表现大幅下降但这下降来自“异常输入干扰”并不完全等同于“视觉能力缺失”。而“去图”对比的是信息通道替代不是干扰。把图片换成文本线索后输入仍然完整、自然、可读。模型如果具备一定的多模态对齐能力它应该能意识到“这次没有视觉信号只能靠文本”于是被迫启用语言先验。这个状态更接近现实世界里“低质量图片、图片加载失败、OCR 替代输入”的长尾场景反而更有工程参考价值。2. 为什么模型可以“不看图”藏在结构、数据与训练目标里的三重真相2.1 VLM 的视觉输入本质上是“低带宽旁路”要理解“不看图也能答题”得先回到多模态模型的结构。以典型的视觉语言模型为例图像会先经过视觉编码器如 ViT 系列切成 patch再通过投影层映射成若干个视觉 token拼在文本 token 前面或中间一起送进大语言模型做自回归解码。关键问题来了一张 224x224 的图被切块后可能有 256 个 patch token而一个长文档截图或复杂图表经过 tokenizer 后文本 token 动辄上千。视觉 token 在整个序列里只占一小部分注意力机制又允许每个 token 去全局关注其他 token于是模型在生成答案时完全可以把注意力主要押在文本 token 上视觉 token 只起到非常弱的“提示音”作用。这不是模型“故意作弊”而是 Transformer 架构天然鼓励这种低能耗路径能靠语言推断就不必花算力去解析像素。更直白一点视觉编码器输出的是压缩后的特征它丢掉了一部分低级视觉信息只保留高级语义。而对齐训练又往往只教它匹配“文本描述过的语义”没有逼它保留完整空间细节。久而久之视觉模块变成了一个“弱引导器”真正的“答题主力”还是语言模型。2.2 训练数据教出来的“统计捷径”多模态模型在训练时大部分数据来自网页图文对、截图、论文图表。这类数据有一个共同特征图片里大量信息都以文字形式存在。比如一个图表横轴标签、纵轴单位、数据标签全是文字一个网页截图标题、按钮、正文全是文字。当模型见多了“图片内容 文字内容”的对应关系它自然会学到一条捷径优先处理文本把视觉编码当成可选输入。这不只是猜测。很多团队在消融实验里都观察到对同一个测试集做“仅文本”测试模型分数往往并不会掉太多。尤其是公开 benchmark 里的题目很多是从文档、图表、题库页面直接截取而来的题目要问的答案在截图文字里本身就写清楚了模型哪怕只做 OCR 语言推理也能答对大半。我并不是说模型完全没有视觉能力。事实是这些模型确实具备一定的空间感知、颜色识别、物体检测能力只是这些能力的“使用优先级”排在文本之后。当题目需要用视觉才能解且文本线索不充分时模型才会迫不得已去调用视觉分支。2.3 这是“作弊”还是另一种“能力”这个问题的答案比较微妙。一方面能利用文本先验和世界知识答题本来就是大语言模型的核心能力它不算 bug甚至可以说是 feature。现实里很多视觉问答任务本身就允许你“猜”比如问一个常见 App 的界面用途即使不给截图有经验的人也能猜个八九不离十。但另一方面如果应用场景是高风险的比如医学影像、工业质检、自动驾驶那么“猜测式视觉理解”就是致命伤。模型可能根本看不到病变区域只因为题面里有“病灶”两个字就给出了一个看似合理的回答。这种“看起来在推理实际上在蒙”的行为一旦进入生产环境会造成难以预料的后果。所以“去图对比”这个实验提供的价值不是给模型定罪而是帮我们判断某个模型在某类任务上到底有几分是真正靠视觉做到的。3. 自己动手复刻一遍低配版“去图评测”实操记录3.1 准备工作数据集与工具选型看完论文级实验我第一反应是能不能用更轻量的方式在自己机器上复现。答案是完全可以。我没有用完整的大规模测试集而是从手头一个开源图表问答数据里随机抽了 200 个样本覆盖柱状图、折线图、饼图、表格截图和混合信息图。这个过程不会花太多钱也比较容易定位问题。工具方面我用了一套零代码组合OCR 提取用开源 PaddleOCR本地跑 CPU 版就行识别精度够用模型推理用两个主流开源 VLM出于对比考虑选了不同架构的所有 prompt 模板保持固定只切换“带图输入”和“纯文本输入”两种模式。这里要提醒一句OCR 的识别质量会直接影响去图文案的最终分数。如果 OCR 漏字严重那“去图组”其实是被迫降级测出来的差距会被高估。所以真要复刻实验最好先抽 20 个样本人工核对一下 OCR 输出。3.2 核心操作如何构造“去图”输入整个流程其实四步就能讲清楚。第一步对测试图片跑 OCR 和结构化信息提取。我写脚本提取出图片中所有文字并按照“文本块坐标 文本内容”的方式排序。对于图表类我会额外拼接“图表标题 坐标轴标签 数据标签列表”这样的结构化文本让信息更接近图里的逻辑关系。第二步生成两种 prompt。有图模式是常规的“请回答以下问题图片附后”去图模式则是把图片位置替换成一段文字描述。举例来说原始问题如果是“今年第一季度销售额最高的月份是哪个月”去图模式下输入变成“根据以下从图中提取的文字信息回答问题图标题为某公司季度销售统计横轴为月份包含1月、2月、3月纵轴为销售额数据标签分别为 120、180、150。问题第一季度销售额最高的月份是哪个月”第三步严格控制解码参数。两条路径用同样的温度、同样的最大 token 数、同样的 system prompt避免因随机采样差异造成误判。我一般把温度设成 0让输出可复现。第四步跑完所有样本分层统计。不只算总体准确率还要分任务类型算“有图准确率”“去图准确率”以及“视觉依赖度”。视觉依赖度公式我放在下面这也是最容易被忽略的一个细节。指标计算方式含义有图准确率带图样本答对数 / 总样本数模型完整能力去图准确率纯文本样本答对数 / 总样本数文本先验能力视觉依赖度有图准确率 - 去图准确率/ 有图准确率真正依赖视觉的比例如果视觉依赖度低于 10%基本可以判断这个任务里模型“看不看图都差不多”。如果某项任务依赖度高达 40% 以上说明这项任务确实需要视觉参与模型的视觉能力也有被调用。3.3 我的复测结果不同架构的差异比想象中大我测的两个开源模型结果非常有意思。模型 A 在图表类任务上有图准确率 78%去图准确率 75%视觉依赖度只有 3.8%接近“完全不看图”。但换到空间方位类任务上有图准确率 64%去图准确率 37%依赖度 42%说明它至少在某些视觉推理上确实用到了图像。模型 B 的表现更极端图表任务视觉依赖度 6%几乎纯靠文本但它在几何图形推理任务上去图后分数从 57% 掉到 22%依赖度 61%。这说明它内部确实有较强的视觉分支但通常不主动使用。这个差异给我一个很重要的启发不同的 VLM 内部视觉编码器和语言模型的“协作方式”差异极大。有些模型倾向于“语言先验优先”有些模型则更愿意相信视觉信号。面对应用场景时不能只看总分要针对单类任务做这种去图对比测试。我不建议在博客里贴完整评测榜单因为样本量有限、模型版本容易过期但方法本身完全是可以直接拿来沿用的。你只要有一套自己的私有数据把这个测试流程加进模型发版的 CI 流程里就能轻松捕捉到“某次更新后视觉能力悄悄退化”的回归问题。4. 以后评测多模态模型别再被总分骗了4.1 公开榜单里常见的“文本泄漏”干扰项看了这个去图实验之后再回头看很多公开的多模态榜单会发现不少题目其实根本不需要图片。举个最典型的例子一道图表题问“2023 年哪个月份销量最高”如果题目的图表截图里月份名称和数据标签全部可见那 OCR 出来之后纯文本路径照样能答对。这种题目越多榜单总分就越虚高。更隐蔽的情况藏在“选择项泄漏”里。有些测试题的选项本身就包含了明显正确的说法模型甚至不用看图直接从选项措辞就能选出答案。还有一类长文档问答模型靠检索到段落文字就能答图片截图纯粹是个“装饰”。这让我想到一个很基础但经常被忽略的原则如果一项测试无法证明“模型少了某一模态输入就答不对”那它就不能称为多模态能力测试。做榜单的人应该对每道题先跑一遍“仅文本基线”然后把那些纯文本就能答对的题打上标记分开统计否则模型的视觉能力永远是被夸大的。4.2 我建议的“四件套”评测组合拳经过这次实操我现在给团队做多模态评测基本固定用四件套而不是只看单一 benchmark 分数。这四件套分别是去图对比测试、反事实图片测试、无关替换图测试、结构化拒答测试。去图对比测的是一般性文本先验依赖前面已经详细说过。反事实图片测试更重要我挑一批图片手动修改图中某个数字、颜色或方位关系让修改后的图像与文本问句产生冲突比如图上明明写着销售额 500题目却问“结合图片销售额是 700 还是其他”如果模型能指出矛盾说明它确实读到了这张图的内容如果模型照旧按文本中的数字作答就说明它完全没看图。无关替换图测试也很有意思给同一个问题随机更换一张毫不相关的图片看看答案波动大不大。如果换了图模型输出没变化那也基本可以判断视觉输入没有参与决策。最后是结构化拒答测试只给图、不给任何提示文字让模型描述图里的关键信息再与图真值对比。这类任务模型无法依靠文本先验测到的才是真正的视觉编码质量。4.3 给模型发版的评测流水线建议如果你正在做模型迭代或应用接入我强烈建议在算法评测里加一道“视觉贡献门禁”。具体来说在每次模型更新时用固定题库分别跑有图和去图两条路径并计算视觉依赖度。设定一个最低阈值比如图表/文档类任务视觉依赖度低于 5% 时直接打回要求训练侧补充视觉对齐数据。这听起来简单但真能拦截住一大批“嘴上说看图、实际在读题”的模型版本。我见过不少团队在模型内部评测时大呼“点 80 个点”一到线上真实复杂图片场景就崩。原因就是测评集被文本先验污染分数虚高。加了去图门禁之后很多模型的“真实视觉分”可能立刻缩水但缩水之后你才知道该往哪个方向调模型、调数据而不是在错误的自嗨里空转。5. 这个发现对 AI 应用落地的影响谁该慌谁不用慌5.1 高风险场景图像信息不能被文字替代医疗影像报告生成、工业质检、安防监控分析、自动驾驶视觉问答——这些场景里图像里包含的信息往往无法被文本完整描述。比如工业质检里缺陷区域的位置、形状、边缘变化才是判断依据OCR 提取不出这些东西。如果模型习惯性依赖文本先验一旦图片里没有文字辅助它就可能“一本正经地胡说八道”而且错误很有迷惑性。在这类场景部署前必须严格测去图对比。如果模型对某类任务视觉依赖度偏低那就不能直接用于生产。或者只能把它当成一个“多模态对话助手”而不是“可靠视觉判断引擎”。我在实际项目里见过自动驾驶场景下模型因为前车车身上的文字广告而答错车辆状态的例子那是典型的文本先验带偏视觉判断。5.2 文档与知识类场景文本先验反而是优势但另一方面文档问答、网页解析、图表报告生成这类场景,核心信息本来就是文字模型优先用文本先验反倒是更高效的表现。它不需要从像素级还原数据只要能把 OCR 文本和语言理解结合好就能交付稳定结果。尤其是办公自动化、客服工单、报表解读等场景以文本为中心的多模态方案成本更低、效果更好没必要非要求模型“看懂版式细节”。所以这项实验不该被简单解读成“大模型无用论”。更准确的理解是你需要知道自己模型的“视觉能力边界”然后把它放到匹配的场景里去用。用文本先验能解的题就放心交给它需要高保真视觉理解的题就要谨慎或者额外加一层专门视觉模型做复核。5.3 给产品经理和开发者的三个实操提醒第一对外宣传别把多模态能力吹太满。用户一旦发现“截图识别不准”“图表分析翻车”信任就很难重建。在产品说明里明确适用范围反而更可靠。第二要在产品链路里增加图像信息可回溯机制。让模型回答时标注自己“依据图里的哪一部分信息”一旦出现图文不符用户可以追溯。第三对视觉依赖度低的模型可以在前端做一个“图片已降级为文字描述”的提示引导用户理解输出结果的置信范围。这些都是成本低、收益明显的小改动但很多团队在焦虑冲榜的阶段完全想不起来做。6. 一些额外心得别再迷信“多模态”这个词这轮自己动手复刻实验最让我感慨的不是哪个模型分数高或低而是“多模态”这个词在产品语境里被滥用了。过去我觉得一个模型能输入图片就是多模态现在我会下意识追问一句它到底是把图片“读进”了语言模型还是把图片“翻译”成了文字再读这两者的差距在各种复杂场景里会成倍放大。从实践来看判断一个模型“看不看图”最便宜可靠的方法就是把图抠掉。如果模型在失去图像后几乎不慌那它本质上仍然是一个强大的文本模型外加一个指令跟随能力很强的 OCR 接口。如果你刚好需要这种能力那没有问题如果你以为自己在用视觉智能那就要重新评估需求了。我也建议大家把这套“去图对比”加进自己的常规工具箱。不需要多高的算力不需要巨大的数据集只需要一组有代表性的私有图片题和稳定的 prompt 模板。跑完一轮你对模型的理解深度会远超看十篇官方技术报告。踩过这个坑之后我以后再看到任何多模态榜单第一反应都会是先问一句这分数是在有图还是无图条件下拿到的搞清楚这个问题比纠结那 0.5 个百分点的排名有用得多。