1. 项目缘起当大模型“看”数学题时我们到底在评估什么最近在跟进多模态大模型特别是视觉语言模型VLM的落地应用时我发现一个挺有意思的现象很多团队在宣传自家模型时都会展示一些“看图答题”的案例比如给一张含有图表或公式的图片模型能给出正确的解答。这听起来很酷对吧但当我真正把这些模型拉到一个具体的业务场景——比如辅助中学生解几何题或者帮工程师分析电路图——去测试时结果往往不尽如人意。模型要么是“看图说话”把图中的文字信息复述一遍然后瞎蒙一个答案要么就是完全无视图像中的关键几何关系或符号仅凭文本描述进行推理最后答案南辕北辙。这让我开始思考一个问题我们通常用来评估大模型“聪明”程度的基准比如MMLU大规模多任务语言理解或者一些常见的VQA视觉问答数据集真的能准确衡量一个模型在面对需要结合视觉信息进行深度逻辑推理尤其是数学推理时的真实能力吗答案可能是否定的。这些基准更多是“识别”或“描述”而非“推理”。一个模型能认出图片里有“三角形”和“直角”不代表它能利用这些信息证明勾股定理。这正是“CROSSMATH”基准试图解决的问题。它不是另一个简单的“图片上有几个苹果”或者“描述这张图”的任务。CROSSMATH的核心是构建一系列需要模型真正理解图像中的数学符号、几何图形、图表数据并将其与文本问题中的逻辑约束相结合才能进行求解的问题。评估一个模型在CROSSMATH上的表现本质上是在评估它的“视觉-语言协同推理能力”这是迈向通用人工智能AGI非常关键的一步。而“模态鸿沟”分析则是要深入剖析当模型犯错时问题究竟出在“看”的环节视觉编码器没提取到关键特征还是“想”的环节大语言模型不会用这些视觉特征做推理或者是两者“对话”的环节视觉和语言特征没有对齐好搞清这一点对于指导模型改进至关重要。2. 深入CROSSMATH一个为“推理”而生的评估基准要理解CROSSMATH的价值我们得先看看它具体长什么样以及它和之前的数据集有什么根本不同。2.1 CROSSMATH的题目构成与设计哲学CROSSMATH的题目不是从网上随便爬一些数学题配个图那么简单。它的设计遵循了几个核心原则以确保评估的有效性和挑战性模态互补性问题和答案无法仅通过图像或仅通过文本独立得出。例如一道题可能给出一张复杂的几何构图图像但问题文本是“若线段AB是角C的平分线且已知AC5求三角形ABC的面积。” 图像提供了形状和点线关系文本提供了关键的数值条件和逻辑关系角平分线性质两者缺一不可。推理链条的必然性解题必须经过多步逻辑推理。从“看到”到“回答”不是一步映射。模型需要先识别图像元素如这是一个直角三角形标有直角符号再结合文本条件如斜边长为10一条直角边为6调用几何知识勾股定理进行计算最后输出答案。这个过程模拟了人类解题的思维链条。多样化的数学子领域题目覆盖代数、几何、概率、统计、微积分等多个数学分支以及图表分析、函数图像解读等。这防止模型通过“刷题”或记忆特定模式来获得高分必须真正掌握跨模态的数学理解能力。对抗性干扰项图像中可能包含与解题无关的冗余信息或装饰性元素文本描述也可能有误导性的旁白。模型需要具备信息筛选和聚焦关键线索的能力。基于这些原则CROSSMATH通常会包含以下几种典型题型几何证明/计算题配以几何图形要求计算长度、角度、面积或证明某个结论。函数图像分析题给出函数图像要求判断函数性质、求解方程或不等式。统计图表题给出柱状图、折线图、饼图要求进行数据比较、趋势分析或计算统计量。符号公式识别题图像中包含手写或印刷的数学公式要求结合上下文进行化简、求解或翻译。在我自己尝试用一些开源VLM如LLaVA、Qwen-VL跑CROSSMATH的样例时一个深刻的体会是模型往往在第一步“感知”就出错了。它可能把“∠”符号识别成“小于号”或者把坐标系中的一条曲线错误描述为“波浪线”。这种低级错误直接导致后续推理全盘皆输。这也引出了CROSSMATH的另一个重要作用它像一面“照妖镜”能清晰暴露出现有模型在细粒度视觉感知上的不足而不仅仅是推理的短板。2.2 如何实施一次有效的CROSSMATH评估如果你也想在自己的模型或某个API服务上跑一下CROSSMATH看看效果以下是我总结的一套实操流程和注意事项第一步环境与数据准备CROSSMATH基准通常以数据集形式发布。你需要先获取数据集注意遵守相关许可协议。数据集通常包含三部分images/图片文件夹、questions.jsonl每行是一个JSON包含问题ID、图像文件名、问题文本、多个候选答案选项等、answers.jsonl或annotations.jsonl包含标准答案和可能的解题思路。注意务必检查数据集的版本和标注质量。有些早期版本可能存在标注错误最好从官方渠道如论文作者提供的GitHub仓库获取最新版。第二步模型接入与提示词设计这是评估的关键。你不能简单地把图片和问题拼接起来扔给模型。需要精心设计提示词Prompt。一个基础但有效的提示词模板如下你是一个专业的数学助手。请仔细分析用户提供的图片和问题结合图片中的视觉信息进行一步步推理最终给出答案。 图片内容描述[这里可以先让模型自行描述图片或者如果你有ground truth描述也可以提供但前者更能测试模型能力] 问题[{question_text}] 请按照以下步骤思考 1. 识别并描述图片中所有与问题相关的数学元素如图形、符号、坐标轴、数据点等。 2. 将这些视觉信息与问题文本中的条件结合起来。 3. 列出解题可能需要的公式或定理。 4. 一步步进行逻辑推理和计算。 5. 最终你的答案应该仅仅是选项字母如 A、B、C、D或具体的数值。 让我们开始为什么这么设计它强制模型进行“思维链”Chain-of-Thought CoT输出这不仅能让我们看到最终答案的对错还能通过中间步骤精准定位模型是在哪一环失败的。是描述错了图形还是用错了公式一目了然。第三步批量推理与结果收集编写脚本遍历所有问题将“图片提示词”送入你的模型可以是本地部署的也可以是调用云端API。这里有一个大坑注意模型的输入上下文长度限制。CROSSMATH有些题目配图可能分辨率较高经过视觉编码器处理后生成的视觉token序列可能很长加上复杂的提示词和CoT输出很容易超出模型的上下文窗口。解决方案有两种一是使用支持长上下文的模型二是对高分辨率图片进行智能裁剪或缩放只保留关键区域但这本身又是一项挑战。 将模型的输出尤其是CoT过程和最终答案保存下来与标准答案进行比对。第四步指标计算与分析CROSSMATH通常采用准确率作为核心指标。计算模型输出答案与标准答案一致的题目比例。 但更重要的是定性分析。你需要人工或借助一些规则去分析模型错误的原因。可以粗略分类视觉感知错误模型对图片内容的描述完全错误或遗漏关键项。文本理解错误模型误解了问题文本的含义。知识缺失模型不知道需要使用的数学定理或公式。推理逻辑错误感知和理解都对但在推导、计算过程中出错。模态融合失败虽然分别感知到了视觉和文本信息但无法将它们正确关联起来形成统一的解题思路。通过这种细致的归因分析你得到的将不仅仅是一个分数而是一份详细的“模型能力诊断报告”。3. 模态鸿沟拆解VLM在跨模态推理中的“断层线”通过CROSSMATH评估我们几乎总能观察到模型表现与人类期望之间存在差距。这个差距很大程度上源于“模态鸿沟”。它不是单一问题而是存在于视觉-语言联合理解 pipeline 的多个层面。3.1 表征层面的鸿沟视觉特征与语言特征“各说各话”这是最底层的鸿沟。现代VLM通常由一个视觉编码器如ViT、CLIP的视觉塔和一个大语言模型LLM组成。视觉编码器将图片转换成一系列“视觉特征向量”LLM处理文本特征。问题在于这两种特征来自完全不同的“语义空间”。视觉特征更偏向于描述像素级的纹理、形状、颜色分布、局部结构。经过在ImageNet等数据集上的预训练它能很好地回答“这是什么物体”但对于“这个角是60度吗”、“这条曲线的斜率代表什么”这类抽象和关系性语义其编码是隐晦和不直接的。语言特征生活在符号和逻辑的世界里擅长处理“如果…那么…”“因为…所以…”这类关系。但当它接收到一组视觉特征时它很难将其精准地映射到“直角三角形”、“正弦函数图像”这样的抽象概念上尤其是当这些概念需要从整体构图而非局部物体中推导出来时。这就好比视觉编码器在说方言描述像素和局部模式而LLM在说普通话处理符号逻辑中间缺少一个既懂方言又懂普通话的“翻译官”。直接让LLM去“理解”视觉特征就像让一个只懂普通话的人听一段方言录音他可能能捕捉到一些情绪和零星词汇但无法理解完整的语义。在CROSSMATH的几何题中模型可能“看到”了三条线相交但LLM无法从视觉特征中确信地推断出“这是一个三角形且有一个角是直角”除非这个直角被明确地用符号“∟”标注出来——而这又依赖于视觉编码器能否正确识别这个特殊符号。3.2 对齐层面的鸿沟“看到”不等于“用到”即使视觉编码器成功提取了关键特征比如它确实输出了一组表示“直角”的特征LLM也未必能在推理中有效地“调用”这个特征。这就是对齐问题。现有的VLM训练方法如图文对比学习、视觉-语言生成任务主要实现了“粗粒度对齐”例如让模型学会将“狗”的图片和“狗”这个单词关联起来。但对于“直角”这种细粒度的、非物体的、且其数学意义严重依赖于上下文的概念对齐是非常弱的。在推理时LLM的注意力机制可能更多地被问题文本中的关键词所吸引而“冷落”了来自视觉特征的某些关键信息。例如问题问“求阴影面积”LLM可能会专注于文本中的“面积”一词并试图从记忆库中调用面积公式却忽略了视觉特征中关于“阴影部分是由哪几个图形重叠/相减而成”的关键空间关系信息。这种对齐失败导致模型“选择性失明”看到了信息但没用在刀刃上。3.3 推理机制层面的鸿沟缺乏内在的符号操作能力这是最深刻的鸿沟。数学推理的核心之一是符号操作和规则演算。LLM本质上是基于概率的序列生成模型它通过海量文本数据学习到了符号之间的统计关联可以模仿出推理的“形式”但并不真正具备内在的、确定性的符号演算能力。 当面对一个多步几何证明时人类会在心中或纸上进行一步步的符号推导如因为ABAC所以三角形ABC是等腰三角形因为等腰三角形底角相等所以角B角C……。LLM则是基于前面生成的token逐个预测下一个最可能的token。这个过程很容易“脱轨”可能在某一步它选择了一个统计上合理但逻辑上错误的词语或公式或者它无法在生成长序列时始终保持所有中间变量和条件的一致性。在CROSSMATH中这表现为模型可能会“幻觉”出题目中不存在的条件或者在多步计算中累积误差。例如它可能正确列出了勾股定理的公式a² b² c²也正确代入了c10, a6但在计算b sqrt(10² - 6²)时却错误地算成了sqrt(100 - 36) sqrt(64) 9正确应为8。这不是它不会算术很多LLM内置了计算器而是在生成数字字符序列时出现了偏差。更深层的原因是纯数据驱动的LLM缺乏一个内置的、可靠的数学引擎。4. 跨越鸿沟技术实践与模型优化方向分析了这么多问题最终还是要落到“怎么办”上。结合当前的研究趋势和我个人的项目经验要提升模型在CROSSMATH这类任务上的表现可以从以下几个方向着手。4.1 数据层面构建高质量的“思维链”对齐数据模型表现的上限很大程度上由训练数据决定。要弥合模态鸿沟我们需要不同于传统图文对的数据。细粒度标注数据不仅要有图片和问题答案还要有对图片中关键数学元素的详细描述如“图中有一个以O为圆心的圆线段AB是直径点C在圆上连接AC和BC”以及完整的、人类书写的分步推理过程CoT。这样的数据直接教会模型如何将视觉场景“翻译”成可用于推理的符号化描述。合成数据与课程学习利用程序化方法生成海量的、可控难度的数学题目和配图。可以从简单的图形识别和数值计算开始逐步增加图形的复杂性、条件的隐含性和推理的步骤数。让模型像学生一样从易到难地进行学习。对抗性数据增强故意在图片中加入干扰线条、无关文本或者让问题文本包含冗余描述训练模型学会过滤噪声、聚焦核心信息。这能显著提升模型的鲁棒性。在实际操作中收集高质量的人类标注CoT数据成本极高。一个折中的方案是使用“自举”方法先用一个较强的模型如GPT-4V在未标注的数学图片上生成推理链然后人工进行校验和修正再用这批数据去训练较小的模型。虽然生成的数据可能有噪声但在大量数据下小模型依然能学到有用的对齐模式。4.2 模型架构层面探索更紧密的模态融合机制经典的VLM架构视觉编码器投影层LLM可能不是最优解。研究者们正在尝试一些改进早期融合 vs. 晚期融合经典方法是“晚期融合”即视觉和文本特征在进入LLM的中间层才交互。而“早期融合”尝试在更底层甚至在视觉编码器的patch层面就引入文本指导或者使用一个统一的Transformer同时处理图像patch和文本token。早期融合能让模态交互更充分但对计算和训练数据的要求也更高。引入显式的符号表示层在视觉编码器和LLM之间增加一个可学习的“符号化”模块。这个模块的任务是将视觉特征解析成一组结构化的、离散的符号如“图形: 三角形, 属性: {边: [AB, BC, CA], 角: [∠ABC90°]}”。然后LLM基于这组清晰的符号进行推理。这相当于在方言和普通话之间加入了一个“标准翻译器”。虽然设计这样的模块极具挑战但它直指问题的核心。专家模块集成不指望LLM自己学会一切。可以为特定的数学子任务如几何定理证明、符号计算开发专门的、可微分的“专家模块”。在模型推理时根据输入动态地调用这些模块。例如当识别出问题属于几何范畴时就激活一个几何推理子网络。这类似于给LLM配了一个“计算器”和“几何画板”工具箱。4.3 训练策略层面设计针对性的训练目标除了标准的图像-文本匹配损失需要引入更能促进深度推理的训练目标。分步监督训练不仅用最终答案监督模型还用人类标注的推理链中的每一步来监督模型的中间输出。这强制模型学习正确的推理轨迹而不仅仅是记忆答案。基于程序的监督对于数学问题最终的答案往往可以通过执行一段程序如几何求解器、符号计算库得到。我们可以训练模型生成这样的程序代码如SymPy或几何约束求解器的调用然后通过执行代码来验证答案。这种“可执行”的监督信号比单纯的文本答案更加精确和有力。强化学习与自洽性使用强化学习以答案正确性为奖励微调模型。更高级的做法是鼓励模型的“自洽性”让模型对同一个问题生成多个推理路径和答案然后训练它选择那些能得出一致结论的路径。这有助于减少幻觉和随机错误。在我参与的一个内部项目中我们尝试了“分步监督程序监督”的组合。我们收集了一批带有详细解题步骤和最终Python/SymPy代码的数学题。在训练时损失函数由三部分组成1) 最终答案的交叉熵损失2) 推理步骤文本的损失3) 生成的可执行代码的损失。实测下来这种多任务学习的方式虽然增加了训练复杂度但模型在CROSSMATH类任务上的泛化能力确有可见提升尤其是减少了低级计算错误和符号误用。5. 评估之外的思考CROSSMATH的现实意义与挑战将CROSSMATH仅仅视为一个学术基准是狭隘的。它的设计理念对我们构建实用的、可靠的AI应用有着直接的启示。首先它定义了“可靠的多模态推理”应该具备的标准。任何声称具备“多模态理解”能力的行业应用如教育辅导、工业图纸分析、医疗影像报告生成其核心能力都应该经得起类似CROSSMATH的检验。例如一个AI教育产品不能只会识别题目中的文字和配图还必须能理解图文之间的深层逻辑关联进行正确的推演。在设计这类产品的评测体系时完全可以借鉴CROSSMATH的思路构建垂直领域的“迷你CROSSMATH”基准。其次它揭示了当前VLM的能力边界。通过模态鸿沟分析我们清醒地认识到让AI进行深度的、可靠的跨模态推理仍然任重道远。这提醒我们在当前阶段应用此类技术时必须采取审慎的态度。例如在辅助教学场景更适合将AI定位为“启发者”或“初步检查者”给出解题思路提示或答案可能性而将最终判断权和详细讲解交给人类教师形成人机协同的闭环而不是完全依赖AI做最终决策。最后它也指明了未来研究的关键挑战。如何让AI获得类似人类的“心智图像”能力即能够在内部构建一个基于视觉输入的、可操作的符号化心理模型。这可能需要从根本上反思现有的架构或许需要结合符号AI与神经AI的优势。同时如何高效地获取训练所需的海量、高质量、带有深度推理标注的多模态数据也是一个巨大的工程和成本挑战。从我个人的工程实践角度看短期内最有效的路径可能不是追求架构上的颠覆式创新而是在现有强大的基础VLM之上通过检索增强生成RAG和工具调用Tool Calling来弥补其内在不足。例如当VLM遇到一个复杂的几何题时它可以先尝试理解问题然后调用一个专门的几何知识库进行检索找到相关的定理和例题或者直接调用一个几何求解器工具进行计算最后将工具返回的结果组织成自然语言答案。这种“大模型作为大脑专业工具作为四肢”的范式能够绕过模型在符号推理和精确计算上的固有缺陷更务实、更可控地解决实际问题。当然这又带来了新的挑战如何让大模型学会在合适的时候、以合适的方式调用正确的工具这又是另一个需要精心设计和评估的课题了。