1. 先搞清楚“主动视觉”到底在测什么以及为什么大模型得分这么低最近看到一些关于大模型视觉能力的讨论特别是提到一个叫“Fable5”的基准测试说大模型只做对了3.5%。这个数字乍一看很惊人但更关键的问题是这个测试到底在测什么为什么得分这么低这背后反映的是大模型在“看图”这件事上还缺了哪块核心能力简单来说“主动视觉”和我们平时说的“图像识别”或“看图说话”不是一回事。普通的视觉任务比如描述一张图片里有什么、识别物体模型是被动地接收一张完整的、静态的图片然后给出一个描述或标签。而“主动视觉”更像是一个智能体比如机器人在真实环境中的行为它需要主动地“看”——决定看哪里、怎么看比如移动摄像头、调整焦距、以及如何根据看到的信息来规划下一步行动以完成某个目标。Fable5这个基准测的就是这种能力。它可能给模型一个初始的、不完整的视觉信息比如一个模糊的局部视角然后要求模型通过一系列主动的“观察动作”来探索环境最终回答一个需要推理的问题。大模型得分低恰恰说明它们目前更擅长对“给什么就看什么”的静态信息进行处理和描述但在主动规划观察策略、进行空间推理和因果推断方面能力还非常初级。所以如果你在评估一个视觉大模型VLM或者多模态大模型时不能只看它在COCO、VQA这些传统数据集上的表现。如果您的应用场景涉及机器人导航、交互式问答、需要多步观察的视觉推理那么“主动视觉”能力的缺失可能会成为项目落地的瓶颈。这篇文章就围绕这个点拆解一下我们该如何理解、评估并在工程上应对大模型的这种能力局限。2. 从被动“识图”到主动“视觉”能力鸿沟在哪里要理解3.5%这个分数我们得先拆开看在“主动视觉”任务里模型需要跨越哪些传统视觉任务没有的坎。2.1 任务形态的根本不同传统的视觉-语言任务输入输出是明确的输入一张或多张完整的图片 一个问题或指令。输出一段文本答案或描述。过程模型一次性处理所有视觉信息。而主动视觉任务流程是动态和序列化的输入一个初始的、可能信息不全的视觉观察 一个需要最终达成的目标例如“房间里有没有红色的杯子”。输出一个动作序列例如“向右平移摄像头30厘米”、“聚焦书架第二层”而不仅仅是最终答案。过程模型需要根据当前观察决定下一个最佳观察点逐步获取信息最终整合所有观察结果进行推理并回答问题。2.2 核心能力短板基于上述流程大模型包括当前很多优秀的VLM在以下几个环节存在明显短板空间与物理常识推理模型需要理解“向左看”和“向右看”在物理空间里意味着视野会如何变化被遮挡的物体在移动后是否会出现。这需要强大的空间想象和物理规律理解而不仅仅是识别物体。信息获取的规划能力模型不能漫无目的地“看”它需要像侦探一样规划一条最高效的观察路径来验证或排除假设。这涉及到对任务目标的分解和基于不确定性的决策。记忆与信息整合模型需要记住之前每一步看到了什么并将这些碎片化的信息在脑海中构建成一个逐渐完整的“心理地图”。这对于处理长序列依赖的Transformer架构本身就是一个挑战。动作-观察的闭环反馈模型输出的“动作”会改变环境状态观察视角进而获得新的“观察”。这个闭环反馈机制在传统单次前向推理的模型中是不存在的。2.3 工程落地的直接体现在实际项目中这种短板会表现为让一个VLM控制机械臂抓取杂物中的目标物体它可能能识别物体但无法规划出一系列避开障碍、调整角度的观察和移动步骤。在一个交互式视觉问答系统中用户问“抽屉最里面是什么”模型可能只会基于当前视角猜一个答案而不会“主动”建议用户“请打开抽屉并拍一张里面的照片”。在自动驾驶的仿真测试中模型可能无法像人类司机一样通过主动扫视后视镜、侧窗来综合判断变道安全性。所以Fable5的3.5%不是一个偶然的低分它精准地戳中了当前大模型从“模式识别”走向“具身智能”或“交互智能”的关键障碍。3. 如何评估你手中的模型超越传统基准既然知道了问题所在我们在做技术选型或模型评估时就不能只盯着GLUE、MMLU或者图像分类准确率了。以下是一些更贴近“主动视觉”能力的评估思路和实操方法。3.1 构建或寻找合适的评估集如果项目与交互、推理强相关可以着手准备以下类型的评估数据部分观察推理方法准备一批图片但只给模型看图片的一小部分如一个角落或高度模糊的版本。问题需要基于图片的完整信息才能回答。评估点模型是直接瞎猜还是会请求更多信息在交互设定下或者其回答中体现出对信息缺失的认知示例给一张只露出钢琴一角的图片问“房间里有什么乐器” 好的模型应该回答“根据现有信息可能有一架钢琴但需要查看更多区域确认。”序列观察预测方法给模型一个视频片段或有序的图片序列序列中视角是逐渐变化的。然后问一个关于“之前”或“之后”状态的问题。评估点模型能否理解视角变化带来的信息更新并进行时序推理。示例展示一个机器人视角从门外移动到门内的视频问“在进入房间前门把手在视角的左边还是右边”简单动作规划方法在模拟器如AI2-THOR, Habitat或定义好的网格世界中给模型一个起点视图和一个目标描述让它输出一系列动作指令如前进、左转、抬头。评估点动作序列是否能有效导致目标被观察到。这是最接近Fable5的评估方式。3.2 设计针对性的Prompt工程即使没有专门的评估集也可以通过设计Prompt来试探模型的潜力思维链Chain-of-Thought激发在问题前明确要求模型“先描述你看到了什么再根据缺失的信息列出你需要进一步观察哪些地方最后给出推理答案”。这可以强迫模型显式地进行信息规划。多轮对话测试不要一次性问完。先给一个模糊的图片和问题等模型回答后你再以用户的身份根据它回答中的不确定性提供新的“观察”另一张相关图片看它能否整合新信息修正答案。反事实提问问一些需要模型想象视角移动后结果的问题例如“如果我把摄像头向右移动我会先看到窗户还是沙发”3.3 关注模型架构的线索在阅读模型论文或技术报告时关注以下关键词和模块它们通常与更强的空间和推理能力相关架构是否引入了视觉TransformerViT的变体专门处理空间token是否使用了感知器Perceiver、状态空间模型SSM等擅长处理长序列和结构化信息的架构训练数据模型是否在包含丰富空间关系描述的数据集如PointQA、VCR上训练过是否引入了3D数据点云、立体图像或视频数据进行预训练技术是否使用了思维树Tree of Thoughts、程序合成Program Synthesis等技术来辅助复杂规划4. 当前可行的工程应对策略与选型建议面对大模型“主动视觉”能力的不足在现有技术条件下我们不应该期待用一个通用大模型解决所有问题而是采用“系统集成”的思路。以下是几种可行的工程化路径。4.1 路径一大模型作为高层规划器传统CV/机器人模块作为执行器这是目前最成熟、最可靠的方案。将任务分解大模型VLM角色负责高层任务理解、分解和自然语言交互。例如理解用户指令“帮我找到桌上的遥控器”并将其分解为子目标“首先定位桌子然后扫描桌面识别遥控器”。传统模块角色SLAM/建图模块负责构建环境地图提供空间坐标系。目标检测/分割模型负责在指定视角下快速、准确地识别“桌子”、“遥控器”。路径规划算法负责根据地图和子目标计算出机器人移动或摄像头转动的具体路径。运动控制执行底层动作。工作流程用户指令 - VLM任务解析与规划 - 生成子目标序列 - 传统CV/机器人模块感知、定位、规划、控制 - 执行动作 - 观察结果反馈给VLM - VLM判断子目标是否完成并规划下一步...优势稳定性高各模块技术成熟可解释性强。劣势系统复杂需要集成多个子系统且大模型的规划能力依然是瓶颈。4.2 路径二微调与强化学习结合针对特定场景优化如果应用场景非常具体如特定仓库的拣选、特定家居环境下的服务可以考虑监督微调收集大量该场景下的“初始观察动作序列最终结果”数据对对大模型进行微调教它在特定环境下如何行动。强化学习将大模型作为一个策略网络将其在模拟环境中执行动作后获得的奖励如更快找到目标、更少碰撞作为反馈通过RLHF来自人类反馈的强化学习或RLAIF来自AI反馈的强化学习进一步优化其决策能力。工具调用为大模型接入专门的工具API如move_camera(direction, angle)、detect_object(view_image)。训练大模型学会在何时调用何种工具将主动视觉问题转化为工具使用问题。优势在限定场景下性能可以做到非常好。劣势数据收集与仿真环境构建成本极高泛化能力差容易过拟合到特定环境。4.3 路径三关注并尝试新兴的“世界模型”架构“世界模型”是当前一个重要的研究方向它旨在让AI学会对环境的动态变化进行预测。一个学会了预测“如果我执行动作A环境会变成什么样”的模型本质上就具备了主动规划的基础。虽然离成熟应用尚远但值得保持关注。可选方向关注如Genie、Sora视频生成模型背后也蕴含了世界模型潜力等相关研究。可以尝试在仿真环境中利用这些模型来做简单的轨迹预测作为规划模块的输入。4.4 模型选型与部署的实操建议明确需求边界首先问自己你的项目真的需要“主动视觉”吗如果只是静态图片描述、信息提取、简单QA那么现有的GPT-4V、Gemini Pro Vision、Claude 3、Qwen-VL等顶级VLM已经足够强大直接使用它们的API或开源版本是最快路径。从开源模型入手实验如果确定需要交互和规划能力建议从一些在相关基准上表现较好的开源模型开始实验如Fuyu-8B擅长屏幕理解、CogVLM、InternVL等。用第3部分的方法快速验证其潜力。本地部署考量如果涉及机器人等离线场景必须考虑本地部署。LlamaFactory、Ollama、vLLM、AirLLM等工具可以简化大模型的微调和部署。但要注意带视觉编码器的多模态模型对显存要求极高务必先评估硬件资源。建立评估流水线不要只做定性演示。建立一个自动化的评估流水线用第3.1节设计的测试集定量跟踪模型在关键子能力上的表现这是迭代优化的基础。5. 避坑指南从实验到落地的关键检查点在实际操作中从跑通一个Demo到稳定落地一个系统中间有很多坑。以下是我在类似项目中总结的几个关键检查点。5.1 数据与仿真的真实性鸿沟问题在仿真环境如AI2-THOR中训练或测试表现良好的模型一到真实机器人上就崩盘。原因是仿真环境的纹理、光照、物理与真实世界差异巨大。对策域随机化在仿真中随机化纹理、光照、物体位置增加模型鲁棒性。Sim2Real使用GAN等技术将仿真图像向真实图像风格迁移。尽早进行真机小批量测试不要等到仿真完美才上真机用低成本的真机数据持续微调模型。5.2 延迟与实时性的挑战问题大模型推理速度慢无法满足机器人实时控制的要求通常需要毫秒到百毫秒级响应。对策模型蒸馏与量化使用更小的学生模型学习大模型的能力或对模型进行INT8量化大幅提升推理速度。分层决策将高频、低级的反应式动作如避障交给传统快速控制器大模型只负责低频、高层的任务重规划。边缘计算考虑使用Jetson Orin等边缘AI设备进行部署减少网络延迟。5.3 错误累积与安全边界问题大模型的规划可能出错而机器人执行错误动作可能导致硬件损坏或安全事故。对策设置安全监控层在底层控制器设置硬性安全规则如速度限制、碰撞检测急停大模型的指令必须通过安全层检查才能执行。不确定性估计让模型输出其决策的置信度。对于低置信度的指令系统可以拒绝执行或转入人工确认流程。人工干预接口必须设计良好的人机交互接口允许人类随时暂停、修改或接管任务。5.4 评估指标的片面性问题只关注最终任务成功率忽略了路径效率、能量消耗、动作平滑度等其他重要指标。对策设计综合评估指标例如任务成功率平均完成步数/时间路径长度/能量消耗动作的平滑度与安全性评分对未知环境的探索效率Fable5的3.5%不是一个令人沮丧的终点而是一个清晰的路标。它告诉我们让大模型真正“看懂”世界并与之互动还有很长的路要走。对于我们开发者而言当下的策略不是等待一个“全能”模型的诞生而是清醒地认识到这种局限在系统设计时就做好模块化拆分——让大模型做它擅长的语义理解和粗粒度规划让传统CV和机器人技术做它们擅长的精准感知和控制。同时持续关注“世界模型”等前沿方向用小规模的实验性项目进行技术储备。在工程上多考虑仿真与真实的鸿沟、实时性要求以及安全冗余这样才能把大模型的视觉潜力稳妥地转化为实际应用的价值。