当VLM开始"做梦"：一个让AI在脑海里转魔方的实验

你有没有试过，闭上眼睛想象一个魔方转了90度之后是什么样子？

大部分人能做到。不需要真的转动手里的魔方，脑子里就能"看见"那个结果。心理学家把这种能力叫做心理旋转，早在1971年就有人专门研究过这事儿。但轮到AI，尤其是那些号称能看懂图片、回答问题的视觉语言模型，这件看起来简单的事情突然变得很难。

**视觉语言模型*：简称VLM，是一类能同时处理图片和文字的AI模型，你可以给它看一张图，再用文字提问，它能用文字回答。

(相关资料图)

这就是这篇论文要解决的问题。研究者给这个新模型起名叫WM-VLM，WM是"世界模型"的缩写，意思是让AI在脑子里拥有一个能模拟视觉变化的小引擎。结果相当惊人：在一个2D旋转任务上，准确率从48.25%直接跳到87.5%，涨了39.25个百分点。这是什么概念？相当于原本每两个题目AI就要错一个,现在十个题目只错一个多一点。

这事儿说起来简单,做起来却藏着不少门道。我们一点点拆开看。

当AI只会"嘴上说"，不会"脑补"

先说说现在的VLM是怎么工作的。

你问它一个空间问题,比如"把这个积木形状顺时针转90度两次,会变成哪个选项",它的做法通常是用文字一步步推理:"第一次转90度,原来朝上的面现在朝右......"全程靠语言在脑子里"算"这件事。

问题是,语言这个工具天生不适合干这种活。人类心理学早就发现,图表、示意图这类"视觉中间产物"对解决空间变换、定位、状态追踪类问题特别管用,比纯文字推理有效得多。道理也简单:转魔方这件事,用嘴描述起来又啰嗦又容易出错,但在脑子里"看一眼"立刻就懂了。

论文里给出了一组很扎实的数字来证明这个落差有多大。在2D旋转任务(论文叫Tetris-2D)的分布内测试集上,一个没有任何视觉想象能力、纯靠文字推理的Qwen2.5-VL-7B模型只能达到22%的准确率，这还没比随机蒙(25%)高多少。哪怕专门针对这个任务做了监督微调（SFT，一种用标注数据直接训练模型拟合答案的方法），也只能爬到48.25%。而配上内部世界模型的WM-VLM,直接冲到87.5%。

这个差距背后藏着一个更深的问题:之前的VLM训练方式,从一开始就没给"预测视觉结果"这件事留出位置。

模型训练的时候,监督信号几乎全部压在文字输出上,也就是说,AI只被要求"说出正确答案",却从没被要求"想象出正确的画面"。这就好比教一个学生做几何题,你只批改他最后写的那个数字对不对,却从不检查他画的辅助图对不对,甚至压根不要求他画图。时间长了,学生自然学不会在脑子里构造图形,只会硬套公式蒙答案。

给AI装一个"脑补"引擎

研究者的解法,是给VLM加装一个专门负责"脑补画面"的分支,论文叫它生成分支(Generation Branch)。

**生成分支*：WM-VLM里新增的一个轻量模块,专门负责根据当前的文字推理,预测接下来的视觉状态长什么样,相当于AI内部的"想象力引擎"。

这个架构的灵感来自一个叫Mixture-of-Transformers(混合变换器,简称MoT)的设计思路。简单说,整个模型里有两条并行的"车道",一条叫理解分支,负责处理文字和已经生成好的清晰图像,继承自预训练好的VLM;另一条叫生成分支,专门处理带噪声的、还没成形的视觉信号,把它们一点点"清洗"成清晰的视觉表征。两条车道各自有独立的参数,但所有token(无论文字还是图像)都会通过全局自注意力互相"看见"对方,信息是打通的。

**自注意力*：Transformer模型里的核心机制,让序列里的每个元素都能参考其他所有元素的信息来调整自己的表示,是现在几乎所有大语言模型和视觉模型的底层运作方式。

为什么要分成两条车道,而不是让同一套参数既管文字又管图像?

想象你在厨房里既要炒菜又要写菜单。炒菜需要手感、火候这种连续、模糊的判断,写菜单需要精确的文字和清晰的逻辑。如果让同一双手同时干这两件事,大概率两边都做不好:菜可能糊了,菜单可能写错字。分开两个人各管一摊,炒菜的专心控制火候,写菜单的专心核对菜名,效率和质量都会提升,而厨房这个共享空间(也就是自注意力机制)保证两人能随时沟通进度。这就是为什么WM-VLM要把"生成视觉"和"理解文字"拆成两个独立的参数组,而不是混在一起训练。

而且,研究者没有让生成分支和理解分支一样深。默认只用4层轻量的生成分支,对齐到理解分支里连续的4层,这个设计叫light MoT(轻量混合变换器)。后续实验证明,这4层轻量版本的效果,跟把生成分支做得和理解分支一样深几乎没区别,但训练效率高得多。

让AI先学会"做梦",再学会"用梦"

光有生成分支还不够,因为能画出图不代表会用这张图去推理。这是论文里一个挺关键的洞察。

研究团队采用了两阶段训练的策略。

第一阶段,把理解分支整个冻结住,包括视觉编码器和语言解码器,只训练生成分支,让它专心学会"根据当前状态和一个动作指令,预测接下来视觉状态该长什么样"。这个阶段用的是一种叫rectified flow(矫正流)的生成式训练方法,原理类似给模型看从纯噪声到清晰图像之间的插值路径,让它学会预测"沿着这条路径该往哪个方向走"。

**矫正流*：一种训练生成模型的目标函数,核心思路是让模型学习从随机噪声到目标图像之间的"速度场",也就是每一步该往哪个方向变化,最终能从噪声一步步"走"到清晰的目标。

第二阶段,把视觉编码器继续冻结,但理解分支和生成分支都解冻,一起训练,这次用交叉熵损失(一种衡量预测答案和正确答案差距的标准方法)来优化,让模型学会怎么利用自己生成的那些视觉表征去答对最终的问题。

为什么不能一步到位,直接把两个目标混在一起从头训练?研究者专门做了对照实验,结果相当戏剧性:单阶段联合训练的模型,整个训练过程准确率始终在25%左右的随机蒙对线附近徘徊,压根没学会东西。而两阶段训练的模型,在相近的训练步数内就能冲到40%以上。

这个结果其实挺符合直觉的,只是容易被忽略。

打个比方,你让一个刚学画画的孩子同时完成两件事:既要练习怎么画出一幅准确的素描,又要用这幅还没画熟练的素描去回答"这幅画里的物体转过来会是什么样"的问题。两件事互相拖累,画画画不好,因为注意力被推理任务分散了;推理也推理不好,因为参考的素描本身就是错的。但如果先让孩子专心练上千张素描,画到能准确还原物体,再教他怎么看着自己画的素描去做空间推理,两件事就不会互相打架了。这正是两阶段训练能成功、单阶段训练会"躺平"在随机水平的原因。

论文里还发现了一个很有意思的"顿悟时刻"。训练到大概25000步的时候,WM-VLM的性能曲线出现了一次陡峭的跃升,而且这个跃升的时间点,恰好和生成视觉状态与真实视觉状态之间的余弦相似度(一种衡量两个向量方向接近程度的指标,数值越接近1说明两者越相似)快速上升的时间点重合。这说明了一件事:只有当模型"脑补"图像的质量超过某个门槛之后,这些脑补出来的图像才真正开始对推理有帮助。质量不够的想象力,反而可能是累赘。

AI真的在"看"自己脑补的画面吗?

这里有个特别值得深挖的问题:会不会模型压根没在用这些生成的视觉token,只是靠文字部分蒙对了答案?

研究者设计了一个检索实验来验证这件事。他们拿到评测集里所有真实的中间推理图像,先用视觉编码器把这些图编码成"标准答案"向量,然后看WM-VLM自己生成的视觉向量,跟哪个标准答案向量最接近(也就是余弦相似度最高),把这个叫做top-1检索。

结果显示,检索命中率和最终答题准确率之间存在明显的正相关。在2D旋转的分布内测试集上,检索命中率高达96.5%,最终答题准确率是87.5%;当检索命中、也就是模型想象得很准时,答题准确率能到89.38%;可一旦检索没命中,想象跑偏了,准确率直接暴跌到35.71%,足足掉了51.79个百分点。

这个对比相当说明问题。如果模型真的只是靠文字"蒙",那么它脑补的图像准不准,理应跟它答对答案没什么关系。但实际情况是,脑补准了,答对概率明显更高;脑补错了,答案也大概率跟着错。这说明模型确实是真的在"看"自己想象出来的画面,而不是把它当成摆设。

为了进一步排除侥幸,研究者还做了一组"搞破坏"实验:把生成出来的视觉token整个换成全零向量,或者换成随机噪声,再或者只是把token顺序打乱。结果相当干脆:换成全零向量,2D旋转任务的准确率从87.5%暴跌到14%;换成随机token,跌到23.5%;只是打乱顺序,倒还好,因为token之间本来就带着双向注意力机制留下的位置信息,打乱之后影响相对小一些,但也从87.5%掉到81.5%。

这组数据基本把"模型是不是在糊弄"这件事钉死了。

打个比方,这就像你问一个学生"你刚才画的辅助线有没有用上",他嘴上说有用,但你把他的辅助线擦掉或者随便乱画几笔,结果他的答案照样全错,这就证明他压根没看那条线,是在装样子蒙对的。而WM-VLM的情况正相反:一旦破坏掉它想象出来的画面,它的答题能力立刻崩溃,这说明它是真的在依赖这些画面做判断,不是装样子。

更难的3D任务、更细的参数调节

论文不满足于只在简单的2D任务上验证,还构建了一个更难的3D旋转任务,叫Tetris-3D,用随机数量的小立方块拼成形状,再做旋转,让模型判断转过之后应该长什么样。

3D旋转比2D难得多,因为多了一个维度的变化,心理旋转的复杂度直线上升。论文细分了三档难度:最简单的一档(SC-ID)是训练时见过的形状和数量组合；中等难度(C-ID)是见过立方块数量但没见过具体形状；最难的一档(OOD,代表分布外)是训练数据里压根没出现过的形状或数量组合。

结果显示,WM-VLM在这三档上分别比纯文字微调的基线模型高出19.25、21.75和16.3个百分点。换句话说,即便难度升级、泛化到完全陌生的组合,这套"内部世界模型"的优势依然稳定存在,没有随着难度提升而崩溃。

除此之外,论文还跟其他几种同类方法做了横向对比。比如一种叫LatentUM的方法,用离散视觉token(把图像压缩成有限的几个"代号",类似把连续的颜色强行归类成几种标准色)来表达中间状态,表现明显不如WM-VLM用的连续视觉token。还有一种叫Mirage的方法,虽然也用连续token,但训练方式是自回归式的(逐个预测下一个token,类似写句子时一个字一个字往下接),效果同样不如WM-VLM所用的矫正流方法。而基于BAGEL这个大型统一模型改造的ThinkMorph,在Tetris-3D任务上甚至直接失效,准确率归零,因为它压根没法正确生成图像和答案,这大概率是因为BAGEL原本的预训练数据跟这种高度结构化的几何旋转任务差距太大,迁移过来直接水土不服。

论文还细致地调了一堆超参数,想摸清楚这套系统到底哪些地方是关键、哪些地方没那么敏感。

比如视觉token的数量。默认情况下,每张推理图片被编码成361个(19×19排列)视觉token,研究者尝试把这个数字从1调到361。结果发现,token越少,重建误差(MSE,均方误差,一种衡量预测结果和真实结果之间平均偏差大小的常用指标)反而越低,余弦相似度越高,但这不代表最终答题准确率也跟着单调变好。在分布内测试集上,token数量越多准确率越高；但在分布外测试集上,反而是只用4个token时效果最好。这说明"生成得越精细不代表用得越好",有时候稍微粗糙一点的表征反而更泛化。

再比如两阶段训练里交叉熵损失和矫正流损失的权重比例。研究者试了好几种配比,发现当矫正流损失权重设为0.1、交叉熵损失权重设为0.9时综合表现最好。有意思的是,提高矫正流损失权重确实能让生成的视觉token质量更高,但这种"画得更准"并不会直接换来更好的下游推理表现,最终还是交叉熵损失主导了推理能力的形成。

这个发现其实挺反直觉的。常理上你会觉得,图画得越准,基于这张图做推理肯定越靠谱。但现实是,过度偏重"画得准"这个目标,反而会压缩掉模型学习"怎么用这张图回答问题"的空间。这就好比练书法,如果一个学生把所有时间都花在临摹字帖上追求形似,却没花时间练怎么把字组成一篇有意义的文章,那他写出来的字再漂亮,也写不出一篇好作文。

此外,研究者还摸索了生成分支该插在理解分支的哪个位置最合适。用单层生成分支做实验时发现,插在理解分支最靠后的几层(23到27层)效果最好,余弦相似度能到0.872。但当生成分支加深到4层之后,插入位置带来的差异明显缩小了,这大概是因为更深的生成分支本身容量更大,能自己补偿掉插入位置不够理想造成的信息损失。

从拼图旋转到走迷宫

论文最后还把这套方法搬到了一个更贴近"行动规划"的任务上,叫视觉空间规划(Visual Spatial Planning),具体形式是走迷宫:给模型一张地图、起点和终点,要求它一步步规划出一条避开冰洞的路径,每一步生成一个代表当前位置的视觉状态,再决定下一步怎么走。

这个任务跟前面的旋转任务不太一样,因为它不只考验"能不能准确想象视觉结果",还考验"能不能基于想象结果做出正确决策",是状态预测和行动规划的混合体。在这个任务上,WM-VLM的表现算是中规中矩,不及专门基于大型统一模型BAGEL改造、并且在海量专有交错数据上预训练过的ThinkMorph(后者准确率高达82.5%),但明显优于没有世界模型能力的纯文字微调基线。这说明内部世界模型这条路确实有效,但要达到顶尖水平,还需要配合大规模、高质量的预训练数据,这不是单靠架构设计就能弥补的差距。

写在后面

读完这篇论文,最让我意外的不是WM-VLM最终的准确率涨了多少,而是那个检索实验里"脑补错了,答案也跟着错"的发现。

这其实揭示了一件我们平时容易忽略的事:很多所谓的"AI推理过程",很可能只是一层好看的外衣,模型最终的答案跟它展示出来的推理步骤之间,未必有真实的因果联系。论文里提到,之前已经有研究者发现,不少"交错视觉文本推理"模型,把生成的视觉token删掉或者打乱,对最终答案几乎没影响,这说明那些视觉token很可能只是摆设,是一种"冗余监督"造出来的假象,模型学会了绕过这些中间产物直接蒙答案,这个现象被叫做"潜变量旁路"。

WM-VLM之所以值得被认真对待,恰恰是因为它用一套扎实的对照实验,把这种"假装在推理"的可能性给排除掉了。这提醒我一件事:以后再看到任何号称"AI在脑子里想象画面"或者"AI在模拟物理过程"的研究,光看它展示出来的中间步骤漂不漂亮是不够的,得去问一句,这些中间步骤真的被用上了吗,删掉它们答案会不会变差。这才是检验一个推理过程是真是假的试金石。

另一个让我反复琢磨的地方,是那个两阶段训练才能成功、单阶段联合训练会彻底躺平在随机水平的对比。这个现象某种程度上跟人类学习新技能的过程很像:先专精一项基本功,再把这项基本功拿去解决复杂问题,往往比一上来就同时攻克两件事更有效率。这是不是意味着,未来给AI设计训练课程表这件事,本身就值得被当成一门独立的学问来研究?

那么下一个问题来了:如果AI能在脑子里转魔方,它有没有可能有一天,在脑子里模拟一整段物理实验,然后告诉我们一个连实验室都还没做出来的答案?

Q&A

Q1：WM-VLM是什么？

A：WM-VLM是一种给视觉语言模型加装内部世界模型的新方法,它能在推理过程中生成中间视觉状态,用来辅助解决空间推理问题,比如心理旋转任务,在实验中比普通微调模型最高提升了39.25个百分点。

Q2：WM-VLM生成的视觉状态真的被模型用来推理了吗,还是只是摆设？

A：论文通过检索实验和破坏实验证明是真实被使用的。检索命中率和答题准确率明显正相关,而且把生成的视觉token替换成全零或随机噪声后,准确率会从87.5%暴跌到14%左右,证明模型确实依赖这些视觉状态做判断。

Q3：为什么WM-VLM要用两阶段训练,而不是一次性联合训练？

A：论文做了对照实验发现,单阶段联合训练的模型准确率始终徘徊在随机蒙对的水平附近,没学会任何东西。而先训练模型学会生成视觉状态、再训练它学会使用这些状态推理的两阶段方法,能在相近步数内达到40%以上的准确率,效果差距巨大。

标签： 实验 向量 视觉 推理 vlm