SFT 之后，直接上强化学习就够了吗？

小心，你做的可能不是 " 训练 "，而是 " 还债 "。

在多模态大模型（MLLM）的后训练中，行业内长期遵循着一个看似天经地义的范式：先 SFT，再 RL，两步到位。

从 DeepSeek 到 Qwen，从 GRPO 到 DAPO，大家拼命优化 RL 算法的稳定性、采样效率、奖励设计……却几乎没人回头看一眼：

SFT 到 RL 之间，是不是少了点什么？

但来自香港科技大学（广州）、南洋理工大学、清华大学等机构的最新研究 Beyond SFT-to-RL ( PRISM ) 给出了一个令人不安的发现：

SFT 不仅没有为 RL 铺好路，反而在悄悄挖坑。

被忽视的 " 隐形断层 "：SFT 到底做了什么？

先看一组比较有意思的数据（7 个主流多模态 benchmark 的平均准确率）：

阶段	Qwen3-VL-4B	Qwen3-VL-8B
原始 Instruct 模型	59.7%	63.3%
SFT 之后	56.8% ( -3.0 )	58.1% ( -5.2 )
SFT → GRPO	61.8%

可以看到，SFT 之后，模型性能反而下降了。

8B 模型要更为明显一点：SFT 掉了 5.2 个点，辛辛苦苦做完强化学习，才刚刚爬回基线 ( baseline ) 的水平（63.3% → 58.1% → 63.3%）。

也就是说，你的 RL 可能一直在 " 还债 "，而不是在 " 提升 "。

而且这绝不是个例。

在当下主流的强 Instruct 模型上（Qwen3-VL 等），只要 SFT 数据带入一个与基座不一致的新分布（比如目前最常见的 GPT/Gemini 蒸馏数据）几乎都会观察到类似的掉点。

原因很直接：这类基座已经经过大规模、精细的后训练，能力本就处于一个相对稳定的高位。

SFT 逼着模型去模仿一套新分布，结果就是用一个更 " 窄 " 的分布去覆盖一个更 " 广 " 的能力，旧能力被冲掉、新能力又没真正学到。

换句话说，模型越强、越接近实际部署的水平，SFT 引入的分布偏移就越成为 RL 之前一道绕不开的 " 暗坑 "。

这恰恰是 PRISM 必须存在的理由。

这背后的核心问题，是后训练里早已被反复讨论的分布漂移（Distributional Drift）。

但在多模态场景下，它有一套更隐蔽、也更难治的表现形式。

问题根源：SFT 引入的两类偏差

SFT 在多模态场景下，会引入两类容易被忽视的偏差：

偏差一：表面模仿—— token 级 loss 把过程和结果同权处理

SFT 的优化目标是在均匀的 token 级 loss 下模仿演示轨迹。

它不区分 " 过程 " 和 " 结果 "：对模型来说，正确的推理步骤和格式化的模板套话，权重是一样的。

结果就是模型学会了 " 长得像 " 正确答案，而不是 " 想得出 " 正确答案。 它学到的是表面模式，而非忠实的推理能力。

偏差二：感知漂移与推理漂移在同一个 loss 里被混起来

这是多模态场景特有的麻烦。与纯文本模型不同，多模态模型的漂移不是单一的，而是两种定性不同的失败模式在同时发生：

感知漂移：视觉定位出错，模型 " 看错了 "

推理漂移：逻辑推导失败，模型 " 想歪了 "

这两种漂移的成因不同、纠正方式不同，但 SFT 用同一个 token loss 把它们一起拟合。

而当 RL 阶段时，模型已经在感知和推理两端同时偏移，即一个 " 既看不准、又想不对 " 的模型。

现有 RL 算法为什么救不了？

从 GRPO，到 DAPO，再到 GSPO，RL 算法这一段时间确实一直在进步。

但它们解决的是RL 阶段内部的问题：采样效率、梯度方差、策略崩溃。没有任何一个 RL 算法回头去修复 SFT 留下的分布偏差。

这里举个不太恰当的例子：这里就好比你参加百米短跑，SFT 不仅没有让你往前走，反而把你向后推了 50 米。

现有的 RL 算法都在研究怎么跑得更快，但起点还在坑里，而 PRISM 要做的，就是在 SFT 和 RL 之间补上这一步，不仅把你拉回起跑线，还顺势往前推一把，让 RL 只用跑 50 米就能冲线。

PRISM 的核心方案：三阶段流水线 ( Pipeline )

PRISM 打破了传统的两阶段范式，提出了SFT → 分布对齐 ( PRISM ) → RLVR的三阶段流水线。

关键创新在于中间的分布对齐阶段。

混合专家判别器（MoE Discriminator）

感知漂移和推理漂移是两类成因不同的偏差，需要分开处理。

PRISM 为此设计了一个混合专家判别器，由两个专门化的专家组成：

感知专家 D_v：专门评估视觉描述，测量模型的输出是否忠实于图像内容，解决感知漂移

推理专家 D_r：专门评估推理轨迹，测量逻辑推导是否一致有效，解决推理漂移

最终判别得分为两者的加权组合：

r ( x,y ) = α · D_v ( x,c ) + ( 1- α ) · D_r ( x,t )

这种设计的好处是提供解耦的纠正信号，避免将两种完全不同的误差模式塞进一个标量里，导致梯度信号变得嘈杂。

黑盒蒸馏：不需要教师 logits

PRISM 的另一个优雅之处在于：它是黑盒的。

很多蒸馏方法需要访问教师模型的 logits（内部概率分布），这意味着你得有教师模型的完整权重。

但在实际场景中，最强的模型往往只提供 API，你只能看到输出，看不到内部状态。

PRISM 完全在响应级别工作：从强模型（Gemini 3 Flash）采集高质量输出作为正样本，从当前策略采样作为负样本，通过对抗博弈来对齐分布。

只要能调 API，就能用 PRISM。

一个重要的设计决策：去掉 KL 正则化

传统 RL 训练通常会加一个 KL 散度约束，防止策略偏离初始模型太远。但 PRISM 有意识地去掉了这个约束。

道理很简单，对齐阶段的目的，就是纠正 SFT 带来的分布偏差。再加一个把策略拉回 SFT 分布的 KL 约束，本身就和这个目标相互矛盾。

分布演变：对齐真的把模型拉回到更好的起始点

下图直观地展示了分布的演变过程：从 Base 到 Post-SFT 再到 Post-Alignment，无论是推理步数还是视觉描述项数的分布，都在逐步向监督数据靠拢：

可以清晰看到：Post-SFT（蓝线）与 Supervision（黑线）仍有明显偏差，而 Post-Alignment（橙线）则大幅缩小了这一差距，且这种改进在 Post-RLVR（绿线）阶段得以保持。

实验验证

在 Qwen3-VL 的 4B 和 8B 两个规模上，PRISM 搭配GRPO/DAPO/GSPO三种主流 RL 算法，在4 个数学推理基准（MathVista、MathVerse、MathVision、WeMath）和3 个通用多模态基准（MMMU、MMMU-Pro、HallusionBench）上全面验证了有效性。

下表是论文 Table 1 的主结果（灰色行为 PRISM）：

从主表里能读出几个值得展开的信号：

( 1 ) 模型越强，PRISM 的增益越大：8B 拿到 +6.0 的平均提升，4B 为 +4.4，更强的基座被 SFT" 伤害 " 得更深，也因此从对齐中受益更多；

( 2 ) PRISM 在绝大多数子基准上拿到了同基座下的最佳分数（表中加粗），覆盖数学推理与通用视觉理解两类任务，这意味着对齐带来的不是某个领域的局部增益，而是分布层面的全局校准。

消融实验：每一步都不可或缺

从消融表（论文 Table 2）里能直接读出每个组件的贡献：

( 1 )  去掉 SFT 阶段直接掉 16.8 个点，说明 SFT 作为 " 冷启动 " 仍不可替代，PRISM 不是要取代 SFT，而是修复它带来的副作用；

( 2 ) 去掉对齐阶段掉 4.4 个点，与 4B 主表的提升幅度完全对应，是分布对齐效果的直接证据；

( 3 ) 单个 4B 判别器替代 MoE 掉 3.4，仅文本判别器掉 3.9。

后者尤为有趣：没有视觉感知的判别器只能捕捉表面模式（格式、模板、风格），导致策略学会了 " 鹦鹉学舌式对齐 "，听起来像监督数据，但实际上看不到所描述的内容。

结语

PRISM 的出现，给多模态大模型的后训练范式打上了一个 " 补丁 "，但这个补丁可能比主程序还重要。

SFT 和 RL 之间不是无缝衔接，而是存在一道被长期忽略的分布断层。RL 算法再强，如果起点就歪了，跑得越快只会偏得越远。

让多模态大模型在推理任务上再进一步，未必要靠更复杂的 RL 算法或更多训练数据。

把 SFT 和 RL 之间这一步对齐补上，模型自然会跑得更稳。

Arxiv：https://arxiv.org/abs/2604.28123

Github：https://github.com/XIAO4579/PRISM

合作详询：swang886@connect.hkust-gz.edu.cn

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

我们正在招聘一名眼疾手快、关注 AI 的学术编辑实习生 

感兴趣的小伙伴欢迎关注  了解详情

点亮星标

科技前沿进展每日见