来源:睿见 Economy
6 月 12 日至 13 日,2026 第八届北京智源大会在北京中关村国际创新中心举行。蚂蚁技术研究院深度学习实验室负责人李建国出席并演讲。

李建国表示,扩散模型或将成为语言模型下一阶段的重要发展方向和补充,其在生成速度和可编辑性方面展现出显著优势。
他解释到,扩散模型在图像生成领域已是主流范式,应用非常广泛。正向过程是通过对图像逐步添加噪声直至变为白噪声,反向过程是从白噪声中逐步去噪,恢复出原始图像。
而在语言领域,当前主流范式是 "Next Token Prediction"。" 就像打字机一样,我前面打出一个字,后面接着就依赖前面去产生下一个字。扩散语言模型则将图像领域的范式迁移到语言中,可以像印刷机一样批量、成批地输出词元。"
李建国以今年 2 月发布的 LLaDA 2.1 模型(可编辑扩散生成)与蚂蚁百灵 2.0 模型(100B 参数)对比为例。LLaDA 的生成速度约为 1000 token/ 秒,而百灵 2.0 约为 200 token/ 秒,速度相差 4 倍以上。
他指出,从核心特性看,有两个速度,一个是传统的 AR 模型,一次只输出一个 token,即使采用投机采样方法(如 MTP)也只能做到 2-3 个。另外一个速度,就是扩散语言模型,起步平均能做到 5-6 个,在代码生成、智能体等场景中,实际观察可超过 10 个,最高可达 15 个。
此外,扩散语言模型的另一个重要特性是可改写性。例如在生成过程中某个字出现错误,可以通过 " 悔改 " 机制只修改错误的那一个位置,而无需重新生成整个序列。


登录后才可以发布评论哦
打开小程序可以发布评论哦