小米在 AI 推理领域取得重大突破。通过与推理合作伙伴 TileRT 协作，小米在标准的 8 卡商用 GPU 节点上，使其万亿参数旗舰模型 MiMo-V2.5-Pro-UltraSpeed 的推理速度超过每秒 1000 个 token，演示峰值接近 1200 个 token。这一成绩在未使用定制芯片的情况下创下该规模模型的新纪录。

性能对标：远超主流大模型

Token 是模型处理文本的基本单位，平均每个 token 约相当于四分之三个单词。参数数量则决定了模型识别模式的复杂度。小米此次突破的意义在于，它证明了在通用硬件上也能部署极高吞吐量的万亿参数模型。

对比行业主流数据，GPT-5.5 的推理速度约为每秒 68 个 token，Claude Opus 4.6 约为 71 个 token，Gemini Flash 为 192 个 token。即便是主打速度的低端模型 Haiku，其速度也仅为 98 个 token/ 秒。而在与 Claude Opus 性能相当的代码基准测试中，MiMo-V2.5-Pro-UltraSpeed 实现了超过 10 倍的速率优势。

此前，Cerebras 和 Groq 等公司通过定制专用芯片解决带宽瓶颈，分别在 Llama 3.1 405B 模型上达到 969 token/s 和 300-750 token/s 的速度。但小米的方案完全基于软件优化和商用 GPU，无需依赖难以获取的专用硬件。

技术解析：FP4 量化与 DFlash 解码

这一速度提升主要得益于两项关键技术的协同：

FP4 量化技术：小米仅对构成万亿参数主体的 " 专家层 " 进行 4 位精度压缩，其余部分保持全精度。这种精准策略在大幅降低显存占用和带宽压力的同时，将质量损失控制在近乎为零的水平。

DFlash 投机解码：传统投机解码依赖小型草稿模型逐个猜测 token，而 DFlash 技术在单次前向传播中一次性生成完整的 token 块。在编码任务中，大模型平均每轮可接受 6.3 个提议 token，实现了从 " 逐个生成 " 到 " 批量确认 " 的效率跃升。

TileRT 推理引擎将上述技术整合，使整个计算流水线持续驻留在 GPU 内部，消除了算子启动开销和执行间隙。小米将这种架构称为 " 极致的模型 - 系统协同设计 "。

商业落地与开源计划

MiMo-V2.5-Pro 是小米的前沿级模型，此前发布的版本在代码能力上与 Claude Opus 相当，但定价仅为后者的零头（输入 $0.43/ 百万 token，输出 $0.87/ 百万 token）。此次推出的 UltraSpeed 服务针对的是同一完整模型，而非精简版。

极高的推理速度将改变应用场景，使并行运行数十条推理路径成为可能，从而满足欺诈检测、交易信号生成及实时智能体循环等对延迟有严格要求的场景需求。

小米宣布，MiMo-V2.5-Pro-UltraSpeed 的 API 限时试用将于 6 月 9 日至 6 月 23 日开放，优先面向企业和专业开发者。其定价为标准 MiMo 费率的 3 倍，但可提供约 10 倍的生成效率。此外，相关的 FP4-DFlash 检查点已在 Hugging Face 平台开源，供社区测试验证。

【星途科讯 图文丨沐岑】