过去数月，开源模型能力呈现爆发式增长。随着 DeepSeek V4-Pro 和 GLM5.2 智能水平逼近 Opus，开源模型已成为闭源模型极具成本效益的替代方案。而 Kimi K3 的出现，更标志着开源新时代的到来。

然而，更强智能往往伴随更大规模。GLM5.2 参数量达 7530 亿，DeepSeek V4-Pro 为 1.6 万亿，Kimi K3 更是高达 2.8 万亿。这意味着在分配 100 万 token 上下文的 KV Cache 前，仅权重加载就需超过 1.5TB 显存。即便是配备 8 张 GPU 的 NVIDIA B200 节点也无法容纳 Kimi K3，部署选择受限：要么使用单卡 288GB 显存的 B300 节点，要么部署两个 B200 节点（TP16）。

AMD MI355X 的性价比优势

在此背景下，拥有 288GB 显存的 AMD MI355X 成为关键变量。其单卡均价约为 B300 的 1/2.4、B200 的 1/1.7，硬件规格对标 Blackwell 架构，极具性价比。尽管 AMD 长期受限于软件生态，但随着其对 Kimi K3 提供首日支持，部署门槛大幅降低。

实测数据显示，在 1,024-token 输入 /400-token 输出的基准测试中，MI355X 节点聚合吞吐量达 952 tok/s，单流解码速度为 118 tok/s。相比双节点 TP16 B200 部署（聚合吞吐量 498 tok/s），MI355X 聚合吞吐量高出 3.8 倍以上，单流速度快 1.3 倍。虽然 B300 节点聚合吞吐量（1,568 tok/s）仍比 MI355X 高约 1.65 倍，但考虑到 B300 价格是 MI355X 的 2.4 倍，MI355X 在每美元性能上实现彻底反超。

值得注意的是，B200 数据偏低部分源于其跨节点全归约开销（RoCE v2），这是唯一需跨越两个节点的配置，因为单节点无法同时容纳 Kimi K3 权重和百万级 KV 池。这也凸显了 MI355X 大显存优势在实际部署中的价值。

技术优化路径

为实现上述性能，团队针对 ROCm 平台进行了两项关键优化：

1. 修复推测解码崩溃

Kimi K3 缺乏内置草稿张量，需依赖外部块扩散草稿。在 ROCm 上，sglang 的接受采样验证器因缺失 top_k_renorm_prob 定义导致调度器崩溃。修复方案并非编写自定义内核，而是直接在 PyTorch 层面实现 Top-k renorm 操作（排序、掩码、重缩放）。此举使单流性能提升约 2.2 倍，峰值聚合吞吐量提升 18%，并支持更高并发。

2. 优化预填充延迟

针对用户感知的 " 首字延迟 "，团队发现 MI355X 在冷预填充阶段耗时远超 B300（51 秒 vs 23 秒）。根源在于 K3 在 TP8 模式下每层 12 个注意力头，与 AITER MLA 内核要求的 4/8/16 倍数不匹配，导致回退至缓慢的 Triton 通用内核。通过将头数零填充至 16，成功调用快速 ASM 内核，使预填充速度提升 2-3 倍，显著改善首字延迟。

结论

在 MI355X 上运行 Kimi K3 的设置相对开箱即用，遇到的框架级 Bug 少于此前 GLM5.2 的部署经验，且无需自定义内核。随着 AMD 对前沿模型支持的完善，其在每美元性能上的优势正逐步转化为实际竞争力，CUDA 的护城河面临严峻挑战。

【星途科讯 图文丨小林 首发于 ZAKER 科技，转载请注明出处】