DigitalOcean 宣布，医疗 AI 公司 Hippocratic AI 的 Polaris 系统已在其专为生产级 AI 打造的 AI 原生云上，基于 NVIDIA HGX™ B300 GPU 稳定运行。截至目前，该系统累计完成 1000 万次患者通话，临床安全评分高达 99.9%。

这一里程碑式的成果，得益于 DigitalOcean 针对安全关键型医疗工作负载对延迟、可靠性和并发性的严苛要求，对其推理平台进行的深度工程优化。数据显示，优化后的平台实现了预填充速度 2 倍提升，单节点吞吐量增长约 30%。

千万次真实交互背后的 " 零容错 " 标准

在超过 1000 万次真实患者通话中，Polaris 系统不仅保持了 99.9% 的临床安全评分，还获得了 8.95/10 的平均患者满意度评级。相关评估覆盖了 7500 多名临床医护人员。此前，Hippocratic AI 已在慢性病管理、用药依从性、护理缺口填补及临床预约安排等领域，处理了超过 1.8 亿次患者互动。

"Polaris 的设计初衷是为了适应临床护理的现实场景：长会话、真实的人类对话，且容错率为零。"Hippocratic AI 联合创始人 Debajyoti Datta 表示。借助 DigitalOcean 和 NVIDIA 的支持，团队得以提前使用 NVIDIA HGX™ B300 及其解锁的优化技术（包括 NVFP4 量化），在生产环境中将患者依赖的临床对话首字生成时间（TTFT）控制在 400 毫秒以内。

重构推理栈：专为安全关键型任务设计

生产环境中的医疗 AI 打破了传统推理栈的假设。会话时间长、Token 具有时效性，任何连接中断不仅是体验 Bug，更是临床事故。为此，DigitalOcean 工程团队与 Hippocratic AI 紧密协作，对推理栈每一层进行了优化。

DigitalOcean 为其 AI 原生云配备了硬件感知调度、优化的推理运行时以及针对持续高并发工作负载调优的平台级扩展能力。Hippocratic AI 模型团队则贡献了专有推理工作，包括 FP8 和 NVFP4 量化、KV 缓存优化、自定义 MoE 内核以及缓存感知路由架构，从而在长周期临床会话中最大化 KV 缓存命中率和上下文复用率。

NVIDIA 提供了下一代 HGX™ B300 硬件的早期访问权限，并在 Hopper 和 Blackwell 架构方面提供了工程协作。综合结果显示，相较于之前的无状态服务配置，长上下文临床会话的单节点吞吐量提升约 30%，预填充延迟降低 2 倍。在此基础上，Hippocratic AI 此前已报告在 AI 原生云上实现了 2 倍的生产推理吞吐量和端到端 P99 延迟降低 40%。

DigitalOcean 首席执行官 Paddy Srinivasan 指出：" 以 99.9% 的临床安全性交付这些服务，正是关键时刻生产级 AI 应有的样子。这正是专用推理所能带来的，也是我们的 AI 原生云使其成为可能。"

首批量产 NVIDIA HGX™ B300 的客户

通过 DigitalOcean 与 NVIDIA 的早期合作，Hippocratic AI 成为首批在生产环境中使用 NVIDIA HGX™ B300 GPU 的客户之一。这意味着 DigitalOcean 正在针对最具挑战性的真实世界工作负载，而非合成基准测试，验证其推理平台。

对于每个 Token 都影响临床体验的工作负载，Blackwell Ultra 架构解锁了每节点容量的跨越式提升，使 Hippocratic AI 能够在保持相同延迟目标的前提下支持更多并发会话，并延长长周期临床对话的上下文窗口。

NVIDIA 加速计算产品总监 Dave Salvator 表示："DigitalOcean 和 Hippocratic AI 展示了基于 NVIDIA Hopper 和 Blackwell 架构构建的深度集成基础设施与推理优化，如何在规模化同时提供性能和可靠性。"

在医疗 AI 领域，基础设施不仅关乎性能，更是患者安全的基础。延迟直接转化为临床工作流的质量，可靠性以成功的患者互动次数来衡量。Hippocratic AI 在 DigitalOcean AI 原生云上的部署表明，当基础设施、模型优化和硬件为重要成果共同设计时，生产级 AI 才能真正服务于整个人群。

【来源：星途科讯】