快科技 9 月 21 日消息,中科曙光发布全新迭代 AI 推理原生存储 FN Neo:TTFT 缩减 73%,Token 吞吐提升 150%
中科曙光发布全新迭代升级的 AI 推理原生存储 FN Neo。该产品可将分散在不同计算节点的推理缓存统一管理、共享复用,应对长文本、多用户同时访问带来的压力,让已有计算成果得到更充分利用。
实测数据显示,FN Neo 可实现模型首词出现时间(TTFT)缩减 73%,较本地 NVMe 更快;延迟表现、吞吐量和多请求并发数相比传统本地 NVMe 均有大幅提升。
整体 Token 吞吐能力提升 150%,有效压缩用户交互等待时长,强化系统并发服务能力。
针对生产级 AI 业务 7 x 24 小时不间断运行需求,FN Neo 拥有 99.999% 高可靠性,多重故障防护机制保障推理业务连续不中断。
此外,产品兼容主流推理框架与多元组网环境,企业无需大规模改造现有系统即可完成部署,在复用现有推理生态前提下提质增效,有力支撑大模型、智能体规模化生产落地。



登录后才可以发布评论哦
打开小程序可以发布评论哦