手机中国 1小时前
突破瓶颈!华为存储与道客推出AI推理加速联合解决方案
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

【CNMO 科技消息】近日,华为数据存储与 DaoCloud 道客联合宣布,正式推出 AI 推理加速联合解决方案。该方案融合了华为 UCM(Unified Cache Manager)推理记忆数据管理技术和道客 d.run 算力调度平台,旨在通过资源的精细化管理和智能调度提升算力利用率。

据 CNMO 了解,该联合方案具备以下核心优势

生态兼容:支持平台、计算和存储联动,适配英伟达、华为昇腾等多元 AI 算力,支持 TensorFlow/vLLM/SGLang 等主流 AI 框架,借助 Kubernetes 可无缝对接华为 OceanStor A 系列存储。

推理加速:通过持久化 KV Cache 到华为 OceanStor A 系列存储,实现推理记忆知识全量保存,避免反复计算;融合 Prefix Cache、Training-free 稀疏等加速算法,降低首 Token 时延,倍数级提升长序列推理吞吐与体验。

高效算力:算力资源细粒度切分及池化,按需调度,实现资源利用率最大化;调度器具备拓扑感知能力,优化任务在 xPU 间的通信效率,保障 AI 训练与推理任务稳定低耗运行。

极简运维:提供多租户隔离、资源配额管理、完整的监控告警及计费计量等功能,满足企业级使用与运维需求。

在问答助手场景中,经实际测试验证,该联合解决方案采用 Prefix Cache 算法,将首 Token 时延降低 55%,且随着序列长度越长,TTFT 降低效果越明显。在长文档推理场景中,方案采用稀疏化处理,32K 序列实现推理吞吐量提升 75%,提升推理性价比。

值得一提的是,该联合解决方案目前已在电力、金融等行业展开试点应用。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

华为 ai 英伟达 kubernetes 效果
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论