近日,中国电信广东公司携手中国电信研究院,在智算网络领域取得重大技术突破。他们成功完成了 Deepseek-671B 满血版长距跨数据中心分布式无损智算推理网络的技术验证。这一成果为企业按需扩容算力及推理数据本地化存储提供了创新解决方案,标志着中国电信在智算网络技术创新上迈出关键一步。
实验中,推理任务被合理分配到边缘节点和云端,云、边之间通过 KV Cache 协同,有效降低成本,提升体验。基于昇腾 PD 分离的大 EP 推理架构,对 DeepSeek 671B 模型进行压力验证,结果显示,即使在长距低带宽场景下,关键指标仍能达标,满足企业 AI 推理需求和安全要求。
这一技术突破将变革企业算力部署模式。企业只需在园区部署少量算力服务器,结合云端资源灵活调用,降低成本,突破空间限制。PD 分离架构保障数据安全。
登录后才可以发布评论哦
打开小程序可以发布评论哦