驱动之家 02-09
国产飞腾CPU完整支持DeepSeek:性能可达国外平台80%
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

快科技 2 月 9 日消息,飞腾官方宣布,飞腾腾云 S5000C、飞腾腾锐 D3000 处理器已成功实现对 DeepSeek 全系列大模型的端到端支持,覆盖数据中心和终端场景,而且性能非常出色。

其实在 2024 年,DeepSeek-V2.5 236B 大模型就已经在飞腾腾云 S5000C 平台成功稳定运行。

DeepSeek-V3、R1 版本发布后,飞腾第一时间在腾云 S5000C、腾锐 D3000 平台上本地部署验证,形成整体解决方案,构建端到端的国产平台 DeepSeek 大模型智算环境。

在数据中心侧,腾云 S5000C 服务器可以与多款 AI 加速卡配合,实现 DeepSeek 蒸馏版和全量版的部署。

根据官方实测,飞腾腾云 S5000C 搭配 8 块国产的 AI 加速卡,蒸馏版 DeepSeek-R1-Distill-Llama-70B 版本的推理速度可达到每秒 22 个 tokens,本地部署的推理效率与国外同类产品架构解决方案相当,整体性能相当于国外平台性能的 80%左右。

同时,完整版 DeepSeek R1 671B 模型采用分布式推理框架,基于四机、32 卡 AI 服务器集群,也已部署成功。

在用户终端侧,基于腾锐 D3000、银河麒麟 V10 系统的台式机,可以本地部署 DeepSeek-R1 7B 蒸馏版模型,再搭配 1 张国产推理卡,就实现了 AI PC 能力,能够建立安全可靠的本地知识助手。

现阶段,飞腾平台已实现端到端支持 DeepSeek 全系列、众多开源和国产头部大模型的本地化部署,可为企业级和个人应用提供全国产化、软硬一体、性价比高、安全、开放的全栈解决方案。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论