超能网 03-24
AMD推出GAIA:一个在Ryzen AI NPU上运行的本地LLM开源项目
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

AMD宣布,推出一个名为 "GAIA" 的新开源项目。这是一款生成式 AI 应用程序,利用了 Ryzen AI NPU 来运行本地大语言模型(LLM),暂时仅限于 Windows 平台,并针对 Ryzen AI 300 系列处理器进行了优化。这种集成允许更快、更有效的处理,一方面功耗更低,另一方面保持了数据的本地化及安全性。

目前 GAIA 提供了两个版本,一个是可以在任何 Windows PC 上运行,但是会比较慢,另一个就是经过优化的版本,可在 Ryzen AI PC 上运行,利用 NPU 和 iGPU 以获得更好的性能。GAIA 的突出特点之一是其代理检索增强生成(RAG)管道,可以将 LLM 与知识库相结合,使代理能够在交互式聊天环境中检索相关信息、原因、计划和使用外部工具,产生更准确及上下文感知的响应。

AMD 表示,在 NPU 上本地运行 LLM 有几个好处:增强了私密性,消除了将敏感信息发送到云端的需要,大大增强了数据隐私和安全性,同时仍能提供高性能的 AI 功能;无需与云端通信,从而减少了延迟;通过 NPU 优化了性能,从而实现更快的响应时间和更低的功耗。从 Ryzen AI Software 1.3 版本开始,支持同时使用 NPU 和核显的量化 LLM 部署提供混合支持,提升了运行效率。

如果想进一步了解并尝试 GAIA,可在 github.com/amd/gaia 上查看 GAIA 存储库。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

amd 开源 windows 准确
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论