手机中国 2小时前
苹果A20 Pro运行27B模型 速度达iPhone 17 Pro两倍
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

【CNMO 科技消息】在苹果自研芯片的历史上,A20 Pro 首次采用双 16 核神经引擎,专为处理 AI 负载而设计。最新演示显示,搭载该芯片的 iPhone 18 Pro 在运行 270 亿参数(27B)模型时,速度达到了 iPhone 17 Pro 的两倍,展现出移动端本地 AI 处理能力的显著提升。

A20 Pro

iPhone 18 Pro 与 iPhone 18 Pro Max 均配备 12GB、96 位位宽的 LPDDR5X 内存,其规格明显快于 iPhone 17 Pro 与 iPhone 17 Pro Max 所采用的配置。更快的内存与双 16 核神经引擎的组合,将本地 AI 性能推向新的水平。演示者 Adrien Grondin 在 iPhone 18 Pro 上运行 Bonsai 27B 模型,可以直观看到 token 生成速度极快。不过,双 16 核神经引擎在 token 生成上虽然更快,但受限于内存配置,2-bit 量化的 AI 模型体积过大,目前仍无法在这款手机上本地运行。

在没有联网的情况下运行更密集的 27B AI 模型,虽然对 iPhone 而言是重大进步,用户仍需面对一些取舍。相关帖文提到,随着 Bonsai 2 的推出,为何还要继续运行 Bonsai?答案略有遗憾,但这是智能手机本地运行 AI 模型的现实:采用 2-bit 量化的 Bonsai 2 体积过大,无法装进 iPhone 18 Pro 本地运行,进而导致性能下降。而 Bonsai 是 1-bit 量化模型,可在 4GB 内存设备上轻松运行,在 8GB 乃至 12GB 内存的手机上则更为流畅。

在 iPhone 18 Pro 上,除了 A20 Pro,还配备了速度更快的内存、115.2GB/s 的统一内存带宽,以及峰值吞吐量在为 NPU 设计的负载中超过该芯片 7 核 GPU 的双 16 核神经引擎。在这样的硬件条件下,Bonsai 27B 运行时没有出现任何减速迹象。这也说明,苹果正通过神经引擎与内存带宽的双重升级,强化 iPhone 在端侧 AI 领域的竞争力,而内存容量仍是决定更大模型能否本地部署的关键瓶颈。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

智能手机 ai 芯片 吞吐量 gpu
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论