《科创板日报》7 月 24 日讯(记者 张洋洋) 扎克伯格将大模型开源进行到底。
今天凌晨,Meta 正式发布新一代开源大模型 Llama 3.1 系列,其中包含 8B、70B 和 405B 三个版本,最大上下文提升到了 128k。
Meta 创始人扎克伯格同时在官网发文为自家模型强力代言。他称,当今大多数领先的科技公司和科学研究都是建立在开源软件之上,开源是 AI 前进的方向,Meta 正朝着成为开源 AI 行业标准的目标迈进。
需要强调的是,在科技界,关于开源和闭源的争端由来已久。批评者认为开源掩盖了技术原创性缺失,只是对开源模型简单调整,而非实质创新。百度创始人李彦宏甚至表示开源大模型在学术研究、教学领域等特定场景下有存在的价值,但并不适用于大多数应用场景。支持者则认为,基于成熟开源架构进行定制化改进是技术发展的常态,它能推动技术的快速创新和进步。
在大模型领域,开源和闭源大模型优劣比较也时有发生。到目前为止,开源模型在功能和性能方面大多落后于封闭式模型。但随着 Llama 3.1 的发布,大模型开源和闭源或将迎来新一轮激斗。
根据 Meta 提供的基准测试数据,Llama 3.1 有 4050 亿参数,是近年来规模最大的大语言模型之一。该模型基于 15 万亿个 Tokens、超 1.6 万个 H100 GPU 上进行训练,这也是 Meta 有史以第来一个以这规种模进训行练的 Llama 模型。Meta 称,在常识、可操纵性、数学、工具使用和多语言翻译等先进功能方面,Llama 3.1 足以对标 GPT-4o 和 Claude3.5Sonnet 等顶级闭源大模型。
Llama 3.1 现已于 Meta 官网和 Hugging Face 开放下载。最新数据显示,所有 Llama 版本的总下载量已超过 3 亿次。
就在当天同一时间,英伟达也推出组合训练服务,为 Llama 3.1 强势助攻。
《科创板日报》记者从英伟达方面了解到,英伟达正式推出全新的 NVIDIA AI Foundry 服务和 NVIDIA NIM ™推理微服务。NVIDIA AI Foundry 是由 NVIDIA DGX ™ Cloud AI 平台驱动,该平台由 NVIDIA 与公有云共同设计,可为企业提供大量的算力资源。
NVIDIA AI Foundry 、NVIDIA NIM ™配套 Llama 3.1 系列开源模型一起使用,企业可以为其特定领域的行业用例创建自定义 " 超级模型 "。企业还可以使用自有数据以及由 Llama 3.1 405B 和 NVIDIA Nemotron ™ Reward 模型生成的合成数据,来训练这些超级模型。
英伟达创始人兼首席执行官黄仁勋则表示,Meta 的 Llama 3.1 开源模型标志着全球企业采用生成式 AI 的关键时刻已经到来。Llama 3.1 将掀起各个企业与行业创建先进生成式 AI 应用的浪潮。NVIDIA AI Foundry 已经在整个过程中集成了 Llama 3.1,并能够帮助企业构建和部署自定义 Llama 超级模型。
登录后才可以发布评论哦
打开小程序可以发布评论哦