编辑 | 香草

智东西 9 月 13 日报道，今日，大模型创企元象 XVERSE 发布国内最大 MoE 开源模型XVERSE-MoE-A36B，其总参数 2550 亿，激活参数 360 亿，实现了达到千亿级别模型的性能 " 跨级 " 跃升。

同时，这款 MoE 模型与其 Dense 模型 XVERSE-65B-2 相比，训练时间减少 30%，推理性能提升 100%，每 token 成本大幅下降。

元象 " 高性能全家桶 " 系列全部开源，可无条件免费商用，为中小企业、研究者和开发者提供可按需选择的多款模型。

一、国内最大开源MoE模型，无条件免费商用

不少行业前沿模型，包括谷歌 Gemini-1.5、OpenAI 的 GPT-4、马斯克 xAI 的 Grok 等，都使用了 MoE 架构。

MoE 是业界前沿的混合专家模型架构，将多个细分领域的专家模型组合成一个超级模型，打破了传统扩展定律（Scaling Law）的局限，可在扩大模型规模时，不显著增加训练和推理的计算成本，并保持模型性能最大化。

在权威评测中，元象 MoE 效果大幅超越多个同类模型，包括国内千亿 MoE 模型 Skywork-MoE、传统 MoE 霸主 Mixtral-8x22B 以及 3140 亿参数的 MoE 开源模型 Grok-1-A86B 等。

▲权威测试集评测结果

开发者现可在 Hugging Face、GitHub 等开源社区免费下载元象 MoE 大模型，并无条件免费商用。

开源地址：

https://huggingface.co/xverse/XVERSE-MoE-A36B

https://github.com/xverse-ai/XVERSE-MoE-A36B

二、数据动态切换、优化拓扑设计，推理性能提升100%

通过设计与优化，元象 MoE 模型与其 Dense 模型 XVERSE-65B-2 相比，训练时间减少 30%、推理性能提升 100%，模型效果更佳，达到业界领先水平。

具体来说，元象围绕效率和效果进行了 MoE 架构与 4D 拓扑设计、专家路由与预丢弃策略、数据动态切换等技术优化。

MoE 架构的关键特性是由多个专家组成。由于专家之间需要大量的信息交换，通信负担极重。

为了解决这个问题，元象采用了 4D 拓扑架构，平衡了通信、显存和计算资源的分配。这种设计优化了计算节点之间的通信路径，提高了整体计算效率。

MoE 的另一个特点是 " 专家路由机制 "，即需要对不同的输入进行分配，并丢弃一些超出专家计算容量的冗余数据。

为此元象设计一套预丢弃策略，减少不必要的计算和传输。同时在计算流程中实现了高效的算子融合，进一步提升模型的训练性能。

此外，MoE 架构的专家之间需要大量通信，会影响整体计算效率。元象设计了 " 多维度的通信与计算重叠 " 机制，在进行参数通信的同时，最大比例并行地执行计算任务，从而减少通信等待时间。

在专家模型权重方面，MoE 中的专家总数为 N，每个 token 会选择 top K 个专家参与后续的计算，由于容量限制，每个 token 实际选择到的专家数为 M（M<=K<N）。

被选择到的专家计算完之后，会通过加权平均的方式汇总得到每个 token 的计算结果，这里专家的权重如何设置是一个问题。元象通过对比实验的方式进行选择，根据对比实验的效果，最终选择 " 权重在 top K 范围内归一化 " 的设置进行正式实验。

下图为对比实验的结果，其中实验 1-4 权重分别为 top M、top K、top N 范围内归一化以及 1。

▲对比实验结果

元象以往开源的模型，往往在训练前就锁定了训练数据集，并在整个训练过程中保持不变。这种做法较为简单，但会受制于初始数据的质量和覆盖面。

此次 MoE 模型的训练，元象借鉴了 " 课程学习 " 理念，在训练过程中进行动态数据切换，不同阶段多次引入新处理的高质量数据，并动态调整数据采样比例。

这使得模型不再被初始语料集所限制，而是能够持续学习新引入的高质量数据，提升了语料覆盖面和泛化能力。同时，调整采样比例也有助于平衡不同数据源对模型性能的影响。

▲不同数据版本的效果曲线图

在训练过程中动态切换数据集也给模型带来了新的适应挑战。为了确保模型能快速且充分地学习新进数据，元象对学习率调度器进行了优化调整，在每次数据切换时会根据模型收敛状态，相应调整学习率。

下图是整个训练过程中 MMLU、HumanEval 两个评测数据集的效果曲线图。这一学习率调度策略（LR Scheduler）有效提升了模型在数据切换后的学习速度和整体训练效果。

▲训练过程中 MMLU、HumanEval 的性能曲线持续提升

三、打造高性能开源全家桶，自研AI互动网文App

元象于 2021 年初在深圳成立，是国内领先的 AI 与 3D 技术服务公司，专注于打造 AI 驱动的 3D 内容生产与消费一站式平台。

元象创始人姚星是前腾讯副总裁和腾讯 AI Lab 创始人、国家科技部新一代人工智能战略咨询委员会成员。截至目前，元象累计融资金额超过 2 亿美元，投资机构包括腾讯、红杉中国、淡马锡等知名投资方。

在 3D 领域，元象自研了 " 端云协同 "3D 互动技术，具备轻、快、美等优势。在 AI 领域，元象大模型最早开源了世界最长上下文大模型、国内首个 65B 大模型及前沿 MoE 模型等。

基于对 " 通用人工智能（AGI）" 的追求，元象持续打造 " 高性能开源全家桶 "，不仅填补了国产开源空白，更将其推向了国际领先水平。

2023 年 11 月，元象率先开源了 XVERSE-65B，是当时国内最大参数开源模型。

▲元象高性能开源全家桶

2024 年 1 月，元象开源全球最长上下文窗口大模型，支持输入 25 万汉字，推动大模型应用进入 " 长文本时代 "。

▲元象开源全球最长上下文窗口大模型

此次开源国内最大参数 MoE 模型，元象又为开源生态贡献了一个助推低成本 AI 应用的利器。

在商业应用上，元象基于 MoE 模型自主研发了 AI 角色扮演与互动网文 App Saylo，凭借逼真的 AI 角色扮演和有趣的开放剧情火遍港台，下载量在中国台湾和香港娱乐榜分别位列第一和第三。

▲元象自研 AI 角色扮演与互动网文 App Saylo

在通用预训练基础上，元象使用海量剧本数据继续预训练（Continue Pre-training），其与传统 SFT（监督微调）或 RLHF（基于人类反馈的强化学习）不同，采用了大规模语料知识注入，让模型既能保持强大的通用语言理解能力，又大幅提升了 " 剧本 " 这一特定应用领域的表现。

结语：国产开源模型推动AI应用落地

元象在大模型领域的不断突破与创新，为国产开源大模型的发展注入了新的动力，也推动了应用落地的加速。

在落地层面，元象从去年起陆续与 QQ 音乐、虎牙直播、全民 K 歌、腾讯云等软件深度合作，基于大模型为文化、娱乐、旅游、金融等领域打造了创新领先的用户体验。