11 月 20 日消息,最新的 Qwen2.5-Turbo 已在阿里云百炼上线,该模型支持 100 万超长上下文,相当于 100 万个英文单词或 150 万个汉字,在多个长文本评测集上的性能表现超越 GPT-4。即日起,所有用户可在阿里云百炼调用 Qwen2.5-Turbo API,百万 tokens 仅需 0.3 元。
全新的 Qwen2.5-Turbo 在 1M 长度的超长文本检索(Passkey Retrieval)任务中的准确率可达到 100%,在长文本评测集 RULER 上获得 93.1 分,超越 GPT-4;在 LV-Eval、LongBench-Chat 等更加接近真实场景的长文本任务中,Qwen2.5-Turbo 在多数维度超越了 GPT-4o-mini;此外,在 MMU、LiveBench 等短文本基准上 Qwen2.5-Turbo 的表现也非常优秀,在大部分任务上的表现显著超越之前上下文长度为 1M tokens 的开源模型。
Qwen2.5-Turbo 在长文本、短文本任务评测集上均表现优秀
在推理速度方面,通义千问团队利用稀疏注意力机制将注意力部分的计算量压缩了约 12.5 倍,将处理 1M tokens 上下文时的首字返回时间从 4.9 分钟降低到 68 秒,实现了 4.3 倍的速度提升。
Qwen2.5-Turbo 推理速度可提升 4.3 倍
Qwen2.5-Turbo 可应用于长篇小说深入理解、仓库级别代码助手、多篇论文阅读等场景,可一次性处理 10 本长篇小说,150 小时的演讲稿,3 万行代码。针对该模型,阿里云百炼免费为用户赠送 1000 万 tokens 额度。
该团队表示,长文本任务处理依然存在诸多挑战,未来将进一步探索长序列人类偏好对齐,优化推理效率以减少运算时间,并继续研发更大、更强的长文本模型。
据介绍,阿里云百炼已上线 Qwen、Llama、Flux 等超 200 款国内外主流开源和闭源大模型,用户可选择直接调用、训练微调或打造 RAG 应用。目前,一汽、金山、哈啰集团、国家天文台等超 30 万企业和机构在使用阿里云百炼。
雷峰网
登录后才可以发布评论哦
打开小程序可以发布评论哦