快科技 11 月 20 日消息,阿里云百炼宣布,最新的 Qwen2.5-Turbo 模型已在平台上线,即日起所有用户可在阿里云百炼调用 Qwen2.5-Turbo API,百万 tokens 仅需 0.3 元,同时还免费为用户赠送 1000 万 tokens 额度。
该模型支持 100 万超长上下文,相当于 100 万个英文单词或 150 万个汉字,并且在多个长文本评测集中的性能表现超越 GPT-4。
据介绍,Qwen2.5-Turbo 可应用于长篇小说深入理解、仓库级别代码助手、多篇论文阅读等场景,可一次性处理 10 本长篇小说,150 小时的演讲稿,3 万行代码。
具体来看,Qwen2.5-Turbo 在 1M 长度的超长文本检索(Passkey Retrieval)任务中的准确率可达到 100%,在长文本评测集 RULER 上获得 93.1 分,超越 GPT-4。
在 LV-Eval、LongBench-Chat 等更加接近真实场景的长文本任务中,Qwen2.5-Turbo 在多数维度超越了 GPT-4o-mini。
不仅是长文本,在 MMU、LiveBench 等短文本基准上 Qwen2.5-Turbo 的表现也非常优秀,在大部分任务上的表现显著超越之前上下文长度为 1M tokens 的开源模型。
在推理速度方面,团队利用稀疏注意力机制将注意力部分的计算量压缩了约 12.5 倍,将处理 1M tokens 上下文时的首字返回时间从 4.9 分钟降低到 68 秒,速度大幅提升了 4.3 倍。
不过通义千问团队也表示,长文本任务处理依然存在诸多挑战,未来将进一步探索长序列人类偏好对齐,优化推理效率以减少运算时间,并继续研发更大、更强的长文本模型。
登录后才可以发布评论哦
打开小程序可以发布评论哦