7 月 8 日,国际 AI 顶级学术会议 ACL 2026 公布了最佳论文奖项,阿里研究团队在 Deep Research Agent 方向的研究成果从全球一万多篇投稿中脱颖而出,获评最佳资源论文奖(Best Resource Paper),是国内唯一获得该奖项的中国公司。据悉,该论文首次系统揭示了当前 Agent 在真实世界复杂规则推理中面临巨大缺陷,并提出了全新的专家 Agent 评测基准,为提升大模型在真实场景的可靠性指明了新方向。

ACL(国际计算语言学协会)成立于 1962 年,是自然语言处理和计算语言学领域中历史最悠久、最具权威性的国际学术组织。在学术评价体系中,ACL 长期位居谷歌学术计算语言学子领域的 h5-index 影响力榜首,是大模型、Agent 等前沿计技术的核心论文首发阵地。据介绍,ACL 2026 共收到 12148 篇投稿,仅 19% 被主会录用,最终仅有 4 篇论文获评 Best Resource Paper。
阿里此次获奖的论文以商品出口所需的 10 位海关编码(HS Code)为切入点,提出了针对真实场景和专家水平的智能体新基准 HSCodeComp,它要求 Agent 像资深关务专家一样,将商品模糊的属性与严格的关税归类规则对齐,为商品精准映射到 10 位细分编码。研究团队对 14 个主流大模型和 9 个先进 Agent 框架进行了全面评测。测试结果显示,表现最好的 Agent 系统准确率仅为 45% 左右,远低于人类专家 95% 的准确率。更值得注意的是,研究还发现单纯堆更多推理时间(inference-time scaling)并不能显著缩小这道鸿沟,这意味着这背后并非 " 算力问题 ",而是 Agent 架构本身的结构性瓶颈。
该研究还进一步揭示了导致 Agent 系统缺陷的原因:首先过长的推理链导致 Agent 在中途偏离正确路径,其次是领域知识不足导致规则误用,最后由于推理幻觉造成 Agent 生成缺乏事实依据的分类判断。这些发现为 Agent 能力提升指明了方向。

在 HSCodeComp 基准测试中,阿里设计的 Agent 准确率达到 65.0%
目前,HSCodeComp 基准的数据集与评测代码已在 Hugging Face 和 GitHub 全面开源。据介绍,阿里已基于该研究成果,在跨境贸易数字关务等场景中设计了以 Qwen 基座模型为核心的 Agent 框架,在 HSCodeComp 基准(10 位编码准确率)上的测试结果显示,该 Agent 以 65.0% 的准确率稳居 AI 系统第一位。
ACL 评审委员会表示:" 该基准切中了 Agent 应用的高度重要挑战——考察 Agent 对严格层级化自然语言规则的遵循能力,研究动机极具说服力;严谨的人类专家评测流程提供了高度可靠的能力上界。"
阿里研究团队表示:" 层级规则应用是现实世界中大量专业决策的核心能力,不仅存在于国际贸易,也广泛存在于法律合规、医疗诊断、税务审计等重要高价值垂类领域。HSCodeComp 揭示了当前 Agent 的能力边界,也为构建真正可靠的专业 AI 系统提供了科学的评测标杆。"


登录后才可以发布评论哦
打开小程序可以发布评论哦