当地时间 8 月 11 日至 16 日,为期 6 天的国际计算语言学年会(ACL2024)在泰国曼谷举办。ACL 是计算语言学和自然语言处理领域国际排名第一的顶级学术会议,由国际计算语言学协会组织,每年召开一次,2024 年是第 62 届会议。
清华大学、浙江大学、西安电子科技大学、蚂蚁集团、小米等国内院校及互联网企业均有论文被 ACL2024 收录。比如蚂蚁集团有 14 篇论文被收录,研究课题涉及自然语言处理、知识推理、大模型、知识图谱等领域,自然其中 5 篇被主会(Main)收录。
被主会(Main)收录的论文 " 分解与蒸馏大语言模型用于语义搜索 ",提出了一种混合型语义搜索模型 D2LLM,通过分解大语言模型和从大语言模型中蒸馏知识,实现了双编码器的运行效率与交叉编码器的理解准确性的折中。实验数据显示,D2LLM 在三项任务的指标上超过了五个领先的基准模型,特别是在自然语言推理(NLI)任务的性能至少提高了 6.45%。
另一篇被被主会(Main)收录的论文 " 构建大规模 schema 约束的信息抽取语料库 ",提出了一个叫 IEPILE 的中英双语 IE 指令语料库,它包含约 0.32B 的 tokens。这一研究通过收集和清洗 33 个现有 IE 数据集构建了 IEPILE,并引入基于 schema 模式的指令生成,构建出大规模的语料库。实验结果表明,使用 IEPILE 可提升 LLMs 在 IE 任务中,尤其在零样本泛化抽取上的性能。
蚂蚁另外两篇被 ACL2024 主会收录的论文,取得的研究成果分别是,降低了大模型的幻觉;以及提高了大模型的注意力,增强了大模型长下文的外推能力。
据了解,2024 年,蚂蚁集团有近百篇 AI 学术论文被全球各顶级会议收录,研究成果主要用于优化大模型训练的性能,提高大模型的可靠性与可信度,持续降低 AI 训练成本,以推动大模型在各行业,尤其严谨行业中得以规模化落地应用。如这与蚂蚁 " 让 AI 像扫码支付一样便利每个人的生活 " 的技术主张亦有直接关系。
《2023 年中国科技论文统计报告》显示,中国发表的高水平国际期刊论文数量和被引用次数均排在世界第一。2024 年,乔治城大学安全与新兴技术中心(CSET)的最新数据显示,在人工智能最热门的领域中,中国在一半以上的研究领域领先美国。这些数据表明,中国高校和企业的科研产出在数量和质量上都在稳步提升,在全球科研领域中占据越来越重要位置。
雷峰网
登录后才可以发布评论哦
打开小程序可以发布评论哦