
AI 正在进入论文写作的各个环节,学术出版机构也在逐步明确相关使用规范。
2026 年 8 月,全球学术出版商 Elsevier 更新了生成式 AI 使用政策,要求作者披露论文准备过程中 AI 工具的使用情况,并对最终内容负责;Springer Nature 的相关政策同样强调使用透明度和人工监督。
对于期刊而言,除了明确规则,还需要判断作者是否遵守了这些要求。Wiley 旗下的 Research Exchange 投稿筛查系统已引入机器生成内容检测工具,用于识别可能存在的未披露 AI 使用情况。不过,Wiley 明确提醒,检测工具存在误报风险,结果不应成为编辑作出决定的主要依据。
目前,现有的 AI 文本检测工具主要分析词语选择、句式结构等语言特征,判断文章是否由 AI 生成。但如果人类负责构思、AI 负责写作,或者 AI 提出想法、人类完成写作,仅凭文字特征就很难判断研究构思的来源。
近日,美国马里兰大学、Google DeepMind、加拿大西蒙弗雷泽大学等机构的研究人员在 arXiv 发布预印本论文 "IdeaLens: Detecting AI Ideas in Long-form Writing",尝试解决这一问题。研究团队开发了一套名为 IdeaLens 的检测系统,不再直接分析文章的语言风格,而是将文章转换为内容大纲,尝试判断其中的想法思路来自人类还是 AI。
在一项模拟人机协作写作的实验中,当 AI 根据人类提供的完整大纲写作时,IdeaLens 将文章判定为 AI 的比例从 94.9% 降至 6.8%;而当人类根据 AI 生成的故事大纲重新写作时,IdeaLens 将 68% 的文章判定为 AI,传统检测器 Pangram 4 的这一比例只有 8%。
AI 文本检测公司 Pangram 的首席执行官 Max Spero 在接受 Science 采访时评价,这是一种全新的检测器,其方法具有创新性,也代表了该领域的一项进展。
目前,研究团队已公开了 IdeaLens 和对照模型 ProseLens 的训练数据及相关评测数据集,供其他研究人员进一步测试。研究人员也强调,IdeaLens 给出的是模型预测,并不能直接证明某个想法究竟由谁提出。
不分析语言风格,而是提取文章大纲
传统 AI 文本检测工具主要判断文章的文字由谁写出。IdeaLens 关注的则是另一个问题:文章表达了什么观点、使用了哪些证据,以及内容是如何组织起来的。
研究团队将这两个维度分别称为文字来源(prose provenance)和思想来源(idea provenance)。前者关注文字由谁写出,后者关注文章中的观点、事件和组织方式来自谁的构思。
为此,研究人员没有让模型直接阅读完整文章,而是先利用大语言模型提取内容大纲。大纲按照文章内容出现的顺序,记录每部分承担的作用,以及其中表达的具体内容。
例如,一篇新闻评论可能依次包含事件背景、核心观点、事实证据和最终评价。系统会识别这些部分的作用,并用简短文字概括相应内容。学术文章则可以按照研究问题、方法、结果和结论等内容进行整理。
研究人员还会在训练阶段对提取的大纲进行改写,尽可能去除原文的措辞,同时保留观点和内容结构。这样,模型就不必主要依赖原文的用词和句式来判断来源。

图 | 看想法是谁出的,检测得准不准(来源:上述论文)
训练 IdeaLens 的关键,则是用现有 AI 检测器提供的标签,训练一个只读取文章大纲的模型。
研究团队从 FineWeb 网页文本语料中筛选了约 100 万篇不少于 500 词的英文长文本,涵盖新闻、小说、学术文章、博客等八种文体,并将其整理为 WildOutlines 数据集。
由于缺少大规模、经过核实的思想来源标注,研究人员先使用现有检测器 Pangram 3.3.2 判断文章由人类还是 AI 撰写,再将检测结果作为训练标签。被判断为人机混合写作的文章则被排除。
接下来,研究团队使用大语言模型批量提取文章大纲,并对其进行改写。完成数据处理后,他们以英伟达 Nemotron-3.5-Lightning-30B-A3B 为基础模型,采用 LoRA 方法进行一轮微调。训练时,模型读取经过处理的大纲及其对应的标签,学习判断内容更接近人类还是 AI 的构思。
约 100 万篇文章中,约 84.2 万篇用于训练,约 3 万篇用于验证,约 8 万篇人类文章用于校准检测阈值,另外约 5 万篇用于测试。
为了比较大纲与原文两种输入方式的效果,研究人员还训练了一个名为 ProseLens 的对照模型。两个模型使用相同的基础模型、训练文章和标签,主要区别在于:IdeaLens 阅读文章大纲,ProseLens 直接阅读原文。
AI 构思、人类写作,检测器能识别吗?
为了测试 IdeaLens,研究团队设计了三组评测数据集 IdeaShift、TwiceTold、IdeaShift-X,分别测试人类构思、AI 写作,AI 构思、人类写作,以及跨语言场景下的检测效果。
第一组是 IdeaShift,模拟人类提出想法、AI 完成写作的过程。
研究人员选取了 500 篇文章,为每篇文章制作不同详细程度的写作提示,再让 AI 根据提示生成新文章。最初,AI 只能获得一个主题;随后,提示逐步增加文章观点、内容安排等信息,最终提供完整大纲,并要求 AI 严格按照大纲写作,不额外添加内容。
结果显示,当 AI 只获得简单主题时,IdeaLens 将 94.9% 的文章判定为 AI;当 AI 根据完整的人类大纲写作时,这一比例降至 6.8%。相比之下,ProseLens 和 Pangram 4 在最后一种情况下,仍分别将 86.5% 和 92.4% 的文章判定为 AI。
研究人员还让 AI 根据 AI 自己生成的大纲写作。无论大纲详细程度如何,IdeaLens 都将超过 96% 的文章判定为 AI 构思。
第二组是 TwiceTold,测试 AI 提出想法、人类完成写作的情况。
研究团队先让 GPT-5.6 Sol 生成 50 篇约 500 词的故事,再提取故事大纲,交给 17 名计算机科学领域的研究生或教师重新写作。参与者只能看到大纲,不能阅读 AI 生成的原始故事,因此需要自行完成文字表达,但故事的主要情节和内容安排来自 AI。
在这 50 篇人类写作的故事中,IdeaLens 将 68% 判定为 AI;Pangram 4 的这一比例为 8%,ProseLens 则没有将任何一篇判定为 AI。作为对照,研究人员也检测了 AI 生成的原始故事,IdeaLens 识别出了其中的 96%,ProseLens 和 Pangram 4 则均识别出了全部故事。
对于 IdeaLens 未能识别的 16 篇人类重写故事,研究团队发现,其中 12 篇包含推想或奇幻元素。部分参与者在遵循原有大纲的同时,增加了新的事件或世界观细节。

图 | 传统检测器仅能识别文字的作者,而 IdeaLens 可识别思想的来源(来源:上述论文)
第三组是 IdeaShift-X,研究模型能否跨越语言差异识别构思来源。
虽然 IdeaLens 只使用英文文章训练,但在检测其他语言的文章时,可以先将其转换为英文大纲,再交给模型判断。研究团队从 FineWeb2 中选取了 24 种语言的 1 万篇人类文章,并按照 IdeaShift 的方法生成对应的 AI 写作版本。
结果显示,对于只提供简单主题、由 AI 自行构思和写作的文章,IdeaLens 的识别率为 95.3%;而当 AI 严格按照完整的人类大纲写作时,被判定为 AI 的比例只有 0.7%。
除上述实验外,研究团队还在 19 组已有的 AI 检测评估中比较了不同工具的表现。对于构思和文字都来自 AI 的文章,IdeaLens 的平均识别率为 91.1%,误报率为 0.6%。ProseLens 的识别率为 98.9%,误报率为 0.7%;Pangram 4 的识别率为 97.3%,误报率为 0.3%。
在涉及 AI 润色、改写人类文章的 12 组评估中,IdeaLens 将 94.7% 的文章识别为人类构思,而 ProseLens 和 Pangram 4 的这一比例分别为 50.7% 和 43.8%。

图 | IdeaLens 能识别 AI 文本中人类参与的多少,且对同一故事的人类版与 AI 版给出相近判断,这两点均优于传统检测器(来源:上述论文)
研究团队还分析了约 9 万条大纲内容,观察模型判断人类与 AI 构思时呈现出的内容特征。
分析发现,被 IdeaLens 判断为更接近 AI 写作的内容,往往包含适用于多个主题的笼统描述,或者引用数字、方法和事实,却缺少足够的信息供读者核查;部分内容还会提出超出证据支持范围的结论;被模型判断为更接近人类写作的内容,则更常包含具体、可核查的信息,也更可能讨论研究或观点的局限,以及尚未解决的问题。
对于这项研究,论文作者之一、美国马里兰大学计算机科学研究人员 Rishanth Rajendhran 在接受 Nature 采访时指出,AI 辅助撰写科学论文正逐渐被接受,但研究的核心想法是否出自研究人员本人,仍值得关注。
康奈尔理工学院计算机科学家 Nikhil Garg 则对 IdeaLens 的方法感到惊讶:仅凭文章大纲,模型就能在一定程度上识别 AI 生成的论证。不过,他也提醒,这种方法并非万无一失。如果检测对象与训练数据差异较大,模型的准确性可能受到影响;某种写作方式在一个领域可能被视为 AI 特征,在另一个领域却可能是人类写作的常态。
论文作者也在研究中列出了相关限制。
首先,IdeaLens 的训练标签由传统 AI 检测器提供,并不是对文章实际构思过程的直接记录;其次,TwiceTold 中只有 50 篇由人类根据 AI 大纲重新撰写的故事,实验规模仍然有限。
此外,现实中的人机协作往往更加复杂。人类可能先提出问题,再根据 AI 的建议修改研究方向,也可能与 AI 多轮讨论,共同形成最终的论文结构。IdeaLens 目前主要给出人类或 AI 两类判断,尚不能准确区分这种共同构思过程中各自的贡献。
参考链接:
1.https://www.science.org/content/article/did-ai-or-human-write-paper-new-detector-decides-examining-its-ideas
2.https://www.nature.com/articles/d41586-026-03247-0
3.Rajendhran, R. et al. Preprint at arXiv https://doi.org/10.48550/arXiv.2610.06778 ( 2026 ) .
运营 / 排版:何晨龙
注:封面 / 首图由 AI 辅助生成


登录后才可以发布评论哦
打开小程序可以发布评论哦