【太平洋科技快讯】近日,麻省理工学院(MIT)信息与决策系统实验室 ( LIDS ) 的一项研究对生成式 AI 模型的导航能力提出了质疑。尽管这些模型在纽约市提供近乎完美的逐步导航指引,但它们并未形成精确的地图。
研究发现,当研究人员对某些街道进行封闭并设置绕行路线时,这些生成式 AI 模型的性能急剧下降。例如,仅关闭 1% 的街道,模型的准确率就从接近 100% 降至 67%,显示出模型在应对环境或任务变化时的不足。
进一步分析显示,这些模型生成的纽约地图包含大量不存在的街道,这些街道在网格间扭曲连接,形成了一个 " 虚构的纽约 "。地图中充斥着随机跨街桥和以不可思议角度交叉的街道,揭示了模型的缺陷。
研究强调,对于生成式 AI 模型而言,评估其是否形成了连贯的世界观至关重要。尽管这些模型在语言领域表现出色,但在探索其他科学领域时,其连贯性和适应性仍需进一步验证。
此次研究主要关注的是一种名为 "transformer" 的生成式 AI 模型,该模型是大型语言模型 ( 如 GPT-4 ) 的核心。Transformer 模型通过大量基于语言的数据进行训练,但其局限性在此次研究中得到了凸显。
登录后才可以发布评论哦
打开小程序可以发布评论哦