IT之家 3小时前
谷歌发布Agentic Vision:模仿人类处理图像,让AI学会“放大看”
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

IT 之家 1 月 28 日消息,谷歌 DeepMind 团队昨日(1 月 27 日)发布博文,宣布在 Gemini 3 Flash 模型基础上,推出 " 智能体视觉 "(Agentic Vision)功能。

IT 之家援引博文介绍,传统 AI 模型在处理图像时,通常仅进行一次静态扫描,这种方式若遗漏了芯片序列号或远处的路牌等细微细节,模型便只能依靠猜测来生成答案。

Gemini 3 Flash 引入的 " 智能体视觉 " 打破了这一局限,将视觉理解转化为一个主动调查的过程。模型不再被动接收信息,而是通过结合视觉推理与代码执行,模仿人类 " 思考、行动、观察 " 循环处理图像,从而确立答案的视觉证据。

" 智能体视觉 " 功能的核心,在于形成 " 思考 - 行动 - 观察 " 闭环:

首先是 " 思考 " 阶段,模型分析用户查询和初始图像,制定多步计划;

紧接着进入 " 行动 " 阶段,模型生成并执行 Python 代码来主动操作图像(如裁剪、旋转、标注)或进行分析(如计算边界框);

最后是 " 观察 " 阶段,变换后的图像被追加到模型的上下文窗口中。

这一机制让 Gemini 3 Flash 能够利用更新后的数据和更佳的语境进行二次检查,从而生成基于事实的最终回复。

引入代码执行能力后,Gemini 3 Flash 在多数视觉基准测试中质量提升了 5-10%。以建筑图纸验证平台 PlanCheckSolver.com 为例,该平台利用此功能让模型通过代码裁剪并分析屋顶边缘等高分辨率细节,使准确率提高了 5%。

此外,在处理视觉数学问题时,模型不再依赖概率猜测,而是通过编写代码识别原始数据并调用 Matplotlib 库绘制精确图表,有效解决了大型语言模型在多步视觉算术中常见的 " 幻觉 " 问题。

Google DeepMind 表示这仅仅是开始。目前的 Gemini 3 Flash 已擅长隐式决定何时放大细节,未来版本将无需用户显式提示即可自动执行旋转图像或视觉运算等操作。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

flash vision 谷歌 ai it之家
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论