您现在的位置是:热点 >>正文
机器人视觉大飞跃!新模型助力 AI “看懂” 三维世界,成功率提升 31%
热点87830人已围观
简介...
在机器人领域,让人工智能真正 “看懂” 三维世界一直是一个棘手的问题。传统的视觉语言模型(VLA)大多依赖机器于二维图像和文本数据训练,难以理解真实环境中的三维空间。然而,最近来自上海交通大学和剑桥大学的研究团队提人视出了一种名为 Evo-0的新型增强视觉语言动作模型,通过轻量化的方式注入3D 几何先验,使得机器人在复杂任务中的空觉大间理解能力得到了显著提升。
Evo-0模型的创新在于其利用视觉几何基础模型(VGGT),从多视角的 RGB 图飞跃像中提取出三维结构信息,并将这些信息与已有的视觉语言模型相结合。这种方法不仅避免了使用额外传感器或显式深度输!新入的需要,还显著提升了空间感知能力。在 RLBench 仿真实验中,Evo-0在五个需要精细操作的任务上,模型成功率比基线模型 pi0高出15%,并且在开放 VLA(openvla-oft)上提升了31%。
具体而言,Ev助力o-0将 VGGT 作为空间编码器,引入了通过 VGGT 提取的 t3^D token,这些 token 包含了深度上下文 A和空间关系等几何信息。通过交叉注意力融合模块,模型能够将提取的二维视觉 token 与三维 token 进行有效结I 合,提升了对空间布局和物体关系的理解能力。这种方法在保证训练效率的同时,灵活性和部署便捷性也得到了提高。
在真实“看世界的实验中,Evo-0在处理复杂空间任务时表现出色,包括目标居中放置、插孔、密集抓取等任务,均超过了基线模型懂”,平均成功率提升了28.88%。特别是在对复杂空间关系的理解和操控能力方面,Evo-0展现出显著优势。
综上所述 三,Evo-0通过巧妙的空间信息融合,为未来的通用机器人策略提供了一条新的可行路径。该研究成果不仅在学术界引发了广维世泛关注,也为机器人领域的实际应用带来了新的可能性。
论文地址:https://arxiv.org/pdf/250界,7.00416
Tags:
相关文章
计算瓶颈与隐私困境:OpenAI 新 AI 设备或推迟发布
热点OpenAI 正与前苹果设计主管 Jony Ive 的设计工作室 LoveFrom 合作,共同开发一款革命性的人工智能设备。这款新设备旨在超越亚马逊 Echo 等现有产品,成为一种能主动学习、自然融入...
【热点】
阅读更多标签: 寒武纪 优必选U1 REDMIK90至尊版 人形机器人
热点Hello,大家早上好,又是元气满满的一天,先来浏览新鲜的早报吧~ 【寒武纪成科创板首支万亿市值股票】 算力芯片龙头寒武纪 6 月 30 日盘中涨幅扩大至 7%,成为科创板首支总市值突破 1 万亿个股...
【热点】
阅读更多菜花变紫是怎么回事
热点花菜发紫是怎么回事?你好,没事的自然现象因为咱们吃得白花菜是属于没有完全开放的花蕾之类的东东开花后它的茎部就是略紫色+白色的所以时间长了或者晚些收获就会发紫了。。花菜变紫是怎么回事?平时浇水不当所致,...
【热点】
阅读更多