谷歌开源的抓取机械臂,无需人工标注,一眼就能找到目标部位——

明敏 发自 凹非寺量子位 | 公众号 QbitAI机械臂常见,但你见过这么聪明的吗?从工作台上一眼找

法明来自奥菲寺。

量子比特|微信官方账号QbitAI

机械臂很常见,但你见过这么智能的吗?

从工作台上一眼就找到合适的螺母,牢牢握住。

Google  X开源抓取机械臂,无需人工标注就能一眼找到目标零件
Google X开源抓取机械臂,无需人工标注就能一眼找到目标零件
然后发给目标螺杆。整个动作一气呵成:

Google  X开源抓取机械臂,无需人工标注就能一眼找到目标零件
Google X开源抓取机械臂,无需人工标注就能一眼找到目标零件
即使是相似度极高的两个组件,也能准确区分并“拉出”正确的一个:

Google  X开源抓取机械臂,无需人工标注就能一眼找到目标零件
Google X开源抓取机械臂,无需人工标注就能一眼找到目标零件
你要知道,当我们自己做实验或者组装从未见过的机械零件时,面对相似的零件,我们都可能得到错误的零件,更别说机器人了。

(想象一下组装乐高零件的痛苦)

然而,这种机械臂可以在没有任何人工标记的情况下,立即从模拟器迁移到现实世界,并概括为机器人从未见过的新物体,准确率达到87.8%。

Google  X开源抓取机械臂,无需人工标注就能一眼找到目标零件
Google X开源抓取机械臂,无需人工标注就能一眼找到目标零件
这是Google X最近开源的类别级机械臂CaTGrasp。

首先,作为一名中国博士,文毕业于交通大学,现就读于罗格斯大学计算机系。

目前,这项研究已经在机器人领域的顶级会议ICRA 2022上进行。

让机械臂自己总结抓取经验

本研究的目的是解决常见工业场景中不同机械零件的分类问题。

事实上,机械臂不可避免地会遇到它不知道的新零件。如果只依赖数据集,不会举一反三,那就不好了。

为了不依赖数据集和人工标注,研究人员想到了在模拟器中训练的方法。

Google  X开源抓取机械臂,无需人工标注就能一眼找到目标零件
Google X开源抓取机械臂,无需人工标注就能一眼找到目标零件
通过在模拟器中不断的训练和试错,机械臂可以自己总结出一套经验,并将其归结为热图表示。

Google  X开源抓取机械臂,无需人工标注就能一眼找到目标零件
Google X开源抓取机械臂,无需人工标注就能一眼找到目标零件
在这里,研究团队提出了一种新的表示方法:非均匀归一化物体坐标空间(Nunocs)。

统一的NUNOCS表示可以集成同类对象的信息。

给定一个对象模型,该方法可以沿每个维度归一化所有点。

不同维度之间的归一化特征具有一定的比较价值,从而可以对不同的对象进行分类。

最终NUNOCS可以根据类别对不同的对象进行分类,并给出一个有代表性的模板。

在此过程中,它会将与所有其他模型的倒角距离最小的对象设置为模板。

(倒角距离:是对一个图像的距离变换。对于一幅有特征点和非特征点的二值图像,这个距离变换就是求解每个点与最近的特征点之间的距离。)

这些模板将成为整合热图表示和存储抓取姿态的码本。

给定点云的输入,NUNOCS网可以预测点云在NUNOCS空间的位置。这个网络是基于pointnet设计的。

(点云:逆向工程中测量仪器获得的产品外观表面点数据的集合)

根据确定的点云和预测的点云,两者最终可以求解得到类别级的6D变换和3D维度变换,从而得到更精确的密集点云对匹配。

比如下图,同色表示相互匹配,NUNOCS方法优于之前的NOCS方法。

Google  X开源抓取机械臂,无需人工标注就能一眼找到目标零件
Google X开源抓取机械臂,无需人工标注就能一眼找到目标零件
掌握了抓取秘籍后,一定要保证每次抓取都能稳定释放“技能”。

因此,研究人员对每个抓取姿势进行了50次随机微扰,并记录成功次数,以获得连续的概率分布。

然后根据上一步排序的不同模型模板,对抓取姿态也进行分类整合。

测试时,一旦遇到未触及的情况,可以将之前得出的抓取姿态分布转移到一个新颖的物体空间,从而获得更全面的抓取姿态采样。

在抓取姿态和模拟器中得到的概率分布可以分别作为输入和标签来训练神经网络。

Google  X开源抓取机械臂,无需人工标注就能一眼找到目标零件
Google X开源抓取机械臂,无需人工标注就能一眼找到目标零件
最后,通过自我监督的训练和学习,经过足够的抓取姿态模拟,可以积累机械爪与物体的接触经验,得到下面的热图。

Google  X开源抓取机械臂,无需人工标注就能一眼找到目标零件
Google X开源抓取机械臂,无需人工标注就能一眼找到目标零件
以及流程中的所有模块都可以从合成数据集进行训练,然后可以直接迁移到现实世界场景中。

从实验结果来看,该方法在模拟情境下的平均成功率为93.1%,抓取次数约为600次。

实际成功率87.8%。

Google  X开源抓取机械臂,无需人工标注就能一眼找到目标零件
Google X开源抓取机械臂,无需人工标注就能一眼找到目标零件

团队介绍

这项研究的第一部分是Rutgers大学计算机科学博士生Bowen Wen,他目前在GoogleX实习。

Google  X开源抓取机械臂,无需人工标注就能一眼找到目标零件
Google X开源抓取机械臂,无需人工标注就能一眼找到目标零件
他师从科斯塔斯贝克里斯教授。他的研究兴趣包括机器人感知和计算机视觉。

他曾在脸书现实、亚马逊实验室126和商汤实习。

我本科毕业于Xi交通大学,硕士毕业于俄亥俄州立大学。

目前这个项目的所有模拟器环境、数据集生成、训练、实验都已经开源。

GitHub地址:

https://github.com/wenbowen123/catgrasp

论文地址:

https://arxiv.org/abs/2109.09163

—结束—

量子qbitai头条号签约

关注我们,第一时间获悉前沿科技动态。

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/235742.html

(0)

相关推荐