法明来自奥菲寺。
量子比特|微信官方账号QbitAI
机械臂很常见,但你见过这么智能的吗?
从工作台上一眼就找到合适的螺母,牢牢握住。



(想象一下组装乐高零件的痛苦)
然而,这种机械臂可以在没有任何人工标记的情况下,立即从模拟器迁移到现实世界,并概括为机器人从未见过的新物体,准确率达到87.8%。

首先,作为一名中国博士,文毕业于交通大学,现就读于罗格斯大学计算机系。
目前,这项研究已经在机器人领域的顶级会议ICRA 2022上进行。
让机械臂自己总结抓取经验
本研究的目的是解决常见工业场景中不同机械零件的分类问题。
事实上,机械臂不可避免地会遇到它不知道的新零件。如果只依赖数据集,不会举一反三,那就不好了。
为了不依赖数据集和人工标注,研究人员想到了在模拟器中训练的方法。


统一的NUNOCS表示可以集成同类对象的信息。
给定一个对象模型,该方法可以沿每个维度归一化所有点。
不同维度之间的归一化特征具有一定的比较价值,从而可以对不同的对象进行分类。
最终NUNOCS可以根据类别对不同的对象进行分类,并给出一个有代表性的模板。
在此过程中,它会将与所有其他模型的倒角距离最小的对象设置为模板。
(倒角距离:是对一个图像的距离变换。对于一幅有特征点和非特征点的二值图像,这个距离变换就是求解每个点与最近的特征点之间的距离。)
这些模板将成为整合热图表示和存储抓取姿态的码本。
给定点云的输入,NUNOCS网可以预测点云在NUNOCS空间的位置。这个网络是基于pointnet设计的。
(点云:逆向工程中测量仪器获得的产品外观表面点数据的集合)
根据确定的点云和预测的点云,两者最终可以求解得到类别级的6D变换和3D维度变换,从而得到更精确的密集点云对匹配。
比如下图,同色表示相互匹配,NUNOCS方法优于之前的NOCS方法。

因此,研究人员对每个抓取姿势进行了50次随机微扰,并记录成功次数,以获得连续的概率分布。
然后根据上一步排序的不同模型模板,对抓取姿态也进行分类整合。
测试时,一旦遇到未触及的情况,可以将之前得出的抓取姿态分布转移到一个新颖的物体空间,从而获得更全面的抓取姿态采样。
在抓取姿态和模拟器中得到的概率分布可以分别作为输入和标签来训练神经网络。


从实验结果来看,该方法在模拟情境下的平均成功率为93.1%,抓取次数约为600次。
实际成功率87.8%。

团队介绍
这项研究的第一部分是Rutgers大学计算机科学博士生Bowen Wen,他目前在GoogleX实习。

他曾在脸书现实、亚马逊实验室126和商汤实习。
我本科毕业于Xi交通大学,硕士毕业于俄亥俄州立大学。
目前这个项目的所有模拟器环境、数据集生成、训练、实验都已经开源。
GitHub地址:
https://github.com/wenbowen123/catgrasp
论文地址:
https://arxiv.org/abs/2109.09163
—结束—
量子qbitai头条号签约
关注我们,第一时间获悉前沿科技动态。
内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/235742.html