专业创造价值
最牛抓取机器人X射线“看透”物体堆还能适应不同环境
来源: | 作者:佚名 | 发布时间: 1166天前 | 669 次浏览 | 分享到:

智东西114日消息,近日,谷歌和加州大学伯克利分校的研究人员在论文预印本网站arXiv上发表了两篇论文,描述了两项新的人工智能(AI)技术,使机器人能更好地适应从未见过的新环境、完成行抓取、捡拾、丢弃等任务。

第一项研究介绍了X射线机器搜索方案,能提高机器人识别目标物体的准确率。第二项研究介绍了一个适应训练算法,能提升机器人在不同环境中抓取目标物体的能力。

在实验环境中,机器人模型的抓取准确率达到82%!在模拟真实环境条件下,该机器人模型的抓取准确率也可以达到最高90%。

一、用X射线“透视”物体堆,抓取准确率比基线策略高15%

在电子商务、货仓货物装卸、家庭服务等场景中部署机器人可以节省人力资源、提升人类生活质量。但是,现有的机器人模型普遍不够智能,无法准确找到用户指定的物体,面对堆放的物体时尤其如此。

谷歌和加州大学伯克利分校的研究人员认为,集成X射线模块可以让机器人“透视”物体堆,提升机器人识别准确率。

这项研究名为《X射线:通过最小化学习占有率进行机器搜索(X-RayMechanical Search for an Occluded Object by Minimizing Support of Learned Occupancy Distributions)》

论文链接:https://arxiv.org/pdf/2004.09039.pdf

1、分布率学习+X射线,让机器人“看透”物体堆

在这项研究中,研究人员让机器人模型记忆目标对象的外型,再让其用X射线照射堆放的物体,找出物体堆内部与目标对象外型最像的物体。

实验中,研究人员先训练机器人学习物体的分布情况,用3D物体模型模拟真实物体的堆放。

研究人员从开源数据网站Thingiverse(共有12963D CAD模型)中取样,选择出10个体积相等、尺寸不同的盒子作为目标物(长宽比从1:110:1不等)。为了使目标物更容易被遮挡,选取出的10个盒子厚度较小。

每一个目标物体都单独生成一个含有10000张图像的数据集,10个目标物体最后总共生成了100000张图像。为了对机器人学习情况进行验证,研究人员将每个10000张增强深度图像的数据集划分为训练集和测试集。其中,约8000张图片被用于训练,剩余约2000张则用于验证测试。

利用训练集,研究人员训练出一个基于ResNet-50模型的全卷积神经网络,训练时间约为2.5个小时。

接下来,用测试集验证模型对占有率分布的学习情况。

用平衡精度(Bal.Acc.Balanced accuracy)和并交比(IoUIntersection over Unio)来度量网络的学习情况。Bal.Acc.IoU数值越大,代表学习效果越好。

表格第一列为模型在测试集中的表现,模型对长宽比1:1的盒子的分布率预测最为准确,Bal.Acc.IoU值分别达到了98%0.91

除了长方体盒子,研究人员还选取了4个不规则物体作为目标对象进行示例预测。结果显示,模型能预测出前3个物体(盖子、多米诺骨牌、长笛)的分布情况。

基于对占有率分布预测的学习,研究人员为机器人集成X射线模块,让机器人“透视”物体堆、找出与目标物体外型最相似的物体。

实验过程中,先把物体堆的RGBD图像(通过X射线照射得到)和目标物体外型输入模型。模型根据RGBD图像预测物体堆内部分布情况,找出外型“像”目标物体的物体,并部署一个最简单的抓取动作。

2、被遮挡物体也能认出来

实验结果显示,不论目标物体是被完全遮挡还是部分遮挡,机器人都能通过判断物体形状把它识别出来。

上行目标物体被完全遮挡,下行目标物体被部分遮挡

研究人员比较了X射线策略与两个基线模型的抓取结果。X射线方案在82%的情况下成功抓取出目标对象,比表现最佳的基线策略还高15%

二、进行模型适应训练,机器人抓取准确率最高达98%

通过第一项研究,机器人的抓取准确率有所提高,但实际应用场景与实验室模拟环境有很大差别。为了提升机器人在货仓、家庭等不同工作环境中的稳健性,研究人员对其进行了适应性训练。

这项研究名为《基于视觉的端到端机器人控制的高效适应训练(Efficient Adaptation for End-to-End Vision-Based Robotic Manipulation)》

论文链接:https://arxiv.org/pdf/2004.10190.pdf

1、预训练+改变实验条件,提升机器人环境适应性

首先,研究人员对抓取机器人模型进行预训练,选用QT-Opt算法,训练分两步进行。

第一步,在离线状态下训练机器人模型进行580000次抓取(约花费6000个小时);

第二步,在线条件下,训练该模型对同一组对象进行28000次抓取。

经过两步训练,机器人模型在实验室模拟环境的抓取准确率能达到96%

然后,研究人员模拟出5种真实环境,记录机器人在这5种环境中的抓取准确率。

5种环境分别为:棋盘背景、强光照射、将夹钳伸出1cm、将夹钳偏移10cm、用透明瓶子做目标物

与基础策略相比,机器人在研究人员新设置的5种环境中的抓取准确率均有所下降,将夹钳偏移10cm时准确率下降最多(下降了39%)。

接下来,研究人员利用5种仿真环境中的训练数据,结合基本训练集,对模型进行微调。

2、准确率回升,最高可达98%

最终,经过14个小时的学习,机器人模型的抓取准确率回升。在基础条件下,抓取准确率达到98%;在棋盘格背景条件下,抓取准确率最高,达到90%

论文还指出,随着训练时间继续加长,机器人的表现会更好。

结语:下一步将实现自动化

谷歌和加州大学伯克利分校的研究人员利用X射线机器搜索策略及一系列模型适应性训练方法,研发出一款环境适应性较高的抓取机器人。相比于已有的机器人模型,这款机器人更能适应实际应用的要求。

研究人员还表示,将在未来继续探索,下一个目标是提高机器人自动化程度,使其能够在无人监督的情况下完成任务。