MIT研发出新学习模型帮助机器人了解实物触感《资讯》

发布时间：2020-08-17 12:08:05 阅读：次来源：滤膜厂家

05-07

作者：Massachusetts Institute of Technology

麻省理工学院的研究人员开发了一种新的学习系统，它可以提高机器人将材料塑造成目标形状的能力，并预测与固体和液体的相互作用。该系统被称为一个基于学习的粒子模拟器，可以给工业机器人一个更精细的触摸——它可能在个人机器人中有有趣的应用，如粘土形状的建模或寿司糯米卷。

在机器人规划中，物理模拟器是捕捉不同材料对力的反应的模型。机器人通过使用模型进行“训练”，以预测它们与物体相互作用的结果，例如推一个实心盒子或戳一戳可变形粘土。但是传统的基于学习的模拟器主要集中在刚性物体上，不能处理流体或软性物体。一些更精确的基于物理的模拟器可以处理不同的材料，但很大程度上依赖于当机器人与现实世界中的物体交互时产生误差的近似技术。

五月份在国际学习代表大会上发表的一篇论文中，研究人员描述了一种新的模型，该模型学习如何捕捉不同材料的小分子“粒子”在被戳和戳时相互作用。当运动的基本物理不确定或未知时，模型直接从数据中学习。然后，机器人可以使用该模型作为指导，预测液体以及刚性和可变形材料对其接触力的反应。当机器人处理对象时，模型也有助于进一步完善机器人的控制。

在实验中，一个有两个手指的机器人手，叫做“RiceGrip”，精确地将可变形的泡沫塑造成期望的构型，例如“T”形，这是寿司饭的代用品。简而言之，研究人员的模型是一种“直观的物理”大脑，机器人可以利用它来重建三维物体，这与人类的工作方式有点相似。

“人类头脑中有一个直观的物理模型，在这个模型中，我们可以想象如果我们推动或挤压一个物体，它将如何工作。根据这种直观的模型，人类可以完成远远超出当前机器人所能达到的惊人的操作任务，”第一作者李云珠说，他是计算机科学和人工智能实验室（CSAIL）的研究生。我们希望为机器人建立这种直观的模型，使他们能够做人类能做的事。”

“当孩子们5个月大的时候，他们对固体和液体的期望已经不同了，”共同作者吴家军补充说，他是CSAIL的研究生。“这是我们在很小的时候就知道的，所以也许这是我们应该为机器人建模的东西。”

与李和吴一起发表论文的还有：CSAIL研究员、电子工程与计算机科学系教授Russ Tedrake；大脑与认知科学系教授Joshua Tennbaum；以及麻省理工学院沃森人工智能实验室主任Antonio Torralba。

动态图

该模型背后的一个关键创新是“粒子交互网络”（DPI网络），就是创建动态交互图，该图由数千个节点和边组成，这些节点和边可以捕捉所谓粒子的复杂行为。在图中，每个节点表示一个粒子。相邻的节点通过有向边相互连接，这些边表示从一个粒子到另一个粒子的相互作用。在模拟器中，粒子是由数百个小球体组合而成的，组成一些液体或可变形物体。

这些图被构造为机器学习系统（称为图神经网络）的基础。在训练中，随着时间的推移，模型学习不同材料中的粒子如何反应和重塑。它通过隐式计算每一个粒子的各种属性（如质量和弹性）来预测粒子在受到扰动时是否会在图中移动以及移动到何处。

然后，该模型利用一种“传播”技术，即在整个图形中瞬间传播信号。研究人员为每种类型的材料（刚性材料、可变形材料和液体材料）定制了这项技术，以发出一个信号，预测粒子在特定增量时间步的位置。在每个步骤中，如果需要，它会移动并重新连接粒子。

例如，如果推动实体盒，扰动粒子将向前移动。因为框中的所有粒子都是刚性连接的，所以对象中的每个其他粒子移动相同的计算距离、旋转和任何其他维度。粒子连接保持完整，盒子作为一个单元移动。但如果是可变形泡沫的区域缩进，效果就会不同,受扰动的粒子向前移动很多，周围的粒子只向前移动一点点，而更远的粒子根本不会移动。当液体在杯中晃动时，粒子可能完全从图的一端跳到另一端。图形必须学会预测所有受影响粒子的移动位置和移动量，这在计算上很复杂。

塑造和适应

在他们的论文中，研究人员通过将两个手指夹持的目标机器人从可变形泡沫中夹住目标形状来演示模型。机器人首先使用深度感测相机和物体识别技术来识别泡沫。研究人员随机选择感知形状内的粒子来初始化粒子的位置。然后，模型增加颗粒之间的边缘，并将泡沫重建成可变形材料定制的动态图。

由于所学的模拟，机器人已经很好地了解了在一定的力作用下，每次触摸都会对图形中的每个粒子产生怎样的影响。当机器人开始缩进泡沫时，它迭代地将颗粒的真实位置与颗粒的目标位置相匹配。当粒子不对齐时，它会向模型发送一个错误信号。这个信号会调整模型以更好地匹配材料的真实物理。

下一步，研究人员旨在改进模型，帮助机器人更好地预测与部分可观测场景的交互作用，例如知道一堆盒子被推时会如何移动，即使只有表面的盒子是可见的，而大多数其他盒子是隐藏的。

研究人员也在探索通过直接操作图像将模型与端到端感知模块相结合的方法。这将是一个与丹·亚明斯团队的联合项目；亚明最近完成了他在麻省理工学院的博士后学习，现在是斯坦福大学的助理教授。“你一直在处理这些只有部分信息的情况,只能看到一小部分。我们正在扩展我们的模型以了解所有粒子的动力学。”吴说。