八年前，研究人员推出了一种称为GelSight的新型传感器技术，它使用与物体的物理接触来提供其表面的非常详细的三维地图。现在，通过将GelSight传感器安装在机器人手臂的夹具上，两个团队给予机器人更高的灵敏度和灵巧度。
连接到机器人夹具上的GelSight传感器使机器人能够精确地确定其抓住一个小螺丝刀的位置，将其从插入口插入并插入到插槽中，即使夹具从机器人的相机上屏蔽螺丝刀。
八年前，麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究小组Ted Adelson推出了一种称为GelSight的新型传感器技术，它与物体接触，提供了一个非常详细的3-D曲面图。
现在，通过将GelSight传感器安装在机器手臂的夹具上，两个MIT团队给予机器人更大的灵敏度和灵巧度。研究人员在国际机器人与自动化大会上发表了两篇文章。
在一篇论文中，Adelson集团使用GelSight传感器的数据，使机器人能够判断其接触的表面的硬度，一个关键的能力，如果家用机器人处理日常物品。
另一方面，CSTE的Russ Tedrake的Robot Locomotion Group使用GelSight传感器，使机器人能够操纵比以前更小的物体。
在某些方面，GelSight传感器是一个低技术解决难题的解决方案。它由一块透明橡胶组成，其名称的“凝胶”，其一面涂有金属漆。当涂漆面被压在物体上时，它符合物体的形状。
金属漆使物体的表面反射，因此计算机视觉算法的几何形状变得更加容易。安装在与橡胶块涂漆面相对的传感器上的是三色灯和单个相机。
具有不同角度的彩色灯，然后具有这种反光材料，通过查看颜色，计算机可以找出这个东西的三维形状。
在两组实验中，将GelSight传感器安装在机器人夹持器的一侧，该装置有点类似于钳子的头部，但具有平坦的夹紧表面而不是尖端。
一、联络点
触觉感知还可以帮助机器人区分看似相似的物体。
在以前的工作中，机器人试图通过将它们放在平坦的表面上来轻轻地评估物体的硬度，并轻轻地戳他们看看他们给了多少。但这不是人类衡量硬度的主要方式。相反，我们的判断似乎是基于对象和我们的手指之间的接触面积随着我们的压力而改变的程度。较软的物体往往会变得更平坦，增加接触面积。
实验过程
麻省理工学院的研究人员采用同样的方法：使用糖果模具创造400组硅胶物体，每组16个物体。在每组中，对象具有相同的形状，但硬度不同，袁使用标准工业规模测量。
然后，手动按下每个对象的GelSight传感器，并记录了接触模式随时间变化的情况，基本上为每个对象产生一个短片。为了标准化数据格式并保持数据可管理的大小，她从每个电影中提取了五帧，时间均匀，描述了按下的对象的变形。
最后，将数据提供给神经网络，自动寻找接触模式和硬度测量的变化之间的相关性。所得到的系统将视频帧作为输入，并以非常高的精度产生硬度得分。
二、阻碍视图
通常，自主机器人将使用某种计算机视觉系统来指导其对环境中物体的操纵。这样的系统可以提供关于对象的位置的非常可靠的信息，直到机器人向上拾取物体。特别是如果物体很小，很多东西将被机器人的夹子夹住，使位置估计更加困难。因此，在机器人精确地需要知道对象的位置的位置，其估计变得不可靠。
GelSight本身就是基于摄像头的，所以它的数据输出比其他触觉传感器的数据更易于与视觉数据进行集成。
在实验中，装有GelSight的夹具的机器人必须抓住一把小螺丝刀，将其从皮套中取出并将其退回。当然，GelSight传感器的数据并没有描述整个螺丝刀，只是一小部分。但是，只要视觉系统对螺丝刀的初始位置的估计精确到几厘米，算法就可以推断出GelSight传感器接触到的螺丝刀的哪一部分，从而确定螺丝刀在机器人手中的位置。
