GelSight触觉传感器:表面柔软，屏幕分辨率高，可以描述整块饼干的形状和纹理

麻省理工学院电子信息科学系的博士生王少雄觉得让智能机器人学习自我知识对他来说是一件非常激动人心的事情。如果说这个毕业论文的突出点是塑造智能机器人的逻辑思维触摸能力，那么实验中使用的触摸传感器就显得尤为重要。

近年来，人工智能技术(AI)的发展潜力逐渐从最初的普及走向微乎其微。目前，人工智能行业面临着严重依赖人工标记的数据信息的缺点。就像数据标注领域流行的那句话“人力和智力一样多”。

如果智能机器人能够进行数据采集和统计分析，无疑会节省大量的人力资源。麻省理工学院电子信息科学系的博士生王少雄觉得让智能机器人学习自我知识对他来说是一件非常激动人心的事情。“智能机器人可以利用自动化技术 重置自己的系统，并根据与对象交互的全过程来学习和训练自己”，他觉得这样可以在数据标注层面 节省大量人力资源。

2020年，王少雄和另一位同学王晨的毕业论文获得了智能机器人行业国际会议IROS2020的最佳毕业论文奖，他们的毕业论文能够收集触觉数据并认识自己。

智能机器人是他们科学研究的结果。它叫SwingBot，可以理解为“抛笔”智能机器人。它把笔旋转180度，这不是科研工作者用大量的数据信息“喂”它所创造的实体模型，而是它自己收集触觉数据信息和学习训练分析的结果。

本科研来源于麻省理工学院和上海交通大学的暑期合作新项目，毕业论文题目为“摇摆机器人:学习物理feedbackfeaturesforDynamicSwing-uphandling”(摇摆机器人:从手臂接触的探索中学习和训练物理特性，从而完成动态的下摆操作)。

王晨和王少雄是毕业论文的前两部作品。王晨即将从上海交通大学毕业，并将去斯坦福大学攻读电子信息科学博士学位。绍兴文理学院毕业于清华大学，目前是麻省理工学院电子信息科学系博士生。

“我们在思考如何让智能机器人根据简单的姿态，比如物体的质量、重心、物体表面的滑动摩擦等，来识别手中物体的物理特征。”王晨告诉DeepTech。

因为人们做很多操控性的日常工作，不一定知道精确的物理主要参数。但是，根据一些估计的姿势，人们可以感觉到这个物体的特征。比如我们玩手机，没人会拿手机上端。因为人们可以感觉到拿着手机的下侧是最经济的，没有人能分析出与力有关的实际物理主要参数。

科研人员正试图让智能机器人根据自主学习来处理这类问题，让它们收集数据进行融合分析，并不断学习和训练。最后，他们期望它不仅能分析姿态所需的主要物理参数，还能成功地取出特定姿态的未知物体。

如果说这个毕业论文的突出点是塑造智能机器人的逻辑思维触摸能力，那么实验中使用的AT28C64B-15PU触摸传感器就显得尤为重要。

GelSight触觉传感器:表面柔软，屏幕分辨率高，可以描述整块饼干的形状和纹理。

GelSight最初是为了精确测量整个目标表面的三维外观和纹理而设计的，它由一个完全透明的聚氨酯弹性体板组成，上面覆盖着一层反射镀膜。当物体压在聚氨酯弹性体上时，塑料薄膜会变形，呈现出物体表面的外观，但透射率一致。比如科研人员以奥利奥饼干为例，将饼干压在聚氨酯弹性体板的外皮上。从背面看，塑料薄膜完全可以描述饼干的形状和纹理。

图｜将饼干压在弹性体板的表皮上。

王少雄告诉DeepTech，“这个触觉传感器实际上是一个非常新的解决方案系统软件，目前还处于科学研究阶段。它更大的特点是可以以整幅图像的方式 打字，而其他传感器很可能只有十几级，大大丰富了触觉感知能力。”

王晨补充道，“GelSight触摸传感器的优点之一是成本更低，可以返回到高密度的电子光学信息内容，可以获得对物体触摸端更强的感知。”

科研用触觉传感器GelSight来自麻省理工学院实验室。最初是2009年MITCSAIL认知科学研究工作组专家教授爱德华·h·埃德森的研究成果。近年来，它逐渐发展并应用于智能机器人的触觉。

在本毕业论文中，科研人员将传感器安装在机器人手臂的手爪上，从而采集不同质量和重心的物体的数据信息。

如果Swingbot是为了很好的完成日常扔笔任务，虽然科研工作者怀疑质量、重心、滑动摩擦力等主要参数很可能对测试结果造成危害，但不知道哪个部分占优势。“所以，#智能机器人必须具备逻辑思维能力，每个人都期望它能够根据歪斜和颤抖这种简单的搜索姿势，从触觉传感器的反馈信息内容中收集到这项日常任务所必需的信息内容。”王晨说。

触感探索的第一步:智能机器人根据歪斜+晃动获得不同笔的物理特性。

研究思路由信息融合实体模型和正向动力学方程两个关键部分组成。科研人员首先让SwingBot执行两种姿势，即歪斜和晃动，这是一种便携式的物理特征检测方法，帮助智能机器人探索触觉。智能机器人一旦很好地学习到被放置物体的主要物理参数，前向动力学方程就会根据矩阵的特征值和主要参数引起摆起运动，从而完成最终的“抛笔”透视。

邵雄说:“每个人都希望智能机器人根据特殊的实际操作，去感受一个未知的物体，去识别物体的物理信息。然后我们可以依靠这些物理信息来应用到自动控制系统中。”

图｜机器人采取几个步骤来获取被持有对象的物理特征

在训练原始人时，一定有很多困难。比如智能机器人一直抓不住笔，但这没能打败它们。“我们在底部安装了一个V型槽。一方面可以 获取和接收抛出的笔，另一方面可以 根据顶部的摄像头捕捉到物体的一部分，然后可以 调整这个物体使其回到原来的位置。按照这种方式， 根本不需要参与人为因素。”王晨告诉DeepTech。

当智能机器人歪斜时，科研人员发现，当物体歪斜到一定的视角时，他们可以检查物体的质量，因此他们可以使设备分别将笔歪斜到20度和45度，并可以 观察物体的净重，从而产生不同的力和扭矩。这种触觉反馈信息将根据卷积和神经网络(CNN)输出一维矩阵特征值。

智能机器人在执行日常抖动任务时，从触觉数据信号的时间序列分析中可以观察到不同的摩擦和振动。科研人员利用循环系统神经网络(RNN)求解相关特性，可以获得相关滑动摩擦和转动惯量的信息内容。

然后，由多个MLP组成的信息融合实体模型将对上述两步收集的物理特征进行融合分析，得到低维的物理特征归纳，这是智能机器人获得自我感知能力的基础。

我收集了1300多个数据，自己分析，成功的把笔甩到了90度和180度。

智能机器人具备自我识别能力后，就进入了科研的关键——抛笔。这个日常任务看似简单，实则不然。

王晨告诉DeepTech，扔笔其实是一个很不稳定的日常任务。“刚开始的时候，我们不仅要到处捡笔，有时候它根本不会扔笔，或者说它不会从大家都想要的角度扔笔。在这整个过程中，每个人都发现收集数据和信息非常困难。”

王晨还透露，智能机器人收集了1300多个数据信息，包括27个不同物理特征的物体，收集这些数据信息大约需要一天时间。“收藏时，这也是成功的信号。”

最后一步，让已经学习了物理特性的预测模型尝试把这些未知特性的笔丢到一个特殊的视角。对于这件事，科研人员提前准备了六个探测目标，从智能机器人提前准备扔笔到特殊视角，整个过程只有5秒左右。

鉴于这个未知的物理特性，SwingBot也可以成功地执行特定的姿势。王晨说最终误差值只有10度左右。

图｜定量评价预测模型与物理嵌入的结果

科学研究人员已经证实，依靠这种组合实体模型，他们可以将从几种探索姿态获得的信息内容组合成一个协作的室内空间，并以端到端的自我监督方法训练智能机器人。最后，SwingBot可以很好的执行抛笔姿势。此外，科学研究还表明，对日常任务的学习和训练特征可以成功地回归到个人的身体特征，如质量、质心、惯性矩和摩擦力。

关于未来的研究内容，王晨说，“抛笔是一个非常简单形象化的例子，可以理解，但是这种触觉分析能力可以用在未来的很多其他日常任务中，而不仅仅是抛笔这样的日常任务。”

两个人一起工作。

一次暑假科研机会，两个人根据邮件交友。就这样，今年夏天刚从上海交通大学毕业不久的王晨和麻省理工学院电子信息科学系的博士生王少雄开始了为期六个月的合作，他们都很优秀。

2020年，王晨获得上海交通大学电子信息科学学士学位，师从陆教授。大学期间，王晨还参加了几个新的见习项目。2018年6月至2019年8月在斯坦福大学担任科研实习生，导师有西尔维奥·萨瓦雷斯(SilvioSavarese)、朱·、。2018年1月至5月，他还参与了新项目“可转移力-扭矩孔内钉住任务动力学模型”的科研工作，科研成果也提交给了IROS2019。接下来王晨又要去斯坦福学校读电子信息科学博士了。

王少雄大学就读于清华大学计算机科学与技术系，师从唐杰。毕业后，他去了麻省理工学院深造。目前是麻省理工学院电子信息科学系博士生。从2016年至今，王少雄已经发表了六篇毕业论文。除了这个新的摇摆机器人项目，他还获得了IROS2020最佳毕业论文奖。2020年7月，他的新科研项目“带主动-被动抓手的电缆管理”也被选为智能机器人行业国际顶级会议RSS2020的最佳毕业论文。

图片|控制电缆线的智能机器人。

最后，参考AI发展趋势的市场前景及其对通用人工智能技术的想象(AGI)，两人坦率地说至今没有想到。“大家期待看到的是一个具体的问题，然后明白问题在哪里，怎么处理。因为其实现在还有很多问题因为智能机器人的操控而没有得到处理。远远不能思考AI会不会像人一样，终究是要一步一步来的。”王晨说。