Hinton 回顾了他 40 年探索深度神经网络的经历，并概述了他对胶囊网络的最新研究。
Geoffrey Hinton ，被誉为“神经网络之父”“深度学习鼻祖”，如今 AI 领域无人不知的“大神”。然而他的学术研究之路却并非一帆风顺。
上世纪 80 年代， Hinton 提出了人工神经网络作为机器学习研究的想法，当时的计算力还不足以处理复杂算法，也没有大量的数据，几乎所有研究人员都不看好他的观点。这类研究在主流学术圈中是“边缘课题”。
只有 Hinton 和少部分研究员在研究神经网络的工作原理。 Hinton 回忆道，当时的处境十分艰难，就算到了 2004 年，距他们最初开发出 “反向传播网络 Back-propagation Network ” 算法已经过去 20 年，学术界和工业界的绝大部分研究者还是不感兴趣。
（来源：YouTube ）
Hinton 在访谈中吐露了他一直坚持研究神经网络的原因。“人脑工作只有一种方式——通过学习神经元之间的连接强度来运作。如果想让计算机变得智能，只有两个选择，编程或者让机器自己学习。排除编程，我们只能想办法让机器学习。”因此他坚信，模拟人脑工作的人工神经网络一定是实现机器智能的正确方式。
图灵预言的坚信者
在整个宇宙中，人类大脑是最复杂的物体之一，包含大约 1000 亿个互相连接的神经元。人们通过视觉、听觉、嗅觉、味觉和触觉从外部世界感知的一切，都是这些神经元之间通过突触传递信号完成的。然而，大脑中的深层机制仍然是神秘的，研究人员要想完全理解神经元内部运作过程还有很长的路要走。
图 | 计算机先驱艾伦·图灵（来源：AFP）
不过，这并没有阻止计算机科学家试图模拟大脑运行机制来打造机器智能。Hinton 指出，计算机先驱艾伦 · 图灵在 70 年前就提出大脑是一个没有组织、通过权重随机连接的二元神经网络。图灵认为机器获取智能的最佳途径就是模仿人类大脑，这引领了神经网络机器系统的发展。20 世纪 80 年代，Hinton 提出的反向传播算法实现了神经网络的历史性突破，这种算法能够有效地训练人工神经网络并显著提高其性能。
20 世纪 90 年代，数据集相对较小，计算力也远不如现在这么强大，深度学习进展在很大程度上停滞不前。在小数据集处理上，使用少量标记数据可以有效判别分类的支持向量机（support vector machines）比神经网络效果更好。很多曾经支持图灵想法的研究员都开始退缩了，但这并没有动摇 Hinton 对神经网络的信念。他从未想过要放弃深度神经网络的研究。
Hinton 在访谈中讲到：“大脑神经元运行机制必须要弄清楚，也许还有很多学习神经元连接强度的方法，大脑用了其中一种，也会有其他的方法。但是总得学会一种方法，我从没有怀疑过这一点。”
深度神经网络迎来突破
在 20 世纪 80 年代，如果神经网络中有很多隐藏层，通常没有办法训练。Yann LeCun 发明的卷积神经网络（CNN）只能训练简单的任务，比如实现机器读取手写任务，对于大部分深度神经网络，根本不知道如何训练。
图 | 2018 年图灵奖得主 Yann LeCun 、Geoffrey Hinton 和 Yoshua Bengio （从左至右）
直到 2006 年，Hinton 发表了一篇 “深度信念网络的快速学习算法（A fast learning algorithm for deep belief nets ）之后，深度学习才开始快速发展起来。这篇论文展示了具有许多隐藏层的深层信念网络如何生成一个能识别出手写数字且表现良好的模型。之后，Hinton 在 2012 NIPS 上发表的论文又提出了 AlexNet 模型，在图片识别上取得了重大突破，他多年研究工作的重要性才被整个工业界认可。
一些深度神经网络的突出应用，特别是在自然语言处理领域，甚至让 Hinton 都感到惊讶：“如果你在 2012 年和我说，在接下来的 5 年时间里，要用相同的技术实现在多种语言之间互相翻译的效果，Recurrent Net（循环神经网络），但如果只是随机初始权重的随机梯度下降，我不相信能实现。”
“99.9％的信心”
今天，在视觉处理、语音识别等人类利用感官感知做的活动中，人工神经网络已经表现出强大的优势，甚至在人类擅长的运动控制方面，深度学习也最终将会取胜。
Hinton 强调，他不是在研究计算神经科学，人工神经网络之所以有效，是因为受到大脑神经元之间有很多联系、并且改变了连接强度这一事实的启发。
Hinton 认为抽象推理是人工神经网络通向人类智能需要克服的最后一个障碍。
记者问到，人类大脑中是否存在一些奥秘是神经网络无法捕捉到的？比如意识、情感、爱等。
Hinton 的回答是不存在。他解释道，“一百年前，人们对生命的的理解是所有生物都有生命力，一旦死去，生命力就飘走了。但是我们懂了生物化学、分子生物学，就不需要 “生命力” 来解释生命了。我觉得‘意识’也是这个道理，‘意识’是用某种‘特殊的本质’来尝试解释心理现象，而一旦我们用科学解释了意识，你就不需要这种‘特殊的本质’了。
换句话说，一旦等到真正理解了大脑是如何工作的，人类大脑生成的任何东西都可以通过功能完备的人工神经网络重建。
Hinton 对此有“99.9％的信心”。
胶囊网络的最新研究
Hinton 告诉《连线》记者，他目前正在做的研究称之为“胶囊（capsules）”，是关于如何运用重建（reconstruction）进行视觉感知的理论，以及如何将信息传递到正确的位置。在标准神经网络中，信息，也就是网络层的活动，都是随机去向某个地方，胶囊的作用是决定信息发送到哪里。
目前谷歌的一些研究人员也在做同样的事情，他们发明了 transformer 模型，正在研究怎样规划信息路线。 推动胶囊研究的另一个东西是坐标系。人类在做视觉感知时，需要使用坐标系。如果在对象上施加了错误的坐标系，甚至不能识别该对象。对于人类而言，坐标系对于感知非常重要。Hinton 说，“胶囊网络也许可以运用到其他领域，但我对视觉识别的应用很感兴趣。”
