Hot Chips 2023：用至强处理器执行类脑推论

来源：科技新报 作者：痴汉水球

可曾想过人为什么会有「意识」？理解世界的“智能”又从何而来？这和处理器业界的年度盛事 Hot Chips 又有什么千丝万缕的关系？

被誉为世界科幻文学三巨头之一的罗伯特·海莱恩（Robert Anson Heinlein），1961 年出版的《异乡异客》（Stranger in a Strange Land），陈述在火星长大的孤儿，用非人类的眼光审视人类世界的故事。作者杜撰了一个词「Numenta」，来自拉丁文的「心灵」（Mentis）之意。

2005 年，知名计算机科学家兼神经生物学家 Jeff Hawkins、Donna Dubinsky 和 Dileep George 创立 Numenta，目标通过开发基于大脑新皮质的原理，创造机器智能。之前 Jeff Hawkins 是 Palm 和 Handspring 创办人，可谓掌上型运算领域先驱者，也创建红杉神经科学研究所（Redwood Neuroscience Institute），身兼美国国家工程学院院士。

▲ Numenta 创办人之一 Jeff Hawkins 是知名的计算机科学家与神经生物学家，更是 Palm、Handspring、红杉神经科学研究所（Redwood Neuroscience Institute）和 Numenta 创办者，曾主导 Palm 和 Treo 等早期掌上型运算平台研发，并撰写《On Intelligence》（创智慧）和《A Thoudand Brains》（千脑）两本人工智能领域的名作。

据人类进化史，大脑皮质分为新皮层和古皮层，厚度约 2~4 毫米，位于脑半球顶层的新皮质，处理数据的手段与人类意识和知觉息息相关。

因此 Jeffrey 和伙伴一起写了《On Intelligence》（中译「创智慧」或「人工智能的未来」），提出「阶层式时序记忆」（HTM，Hierarchical Temporal Memory）演算法，为 Numenta 核心技术，藉模拟新皮层机制，以人类认知世界的方式学习世界，可储存、学习、推论和长序列回忆。Numenta 成立宗旨，不外乎逆向工程新皮质，最终制造出以相同理念运作的人工智能机器。

▲ 不同神经元模型比较：A. 人工神经网络。B. 生物神经元（新皮层锥体神经元）。C.HTM（阶层式时序记忆）神经元。可清楚看到 Numenta 企图变相复制更接近大脑的运作方式，再用于人工智能。

Jeff Hawkins 2018 年出版《A Thoudand Brains》，后来被微软创办人比尔盖兹（Bill Gates）列入 2021 年底圣诞阅读清单，探讨「千脑理论」（The Thousand Brains Theory）彻底改变我们对大脑和人工智能前景的理解，介绍千脑理论如何影响机器智能的未来， 并试图解释大脑皮质每小部分都独立学习对象模型，这些模型最后合并，形成整体认知。

换言之，人类智慧来自大脑无数个几乎一模一样的皮质柱（Cortical Column）共同作业，就好像大脑由「几千个同时运行组件」组成。

更精确点，千脑理论可分成四部分：

• 「多重模型」：

  皮层每部分都独立学习对象模型。

  这象征有成千上万皮层区域同时学习和建立相同对象的模型。

• 「多重表征」：

  皮层每部分都独立学习对象，代表大脑有多个同对象的表征。

• 「投影框架」：

  大脑使用称为投影框架的方法确定物体的空间位置，意谓我们不仅学习物体本身，还要学习物体与其他物体的相对位置。

• 「结合模型」：

  虽然皮层每部分都有独立模型，但高层次整合或结合，形成完整的认知模型。

▲「千脑理论」是 Numenta 试图解释大脑皮层工作原理的神经科学理论，核心观点在大脑皮层每小部分都独立学习对象模型，这些模型最终会合并，形成整体认知。

既然 Numenta 开宗明义要「模仿人类大脑」，那像大脑与生俱来的「稀疏性（Sparsity）计算」，与避免神经网络学习新任务或新数据时，可能会完全或部分忘记以前学到的信息或技能的「灾难性遗忘」（Catastrophic Forgetting）造成连续学习（连续学习多任务， 而不是从头开始）于传统神经网络的瓶颈，自然也是 Numenta 努力的重点。

▲ Jeff Hawkins 两本著作构成 Numenta 公司的技术思路基础，阐述「千脑理论」的后者还曾被被微软创办人比尔盖茨列为 2021 年底圣诞阅读清单。

但你或许会疑惑：难道 Numenta 真要打造「与大脑同样原理」的芯片？当然不是，且任何芯片都不做。Numenta 的诉求很简单：普及的泛用服务器处理器（通指英特尔 Xeon）就可靠 AVX-512 指令集和内建「AI 的下一大步」AMX（Advanced Matrix Extensions）矩阵加速器，跑出优异的推论效能，更不需高阶运算 GPU。这很可能让人觉得 Numenta 的「格局」和这么多年于 Hot Chips 猛冲「人工智能」的众多厂商，高下立判。

▲ 英特尔AMX发布超过三年，但到今年第一季第四代Xeon-SP处理器Sapphire Rapids才让人一亲芳泽。就让我们看看 Numenta 如何发挥 AMX 对人工智能的潜能。

历经 20 年深入研究神经网络，不久前 9 月 11 日，Numenta 终于宣布推出商业化人工智能产品：Numenta 智能运算平台（NuPIC，Numenta Platform for Intelligent Computing），为 HTM 算法的实际商品，对应 C++、Python、Java 及 Clojure（Java 平台 Lisp）等程式语言版。

现在就让我们好好瞧瞧今年 Hot Chips，Numenta 怎样使用普遍部署的 CPU 解决人工智能推理问题，如何活用 AVX-512 和 AMX，一睹足以让英特尔自豪的成果。

5GX5jWS8lpHVCZGUcuy9yR8tG49jquvrW9xgRIHDbPXzw/640?wx_fmt=jpeg" data-w="1000" data-index="6" _width="100%" crossorigin="anonymous" alt="图片" data-fail="0" style="margin: 0px; padding: 0px; outline: 0px; max-width: 100%; box-sizing: border-box; overflow-wrap: break-word !important; vertical-align: middle; height: auto !important; width: 677px;"/>

▲ Numenta 的目标：受神经科学启发，将更多大脑运作方式用于人工智能。毕竟人脑功率约 20W，却能超越功耗超出几个量级的电脑。与为了密集计算（尝试计算每种排列组合）而生的近代电脑，人脑是为大量稀疏计算（仅计算最相关和最有影响力组合）而设计。

▲ 神经元看起来很复杂，却让生物大脑在极度稀疏状态运作。Numenta 将 HTM 算法应用到新型 CPU，可将运算变得超稀疏，消除 90% 权重同时，提供相似的精确度。

▲ 使用 GPU 推论的技术限制：现今 GPU 专为超高密度矩阵乘法运算量身订做，须持续填充数据才能维持高效处理，且缺乏弹性，混合 CPU 和 GPU 的「两块内存」基础架构也造成额外麻烦和挑战。

▲ Numenta 利用 AVX-512 指令集、AMX 和英特尔数学核心函式库（MKL，Math Kernel Library），达成约 90% 稀疏率。

▲ 英特尔延宕多次的第四代Xeon-SP处理器 Sapphire Rapids 首次引进AMX（Advanced Matrix Extensions），正如其名，旨在高效矩阵运算，特色在2D结构的数据寄存器Tile和每个时钟周期可同时进行1,024个BF16格式数据计算的TMUL（Tile Matrix Multiply）执行单元，同时支持 FP32、FP16 和 INT8。后继第六代 Granite Rapids 将新增 AMX-COMPLEX 半精度浮点复数。这次 Numenta 将对世人展示真正威力。

▲ Numenta 同步使用AVX-512和AMX，如AMX输出FP32运算结果，用AVX-512转换成BF16，再回馈给AMX下一步计算，充分掩盖AMX载入Tile的延迟，尽量保持运作单元满载，达成最大计算量。

▲ Numenta 充分运用AVX-512和AMX加持下，56核心的英特尔第四代Xeon-SP处理器，BERT（Bidirectional Encoder Representations from Transformers）模型推论效能达19倍、32核心第四代Xeon-SP Ice Lake的62倍和48核心AMD第三代EPYC Milan的123 倍。

▲ 结合 Numenta 的 HTM 算法和英特尔 AMX，第四代 Xeon-SP 有 Nvidia A100 十倍的推论输出率。

▲ 相同计算成本，Numenta 有明显较高精确度。Numenta 目标在通过改变模型计算需求，调整实现准确性成本曲线。

▲ Numenta 不但证明英特尔 AMX 可明显提升大型语言模型（LLM，Large Language Model）效率，更可怕的是，假若换装成内建 64GB HBM2e 的 Xeon Max，还可再提高到「三倍」输出率。

▲ 最后，Numenta 强调「整个 NuPIC 可以只用 CPU 跑」（NuPIC can run entirely on CPUs），这还真是 Numenta 和英特尔的共同胜利。

自从英特尔 2020 年 6 月发布 AMX 后，大概因一再延期与坊间极度陌生的刻板印象，加上拜 OpenAI 之赐的 Nvidia「皮衣教主」热潮，少人关注这技术的实际潜力，但「20 年磨一剑」的 Numenta，却让世人在 Hot Chips 首次见识到真正威力──况且这两家公司很明显合作密切，否则近年「核战」一直处于上风的 AMD 就不会当沙包猛打了──即使拖出没有AVX-512的AMD第三代EPYC Milan有点胜之不武。

▲ 看来 Xeon Max 的 64GB HBM2e 的确有不错效果，尤其对很吃带宽的大型语言模型（LLM，Large Language Model）特别有效。

人工智能用户用英特尔 Xeon 处理器执行近似人类大脑推论的 Numenta，最大贡献在「连常规服务器也可跑很快」，不必痴痴等待缺货的 Nvidia、尚未完备的 AMD MI300 与刚起步的英特尔 Gaudi 2 加速器。但话说回来，AMD 会不会全面性兼容AVX-512 后，也将实装AMX 纳入之后产品计划，颇值得观察。