据SysML机器学习系统会议官网指出,亚马逊(Amazon)、Google和Facebook等科技大厂齐聚一堂,针对人工智能(AI)领域发表演讲。这些科技领袖除了呼吁各界参与新兴技术发展之外,也表示硬件的进步尚未跟上软件的发展。
图形芯片业者NVIDIA科技长Bill Dally在2018年2月15~16日举行的SysML机器学习系统会议上指出,NVIDIA Volta等具备阶层式存储器(hierarchical memory)架构的处理器,最适合用于数据中心。Dally也表示,系统单芯片(SoC)需要加速器以增加神经网络处理(neural network processing)的速度。
此外,Google Brain计划团队的研究员Jeff Dean也在会议上发言指出,深度学习可转变电脑的设计,而机器学习的硬件仍在早期发展阶段。因此,Google乐见更多创新的处理器设计在市场上出现。Dean进一步表示,Google透过芯片领域测试新的概念,以预具备成长潜力的新兴科技。Dean也预测更多软件会采用机器学习的技术。
就AI领域中,Dally表示,8位整数的架构可做为“推论”(inference),而和16位元浮点的架构则可用于测试工作。不过在某些案例中,4位和2位仍是强势架构。Dally补充,一般而言,人工神经网络上的“权重”(weight)尽可能需要最小的位元。而权重本身可以大幅修剪,例如在很多卷积神经网络的模型可降低3分之2到90%的权重。
Dean指出,在4位元以下的架构可有效活化AI的工作。此外研究也显示,在16位元浮点以下的架构,可进行有效的精确训练。而“动态路由规划”(dynamic model routing)、批尺寸(batch sizes)以及优化训练模型等领域的研究,将可望影响硬件效能。
暂无评论哦,快来评论一下吧!