AI人工智能运算技术未来几年将逐渐从云端往边缘发展，应用领域更是无所不包，各式可携式设备与终端装置对智能化功能的需求高涨，不过巨量物联网将导致数据壅塞，无法全部都透过云端处理，因而必须仰赖边缘运算，赋予终端更多运算能力。

边缘运算可概分为行动边缘运算(Mobile Edge Computing)及雾运算(Fog Computing)。 AI专用硬件/加速器近期如雨后春笋出现，专门用来进行神经网络算法运算之芯片应运而生，包括AI-Optimized Processor、Deep Learning Processor、AI Accelerator、Neural Processing Unit(NPU)等，AI边缘运算需要将神经网络模型进行精简，同时强化运算效率，让一般企业所训练出来的模型压缩至可于行动装置上使用。

分布式架构概念 边缘运算兴起

边缘运算(Edge Computing)概念兴起于人工智能(Artificial Intelligence, AI)热潮之下，在昔日云端运算成熟之后，大规模、广泛的运算会留在云端，小规模、 具在地化特性与要求精准的运算将移到边缘或雾端。 根据开放雾联盟(Open Fog Consortium)研究显示，2019年全球雾运算市场规模约37亿美元，2022年则将进一步成长到182亿美元左右，主要应用领域在基础设施(Utilities)、运输( Transportation)、健康照护(Healthcare)、工业(Industrial)、农业(Agriculture)等。

另外，因为物联网的发展，连网型的终端结点数量在未来几年将呈现爆炸性的成长，巨量物联网即将成型，资策会物联应用系统中心副主任王秉丰(图1)认为，因为数据数据将大量产生，既有传输架构无法因应，而必须面对壅塞、带宽不足问题 ；为了处理大量的数据，营运商必须建置更多云端设备，使得企业营运成本持续垫高。 因此，分布式架构概念兴起，边缘运算成为未来几年发展重点。


图1 资策会物联应用系统中心副主任王秉丰认为，数据数据将大量产生，既有传输架构无法负担，因此，分布式架构概念兴起，边缘运算成为未来几年发展重点。
而云端运算与边缘运算在技术架构与多项特性上都有显著差异，如表1所示，王秉丰解释，边缘运算将使用分布式架构，藉由众多的雾节点(Fog Node)进行运算，边缘运算三大技术特征包括：将运算的位置，从中心下放到边缘 ；也由于将运算的位置放在终端，因此网络等待时间率较低，可以支持10毫秒的应用；对于网络带宽、基础设施的要求小，可在缺乏云端网络的链接时，提供部分服务。



边缘运算在运作时会采取更弹性化的部署，物联网边缘节点的成本、体积相对较小，可以进行大量多点的配置；形成的边缘节点、系统并不需要太复杂的部署规画，架构相对有弹性可视情境进行调整。 在应用情境分，王秉丰说明，物联网的发展促进了大量应用程序的进阶查询和对大量传感器数据流的分析；第二项为实时事件检测；第三项为工业自动化的联网控制系统(Networked Control System, NCS) ；第四项为实时行动群众感知(Mobile Crowdsensing, MCS)。

边缘与云端运算 发展互补不冲突

AI与IoT结合将带动更多智能系统的发展，目前既有的云端架构无法满足物联网的脱机处理、数据隐私、实时响应等需求，导入边缘运算架构，解决云端架构面临的问题增加使用弹性，解决不同系统间资源共享与再利用的需求。 王秉丰解释，边缘情境智能(Edge Intelligence via Ambient Computing)，定义上就是远离云端而靠近面对消费者的装置那一端，须具备一定的运算与智能产生能力，能就近处理感测所产生的数据。

边缘运算的发展面临挑战包括：可扩展性(Scalability)、复杂的网络结构(Complex Inter-networking)、动态和适应性(Dynamics and Adaptation)、多样性和异构性( Diverisity and Heterogeneity)等。 未来物联网的规模将不断扩大，终端节点将以不同条件、多种型态进行实体连接；而具有无线连接和移动性的装置，需要实时分配边缘资源并重新嵌入物联网应用；同时边缘装置也需要无缝的接口与互通操作性。

边缘运算的出现并不会取代云端运算，而将朝向互补的方向发展，藉由终端的立即反应，可以减少云端运算的负担，但就整体物联网的需求情境来看，边缘运算出现的意义在于响应更杂异化的需求情境，尤其是随着物联网装置类型的增加， 将衍生更多次系统，而这些次系统能否有效进行协同作业，将影响智能化服务的质量。

深度学习带动AI成长

人工智能AI这一波发展浪潮植基于过去的发展基础，而且以深度学习(Deep Learning)最具代表性，DeepBelief.ai首席人工智能科学家尹相志(图2)表示，深度学习的成功来自于更深入理解人类大脑的运作机制， 其核心为表征学习，其中机器视觉就是希望建立起人类视觉与机器可读像素间的映像关系。 人类可以很轻易的了解事物表像的深层规则，所以一般人都可以在数据高度缺失的状况下，做出正确的判断，辨认许多计算机需要长期训练的事物。


图2 DeepBelief.ai首席人工智能科学家尹相志表示，深度学习的成功来自于更深入理解人类大脑的运作机制，其核心为表征学习。
所以深度学习就是我们开始教机器用复杂的方法面对这个世界，透过建立复杂的模型，并且建立互相备援的规则，因为世界是复杂的，如果企图使用简化的方法与模型，就注定会失败。 尹相志说明，卷积神经网络(Convolutional Neural Network, CNN)、递归神经网络(Recursive Neural Network, RNN)、强化学习(Reinforcement Learning) 是近来最常被应用的三种深度学习技术。

卷积神经网络用来辨认图像，著名的Imagenet计算机视觉大赛，后期已经成为卷积神经网络模型设计大赛，几乎所有的参赛团队都用卷积神经网络设计其引擎，而在边缘运算的应用上，人脸识别预计会是边缘运算的主流， 可以使用更多方式来理解客户，大陆已经有越来越多应用导入人脸识别，包括火车站刷脸进站、行动支付也使用刷脸认证、大学宿舍的门禁系统也是采用人脸识别，「刷脸」将成为最普遍的影像识别应用之一。

中文的辨识也适合采用卷积神经网络，事实上，中文是一种图像，与其他语言最大的不同是中文很难拆解成简单的符号。 在语言的识别上，目前以递归神经网络最适合，2016年Google翻译全面更换为RNN模型，并有效提升翻译正确性，微软语音识别技术正确率，也正式超过人类专业速计员，除了中文之外，全世界其他语言计算机的辨识率都已经超过人类。

而强化学习中，生成式对抗网络(Generative Adversarial Networks, GAN)是近期相当流行的技术，如何确定计算机学会了事物所有的特征，GAN利用两组深度学习一个负责判断真图还是假图， 另一个则是负责生出更难判断真假的假图，当识别模型分不出真假，就表示已经完全掌握该事物的深层特征，利用这个特性就可以制作出以假乱真的影像，利用GAN引擎将任何影像代换成另外一个主角。

透过自然语言来整理知识图谱，而知识图谱再透过自然语言进行推理，预计将会是人工智能的下一波成长动力。 尹相志表示，美国白宫年度经济展望预测报告，时薪20美元以下的工作将有83%机率被AI取代，初级数据分析人员，也将很快成为被取代的行列，不过，这波AI的发展不在工作的消失，而在脑力的解放， 我们不用再花时间精力去执行重复且低价值的工作，而可以做更多高阶具创造力的工作。

优化架构强化边缘运算效能

从现在的科技应用与发展来观察，AI不全然应用在完全新兴的装置上，而是先导入现有的设备，包括：VR/MR、机器人、无人机、自驾车、IoT节点、智能家庭、医疗、行动终端、服务器、运输与物流等。 Arm资深区域市场经理蔡武男(图3)说，最普遍常见的AI与边缘运算终端就是智能型手机，应用如语音识别(Speech)、文字预测(Predictive Text)、人脸辨识(Face Tracking Camera)、数字助理( Digital Assistant)、扩增实境(Augmented Reality)、指纹辨识(Fingerprint Identity)等。


图3 Arm资深区域市场经理蔡武男说，在深度学习的应用上，使用优化过的神经网络链接库运行类似的功能时，可提升五倍的效能；软件运作速度则可提升十五倍。
Arm身为嵌入式CPU架构的主导厂商，几年前并未积极投入AI的发展，不过在AI展现全面性的发展趋势后，该公司也针对AI的应用进行软硬件的优化工作，包括机器学习处理器(Machine Learning Processor)、 目标检测处理器(Object Detection Processor)、神经网络软件链接库等。

基于网络带宽、电力消耗、成本、实时反应、可靠度、安全与隐私性等需求，边缘运算将进入高速发展阶段，蔡武男指出，在深度学习的应用上，使用优化过的神经网络链接库运行类似的功能时，可提升五倍的效能 ；软件运作速度则可较之前提升十五倍。

云端与边缘软硬件架构整合

AI的技术架构大概可以分成三个部分：训练(Training)、深度神经网络(Deep Neural Network)模型、推论(Inferencing)三个阶段，NVIDIA技术营销经理苏家兴(图4)表示， 这几年AI的整体发展模型变得越来越复杂与庞大，在影像识别部分，2016年Google的Inception-v4比2012年的AlexNet复杂了350倍；百度2017年发表的DeepSpeech 3语音识别引擎， 较其2014年的第一代复杂了30倍；翻译引擎2017年的MoE也较2015年的OpenNMT复杂10倍。


图4 NVIDIA技术营销经理苏家兴表示，这几年AI的神经网络模型变的越来越复杂与庞大，要产生高准确率的AI代价越来越高。
面对复杂的深度学习网络，要产生高准确率的AI代价越来越高，包括耗电、运算能力、网络带宽等资源，苏家兴说明，NVIDIA新的推论加速器也试图将架构简化，透过合并重复的运算流程，减低不必要的运算，简化硬件负担，优化过的硬件， 在影像辨识部分可从每秒140个图像提升到5,700个图像，提升40倍；翻译句子也从每秒4句提升到550句，提升140倍。

另外，智能城市也是一个云端与边缘结合应用的情境，许多终端数据透过摄影机、感测节点搜集之后，很快在终端进行初步的处理，再送到云端进行数据的整合，对于城市的安全、犯罪的防治、灾难的救援都有很大的帮助；苏家兴认为， 未来这种大规模的云端与边缘运算的整合应用，尤其是在云端软硬件与边缘软硬件的整合与AI运算上，需求会越来越高，也是充满商机的新兴市场。

AI专用加速器发展再加速

大部分科技的发展追求的目标不外乎低功耗、低成本、高效能，AI的发展也不例外，亦是边缘运算兴起的原因，以越来越普遍的影像辨识技术为例，逢甲大学电子工程系副教授陈冠宏(图5)说明，卷积神经网络架构中， 大约有九成运算量都集中在卷积层(Convolution Layer)，所以降低卷积层的运算复杂度，就可以有效降低推论硬件的运算负担，除了前述脱机运算、简化结构之外，数据重复利用也是重要的原则之一。


图5 逢甲大学电子工程系副教授陈冠宏说明，卷积神经网络大约有九成运算集中在卷积层，降低卷积层的运算复杂度，就可有效降低硬件运算负担。
另外，神经网络中激励函数(Activation Functions)的作用是能够给神经网络加入一些非线性因素，使得神经网络可以解决复杂的问题，让结果更接近人类决策的习惯，其具备非线性、可微性、单调性与输出值的范围等特点， 通常范围从-1到+1之间，而结果则会接近中间，神经网络运算中迭代次数越高则结果会越准确。 从网络加速与硬件效能的角度来看，未来应该会有越来越多专用的AI加速器或AI芯片问世。