高通：云边一体向未来 混合AI势不可挡

集微网报道 以ChatGPT为代表的AI大模型的火爆，让全球见识到了生成式AI所带来的革命生产力。如何将这种AI技术规模化部署，以释放其潜能，是包括硬件、软件、终端、应用层等不同领域厂商的共同挑战。

近日，高通发布了《混合AI是AI的未来》白皮书，其中指出，随着生成式AI以前所未有的速度发展以及计算需求的日益增长，云端和终端协同处理的混合AI是AI的未来，这样才能高效推动AI规模化落地，并发挥其最大潜能。

高通技术公司产品管理高级副总裁兼AI负责人Ziad Asghar

高通技术公司产品管理高级副总裁兼AI负责人Ziad Asghar表示，“仅靠云端处理已难以支持生成式AI的规模化扩展，在云边协同的混合AI部署下，即使不同终端处理能力不尽相同，但仍能提供相近的体验，同时带来包括成本、能耗、性能时延、隐私与安全、个性化等优势。”

混合AI对生成式AI规模化扩展至关重要

随着模型规模的不断扩大，以及用户数量与查询次数的不断增加，都导致了云端AI的部署成本急剧上升。仅在云端完成所有生成式AI所需的工作负载，显然已是难以实现。这种情况下，云端与终端协同部署的混合AI的处理模式，将部分处理能力交给终端侧完成，可以大大提升整体效率，降低成本，真正发挥出生成式AI的优势。

另外，很多用户在使用生成式AI技术时，需要向云端发送个人信息与数据，这引发了用户隐私保护的问题。而在终端侧运行AI，用户的数据可以始终保留在终端上，就可以有效解决这一问题。

与此同时，随着生成式AI展现出在众多领域的应用前景，很多新兴应用也开始需要生成式AI能力，市场上同时出现了众多或通过或专用的大模型产品。可以预见，要真正释放生成式AI的全部潜能，AI技术需要在边缘侧运行，云边一体混合AI势在必行。

“混合AI对生成式AI规模化扩展至关重要。对隐私和安全要求比较高的终端侧工作负载，可以通过边缘云，完全在终端侧完成。对于其它的模型工作，可以和云服务供应商合作完成。”Ziad Asghar指出，“通过在云端和边缘侧终端分布工作负载，能够大幅度减少云端的处理量，同时带来包括成本、能耗、性能时延、隐私与安全、个性化等诸多优势。”

超10亿参数大模型已能在高通系终端侧运行

作为端侧AI技术领导者，高通的软硬件技术广泛应用在手机、汽车、XR头显与眼镜、PC和物联网等终端中，目前已能支持超10亿参数的大模型在终端侧运行。

据悉，该大模型Stable Diffusion是一个参数超过10亿的超大神经网络基础模型，能够基于输入的文本提示生成图片。根据高通的演示，将手机设置成“飞行模式”，在没有网络支持的手机端运行Stable Diffusion，可实现15秒内完成20步推理，生成饱含细节的图像，例如，将Stable Diffusion的能力集成到相机应用中，用户在任何一个地点拍摄照片，再通过AI处理将照片背景改为夕阳之下的万里长城，都可以快速轻松完成。

除了数据隐私安全要求外，节约、高效是终端侧AI部署趋势的最主要推动因素，如果在云端运行一个超过10亿参数的生成式AI模型，可能需要数百瓦的功耗，而在终端侧运行需要的功耗仅有几毫瓦。

Ziad Asghar透露，“未来几个月内，我们将可以支持超过100亿参数的生成式AI模型在手机等终端上运行，这将成为基于高通技术的终端产品的一大差异化优势。”

硬件+AI引擎软件栈，推动生成式AI走向普及

助力终端侧AI部署，高通不仅向业界提供兼具功耗与性能优势的硬件产品，同时推出了高通AI软件栈，并提供功能强大的各类工具，包括高通AI模型增效工具包（AIMET）等。

得益于在AI领域十余年的研究投入，高通的AI能力赋能了一系列广泛的产品，包括智能手机、XR、PC、平板电脑和汽车等。据悉，目前搭载骁龙和高通平台的已上市用户终端数量已达到数十亿台，而且每年都有数亿台搭载骁龙和高通平台的终端进入市场。

以Stable Diffusion大模型为例，除了支持手机端运行外，在搭载骁龙计算平台的笔记本电脑上也能流畅运行Stable Diffusion，并实现非常出色的表现。凭借高通AI引擎，基于骁龙计算平台的笔记本电脑在MLCommons V3.0上率先实现了出色的MLPerf基准测试结果。据悉，高通是目前唯一能够在MLCommons V3.0的笔记本电脑品类中获得测试结果的公司，这得益于其拥有的能够在终端侧运行大规模AI用例的硬件引擎。

无论是针对超级分辨率、人脸识别、背景虚化还是自然语言处理等AI应用，高通的方案都能够在既定功耗下实现领先业界的AI处理表现。

“凭借过去十多年的技术积累和研发，高通在AI领域具备得天独厚的优势。”Ziad Asghar表示，“我们将引领边缘侧的变革，帮助生成式AI在不同终端上进行规模化扩展，推动生成式AI走向普及。”