来源|融中财经
从 2022 年下半年开始，随着深度学习的发展，以 Diffusion、ChatGPT 为代表的颠覆性 AI 应用破圈，标志着人工智能领域的重大突破，引发全球共振。不少人将 ChatGPT 的问世比喻为“蒸汽机”，人工智能就此走向“工业时代”。
■大模型参数是社会底层知识、学习资料的承载，具有极高的社会、经济和文化价值。考虑到全球政策环境、企业私有化部署的需求、数据跨境的合规风险等因素，中国独立自主大模型构建的迫切性呼之欲出。道阻且长，行之将至。如何利用好AI工程化这一构建大模型的核心能力，以及利用中国的规模效应使大模型迅速普及并改进闭环，是破局的机会。
任何 AI 技术都不是空中楼阁。在惊叹以 ChatGPT、Diffusion 为代表的 AIGC 所展现的惊人能力的同时，我们看到的是一次深度学习算法、算力提升、数据积累三浪叠加后的“大力 出奇迹”，以及背后长达几十年的酝酿。
标准化趋势正在加速：
回顾科技进步和产业变革的历史可以发现，历次科技革命和工业革命都带来了改变人类生产生活的技术、产品和服务。科技革命标志性的科学成就以及工业革命的主导技术往往具有颠覆性特征，无一不对解放生产力、推动人类文明演进产生了深远影响。
大语言模型所推动的本质变革在于改变了人机交互方式。自然语言成为了人机交互媒介，计算机可以理解人类自然语言，而不再依赖固定代码、特定模型等中间层。以手机、平板等为载体的人机交互方式可能在元宇宙场景下以更自然的方式展现，移动互联网时代的人工智能应用可能被重塑。
新工业革命的主导技术和产业不再呈现单一性特征，很有可能演变为由多个交叉技术组成的技术簇群，不断同步、掣肘、叠加和“纠缠”。回看人工智能产业的发展历史，每一波大发展都是与算力提升和数据爆发相结合。软件与算力供需的失衡、能力的追赶不断催生创新技术需求，一旦关键技术迎来突破，将会带动整个产业群的发展。
受制于摩尔定律，AI 训练成本高企，当前硬件算力的成本和供给远无法满足日益增长的内存和计算需求。
不仅仅是语言大模型参数规模呈指数增长。LLM 将更大范围更深度的人类活动信息直接转化为可用数据，引发全球数据量激增。根据 Google 统计，DNN 的内存和计算需求每年约增长 1.5 倍(2016-2020 内存增长 0.97-2.16，算力增长 1.26- 2.16)；而算力供给却达不到。从 2016 至 2023 年，英伟达 GPU 单位美元的算力增长 7.5 倍(P100 4 GFLOPS/$ 到 H100 30 GFLOPS/$)，GPU 算力提升约 69 倍(P100 22T FLOPS 到 H100 1513T FLOPS)，GPU 效率提升约 59 倍(P100 73.3 TFLOPS/kw 到 H100 4322 TFLOPS/kw)。
虽然 GPU 在各种效率有明显提升，长期来看，算力需求每年约增长 1.5 倍存在一定的不可持续性，我们预计在最好情况下英伟达 GPU的算力供给每年增长 1 倍，按一般技术渗透规律，算力层面还需要一定程度的优化，否则很难和应用形成较好的正反馈效应，从而提升行业的渗透率。如何在 AI 算力上实现技术突破、降低成本、扩大规模，提升 AI 训练的边际效益，将成为技术创新的焦点。
催生的算力创新需求包括：
芯片级优化。
过去十年里芯片性能的提升，超过 60% 直接或间接受益于半导体工艺的提升，而只有17%来自于芯片架构的升级；而摩尔定律放缓，每 100m 栅极的成本将持续增加(比如从 28nm 的 1.3 美元提升到 7nm 的 1.52 美元)，主要由制造这些芯片的复杂性增加所驱动——即制造步骤的增加，远远达不到经济效益。同时，制造难度增加，也将增加良率带来的损失，需要通过将大芯片分成更小的 Chiplet 提高产量/良率，降低制造成本。
数据中心架构优化。
据英伟达估计，到 2030 年数据中心能耗占全社会能耗 3-13%，而数据中心架构也在演进中，从原先的 CPU 作为单一算力来源，引入软件架构定义，再到增加 GPU、DPU，GPU、DPU 的引入使得数据中心三种计算芯片分工明确，从而提升整个数据中心的效率。
机器学习分布式框架。
大模型大算力一定需要多机多卡训练，以 ChatGPT 为例，训练一次需要 3.14×E23 FLOPS 算力。但从训练到推理的过程，模型参数数量不变，分布式框架加速优化的帮助显著。以英伟达 A100为例，A100早期训练效率只有 20%，经过分布式框架的优化，效率可以提升 30%~40%，整体效率提升至 50%~100%。
以 OpenAI 、微软等为代表的发达国家巨头对科技创新和产业升级新一轮密集投入的效果逐步显现，科技革命和工业革命下新一轮“技术—经济范式”变迁也随之逐渐明朗。科技工业革命必然伴随理念、知识、制度，甚至社会价值观和国际话语权的深刻变革，引发新一轮的国际和经济竞争。ChatGPT 的出现意味着 AI 产业水平化分工的条件基本成熟，世界上并不需要很多个大模型，但大模型参数作为社会底层知识、学习资料的承载，具有极高的社会、经济和文化价值。基于全球政治环境、代表中国中大型企业私有化部署的需求、数据跨境的合规风险和安全考虑，我们认为，中国一定会有自己的 LLM (大模型)。
将构建中国自主的大模型视为在 AI 领域全方位军备竞赛并不为过。这需要超大规模智算平台对芯片、系统、网络、存储到数据进行全盘系统优化，需要一个能自主掌控更多环节从而实现全局调优的方案。虽然目前我们在算力、高质量数据集、顶尖人才资源、应用生态方面与海外存在较大差距，但以百度、腾讯、阿里为代表的中国科技公司们在这个技术周期里所生长出来云、数据、芯片和复杂系统，已初步拥有了参与这场 ChatGPT 竞争的“入场券”。即使目前各环节依然存在不小的代际差，但我们深信基于多年积累的建模、训练和调参，加大长期的资本和人才投入，深度融合的数据和场景，底层训练数据，我们自主独立的大模型依然存在商业闭环的机会。
如何追赶？核心能力在于工程化能力和应用规模。作为系统工程，AI 需要依靠庞大的团队支撑。类比搜索引擎公司，搜索引擎壁垒不在于算法本身，而在于工程化的需求，例如谷歌搜索引擎、头条推荐，都需要强大的工程能力。OpenAI 的 GPT-1 到 GPT-3 再到现在的 ChatGPT ，模型结构没有发生任何变化(transformer decoder)，单一产品仍需要几百名正式员工、上千名标注员打磨三年——AI 工程化恰是中国的机会。同时，中国基本上所有的互联网公司都是 AI 公司，中国的规模效应，有望让大模型迅速普及化的改进闭环，成为中国企业迎头追赶的机会。
人工智能有助于经济的自动化、智能化，AI 大模型的最终目标是 AGI(通用人工智能)。AI 大模型对人类传达信息的载体有了更好的学习，在此基础上各个媒介之间的互通成为可能。当这一目标实现的时候，人类各种经济活动产生的信息的生产、传输、分发、消费可实现编程化，万物智能成本无限降低，人类的生产力与创造力得到进一步的解放。
相信长期的力量。上海人工智能基金秉持长期主义，助力人工智能从业者们这场系统战、持久战中保持定力。上海人工智能产业基金是经上海市政府批准同意，由国盛集团、临港集团联合市区两级财政及市属大型产业集团共同发起，由上海临港科创投资管理有限公司担任基金管理人，旨在贯彻落实世界人工智能大会成果，加快推进上海人工智能高质量发展。基金聚焦人工智能核心技术和关键应用，同时关注优秀创业者陪护和生态资源的持续积累，致力于打造人工智能产业发展各类要素联通的“一站式”平台，助力建设人工智能“上海高地”，同时为产业升级变革创造长期价值。
END
（添加请备注公司名和职称）
直播预告|TVM新增算子赛题讲解及在Imagination NNA上完成飞桨3D模型部署
Imagination Technologies是一家总部位于英国的公司，致力于研发芯片和软件知识产权（IP），基于Imagination IP的产品已在全球数十亿人的电话、汽车、家庭和工作 场所中使用。获取更多物联网、智能穿戴、通信、汽车电子、图形图像开发等前沿技术信息，欢迎关注 Imagination Tech！
