宣示新一代AI基建 Meta强调「开源」重要性

美系科技业者竞相推出大型语言模型，Google、Meta及新崛起的OpenAI是影响力较大者。李建梁摄（数据照）

Meta宣布强化人工智能（AI）基础建设计划，涵盖芯片、数据中心和超级电脑等面向。事实上，Meta释出的大型语言模型（LLM）也有一定影响力，其并强调开放原始码的重要性。于此，美系网络巨擘之间的AI竞赛可说是愈趋白热化，从软件到硬件无一不战。

OpenAI释出的ChatGPT爆红后，引发各家业者加入生成式AI（Generative AI）竞赛。OpenAI主要投资者微软（Microsoft）以及其他阵营如Google、亚马逊（Amazon）、IBM纷纷宣示自家AI实力。

过去数月以来，Meta对相关议题较少发言，此次宣布新一代基础建设计划，显然有备而来。

MetaCEOMark Zuckerberg日前宣布强化AI基础建设的三大方向。新一代数据中心设计将为AI运算而优化，支持液体冷却式AI硬件设备（Liquid-cooled AI hardware）及高效AI网络，串联数千个AI芯片，形成数据中心规模的AI训练集。

同时，Meta首次由内部开发定制化加速器芯片系列Meta Training and Inference Accelerator（MTIA），支持AI推荐系统运作，运算效能及处理效率皆优于CPU。其表示，将藉由同时部署MTIA芯片与GPU，提高工作处理效率和降低延迟。

Meta强调，其Research SuperCluster（RSC）是全世界最快的AI超级电脑之一，可训练新一代大型AI模型，支持新的增实境（AR）工具、内容理解系统、实时翻译技术等，配备16,000个GPU。自2022年开始，RSC开始支持各项研究计划，例如Meta近期发表的LLaMA语言模型。

Zuckerberg并提到，Meta开发出CodeCompose，协助内部工程师写程序。未来将开发出更多AI工具，支持内部所有软件开发程序，也希望将更多工具释放到开源社群。

在AI硬件方面，GPU龙头NVIDIA目前看起来是最大赢家，但微软、Google、AWS、Meta以及IBM皆有自研芯片布局。AI芯片新创则有耐能智能、创鑫智能、Graphcore、Cerebras等业者，显示以AI加速芯片运算效能已成市场趋势。

以软件而言，美系科技巨擘近年陆续发表了许多LLM，推进自然语言处理的技术和应用发展。

GitHub平台上就有人分享了2018年以来的LLM谱系图。以截自4月为止的模型数量排序，Google发表了9个开源模型、7个闭源模型，接续是OpenAI发表了2个开源、5个闭源模型，Meta释出6个开源模型，微软则发布3个开源、1个闭源模型。

Top Bots网站盘点最具影响力的LLM，上榜的是Google的BERT、LaMDA和PaLM系列，Meta的LLaMA、OpenAI的GPT-3、GPT-4模型。

各家语言模型的参数量看似持续上升，但某些业者也嗅到边缘运算的商机，推出轻量化版本。例如Meta的LLaMA系列即包含70亿～650亿个参数、不同大小的版本。史丹佛大学研究团队即运用70亿参数量版本，开发出轻量化的语言模型，但仅作为学术研究使用。

延伸阅读：简立峰：超小LLM将成风潮 服务器、边缘端可望受惠

Google日前推出的PaLM 2系列也包含4种不同规模的版本，并称最小的Gecko模型极为轻量，可在离线的移动设备上运作。至于模型参数量多少，则未对外透露。

由于基础模型建置不易，小型AI业者相当仰赖巨擘们开源出来的模型，也是因为有开源模型，才能催生出许多创新应用。

近期AI竞赛加剧，许多人也在观察，AI生态系是否将愈趋封闭，迹象包括OpenAI和Google释出最新模型时，皆未主动透露参数含量、训练数据等细节。

据The Information报导，OpenAI将推出新一代开源语言模型，但不会是与GPT功能相冲突的模型。若报导属实，OpenAI愿开源将成为重要表态，而当Meta也在强调开源精神，市场料将对Google也有所期待。