半导体，继续涨疯！

美股半导体，已经进入牛市

前3年,盯住特斯拉炒新能源

现在，盯住英伟达猛炒算力

那算力是什么？

算力 = GPU + 光模块+存储

算力，归根到底就是半导体

存储：美光、西部数据新高‍‍‍‍

GPU：英伟达、AMD 新高‍‍‍

设备：ASML应用材料新高

下附英伟达QA：

Q：您提到本季度收入的绝大部分增长将来自数据中心，那么4月到7月关键驱动因素是什么？下半年的供应链可见性如何？供应链目前能支持7月份以后多大程度的环比增长呢？

A：公司预计在Q1和Q2之间环比增长，是因为生成式人工智能大型语言模型正在推动需求，这在消费互联网公司、电信运营商、人工智能初创企业中都有广泛应用，它们关注公司提供的架构，包括最新的Hopper架构和Ampere架构，公司通常会同时销售两种架构，这也是深度推荐系统推动增长的关键领域。

公司目前正在处理本季度两种架构的供应，同时也为下半年采购了大量供应。公司通过一些重要的供应链流程来满足客户需求，它们正在为一些大企业构建平台，比如电信运营商、大型消费互联网公司、人工智能公司等。公司预计数据中心需求的增长可能会延续几个季度，因此公司正努力迅速获得下半年的大量供应。

Q：公司在推动服务器加速以支持人工智能方面进展如何？当与TSMC和其他合作伙伴商谈更长的合作周期时，公司如何考虑未来几年的订货交付时间，以实现最佳的供需匹配？

A：随着ChatGPT的到来，公司正在全力开发Ampere和Hopper的产品，它们帮助人们明确了如何从大型语言模型技术过渡到基于聊天机器人的产品和服务。防护（guardrail）和校准系统的集成、人类反馈的强化学习、专有知识的知识向量数据库、搜索连接，所有这些都以一种非常奇妙的方式融合在一起，这就是我为什么称之为iPhone时刻的原因。英伟达的供应链流程非常重要，公司批量生产超级计算机的巨型系统，包括GPU，其主板上有35,000个其他组件。网络、光纤、收发器、网卡、智能网卡、交换机，所有这些必须结合在一起，才能建立起一个数据中心，公司下半年将大幅增加采购。

为什么全世界的数据中心都在向加速计算发展。众所周知，加速计算是一个全栈问题，是一个全栈挑战，在大量应用领域成功做到这一点，需要15年时间，届时足以加速几乎整个数据中心的主要应用程序，将数据中心的能耗和成本大幅降低一个数量级，需要花费很多成本，因为涉及所有软件和所有系统等。当生成式人工智能出现时，它触发了计算平台的一个顶级应用程序——ChatGPT。当下，世界上价值1万亿美元的数据中心几乎完全由CPU占据，而且还在增长。但是在过去的四年里安装的价值1万亿美元的设施，都是完全基于CPU和done mix的，基本上是不加速的。在未来，随着生成式人工智能成为世界上大多数据中心生成信息的主要工作负载，由于加速计算非常节能，数据中心方面的资本支出将非常显著地转向加速计算，虽然全球数据中心的资本支出预算有限，但与此同时出现了重组全球数据中心的惊人订单。所以，目前正处于一个十年过渡期的开始，这是回收利用世界数据中心，并将其打造为加速计算的时期。数据中心的支出发生了巨大的转变，从传统计算转向使用智能网卡、智能交换机以及GPU的加速计算，并且工作负载将主要是生成式人工智能。

Q：可见性是否意味着数据中心销售额在第三季度和第四季度可以继续增长，或者保持在Q2的水平？非常强劲的需求对竞争格局有什么影响？在定制ASIC方面，这是否会带来更多竞争？在其他GPU解决方案或其他类型的解决方案方面，会带来更多竞争吗？如何看待未来两到三年竞争格局的变化？

A：公司相信下半年的供应量将大大超过H1，计划在下半年比上半年大幅增长。关于竞争，公司有来自各个方向的竞争，特别是资金雄厚的创新型初创企业，全世界数不胜数。公司面临来自现有半导体公司的竞争，在内部项目上面临来自电信运营商的竞争。NVIDIA的核心价值主张是提供成本最低的解决方案，公司总是拥有成本最低的解决方案。因为加速计算是一个全栈问题，是一个全栈挑战，必须设计所有软件和所有库以及所有算法，将它们集成到优化框架中，对整个数据中心的体系结构进行优化，一直深入到框架中、模型中，其中所需软件工程、分布式计算、基础计算机科学的工作量很大，这是最难的计算。因此，第一，这是一个全栈挑战，必须在整个过程中对其进行优化，而且是在数量惊人的栈之间进行优化，公司有400个加速库，加速库和框架的数量非常多。

第二，关于利用率，这是指可以加速的应用程序类型的数量，公司架构的多样性保持了高利用率。如果只做一件事情，而且速度很快，那么数据中心很大程度上没有得到充分利用，并且很难扩大规模。事实上，通用GPU加速了如此多的栈，使我们的利用率非常高。

第三，生成式人工智能是一个大规模的问题，它是一个数据中心规模的问题，这是另一种思维方式，即计算机是数据中心，而不是芯片，这种情况以前从未发生过。在这个特定的环境中，网络操作系统、分布式计算引擎、网络设备、交换机架构以及计算系统。计算结构的整个系统就是计算机，即人们想要操作的。因此，为了获得最佳性能，必须了解全栈，必须了解数据中心规模，这就是加速计算。

所以第一点是吞吐量，这是软件密集型问题和数据中心架构问题，第二点是利用率通用性问题，第三点是数据中心专业知识。公司已经建立了五个自己的数据中心，并帮助世界各地的公司建立数据中心。

公司将自己的架构集成到世界上所有云中。从交付产品的那一刻起，到在部署中站稳脚跟，数据中心的运营时间是经过测量的，如果不擅长，不精通，可能需要几个月的时间。一些世界上最大的超级计算机是在一年半前安装的，现在即将上线。公司已经将数据中心和超级计算机转化为产品，团队在这方面的专业知识深厚。因此，公司的价值主张归根结底是，将所有这些技术都转化为基础架构，以尽可能低的成本实现最高的吞吐量。公司面临的市场竞争非常激烈，挑战非常大。

Q：当思考数据中心业务未来的增长驱动因素时，比如考虑到云服务协议的扩展持续增长，公司应该如何评估软件转化为盈利的效果？另外，对于人工智能企业软件套件和纯软件收入的其他增长驱动因素而言，公司在这方面的竞争地位如何？

A：软件对于公司的加速平台非常重要，公司的最新架构和几乎所有产品都包含了大量的软件。公司目前提供多种不同的模型，帮助客户开始进行生成式人工智能和加速计算方面的工作。无论是DGX云服务，还是为客户构建模型提供的服务，都非常重要，可见NVIDIA AI企业平台的重要性。所以，随着公司发展，所有这些方面都将继续增长，包括体系结构、基础架构以及提供服务的可用性和监控能力等。

我们可以实时观察到生成式人工智能和云服务提供商（CSPs）的增长，无论是用于模型训练、模型优化还是模型部署。正如之前所说，推理现在是加速计算的主要驱动力，因为生成式人工智能已经在许多应用中发挥了巨大作用。有两个领域需要一套新的软件栈，这两个领域分别是企业和工业。企业需要一套新的软件栈，因为许多企业需要拥有各种能力，无论是大型语言模型、自适应能力还是根据自己的原则使用专有数据的能力。如果希望能够在高性能计算环境中进行上述操作，公司提供了DGX Cloud来帮助创建模型。如果希望能够在任何云平台上部署聊天机器人或人工智能，因为与多个云供应商有服务和协议约定，可以根据不同的应用选择在各种云平台上进行部署。

对于企业客户，公司提供了NVIDIA AI Foundation来帮助创建定制模型，并提供了NVIDIA AI Enterprise。NVIDIA AI Enterprise是世界上唯一一个既具备企业安全性，又得到企业支持的GPU加速栈。它包含了4000个不断更新的包，构成了NVIDIA AI Enterprise的基础，代表了整个人工智能工作流的端到端操作引擎。它是唯一一个从数据摄取、数据处理（显然，在训练一个人工智能模型时，需要处理大量数据，并进行打包、整理和对齐等一系列操作，以准备好数据进行训练）等方面进行支持的工具。

这么多的数据处理可能会占用大约40%，50%或60%的计算时间。其次是模型的训练和优化，再次是模型的部署和推理。NVIDIA AI Enterprise持续支持和更新这4000个软件包和安全补丁。对于企业而言，如果他们想要部署自己的引擎，就像他们想要部署Red Hat Linux一样，是非常复杂的软件，需要在每个云平台以及本地部署，它必须是安全的，并且有支持。因此，NVIDIA AI Enterprise是第二个关键点。

第三个是Omniverse。人们开始意识到，需要让人工智能符合伦理一样，对于机器人来说也是一样，需要让人工智能符合物理学。让人工智能符合道德规范包括一项名为强化学习人类反馈的技术。在工业应用和机器人的情况下，这是强化学习全方位反馈。Omniverse是机器人应用和行业中软件定义的重要引擎。因此，Omniverse也需要成为一个云服务平台。

因此，公司的软件栈，包括AI Foundation、AI Enterprise和Omniverse，在与世界各地云服务提供商建立的合作伙伴关系中都得到了应用。在Azure云上，公司与其合作伙伴关系涵盖了AI和Omniverse。与GTP和Oracle合作方面，在DGX Cloud的AI领域和AI Enterprise中公司也有很好的合作伙伴关系。AI Enterprise已经在这三家云服务提供商中得到整合。因此，我认为为了将人工智能的影响延伸到云以外的企业和行业，需要两种新的软件栈，以实现这一目标，通过将其放入云中，并将其与世界各大云服务提供商的云平台集成，这是公司与销售、营销和领导团队合作的绝佳方式。

Q：关于InfiniBand与Ethernet的争论，您认为它会如何发展？公司需要InfiniBand用于人工智能的低延迟性能，能否谈谈InfiniBand解决方案与公司在核心计算方面的连接情况，以及这是否挤压了Ethernet的空间？另外，公司没有进行股票回购，仍有大约70亿美元的股票回购授权，这只是时间的问题吗？

A：对，公司仍有70亿美元的股票回购授权，上个季度公司没有进行任何回购，但公司会择机回购。

InfiniBand和Ethernet是数据中心中针对不同应用的目标网络技术，它们都有各自的优势。InfiniBand在上个季度取得了创纪录的成绩，公司预计将会迎来创纪录的一年，NVIDIA的Quantum InfiniBand有着非常出色的发展规划。但是这两种网络技术有很大的区别。InfiniBand设计用于类似人工智能工厂的场景。如果数据中心为少数人和特定用例运行少数应用，并且持续不断地进行运算，而且基础设施存在成本，那么InfiniBand和Ethernet之间的整体吞吐量差异可能在15%到20%之间。如果在基础设施上投入了5亿美元，而差异有10%到20%，相当于1亿美元，InfiniBand基本上是免费的。这就是人们选择使用InfiniBand的原因。

InfiniBand在某种程度上可以说是免费的。数据中心吞吐量的差异非常大，这是无法忽视的，尤其是当你将其只用于一个应用程序时。然而，如果你的数据中心是一个多用户的云数据中心，由数百万人共享，运行着大量的小型作业，那么Ethernet是更适合的选择。

然而，目前还有一个新趋势，即云计算正朝着生成型人工智能云的方向发展。这种云计算不仅仅是一个人工智能工厂，而是一个多用户的云，旨在运行生成型人工智能工作负载。这个新的领域提供了一个巨大的机会。我们计划在Computex上宣布一个针对这个领域的重要产品线，重点关注以太网为基础的生成型人工智能应用程序的云计算。总之，InfiniBand的表现非常出色，我们业绩的YoY和QoQ都创下了纪录。

Q: 您提到推理作为一个非常大的机会。我想这个问题可以分为两个部分。首先，推理与使用量相关，而训练更多是一次性的。其次，您是否可以提供一些关于推理和训练的定性信息，例如您认为哪个机会更大，或者它们之间的比例是多少？

A: 在生成型人工智能中，推理和训练有一些差别。首先，训练过程永远不会结束。每次部署时，都会收集新的数据，并利用这些新数据进行训练。因此，训练是一个持续不断的过程。此外，还需要处理数据和创建向量数据库，以增强大型语言模型。同样，对于收集到的结构化和非结构化数据，需要进行向量化处理。构建推荐系统、大型语言模型、向量数据库，这三者是未来计算的核心引擎。

这些引擎是持续运行的。越来越多的公司意识到它们拥有一个智能工厂，用于训练、处理数据、向量化以及学习数据的表示等。对于推理部分，可以提供各种类型的API，包括开放的API和集成到工作流程中的API。公司可能会开发数百种API，其中一些是自己构建的，还有一些来自我们与ServiceNow和Adobe等公司在AI基础设施方面的合作。

公司将创建许多生成型人工智能API，供其他公司将其连接到自己的工作流程中或作为应用程序使用。此外，还会有许多互联网服务公司参与其中。因此，您可以看到生成型人工智能的应用领域在不断增长，同时也可以看到AI推理和API市场的迅速发展。

总结起来，全球数据中心的投资总额约为1万亿美元，过去主要使用CPU。然而，随着越来越多的人意识到通用计算无法有效扩展数据中心，加速计算成为未来发展的趋势。现在，生成型人工智能作为加速计算的杀手级应用出现，所以在未来的四到十年中，大部分基础设施投资将集中在生成型人工智能和加速计算上，从GPU数量到加速交换机和网络芯片的投资都将大幅增加。

Q: 云客户也在谈论着如何大幅降低每个搜索请求的成本，这对公司会有什么影响？在GTC上推出的一些特殊保险产品是如何应对的，将如何帮助客户降低每个搜索请求的成本？

A: 无论你是构建一个大型语言模型，还是使用这个大型语言模型的较大版本，你可以将它们转化为中型、小型和微型模型。微型模型可以放入手机和个人电脑等设备中，它们都可以完成相同的任务。但是显然，大型语言模型具有更强大的零样本学习能力和泛化能力，它可以做更多令人惊叹的事情，而大型模型可以教会较小的模型如何成为优秀的人工智能。因此，你可以使用大型模型生成提示来完善较小的模型等等。因此，你需要首先构建非常大的模型，然后训练一系列较小的模型。这正是我们推出多种不同推理规模的原因。我们发布了L4、L40、H100和H100HGX等多个规模的推理产品。你可以拥有任何需要的模型规模。

另外，这些模型最终与应用程序相连接。这些应用程序可能包括图像输入、视频输出，视频输入、文本输出，图像输入、文本输入、3D输出，视频输入以及未来的3D图形输出等。因此，输入和输出需要进行大量的前后处理。前后处理是不能被忽视的。这也是为什么大多数专用芯片的论点不成立的原因之一，因为模型本身只占推理过程的大约25%，剩下的工作是预处理和后处理、安全性、解码等等。

我认为推理的多模态性和多样性将在云端、本地以及多云环境中进行。这也是为什么我们在各个云平台都有AI企业解决方案的原因。这也是为什么我们与戴尔有着伟大的合作伙伴关系，我们刚刚宣布了名为Helix项目的合作，它将集成到第三方服务中。我们也与ServiceNow和Adobe有着紧密合作关系的原因，因为它们将创建一系列生成型人工智能功能。因此，生成型人工智能具有广泛的多样性和影响力，需要具备刚才描述的一些基本能力，才能真正应对整个领域的挑战。

Q: 考虑到您们的InfiniBand、Ethernet解决方案与加速计算平台之间的高度关联，网络运营率是否与计算设备的出货量相匹配？未来，团队将采取什么措施来进一步提升网络带宽，以跟上计算复杂性、数据集增加、对更低延迟和更好流量可预测性的要求的显著增长步伐？

A: 几乎每个对人工智能有所了解的人都会谈到芯片，加速器芯片，实际上，这几乎完全忽略了整个问题的核心。我之前提到过，加速计算是关于堆栈的问题，关于软件和网络的问题。我们早期发布了一个名为Doga的网络堆栈，以及加速库Magnum IO，这两个软件是我们公司的瑰宝。但由于难以理解，几乎没有人谈论它们，但正是它们使我们能够连接成千上万个GPU。

如果数据中心的操作系统，也就是基础设施不是非常出色，怎么能连接成千上万个GPU呢？这就是我们在公司如此关注网络的原因。我们有Mellanox，Mellanox是世界上性能最高、无可争议的高性能网络的领导者，这也是我们两家公司合并的原因。

此外，您还可以看到我们的网络扩展，从NVLink开始，这是一种具有超低延迟的计算结构，并且使用初始化内存进行通信，而不是网络数据包。然后，我们将NVLink连接到多个GPU内部，并且我还描述了超越GPU的连接方式，几天后我会在Computex上详细介绍。然后，它与InfiniBand连接在一起，包括NIC、SmartNIC BlueField-3，我们已经开始全面生产。还有交换机，所有经过端到端优化的光纤。这些设备以令人难以置信的速率运行。

如果您想将智能人工智能工厂连接到您的计算结构中，我们还将在Computex上发布一种全新类型的以太网。因此，将所有这些GPU和计算单元连接到整个网络中的计算结构领域非常复杂。并且我们没有专门去分开它，我们将整个系统视为一个计算平台。正如应该的那样，我们将其作为组件销售给全球各种数据中心，以便它们可以将其集成到所需的任何风格或架构中，并且我们仍然可以运行我们的软件堆栈。

这就是我们将其拆分的原因，我们的方式更加复杂，但它使NVIDIA的计算架构能够集成到世界上任何数据中心中，无论是各种云端还是各种本地部署，甚至边缘计算和5G。这种方式确实非常复杂，但它给我们带来了无限的可能性。

Q: 在未来的几个季度中，正如Colette所讨论的那样，数据中心业务的可见性将大幅提高。您可以谈一下超大规模客户在购买硬件方面的混合模式，是为了他们自己内部工作，还是为了他们自己的第三方客户，以及在数据中心业务的巨大增长中，您销售的系统支持DGX Cloud服务的情况，并且自推出以来您对该业务潜力了解？

A: 理想的情况是NVIDIA DGX Cloud占10%，云服务提供商（CSPs）云占90%。之所以如此，一方面是因为我们的DGX Cloud采用了纯粹的NVIDIA堆栈。它的架构符合我们的要求，并实现了最佳性能。它使我们能够与云服务提供商深度合作，创建性能最高的基础设施。

另一方面，它使我们能够与云服务提供商合作，创建市场。例如，我们正在与Azure合作，将Omniverse Cloud引入全球各行各业。这种计算堆栈是前所未有的。现在，随着所有生成式人工智能、三维技术和物理技术的发展，配以大规模数据库、高速网络和低延迟网络，这种虚拟工业虚拟世界从未存在过。

因此，我们与微软合作，在Azure云中创建Omniverse Cloud。这使我们能够共同开发新应用程序和开拓新市场。我们作为一个团队共同推向市场，我们通过将客户引入我们的计算平台而获益，他们也通过在他们的云中拥有我们的服务也获益。此外，Azure、GCP和OCI提供的数据、服务和安全服务等都可以通过Omniverse Cloud进行即时访问，这是一个巨大的双赢。

对于客户而言，NVIDIA的云服务可以在任何地方进行。一个标准的堆栈可以在所有云中运行。如果他们希望将自己的软件在云服务提供商的云中运行并自行管理，我们非常乐意。因为NVIDIA AI Enterprise、NVIDIA AI Foundations和NVIDIA Omniverse，虽然NVIDIA Omniverse还需要一定时间，但都将在云服务提供商的云中运行。因此，我们的目标是推动架构的发展，与合作伙伴深入合作，创建新的市场和新的应用程序，并为客户提供灵活性，使他们能够在各个环境中运行，包括本地环境。这就是我们做出这个决定的主要原因，而且效果非常好。我们与三个CSP目前已经在DGX Cloud上展开合作，他们的销售团队、市场团队和领导团队都非常出色。合作非常成功。