9月19日，据中国台湾《经济日报》报道，全球GPU龙头英伟达近期对台积电下了“超级急件（superhotruns）”订单，以提前生产原计划明年出货的部分产品。传闻称，这批“超级急件”涉及5000片晶圆产能，相关产品的交期将大幅缩短，从原本预估的5-6个月，压缩至2-3个月，台积电最快将在10月底至11月初向英伟达开始交货。
9月20日，NVIDIA在GTC2022上宣布NVIDIAH100TensorCoreGPU全面投产，也算是对上述传闻的官宣了。
为什么这么着急？皆因在8月底，美国政府命令NVIDIA及AMD停止向中国大陆、中国香港和俄罗斯销售部分高性能GPU，其中就包括NVIDIA的A100和H100。美国政府表示，这是为了防止这些产品被用于“军事最终用途”或“军事最终用户”。
美国证监会文件
对此，NVIDIA与美国政府展开了积极斡旋，很快在9月1日，他们公告声明已获得美国政府批准，可以在明年3月前继续向美国客户出口（到中国）的产品提供A100，可以在明年9月前继续履行A100和H100的订单。
根据声明，NVIDIA获得美国政府的授权包括三点：
1、授权NVIDIA继续开发H100芯片所需的出口、再出口和国内转移；
2、授权允许NVIDIA在2023年3月1日前进行必要的出口以向A100的美国客户提供支持；
3、授权NVIDIA在2023年9月1日之前通过其香港办事处履行A100和H100订单和物流。
可见考虑到中国是NVIDIA和AMD最重要的市场之一，美国政府决定给予禁售令最多1年的宽限期。而为了应对市场和出口管制政策的不确定因素，NVIDIA也要在这1年内尽可能多地保障客户长期需求，所以向台积电下“超级急件”订单，早些生产出明年出货的量，满足市场客户“囤货”的需求。
H100能用来做什么？
GPU是计算机图形显示的核心，相比CPU更适合于密集型数据处理，具有高度并行性，可将数学运算应用于高度并行的数据集。虽然CPU也可以执行相同的任务，但不具备GPU的并行性，因此在这些任务中效率不高。
在这个算力为王的时代，GPU的应用场景主要是加速智能制造下的数字化转型。深度神经网络、数据分析、可视化、互联网推荐算法、数字孪生等均离不开GPU。除游戏主机与PC之外，其终端应用还包括服务器、汽车、移动等领域。
北京半导体行业协会副秘书长朱晶表示，被封锁的产品是有足够双精度计算能力的高端GPU，对于低端GPU不受影响。具备较高双精度计算能力的高端GPU主要用于高性能计算领域，包括科学计算，CAE（计算机辅助工程），医疗等方面。
朱晶认为，这次高端GPU禁售的打击方式是从“超算相关单位进入实体清单”升级为“可为超算提供服务的相关产品直接禁售”，导致受影响的范围从超算领域扩大到互联网领域。目前，国内能替代英伟达H100这类GPU的产品几乎没有。
资料显示，H100于2022年4月发布，由800亿个晶体管组成，并采用了众多开创性的技术，包括全新的Transformer引擎和NVIDIANVLink®互连技术，以加速最大规模的AI模型，如高级推荐系统和大型语言模型，并推动对话式AI和药物发现等领域的创新。
NVIDIA创始人兼首席执行官黄仁勋表示：“Hopper是AI工厂的全新引擎。它能够处理和挖掘海量数据，训练具有数万亿参数的模型，这些模型将推动基于语言的AI、机器人、医疗和生命科学领域的进步。Hopper的Transformer引擎将性能提升了一个数量级，使大规模AI和HPC能够为企业和研究人员所用。”
除了Hopper的架构和Transformer引擎之外，第二代多实例GPU、机密计算、第四代NVIDIANVLink和DPX指令等若干关键性创新也让H100GPU如虎添翼，实现了NVIDIA加速计算数据中心平台的又一次飞跃。
用于主流服务器的H100现包含为期五年的NVIDIAAIEnterprise软件套件许可。这将优化AI工作流的开发和部署，确保用户能够获得构建AI聊天机器人、推荐引擎、视觉AI等所需的AI框架和工具。
NVIDIA在GTC2022上表示，全球技术合作伙伴计划于10月推出首批基于开创性NVIDIAHopper™架构的产品和服务。
Hopper的全球推广
H100使企业能够削减AI的部署成本，相较于上一代，在提供相同AI性能的情况下，可将能效提高3.5倍，总体拥有成本减少至1/3，所使用的服务器节点数也减少至1/5。
对于有意立即尝试这项新技术的客户，NVIDIA已宣布戴尔PowerEdge服务器上的H100现可在NVIDIALaunchPad上使用。NVIDIALaunchPad为企业提供免费的动手实操实验室，让企业能够接触到最新的硬件和NVIDIAAI软件。
NVIDIADGX™H100系统现在也已开始接受客户预定。该系统包含8个H100GPU，FP8精度的峰值性能达到32PFlops。每个DGX系统都包含NVIDIABaseCommand™和NVIDIAAIEnterprise软件，可实现从单一节点到NVIDIADGXSuperPOD™的集群部署，为大型语言模型和其他大规模工作负载的高级AI开发工作提供支持。
头部计算机制造商所提供的搭载H100的系统预计将在未来几周内发货，到今年年底将有超过50款服务器型号面市，2023年上半年还将有数十款型号面市。已在构建系统的合作伙伴包括源讯（Atos）、思科、戴尔科技、富士通、技嘉科技、慧与、联想和超微。
此外，数家全球领先的高等教育和研究机构的新一代超级计算机也将采用H100。其中包括巴塞罗那超级计算中心、洛斯阿拉莫斯国家实验室、瑞士国家超级计算中心（CSCS）、德州高级计算中心和筑波大学。
H100走向云端
AWS、谷歌云、MicrosoftAzure、OracleCloudInfrastructure将从明年开始率先在云端部署基于H100的实例。
MicrosoftAzureAI基础设施总经理NidhiChappell表示：“我们期待着在MicrosoftAzure的最新H100GPU上实现下一代AI模型。借助Hopper架构的进步，加之我们在AzureAI超级计算方面的投资，我们将能够助力加速全球AI的发展。”
OracleCloudInfrastructure产品管理副总裁KaranBatta表示：“我们通过为客户提供NVIDIA最新的H100GPU，帮助他们加速最为复杂的机器学习和HPC工作负载。另外，凭借NVIDIA的新一代H100GPU，我们能够为内部要求严苛的工作负载提供支持，并助力我们共同的客户在医疗、自动驾驶汽车、机器人和物联网领域取得突破。”
NVIDIA的软件支持
H100先进的Transformer引擎技术可助力企业快速开发精度更高的大型语言模型。随着这些模型的规模不断扩大，其复杂性也在不断提升，有些模型的训练时间甚至长达数月。
为解决这一问题，一些全球领先的大型语言模型和深度学习框架正在H100上进行优化，包括NVIDIANeMoMegatron、MicrosoftDeepSpeed、GoogleJAX、PyTorch、TensorFlow和XLA。这些框架与Hopper架构相结合，能够显著提升AI性能，将大型语言模型的训练时间缩短到几天乃至几小时。
