在近日举行的Google Cloud Next 25大会上，谷歌正式发布了第七代张量处理单元（TPU）Ironwood。作为谷歌迄今为止性能最强、可扩展性最高的定制AI加速器，Ironwood专为推理任务设计，标志着AI计算领域的重要进展。
性能与能效的飞跃
Ironwood是谷歌TPU系列的最新成员，其性能和能效较上一代产品显著提升。据谷歌介绍，Ironwood的每瓦性能是第六代TPU Trillium的两倍，能效更是2018年首款云TPU的近30倍。这种提升得益于先进的液冷解决方案和优化的芯片设计，使其在持续高负载下仍能保持稳定运行。
此外，Ironwood在高带宽内存（HBM）容量和带宽方面也实现了突破。每芯片的HBM容量高达192GB，是Trillium的6倍，单芯片HBM带宽达7.2TB/s，是前代产品的4.5倍。这些改进使得Ironwood能够处理更大规模的AI模型和数据集，同时减少频繁的数据传输需求。
芯片设计与架构创新
Ironwood采用了双芯片组设计，与之前的单片式TPU不同。据nextplatform报道，这是谷歌首款支持FP8计算的TPU，此前的TPU仅支持INT8和BF16格式。此外，Ironwood还配备了第三代SparseCore加速器，最初用于推荐模型，如今扩展至金融和科学计算领域。
Ironwood的芯片间互连（ICI）带宽也得到显著提升，双向带宽达1.2Tbps，是Trillium的1.5倍。这使得芯片间通信更高效，为大规模分布式训练和推理提供了支持。每个Ironwood封装包含8个HBM内存组，推测为HBM3E，总容量达192GB。
推理时代的突破
据谷歌表示，Ironwood专为支持“思维模型”而设计，这些模型涵盖大型语言模型（LLM）、混合专家模型（MoE）和高级推理任务。Ironwood的低延迟、高带宽ICI网络确保了大规模张量操作的高效执行，同时最大限度地减少了芯片上的数据移动和延迟。
谷歌强调，Ironwood的推出将为AI计算带来新的可能性。无论是超大规模密集LLM还是具有训练和推理能力的MoE模型，Ironwood都能提供强大的并行处理能力和高效的内存访问支持。
