Meta的Llama 3.1 405B模型，作为“万卡集群”，其训练过程中面临了严峻挑战。该模型使用1.6万张NVIDIA H100 GPU，规模空前。然而，在54天的训练中，遭遇了419次意外中断，平均每3小时一次，主要由NVIDIA的H100 GPU和HBM3存储器故障引起。
Meta团队通过优化作业流程和开发诊断工具，有效应对了这些挑战。PyTorch的NCCL技术在此过程中发挥了关键作用，助力实时监控和快速定位问题。尽管硬件故障频发，但Meta团队仍成功完成了训练。
此次训练不仅考验了Meta的技术实力，也凸显了构建大规模AI算力集群的复杂性。Meta的经验表明，即便财力雄厚，也需在电力、网络设计、并行性和可靠性等多个方面精心布局。
相比之下，Elon Musk计划的10万张H100 GPU集群的故障频率更加引人遐想。Meta的成功案例为行业提供了宝贵经验，同时也预示着未来AI算力集群建设的更多挑战与机遇。
