英伟达：GPU利用率低是模型设计问题

英伟达近日指出，许多企业花费数百万美元购买的H100 GPU，其利用率常低于40%，但问题并非出在显卡本身，而是源于模型设计之初未能适配硬件逻辑。为此，英伟达发布了《AI Model Co-Design》指南，强调模型与GPU协同设计的重要性。该指南建议开发者在设计AI模型时，应充分考虑GPU的架构特性，如内存带宽、计算单元布局等，以提升硬件利用率。这一观点提醒业界，优化模型设计而非盲目追求硬件升级，可能是提升AI训练效率的关键路径。