微软开源的DeepSpeed是一个深度学习优化库,使分布式训练变得简单、高效和有效。

DeepSpeed

DeepSpeed只需一次点击即可实现类似ChatGPT的模型训练,比SOTA RLHF系统提供15倍的加速,并在所有规模上实现前所未有的成本降低;

蛙蛙写作