千卡规模训练算力利用率达60%，蚂蚁开源分布式训练加速扩展库ATorchlg...

据“支付宝技术”官微，近日，蚂蚁集团研发的大模型分布式训练加速扩展库ATorch正式开源。ATorch可针对不同模型和硬件资源，实现深度学习自动资源动态优化和分布式训练稳定性提升，帮助优化深度学习的智能性，解决大模型训练的提效问题。ATorch大模型训练算力利用率可达60%，对于千亿模型千卡级训练提效非常友好，相当于为跑车装上了强劲的引擎。