快出海  > 出海资讯  >  Azure简化深度学习函数库DeepSpeed软硬件堆栈配置,超大规模模型训练变简单

Azure简化深度学习函数库DeepSpeed软硬件堆栈配置,超大规模模型训练变简单

来源:十轮网
作者:十轮网
时间:2022-08-02
微软强化Azure对超大型机器学习模型训练的支持度,现在用户可以使用深度学习函数库DeepSpeed和1024个A100 GPU,来执行兆级参数模型的训练。

azure_empowers_easy-to-use_high-performance_and_hyperscale_model.jpg

微软强化Azure对超大型机器学习模型训练的支持度,现在用户可以使用深度学习函数库DeepSpeed和1024个A100 GPU,来执行兆级参数模型的训练。

近年基于Transformer的大规模深度学习技术,有了长足的进展,在5年之间,从最初只有数百万参数的Transformer模型,到现在Megatron-Turing已具有5,300亿个参数,这之间模型参数量增长了数个量级,而企业对于训练和调校这些大型模型的需求也逐渐增长。

过去用户要训练这类大规模模型,需要配置和维护一个复杂的分布式训练基础设施,微软提到,这些工作通常有一些手动步骤且容易出错,因此在可用性和性能表现上并不佳。

而现在微软用户可以使用Azure上的DeepSpeed,来应对大规模人工智能训练。用户可以使用推荐的Azure机器学习配置,或是利用Bash脚本以虚拟机扩展集为基础的环境执行。DeepSpeed是微软在2020年发布的开源深度学习训练优化函数库,该函示库使用内存优化技术ZeRO,改善大型模型训练的规模、速度、成本和可用性。

微软采用全端优化的方式,将所有训练必要的硬件、操作系统、虚拟机镜像文件,还有包含PyTorch、DeepSpeed、ONNX Runtime,与各种Python组件的Docker镜像文件,以及Azure机器学习API,经过优化、集成和测试,使其具有良好的性能和可扩展性,并且让用户不需要处理其复杂性。

6213ff53-aeda-4961-954e-81692ce0b768.jpg

在经优化的Azure DeepSpeed堆栈上,用户可以训练1兆甚至是2兆参数的超大型模型,而且无论是模型的大小和GPU数量的增加,都提供了几乎线性的可扩展性,微软提到,Azure和DeepSpeed打破GPU内存的限制,使得用户可以更简单地训练兆级参数模型。

↟点击阅读全文
版权说明

本文内容来自于十轮网,本站不拥有所有权,不承担相关法律责任。文章内容系作者个人观点,不代表快出海对观点赞同或支持。如有侵权,请联系管理员(zzx@kchuhai.com)删除!

相关文章
Google发布构建于BigQuery的云计算日志分析服务
Google发布构建于BigQuery的云计算日志分析服务
Google更新日志服务Cloud Logging,提供用户基于云计算数据仓库BigQuery的日志分析服务,通过BigQuery的支持,用户能够从系统日志记录中,获得更深入的分析结果。
十轮网
2天前
节省成本,亚马逊拟于美国关闭数个客服中心
节省成本,亚马逊拟于美国关闭数个客服中心
为了节省办公成本,亚马逊(Amazon)目前正计划于美国关闭数个客服中心,并鼓励客服人员选择居家办公;而亚马逊也认为,提供远程工作机会有助于在流功率高的行业招聘员工。
十轮网
2天前
Amazon公布床边睡眠监测设备
Amazon公布床边睡眠监测设备
在周三的产品发布大会上,Amazon公布了集成环境传感、机器学习及雷达侦测功能的床边睡眠测量设备Halo Rise。
十轮网
2天前
Google搜索结果添加讨论区及论坛内容
Google搜索结果添加讨论区及论坛内容
Google于9月28日宣布,即日起将于英文搜索结果中添加来自讨论区与论坛的内容,以协助用户找到更多具备同样经验的人的建议,此外,明年起Google News除了呈现用户默认语言的新闻内容之外,若为国际新闻,也会出现来自当地报道的翻译标题,打破语言的藩篱。
十轮网
2天前
【第八期 数字化破万卷】Cloudflare大中华区总经理兼销售总监蔡旭辉:创新驱动  技术赋能 Cloudflare赋能中国企业加速数字化转型
【第八期 数字化破万卷】Cloudflare大中华区总经理兼销售总监蔡旭辉:创新驱动 技术赋能 Cloudflare赋能中国企业加速数字化转型
9月29日,第八期数字化“破万卷”,跟随Cloudflare大中华区总经理兼销售总监蔡旭辉的脚步,共同聆听Cloudflare赋能中国企业加速数字化转型的创新实践。
Cloudflare
2天前
扫描关注获取更多 出海资讯 的相关信息
扫码登录
打开扫一扫, 关注公众号后查看更多
加载中
二维码已失效 请重试
刷新
账号登录/注册
小程序
公众号
商务合作
投稿采访
出海管家
活动推荐
报名中 亚马逊云科技中国峰会