使用说明
创建分布式训练任务
分布式训练服务预置了 TensorFlowPS、PyTorch、MPI 等多种分布式训练范式的配置模板,用户简单配置训练角色的数量及实例规格后即可发起大规模的分布式训练任务。
建议先在 云主机 用预置镜像完成环境和脚本调试,再提交训练任务。没有云主机,或脚本已经在别处跑通时,也可以直接创建。
分布式训练配置字段说明见 创建任务配置说明。
启动命令见各框架页。PyTorchMPITensorFlow
控制台入口:点击顶栏 分布式训练。也可用 OpenAPI 创建和管理任务使用文档
建议操作步骤:从开发调试到模型训练
| 步骤 | 平台功能 | 使用场景 |
|---|---|---|
| 准备环境 | 云主机快速上手云主机服务 | 选预置镜像,或已有自定义镜像,确认 CUDA、框架版本可用 |
| 调试脚本 | 云主机 | 登录改代码、调依赖、做小规模试跑。输出写到 NAS |
| 固化镜像 | 镜像仓库 镜像仓库 | 需要把现场环境带到训练任务时,保存镜像并记下地址。大镜像建议先做镜像预热 |
| 提交训练 | 分布式训练 | 打开 创建分布式训练任务。同一镜像、同一 NAS,按框架填写角色和启动命令 |
| 运行与查看 | 分布式训练 | 看节点监控和容器日志,见 查看任务状态、监控与日志 |
| 结束 | NAS NAS 文件存储使用说明 | 任务关闭后节点回收。结果留在 NAS,可再提交,或换到能挂载同一 NAS 的集群继续训 |
快速上手分布式训练
1
打开存储
存储配置 保持打开。选当前区域可用的 NAS 存储卷。容器挂载路径例如 /workspace。代码和数据放在该路径下。
2
选择框架和节点
训练框架 选 PyTorch。先用 1 个 master。要验证多机时再加 1 个 worker,每节点 1 卡。
3
填入启动命令
启动命令点 查看示例,再点 填入该示例。把 <代码文件的绝对路径> 换成容器内的入口文件绝对路径。
4
选择独立任务
投递方式 保持 独立任务。
5
提交后核对
打开节点 日志,查看运行状态,并在 NAS 对应目录看到写出的文件。
提交前检查
- 切换框架后启动命令不会自动变,需要重新 查看示例 并 填入该示例。
- 不要覆盖平台写入的节点编号、主节点地址等变量。各框架会写入哪些变量,见对应框架页和 通用环境变量列表。