使用说明
发起 TensorFlow 分布式训练
用 TensorFlow 框架提交分布式训练:worker、chief、ps、evaluator 的配法,以及 TF_CONFIG 启动示例。
创建任务时 训练框架 选 TensorFlow。通用字段见 创建任务配置说明。
worker、chief 负责训练,ps 做参数服务,evaluator 做评估。
角色与节点
| 角色 | 节点数 | 资源 |
|---|---|---|
| worker | 按需要 | 建议 GPU |
| chief | 最多 1 | 建议 GPU |
| ps | 按需要 | 可以是 CPU |
| evaluator | 按需要 | 可以是 CPU |
至少配置一类训练或评估角色。本期不强制所有角色使用相同卡数。
切换框架后启动命令不会自动变。打开 查看示例,确认后点 填入该示例。TensorFlow 示例第一行是 -c。
平台写入的环境变量
平台写入 TF_CONFIG(JSON)。不要在 环境变量 里覆盖它。代码读取该变量做集群解析。
不要改平台为 RDMA 写入的 NCCL_IB_* 一类变量。与角色无关的通用变量见 通用环境变量列表。
启动命令
使用容器内绝对路径。运行命令为 bash。运行参数与控制台 查看示例 中的 TensorFlow 示例一致:
-c
python3 <代码文件的绝对路径>
把 <代码文件的绝对路径> 换成容器内的入口文件绝对路径。