共绩科技
共绩科技

使用说明

发起 TensorFlow 分布式训练

用 TensorFlow 框架提交分布式训练:worker、chief、ps、evaluator 的配法,以及 TF_CONFIG 启动示例。

创建任务时 训练框架 选 TensorFlow。通用字段见 创建任务配置说明。

worker、chief 负责训练,ps 做参数服务,evaluator 做评估。

角色与节点

角色节点数资源
worker按需要建议 GPU
chief最多 1建议 GPU
ps按需要可以是 CPU
evaluator按需要可以是 CPU

至少配置一类训练或评估角色。本期不强制所有角色使用相同卡数。

切换框架后启动命令不会自动变。打开 查看示例,确认后点 填入该示例。TensorFlow 示例第一行是 -c。

平台写入的环境变量

平台写入 TF_CONFIG(JSON)。不要在 环境变量 里覆盖它。代码读取该变量做集群解析。

不要改平台为 RDMA 写入的 NCCL_IB_* 一类变量。与角色无关的通用变量见 通用环境变量列表。

启动命令

使用容器内绝对路径。运行命令为 bash。运行参数与控制台 查看示例 中的 TensorFlow 示例一致:

-c
python3 <代码文件的绝对路径>

把 <代码文件的绝对路径> 换成容器内的入口文件绝对路径。