创建页参数
| 参数名称 | 含义 | 填写说明 |
|---|
| 任务名称 | 这场训练在列表里显示的名字 | 必填。默认可带时间戳，可改。队列任务不另要任务组名称 |
| 镜像 URL | 各节点启动时拉取的容器镜像 | 必填。可选择镜像仓库中的镜像。镜像须能在目标训练集群拉取。大镜像建议先做镜像预热 |
| 环境变量 | 自己要传进容器的键值 | 选填。每行一个 KEY=VALUE。系统会自动注入环境变量，见 通用环境变量列表 |
| 运行命令 | 容器启动时的入口程序，对应 ENTRYPOINT | 选填。默认 bash。镜像没有 bash 时必须改掉 |
| 运行参数 | 传给入口程序的参数，对应 CMD，一般是真正的训练启动命令 | 选填，可多行。右上角 查看示例 可切换 PyTorch、MPI、TensorFlow，点 填入该示例 才写入命令。 |
| 存储配置 | 把哪一路 NAS 挂进容器 | 见下方。支持NAS 挂载 |
| 训练集群 | 这场任务跑在哪一组带 RDMA 的 GPU 机器上 | 必填。集群库存在 每节点卡数 旁变展示 |
| 训练框架 | 按哪套角色和变量来启动 | 必填。支持PyTorch、MPI、TensorFlow、自定义，默认 PyTorch |
| 角色节点 | 每类角色要几台、每台几张卡 | 必填。见下方框架表 |
| 投递方式 | 直接调度还是进队列排队 | 默认独立任务。见下方 |
| 高级设置 | 超时、共享内存、CPU 独占等 | 默认折叠。见下方 |
存储配置
用来放训练任务的代码、训练数据、Checkpoint 和日志。任务启动时自动挂载，没有单独的挂载按钮。操作细节见 NAS 文件存储使用说明。
开关默认打开。关闭后不挂 NAS。只显示当前所选训练区域可用的 NAS 存储卷。
| 参数名称 | 含义 | 填写说明 |
|---|
| NAS 存储卷 | 要挂进训练容器的那一份文件存储 | 存储开启时必填。只列出当前所选训练区域可用的卷 |
| NAS 路径 | 卷上的哪一段目录挂进容器 | 选填。不填或填 / 为整卷。填子目录则只挂该目录 |
| 容器挂载路径 | NAS 出现在容器内的路径，启动命令按这个路径读写文件 | 必填。例如 /workspace |
| 权限 | 容器对这块存储是只读还是可写 | 读写挂载或只读挂载 |
| 新增挂载 | 同一场任务挂多路存储，例如代码和数据分开 | 存储开启时主挂载不可删除。不要 NAS 就关闭存储 |
训练集群与规格
| 参数名称 | 含义 | 填写说明 |
|---|
| 训练集群 | 这场任务实际跑在哪一组 GPU 机器上。训练只使用带 RDMA 高速互联的集群 | 必选。列表只展示支持 RDMA 网络的训练集群 |
| 卡型 | 该集群提供的 GPU 型号 | 选中后锁定，任务中途不可更换卡型 |
| 库存 | 该卡型当前还能申请多少 | 显示在角色表的 每节点卡数 旁。库存不够则无法按该卡数提交 |
| CPU | 每个节点搭配的 CPU 核数和内存 | 具体核数与内存以控制台为准 |
| 网卡 | 节点之间做训练通信的高速网，例如 IB 网 | 由平台配置，不需要填写网卡名 |
训练框架与角色节点
训练框架决定这场任务按哪套角色分配节点，以及平台往容器里写入哪些变量。各框架的启动命令见单独页面。
| 框架 | 角色 | 含义 | 填写说明 |
|---|
| PyTorch | master、worker | 常用的数据并行训练。master 是主节点，worker 是其余训练节点 | master 固定 1 台。worker 可以为 0，表示单机。两角色卡型和每节点卡数必须一致 |
| MPI | master、worker | 用 MPI 启动的训练，也可覆盖 Horovod、DeepSpeed 等基于 MPI 的启动方式 | master 固定 1 台，可以是 CPU。worker 通常是 GPU。两边都选 GPU 时卡型和卡数必须一致 |
| TensorFlow | worker、chief、ps、evaluator | TensorFlow 分布式里的训练、参数服务和评估角色 | 至少配置一类训练或评估角色。chief 最多 1 台。worker、chief 建议 GPU。ps、evaluator 可以使用 CPU。 |
| 自定义 | 用户自增角色 | 上面三种角色模板都不适用时使用 | 至少保留 1 个角色。平台只写入通用信息。节点如何互相发现，由启动命令和代码完成 |
投递方式
| 参数名称 | 含义 | 填写说明 |
|---|
| 独立任务 | 不进入队列，有资源就调度的一场独立训练任务 | 默认。每次创建 1 场 |
| 队列任务 | 进训练队列排队，按配额限制同时跑几场 | 需要排队或控制并发时改选此项 |
| 投递目标队列 | 这条任务要排进哪一条训练队列 | 队列任务必填 |
| 组内任务总数 | 这一组里要创建几场训练任务，不是节点数，也不是卡数 | 队列任务必填，默认 1 |
| 组内并发任务上限 | 这一组里最多同时跑几场 | 队列任务必填，默认 1。实际并发还受队列节点并发上限约束 |
高级设置
| 参数名称 | 含义 | 填写说明 |
|---|
| 任务超时时间 | 从启动算起，超过该时长由平台强制停止，避免任务一直占卡 | 单位分钟，默认 30 天 |
| 共享内存 | 容器内 /dev/shm 的大小。多卡训练进程常要在这里交换数据 | 选填。不填时按控制台默认 |
| CPU 独占 | 给每张 GPU 绑一组独占的 CPU 核，减少和同机其他进程抢 CPU | Beta，选填 |
