共绩科技
共绩科技

使用说明

通用环境变量列表

在使用分布式训练时,平台为用户注入了大量的通用环境变量,便于用户在代码中便捷地使用。

平台级环境变量

和角色无关

变量变量说明示例
GJ_TRAINING_TASK_ID任务ID55195
GJ_TRAINING_VC_JOB_NAME任务元数据名(Volcano Job 名称)distributedtraining-72-hwxvccfg
GJ_TRAINING_ROLE角色名master
GJ_TRAINING_ROLE_INDEX角色索引0
GJ_TRAINING_ROLE_REPLICAS角色副本数1
GJ_TRAINING_FRAMEWORK框架PyTorch
GJ_TRAINING_POD_NAMEPod名distributedtraining-72-hwxvccfg-master-0
GJ_TRAINING_<ROLE>_CPU_LIMIT角色<ROLE>的CPU核数,对于myrole-0,变量名为
GJ_TRAINING_MYROLE_0_CPU_LIMIT
128
GJ_TRAINING_<ROLE>_GPU_LIMIT角色<ROLE>的 GPU 卡数。对于 myrole-0,变量名为 GJ_TRAINING_MYROLE_0_GPU_LIMIT8
GJ_TRAINING_<ROLE>_REPLICAS角色<ROLE>的副本数。对于 myrole-0,变量名为 GJ_TRAINING_MYROLE_0_REPLICAS1

Volcano 框架插件环境变量

和角色有关

框架插件运行时变量
PyTorchpytorch + svcVC_TASK_INDEX、VK_TASK_INDEX、MASTER_ADDR、MASTER_PORT、WORLD_SIZE、RANK
MPImpi + ssh + svcVC_TASK_INDEX、VK_TASK_INDEX、MPI_HOST,主要面向 master
TensorFlowtensorflow + svcVC_TASK_INDEX、VK_TASK_INDEX、TF_CONFIG
Customenv + svcVC_TASK_INDEX、VK_TASK_INDEX(这两个环境变量由env插件提供)