任务监控与日志

提交后在 分布式训练 的任务列表和详情里管理任务。监控和日志都可以在节点里查看

任务详情

包含任务基本信息和节点列表。

列	说明
角色	master、worker、chief、ps 等
Rank	该角色内的编号

节点监控

打开某个节点的资源监控。自上而下：CPU / 内存、以太网、本机 RDMA、GPU。

监控数据	含义	怎么看
CPU / 内存	该节点容器占用了多少 CPU 和内存	判断机器是否被训满、内存是否不够
GPU	每张卡的显存、利用率、温度、功耗	看卡有没有真正在算，与现网卡维监控一致
以太网	当前容器这一层的收发流量	看拉数据、写日志这类走普通网卡的流量。单位 MB/s，保留两位小数
本机 RDMA	这台机器上的高速互联流量	仅 RDMA 集群展示。用来判断多机通信有没有跑起来。 这是宿主机整机流量，可能含同机其他任务

容器日志

平台提供实时日志以及任务结束后保留 30 天的持久化日志

日志状态	含义	怎么看
实时日志	容器还在跑，标准输出还在写	看实时的任务日志标准输出。可以看到最近一次启动的输出
归档日志	平台保存了一段标准输出	约末尾 5000 行，约保留 30 天。可以下载到本地查看
超时日志	平台侧归档已删除	超过约 30 天后归档日志销毁