产品简介
什么是分布式训练
共绩分布式训练是面向单机多卡、多机多卡的容器化训练服务。任务在带 RDMA 的 GPU 集群上运行，全部节点就绪后开训，结束即释放。
产品概述
共绩科技的分布式训练，是一项面向单机多卡、多机多卡模型训练的容器化计算服务。训练任务跑在共绩的 GPU 算力网络上。平台提供 PyTorch、MPI、TensorFlow 等预置框架，也支持自定义框架。
支持提交训练任务镜像、配置启动命令和算力规格，并可挂载 NAS、选择训练框架和节点角色。平台在带 RDMA 的训练集群上调度资源，等这场任务需要的全部节点就绪后再开始训练，同时写入框架所需的节点编号、主节点地址。任务结束后，计算节点回收并停止计费。
产品特性
容器化全托管
支持预置镜像和自有镜像，兼容 Docker。环境打在镜像里，换集群不用再装一遍依赖。训练提交后，由平台完成机器申请、启动和回收。
卡型资源丰富
对接多家机房和云厂商的 GPU，覆盖 4090、5090 以及 A100、H100 等卡型。创建任务时，列表只展示带 RDMA 的训练集群。具体型号以控制台列出的集群为准。
供应商独立
共绩是独立算力平台。在共绩提交训练，可以用到不同云、不同机房的资源。NVIDIA 和国产卡都可以按集群接入。
整租与弹性兼容
整租或项目制把资源按约定留下来，适合长期、持续的多机训练。整租、项目制由商务交付，不在创建页上切换。
弹性实例用多少付多少，适合规模小、用量不稳定的训练。控制台创建页的计费方式为按需实例，任务结束即停止计费。
整租闲时利用
客户整租的卡先给自己的训练用。空着的时段可以由平台再调度出去，减少整租卡闲置。
产品功能列表
| 功能 | 描述 |
|---|---|
| Gang 调度 | 一场训练的全部节点同时启动，到齐后再开训 |
| RDMA / IB 高速互联 | 训练集群提供 RDMA、IB 高速网络，多机之间交换梯度走高速网 |
| 开发框架 | 支持 PyTorch、MPI、TensorFlow 和自定义框架。平台写入节点编号、主节点地址，启动命令可以直接引用 |
| 镜像仓库 | 存放预置镜像和自有镜像。同一套环境可以从调试带到正式训练 |
| 镜像预热 | 把镜像提前放到目标训练集群，减少大镜像的拉取时间 |
| 环境变量与启动命令 | 可自定义环境变量、运行命令和运行参数，并提供各框架启动命令示例 |
| 资源调度 | 按训练集群和框架角色分配 GPU 节点 |
| CPU 独占 | 给 GPU 绑定独占的 CPU 核，减少和同机其他进程抢 CPU |
| NAS 文件存储 | 训练数据、Checkpoint、任务日志放在集群 NAS 上。计算节点释放后文件还在 |
| 弹性计量计费 | 按需实例按实际占用的节点、卡数和运行时间计费，任务结束即停 |
| 独立任务与队列任务 | 独立任务有资源就开跑；队列任务可以排队，并限制同时跑几场 |
| OpenAPI | 可以用接口创建和管理训练任务。本期没有命令行工具 |
| 资源监控 | 按节点查看 CPU、内存、GPU 显存、利用率、温度、功耗 |
| 网络监控 | 提供以太网流量和 RDMA 流量 |
| 实时日志与归档日志 | 运行中可以看实时标准输出，结束后保留归档日志 |
适用场景
- 单机多卡、多机多卡的模型训练、微调
- 等全部训练节点到齐再启动的作业
和其他产品怎么选
- 云主机用来改代码、调依赖、确认镜像。
- 单机多卡、多机多卡训练在分布式训练里提交。
- 数据清洗、格式转换等处理用 Job 批处理。
| 产品 | 用途 | 和分布式训练的关系 |
|---|---|---|
| 云主机 | 开机后可登录，适合用预置镜像做开发调试 | 调试完成后，可用同一镜像和 NAS 提交训练任务 |
| 分布式训练 | 按任务申请节点，全部就绪后训练，结束即释放 | 本产品 |
| Job 批处理 | 节点可独立起停，适合数据清洗、格式转换等批处理 | 单机离线训练也可以用 Job 批处理 |
| 弹性部署 | 推理服务的持续在线场景 | 训练产出的模型若要对外提供推理，可转到该产品 |
| NAS 文件存储 | 独立于计算节点的共享文件 | 训练任务挂载同一卷，代码、数据、Checkpoint、日志写在这里 |
| 镜像仓库 | 存放预置镜像和用户保存的自定义镜像 | 云主机调试和训练任务提交使用同一镜像地址 |