共绩科技
共绩科技

选择使用方式

数据批量处理

清洗、打标、离线推理、报表这类跑完就停的工作,用 Job 批处理。程序退出后任务结束,GPU 立刻回收并停止计费。

前置准备

请先完成 快速入门:创建并激活账号。Job 只支持自定义镜像,上传与凭证见 镜像仓库使用说明

同一集群会反复拉同一镜像时,可做 镜像预热,减少停在 启动中 的时间。

数据准备:您的训练数据可以放在镜像里,也可以挂存储:

情况 建议做法
确定的数据样例 可打进镜像中,启动命令读镜像内路径
数据量大且更新频繁 放到对象存储或 NAS,创建任务时挂载。见 对象存储加速使用说明NAS 文件存储使用说明
要留下的结果 建议写到挂载的对象存储或 NAS。因为任务结束后,节点本地文件会消失

发布单节点处理任务

建议先用 1 个节点,使用按需实例跑通任务场景,然后再扩节点或使用队列执行完整的数据处理工作流

新增 Job 批处理

打开控制台创建页。阅读并同意协议后,点击页面最下方的部署服务即可提交。

1

打开创建页

进入 Job 批处理,点击 新增 Job 批处理

新增 Job 批处理

2

挂载存储

打开存储配置后,按数据位置选择:

未挂存储时区域可不限;一旦挂载,只能选该存储所在

绑定存储挂载(浅色)
3

选择资源和计费

第一次建议说明
计费模式按需实例运行中途不会被系统回收。抢占式更便宜,但可能被打断,适合样例跑通之后。两种计费见 Job 批处理任务计费说明
GPU / 卡数按程序需要,常见为 4090、1 卡卡型与单价见 定价页
区域未挂存储可选不限区域;已挂存储选同一区域存储和 GPU 必须同一区域集群
  • 抢占式实例:利用闲置算力,价格有折扣。
  • 按需实例:资源独占,运行过程中不会被系统回收

批处理任务选择 GPU 与计费模式

4

填写镜像

填写已推送的镜像地址。私有仓库绑定拉取凭证。

批处理任务选择镜像

5

填写运行方式

第一次建议说明
执行模式独立任务队列、批量创建见下文 跑很多海量数据时
并行节点数开关关闭默认关闭,即为单节点任务
批量创建数1创建一个任务
任务超时时间必填,单位分钟超时会强制结束并释放资源
启动命令 / 环境变量指向这份样例的输入和输出同一批任务里,每个子任务环境变量相同,不能给不同子任务分别填不同路径

容器重试策略可按照默认设置,详见 快速上手 Job 批处理任务

Job 任务策略配置

选择抢占式时,还须填写 单元预估时长,默认 60 分钟

该时长会向平台调度系统声明您预期该任务跑完需要多久。平台调度系统会预测集群实时水位将您的任务放入一个稳定的时间窗口启动,减少任务的抢占概率。

抢占模式单元预估时长

6

提交任务

阅读并同意隐私协议后,点击页面最下方 部署服务。系统开始调度任务。

检查任务运行状态

状态一般经过 启动中运行中已停止。进入 运行中 后开始按秒计费;已停止 后立刻停费。

1

查看调度状态

  • 启动中

Image

  • 运行中

Image

  • 已停止:任务结束后变为已停止
2

查看节点日志和终端

进入任务详情:

  1. 打开节点 日志,确认程序读到了输入
  2. 需要看容器内文件时,用 终端
  3. 任务停止后,到挂载存储核对输出文件。不要只看日志里打印了完成

节点事件与日志入口

  • 日志:容器内程序启动后才有输出
  • 事件:调度、镜像下载、挂载、启动命令
  • 终端:进入容器查看文件

终端中查看存储挂载

状态为已停止,结果还在挂载存储里,停止后不再产生 GPU 费用,即表示这次任务跑通。

跑海量批处理任务时

任务场景 建议方式 详细配置
很多份彼此独立的任务,互不影响 独立任务 + 批量创建数 快速上手 Job 批处理任务
份数很多,需要排队、限流、跑完一个补一个 队列任务 先建队列再投递,见 队列管理操作指南

用队列时

在队列创建任务后,系统会把这批任务打包成一个任务组投进队列里面。同一时间,一个队列只有一个任务处于运行中,

创建页切到 队列任务 后,需要配置:

字段 填什么
投递目标队列 先建队列,或选已有队列
组内任务总数 这批任务组一共要跑多少份任务
组内并发任务上限 这个任务组同时最多跑几份任务,至少为 1

发布队列任务

常见问题

核对镜像地址和启动命令

点击节点详情,查看节点日志和监控。

输出改到挂载存储,不要只写容器本地盘,因为任务结束后,节点本地文件会消失。

环境变量对每个子任务都相同。用索引模式按编号分片,不要分别填路径。

部分集群不支持。换集群或改挂对象存储加速。

存储与 GPU 必须同区域。

计费规则见 Job 批处理任务计费说明。单价以定价页当时展示为准:https://suanli.cn/product/job

下一步