共绩科技
共绩科技

最佳实践

模型存储选型指南

根据目标集群的存储支持情况、模型大小和更新需求,选择镜像内置、NAS 或对象存储方案

按模型大小选择

本文中的对象存储指 S3 兼容对象存储,例如阿里云 OSS、腾讯云 COS、火山引擎 TOS 等,可通过平台的对象存储加速挂载模型目录。

模型大小可选方案加载时间
小于 50GB镜像内置 / NAS / 对象存储镜像内置:<1分钟 / 对象存储:~60秒
50–100GBNAS / 对象存储NAS:~90秒 / 对象存储:3–4分钟
大于 100 GBNAS / 对象存储视模型大小而定

常见问题

可以,但有代价:

  1. 准备模型文件:提前上传模型;使用对象存储加速时,在任务运行区域预热模型目录
  2. 减小模型体积:量化模型(如 Int8/Int4)
  3. 评估存储与加载框架:在目标集群可用的 NAS、对象存储加速方案中,使用实际模型比较加载耗时

可以选择 NAS 或对象存储,先确认目标集群支持的存储方案。

  • 集群提供 NAS 时,可以提前上传模型并挂载读取。
  • 模型已在对象存储中,或目标集群未提供 NAS 时,可评估该区域可用的对象存储加速,提前预热模型目录。
  • 大模型打包进镜像会增加构建和拉取开销,通常建议将模型与运行环境分开管理。

不需要仅因环境不同就切换存储。两个环境都可以使用 NAS 或对象存储,前提是目标集群和运行区域提供相应能力。

如需切换方案,应核对挂载路径、模型读取路径和读写权限。对象存储加速当前为只读挂载,运行时输出应使用另一个可写目录。具体配置见模型目录挂载说明。

可能。NAS 和对象存储都可能受网络、带宽和并发读取影响;镜像内置模型也需要考虑多个节点同时拉取镜像的开销。

部署前应按预期同时启动的实例数量测试,不能仅凭存储类型判断并发启动速度。