容器化部署 Ollama+Qwen3+Open WebUI

本指南全面介绍了在共绩算力平台上部署 Ollama 与 Qwen3 大语言模型，通过 WebUI 访问的完整解决方案。该方案不仅提供了详实的部署流程，还提供了如何制作镜像的方案。

1、部署服务

点击这里【新增部署任务】，登录后根据页面提示进行部署。【选择 GPU 型号】—>在【服务配置】中选择【预制镜像】—>勾选【服务协议】—>点击【部署服务】—>部署完成，等待镜像拉取！

DEFAULT_MODEL=模型名称

```plaintext
    例如，要切换到Qwen 3.0 32B模型，输入：
    ```text
DEFAULT_MODEL=qwen3:32b

2、开始使用 Open WebUI

2.1 访问开始页面

访问 8080 端口对应的链接，会出现以下界面，说明 Open WebUI 已经成功部署。点击【开始使用】

2.2 设置管理员账号

设置管理员账号和密码，点击【创建管理员账号】

2.3 开始 AI 对话

创建管理员账号之后会自动登录，默认会选中镜像中的模型 qwen3:30b-a3b ，就是制作镜像时设置的镜像名称。

现在一起就绪，开始与 AI 的对话之旅吧～～～

3、 模型速度测试

qwen3 部署完成了，速度怎么样呢？点击 LM Speed 测试一下速度吧～～～

4、本地打包 Ollama 和 Open WebUI 镜像

4.1 clone 项目

git clone https://github.com/slmnb-lab/llm-deployment.git

4.2 修改镜像仓库地址名

services:
  ollama-webui-qwen3:
    image: harbor.suanleme.cn/{yourusername}/ollama-webui-qwen3:30b-a3b  ## 这里是 www.gongjiyun.com 中创建的镜像仓库地址  harbor.suanleme.cn 是仓库地址 {yourusername} 是账号名称 ollama-webui-qwen3 是镜像名称 30b-a3b 是镜像标签
    build: .
    labels:
      - suanleme_0.http.port=11434                   # 这里是 ollama 运行的端口，不要修改
      - suanleme_0.http.prefix=ollama-webui-qwen3     # 这里是发布到的 suanli.cn 的回传域名
    restart: unless-stopped
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    ports:
      - "11434:11434"                        # 这里是ollama运行的端口，不要修改
      - "8080:8080"                          # 这里是open webui运行的端口，不需要修改

4.3 运行打包脚本

执行成功之后，会在本地生成镜像

cd llm-deployment/ollama-webui   # 进入 ollama 目录
docker compose build       # 打包镜像

5、镜像上传

将打包的镜像上传到共绩算力的镜像仓库

5.1 登录镜像仓库

username 需要替换为自己的共绩算力【镜像仓库**】**的【仓库账号】！

输入密码需要输入初始化镜像仓库 时设置的密码

docker login harbor.suanleme.cn --username={yourusername}
*******

5.2 上传镜像

执行以下代码，进行镜像上传

docker tag harbor.suanleme.cn/{yourusername}/ollama-webui-qwen3:30b-a3b harbor.suanleme.cn/{yourusername}/ollama-webui-qwen3:30b-a3b
docker push harbor.suanleme.cn/{yourusername}/ollama-webui-qwen3:30b-a3b