昇思MindSpore容器部署实战：GLM-Z1-9B-0414 Docker镜像使用指南

昌寒庆Quillan

488人浏览 · 2026-06-03 08:35:34

昌寒庆Quillan · 2026-06-03 08:35:34 发布

昇思MindSpore容器部署实战：GLM-Z1-9B-0414 Docker镜像使用指南

【免费下载链接】GLM-Z1-9B-0414 项目地址: https://ai.gitcode.com/hf_mirrors/MindSpore-Lab/GLM-Z1-9B-0414

昇思MindSpore容器部署实战：GLM-Z1-9B-0414 Docker镜像使用指南为你提供了快速部署轻量级AI模型的完整解决方案。GLM-Z1-9B-0414作为90亿参数的高效模型，在数学推理和一般任务中表现卓越，是资源有限环境下的理想选择。本文将带你一步步完成从镜像拉取到服务部署的全过程，让你轻松体验昇思MindSpore的强大功能。

📋 准备工作：环境与硬件要求

在开始部署前，请确保你的环境满足以下要求：

硬件要求：至少需要1台（1卡）Atlas 800T A2（64G）服务器（基于BF16权重）
软件要求：已安装Docker引擎，且具备拉取私有镜像仓库的权限
网络要求：能够访问昇思MindSpore容器镜像仓库

🚀 快速开始：3步完成容器部署

1️⃣ 下载昇思MindSpore推理容器镜像

执行以下Shell命令，拉取昇思MindSpore GLM-Z1推理容器镜像：

docker pull swr.cn-central-221.ovaijisuan.com/mindformers/mindspore_glm_z1:20250414

2️⃣ 启动容器实例

使用以下命令启动容器，注意替换路径参数为你的实际路径：

docker run -it --privileged --name=GLM-Z1 --net=host \
-v /path/to/your/GLM-Z1-9B-0414:/home/work/GLM-Z1-9B-0414 \
swr.cn-central-221.ovaijisuan.com/mindformers/mindspore_glm_z1:20250414

重要提示：如果部署在多机上，每台机器中容器的hostname不能重复。如果有部分宿主机的hostname是一致的，需要在启动容器的时候修改容器的hostname。

3️⃣ 验证容器状态

容器启动后，执行以下命令验证容器是否正常运行：

docker ps | grep GLM-Z1

如果看到GLM-Z1容器处于运行状态，则表示容器启动成功。

⚙️ 配置文件修改与说明

模型配置文件详解

项目中包含以下关键配置文件：

config.json：模型json配置文件
tokenizer_config.json：词表配置文件
predict_glm_z1_9b.yaml：模型yaml配置文件

修改配置文件步骤

在predict_glm_z1_9b.yaml中对以下配置进行修改（若为默认路径则无需修改）：

load_checkpoint: '/home/work/GLM-Z1-9B-0414/weights'         # 配置为实际的模型绝对路径
auto_trans_ckpt: True                                  # 打开权重自动切分，自动将权重转换为分布式任务所需的形式
load_ckpt_format: 'safetensors'
processor:
  tokenizer:
    vocab_file: "/home/work/GLM-Z1-9B-0414/tokenizer.model"  # 配置为tokenizer文件的绝对路径

🔧 服务化部署：一键启动MindIE

启动服务步骤

MindSpore Transformers提供了一键拉起MindIE脚本，脚本中已预置环境变量设置和服务化配置，仅需输入模型文件目录后即可快速拉起服务。

进入mindformers/scripts目录下，执行MindIE启动脚本：

cd /home/work/mindformers/scripts
bash run_mindie.sh --model-name GLM-Z1-9B-0414 --model-path /home/work/GLM-Z1-9B-0414 --max-prefill-batch-size 1

参数说明

--model-name：设置模型名称
--model-path：设置模型目录路径

查看日志：

tail -f output.log

当log日志中出现Daemon start success!，表示服务启动成功。

✅ 推理测试：验证部署效果

执行推理请求测试

服务启动成功后，执行以下命令发送流式推理请求进行测试：

curl -w "\ntime_total=%{time_total}\n" -H "Accept: application/json" -H "Content-type: application/json" -X POST -d '{"inputs": "请介绍一个北京的景点", "parameters": {"do_sample": false, "max_new_tokens": 128}, "stream": false}' http://127.0.0.1:1025/generate_stream &

如果一切正常，你将收到模型返回的推理结果，这表明GLM-Z1-9B-0414模型已成功部署并可以正常工作。