GLM-4.1V-9B-Thinking：MindSpore多模态大模型终极入门指南

经河列

481人浏览 · 2026-05-30 08:41:14

经河列 · 2026-05-30 08:41:14 发布

GLM-4.1V-9B-Thinking：MindSpore多模态大模型终极入门指南

【免费下载链接】GLM-4.1V-9B-Thinking 项目地址: https://ai.gitcode.com/hf_mirrors/MindSpore-Lab/GLM-4.1V-9B-Thinking

GLM-4.1V-9B-Thinking是基于MindSpore框架开发的多模态大模型，具备强大的图像理解与文本生成能力。本指南将带你快速掌握从环境搭建到实际应用的完整流程，让你轻松开启AI视觉理解之旅。

📋 环境要求清单

要顺利运行GLM-4.1V-9B-Thinking模型，需满足以下环境配置：

框架依赖：MindSpore 2.5.0/2.6.0
硬件支持：NPU、Atlas 800T A2、Atlas 800I A2
驱动环境：Ascend driver 24.1.RC3.b080、firmware 7.5.T11.0.B088、CANN toolkit/kernel 8.0.RC3.beta1

建议使用至少21GB存储空间来存放模型权重文件，确保系统满足这些基础要求后再进行后续操作。

🔍 模型权重获取

获取模型权重是使用GLM-4.1V-9B-Thinking的第一步，按以下步骤操作：

安装openmind_hub工具：

pip install openmind_hub

设置下载路径环境变量：

export HUB_WHITE_LIST_PATHS=/home/GLM-4.1V

启动Python交互环境并执行下载：

from openmind_hub import snapshot_download
snapshot_download(
    repo_id="MindSpore-Lab/GLM-4.1V-9B-Thinking",
    local_dir="/home/GLM-4.1V",
    local_dir_use_symlinks=False
)

权重文件将保存到/home/GLM-4.1V目录，包含4个分块的模型文件（model-00001-of-00004.safetensors至model-00004-of-00004.safetensors）及索引文件。

🛠️ 快速环境搭建

完成权重下载后，需要配置运行环境：

安装MindOne

MindOne是MindSpore官方的深度学习工具集，提供模型训练和推理的完整支持：

cd /home
git clone https://gitcode.com/hf_mirrors/MindSpore-Lab/GLM-4.1V-9B-Thinking --depth 1
cd mindone
pip install -e .

如果克隆失败，可尝试使用代理地址：

git clone https://gh-proxy.com/github.com/mindspore-lab/mindone.git --depth 1

安装Transformers

GLM-4.1V-9B-Thinking需要特定版本的Transformers库支持：

pip install transformers==4.53.0

⚠️ 注意：安装过程中可能会出现一些警告信息，可以忽略这些提示继续操作。

🚀 执行推理测试

环境配置完成后，即可进行推理测试体验GLM-4.1V的强大功能：

基本推理命令

英文输出（推荐）

cd /home/mindone/examples/transformers/glm4v
python generate.py --model_name /home/GLM-4.1V --image /home/trial.jpg --prompt "Describe this image."

中文输出

cd /home/mindone/examples/transformers/glm4v
python generate.py --model_name /home/GLM-4.1V --image /home/trial.jpg --prompt "请帮我描述这张图片"

调整输出长度

默认推理输出为128个token，如需更长文本，可修改generate.py文件：

# 将max_new_tokens参数从128改为2048
max_new_tokens=2048

⚙️ 模型核心配置解析

GLM-4.1V-9B-Thinking的config.json文件定义了模型的关键参数：

文本模型配置：hidden_size=4096，num_hidden_layers=40，num_attention_heads=32，支持32768上下文长度
视觉模型配置：hidden_size=1536，depth=24，image_size=336，patch_size=14
多模态标记：包含image_start_token_id(151339)、image_end_token_id(151340)等特殊标记

图像预处理参数在preprocessor_config.json中定义，包括图像均值、标准差和缩放尺寸等信息，确保输入图像符合模型要求。