Qwen3.5-9B保姆级教程：从零部署多模态大模型（支持图文对话）

1. 项目介绍

Qwen3.5-9B是一款拥有90亿参数的开源大语言模型，具备强大的逻辑推理、代码生成和多轮对话能力。特别值得一提的是，它的多模态变体Qwen3.5-9B-VL支持图文输入理解，能够处理长达128K tokens的上下文信息。

这个教程将带你从零开始，一步步完成Qwen3.5-9B的部署和使用。即使你是刚接触大模型的新手，也能跟着这个指南顺利完成部署。

2. 环境准备

2.1 基础环境要求

在开始部署前，请确保你的系统满足以下要求：

• 操作系统：Linux（推荐Ubuntu 20.04或更高版本）
• Python版本：3.8或更高
• GPU：至少24GB显存（如NVIDIA A10G或RTX 3090）
• 内存：64GB或更高
• 存储空间：至少50GB可用空间

2.2 Conda环境配置

我们推荐使用Conda来管理Python环境：

# 创建conda环境
conda create -n torch28 python=3.10 -y

# 激活环境
conda activate torch28

# 安装基础依赖
pip install torch==2.8.0 transformers==5.0.0 gradio==6.0.0 huggingface_hub==1.3.0

3. 项目部署

3.1 项目结构

Qwen3.5-9B的项目结构如下：

/root/qwen3.5-9b/
├── app.py              # 主程序 (Gradio WebUI)
├── start.sh            # 启动脚本
├── service.log         # 运行日志
└── history.json        # 对话历史记录

3.2 快速启动服务

使用以下命令启动服务：

# 进入项目目录
cd /root/qwen3.5-9b

# 启动服务
bash start.sh

服务启动后，你可以通过以下方式访问：

• 本地访问: http://localhost:7860
• 网络访问: http://服务器IP:7860

4. 功能使用指南

4.1 文本对话

Qwen3.5-9B支持流畅的中英文对话：

1. 在输入框中输入你的问题或对话内容
2. 点击"Send"按钮或直接按回车键
3. 等待模型生成回复

4.2 图片分析

多模态能力是Qwen3.5-9B的一大亮点：

1. 点击右侧的"Upload Image"按钮上传图片
2. 在输入框中输入关于图片的问题（如"这张图片里有什么？"）
3. 点击"Send"获取模型的回答

支持的图片格式包括：JPEG、PNG、GIF、WEBP等。

4.3 参数调节

你可以调整以下参数来优化模型输出：

• Max tokens: 控制生成文本的最大长度（64-8192）
• Temperature: 采样温度，值越高输出越随机（0.0-1.5）
• Top P: 核采样阈值，值越低输出越确定（0.1-1.0）
• Top K: 采样候选数，值越少输出越确定（1-100）

5. 服务管理

5.1 Supervisor配置

我们使用Supervisor来管理服务进程。配置文件位于：

/etc/supervisor/conf.d/qwen3.5-9b.conf

典型配置如下：

[program:qwen3.5-9b]
command=/bin/bash /root/qwen3.5-9b/start.sh
directory=/root/qwen3.5-9b
environment=HOME="/root",USER="root",LOGNAME="root",SHELL="/bin/bash",PATH="/opt/miniconda3/envs/torch28/bin:/usr/bin:/bin"
user=root
autostart=true
autorestart=true
startsecs=30
startretries=3
redirect_stderr=true
stdout_logfile=/root/qwen3.5-9b/service.log
stopasgroup=true
killasgroup=true

5.2 常用管理命令

# 查看服务状态
supervisorctl status qwen3.5-9b

# 重启服务
supervisorctl restart qwen3.5-9b

# 停止服务
supervisorctl stop qwen3.5-9b

# 查看实时日志
tail -f /root/qwen3.5-9b/service.log

6. 常见问题排查

6.1 服务启动失败

如果服务无法启动，可以按照以下步骤排查：

1. 检查进程状态：supervisorctl status qwen3.5-9b
2. 查看最新日志：supervisorctl tail qwen3.5-9b
3. 确认conda环境是否正确激活
4. 检查模型文件是否存在

6.2 模型加载缓慢

由于模型文件较大（约19GB），首次加载可能需要2-3分钟。你可以：

1. 耐心等待模型完全加载
2. 检查GPU是否可用：nvidia-smi
3. 查看日志确认加载进度

6.3 端口冲突

如果7860端口被占用：

# 检查端口占用情况
ss -tlnp | grep 7860

# 查看占用进程
lsof -i :7860

7. 日常维护

7.1 清理对话历史

rm -f /root/qwen3.5-9b/history.json
supervisorctl restart qwen3.5-9b

7.2 日志管理

# 备份当前日志
cp /root/qwen3.5-9b/service.log /root/qwen3.5-9b/service.log.bak

# 清空日志
> /root/qwen3.5-9b/service.log

# 重启服务
supervisorctl restart qwen3.5-9b

8. 总结

通过本教程，你已经完成了Qwen3.5-9B多模态大模型的部署和使用。这个强大的模型不仅能处理文本对话，还能理解图片内容，为你的应用开发提供了更多可能性。

在实际使用中，你可以根据需求调整模型参数，或者开发更复杂的应用集成。如果遇到任何问题，可以参考本文的故障排查部分，或者查阅相关文档获取更多帮助。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。