Qwen3-VL-Reranker-8B部署教程：WSL2环境Windows本地快速体验指南

1. 环境准备

1.1 WSL2安装与配置

如果你还没有安装WSL2，可以按照以下步骤操作：

1. 以管理员身份打开PowerShell
2. 运行命令：wsl --install
3. 重启电脑完成安装
4. 安装完成后，在Microsoft Store中搜索并安装Ubuntu 22.04 LTS

1.2 系统要求检查

确保你的Windows系统满足以下最低要求：

• Windows 10 2004或更高版本
• 16GB内存（推荐32GB）
• 8GB显存（推荐16GB）
• 30GB可用磁盘空间

2. 基础环境配置

2.1 安装Python和依赖

在WSL2的Ubuntu终端中执行以下命令：

sudo apt update && sudo apt upgrade -y
sudo apt install python3.11 python3.11-venv python3.11-dev -y

2.2 创建Python虚拟环境

python3.11 -m venv qwen-env
source qwen-env/bin/activate

3. 安装模型依赖

3.1 安装PyTorch

根据你的显卡选择安装命令：

# NVIDIA显卡
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

# AMD显卡
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm5.6

3.2 安装其他依赖

pip install transformers==4.57.0 gradio==6.0.0 scipy pillow qwen-vl-utils==0.0.14

4. 下载并运行模型

4.1 获取模型文件

你可以通过以下方式获取模型：

1. 从官方仓库下载
2. 使用Hugging Face的snapshot_download

python -c "from huggingface_hub import snapshot_download; snapshot_download(repo_id='Qwen/Qwen3-VL-Reranker-8B', local_dir='Qwen3-VL-Reranker-8B')"

4.2 启动Web UI

进入模型目录并启动服务：

cd Qwen3-VL-Reranker-8B
python3 app.py --host 0.0.0.0 --port 7860

5. 使用指南

5.1 Web界面使用

1. 在Windows浏览器中访问：http://localhost:7860
2. 点击"加载模型"按钮初始化模型
3. 在输入框中输入查询文本
4. 上传或输入待排序的文档/图片/视频
5. 点击"排序"按钮获取结果

5.2 Python API调用示例

from scripts.qwen3_vl_reranker import Qwen3VLReranker
import torch

model = Qwen3VLReranker(
    model_name_or_path="Qwen3-VL-Reranker-8B",
    torch_dtype=torch.bfloat16
)

# 文本排序示例
inputs = {
    "instruction": "Find relevant documents about pets",
    "query": {"text": "A woman playing with her dog"},
    "documents": [
        {"text": "A woman and dog on beach"},
        {"text": "A cat sleeping on sofa"},
        {"text": "Children playing in park"}
    ]
}

results = model.process(inputs)
print(results)

6. 常见问题解决

6.1 模型加载慢

首次加载模型可能需要较长时间，这是正常现象。你可以：

1. 确保有足够的可用内存（至少16GB）
2. 检查网络连接是否稳定
3. 使用--device cpu参数先测试CPU模式

6.2 显存不足

如果遇到显存不足的问题：

1. 尝试减小batch size
2. 使用torch_dtype=torch.float16代替bfloat16
3. 关闭其他占用显存的程序

6.3 端口冲突

如果7860端口被占用：

python3 app.py --port 7861

7. 总结

通过本教程，你已经成功在WSL2环境下部署了Qwen3-VL-Reranker-8B模型，并可以通过Web界面或Python API使用它的多模态重排序功能。这个强大的工具可以帮助你：

• 实现文本、图像、视频的混合检索
• 对搜索结果进行智能重排序
• 构建更精准的搜索系统

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。