Qwen2.5-VL-72B-Instruct-quantized.w8a8震撼发布：终极视觉语言模型的INT8量化革命

万桃琳

356人浏览 · 2026-06-03 08:36:31

万桃琳 · 2026-06-03 08:36:31 发布

Qwen2.5-VL-72B-Instruct-quantized.w8a8震撼发布：终极视觉语言模型的INT8量化革命

【免费下载链接】Qwen2.5-VL-72B-Instruct-quantized.w8a8 项目地址: https://ai.gitcode.com/hf_mirrors/nm-testing/Qwen2.5-VL-72B-Instruct-quantized.w8a8

Qwen2.5-VL-72B-Instruct-quantized.w8a8是由Neural Magic推出的革命性INT8量化视觉语言模型，基于Qwen/Qwen2.5-VL-72B-Instruct架构优化而来。该模型通过创新的W8A8量化技术，在保持99.96%以上精度恢复率的同时，实现了1.87倍部署速度提升和1.85倍成本降低，为企业级视觉语言应用带来了性能与效率的双重突破。

什么是INT8量化技术？

INT8量化是一种将模型权重和激活值从32位浮点数压缩为8位整数的模型优化技术。Qwen2.5-VL-72B-Instruct-quantized.w8a8采用了先进的GPTQ算法，通过以下创新实现了精度与性能的平衡：

权重量化（W8）：将模型权重压缩至8位整数，减少75%内存占用
激活量化（A8）：动态量化激活值，确保推理过程中的数值稳定性
选择性量化：对视觉模块关键层（如visual.blocks.*）保持高精度，优先量化语言解码器部分

从config.json的量化配置可见，该模型采用了对称量化策略和通道级量化方案，在recipe.yaml中明确指定了"scheme: W8A8"的量化参数，确保在压缩的同时最小化精度损失。

令人惊叹的性能表现

精度几乎无损的量化奇迹

在视觉语言任务评估中，Qwen2.5-VL-72B-Instruct-quantized.w8a8展现了令人难以置信的精度保持能力：

任务类型	原始模型	量化模型	精度恢复率
VQAv2视觉问答	81.94	81.91	99.96%
DocVQA文档理解	94.71	94.71	100.00%
MMMU多模态推理	64.33	67.56	105.02%
平均视觉任务得分	81.62	82.00	100.46%

特别值得注意的是，在复杂的MMMU推理任务中，量化模型甚至实现了5.02%的精度提升，证明了Neural Magic量化技术的先进性。

部署效率的飞跃

量化后的模型在硬件资源需求和推理速度上实现了质的飞跃：

GPU需求减半：原始模型需要4张A100显卡，量化版仅需2张即可运行
单流推理加速：文档问答任务实现1.87倍速度提升，从6.4秒减少至7.0秒（在减半GPU数量情况下）
成本显著降低：A100环境下每美元查询数从78提升至143，成本降低1.85倍

多流异步部署场景下，量化模型的吞吐量提升更为显著，在A100x4环境中，视觉推理任务的QPS（每秒查询数）从1.1提升至2.0，实现了81.8%的性能提升。

简单三步快速上手

1. 克隆模型仓库

git clone https://gitcode.com/hf_mirrors/nm-testing/Qwen2.5-VL-72B-Instruct-quantized.w8a8
cd Qwen2.5-VL-72B-Instruct-quantized.w8a8

2. 安装依赖环境

确保安装vLLM 0.5.2及以上版本以支持INT8量化推理：

pip install vllm>=0.5.2 transformers torch

3. 运行推理示例

使用vLLM快速部署量化模型，以下是处理图片问答的示例代码：

from vllm.assets.image import ImageAsset
from vllm import LLM, SamplingParams

# 加载模型
llm = LLM(
    model="./",  # 当前目录
    trust_remote_code=True,
    max_model_len=4096,
    max_num_seqs=2,
)

# 准备输入
question = "图片中包含什么内容？"
inputs = {
    "prompt": f"<|user|>\n<|image_1|>\n{question}<|end|>\n<|assistant|>\n",
    "multi_modal_data": {
        "image": ImageAsset("your_image_path.jpg").pil_image.convert("RGB")
    },
}

# 生成回答
outputs = llm.generate(inputs, SamplingParams(temperature=0.2, max_tokens=64))
print(f"回答: {outputs[0].outputs[0].text}")