从原始模型到MLX格式：DeepSeek-V4-Pro-Qwen3.5-4B-6bit量化转换全过程详解

凤瑶熠Paulette

324人浏览 · 2026-08-08 07:05:28

凤瑶熠Paulette · 2026-08-08 07:05:28 发布

从原始模型到MLX格式：DeepSeek-V4-Pro-Qwen3.5-4B-6bit量化转换全过程详解

【免费下载链接】DeepSeek-V4-Pro-Qwen3.5-4B-6bit 项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/DeepSeek-V4-Pro-Qwen3.5-4B-6bit

在AI大模型部署领域，模型量化转换是平衡性能与资源消耗的关键技术。本文将以DeepSeek-V4-Pro-Qwen3.5-4B-6bit模型为例，详细介绍如何将原始Pytorch模型转换为MLX格式并完成6bit量化，让普通用户也能轻松掌握这一过程。

为什么选择MLX格式与6bit量化？

MLX是专为Apple Silicon优化的机器学习框架，相比传统格式具有更快的推理速度和更低的内存占用。而6bit量化则通过精准的参数压缩，在保持模型性能的同时，将存储需求降低约70%。从项目配置文件config.json中可以看到，本次量化采用了affine模式和64的分组大小，这种组合能在精度损失最小化的前提下实现高效压缩。

准备工作：环境与工具安装

开始转换前，需确保系统已安装Python环境。通过以下命令安装最新版mlx-vlm工具：

pip install -U mlx-vlm

该工具集成了模型转换、量化和推理的全流程功能，是处理MLX格式模型的核心依赖。

核心步骤：一键式量化转换

1. 获取原始模型

首先克隆项目仓库，获取完整的模型文件结构：

git clone https://gitcode.com/hf_mirrors/mlx-community/DeepSeek-V4-Pro-Qwen3.5-4B-6bit

仓库中包含转换所需的配置文件，如configuration.json定义了模型框架和任务类型，tokenizer_config.json确保文本处理的一致性。

2. 执行量化转换命令

使用mlx-vlm提供的转换工具，通过一行命令完成从原始模型到6bit MLX格式的转换：

mlx_vlm.convert \
  --hf-path Jackrong/DeepSeek-V4-Pro-Qwen3.5-4B \
  --mlx-path DeepSeek-V4-Pro-Qwen3.5-4B-6bit \
  --quantize \
  --q-bits 6 \
  --q-group-size 64 \
  --q-mode affine

命令参数说明：

--q-bits 6：指定量化位数为6bit
--q-group-size 64：设置64的分组量化大小
--q-mode affine：采用仿射量化模式，提供更精准的数值映射

转换完成后，会生成MLX格式的model.safetensors文件，这就是量化后的模型权重。

验证转换结果：快速测试模型功能

转换完成后，可通过两种方式验证模型可用性：

文本/代码输入测试

python -m mlx_vlm.generate \
  --model mlx-community/DeepSeek-V4-Pro-Qwen3.5-4B-6bit \
  --max-tokens 512 \
  --temperature 0.2 \
  --prompt "Write a Python function that parses a JSONL file and counts records by label."

图像输入测试

python -m mlx_vlm.generate \
  --model mlx-community/DeepSeek-V4-Pro-Qwen3.5-4B-6bit \
  --max-tokens 512 \
  --temperature 0.0 \
  --prompt "Describe this image." \
  --image <path_to_image>

这两种测试分别验证了模型的文本处理和多模态能力，确保量化转换没有丢失核心功能。