DeepSeek-R1-0528-MXFP4-v2震撼发布：AMD MI350平台上的终极MXFP4量化LLM方案

【免费下载链接】DeepSeek-R1-0528-MXFP4-v2 项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2

DeepSeek-R1-0528-MXFP4-v2是基于DeepSeek-R1-0528模型，通过AMD-Quark工具进行MXFP4量化优化的先进大语言模型方案，专为AMD MI350/MI355平台打造，实现了高性能与高效率的完美平衡。该模型采用创新的OCP MXFP4量化技术，在保持卓越推理精度的同时，显著提升了AMD硬件平台上的运行效率。

🌟 核心技术亮点

🔹 突破性MXFP4量化技术

该模型采用静态权重量化与动态激活量化相结合的MXFP4量化方案，通过AMD-Quark V0.10优化工具实现：

• 权重量化：OCP MXFP4格式静态量化
• 激活量化：OCP MXFP4格式动态量化
• 量化分组大小：32
• 校准数据集：Pile验证集

🔹 专为AMD架构优化

深度适配AMD MI350/MI355硬件平台，配合ROCm 7.0软件栈实现最佳性能：

• 支持SGLang和vLLM推理引擎
• 优化的PyTorch 2.8.0和Transformers 4.53.0适配
• Linux操作系统环境

🚀 性能表现与评估

🔍 基准测试结果

在AIME24和GSM8K基准测试中，该模型展现了卓越的推理能力：

基准测试	DeepSeek-R1-0528-MXFP4-v2 (非MTP)	DeepSeek-R1-0528-MXFP4-v2 (MTP=3)
AIME24	80.00%	83.33%
GSM8K	95.00%	95.30%

评估使用lm-evaluation-harness框架进行，MTP（Multi-Task Prompting）技术进一步提升了复杂推理任务的性能

⚡ 高效部署能力

通过SGLang服务部署可实现高并发推理：

• 支持8路张量并行
• 最大并发请求数：64
• 预填充块大小：131072
• 内存静态分配比例：0.8

📋 快速开始指南

🔧 模型准备

# 克隆仓库
git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2
cd DeepSeek-R1-0528-MXFP4-v2

🚀 启动SGLang服务

#!/bin/bash
MODEL=/models/amd/DeepSeek-R1-0528-MXFP4-v2
LOG="sglang-serving.log"

SGLANG_AITER_MLA_PERSIST=1 \
python3 -m sglang.launch_server \
--model-path $MODEL \
--tensor-parallel-size 8 \
--trust-remote-code \
--chunked-prefill-size 131072 \
--host 0.0.0.0 \
--port 8321 \
--disable-radix-cache \
--mem-fraction-static 0.8 \
--max-running-requests 64 \
--attention-backend aiter 2>&1 | tee $LOG

🔬 运行评估示例

# AIME24评估
lm_eval --model local-completions \
    --model_args model=/models/amd/DeepSeek-R1-0528-MXFP4-v2,base_url=http://0.0.0.0:8321/v1/completions,num_concurrent=999999,timeout=999999,tokenized_requests=False,max_length=32000,temperature=0.6,top_p=0.95 \
    --tasks aime24 \
    --num_fewshot 0 \
    --gen_kwargs "do_sample=True,temperature=0.6,top_p=0.95,max_tokens=32000" \
    --batch_size auto 2>&1 | tee aime24.log

# GSM8K评估
lm_eval --model local-completions \
    --model_args model=/models/amd/DeepSeek-R1-0528-MXFP4-v2,base_url=http://0.0.0.0:8321/v1/completions,num_concurrent=256,max_retries=10,max_gen_toks=2048,tokenized_requests=False \
    --tasks gsm8k \
    --num_fewshot 5 \
    --batch_size auto 2>&1 | tee gsm8k.log

🧩 技术架构解析

🔍 模型配置

该模型基于DeepseekV3架构，关键参数包括：

• 隐藏层维度：7168
• 注意力头数：128
• 隐藏层数量：61
• 中间层维度：18432
• MoE中间层维度：2048
• 路由专家数量：256
• 每token专家数：8
• 最大序列长度：4096

详细配置可参考configuration_deepseek.py文件。

🔧 量化流程

模型量化需先将原始FP8模型转换为BFloat16格式，可使用预转换模型amd/DeepSeek-R1-0528-BF16或转换脚本：

# 量化脚本示例
cd Quark/examples/torch/language_modeling/llm_ptq/
exclude_layers="*lm_head model.layers.61.*"
python3 quantize_quark.py --model_dir $MODEL_DIR \
                         --quant_scheme w_mxfp4_a_mxfp4 \
                         --group_size 32 \
                         --num_calib_data 128 \
                         --exclude_layers $exclude_layers \
                         --skip_evaluation \
                         --multi_gpu \
                         --model_export hf_format \
                         --output_dir amd/DeepSeek-R1-0528-MXFP4-v2

📄 许可证信息

修改部分Copyright(c) 2025 Advanced Micro Devices, Inc. 保留所有权利。 基础模型基于MIT许可证发布。

📚 相关资源

• 模型架构代码：modeling_deepseek.py
• 配置文件：config.json
• 量化工具：AMD-Quark
• 推理引擎：SGLang/vLLM

【免费下载链接】DeepSeek-R1-0528-MXFP4-v2 项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2