如何快速部署AMD Kimi-K2.5-MXFP4：vLLM推理引擎完整指南

【免费下载链接】Kimi-K2.5-MXFP4 项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2.5-MXFP4

AMD Kimi-K2.5-MXFP4是一款高性能的AI模型，本指南将帮助你快速掌握使用vLLM推理引擎部署该模型的方法，让你轻松开启高效AI推理之旅。

准备工作：环境搭建与依赖安装

在开始部署AMD Kimi-K2.5-MXFP4模型之前，需要先确保你的环境满足基本要求。首先，你需要克隆项目仓库，使用以下命令：

git clone https://gitcode.com/hf_mirrors/amd/Kimi-K2.5-MXFP4

安装vLLM推理引擎

vLLM是一款高效的推理引擎，能够显著提升模型的推理性能。由于Kimi-K2.5-MXFP4的相关特性已合并到vLLM的nightly版本中，因此需要安装nightly build的Docker镜像。使用以下命令安装vLLM：

uv pip install -U vllm \
    --torch-backend=auto \
    --extra-index-url https://wheels.vllm.ai/nightly

Kimi-K2.5-MXFP4模型logo

vLLM部署步骤：单节点部署示例

部署AMD Kimi-K2.5-MXFP4模型的过程非常简单，以下是在H200单节点上使用TP8进行部署的示例命令：

vllm serve $MODEL_PATH -tp 8 --mm-encoder-tp-mode data --trust-remote-code --tool-call-parser kimi_k2 --reasoning-parser kimi_k2

关键参数说明

• --tool-call-parser kimi_k2：启用工具调用功能时必需的参数。
• --reasoning-parser kimi_k2：Kimi-K2.5默认启用思考模式，传递此参数以确保正确处理推理内容。

其他部署方式：SGLang与KTransformers

除了vLLM推理引擎，AMD Kimi-K2.5-MXFP4还支持SGLang和KTransformers部署方式，以满足不同场景的需求。

SGLang部署

SGLang是另一种高效的推理框架，使用以下命令安装SGLang：

pip install "sglang @ git+https://github.com/sgl-project/sglang.git#subdirectory=python"
pip install nvidia-cudnn-cu12==9.16.0.29

在H200单节点上使用TP8部署的示例命令：

sglang serve --model-path $MODEL_PATH --tp 8 --trust-remote-code --tool-call-parser kimi_k2 --reasoning-parser kimi_k2

KTransformers部署

KTransformers支持CPU+GPU异构推理，以下是使用KTransformers+SGLang进行部署的命令：

python -m sglang.launch_server \
  --model path/to/Kimi-K2.5/ \
  --kt-amx-weight-path path/to/Kimi-K2.5/ \
  --kt-cpuinfer 64 \
  --kt-threadpool-count 2 \
  --kt-num-gpu-experts 180 \
  --kt-amx-method AMXINT4 \
  --trust-remote-code \
  --mem-fraction-static 0.98 \
  --chunked-prefill-size 16384 \
  --max-running-requests 48 \
  --max-total-tokens 50000 \
  --tensor-parallel-size 8 \
  --enable-p2p-check \
  --disable-shared-experts-fusion

部署注意事项与最佳实践

• 官方部署文档：docs/deploy_guidance.md
• 由于推理引擎仍在频繁更新，若要获得更好的推理性能，请持续关注官方主页的指导。
• 在部署过程中，确保正确设置模型路径（$MODEL_PATH），指向克隆的项目目录。

通过本指南，你可以快速部署AMD Kimi-K2.5-MXFP4模型，享受高效的AI推理体验。如果在部署过程中遇到问题，可以参考官方文档或社区资源获取帮助。

【免费下载链接】Kimi-K2.5-MXFP4 项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2.5-MXFP4