1. 配置

vscode launch.json中按下面配置

{
    // 使用 IntelliSense 了解相关属性。 
    // 悬停以查看现有属性的描述。
    // 欲了解更多信息，请访问: https://go.microsoft.com/fwlink/?linkid=830387
    "version": "0.2.0",
    "configurations": [

        {
            "name": "Python 调试程序: 当前文件",
            "type": "debugpy",
            "request": "launch",
            // "program": "4_vllm_demo.py",

            "module": "vllm.entrypoints.openai.api_server",
            "args": [
                "--model", "/data1/huf/Qwen2.5-1.5B-Instruct"
            ],

            "console": "integratedTerminal",
            "justMyCode": false,
            "env": {
                "CUDA_VISIBLE_DEVICES": "7"
            }
        }
    ]
}
# vscode # python # ide
Logo
AI Agent技术社区

Agent 垂直技术社区，欢迎活跃、内容共建。

更多推荐

mlx-community/DeepSeek-V4-Pro-Qwen3.5-9B-4bit：终极4bit量化多模态模型震撼登场！一文看懂核心优势

mlx-community/DeepSeek-V4-Pro-Qwen3.5-9B-4bit是一款基于MLX框架的4bit量化多模态模型，它从Jackrong/DeepSeek-V4-Pro-Qwen3.5-9B转换而来，专为Apple Silicon设备优化，能高效处理文本、图像和视频等多种输入类型，为用户带来强大的多模态AI体验。## 🚀 核心优势解析### 极致高效的4bit量化技术

avatar AI Agent技术社区

Qwen3-VL-8B-Instruct-w8a8-llmcompressor-v0.12.0背后的技术：LLM Compressor如何实现40%模型压缩

Qwen3-VL-8B-Instruct-w8a8-llmcompressor-v0.12.0是一款融合视觉与语言能力的多模态大模型，通过LLM Compressor技术实现了40%的模型压缩，在保持高性能的同时显著降低了部署门槛。本文将深入解析这一压缩技术的核心原理与实现细节，帮助开发者快速掌握模型优化的关键方法。## 为什么模型压缩至关重要？大模型的参数量往往达到数十亿甚至上万亿级别，

avatar AI Agent技术社区

Qwen3.6-27B INT4 AutoRound完整指南：如何在消费级GPU上运行27B多模态大模型

Qwen3.6-27B INT4 AutoRound是一个革命性的量化版本，通过先进的INT4量化技术将原54GB的Qwen3.6-27B多模态大模型压缩至仅18GB，同时保留了完整的图文理解能力和MTP推测解码功能。这个开源项目让开发者和AI爱好者能够在单张RTX 5090等消费级GPU上高效运行27B参数的多模态模型，实现了高性能与低硬件门槛的完美平衡。🚀## 🔍 项目核心特性与技术亮

avatar AI Agent技术社区