以往的博客内容不一样，这里我首先是建议大家评估自己的本地环境和硬件条件，确认最适合自己本地的模型。尤其是当GPU显卡不多，或者是配置不太给力的情况下，为了确保模型的可用性，建议还是往小了选型，优先保障性能。常规的tokens速度如果只有个十几二十的，体验会很差。我这里使用一张5090D，运行BF16的Qwen3-Code-Next，在长对话里大约是40 tokens/s的速率，这个已经是略显缓慢了。

安装KTransformer
不要着急下载模型，先把环境弄好，下载模型其实把任务挂在那里就可以了。理论上来说，安装KTransformer就是把最新的仓库clone下来之后一键执行就可以了：

$ ./install.sh
但是我建议是在Conda环境中运行，创建一个python3.10或者python3.11的虚拟环境，再进行安装部署。如果中间遇到Github相关的网络问题，可以把相应的第三方仓库地址替换为Gitee上边的镜像版。或者自己在Gitee建仓，拉取最新版本的代码。

安装完成后可以通过如下代码进行校验：

$ python3 -m pip show sglang-kt
$ kt version
这两个都正常显示了才说明安装成功了。

模型下载
前面提到，在模型下载之前，要做一个模型的选型。如果是显卡不太充裕的环境，不是很建议直接上全量的DeepSeek大模型，而且有些硬件对于量化版本的支持并不是很好，反而是BF16原生的格式支持的比较好。那么这种场景下，Qwen系列其实会是一个不错的选择。那么就可以找一个用于存放模型的路径，然后执行：

$ modelscope download --model Qwen/Qwen3-Coder-Next --local_dir ./
然后就等待模型下载完成就好了。

模型加载
这里加载模型的服务，比较推荐的是直接使用sglang来加载：

$ nohup python3 -m sglang.launch_server
–host 0.0.0.0
–port 30000
–model /path_to/Qwen3-Coder-Next
–kt-weight-path /path_to/Qwen3-Coder-Next
–kt-cpuinfer 32
–kt-threadpool-count 1
–kt-num-gpu-experts 48
–kt-method BF16
–kt-gpu-prefill-token-threshold 4096
–attention-backend triton
–trust-remote-code
–mem-fraction-static 0.85
–chunked-prefill-size 16384
–max-running-requests 5
–max-total-tokens 32768
–served-model-name Qwen3-Coder-Next
–enable-mixed-chunk
–tensor-parallel-size 1
–tool-call-parser qwen3_coder
–kt-enable-dynamic-expert-update
–cuda-graph-max-bs 64
–allow-auto-truncate > sglang.log 2>&1 &
这里用的是后台服务启动的方法，相关的运行结果都会保存到sglang.log日志文件中。这里关于参数配置，主要需要注意的是kt-cpuinfer、kt-num-gpu-experts、kt-method、mem-fraction-static这几个。如果配置不当，有可能导致服务直接挂掉。配置的参数也会影响到运行的性能，配置的原则就是，在服务可以正常运行的前提条件下，kt-num-gpu-experts越大则越快。

服务正常启动之后，可以在本地进行一个测试：

$ curl -s http://xxx.xxx.xxx.xxx:30000/v1/chat/completions
-H “Content-Type: application/json”
-d ‘{
“model”: “Qwen3-Coder-Next”,
“messages”: [{“role”: “user”, “content”: “Hello! What can you help me with?”}],
“stream”: false
}’
{“id”:“xxx”,“object”:“chat.completion”,“created”:xxx,“model”:“Qwen3-Coder-Next”,“choices”:[{“index”:0,“message”:{“role”:“assistant”,“content”:“Hello! 😊 I’m here to help with a wide range of things—here are just a few examples:\n\n- Answering questions (science, history, tech,日常生活, etc.)\n- Writing assistance (essays, stories, emails, scripts, creative ideas)\n- Coding help (debugging, explanations, snippets in Python, JavaScript, etc.)\n- Learning support (math, languages, concepts explained clearly)\n- Problem solving (logic puzzles, math problems, planning)\n- Brainstorming & brainstorming (names, projects, content ideas)\n- Logic & reasoning (truth tables, probability, decision analysis)\n- Language translation & practice (grammar, vocabulary, conversation)\n- Explaining complex topics (like quantum mechanics, neural networks, or tax law—simplified!)\n\n…and much more! What would you like to explore or work on today? 🌟”,“reasoning_content”:null,“tool_calls”:null},“logprobs”:null,“finish_reason”:“stop”,“matched_stop”:151645}],“usage”:{“prompt_tokens”:17,“total_tokens”:210,“completion_tokens”:193,“prompt_tokens_details”:null,“reasoning_tokens”:0},“metadata”:{“weight_version”:“default”}}
如果有类似于上述返回内容的就是说明模型可以正常运行了。

绑定cline
因为Qwen系列的模型虽然不大，但是在Vibe Coding方面做的不错，所以这里也介绍一下如何将部署好的Qwen模型配置到AI编程框架中。如果只是想要一个普通的对话，可以参考之前的这篇文章进行配置。需要注意的是，这里KTransformer用的是OpenAI的字段。

先从VSCode商城里边找到cline这个插件，点击安装，然后左侧菜单栏里边最底下会有个cline的机器人图标，点击图标进入cline的配置界面：

供应商选择OpenAI Compatible：

BASE URL填http://xxx.xxx.xxx.xxx:30000/v1，然后API KEY随便填一些内容，MODEL ID填Qwen3-Coder-Next，或者是在本地拉起模型时所用的模型名称。完成这些参数的配置后就可以开始正式使用了：

然后可以发一些简单的测试语句，确认模型是否可以正常运行：

第一次响应比较慢，从第二次开始就会变得快很多：

从后台日志中可以查看到相应的请求：

[2026-06-25 14:35:03] INFO: xxx.xxx.xxx.xxx:xxxxx - “POST /v1/chat/completions HTTP/1.1” 200 OK
[2026-06-25 14:35:04] Prefill batch, #new-seq: 1, #new-token: 331, #cached-token: 11392, full token usage: 0.36, mamba usage: 0.04, #running-req: 0, #queue-req: 0, input t
hroughput (token/s): 134.93, cuda graph: False
[2026-06-25 14:35:04] Decode batch, #running-req: 1, #full token: 11726, full token usage: 0.36, mamba num: 2, mamba usage: 0.04, cuda graph: True, gen throughput (token/s
): 0.50, #queue-req: 0
那么因为我们的核心目的是使用它来做一个辅助编程，所以可以测试下它的agentic功能：