零 Token 进行 AI Coding,是一种绕过传统 API 调用计费模式的编程范式:它不依赖云端大模型按量付费的 Token 消耗,而是通过本地部署轻量级模型;这种方式不仅规避了网络延迟与隐私泄露风险,更把 AI 从“按需召唤的黑盒”变成了“随取随用的本地工具链”,让开发者在无感知消耗的前提下,依然能享受AI Coding带来的效率红利。

一、安装ollama

gpu参考:基于龙蜥anolis在gpu上通过docker部署ollama推理自定义模型

cpu参考:基于龙蜥anolis在cpu上通过docker部署ollama推理自定义模型

二、选择并下载模型

通过 ollama 官网选择 coder 类型的模型,本文将使用qwen2.5-coder。

ollama pull qwen2.5-coder:1.5b

三、安装vscode

通过vscode官网进行下载对应版本的 vscode,并进行安装。

四、安装Code GPT插件

1、点击插件 --> 2、搜索 codegpt --> 3、选中点击 codegpt,并点击安装

五、配置并使用

1、点击 codegpt --> 2、选择你的AI --> 3、选择提供方 --> 4、选择自定义

1、填入模型 --> 2、点击连接

1、填入token --> 2、填入连接地址 --> 3、点击连接

token:sk-local

连接地址:http://0.0.0.0:11434/v1/chat/completions

状态:已连接

验证并使用

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐