2025 年注定是 Agent 爆发之年，但是在 2024 年竞争最激烈的非编程助手莫属，从 Github Copilot 到 Cursor 再到 WindSurf，程序员是最热衷于使用智能体的群体。

但是以上产品需要联网，需要付费，或者即使免费也有额度的限制，我们国内也有很多产品，不仅免费，而且有些产品是开源的。今天就以智谱 AI 的 CodeGeex4 为例，搭建一个离线本地的编程助手，整体体验下来，我认为效果堪比 Cursor、Copilot 等商业软件，但也仍有一些不足。

我们准备人机交互界面（VSCode）+LLM（CodeGeex4）+环境（Ollama）来搭建。

首先介绍使用开源 LLM，CodeGeex4 目前已经迭代到第四个版本，模型大小为 9B，这个参数量做到了性能和离线之间的一种平衡，在我 16G 的macOS 使用这个大小参数的模型性能完全足够，但如果使用十几亿或者百亿参数的开源模型，对性能的消耗过于巨大。

智谱将这个模型称为目前参数量少于 100 亿的最强代码生成模型，这也符合大模型➡️小模型的思路，很多时候我们不需要一个全知全能的大模型，我们需要一个能够足够 Cover 当前任务的 LLM 即可。

性能上，9B 的 CodeGeex4 在HumanEval 上的表现超过了 70B 参数的 llama3，对于这么小的参数量来说已经非常不错。

如何在本地电脑使用，对于新手来说推荐使用 Ollama，Ollama 是一个开源框架，专门设计用于在本地运行大语言模型。

Ollama 的安装和运行都无需撰写复杂代码，只需要在本地安装后，后台运行，Ollama 会自动在 11434 端口运行服务。

以我的 macbook 为例，在官网下载并安装 Ollama 后会自动驻留在后台，windows 用户要小心设置模型下载路径，方便以后管理，否则默认都下载在 C 盘。

下载模型也很简单，只需要运行 ollama run codegeex4 命令即可。

以上两步完成后，本地电脑就具备了编程 Agent 能力，但是我们要如何使用？

以 VSCode 为例，在插件广场安装，或者通过官网安装后，我们打开插件，在插件右上角选择离线模式。

然后将大模型服务地址和模型名称填入，点击连接进行测试即可，这样我们就完成了在本地，离线部署CodeGeex4 智能编程助手。

下面让我具体来体验一下，比如我们以https://codegeex.cn/官网为例，我们想要获取这个页面中所有文本信息。

我们使用简单的提示词工程，告诉大模型我们要构建一个 python 程序以及目标网站，本地大模型的优势就是速度非常快，秒级生成结果。然后我们点击新文件。

结果中首先要求我们通过 pip 安装所需要的包，然后点击新文件即可自动生成代码文件，（我的机器上安装了 python 环境，这一步也是通过询问 CodeGeex4 完成，没有的话需要创建 python 环境，推进使用 python 虚拟环境，VSCode 会自动设置）通过运行代码。

目前 CodeGeex4 有个不足的地方，就是不像 Cursor 或者 Github Copilot 那样，自带了代码对比和补全功能，需要自行进行修改。

以 github copilot 为例来对比，代码生成后可以点击合并按钮，会自动完成对比合成，你只需要点击 Accept是否接受即可，CodeGeex4 上没有找到这个功能，目前只有复制和插入，插入会直接拷贝，需要人工进行整合修改。

但是从两者的输出结果来看，CodeGeex4 给出的解决方案和 Copilot 基本完全一致，两者一个是 9B 部署在我本地机器上的智能体，另一个是在线的智能体，从成本的角度来看，CodeGeex4 可以说是完胜。

但是，这个简单的代码并没有获取到任何中文内容。猜想最大可能是网站部署了反爬功能，那么能否让大模型就这个问题检测一下呢？

可以很明显看到，CodeGeex4 给出的答案只是满足了能否联通，但是 Copilot 给出更加详细的指标。

从这个角度可以猜测本地模型相比闭源的大模型在性能上还是稍显不足。

我们接着再让两个大模型帮我写几个排序算法，并试图让他们画出算法流程图。

可以看到，本地的 CodeGeex4 模型理解能力稍逊一筹，他给出的是算法的文字描述，Copilot 给出的直接的代码。

但只要我们多问一句，就能获得每种排序算法的 Python 实现（再目前阶段，提示词工程依然有效，也许有一天，AI 编程真的完全能理解需求，完全自主编程）

同样的，虽然都无法直接作图，但是 Copilot 更加进一步的给出了一种文字+箭头的算法流程描述，有一种很贴心的感觉，虽然我画不了图，但是我尽量理解老板需求，并给出一个解决方案。

以上只能算是使用编程智能体助手的一些玩法，让我看看在实际生产工作中，能帮到我们多少。

在使用上，CodeGeex4 的插件不如 Copilot 顺畅，比如，Copilot 可以直接挂接文档，但是 CodeGeex4 需要通过全选代码来完成挂接。

在结果上，在完全不给予足够提示词的情况下，开源的大模型还是无法和闭源大模型相比，左边的 CodeGeex4 理解的结果不能使用，但是 Copilot 能够基本上正确分解代码，并识别没断代码的作用。

总结

我们通过几次不同的尝试，简单的体验了本地编程助手和知名编程助手的区别，可以看到效果上还是有些差距的。

这一是我没有使用 CodeGeex4 的在线版本，二是本身就目前阶段来讲，开源大模型性能确实还无法比得上闭源大模型。

但风起于青萍之末，我相信未来我们国内的大模型一定会做的更加本土化，性能更好。

而商业公司选择将强力的模型开源，不仅是勇气也是自信，相信未来借助社区和开源的力量，开源也能和闭源平分秋色。

走向 AIGC 的道路虽然艰难，但随行者众。我们也一定能做出好的产品。

​

AI大模型学习路线

如果你对AI大模型入门感兴趣，那么你需要的话可以点击这里大模型重磅福利：入门进阶全套104G学习资源包免费分享！

扫描下方csdn官方合作二维码获取哦！

这是一份大模型从零基础到进阶的学习路线大纲全览，小伙伴们记得点个收藏！

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

100套AI大模型商业化落地方案

大模型全套视频教程

200本大模型PDF书籍

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

LLM面试题合集

大模型产品经理资源合集

大模型项目实战合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓