啥意思??让你电脑达到以下效果,如图:

不废话,直接开始:

第一步:下载ollama

官网: https://ollama.com/https://ollama.com/download/windows

第二步:安装ollame

双击下载的OllamaSetup.exe,无脑安装

第三步:获取大模型文件

3.1 点击下图的Models按钮

3.2 到达ollame平台所有大模型列表,搜索我们中国阿里开发的qwen2.5,如图:点进去

3.3 进入千问后,如下图,现在需要你选择一个参数量的版本,越下,参数量越大,所需服务器性能越高,我们16G 32G的家用笔记本一般选7b的即可(默认是7b,但是你需要切换下)这样右边的命令参数才会变,复制右边的命令ollama run qwen2.5:7b

第四步,下载qwen2.5

打开命令窗口,执行ollama run qwen2.5:7b(这里会在C盘消耗你十几个G的空间),

如图(等它全部下载完,我这个图片是之前已经下载完了,直接就可以对话聊天了)

第五步:利用Docker安装open-webui(web图形化聊天)

5.1 在Windows安装Docker,官网:https://www.docker.com/(可能要翻墙),然后如图点击下载docker

5.2 下载后的Docker Desktop Installer.exe,双击无脑安装,然后打开第一次打开docker,它会提示你注册登录,也可以跳过

5.3 找到open-webui的项目代码,官网:https://github.com/open-webui/open-webui  网页搜索how to Install,然后往下一点,找到如图的命令:点击复制

5.4 打开命令行窗口,执行以上复制的命令,如图:

5.5 等它全部下载complete后,打开docker的控制台,如图点击3000端口即可:

第六步:完成,我们可以愉快的跟AI聊天了!

6.1 你先选择你自己的安装的大模型,如图,然后点击左上角 主菜单

6.2 就可以问问题了!完成!!!

      后续我会再出文阐述,公司搭建自己AI私服的意义、怎么把个性化的知识库投喂给本地AI私服等

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐