怎样在本地部署大模型并搭建知识库(利用ollama、DeepSeek和CherryStudio)
很多人用AI久了发现,如果只是简单的使用对话,只不过相当于用了一个更好用的搜索引擎。如果使用AI帮我们梳理本地已有的资料进行写出计划方案总结,我们会发现,无论你怎么样改变你的提示语,AI总还是不如你的真人助手那样能理解你的表达意图,甚至于他还会捏造一些虚假数据糊弄你,还会捏造一些事实或人、时、事、地、物关系让你哭笑不得。因为是“免费的午餐”,所以不合胃口也理所应当。如果想私人定制合乎自己胃口的Ai大模型,往往需要价格不菲的付费。
有没有既不用花钱,又能够实现个性化使用ai大模型本地部署方案呢?尝试了一下,我利用ollama、DeepSeek和CherryStudio本地部署了大模型并搭建了知识库,具体的操作流程、操作方法和注意事项分享给朋友们。
前排提示,文末有AI大模型CSDN独家籽料包哦!
我们一般非专业人士的电脑配置都不是很高,我的电脑也是没有独立显卡的。只有集成显卡。大家一般使用的电脑都可以采用这一套方案。

安装ollama
首先要明白:为什么要安装ollama这个平台呢?打个比方,ollama就像是房子,大模型就像是机器,我们必须把机器放在车间里才能运行使用,因为车间才有配套的供电、照明、传送带等。部署本地的大模型都不是一个双击就可以运行的可执行文件,必须放在本地安装的平台上运行使用,当然这个平台上也可以放置其它的一些大模型。我们进到“车间”才可以使用大模型。

进入ollama的官方网站,网址是ollama.com

点击下方的下载按钮

选择一下电脑操作系统类型,我选windows,然后点击下载按钮。跟其它程序文件一样,默认下载安装在C盘,因为没有可选择,所以想放在其它硬盘还不行。我的电脑C盘是固态硬盘,空间足够,所以就直接安装到C盘。
如果右上角弹出提示,就选择保留,下载需要很长时间,一般十几个小时,不是电脑或网速的问题,而是下载出口拥挤所致。

虽然只有970M,但是要下载十几小时,也许因为我们的局域网限制了下载网速。

下载好了以后,打开文件夹的安装文件,点击安装按钮进行安装,这个就比较快了。看进度条知道安装进度,完成安装之后,桌面上并不会出现任何图标。怎么知道安装成功了呢?

我们可以从命令行查看:同时按下键盘的win和R键,在“打开”后面对话框输入cmd,回车,进入命令窗口。

我们在闪动光标处输入ollama -v就可以了,注意是ollama加空格加-v,回车就可以看到所安装ollama的版本序列号,就表明已经安装成功了。

有了奥拉玛ollama这一个“大车间”(大仓库、大平台),我们就比较方便使用“机器”大模型了。我们每次电脑一开机,ollama就会在后台自动运行。就像我们一开电脑就打开了车间大门一样。在电脑任务栏的图标里就会出现这个ollama图标小羊驼头像。

继续打开ollama网站,点击models打开大模型菜单,可以看到很多大模型,就像是机器展销会场一样。我们可选用放进这个“车间”的大模型有很多。我选deepseek-r1

根据个人电脑配置选择“型号”,我选择的是7b,有4.7GB。实际上如果想要一个“不太傻”的大模型,就必须要32b以上的。1.5b只能是体验一下,“深度思考”的深度实在不敢恭维。再点击右边的复制命令,回到命令窗口

在闪动的光标处击右键就自动粘贴命令了,回车,自动下载,deepseek的“机器组件”就陆续进入ollama车间里。

在命令行输入问题,我们就可以开始对话了,这就表明我们已经可以使用本地部署的大模型deepseek-r1了。但是这种方法使用起来很不方便,也不能调用我们自己的已有资料,所以就需要进行下一步——搭建知识库。
搭建知识库
我也曾通过其它方式搭建过知识库,但是比较起来还是使用Cherry-Studio搭建知识库比较好用。

首先我们进入Cherry-Studio官网(网址:https://cherry-ai.com),直接下载比较好,不建议网盘下载,避免又让你下载安装其它东西。下载完成之后运行Cherry-Studio

终端安装好Cherry-Studio后,桌面上就会出现Cherry-Studio的图标快捷方式,以后再使用Cherry-Studio就可以直接打开了。

我们也要把Cherry-Studio的模型装进本地ollama车间。回到ollama网页点击Models后在搜索栏输入bge搜索

还是跟前面一样的操作,直接点击复制命令,进入终端命令行粘贴命令(win+R,输入cmd,回车,光标处右击粘贴),回车即可。看下载进度条,等待下载完成

我们点击桌面图标打开CherryStudio电脑端,点击设置,看到很多大模型,又一次进入展销会的感觉,我们把ollama右边的选项打开;再把右上角ollama后面的按钮打开;把bge和deepseek嵌入进去。

点击左边“知识库”,点击“添加”,在“添加知识库”对话框填写新建知识库名称,“嵌入模型”选择ollama,这样我们就可以将本地资料上传到知识库了

支持TXT, MD, HTML, PDF, DOCX, PPTX, XLSX, EPUB... 格式,还可以将网站、目录或个人笔记列入知识库。

现在我们就可以基于自己的知识库跟大模型对话了。选择我们的助手大模型,再选择知识库。一般我们会建立多个知识库,所以每次对话要选择相应知识库,以便于大模型准确调取你的资料。如果使用的体验感不是很好的话,主要会是两个原因:电脑配置太低或者模型版本参数太低。

在CherryStudio电脑端链接了很多小程序,即点即用,很是方便。

在CherryStudio电脑端上传过的文件也可以即点即用,也可以进行编辑或删除。

Cherry-Studio集结了很多其他的AI模型,如果你有API key就可以切换调用其它模型。
有人会问:为什么选择这套部署方案而不采用ima知识库?主要是相对而言这套方案更加安全可靠,本地资料保密性更好。ima共享知识库我也在用,下一篇推文把搭建使用方法分享给大家。
如何学习AI大模型 ?
“最先掌握AI的人,将会晚掌握AI的人有竞争优势,晚掌握AI的人比完全不会AI的人竞争优势更大”。 在这个技术日新月异的时代,不会新技能或者说落后就要挨打。
老蓝我作为一名在一线互联网企业(保密不方便透露)工作十余年,指导过不少同行后辈。帮助很多人得到了学习和成长。
我是非常希望可以把知识和技术分享给大家,但苦于传播途径有限,很多互联网行业的朋友无法获得正确的籽料得到学习的提升,所以也是整理了一份AI大模型籽料包括:AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、落地项目实战等 免费分享出来。
AI大模型学习路线图
100套AI大模型商业化落地方案
100集大模型视频教程
200本大模型PDF书籍
LLM面试题合集
AI产品经理资源合集

大模型学习路线
想要学习一门新技术,你最先应该开始看的就是学习路线图,而下方这张超详细的学习路线图,按照这个路线进行学习,学完成为一名大模型算法工程师,拿个20k、15薪那是轻轻松松!

视频教程
首先是建议零基础的小伙伴通过视频教程来学习,其中这里给大家分享一份与上面成长路线&学习计划相对应的视频教程。文末有整合包的领取方式

技术书籍籽料
当然,当你入门之后,仅仅是视频教程已经不能满足你的需求了,这里也分享一份我学习期间整理的大模型入门书籍籽料。文末有整合包的领取方式

大模型实际应用报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。文末有整合包的领取方式

大模型落地应用案例PPT
光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。文末有整合包的领取方式

大模型面试题&答案
截至目前大模型已经超过200个,在大模型纵横的时代,不仅大模型技术越来越卷,就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道,我总结了大模型常考的面试题。文末有整合包的领取方式

领取方式
这份完整版的 AI大模型学习籽料我已经上传CSDN,需要的同学可以微⭐扫描下方CSDN官方认证二维码免费领取! 
。
更多推荐

所有评论(0)