1.注册大模型

比如我们这里使用deepseek 或者 openai 。官网上一般有开发者中心。注册后拿到apikey就可以使用了。

因为消耗token是要消费的,建议小额充值

2下载ollama 和 私有化部署deepseek r1

2.1 首先我们来到这个网站https://www.ollama.com,去下载ollma这个软件

ollama是什么?

开源软件,  就是用来在我们的PC或者服务器上来实现这样的一个模型自托管的这么一个

东西啊.  个人理解是像apache 和 nginx 这类容器

2.2 下载适合你的大模型

由于ollama 已经集成了一部分开源的大模型在它的远程仓库中,我们直接拉取就行

这里我们以拉取deepseek r1 为例

下载好后我们运行大模型,运行大模型速度 对硬件有要求

ollama run deepseek-r1:7b

这样我们就进入与大模型的对话框:

其他命令:

ollama list  #列出容器里有那些大模型

/bye  退出

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐