1. Linux安装

1.1 命令安装

curl -fsSL https://ollama.com/install.sh | sh

1.2 手动安装

curl -LO https://ollama.com/download/ollama-linux-amd64.tgz
sudo rm -rf /usr/lib/ollama
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

1.3 验证安装

ollama serve #运行服务
ollama -v #查看版本

3.运行模型

3.1 拉取并运行模型

#拉取远端llama3.1模型并运行
ollama run llama3.1

3.2 拉取后通过Modelfile创建

1. 拉取模型

ollama pull llama3.2

2. 创建Modelfile

FROM llama3.2

3. 创建并运行模型

ollama create mario -f ./Modelfile
ollama run mario
>>> hi
Hello! It's your friend Mario.

3.2 运行本地模型

ollama支持通过Modelfile引入GGUF模型

• 创建Modelfile
  新建一个Modelfile文件，添加如下内容即可

FROM ./vicuna-33b.Q4_0.gguf

• 创建一个模型

ollama create example -f Modelfile

• 运行模型

ollama run example

4. ollama常用命令

1. 创建模型

ollama create mymodel -f ./Modelfile

2. 拉取模型

ollama pull llama3.2

3. 删除模型

ollama rm llama3.2

4. 拷贝模型

ollama cp llama3.2 my-model

5. 多行输入

>>> """Hello,
... world!
... """
I'm a basic program that prints the famous "Hello, world!" message to the console.

6. 多模态模型

ollama run llava "What's in this image? /Users/jmorgan/Desktop/smile.png"

7. prompt作为参数传入

ollama run llama3.2 "Summarize this file: $(cat README.md)"

8. 显示模型信息

ollama show llama3.2

9. 显示模型列表

ollama list

10.停止当前运行的模型

ollama stop llama3.2

11.启动ollama服务

ollama serve

12.运行模型

ollama run llama3.2

13.查看当前加载的模型

ollama ps

5. REST API

5.1 生成一个响应

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt":"Why is the sky blue?"
}'

5.2 创建一个模型会话

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    { "role": "user", "content": "why is the sky blue?" }
  ]
}'