大语言模型_Ollama介绍

image-20241010174527439

Ollama简介

Ollama 是一个开源平台，它允许我们在本地机器上轻松设置和运行 LLM。它简化了下载、安装和与 LLM 交互的过程。

二、Ollama的核心特点

图片

  1. 易于安装和部署

    • Ollama 目标在于简化在 Docker 容器中部署大型语言模型的过程，使得非专业用户也能方便地管理和运行这些复杂的模型。

  2. 轻量级与可扩展

    • 作为轻量级框架，Ollama 保持了较小的资源占用，同时具备良好的可扩展性，允许用户根据需要调整配置以适应不同规模的项目和硬件条件。

  3. API支持

    • 提供了一个简洁的 API，使得开发者能够轻松创建、运行和管理大型语言模型实例，降低了与模型交互的技术门槛。

  4. 预构建模型库

    • 包含一系列预先训练好的大型语言模型，用户可以直接选用这些模型应用于自己的应用程序，无需从头训练或自行寻找模型源。

三、实际应用场景

  • 研究与开发：研究人员和开发人员可以使用Ollama在本地进行模型的训练和调试，以便更好地理解和改进模型。
  • 智能应用：开发人员可以利用Ollama为本地应用程序提供智能聊天功能，提高用户体验。
  • 教育与娱乐：在教育领域，Ollama可以用于创建互动式学习材料；在娱乐领域，则可以用于生成有趣的对话和故事。

四、结论

Ollama作为一个开源的大型语言模型服务工具，以其简洁易用的特性和高效运行的能力，为用户提供了强大的支持。通过Ollama，用户可以轻松地在本地部署和运行大型语言模型，无需复杂的设置和繁琐的配置。随着人工智能技术的不断发展，我们相信Ollama将在更多领域发挥重要作用，推动人工智能技术的普及和应用。

大语言模型Ollama_Linux下载安装

image-20241101111053468

执行安装命令

curl -fsSL https://ollama.com/install.sh | sh

image-20241101111253964

详细

[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
[Install]
WantedBy=default.target

通过Docker安装

image-20241101112737995

docker run -d -v /home/ollama:/root/.ollama -p 11435:11434 --name ollama ollama/ollama

参数：

  • 主机的/home/ollama文件夹映射到容器的/root/.ollama文件夹
  • 主机的11435端口映射到容器的11434端口

进入容器内部

docker exec -it ollama /bin/bash

查看ollama执行

ollama

命令：

ollama serve # 启动

ollama ollama create # 从模型文件创建模型

ollama show # 显示模型信息 

ollama run # 运行模型，会先自动下载模型 

ollama pull # 从注册仓库中拉取模型 

ollama push # 将模型推送到注册仓库 

ollama list # 列出已下载模型 

ollama ps # 列出正在运行的模型 

ollama cp # 复制模型 

ollama rm # 删除模型

windows安装后设置环境变量

大语言模型Ollama_大模型下载

下面介绍三种通过 Ollama 下载大模型到本地方式：

  1. 方式一：直接通过 Ollama 远程仓库下载，这是最直接的方式，也是最推荐、最常用的方式
  2. 方式二：如果已经有 GGUF 模型权重文件了，不想重新下载，也可以通过 Ollama 把该文件直接导入到本地（不推荐、不常用）
  3. 方式三：如果已经有 safetensors 模型权重文件，也不想重新下载，也可以通过 Ollama 把该文件直接导入到本地（不推荐、不常用）

远程仓库大模型列表

通过如下链接，进入ollama大模型仓库library

image-20241010175718758

通过命令执行下载并运行大模型

这里选择通义0.5b参数的模型：

下载命令

ollama pull 模型名字

image-20241010175925884

下载+运行命令

ollama run 模型名字

image-20241010180410574

测试—大模型对话

image-20241010180131896

大语言模型Ollama_命令

图片

Ollama作为一个开源的大型语言模型服务工具，提供了一系列的命令来帮助用户安装、配置、运行和管理大型语言模型。以下是一些基本的Ollama

展示本地大模型列表

ollama list

image-20241010175240042

可以看到，上述有 2 个大模型，它们的名称（NAME）分别为gemma2:9b和qwen2:7b。

删除单个本地大模型

ollama rm 本地模型名称

image-20241010175329193

通过rm命令删除了gemma2:9b大模型之后，再次通过list命令查看，本地只有qwen2:7b一个大模型了。

启动本地模型

ollama run 本地模型名

image-20241010175402090

启动成功之后，就可以通过终端对话界面进行对话了（本命令下面也会讲到，其他详细暂且忽略）

查看本地运行中模型列表

ollama ps

image-20241010175435652

通过ps命名可以看到，本地qwen2:0.5b大模型正在运行中。

对话指令详解

提⽰词⻆⾊

API 详解

Ollama 对客⼾端相关的命令也提供API操作的接⼝，⽅便在企业应⽤中通过程序类操作私有⼤模
型。

开通远程访问（Linux虚拟机）

为了在本机（开发环境）中能访问虚拟机中的 Ollama API ，我们需要先开通 Ollama 的远程访问
权限：
注意：如果使⽤本地Ollama，那地址就是127.0.0.1:11434

LobeChat与Ollama快速搭建ChatBot（聊天机器⼈）

在当前市场上有很多类似ChatGPT、通义、⽂⼼、星⽕等这样的对话⼤模型供我们使⽤，帮助我们快 速⾼效的完成⽇常的⼯作，但是对于⼀些企业来说，会存在⼀些数据安全的问题，因为您输⼊到⼤模 型中的内容，会进过内部训练，成为⼤模型的⼀部分数据。就⽐如《三星被曝ChatGPT泄露芯⽚机 密！韩媒：数据「原封不动」传美国》，三星员⼯把⼀些内部资料输⼊到ChatGPT，则ChatGPT拿 到这些资料后，经过训练成模型数据，这样全球⽤⼾就都可以访问到这个数据。 企业为避免类似的情况发⽣，可以采取部署企业私有⼤模型的⽅案来解决此问题，这就引出了接下要
学习的知识：搭建企业私有ChatBot（聊天机器⼈）。要完成这个知识需要先学习⼀个LobeChat的软 件，我们接下来看⼀下：

LobeChat是什么

LobeChat是⼀个基于现代化设计的开源 ChatGPT/LLMs 聊天应⽤与开发框架，可以⽤于快速搭建
ChatBot应⽤。
虚拟机使用docker安装
主界面

LobeChat集成Ollama

提示词prompt

Logo
AI Agent技术社区

Agent 垂直技术社区，欢迎活跃、内容共建。

更多推荐

AI Agent编排：复杂工作流的自动化实现

在深入探讨Agent编排之前，我们首先需要明确什么是AI Agent。AI Agent是一个能够感知环境、做出决策并采取行动的自主实体。感知模块：接收和处理环境信息推理/决策模块：基于感知信息进行思考和决策行动模块：执行具体的操作（如调用工具、生成文本）记忆模块：存储历史信息和知识通信模块：与其他Agent或系统进行交互Agent编排（Agent Orchestration）是指对多个Agent的

avatar AI Agent技术社区
cover

90%的人认为RAG和Agent分开做都不难，合在一起就废？可写简历:RAG+Agent合体全链路方案

avatar AI Agent技术社区
cover

阶跃星辰 StepAudio 3：五款语音模型一次放出，全双工对话拿下两个全球第一

avatar AI Agent技术社区