Cogito-v1-preview-llama-3B部署教程：Ubuntu+Ollama+NVIDIA驱动一站式配置

想体验一个在编码、数学和通用对话上都表现不俗的3B小模型吗？Cogito v1预览版可能就是你的菜。它号称在同等规模的开源模型中表现突出，支持128K超长上下文，还能在“直接回答”和“先思考再回答”两种模式间切换。

今天，我们就来手把手教你，如何在Ubuntu系统上，通过Ollama这个神器，把Cogito-v1-preview-llama-3B模型跑起来。整个过程就像搭积木，我们会从系统环境、显卡驱动，一路配置到模型拉取和对话测试。跟着步骤走，半小时内你就能拥有自己的本地AI助手。

1. 准备工作：检查你的“装备”

在开始动手之前，我们先看看需要准备些什么。这就像出门旅行前要确认带齐证件和行李一样。

1.1 硬件与系统要求

首先，确保你的电脑满足以下最低要求：

• 操作系统：Ubuntu 20.04 LTS 或更高版本（本文以Ubuntu 22.04为例）。
• 处理器（CPU）：建议4核以上。
• 内存（RAM）：至少8GB，16GB或以上体验更佳。
• 显卡（GPU）：这是关键。你需要一块NVIDIA显卡（显存建议4GB以上，例如GTX 1650, RTX 2060等），因为我们将利用GPU来加速模型推理，速度会比纯CPU快很多。
• 存储空间：至少10GB可用空间，用于安装驱动、Ollama和模型。

1.2 软件环境准备

打开你的终端（快捷键 Ctrl+Alt+T），我们一步步来。

首先，更新一下系统的软件包列表，确保我们安装的是最新版本的软件：

sudo apt update

接下来，安装一些后续步骤可能会用到的工具，比如用于通过HTTPS访问仓库的 ca-certificates 和下载文件的 curl：

sudo apt install -y ca-certificates curl

好了，基础环境准备完毕。接下来，我们要解决最重要的部分——显卡驱动。

2. 安装NVIDIA显卡驱动

显卡驱动是让GPU干活的“说明书”。没有它，你的强大显卡在AI计算面前就是一块砖头。Ollama需要正确的驱动才能调用GPU。

2.1 推荐安装方法：使用官方PPA仓库

这里推荐使用Ubuntu社区维护的 graphics-drivers PPA来安装，它通常能提供较新且稳定的驱动版本。

1. 将PPA仓库添加到你的系统：

   sudo add-apt-repository ppa:graphics-drivers/ppa -y
   

2. 再次更新软件包列表，以包含新添加仓库中的驱动信息：

   sudo apt update
   

3. 查找可用的NVIDIA驱动版本。你可以运行以下命令查看推荐安装的版本：

   ubuntu-drivers devices
   

   输出中会列出兼容你显卡的驱动版本，并标出一个推荐版本（例如 driver : nvidia-driver-535 - third-party non-free recommended）。
4. 安装推荐的驱动版本（请根据上一步的输出，将 535 替换为你的推荐版本号）：

   sudo apt install -y nvidia-driver-535
   

5. 安装完成后，必须重启计算机以使驱动生效。

   sudo reboot
   

2.2 验证驱动安装

重启后，再次打开终端，输入以下命令来验证驱动是否安装成功以及GPU是否被系统识别：

nvidia-smi

如果安装成功，你会看到一个表格，显示了你的GPU型号、驱动版本、CUDA版本（如果安装了）以及当前的GPU使用情况。看到这个界面，恭喜你，驱动关卡已过！

3. 安装Ollama

Ollama是一个强大的工具，它能让你像在应用商店下载App一样，轻松地获取和运行各种大语言模型。它帮你处理了模型下载、环境配置等繁琐步骤。

安装Ollama非常简单，只需一行命令：

curl -fsSL https://ollama.com/install.sh | sh

这条命令会从Ollama官网下载安装脚本并自动执行。安装完成后，Ollama服务会自动启动。

你可以通过以下命令检查Ollama服务状态，确保它正在运行：

sudo systemctl status ollama

如果看到 active (running) 的字样，说明服务运行正常。

4. 拉取并运行Cogito-v1-preview-llama-3B模型

万事俱备，只欠模型。现在让我们把主角——Cogito模型请到本地。

4.1 拉取模型

在终端中执行以下命令。Ollama会自动从模型库中查找并下载名为 cogito:3b 的模型。

ollama pull cogito:3b

下载时间取决于你的网络速度，模型大小约2GB左右。下载过程中，终端会显示进度条。

4.2 运行模型并与它对话

模型拉取完成后，就可以直接运行并开始交互了：

ollama run cogito:3b

执行这个命令后，你会进入一个对话界面，终端提示符会变成 >>>，这意味着模型已经在等待你的指令了。

现在，你可以尝试问它一些问题：

• “用Python写一个快速排序函数。”
• “解释一下什么是量子计算。”
• “给我讲个笑话。”

输入你的问题，按回车，模型就会开始生成回答。第一次运行时，模型需要一点时间加载到GPU内存中，后续的响应速度就会快很多。

如何退出对话？ 在 >>> 提示符下，输入 /bye 或按下 Ctrl+D 即可退出交互模式，回到普通的终端命令行。

5. 进阶使用与常见问题

基本的跑通已经完成了。这里再分享几个小技巧，帮你用得更好。

5.1 以服务模式运行（后台运行）

如果你希望模型在后台长期运行，可以通过服务模式启动：

ollama serve

这个命令会让Ollama以服务形式运行。之后，你可以通过Ollama提供的API（默认端口11434）与其他程序（比如你自己的Python脚本、Chatbot前端等）进行交互，而不是仅限于终端对话。

5.2 使用OpenAI兼容的API

Ollama提供了一个与OpenAI API格式兼容的接口，这对于那些已经适配了OpenAI API的应用来说非常方便。启动服务后，你可以像调用OpenAI一样调用本地模型。

例如，使用 curl 命令进行测试：

curl http://localhost:11434/api/generate -d '{
  "model": "cogito:3b",
  "prompt": "为什么天空是蓝色的？",
  "stream": false
}'

5.3 可能遇到的问题

• ollama 命令未找到：安装完成后，有时需要重启终端或手动刷新一下环境变量，可以执行 source ~/.bashrc 或重新打开一个终端窗口。
• 下载模型速度慢：由于网络原因，拉取模型可能会比较慢。请确保你的网络连接畅通，目前没有特别好的国内镜像加速，耐心等待即可。
• GPU内存不足：如果模型加载失败或报内存错误，可能是你的显卡显存不足。可以尝试在运行命令时添加 --num-gpu 0 参数来强制使用CPU运行（速度会慢很多）：ollama run cogito:3b --num-gpu 0。
• 如何查看已下载的模型：运行 ollama list 命令。

6. 总结

好了，我们来回顾一下今天完成的事情。我们从零开始，在Ubuntu系统上成功部署了Cogito-v1-preview-llama-3B模型。整个过程分为三个清晰的步骤：首先是打好基础，安装了必需的NVIDIA显卡驱动，让GPU能全力工作；然后，我们请来了“管理员”Ollama，它让模型管理变得像下载软件一样简单；最后，我们轻松地拉取并启动了Cogito模型，还和它进行了第一次对话。

这套组合——Ubuntu提供稳定的系统环境，Ollama简化了复杂的部署流程，再加上Cogito这样一个能力均衡的轻量级模型——非常适合个人开发者、学生或者任何想低成本探索大模型能力的爱好者。你不再需要昂贵的API调用费用，也不用担心数据隐私，一切都在你自己的电脑上运行。

现在，你的本地AI助手已经就位。无论是让它帮你写段代码、解答技术问题，还是进行创意写作，都可以尽情尝试了。探索的过程中如果遇到问题，别忘了有详细的日志和活跃的社区可以求助。动手试试，感受一下本地运行大模型的魅力吧。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。