为什么选择 Ollama + ROCm 7.x

对于本地开发者而言，想在 AMD 显卡上跑大模型，过去往往意味着漫长的环境配置和无尽的编译报错。但随着 ROCm 7.x 的成熟，尤其是 Ollama 对 HIP 后端的原生支持，这一切变得简单多了。如果你手头有一张 Radeon RX 7900 系列显卡，或者搭载 Ryzen AI 的笔记本，完全可以在一小时内让 Llama 3 这样的主流模型跑起来。

相比于复杂的 vLLM 部署或需要手动编译 PyTorch 的方案，Ollama 的优势在于“开箱即用”。它屏蔽了底层驱动调用的复杂性，让我们能专注于模型本身的体验。而 LM Studio 则提供了另一种图形化的选择，适合不喜欢命令行的用户。本文将基于真实的实操经验，带你从零开始，在 AMD 平台上构建一个轻量级的大模型推理环境。

核心前提：驱动识别与环境变量

在运行任何命令之前，最关键的一步是确保系统正确识别了 GPU。很多新手遇到的"Ollama 调用不到显卡”问题，根源往往在这里。

首先，确认你的 Linux 发行版（推荐 Ubuntu 22.04 LTS）已安装 ROCm 7.x 驱动。安装完成后，不要急着装 Ollama，先运行 rocm-smi 命令。如果终端能清晰列出显卡的温度、显存使用率和频率策略，说明内核态驱动工作正常。如果提示命令不存在或报错，请先检查驱动安装步骤，切勿跳过此步。

接下来是重头戏：环境变量配置。这是 AMD 平台与 NVIDIA 平台最大的不同点。Ollama 默认可能不会自动调度所有 GPU，或者在多卡环境下识别混乱。我们需要通过 OLLAMA_HIP_VISIBLE_DEVICES 来明确指定设备。

假设你的系统中只有一张显卡，或者你只想用第一张卡，可以在终端执行：

export OLLAMA_HIP_VISIBLE_DEVICES=0

如果是多卡环境，比如你想让 Ollama 同时使用第 0 号和第 1 号显卡进行张量并行（虽然 Ollama 目前对多卡并行的支持不如 vLLM 完善，但显存叠加是有效的），可以设置为：

export OLLAMA_HIP_VISIBLE_DEVICES=0,1

注意：这个环境变量必须在启动 Ollama 服务之前设置。如果你是通过 systemd 服务运行的，需要修改 service 文件中的 Environment 字段；如果是直接在终端运行 ollama serve，则在当前终端窗口执行上述 export 命令即可。为了验证是否生效，可以在启动服务后，新开一个终端运行 ollama run llama3，然后回到第一个终端观察 rocm-smi 的显存变化，如果显存占用上升，说明配置成功。

快速启动：命令行下的 Llama 3 实战

环境就绪后，拉取模型的过程非常简单。Ollama 的模型库已经预编译好了针对 ROCm 优化的版本，无需我们手动下载 GGUF 文件再转换。

在终端中输入以下命令拉取 Llama 3 8B 模型：

ollama pull llama3

下载速度取决于你的网络状况。下载完成后，直接运行：

ollama run llama3

此时，你应该能看到模型加载的进度条。加载成功后，终端会进入交互模式，你可以直接输入问题，例如：“如何用 Python 写一个快速排序？”如果首字延迟（TTFT）在秒级以内，且生成流畅，说明推理引擎已正常工作。

对于进阶用户，如果想指定量化版本以节省显存，Ollama 也支持标签管理。例如，显存只有 16GB 的用户，可以优先尝试 4bit 量化版（如果官方 tag 支持），或者通过 Modelfile 自定义上下文长度，避免显存溢出。

图形化 vs 命令行：LM Studio 与 Ollama 的抉择

在 AMD 生态中，除了 Ollama，LM Studio 是另一个值得关注的工具，尤其是对于 Windows 用户或偏好图形界面的开发者。

LM Studio 的优势在于其直观的 UI。它允许用户直接在界面上搜索 HuggingFace 上的 GGUF 模型，一键下载并加载。对于不熟悉命令行参数、只想快速测试不同模型效果的用户来说，LM Studio 的体验非常友好。最新的实验性版本也开始支持 ROCm 后端，使得在 AMD 显卡上加载量化模型变得可视化。

然而，Ollama 在工程化方面更具优势。

1. 资源占用更低：作为纯后台服务，Ollama 没有图形界面的开销，更适合长期运行的本地 API 服务。
2. 集成更灵活：Ollama 天然提供 OpenAI 兼容的 API 接口，可以轻松对接 LangChain、Dify 等上层应用，而 LM Studio 虽然也有 API，但在稳定性和并发处理上略逊一筹。
3. 自动化程度高：通过脚本管理模型生命周期（pull/run/rm）在 Ollama 中更加顺畅。

选择建议：如果你只是想在本地偶尔聊聊天、测试新模型，LM Studio 的图形化操作会更轻松；如果你打算搭建本地的 AI 助手、开发 RAG 应用或将模型能力集成到自己的代码中，Ollama 是更稳健的选择。

常见坑点与排查思路

即便有了 ROCm 7.x，踩坑依然难以完全避免。以下是几个高频问题及解决方案：

• 问题一：模型加载后显存未变化，推理极慢

  • 原因：通常是 OLLAMA_HIP_VISIBLE_DEVICES 未设置或设置错误，导致 Ollama 回退到了 CPU 模式。
  • 解决：再次检查环境变量，并确保在启动 ollama serve 前执行 export。重启服务后观察日志，确认是否有 “using hip” 或类似的后端标识。

• 问题二：报错 “Illegal Instruction”

  • 原因：这通常发生在源码编译场景，但在使用预编译二进制时，可能是 CPU 指令集过老或驱动版本与内核不匹配。
  • 解决：确认 ROCm 驱动版本与内核版本兼容。对于消费级显卡，确保没有混用不同版本的 HIP 库。

• 问题三：显存溢出（OOM）

  • 原因：模型参数量过大或上下文窗口设置过长。
  • 解决：尝试更小参数的模型（如 Llama3-8B 而非 70B），或在运行命令时限制上下文：ollama run llama3 --num_ctx 2048。对于 24GB 显存的显卡，运行 8B 模型通常绰绰有余，但若要跑 70B 模型，必须使用高倍量化（如 Q4_K_M 甚至 Q2_K）或多卡并联。

通过上述步骤，你基本上可以在 AMD 平台上建立起一套可用的大模型推理环境。ROCm 生态正在快速进化，虽然相比 CUDA 仍有差距，但对于本地开发和隐私敏感型应用，AMD 显卡配合 Ollama 已经是一个极具性价比的可行方案。

200小时GPU算力已就位，快来领取：https://marketing.csdn.net/questions/Q2604140858304426315?utm_source=AIpaper