Ollama下载模型太慢,可以直接使用国内镜像网站下载GUFF格式的模型文件,然后写个Modelfile导入Ollama就行

直接用HF-Mirror下载模型文件,搜索想下载的模型文件,直接搜该模型的GUFF文件,如下图

选择有一个你需要的版本直接下载到本地即可,加入你下载到这个位置,例如:

D:\AI\Models\Qwen3-8B-Q4_K_M.gguf

那么你就需要创建一个文件夹:

D:\AI\Models\
├─ Qwen3-8B-Q4_K_M.gguf
└─ Modelfile

其中 Modelfile 内容只有一行:

FROM ./Qwen3-8B-Q4_K_M.gguf

注意:文件名就叫 Modelfile, 没有 .txt,没有后缀,相当于新建了一个txt文档里面写入FROM ./Qwen3-8B-Q4_K_M.gguf 保存,然后重命名,模型和新建的这个modelfile文件在同一个文件夹下就行,不需要管ollama在哪。

完成上面的工作后,打开cmd进入这个文件夹下面:

cd D:\AI\Models

然后创建Ollama模型

ollama create qwen3 -f Modelfile

其中 上面的qwen3就是给模型起的名字,根据你的模型随便起,然后运行即可,到这里就全部弄完了:

ollama run qwen3

如果想要在ollama可视化界面里用 直接在可视化里面

创建modelfile的作用是什么 不能把gguf文件直接加载到ollama里面吗?

因为 Ollama 和 LM Studio 的设计思路不一样。LM Studio 可以直接:选择 GGUF 文件 → 加载 → 运行,不需要额外配置。

Ollama 不是直接管理 .gguf 文件,而是管理「模型」。在 Ollama 看来:

GGUF文件
   ↓
Modelfile(配置)
   ↓
ollama create
   ↓
Ollama模型

举个例子:你下载了Qwen3-8B-Q4_K_M.gguf   这只是一个权重文件。Ollama 还需要知道:

  • 模型叫什么名字
  • 默认系统提示词是什么
  • 上下文长度是多少
  • 温度参数是多少
  • 使用哪个 GGUF 文件

这些信息放在 Modelfile 里。

所以:GGUF ≠ Ollama模型   而是:GGUF + Modelfile = Ollama模型

为什么要这么设计?

因为同一个 GGUF 可以做出多个模型。例如:

Qwen3-8B-Q4_K_M.gguf

你可以创建:

ollama create qwen-chat
ollama create qwen-coder
ollama create qwen-translator

它们实际上都引用同一个 GGUF。区别只是SYSTEM提示词不同,参数不同。

当然上面这些都是很简单的一些我搜集到的资料,具体的一些细节可以根据读者的需求深入了解。

参考资料:Ollama 下载巨慢怎么办?清华镜像/国内源亲测汇总 - AI机器人讨论 - CocoLoop AI社区

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐