Ollama下载模型慢解决方案
Ollama下载模型太慢,可以直接使用国内镜像网站下载GUFF格式的模型文件,然后写个Modelfile导入Ollama就行
直接用HF-Mirror下载模型文件,搜索想下载的模型文件,直接搜该模型的GUFF文件,如下图


选择有一个你需要的版本直接下载到本地即可,加入你下载到这个位置,例如:
D:\AI\Models\Qwen3-8B-Q4_K_M.gguf
那么你就需要创建一个文件夹:
D:\AI\Models\
├─ Qwen3-8B-Q4_K_M.gguf
└─ Modelfile
其中 Modelfile 内容只有一行:
FROM ./Qwen3-8B-Q4_K_M.gguf
注意:文件名就叫 Modelfile, 没有 .txt,没有后缀,相当于新建了一个txt文档里面写入FROM ./Qwen3-8B-Q4_K_M.gguf 保存,然后重命名,模型和新建的这个modelfile文件在同一个文件夹下就行,不需要管ollama在哪。

完成上面的工作后,打开cmd进入这个文件夹下面:
cd D:\AI\Models
然后创建Ollama模型
ollama create qwen3 -f Modelfile
其中 上面的qwen3就是给模型起的名字,根据你的模型随便起,然后运行即可,到这里就全部弄完了:
ollama run qwen3
如果想要在ollama可视化界面里用 直接在可视化里面
创建modelfile的作用是什么 不能把gguf文件直接加载到ollama里面吗?
因为 Ollama 和 LM Studio 的设计思路不一样。LM Studio 可以直接:选择 GGUF 文件 → 加载 → 运行,不需要额外配置。
Ollama 不是直接管理 .gguf 文件,而是管理「模型」。在 Ollama 看来:
GGUF文件
↓
Modelfile(配置)
↓
ollama create
↓
Ollama模型
举个例子:你下载了Qwen3-8B-Q4_K_M.gguf 这只是一个权重文件。Ollama 还需要知道:
- 模型叫什么名字
- 默认系统提示词是什么
- 上下文长度是多少
- 温度参数是多少
- 使用哪个 GGUF 文件
这些信息放在 Modelfile 里。
所以:GGUF ≠ Ollama模型 而是:GGUF + Modelfile = Ollama模型
为什么要这么设计?
因为同一个 GGUF 可以做出多个模型。例如:
Qwen3-8B-Q4_K_M.gguf
你可以创建:
ollama create qwen-chat
ollama create qwen-coder
ollama create qwen-translator
它们实际上都引用同一个 GGUF。区别只是SYSTEM提示词不同,参数不同。
当然上面这些都是很简单的一些我搜集到的资料,具体的一些细节可以根据读者的需求深入了解。
更多推荐


所有评论(0)