1.准备ollama环境

Ollama

2.模型下载和启动

选择自己需要的版本

本次验证,直接使用的默认q4量化版本

只需要一张4090

ollama run qwq:32b

3.模型启动和测试体验

这里用到的就是三个简单的问题

1.9.9 和 9.11 哪个更大?

2.单词 “strawberry” 中有多少个字母 “r”?

3.李白的风格写一首七言绝句

通过ollama启动的qwq

回答结果没有任何问题

prompt eval rate 560 token/s

eval rate 32 token/s

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐