默认情况下,模型的上下文窗口大小可能是 2048,这意味着模型在处理任务时只能“记住”最近的 2048 个 token(约 1500-2000 个单词)。虽然这个设置对于大多数简单任务已经足够,但在处理复杂任务时,它可能会成为性能瓶颈。

快速开始!

这里假设你拉取的模型是 qwen2.5:32b【不清楚的可以使用指令ollama list查看】,随便找个自己记得的目录,运行以下命令导出 Modelfile文件

ollama show --modelfile qwen2.5:32b > Modelfile

 ②

进入增加此行【这里 32768 是你想要的上下文窗口大小。你可以根据需要调整这个值。】

PARAMETER num_ctx 32768

③ 

使用修改后的 Modelfile 创建一个新模型。例如:

ollama create qwen2.5:32b -f Modelfile

运行大模型

ollama run qwen2.5:32b

以上配置完成就可以有超强上下文能力啦!快去试试吧

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐