为什么ollama对超长文本会进行自动摘要呢?

Ollama作为一个大模型的部署工具,为了提高它的运行效率,把一些配置参数固定死了。因此，不能完整的使用到大模型的真正的功能，例如：有32k上下文的大模型，通过Ollama部署运行后，若输入的文本超过2048K，模型就会返回文本摘要。其实不是大模型本身会对超长文本进行自动摘要，是因为Ollama内置了默认的2048K的上下文窗口，限制了大模型对于长文本的能力。

如何释放大模型长文本能力

  1. 查看大模型的模型信息（这里以llama3.3:70b为例）
ollama show llama3.3:70b

在这里插入图片描述
可以看到llama3.3:70b的上下文长度为128K

  1. 查看大模型的Modelfile文件信息

在ollama中每一个大模型都有对应的Modelfile文件,如果是直接拉ollama上的模型的话,Modelfile是看不到的,因此想要覆盖Modelfile上的配置信息的话,就得自己新建一个Modelfile文件,并且复制原来的Modelfile文件的内容,再原来的基础上增加num_ctx这个参数来增大上下文窗口

ollama show llama3.3:70b --modelfile

可以看到Modelfile的内容了,复制下来
在这里插入图片描述

  1. 创建Modelfile文件
vim Modelfile

粘贴刚才复制的内容上去,并且找到PARAMETER并且再增加一个PARAMETER num_ctx 131072

  1. 覆盖llama3.3:70b原来的Modelfile配置
ollama  create  llama3.3:70b -f Modelfile

这样就可以让Modelfile生效了

完整以上步骤,大功告成了!!!

# 人工智能 # AIGC # 深度学习
Logo
AI Agent技术社区

Agent 垂直技术社区，欢迎活跃、内容共建。

更多推荐

cover

从 curl 通到项目跑通：DeepSeek API 接入的 5 个坑

avatar AI Agent技术社区

DeepSeek总结的展望 Postgres 19：查询提示

文章摘要： Postgres 19 将引入查询提示功能，通过新增的 pg_plan_advice 和 pg_stash_advice 模块实现。这一功能结束了 Postgres 社区长期以来的争论，为 DBA 提供了优化查询的灵活工具。pg_plan_advice 允许通过 GUC 或独立存储区设置建议，约束而非替代规划器的决策，确保错误建议能优雅降级。pg_stash_advice 则支持将建议

avatar AI Agent技术社区

DeepSeek总结的使用 Docker 对 PostgreSQL 进行 Beta 测试

本文介绍了如何使用Docker容器测试PostgreSQL 19 Beta 1版本。作者详细说明了通过Docker构建预发布镜像的步骤，包括获取适合操作系统的Docker版本和使用docker buildx命令构建特定版本。文中演示了启动容器、连接数据库以及测试PostgreSQL 19的新功能，如pg_stat_lock视图、pg_plan_advice扩展和pg_stat_statements

avatar AI Agent技术社区