AI的发展、大语言模型、部署云服务、本地部署、调用大模型、大模型应用、AI应用技术开发架构、Spring AI、对话机器人-快速入门
·
AI的发展
大语言模型

Transformer

模型部署
云服务
部署云服务需要先获取密钥
本地部署(模型部署)
ollama的一些命令
调用对应的命令下载并运行对应的模型
(未下载会直接拉取下载,已下载会直接运行;会记忆下载,如果下载速度减慢可以ctrl+c取消下载后,重新下载直到下载完成)

查看运行中的模型
调用大模型(调用云服务器需要有API Key)

客户端调用API
大模型应用
传统程序和AI大模型结合

大模型应用

AI应用技术开发架构
Prompt问答
Agent + Function calling
RAG
Fine-tuning(模型微调,需要完成部署模型,技术以及成本非常的高)
Spring AI 
对话机器人-快速入门
引入依赖
引入管理依赖
引入对应模型平台的starter依赖(此处是ollama,其他平台则换平台名字即可)

配置模型
配置基础地址、api-key和模型的名称,ollama是本地部署不需要api-key;此时配置好以后后续发请求时就不需要指定了

配置客户端
通过Bean配置客户端,类型为ChatClient是一个通用的客户端,以后对接任何一个平台都可以用;里面传入对应平台模型的参数(这里的参数从依赖里面传过来)
利用对应的模型参数构建客户端,将模型传给工厂就可以创建了。可以直接配置系统默认设定
用户提供提示词,调用.call方法获取返回的结果并使用.content方法解析结果
调用.stream流式输出

创建工程


引入的相关依赖的版本

引入lombok(有参,无参构造等使用),注意:千万不要用spring脚手架自动引入的lombok,可能会用不了,自己手动引入


配置(ollama)
配置客户端

写一个controller和前端对话(需要确保ollama是在运行中的)
阻塞式回答(思考完答案以后一次性得到结果)

测试效果
流式调用(一个一个答案生成)

测试
在requestMapping中设置响应结果的类型,解决回答显示乱码的问题


对话机器人-会话日志

配置和使用日志
在application中配置:logging:level:包的名字(root是所有的包都配置日志的级别(下面是debug级别),会记录很多日志)
下面为给该包下spring ai中的advison中的日志全都记录
如果要记录spring ai中其他包的日志,就将其他包加入即可,甚至可以将所选中的部分删除,将记录整个spring ai的内容
配置了spring ai包的日志级别,以及自己包的日志级别

所有的日志和其他的增强的功能都是通过环绕通知(即advisors)实现的
更多推荐

所有评论(0)