【Agent智能体】10RAG知识库
第01章:RAG-搭建企业私有/个人知识库
一、RAG的理解
掌握RAG的核心概念和工作原理。
RAG(检索增强生成):一种让AI更聪明的技术。简单说就是AI在回答问题之前,先去知识库里查资料,找到相关内容后再组织语言回答。就像开卷考试,可以翻书找答案,回答更准确可靠。
大模型幻觉:AI有时会一本正经地胡说八道,编造不存在的信息。RAG通过给AI提供准确的外部资料,减少这种胡编乱造的情况。
向量数据库:专门用来存储向量的数据库。向量是文本或图片转换成的一串数字,用来表示内容的含义。相似的内容向量距离近,这样就能快速找到相关资料。
第一步:用户提出问题
第二步:系统将问题转换成向量,去向量数据库里找最相似的内容
第三步:把找到的相关资料和用户问题一起交给大模型
第四步:大模型基于提供的资料生成准确答案
二、知识库平台对比
了解不同知识库搭建平台的特点和适用场景。
Cherry Studio:桌面端的AI助手软件,适合个人快速搭建知识库。操作简单,支持多模型对话,数据可以保存在本地。
ima:腾讯出品的知识库工具,支持多端同步(电脑、手机、小程序),可以用微信提问,适合日常使用。
Dify:开源的AI应用开发平台,功能强大,支持团队协作、权限控制、API集成,适合从个人使用到企业级交付。
RAGFlow:专注于复杂文档解析的RAG引擎,对PDF、表格、扫描件等复杂格式的处理效果更好,适合对文档解析质量要求高的场景。
第一步:明确自己的需求(个人用还是团队用、文档类型、预算等)
第二步:个人轻量级需求选Cherry Studio或ima
第三步:需要团队协作和应用化交付选Dify
第四步:处理复杂文档(大量PDF、表格混排)选RAGFlow
三、Cherry Studio搭建知识库
掌握用Cherry Studio快速搭建个人知识库的方法。
嵌入模型(Embedding Model):把文字转换成向量的模型。不同的嵌入模型效果不同,有的擅长中文,有的擅长英文。选择时要根据知识库内容的语言来选。
第一步:下载并安装Cherry Studio客户端
第二步:注册硅基流动账号,获取API密钥(有免费额度)
第三步:在Cherry Studio中配置API密钥,选择大语言模型
第四步:添加嵌入模型(用于将文档内容向量化)
第五步:创建知识库,上传文档(支持多种格式)
第六步:测试知识库,提问验证效果
四、ima搭建知识库
掌握用ima搭建知识库的方法。
第一步:下载ima客户端或直接使用网页版,用微信登录
第二步:新建知识库,给知识库起个名字
第三步:导入本地文件(文档、图片等)或添加公众号文章
第四步:基于知识库提问,AI会结合知识库内容回答
第五步:在不同设备上同步查看和使用知识库
五、Dify搭建知识库
掌握用Dify构建私有知识库的方法。
分段(Chunking):把长文档切成一段段小文本。因为大模型一次能处理的文字有限,分段后可以把最相关的几段找出来给AI看。
Top-K召回:从知识库里找出和用户问题最相关的前K条内容。K值越大,给AI的参考资料越多,但也会带来越多噪音。
相似度阈值:设置一个门槛,只有相似度超过这个值的文档片段才会被选中。门槛太高可能找不到资料,太低可能找来不相关的内容。
第一步:在Dify中创建新的知识库
第二步:上传知识库文件(支持TXT、PDF、Word等多种格式)
第三步:配置分段设置(分段大小、重叠长度、分段标识符)
第四步:选择索引方式(高质量模式或Q&A模式)
第五步:配置检索设置(选择Embedding模型、Rerank模型、Top-K值、相似度阈值)
第六步:保存并处理,等待系统完成文档解析和向量化
第七步:创建聊天助手,关联知识库,测试问答效果
更多推荐


所有评论(0)