从入门到精通：一文搞懂大模型的 Prompt Engineering、Function Calling、RAG 与 Fine-tuning
在当今科技飞速发展的时代，大模型已经成为人工智能领域的核心力量。从智能语音助手到智能写作工具，从图像生成到复杂问题求解，大模型的身影无处不在。然而，要充分发挥大模型的潜力，我们需要掌握一系列关键技术，其中 Prompt Engineering（提示工程）、Function Calling（函数调用）、RAG（检索增强生成）与 Fine-tuning（微调）尤为重要。接下来，让我们深入探索这些技术，从入门逐步走向精通。
一、Prompt Engineering（提示工程）
Prompt Engineering 即提示工程，是指设计和优化输入给大型语言模型（LLM）的文本提示（Prompt）的过程。这些精心设计的提示，旨在引导 LLM 生成符合我们期望的、高质量的输出。在实际应用中，它就像是给大模型下达清晰指令的艺术，通过巧妙构造提示，让大模型准确理解我们的需求。
图：Prompt Engineering
Prompt Engineering的核心要素在于通过明确的指示、相关的上下文、具体的例子以及准确的输入来精心设计提示，从而引导大语言模型生成符合预期的高质量输出。
图：Prompt Engineering
-
指示（Instructions）：这是提示的关键部分，要明确告诉模型需要执行的任务或生成的内容类型。例如，在要求模型写一篇文章时，清晰说明文章的主题、体裁、风格等。像 “以科普风格，撰写一篇 1000 字左右关于人工智能发展历程的文章”，这样的指示让模型清楚知道目标。
-
上下文（Context）：为模型提供与任务相关的背景信息。比如，若要模型分析某一商业案例，提供该企业的行业背景、近期市场动态等信息，能帮助模型更好地理解任务，生成更贴合实际的分析。
-
例子（Examples）：给出具体示例，展示期望的输出格式或风格。例如，让模型生成产品推广文案时，可以提供一些优秀的推广文案范例，模型能依据这些例子，把握文案的结构、语言风格和重点突出的内容，从而生成更符合要求的文案。
-
输入（Input）：提供任务的具体数据或信息，这是模型生成输出的基础。如让模型进行数据分析，需提供准确的数据表格或相关数据描述。
-
输出（Output）：虽然输出不是Prompt Engineering的直接组成部分，但它是Prompt设计的最终目标。通过不断优化Prompt，我们可以引导模型产生更加符合期望的输出。
图：Prompt Engineering
二、Function Calling（函数调用）
什么是Function Calling？在生成式AI的上下文中，函数调用通常指的是LLM在生成响应时，能够识别并执行特定的函数或API调用，以获取额外的信息或执行特定的任务。
函数调用增强了LLM的扩展性和实用性，使其能够跨越语言模型的边界，与数据库、Web服务等外部系统无缝交互，从而提供更加全面和实时的信息。
图：Function Calling
Function Calling在智能助手和自动化流程中的应用场景中，LLM通过调用外部API或预设函数来集成多样化服务与复杂操作，以满足用户请求并自动化执行流程。
- 在构建智能助手时，LLM可能需要根据用户的请求调用外部服务（如天气查询API、数据库查询等），并将结果整合到其响应中。
- 在自动化流程中，LLM可以通过调用预设的函数来执行一系列复杂的操作，如数据处理、文件生成等。
Function Calling
以查询天气为例，以下是LLM调用外部天气API的具体流程：
- 用户输入：用户向LLM询问“今天北京的天气怎么样？”
- 理解需求：LLM解析用户输入，识别出用户的意图是查询天气。
- 决定是否使用工具：LLM判断需要调用外部天气API来获取准确信息。
- 准备调用信息：LLM生成调用天气API所需的参数，如城市（北京）和日期（今天）。
- 发送请求：LLM将调用信息封装成HTTP请求，发送给天气API。
- 接收响应：天气API返回当前北京的天气信息给LLM。
- 结合结果进行回复：LLM解析天气信息，并生成易于理解的回复给用户，如“今天北京天气晴朗，温度25°C，适宜外出。”
Function Calling
三、RAG（检索增强生成）
什么是RAG？ RAG（Retrieval Augmented Generation，检索增强生成）是一种结合检索和生成的技术，旨在提高LLM在生成响应时的准确性和信息量。它通过从外部知识库中检索相关信息，并将这些信息作为LLM生成响应的额外输入。
- 精准检索：RAG通过信息检索技术，从大规模的文档集合或知识库中检索出与给定输入最相关的信息。这种检索方式比传统的关键词匹配更加精准，能够捕捉到更丰富的上下文信息。
- 高效检索：RAG利用索引和检索算法，如向量数据库和查询检索器，快速地从文本数据中提取相关内容。这大大提高了信息检索的效率，使得模型能够在短时间内处理大量数据。
RAG
RAG在学术写作与新闻摘要/报告生成中，助力LLM（大型语言模型）精准检索最新可靠信息，确保内容权威性与时效性。
- 在学术写作中，RAG可以帮助LLM从大量文献中检索相关引用和论据，从而生成更加权威和详尽的论文。
- 在新闻摘要或报告生成中，RAG可以确保LLM生成的内容基于最新的、可靠的信息源。
RAG
以处理关于“最新科技趋势”的新闻摘要为例，RAG新闻摘要/报告生成的示例流程：
-
用户输入：用户向RAG系统请求一份关于“最新科技趋势”的新闻摘要。
-
理解需求：RAG系统解析用户输入，识别出用户的意图是获取关于最新科技趋势的新闻摘要。
-
准备检索条件：RAG系统根据用户请求，准备检索条件，如关键词“最新科技趋势”、时间范围（如最近一周）等。
-
执行检索：
- RAG系统将这些检索条件输入到新闻检索API中。
- 检索API从新闻数据库中检索出与“最新科技趋势”相关的新闻文章。
- 这些文章被返回给RAG系统，作为生成摘要的候选材料。
- 信息筛选与融合：
- RAG系统对检索到的新闻文章进行筛选，去除重复、不相关或质量不高的内容。
- 系统将筛选后的文章进行融合，提取关键信息点，如新技术名称、应用场景、影响等。
- 准备生成提示：
- RAG系统基于筛选和融合后的信息，构建一个包含关键信息点的提示模版（Prompt）。
- 这个模版将作为生成模型的输入，指导模型生成新闻摘要。
- 生成摘要：
- RAG系统将提示模版输入到生成模型中。
- 生成模型根据提示模版中的信息，结合自身的语言生成能力，生成新闻摘要。
- 生成的摘要既涵盖了关键信息点，又保持了语言的流畅性和易读性。
RAG
四、Fine-tuning（微调）
什么是Fine-tuning？Fine-Tuning是指使用特定领域的数据集对预训练的大型语言模型进行进一步训练的过程。通过微调，模型可以学习到特定领域的知识和模式，从而在相关任务上表现更好。
在预训练模型的基础上，针对特定任务或数据领域，通过在新任务的小规模标注数据集上进一步训练和调整模型的部分或全部参数，使模型能够更好地适应新任务，提高在新任务上的性能。
Fine-tuning
Fine-tuning在医疗和法律的应用场景中，能够显著提升LLM对专业术语和复杂情境的理解能力，从而辅助生成精确的专业建议、报告或解答。
- 在医疗领域，可以使用医疗领域的专业数据对LLM进行微调，以生成准确的医疗建议或诊断报告。
- 在法律领域，通过微调可以使LLM更好地理解法律术语和案例法，从而辅助法律文书的撰写或法律问题的解答。
五、如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
Agent 垂直技术社区，欢迎活跃、内容共建。
更多推荐
20
0- 0
已为社区贡献131条内容
所有评论(0)