24年11月来自Penn State、UPenn、UT Health Huston、Amazon和RPI的论文“A Comprehensive Survey of Small Language Models in the Era of Large Language Models: Techniques, Enhancements, Applications, Collaboration with LLMs, and Trustworthiness”。

大语言模型（LLM）在文本生成、问答和推理方面展现出卓越的能力，能够应用于各种任务和领域。尽管它们在多种任务中表现出色，但像 PaLM 540B 和 Llama-3.1 405B 这样的 LLM 仍面临诸多限制，例如参数规模庞大和计算需求高，通常需要使用云 API，这引发隐私担忧，限制边缘设备上的实时应用，并增加微调成本。此外，由于缺乏域特定知识，LLM 在医疗保健和法律等专业领域往往表现不佳，需要开发专门的模型。因此，小语言模型（SLM）因其低推理延迟、成本效益高、开发效率高以及易于定制和适应等优点而日益受到青睐。这些模型尤其适用于资源受限的环境和领域知识获取，能够有效应对 LLM 的挑战，并成为那些需要本地化数据处理以保护隐私、最大限度降低推理延迟以提高效率以及通过轻量级微调获取领域知识的应用的理想选择。对SLM日益增长的需求推动了广泛的研究和开发。然而，目前仍缺乏对SLM的定义、获取、应用、增强和可靠性等相关问题进行全面调查的研究。由于SLM的定义差异很大，为了实现标准化，根据SLM执行特定任务的能力以及其在资源受限环境下的适用性来定义SLM，并基于涌现能力所需的最小规模和资源约束下可持续的最大规模来设定边界。在其他方面，提供相关模型/方法的分类，并针对每个类别开发通用框架，以有效地增强和利用SLM。

。。。待续。。。

---

尽管LLM具有鲁棒性，但它们也面临着诸多挑战，例如推理过程中的延迟、耗时的微调、检索中的噪声过滤问题、零样本性能欠佳、版权侵权风险以及评估困难。SLM可以帮助LLM缓解这些问题。该领域的研究可以分为五个主要方向：（i）使用SLM生成可靠的LLM；（ii）使用SLM提取LLM的提示信息；（iii）使用SLM微调LLM；（iv）将SLM应用于LLM；（v）将SLM用作守护机制；以及（vi）使用SLM评估LLM。下表总结每个类别中的代表性工作及其要点。

用于可靠LLM 生成的SLM

尽管LLM通常能够生成流畅且令人信服的文本，但偶尔也会出现错误响应[159, 349]。此外，LLM容易受到不可信数据收集造成的隐私泄露，这可能会削弱用户信任或造成损害。为了解决这些问题，近期的研究主要集中于利用SLM来标定逻辑逻辑模型的置信度、检测幻觉，并改进检索增强型LLM及其推理能力。

如图所示：SLM增强LLM标定和幻觉检测的架构

如图所示：启发式 RAG 探测器的SLM架构

如图所示：SLM知识迁移的上下文学习（ICL）

如图所示：基于SLM的数据保护架构

用于提取LLM提示的SLM

在LLM时代，基于提示的方法正成为比传统微调方法更简单、更经济高效的替代方案，利用LLM的指令跟踪能力来获得竞争优势。掌握提示对于复制LLM支持的产品行为至关重要。然而，Bing Chat和GitHub Copilot Chat等服务已经遭遇通过黑盒API攻击进行的提示逆向工程。SLM通常被用作这些攻击中的代理（surrogate）模型，采用的策略包括：（i）基于SLM的提示似然估计，（ii）基于SLM的提示参数提取，以及（iii）基于SLM的直接模型反演，如图所示：SLM 用于 LLM 提示提取范式（𝑀_S 表示小型语言模型，𝑀_L 表示大型语言模型）；

SLM用于LLM微调

微调是使LLM适应特定任务或领域的关键技术，但通常非常耗时。例如，使用bfloat16格式在32个NVIDIA A100 GPU（80GB内存）上微调LLaMA-2-13B [339]检查点大约需要70小时[247]。此过程也需要高质量的数据。因此，SLM如何通过三种方法来增强LLM的微调：（i）代理（proxy）微调，（ii）选择高质量数据，以及（iii）指导LLM生成的任务数据，如图所示。

SLM为LLM的应用

LLM因其开放式的生成能力而被广泛应用于各种应用场景，但它们通常缺乏专业知识，并存在其他生成问题。SLM可以通过提供特定任务的知识或反映其弱点来弥补这些不足。因此，SLM在特定应用中可以提升LLM的性能，重点关注开放式生成、知识整合、关系抽取和同理心响应。

在开放式文本生成（例如写作辅助和故事创作）中，LLM经常会遇到诸如长序列的不连贯性和主题漂移等问题。由于在SLM中观察的失败模式（例如短字符串、重复字符串和无关字符串）更为常见，这些模式可以作为LLM解码的反例。对比解码（CD）[198] 通过利用大型模型 OPT-13B [440] 和小型模型 OPT-125M 之间的差异能力来提高连贯性和词汇多样性。如图所示，CD 通过基于专家语言模型和业余语言模型之间的对数概率差异（log𝑝_𝐸𝑋𝑃 − log𝑝_𝐴𝑀𝐴）进行生成采样来提高内容质量，而不是仅仅依赖于专家语言模型的对数概率。这种方法有效地减少了生成失败，包括重复。

在知识注入中，通用LLM可能缺乏特定域的专业知识，例如法律或医学等专业任务所需的知识[91, 353]。域特定的SLM能够以适合LLM的格式提供关键知识。为此，BLADE[189]将黑盒LLM与小型域特定模型相结合。BLADE结合LLM的全面语言能力和小型语言模型的专业知识。如图所示，BLADE的流程包括：1）在域特定数据上预训练SLM；2）利用知识指令进行微调以满足特定任务的需求；3）使用联合贝叶斯优化来增强LLM和小型语言模型之间的协同作用，从而提升整体性能。

在关系抽取领域，由于标注数据稀缺且普遍存在长尾类别，“训练-指导-预测”框架[327]利用SLM来学习主要类别的特定任务知识。 SLM难以处理罕见类别，而LLM由于拥有大量的预训练文本，能够有效地处理这些类别。因此，该框架充分利用两种模型的优势：它利用SLM获取任务知识，并通过初始SLM预测结果指导LLM的生成过程，从而增强LLM对代表性不足类别的处理能力。

在生成共情反应方面，LLM在表达力方面表现出色，但在处理细微的情感和认知方面存在不足。HEF [413] 通过引入小型共情模型（SEM）来增强LLM的情感和认知深度，从而解决了这个问题。该框架采用一种两层情感预测方法：SEM识别主要情感，引导LLM专注于这些情感及其触发因素，从而生成更准确、更具共情性的反应。

SLM 的 LLM 安全性

正如多项研究 [250, 302, 426, 460] 所证明的，LLM 容易受到对抗性攻击和越狱。诸如 Llama 2 负责任使用指南等资源强烈建议在使用生成式人工智能的产品中实施强大的防护措施。这些防护措施旨在降低模型输入和输出相关的风险，确保防止生成高风险或违反策略的内容，并抵御对抗性输入和破坏模型的企图。除了开发可信赖的LLM之外，采用SLM来保障LLM安全[153, 177]也日益受到关注。

用于 LLM 评估的 SLM

SLM 还可以增强 LLM 的评估。在对话评估中，生成对话参考回复的计算量很大，由于单个对话上下文中可能存在多个看似合理但语义不同的回复，因此难以进行准确的评估。依赖 LLM 提示进行评估可能会导致一些问题，例如对提示措辞的依赖性和结果不一致。一种解决方案是训练专门的 SLM 来评估 LLM，因为这些 SLM 参数较少，可以更快地进行微调，并在推理过程中更快地生成输出。

总结

SLM 可以从多个方面改进 LLM，包括提高 LLM 生成的可靠性、提取提示、微调、应用和评估。确定几个合适的场景：
• 将 LLM 适配到特定任务可能需要大量的计算资源和时间。在这种情况下，可以转而微调一个较小的模型，用于诸如幻觉检测之类的功能。
• SLM 在某些方面优于 LLM，因此将 SLM 与 LLM 结合可以创建更强大的模型。例如，SLM 通常比 LLM 的安全问题更少，将两者集成可以生成一个既强大又安全的模型。
• 尽管 SLM 存在局限性，但它们可以提醒 LLM 注意这些问题，例如生成重复词汇的倾向。设计对比损失函数可以帮助 LLM 通过学习 SLM 提供的细微反馈来克服这些问题。
• SLM 的快速推理速度和某些特性可以模拟并增强 LLM 的行为，从而起到有效的替代作用。例如，LLM 的训练数据选择可以参考 SLM 评估的难度指标，SLM 微调过程中的参数调整也可以近似模拟 LLM 的微调过程。

---

小型语言模型 (SLM) 和大型语言模型 (LLM) 的协同作用，充分发挥了各自的独特优势，从而提升了系统的整体性能和效率。SLM 轻量级且资源利用效率高，非常适合部署在边缘设备上，能够快速响应并降低简单任务的延迟。而 LLM 则拥有更强大的计算能力和对复杂语言模式更深入的理解，使其能够处理更复杂、更细致的任务。通过集成 SLM 和 LLM，系统可以根据任务的复杂程度动态分配任务，确保在边缘快速处理简单的查询，而将更复杂的请求上报到云端。这种协作方式优化资源利用率，降低了运营成本，并在各种应用中保持高质量的输出。小型语言模型和大型语言模型的协同作用可以分为两部分：云边协同和任务中心协同。云边协同指的是 SLM 在边缘设备上运行，而 LLM 驻留在服务器上的架构。当 SLM 的处理能力不足时，LLM 会通过处理更复杂的任务并提供额外的支持来弥补这一缺陷。以任务为中心的协同是指SLM和LLM发挥各自优势，提高任务导向效率的场景。下表总结每个类别中的代表性工作及其要点。

云边协同

目前，LLM 的应用通常涉及将私有数据上传到云端进行响应。LLM 的微调通常也需要将数据上传到云端进行计算。然而，由于个人隐私意识和法律法规对私有数据的收集和使用有所限制，这引发了隐私问题 [348]。因此，本文提出了 SLM 和 LLM 之间的云边协同来缓解这一问题，即 SLM 在本地处理隐私敏感数据，LLM 处理去标识化或非隐私敏感数据，这两个模型协同工作。云边协同，分为两类：推理过程中的云边协同和训练过程中的云边协同，如图所示。

以任务为中心的协同作用

LLM 的出现极大地推动了各种自然语言处理任务的发展，并激发了人们对 LLM 与 SLM 协同交互的研究，以提升针对特定任务定制模型的性能。小型语言模型在微调后展现出特定能力的场景，并将其独特优势与 LLM 的多功能性相结合，从而在特定任务上获得更优的性能。例如，LLM 擅长处理复杂示例，或者可以重写内容以消除与任务无关的冗余，从而提升整体任务性能。

如图所示：工具学习的协同

如图所示：对话意图的检测协同

如图所示：信息提取的协同

---

语言模型已渗透到日常生活的方方面面，对它们的依赖也日益加深。然而，它们在隐私和公平性等可信度维度上的局限性也带来了风险。这些问题在医疗保健[130]和金融[202]等高风险领域尤为关键。因此，大量研究涌现，旨在评估语言模型的可信度[88, 95, 138, 176, 248, 254, 273, 351, 370, 425]。

受先前工作[320, 351]的启发，讨论以下五个关键的可信场景：鲁棒性、隐私性、可靠性、安全性和公平性，如图
所示。考虑鲁棒性的两个维度：对抗性鲁棒性[352]和分布外鲁棒性[38, 213]。对于安全性，探讨两个关键问题：虚假信息[344]和毒性[374]。对于可靠性，关注幻觉[146]和谄媚[301]。注：这些只是关注的方面，因此并非全面的分类或体系。例如，鲁棒性也包含对抗性演示的鲁棒性。

尽管已有许多工作对语言模型的可信度进行基准测试，但它们主要关注的是LLM。下表总结SLM在这方面的工作。

未来的SLM研究方向：

开发高效的SLM模型架构
解决SLM训练效率低下的问题
扩展特定域的SLM
建立SLM基准测试和排行榜平台
提升SLM的性能和效率
SLM的应用
多模态SLM
SLM辅助LLM
SLM与LLM的协同作用
可信赖的SLM