24年11月来自Penn State、UPenn、UT Health Huston、Amazon和RPI的论文“A Comprehensive Survey of Small Language Models in the Era of Large Language Models: Techniques, Enhancements, Applications, Collaboration with LLMs, and Trustworthiness”。

大语言模型（LLM）在文本生成、问答和推理方面展现出卓越的能力，能够应用于各种任务和领域。尽管它们在多种任务中表现出色，但像 PaLM 540B 和 Llama-3.1 405B 这样的 LLM 仍面临诸多限制，例如参数规模庞大和计算需求高，通常需要使用云 API，这引发隐私担忧，限制边缘设备上的实时应用，并增加微调成本。此外，由于缺乏域特定知识，LLM 在医疗保健和法律等专业领域往往表现不佳，需要开发专门的模型。因此，小语言模型（SLM）因其低推理延迟、成本效益高、开发效率高以及易于定制和适应等优点而日益受到青睐。这些模型尤其适用于资源受限的环境和领域知识获取，能够有效应对 LLM 的挑战，并成为那些需要本地化数据处理以保护隐私、最大限度降低推理延迟以提高效率以及通过轻量级微调获取领域知识的应用的理想选择。对SLM日益增长的需求推动了广泛的研究和开发。然而，目前仍缺乏对SLM的定义、获取、应用、增强和可靠性等相关问题进行全面调查的研究。由于SLM的定义差异很大，为了实现标准化，根据SLM执行特定任务的能力以及其在资源受限环境下的适用性来定义SLM，并基于涌现能力所需的最小规模和资源约束下可持续的最大规模来设定边界。在其他方面，提供相关模型/方法的分类，并针对每个类别开发通用框架，以有效地增强和利用SLM。

---

LLM的挑战包括：（1）由于 GPU 内存和计算成本较大，LLM 通常托管在云中并通过基于云的 API 使用。 (2) 在个人智体的推动下，设备上的部署是一个关键需求。 (3) 其参数数量较多，会导致推理延迟数秒到数分钟，不适合实时应用。 (4) 因为其尺寸较大，微调过程的计算成本很高。 (5)部署通用LLM会浪费资源，而且这样的LLM通常无法匹配针对特定任务定制的模型的性能。

最近，小语言模型（SLM）在缓解这些问题方面表现出了巨大的潜力，同时在特定领域问题上达到了与 LLM 相当的性能。由于参数较少，SLM 在效率、成本、灵活性和定制方面表现出色。它们在预训练和推理方面提供了显着的计算节省，同时减少了内存和存储需求，这对于需要高效资源利用的应用程序至关重要。这些小语言模型在资源有限的环境中特别有效，在边缘设备等低功耗设备上表现良好。此外，SLM 通过增强隐私、安全性、响应时间和个性化来改进设备上的处理。这支持高级个人助理和独立于云的应用程序，提高能源效率并减少碳排放。它还允许精确控制哪些查询在设备上处理，哪些查询需要基于云的模型。因此，小语言模型作为 LLM 的替代品越来越受到关注，如图所示，它显示 SLM 在 Hugging Face 社区中比大型模型下载更频繁，

如下图说明随着时间的推移，SLM 版本越来越受欢迎。

鉴于 SLM 在资源受限环境和特定任务中的应用，本文提出一个通用定义：在特定任务和资源约束条件下，SLM定义为处于一个范围之内，该范围的下限是模型展现出针对特定任务涌现能力的最小规模，上限是在有限资源条件下可管理的最大规模。该定义整合多种视角，并考虑与移动计算和能力阈值相关的因素。

由于对SLM的需求日益增长，大量文献涌现，探讨了SLM的各个方面。例如，一些资源高效技术[398]和针对SLM优化的训练方法，如量化-觉察训练（QAT）[221, 357, 400]和选择性架构组件选择[223, 280, 336]，旨在提升特定应用场景下的性能[36, 52, 275, 292, 382]。这些方法促成众多开源、通用和特定领域的SLM开发[3, 26, 34, 333, 402, 435]。除了其固有功能外，SLM还可以作为模块或有效智体来增强LLM[246, 297, 383, 399, 413, 450]。此外，SLM和LLM的互补优势可以结合起来，更好地完成任务[79, 204, 234, 307, 437]。尽管SLM（空间语言模型）表现出色，但其可信度问题不容忽视，例如对抗性攻击、产生幻觉和隐私泄露的风险[88, 95, 138, 176, 176, 222, 248, 254, 273, 351, 354, 370, 371, 425, 445]。然而，目前尚无全面综述深入探讨LLM时代SLM的研究进展。

---

从LLM) 获取SLM)对于资源受限环境下的部署至关重要。利用 LLM 可以实现知识迁移，而无需从头开始训练，从而使 SLM 能够在减少训练时间和数据量的同时，保留 LLM 的大部分语言和领域知识。从 LLM 获取 SLM 主要采用三种技术：剪枝、知识蒸馏和量化。剪枝会移除一些不太重要的参数，从而在力求保持性能的同时减小模型规模。知识蒸馏会将知识从大型教师模型迁移到小型学生模型，从而保留原始模型的大部分理解。量化会降低参数精度，从而在对准确率影响最小的情况下显著降低内存和计算需求。这些方法在模型规模缩减、效率提升和性能保持之间取得了平衡。

从零开始构建小型语言模型的创新训练方法

在资源有限的场景下，目标是训练小型语言模型，以提供针对特定领域的高效、经济的解决方案，同时保持与大型语言模型相媲美的性能。从零开始训练小型语言模型 (SLM) 涉及独特的策略，这些策略与大型语言模型 (LLM) 的训练策略截然不同。如图所示，从零开始训练 SLM 的方法可以分为三大类：架构设计、数据构建和优化策略。

SLM 的架构设计。在设计 SLM 架构时，采用参数共享技术来最大限度地减少空间占用并减小模型大小。如图的第1 部分所示，参数共享可以通过两种方式实现：

(i) 每个 Transformer 层共享一个前馈网络 (FFN) 模块。如图（1）中间所示，FFN 层共享/重用可以在保持较小模型尺寸的同时，受益于重复处理输入数据所获得的深度和复杂度。该技术首先应用于 MobiLlama [336]，其性能超越现有同等规模的 SLM 模型。

(ii) 共享整个 Transformer 模块。如图 (1) 右侧所示，Transformer 模块级共享是另一种保持深度和复杂度的参数共享方法。Transformer 模块级共享策略有多种，例如重复使用整个 Transformer 模块或重复使用相邻的 Transformer 模块。该技术应用于 MobileLLMs [223]，其参数量分别为 1.25 亿和 3.5 亿。与参数量相同的先前模型相比，MobileLLMs 的性能分别提升 2.7% 和 4.3%。此外，它们在 API 调用任务上的准确率与 LLaMa-2-7B 相当，凸显小型模型在移动环境中的性能优势。

数据构建。对于SLM而言，数据构建中对数据质量的重视程度超过数据数量和多样性[412]。实验表明，采用质量过滤方法去除低质量数据可以提升SLM的性能[412]。与能够处理多样化且庞大数据集的大型模型不同，SLM更依赖于更干净、高质量的数据，这可能是由于其抗噪能力有限。通常，数据处理包含以下几个步骤：（i）去除HTML、CSS、JS和非文本元素，以获得干净的文本；（ii）过滤文本内容比例低的网页；（iii）使用SimHash进行去重[77, 293]；（iv）使用启发式方法和token替换排除敏感/冒犯性内容；（v）去除广告中的重复短语，以增强数据集的信息量[47, 412]。这些步骤共同确保训练数据包含高质量、信息丰富的文本。SLM也能从这些技术中获益匪浅。例如，MindLLMs [412] 是一种双语轻量级语言模型（提供 1.3B 和 3B 版本），它采用了这些数据处理技术，并实现了能力的提升。

SLM 的训练策略。对于 LLM，由于模型规模和数据量较大，通常只进行一轮训练。而对于 SLM，可以采用多轮训练 [328]。考虑到某些样本难以拟合，可以高概率地训练这些样本 [328]。在每一轮训练中，数据采样概率会根据该样本的总体损失进行更新。实验结果表明，两轮训练和 50% 的采样率在性能和训练效率之间取得良好的平衡。Tang [328] 的研究表明，深度较深且较薄的神经网络架构以及多轮训练可以提升训练好的盘古 1.5B Pro 模型的性能。该模型在多个基准数据集上的表现优于传统训练的 Pangu 1.5B 和一系列其他具有类似模型规模的可比大型语言模型，平均性能提高了 8.87%。

监督式微调 (SFT) 用于提升SLM的性能

监督式微调 (SFT) 采用类似于预训练的训练方法，但专门针对调整模型以使其更好地遵循各种指令数据集中包含的指令。这种方法旨在根据训练数据，改进模型对特定上下文的响应能力和适用性。例如，Alpaca [329]、UltraChat [86]、WizardLM [392]、SlimOrca [203]、ShareGPT [356]、Capybara [72]、Deita [216] 和 MetaMathQA [420] 等多种模型都整合一系列对话数据集，以增强其在上下文感知对话和指令遵循方面的能力。通常，如图所示，现有的 SFT 方法可以分为三类：

(i) 经典的下游数据微调方法 [83, 282] 使用特定任务的标注数据训练 SLM，将通用语言表示迁移到特定任务，例如情感分析。
(ii) 使用 LLM 生成的数据 [86, 203, 329] 或带有 LLM 标注的人工生成问题 [356] 进行指令调优，旨在使生成模型与特定指令保持一致，从而增强其指令遵循和推理能力。
(iii) 基于人类反馈的偏好优化 [264, 283, 356] 旨在更好地使语言模型与人类偏好保持一致。基于人类反馈的强化学习 (RLHF) [264] 收集人类偏好数据，训练奖励模型，并使用强化学习对语言模型进行微调。直接偏好优化 (DPO) [283] 为 RLHF 提供了一种更简单的替代方案。与 RLHF 不同，DPO 避免了显式的奖励建模和强化学习技术。相反，它使用动态加权机制调整偏好响应与非偏好响应的对数概率，从而避免了依赖概率比率的方法中常见的模型退化问题。

知识蒸馏（KD）中的数据质量

由LLM生成的高质量数据，可以显著提升SLM的学习效率和性能。核心思想是，精心构建的数据集在知识蒸馏中使用时，能够使SLM更有效地模拟其规模更大同类模型的高级能力。如图所示，数据可以来自：（1）其他强大的LLM（例如GPT-4 [2]），这些LLM的规模和能力都远超目标SLM；（2）目标SLM本身。

用于提升SLM性能的蒸馏技术

将LLM知识蒸馏到SLM过程中遇到的独特挑战和限制，为此要确保较小的模型能够最大限度地提升性能。如图所示，LLM和SLM之间的两个主要差距导致蒸馏过程中的挑战：分布不匹配和域差距。分布不匹配[6, 173]是指训练期间输出序列的分布与SLM在推理期间生成的序列分布不一致，导致学生模型的性能欠佳。域差距[414]是指LLM和SLM的训练和应用领域或任务存在差异。如果在蒸馏过程中未能妥善解决这一差距，则可能导致学生模型的性能显着下降。为了解决这些问题，专门的策略首先是将教师和学生的模型与目标域相匹配，然后再进行知识蒸馏。

• 在训练过程中对SLM输出进行采样是解决分布不匹配的主要方法。
• 诸如Adapt-and-Distill之类的技术，通过首先将教师模型（LLM）和学生模型（SLM）都适配到目标域，然后再进行蒸馏，从而解决域差异问题。

通过量化提升性能

量化是使 LLM 适应 SLM 的最有效方法之一。然而，压缩到更小的尺寸通常会降低性能。为了解决量化带来的性能下降问题，人们提出了各种方法。如图所示，将这些量化方法分为两大类：训练后量化 (PTQ)，即在训练良好的固定模型上进行量化；以及量化-觉察训练 (QAT)，即在训练过程中集成量化。

• 训练后量化技术主要关注模型权重的量化，其中选择关键权重至关重要。除了权重量化之外，处理激活信号中的异常值也是激活量化的一大挑战。
• 量化-觉察训练方法表明，低比特量化（例如，1 比特模型）需要额外的调优才能保持性能。可以将量化前模型中的知提炼到量化后的模型中。

大语言模型 (LLM) 技术助力小语言模型 (SLM)

检索增强生成 (RAG) 通过引入检索机制来增强语言模型在知识密集型任务中的能力。这种方法允许模型响应用户查询，从数据存储库中访问相关的上下文信息。通过整合这些检索的数据，配备 RAG 的模型能够更好地理解特定主题，从而输出更丰富、更准确的信息。对于 SLM 而言，一个重要的问题是它们是否具备长上下文推理能力。最近一项研究[215]将配备RAG的7B级SLM与GPT-3.5和GPT-4等更大规模的模型进行比较，结果表明，配备RAG的SLM有时可以达到甚至优于LLM的性能。这些发现表明，RAG在SLM中的应用是有效的，并为未来的研究指明了一个有前景的方向。

混合专家（MoE）[39]已成为一种有效的方法，能够在LLM中以最小的计算开销大幅扩展模型容量。MoE框架基于一个简单而强大的概念：模型的不同组成部分（称为“专家”）分别专注于不同的任务或数据方面。在这种范式中，仅针对特定输入激活相关的专家，从而在利用大量专业知识的同时控制计算成本。这种可扩展且适应性强的方法能够在不成比例增加计算需求的情况下提高模型容量。 MoE 特别适用于 SLM 架构 [161]，因为它能最大限度地减少计算负载和内存开销。然而，目前针对 SLM 的 MoE 研究仍然匮乏。

---

特定任务的SLM应用

问答和编码属于生成任务，而推荐系统和网络搜索（虽然并非严格意义上的NLP领域）通常会利用SLM的编码能力。此外，由于移动设备内存和计算资源的限制，SLM尤其适合应用于移动设备。下表系统地整理相关代表性工作。

从特定任务的SLM开发中得出以下几个关键见解：
• 通过将自适应技术与基于RAG的方法的进一步微调和优化相结合，可以显著提高小型模型的效率和有效性。
• SLM在编码领域日益增长的重要性凸显其作为LLM替代方案的成本效益和效率，能够为特定任务提供快速处理和便捷的微调；虽然LLM能够很好地处理复杂任务，但在资源受限的环境中，针对特定数据进行优化和微调的SLM变得越来越重要。
• 由于SLM具有强大的泛化能力、推理能力和上下文学习能力，因此能够显著增强推荐系统，并解决冷启动问题和分布偏差等关键挑战。它们支持长期规划，可以替代传统的编码器，并利用并行低秩参数有效地注入个性化用户知识。
• SLM在网络搜索中扮演着至关重要的角色，例如文档编码、文本重排序和查询重写。通过监督式微调、软提示调优、无监督对比损失和强化学习等技术，SLM 通常优于LLM，从而增强了适应性和效率。
• SLM 主要用于移动设备，以应对隐私和内存限制，并应用于 API 调用和移动控制。它们的开发方式通常是：先使用 LLM 生成数据，再使用 SLM 进行微调；或者使用本地 SLM 处理隐私问题，同时利用 LLM 提升性能。此外，SLM 的训练还涉及一些创新技术，例如从数据流中学习以及管理非独立同分布 (NID) 时间序列数据。

在移动和边缘设备上部署SLM

设备端应用程序能够独特地受益于SLM的内存节省效率和快速运行时性能，这使其优于LLM。然而，资源极其有限的设备仍然可能难以应对SLM的参数规模。为了确保内存和运行时性能均保持在可接受的范围内，集成有助于在资源受限设备上部署SLM的技术至关重要。内存高效技术面临的主要挑战源于SLM及其相关缓存的固有规模。模型规模庞大也会显著影响运行时效率，因为计算量巨大，并且需要在内存缓冲区和RAM/GPU内存之间进行权重转移。其他挑战包括在CPU和GPU内存之间切换专家混合模型，以及在跨多个本地设备部署SLM时管理资源调度。从内存效率优化和运行-时效率优化两个方面回顾代表性工作，如表所示：

内存效率优化。内存效率是指在部署期间最大限度地减少模型和KV缓存的内存使用量。这通常通过模型压缩技术（例如量化 [207, 285, 422, 448]）、MoE 专家缓存 [416] 和KV缓存压缩 [165] 来实现。

运行-时效率优化。如前所述，降低计算工作负载的目标与通过量化等方法提高内存效率的目标相一致。降低模型权重精度或减少权重数量自然会降低延迟。其他降低推理延迟的运行时效率优化技术包括：减少预填充延迟、提前退出、大模型和小模型协作、减少 MoE 中的切换时间以及减少分布式 SLM 中的延迟。

从SLM的部署中得出以下几个关键见解：
• 模型大小仍然是内存和运行时效率的瓶颈。一种常见的解决方案是模型量化，它通过降低模型精度来节省内存并减少计算工作负载，从而提高推理速度[207, 223, 253, 285, 422, 448]。类似地，KV缓存压缩也有助于提高效率[165, 193, 256, 419]。
• 混合专家模型（MoE）常用于SLM中，以在相同的计算资源下提高性能，但这会导致内存使用量增加。为了解决这个问题，只有激活的专家会被加载到内存缓冲区中，而大部分专家则冷存储于磁盘上。然而，切换的成本可能会减慢推理速度。因此，设计一种抢占式专家预加载策略可以加速推理[416]。
• 本地SLM与云端LLM之间的模型协作，通过在本地设备上使用较小的模型来提高内存和运行时效率，然后由云端LLM进行验证，以确保性能维持。在本地使用SLM可以减少内存使用量并缩短本地模型的推理时间。然而，网络延迟和云端LLM推理的延迟仍然会引入延迟。使用LLM每隔N个token验证SLM的输出可以有效缓解这种延迟[394]。
• 一种部署方法是在多个可信的本地设备上部署SLM/LLM，以在仅加载部分模型权重的情况下保持原始性能。然而，由于设备性能的差异和资源调度方面的挑战，这种方法可能会产生延迟。为了解决这些问题，优化模型分配以匹配设备性能并最大限度地减少数据传输是有效的策略[447]。

---

对于通用领域和特定领域中的小语言模型（参数少于70亿），分析其获取方法、数据集和评估任务，以及如何通过压缩、微调或从头开始训练等方式获取小型语言模型的技术。

具有代表性的小型语言模型，分别是通用和特定域，详见下面两个表：

通用域SLM

概述。与LLM相比，SLM 参数更少，能够提高预训练、微调和推理的计算效率，从而降低内存和能耗需求——这对于资源受限的环境至关重要。其紧凑、局部化的特性增强隐私保护、个性化和响应速度，使其成为低功耗边缘设备的理想选择。因此，SLM 越来越受到关注，各种模型也正在被开发出来。尽管所有选定的 SLM 都具有相似的架构，但它们在具体的训练数据集和技术方面有所不同，其中一些数据集并未公开提供。以图中的最新 Llama 3.2 1B 模型 [7] 为例，其参数大小和使用过滤后的高质量训练数据、基于剪枝的初始化、知识蒸馏预训练任务以及监督微调 (SFT)、拒绝采样 (RS) 和直接偏好优化 (DPO) 等训练技术使其区别于其他模型。

SLM组件选择方面有以下几个趋势：
(1) 近年来，SLM经常采用分组查询注意机制（GQA）作为自注意机制，因为它能够降低计算复杂度。GQA通过在多个注意头之间共享查询表示，同时保持KV对表示的分离来实现这一点。这种方法符合SLM的目标，即在不牺牲功能的前提下提高效率。
(2) 激活函数的选择应平衡模型能力和效率。ReLU以其高效性著称，它能为模型引入更高的稀疏性，从而加快系数计算速度，加速推理。相比之下，SwiGLU的参数在训练过程中学习，使模型能够动态适应不同的任务和数据集，从而增强模型能力，使其成为目前最先进的选择。SiLU介于两者之间，因其在计算效率和模型性能之间的平衡而备受青睐。
(3) 由于RMS归一化计算量更低，因此比层归一化（LN）更常用。

除了组件选择之外，SLM 的架构还有一些值得注意的创新：
• Mobilellm [223] 指出，更深的模型比更宽的模型更能有效地提升性能。
• 嵌入共享 [440] 至关重要，因为嵌入层通常占模型参数的 20% 以上——例如，对于一个 1.25 亿参数的模型，在 512 维空间和 3.2 万词汇量的情况下，每个嵌入层包含 1600 万个参数。较小的模型通常会在输入层和输出层中复用这些权重，从而提高效率和紧凑性。
• 层共享 [223] 可以在不增加额外存储成本的情况下增加小型 Transformer 模型中的隐藏层。
• 共享前馈神经网络 (FFN) [336] 约占所有可训练参数的 65%，其余部分由注意机制和注意头构成。建议在 SLM 的所有 Transformer 层之间共享 FFN 参数以提高效率。
• 在预训练之前进行架构搜索。 PhoneLM [417] 提出一种构建设备端小型语言模型的原则：在预训练之前，在给定硬件上寻找资源高效的架构，以优化速度与容量之间的权衡。这种方法启发基于计算效率、模型能力和安全性等特定组合需求，为设备端小型语言模型 (SLM) 量身定制架构组件的选择。

关于SLM开发的几个关键见解：
(i) 数据质量对于训练有效的SLM至关重要，这涉及到复杂的过滤，例如去除重复项或无关内容，通常需要借助其他LLM。例如，TinyStories语料库[96]的设计注重简洁性，非常适合训练处理简单叙事的模型。RedPajama-V2[67]使用CCNet管道处理300亿份文档，提供质量信号和ID，从而创建200亿份去重数据集。
(ii) 代码数据：源代码是训练模型的重要数据组成部分，尤其因为其结构化特性和逻辑内容。使用代码数据进行训练可以增强模型的推理能力，并支持其跨多种自然语言的泛化能力，这对于需要在各种编码环境下具备强大的问题解决和解释能力的应用至关重要[17, 104, 120, 236]。

以下常用的SLM评估基准：
(1) MMLU [134]：评估跨人文、科学、技术、工程和管理等多个域的广泛知识。它包含涵盖 57 个任务的多项选择题，内容从基础数学到美国历史、计算机科学、法律等，共计 14,000 个测试样本。
(2) HellaSwag [429]：评估模型从多个选项中选择正确结局的能力，测试常识推理能力，包含 10,000 个测试样本。
(3) ARC [65]：AI2 的推理挑战 (ARC) 数据集包含 3 至 9 年级的多项选择科学考试题，分为简单和挑战两个部分，后者包含更复杂的题目，需要推理能力。大多数题目提供四个答案选项。 ARC 包含一个支持性知识库，其中包含 1430 万条非结构化文本段落，ARC_Challenge 包含 1170 个测试样本，ARC_Easy 包含 2250 个测试样本。
(4) PIQA [32]：一个常识推理数据集，旨在评估 NLP 模型的物理知识。它提出的问题（目标）需要运用物理常识才能正确解答，并提供两个详细的答案选项（sol1 和 sol2）。该数据集包含 3000 个测试样本。
(5) Winogrande [294]：一个结构化的填空题数据集，选项为二元选择，旨在评估常识推理能力。该数据集默认包含 1767 个测试样本。

评估性能的结论如下：
(1) MobiLlama 0.5B 和 0.8B 证明，共享前馈神经网络 (FFN) 设计能够显著提升参数量少于 10 亿的 SLM 模型的性能，甚至可以媲美一些参数量在 10 亿到 30 亿之间的模型。
(2) MobiLlama 1.2B 和 OLMo 1.2B 的性能表明，采用高质量数据、SwiGLU、非参数层归一化、RoPE、BPE 分词以及共享 FFN 设计的先进 SLM 架构，能够在参数量为 10 亿到 30 亿之间的模型中取得具有竞争力的结果。
(3) MobiLlama 证明，SLM 可以显著降低低端硬件设备的资源消耗，在电池电量、内存和 GPU 利用率更低的情况下，实现相当的性能。
(4) Llama 3.2 中使用的剪枝、量化、蒸馏、SFT 和 DPO 等常用技术，显著提升了 SLM 的性能。

从通用域SLM的开发中总结出几个关键见解：
• 典型的SLM架构通常包含一些特征，例如GQA、带有SiLU激活函数的门控前馈神经网络（GTFN）、RMS归一化、深度和精简架构、嵌入共享、层共享以及共享前馈神经网络。
• 尽管这些组件已被广泛应用，但目前的研究尚未充分探索它们在SLM中的具体贡献。
• 数据质量在SLM研究中的重要性日益凸显，通常被认为比数据量和模型架构配置更为关键。
• 预训练之后，通常需要进行精细的微调以增强SLM的安全性，这涉及一些策略，旨在更好地从LLM中提炼能力。常见的策略包括解释性调优、渐进式学习和提示擦除。

域特定SLM

概述。LLM生成类人文本的能力引起公众的极大兴趣，凸显其在通用人工智能领域的潜力。然而，由于资源限制，将 LLM 集成到专用应用中仍然存在效率低下的问题。与需要广泛的通用知识和能力不同，域特定 SLM 应专注于与特定域相关的明确定义任务和专业知识。例如，通过微调模型以进行可解释的心理健康分析，专用模型可以显著影响生物医学研究和医疗保健；或者通过指令调整来辅助人类进行法律对话和处理金融事务，从而展现其潜在的变革性影响。

从域特定SLM的开发中总结出以下几个关键见解：
• 将SLM适配到域特定数据，是获取领域特定SLM的常用方法，这促使许多研究者创建自己的数据集[258, 406, 435, 436]。这些数据集通常使用诸如GPT-4之类的LLM进行标注，并用于持续预训练或微调诸如LLaMa-2-7B之类的通用模型[3, 34]。为了确保数据质量，研究人员开发专门的标注框架，例如SciGLM[435]。
• 在语料库丰富的领域，从头开始训练一个通用模型并使用SFT[412]对其进行微调是可行的。训练过程中的双语设置可以防止灾难性遗忘。
• 从LLM中提炼通用能力，同时整合来自语料库的领域特定知识，是开发领域特定SLM的另一种方法[414]。

---

。。。待续。。。