摘要：幸福（福祉）涵盖了对个人成长和明智人生决策至关重要的心理、生理和社会维度。随着个人越来越多地借助大语言模型（Large Language Models，LLMs）来理解幸福相关概念，一个关键挑战随之浮现：大语言模型能否生成不仅准确，而且能针对不同受众量身定制的解释？高质量的解释既需要事实准确，又要能够满足不同专业知识水平用户的期望。在本研究中，我们构建了一个大型数据集，其中包含由10种不同大语言模型生成的针对2194个幸福相关概念的43880条解释。我们引入了一种原则指导型“大语言模型担任评判者”评估框架，采用双重评判者来评估解释质量。此外，我们还表明，利用监督微调（Supervised Fine-Tuning，SFT）和直接偏好优化（Direct Preference Optimization，DPO）对开源大语言模型进行微调，可显著提高生成解释的质量。我们的研究结果显示：（1）所提出的大语言模型评判者与人类评估结果高度契合；（2）不同模型、受众和类别之间的解释质量存在显著差异；（3）经过直接偏好优化和监督微调的模型优于规模更大的同类模型，这表明基于偏好的学习对于专业解释任务具有有效性。Huggingface链接：Paper page，论文链接：2508.03990

研究背景和目的

研究背景：
随着人工智能技术的快速发展，大语言模型（LLMs）已成为人们获取信息和知识的重要工具。幸福（Well-being）作为一个多维度的概念，涵盖了心理、生理和社会等多个方面，对个人成长和明智的人生决策至关重要。然而，理解幸福相关概念并作出恰当的解释是一项复杂且具有挑战性的任务。传统的知识源，如书籍、文章和专家咨询，虽然能够提供有价值的信息，但在即时性、个性化和普及性方面存在局限。近年来，大语言模型凭借其强大的语言理解和生成能力，逐渐成为公众获取幸福相关知识的主要渠道。

尽管大语言模型在生成文本方面表现出色，但其解释幸福相关概念的能力尚未得到充分验证。特别是，不同用户群体（如普通公众和领域专家）对解释质量的需求存在显著差异。普通公众可能需要简单易懂、具有实用性的解释，而领域专家则更看重技术术语的准确性和分析的深度。因此，如何确保大语言模型生成既准确又符合不同受众需求的解释，成为当前研究的重要课题。

研究目的：
本研究旨在系统评估当前大语言模型在解释幸福相关概念方面的能力，并探索提高解释质量的有效途径。具体目标包括：

1. 构建大型数据集：收集并整理由多种大语言模型生成的幸福相关概念解释，形成大规模数据集，为后续研究提供数据支持。
2. 提出评估框架：引入原则指导型评估框架，利用双重评判者机制，全面评估大语言模型生成解释的质量。
3. 探索微调方法：通过监督微调（SFT）和直接偏好优化（DPO）对开源大语言模型进行微调，验证这些方法在提高解释质量方面的有效性。
4. 分析结果与局限：深入分析评估结果，揭示不同模型、受众和类别在解释质量上的差异，并探讨当前研究的局限性。
5. 提出未来方向：基于研究结果，提出未来研究的方向和建议，以推动大语言模型在幸福相关概念解释领域的进一步发展。

研究方法

数据集构建：
本研究首先从幸福相关文献中筛选出2194个关键概念，涵盖心理、生理和社会三个主要维度。随后，选择十种具有代表性的大语言模型（包括四种大型API模型和六种小型开源模型），利用标准化提示模板生成针对每个概念的两种类型解释（面向普通公众和领域专家）。最终，收集到43880条解释，形成大规模数据集。

评估框架设计：
为全面评估解释质量，本研究引入原则指导型评估框架，采用双重评判者机制。具体评估原则根据目标受众的不同而有所区别：

• 面向普通公众：准确性、易懂性、简洁性、示范性、实用性。
• 面向领域专家：准确性、术语使用、深度、批判性、依据充分性。

评估过程中，每个解释由两个强大的推理模型（Gemini-2.5-Pro和DeepSeek-R1）根据上述原则进行直接评分和比较排名。

微调方法：
为提高解释质量，本研究采用监督微调（SFT）和直接偏好优化（DPO）对开源大语言模型Qwen-3-4B进行微调。具体步骤包括：

• SFT：从大型模型生成的高质量解释中筛选数据，构建微调数据集，通过最小化负对数似然损失来优化模型。
• DPO：构建包含偏好和非偏好解释对的数据集，通过优化模型以增加偏好解释的生成概率，直接学习用户偏好。

研究结果

评估框架验证：
通过与人类评估结果的对比，验证了原则指导型评估框架的可靠性。研究显示，大语言模型评判者与人类评估者在多数评估原则上具有高度一致性，特别是在评估面向普通公众的解释时，Cohen’s kappa分数普遍较高。

模型性能差异：
研究发现，不同大语言模型在解释幸福相关概念时表现出显著差异。大型API模型（如GPT-4.1-mini、o4-mini、DeepSeek-v3和Gemini-2.5-flash）在整体性能上优于小型开源模型。然而，即使是顶级模型，在面向领域专家的解释中也存在事实不准确和分析深度不足的问题。

微调效果：
通过SFT和DPO微调的Qwen-3-4B模型在解释质量上显著提升。DPO微调模型在面向普通公众和领域专家的解释中均表现出色，甚至超越了某些大型模型。这表明基于偏好的学习方法在专业解释任务中具有显著优势。

研究局限

数据集的主观性：
尽管采用了多智能体协作标注，但数据集的主观性仍然存在。不同评判者之间的评分差异可能导致评估结果出现偏差，特别是在处理复杂语义和细节分析时。

部分评估模型的局限性：
现有的部分评估模型主要基于预训练特征，可能无法全面捕捉3D资产的局部几何特征。这在处理复杂3D结构时可能显得力不从心，特别是在捕捉高保真局部细节和空间连贯性方面存在局限性。尽管本研究主要关注大语言模型，但部分评估方法的局限性同样适用于类似的多模态评估场景。

计算资源需求：
视频编码器和3D特征提取对计算资源的需求较高。在资源有限的情况下，如何平衡评估的准确性和计算效率是一个挑战。特别是在处理大量解释数据时，计算成本和时间效率成为制约评估效率的关键因素。

未来研究方向

扩展数据集：
未来的研究可以进一步扩展数据集，涵盖更多幸福相关概念和更多样化的大语言模型。同时，可以引入更多类型的解释需求，如针对特定人群（如青少年、老年人）或特定场景（如工作压力、家庭关系）的解释。

改进评估框架：
探索更精细的评估原则和方法，以提高评估的准确性和全面性。例如，可以引入多模态评估机制，结合文本、图像和视频等多种信息源进行综合评估。

优化微调策略：
研究更高效的微调策略，如结合强化学习、迁移学习等方法，以进一步提高解释质量。同时，可以探索模型压缩和量化技术，以降低计算资源需求，提高评估效率。

跨领域应用：
将本研究的方法和框架应用于其他领域，如医疗健康、教育培训等，验证其普适性和有效性。通过跨领域应用，可以进一步推动大语言模型在解释复杂概念方面的研究和应用。