温馨提示：若页面不能正常显示数学公式和代码，请阅读原文获得更好的阅读体验。

丁闪闪 (lianxhcn@163.com)
曾咏新 厦门大学 (zengyongxinhpe@163.com)

---

• Title: 大语言模型如何重塑金融研究？一份全景式综述（上）
• Keywords: 大语言模型, 金融文本分析, 情感分析, 自然语言处理, 指令调优, 检索增强生成, 多模态学习, 文本分类, 主题模型, 金融预测
• 查看本系列推文：大语言模型如何重塑金融研究？

 

参考资料: Nie, Y., Kong, Y., Dong, X., Mulvey, J. M., Poor, H. V., Wen, Q., & Zohren, S. (2024). A Survey of Large Language Models for Financial Applications: Progress, Prospects and Challenges (Version 1). arXiv. Link, PDF, Google.

 

本文是一篇针对 Nie et al. (2024) 这篇 arXiv 综述论文的解读推文，旨在为国内金融实证研究者提供一份系统的 LLM 应用指南。这篇综述由普林斯顿大学、牛津大学等机构的学者撰写，全面梳理了 LLMs 在金融领域的应用进展、技术架构、数据资源和面临的挑战。与其他综述相比，这篇论文特别强调了实际应用场景和方法论创新，对实证研究者具有很高的参考价值。

下图为本综述论文的框架概览

本文 (上篇) 将重点介绍三个方面：

• 金融领域专用 LLMs 的技术基础，包括模型架构、训练方法和适配技术；
• LLMs 在金融自然语言处理 (Natural Language Processing, NLP) 任务中的全景应用，涵盖文本摘要、信息提取、情感分析、知识图谱构建等核心任务；
• 总结 LLMs 为金融实证研究带来的新机遇，包括新的数据来源、变量构造方法和研究设计思路。

下篇 将聚焦 LLMs 在金融预测、交易策略、风险管理等应用层面的前沿进展，以及面临的挑战和未来研究方向。

---

1. 引言

当 ChatGPT 横空出世引发全球 AI 热潮时，金融学术界也在思考一个问题：这场技术革命将如何改变我们研究金融问题的方式？从情感分析到资产定价，从风险管理到公司治理，大语言模型 (Large Language Models, LLMs) 正在以前所未有的方式重塑金融研究的范式。

对于经管类博士生和青年教师而言，LLMs 带来的不仅是新的研究工具，更是全新的研究思路。传统的金融实证研究往往受限于数据获取成本、文本处理能力和模型复杂度，而 LLMs 的出现正在打破这些瓶颈。想象一下：你可以在几分钟内处理数万份年报，提取结构化信息；可以构建更精准的市场情绪指标，捕捉传统词典法遗漏的微妙情绪；可以让 AI 模拟投资者行为，探索市场微观结构的动态演化。

---

2. 金融 LLM 技术基础

2.1 通用模型 vs 金融专用模型

在将 LLMs 应用于金融领域时，研究者面临一个基本选择：是直接使用通用模型 (如 GPT-4、Claude)，还是开发金融领域专用模型？这两种路径各有优劣，选择取决于具体的研究场景和资源约束。

下图为 2019 年以来金融领域专用大语言模型的总体概览，并按照其基础模型类型及其他多种维度进行分类。

通用 LLMs 如 GPT 系列、Llama 系列和 BERT，在海量通用语料上预训练，具备强大的语言理解和生成能力。它们的优势在于：零样本学习能力强，无需标注数据即可处理多种任务；上下文理解能力出色，能够捕捉复杂的语义关系；模型规模大，泛化能力强。但在金融场景中，通用模型也存在局限：对金融专业术语和行业惯例理解不足；难以准确把握金融文本中的微妙情感和隐含信息；在需要领域知识的推理任务上表现欠佳。

金融专用 LLMs 则针对这些痛点进行优化。论文详细梳理了 2019 年以来发展起来的主要金融 LLMs，它们大致可以分为三类：

第一类是基于 BERT 架构的模型，如 FinBERT 系列 (FinBERT-19, FinBERT-20, FinBERT-21)，主要用于金融文本的理解和分类任务。FinBERT-19 通过在金融文本上持续预训练 BERT 来增强情感分析能力；FinBERT-20 则从头开始在金融语料上训练，专注于公司披露信息；FinBERT-21 采用混合领域预训练策略，同时使用通用语料和金融语料，以保留更广泛的语言知识。

第二类是基于 GPT 和生成式架构的模型。例如，Ploutos 框架基于 GPT-4 开发，专门用于股票走势预测，其创新之处在于融合了多模态数据 (文本和数值信息)，并通过「后视镜提示」(rearview-mirror prompting) 技术，利用历史数据和专家分析来指导模型生成可解释的预测依据。

第三类是基于 Llama 架构的开源金融模型，这一类模型近年来发展迅速。FinMA、Fin-Llama、InvestLM 等模型都基于 Llama 架构进行金融领域适配。其中，InvestLM 基于 Llama-65B 模型，在投资相关数据集上训练，提供的投资建议可与顶尖商业模型媲美。FinGPT 则强调开源和透明性，虽然训练数据相对较少，但提供了更易获取、灵活且成本效益高的金融语言建模方案。

值得关注的还有 BloombergGPT，这是彭博社开发的 500 亿参数金融专用模型，在彭博社的海量金融数据上训练，在特定金融任务上表现出色，同时保持了较好的通用能力。中文金融 LLMs 也在快速发展，如轩辕 2.0 (XuanYuan 2.0) 针对中国金融市场开发，采用混合调优策略，在保留通用语言能力的同时，在金融咨询和市场分析等领域任务上表现优异。

2.2 模型适配技术：从预训练到微调

对于大多数实证研究者而言，从头训练一个金融 LLM 既不现实也无必要。更实用的方法是利用现有模型，通过适当的适配技术来满足特定研究需求。论文详细介绍了四种主要的适配技术。

持续预训练 (Continual Pre-training) 是在通用预训练模型的基础上，使用金融领域语料进行进一步训练。这种方法可以让模型学习金融专业术语、行业表达习惯和领域知识，同时保留原有的通用语言能力。FinBERT-19 就是一个典型案例，它在 BERT 的基础上，使用金融新闻、文章和社交媒体数据进行持续预训练，显著提升了金融情感分析的准确性。

监督微调 (Supervised Fine-tuning) 则是在标注数据上训练模型完成特定任务。这种方法的关键是构建高质量的标注数据集。例如，在金融情感分析任务中，研究者会收集带有情感标签的金融新闻或社交媒体数据，然后在预训练模型上进行微调。微调后的模型可以更准确地识别金融文本中的正面、负面或中性情绪。需要注意的是，金融文本的情感往往比通用文本更微妙，「利润下降但超出预期」这样的表述需要模型具备领域知识才能正确解读。

指令调优 (Instruction Tuning) 是近年来兴起的一种微调方法，它通过将任务转化为自然语言指令来训练模型。Zhang et al. (2023) 提出的 Instruction-tuned FinGPT 就采用了这一技术，将金融情感分析数据转化为指令数据，使模型不仅能理解任务要求，还能提升数值敏感性和上下文理解能力。这种方法的优势在于可以用较少的标注数据获得不错的性能，特别适合零样本 (zero-shot) 和少样本 (few-shot) 学习场景。

检索增强生成 (Retrieval-Augmented Generation, RAG) 是一种结合信息检索和生成的技术。在金融应用中，RAG 可以从外部知识库 (如历史财报、研究报告、新闻数据库) 中检索相关信息，然后将检索到的信息与用户查询一起输入到 LLM 中，生成更准确、更有依据的回答。Zhang et al. (2023) 的研究表明，将指令调优的 LLM 与 RAG 模块结合，可以显著提升模型的预测性能，因为它为模型提供了更丰富的上下文信息。

对于计算资源有限的研究者，参数高效微调 (Parameter-Efficient Fine-Tuning) 技术值得关注。LoRA (Low-Rank Adaptation) 和量化技术 (Quantization) 可以在保持模型性能的同时，大幅降低计算和存储成本。FinGPT 和 FinGPT-HPC 等项目都采用了这些技术，使得普通研究者也能在有限资源下使用大型金融 LLMs。

2.3 金融数据的特殊性与处理挑战

金融文本数据具有三个显著特点，这些特点决定了 LLMs 在金融领域应用时需要特殊处理。

第一是数值型数据的密集性。金融文本中充斥着数字、百分比、财务指标，这些数值信息往往比文字本身更重要。例如，「营收增长 5%」和「营收增长 50%」虽然只有一个数字之差，但含义天壤之别。传统的文本嵌入方法往往难以捕捉这种数值差异的重要性。论文提到的 Ploutos 框架通过专门的「数值敏感」训练，让模型能够更好地理解和处理金融文本中的定量信息。

第二是时序性和上下文依赖性。金融市场是动态变化的，同一句话在不同时间点的含义可能完全不同。「美联储加息」在经济过热时期是利好消息，但在经济衰退阴影下则可能引发恐慌。此外，金融文本的理解往往需要历史背景知识，单纯的静态模型难以捕捉这种时变特性。因此，在使用 LLMs 进行金融分析时，必须考虑时间因素，将模型预测与宏观经济环境、行业周期等背景信息结合。

第三是异质性和噪音问题。金融数据来源多样，包括正式的监管披露文件 (如 10-K、年报)、新闻报道、分析师报告、社交媒体讨论等。这些数据的质量、格式、语言风格差异巨大。社交媒体数据尤其充满噪音，包含大量俚语、表情符号、不规范表达，甚至虚假信息。LLMs 虽然在处理非结构化文本方面表现出色，但在面对低质量数据时，仍需要谨慎的预处理和验证机制。

论文还特别指出了 PDF 文档处理的挑战。许多金融披露文件以 PDF 格式发布，其中包含复杂的表格、图表和多栏排版。直接将 PDF 转换为纯文本可能丢失重要的空间布局信息。JP Morgan 开发的 DocLLM 模型就是为了应对这一挑战，它在标准 Transformer 架构上增加了空间感知能力，可以理解文档的布局结构，从而更准确地提取和理解表格、图表中的信息。

温馨提示：若页面不能正常显示数学公式和代码，请阅读原文获得更好的阅读体验。