文章信息

论文题目为《Towards explainable traffic flow prediction with large language models》，在2024年发表于交通领域顶刊《Communications in Transportation Research》。研究针对传统深度学习模型在交通预测中结构设计复杂、缺乏预测逻辑解释的痛点，提出可解释交通流预测模型xTP-LLM。该模型通过将多模态交通数据（历史流量、POI、天气、节假日等）转化为结构化文本提示，结合领域知识与思维链（CoT）引导，对LLM进行指令微调，在保证预测精度的同时，能生成直观易懂的自然语言解释，清晰阐述预测结果的核心影响因素与推理逻辑。

摘要

交通预测是智能交通系统的核心组成部分。借助深度学习捕捉交通数据的潜在模式，该领域已取得显著进展。然而，近年来的深度学习架构往往需要复杂的模型设计，且无法直观解释从输入数据到预测结果的映射逻辑。由于交通数据本身的复杂性以及深度学习模型固有的黑箱特性，如何在交通预测模型中同时实现高精度与可解释性仍是一项挑战。为应对上述问题，本文提出一种基于大语言模型（LLMs）的交通流预测模型xTP-LLM，旨在生成兼具准确性与可解释性的交通预测结果。该模型通过将多模态交通数据转化为自然语言描述，从海量交通数据中捕捉复杂的时间序列模式及外部影响因素；同时，通过基于语言的指令对LLM框架进行微调，使其与时空交通流数据实现对齐。实验结果表明，xTP-LLM的预测精度与深度学习基线模型相比具有竞争力，且能为预测结果提供直观、可靠的解释。本研究为推进可解释性交通预测模型的发展提供了新思路，也为大语言模型在交通运输领域的后续应用奠定了基础。

贡献

（1）文章设计了一种整合多模态交通流信息的结构化文本提示，助力大语言模型（LLMs）更高效地捕捉交通模式。此外，文章对加州的多模态交通流数据进行了重组，构建了一个全面的文本格式数据集CATraffic，为未来基于大语言模型的交通预测相关研究提供支持。

（2）文章提出了一种基于大语言模型（LLMs）的交通流预测框架xTP-LLM。该框架的预测精度与当前最先进的深度学习模型相比具有竞争力，且无需额外训练，就能在不同交通流预测场景中展现出优异的泛化能力。

（3）xTP-LLM能够为其预测结果提供具有参考价值的解释，相比传统深度学习方法具有更强的可解释性，这为交通管理与规划中的合理决策提供了便利。

方法论

1. 问题定义

        交通流预测问题作为时间序列预测问题的一部分，可定义为根据历史数据预测未来数值。在作者所提的模型中，目标是基于历史数值和外部因素，预测未来步长的数值并生成解释。该问题可通过下面公式表示：

        在本研究中，作者将大语言模型（LLM）视为预测模型，并利用语言分词器将输入和输出数据转换为Token序列，从而将交通流预测任务重构为语言建模问题。具体而言，给定Token化的输入序列和数据样本i的Token化外部因素，通过自回归方式重构Token化输出序列：

2. 提示词构建

        本节阐述了如何将多模态交通数据文本化，并构建指令以激发LLM的推理与预测能力。下图为xTP-LLM的框架，多模态交通流数据被转化为基于文本的提示词，借助任务设定与领域知识，使LLM能够识别不同输入与交通模式之间的潜在关联。通过微调，LLM获得预测未来数值并提供相关解释的能力。该优化后的模型能熟练捕捉区域交通模式及对输入因素的依赖关系，即便在未见过的场景中，也能助力实现泛化预测。

1）系统提示词：为LLM设定交通预测专家角色，明确任务目标（基于时空信息预测交通流量），并嵌入交通领域知识与少量示例。例如，告知模型“居民区早晚高峰流量较高”“交通枢纽节假日流量增加”等领域规则，帮助模型快速对齐交通场景认知，避免泛化性语言知识与专业场景脱节。如下图所示。

2）思维链提示：下图为时空思维链提示词的设计，用以增强LLM的推理能力。具体而言，提示词中的问题首先引导LLM思考特定区域的空间特征及潜在交通动态；随后，促使LLM判断预测时段是否属于高峰时段、工作日、周末或节假日等特殊时段；在捕捉到时空信息后，进一步引导LLM探究空间数据与历史交通流波动之间的深层关联，从而助力实现更精准的预测。

3）多模态信息文本化整合：将分散的交通相关数据统一转化为结构化文本，确保LLM能全面捕捉关键信息。

        空间属性：基于传感器周边1/3/5公里内的 POI（兴趣点）分布，作者将PoI分布汇总为区域属性描述（如交通枢纽、商业区和居民区），以此高效表征每个地理区域的核心特征。

        历史时间序列：直接将过去12小时的流量数据以数值文本形式呈现（如“过去12小时流量分别为XXX,XXX,...”），便于模型捕捉时间变化规律；

        外部因素：将日期、节假日、天气（气温、能见度）等非结构化因素转化为标准化文本描述（如“2018-12-25，周三，圣诞节，晴，气温6.0℃”）。

3. 有监督微调

    在有监督微调中，预训练模型会在包含标注样本的数据集中进一步训练，这些样本与目标任务直接相关。例如，如果任务是交通预测，那么微调数据集就会包含历史交通数据及其对应的精确预测结果。该过程通过调整模型参数来提升性能，具体方式是优化一个损失函数，该函数用于衡量模型预测结果与真实输出之间的差异。在微调阶段，交通预测任务被建模为下一个token生成任务，模型通过对整个标注数据集D优化以下目标函数，预测未来交通流量：

4. 解释性生成

         Llama2中的对话模型专为在对话场景下理解与生成文本而优化。因此，通过在prompt中加入解释生成要求，xTP-LLM不仅能生成预测结果，还可以同时提供解释。直接在输入中添加生成解释文本的指令。

        直接在输入prompt中添加生成解释文本的指令，会导致解释往往与预测结果缺乏一致性，这是由于解释与预测之间的对齐不足造成的。因为在微调阶段，损失函数计算中仅使用了预测结果。文章采用小样本学习解决了这种不对齐问题，通过在输入prompt中加入若干精心挑选的示例，这些示例展示了解释应如何与交通流预测相对应，LLM能够在推理阶段动态学习这种对齐关系。

        具体而言，首先构建小样本示例：选取2–3个交通流量预测与对应解释正确对齐的示例。这些示例由ChatGPT生成，输入中包含真实值预测结果。接着，将其融入输入提示词：在指令微调提示词之前，将这些小样本示例直接加入输入内容中。最后，是模型推理：LLM在推理过程中以这些示例为指导，使其能够生成与预测序列高度对齐的解释。

实验

        文章依次介绍了实验设置、与基线模型的对比结果、时空性能分析、消融实验、泛化能力验证以及对模型预测解释的讨论。因篇幅原因本推文仅与基线模型的对比结果、介绍时空性能分析以及模型预测解释的讨论。

1）总体效果

    下表中展示了xTP-LLM与基线模型的性能对比结果。所有模型均基于作者的CATraffic数据集在相同设置下进行训练与评估，任务是利用过去12小时的交通流量数据预测未来12小时的交通流量。表中展示了预测步长为3、6、9、12时的结果，以及全部12个步长的平均性能。结果表明，xTP-LLM模型整体性能显著优于所有基线模型。

 2）时空性能分析

        空间均匀性用于评估不同模型在不同空间位置上学习交通模式的能力。为验证该能力，文章在大洛杉矶地区（GLA）内具有不同城市特征的多个位置，对xTP-LLM及四种基线模型（LSTM、AGCRN、STGCN和GWNET）进行了测试。如下图所示，结果展示了预测时长为3、6、9、12小时的MAPE值，颜色越深表示性能越差。xTP-LLM模型在不同空间位置上均表现出较为稳定一致的预测性能，无论空间特征如何变化，都能有效捕捉交通流量趋势。

        在时间均匀性分析中，作者在测试集的一个子集（2019年11月的交通数据）上对模型进行评估，并报告每日平均MAPE值。结果以日历热力图的形式展示在下图中，呈现了各模型在整月中的对比性能。文章所提模型始终表现出更低的日均 MAPE，表明其在捕捉交通流模式的时间细节上具有较强的鲁棒性。值得注意的是，模型在整个月内的表现持续优于其他模型，体现了其在处理真实交通场景中多样时间动态变化时的优越能力。

3）预测解释性研究

        为说明模型预测的可靠性与可解释性，作者在下表中展示了4个具有不同预测时段和外部因素的案例。每个案例左侧的图表展示了真实值与预测值（浅红色区域表示95%置信区间），右侧为对应的解释文本。由于原始结果解释篇幅较长，作者使用ChatGPT将其概括为简短段落用于展示。

        在案例(a)中模型预测交通流量呈现先上升后下降的趋势，与典型的工作日交通规律一致。此外，在案例(c)中，模型将降雨天气识别为交通拥堵的影响因素，该因素导致交通高峰出现延迟。同时，案例(d)体现了模型能够将节假日对交通流量的影响纳入考量。xTP-LLM能够很好地利用多种外部数据进行稳健预测，但在捕捉细微的流量波动方面仍面临挑战，例如案例(b)的14–18时以及案例(d)的20–22时出现的波动。这些复杂情况可能是因为人类活动的动态特性与交通系统的复杂性。

结论

作者提出了xTP-LLM模型，该模型是一种兼顾预测精度与可解释性的新型交通预测模型。通过融合多模态输入并采用基于语言的表示方式，达到了极具竞争力的预测性能，同时能够为其预测结果提供具有深度的解释。xTP-LLM基于语言的框架结合时空对齐指令，提供了一种透明且自适应的方法，适用于各类城市预测任务。

欢迎关注微信公众号《当交通遇上机器学习》！如果你和我一样是轨道交通、道路交通、城市规划相关领域的，也可以加微信：Dr_JinleiZhang，备注“进群”，加入交通大数据交流群！希望我们共同进步！

往

期

回

顾

重磅发布 | 《Artificial Intelligence for Transportation》新刊上线！

团队研究成果|大型活动期间城轨短时客流预测

团队研究成果|城市轨道交通短时交通客流OD预测

团队研究成果|城市轨道交通新线客流预测

团队研究成果|城市轨道交通疫情期间短时客流预测

团队研究成果|基于物理信息引导的突发事件期间的城市轨道交通短时OD需求预测

我知道你在看哟