时序大模型科普
国外玩家:TimesFM:由Google开源,是一种预训练的仅解码器基础模型,优化了对上下文长度最多512个时间点和任何时间跨度的单变量时间序列预测。MOIRAI:由Salesforce开源,通用模型设计使其具备零样本预测能力。Chronos:由Amazon开源,通过对时间序列数据进行标记,并使用交叉熵损失函数在这些标记化的序列上训练语言模型。TimeGPT-1:由Nixtla
·
一、引言
时序大模型是近年来在时序数据分析领域兴起的一个新兴分支,它在模型通用性、下游任务适应性、可扩展性、预测准确性等方面实现了显著突破。本文将深入浅出地介绍时序大模型的基本概念、发展历程、主要研究方向以及国内外的重要玩家和应用场景。
二、时序数据分析的发展历程
- 统计模型阶段:在2018年以前,业内主要采用统计模型来分析时序数据,如自回归滑动平均、趋势分析、状态空间模型以及谱分析等。这些方法通过数学公式描述时间点之间的相互关系,分析时间序列的组成逻辑。
- 深度预测模型阶段:2018年之后,针对时间序列的深度模型研究开始蓬勃发展。深度预测模型通过设计神经网络结构,从海量数据中学习复杂模式和特征,解决了传统时序分析技术难以处理的若干挑战。
- 时序大模型阶段:由于时间序列的多样性、非平稳等特性对深度学习方法的模型容量和泛化能力提出了严峻挑战,2024年时序分析模型领域出现了新的分支——时序大模型。
三、时序大模型的主要研究方向
- 大型语言模型(LLM)的应用:这类模型在自然语言处理任务中表现出色,现在也被转用于分析时序数据,以利用其卓越的模式识别和预测能力。
- 原生时序大模型的研发:这类模型专门针对时序数据特性量身设计,考虑了时间序列数据的连续性、周期性、时间依赖性等关键属性,能够提供更为精确、高效的分析预测。
四、国内外重要玩家及时序大模型介绍
- 国外玩家:
- TimesFM:由Google开源,是一种预训练的仅解码器基础模型,优化了对上下文长度最多512个时间点和任何时间跨度的单变量时间序列预测。
- MOIRAI:由Salesforce开源,通用模型设计使其具备零样本预测能力。
- Chronos:由Amazon开源,通过对时间序列数据进行标记,并使用交叉熵损失函数在这些标记化的序列上训练语言模型。
- TimeGPT-1:由Nixtla研发,可以实现API调用,允许用户利用自己的数据对模型进行微调。
- 国内玩家:
- Timer:由清华大学软件学院研发,拥有基于大规模预训练的丰富知识库,具备可观的分析能力和对真实世界数据的理解能力。Timer模型在零样本预测、少样本微调、任务通用性、可扩展性等方面均表现出色。目前,Timer可被时序数据库IoTDB中的AINode智能分析节点方便地调用。
五、时序大模型的应用场景与性能评估
时序大模型在多个领域展现出巨大潜力,典型的应用场景包括时序预测、数据填补、异常检测等工业场景大模型。性能评估方面,零样本预测任务是衡量时序大模型泛化能力的重要指标之一。在多个真实数据集的零样本预测任务中,Timer模型表现优异,平均排名领先。
六、未来展望
随着时序大模型技术的不断进步和创新方法的不断涌现,预计时序大模型将在更多领域和场景中发挥重要作用。我们期待以Timer模型为代表的时序大模型在未来实现性能更大幅度的提升,为时序数据分析领域带来更多的突破和贡献。
更多推荐
所有评论(0)