一、摘要

        本文介绍2024年的论文《Financial Fine-tuning a Large Time Series Model》，论文探索了主流的时间序列大模型在金融领域的微调应用实践，为时序大模型的领域微调提供了参考。

译文：

        大型模型在自然语言处理、图像生成以及近期的时间序列预测方面展现出了前所未有的能力。这就引出了一个问题：将市场价格视为时间序列，能否用大型模型来预测市场？在本文中，我们通过评估最新的时间序列基础模型 TimesFM 在价格预测方面的性能来回答这个问题。我们发现，由于价格数据的不规则性，直接应用 TimesFM 效果不佳，并提出针对价格预测任务在金融数据上对 TimesFM 进行微调。这是通过在包含 1 亿个时间点、涵盖不同金融工具且具有小时和日粒度的价格数据上对最新的时间序列基础模型 TimesFM 进行持续预训练来实现的。微调后的模型在价格预测准确性上比基线模型更高。我们在各种金融市场中对模型进行模拟交易，结果表明该模型在收益、夏普比率、最大回撤和交易成本等方面均优于各种基准。

二、核心创新点

        首先，我们需要了解一下论文所使用的时序大模型，即TimesFM。在TimesFM中，输入的时间序列会被加入到长度为的补丁中，接着由堆叠的多层Transformer层进行处理，从中预测出包含输出补丁长度为的时间序列。这些预测的结果使用MSE进行评估：

        TimesFM作者通常将设置为32，设置为128，且建议以仅解码器模式来训练模型。在此基础上，本文作者做出了两处的训练改动。

1、损失函数

        作者认为，原始的MSE损失在金融价格数据上进行训练时会存在一系列的缺陷，例如倾向于大规模数值的偏差（平均价值为1000美元的股票指数在训练中的权重会比平均价值为0.0001BUSD的加密货币的权重更大），同时还容易受到市场崩盘事件导致的不稳定性影响。由此，作者对原始时间序列应用一个对数变换，基于变换后的序列来进行预测，再在这些取对数后的序列上计算MSE：

        其中，z作为模型的输入来使用，有：

        对于y的微小变化，计算z=log(y)的MSE等同于计算百分比MSE，而对于y的较大变化，则对数函数的逐渐变缓会导致z的变化小于成比例的变化，从而稳定了训练过程。

2、掩码机制

        作者采用了已有的时序掩码机制，但为了能够随机采样时间序列的起点和重点，进行了以下操作：首先将时间序列分解为长度不超过max_context_length+output_length的序列，然后从[最小上下文长度，最大上下文长度]中随机采样一个并从[0，-min_context_length]中再随机采样一个。由此，[，]中的点就是输入，模型在训练过程中预测后面长度为output_length的时间点并评估损失。

        在上述两个策略下，作者实现了在1小时内完成80M个时间点的TimesFM微调且期间没出现任何的NaN损失。