基于金融新闻微调大语言模型，进行股票回报预测

“Fine-Tuning Large Language Models for Stock Return Prediction Using Newsflow”

论文地址：https://arxiv.org/pdf/2407.18103

摘要

本文研究了利用金融新闻流对大型语言模型（LLMs）进行微调，以用于预测股票回报的效果，并突出了回报预测在量化投资中的关键作用。文中描述的模型由文本表示和预测组件构成，并对比了编码器与解码器模型的不同效果。

研究发现指出：

通过聚合LLM的token级嵌入表示可以改善长短期组合的回报预测能力。
对于较大的投资组合，解码器模型显示出更佳的表现；而在较小的投资范围内，则未见明显的性能差异。
相较于传统的基于情感分析的评分，LLM提供的文本表示在构建投资组合时表现出更优的性能。

该研究证明了通过微调LLM来进行回报预测和优化投资组合构建的潜力。

简介

量化投资依赖于从市场价格、经济数据和金融文本等多种来源中提取量化的特征，以构建有效的投资组合。随着自然语言处理技术的进步，金融新闻文本数据在量化投资中的作用日益凸显。大型语言模型（LLMs）因其在语言理解和生成任务上的卓越表现，能够通过特定领域的微调来支持投资相关应用。

本文专注于使用金融新闻来预测股票回报，从而辅助投资组合的构建。传统上，利用金融新闻的方法涉及复杂的特征提取与验证流程，这不仅耗时而且需要额外的数据处理。相比之下，LLMs可以产生可以直接用于预测分析的文本数值表示，因此本文探讨了通过微调这些模型，实现从新闻内容直接到股票回报预测的转变。

本文的主要贡献如下：

1. 开发预测框架：

设计了一种基于大型语言模型（LLM）的股票回报预测模型。
该模型包含两个核心模块：文本表示模块和预测模块。

2. 对比模型表现：

比较了不同类型的LLMs在股票回报预测中的性能差异，具体为编码器模型（例如DeBERTa）和解码器模型（例如Mistral, Llama3）。

3. 提出整合策略：

提出了两种方法将LLM生成的token级表示整合到预测模块中：
瓶颈层方法：通过一个瓶颈层来压缩信息，从而更好地适应预测任务。
聚合表示法：对token级表示进行聚合，以产生更高层次的特征表示。

4. 实证研究与评估：

使用真实的金融新闻数据集，在不同的投资领域进行了广泛的实验。
评估了模型的预测误差，以及根据回报预测构建的投资组合的回测表现，以检验模型的实际应用效果。

01相关工作

先前的研究已经探索了利用金融文本数据进行预测的各种方法，涵盖了情感分析和文本表示学习等领域。大型语言模型（LLMs），例如BERT和GPT-3，为量化投资中的文本数据分析带来了新的途径。这些模型通过大规模预训练来捕捉语言的模式，并借助提示工程和任务特定的微调来优化其在不同应用场景中的表现。有研究者将LLMs用作特征提取工具，应用于金融领域的情感分析和新闻因素的提取。本文则专注于对LLMs进行微调，旨在直接建立金融新闻文本与股票数值回报之间的关联，并评估不同类型LLMs生成的文本表示在这一任务上的效果。

02通过LLM从金融新闻学习股票投资组合

问题建模

投资组合的选择基于定量分析，从一个股票集合U中挑选出子集，并定期进行更新。设r s,t+ℓ为股票s在时间t之后的ℓ步预测回报，新闻文本x s,i用于辅助这一预测。在时间t时，通过使用时间窗口W内所有相关新闻文本{ x s,i } i ∈T s,<t，我们构建了用于回报预测的数据集。这些新闻文本被串联成一个序列X s,<t，然后通过文本表示模块g(·)和预测模块f(·)来建立回报预测模型。训练该模型时使用的是数据实例对{(r s,t+ℓ , X s,<t )}，而在测试阶段，则会评估预测误差并根据结果选择股票。

对于长期投资组合，我们的目标是选出预期会上涨的股票，依据回报预测的排名选取前K只股票加入组合。而长短期投资组合则采取更为综合的方法，不仅包括预期上涨的前K只股票，同时也包含预计会下跌的后K只股票，以实现多空双向的投资策略。

方法

大型语言模型（LLMs）可以分为三类：仅编码器（encoder-only）、仅解码器（decoder-only）和编码器-解码器混合型（encoder-decoder）。这三种模型通过不同的预训练目标来生成文本的高维向量表示。仅编码器LLMs采用掩码语言模型进行预训练，通过遮蔽部分令牌并预测这些缺失的部分，从而生成包含前后上下文信息的表示。而仅解码器LLMs则利用自回归的方式，预测下一个令牌，其表示基于之前看到的所有令牌。

在微调过程中，瓶颈（Bottleneck）表示方法将序列信息压缩成一个单一的向量。对于仅编码器LLMs而言，结束序列（EOS）令牌与掩码令牌的作用相似，有助于有效总结整个序列的特征。相比之下，仅解码器LLMs的最后一个令牌已经自然地汇总了整个序列的信息，因此EOS令牌显得多余。为了解决最后一个令牌表示可能失效的问题，提出了一种替代的瓶颈表示方法——聚合所有令牌的表示，比如使用简单的平均策略。

当使用聚合表示时，对于仅编码器LLMs，预训练阶段和微调阶段之间存在差异，因为在预训练中每个令牌的表示是基于被遮蔽的令牌，而在微调时则是基于上下文和自身。对于仅解码器LLMs，对所有令牌表示取平均可能会导致偏向于输入序列早期的令牌，因为早期令牌在自回归设置中会反复影响后续令牌的表示。实验中使用了DeBERTa、Mistral-7B和Llama38B模型，并采用了均方误差（MSE）作为损失函数。

03实验

数据

本研究的数据集涵盖了2003年至2019年间公司级别的金融新闻，涉及北美、欧洲以及新兴市场的投资信息。

设置

在构建投资组合时，长期投资组合选择了预测排名处于第9分位数的股票，并给予所有入选股票等权重。长短期投资组合则同时纳入了第9分位数（预期上涨）和第0分位数（预期下跌）的股票，同样采用等权重分配。我们进行了每月一次的再平衡回测，对比了不同大型语言模型（LLM）的预测效果与基于情感分析的投资策略（如使用FinBERT和FinVADER构建的组合）。

评估指标

为了评估模型的表现，我们采用了多个指标：分位数均方根误差（RMSE）、准确率和收益，还通过累计收益图展示了投资组合的表现，并计算了年化收益和夏普比率等性能统计数据。

结果

针对北美市场，我们的研究发现，采用聚合表示方法的模型在第9分位数上的收益通常优于使用瓶颈（Bottleneck）表示的模型，即使其RMSE可能更高。对于第0分位数，由于其低收益特性对长短期组合有利，虽然聚合表示在此分位数的表现不及瓶颈模型，但整体上长短期组合的表现有所提升。编码器和解码器类型的LLM比较显示，在北美市场上，聚合表示的效果要好于瓶颈表示；而欧洲和新兴市场的相关结果可以在附录中找到。

解码器模型Mistral和Llama在第9分位数（预期表现最佳的股票）中表现出色，但在第0分位数（预期表现最差的股票）中的预测准确性较低。这一特点使得它们在累积回报图中超越了单纯的长仓组合以及长短仓组合。对于长仓组合而言，编码器和解码器类型的LLM表现相当；然而，在长短仓组合中，DeBERTa模型的短仓部分未能有效识别出表现不佳的股票，从而拖累了整体组合的表现，这突显了精确选股的重要性。