动健身、交通运输、环境科学、社交媒体以及文本和图像处理等诸多领域讨论了各种复杂的深度神经网络思想如卷积神经网络、循环神经网络、生成对抗网络、门控循环单元、长短期记忆、自然语言处理、深度强化学习、大型语言模型和迁移学习。

在金融市场的分析中股票价格预测一直是一个充满挑战且备受关注的领域。

传统的时序预测方法如ARIMA、LSTM等虽然在一定程度上能够捕捉到时间序列数据的动态特性但在处理复杂的非线性关系和长期依赖时往往力不从心。

近年来随着深度学习技术的快速发展尤其是Transformer模型的出现为时序预测问题提供了新的解决思路。

Transformer模型通过其独特的自注意力机制能够有效地捕捉到时间序列数据中的长期依赖关系这在股票价格预测等金融时序预测任务中显得尤为重要。

然而Transformer模型在处理局部依赖和时序信息方面可能不如LSTM等循环神经网络模型。

因此结合LSTM和Transformer的混合模型应运而生旨在充分利用LSTM在处理时序信息和短期依赖方面的优势以及Transformer在捕捉长期依赖关系方面的能力。

本文将介绍一种基于LSTM-Transformer混合模型的股票价格多变量时序预测方法该方法结合了LSTM和Transformer的优点旨在提高股票价格预测的准确性。

我们将使用PyTorch框架来实现该模型并通过实验验证其在股票价格预测任务中的有效性。

希望通过本文的探讨能够为金融市场的时序预测问题提供一些新的思路和解决方案。

数据集介绍

Inc.在股票市场上的交易数据集合。

这些数据集包含了苹果公司的股票价格、交易量、市值等关键财务指标是金融分析、量化交易、时间序列预测等领域的重要数据源。

投资者可以通过分析AAPL股票数据集来评估苹果公司的基本面和市场表现从而做出更为明智的投资决策。

import

\mean_absolute_percentage_error,

\mean_squared_error,

print(type(data[Close].iloc[0]),type(data[Date].iloc[0]))#

Lets

print(type(data[Close].iloc[0]),type(data[Date].iloc[0]))#

Selecting

pandas._libs.tslibs.timestamps.Timestamp

(755,

绘制收盘价格收盘价是股票在正常交易日的最后交易价格是投资者跟踪其长期表现的标准基准。

通过图形可以快速识别股价的趋势走向。

plt.style.available

plt.plot(AAPL[Close],labelAAPL)

plt.ylabel(Close

库中预处理模块的一个非常实用的工具用于特征缩放特别是将特征值缩放到一个指定的范围内通常是[0,

1]。

这种缩放方法对于许多机器学习算法来说是非常有用的因为它可以帮助改善算法的收敛速度和性能特别是在特征尺度差异较大的情况下。

features

MinMaxScaler实例对特征进行拟合和变换生成NumPy数组

scaler

time_steps):X_list.append(features_scaled[i:itime_steps])y_list.append(target_scaled[itime_steps])X

np.array(X_list)

[target]上述代码的目的是进行时间序列数据的预处理将原始的时间序列数据转换为适合机器学习模型输入的格式。

具体来说它通过滑动窗口的方式将时间序列数据分割成多个样本每个样本包含一定数量的时间步

time_steps

的特征数据以及对应的一个目标值。

time_steps表示每个样本中包含的时间步数。

它决定了模型在预测时考虑的历史数据长度。

X_list用于存储分割后的特征数据样本的列表。

y_list用于存储每个特征数据样本对应的目标值的列表。

X_list.append(features_scaled[i:i

time_steps])将从当前位置

中。

这个目标值对应于当前特征数据样本之后的一个时间步的目标值。

samples,

设置了随机种子以确保每次运行代码时分割结果的一致性。

shuffleFalse

表示在分割数据时不进行随机打乱。

如果设置为True默认值则会在分割之前对数据进行随机打乱这样可以增加数据的随机性但时间序列数据具有连续性所以设置为False。

4.4

torch.from_numpy(X_train).type(torch.Tensor)

X_valid_tensor

torch.from_numpy(X_valid).type(torch.Tensor)

y_train_tensor

torch.from_numpy(y_train).type(torch.Tensor).view(-1,

y_valid_tensor

torch.from_numpy(y_valid).type(torch.Tensor).view(-1,

train_test_split

的张量tensor类型。

.type(torch.Tensor)

torch.Tensor

y_valid_tensor):self.X_train_tensor

X_train_tensorself.y_train_tensor

y_train_tensorself.X_valid_tensor

X_valid_tensorself.y_valid_tensor

y_valid_tensordef

train_loader(self):train_dataset

TensorDataset(self.X_train_tensor,

batch_size32,

valid_loader(self):valid_dataset

TensorDataset(self.X_valid_tensor,

batch_size32,

data_handler.valid_loader()在上述代码中创建了一个数据处理对象

train_loader

和验证集数据加载器valid_loader。

通过这种方式可以方便地管理和加载训练集和验证集数据为深度学习模型的训练和评估提供了数据支持。

构建时序模型TSF

LSTM_Transformer(nn.Module):def

__init__(self,

dropout0.5):super(LSTM_Transformer,

self).__init__()#

nn.TransformerEncoderLayer(d_modelhidden_dim,

dropoutdropout,

batch_firstTrue)self.transformer_encoder

nn.TransformerEncoder(transformer_encoder_layer,

输出层self.fc

self.transformer_encoder(transformer_input)#

预测输出output

torch.optim.Adam(model.parameters(),

lr0.0001)

Error损失函数。

均方误差是回归问题中常用的损失函数它计算预测值与真实值之间的平方差的平均值。

在时序预测中MSE

损失可以衡量模型预测值与实际值之间的差异程度。

criterion_mae

nn.L1Loss()

Error损失函数。

平均绝对误差计算预测值与真实值之间的绝对差值的平均值。

与

MSE

torch.optim.Adam(model.parameters(),

lr0.0001)

的优点能够在训练过程中自动调整学习率加快收敛速度。

model.parameters()

表示要优化的模型参数lr0.0001是学习率控制每次参数更新的步长。

学习率的选择对于模型的训练效果很重要过小的学习率可能导致收敛速度过慢而过大的学习率可能导致模型无法收敛或振荡。

5.3

可以根据需要调整两者的权重combined_loss.backward()optimizer.step()epoch_loss_mse

loss_mse.item()

loss_mae.item()average_loss_mse

epoch_loss_mse

的函数用于训练给定的模型。

它接收模型、数据迭代器、优化器作为参数并返回训练过程中的平均损失。

def

的函数用于评估给定模型在给定数据迭代器上的性能。

它接收模型、数据迭代器作为参数并返回评估过程中的平均损失。

这个函数通常在模型训练的过程中定期被调用以监控模型在验证集或测试集上的性能。

通过评估模型的性能可以了解模型的泛化能力和训练的进展情况。

epoch

valid_loader)train_mselosses.append(train_loss_mse)valid_mselosses.append(valid_loss_mse)train_maelosses.append(train_loss_mae)valid_maelosses.append(valid_loss_mae)print(fEpoch:

{epoch1:02},

{valid_loss_mae:.3f})上述代码主要进行了模型的训练和评估过程并记录了每个

epoch

model(inputs)all_targets.extend(targets.numpy())all_predictions.extend(predictions.numpy())return

all_targets,

的函数其主要目的是使用给定的模型对输入数据进行预测并收集所有的目标值和预测值。

7.2

scaler.inverse_transform(targets)

scaler.inverse_transform(predictions)targets

MinMaxScaler()

方法会将归一化后的数组还原为原始数据的尺度即对预测值进行反归一化操作。

Visualize

plt.plot(denormalized_predictions,

colororange,

sns.regplot(xdenormalized_targets,

scatterTrue,

以下代码使用了一些常见的评估指标平均绝对误差MAE、平均绝对百分比误差MAPE、均方误差MSE、均方根误差RMSE和决定系数R²来衡量模型预测的性能。

这里我们将通过调用

sklearn.metrics

mean_absolute_percentage_error(targets,

predictions)

root_mean_squared_error(targets,

predictions)