一种基于残差校准网络与多尺度融合机制的交通流量预测方法

1.本发明涉及一种基于残差校准网络与多尺度融合机制的交通流量预测方法，属于交通流 量预测技术领域。


背景技术：

2.在智能交通和科学研究中，交通流量数据是以时空排序的多组随机变量，通常来说，它 是在某个特定空间区域内，相等间隔时间段内依照一定的采样频率对某种潜在过程进行观测 的结果。交通流量数据实际上反映的是某个或者某些出行变量随着时空不断变化的趋势，而 交通流量预测方法主要就是从一系列的流量数据中挖掘出某种规律，并且利用这种规律对未 来的数据进行估值。随着uber和滴滴出行等打车需求服务的日益普及，共享单车和交通运输 业的不断发展。人们能够不断收集并生成大量的时空图像数据，为交通流量预测提供了坚实 的数据基础。
3.针对交通流量预测的问题，研究者们提出的不同方法，一般可以分为两大类：模型驱动 方法和数据驱动方法。模型驱动的方法也被称为参数方法，主要通过预先确定的理论假设， 在此基础上求解出模型参数，并利用求解出的模型完成预测工作。主要有arima(autoregressive integrated moving average，自回归综合移动平均法)、var(vector auto regressive， 向量自回归)等。var是一种更先进的时间序列模型，可以捕捉所有交通流序列之间的成对 关系。但是这些方法因为城市交通路网和轨迹数据过于复杂，其假设的变量数据无法准确表 示真实的复杂路网和轨迹，在流量预测方面表现不佳。
4.数据驱动方法可以分为两类:传统的机器学习方法和基于深度学习的方法。机器学习方法 如knn(k nearestneighbour，k近邻)和svm(supportvectormachine，支持向量机)等， 它们可以建模更复杂的数据，但需要详细的特征工程。传统的机器学习方法无法处理高维数 据，难以描述交通路网和轨迹数据中复杂的流量变化。此外，传统机器学习的预测性能很大 程度上依赖于自定义特征，而自定义特征对问题的依赖程度很高，并且依赖于专家经验，因 此，这种方法的通用性较弱。深度学习的方法能够有效地建立高维时空数据模型以及通过层 次表示自动发现复杂的特征。其中，rnn(recurrent neural network，循环神经网络)最先 被运用于交通流量预测之中，但是由于rnn每个神经元之间权值共享，因此导致了梯度爆炸 或者梯度消失的问题，从而难以在较长的时间特征上中取得好的效果。cnn-lstm (convolutional neural networks-long short-term memory，卷积长短期记忆网络)的混合模 型为解决时空序列问题提供了新的思路。rnn的变种有gru(gated recurrent unit，门控循 环单元)、lstm(long short-term memory，长短期记忆网络)等。主要通过独特的内部单 元设计，引入了遗忘门、更新门对上一状态的信息加以鉴别并有选择的丢弃或更新。这在一 定程度上解决了rnn的梯度爆炸或梯度消失的问题，但由于gru和lstm的内部单元只与 下一时刻的内部单元相连接，因此cnn-lstm无法很好的捕捉时间的周期特征。基于残差卷 积神经网络可以捕捉时空信息中的依赖关系，尤其是在处理复杂的
时空图像数据，预测大规 模的交通流量方面，具有明显的优势。但残差卷积神经网络在获取城市空间特征时，没有校 准城市交通流空间上各个区域的流量特征，无法避免整个城市空间特征中无关区域对各自区 域的干扰。同时，低层网络的特征信息表征能力弱及高层下采样损失过多信息，从而影响预 测精度。


技术实现要素：

5.本发明的目的在于提供一种基于残差校准网络与多尺度融合机制的交通流量预测方法， 以解决使用低层网络的特征信息预测精度不高及高层下采样损失过多信息的问题。
6.一种基于残差校准网络与多尺度融合机制的交通流量预测方法，其特征在于，所述方法 包括：
7.获取交通流量数据和外部特征数据；
8.对交通流量数据和外部特征数据进行预处理，得到待测交通图像数据；
9.将待测交通图像数据输入至预先训练好的ms-rescnet网络模型中，输出交通流量的预 测的结果。
10.进一步地，所述预处理方法包括：
11.将交通流量数据和外部特征数据栅格化，生成带有时空信息的交通流图像数据；
12.采用批量归一化方法对交通流图像数据进行预处理，得到待测交通图像数据。
13.进一步地，所述ms-rescnet网络模型包括卷积层、残差校准层和残差单元，所述卷积 层由一层卷积网络构成，所述卷积层与残差校准层和残差单元相连，用于提取城市交通流的 时空特征。
14.进一步地，所述残差校准层包括卷积层和校准块，所述校准块由多个卷积层分支融合而 成的网络，用于提高时空特征的提取能力。
15.进一步地，所述残差单元是由两个卷积块组成，并通过残差连接相连，每个卷积块由批 量归一化层、激活层及卷积层组成，通过多尺度融合机制，将残差校准层及多个残差单元的 各个输入作为流量图像输入特征尺度，将多个特征尺度进行拼接融合，输出多特征尺度数据。
16.进一步地，所述卷积层为卷积网络，通过卷积运算，将多特征尺度的输出数据转换为预 测目标值。
17.进一步地，所述ms-rescnet网络模型的训练方法包括：
18.将训练样本输入ms-rescnet网络进行训练，通过预先构建的损失函数不断的优化更新 ms-rescnet网络中的权重参数w；
19.将更新后的权重参数w带入ms-rescnet网络，并计算损失函数，直至损失函数结果最 小，保存此时的权重矩阵参数w、参数wb和偏置参数bb，得到训练好的ms-rescnet网络模 型。
20.进一步地，所述样本训练对ms-rescnet网络模型进行训练之前，首先进行参数初始化， 用平均值为0且标准差为的kaiming正态分布随机初始化重参数w、参数wb、偏 置参数bb，其中fan_in为输入维度。
21.进一步地，所述损失函数表达式如下：
[0022][0023]
其中rmse为损失函数，n为训练样本个数，obsi为第i个训练样本的真实值，prei为由 前i-1个训练样本通过ms-rescnet网络输出的第i个预测值。
[0024]
进一步地，所述更新ms-rescnet网络中的权重参数w包括：计算损失函数结果，利用 随机梯度下降算法进行反向传播，更新权重参数。
[0025]
与现有技术相比，本发明所达到的有益效果：
[0026]
(1)本发明所提出的基于残差校准网络与多尺度融合机制的网络模型流量预测方法，首 先对历史交通流时空图像数据进行归一化预处理，通过归一化处理，将数据转换至0～1之间， 节约了计算资源，加快了神经网络的收敛速度。使用残差网络，加深了网络层数，解决了梯 度消失的问题。
[0027]
(2)本发明所提出的基于残差校准网络与多尺度融合机制的网络模型流量预测方法，在 深度残差网络的基础上，添加了多条网络路径融合后的校准网络，可以校准城市交通流空间 上各个区域的流量特征，避免整个城市空间特征中无关区域对各自区域的干扰，用以解决没 有充分提取时空特征从而导致预测精度不够的问题。
[0028]
(3)本发明所提出的基于残差校准网络与多尺度融合机制的网络模型流量预测方法，采 用多尺度的融合机制对ms-rescnet网络中高低层城市空间特征信息进行融合，将 ms-rescnet网络中各层的交通流量图像输入特征，利用cnn对多个输入特征进行拼接融合， 解决了使用低层网络的空间特征信息预测精度不高及高层下采样损失过多信息的问题。
附图说明
[0029]
图1是本发明方法实施例的流程示意图；
[0030]
图2是本发明方法实施例的结构示意图；
[0031]
图3是本发明方法实施例所述残差单元的示意图；
[0032]
图4是本发明方法实施例所述残差校准网络的内部结构图。
具体实施方式
[0033]
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体 实施方式，进一步阐述本发明。
[0034]
如图1所示，本发明公开了一种基于残差校准网络与多尺度融合机制的交通流量预测方 法，本发明方法步骤如下：
[0035]
获取交通流量数据和外部特征数据；
[0036]
对交通流量数据和外部特征数据进行预处理，得到待测交通图像数据；
[0037]
将待测交通图像数据输入至预先训练好的ms-rescnet网络模型中，输出交通流量的预 测的结果。
[0038]
其中，所述预处理方法包括：
[0039]
将交通流量数据和外部特征数据栅格化，生成带有时空信息的交通流图像数据；
[0040]
采用批量归一化方法对交通流图像数据进行预处理，得到待测交通图像数据。
[0041]
本发明ms-rescnet网络模型的结构改进如下：
[0042]
ms-rescnet网络主要由卷积层、残差校准层、残差单元组成，所述卷积层由一层卷积网 络构成，采用卷积网络且卷积核大小为3，卷积层与残差校准层和残差单元相连，用于提取 城市交通流的时空特征；
[0043]
进一步地，残差校准层是由卷积层和校准块组成，其中卷积层采用卷积核大小为3的卷 积网络。校准块是由多个卷积层分支融合而成的网络，它使得城市交通流空间特征各个区域 都融合了其时间通道维度上的交互特征信息和附近空间特征信息，用于提高时空特征的提取 能力。该校准块一共有五个分支，分支1采用两个卷积块组成，并通过残差连接相连。每个 卷积块由批量归一化层、激活层及卷积层组成，分支2采用平均池化层和卷积层以及归一化 层相连，池化率大小为2，分支3、分支4、分支5都由卷积层和归一化层组成，最后通过分 支5对四个分支的2个输出进行融合并进行残差连接处理。通过残差校准层输出特征图像信 息。所有卷积核大小均为3，输入通道数量为64，其中，校准块的通道数量为64。
[0044]
进一步地，所述残差单元是由两个卷积块组成，并通过残差连接相连。每个卷积块由批 量归一化层、激活层及卷积层组成。多个残差单元相连，每个单元的输入与输出相连，用于 在捕获时空特征的同时，解决梯度消失的问题。使用的残差单元数为12，所有卷积核大小均 为3，通道数量为64；
[0045]
进一步地，通过多尺度融合机制，将残差校准层及多个残差单元的各个输入都作为流量 图像输入特征尺度；
[0046]
进一步地，将多个特征尺度进行拼接融合，输出多特征尺度数据；
[0047]
进一步地，所述卷积层为卷积网络，该层的输入通道数量为896，输出通道数为2。该层 通过卷积运算，将多特征尺度的输出数据转换为预测目标值；
[0048]
参考图1，阐述ms-rescnet网络模型的训练及预测的具体方法：
[0049]
步骤1：获取历史交通流量时空图像数据x
t
＝{x1,...,x
n-1
}，其中n-1为流量数据的时间戳， 需要预测第n个时间戳的xn的值。x
t
为流量数据中第t(0≤t≤n-1)个时间戳的观测流量值。 每个x
t
＝{x
tin,i,j
,x
tout,i,j
}，流量数据表示为将目标城市流量分割成i
×
j网格类型， s＝(s
0,0
,....s
i,j
)∈r表示城市流量空间特征，s
i,j
表示城市流量中第i行j列的流量数据；
[0050]
其中：
[0051][0052]
步骤2：为了将数据映射至0到1之间，从而加快神经网络的训练速度，对流量数据x
t
进 行归一化处理得到数据x
t
'＝{x0',...,x'
n-1
}，对于每个观测值x
t
，其归一化方法为：
[0053][0054]
其中，x
max
和x
min
分别对应着观测值中的最大值和最小值，x
t
'为归一化之后的结果。
[0055]
步骤3：将经过归一化处理后的流量图像数据集按9:1的比例进行划分，从而得到训练集 和测试集；
[0056]
步骤4：将步骤3中的训练样本数据作为网络模型的输入，设计ms-rescnet网络。如图 2所示，是本发明方法实施所述ms-rescnet网络总体结构示意图。流量矩阵数据首先进入卷 积层,以提取数据在时空维度上的短期依赖。经过1层卷积层后得到特征矩阵conv。
[0057]
步骤5：进一步地，将特征矩阵conv输入到残差校准层中进行计算，残差校准层由两个 卷积层和一个校准块组成。conv通过卷积层和relu(线性整流函数激活函数)及最大池化 层进行卷积处理，然后输入到校准块中。校准块首先采用卷积层和relu(线性整流函数激活 函数)及归一化层将conv分为两个输入分支input1和input2。接着input1输入到由两个卷积 层组成的分支1，主要输出空间维度的短期依赖conv2，input2同时输入分支2和分支3，经 过分支2对空间和通道维下采样处理与经过分支3的输出进行相乘输出特征矩阵conv1， conv1经过分支4融合输出时空矩阵，进而获得通道维和空间维的注意力特征conv3。输出的 conv3与conv2通过分支5进行通道维的拼接融合输出conv4，进一步地与conv进行残差连接 输出，输出校准特征矩阵。使得空间上各个区域都融合了附近区域的信息和通道上的交互信 息，避免整个全局信息中无关区域的干扰，用以解决没有充分提取时空特征从而导致预测精 度不够的问题。
[0058]
其中，残差校准层的内部结构如图4所示，现结合图4具体说明残差校准层以及结果输 出的过程：
[0059]
(1)特征矩阵conv为x＝{x1,...,xc}∈rc×h×w经过卷积层进行卷积处理：
[0060]
t1＝relu(bn(conv(x)))
ꢀꢀ
(5)
[0061]
其中，t1为进行卷积运算的输出，relu为线性整流激活函数，bn为批量归一化层，conv 为3*3的卷积。
[0062]
(2)将t1输入到校准块中，输出校准特征矩阵图c1，其过程如下：
[0063]
input1＝relu(bn(conv_a(t1)))
ꢀꢀ
(6)
[0064]
input2＝relu(bn(conv_b(t1)))
ꢀꢀ
(7)
[0065]
y1＝conv(relu(bn(input1)))
ꢀꢀ
(8)
[0066]
k2＝bn(conv(avgpool(input2)))
ꢀꢀ
(9)
[0067]
k3＝bn(conv(input2))
ꢀꢀ
(10)
[0068]
y2＝k3·
σ(input2+k2)
ꢀꢀ
(11)
[0069]
y2＝bn(conv(y2))
ꢀꢀ
(12)
[0070]
c1＝relu(bn(conv(cat(y1,y2))))
ꢀꢀ
(13)
[0071]
其中，所有conv、conv_a和conv_b为3*3的卷积核，relu为激活函数，bn为批量归 一化层。avgpool的池化率为2，卷积核和步长都设为2，通过avgpool完成下采样，up函 数完成上采样使得与input2的分辨率和通道数相同。σ为通过sigmoid激活函数将值映射到 区间[0,1]。
·
为相乘符号，cat将两个输出y1和y2在通道维度上进行拼接。
[0072]
步骤6：将残差校准层的输出结果c1输入到残差单元层，每个残差单元是由两个卷积块 组成，并通过残差连接相连。多个残差单元相连，每个单元的输入与输出相连，用于在捕获 时空特征的同时，解决梯度消失的问题，从而加深网络层数。
[0073]
其中残差卷积单元层的内部结构如图3所示，现结合图3具体说明残差卷积单元层以及 结果输出的过程：
[0074]
(1)将校准特征矩阵c1输入到多个残差单元中，输出矩阵ri，每层网络的前向传播
过程 如下：
[0075]ri
'＝conv(relu(bn(ri)))(1≤i≤12)
ꢀꢀ
(14)
[0076]ri+1
＝conv(relu(bn(ri')))+ri(1≤i≤12)
ꢀꢀ
(15)
[0077]
其中，r0为上一层残差校准层的输出结果c1，每个残差单元都通过当前单元的输入ri进 行残差连接相连，输出下一残差单元的输入r
i+1
。残差单元的数量设为12，每个单元的通 道数为64。
[0078]
步骤7：最后通过多尺度融合机制，将卷积层、残差校准层及多个残差卷积单元的各个 输出都作为尺度输出，将多个尺度进行拼接融合，输出多尺度数据。利用一个卷积层将多尺 度的输出数据转换为预测目标值，该层的输入通道数量为64*14，输出通道数为2。使用relu (线性整流函数)作为激活函数。
[0079]
其中多尺度融合机制的具体结构如图2所示，现结合图2具体说明多尺度融合机制以及 结果输出的过程：
[0080]
(1)将卷积层的输出conv、残差校准层的输出c1、多个残差单元的输出ri(1≤i≤14)进 行拼接融合，输出多尺度数据。其过程如下：
[0081]
m'＝cat(conv,c1,r1,...ri)
ꢀꢀ
(16)
[0082]
(2)将融合结果m'输入到卷积层，使多尺度的输出数据转换为预测目标值。其过程如下：
[0083]
m＝conv(relu(m'))
ꢀꢀ
(17)
[0084]
步骤8：构建损失函数，利用训练样本训练ms-rescnet网络模型，将测试样本输入到训 练好的网络，得到预测流量数据。过程包括：
[0085]
首先，采用均方根误差(rmse)作为损失函数，其定义式如下：
[0086][0087]
其中rmse为损失函数，n为训练样本个数，obsi为第i个训练样本的真实值，prei为由 前i-1个训练样本通过ms-rescnet网络输出的第i个预测值；
[0088]
进一步地，对ms-rescnet网络进行训练，使用平均值为0且标准差为 (fan_in为输入维度)的kaiming正态分布随机初始化每个阶段网络的权重矩阵参数。
[0089]
进一步地，初始化完成后，使用pytorch中的sgd(stochastic gradient descent，随机梯 度下降)优化器，通过随机梯度下降的方法不断优化更新权重矩阵参数,直至损失函数最小， 更新规则服从如下公式：
[0090][0091]
式中，α为学习率，w为权重矩阵参数。上述公式中的偏导数可以由反向传播求出。
[0092]
其中，反向传播主要步骤是：首先，将给定样本进行前向传播，得到网络最终的输出值； 然后，计算出误差值，并利用误差值对每个结点分别求偏导，可得到每个结点对最终输出的 影响。因此，完整的网络训练模型如下：对每一阶段网络的权重参数进行初始化；对每个样 本，先利用前向传播求出总误差，再利用反向传播求出各个权重参数的偏导数，最
后根据上 述公式对权重参数进行更新。重复此步骤直至损失函数达到最小，此时ms-rescnet网络收 敛，保存该网络模型及模型参数。将测试样本输入到训练好的网络模型中，得到预测流量数 据p。
[0093]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说， 在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为 本发明的保护范围。

技术特征：
1.一种基于残差校准网络与多尺度融合机制的交通流量预测方法，其特征在于，所述方法包括：获取交通流量数据和外部特征数据；对交通流量数据和外部特征数据进行预处理，得到待测交通图像数据；将待测交通图像数据输入至预先训练好的ms-rescnet网络模型中，输出交通流量的预测的结果。2.根据权利要求1所述的基于残差校准网络与多尺度融合机制的交通流量预测方法，其特征在于，所述预处理方法包括：将交通流量数据和外部特征数据栅格化，生成带有时空信息的交通流图像数据；采用批量归一化方法对交通流图像数据进行预处理，得到待测交通图像数据。3.根据权利要求1所述的基于残差校准网络与多尺度融合机制的交通流量预测方法，其特征在于，所述ms-rescnet网络模型包括卷积层、残差校准层和残差单元，所述卷积层由一层卷积网络构成，所述卷积层与残差校准层和残差单元相连，用于提取城市交通流的时空特征。4.根据权利要求3所述的基于残差校准网络与多尺度融合机制的交通流量预测方法，其特征在于，所述残差校准层包括卷积层和校准块，所述校准块由多个卷积层分支融合而成的网络，用于提高时空特征的提取能力。5.根据权利要求3所述的基于残差校准网络与多尺度融合机制的交通流量预测方法，其特征在于，所述残差单元是由两个卷积块组成，并通过残差连接相连，每个卷积块由批量归一化层、激活层及卷积层组成，通过多尺度融合机制，将残差校准层及多个残差单元的各个输入作为流量图像输入特征尺度，将多个特征尺度进行拼接融合，输出多特征尺度数据。6.根据权利要求5所述的基于残差校准网络与多尺度融合机制的交通流量预测方法，其特征在于，所述卷积层为卷积网络，通过卷积运算，将多特征尺度的输出数据转换为预测目标值。7.根据权利要求1所述的基于残差校准网络与多尺度融合机制的交通流量预测方法，其特征在于，所述ms-rescnet网络模型的训练方法包括：将训练样本输入ms-rescnet网络进行训练，通过预先构建的损失函数不断的优化更新ms-rescnet网络中的权重参数w；将更新后的权重参数w带入ms-rescnet网络，并计算损失函数，直至损失函数结果最小，保存此时的权重矩阵参数w、参数w
b
和偏置参数b
b
，得到训练好的ms-rescnet网络模型。8.根据权利要求7所述的基于残差校准网络与多尺度融合机制的交通流量预测方法，其特征在于，所述样本训练对ms-rescnet网络模型进行训练之前，首先进行参数初始化，用平均值为0且标准差为的kaiming正态分布随机初始化重参数w、参数w
b
、偏置参数，其中fan_in为输入维度。9.根据权利要求7所述的基于残差校准网络与多尺度融合机制的交通流量预测方法，其特征在于，所述损失函数表达式如下：
其中rmse为损失函数，n为训练样本个数，obs
i
为第i个训练样本的真实值，pre
i
为由前i-1个训练样本通过ms-rescnet网络输出的第i个预测值。10.根据权利要求7所述的基于残差校准网络与多尺度融合机制的交通流量预测方法，其特征在于，所述更新ms-rescnet网络中的权重参数w包括：计算损失函数结果，利用随机梯度下降算法进行反向传播，更新权重参数。

技术总结
本发明公开了一种基于残差校准网络与多尺度融合机制的交通流量预测方法，其特征在于，所述方法包括：获取交通流量数据和外部特征数据；对交通流量数据和外部特征数据进行预处理，得到待测交通图像数据；将待测交通图像数据输入至预先训练好的MS-ResCNet网络模型中，输出交通流量的预测的结果；本发明所提出的基于残差校准网络与多尺度融合机制的网络模型流量预测方法，在深度残差网络的基础上，添加了多条网络路径融合后的校准网络，可以校准城市交通流空间上各个区域的流量特征，避免整个城市空间特征中无关区域对各自区域的干扰，用以解决没有充分提取时空特征从而导致预测精度不够的问题。测精度不够的问题。测精度不够的问题。


技术研发人员：丁飞 殷齐 朱跃 顾潮
受保护的技术使用者：南京邮电大学
技术研发日：2022.05.31
技术公布日：2022/11/1