一种基于多模态数据融合的台风概率预报智能方法及装置

1.本发明涉及计算机与气象科学交叉技术领域，尤其是涉及一种基于多模态数据融合的台风概率智能预报方法及装置。


背景技术：

2.台风(typhoon)是西北太平洋地区对强热带气旋的一种称呼，它作为一种极端天气，在过境时通常伴随大风、暴雨等灾害，进而造成严重的人员伤亡与高达百亿元的直接经济损失。台风的业务预报主要包括台风的路径、强度和降水(包括落区和雨量)。
3.目前24小时台风路径预报基本能满足实际业务预报的需要，但更长时间的路径预报不甚理想。另外对台风强度的预报研究，几十年来国际上进展缓慢，预报精度难以进一步提高。同时由于地形下垫面及多尺度系统相互作用等复杂性，影响登陆台风降水的关键因子存在明显个体差异，其成因和机制仍需探究，使得登陆台风降水的预报远远不能满足实际需求。
4.尽管近年来无论是基于数值模式的还是基于统计学的台风预报均取得了一定的研究成果，但仍然存在诸多缺陷和不足。基于动力学数值模式的台风预报虽然是目前国内外台风预报的主要方法，但因其建模过程导致的多种不确定性(初值、边界、参数化方案等不确定性)不可避免地会降低台风预报技巧。与现有数值模式相比，数据驱动的统计学台风预报可以直接从大量海气数据中学习台风动力学知识，使得这种方法逐渐成为近年来的研究热点。然而，现存的统计学台风预报模型也存在一些弊端，比如依赖手工设计的预报因子，没有利用高维遥感数据和海气耦合数据中台风结构相关信息，不提供集合概率预报，不利于物理机制的可解释性等。基于多模态数据融合从不同维度的数据中提取特征改进深度学习模型已成为气象和计算机交叉领域研究的热点之一。


技术实现要素：

5.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多模态数据融合的台风概率智能预报方法。
6.本发明的目的可以通过以下技术方案来实现：
7.一种基于多模态数据融合的台风概率智能预报方法，该方法包括以下步骤：
8.a、构建台风智能预报模型；
9.b.训练台风预报智能模型；
10.c.使用训练好的台风预报智能模型进行推断预测。
11.所述的步骤a具体包括以下步骤：
12.a.1、根据大气动力学和热力学模型选定并收集与台风相关的多模态多要素气象资料，包括卫星和雷达遥感图像、再分析格点资料和统计动力学因子三种模态的数据，构建多模态数据预处理模块，根据台风最佳路径数据中的记录作为索引，匹配多模态多变量输入因子，对多模态多变量数据进行插值和归一化处理、时空分辨率调整以及自回归序列构
建的预处理过程；
13.a.2、针对不同模态的数据和不同的物理变量，确定引导时间与覆盖区域，构建多模态多变量特征编码网络并通过遥感图像编码网络、海气格点编码网络和实体嵌入编码网络分别提取遥感图像、海气格点和统计-动力因子的时空特征；
14.a.3、基于transformer融合网络捕捉多模态多要素变量的耦合交互过程，确定跨模态特征依赖，融合多模态特征；
15.a.4、针对台风强度、路径构建概率预报网络，以融合后的多模态特征作为输入，完成台风路径和强度预报，并且针对台风降雨构建降雨预报网络，以融合后的多模态特征和海气格点编码网络提取的多尺度降雨特征图作为输入，完成台风降雨的预报。
16.所述的步骤a.1中，多模态多要素气象资料包括卫星和雷达遥感图像、再分析格点资料和统计动力学因子三种模态的数据。
17.所述的步骤a.2中，多模态多变量特征编码网络的编码表达式为：
18.z
img
，z
sdf
，z
env
，z
rain
＝encoder(x
img
，x
sdf
，x
env
)
19.其中，x
img
，x
sdf
，x
env
分别为起报时刻前24小时内的遥感图像资料、统计-动力因子资料和环境海气格点资料，每种模态的数据使用单独的特征编码器encoder(
·
)，z
img
、z
sdf
、z
env
分别为遥感图像、海气格点和统计-动力因子的时空特征，z
rain
为多尺度降雨特征图。
20.所述的步骤a.3中，对于台风路径和强度预报，将遥感图像和统计-动力因子的特征数据作为主模态，将海气格点特征的特征数据作为辅助模态；对于台风降雨预报，将海气格点数据和遥感图像的特征数据作为主模态，将统计-动力因子的特征数据作为辅助模态，通过构建包含d层的transformer融合网络，采用多头自注意力特征融合方式，将所有模态的特征聚集到主模态特征上，并更新主模态特征，辅助模态的特征只完成自身的更新，并不聚合来其他模态特征的信息，则基于transformer融合网络的计算表达式为：
[0021][0022]
其中，表示初始主模态特征，表示初始辅助模态特征，上标d表示第d层，为将所有模态信息聚合到主模态之后的第d层的特征。
[0023]
所述的步骤a.4中，降雨预报网络的计算表达式为：
[0024][0025]
其中，rain_decoder为降雨预报的特征解码器，为预报h个时间步所包含的降雨场输出，z
img，sdf，env
→
sdf
为融合后的多模态特征，z
rain
为多尺度降雨特征图。
[0026]
所述的步骤a.4中，概率预报网络的计算表达式为：
[0027][0028][0029]
其中，为上一个时间步的强度与路径预报值，其取值分布由高斯混合模型拟合而成，即将变量分布分解为多个高斯分布函数的线性组合，a
t
为序列位置
的编码向量，z
t
为t时刻来自transformer融合网络的融合特征，rnn代表循环神经网络，代表正态分布函数，其权重系数π和参数μ，σ2由神经网络拟合，p为不同取值的概率密度，即为概率预报结果，k表示第k个高斯分布函数，k为高斯混合模型中高斯分布函数的个数。
[0030]
所述的步骤b具体包括以下步骤：
[0031]
b.1、选定台风预报相关的多模态多要素资料，构造训练数据集；
[0032]
b.2、对各变量选择合适的时间分辨率和空间分辨率，进行特征工程预处理数据；
[0033]
b.3、以台风个例为索引，按照8:1:1的比例随机划分训练集、验证集和测试集，利用训练集进行充分训练，利用验证集监督训练效果，利用测试集计算模型预报技巧。
[0034]
所述的步骤c具体包括以下步骤：
[0035]
c.1、基于起报时间的多模态多变量初始气象资料，确定预测初始场，并进行与步骤b.2相同的数据预处理，充当台风预报方法的输入；
[0036]
c.2、将数据预处理后的预报初始场输入至各个模态数据的特征编码网络进行特征提取和降维，编码多模态数据的时空特征；
[0037]
c.3、将多模态特征输入transformer融合网络，确定跨模态特征依赖，聚合多模态特征；
[0038]
c.4、将聚合后的多模态特征输入概率预报网络，进行台风路径、强度和降水的序列预报，获取混合高斯分布叠加后的预报值概率分布；将海气格点编码网络输出的不同尺度特征编码与聚合后的多模态特征结合，输入降雨预报网络，获取降雨场的预报结果；
[0039]
c.5、处理台风预报结果，计算评价指标。
[0040]
一种基于多模态数据融合的台风概率智能预报装置，该装置包括：
[0041]
第一确定模块：用于基于起报时间的多模态多变量气象资料，确定初始预报因子；
[0042]
数据预处理模块：用于将初始预报因子转换为方法规定的输入形式；
[0043]
推断预测模块：用于在选定硬件上部署并运行已训练的台风预报智能方法，得到预测结果；
[0044]
结果收集模块：用于输出的后处理，包括：收集现场数据，计算多种指数及评价指标。
[0045]
与现有技术相比，本发明具有以下优点：
[0046]
本发明提供的方法完全基于数据驱动的深度学习技术，并在建模过程中考虑了台风预报有关的高维遥感资料、再分析资料和动力-统计因子资料以及它们之间的跨模态依赖对于台风发展的影响，且提供台风路径与强度的概率预报，与现有技术相比，本发明具备低成本、易改进、预报精度和置信度高等优点，可用于改进台风的业务预报。
附图说明
[0047]
为了更清楚地说明本实施例具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本实施例的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0048]
图1为本发明实施例提供的一种基于多模态数据融合的台风概率智能预报方法的
流程示意图。
[0049]
图2为本发明实施例提供的一种基于多模态数据融合的台风概率智能预报模型总体架构示意图。
[0050]
图3为本发明实施例提供的一种基于多模态数据融合的台风概率智能预报模型中概率预报网络示意图。
[0051]
图4为本发明实施例提供的一种基于多模态数据融合的台风概率智能预报装置结构示意图。
[0052]
图5为本发明实施例提供的一种计算机结构示意图。
具体实施方式
[0053]
为使本实施例的目的、技术方案和优点更加清楚，下面将结合本实施例中的附图，对本实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本实施例一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本实施例的组件可以以各种不同的配置来布置和设计。
[0054]
因此，以下对在附图中提供的本实施例的实施例的详细描述并非旨在限制要求保护的本实施例的范围，而是仅仅表示本实施例的选定实施例。基于本实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本实施例保护的范围。
[0055]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0056]
实施例
[0057]
通过调查和分析发现，主流的基于动力学数值模式的台风预报模型通过综合考虑环境气流、地貌分布、下垫面等因素，利用台风移动规律的函数，应用数值模式的分析结果，模拟台风的移动路径和强度变化以及带来的降雨。但是由于环境初始条件和数值模式方程误差存在不确定性，实际预报中易出现可预报性丢失、容错能力差等问题。并且在台风预报领域，近些年来集合预报方法在改进台风路径、强度和降水预报方面已经显示出了优势，但是集合预报方法尚有诸多问题亟待解决，如集合成员数的选择、计算成本和效率的权衡等。特别是在实际的业务预报系统应用中，用户往往希望得到更快、更准、更稳的预报结果，如何面向应用需求提升方法的自适应性、可扩展性和稳定性，需要更多的探索。
[0058]
相对于构建复杂，运算资源需求庞大且运行时间较长的数值模式来说，目前基于统计学的台风预报拥有灵活轻便和实时预报的优点，尤其是近年来，传统机器学习模型和浅层神经网络在某些特定预报方面取得一定的效果，但在形式上只能处理“点-点”的预报任务，在有限样本量和计算单元下对复杂函数的表征能力有限，针对卫星云图，大气海洋格点等图像“面-点、面-面”的预报任务，无法直接利用高维遥感数据和海气耦合模式数据中蕴含的相互关联的结构性信息，预报精度和泛化能力受到一定制约。
[0059]
因此，本实施例提供了一种以数据驱动的基于多模态数据融合的台风概率智能预报方法，并以此构建台风智能预报装置。
[0060]
经典台风动力学和热力学机制表明，台风的移动和强度变化受到多方面因素的影响，包括其自身结构、周围天气系统、大尺度环境引导气流等。除此之外，台风活动在长时间
内尺度内也呈现出气候态规律，一些气候学统计学因子也对台风的演化有重要意义。多模态多变量数据可以为台风全生命周期预报提供更为全面的决策变量，比如卫星红外云图、水汽云图等可以提供气旋自身结构有关的信息；海气格点数据可以提供周围天气系统和大尺度环流以及海表温度等影响台风演化的因素；已有的统计学模型和动力-统计模型中的预报因子也可以从另外一个角度提供关于环境信息、气候学和持续性相关的统计变量，改进台风的路径、强度和降水预报。
[0061]
因此本实施例综合利用上述提到三种模态的变量，包括但不限于多通道红外卫星图像、被动微波图像、海表面温度、经向风、纬向风、温度、位势高度、降雨、空气中水汽含量、相对湿度以及若干统计-动力学因子，构建一种基于深度学习的多模态变量融合模型，进行台风强度、路径和降水场的预报，并在自回归训练中加入概率分布估计物理，描述台风不确定性分布，捕捉台风大期望发展情况和极端情况，将有助于进一步台风路径、强度和降水预报误差，为台风预报提供更为可靠的建议。
[0062]
下面结合附图，对本实施例的一些实施方式作详细说明。这里所描述的多模变量是本实施例一部分实施例，而不是全部的实施例。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
[0063]
图1为本实施例提供的一种构建基于多模态数据融合的台风概率智能预报方法的流程示意图，该流程包括以下三个步骤：
[0064]
a、台风智能预报模型的构建，具体包括以下步骤：
[0065]
a.1.依据台风相关大气动力学和热力学模型选定并收集与台风有关的多模态多要素气象资料，包含卫星和雷达遥感图像、再分析格点资料和统计动力学因子等至少三种模态的数据，构建多模态数据预测处理方法。根据台风最佳路径数据中的记录作为索引，匹配多模态多变量输入因子；多模态多变量数据要经过插值和归一化处理，时空分辨率调整，自回归序列构建等预处理过程。
[0066]
a.2.针对不同模态的数据和不同的物理变量，确定合适的引导时间与合适的覆盖区域，利用特征编码网络提取多模态多变量时空特征，如图2中a.2模块所示，该模块即为本实施例提供的一组多模态多变量特征编码网络，该模块的计算公式分别为：
[0067][0068]
其中，代表同一台风在起报时刻前24小时内来源于多种探测手段的遥感图像，它们被叠放在通道上，cnn_encoder代表基于卷积神经网络的遥感图像编码网络，例如resnet_50，用于提取和编码遥感图像中的特征。
[0069][0070]
其中，为j个统计-动力预报因子，这些因子来自于ships，stips等已有的统计-动力学模型，sdf_encoder为实体嵌入编码网络，用于将一维结构化数据嵌入到一个高维连续空间。
[0071][0072]
其中，为k个物理量构成的环境变量海气格点。env_encoder即海气格点编码网络，实施例中采用u-net结构的编码部分卷积神经网络网络，输出中间瓶颈向量展开形成的一维特征向量作为海气格点时空特征编码，以及输出多尺度降雨特征图zrain
。
[0073]
a.3.基于transformer融合网络捕捉多模态多要素变量的耦合交互过程，确定跨模态特征依赖，聚合多模态特征；
[0074]
来自多模态的输入特征首先被区分为主模态和辅助模态，对于不同下游任务来说，依据输入特征和回归目标的关联程度的不同，相应的决定主模态和辅助模态的划分方式。在本实施例中，对于台风路径和强度预报来说，主模态数据为遥感图像和统计-动力因子，辅助模态为海气格点数据；对于台风降雨预报来说，主模态数据为海气格点数据和遥感图像，辅助模态为统计-动力因子；这里统称主模态数据为z
α
，辅助模态数据为z
β
。
[0075]
例如对于台风强度和路径预报来说：z
α
＝concat(z
img
，z
sdf
)，z
β
＝z
env
，concat(
·
)为特征拼接函数。
[0076]
优选地，本实施例设计了一种区分主模态和辅助模态的多头自注意力特征融合方式。如图2中的a.3模块所示，主模态可以接收来自所有模态的信息，如图3所示，transformer融合网络a.3接收来自主模态和辅助模态的特征输入，从第1至d层的transformer，公式为：
[0077][0078][0079][0080][0081]
其中ln为layer norm函数，mhsa为多头自注意力函数，为通道映射多层感知机函数，concat为向量拼接函数，代表将所有模态的特征聚集到主模态特征上，并完成自身的更新，辅助模态的特征只完成自身的更新，并不聚合来其他模态的信息。与为自注意力网络中q，v，k的变换矩阵。
[0082]
a.4.针对台风强度、路径和降水预报分别构建概率预报网络和降雨预报网络将融合后的特征进行自回归预报。
[0083]
用于台风降雨预报的降雨预报网络rain_decoder(
·
)，即为a.2中海气格点编码网络的u-net结构的解码部分卷积神经网络网络，计算公式如下：
[0084][0085]
该网络以融合后的多模态特征和海气格点编码网络提取的多尺度降雨特征图作为输入，完成台风降雨的预报。其中多尺度降雨特征图由海气格点编码网络生成，并采用跳跃连接的形式将高分辨率降雨特征直接传递至降雨预报网络。该举措维护了特征的一致性，可以使特征可靠地还原为像素密集的预测结果。
[0086]
用于台风强度和路径预测的概率预报网络，如图3中的a.4.1所示。优选地，概率预报网络基于递归神经网络rnn(如长短期记忆网络lstm)和混合密度网络(mdn)输出带有概率分布的预报结果。该网络输入为上一个时间步的输出序列位置的编码向量a
t
，还有
来自transformer融合网络的隐藏特征z
t
，来预测下一个时间步的强度和路径。
[0087][0088]
是非概率预报的结果，该输出可以作为模型训练初期的一个监督信号，代替mdn网络的损失函数，加速模型训练过程。在训练后期及模型推断预测时，启用mdn网络。
[0089]
根据多个高斯分布的加权和可以近似任意条件概率分布的理论，模型输出结果可表示为k个高斯分布加权和的结果，每个高斯分布作为一个集合成员有着不同的均值和方差及权重。τ作为温度变量用来控制模型输出的不确定度。有如下公式：
[0090][0091]
其中，代表正态分布函数。p代表不同取值的概率密度。不同的高斯成员的均值和方差和权重需要另外三个神经网络来拟合。mdn网络的在训练时的损失函数由极大似然估计原则确定，即保证标签值在观测样本中的概率尽可能大：
[0092][0093]
其中n为样本个数，ω为mdn网络的参数。mdn在模型推断预测时，可以使用采样函数得到具体的一个预报值，即：
[0094][0095]
b，台风智能预报模型的训练，具体包括以下步骤：
[0096]
b.1.选定台风预报相关的多模态多要素资料，构造训练数据集；
[0097]
多模态多要素气象资料均可以通过网络上公开的第三方服务获取，例如海气格点数据来自于欧洲中期天气预报中心(european centre for medium-range weather forecasts)的era5数据集合。再例如，关于台风的遥感卫星图像可以获取自数字台风网(digital typhoon)和tcir(dataset of tropical cyclone for image-to-intensity regression)等诸多观测资料。统计-动力因子可以自行计算也可获取自ships(statistical hurricane intensity prediction scheme)项目公开的开发数据(development data)。
[0098]
b.2.对各变量选择合适的时间分辨率和空间分辨率，进行特征工程预处理数据；
[0099]
多模态多要素变量经过步骤a.1中的预处理后，对于高维海气格点数据和遥感卫星图像数据均采用以下公式进行标准化：
[0100][0101]
其中，和σ
x
分别为输入数据的均值与标准差，x
*
为数据预处理后结果。
[0102]
本实施例对不同物理变量乃至同一物理量不同等压面上的数据实施分别标准化。特别的，对于降雨数据tp(total precipitation)，由于其数据分布长尾效应明显，本实施例对其做如下处理：
[0103]
tp
*
＝log(1+tp/∈)
[0104]
其中∈＝1
×
10-5
，如此处理可使模型预测降雨数据倾向于0值且削弱长尾分布带来的影响。
[0105]
b.3.以台风个例为索引，按照8∶1∶1的比例随机划分训练集、验证集和测试集，利用训练集进行充分的模型训练，利用验证集监督训练效果，利用测试集计算模型预报技巧；
[0106]
在模型训练时，本实施例采用包括残差连接、提前终止、网络最优解集成、参数正则化，随机神经元失活、随机深度等技术避免模型的过拟合、梯度爆炸、网络退化和收敛慢等问题
[0107]
除了步骤a.4中所述的概率预报误差loss
mdn
，还加入传统的均方误差，引导模型充分训练并加快收敛速度：
[0108][0109]
其中，l代表最终的目标函数，σ1和σ2为调整不同损失项占比的超参数。
[0110]
c，台风智能预报模型的推断预测，具体包括以下步骤：
[0111]
c.1.基于起报时间的多模态多变量初始气象资料，确定预测初始场，并进行与步骤b.2相同的数据预处理，充当台风预报模型的输入；
[0112]
c.2.将数据预处理后的预报初始场输入至各个模态数据的特征编码网络a.2进行特征提取和降维，编码多模态数据的时空特征；
[0113]
c.3.将多模态特征输入transformer融合网络a.3，确定跨模态特征依赖，聚合多模态特征；
[0114]
c.4.将聚合后的多模态特征输入概率预报网络a.4，进行台风路径、强度和降水的序列预报，获取混合高斯分布叠加后的预报值概率分布；另外，将a.2中的海气格点编码网络输出的不同尺度特征编码与聚合后的多模态特征结合，输入降雨预报网络，获取降雨场的预报结果。
[0115]
c.5.后处理台风预报结果，计算评价指标。
[0116]
优选地，本实施例采用rmse(均方根误差)，mae(平均绝对误差)和bias(总体偏差)来评价台风路径和强度的预报技巧；对于降雨预报，引入相关系数r来衡量实测雨量和预报雨量两个变量线性相关的密切程度，以及临界成功指数csi(critical success index)来评价不同降雨率下降雨位置预报的准确性。
[0117]
图4为本实施例提供的一种基于多模态数据融合的台风概率智能预报装置示意图，其内容包括：
[0118]
d.1.第一确定模块，用于基于起报时间的多模态多变量气象资料，确定初始预报因子；
[0119]
d.2.数据预处理模块，用于将初始预报因子转换为模型规定的输入形式；
[0120]
d.3.推断预测模块，用于在选定硬件上部署已训练的台风智能预报模型，并运行模型，得到预测结果；
[0121]
d.4.结果收集模块，用于输出的后处理，收集现场数据并评价模型的预报技巧。
[0122]
本实施例提供的台风智能预报装置，与上述实施例提供的基于多模态数据融合的
台风概率智能预报方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
[0123]
图5为本实施例提供的一种计算机设备e，可用于运行基于多模态数据融合的台风概率智能预报方法。其包括：存储器e.1、处理器e.2、图形计算卡e.3和总线，存储器e.1存储有处理器e.2和图形计算卡e.3可执行的机器可读指令，当计算机设备e运行时，处理器e.2、图形计算卡e.3与存储器e.1之间通过总线通信，处理器e.2和图形计算卡e.3共同执行机器可读指令，以执行如上述基于多模态数据融合的台风概率预报的步骤。
[0124]
具体地，上述存储器e.1、处理器e.2和图形计算卡e.3能够为通用的存储器、处理器和图形计算卡，这里不做具体限定，当处理器e.2和图形计算卡e.3运行存储器e.1存储的计算机程序时，能够运行上述基于多模态数据融合的台风概率智能预报方法。图形计算卡e.3执行与台风智能预报模型有关的指令，处理器e.2执行其他控制类指令，如对输入与输出流的控制。
[0125]
对应于上述基于多模态数据融合的台风概率智能预报方法，本实施例还提供了一种计算机可读存储介质，可用于存储基于多模态数据融合的台风概率智能预报方法。计算机可读存储介质存储有机器可运行指令，计算机可运行指令在被处理器调用和运行时，计算机可运行指令促使处理器运行上述基于多模态数据融合的台风概率预报模型的步骤。
[0126]
本实施例所提供的基于多模态数据融合的台风概率预报装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
[0127]
在本实施例所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0128]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0129]
在本实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每
个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0130]
另外，在本实施例提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0131]
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机(可以是个人计算机，服务器，或者网络设备等)执行本实施例各个实施例移动控制方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0132]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0133]
最后应说明的是：以上实施例，仅为本实施例的具体实施方式，用以说明本实施例的技术方案，而非对其限制，本实施例的保护范围并不局限于此，尽管参照前述实施例对本实施例进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本实施例揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本实施例技术方案的范围。都应涵盖在本实施例的保护范围之内。

技术特征：
1.一种基于多模态数据融合的台风概率智能预报方法，其特征在于，该方法包括以下步骤：a、构建台风智能预报模型；b.训练台风预报智能模型；c.使用训练好的台风预报智能模型进行推断预测。2.根据权利要求1所述的一种基于多模态数据融合的台风概率智能预报方法，其特征在于，所述的步骤a具体包括以下步骤：a.1、根据大气动力学和热力学模型选定并收集与台风相关的多模态多要素气象资料，包括卫星和雷达遥感图像、再分析格点资料和统计动力学因子三种模态的数据，构建多模态数据预处理模块，根据台风最佳路径数据中的记录作为索引，匹配多模态多变量输入因子，对多模态多变量数据进行插值和归一化处理、时空分辨率调整以及自回归序列构建的预处理过程；a.2、针对不同模态的数据和不同的物理变量，确定引导时间与覆盖区域，构建多模态多变量特征编码网络并通过遥感图像编码网络、海气格点编码网络和实体嵌入编码网络分别提取遥感图像、海气格点和统计-动力因子的时空特征；a.3、基于transformer融合网络捕捉多模态多要素变量的耦合交互过程，确定跨模态特征依赖，融合多模态特征；a.4、针对台风强度、路径构建概率预报网络，以融合后的多模态特征作为输入，完成台风路径和强度预报，并且针对台风降雨构建降雨预报网络，以融合后的多模态特征和海气格点编码网络提取的多尺度降雨特征图作为输入，完成台风降雨的预报。3.根据权利要求2所述的一种基于多模态数据融合的台风概率智能预报方法，其特征在于，所述的步骤a.1中，多模态多要素气象资料包括卫星和雷达遥感图像、再分析格点资料和统计动力学因子三种模态的数据。4.根据权利要求2所述的一种基于多模态数据融合的台风概率智能预报方法，其特征在于，所述的步骤a.2中，多模态多变量特征编码网络的编码表达式为：z
img
，z
sdf
，z
env
，z
rain
＝encoder(x
img
，x
sdf
，x
env
)其中，x
img
，x
sdf
，x
env
分别为起报时刻前24小时内的遥感图像资料、统计-动力因子资料和环境海气格点资料，每种模态的数据使用单独的特征编码器encoder(
·
)，z
img
、z
sdf
、z
env
分别为遥感图像、海气格点和统计-动力因子的时空特征，z
rain
为多尺度降雨特征图。5.根据权利要求2所述的一种基于多模态数据融合的台风概率智能预报方法，其特征在于，所述的步骤a.3中，对于台风路径和强度预报，将遥感图像和统计-动力因子的特征数据作为主模态，将海气格点特征的特征数据作为辅助模态；对于台风降雨预报，将海气格点数据和遥感图像的特征数据作为主模态，将统计-动力因子的特征数据作为辅助模态，通过构建包含d层的transformer融合网络，采用多头自注意力特征融合方式，将所有模态的特征聚集到主模态特征上，并更新主模态特征，辅助模态的特征只完成自身的更新，并不聚合来其他模态特征的信息，则基于transformer融合网络的计算表达式为：其中，表示初始主模态特征，表示初始辅助模态特征，上标d表示第d层，
为将所有模态信息聚合到主模态之后的第d层的特征。6.根据权利要求2所述的一种基于多模态数据融合的台风概率智能预报方法，其特征在于，所述的步骤a.4中，降雨预报网络的计算表达式为：其中，rain_decoder为降雨预报的特征解码器，为预报h个时间步所包含的降雨场输出，z
img，sdf，env
→
sdf
为融合后的多模态特征，z
rain
为多尺度降雨特征图。7.根据权利要求2所述的一种基于多模态数据融合的台风概率智能预报方法，其特征在于，所述的步骤a.4中，概率预报网络的计算表达式为：在于，所述的步骤a.4中，概率预报网络的计算表达式为：其中，为上一个时间步的强度与路径预报值，其取值分布由高斯混合模型拟合而成，即将变量分布分解为多个高斯分布函数的线性组合，a
t
为序列位置的编码向量，z
t
为t时刻来自transformer融合网络的融合特征，rnn代表循环神经网络，代表正态分布函数，其权重系数π和参数μ，σ2由神经网络拟合，p为不同取值的概率密度，即为概率预报结果，k表示第k个高斯分布函数，k为高斯混合模型中高斯分布函数的个数。8.根据权利要求1所述的一种基于多模态数据融合的台风概率智能预报方法，其特征在于，所述的步骤b具体包括以下步骤：b.1、选定台风预报相关的多模态多要素资料，构造训练数据集；b.2、对各变量选择合适的时间分辨率和空间分辨率，进行特征工程预处理数据；b.3、以台风个例为索引，按照8:1:1的比例随机划分训练集、验证集和测试集，利用训练集进行充分训练，利用验证集监督训练效果，利用测试集计算模型预报技巧。9.根据权利要求8所述的一种基于多模态数据融合的台风概率智能预报方法，其特征在于，所述的步骤c具体包括以下步骤：c.1、基于起报时间的多模态多变量初始气象资料，确定预测初始场，并进行与步骤b.2相同的数据预处理，充当台风预报方法的输入；c.2、将数据预处理后的预报初始场输入至各个模态数据的特征编码网络进行特征提取和降维，编码多模态数据的时空特征；c.3、将多模态特征输入transformer融合网络，确定跨模态特征依赖，聚合多模态特征；c.4、将聚合后的多模态特征输入概率预报网络，进行台风路径、强度和降水的序列预报，获取混合高斯分布叠加后的预报值概率分布；将海气格点编码网络输出的不同尺度特征编码与聚合后的多模态特征结合，输入降雨预报网络，获取降雨场的预报结果；c.5、处理台风预报结果，计算评价指标。10.一种基于多模态数据融合的台风概率智能预报装置，其特征在于，该装置包括：
第一确定模块：用于基于起报时间的多模态多变量气象资料，确定初始预报因子；数据预处理模块：用于将初始预报因子转换为方法规定的输入形式；推断预测模块：用于在选定硬件上部署并运行已训练的台风预报智能方法，得到预测结果；结果收集模块：用于输出的后处理，包括：收集现场数据，计算多种指数及评价指标。

技术总结
本发明涉及一种基于多模态数据融合的台风概率预报智能方法及装置，该方法包括以下步骤：A、构建台风智能预报模型；B.训练台风预报智能模型；C.使用训练好的台风预报智能模型进行推断预测。区别于气象学领域使用动力学数值模式的方法预报台风，本发明提供的方法完全基于数据驱动的深度学习技术，并在建模过程中考虑了台风预报有关的高维遥感资料、再分析资料和动力-统计因子资料以及它们之间的跨模态依赖对于台风发展的影响，且提供台风路径与强度的概率预报，与现有技术相比，本发明具备低成本、易改进、预报精度和置信度高等优点，可用于改进台风的业务预报。改进台风的业务预报。改进台风的业务预报。


技术研发人员：袁时金 王冠淞 穆斌
受保护的技术使用者：同济大学
技术研发日：2022.07.06
技术公布日：2022/11/1