高效即时学习框架及局部模型的训练方法

专利2026-02-07  1


本发明涉及石化工业过程建模领域,尤其涉及一种高效即时学习框架,一种局部模型的训练方法,以及一种计算机可读存储介质。


背景技术:

1、在满足全球能源需求方面,石油工业扮演着至关重要的角色,但同时也面临着严格的环保和生产标准。工业过程的大型化、复杂化和信息化导致现场环境问题日益严峻,使得低延迟、低成本、高效的软测量技术在工程设计和优化方面变得至关重要。数据驱动的机器学习方法已广泛应用于石化工业过程中,用于实现工业过程的在线监测和软传感器测量等。

2、然而,由于复杂的流程和动态特性,建立一个高精度的软测量模型变得困难。以往的数据模型,如rnn和lstm,存在梯度消失/爆炸的问题,无法保存长期记忆。虽然lstm模型能够解决动态工业过程的工况变化问题,但对于操作条件改变和进料调控引起的模型退化问题仍无法解决。此外,多工况lstm模型的预测过程依赖过去的时间节点,无法单独研究某种操作条件或进料量对相关预测指标的影响。

3、为了克服现有技术存在的上述缺陷,本领域亟需一种高效即时学习技术,以及局部模型的训练技术,用于提升即时学习的效率及样本选择相似度,并且具有较强的非线性映射能力。


技术实现思路

1、以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览,并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之前序。

2、为了克服现有技术存在的上述缺陷,本发明提供一种高效即时学习框架,一种局部模型的训练方法,以及一种计算机可读存储介质,可以显著提升即时学习的效率及样本选择相似度,并且具有较强的非线性映射能力。

3、具体来说,根据本发明第一方面提供的高效即时学习框架包括:相似样本选择模块,包括相似度计算单元、样本长度计算单元及子集划分单元。所述相似度计算单元计算输入样本与历史样本集中多个历史样本的相似度,并据此对各所述历史样本进行排序。所述样本长度计算单元用于自适应地选择历史样本,并通过计算所述相似度的波动范围和/或平均变化来确定最优训练样本长度。所述子集划分单元用于根据所述最优长度,对各所述历史样本进行聚类,并选择聚类中心与所述输入样本的相似度最高的子集,作为局部模型的训练样本集。学习器模块,包括输入层、多分支变尺度卷积单元、平坦化层、全连接层及加权求和层。所述多分支变尺度卷积单元利用不同尺寸的卷积核,在所述局部模型的神经网络结构的不同分支中分别捕获并融合所述训练样本集中各训练样本的多尺度特征。所述平坦化层用于对各所述分支的输出特征进行平坦化处理,所述全连接层用于对所述平坦化层输出的平坦化特征进行非线性映射,以得到多个中间结果。所述加权求和层用于对各所述中间结果进行加权求和,以得到各所述训练样本对应的预测结果。所述学习器模块根据各所述训练样本的真实结果与预测结果的差异,调节所述局部模型的学习参数,以进行所述局部模型的训练。

4、进一步地,在本发明的一些实施例中,所述相似度是通过欧几里得距离来表征:

5、

6、其中,d(xq,xi)表示输入样本xq与历史样本xi在多维输入空间的距离相似度,wf,k是第k个特征的权重,σ是平衡噪声和有效数据关系的第二权重,l是所述输入样本的变量数量。

7、进一步地,在本发明的一些实施例中,所述相似度通过余弦相似度来表征:

8、similarity(xq,xi)=λd(xq,xi)+(1-λ)cos(θqi)

9、

10、其中,similarity(xq,xi)表示输入样本xq与历史样本xi在多维输入空间的复合相似度,cos(θqi)表示输入样本xq与历史样本xi在多维输入空间的余弦相似度,λ是平衡所述距离相似度与所述余弦相似度的第三权重。

11、进一步地,在本发明的一些实施例中,所述样本长度计算单元被配置为:通过正向递归分析样本长度对所述局部模型的预测精度的影响,确定预测精度达到预设精度阈值的样本长度区间;以及按各所述历史样本的排列顺序,从所述样本长度区间的下限逐步递增地计算所述输入样本与对应数量的历史样本的相似度指标γ,以自适应地确定所述最优训练样本长度,其中,所述相似度指标γ被表示为:

12、

13、其中,所述相似度指标γ指示所述相似度的波动范围和/或平均变化,us为所述样本长度区间的样本长度上限,ls为所述样本长度区间的样本长度下限。

14、进一步地,在本发明的一些实施例中,所述子集划分单元被配置为:从所述历史样本集x中随机抽取一个历史样本作为第一个聚类的初始聚类中心μ1,并测量所述历史样本集x中各所述历史样本与所述初始聚类中心μ1之间的相似度e:

15、

16、其中,ci为从所述历史样本集x中划分出的聚类结果,k为预设的子集数量;选择与所述初始聚类中心μ1之间的相似度最大的历史样本,作为下一个聚类的初始聚类中心,并依次类推,直到选出所有聚类的初始聚类中心φt={μ1,μ2,......,μk};对属于同一聚类的所有历史样本的坐标进行均值计算,以迭代更新各所述聚类的聚类中心:

17、

18、其中,μj为更新的聚类中心,cj为新的聚类中的样本点的数量,x是新的聚类中的样本点,这个公式表示新的聚类中心是聚类中所有样本点的均值;以及响应于达到预设的迭代更新次数,或者下一轮次的聚类中心集合φt+1与当前轮次的聚类中心集合φt之间的差异小于预设阈值ε,输出下一轮次的聚类结果ct+1={c1,c2,......,ck},以作为所述局部模型的训练样本集。

19、进一步地,在本发明的一些实施例中,所述多分支变尺度卷积单元被配置为:使用较大尺寸的第一卷积核,从所述局部模型的神经网络结构的第一分支中,捕获所述训练样本集中各训练样本的第一特征,其中,所述第一特征中记载较多的全局信息和较少的局部信息;使用较小尺寸的第二卷积核,从所述局部模型的神经网络结构的第二分支中,捕获所述训练样本集中各训练样本的第二特征,其中,所述第二特征中记载较少的全局信息和较多的局部信息;以及融合所述第一特征及所述第二特征,以输出所述训练样本集中各训练样本的多尺度特征。

20、进一步地,在本发明的一些实施例中,所述局部模型的神经网络结构的分支数被定义为:

21、

22、其中,η是分支数量,v是所述输入样本的输入变量的维数,所述多分支变尺度卷积单元的最大卷积核的大小κmax被确定为:

23、

24、其中,%表示取模运算,用于求两个数相除后的余数,各所述分支的卷积核之间的大小衰减因子τ被确定为:

25、

26、以确保各所述分支的卷积核大小按指数衰减。

27、进一步地,在本发明的一些实施例中,所述平坦化层被配置为:对所述多分支变尺度卷积单元输出的多个分支的特征图进行展平,以将其分别转换成对应的一维特征向量;以及将展平后的所述一维特征向量出入对应的全连接层。

28、进一步地,在本发明的一些实施例中,所述全连接层被配置为:对所述平坦化层输出的所述一维特征向量zl进行非线性映射,以确定对应分支的中间结果yl′:

29、y′l=relu(wfc×zl+bfc)

30、其中,wfc是所述全连接层的权重,bfc是所述全连接层的偏置;以及将所述中间结果yl′输入所述加权求和层。

31、进一步地,在本发明的一些实施例中,所述加权求和层被配置为:对所述局部模型的神经网络结构的各所述分支的中间结果yl′进行加权求和,以确定对应训练样本的预测结果y:

32、

33、其中,ξ是各所述分支的加权系数,其随所述局部模型的训练而更新。

34、此外,根据本发明第二方面提供的局部模型的训练方法,包括以下步骤:获取关于待训练的局部模型的查询样本;将所述查询样本输入如本发明第一方面任一项所述的高效即时学习框架,以经由其相似样本选择模块,对全局的历史样本集中的多个历史样本进行相似度排序、最优训练样本长度计算,以及聚类,并选择聚类中心与所述查询样本的相似度最高的子集,作为所述局部模型的训练样本集;

35、将所述训练样本集中的各训练样本,依次输入所述高效即时学习框架的amvs-icnn学习器模块,以分别确定其对应的预测结果;以及

36、根据各所述训练样本的真实结果与预测结果的差异,调节所述局部模型的学习参数,以进行所述局部模型的训练。

37、此外,根据本发明第三方面提供的计算机可读存储介质,其上存储有计算机指令。所述计算机指令被处理器执行时,实施如本发明第二方面所述的局部模型的训练方法。


技术特征:

1.一种高效即时学习框架,其特征在于,包括:

2.如权利要求1所述的高效即时学习框架,其特征在于,所述相似度是通过欧几里得距离来表征:

3.如权利要求2所述的高效即时学习框架,其特征在于,所述相似度通过余弦相似度来表征:

4.如权利要求1所述的高效即时学习框架,其特征在于,所述样本长度计算单元被配置为:

5.如权利要求1所述的高效即时学习框架,其特征在于,所述子集划分单元被配置为:

6.如权利要求1所述的高效即时学习框架,其特征在于,所述多分支变尺度卷积单元被配置为:

7.如权利要求1所述的高效即时学习框架,其特征在于,所述局部模型的神经网络结构的分支数被定义为:

8.如权利要求1所述的高效即时学习框架,其特征在于,所述平坦化层被配置为:

9.如权利要求8所述的高效即时学习框架,其特征在于,所述全连接层被配置为:

10.如权利要求9所述的高效即时学习框架,其特征在于,所述加权求和层被配置为:

11.一种局部模型的训练方法,其特征在于,包括以下步骤:

12.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,所述计算机指令被处理器执行时,实施如权利要求11所述的局部模型的训练方法。


技术总结
本发明提供了一种高效即时学习框架、局部模型的训练方法及存储介质。所述高效即时学习框架包括相似样本选择模块及学习器模块。所述相似样本选择模块包括相似度计算单元、样本长度计算单元及子集划分单元。所述学习器模块包括输入层、多分支变尺度卷积单元、平坦化层、全连接层及加权求和层。该高效即时学习框架、局部模型的训练方法及存储介质均能显著提升即时学习的效率及样本选择相似度,并且具有较强的非线性映射能力。

技术研发人员:杜文莉,隆建,钱锋,钟伟民,杨明磊
受保护的技术使用者:华东理工大学
技术研发日:
技术公布日:2024/11/11
转载请注明原文地址: https://tieba.8miu.com/read-19622.html

最新回复(0)