1.本发明涉及排水管网技术领域，尤其是一种基于深度序列模型的排水管网淤积判断方法。
背景技术：2.城市排水管网内的雨污水在低峰期经常会出现小流量、低流速的状态，且排水管网的水流中会携带大量颗粒物、悬浮物等，时常会出现管道淤积、堵塞等问题，导致管道过流能力低于设计过流能力，严重影响了城市排水管道的正常运行，诱发降雨期间路面积水、城市内涝等问题灾害，给人民的生活带来了较大影响。
3.由于城市排水管网分布范围广、深埋地下，需要通过信息化的手段来实现在线实时判断和评估管网淤积情况。但是目前城市管网的基础数据很难支撑传统机理模型的构建，埋深、材质、管径、坡度、长度等基础数据和液位、流速等监测数据存在严重质量问题。
4.城市排水管网系统是处理和排除城市污水和雨水的工程设施系统，是城市的重要基础设施，也是城市总体规划的重要组成部分。但是城市排水管道种类繁多，隐蔽性强，分布范围广，且敷设于地下，工程设施交叉复杂，对水力性能、结构性能的评价比较困难。
5.随着城市管网的数量和信息量日益增加，对城市排水管网管理的要求也越来越高。现代城市地下排水系统由成千上万条排水管道构成了错综复杂的排水管网。我们根据可靠、准确、高精度的排水管网实时数据，对管网进行有效的分析、评价、模拟等工作，通过深度序列模型进行管网淤积情况判断，从而为城市排水管管网的淤积情况进行实时判断和评估。
6.管道淤积是在城市排水管网中普遍存在的问题，有难发现、难控制、难预测等痛点。目前，行业内都是采用基于水动力学汇流模拟的方法来进行机理模型的建模，但其效果和作用都不尽如人意，主要原因有：
7.1)机理模型建模所需要的基础数据太多，太复杂，结构型数据来源于测绘；专业型数据来源于专家、从业人员经验；实时型数据来源于感知层仪表，但是很多历史数据没有进行记录；
8.2)机理模型的结果趋向于理论，而实际的管网由于gis图等基础信息不完善，往往和理论相差较远，并且其数据精度不够高；
9.3)机理模型的只考虑了客观因素，忽略了样本的本身能动性，液位、流量等数据时间的序列值，前后存在一定的关联性；
10.4)机理模型一般用于研究和分析，本身依赖特定的软件来实现，较难契合到web页面开发和自研系统的应用。
技术实现要素：11.本发明解决了现有机理模型的的数据复杂缺少历史数据参与，预测结果与实际结果相差大问题，提出一种基于深度序列模型的排水管网淤积判断方法，以先进的深度序列
模型代替传统的机理模型，以解决城市排水管网淤积模型构建过程中遇到的基础数据质量差，参数多，难获取等问题。
12.为实现上述目的，提出以下技术方案：
13.一种基于深度序列模型的排水管网淤积判断方法，包括以下步骤：
14.s1，获取排水管网的清淤历史数据，所述清淤历史数据包括不同场景下若干测试点位的温度数据、天气数据、上游泵站流量数据和下游泵站流量数据，并构建管网淤积信息表v；
15.s2，对清淤历史数据进行标准化处理；
16.s3，利用标准化处理后的数据构建并训练深度序列模型，得到训练好的深度序列模型；
17.s4，根据困惑度判断训练好的深度序列模型是否满足要求，若是，进行s5，若否，返回s3；
18.s5，将待测数据标准化处理后输入训练好的深度序列模型，得到排水管网淤积判断结果。
19.本方法根据上下游泵站流量的监测数据，上下游相邻管网液位、清淤间隔、时间、温度、片区天气状况等数据信息用以解决管网是否淤积以及淤积程度判断的问题。由于深度序列模型的特殊性，深度序列模型的核心是数据驱动的手段，其学习和判断完全基于数据本身，不需要大量结构型、专业型数据作支撑，有效解决机理模型的数据复杂问题；深度序列模型的特征层可以采用任意一种时间序列的变体，其可以有效保留前面一段时间的信息，在数据预测时能充分考虑历史因素的影响；深度序列模型可以采用python/java等语言实现，其表现手段完全基于理论和实践本身，可以完美契合自研系统，作为内部功能模块上线应用，并且可以在线判断，实时分析；深度学习的准确性较高，一般结果都优于机理模型。
20.作为优选，所述s2具体包括以下步骤：
21.s201，将数据按比例缩放，使其落入一个特性区间，去除数据单位的限制，转化为无量纲的纯数值，具体公式如下：
22.x
′
＝(x
i-x
min
)/(x
max-x
min
)
23.x’为样本数据xi标准化处理后的数值，x
min
为xi所在数值的最小值，x
max
为xi所在数值的最大值,；
24.s202，对同数组的数值x’进行排序得到长度为t的序列，其样本空间为|v|
t
。
25.作为优选，所述s3具体包括以下步骤：
26.构建深度序列模型：
27.s301，构建神经网络f(.；θ)，其输入为历史信息输出为管网淤积信息表v中每种结果vk(1≤k≤|v|)出现的概率，并满足：
[0028][0029]
其中θ表示网络参数，设定条件概率p
θ
(x
t
|x
1：(t-1)
)，从神经网络的输出中得到：
[0030]
[0031]
其中为x
t
在管网淤积信息表v中的索引；
[0032]
s302，设定神经网络的嵌入层、特征层和输出层得到深度序列模型；
[0033]
训练深度序列模型：
[0034]
s303，利用清淤历史数据训练深度序列模型，确定深度序列模型的参数得到训练好的深度序列模型。
[0035]
作为优选，所述s302具体包括以下步骤：
[0036]
s321，设定嵌入层：令表示输入的历史信息，由于部分特征为符号序列，将符号转换为向量形式，采用嵌入矩阵的形式将符号直接映射成向量表示，令为嵌入矩阵，其中第k列向量表示管网淤积信息表中第k个词对应的向量表示，结果x
t
对应管网淤积信息表中的索引为k，则其one-hot向量表示为δ
t
∈{0，1}
|v|
，即第k维为1，其余为0的|v|维向量，结果x
t
对用的向量表示为e
t
＝mδ
t
＝mk，通过上面的映射得到序列x
1：(t-1)
对应的向量序列e1，
…
，e
t-1
。
[0037]
s322，设定特征层：特征层用于从输入向量序列e1，
…
，e
t-1
中提取特征，输出为一个表示历史信息的向量h
t
，其算式为：
[0038]ht
＝g(h
t-1
，e
t
；θg)
[0039]
其中，g(.)为一个非线性函数，θg为循环神经网络参数，h0表示初始值且为0；
[0040]
s323，设定输出层，采用softmax分类器，接收历史信息的向量表示输出为管网淤积信息表中每个结果的后验概率，输出大小为|v|，其表达式为
[0041]ot
＝softmax(wh
t
+b)
[0042]
其中输出向量o
t
∈{0，1}
|v|
为预测的概率分布，第k维是管网淤积信息表中第k个结果出现的条件概率；是最后一层隐藏层到输出层直接的权重矩阵，b∈r
|v|
为偏置项。
[0043]
作为优选，所述s303具体包括以下步骤：
[0044]
基于历史数据，给定一个训练序列x
1:t
,找到一组参数θ使得对数似然函数最大，将一组参数θ代入深度序列模型得到训练好的深度序列模型，其中对数似然函数为：
[0045][0046]
作为优选，所述s4具体包括以下步骤：
[0047]
s401，设定困惑度，对于一个未知的数据分布pr(x)和一个深度序列模型分布p
θ
(x)，从pr(x)中采样出测试样本x1,
…
,xn，深度序列模型分布p
θ
(x)的困惑度为
[0048][0049]
其中为样本的经验分布与深度序列模型分布p
θ
之间的交叉熵，同时是所有样本上的负对数似然函数；
[0050]
s402，判断深度序列模型的困惑度是否小于设定值，若是，进行s5，若否，返回s3。
[0051]
本发明的有益效果是：
[0052]
1、深度序列模型的核心是数据驱动的手段，其学习和判断完全基于数据本身，不需要大量结构型、专业型数据作支撑，有效解决机理模型的数据复杂问题；
[0053]
2、深度序列模型的特征层可以采用任意一种时间序列的变体，其可以有效保留前面一段时间的信息，在数据预测时能充分考虑历史因素的影响；
[0054]
3、深度序列模型可以采用python/java等语言实现，其表现手段完全基于理论和实践本身，可以完美契合自研系统，作为内部功能模块上线应用，并且可以在线判断，实时分析；
[0055]
4、深度学习的准确性较高，一般结果都优于机理模型。
附图说明
[0056]
图1是实施例管网淤积分析判断流程图；
[0057]
图2是实施例的嵌入矩阵示意图；
[0058]
图3是实施例的循环神经网络输出层示意图；
具体实施方式
[0059]
实施例：
[0060]
本实施例提出一种基于深度序列模型的排水管网淤积判断方法，参考图1，包括以下步骤：
[0061]
s1，获取排水管网的清淤历史数据，清淤历史数据包括不同场景下若干测试点位的温度数据、天气数据、上游泵站流量数据和下游泵站流量数据，并构建管网淤积信息表v；本方法根据上下游泵站流量的监测数据，上下游相邻管网液位、清淤间隔、时间、温度、片区天气状况等数据信息用以解决管网是否淤积以及淤积程度判断的问题。选取某城市15公里管网系统作为试验区，该试验区地势较平坦，采用雨污分流模式，主管段管径均大于dn300，管道内流速较低，管网上下游监测点设备较齐全，共16个液位监测点，3个泵站流量计，获取不同场景下的温度，天气，上、下游泵站流量数据，各液位检测点的数据以及距离上次清淤的时间间隔，根据淤积程度将其划分为不同的等级，制作管网淤积信息表v，如表1所示：
[0062]
表1管网淤积信息表v
[0063]
序号液位计编号时间降雨(mm/5min)温度(℃)清淤间隔(d)上游液位计(m)当前液位计(m)下游液位计(m)上游泵站流量(m3/s)下游泵站流量(m3/s)淤积程度1lt01f430082021-04-0600:00:00025270.250.240.24600正常2lt01f430082021-06-0300:00:00022850.430.430.4100中度淤积3lt01f430082021-03-1700:00:0002070.230.250.2400正常4lt01f430082021-04-2100:00:00223420.40.410.46060轻度淤积
5lt01f430082021-06-2600:00:003.2221080.710.70.72120120重度淤积
………………………………
[0064]
s2，对清淤历史数据进行标准化处理；
[0065]
s2具体包括以下步骤：
[0066]
s201，将数据按比例缩放，使其落入一个特性区间，去除数据单位的限制，转化为无量纲的纯数值，具体公式如下：
[0067]
x
′
＝(x
i-x
min
)/(x
max-x
min
)
[0068]
x’为样本数据xi标准化处理后的数值，x
min
为xi所在数值的最小值，x
max
为xi所在数值的最大值，；
[0069]
s202，对同数组的数值x’进行排序得到长度为t的序列，其样本空间为|v|
t
。
[0070]
考虑到样本序列是不等长的且样本空间非常大，对于一个长度为t的序列，其样本空间为|v|
t
，因此，很难用已知的概率模型来直接建模整个序列的概率。
[0071]
深度序列模型(deep sequence model)是指利用神经网络模型来估计条件概率p
θ
(x
t
|x
1：(t-1)
)，根据概率的乘法公式，序列x
1：t
的概率可以写为
[0072][0073]
其中x
t
∈v，t∈{1，
…
，t}为管网淤积信息表v中的一个结果，p(x1|x0)＝p(x1)
[0074]
因此，序列数据的概率密度估计问题便转换为单变量的条件概率估计问题，即给定x
1：(t-1)
时x
t
的条件概率p
θ
(x
t
|x
1：(t-1)
)。
[0075]
s3，利用标准化处理后的数据构建并训练深度序列模型，得到训练好的深度序列模型；s3具体包括以下步骤：
[0076]
构建深度序列模型：
[0077]
s301，构建神经网络f(.；θ)，其输入为历史信息输出为管网淤积信息表v中每种结果vk(1≤k≤|v|)出现的概率，并满足：
[0078][0079]
其中θ表示网络参数，设定条件概率p
θ
(x
t
|x
1：(t-1)
)，从神经网络的输出中得到：
[0080][0081]
其中为x
t
在管网淤积信息表v中的索引；
[0082]
s302，设定神经网络的嵌入层、特征层和输出层得到深度序列模型；
[0083]
训练深度序列模型：s302具体包括以下步骤：
[0084]
s321，设定嵌入层：令表示输入的历史信息，由于部分特征为符号序列，将符号转换为向量形式，采用嵌入矩阵的形式将符号直接映射成向量表示，参考图2，令
为嵌入矩阵，其中第k列向量表示管网淤积信息表中第k个词对应的向量表示，结果x
t
对应管网淤积信息表中的索引为k，则其one-hot向量表示为δ
t
∈{0，1}
|v|
，即第k维为1，其余为0的|v|维向量，结果x
t
对用的向量表示为e
t
＝mδ
t
＝mk，通过上面的映射得到序列x
1：(t-1)
对应的向量序列e1，
…
，e
t-1
。
[0085]
one-hot即独热编码，其方法是使用n位状态寄存器来对n个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。
[0086]
s322，设定特征层：特征层用于从输入向量序列e1，
…
，e
t-1
中提取特征，输出为一个表示历史信息的向量h
t
，考虑到不同特征的序列长度不同，为了能接受变长的输入序列这里的特征层采用循环神经网络来搭建，即：
[0087]ht
＝g(h
t-1
，e
t
；θg)
[0088]
其中，g(.)为一个非线性函数，θg为循环神经网络参数，h0表示初始值且为0；
[0089]
s323，设定输出层，采用softmax分类器，接收历史信息的向量表示输出为管网淤积信息表中每个结果的后验概率，输出大小为|v|，其表达式为
[0090]ot
＝softmax(wh
t
+b)
[0091]
其中输出向量o
t
∈{0，1}
|v|
为预测的概率分布，第k维是管网淤积信息表中第k个结果出现的条件概率；是最后一层隐藏层到输出层直接的权重矩阵，初始可都为0，b∈r
|v|
为偏置项，可为0，如图3。
[0092]
s303，利用清淤历史数据训练深度序列模型，确定深度序列模型的参数得到训练好的深度序列模型。s303具体包括以下步骤：
[0093]
基于历史数据，给定一个训练序列x
1：t
，找到一组参数θ使得对数似然函数最大，将一组参数θ代入深度序列模型得到训练好的深度序列模型，其中对数似然函数为：
[0094][0095]
s4，根据困惑度判断训练好的深度序列模型是否满足要求，若是，进行s5，若否，返回s3；s4具体包括以下步骤：
[0096]
s401，设定困惑度，对于一个未知的数据分布pr(x)和一个深度序列模型分布p
θ
(x)，从pr(x)中采样出测试样本x1，
…
，xn，深度序列模型分布p
′
θ
(x)的困惑度为
[0097][0098]
其中为样本的经验分布与深度序列模型分布p
θ
之间的交叉熵，同时是所有样本上的负对数似然函数；
[0099]
s402，判断深度序列模型的困惑度是否小于设定值，若是，进行s5，若否，返回s3，进行参数优化，得到新的训练好的深度序列模型；
[0100]
s5，将待测数据标准化处理后输入训练好的深度序列模型，得到排水管网淤积判断结果。
[0101]
本实施例利用训练好的深度序列模型对历史的管网进行了跟踪分析，选取了其中一个管网液位计进行效果展示，如表2所示，可以看到预期结果与实际结果的符合度极高，
可以满足在线排水管网淤积监测的需求。
[0102]
表2训练好的深度序列模型预测效果展示
[0103]
序号液位计编号时间实际淤积程度预测淤积程度1lt01f430082021-04-06 00:00:00正常正常2lt01f430082021-06-03 00:00:00中度淤积中度淤积3lt01f430082021-03-17 00:00:00正常正常4lt01f430082021-04-21 00:00:00轻度淤积轻度淤积5lt01f430082021-06-26 00:00:00重度淤积重度淤积6lt01f430082021-06-12 00:00:00中度淤积中度淤积7lt01f430082021-07-05 00:00:00重度淤积重度淤积8lt01f430082021-02-28 00:00:00重度淤积重度淤积9lt01f430082021-05-19 00:00:00中度淤积中度淤积10lt01f430082021-08-14 00:00:00正常正常
……………
[0104]
本发明是基于深度序列的排水管网淤积判断模型，其通过监测的管网上下游信息以及外部信息，实时判断管网淤积程度。在模型的构建中，特征层采用了循环神经网络作为主体，可使用前馈神经网络，循环神经网络的各种变体lstm、gru等进行替换，但某些参数还需另做优化。此外，还可使用svm等各类非线性函数对最后的softmax层进行替换，用来做最终的结果判断。
[0105]
本发明的优点在于基本解决了现有排水管网淤积问题的关键性难点，如数据复杂度较高，响应时间较长，模型精度较低，自主能动性差等。本发明通过采用深度序列模型的方式，结合上下游泵站流量，相邻管网液位，天气，温度，时间以及清淤记录，在不借助大量结构型、专业型数据的前提下，依靠已有的历史样本集，训练了高效、准确的管网淤积在线判断模型，为操作人员提供了强有力的辅助性决策。本发明有以下优势：
[0106]
1、利用深度序列的方式训练管网淤积判断模型，区别于传统的机理模型；
[0107]
2、结合上下游泵站流量，相邻管网液位，天气，温度，时间以及清淤记录等因素来提高结果的准确性，摒弃了大量结构型、经验型数据的麻烦；
[0108]
3、快速、准确、有效的判断、分析，给管理人员专业的参考意见，做到了真正的在线预测。
技术特征：1.一种基于深度序列模型的排水管网淤积判断方法，其特征是，包括以下步骤：s1，获取排水管网的清淤历史数据，所述清淤历史数据包括不同场景下若干测试点位的温度数据、天气数据、上游泵站流量数据和下游泵站流量数据，并构建管网淤积信息表v；s2，对清淤历史数据进行标准化处理；s3，利用标准化处理后的数据构建并训练深度序列模型，得到训练好的深度序列模型；s4，根据困惑度判断训练好的深度序列模型是否满足要求，若是，进行s5，若否，返回s3；s5，将待测数据标准化处理后输入训练好的深度序列模型，得到排水管网淤积判断结果。2.根据权利要求1所述的一种基于深度序列模型的排水管网淤积判断方法，其特征是，所述s2具体包括以下步骤：s201，将数据按比例缩放，使其落入一个特性区间，去除数据单位的限制，转化为无量纲的纯数值，具体公式如下：x’＝(x
i-x
min
)/(x
max-x
min
)x’为样本数据x
i
标准化处理后的数值，x
min
为x
i
所在数值的最小值，x
max
为x
i
所在数值的最大值,；s202，对同数组的数值x’进行排序得到长度为t的序列，其样本空间为|v|
t
。3.根据权利要求2所述的一种基于深度序列模型的排水管网淤积判断方法，其特征是，所述s3具体包括以下步骤：构建深度序列模型：s301，构建神经网络f(.；θ)，其输入为历史信息输出为管网淤积信息表v中每种结果v
k
(1≤k≤|v|)出现的概率，并满足：其中θ表示网络参数，设定条件概率p
θ
(x
t
|x
1：(t-1)
)，从神经网络的输出中得到：其中为x
t
在管网淤积信息表v中的索引；s302，设定神经网络的嵌入层、特征层和输出层得到深度序列模型；训练深度序列模型：s303，利用清淤历史数据训练深度序列模型，确定深度序列模型的参数得到训练好的深度序列模型。4.根据权利要求3所述的一种基于深度序列模型的排水管网淤积判断方法，其特征是，所述s302具体包括以下步骤：s321，设定嵌入层：令表示输入的历史信息，由于部分特征为符号序列，将符号转换为向量形式，采用嵌入矩阵的形式将符号直接映射成向量表示，令为嵌入矩阵，其中第k列向量表示管网淤积信息表中第k个词对应的向量表示，结果x
t
对应
管网淤积信息表中的索引为k，则其one-hot向量表示为δ
t
∈{0，1}
|v|
，即第k维为1，其余为0的|v|维向量，结果x
t
对用的向量表示为e
t
＝mδ
t
＝m
k
，通过上面的映射得到序列x
1：(t-1)
对应的向量序列e1,
…
,e
t-1
。s322，设定特征层：特征层用于从输入向量序列e1,
…
,e
t-1
中提取特征，输出为一个表示历史信息的向量h
t
，其算式为：h
t
＝g(h
t-1
，e
t
；θ
g
)其中，g(.)为一个非线性函数，θ
g
为循环神经网络参数，h0表示初始值且为0；s323，设定输出层，采用softmax分类器，接收历史信息的向量表示输出为管网淤积信息表中每个结果的后验概率，输出大小为|v|，其表达式为o
t
＝softmax(wh
t
+b)其中输出向量o
t
∈{0，1}
|v|
为预测的概率分布，第k维是管网淤积信息表中第k个结果出现的条件概率；是最后一层隐藏层到输出层直接的权重矩阵，b∈r
|v|
为偏置项。5.根据权利要求3或4所述的一种基于深度序列模型的排水管网淤积判断方法，其特征是，所述s303具体包括以下步骤：基于历史数据，给定一个训练序列x
1:t
,找到一组参数θ使得对数似然函数最大，将一组参数θ代入深度序列模型得到训练好的深度序列模型，其中对数似然函数为：6.根据权利要求1所述的一种基于深度序列模型的排水管网淤积判断方法，其特征是，所述s4具体包括以下步骤：s401，设定困惑度，对于一个未知的数据分布p
r
(x)和一个深度序列模型分布p
θ
(x)，从p
r
(x)中采样出测试样本x1,
…
,x
n
，深度序列模型分布p
θ
(x)的困惑度为其中为样本的经验分布与深度序列模型分布p
θ
之间的交叉熵，同时是所有样本上的负对数似然函数；s402，判断深度序列模型的困惑度是否小于设定值，若是，进行s5，若否，返回s3。
技术总结本发明提出一种基于深度序列模型的排水管网淤积判断方法，包括以下步骤：S1，获取排水管网的清淤历史数据；S2，对清淤历史数据进行标准化处理；S3，利用标准化处理后的数据构建并训练深度序列模型，得到训练好的深度序列模型；S4，根据困惑度判断训练好的深度序列模型是否满足要求，若是，进行S5，若否，返回S3；S5，将待测数据标准化处理后输入训练好的深度序列模型，得到排水管网淤积判断结果。本发明以先进的深度序列模型代替传统的机理模型，以解决城市排水管网淤积模型构建过程中遇到的基础数据质量差，参数多，难获取等问题。难获取等问题。难获取等问题。
技术研发人员：苟茂华 徐建钢 沈寅杰 陈雅丹 何东
受保护的技术使用者：浙江中控信息产业股份有限公司
技术研发日：2022.07.13
技术公布日：2022/11/1
