1.本发明涉及变压器异常诊断技术领域，尤其涉及一种基于声振联合信号分析的变压器异常诊断方法、系统及诊断设备。
背景技术：2.随着特高压输电工程规模的逐渐扩大，变电站设备数量迅猛增长，设备运维工作面临着工作量激增与人员相对短缺的突出矛盾。直流输电线路数量和电压等级的不断增长，交直流混合输电所产生的直流偏磁问题日益严峻，而特高压输电工程中普遍采用的三相组式单相变压器的直流偏磁问题尤为突出。由于铁心磁滞回线存在非线性特性，直流偏磁会引起励磁电流发生严重畸变，不但会导致电力变压器的铁心及金属附件产生局部过热，进而引发变压器绝缘材料的热老化加速，而且会导致磁致伸缩加剧，引发变压器铁心振动增强，如不及时处理，将引起铁心夹件松动等机械结构稳定性问题。
3.当前对变压器的故障诊断可以采用声纹识别的方式，但现有基于声纹识别的变压器故障识别方法存在以下缺点，变压器运行声音信号在采集传输过程中容易受到环境背景噪声（如人说话声、脚步声、风声）等的干扰，仅对采集的设备声音信号这一单一信号进行识别分析，变压器异常识别准确率不高。另外，由于设备异常标注样本较少，现有自监督法直接从标签数据中学习特征表示，模型泛化能力不高，且无法充分利用无标签学习的方数据。
技术实现要素：4.本发明提供一种变压器异常诊断方法，诊断方法基于声纹振动信号多模态特征融合技术，将变压器运行声音信号与振动信号特征相结合，显著降低环境噪声干扰的影响，从而有效提高变压器异常识别的准确率。
5.变压器异常诊断方法包括：步骤一、使用对比学习从变压器运行声纹和振动数据中得到学习多模态特征表示，再将提取到的短时特征通过自编码器，得到两类数据的特征向量；即声纹信号与振动信号；步骤二、对学习到的声纹信号与振动信号，使用自编码器进行特征融合，并通过提取到的短时特征通过自编码器，得到声纹振动融合特征向量；步骤三、将声纹振动融合特征向量输入lstm分类网络，输出得到变压器的异常分类结果。
6.进一步需要说明的是，步骤一中，记某种短时特征为；提取变压器运行的一段声纹和振动数据，将其分为重叠的若干振，将提取的声纹和振动数据以短时特征表示，表示为，其中(n)是分帧的序号；将短时特征可视化为语谱图，语谱图反映了声纹振动信号在连续时间内频率的变化情况，利用cnn卷积神经网络提取语谱图特征。
7.进一步需要说明的是，步骤一中，使用对比学习从变压器运行声纹和振动数据中学习合理的特征表示；将变压器运行声纹和振动数据分别与正例样本和负例样本在特征空间进行对比，计算样本的特征表示；对任意样本x，对比学习的目标是学习一个编码器f,使得：公式3其中是和x相似的正样本，是和x不相似的负样本，score是一个度量函数来衡量样本间的相似度；如果用向量内积来计算两个样本的相似度，则对比学习的损失函数可以表示成：公式4其中对应样本x有1个样本和n-1个负样本。
8.进一步需要说明的是，步骤二中，将提取的声纹信号语谱图输入到自监督学习模型中，输出为初始声纹特征图；将提取的振动信号语谱图输入到自监督学习模型中，输出为初始振动特征图；采用基于像素误差的重建损失函数训练自编码器；将初始声纹特征图和初始振动特征图分别输入到自编码器f，输出为融合特征向量，实现声纹信号特征和振动信号特征的特征融合。
9.初始特征图为cnn模型的最后一层之前的输出。
10.进一步需要说明的是，步骤三还包括：将声纹信号特征和振动信号特征分为n帧，通过特征融合，得到n个特征向量；设特征向量大小为p，则输入数据为n*p的矩阵；将特征融合输入到lstm网络分类器，输出为变压器异常类别识别结果。
11.进一步需要说明的是，步骤一之前还包括：通过采集预设周期内变压器状态数据来构建正常态数据库；通过采集预设周期内变压器正常运行的第一声音信号并进行去噪处理、ad转换获取第一声纹数据；对第一声纹数据进行音频频谱分析，提取第一音频特征存储至第一音频数据库；实时采集变压器运行的第二声音信号并进行去噪处理、ad转换获取第二声纹数据；对第二声纹数据进行音频频谱分析，提取第二音频特征；通过神经网络识别判断第一音频数据库中是否存在第二音频特征：若否，则发出异常报警信号。
12.本发明还提供一种变压器异常诊断系统，系统包括：提取模块、对比学习模块、自编码器、lstm分类网络模块以及输出展示模块；提取模块用于提取变压器运行的一段声纹和振动数据；对比学习模块用于从变压器运行声纹和振动数据中得到学习多模态特征表示，再将提取到的短时特征输出给自编码器；自编码器对变压器运行声纹和振动数据进行处理，得到两类数据的特征向量；对声纹信号与振动信号，进行特征融合，得到声纹振动融合特征向量；
lstm分类网络模块对声纹振动融合特征向量进行处理，通过输出展示模块输出得到变压器的异常分类结果。
13.本发明还提供一种实现变压器异常诊断方法的诊断设备，包括：存储器，用于存储计算机程序及变压器异常诊断方法；处理器，用于执行所述计算机程序及变压器异常诊断方法，以实现变压器异常诊断方法的步骤；显示屏，用于显示诊断过程以及诊断的变压器异常分类结果；通信模块，用于将诊断过程信息以及诊断的变压器异常分类结果信息传输给服务器。
14.从以上技术方案可以看出，本发明具有以下优点：本发明提供的基于声纹振动信号的变压器异常识别方法及系统，通过声纹振动信号多模态特征融合技术，将变压器运行声音信号与振动信号特征进行有效结合，降低了声音信号分析中环境噪声干扰的影响，从而有效提高变压器异常识别的准确率。
15.本发明提出的特征表示方法，能够在有标签样本数据的基础上，从无标签异常数据及正常样本数据中学习特征表示，特征能够较好地表征声纹振动数据，通过此方法学习到的特征表示用于分类模型训练，能够有效提升模型泛化能力。
附图说明
16.为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为变压器异常诊断方法流程图；图2为声纹振动信号特征融合示意图；图3为声纹振动融合特征缺陷检测网络结构示意图；图4为变压器异常诊断系统示意图。
具体实施方式
18.本发明提供的变压器异常诊断方法，是对变压器运行声纹和振动数据进行诊断，进行实现对变压器状态的诊断。
19.可以理解的是，变压器是电力系统中的关键设备，其可靠性对保证电网的安全稳定运行意义重大。对运行中的变压器来说，绕组和铁芯等产生的持续性机械振动经空气向外界辐射形成声波信号，蕴含了丰富的变压器状态信息。同时，对声音和振动信号进行采集声音传感器或贴片式加速度传感器具备安装灵活、运行状态无干扰等优点，使得基于声音和振动信号的变压器异常状态检测逐渐成为研究热点。而本发明要解决传统的信号分析手段难以获取广泛适用于各类变压器的关键特征量，尚未形成有效的故障声纹识别方法的问题。
20.特此本发明提供了一种基于声振联合信号分析的变压器异常诊断方法、系统及诊断设备。本发明通过预设基础数据采集底层框架获取设备的运行声音数据和设备相关信息，并采用预置声音识别模型根据运行声音数据进行异常判定，得到异常识别结果的方法。
21.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
22.其中，本发明提供的基于声振联合信号分析的变压器异常诊断方法中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
23.本发明提供的基于声振联合信号分析的变压器异常诊断方法及系统的附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
24.在本发明提供的基于声振联合信号分析的变压器异常诊断方法及系统的中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
25.对于本发明提供的基于声振联合信号分析的变压器异常诊断方法及系统是基于诊断设备来实现，诊断设备包括：存储器，用于存储计算机程序及变压器异常诊断方法；处理器，用于执行所述计算机程序及变压器异常诊断方法，以实现变压器异常诊断方法的步骤；显示屏，用于显示诊断过程以及诊断的变压器异常分类结果；通信模块，用于将诊断过程信息以及诊断的变压器异常分类结果信息传输给服务器。
26.诊断设备通过网络与服务器交互，以接收或发送消息等。终端设备可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式计算机、数字机等等。
27.特别地，根据本公开的实施方式，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(cpu)执行时，执行本技术的方法和/或装置中限定的各种功能。
28.诊断设备所执行的变压器异常诊断方法包括：如图1所示，s101、使用对比学习从变压器运行声纹和振动数据中得到学习多模态特征表示，再将提取到的短时特征通过自编码器，得到两类数据的特征向量；即声纹信号与振动信号；具体来讲，声纹振动信号多模态特征表示的方式为：记某种短时特征为。对一
段声纹（振动）信号，将其分为重叠的若干振，则该段信号的短时特征可以表示为，其中(n)是分帧的序号。
29.将短时频域特征可视化为语谱图，其反映了声纹振动信号在连续时间内频率的变化情况，利用cnn卷积神经网络提取其特征。
30.使用对比学习从声纹振动数据中学习合理的特征表示。对比学习的基本思想是通过将数据分别与正例样本和负例样本在特征空间进行对比，计算样本的特征表示。对任意数据x，对比学习的目标是学习一个编码器 f,使得：公式3其中是和 x相似的正样本，是和x不相似的负样本，score是一个度量函数来衡量样本间的相似度。如果用向量内积来计算两个样本的相似度，则对比学习的损失函数可以表示成：公式4本发明的方法中，对应样本x有1个样本和n-1个负样本。具体到声纹振动数据，我们从少量有标注的故障数据中抽取一个分帧，作为负样本；再从无标注数据中抽取任意分帧作为正样本，由此构成一对。对两帧输入，使用语谱图作为输入特征，分别使用cnn网络进行训练。将cnn网络的最后一层之前的卷积层输出作为特征表示。方法能够从无标签数据中学习表示，使同源数据在表示空间中越接近，不同源数据在表示空间中远离，从而提高声纹振动样本的特征表示，显著提升变压器故障识别的准确率。
31.s102、对学习到的声纹信号与振动信号，使用自编码器进行特征融合，并通过提取到的短时特征通过自编码器，得到声纹振动融合特征向量；如图2所示，对学习到的声纹与振动信号，使用自编码器进行特征融合。将前述提取到的短时特征通过自编码器，得到声纹振动融合特征向量，步骤如下：将提取的声纹信号语谱图输入到自监督学习模型中，输出为初始声纹特征图；初始特征图为cnn模型的最后一层之前的输出。
32.将提取的振动信号语谱图输入到自监督学习模型中，输出为初始振动特征图；采用基于像素误差的重建损失函数训练自编码器；将初始声纹特征图和初始振动特征图分别输入到自编码器f，输出为融合特征向量，实现声纹信号特征和振动信号特征的特征融合。
33.自编码器的特性决定了特征向量可以同时表征原始两张特征图，实现了声纹振动信号特征融合。
34.s103、将声纹振动融合特征向量输入lstm分类网络，输出得到变压器的异常分类结果。
35.其中，基于lstm的异常诊断分类网络，在s102特征融合的基础上，训练一个面向变压器异常诊断的lstm分类网络。lstm网络结构如图3所示.将声纹信号特征和振动信号特征分为n帧，通过特征融合，得到n个特征向量；设特
征向量大小为p，则输入数据为n*p的矩阵；将特征融合输入到lstm网络分类器，输出为变压器异常类别识别结果。
36.基于本发明提供的基于声振联合信号分析的变压器异常诊断方法将变压器运行声纹和振动信号特征进行融合，能够有效降低噪声干扰，提升变压器异常识别的准确率。
37.本发明利用对比学习对声纹振动信号学习特征表示，能够较好地表征声纹振动数据，提高分类模型泛化能力。
38.本发明基于lstm的异常诊断分类网络，能够准确识别变压器异常类别。
39.基于上述方法，本发明还提供一种变压器异常诊断系统，如图4所示，系统包括：提取模块、对比学习模块、自编码器、lstm分类网络模块以及输出展示模块；提取模块用于提取变压器运行的一段声纹和振动数据；对比学习模块用于从变压器运行声纹和振动数据中得到学习多模态特征表示，再将提取到的短时特征输出给自编码器；自编码器对变压器运行声纹和振动数据进行处理，得到两类数据的特征向量；对声纹信号与振动信号，进行特征融合，得到声纹振动融合特征向量；lstm分类网络模块对声纹振动融合特征向量进行处理，通过输出展示模块输出得到变压器的异常分类结果。
40.本发明提供的变压器异常诊断系统中，可以采用机器学习方法、深度学习方法等对变压器异常进行诊断。本发明实施方式的系统可以由诊断设备执行，但本发明并不限定于此。
41.本发明提供的变压器异常诊断系统中，针对目前变压器异常标注样本数据少的问题，提出使用正常态数据建库，以误差衡量偏离稳态实现异常预警的方法。具体是通过采集预设周期内变压器正常运行的第一声音信号并进行去噪处理、ad转换获取第一声纹数据；对第一声纹数据进行音频频谱分析，提取第一音频特征存储至第一音频数据库；实时采集变压器运行的第二声音信号并进行去噪处理、ad转换获取第二声纹数据；对第二声纹数据进行音频频谱分析，提取第二音频特征；通过神经网络识别判断第一音频数据库中是否存在第二音频特征：若否，则发出异常报警信号。
42.基于本发明提出的基于声纹振动信号的变压器异常识别方法及系统，通过声纹振动信号多模态特征融合技术，将变压器运行声音信号与振动信号特征进行有效结合，降低了声音信号分析中环境噪声干扰的影响，从而有效提高变压器异常识别的准确率。本发明提出的特征表示方法及系统，能够在有标签样本数据的基础上，从无标签异常数据及正常样本数据中学习特征表示，特征能够较好地表征声纹振动数据，通过此方法学习到的特征表示用于分类模型训练，能够有效提升模型泛化能力。
43.本发明提供的基于声振联合信号分析的变压器异常诊断方法及系统是结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
44.所属技术领域的技术人员能够理解，本发明提供的基于声振联合信号分析的变压
器异常诊断方法及系统的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
45.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
技术特征：1.一种变压器异常诊断方法，其特征在于，方法包括：步骤一、使用对比学习从变压器运行声纹和振动数据中得到学习多模态特征表示，再将提取到的短时特征通过自编码器，得到两类数据的特征向量；即声纹信号与振动信号；步骤二、对学习到的声纹信号与振动信号，使用自编码器进行特征融合，并通过提取到的短时特征通过自编码器，得到声纹振动融合特征向量；步骤三、将声纹振动融合特征向量输入lstm分类网络，输出得到变压器的异常分类结果。2.根据权利要求1所述的变压器异常诊断方法，其特征在于，步骤一中，记某种短时特征为；提取变压器运行的一段声纹和振动数据，将其分为重叠的若干振，将提取的声纹和振动数据以短时特征表示，表示为，其中(n)是分帧的序号；将短时特征可视化为语谱图，语谱图反映了声纹振动信号在连续时间内频率的变化情况，利用cnn卷积神经网络提取语谱图特征。3.根据权利要求2所述的变压器异常诊断方法，其特征在于，步骤一中，使用对比学习从变压器运行声纹和振动数据中学习合理的特征表示；将变压器运行声纹和振动数据分别与正例样本和负例样本在特征空间进行对比，计算样本的特征表示；对任意样本x，对比学习的目标是学习一个编码器f ,使得：公式3其中是和x相似的正样本，是和x不相似的负样本，score是一个度量函数来衡量样本间的相似度；如果用向量内积来计算两个样本的相似度，则对比学习的损失函数可以表示成：公式4其中对应样本x有1个样本和n-1个负样本。4.根据权利要求1或2所述的变压器异常诊断方法，其特征在于，步骤二中，将提取的声纹信号语谱图输入到自监督学习模型中，输出为初始声纹特征图；将提取的振动信号语谱图输入到自监督学习模型中，输出为初始振动特征图；采用基于像素误差的重建损失函数训练自编码器；将初始声纹特征图和初始振动特征图分别输入到自编码器f，输出为融合特征向量，实现声纹信号特征和振动信号特征的特征融合。5.根据权利要求4所述的变压器异常诊断方法，其特征在于，初始特征图为cnn模型的最后一层之前的输出。6.根据权利要求1或2所述的变压器异常诊断方法，其特征在于，步骤三还包括：将声纹信号特征和振动信号特征分为n帧，通过特征融合，得到n个特征
向量；设特征向量大小为p，则输入数据为n*p的矩阵；将特征融合输入到lstm网络分类器，输出为变压器异常类别识别结果。7.根据权利要求1或2所述的变压器异常诊断方法，其特征在于，步骤一之前还包括：通过采集预设周期内变压器状态数据来构建正常态数据库；通过采集预设周期内变压器正常运行的第一声音信号并进行去噪处理、ad转换获取第一声纹数据；对第一声纹数据进行音频频谱分析，提取第一音频特征存储至第一音频数据库；实时采集变压器运行的第二声音信号并进行去噪处理、ad转换获取第二声纹数据；对第二声纹数据进行音频频谱分析，提取第二音频特征；通过神经网络识别判断第一音频数据库中是否存在第二音频特征：若否，则发出异常报警信号。8.一种变压器异常诊断系统，其特征在于，系统采用如权利要求1至7任意一项所述的变压器异常诊断方法；系统包括：提取模块、对比学习模块、自编码器、lstm分类网络模块以及输出展示模块；提取模块用于提取变压器运行的一段声纹和振动数据；对比学习模块用于从变压器运行声纹和振动数据中得到学习多模态特征表示，再将提取到的短时特征输出给自编码器；自编码器对变压器运行声纹和振动数据进行处理，得到两类数据的特征向量；对声纹信号与振动信号，进行特征融合，得到声纹振动融合特征向量；lstm分类网络模块对声纹振动融合特征向量进行处理，通过输出展示模块输出得到变压器的异常分类结果。9.一种实现变压器异常诊断方法的诊断设备，其特征在于，包括：存储器，用于存储计算机程序及变压器异常诊断方法；处理器，用于执行所述计算机程序及变压器异常诊断方法，以实现如权利要求1至7任意一项所述变压器异常诊断方法的步骤；显示屏，用于显示诊断过程以及诊断的变压器异常分类结果；通信模块，用于将诊断过程信息以及诊断的变压器异常分类结果信息传输给服务器。
技术总结本发明提供一种变压器异常诊断方法、系统及诊断设备，涉及变压器异常诊断技术领域，使用对比学习从变压器运行声纹和振动数据中得到学习多模态特征表示，再将提取到的短时特征通过自编码器，得到两类数据的特征向量；即声纹信号与振动信号；对学习到的声纹信号与振动信号，使用自编码器进行特征融合，并通过提取到的短时特征通过自编码器，得到声纹振动融合特征向量；将声纹振动融合特征向量输入LSTM分类网络，输出得到变压器的异常分类结果。方法基于声纹振动信号多模态特征融合技术，将变压器运行声音信号与振动信号特征相结合，显著降低环境噪声干扰的影响，从而有效提高变压器异常识别的准确率。常识别的准确率。常识别的准确率。
技术研发人员：李小宁 李强 邱镇 白景坡 卢大玮 王兴涛 黄晓光 靳敏 张晓航 徐凡 梁翀 郭庆 王维佳
受保护的技术使用者：国网信息通信产业集团有限公司
技术研发日：2022.07.18
技术公布日：2022/11/1
