1.本发明涉及一种记录方法，具体涉及一种基于图像处理的工器具存取自动记录方法，属于计算机视觉方向的图像处理技术领域。
背景技术：2.随着当今世界电力系统的不断发展，变电站数量和规模的不断扩张，电力安全也越来越重要，常见的安全工器具包括安全帽、绝缘靴、绝缘手套、标志牌、拉闸杆、接地线、登高工具、安全带等等，工器具柜作为这些安全工器具的存放设施也尤为重要。
3.传统意义上，工器具柜仅仅用来存放工器具，而对其管理，通常需要专门的人员来进行统计记录，包括其中各种工器具的取用和归还情况。人工记录不仅浪费人力，而且人工记录的速度慢，随意性较强，不规范，容易出现错记、漏记的情况。
4.随着电力科技的不断创新与发展，现在很多变电站内已配置了智能安全工器具柜，实现了安全工器具的定制化摆放，这使得智能管理更易普及和应用。那么如何结合智能化的技术，尤其是图像处理，视频检测等技术对工器具进行智能化管理，在现在智能电网大发展的形势下显得尤为重要。
5.本发明受change detection图像变化检测的启发，提出了一种通过图像处理的方式来检测安全工器具柜的变化来判断其中安全工器具的具体借还情况。所谓的变化检测是指从不同时间获取的图片对中检测出感兴趣的变化信息，这样就确定了变化的区域，从而定位到具体工具的借还状况。本发明所涉及的方法主要解决的问题有两个，一方面是从可以复杂的无关变化中区分真正感兴趣区域的变化，因为采集到的图片信息包含很多除安全工器具柜之外的信息，这就需要克服场景中无关项的干扰；另一方面是识别出场景中感兴趣变化的高级语义信息，如安全帽，绝缘靴等安全工器具是否还在工器具柜中。这种方式实现了对物品在存、取和储存期间的全程监控，有效保证了物品的存储安全，使得工器具柜的管理更加智能。
技术实现要素：6.本发明正是针对现有技术中存在的问题，提供一种基于图像处理的工器具存取自动记录方法，该方案针对电网安全工器具存取状况，提出了一种新颖的安全工器具存取记录方法，针对变化检测方式，提出结合注意机制，强化差异特征，排除无关特征；针对损失函数，提出采用一种更灵活的策略来优化噪声变化。
7.为了实现上述目的，本发明的技术方案如下：一种基于图像处理的工器具存取自动记录方法，所述方法包括以下步骤：
8.步骤1：把要比较的两张时相图放入cnn模型中，提取cnn网络上的5个卷积层的特征feature map，
9.步骤2：每层卷积层之间使用注意力机制加深特征差异，其中包含通道注意力模块和空间注意力模块,首先记一个1d的通道注意图mc，尺寸为c
×1×
1，和一个2d的空间注意
力图ms，尺寸为1
×h×
w，则输入特征f和通过通道注意处理后的特征f'，以及通过空间注意处理后的最终细化的输出特征f”的计算过程如下，表示元素乘法：
[0010][0011][0012]
步骤3：使用反卷积(deconv)对高层特征进行上采样，使用max pooling对底层特征下采样，局部响应归一化(local response normalization,lrn)后将不同层的特征拼接起来，组成hyper feature，hyper features融合了高层中的高语义信息特征和中层中足够互补性特征，以及浅层中高分辨率细节性特征,
[0013]
步骤4：使用阈值对比损失，计算每个位置上的l2距离,
[0014][0015]
其中，k是特征维数，和分别是位置i和j的第k维处的特征值；
[0016]
步骤5：最后再做一下阈值处理，得到最终的change map。
[0017]
作为本发明的一种改进，步骤2中的通道注意力模块，具体如下：
[0018]
采用了全局平均池化和最大池化两种方式来分别利用不同的信息，用mc来表示输出的通道注意图，σ表示sigmoid激活函数，具体公式如下：
[0019]
mc(f)＝σ(mlp(avgpool(f))+mlp(maxpool(f)))，
[0020]
主要步骤如下：
[0021]
(1)输入一个h
×w×
c的特征f(h
×
w代表像素大小)；
[0022]
(2)将输入特征图的空间信息通过平均池化(avgpool)操作和一个最大池化(maxpool)操作沿空间轴进行压缩，特征f大小为h
×
w，进行池化操作后，特征图将被压缩进两个大小为c
×1×
1的两个向量中；
[0023]
(3)将每个向量转发到共享网络中，共享网络由一个多层感知机(mlp)组成，其中有一个隐含层，为减少参数开销，隐藏层的激活大小设为r/c，其中r为下降率，这个两层的神经网络是共享；
[0024]
(4)最后将得到的两个特征element-wise相加后经过一个sigmoid激活函数得到权重系数mc。
[0025]
作为本发明的一种改进，步骤2中的空间注意力模块，具体如下：
[0026]
用ms来表示输出的空间注意图，σ表示sigmoid激活函数，f7×7表示一个滤波器大小为7
×
7的卷积运算,具体公式如下：
[0027]ms
(f)＝σ(f7×7([avgpool(f)；maxpool(f)]))
[0028]
主要步骤具体如下：
[0029]
(1)输入一个h
×w×
c的特征f'(h
×
w代表像素大小)；
[0030]
(2)将输入特征图的空间信息通过平均池化(avgpool)操作和一个最大池化(maxpool)操作沿空间轴进行压缩，特征f'大小为h
×
w，进行池化操作后，特征图将被压缩进两个大小为h
×w×
1的两个向量中。
[0031]
(3)将这两个向量按照通道拼接在一起，经过一个7
×
7的卷积层，激活函数为sigmoid，得到权重系数ms，该空间注意图编码了需要关注或压制的位置。
[0032]
作为本发明的一种改进，步骤4中阈值对比损失，具体如下：
[0033]
原始的对比函数，用来扩大类间差异并同时减少类内差异，以学习良好的隐式度量，具体公式如下，其中fi和fj表示从不同时相图片中的相同位置提取的特征向量，d表示l2距离，m表示边界值：
[0034][0035]
使用阈值对比损失tcl，通过设置一个阈值，使得距离不会变为0，具体公式如下，τk表示设置的阈值：
[0036][0037]
相对于现有技术，本发明具有如下优点，该技术方案提出了一种基于图像处理的安全工器具存取自动记录方法，仅仅需要支架一个用于拍摄记录的摄像头，便可以通过检测安全工器具的变化情况，判断工具的存取状况，可以广泛应用于变电站在线智能安全工器柜管理系统，具有较强的兼容性和扩展性。相比现有技术改变了传统的人工效率低、易出错的管理方式，工作效率大大提高，操作简单且操作过程自动记录在案，并且可随时询工器具的使用情况和领用情况。这样的无人智能操作很大程度提高了管理效率和精确度，也向“智能电网”更近了一步。
附图说明
[0038]
图1为网络结构图；
[0039]
图2为注意力机制结构示意图。
具体实施方式
[0040]
为了加深对本发明的理解，下面结合附图对本实施例做详细的说明。
[0041]
实施例1：参见图1，一基于图像处理的工器具存取自动记录方法，所述方法包括以下步骤：步骤1：把要比较的两张时相图放入cnn模型中，提取cnn网络上的5个卷积层的特征feature map，
[0042]
步骤2：每层卷积层之间使用注意力机制加深特征差异，具体结构为附图2。
[0043]
记一个1d的通道注意图mc，尺寸为c
×1×
1，和一个2d的空间注意力图ms，尺寸为1
×h×
w，则输入特征f和通过通道注意处理后的特征f'，以及通过空间注意处理后的
[0044]
最终细化的输出特征f”的计算过程如下，表示元素乘法：
[0045][0046][0047]
步骤3：使用反卷积(deconv)对高层特征进行上采样，使用max pooling对底层特征下采样，局部响应归一化(local response normalization,lrn)后将不同层的特征拼接起来，组成hyper feature，hyper features融合了高层中的高语义信息特征和中层中足够互补性特征，以及浅层中高分辨率细节性特征,
[0048]
步骤4：使用阈值对比损失，计算每个位置上的l2距离,
[0049][0050]
其中，k是特征维数，和分别是位置i和j的第k维处的特征值；
[0051]
步骤5：最后再做一下阈值处理，得到最终的change map。
[0052]
其中，步骤2中通道注意力模块，cnn网络中每个卷积层特征的每一个通道都代表着一个专门的检测器，通道注意力是用来关注权重值更高的特征，也就是更为重要的特征。本发明中我们在每层卷积层中通过通道注意图对组合特征进行通道细化。每个通道的重要性被编码在通道注意图中，其权重在网络中被自动重新校准。通过将特征与相应的注意图权值相乘，可以强调与检测变化相关的通道，而抑制不相关的通道。通过这种方式，
[0053]
通道注意模块便可从组合的异构特性中关注学习更为重要的通道。
[0054]
为了汇总空间特征，采用了全局平均池化和最大池化两种方式来分别利用不同的信息，用mc来表示输出的通道注意图，σ表示sigmoid激活函数，具体公式如下：
[0055]
mc(f)＝σ(mlp(avgpool(f))+mlp(maxpool(f)))，
[0056]
主要步骤如下：
[0057]
(1)输入一个h
×w×
c的特征f(h
×
w代表像素大小)。
[0058]
(2)将输入特征图的空间信息通过平均池化(avgpool)操作和一个最大池化(maxpool)操作沿空间轴进行压缩，特征f大小为h
×
w，进行池化操作后，特征图将被压缩进两个大小为c
×1×
1的两个向量中；
[0059]
(3)将每个向量转发到共享网络中，共享网络由一个多层感知机(mlp)组成，其中有一个隐含层，为减少参数开销，隐藏层的激活大小设为r/c，其中r为下降率，这个两层的神经网络是共享的；
[0060]
(4)最后将得到的两个特征element-wise相加后经过一个sigmoid激活函数得到权重系数mc。
[0061]
其中，空间注意力模块，
[0062]
本发明中我们在每层卷积层中通过空间注意模块对跨空间维度的通道细化特征进行进一步细化。也就是说，特征图中每个像素位置的重要性被编码在空间注意图中。通过在网络训练过程中反复接收地面真实地图的反馈，通过训练空间注意模块，获得自适应重定每个像素位置权重的能力，最终输出空间注意图，其中变化的像素位置被赋予较高的重要性，不变的像素位置被赋予较低的重要性。
[0063]
为了汇总空间特征，采用了全局平均池化和最大池化两种方式来分别利用不同的信息。用ms来表示输出的空间注意图，σ表示sigmoid激活函数，f7×7表示一个滤波器大小为7
×
7的卷积运算,具体公式如下：
[0064]ms
(f)＝σ(f7×7([avgpool(f)；maxpool(f)]))
[0065]
主要步骤与通道注意力相似，具体如下：
[0066]
(1)输入一个h
×w×
c的特征f'(h
×
w代表像素大小)；
[0067]
(2)将输入特征图的空间信息通过平均池化(avgpool)操作和一个最大池化(maxpool)操作沿空间轴进行压缩，特征f'大小为h
×
w，进行池化操作后，特征图将被压缩进两个大小为h
×w×
1的两个向量中。
[0068]
(3)将这两个向量按照通道拼接在一起，经过一个7
×
7的卷积层，激活函数为
sigmoid，得到权重系数ms，该空间注意图编码了需要关注或压制的位置。
[0069]
其中，阈值对比损失，
[0070]
原始的对比函数，可以用来扩大类间差异并同时减少类内差异，以学习良好的隐式度量，具体公式如下，其中fi和fj表示从不同时相图片中的相同位置提取的特征向量，d表示l2距离，m表示边界值：
[0071][0072]
但是当在由于相机旋转或变焦而导致视点差异较大的情况下，原始的对比损失会受到诸如性能不佳和优化过程中收敛速度慢等缺点的困扰，不能稳定地测量变化。主要原因是存在以下两个矛盾：一方面，由于未配准，较大的视点差异很容易激活太多不相关的信息，导致changed pair和unschanged pair特征纠缠在一起；另一方面，本来没有变化的区域由于视点差异而产生了变化，这些点也会趋向于0。导致此矛盾的关键问题是，使semantic dissimilar feature-pair的特征对之间的距离等于0是不合理的。为此，本发明中使用了阈值对比损失tcl，通过设置一个阈值，使得距离不会变为0，具体公式如下，τk表示设置的阈值：
[0073][0074]
需要说明的是上述实施例，并非用来限定本发明的保护范围，在上述技术方案的基础上所作出的等同变换或替代均落入本发明权利要求所保护的范围。
技术特征：1.一种基于图像处理的工器具存取自动记录方法，其特征在于，所述方法包括以下步骤：步骤1：把要比较的两张时相图放入cnn模型中，提取cnn网络上的5个卷积层的特征feature map，步骤2：每层卷积层之间使用注意力机制加深特征差异，其中包含通道注意力模块和空间注意力模块,首先记一个1d的通道注意图m
c
，尺寸为c
×1×
1，和一个2d的空间注意力图m
s
，尺寸为1
×
h
×
w，则输入特征f和通过通道注意处理后的特征f'，以及通过空间注意处理后的最终细化的输出特征f”的计算过程如下，表示元素乘法：表示元素乘法：步骤3：使用反卷积(deconv)对高层特征进行上采样，使用max pooling对底层特征下采样，局部响应归一化(local response normalization,lrn)后将不同层的特征拼接起来，组成hyper feature，hyper features融合了高层中的高语义信息特征和中层中足够互补性特征，以及浅层中高分辨率细节性特征,步骤4：使用阈值对比损失，计算每个位置上的l2距离,其中，k是特征维数，和分别是位置i和j的第k维处的特征值；步骤5：最后再做一下阈值处理，得到最终的change map。2.根据权利要求1所述的基于图像处理的工器具存取自动记录方法，其特征在于，步骤2中的通道注意力模块，具体如下：采用了全局平均池化和最大池化两种方式来分别利用不同的信息，用m
c
来表示输出的通道注意图，σ表示sigmoid激活函数，具体公式如下：m
c
(f)＝σ(mlp(avgpool(f))+mlp(maxpool(f)))，主要步骤如下：(1)输入一个h
×
w
×
c的特征f(h
×
w代表像素大小)；(2)将输入特征图的空间信息通过平均池化(avgpool)操作和一个最大池化(maxpool)操作沿空间轴进行压缩，特征f大小为h
×
w，进行池化操作后，特征图将被压缩进两个大小为c
×1×
1的两个向量中；(3)将每个向量转发到共享网络中，共享网络由一个多层感知机(mlp)组成，其中有一个隐含层，为减少参数开销，隐藏层的激活大小设为r/c，其中r为下降率，这个两层的神经网络是共享；(4)最后将得到的两个特征element-wise相加后经过一个sigmoid激活函数得到权重系数m
c
。3.根据权利要求1所述的基于图像处理的工器具存取自动记录方法，其特征在于，步骤2中的空间注意力模块，具体如下：用m
s
来表示输出的空间注意图，σ表示sigmoid激活函数，f7×7表示一个滤波器大小为7
×
7的卷积运算,具体公式如下：
m
s
(f)＝σ(f7×7([avgpool(f)；maxpool(f)]))主要步骤具体如下：(1)输入一个h
×
w
×
c的特征f'(h
×
w代表像素大小)；(2)将输入特征图的空间信息通过平均池化(avgpool)操作和一个最大池化(maxpool)操作沿空间轴进行压缩，特征f'大小为h
×
w，进行池化操作后，特征图将被压缩进两个大小为h
×
w
×
1的两个向量中；(3)将这两个向量按照通道拼接在一起，经过一个7
×
7的卷积层，激活函数为sigmoid，得到权重系数m
s
，该空间注意图编码了需要关注或压制的位置。4.根据权利要求1所述的基于图像处理的工器具存取自动记录方法，其特征在于，步骤4中阈值对比损失，具体如下：原始的对比函数，用来扩大类间差异并同时减少类内差异，以学习良好的隐式度量，具体公式如下，其中f
i
和f
j
表示从不同时相图片中的相同位置提取的特征向量，d表示l2距离，m表示边界值：使用阈值对比损失tcl，通过设置一个阈值，使得距离不会变为0，具体公式如下，τ
k
表示设置的阈值：
技术总结本发明涉及一种基于图像处理的工器具存取自动记录方法，所述方法包括以下步骤：步骤1：把要比较的两张时相图放入CNN模型中，提取CNN网络上的5个卷积层的特征feature map，步骤2：每层卷积层之间使用注意力机制加深特征差异，其中包含通道注意力模块和空间注意力模块,步骤3：使用反卷积(deconv)对高层特征进行上采样，使用max pooling对底层特征下采样，步骤4：使用阈值对比损失，其中，k是特征维数，和分别是位置i和j的第k维处的特征值；步骤5：最后再做一下阈值处理，得到最终的change map。该方案针对变化检测方式，提出结合注意机制，强化差异特征，排除无关特征；针对损失函数，提出采用一种更灵活的策略来优化噪声变化。化。化。
技术研发人员：高丹丹 马培龙 冯广辉
受保护的技术使用者：南京微明科技有限公司
技术研发日：2022.06.13
技术公布日：2022/11/1
