1.本发明涉及图像处理技术领域，更具体的说是涉及一种基于视频分类的电力占道施工时交通拥堵判断方法。
背景技术：2.道路拥堵可以定义为在单位统计时间内输入车量数量超过输出容量时出现的现象。根据车辆的数量和规模，拥堵会导致道路可使用功能受到不同程度的损失。由于电力基建任务常常面临占道施工的工程需求，因此导致道路拥挤的概率极大地上升。根据道路拥堵的定义，预测拥堵算法的具体任务是根据获取的视频数据对监控场景进行二进制分类，即堵塞或无堵塞。
3.人为衡量交通状况最常见变量是密度、速度和流量。其中交通密度定义为路段单位长度的车辆数量，交通速度是车辆在给定时刻和指定位置记录的速度，交通流量定义为单位时间内通过参考点的车辆数量。利用传统的方法很难测量在电力施工现场的整个路段的交通密度，因为占道施工是偶然事件，施工路段并不具有车流监控的传感器设备，同时用于估计车辆存在的传感器数量有限。当前，随着交通摄像头数量的增加和计算机视觉的进步，利用摄像头融合人工智能算法实现交通拥堵的识别是更为可行的方式。
4.深度学习领域的发展为道路拥挤识别提供一种更为鲁棒的方式，常用的方法是利用图像分类的神经网络对于采集到的道路交通图像进行是否拥堵二分类判别。但是，由于图像缺少深度信息且由于时间维度信息的缺失，仅从单帧图像中获取道路拥堵信息受摄像头部署的远近、车流速度等因素影响较大。除了单帧图像本身在解决占道施工交通拥挤场景判别任务方面具有的固有局限性，在实际算法泛化应用方面实现占道施工拥堵检测算法优化部署主要面临的问题有两个，一方面来说电力建设场景下环境复杂，在道路交通上添加有复杂的施工设施，数据量相比于通用交通场景下数据集较少，无法满足模型训练需求，然而，通用交通场景下数据集训练的模型无法直接在电力施工环境下取得较好的泛化效果。图1和图2分别显示了通用交通场景和电力占道施工场景下环境示例，两种场景数据具有域的差异性，需要借助合适的迁移学习的方式充分利用通用交通场景下数据集训练出的预训练模型。另一方面，将交通图像手动标记为拥塞和非拥塞标签是一项耗时的任务，需要大量的人力物力资源投入。因此，如何解决上述问题是本领域技术人员亟需解决的问题。
技术实现要素：5.有鉴于此，本发明提供了一种基于视频分类的电力占道施工时交通拥堵判断方法，克服了上述缺陷。
6.为了实现上述目的，本发明提供如下技术方案：
7.一种基于视频分类的电力占道施工时交通拥堵判断方法，具体步骤为：
8.分类标签的生成：对源域数据集中的源域数据进行分类，同时生成标签；
9.初次交通拥堵判断模型的构建：针对分类后的源域数据，利用resnet3d模型骨干
网络和bert分类模型构建初次交通拥堵判断模型；
10.伪标签数据的筛选：利用分类后的源域数据对初次交通拥堵判断模型进行训练，获得二次交通拥堵判断模型；并通过二次交通拥堵判断模型对目标域数据集中的目标域数据进行标签预测，根据置信度数据为预设数量的目标域数据生成伪标签；
11.三次交通拥堵判断模型的获取：基于源域数据的标签和目标域数据的伪标签，利用域对抗迁移网络dann的训练方式对二次交通拥堵判断模型进行训练，获得三次交通拥堵判断模型；
12.交通拥堵判断模型的生成：根据三次交通拥堵判断模型对目标域数据集中未预测伪标签的目标域数据进行预测，根据置信度数据为预设数量的目标域数据生成伪标签，并重复三次交通拥堵判断模型相关步骤，对三次交通拥堵判断模型进行优化，直至目标域数据集中生成伪标签的目标域数据的个数大于或等于预设阈值，获得交通拥堵判断模型；
13.道路拥堵判断：根据交通拥堵判断模型，对道路拥堵情况进行判断。
14.可选的，在初次交通拥堵判断模型的构建前，源域数据还进行了预处理操作，具体为：对每个源域数据采样64帧，并将每帧数据缩放至224*224像素大小。
15.可选的，初次交通拥堵判断模型具体为：resnet3d50模型骨干网络对预处理后的源域数据进行特征提取，并将提取的特征数据输入bert分类模型进行预测，输出预测结果。
16.可选的，基于域对抗迁移网络dann的训练方式，具体为：把具有不同分布的源域数据和目标域数据，映射到指定的特征空间内，通过寻找合适的度量准则，使两种域分布的数据在特征空间上的“距离”无限相近，进而，利用通过源域数据训练的分类器，完成目标域数据的视频分类。
17.可选的，域对抗迁移网络dann包括特征提取器、标签预测器和域判别器；其中，特征提取器用于将视频数据映射到特定的特征空间；标签预测器用于分辨视频数据是否属于拥堵状态；域判别器用于分辨视频数据的域。
18.可选的，标签预测器的损失函数为：
[0019][0020]
式中，xi和yi为任意一个给定的数据点的坐标；gy(gf(
·
))为特征数据输入标签预测器分支时的输出值。
[0021]
可选的，域判别器的损失函数为：
[0022][0023]
式中，di为第i个样本的二元标签。
[0024]
可选的，利用域对抗迁移网络dann的训练方式对二次交通拥堵判断模型进行训练，还包括对二次交通拥堵判断模型的优化，总优化目标为：
[0025][0026]
式中，n为训练数据样本数量，γ为超参量损失权重系数；w、v均为对应层权重参
数，b、z、c均为对应层偏置项参数。
[0027]
经由上述的技术方案可知，与现有技术相比，本发明公开了一种基于视频分类的电力占道施工时交通拥堵判断方法，对摄像头拍摄到的视频数据进行部分数据标注，再利用半监督训练方法对剩余数据进行自动标注，并完成算法模型训练，利用dann自适应学习的方式弱化两种数据域在特征提取网络中的差异性表现，解决了应用场景下数据较少的问题并充分利用通用交通场景下数据集提升网络的泛化性，另外本发明能够应用于电力施工场景道路拥堵检测识别任务中，具有较高的准确率，并且具有稳定性好，抗干扰能力强，通用性高等优点，具有良好的鲁棒性，能够应用于基建现场智能监管系统。
附图说明
[0028]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0029]
图1为通用交通场景训练样本视频图片；
[0030]
图2为电力占道施工场景训练样本视频图片；
[0031]
图3为本发明网络构架示意图；
[0032]
图4为半监督训练策略示意图；
[0033]
图5为本发明的方法流程示意图。
具体实施方式
[0034]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0035]
本发明实施例公开了一种基于视频分类的电力占道施工时交通拥堵判断方法，如图5所示，具体步骤为：
[0036]
步骤1、对源域数据集中的源域数据进行分类，同时生成标签；
[0037]
具体为：利用公开通用场景道路交通视频监控数据集并将数据分为拥堵和非拥堵类别。
[0038]
标签文件包含视频数据文件名称、数据id、帧数、帧像素信息、是否拥堵标签(非拥堵为0，拥堵为1)。
[0039]
步骤2、针对分类后的源域数据，利用resnet3d模型骨干网络和bert分类模型构建初次交通拥堵判断模型；
[0040]
具体为：将每个公开通用场景道路交通视频数据进行预处理操作，操作内容包括对每个视频数据采样64帧，并将每帧数据缩放至224*224像素大小。以resnet3d模型骨干网络对预处理后的视频数据进行特征提取，并将提取的特征数据输入bert分类模型生成视频分类预测，建立深度学习网络模型；
[0041]
深度学习网络模型具体为：图片通过统一预处理后送入网络。网络的骨干网络使
用resnet3d50，提取特征视频数据后，用bert结构对特征进行预测，充分感知视频数据的时间纬度和空间维度的特征信息，并完成视频是否是交通拥堵场景预测。
[0042]
步骤3、利用分类后的源域数据对初步交通拥堵判断模型进行训练，获得二次交通拥堵判断模型；并通过二次交通拥堵判断模型对目标域数据集中的目标域数据进行标签预测，根据置信度数据为预设数量的目标域数据生成伪标签；
[0043]
具体为：将电力占道施工场景下获得的所有道路交通监控样本视频数据进行预处理操作，包括对每个视频数据采样64帧，并将每帧数据缩放至224*224像素大小，将所有数据作为训练集数据；
[0044]
利用公开通用场景道路交通视频数据训练深度学习网络模型，并对电力占道施工场景下监控视频训练集数据进行标签预测，取训练集置信度由高至低排序前20％的数据生成伪标签；
[0045]
步骤4、基于源域数据的标签和目标域数据的伪标签，利用域对抗迁移网络dann的训练方式对二次交通拥堵判断模型进行训练，获得三次交通拥堵判断模型；
[0046]
具体为：利用公开通用场景道路交通视频数据的标签和电力占道施工场景下道路监控视频训练集数的伪标签训练集对深度学习网络模型进行训练，基于域对抗迁移网络dann的训练方式，实现网络模型的域自适应迁移训练；
[0047]
涉及的dann进行域对抗迁移训练具体是指，在训练过程中，把具有不同分布的源域(source domain)数据(通用交通场景下带标签的数据)和目标域(target domain)数据(电力场景下占道施工视频数据)，映射到尽可能一致的特征空间内，通过寻找合适的度量准则，使两种域分布的数据在这个特征空间上的“距离”尽可能相近。继而，在源域上训练好的分类器，就可以迁移到目标域数据完成视频分类任务。
[0048]
如图3所示，dann的网络结构主要包含3个部分：特征提取器、标签预测器和域判别器。特征提取器用来将数据映射到特定的特征空间，标签预测器分辨数据是否属于拥堵状态，域判别器用于区分数据来自哪个域。
[0049]
本实施例中解决域适应问题使用的网络损失由两部分构成：训练损失(标签预测器损失)和域判别损失。标签判别器对来自源域的数据进行分类，域判别器对特征空间的数据进行域类别分类，尽可能分出数据来自哪个域。特征提取器和域判别器中间通过一个梯度反转层连接。在训练的过程中，对来自源域的带标签数据，网络不断最小化标签预测器的损失，对来自源域和目标域的全部数据，网络不断最小化域判别器的损失。理想的特征提取器期望使域判别器无法区分数据来自哪个域。
[0050]
其中，标签判别损失具体为：
[0051]
对于特征提取网络，以sigmoid作为激活函数，其输出为：
[0052]
gf(x；w,b)＝sigm(w*x+b)
ꢀꢀꢀ
(1)；
[0053]
其中，x为输入该层网络的特征数据，w为该层权重参数，b为该层偏置项参数。
[0054]
当特征数据输入标签预测器分支时，以softmax作为激活函数，其输出为：
[0055]gy
(gf(x)；v,c)＝softmax(v*gf(x)+c)
ꢀꢀꢀꢀꢀꢀ
(2)；
[0056]
其中，gf(x)为输入该层网络的特征数据，v为该层权重参数，c为该层偏置项参数。
[0057]
对于给定的数据点(xi，yi)，以负似然对数作为损失函数，即标签预测器的损失函数为：
[0058][0059]
域判别损失，具体为：
[0060]
对于域判别器，同样以sigmoid作为激活函数，其输出为：
[0061]
gd(gf(x)；u,z)＝sigm(u
t
*gf(x)+z)
ꢀꢀꢀꢀꢀꢀ
(4)；
[0062]
其中，gf(x)为输入该层网络的特征数据，u
t
为该层权重参数，z为该层偏置项参数。
[0063]
类似于标签判别损失函数，域判别器的损失为二分类交叉熵损失：
[0064][0065]di
表示第i个样本的二元标签，用来表示这个样本属于源域还是目标域。
[0066]
根据标签判别损失和域判别器损失的定义，在进行网络训练时可以利用总损失进行反向误差传播优化网络模型。总优化目标如下：
[0067][0068]
其中，n为训练数据样本数量，γ为超参量损失权重系数，本实施例所进行的实验中，权重系数设为1.0。由于梯度反转层的存在，dann最小化总目标函数的过程即更新标签预测器和域判别器的参数。
[0069]
步骤5、根据三次交通拥堵判断模型对目标域数据集中未预测伪标签的目标域数据进行预测，根据置信度数据为预设数量的目标域数据生成伪标签，并重复三次交通拥堵判断模型获取的相关步骤，对三次交通拥堵判断模型进行优化，直至目标域数据集中生成伪标签的目标域数据的个数大于或等于预设阈值，获得交通拥堵判断模型；
[0070]
具体为：
[0071]
采用初步训练后的模型对电力占道施工场景下未预测伪标签的监控视频训练集数据进行预测，取置信度由高至低排序前20％的数据生成伪标签，重复步骤4优化模型，直至标注电力占道施工场景下道路监控视频数据伪标签的数量不少于总数的80％。
[0072]
其中训练集目标域数据标记伪标记方法可以总结为如图4所示的步骤，首先模型在来自源域的标记数据上进行训练，并用于为目标域未标记集生成预测，通过设置置信度的阈值将所有的预测结果进行过滤并选取可信度较高的伪标签和数据包含在下一轮模型训练的数据中，这个过程重复n次。最终利用第n次训练后的模型进行预测和测试。
[0073]
步骤6、道路拥堵判断：根据交通拥堵判断模型，对道路拥堵情况进行判断；
[0074]
具体为：保存优化后的模型，并将模型应用于实际电力占道施工场景下道路拥堵判断。
[0075]
实施例2
[0076]
本实施例所使用的数据集分源域数据和目标域数据。具体为，源域数据采用公开交通场景下数据集brnocompspeed的2610个视频数据，其中拥堵标签数据为1080个视频数
据，非拥堵标签数据为1530个视频数据。目标域数据集的制作采用了在广州电力建设现场实际采集的方式，共收集了11个施工路段共1547个视频数据。其中随机分出1047个目标域视频数据不做标注处理用于半监督模型训练，500个视频数据人为标定标签，进行模型性能测试。
[0077]
在训练过程中，特征提取网络使用resnet3d-50，预训练模型采用在kinetics400数据集上训练的模型以降低模型训练难度，判别器采用随机初始化的方法进行初始化。在半监督训练过程中，采用随机采样的方式从每个视频数据中选取64帧图像作为输入数据，batch-size设置为8，将每帧图像数据统一缩放到112
×
112大小。模型训练优化器采用随机梯度下降(sgd)作为优化器，最大迭代训练次数为50，前5次迭代为慢启动训练，初始学习率为0.01，动量项为0.9，权值衰减系数1
×
10e-4，在5000次和10000次batch数据训练时分别将学习率下降为当前学习率的0.1倍。前10个epoch使用源域数据进行半监督训练，从接下来使用伪标签标记策略为无标签的目标域数据进行伪标签标记，初始置信度阈值设置为0.9并每两次epoch将置信度阈值提升0.01，置信度阈值最大设为0.99。模型半监督学习与预测的实验硬件条件为nvidiartx3090gpu，系统环境为ubuntu16.04，训练框架为pytorch。
[0078]
本实施例在目标域测试数据上进行人员定位算法时使用平均准确率作为评价指标，计算方式如下：
[0079][0080]
其中，k代表总视频分类数，对于拥堵和非拥堵识别，分类数为2，m代表算法正确的视频数量，n代表该类在测试数据集中的总数。
[0081]
表1为本实施例所提出的方法在电力占道施工场景交通测试数据集上进行拥堵判断消融实验和准确率测试结果。resnet3d-50 supervised表示采用源域数据进行有标签全监督训练，并将在源域数据集上表现最优的模型在目标域测试集上进行结果测试。可以看出，由于源域数据集和目标域数据集之间存在数据分布的差异，利用源域数据集训练的模型在目标域数据集上测试结果只取得了77.3％的平均准确率效果。resnet3d-50 supervised+dann表示采用源域数据进行有标签全监督训练，并输入目标域训练数据集利用dann的方法进行域判别器损失反向传播。相比较于resnet3d-50 supervised的方法，使用dann减弱了特征提取网络对两种域数据分布差异的特异性表现，在目标域数据测试集上取得了88.3％的实验结果，相比于resnet3d-50 supervised取得了11.0％的性能提升。resnet3d-50 semi-upervised表示采用源域数据和目标域数据进行半监督训练的方式进行模型学习。由于半监督训练的过程中利用到了目标域数据，这个过程具有域适应的效果，因此实验测试结果取得了87.2％的准确率，相比于resnet3d-50 supervised取得了9.9％的性能提升。resnet3d-50 semi-supervised+dann即为本实施例所提出的完整方法，该方法充分利用了源域和目标域的数据，提升模型的性能鲁棒性并能通过域自适应的方法降低数据差异对模型性能的影响，实验最终取得了93.2％的最优实验结果。表2是本实验resnet3d-50 semi-supervised+dann实验结果明细。
[0082]
表1电力占道施工场景交通拥堵实验准确率对比
[0083][0084]
表2电力占道施工场景交通拥堵实验结果明细
[0085][0086]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
[0087]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
技术特征：1.一种基于视频分类的电力占道施工时交通拥堵判断方法，其特征在于，具体步骤为：分类标签的生成：对源域数据集中的源域数据进行分类，同时生成标签；初次交通拥堵判断模型的构建：针对分类后的源域数据，利用resnet3d模型骨干网络和bert分类模型构建初次交通拥堵判断模型；伪标签数据的筛选：利用分类后的源域数据对初次交通拥堵判断模型进行训练，获得二次交通拥堵判断模型；并通过二次交通拥堵判断模型对目标域数据集中的目标域数据进行标签预测，根据置信度数据为预设数量的目标域数据生成伪标签；三次交通拥堵判断模型的获取：基于源域数据的标签和目标域数据的伪标签，利用域对抗迁移网络dann的训练方式对二次交通拥堵判断模型进行训练，获得三次交通拥堵判断模型；交通拥堵判断模型的生成：根据三次交通拥堵判断模型对目标域数据集中未预测伪标签的目标域数据进行预测，根据置信度数据为预设数量的目标域数据生成伪标签，并重复三次交通拥堵判断模型获取的相关步骤，对三次交通拥堵判断模型进行优化，直至目标域数据集中生成伪标签的目标域数据的个数大于或等于预设阈值，获得交通拥堵判断模型；道路拥堵判断：根据交通拥堵判断模型，对道路拥堵情况进行判断。2.根据权利要求1所述的一种基于视频分类的电力占道施工时交通拥堵判断方法，其特征在于，在初次交通拥堵判断模型的构建前，源域数据还进行了预处理操作，具体为：对每个源域数据采样64帧，并将每帧数据缩放至224*224像素大小。3.根据权利要求2所述的一种基于视频分类的电力占道施工时交通拥堵判断方法，其特征在于，初次交通拥堵判断模型具体为：resnet3d-50模型骨干网络对预处理后的源域数据进行特征提取，并将提取的特征数据输入bert分类模型进行预测，输出预测结果。4.根据权利要求1所述的一种基于视频分类的电力占道施工时交通拥堵判断方法，其特征在于，基于域对抗迁移网络dann的训练方式，具体为：把具有不同分布的源域数据和目标域数据，映射到指定的特征空间内，通过寻找合适的度量准则，使两种域分布的数据在特征空间上的距离无限相近，进而，利用通过源域数据训练的分类器，完成目标域数据的视频分类。5.根据权利要求1所述的一种基于视频分类的电力占道施工时交通拥堵判断方法，其特征在于，域对抗迁移网络dann包括特征提取器、标签预测器和域判别器；其中，特征提取器用于将视频数据映射到特定的特征空间；标签预测器用于分辨视频数据是否属于拥堵状态；域判别器用于分辨视频数据的域。6.根据权利要求5所述的一种基于视频分类的电力占道施工时交通拥堵判断方法，其特征在于，标签预测器的损失函数为：式中，x
i
和y
i
为任意一个给定的数据点的坐标；g
y
(g
f
(
·
))为特征数据输入标签预测器分支时的输出值。7.根据权利要求6所述的一种基于视频分类的电力占道施工时交通拥堵判断方法，其特征在于，域判别器的损失函数为：
式中，d
i
为第i个样本的二元标签。8.根据权利要求7所述的一种基于视频分类的电力占道施工时交通拥堵判断方法，其特征在于，利用域对抗迁移网络dann的训练方式对二次交通拥堵判断模型进行训练，还包括对二次交通拥堵判断模型的优化，总优化目标为：式中，n为训练数据样本数量，γ为超参量损失权重系数；w、v均为对应层权重参数，b、z、c均为对应层偏置项参数。
技术总结本发明公开了一种基于视频分类的电力占道施工时交通拥堵判断方法，涉及图像处理技术领域，具体步骤为：分类标签的生成；初次交通拥堵判断模型的构建；伪标签数据的筛选；三次交通拥堵判断模型的获取；交通拥堵判断模型的生成；道路拥堵判断：根据交通拥堵判断模型，对道路拥堵情况进行判断；本发明对摄像头拍摄到的视频数据进行部分数据标注，再利用半监督训练方法对剩余数据进行自动标注，并完成算法模型训练；能够应用于电力施工场景道路拥堵检测识别任务中，具有较高的准确率，并且具有稳定性好，抗干扰能力强，通用性高等优点，具有良好的鲁棒性，能够应用于基建现场智能监管系统。能够应用于基建现场智能监管系统。能够应用于基建现场智能监管系统。
技术研发人员：许斌斌 陈畅 黄均才 刘鉴栋 袁晶
受保护的技术使用者：广东电网有限责任公司广州供电局
技术研发日：2022.07.22
技术公布日：2022/11/1
