基于优化vgg16网络的tbm围岩识别方法及装置
技术领域
1.本发明涉及隧道施工技术领域，具体涉及一种基于优化vgg16网络的tbm围岩识别方法及装置。
背景技术：2.在tbm全称为全断面岩石隧道掘进机，广泛地用于岩石地层隧道的掘进开挖工程。异常的不良地质条件往往给隧道掘进带来较大风险，甚至造成严重事故。工程实践经验表明，若能在tbm的掘进过程中持续掌握掌子面的围岩类型，就能对部分不良地质情况进行预警，从而大大降低施工风险。近年随着国内长大、深埋隧洞工程项目越来越多，这类预警需求也就显得愈发迫切。
3.根据《工程岩体分级标准gb50218—94》，围岩类型可以分为五类。而掘进环境存在的高温、落物、进水等干扰，使得拍摄清晰的实时围岩图像较为困难。因此，如果要在tbm施工过程中去实时判别围岩类型，往往需要采用间接方法。而岩渣是tbm切割岩体产生的产物，其形态与围岩类别有一定相关性。
4.目前，用于围岩识别领域的图像处理算法，可分为两类：第一类传统图像处理算法，包含阈值分割、梯度分水岭变换、sobel算子、harris算子等等；第二类是深度网络处理算法，包含全连接神经网络、卷积神经网络模型等等。vgg16网络是一种典型的卷积神经网络，属于第二类方法的一个子分支。
5.将vgg16网络应用于围岩识别任务时，存在以下两个问题：1)原始网络结构过于复杂。为保证识别准确率，原始vgg16结构设计较为复杂，共计需要5个卷积池化模块作为卷积层提取特征，以及3层全连接层作为分类层完成输出，深度网络结构复杂度上升，其待定参数量也会增多，从而增加硬件负载、降低计算速度，并对实际应用造成较大阻碍；2)训练模式无法兼顾速度与精度，因此不适合像其他深度网络一样从头开始训练，而是需要使用知识蒸馏模式作为代替以降低训练时长，而如果应用知识蒸馏模式，student网络的卷积层参数将完全由teacher网络的对应部分迁移得到，只有分类层参数会随着训练更新，这种训练模式尽管可以大幅减少需要训练的参数量，但是网络对当前任务的特征提取能力也下降了，其准确率在达到某个上限后，将无法再作进一步提升。
技术实现要素：6.本发明的目的在于，针对上述现有技术的不足，提供一种基于优化vgg16网络的tbm围岩识别方法，以解决tbm围岩识别问题。
7.为实现上述目的，本发明采用的技术方案如下：
8.第一方面，本发明提供了一种基于优化vgg16网络的tbm围岩识别方法，该方法包括：
9.获取用于训练的岩渣图像数据集；
10.构建用于当前任务的vgg_rock网络，vgg_rock网络为采用全局平均二维池化层替
换vgg16网络中的第一全连接层后形成的优化vgg16网络，第一全连接层为vgg16网络的三个全连接层中最靠近卷积池化模块的全连接层；
11.构建输入通道，使得数据得以进入网络训练；
12.从已训练完成的vgg16网络中，迁移加载全部卷积池化模块的参数，并冻结卷积池化模块；
13.单独训练vgg_rock网络的分类层，直到逻辑判定网络识别准确率无法上升；
14.冻结vgg_rock网络的分类层；
15.重新激活vgg_rock网络最深层的卷积池化模块，并开始训练，直到准确率满足要求或无法上升；
16.将训练完成的vgg_rock网络模型保存，以用于实时围岩识别任务。
17.可选地，所述获取用于训练的岩渣图像数据集，包括：
18.收集得到岩渣图像，并且根据预先获取的文献数据以及现场需求，将岩渣与围岩进行对应关系标定，以形成用于训练的岩渣图像数据集。
19.可选地，对于vgg_rock网络中的全局平均二维池化层，
20.假定输入数组每一个元素为xijk，则经过全局平均二维池化层后，输出数组的每一个元素dk为：
[0021][0022]
w、h和d分别表示输入数组在三个维度上的元素的数量。
[0023]
可选地，所述构建用于当前任务的vgg_rock网络，包括：
[0024]
基于编程语言，使用深度网络框架，根据所获取的岩渣图像数据集特征，设置网络参数，构建用于当前任务的vgg_rock网络。
[0025]
可选地，编程语言为python3.7语言。
[0026]
可选地，深度网络框架为tensorflow深度网络框架或pytorch深度网络框架。
[0027]
可选地，网络参数包括输入窗口大小、卷积核步长、池化策略。
[0028]
第二方面，本发明还提供了一种基于优化vgg16网络的tbm围岩识别装置，该装置包括：
[0029]
数据集获取模块，用于获取用于训练的岩渣图像数据集；
[0030]
vgg_rock网络构建模块，用于构建用于当前任务的vgg_rock网络，vgg_rock网络为采用全局平均二维池化层替换vgg16网络中的第一全连接层后形成的优化vgg16网络，第一全连接层为vgg16网络的三个全连接层中最靠近卷积池化模块的全连接层；
[0031]
输入通道构建模块，用于构建输入通道，使得数据得以进入网络训练；
[0032]
训练模块，用于从已训练完成的vgg16网络中，迁移加载全部卷积池化模块的参数，并冻结卷积池化模块，单独训练vgg_rock网络的分类层，直到逻辑判定网络识别准确率无法上升，冻结vgg_rock网络的分类层，重新激活vgg_rock网络最深层的卷积池化模块，并开始训练，直到准确率满足要求或无法上升；
[0033]
存储模块，用于将训练完成的vgg_rock网络模型保存，以用于实时围岩识别任务。
[0034]
本发明的有益效果包括：
[0035]
本发明提供的基于优化vgg16网络的tbm围岩识别方法包括：获取用于训练的岩渣
图像数据集；构建用于当前任务的vgg_rock网络，vgg_rock网络为采用全局平均二维池化层替换vgg16网络中的第一全连接层后形成的优化vgg16网络，第一全连接层为vgg16网络的三个全连接层中最靠近卷积池化模块的全连接层；构建输入通道，使得数据得以进入网络训练；从已训练完成的vgg16网络中，迁移加载全部卷积池化模块的参数，并冻结卷积池化模块；单独训练vgg_rock网络的分类层，直到逻辑判定网络识别准确率无法上升；冻结vgg_rock网络的分类层；重新激活vgg_rock网络最深层的卷积池化模块，并开始训练，直到准确率满足要求或无法上升；将训练完成的vgg_rock网络模型保存，以用于实时围岩识别任务。对比现有深度网络类方法，本方法兼具训练速度快且识别准确率好的优势，这会更贴合tbm硬岩掘进项目的实际条件，并且能切实解决围岩识别问题。
附图说明
[0036]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0037]
图1示出了本发明实施例提出的基于优化vgg16网络的tbm围岩识别方法的流程示意图；
[0038]
图2示出了vgg16与vgg_rock结构对比示意图；
[0039]
图3示出了常规知识蒸馏模式与本发明提出的改进知识蒸馏模式流程对比示意图。
具体实施方式
[0040]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0041]
岩渣是tbm切割岩体产生的产物，其形态与围岩类别有一定相关性。因此，本发明将采用岩渣图像、而非直接使用围岩图像完成围岩识别。目前，用于围岩识别领域的图像处理算法，可分为两类：第一类传统图像处理算法，包含阈值分割、梯度分水岭变换、sobel算子、harris算子等等；第二类是深度网络处理算法，包含全连接神经网络、卷积神经网络模型等等。vgg16网络是一种典型的卷积神经网络，属于第二类方法的一个子分支。由于其性能已在其他多个领域得到过证实，因此本发明选择基于vgg16网络进行开发。通过分别对其原始网络结构与传统训练流程进行改进，从而使本发明方法相比原方法更适于在硬岩掘进工程下完成围岩识别任务。
[0042]
图1示出了本发明实施例提出的基于优化vgg16网络的tbm围岩识别方法的流程示意图；图2示出了vgg16与vgg_rock结构对比示意图；图3示出了常规知识蒸馏模式与本发明实施例提出的改进知识蒸馏模式流程对比示意图。下面将参照图1至图3详细描述本发明提出的基于优化vgg16网络的tbm围岩识别方法。
[0043]
如图1所示，本发明实施例提供了一种基于优化vgg16网络的tbm围岩识别方法，该
方法包括：
[0044]
步骤101、获取用于训练的岩渣图像数据集。
[0045]
具体地，获取用于训练的岩渣图像数据集，包括：收集得到岩渣图像，并且根据预先获取的文献数据以及现场需求，将岩渣与围岩进行对应关系标定，以形成用于训练的岩渣图像数据集。
[0046]
步骤102、构建用于当前任务的vgg_rock网络。
[0047]
vgg_rock网络为采用全局平均二维池化层替换vgg16网络中的第一全连接层后形成的优化vgg16网络，第一全连接层为vgg16网络的三个全连接层中最靠近卷积池化模块的全连接层。
[0048]
为不降低网络特征提取能力的上限，在保留vgg16网络卷积层结构不变的前提下，对分类层进行精简并重构。以输入窗口大小为256*256*3且面向三分类任务为例，vgg_rock与vgg16的结构对比示意图如图2所示。由图2可知，vgg16中的全连接层fc6将由全局平均二维池化层gap6所替代，从而形成优化vgg16网络，也就是vgg_rock网络，因而输出格式也将发生相应变化。
[0049]
对于vgg_rock网络中的全局平均二维池化层，假定输入数组每一个元素为xijk，则经过全局平均二维池化层后，输出数组的每一个元素dk为：
[0050][0051]
w、h和d分别表示输入数组在三个维度上的元素的数量。
[0052]
从公式(1)可见，全局平均二维池化层输出完全是输入数组某一维度的平均值，因而不需要像全连接方式一样设置待定参数，从而达到缩减待定参数总量的目的。当输入格式均为256*256*3且其余参数均保持相同的前提下，当采用原始结构vgg_16时，分类层待定参数总量为136,321,027个；而在采用改进结构vgg_rock后，其分类层待定参数总量为264,195个，待定参数量将缩减至1/50以下。
[0053]
可选地，构建用于当前任务的vgg_rock网络，包括：基于编程语言，使用深度网络框架，根据所获取的岩渣图像数据集特征，设置网络参数，构建用于当前任务的vgg_rock网络。编程语言例如可以为python3.7语言。深度网络框架例如可以为tensorflow深度网络框架或pytorch深度网络框架。网络参数例如可以包括输入窗口大小、卷积核步长、池化策略。
[0054]
步骤103、构建输入通道，使得数据得以进入网络训练。
[0055]
当待训练网络通过知识蒸馏模式无法有效提升准确率后，将额外增加对网络卷积层的训练，从而提升网络对当前任务的特征提取能力。为保持知识蒸馏模式可大幅减少训练量的固有优势，这部分训练需遵守以下两条原则：1)仅激活位于网络末端的卷积池化层，冻结其余卷积池化层：末端卷积层输出节点较少，因此待训练参数也较少，而越深层的卷积池化层，提取得到的特征也越高阶；相比低阶特征，高阶特征对不同任务的区分度会更明显；2)冻结分类层，使用传统知识蒸馏模式去训练模型时，分类层的待定参数会随着训练轮次更新，这表明其已经学习过当前任务的特征，无须再次学习。传统知识蒸馏训练与本发明实施例提出的改进知识蒸馏流程对比如图3所示。
[0056]
采用本发明实施例提出的改进知识蒸馏流程，基于优化vgg16网络的tbm围岩识别方法还包括如下步骤：
[0057]
步骤104、从已训练完成的vgg16网络中，迁移加载全部卷积池化模块的参数，并冻结卷积池化模块。具体地，从其他已训练完成的网络中，迁移加载全部卷积池化模块的参数(即图2中conv1、conv2、conv3、conv4、conv5部分)，然后这些模块冻结。这些teacher网络，只需要被迁移参数的部分结构与待训练且作为student网络的vgg_rock网络一致即可，且面向任务可以与当前网络不一致，因此找到并不困难。举例说明，如果目前岩渣图像数据集来源为项目a的掘进段a，那么这时即可以将应用于项目b掘进段b的vgg_rock网络作为teacher网络，也可以将面向imagenet任务的vgg16网络作为teacher网络，这正是因为这些网络被参数迁移部分的结构是一致的。
[0058]
步骤105、单独训练vgg_rock网络的分类层(即对应图2中gap6，fc7、fc8部分)，直到逻辑判定网络识别准确率无法上升。步骤106、冻结vgg_rock网络的分类层。步骤107、重新激活vgg_rock网络最深层的卷积池化模块(即图2中的conv5部分)，并开始训练，直到准确率满足要求或无法上升。步骤108、将训练完成的vgg_rock网络模型保存，以用于实时围岩识别任务。
[0059]
在本发明提出的围岩识别方法的实际应用中，首先需要按照图2中所示构建vgg_rock网络，而后才能使用图3中所示的优化知识蒸馏模式对其进行训练，并最终将训练完成的网络应用于围岩识别任务。
[0060]
在本发明提出的围岩识别方法中采用了vgg_rock模型和优化知识蒸馏模式，vgg_rock模型基于vgg_16网络，将全连接层fc6替换为全局平均二维池化层gap6，优化知识蒸馏模式相比原始知识蒸馏模式，额外增加了对cnn网络分类层的训练。对比现有深度网络类方法，本发明实施例提出的方法兼具训练速度快且识别准确率好的优势，这会更贴合tbm硬岩掘进项目的实际条件，并且能切实解决围岩识别问题。
[0061]
此外，本发明实施例还提供了一种基于优化vgg16网络的tbm围岩识别装置，该装置包括：数据集获取模块，用于获取用于训练的岩渣图像数据集；vgg_rock网络构建模块，用于构建用于当前任务的vgg_rock网络，vgg_rock网络为采用全局平均二维池化层替换vgg16网络中的第一全连接层后形成的优化vgg16网络，第一全连接层为vgg16网络的三个全连接层中最靠近卷积池化模块的全连接层；输入通道构建模块，用于构建输入通道，使得数据得以进入网络训练；训练模块，用于从已训练完成的vgg16网络中，迁移加载全部卷积池化模块的参数，并冻结卷积池化模块，单独训练vgg_rock网络的分类层，直到逻辑判定网络识别准确率无法上升，冻结vgg_rock网络的分类层，重新激活vgg_rock网络最深层的卷积池化模块，并开始训练，直到准确率满足要求或无法上升；存储模块，用于将训练完成的vgg_rock网络模型保存，以用于实时围岩识别任务。
[0062]
综上所述，相比现有tbm围岩识别技术，本发明包括如下有益效果：1)对比直接采集围岩图像，本发明只需采集岩渣图像，即可完成模型训练，最终输出识别围岩类型。这使得此方法在技术上仍具有较高可靠度，而在操作上又较为容易实现；2)对比原始vgg16网络结构，vgg_rock网络可有效减少网络整体待定参数总量，实现模型压缩，最终将降低现场部署的硬件负载，更利于在tbm硬岩掘进现场进行部署；3)对比传统知识蒸馏训练模式，优化知识蒸馏模式可增强训练完成的模型对当前任务的特征提取能力，最终将实现识别精度的提高，更易于满足tbm超前地质预警的准确率需求；4)对比现有深度网络类方法，本方法兼具训练速度快且识别准确率好的优势，这会更贴合tbm硬岩掘进项目的实际条件，并且能切
实解决这些问题。举例说明，当tbm掘进段发生变化而导致原模型识别率不再足够时，使用本方法可以快速进行模型更新迭；此外，当tbm掘进项目发生变化时，已训练完成模型也可作为teacher网络加速新模型的训练。
[0063]
上述实施例只为说明本发明的技术构思及特点，其目的在于让本领域普通技术人员能够了解本发明的内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所作的等效变化或修饰,都应涵盖在本发明的保护范围内。
技术特征：1.一种基于优化vgg16网络的tbm围岩识别方法，其特征在于，所述方法包括：获取用于训练的岩渣图像数据集；构建用于当前任务的vgg_rock网络，所述vgg_rock网络为采用全局平均二维池化层替换vgg16网络中的第一全连接层后形成的优化vgg16网络，所述第一全连接层为所述vgg16网络的三个全连接层中最靠近卷积池化模块的全连接层；构建输入通道，使得数据得以进入网络训练；从已训练完成的vgg16网络中，迁移加载全部卷积池化模块的参数，并冻结所述卷积池化模块；单独训练所述vgg_rock网络的分类层，直到逻辑判定网络识别准确率无法上升；冻结所述vgg_rock网络的分类层；重新激活所述vgg_rock网络最深层的卷积池化模块，并开始训练，直到准确率满足要求或无法上升；将训练完成的vgg_rock网络模型保存，以用于实时围岩识别任务。2.根据权利要求1所述的基于优化vgg16网络的tbm围岩识别方法，其特征在于，所述获取用于训练的岩渣图像数据集，包括：收集得到岩渣图像，并且根据预先获取的文献数据以及现场需求，将岩渣与围岩进行对应关系标定，以形成用于训练的岩渣图像数据集。3.根据权利要求1所述的基于优化vgg16网络的tbm围岩识别方法，其特征在于，对于所述vgg_rock网络中的全局平均二维池化层，假定输入数组每一个元素为xijk，则经过所述全局平均二维池化层后，输出数组的每一个元素dk为：w、h和d分别表示所述输入数组在三个维度上的元素的数量。4.根据权利要求1所述的基于优化vgg16网络的tbm围岩识别方法，其特征在于，所述构建用于当前任务的vgg_rock网络，包括：基于编程语言，使用深度网络框架，根据所获取的岩渣图像数据集特征，设置网络参数，构建用于当前任务的vgg_rock网络。5.根据权利要求4所述的基于优化vgg16网络的tbm围岩识别方法，其特征在于，所述编程语言为python3.7语言。6.根据权利要求5所述的基于优化vgg16网络的tbm围岩识别方法，其特征在于，所述深度网络框架为tensorflow深度网络框架或pytorch深度网络框架。7.根据权利要求6所述的基于优化vgg16网络的tbm围岩识别方法，其特征在于，所述网络参数包括输入窗口大小、卷积核步长、池化策略。8.一种基于优化vgg16网络的tbm围岩识别装置，其特征在于，所述装置包括：数据集获取模块，用于获取用于训练的岩渣图像数据集；vgg_rock网络构建模块，用于构建用于当前任务的vgg_rock网络，所述vgg_rock网络为采用全局平均二维池化层替换vgg16网络中的第一全连接层后形成的优化vgg16网络，所述第一全连接层为所述vgg16网络的三个全连接层中最靠近卷积池化模块的全连接层；
输入通道构建模块，用于构建输入通道，使得数据得以进入网络训练；训练模块，用于从已训练完成的vgg16网络中，迁移加载全部卷积池化模块的参数，并冻结所述卷积池化模块，单独训练所述vgg_rock网络的分类层，直到逻辑判定网络识别准确率无法上升，冻结所述vgg_rock网络的分类层，重新激活所述vgg_rock网络最深层的卷积池化模块，并开始训练，直到准确率满足要求或无法上升；存储模块，用于将训练完成的vgg_rock网络模型保存，以用于实时围岩识别任务。
技术总结本发明提供一种基于优化VGG16网络的TBM围岩识别方法及装置，涉及隧道施工技术领域。该方法包括：获取用于训练的岩渣图像数据集；构建用于当前任务的VGG_ROCK网络；构建输入通道，使得数据得以进入网络训练；从训练完成的VGG16网络中，迁移加载全部卷积池化模块的参数，冻结卷积池化模块；单独训练VGG_ROCK网络分类层；冻结VGG_ROCK网络的分类层；重新激活VGG_ROCK网络最深层的卷积池化模块并训练；将训练完成的VGG_ROCK网络模型保存，以用于围岩识别任务。对比现有深度网络方法，本方法兼具训练速度快且识别准确率好的优势，这更贴合TBM硬岩掘进的实际条件，能切实解决围岩识别问题。问题。问题。
技术研发人员：孙凯文 尹德斌 陶建峰 谷朝臣 刘成良
受保护的技术使用者：上海交通大学
技术研发日：2022.07.07
技术公布日：2022/11/1
