1.本发明属于图像分类识别技术领域，尤其涉及一种基于信息融合技术的海洋浮游生物自动识别方法及系统。
背景技术：2.海洋浮游生物是海洋生态系统最基本的组成部分，在物质循环和能量流动中发挥着重要作用。海洋环境的变化，如富营养化和污染，会使一些浮游生物物种迅速增殖，造成有害赤潮。监测海洋浮游生物的丰度和种群变化可以评估海洋生态系统的健康状况，因此，实现海洋浮游生物的自动分类识别，对有效识别海洋浮游生物的种类和数量，以及对海洋生态环境保护具有重要意义。
3.发明人发现，现有的海洋浮游生物检测识别大多是依靠专业人员肉眼观察，存在专业知识要求高，工作量大等问题，实践时有很大的局限性。近年来，流式细胞仪等水下成像系统被应用于海洋浮游生物分类识别，但还是存在分类精度差和操作复杂等问题，实际应用性价比不高。
技术实现要素：4.本发明为了解决上述问题，提出了一种基于信息融合技术的海洋浮游生物自动识别方法及系统，本发明利用信息融合技术，构建了基于海洋浮游生物图像的机器学习模型，实现了海洋浮游生物的自动分类识别。其中，主要在于融合模型的构建，利用了多颜色空间特征融合方法，有效提取海洋浮游生物图像特征，并使用决策融合方法，集成多个子分类器的决策，获得更加精准的海洋浮游生物分类结果。
5.为了实现上述目的，本发明是通过如下的技术方案来实现：
6.第一方面，本发明提供了一种基于信息融合技术的海洋浮游生物自动识别方法，包括：
7.获取海洋浮游生物的图像信息；
8.依据获取的图像信息，以及预设的海洋浮游生物自动分类识别模型，得到海洋浮游生物的分类识别结果；
9.其中，训练海洋浮游生物自动分类识别模型时，首先，将训练用海洋浮游生物的图像信息进行分割；然后，提取分割后图像信息的多色彩空间对应颜色通道的手工特征及深度特征，并将所述手工特征和深度特征融合后得到融合特征，通过筛选融合特征得到训练集；最后，依据训练集，训练多个子分类器，集成多个子分类器得到海洋浮游生物自动分类识别模型。
10.进一步的，对海洋浮游生物的图像信息进行分割，移除多余的背景图像，得到只含海洋浮游生物细胞的图像区域。
11.进一步的，首先，使用自适应直方图均衡算法来增强海洋浮游生物图像对比度，应用高斯滤波器去除图像噪声，使用大津法对图像进行二值化处理，突出显示目标海洋浮游
生物细胞的轮廓，得到海洋浮游生物的二值图像；然后，对海洋浮游生物的二值图像采用膨胀和腐蚀方法，获得连续的边界；最后，通过边缘检测算子提取海洋浮游生物细胞的边缘，去除背景后得到只含浮游生物细胞的图像区域。
12.进一步的，对rgb、hsv、lab和ycrcb四个色彩空间的每个颜色通道分别提取海洋浮游生物图像的手工特征；利用深度网络提取海洋浮游生物图像的深度特征。
13.进一步的，对融合特征使用过滤式方法进行特征初筛，对每个子分类器分别使用嵌入式方法选择特征子集；对每个子分类器分别使用梯度提升决策树选择最优特征子集，梯度提升决策树由多个树模型训练；计算每个特征的基尼系数，以所有树模型上基尼系数之和的平均值作为重要程度标准，去除基尼系数低于重要程度标准对应的特征，得到每个子分类器的最优特征子集。
14.进一步的，随机选择一个分类边界上的少数类样本，计算边界上少数类样本到少数类样本集中所有样本的距离，得到多个近邻样本，再根据样本不平衡比例设置一个采样比例以确定采样倍率；对于每一个分类边界上的少数类样本，从少数类样本的多个近邻样本中随机选择采样倍率，对每个近邻样本选择一个随机数乘以近邻样本和少数类样本的特征向量的差，然后加上少数类样本的特征向量，得到新的样本。
15.进一步的，多个分类器分别是支持向量机、逻辑回归、随机森林、adaboost和梯度提升树。
16.第二方面，本发明还提供了一种基于信息融合技术的海洋浮游生物自动识别系统，包括：
17.数据采集模块，被配置为：获取海洋浮游生物的图像信息；
18.分类识别模块，被配置为：依据获取的图像信息，以及预设的海洋浮游生物自动分类识别模型，得到海洋浮游生物的分类识别结果；
19.其中，训练海洋浮游生物自动分类识别模型时，首先，将训练用海洋浮游生物的图像信息进行分割；然后，提取分割后图像信息的多色彩空间对应颜色通道的手工特征及深度特征，并将所述手工特征和深度特征融合后得到融合特征，通过筛选融合特征得到训练集；最后，依据训练集，训练多个子分类器，集成多个子分类器得到海洋浮游生物自动分类识别模型。
20.第三方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了第一方面所述的基于信息融合技术的海洋浮游生物自动识别方法的步骤。
21.第四方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了第一方面所述的基于信息融合技术的海洋浮游生物自动识别方法的步骤。
22.与现有技术相比，本发明的有益效果为：
23.本发明提取分割后图像信息的多色彩空间对应颜色通道的手工特征及深度特征，并将所述手工提特征和深度特征融合后得到融合特征，通过筛选融合特征得到训练集，依据训练集，训练多个子分类器，集成多个子分类器得到海洋浮游生物自动分类识别模型。利用信息融合技术，构建了海洋浮游生物自动分类识别模型，实现了海洋浮游生物的自动分类识别，可以获得更加精准的海洋浮游生物分类结果。
附图说明
24.构成本实施例的一部分的说明书附图用来提供对本实施例的进一步理解，本实施例的示意性实施例及其说明用于解释本实施例，并不构成对本实施例的不当限定。
25.图1为本发明实施例1的海洋浮游生物自动分类识别模型结构图；
26.图2为本发明实施例1的海洋浮游生物图像自动分割模块的模型结构图；
27.图3为本发明实施例1的特征提取以及特征融合过程的模型结构图；
28.图4为本发明实施例1的对融合特征进行特征选择以及决策融合过程的模型结构图。
具体实施方式：
29.下面结合附图与实施例对本发明作进一步说明。
30.应该指出，以下详细说明都是示例性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
31.实施例1：
32.本实施例提供了一种基于信息融合技术的海洋浮游生物自动识别方法，包括：
33.获取海洋浮游生物的图像信息；
34.依据获取的图像信息，以及预设的海洋浮游生物自动分类识别模型，得到海洋浮游生物的分类识别结果；
35.其中，训练海洋浮游生物自动分类识别模型时，首先，将训练用海洋浮游生物的图像信息进行分割；然后，提取分割后图像信息的多色彩空间对应颜色通道的手工特征及深度特征，并将所述手工特征和深度特征融合后得到融合特征，通过筛选融合特征得到训练集；最后，依据训练集，训练多个子分类器，集成多个子分类器得到海洋浮游生物自动分类识别模型。
36.本实施例构建了基于海洋浮游生物图像的机器学习模型，实现了海洋浮游生物的自动分类识别，减少了人工分类的工作量，提高了效率和准确率；其中，利用多色彩空间特征融合方法，更准确、更有效的提取海洋浮游生物图像特征，训练多个子分类器，集成子分类器的决策，最终的分类结果更加精准。本实施例的具体内容为：
37.s1、获取海洋浮游生物的图像及物种类别信息数据，构建海洋浮游生物数据集；
38.s2、海洋浮游生物图像自动分割，移除背景，得到只包含单独海洋浮游生物细胞的图像区域；
39.s3、多色彩空间颜色校正，利用rgb、hsv、lab和ycrcb四颜色空间的色彩表征信息，消除颜色偏差的影响；
40.s4、海洋浮游生物图像手工特征提取，对rgb、hsv、lab和ycrcb四颜色空间每个颜色通道分别提取手工特征，组合得到手工特征矩阵f1；
41.s5、海洋浮游生物图像深度特征提取，利用se-resnet50网络提取高阶深度特征，得到深度特征矩阵f2；
42.s6、特征融合，将多色彩空间手工特征矩阵f1和深度特征矩阵f2拼接融合，得到最终的融合特征矩阵f；
43.s7、对融合特征进行特征选择，为五个子分类器分别选取最优特征子集；
44.s8、将特征选择后的数据划分为训练集和测试集；
45.s9、对训练集数据进行数据增强操作；本实施例考虑了海洋浮游生物样本的不均衡情况，并采用数据增强技术优化，保证了模型的泛化性，更符合实际应用的需求；
46.s10、决策融合，利用集成学习方法，训练五个子分类器，集成子分类器的决策，得到最终的浮游生物分类结果。
47.步骤s1中，获取海洋浮游生物成像系统采集得到的海洋浮游生物图像，以及专家标定的物种类别信息，并移除分类信息不明确、图像不完整的数据，得到海洋浮游生物数据集，其中的海洋浮游生物成像系统可以理解为流式细胞仪或其他可以采集海洋浮游生物图像的设备。
48.步骤s2中，对海洋浮游生物图像自动分割。在图像采集过程中，难免会受到泥浆和未知悬浮等因素的影响。因此，需要去除背景信息，得到只包含海洋浮游生物细胞的图像区域。具体的，首先，使用自适应直方图均衡算法来增强图像对比度并获得更多细节；同时，应用高斯滤波器去除图像噪声；使用大津法(otsu)对图像进行二值化处理，该算法能够自适应地选择阈值，突出显示目标浮游生物细胞的轮廓；然后，对浮游生物的二值图像采用膨胀和腐蚀方法，获得更连续的边界；最后，通过sobel边缘检测算子提取浮游生物细胞的边缘，去除背景后得到只含浮游生物细胞的图像区域。
49.步骤s3中，利用rgb、hsv、lab和ycrcb四颜色空间的色彩表征信息，消除颜色偏差的影响。其中，rgb色彩空间是最经典、应用最广的色彩模式，在不同光线下有较强的的稳定性；hsv色彩空间对色彩描述更加直观，与人眼对颜色的理解方式一致，将人眼对色彩比较敏感的信息单独提出作为一个空间通道；lab色彩空间色域较宽，能够保留更加丰富的色彩色域信息；ycrcb色彩空间则对亮度变化影响较小，能够减少曝光不足或过渡曝光对颜色的影响。
50.原始的海洋浮游生物图像是rgb格式，分别进行hsv、lab和ycrcb颜色空间转换，对四个颜色空间分别提取特征，组合起来进行后续的分析。
51.步骤s4中，手工特征可以包括浮游生物的颜色和纹理以及形状特征；其中，颜色矩是颜色特征的表示，它基于数理统计方法，通过计算矩来描述图像颜色的分布；本实施例中分别使用颜色一阶矩、二阶矩与三阶矩来表示颜色分量的平均强度、颜色方差和偏度；此外，本实施例中也使用颜色直方图提取图像颜色特征，它可以从不同角度表示图像并计算图像中颜色的频率分布。纹理特征描述了图像的全局属性，本实施例中使用三种技术来提取所需的特征，即灰度共生矩阵(glcm)、局部二值模式(lbp)和小波分解(wd)；一些标量如均值、方差、能量、对比度和熵等用于表示纹理特征。形状特征一般分为边界特征和区域特征；本实施例中用圆形度和像素面积比来描述边界特征，用七阶hu不变矩来描述区域特征。
52.步骤s5中，深度学习方法能够提取和表征更高层次的特征，卷积神经网络(cnn)利用卷积层提取特征。将卷积神经网络se-resnet50模块最后一层卷积模块的输出，经过全局平均池化(global average pooling)后，作为浮游生物图像的深度特征。
53.步骤s6中，将步骤s4和步骤s5中海洋浮游生物图像特征提取得到的手工特征矩阵f1和深度特征矩阵f2，进行矩阵拼接(concatenate)操作，得到融合特征矩阵f。
54.步骤s7中，对融合特征进行特征选择。特征选择的重点是从输入中选择一个变量
子集，该子集可以有效地描述输入数据，同时减少噪声或不相关变量的影响，并且仍然提供良好的分类结果。本实施例中将特征选择与后续的决策融合过程相结合，特征选择过程可以分两步进行：第一步，对融合特征使用过滤式方法进行特征初筛，第二步，对每个子分类器分别使用嵌入式方法gbdt选择最优特征子集，具体为：
55.第一步过滤式特征选择，可以用单因素方差分析(anova)移除低方差特征，用卡方检验(chi-square test)筛去与分类结果相关性低的特征，得到一个新的特征矩阵f
′
。
56.第二步基于特征矩阵f
′
，对每个子分类器分别使用嵌入式方法gbdt选择最优特征子集。gbdt由多个cart树模型训练，cart树在选取根据哪个特征进行划分时，会计算每个特征的基尼系数g，计算公式如下：
[0057][0058]
其中，pm表示每个特征的分类概率。基尼系数可作为特征的重要程度，gbdt中所有cart树模型上重要程度之和的平均值即最终的重要程度。以最终的重要程度为标准，计算每个特征的重要程度，去除重要性低、与分类不相关的特征，得到每个子分类器的最优特征子集fn″
，其中n＝(1,2,...,5)；比如，以所有树模型上基尼系数之和的平均值作为重要程度标准，去除基尼系数低于重要程度标准对应的特征，得到每个子分类器的最优特征子集。
[0059]
步骤s8中，将特征选择后的数据随机选取80％的数据分为训练集t，剩余20％为测试集v。
[0060]
步骤s9中，对训练集数据t进行数据增强操作。海洋浮游生物数据通常存在样本不均衡现象，即某一种类样本的数量和其他种类差别过大，这通常会造成多数类样本过拟合，少数类样本欠拟合，影响最终的分类效果。为了处理不均衡数据，需要数据增强操作，本实施例在训练集样本t中，对少数类样本进行borderline-smote过采样。分类边界上的样本对分类结果最重要，只对边界上的少数类样本过采样。
[0061]
首先，随机选择一个分类边界上的少数类样本，计算它到少数类样本集中所有样本的距离，得到k个近邻样本。再根据样本不平衡比例设置一个采样比例以确定采样倍率n。对于每一个分类边界上的少数类样本x，从其k近邻样本中随机选择n个，对其每个近邻样本x
′
选择一个在[0，1]之间的随机数乘以近邻样本x
′
和少数类样本x的特征向量的差，然后加上少数类样本x，以此作为新的样本x
new
，计算公式如下：
[0062]
x
new
＝x+rand(0,1)
×
(x
′‑
x)
[0063]
步骤s10中，利用集成学习方法，实现决策融合。通过步骤s7得到的五个最优特征子集fn″
，其中n＝(1,2,...,5)，分别训练五个简单的分类模型，这些分类器分别是支持向量机(svm)、逻辑回归(lr)、随机森林(rf)、adaboost和梯度提升树(gbdt)。利用stacking集成学习方法，使用逻辑回归(lr)模型集成五个子分类器的决策结果，最终完成所有模型训练。在测试集v上评估最终的浮游生物分类结果。
[0064]
实施例2：
[0065]
本实施例提供了一种基于信息融合技术的海洋浮游生物自动识别系统，包括：
[0066]
数据采集模块，被配置为：获取海洋浮游生物的图像信息；
[0067]
分类识别模块，被配置为：依据获取的图像信息，以及预设的海洋浮游生物自动分类识别模型，得到海洋浮游生物的分类识别结果；
[0068]
其中，训练海洋浮游生物自动分类识别模型时，首先，将训练用海洋浮游生物的图像信息进行分割；然后，提取分割后图像信息的多色彩空间对应颜色通道的手工特征及深度特征，并将所述手工提特征和深度特征融合后得到融合特征，通过筛选融合特征得到训练集；最后，依据训练集，训练多个子分类器，集成多个子分类器得到海洋浮游生物自动分类识别模型。
[0069]
所述系统的工作方法与实施例1的基于信息融合技术的海洋浮游生物自动识别方法相同，这里不再赘述。
[0070]
实施例3：
[0071]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了实施例1所述的基于信息融合技术的海洋浮游生物自动识别方法的步骤。
[0072]
实施例4：
[0073]
本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了实施例1所述的基于信息融合技术的海洋浮游生物自动识别方法的步骤。
[0074]
以上所述仅为本实施例的优选实施例而已，并不用于限制本实施例，对于本领域的技术人员来说，本实施例可以有各种更改和变化。凡在本实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实施例的保护范围之内。
技术特征：1.基于信息融合技术的海洋浮游生物自动识别方法，其特征在于，包括：获取海洋浮游生物的图像信息；依据获取的图像信息，以及预设的海洋浮游生物自动分类识别模型，得到海洋浮游生物的分类识别结果；其中，训练海洋浮游生物自动分类识别模型时，首先，将训练用海洋浮游生物的图像信息进行分割；然后，提取分割后图像信息的多色彩空间对应颜色通道的手工特征及深度特征，并将所述手工特征和深度特征融合后得到融合特征，通过筛选融合特征得到训练集；最后，依据训练集，训练多个子分类器，集成多个子分类器得到海洋浮游生物自动分类识别模型。2.如权利要求1所述的基于信息融合技术的海洋浮游生物自动识别方法，其特征在于，对海洋浮游生物的图像信息进行分割，移除多余的背景图像，得到只含海洋浮游生物细胞的图像区域。3.如权利要求2所述的基于信息融合技术的海洋浮游生物自动识别方法，其特征在于，首先，使用自适应直方图均衡算法来增强海洋浮游生物图像对比度，应用高斯滤波器去除图像噪声，使用大津法对图像进行二值化处理，突出显示目标海洋浮游生物细胞的轮廓，得到海洋浮游生物的二值图像；然后，对海洋浮游生物的二值图像采用膨胀和腐蚀方法，获得连续的边界；最后，通过边缘检测算子提取海洋浮游生物细胞的边缘，去除背景后得到只含浮游生物细胞的图像区域。4.如权利要求1所述的基于信息融合技术的海洋浮游生物自动识别方法，其特征在于，对rgb、hsv、lab和ycrcb四个色彩空间的每个颜色通道分别提取海洋浮游生物图像的手工特征；利用深度网络提取海洋浮游生物图像的深度特征。5.如权利要求1所述的基于信息融合技术的海洋浮游生物自动识别方法，其特征在于，对融合特征使用过滤式方法进行特征初筛，对每个子分类器分别使用嵌入式方法选择特征子集；对每个子分类器分别使用梯度提升决策树选择最优特征子集，梯度提升决策树由多个树模型训练；计算每个特征的基尼系数，以所有树模型上基尼系数之和的平均值作为重要程度标准，去除基尼系数低于重要程度标准对应的特征，得到每个子分类器的最优特征子集。6.如权利要求1所述的基于信息融合技术的海洋浮游生物自动识别方法，其特征在于，随机选择一个分类边界上的少数类样本，计算边界上少数类样本到少数类样本集中所有样本的距离，得到多个近邻样本，再根据样本不平衡比例设置一个采样比例以确定采样倍率；对于每一个分类边界上的少数类样本，从少数类样本的多个近邻样本中随机选择采样倍率，对每个近邻样本选择一个随机数乘以近邻样本和少数类样本的特征向量的差，然后加上少数类样本的特征向量，得到新的样本。7.如权利要求1所述的基于信息融合技术的海洋浮游生物自动识别方法，其特征在于，多个分类器分别是支持向量机、逻辑回归、随机森林、adaboost和梯度提升树。8.基于信息融合技术的海洋浮游生物自动识别系统，其特征在于，包括：数据采集模块，被配置为：获取海洋浮游生物的图像信息；分类识别模块，被配置为：依据获取的图像信息，以及预设的海洋浮游生物自动分类识别模型，得到海洋浮游生物的分类识别结果；
其中，训练海洋浮游生物自动分类识别模型时，首先，将训练用海洋浮游生物的图像信息进行分割；然后，提取分割后图像信息的多色彩空间对应颜色通道的手工特征及深度特征，并将所述手工特征和深度特征融合后得到融合特征，通过筛选融合特征得到训练集；最后，依据训练集，训练多个子分类器，集成多个子分类器得到海洋浮游生物自动分类识别模型。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现了如权利要求1-7任一项所述的基于信息融合技术的海洋浮游生物自动识别方法的步骤。10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现了如权利要求1-7任一项所述的基于信息融合技术的海洋浮游生物自动识别方法的步骤。
技术总结本发明属于图像分类识别技术领域，提供了一种基于信息融合技术的海洋浮游生物自动识别方法及系统，包括：获取海洋浮游生物的图像信息；依据获取的图像信息，以及预设的海洋浮游生物自动分类识别模型，得到海洋浮游生物的分类识别结果；本发明提取分割后图像信息的多色彩空间对应颜色通道的手工特征及深度特征，并将所述手工特征和深度特征融合后得到融合特征，通过筛选融合特征得到训练集，依据训练集，训练多个子分类器，集成多个子分类器得到海洋浮游生物自动分类识别模型。利用信息融合技术，构建了海洋浮游生物自动分类识别模型，实现了海洋浮游生物的自动分类识别，可以获得更加精准的海洋浮游生物分类结果。更加精准的海洋浮游生物分类结果。更加精准的海洋浮游生物分类结果。
技术研发人员：高瑞 刘毅然 谯旭
受保护的技术使用者：山东大学
技术研发日：2022.07.26
技术公布日：2022/11/1
