本技术涉及遥感图像树木参数信息提取，具体涉及一种基于特征交互与聚合网络的树冠分割及树高估算方法。
背景技术：
1、准确、快速地获取树冠面积、高度和位置信息对于监测树木健康状况、快速调查林木资源至关重要。然而，现有的技术方法在自动、高效地获取树木的生长状况信息方面面临挑战。中国南方地形以丘陵和山地为主，地势起伏大，树木生长茂密，对大面积树木进行动态监测存在困难。传统的野外调查方法可以提供可靠的树冠信息，但受测量范围有限、间隔时间长、成本高等因素制约，无法满足林木精确监测的要求。为了实现对地形起伏不敏感的高精度、高效率的树冠分割及树高估算，研究如何从高分辨率且低成本的无人机航摄数据中提取树冠和树高信息，成为大面积林木树冠和树高自动化提取领域所面临的瓶颈。
2、近年来，深度学习在影像处理领域取得了巨大成功，已广泛应用于林木的树冠分割和冠层高度的估算。现有的林木树冠语义分割方法通常是将高分辨率无人机rgb影像作为网络模型的输入，采用单个网络模型从影像中提取树冠的特征。这类方法的关键在于网络模型从rgb影像中提取丰富的空间信息（位置、形状）和语义信息（类别、属性），在背景简单的森林环境中具有较好的树冠提取效果。然而，仅使用rgb影像的深度学习方法存在一些局限性：（1）无法提取到树冠的高度特征，难以适用于冠层高度提取任务；（2）在复杂山区场景中难以区分与树冠空间信息相似的灌木和杂草，导致网络模型树冠提取精度较低。针对上述局限性，一些研究人员通过通道叠加的方式将rgb影像、多光谱影像、数字表面模型（dsm）、冠层高度模型（chm）等多种数据进行融合，然后利用深度学习方法从融合数据中提取多源数据的特征。这类方法能够利用其他数据源的特征来增加树冠与背景的差异，并引入树冠额外的特征信息（如冠层高度），进而提升树冠分割和冠层高度估算的精度。然而，这些方法一方面通过通道组合破坏了原始数据结构，使网络模型难以从不同数据源中提取互补特征，无法对不同数据特征进行校准。另一方面，在单通道网络模型特征提取过程中，融合后的多通道数据会受到不同模态特征的严重干扰，从而抑制了网络模型从chm和dsm等数据源中有效提取高质量冠层高度特征的能力。此外，对于树冠高度提取任务，现有的深度学习方法在很大程度上依赖于chm的准确性。chm通常由dsm和数字地形模型（dtm）的差值得出，而dtm的精度高度依赖于地面点云分类的精度。因此，探索一种能够实现多源数据深度交互和聚合的模型，对于利用dsm和rgb图像准确提取复杂山地地形中林木树冠和树高具有重要价值。
3、公开号为cn115049920a的发明专利公开了一种基于gee结合生育期属性和面向对象的大区域作物提取方法，该发明方法提高了影像波段的利用率和计算效率，具有输入数据量小、对样本依赖程度低的优势，但该方法无法实现端对端的作物提取，面向对象分割方法的准确率过于依赖优质参数，在复杂背景下难以保证作物提取准确率；公开号为cn115995005a的发明专利公开了一种基于单期高分辨率遥感影像的农作物的提取方法和装置，该发明方法利用卷积神经网络提取单期高分辨率遥感图像中的农作物，提升了农作物的提取效率，但该方法不适用与地形起伏大、果树树冠背景复杂的作物提取，也难以满足更加精细化的树冠分割需求；公开号为cn114170510a的发明专利申请公开了一种基于迁移学习的农作物智能遥感提取方法及系统，该发明方法有效控制了地域差异产生的同类作物物候特征差异，但并未解决更加精细化的树冠提取问题；公开号为cn117690013a的发明专利申请公开了一种荒漠绿洲防护林树高快速估算方法，该发明方法利用树木实测数据和净初级生产力与树高建立函数关系来估测防护林树高，具有一定的创新性，但采用净初级生产力和实测数据两个变量来构建的函数关系式存在鲁棒性差问题，难以适用于大范围防护林树高的估测；公开号为cn112948764a的发明专利申请公开了一种树木树高快速测算方法，通过建立城市绿化树种的树高-胸径模型来估算树木的树高，该发明方法有效降低了城市树木调查成本，但需要实测树木的胸径来估测树木的树高，无法实现树高的自动化估算；公开号为cn107832681a的发明专利公开了一种联合lidar点云和同步遥感影像的森林单木树高估算方法，通过点云和影像数据构建三维树高模型来估测林冠顶点的高度值，有效提高了林分单木树高估算的精度，但该发明方法过于依赖于lidar点云数据，无法在大面积复杂场景中得到广泛应用。公开号为cn116543165a的发明专利公开了一种基于双通道复合神经网络的遥感图像果树分割方法，该发明方法能够从复杂地形和背景中提取出果树树冠信息，但无法从山区复杂地形中估算出大面积的树高信息。
技术实现思路
1、本发明的目的在于提供一种基于特征交互与聚合网络的树冠分割及树高估算方法，从多源数据中提取互补特征来校正不同数据源的信息，以促进多源数据特征的融合，实现复杂地形场景中树冠和树高信息准确高效地提取。
2、本发明采取的技术方案为：
3、一种基于特征交互与聚合网络的树冠分割及树高估算方法，包括如下步骤：
4、s1：利用无人机影像生成树木区域的数字正射影像dom和数字高程模型dem；
5、s2：构建基于特征交互与聚合网络的树冠分割及树高估算模型，所述基于特征交互与聚合网络的树冠分割及树高估算模型包括：能同时提取多源数据信息的基于迁移学习的双通道复合网络、特征交互模块fim、特征聚合模块fam和多级特征融合解码器模块；
6、所述基于迁移学习的双通道复合网络包括基于数字正射影像dom的树木几何结构特征提取网络分支和基于数字高程模型dem的树木高度特征提取网络分支；
7、所述基于数字正射影像dom的树木几何结构特征提取网络分支为注意力机制网络transformer，用于提取树木的几何结构特征信息；
8、所述基于数字高程模型dem的树木高度特征提取网络分支也为注意力机制网络transformer，用于提取树木的高度特征信息；
9、所述特征交互模块fim为位置、通道和空间三重特征交互模块，用于提取数字正射影像dom和数字高程模型dem的互补特征，并实现树木几何结构特征信息和树木高度特征信息的深度交互；
10、所述特征聚合模块fam为树木几何结构特征信息和树木高度特征信息的聚合模块，用于实现树木几何结构特征信息和树木高度特征信息深度交互后的融合，得到包含树木几何结构特征信息和高度特征信息的加权特征图；
11、所述多级特征融合解码器模块为基于交叉注意力机制的多层级特征图交互融合模块，用于实现不同尺度大小特征图的相互融合，并恢复特征图的分辨率，得到最终的树冠分割及树高估算结果；
12、s3：采用数字正射影像dom和数字高程模型dem进行树冠描绘和树高标记，得到树冠分割及树高估算的标签数据，并将数字正射影像dom、数字高层模型dem及其描绘和标记的对应标签按比例进行划分，作为所述基于特征交互与聚合网络的树冠分割及树高估算模型的训练集、验证集和测试集；
13、s4：使用训练集和验证集对所述基于特征交互与聚合网络的树冠分割及树高估算模型进行训练，并将多级特征融合解码器模块得到的树冠分割及树高估算结果与真实的树冠和树高标签进行损失计算，最后将损失进行反向传播，优化模型的参数，完成模型训练，并使用测试集对模型进行测试；
14、s5：使用训练完成的基于特征交互与聚合网络的树冠分割及树高估算模型对无人机影像生成的数字正射影像dom和数字高程模型dem进行树冠分割及树高估算。
15、进一步地，所述步骤s1的具体方法为：对无人机影像进行摄影测量空中三角测量处理，获取数字正射影像dom、数字高程模型dem和三维密集点云。
16、进一步地，所述注意力机制网络transformer包括四个阶段，每个阶段由重叠图像块嵌入层和transformer模块组成，每个阶段开始部分为1层重叠图像块嵌入层，第一阶段、第二阶段、第三阶段和第四阶段的重叠图像块嵌入层之后分别是堆叠3层、3层、6层和3层的transformer模块；所述重叠图像块嵌入层包括1层3×3卷积层和1层层归一化层，所述transformer模块包括1层高效多头注意力机制层和1层前馈神经网络层fnl。
17、进一步地，所述前馈神经网络层fnl包括依次堆叠的1层多层感知器模块、1层3×3卷积层、1个gelu激活函数和1层多层感知器模块；所述多层感知器模块包括依次连接的1层线性映射层、1个relu激活函数、1层线性映射层和1个sigmoid函数。
18、进一步地，所述特征交互模块fim包括1个位置特征交互模块、1个通道特征交互模块和1个空间特征交互模块，位置特征交互模块包括并列的1层水平方向平均池化层和1层垂直方向平均池化层，后接1个特征提取模块a和2个并列的sigmoid激活函数，所述特征提取模块a由依次堆叠的1层1×1卷积层、1层批量归一化层bn、1个relu激活函数组成；通道特征交互模块包括并列的1层全局最大池化层gmp和1层全局平均池化层gap，后接1层多层感知器模块；空间特征交互模块为1个特征提取模块b，所述特征提取模块b包括依次堆叠的1层1×1卷积层、1个relu激活函数、1层1×1卷积层和1个sigmoid函数。
19、进一步地，所述特征聚合模块fam包括4层1×1卷积层、1层3×3深度可分离卷积层、1个relu6激活函数、1个softmax激活函数、1个spilt函数和1层批量归一化层bn；其中3层1×1卷积层并列，中间1层1×1卷积层后面依次堆叠1层3×3深度可分离卷积层、1个relu6激活函数、1层1×1卷积层和1个softmax激活函数，softmax激活函数的输出经1个spilt函数处理后分别与另外2层1×1卷积层的输出逐元素相乘，得到的两个输出进行逐元素相加后输入至批量归一化层bn中进行处理。
20、进一步地，所述多级特征融合解码器模块包括并列的3个交叉注意力模块、并列的3个mlp模块、后接1个mlp模块以及2个上采样模块，3个交叉注意力模块之间通过2个上采样操作进行交互；所述mlp模块由1层层归一化层、1层线性映射层和1个gelu激活函数叠加组成；所述上采样模块由依次连接的1个1×1卷积层、1个relu激活函数和1层上采样层组成。
21、进一步地，所述交叉注意力模块包括并列的2层交叉注意力层、并列的2层前馈神经网络层ffn、后接1个特征映射模块和1个reshape操作；所述特征映射模块由依次堆叠的1个线性映射函数、1层3×3深度可分离卷积层、1个gelu激活函数和1个线性映射函数组成；所述前馈神经网络层ffn包括依次连接的1层线性映射层、1层3×3深度可分离卷积层和1层线性映射层。
22、多级特征融合解码器模块通过交叉注意力模块实现不同尺度特征图的深度交互融合，保持不同尺度特征图的上下文信息一致性，使用mlp模块来改变交叉注意力模块输出特征图的大小和通道数，并使用上采样层将特征图恢复至输入图像的大小，最后与真实树冠和树高标签进行误差计算，得到模型损失，最后将损失进行反向传播，优化模型的参数，完成模型训练。
23、进一步地，在构建基于特征交互与聚合网络的树冠分割及树高估算模型的训练集、验证集和测试集时，对步骤s1中获取的数字正射影像dom和数字高程模型dem数据进行树冠描绘和树高标记，得到每棵树木的树冠和树高标签，将数字正射影像dom和数字高程模型dem以及对应的标签分割成256×256像素大小，并通过水平翻转、垂直翻转、90°旋转变换产生新的影像集和标签集；最后，将得到的总的数字正射影像、数字高程模型和标签影像按6：2：2的比例划分，作为所述基于特征交互与聚合网络的树冠分割及树高估算模型的训练集、验证集和测试集。
24、本发明的有益技术效果在于：
25、（1）本发明构建了一种基于特征交互与聚合网络的树冠分割及树高估算方法，用于从复杂地形无人机影像中提取树木的树冠和树高。该方法能够利用位置、通道和空间的相关性来实现不同数据特征的深度交互，使网络的两个数据流能够更多地关注彼此互补的特征，并减小不同数据之间的特征差异。同时，该方法通过特征聚合模块来分别聚合两个数据流的特征，采用软注意力机制来高效提取两个数据流中对树冠分割有利的特征信息，增强模型的输出特征。此外，该方法能够实现多级特征的信息交互以及增强模型对多尺度目标的感知能力，解决了多源数据输入情况下不同数据源互补特征提取不足的问题，提升了多源数据信息的利用率；
26、（2）为了消除地形起伏的影响，将表征树冠几何结构特征的数字正射影像dom与表征树木高度特征的数字高程模型dem同时输入到所构建的基于特征交互与聚合网络的树冠分割及树高估算模型中，提高了模型在复杂地形下的树冠分割及树高估算性能；本发明的树冠分割及树高估算策略在林木信息提取方面获得了较好的结果，能满足复杂地形场景中的树冠提取和树高估算需求。
1.一种基于特征交互与聚合网络的树冠分割及树高估算方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于特征交互与聚合网络的树冠分割及树高估算方法，其特征在于，所述步骤s1的具体方法为：对无人机影像进行摄影测量空中三角测量处理，获取数字正射影像dom、数字高程模型dem和三维密集点云。
3.根据权利要求1所述的基于特征交互与聚合网络的树冠分割及树高估算方法，其特征在于，所述注意力机制网络transformer包括四个阶段，每个阶段由重叠图像块嵌入层和transformer模块组成，每个阶段开始部分分别为1层重叠图像块嵌入层，第一阶段、第二阶段、第三阶段和第四阶段的重叠图像块嵌入层之后分别是堆叠3层、3层、6层和3层的transformer模块；所述重叠图像块嵌入层包括1层3×3卷积层和1层层归一化层，所述transformer模块包括1层高效多头注意力机制层和1层前馈神经网络层fnl。
4.根据权利要求3所述的基于特征交互与聚合网络的树冠分割及树高估算方法，其特征在于，所述前馈神经网络层fnl包括依次堆叠的1层多层感知器模块、1层3×3卷积层、1个gelu激活函数和1层多层感知器模块；所述多层感知器模块包括依次连接的1层线性映射层、1个relu激活函数、1层线性映射层和1个sigmoid函数。
5.根据权利要求4所述的基于特征交互与聚合网络的树冠分割及树高估算方法，其特征在于，所述特征交互模块fim包括1个位置特征交互模块、1个通道特征交互模块和1个空间特征交互模块，位置特征交互模块包括并列的1层水平方向平均池化层和1层垂直方向平均池化层，后接1个特征提取模块a和2个并列的sigmoid激活函数，所述特征提取模块a由依次堆叠的1层1×1卷积层、1层批量归一化层bn、1个relu激活函数组成；通道特征交互模块包括并列的1层全局最大池化层gmp和1层全局平均池化层gap，后接1层多层感知器模块；空间特征交互模块为1个特征提取模块b，所述特征提取模块b包括依次堆叠的1层1×1卷积层、1个relu激活函数、1层1×1卷积层和1个sigmoid函数。
6.根据权利要求5所述的基于特征交互与聚合网络的树冠分割及树高估算方法，其特征在于，所述特征聚合模块fam包括4层1×1卷积层、1层3×3深度可分离卷积层、1个relu6激活函数、1个softmax激活函数、1个spilt函数和1层批量归一化层bn；其中3层1×1卷积层并列，中间1层1×1卷积层后面依次堆叠1层3×3深度可分离卷积层、1个relu6激活函数、1层1×1卷积层和1个softmax激活函数，softmax激活函数的输出经1个spilt函数处理后分别与另外2层1×1卷积层的输出逐元素相乘，得到的两个输出进行逐元素相加后输入至批量归一化层bn中进行处理。
7.根据权利要求6所述的基于特征交互与聚合网络的树冠分割及树高估算方法，其特征在于，所述多级特征融合解码器模块包括并列的3个交叉注意力模块、并列的3个mlp模块、后接1个mlp模块以及2个上采样模块，3个交叉注意力模块之间通过2个上采样操作进行交互；所述mlp模块由1层层归一化层、1层线性映射层和1个gelu激活函数叠加组成；所述上采样模块由依次连接的1个1×1卷积层、1个relu激活函数和1层上采样层组成。
8.根据权利要求7所述的基于特征交互与聚合网络的树冠分割及树高估算方法，其特征在于，所述交叉注意力模块包括并列的2层交叉注意力层、并列的2层前馈神经网络层ffn、后接1个特征映射模块和1个reshape操作；所述特征映射模块由依次堆叠的1个线性映射函数、1层3×3深度可分离卷积层、1个gelu激活函数和1个线性映射函数组成；所述前馈神经网络层ffn包括依次连接的1层线性映射层、1层3×3深度可分离卷积层和1层线性映射层。
9.根据权利要求1所述的基于特征交互与聚合网络的树冠分割及树高估算方法，其特征在于，所述步骤s3的具体方法为：对步骤s1中获取的数字正射影像dom和数字高程模型dem数据进行树冠描绘和树高标记，得到每棵树木的树冠和树高标签，将数字正射影像和数字高程模型以及对应的标签分割成256×256像素大小，并通过水平翻转、垂直翻转、90°旋转变换产生新的影像集和标签集；最后，将得到的总的数字正射影像、数字高程模型和标签影像按6：2：2的比例划分，作为所述基于特征交互与聚合网络的树冠分割及树高估算模型的训练集、验证集和测试集。
