1.本发明涉及遥感图像分类领域，尤其涉及一种基于三维点云的遥感样本标注方法。
背景技术：2.目前，遥感技术被广泛应用于森林资源规划、农作物估产、环境评估、灾害监测等地学应用中。为了更好地使用遥感图像，需要首先把遥感图像转换为各种专题信息(如不同森林类型覆盖图、受灾区域专题图等)。而遥感图像分类技术是把遥感图像从数据转换为信息的重要技术手段。从是否需要训练样本来分，遥感图像分类方法分为监督分类和非监督分类。在遥感图像分类中最常用的是监督分类方法。监督分类方法，需要人工地确定分类体系、选取各个类别的训练样本等过程。监督分类方法能够保证获得比较好的分类精度。但是对遥感样本进行标注是一个耗时耗力的过程。
3.点云是一种常用的3d数据格式，可以在三维空间中保持物体原有的几何信息。近年来，随着影像技术的迅速发展，三维信息引起了越来越多的重视。现在用相机拍摄的影像均可进行三维点云数据的采集，包括卫星遥感影像、数码相机、手机或平板电脑拍摄的照片。现有的三维点云库十分庞大，三维点云库中的点云包含丰富的先验知识和标签信息。目前对点云库并没有充分合理的利用，浪费了许多点云信息。
技术实现要素：4.基于上述现有技术中存在的对于遥感样本的标注和三维点云的信息浪费的问题，本发明提供一种三维点云与迁移学习相结合并应用于遥感样本进行标注的方法，该方法能充分利用点云库的先验知识，通过对三维点云数据的利用，能更快的对遥感样本进行标注，并得到较好的标注结果。
5.为了解决上述技术问题，本发明提供一种基于三维点云的遥感样本标注方法，该方法包括：
6.s1获取一组遥感样本集，对所述遥感样本集进行三维点云数据采集，得到第一点云集；
7.s2获取点云库，通过所述点云库构成公共点云空间，并利用预设筛选方法对所述点云库进行筛选，得到第二点云集，其中，所述第二点云集包含标签信息；
8.s3在所述公共点云空间内，将所述第一点云集和所述第二点云集进行对齐；
9.s4构建和训练分割模型，利用所述分割模型对所述第一点云集进行分割，得到所述第一点云集的标签信息；
10.s5将所述第一点云集重投影至遥感样本集上，根据所述第一点云集中的点云与所述遥感样本集中的像素点之间的对应关系，得到遥感样本集的标签信息。
11.于本发明一具体实施例中，所述预设筛选方法为感知哈希算法。
12.于本发明一具体实施例中，所述预设筛选方法为生成查询网络筛选方法。
13.于本发明一具体实施例中，步骤s2包括：
14.s21获取点云库，通过所述点云库构成公共点云空间；
15.s22构建生成查询网络，包括表征网络和生成网络；
16.s23将所述第一点云集和所述点云库输入生成查询网络进行训练和表征学习，得到所述第一点云集的场景表征和所述点云库的场景表征，其中，在训练时，根据所述生成网络和所述表征网络对所述点云库进行补全；
17.s24比较所述点云库的场景表征与所述第一点云集的场景表征之间的相似度，将达到相似阈值的所述点云库中的点云归入所述第二点云集，其中，所述第二点云集包含标签信息。
18.于本发明一具体实施例中，步骤s3包括：
19.在所述公共点云空间内，利用第一配准方法对所述第一点云集和所述第二点云集进行粗配准；
20.根据第二配准方法对粗配准后的第一点云集和第二点云集进行精配准，以实现所述第一点云集和所述第二点云集的对齐。
21.于本发明一具体实施例中，步骤s4包括：
22.在公共点云空间内，将所述第二点云集及所述第二点云集的标签信息作为训练数据对所构建的分割模型进行训练，得到训练好的分割模型；
23.将所述第一点云集输入至所述训练好的分割模型进行分割，得到所述第一点云集的标签信息。
24.于本发明一具体实施例中，步骤s4包括：
25.将所述第一点云集和所述第二点云集映射至一个二维空间上；
26.在所述二维空间内，将所述第二点云集及所述第二点云集的标签信息作为训练数据对所构建的分割模型进行训练，得到训练好的分割模型；
27.利用所述训练好的分割模型对所述第一点云集进行分割，将分割后的所述第一点云集映射回所述公共点云空间内，得到所述第一点云集的标签信息。
28.本发明的有益效果为：本发明提供一种基于三维点云的遥感样本标注方法，首先对遥感样本集进行三维点云数据的采集，得到第一点云集，之后获取点云库，点云库构成公共点云空间，利用筛选方法对点云库进行筛选，得到第二点云集，其中，第二点云集包含标签信息，在公共点云空间内，将第一点云集和第二点云集进行对齐，然后构建和训练分割模型，利用分割模型对第一点云集进行分割，得到第一点云集的标签信息，将第一点云集重投影至遥感样本集上，根据第一点云集中的点云与遥感样本集中的像素点之间的对应关系，得到遥感样本集的标签信息。本发明将三维点云的技术应用在遥感样本标注上，充分利用了前期三维点云的信息，并通过将点云集进行对齐操作，即根据三维点云的特征不变性进行迁移，基于三维点云和遥感图像的像素点之间的一一对应的关系，可通过三维点云所包含的标签内容经过对应关系的转换而得到待标注遥感样本集的标注信息，该方法节省了大量的人力物力，得到的标注结果较为准确，噪声小。
附图说明
29.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所
需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
30.图1为本发明实施例的基于三维点云的遥感样本标注方法的流程图；
31.图2为本发明实施例的pointnet网络架构示意图。
具体实施方式
32.应当理解下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
33.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
34.请参阅图1，图1为本发明基于三维点云的遥感样本标注方法实施例的流程图。本发明提供一种基于三维点云的遥感样本标注方法，该方法包括：
35.s1获取一组遥感样本集，对所述遥感样本集进行三维点云数据采集，得到第一点云集。
36.s2获取点云库，通过所述点云库构成公共点云空间，并利用预设筛选方法对所述点云库进行筛选，得到第二点云集，其中，所述第二点云集包含标签信息。
37.s3在所述公共点云空间内，将所述第一点云集和所述第二点云集进行对齐。
38.s4构建和训练分割模型，利用所述分割模型对所述第一点云集进行分割，得到所述第一点云集的标签信息。
39.s5将所述第一点云集重投影至遥感样本集上，根据所述第一点云集中的点云与所述遥感样本集中的像素点之间的对应关系，得到遥感样本集的标签信息。
40.本发明的技术思路为：1)利用三维建模技术，对获得的遥感样本集进行三维点云数据的采集，该遥感样本集中包含多张属于同一场景内的遥感样本图像，采集后得到的三维点云为第一点云集；2)从数据库中直接获取点云库，或者收集大量的地理标记图像，对地理标记图像进行三维建模，得到多张三维点云图，然后构成点云库，点云库构成一个公共点云空间，之后基于场景对点云库进行筛选，得到与遥感样本集相匹配的三维点云，作为第二点云集，由于点云库对应的图像均已进行过标记，因此第二点云集包含标签信息；3)将第一点云集映射至公共点云空间，并将第一点云集和第二点云集进行对齐；
41.4)在公共点云空间内，对第二点云集进行迁移，将第二点云集的先验知识迁移至第一点云集上，对第一点云集进行分割(即分类)，得到第一点云集的标签信息；5)由于第一点云集中的每个三维点云与遥感样本集中的像素点之间有特定的关系，将包含标签信息的第一点云集从公共点云空间重投影至遥感样本集上，即可通过三维点云的标签得到像素点的标签，进而得到遥感样本集的标签信息。
42.步骤s1在具体实现中，可通过获取一个场景内的多张待标注遥感样本图像，按一
定的数量对遥感样本图像进行划分，得到多个遥感样本集，将这多个遥感样本集作为一组遥感样本集，然后对遥感样本集进行三维点云数据采集得到第一点云集。本实施例中每个遥感样本集包括五张遥感样本图像。
43.在上述步骤s1中对三维点云的采集方式可以包括以下步骤：
44.(1)通过基于面元的多视立体方法生成种子点
45.输入遥感样本集的相关参数，例如影像窗口参数、像素参数、地物表面参数等，根据遥感样本集中图像的内、外方位元素计算图像的投影矩阵，生成初始的种子点云。其中，种子点云包括：种子点的三维坐标(x,y,z)，面元的法向量(a,b,c)，种子点的颜色(r,g,b)等数据。
46.(2)基于物方面元的点云扩散
47.根据扩散面元的像素点个数对点云进行扩散，若扩散面元包括m
×
m个像素点，则点云的数目最多可以扩散m
×
m倍。
48.首先，将种子云点投影到遥感样本集中的每张遥感样本图像上，得到对应投影点坐标(xi,yi)(i＝1,2,...,n)，其中n为遥感样本集中的遥感样本图像的数目，本实施例中可取n＝5；，然后从遥感样本集中选取投影点距离遥感样本图像中心点距离最小的图像作为参考图像；在参考图像上设定一个窗口，该窗口中的像素点为m
×
m个，将窗口中的每个像素点投影到物方面元上得到m
×
m个物点，添加到扩散后的点元集合中，获得第一云点集。
49.当然，本实施例中对三维点云的采集方式还可以是多视角密集匹配方法，例如基于patchmatch的密集重建方法，过程具体如下：
50.(1)对遥感图像样本进行深度图的计算
51.采用patchmatch算法计算深度图，首先，由sfm得到稀疏三维点，通过构网和插值来初始化遥感图像样本上其他像素点对应的深度值和法向值；然后进行像素间的深度值和法向值的传播及随机搜索，通过多次迭代进一步优化像素所关联的切平面的深度值和法向值，得到每幅遥感图像样本对应的深度信息。
52.(2)深度图融合
53.在完成上述过程后，得到遥感图像样本的一系列的深度图，再将所有的深度图合并表示一个场景。采用基于可见性的多视深度图融合的点云生成方法，对不同角度的深度图上的同名点对的深度进行加权平均，计算融合后的深度值，对像素深度中偏离超过一定阈值的，则认为是异常值。由深度信息得到遥感图像样本的三维点云，即所述第一云点集。
54.在上述步骤s2中，公共点云空间由点云库构成，点云库可以是包括许多已建模好的三维点云，可直接根据遥感样本集的场景需要从点云库中进行筛选，得到第二点云集，第二点云集包含标签信息。
55.需要说明的是，上述步骤s2中预设筛选方法可以是感知哈希方法，感知哈希源于密码学哈希技术，可以将原始信息压缩成固定比特的数字，从而使数据量大大减少。
56.基于感知哈希的检索过程主要包括：预处理、哈希特征提取、特征匹配、查询结果返回。其中，预处理为对点云库进行数据规约，消除冗余，并进行转化以有利于检索；哈希特征提取指的是将预处理后的点云库转化为一个固定长度的哈希码；哈希特征匹配是指对得到的哈希码进行相似性比较，由于大部分哈希函数产生的结果为二进制比特串，因此可以采用密码学哈希中哈希码比较的方法，例如汉明距离等；查询结果返回是指向查询者返回
相似的点云，需要首先将第一点云集转化为哈希特征码，作为哈希特征索引库，通过对比查询点云库的哈希特征码和哈希特征索引库，系统返回在感知阈值范围内的点云，得到第二点云集。
57.另外，点云库还可以由获取的地理标记图像生成的三维点云构成。具体的，首先获取多个视角下的多张地理标记图像，对地理标记图像进行三维点云数据采集，得到三维点云集，将其作为点云库。考虑到实际应用中，该点云库可能存在点云缺失的情况，需要对其进行补全，因此可采用生成查询网络对点云库进行补全及筛选得到第二点云集，过程为：
58.s21获取点云库，通过所述点云库构成公共点云空间。
59.s22构建生成查询网络，包括表征网络和生成网络。
60.s23将所述第一点云集和所述点云库输入生成查询网络进行训练和表征学习，得到所述第一点云集的场景表征和所述点云库的场景表征，其中，在训练时，根据所述生成网络和所述表征网络对所述点云库进行补全。
61.其中，表征网络用于对第一点云集和点云库进行观察，包括对点云的空间位置、颜色、法向量进行观察和训练，并生成描述潜在场景的表征向量。在训练过程中，生成网络学习点云的特征、关系和规律，当表征网络生成了表征向量后，生成网络能从缺失的视角来预测点云，对三维点云集进行补全。
62.s24比较所述点云库的场景表征与所述第一点云集的场景表征之间的相似度，将达到相似阈值的所述点云库中的点云归入所述第二点云集，其中，所述第二点云集包含标签信息。
63.具体地，场景表征之间的相似度可以用向量的余弦相似度来进行计算。
64.本实施例中，相似阈值可以设置为0.5。
65.在上述步骤中，通过地理标记图像来得到点云库，可以充分的利用大量的地理标记图像，这些图像中都包含十分丰富的标签和内容信息，且根据生成查询网络对其进行补全，能够提高地理标记图像的利用价值，同时，生成查询网络还可以学习点云的场景表征，根据点云库的场景表征与第一点云集的场景表征之间的相似度，来筛选与遥感影像集的场景相似度更高的点云作为第二点云集，当场景更加相关时，后面进行迁移得到遥感影像集的标签将会更准确且更有价值。
66.本实施例上述步骤s3可具体包括：在公共点云空间内，对第一点云集和第二点云集进行对齐，包括粗配准和精配准。
67.其中，第一配准方法可以是lorax方法，具体过程如下：
68.定义由小部分点云构成的集合为超点sp，以sp为整个配准过程中的基本单元。
69.(1)首先随机选择一个不属于任何sp的点p，使用p为中心，以r
sphere
为半径，位于圆内的点位新sp所包含的点，r
sphere
计算如下：
[0070][0071]
其中，0.64是指在随机的球面分块中，不重复的球面将占比64％；v
loval
为包含待处理点云的球面的体积；m指用于匹配的点云特征的个数。
[0072]
(2)为每个sp建立一个归一化的坐标系，坐标系的原点为sp的质心，三个轴的方向是通过对该sp的协方差矩阵进行svd分解得到。z轴设定为第三个特征向量。通过将sp分为
离散的弧度片并统计为极线直方图，x轴为值最高的方向。
[0073]
(3)将每个sp转化为坐标系后进行比较，将所有点的x,y轴投影到一个图片网格上，映射为深度图。
[0074]
(4)构建深度神经网络，包括四个全连接的隐藏层，将sp输入深度神经网络，得到一个saf矩阵。
[0075]
(5)通过检测saf矩阵之间的欧氏距离，将来自第一点云集的每个sp与来自第二点云集的sp建立配对关系，进行粗配准。
[0076]
其中，第二配准方法可以是icp算法，过程为：
[0077]
在两个点云间找到最近的对应点，由对应点计算出一个使按照旋转平移矩阵变换后对应点距离最小的rt矩阵，并进行变换，重复上述步骤，直到重复上述步骤的次数，达到预设次数则停止迭代，以此对第一点云集和第二点云集进行精配准。
[0078]
本实施例上述步骤s4可具体包括：将第一点云集和第二点云集进行对齐后，构建和训练分割模型，利用分割模型对第一点云集进行分割，得到第一点云集的标签信息。
[0079]
其中，本发明对第一点云集进行分割的方式可以有两种，第一种为在公共点云空间内构建和训练分割模型，利用分割模型直接对第一点云集进行分割。第二种为先将第一点云集和第二点云集映射至一个二维空间上，然后在二维空间内，将第二点云集及其标签信息作为训练数据，训练得到分割模型，再利用分割模型对第一点云集进行分割，将分割后的第一点云集映射回公共点云空间内，得到第一点云集的标签信息。
[0080]
对于第一种分割方式，分割模型可以是pointnet网络分割模型。
[0081]
以第二点云集及其标签信息作为训练数据，对pointnet网络分割模型进行训练的过程如下：
[0082]
pointnet是第一个直接处理无序点云数据的深度神经网络。pointnet网络分割模型有三个核心模块，包括转换网络、作为集合所有体素信息的对称函数的最大池化层和多层感知器网络。点云有三个核心属性：(1)点云是无序的，即消耗n个三维点云集的网络需要不改变n个排列的输入点云数据的原有次序；(2)整体表达性，即点云不是孤立的，每个点云和临近点形成一个有意义的点云子集；(3)变换的不变性，即深度学习表示某些转换应该不变的点云集。因此，有必要设计一个对称函数与体素中扫描点的顺序无关。
[0083]
pointnet网络表示为：
[0084][0085]
其中，为第j个体素中的输入无序点云；1024是每个体素的输入点云数；f是连续集函数，将一组点映射到一个向量；γ表示多层感知器网络，h为单变量函数和最大池化函数的组合。无论点云的输入顺序如何，f的值不变。
[0086]
如图2所示，图2为pointnet的架构，包括两个变换矩阵预测网络(t-net)、三个多层感知器(mlp)和一个最大池化层组成。该网络以一个体素中的1024个点作为输入，应用输入和特征变换，通过最大池化层来聚合点特征。输出是点云数据集划分类别的预测可能性。
[0087]
利用训练好的pointnet网络分割模型对第一点云集进行分割，按照网络架构中学习得到的信息，对第一点云集进行类别分类，得到第一点云集的标签信息。由上述生成点云的步骤可知，点云与像素点之间具有特定的内在关系，根据第一点云集的标签信息，将第一
点云集重投影至遥感样本集上，可得到遥感样本集的标签信息，至此对遥感样本集完成标注。
[0088]
对于第二种分割方式，分割模型可以是图像语义分割网络模型，例如fcn、u-net或其它分割网络。先将第一点云集和第二点云集投影到一个二维空间，在该二维空间内，利用第二点云集及其标签信息对图像语义分割网络模型进行训练，之后根据训练好的图像语义分割网络模型对第一点云集进行分割，得到第一点云集的标签信息。
[0089]
本发明的有益效果为：本发明提供一种基于三维点云的遥感样本标注方法，首先对遥感样本集进行三维点云数据的采集，得到第一点云集，之后获取点云库，点云库构成公共点云空间，利用筛选方法对点云库进行筛选，得到第二点云集，其中，第二点云集包含标签信息，在公共点云空间内，将第一点云集和第二点云集进行对齐，然后构建和训练分割模型，利用分割模型对第一点云集进行分割，得到第一点云集的标签信息，将第一点云集重投影至遥感样本集上，根据第一点云集中的点云与遥感样本集中的像素点之间的对应关系，得到遥感样本集的标签信息。本发明将三维点云的技术应用在遥感样本标注上，充分利用了前期三维点云的信息，并通过将点云集进行对齐操作，即根据三维点云的特征不变性进行迁移，基于三维点云和遥感图像的像素点之间的一一对应的关系，可通过三维点云所包含的标签内容经过对应关系的转换而得到待标注遥感样本集的标注信息，该方法节省了大量的人力物力，得到的标注结果较为准确，噪声小。
[0090]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
技术特征：1.一种基于三维点云的遥感样本标注方法，其特征在于，该方法包括：s1获取一组遥感样本集，对所述遥感样本集进行三维点云数据采集，得到第一点云集；s2获取点云库，通过所述点云库构成公共点云空间，并利用预设筛选方法对所述点云库进行筛选，得到第二点云集，其中，所述第二点云集包含标签信息；s3在所述公共点云空间内，将所述第一点云集和所述第二点云集进行对齐；s4构建和训练分割模型，利用所述分割模型对所述第一点云集进行分割，得到所述第一点云集的标签信息；s5将所述第一点云集重投影至遥感样本集上，根据所述第一点云集中的点云与所述遥感样本集中的像素点之间的对应关系，得到遥感样本集的标签信息。2.根据权利要求1所述的基于三维点云的遥感样本标注方法，其特征在于，所述预设筛选方法为感知哈希算法。3.根据权利要求1所述的基于三维点云的遥感样本标注方法，其特征在于，所述预设筛选方法为生成查询网络筛选方法。4.根据权利要求3所述的基于三维点云的遥感样本标注方法，其特征在于，步骤s2包括：s21获取点云库，通过所述点云库构成公共点云空间；s22构建生成查询网络，包括表征网络和生成网络；s23将所述第一点云集和所述点云库输入生成查询网络进行训练和表征学习，得到所述第一点云集的场景表征和所述点云库的场景表征，其中，在训练时，根据所述生成网络和所述表征网络对所述点云库进行补全；s24比较所述点云库的场景表征与所述第一点云集的场景表征之间的相似度，将达到相似阈值的所述点云库中的点云归入所述第二点云集，其中，所述第二点云集包含标签信息。5.根据权利要求1所述的基于三维点云的遥感样本标注方法，其特征在于，步骤s3包括：在所述公共点云空间内，利用第一配准方法对所述第一点云集和所述第二点云集进行粗配准；根据第二配准方法对粗配准后的第一点云集和第二点云集进行精配准，以实现所述第一点云集和所述第二点云集的对齐。6.根据权利要求5所述的基于三维点云的遥感样本标注方法，其特征在于，步骤s4包括：在公共点云空间内，将所述第二点云集及所述第二点云集的标签信息作为训练数据对所构建的分割模型进行训练，得到训练好的分割模型；将所述第一点云集输入至所述训练好的分割模型进行分割，得到所述第一点云集的标签信息。7.根据权利要求5所述的基于三维点云的遥感样本标注方法，其特征在于，步骤s4包括：将所述第一点云集和所述第二点云集映射至一个二维空间上；在所述二维空间内，将所述第二点云集及所述第二点云集的标签信息作为训练数据对
所构建的分割模型进行训练，得到训练好的分割模型；利用所述训练好的分割模型对所述第一点云集进行分割，将分割后的所述第一点云集映射回所述公共点云空间内，得到所述第一点云集的标签信息。
技术总结本发明公开了一种基于三维点云的遥感样本标注方法，涉及遥感图像分类领域，该方法包括：对遥感样本集进行三维点云数据的采集，得到第一点云集；获取点云库，点云库构成公共点云空间，利用筛选方法对点云库进行筛选，得到包含标签信息的第二点云集；在公共点云空间内，将第一点云集和第二点云集进行对齐；构建和训练分割模型，利用分割模型得到第一点云集的标签信息；将第一点云集重投影至遥感样本集上，得到遥感样本集的标签信息。本发明将三维点云的技术应用在遥感样本标注上，充分利用了前期三维点云的信息，并根据三维点云的特征不变性进行迁移，得到待标注遥感样本集的标注信息，该方法节省了大量的人力物力，得到的标注结果较为准确，噪声小。噪声小。噪声小。
技术研发人员：李洁 刘仕琪 邹圣兵
受保护的技术使用者：北京数慧时空信息技术有限公司
技术研发日：2022.07.12
技术公布日：2022/11/1
