本技术涉及计算机视觉与三维重建，具体而言，涉及一种基于全景图的增量式三维重建方法和装置。
背景技术：
1、三维重建在城市规划、增强现实（ar）、虚拟现实（vr）以及混合现实（mr）等前沿科技领域中的重要性日益凸显，这些领域的发展都离不开高精度的三维模型，目前最常见的三维重建方案采用平面透视相机采集图像，受其视场角限制，需从多角度拍摄以获取全场景地图，采集过程较为费时费力。相较之下，全景相机因具超大视角（水平方向360度，垂直方向180度）弥补了平面透视相机的不足，提高了图像采集效率。
2、现有的三维重建方法依赖于多传感器（如多全景相机、深度相机、激光雷达等）协同工作，多源数据融合采集提高了硬件成本的同时增加了系统复杂度和维护难度，全景相机在重复纹理场景中容易因错误的特征匹配导致三维重建误差较大甚至无法重建。此外，也存在平面透视相机结合slam的三维重建方案，因相机视场角较窄需采集大量数据以实现完整场景，尤其在大型或复杂场景中难以适用。因此，亟需一种改进的方案来解决这些技术问题。
技术实现思路
1、有鉴于此，本技术提出一种基于全景图的增量式三维重建方法和装置，在高效采集数据的同时降低模型计算复杂度及内存需求，减少了复杂场景尤其是重复纹理场景中的错误特征匹配次数，提高了三维重建的准确性和鲁棒性。
2、第一方面，本技术提出一种基于全景图的增量式三维重建方法，包括以下步骤：
3、从待重建场景的视频数据获取至少一个全景图，对所述至少一个全景图中的每个全景图进行透视切分，得到所述至少一个全景图对应的透视图集合以及每个透视图的先验位姿，并计算所述透视图集合中存在关联关系的任意两个透视图之间的第一匹配点对集合；
4、从所述透视图集合中选择至少两个初始化图像，基于所述至少两个初始化图像的先验位姿构建所述至少两个初始化图像在基准坐标系下的更新位姿，然后基于所述至少两个初始化图像之间的第一匹配点对集合以及所述至少两个初始化图像的更新位姿初始化生成包含所述基准坐标系下的三维点集合的三维模型，将所述至少两个初始化图像加入已注册图像集；
5、从所述透视图集合中的剩余图像集中选择候选图像，基于所述候选图像与所述已注册图像集之间的第一匹配点对集合获得所述候选图像在所述基准坐标系下的更新位姿，并基于所述候选图像与所述已注册图像集之间的第一匹配点对集合以及所述候选图像的更新位姿生成增量三维点以更新所述三维点集合，得到增量更新后的三维模型，并将所述候选图像加入所述已注册图像集；
6、基于所述已注册图像集的位姿误差和重投影误差的约束条件对所述三维模型进行光束法平差优化，重复执行所述选择候选图像至进行光束法平差优化的步骤，直至所述透视图集合均已加入所述已注册图像集。
7、可选地，所述从待重建场景的视频数据获取至少一个全景图，对所述至少一个全景图中的每个全景图进行透视切分，得到所述至少一个全景图对应的透视图集合以及每个透视图的先验位姿，包括：
8、从待重建场景的视频数据抽取视频帧以获取至少一个全景图，根据设定的切分角度和方向，对所述至少一个全景图进行360度透视切分，获得所述至少一个全景图对应的透视图集合；
9、利用slam算法根据所述视频帧之间的特征匹配估计得到所述至少一个全景图的位姿，并基于所述至少一个全景图的位姿计算得到所述每个透视图的先验位姿。
10、可选地，所述计算所述透视图集合中存在关联关系的任意两个透视图之间的第一匹配点对集合，包括：
11、基于所述透视图集合中的任意两个透视图之间的时间顺序和共同视场关系，构建任意两个透视图之间的关联关系；
12、利用所述透视图集合中存在关联关系的任意两个透视图之间的特征匹配，计算得到所述存在关联关系的任意两个透视图之间的第一匹配点对集合。
13、可选地，所述从所述透视图集合中选择至少两个初始化图像，基于所述至少两个初始化图像的先验位姿构建所述至少两个初始化图像在基准坐标系下的更新位姿，然后基于所述至少两个初始化图像之间的第一匹配点对集合以及所述至少两个初始化图像的更新位姿初始化生成包含所述基准坐标系下的三维点集合的三维模型，包括：
14、按照时间顺序从所述透视图集合中选择第一图像和第二图像作为所述初始化图像，以所述第一图像的位置为原点，依据所述第一图像的朝向构建所述基准坐标系；
15、通过所述第一图像和所述第二图像的先验位姿计算得到所述第一图像和第二图像分别在所述基准坐标系下的更新位姿；
16、根据所述第一图像和所述第二图像之间的第一匹配点对集合以及所述第一图像和所述第二图像在所述基准坐标系下的更新位姿进行三角测量计算，重建出所述第一图像和第二图像的二维匹配点在所述基准坐标系下的三维点集合，初始化生成包含所述三维点集合的三维模型。
17、可选地，所述从所述透视图集合中的剩余图像集中选择候选图像，基于所述候选图像与所述已注册图像集之间的第一匹配点对集合获得所述候选图像在所述基准坐标系下的更新位姿，包括：
18、根据所述透视图集合中的剩余图像集与所述已注册图像集之间的共同视场关系和共同全景图源关系从所述剩余图像集中选择最佳图像作为所述候选图像；
19、基于所述候选图像与所述已注册图像集中每个已注册图像之间的第一匹配点对集合获得所述候选图像与所述三维点集合之间的第二匹配点对集合；
20、基于所述候选图像与所述三维点集合之间的第二匹配点对集合以及所述候选图像的先验位姿，利用随机样本一致算法优化得到所述候选图像在所述基准坐标系下的更新位姿。
21、可选地，所述根据所述透视图集合中的剩余图像集与所述已注册图像集之间的共同视场关系和共同全景图源关系从所述剩余图像集中选择最佳图像作为所述候选图像，包括：
22、将所述透视图集合中的剩余图像集与所述已注册图像集之间是否具有共同视场关系作为第一条件，将所述透视图集合中的剩余图像集与所述已注册图像集之间是否具有共同全景图源关系作为第二条件；
23、从同时满足所述第一条件和第二条件的剩余图像中选择最佳图像作为所述候选图像，如果不存在同时满足所述第一条件和第二条件的剩余图像，则从满足所述第一条件的剩余图像中选择最佳图像作为所述候选图像。
24、可选地，所述基于所述候选图像与所述已注册图像集之间的第一匹配点对集合以及所述候选图像的更新位姿生成增量三维点以更新所述三维点集合，得到增量更新后的三维模型，包括：
25、根据所述候选图像与所述已注册图像集中每个已注册图像之间的第一匹配点对集合以及所述候选图像在所述基准坐标系下的更新位姿进行三角测量计算，重建出所述候选图像与所述已注册图像集的二维匹配点在所述基准坐标系下的增量三维点，以更新所述三维点集合，得到增量更新后的三维模型。
26、可选地，所述基于所述已注册图像集的位姿误差和重投影误差的约束条件对所述三维模型进行光束法平差优化，包括：
27、以所述已注册图像集中与所述候选图像存在关联关系的已注册图像子集的位姿误差和重投影误差之和最小化为第一目标函数，对所述三维模型进行局部的光束法平差优化；
28、以所述已注册图像集中的全部已注册图像的位姿误差和重投影误差之和最小化为第二目标函数，以预定频率对所述三维模型进行全局的光束法平差优化。
29、可选地，所述已注册图像子集的位姿误差包括以所述已注册图像子集中任意两个已注册图像的先验位姿计算的第一相对位姿与以所述已注册图像子集中任意两个已注册图像在所述基准坐标系下的更新位姿计算得到的第二相对位姿之间的误差；
30、所述全部已注册图像的位姿误差包括以所述已注册图像集中任意两个已注册图像的先验位姿计算的第一相对位姿与以所述已注册图像集中任意两个已注册图像在所述基准坐标系下的更新位姿计算得到的第二相对位姿之间的误差。
31、第二方面，本技术还提出一种基于全景图的增量式三维重建装置，包括：
32、数据预处理模块，用于从待重建场景的视频数据获取至少一个全景图，对所述至少一个全景图中的每个全景图进行透视切分，得到所述至少一个全景图对应的透视图集合以及每个透视图的先验位姿，并计算所述透视图集合中存在关联关系的任意两个透视图之间的第一匹配点对集合；
33、模型初始化模块，用于从所述透视图集合中选择至少两个初始化图像，基于所述至少两个初始化图像的先验位姿构建所述至少两个初始化图像在基准坐标系下的更新位姿，然后基于所述至少两个初始化图像之间的第一匹配点对集合以及所述至少两个初始化图像的更新位姿初始化生成包含所述基准坐标系下的三维点集合的三维模型，将所述至少两个初始化图像加入已注册图像集；
34、模型更新模块，用于从所述透视图集合中的剩余图像集中选择候选图像，基于所述候选图像与所述已注册图像集之间的第一匹配点对集合获得所述候选图像在所述基准坐标系下的更新位姿，并基于所述候选图像与所述已注册图像集之间的第一匹配点对集合以及所述候选图像的更新位姿生成增量三维点以更新所述三维点集合，得到增量更新后的三维模型，并将所述候选图像加入所述已注册图像集，直至所述透视图集合均已加入所述已注册图像集；
35、模型优化模块，用于基于所述已注册图像集的位姿误差和重投影误差的约束条件对所述三维模型进行光束法平差优化，直至所述透视图集合均已加入所述已注册图像集。
36、本技术至少可以达到如下有益效果：本技术的基于全景图的增量式三维重建方法和装置，基于单个全景相机采集图像数据并结合增量式三维重建方法在高效采集数据的同时，降低模型计算复杂度及内存需求，减少了复杂场景尤其是重复纹理场景中的错误特征匹配次数，提高了三维重建的准确性和鲁棒性。
1.一种基于全景图的增量式三维重建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于全景图的增量式三维重建方法，其特征在于，所述从待重建场景的视频数据获取至少一个全景图，对所述至少一个全景图中的每个全景图进行透视切分，得到所述至少一个全景图对应的透视图集合以及每个透视图的先验位姿，包括：
3.根据权利要求1所述的一种基于全景图的增量式三维重建方法，其特征在于，所述计算所述透视图集合中存在关联关系的任意两个透视图之间的第一匹配点对集合，包括：
4.根据权利要求1所述的一种基于全景图的增量式三维重建方法，其特征在于，所述从所述透视图集合中选择至少两个初始化图像，基于所述至少两个初始化图像的先验位姿构建所述至少两个初始化图像在基准坐标系下的更新位姿，然后基于所述至少两个初始化图像之间的第一匹配点对集合以及所述至少两个初始化图像的更新位姿初始化生成包含所述基准坐标系下的三维点集合的三维模型，包括：
5.根据权利要求1所述的一种基于全景图的增量式三维重建方法，其特征在于，所述从所述透视图集合中的剩余图像集中选择候选图像，基于所述候选图像与所述已注册图像集之间的第一匹配点对集合获得所述候选图像在所述基准坐标系下的更新位姿，包括：
6.根据权利要求5所述的一种基于全景图的增量式三维重建方法，其特征在于，所述根据所述透视图集合中的剩余图像集与所述已注册图像集之间的共同视场关系和共同全景图源关系从所述剩余图像集中选择最佳图像作为所述候选图像，包括：
7.根据权利要求1所述的一种基于全景图的增量式三维重建方法，其特征在于，所述基于所述候选图像与所述已注册图像集之间的第一匹配点对集合以及所述候选图像的更新位姿生成增量三维点以更新所述三维点集合，得到增量更新后的三维模型，包括：
8.根据权利要求1所述的一种基于全景图的增量式三维重建方法，其特征在于，所述基于所述已注册图像集的位姿误差和重投影误差的约束条件对所述三维模型进行光束法平差优化，包括：
9.根据权利要求8所述的一种基于全景图的增量式三维重建方法，其特征在于，所述已注册图像子集的位姿误差包括以所述已注册图像子集中任意两个已注册图像的先验位姿计算的第一相对位姿与以所述已注册图像子集中任意两个已注册图像在所述基准坐标系下的更新位姿计算得到的第二相对位姿之间的误差；
10.一种基于全景图的增量式三维重建装置，其特征在于，所述装置包括：
