1.本发明涉及智慧城市场景重建领域，尤其是涉及一种基于众源无序影像辅助的城市场景重建方法、装置及存储介质。
背景技术：2.城市场景重建是计算机和地理信息领域的热点问题，广泛应用于智慧城市和虚拟仿真。在智慧交通、智能导航、城市智慧管理等方面的作用也日益凸显，对于推动智慧城市的建设有着重要的意义。
3.目前针对城市场景重建采用的方法主要分为以下几类：
4.(1)基于激光雷达的城市重建方法，通过激光雷达扫描城市场景中的物体获取场景中的目标点云数据，解决了现有技术对采集设备要求高、处理时间长等问题，打破了分辨率受限的局限。但与此同时，其缺乏物体的纹理信息，从而使得重建精度较低。
5.(2)基于航天遥感的城市重建方法，随着航天遥感技术的发展，航天遥感的低成本、高分辨率受到研究者的青睐，并运用于城市场景重建，为三维城市建模提供较为准确的纹理、几何和语义信息，弥补了激光雷达技术“光谱信息的缺失”的缺陷。
6.(3)基于数字摄影测量的城市重建方法，不仅能获得几何重建信息和纹理重建信息，还可获得拓扑信息和语义信息，特别是对清晰轮廓的人工地物有着较高的重建精度，常被作为激光雷达数据纹理信息辅助进行城市建模。但由于城市场景包含对象的纷繁复杂，数字摄影测量的高精度建立在多角度拍摄，且高度依赖多专业(通讯、图像处理、计算机视觉)配合，增加了工作量，工作效率较低。
7.(4)基于众源无序影像的城市重建方法，主要是利用互联网共享，丰富的网络资源来搜索查找相关场景的信息，特别是对一些需要精细建模的复杂场景，多源无序影像在城市特殊场景重建中就是一种很好的补充。但也有其自身的局限性，如因缺乏一些准确信息、不同拍摄的位置以及设备自身的局限等，在获取无序影像的点云数据时会有大量冗余的数据，导致重建速度慢、重建效果差。
技术实现要素：8.本发明的目的就是为了提供一种基于众源无序影像辅助的城市场景重建方法、装置及存储介质，以激光雷达融合卫星遥感和众源无序影像来重建城市场景，数据冗余小、还原度高、重建精度高、重建速度快。
9.本发明的目的可以通过以下技术方案来实现：
10.一种基于众源无序影像辅助的城市场景重建方法，包括以下步骤：
11.获取激光雷达数据，并基于激光雷达数据形成基础点云数据；
12.获取并利用爬虫技术筛选众源无序影像，利用深度估计网络估计众源无序影像的深度图，基于深度图和众源无序影像的位姿信息得到辅助点云数据，所述众源无序影像的来源包括城市监控、互联网共享；
13.对基础点云数据和辅助点云数据进行融合，得到几何信息；
14.获取基于卫星遥感得到的多光谱影像和全色影像，基于多光谱影像确定地物色彩信息，基于全色影像确定地表纹理模型和地物模型；
15.对众源无序影像进行数据预处理得到纹理图像，并结合地物模型和地物色彩信息得到地物纹理模型；
16.基于地物纹理模型和地表纹理模型确定纹理信息；
17.基于几何信息和纹理信息，利用自动重建解决方案实现城市场景重建，得到重建三维模型。
18.所述激光雷达数据包括原始数据和位姿数据，其中，原始数据包括激光三维坐标以及扫描角度信息、回波次数信息、回波强度信息。
19.所述基于激光雷达数据形成基础点云数据具体为：基于原始数据和位姿数据得到原始点云，利用航带拼接、滤波技术对原始点云进行处理得到有效点云，将有效点云作为基础点云数据。
20.所述深度估计网络的输入为众源无序影像视频帧中的rgb图像，网络模型为编码器解码器结构，输出为深度图，所述深度图的值为rgb图像中每个像素的深度值。
21.所述编码器包括四个下采样模块，解码器包括四个上采样模块。
22.所述深度估计网络在训练阶段，将第t帧rgb图像作为源图像，第t+1帧rgb图像作为目标图像，基于投影关系对源图像中每个像素进行重投影，得到重构目标图像，从而确定深度值，将重构目标图像和真实目标图像之间的光度损失作为深度估计的损失函数，实现无监督训练，其中，
23.所述投影关系为：
24.ps～kt
t
→
sdt
(p
t
)k-1
p
t
25.其中，ps为源图像中的像素，p
t
为重构目标图像的像素，k为内参数矩阵，t为位姿估计，d为深度值；
26.所述损失函数为：
[0027][0028]
其中，为重构目标图像，i
t
为真实目标图像，ssim为图像相似性损失，γ为权重。
[0029]
所述数据预处理包括坐标转换、数据剔除、滤波处理，其中，所述坐标转换包括三维坐标转换为二维几何坐标、二维几何坐标基于角点纠正转换为纹理坐标。
[0030]
所述方法还包括基于校验标准对重建三维模型的纹理进行校验，其中，所述校验标准包括：
[0031]
1)反映建筑真实的颜色、图案；
[0032]
2)同一区域的纹理协调一致；
[0033]
3)纹理层次与几何信息包含的层次相匹配，并且清晰度达到预配置的标准。
[0034]
一种基于众源无序影像辅助的城市场景重建装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述所述的方法。
[0035]
一种存储介质，其上存储有程序，所述程序被执行时实现如上述所述的方法。
[0036]
与现有技术相比，本发明具有以下有益效果：
[0037]
(1)本发明以激光雷达的点云数据为基础来构建城市几何特征，结合卫星遥感和众源无序影像中人工地物的纹理信息，对城市场景进行了完整的重建，场景重建的真实感强、还原度高，重建效果好，不仅能够恢复地形地貌数据，还能够恢复准确的建筑纹理信息，解决了城市场景重建中信息缺失的问题。
[0038]
(2)本发明采用的深度估计网络使用端到端无监督网络，不需要额外的监督信号，降低了利用众源无序影像的难度，提高了重建效率。
附图说明
[0039]
图1为本发明的方法流程图；
[0040]
图2为激光雷达数据处理流程示意图；
[0041]
图3为卫星遥感影像处理流程示意图；
[0042]
图4为辅助点云数据形成流程示意图；
[0043]
图5为坐标转换示意图。
具体实施方式
[0044]
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0045]
一种基于众源无序影像辅助的城市场景重建方法，如图1所示，包括以下步骤：
[0046]
步骤1)获取激光雷达数据，并基于激光雷达数据形成基础点云数据，如图2所示；
[0047]
在本实施例中，使用四旋翼无人机搭载litemapper2800/4600激光扫描仪进行城市场景扫描，采集得到激光雷达数据。
[0048]
激光雷达数据包括原始数据和位姿数据，其中，原始数据包括激光三维坐标以及扫描角度信息、回波次数信息、回波强度信息。
[0049]
基于原始数据，结合通过gps信息和imu信息得到的位姿数据，得到原始点云。考虑到点云数据量较大，因此需要对数据进行分块处理，根据不同的航带对点云数据进行拼接，通过特征提取和边缘检测算法消除噪声，过滤非地面点，得到有效点云，将有效点云作为基础点云数据。
[0050]
步骤2)获取并利用爬虫技术筛选众源无序影像，利用深度估计网络估计众源无序影像的深度图，基于深度图和众源无序影像的位姿信息得到辅助点云数据，如图4所示；
[0051]
众源无序影像是指由大众采集并向大众公开的影像资料和数据等，如数码相机、手机、平板电脑等电子设备拍摄的图像、视频，城市中的监控录像，以及一些特殊场景的影像信息，比如通过城市监控的网络摄像头、网络搜索引擎以及三维城市建模常用的google earth平台获取的网络资源，包括官方公布的地形图、多光谱影像、大众拍摄的街景图和地标性建筑物等。
[0052]
利用爬虫技术从众源无序影像中筛选出城市相关场景影像资料和多源图片数据，获得高相关性的城市场景信息，组成数据资料集。
[0053]
深度估计网络的输入为众源无序影像视频帧中的rgb图像，网络模型为编码器解码器结构，输出为深度图，所述深度图的值为rgb图像中每个像素的深度值。编码器包括四
个下采样模块，解码器包括四个上采样模块。
[0054]
深度估计网络在训练阶段，将第t帧rgb图像作为源图像，第t+1帧rgb图像作为目标图像，基于投影关系对源图像中每个像素进行重投影，得到重构目标图像，从而确定深度值，将重构目标图像和真实目标图像之间的光度损失作为深度估计的损失函数，实现无监督训练，其中，
[0055]
所述投影关系为：
[0056]
ps～kt
t
→
sdt
(p
t
)k-1
p
t
[0057]
其中，ps为源图像中的像素，p
t
为重构目标图像的像素，k为内参数矩阵，t为位姿估计，d为深度值；
[0058]
所述损失函数为：
[0059][0060]
其中，为重构目标图像，i
t
为真实目标图像，ssim为图像相似性损失，γ为权重。
[0061]
上述方法可以从单个图像中以端到端的方式恢复像素级深度图，再利用位姿信息进而生成辅助点云数据。
[0062]
步骤3)对基础点云数据和辅助点云数据进行融合，得到几何信息；
[0063]
基于众源无序影像得到的辅助点云数据能够配合激光雷达进行准确度更高的三维模型重建。
[0064]
步骤4)获取基于卫星遥感得到的多光谱影像和全色影像，基于多光谱影像确定地物色彩信息，基于全色影像确定地表纹理模型和地物模型，如图3所示；
[0065]
基于卫星遥感得到的多光谱影像和全色影像主要是通过网络开放平台获取卫星遥感影像、地形资料以及商业卫星遥感影像，包括国内的“地理空间数据云”、“中国科学院遥感与数字地球研究所”、“全国地理信息资源目录服务系统”、“国家地球系统科学数据中心”、“地球大数据科学工程数据共享服务系统”，国外的“美国地质调查局”等平台。
[0066]
在本实施例中，在“地理数据云”平台下载高分辨率的全色影像和低分辨率多光谱影像，从影像中获取三维数据，采用数字高程模型来表征地形表面，将全色影像生成的卫星图像的正射影像图按照地理坐标裁剪，并进行对比度增强等一系列变换处理，变换之后的图像作为地形的纹理进行覆盖，得到地表纹理模型；光谱信息对应色彩信息，利用多光谱影像可以得到地物色彩信息，结合全色影像，能够获取高分辨率并具有彩色信息的遥感影像，得到高分辨率地物色彩模型。
[0067]
步骤5)对众源无序影像进行数据预处理得到纹理图像，并结合地物模型和地物色彩信息得到地物纹理模型；
[0068]
在对众源无序影像进行数据预处理之前，通过位姿信息的配准进行精确筛选，将模糊、受到遮挡等不满足要求的图片剔除。
[0069]
所述数据预处理包括坐标转换、数据剔除、滤波处理，其中，所述坐标转换包括三维坐标转换为二维几何坐标、二维几何坐标基于角点纠正转换为纹理坐标，如图5所示；所述数据剔除是将异常采集的数据和数据异常值进行剔除；再通过卡尔曼滤波方法对数据进行降噪处理，得到更为准确的纹理信息。
[0070]
步骤6)基于地物纹理模型和地表纹理模型确定纹理信息；
[0071]
步骤7)基于几何信息和纹理信息，利用自动重建解决方案实现城市场景重建，得到重建三维模型；
[0072]
在本实施例中，应用environment-for-3d-exploitation平台所提供的自动重建解决方案实现场景重建。该软件可以进行现实场景浏览、dsm提取、dem提取、树木、建筑物、电力线等地物提取并对实验数据直接进行三维模型重建。
[0073]
步骤8)基于校验标准对重建三维模型的纹理进行校验，其中，所述校验标准包括：
[0074]
1)反映建筑真实的颜色、图案；
[0075]
2)同一区域的纹理协调一致；
[0076]
3)纹理层次与几何信息包含的层次相匹配，并且清晰度达到预配置的标准。
[0077]
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0078]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依据本发明的构思在现有技术的基础上通过逻辑分析、推理、或者有限的实验可以得到的技术方案，皆应在权利要求书所确定的保护范围内。
技术特征：1.一种基于众源无序影像辅助的城市场景重建方法，其特征在于，包括以下步骤：获取激光雷达数据，并基于激光雷达数据形成基础点云数据；获取并利用爬虫技术筛选众源无序影像，利用深度估计网络估计众源无序影像的深度图，基于深度图和众源无序影像的位姿信息得到辅助点云数据，所述众源无序影像的来源包括城市监控、互联网共享；对基础点云数据和辅助点云数据进行融合，得到几何信息；获取基于卫星遥感得到的多光谱影像和全色影像，基于多光谱影像确定地物色彩信息，基于全色影像确定地表纹理模型和地物模型；对众源无序影像进行数据预处理得到纹理图像，并结合地物模型和地物色彩信息得到地物纹理模型；基于地物纹理模型和地表纹理模型确定纹理信息；基于几何信息和纹理信息，利用自动重建解决方案实现城市场景重建，得到重建三维模型。2.根据权利要求1所述的一种基于众源无序影像辅助的城市场景重建方法，其特征在于，所述激光雷达数据包括原始数据和位姿数据，其中，原始数据包括激光三维坐标以及扫描角度信息、回波次数信息、回波强度信息。3.根据权利要求2所述的一种基于众源无序影像辅助的城市场景重建方法，其特征在于，所述基于激光雷达数据形成基础点云数据具体为：基于原始数据和位姿数据得到原始点云，利用航带拼接、滤波技术对原始点云进行处理得到有效点云，将有效点云作为基础点云数据。4.根据权利要求1所述的一种基于众源无序影像辅助的城市场景重建方法，其特征在于，所述深度估计网络的输入为众源无序影像视频帧中的rgb图像，网络模型为编码器解码器结构，输出为深度图，所述深度图的值为rgb图像中每个像素的深度值。5.根据权利要求4所述的一种基于众源无序影像辅助的城市场景重建方法，其特征在于，所述编码器包括四个下采样模块，解码器包括四个上采样模块。6.根据权利要求4所述的一种基于众源无序影像辅助的城市场景重建方法，其特征在于，所述深度估计网络在训练阶段，将第t帧rgb图像作为源图像，第t+1帧rgb图像作为目标图像，基于投影关系对源图像中每个像素进行重投影，得到重构目标图像，从而确定深度值，将重构目标图像和真实目标图像之间的光度损失作为深度估计的损失函数，实现无监督训练，其中，所述投影关系为：p
s
～kt
t
→
s
d
t
(p
t
)k-1
p
t
其中，p
s
为源图像中的像素，p
t
为重构目标图像的像素，k为内参数矩阵，t为位姿估计，d为深度值；所述损失函数为：其中，为重构目标图像，i
t
为真实目标图像，ssim为图像相似性损失，γ为权重。7.根据权利要求1所述的一种基于众源无序影像辅助的城市场景重建方法，其特征在
于，所述数据预处理包括坐标转换、数据剔除、滤波处理，其中，所述坐标转换包括三维坐标转换为二维几何坐标、二维几何坐标基于角点纠正转换为纹理坐标。8.根据权利要求1所述的一种基于众源无序影像辅助的城市场景重建方法，其特征在于，所述方法还包括基于校验标准对重建三维模型的纹理进行校验，其中，所述校验标准包括：1)反映建筑真实的颜色、图案；2)同一区域的纹理协调一致；3)纹理层次与几何信息包含的层次相匹配，并且清晰度达到预配置的标准。9.一种基于众源无序影像辅助的城市场景重建装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。10.一种存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如权利要求1-8中任一所述的方法。
技术总结本发明涉及一种基于众源无序影像辅助的城市场景重建方法、装置及存储介质，其中方法包括：获取激光雷达数据，形成基础点云数据；获取众源无序影像，利用深度估计网络估计深度图，得到辅助点云数据；对基础点云数据和辅助点云数据进行融合，得到几何信息；获取卫星遥感得到的多光谱影像和全色影像，基于多光谱影像确定地物色彩信息，基于全色影像确定地表纹理模型和地物模型；对众源无序影像进行数据预处理得到纹理图像，结合地物模型和地物色彩信息得到地物纹理模型；基于地物纹理模型和地表纹理模型确定纹理信息；基于几何信息和纹理信息，利用自动重建解决方案实现城市场景重建。与现有技术相比，本发明具有还原度高、重建精度高等优点。度高等优点。度高等优点。
技术研发人员：陈启军 沈梦娇 刘成菊
受保护的技术使用者：同济大学
技术研发日：2022.07.22
技术公布日：2022/11/1
