1.本发明涉及一种三维语义模型的表达方法，尤其涉及基于三维语义模型的地理实体多形态表达方法，属于三维语义建模领域。
背景技术：2.建筑物三维建模是实现智慧城市的关键技术之一，已经广泛应用于城市规划、灾害评估、车辆导航、虚拟旅游和文化遗产保护等众多领域。尽管国内相关机构已经建立了大量建筑物三维模型和虚拟展示系统，但是建模结果主要面向可视化展示，其语义表达能力较差，导致三维地理信息系统(geogrsphic informstionsystem，gis)利用率低，难以满足建筑物部件信息查询、能耗分析和精细化管理等深层次应用。此外，由于缺乏统一的建模标准，许多三维数据格式互不兼容，可重用性差，导致建筑物三维模型互操作和数据共享困难。因此，如何增强三维模型的语义特征，减少三维模型制作维护成本，实现其数据的共享和互操作，已成为当前智慧城市建设中亟需解决的难题。
3.城市地理标记语言(city geogrsphy msrkup lsngusge，citygml)是开放地理空间信息联盟(opengeospstisl consortium，ogc)推出的虚拟三维城市模型存储和交换国际开放标准，也是三维gis领域一种通用语义信息模型。citygml模型强调几何、拓扑和语义表达的一致性，其弥补了传统三维模型在数据共享和互操作方面的不足，增强了三维模型重用性，因而在城市规划、建筑物光照估计、能源需求分析、阴影分析、噪声传播估计及三维地籍和设施管理等众多领域有广泛应用。在建筑物三维表达方面，citygml 不仅定义了屋顶、墙面、地面、门、窗、房间等各种部件的语义信息，还采用5级lod进行由简到繁的多尺度表达。citygml的出现为三维地理信息的广泛应用和共享带来了契机。
4.然而现有技术仅仅是具体的建筑进行整体的几何表达，没有具体到每一个可选择的路段和不同建筑不同图元的选择性展示，从而精细到每一个图元的可能组合表达。而另一方面，通过建筑图纸来剥离各图元在现实中往往难以实现。首先，不是所有的建筑都具有原始的软件图纸，例如一些老建筑和csd软件普及之前的年代那些建筑，一些手工绘制的图纸也有存在丢失的风险，尤其是一些上世纪中叶之前的古老建筑，其次，收集这些图纸也需要各方面社会的响应配合，难以短时间内凑齐建模所需。因此需要重新对地理实体进行尽可能的高效地建模。
技术实现要素：5.为了解决上述问题，本发明采用多级lod标签进行图元的多层次的展示。本发明提供了基于三维语义模型的地理实体多形态表达方法，主要包括了如下步骤：
6.s1、建立地理空间直角坐标系e，构建基于旋转倾斜摄影装置的三维模型，与前期模型进行1:1的比例配准，同时收集建筑内部影像图，将其内部设施配准于所述三维模型中对应建筑内部空间形成第五图元；
7.其中所述内部设施包括楼梯、房间、办公用具和家具。
8.s2、将所述三维模型中与前期模型中建筑屋顶重合的部分进行提取，作为第一图元，将提取过后剩余的三维模型中的建筑部分，作为第二图元，将第一图元和/或建筑地面在e下的投影作为第三图元；提取所述三维模型中第一图元和第二图元的表面纹理特征作为第四图元；对三维模型中建筑窗、门、阳台进行提取，形成第六图元；
9.由此通过前期模型进行图元范围的框定，从而在所述三维模型中提取出各图元。应当强调的是，由于分辨率差异，点云图和倾斜摄影影像图之间在同一类图元中可能有彼此不能完全覆盖的情况，对此则应当以重合部分为基础提取出完整的三维模型部分而形成相应的图元。
10.s3、通过ogccitygml标准定义不同层级模型的图元和语义表达，建立各层级图元和语义映射表；
11.s4、基于图元和语义映射关系，重构模型从而实现不同层级模型的派生，其中每个图元都与属于各自的lod标签关联，即同一个建筑对象都有对应不同lod标签关联的模型表达，且均与对应的同一个地理实体关联，在不同细节层级下选择对应的显示方式，实现实体在相应lod下的显著表达。
12.关于s1
13.s1中前期模型的构建具体包括如下步骤：
14.s1-1采用无人机航拍记录规定区域内的影像图，同时采集航空lidar点云图，以获得地理实体数据；
15.s1-2将无人机航拍的所述规定区域内的影像图与lidar点云图进行配准，获得一幅规定区域的配准图像；根据所述点云图中建筑顶面的高程信息而将当前建筑中心点而沿着e坐标系z轴垂直平移拼接影像图中各建筑的边界罩m到各建筑顶面的高程，以完成当前规定区域的三维模型；
16.应当理解的是：其中影像图被导入地理影像软件中时，现将其平行于xoy坐标面放置，因此需要根据高程分布通过z轴平移实现各实体点的高程就位。
17.s1-3选择其他多个规定区域，重复步骤s1-1-s1-2获得更多幅所选择的规定区域的配准图像，建立三维模型，以完成前期模型。
18.其中，所述s1-1具体包括如下步骤：
19.p1设定无人机在所述的规定区域以及所述其他多个规定区域内的飞行路线，以及无人机上航拍装置的曝光时间点；
20.p2起飞无人机，按照所述飞行路线飞行，同时按照所述曝光时间点进行影像采集，获得多幅影像图；同步采集航空lidar点云图；
21.其中，优选地，所述飞行路线为多个直线段所组成，此时，
22.p1中若所述规定区域为矩形区域，此时所述的曝光时间点设置方式为：设飞行路线上无人机的影像采集范围为矩形区域r，在当前影像图采集后，无人机飞行过所述范围r的飞行方向上r的宽度距离时即选取为下一个影像图曝光时间点，当r的上边界与所述规定区域的上边界重叠，或r的上边界在飞行方向上超过所述规定区域的上边界时，无人机转向，并左移r一个长度的距离反向飞行继续采集影像图，曝光时间点的选取与正向飞行时的一致，当r的下边界与所述规定区域的下边界重叠，或r的下边界在飞行方向上超过所述规定区域的下边界时，无人机再次转向，并右移r一个长度的距离再次正向飞行继续采集影像
图，且曝光时间点的选取方式不变，如此循环，能够完成所述规定区域的全域影像图的采集。
23.若所述规定区域为圆形或椭圆形区域时，先作所述圆形和椭圆形的最小外接矩，则基于所述最小外接矩进行与所述规定区域为矩形区域时同样的曝光时间点设置方式进行曝光时间点的设置，以及同样的影像图采集方式采集；
24.若所述规定区域为其他形状区域时，先作所述圆形和椭圆形的外接矩，则基于所述外接矩进行与所述规定区域为矩形区域时同样的曝光时间点设置方式进行曝光时间点的设置，以及同样的影像图采集方式采集，其中所述外接矩由一个矩形的四条边在此时靠向所述其他形状区域，当四条边与其他形状区域都存在切点或交点时停止靠向，此时所述的一个矩形即为所述外接矩。
25.p2中所述同步采集航空lidar点云图的方式为：根据曝光时间点而同步启动点云图扫描程序，在飞行初始时刻即同步对所述规定区域全域扫描；
26.所述s1-2具体包括如下步骤：
27.p3选定一幅影像图与全域扫描点云图的各定位点；
28.p4将采集的所述多幅影像图按照所述飞行路线的上曝光时间顺序进行拼接，获得拼接影像图，并将同步采集的航空lidar点云图与拼接影像图按照各定位点一一对应重合，以完成所述配准。
29.其中，p3中所述一幅影像图与全域扫描点云图都各自设定两个定位点，且各自中的每一个的所述定位点在e下的坐标与对方的一个所述定位点在e下的坐标相同。
30.p3中优选地，所述一幅影像图中的一个定位点与相应的曝光时间点无人机所处的位置点在e的xoy平面上投影重合，而另一个选择为与r的一个顶点在e的xoy平面上投影重合。
31.p4中优选地，在将采集的所述多幅影像图按照所述飞行路线的上曝光时间顺序进行拼接之前还包括对超过规定区域的影像部分进行删减。
32.将同步采集的航空lidar点云图与拼接影像图按照各定位点一一对应重合具体包括：
33.将全域扫描点云图中的两个定位点与所述一幅影像图中具有相同坐标的定位点进行重合操作，以完成所述配准；
34.所述重合操作具体是在地理影像软件中已拼接完成的所述拼接影像图中导入全域扫描点云图，并在建立的 e下将各自相同坐标的定位点经过平移、旋转、比例缩放中至少一者操作以实现所述重合。
35.对于s1-2中当前建筑中心点的获取包括如下步骤：
36.p5基于所述配准图像，使用无添加层的vgg-16算法作为cnn主干网络提取一系列不同卷积层获得的特征图，特征图是输入图像尺寸的1/2-1/10，优选为1/8；
37.同时，通过图像金字塔算法fpn利用cnn主干网络不同层来构建特征金字塔，并预测多个建筑的边框，
38.p6对于多个建筑中的每一建筑，都对所述一系列不同卷积层获得的特征图和对应的建筑的边框利用 roislign算法获得建筑的本地特征图f；
39.p7对于每个建筑的所述本地特征图f采用卷积层处理形成多边形边界罩m，再利用
卷积层处理形成边界罩m的p个预测顶点；
40.p8选定p个预测顶点中横坐标或纵坐标最大或最小的点为第一标定点，如果存在横坐标或纵坐标有相同最大或最小点，则取相应的纵坐标或横坐标最大或最小的点为第一标定点，将第一标定点与剩余p-1个点之间按顺时针或逆时针连接预测点的路径顺序进行距离计算，和与其距离最长者对应的点连接，相应选定基于边界罩m预测的另一个与第一标定点距离最短的相邻顶点为第二标定点，以同样方式和与其距离最长者对应的点连接，获得两条连接线段之间的交点作为每个建筑的当前建筑中心点。
41.优选地，对于s1-3获得的前期模型中拟用人工神经网络对规定区域内的道路进行了轮廓的拟合获得道路中心点，具体包括如下步骤：
42.p9调用所述配准图像通过rnn循环神经网络算法包括编码器以及解码器的节点生成器生成道路连续节点，并在生成过程中连接生成前后的两个节点，将新的生成节点输入节点生成器不断产生新的节点，而继续直线段连接产生的新节点，形成道路中心线，如此循环而连接成道路网；
43.p10将道路网中的所有直线段按照预设的宽度w进行扩宽，形成具有一定宽度的道路宽线条，从而获得城市道路网模型，其中w按照所述配准图像中对应的道路宽度进行扩宽，w为所述配准图像中道路节点所在所述直线段作为的道路分段所对应的实际道路宽度值的0.5-0.8倍；
44.p11对于每个p9中的节点在p10中w的扩宽范围内旁开选取一个对应的节点作为对应的标记节点，定义为道路中心点。
45.s1中旋转倾斜摄影装置的三维模型的建立包括，将建模的地理区域划分为多个子区域，对于每个子区域进行至少一架搭载有旋转倾斜摄影装置的无人机扫描航拍，其中，
46.所述旋转倾斜摄影装置包括上下左右中五个俯角可调的倾斜摄影摄像头，以及搭载所有所述摄像头的旋转平台，所述旋转平台装配于所述无人机上。
47.所述扫描航拍的方法具体包括：以旋转倾斜摄影装置的视场范围的外接矩作为像素元，对于每一个所述子区域，进行行扫和/或列扫完成所述航拍扫描，其中，
48.每个像素元上采集两组倾斜摄影影像图，第一组采集采用五个摄像头全部开启的模式进行采集，之后通过顺时针或逆时针旋转所述旋转平台45
°
开启除中部摄像头以外的四个摄像头进行第二组采集，完毕之后所述旋转平台逆向旋转到第一组采集时的各摄像头所处位置，飞往下一个方位进行下一两组倾斜摄影影像图的采集，将每一个摄像头进行编号，将采集的倾斜摄影影像图与所采集的摄像头之间进行编号关联，其中，对于每一行或列扫描，相邻像素元之间存在重合的边界，相邻行或列之间存在重合的像素元边界。
49.由此完成了所有方位的倾斜摄影，并且对于前后左右的四个摄像头中的每一个在一个像素元区域内的扫描都有对应的旋转前后所采集的两幅倾斜摄影影像图。
50.优选地，在采集完毕第一组倾斜摄影影像图且旋转平台旋转之前和/或采集完毕第二组倾斜摄影影像图之后且旋转平台逆向旋转之前，还包括采集第三组倾斜摄影影像图，其中第三组倾斜摄影影像图采集方式是，调整上下左右个摄像头中至少一者的俯角至与各自在地面投影方向轴对称的一面进行采集，并且在采集完之后将所述至少一者的俯角恢复至调整前的俯角状态。
51.关于s3
52.通过ogccitygml标准定义不同层级模型的图元和语义表达具体包括：使用citygml定义5级lods 对建筑进行多尺度表达，其中，lod0表达建筑的底部或屋顶轮廓平面，为2.5d多边形，对应第三图元； lod1用块状简单表示建筑物外墙体三维模型，对应第二图元；lod2在lod1的基础上加入了对房屋的附属结构和屋顶，及建筑外表纹理的描述，对应第一图元、第二图元、第四图元的集合；lod3在lod2基础上增加描述建筑物的详细外表结构，包括门、窗、阳台(包括各自的纹理)，对应了第一图元、第二图元、第四图元，以及第六图元的集合；lod4在lod3基础上增加对建筑物内部设施以及建筑底面的表达，并通过对第六图元和至少部分第一图元和第二图元的隐藏进行展示；
53.优选地，通过lod标签之间的逻辑运算，映射成不同图元的表达。例如lod2-lod1即表示显示屋顶及其附属结构和纹理，隐藏了第二图元，lod3-lod2只显示门、窗、阳台(包括各自的纹理)，lod3-lod1 表示隐藏了第二图元的剩余的模型。lod4-lod1表示隐藏了建筑的所有外墙体部分。
54.有益效果
55.采用基于旋转和变俯角的像素元扫描倾斜摄影技术，涵盖了大多数摄影死角，使得建模更加精确高效，
56.采用lod标签进行图元的标引完善了地理实体的各不同层次表达需求。
附图说明
57.图1本发明实施例1的城市a多种规定区域的地理实体数据的获得方法示意图，
58.图2本发明rnn循环神经网络算法流程以及城市路网生成过程示意图，
59.图3a为图2中圆圈范围内的局部路网以道路中圈出的节点c代表的分段的扩宽即道理中心点选取旁开方向示意图，
60.图3b为图3a中圈出的道路节点c附近局部放大示意图，
61.图4基于cnn主干网络的卷积长短期记忆convlstm的多层rnn建筑边界罩m的提取以及基于建筑边界罩m进行的顶点预测点示意图，
62.图5基于建筑s1和凹形建筑s1的当前建筑中心点的获取方式示意图，
63.图6旋转倾斜摄影装置的结构示意图，
64.图7为某城市的子区域遥感影像图，以及其中像素元扫描方式的示意，
65.图8为扫描像素元的形成示意图，以及像素元中视野变换的示意图，其中8a为变换前的视野分布，以及像素元形成的示意图，8b为顺时针旋转45
°
之后的视野变化体，8c和8d分别为图8a和8b采集之后紧接着进行的俯角调整前后的视野变化示意图，
66.图9使用citygml定义5级lod1-lod4对建筑进行多尺度表达示意图，其中左下包含了lod3-lod1 的表达示意情形，
67.图10为lod标签之间的逻辑运算，映射成不同图元的组合表达示意图，其中10a为lod2-lod1，10b 为lod3-lod2，10c为lod4-lod1，10d为lod3-(lod2-lod1)，
68.其中附图标记，1五摄像头倾斜摄影装置，1-1包括了前、后、左、右、中间五个摄像头，1-2主箱， 1-3接口，2旋转平台，2-1旋转连杆。
具体实施方式
69.第一实施例，本实施例将描述前期模型和三维模型的建立与两者匹配方式：包括采用四个实施例以完整描述。
70.实施例1
71.本实施例描述s1使用无人机航拍或卫星遥感拍摄，获取地面俯视影像图，同步获取航空lidar点云图的方法。
72.如图1所示，城市a中划分为多个规定的区域，包括了右下角填充颜色的矩形区域，以及圆形、椭圆形、五边形、以及两个长条形规定的区域，其中圆形、椭圆形分别得到了最小外接矩，而多边形通过一个矩形四条边平行移动靠近五边形，当检测到有交点时停止靠近，也形成了一个外接矩。图中对于圆形、椭圆、五边形的外接矩都指明了无人机的飞行方向的正向。
73.本实施例以右下角矩形区域为第一规定区域为例，在其下方为放大图，r为矩形的无人机的影像采集范围r，则矩形区域为48个r组成，根据放大图中t0、t1、t
11
、...、t
47
的时间点顺序作为曝光时间点顺序，按照箭头方向从初始t0时刻开始初次曝光，存在r矩形的下边界和左边界(为清楚显示，以稍微超出第一规定区域的绿色框表示)正好与第一规定区域下边界和左边界重合、超出第一规定区域的边界(下边界和左边界至少一者)在第一规定区域外的蓝框范围内的情况，而飞行历经一个r矩形的宽度距离时为 t1时刻，进行第二次曝光，直到飞行到t
11
达到矩形区域的边境附近，进行第12次曝光，此时存在r矩形上边界和左边界(同样稍微超出的绿色框表示)与第一规定区域上边界和左边界重合，或超出第一规定区域的边界(上边界和左边界至少一者)在第一规定区域外的蓝框范围内的情况，此时无人机转向，并按照箭头方向向左(以无人机飞行前向为参考基准)移动一个r矩形长度距离，之后继续按照图中箭头反向飞行，并同样曝光时间点选择方式进行曝光采集影像图，直到最后一次反向飞行结束采集完t
47
时刻曝光采集的第48幅影像图，完成第一规定区域的图像采集。
74.对于圆形、椭圆形、五边形的区域影像图刺激则基于外接矩和规定的正向同样方式进行完成即可。
75.与此同时，lidart在初始t0时刻对第一规定区域全域扫描获得第一规定区域的全域扫描点云图。
76.实施例2
77.本实施例说明道路中心点与建筑中心点的获取方法，如图2所示，调用实施例1中一幅地面俯视影像图，基于所述一幅地面俯视影像图，利用rnn循环神经网络算法，定义步长l(根据道路总长而在1-5m 中选择)以及矢量方向r作为属性矢量v，将每个起始节点以及k条入射路经方向的点作为输入点(k个点与对应的起始点之间对应了k个初始属性矢量)，将k+1个输入点以及属性矢量 v输入编码器，由解码器生成新节点；具体是对于每一个起始点的每一个方向的输入点对应了在e 下的坐标属性矢量v对应于坐标增量其中t表示当前输入点的序号(对于起始点为0，对于第一个新的输入点为1)，将该坐标和属性矢量v输入编码器，解码器将出射在e下生成的新节点其中图2中示例性地给出了每隔20次节点生成循环下，总共100次节点生成循环的路网生成过程，直线段连接各道路节点，
形成道路中心线如图3a所示；
78.如图3a为图2中圆圈范围内的局部路网扩宽示意图。以道路节点c为代表，将图3a的局部路网按照预设的宽度w以生成路网的道路中心线向两边进行扩宽，形成具有一定宽度的道路宽线条，从而获得城市道路网模型，其中w为所述地面俯视影像图中实际道路边界限定的道路宽度的0.8倍，形成扩宽边界。
79.过道路节点c作垂直于图3b所述对应的道路节点两边任一道路中心线的垂线与扩宽w的边界交于两个交点，选取其中一交点，在所述垂线上选取离开所选取的交点预设距离且位于扩宽范围w内的点作为多个所述道路中心点。其中以c为圆心与扩宽边界存在切点是圆c的半径为预设距离，于是获得图3b中的道路中心点。
80.道路属于交通要素的一部分。交通要素在lod0中被表达为线性网络，从lod1开始，所有交通要素都由三维表面进行几何描述。citygml的交通模型由专题扩展模块transportation提供。其中最主要的类为transportationcomplex它可以表达道路，轨道，铁路，或广场等。transportationcomplex由trafficarea 和auxiliarytrafficarea两部分组成。从lod1开始，transportationcomplex将提供明确的表面几何图形，以反映对象的实际形状，而不仅仅是它的中心线。lod2到lod4级别中，它将进一步按专题被细分为用于主要交通的trafficarea：例如汽车，火车，公共交通，飞机，自行车或行人，以及用于对交通目的而言没那么重要的auxiliarytrafficarea：例如道路标记，绿地或花盆。
81.交通分类映射表如下：
[0082][0083]
对于道路的部分，本实施例可以用citygml的交通分类建立多层级表达。
[0084]
接着采用人工智能网络的城市建筑网模型的建立以及城市建筑中心点的获取。具体包括如下步骤：
[0085]
如图4所示，基于步骤调用的幅地面俯视影像图，使用无添加层的vgg-16算法作为cnn主干网络提取一系列不同卷积层获得的特征图，特征图是输入图像尺寸的1/8；
[0086]
同时，通过图像金字塔算法fpn利用cnn主干网络不同层来构建特征金字塔，并预测多个建筑的边框，
[0087]
对于多个建筑中的每一建筑，都对所述一系列不同卷积层获得的特征图和对应的建筑的边框利用 roialign算法获得建筑的本地特征图f；
[0088]
对于每个建筑的所述本地特征图f采用卷积层处理形成多边形边界罩m，再利用卷积层处理形成边界罩m的5个预测顶点a、b、c、d、d2、d1。
[0089]
如图5所示，坐标系e的x轴方向为基准，在建筑s1中选定所述5个预测顶点中横坐标最大的点d1 为第一标定点，将标定点与剩余4个点之间按逆时针连接预测点的路径顺序a、b、c、d、d2进行距离计算，和与其距离最长者b点连接，相应选定基于边界罩m预测的另一个与第一标定点距离最短的相邻顶点 d2为第二标定点，以同样方式和与其距离最长者a点连接，获得两条连接线段之间的交点x作为该建筑 s1的中心点。
[0090]
而对于屋顶面为凹字形的建筑s2为例，预测点为d3、e、f、g、h、i、j、d4，8个预测点，如图5 所示，选定所述8个预测顶点中横坐标最大的点d3为第一标定点，将标定点与剩余7个点之间按逆时针连接预测点的路径顺序i、h、e、f、g、j、d4进行距离计算，和与其距离最长者f点连接，相应选定基于该凹字形的建筑的边界罩m预测的另一个与第一标定点距离最短的相邻顶点d4为第二标定点，以同样方式和与其距离最长者e点连接，获得两条连接线段之间的交点x'作为该建筑s2的当前中心点。
[0091]
实施例3
[0092]
接着分析无人机航拍的所述规定区域内的影像与lidar点云图以及软件图像进行配准，获得规定区域的配准图像，建立模型三维单体集合以及确定图元要素的具体实施方式。
[0093]
仍然以实施例1的第一规定区域为例，如图1所示，建立城市a规定区域的空间直角坐标系e，x轴和y轴分别与第一规定区域的相邻直角边平行。
[0094]
以t0时刻的一副影像图的曝光时刻时无人机所在的位置以及该影像图的右下角顶点为定位点，全域扫描点云图中在e下与影像图中定位点相同坐标的两个点为该全域扫描点云图中的定位点。
[0095]
将采集的48幅影像图按照所述飞行路线的上曝光时间顺序t0、t1、t
11
、...、t
47
进行拼接，获得拼接影像图。
[0096]
地理影像软件中已拼接完成的拼接影像图中导入全域扫描点云图，先在建立的e下将拼接影像图和全域扫描点云图各自相同坐标的定位点经过平移、旋转操作、比例缩放以实现重合完成拼接影像图与全域扫描点云图的配准。
[0097]
实施例4
[0098]
本实施例将说明书三维模型与前期模型的1:1匹配。先根据所述点云图中建筑顶面的高程信息而将实施例2中的当前建筑中心点而沿着e坐标系z轴垂直平移拼接影像图中各建筑的边界罩m到各建筑顶面的高程，以完成当前规定区域的三维模型；对于实施例1中其他除矩形区域外的其他区域同样进行三维模型的构建。同时收集建筑内部影像图，将其内部设施配准于三维模型中对应建筑内部空间形成第五图元。最后将三维模型与前期模型中的e坐标进行配准，并调整预选的一个地理实体中任一两点。可以是实施例 2中的d1和d2两点，或d3和d4两点，使得三维模型与前期模型中的对应的该两点之间的距离相等，即完成1:1配准。
[0099]
第二实施例
[0100]
本实施例将描述旋转倾斜摄影装置的三维模型的构建方式，如图6所示，为旋转倾斜摄影装置的结构示意图，其中包括了五摄像头倾斜摄影装置1，包括了前、后、左、右、中间(图未示)五个摄像头1-1，包含变俯角控制机构、图像采集卡、信号与数据无线传输设备(图未示)的主箱1-2，以及能够与旋转平台2的旋转连杆2-1相连接的主箱1-2顶板的接口1-3。旋转平台2可以通过其内齿(图未示)与无人机上搭载的电机输出轴齿轮进行啮合，以控制五摄像头倾斜摄影装置1的旋转以及逆向旋转运动。
[0101]
图7为某城市子区域的遥感影像图，为方便说明扫描方式，图7右上角红色框为扫描像素元，而通过图内箭头扫描方向进行到下一个黄颜色像素元，两者具有一条重合的边。如此方式完成行扫描，而换行之后第二行的像素元中的每一个都与上一行的相邻像素元的一条边重合。
[0102]
其中图7中每个像素元为图8a中所示的红色框，其中示例性地显示了五个摄像头1-1的视场范围。红色框为前后左右视野范围的外界正方形。当完成图8a的位置进行第一组五张影像的采集之后，无人机上搭载的电机旋转使得旋转平台2顺时针旋转45
°
到图8b的状态进行第二组五张影像的采集，之后旋转平台2逆时针逆向旋转并恢复调整前的俯角到图8a状态，采用行扫准备飞往图7中黄颜色像素元框的范围进行下一多组的五张影像的采集。
[0103]
而对于进行第三组五张影像的采集，可以是图8c所示，在采集完成进行第一组五张影像之后，旋转旋转平台2之前，主箱1-2中的信号与数据无线传输设备接收到无人机的控制信号，命令变俯角控制机构对前后左右四个摄像头1-1的俯角进行调整至与各自在地面投影方向轴对称的一面进行采集。也可以是如图8d所示，在完成如图8b位置时第二组五张影像的采集之后且逆向旋转并恢复调整前的俯角到图8a状态之前，对前后左右四个摄像头1-1的俯角进行调整至与各自在地面投影方向轴对称的一面进行采集。图 8c和8d中，虚线和实现分别表示的调整前后的视野范围变化状态。
[0104]
将采集的所有影像图按采集的组与各摄像头的编号进行分组关联，并对像素元进行编号，完成每个像素元编号下各个编号摄像头与对应拍摄的影像之间的映射。最后利用所述映射完成影像的三维自动建模。
[0105]
其中一种优选地的方案是，当俯角调整完毕之后，视野最远边界与中间摄像头的相对的一端视野边界重合。这样就减少了重叠影像部分，减少了三维重建的重复计算负担。
[0106]
第三实施例
[0107]
本实施例将说明各层级图元和语义映射表的建立过程。首先将实施例一种的三维模型中与前期模型中建筑屋顶重合的部分进行提取，作为第一图元，将提取过后剩余的三维模型中的建筑部分，作为第二图元，将第一图元和/或建筑地面在e下的投影作为第三图元；提取所述三维模型中第一图元和第二图元的表面纹理特征作为第四图元；对三维模型中建筑窗、门、阳台进行提取，形成第六图元。
[0108]
如图9所示使用citygml定义5级lods对建筑进行多尺度表达，其中，lod0表达建筑的底部或屋顶轮廓平面，为2.5d多边形，对应第三图元；lod1用块状简单表示建筑物外墙体三维模型，对应第二图元；lod2在lod1的基础上加入了对房屋的附属结构和屋顶，及建筑外表纹理的描述，对应第一图元、第二图元、第四图元的集合；lod3在lod2基础上增加描述建筑物的详细外表结构，例如图9所示lod3 可以包括一扇门、三面窗(包括各自的纹理)，对应了第一图元、第二图元、第四图元，以及第六图元的集合；lod4在lod3基础上增加对建筑物
内部设施六人桌和四把椅子，以及建筑底面(灰色)的表达，可选地，还可以通过对第六图元和至少部分第一图元和第二图元的隐藏进行展示；所述各层级图元和语义映射表，如下表所示：
[0109][0110][0111]
其中，所述开口是指门、窗、阳台的开口结构，可选地，还可以是指建筑物的详细外表结构和/或因至少部分第一图元和第二图元的隐藏而形成的可展示至少一部分所述内部设施配的无遮挡空间，所述房间是经由无遮挡空间有获得展示。
[0112]
对于不同的建筑都各自采用中心点的坐标作为lods的关联指针，形成具体每一建筑到属于各自的 lods的映射。
[0113]
在本实施例中，还可以针对不同的道路分段，采用中心点的坐标作为lods的关联指针，形成具体每一道路分段到属于各自的lods的映射。可选地，本实施例对道路分段的lods映射与建筑的lods映射进行结合，也即，在原有5级lods对建筑进行多尺度表达的基础上，新增lod5作为与道路分段的映射关系，使得道路和建筑实现lod下的显著表达。
[0114]
如图10所示，通过lod标签之间的逻辑运算，映射成不同图元的组合表达。图10a为lod2-lod1 即表示显示屋顶及其附属结构和纹理，隐藏了第二图元，图10b为lod3-lod2只显示门、窗、阳台(包括各自的纹理)，图9中左下可以是lod3-lod1表示隐藏了第二图元的剩余的模型，图10c为lod4-lod1 表示隐藏了建筑的所有外墙体部分，图10d则是lod3-(lod2-lod1)，隐藏了屋顶以及屋顶构建(屋顶侧面墙体部分)及其纹理。
[0115]
最后基于图元和语义映射关系表，重构模型从而实现不同层级模型的派生，其中每个图元都与属于各自的lod标签关联，即同一个建筑对象都有对应不同lod标签关联的模型表达，且均与对应的同一个地理实体关联，在不同细节层级下选择对应的显示方式，实现实体在相应lod下的显著表达。
[0116]
本发明实施例还提供了一种用于实现上述实施例所述的基于三维语义模型的地理实体多形态表达方法的无人机，其特征在于，所述无人机搭载旋转倾斜摄影装置，所述旋转倾斜摄影装置包括上下左右中五个俯角可调的倾斜摄影摄像头，包含变俯角控制机构、图像采集卡、信号与数据无线传输设备的主箱，以及搭载所有所述摄像头的旋转平台，其中，所述旋转平台装配于所述无人机上，所述主箱顶板具有能够与所述旋转平台的旋转连杆相连接的接口，旋转平台通过其内齿与所述无人机上搭载的电机输出轴齿轮进行啮合，以控制所述旋转倾斜摄影装置的旋转以及逆向旋转运动。
技术特征：1.基于三维语义模型的地理实体多形态表达方法，主要包括了如下步骤：s1、建立地理空间直角坐标系e，构建基于旋转倾斜摄影装置的三维模型，与前期模型进行1:1的比例配准，同时收集建筑内部影像图，将其内部设施配准于所述三维模型中对应建筑内部空间形成第五图元；其中所述内部设施包括楼梯、房间、办公用具和家具；s2、将所述三维模型中与前期模型中建筑屋顶重合的部分进行提取，作为第一图元，将提取过后剩余的三维模型中的建筑部分，作为第二图元，将第一图元和/或建筑地面在e下的投影作为第三图元；提取所述三维模型中第一图元和第二图元的表面纹理特征作为第四图元；对三维模型中建筑窗、门、阳台进行提取，形成第六图元；s3、通过ogccitygml标准定义不同层级模型的图元和语义表达，建立各层级图元和语义映射表；s4、基于图元和语义映射关系，重构模型从而实现不同层级模型的派生，其中每个图元都与属于各自的lod标签关联，即同一个建筑对象都有对应不同lod标签关联的模型表达，且均与对应的同一个地理实体关联，在不同细节层级下选择对应的显示方式，实现实体在相应lod下的显著表达。2.根据权利要求1所述的方法，其特征在于，s1中前期模型的构建具体包括如下步骤：s1-1采用无人机航拍记录规定区域内的影像图，同时采集航空lidar点云图，以获得地理实体数据；s1-2将无人机航拍的所述规定区域内的影像图与lidar点云图进行配准，获得一幅规定区域的配准图像；根据所述点云图中建筑顶面的高程信息而将当前建筑中心点而沿着e坐标系z轴垂直平移拼接影像图中各建筑的边界罩m到各建筑顶面的高程，以完成当前规定区域的三维模型；s1-3选择其他多个规定区域，重复步骤s1-1-s1-2获得更多幅所选择的规定区域的配准图像，建立三维模型，以完成前期模型。3.根据权利要求2所述的方法，其特征在于，其中，所述s1-1具体包括如下步骤：p1设定无人机在所述的规定区域以及所述其他多个规定区域内的飞行路线，以及无人机上航拍装置的曝光时间点；p2起飞无人机，按照所述飞行路线飞行，同时按照所述曝光时间点进行影像采集，获得多幅影像图；同步采集航空lidar点云图；其中，所述飞行路线为多个直线段所组成，此时，p1中若所述规定区域为矩形区域，此时所述的曝光时间点设置方式为：设飞行路线上无人机的影像采集范围为矩形区域r，在当前影像图采集后，无人机飞行过所述范围r的飞行方向上r的宽度距离时即选取为下一个影像图曝光时间点，当r的上边界与所述规定区域的上边界重叠，或r的上边界在飞行方向上超过所述规定区域的上边界时，无人机转向，并左移r一个长度的距离反向飞行继续采集影像图，曝光时间点的选取与正向飞行时的一致，当r的下边界与所述规定区域的下边界重叠，或r的下边界在飞行方向上超过所述规定区域的下边界时，无人机再次转向，并右移r一个长度的距离再次正向飞行继续采集影像图，且曝光时间点的选取方式不变，如此循环，能够完成所述规定区域的全域影像图的采集；若所述规定区域为圆形或椭圆形区域时，先作所述圆形和椭圆形的最小外接矩，则基于所述最小外接矩进行与所述规定区域为矩形区域时同样的曝光时间点设置方式进行曝
光时间点的设置，以及同样的影像图采集方式采集；若所述规定区域为其他形状区域时，先作所述圆形和椭圆形的外接矩，则基于所述外接矩进行与所述规定区域为矩形区域时同样的曝光时间点设置方式进行曝光时间点的设置，以及同样的影像图采集方式采集，其中所述外接矩由一个矩形的四条边在此时靠向所述其他形状区域，当四条边与其他形状区域都存在切点或交点时停止靠向，此时所述的一个矩形即为所述外接矩；p2中所述同步采集航空lidar点云图的方式为：根据曝光时间点而同步启动点云图扫描程序，在飞行初始时刻即同步对所述规定区域全域扫描；所述s1-2具体包括如下步骤：p3选定一幅影像图与全域扫描点云图的各定位点；p4将采集的所述多幅影像图按照所述飞行路线的上曝光时间顺序进行拼接，获得拼接影像图，并将同步采集的航空lidar点云图与拼接影像图按照各定位点一一对应重合，以完成所述配准；其中，p3中所述一幅影像图与全域扫描点云图都各自设定两个定位点，且各自中的每一个的所述定位点在e下的坐标与对方的一个所述定位点在e下的坐标相同。4.根据权利要求3所述的方法，其特征在于，p3中所述一幅影像图中的一个定位点与相应的曝光时间点无人机所处的位置点在e的xoy平面上投影重合，而另一个选择为与r的一个顶点在e的xoy平面上投影重合；p4中，在将采集的所述多幅影像图按照所述飞行路线的上曝光时间顺序进行拼接之前还包括对超过规定区域的影像部分进行删减；将同步采集的航空lidar点云图与拼接影像图按照各定位点一一对应重合具体包括：将全域扫描点云图中的两个定位点与所述一幅影像图中具有相同坐标的定位点进行重合操作，以完成所述配准；所述重合操作具体是在地理影像软件中已拼接完成的所述拼接影像图中导入全域扫描点云图，并在建立的e下将各自相同坐标的定位点经过平移、旋转、比例缩放中至少一者操作以实现所述重合。5.根据权利要求1-4中任一项所述的方法，其特征在于，对于s1-2中当前建筑中心点的获取包括如下步骤：p5基于所述配准图像，使用无添加层的vgg-16算法作为cnn主干网络提取一系列不同卷积层获得的特征图，特征图是输入图像尺寸的1/2-1/10；同时，通过图像金字塔算法fpn利用cnn主干网络不同层来构建特征金字塔，并预测多个建筑的边框，p6对于多个建筑中的每一建筑，都对所述一系列不同卷积层获得的特征图和对应的建筑的边框利用roislign算法获得建筑的本地特征图f；p7对于每个建筑的所述本地特征图f采用卷积层处理形成多边形边界罩m，再利用卷积层处理形成边界罩m的p个预测顶点；p8选定p个预测顶点中横坐标或纵坐标最大或最小的点为第一标定点，如果存在横坐标或纵坐标有相同最大或最小点，则取相应的纵坐标或横坐标最大或最小的点为第一标定点，将第一标定点与剩余p-1个点之间按顺时针或逆时针连接预测点的路径顺序进行距离
计算，和与其距离最长者对应的点连接，相应选定基于边界罩m预测的另一个与第一标定点距离最短的相邻顶点为第二标定点，以同样方式和与其距离最长者对应的点连接，获得两条连接线段之间的交点作为每个建筑的当前建筑中心点。6.根据权利要求1-4任一项所述的方法，其特征在于，s1中旋转倾斜摄影装置的三维模型的建立包括，将建模的地理区域划分为多个子区域，对于每个子区域进行至少一架搭载有旋转倾斜摄影装置的无人机扫描航拍，其中，所述旋转倾斜摄影装置包括上下左右中五个俯角可调的倾斜摄影摄像头，以及搭载所有所述摄像头的旋转平台，所述旋转平台装配于所述无人机上；所述扫描航拍的方法具体包括：以旋转倾斜摄影装置的视场范围的外接矩作为像素元，对于每一个所述子区域，进行行扫和/或列扫完成所述航拍扫描，其中，每个像素元上采集两组倾斜摄影影像图，第一组采集采用五个摄像头全部开启的模式进行采集，之后通过顺时针或逆时针旋转所述旋转平台45
°
开启除中部摄像头以外的四个摄像头进行第二组采集，完毕之后所述旋转平台逆向旋转到第一组采集时的各摄像头所处位置，飞往下一个方位进行下一两组倾斜摄影影像图的采集，将每一个摄像头进行编号，将采集的倾斜摄影影像图与所采集的摄像头之间进行编号关联，其中，对于每一行或列扫描，相邻像素元之间存在重合的边界，相邻行或列之间存在重合的像素元边界；将采集的所有影像图按采集的组与各摄像头的编号进行分组关联，并对像素元进行编号，完成每个像素元编号下各个编号摄像头与对应拍摄的影像之间的映射，最后利用所述映射完成影像的三维自动建模。7.根据权利要求6所述的方法，其特征在于，在采集完毕第一组倾斜摄影影像图且旋转平台旋转之前和/或采集完毕第二组倾斜摄影影像图之后且旋转平台逆向旋转之前，还包括采集第三组倾斜摄影影像图，其中第三组倾斜摄影影像图采集方式是，调整上下左右个摄像头中至少一者的俯角至与各自在地面投影方向轴对称的一面进行采集，并且在采集完之后将所述至少一者的俯角恢复至调整前的俯角状态。8.根据权利要求7所述的方法，其特征在于，当俯角调整完毕之后，视野最远边界与中间摄像头的相对的一端视野边界重合。9.根据权利要求7或8所述的方法，其特征在于，s3具体是通过ogccitygml标准定义不同层级模型的图元和语义表达具体包括：使用citygml定义5级lods对建筑进行多尺度表达，其中，lod0表达建筑的底部或屋顶轮廓平面，为2.5d多边形，对应第三图元；lod1用块状简单表示建筑物外墙体三维模型，对应第二图元；lod2在lod1的基础上加入了对房屋的附属结构和屋顶，及建筑外表纹理的描述，对应第一图元、第二图元、第四图元的集合；lod3在lod2基础上增加描述建筑物的详细外表结构，包括门、窗、阳台，对应了第一图元、第二图元、第四图元，以及第六图元的集合；lod4在lod3基础上增加对建筑物内部设施以及建筑底面的表达，并通过对第六图元和至少部分第一图元和第二图元的隐藏进行展示；所述各层级图元和语义映射表，如下表所示：
其中，所述开口是指建筑物的详细外表结构和/或因至少部分第一图元和第二图元的隐藏而形成的可展示至少一部分所述内部设施配的无遮挡空间，所述房间是经由无遮挡空间有获得展示。10.根据权利要求9所述的方法，其特征在于，通过lod标签之间的逻辑运算，映射成不同图元的表达。11.一种用于实现如权利要求1-10中任一项所述的基于三维语义模型的地理实体多形态表达方法的无人机，其特征在于，所述无人机搭载旋转倾斜摄影装置，所述旋转倾斜摄影装置包括上下左右中五个俯角可调的倾斜摄影摄像头，包含变俯角控制机构、图像采集卡、信号与数据无线传输设备的主箱，以及搭载所有所述摄像头的旋转平台，其中，所述旋转平台装配于所述无人机上，所述主箱顶板具有能够与所述旋转平台的旋转连杆相连接的接口，旋转平台通过其内齿与所述无人机上搭载的电机输出轴齿轮进行啮合，以控制所述旋转倾斜摄影装置的旋转以及逆向旋转运动。
技术总结本申请公开了基于三维语义模型的地理实体多形态表达方法，包括以下步骤：获取基于旋转和俯角调整的倾斜摄影三维模型，对三维模型与前期模型进行配准，实现图元和语义解析；通过OGCCityGML标准定义不同层级模型的图元和语义表达，建立各层级图元和语义映射表；基于图元和语义映射关系，重构模型从而实现不同层级模型的派生，其中每个对象都与LoD标签关联，即同一个对象可以有对应不同LoD的模型表达，其均与同一个实体关联，在不同细节层级下选择对应的显示方式，实现实体在相应LoD下的显著表达。本申请实现了精确高效建模三维语义模型的多层次结构的派生，完善了地理实体的各不同层次表达需求。层次表达需求。层次表达需求。
技术研发人员：刘俊伟 邬丽娟 杨文雪
受保护的技术使用者：泰瑞数创科技（北京）股份有限公司
技术研发日：2022.05.10
技术公布日：2022/11/1
