1.本技术涉及图像处理技术领域,特别是涉及一种全景图像显示方法、装置、电子设备及存储介质。
背景技术:2.随着经济的飞速发展,各行各业对实时监管系统的需求与日俱增,实时监控监管被广泛应用于公共安全、交通、教育、医疗等多个领域,尤其是在一些涉及安全问题的场合,更是发挥着不可替代的作用。
3.传统的2d监控显示平面环境图,只能监控单幅画面,不能切换其它场景且存在视野盲区,已无法满足企业高要求的生产管理。
技术实现要素:4.本技术实施例所要解决的技术问题是提供一种全景图像显示方法、装置、电子设备及存储介质,以解决现有技术中传统的2d监控技术不能切换其它场景且存在视野盲区,无法满足企业高要求的生产管理的技术问题。
5.第一方面,本技术实施例提供了一种全景图像显示方法,包括:
6.获取在当前时刻采集的目标场景内多个分区场景对应的分区场景数据,及每个所述分区场景对应的多幅分区场景图像;
7.获取所述目标场景对应的目标场景图像;
8.对每个所述分区场景的多幅分区场景图像进行拼接处理,生成每个所述分区场景对应的拼接图像;
9.根据每个所述分区场景在所述目标场景内的位置信息,建立每幅所述拼接图像与所述目标场景图像上的分区图像之间的触控关联关系,及所述分区场景数据与所述分区图像之间的对应关系;
10.将所述拼接图像、所述目标场景图像、所述分区场景数据、所述触控关联关系和所述对应关系发送给目标终端,以由所述目标终端根据所述对应关系将所述分区场景数据显示于所述目标场景图像上,并叠加显示所述目标场景图像和所述拼接图像,及根据所述触控关联关系实现所述目标场景图像与所述拼接图像之间的切换。
11.可选地,所述对每个所述分区场景的多幅分区场景图像进行拼接处理,生成每个所述分区场景对应的拼接图像,包括:
12.根据预置图像特征匹配算法对每个分区场景对应的多幅分区场景图像进行特征匹配处理,确定每个所述分区场景的多幅分区场景图像中的相邻图像;
13.基于距离变换算法对所述相邻图像进行处理,确定所述相邻图像之间的目标图像缝合线;
14.根据所述目标图像缝合线,对所述多幅分区场景图像进行拼接处理,生成每个所述分区场景对应的拼接图像。
15.可选地,所述基于距离变换算法对所述相邻图像进行处理,确定所述相邻图像之间的目标图像缝合线,包括:
16.基于所述距离变换算法,计算得到所述相邻图像对应的图像特征距离;
17.根据所述图像特征距离,确定所述相邻图像之间的目标图像缝合线。
18.可选地,所述根据所述目标图像缝合线,对所述多幅分区场景图像进行拼接处理,生成每个所述分区场景对应的拼接图像,包括:
19.根据所述相邻图像在相邻位置处的图像参数,确定所述相邻图像对应的基准图像参数;
20.根据所述基准图像参数,对所述相邻图像在相邻位置处的图像参数进行调整,得到参数调整的相邻图像;
21.根据所述目标图像缝合线,对所述参数调整的相邻图像进行拼接处理,生成每个所述分区场景对应的拼接图像。
22.可选地,所述对每个所述分区场景的多幅分区场景图像进行拼接处理,生成每个所述分区场景对应的拼接图像,包括:
23.调用每个所述分区场景对应的线程,对相应分区场景的多幅分区场景图像进行拼接处理,生成每个所述分区场景对应的拼接图像。
24.可选地,所述将所述拼接图像、所述目标场景图像、所述分区场景数据、所述触控关联关系和所述对应关系发送给目标终端,包括:
25.根据所述目标终端对应的屏幕显示参数,对所述拼接图像和所述目标场景图像的图像参数进行调整,得到调整的拼接图像和目标场景图像;
26.将所述分区场景数据转换为json格式的场景数据;
27.根据与所述目标终端之间的数据传输协议,将所述调整的拼接图像和目标场景图像、所述json格式的场景数据、所述触控关联关系和所述对应关系发送给所述目标终端。
28.可选地,在所述将所述拼接图像、所述目标场景图像、所述分区场景数据、所述触控关联关系和所述对应关系发送给目标终端之后,还包括:
29.获取所述分区场景数据中的异常分区场景数据;
30.生成所述异常分区场景数据对应的目标分区场景对应的异常提示信息;
31.将所述异常提示信息发送给所述目标终端,以由所述目标终端在所述目标场景图像上与所述目标分区场景对应的图像位置显示所述异常提示信息。
32.第二方面,本技术实施例提供了一种全景图像显示装置,包括:
33.分区场景图像获取模块,用于获取在当前时刻采集的目标场景内多个分区场景对应的分区场景数据,及每个所述分区场景对应的多幅分区场景图像;
34.目标场景图像获取模块,用于获取所述目标场景对应的目标场景图像;
35.分区拼接图像生成模块,用于对每个所述分区场景的多幅分区场景图像进行拼接处理,生成每个所述分区场景对应的拼接图像;
36.图像关联关系建立模块,用于根据每个所述分区场景在所述目标场景内的位置信息,建立每幅所述拼接图像与所述目标场景图像上的分区图像之间的触控关联关系,及所述分区场景数据与所述分区图像之间的对应关系;
37.场景图像数据发送模块,用于将所述拼接图像、所述目标场景图像、所述分区场景
数据、所述触控关联关系和所述对应关系发送给目标终端,以由所述目标终端根据所述对应关系将所述分区场景数据显示于所述目标场景图像上,并叠加显示所述目标场景图像和所述拼接图像,及根据所述触控关联关系实现所述目标场景图像与所述拼接图像之间的切换。
38.可选地,所述分区拼接图像生成模块包括:
39.相邻图像确定单元,用于根据预置图像特征匹配算法对每个分区场景对应的多幅分区场景图像进行特征匹配处理,确定每个所述分区场景的多幅分区场景图像中的相邻图像;
40.图像缝合线确定单元,用于基于距离变换算法对所述相邻图像进行处理,确定所述相邻图像之间的目标图像缝合线;
41.第一拼接图像生成单元,用于根据所述目标图像缝合线,对所述多幅分区场景图像进行拼接处理,生成每个所述分区场景对应的拼接图像。
42.可选地,所述图像缝合线确定单元包括:
43.特征距离计算子单元,用于基于所述距离变换算法,计算得到所述相邻图像对应的图像特征距离;
44.图像缝合线确定子单元,用于根据所述图像特征距离,确定所述相邻图像之间的目标图像缝合线。
45.可选地,所述第一拼接图像生成单元包括:
46.基准图像参数确定子单元,用于根据所述相邻图像在相邻位置处的图像参数,确定所述相邻图像对应的基准图像参数;
47.参数调整图像获取子单元,用于根据所述基准图像参数,对所述相邻图像在相邻位置处的图像参数进行调整,得到参数调整的相邻图像;
48.拼接图像生成子单元,用于根据所述目标图像缝合线,对所述参数调整的相邻图像进行拼接处理,生成每个所述分区场景对应的拼接图像。
49.可选地,所述分区拼接图像生成模块包括:
50.第二拼接图像生成单元,用于调用每个所述分区场景对应的线程,对相应分区场景的多幅分区场景图像进行拼接处理,生成每个所述分区场景对应的拼接图像。
51.可选地,所述场景图像数据发送模块包括:
52.参数调整图像获取单元,用于根据所述目标终端对应的屏幕显示参数,对所述拼接图像和所述目标场景图像的图像参数进行调整,得到调整的拼接图像和目标场景图像;
53.分区场景数据转换单元,用于将所述分区场景数据转换为json格式的场景数据;
54.场景图像数据发送单元,用于根据与所述目标终端之间的数据传输协议,将所述调整的拼接图像和目标场景图像、所述json格式的场景数据、所述触控关联关系和所述对应关系发送给所述目标终端。
55.可选地,所述装置还包括:
56.异常场景数据获取模块,用于获取所述分区场景数据中的异常分区场景数据;
57.异常提示信息生成模块,用于生成所述异常分区场景数据对应的目标分区场景对应的异常提示信息;
58.异常提示信息发送模块,用于将所述异常提示信息发送给所述目标终端,以由所
述目标终端在所述目标场景图像上与所述目标分区场景对应的图像位置显示所述异常提示信息。
59.第三方面,本技术实施例提供了一种电子设备,包括:
60.处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现上述任一项所述的全景图像显示方法。
61.第四方面,本技术实施例提供了一种计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述任一项所述的全景图像显示方法。
62.与现有技术相比,本技术实施例包括以下优点:
63.本技术实施例中,通过获取在当前时刻采集的目标场景内多个分区场景对应的分区场景数据,及每个分区场景对应的多幅分区场景图像,获取目标场景对应的目标场景图像,对每个分区场景的多幅分区场景图像进行拼接处理,生成每个分区场景对应的拼接图像,根据每个分区场景在目标场景内的位置信息,建立每幅拼接图像与目标场景图像上的分区图像之间的触控关联关系,及分区场景数据与分区图像之间的对应关系,将拼接图像、目标场景图像、分区场景数据、触控关联关系和对应关系发送给目标终端,以由目标终端根据对应关系将分区场景数据显示于目标场景图像上,并叠加显示目标场景图像和拼接图像,及根据触控关联关系实现目标场景图像与拼接图像之间的切换。本技术实施例通过将实时采集的场景数据在全景场景图像上显示,且根据触控关联关系可以进行全景漫游场景切换,进而实现了监管范围内360度的可视化管理。
64.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本技术。
附图说明
65.图1为本技术实施例提供的一种全景图像显示方法的步骤流程图;
66.图2为本技术实施例提供的一种拼接图像生成方法的步骤流程图;
67.图3为本技术实施例提供的一种图像缝合线确定方法的步骤流程图;
68.图4为本技术实施例提供的另一种拼接图像生成方法的步骤流程图;
69.图5为本技术实施例提供的一种场景数据发送方法的步骤流程图;
70.图6为本技术实施例提供的一种异常提示信息显示方法的步骤流程图;
71.图7为本技术实施例提供的一种全景漫游监控系统的结构示意图;
72.图8为本技术实施例提供的一种全景图像显示装置的结构示意图;
73.图9为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
74.为使本技术的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本技术作进一步详细的说明。
75.在本技术实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本技术。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
76.参照图1,示出了本技术实施例提供的一种全景图像显示方法的步骤流程图,如图1所示,该全景图像显示方法可以包括以下步骤:
77.步骤101:获取在当前时刻采集的目标场景内多个分区场景对应的分区场景数据,及每个所述分区场景对应的多幅分区场景图像。
78.本技术实施例可以应用于服务器,即执行主体为服务器。
79.目标场景是指需要进行可视化监管的场景,在本示例中,目标场景可以为海关、乡村、工地、景区等类型的场景,具体地,对于目标场景的具体类型可以根据实际情况而定,本实施例对此不加以限制。
80.分区场景是指将目标场景进行划分得到的多个分区场景,例如,目标场景以海关场景为例,在对海关的40个港口进行可视化监管时,40个港口形成的海关场景即为目标场景,每个港口即为一个分区场景。或者,目标场景以景区场景为例,xx景区作为目标场景,在xx景区内包含多个特色建筑,以每个特色建筑为中心距离特色距离在预置距离范围(如300米、500米等) 内的区域可以作为一个分区场景等。
81.分区场景数据是指在当前时刻采集的多个分区场景的数据,在本示例中,分区场景数据可以为环境数据,例如,分区场景以景区分区场景为例,分区场景数据可以检测的景区分区场景的温度、湿度、人流等数据。分区场景数据还可以为分区场景内的建筑数据,例如,分区场景以乡村为例,分区场景数据可以检测的乡村小区内房屋倾斜、沉降等的数据。
82.可以理解地,上述示例仅是为了更好地理解本技术实施例的技术方案而列举的示例,不作为对本实施例的唯一限制。
83.分区场景图像是指采集的目标场景内每个分区场景的图像,在本示例中,在每个分区场景内可以预先安装多个监控摄像头,通过多个监控摄像头可以实时拍摄得到该分区场景内的图像,拍摄的每个分区场景的多幅图像即可以实现对该分区场景的全覆盖监控。
84.在需要对目标场景进行全景图像的显示时,可以获取在当前时刻采集的目标场景内的多个分区场景对应的分区场景数据,以及每个分区场景对应的多幅分区场景图像。
85.步骤102:获取所述目标场景对应的目标场景图像。
86.目标场景图像是指可以覆盖目标场景的全部范围的图像,在本示例中,目标场景图像可以为一幅类地图的图像,在具体实现中,目标场景图像可以为在当前时刻航拍得到的目标场景的全景图像。也可以为根据目标场景的场景布局绘制的图像等等。
87.在本示例中,目标场景图像可以是实时航拍得到的目标场景的全景图像,也可以是预先保存的目标场景的全景图像等,对于目标场景图像的获取方式可以根据业务需求而定,本实施例对此不加以限制。
88.在需要对目标场景进行全景图像的显示时,可以获取目标场景对应的目标场景图像。
89.在获取到在当前时刻采集的目标场景内多个分区场景对应的分区场景数据、每个分区场景对应的多幅分区场景图像以及目标场景图像之后,执行步骤103。
90.步骤103:对每个所述分区场景的多幅分区场景图像进行拼接处理,生成每个所述分区场景对应的拼接图像。
91.拼接图像是指对每个分区场景对应的多幅分区场景图像进行拼接得到的图像,即每个分区场景均对应于一幅拼接图像,例如,目标场景包含四个分区场景,分别为分区场景
1、分区场景2、分区场景3和分区场景4,在得到分区场景1对应的多幅分区场景图像之后,可以对分区场景1的多幅分区场景图像进行拼接处理,以得到分区场景1对应的拼接图像1。在得到分区场景2对应的多幅分区场景图像之后,可以对分区场景2的多幅分区场景图像进行拼接处理,以得到分区场景2对应的拼接图像2。在得到分区场景3 对应的多幅分区场景图像之后,可以对分区场景3的多幅分区场景图像进行拼接处理,以得到分区场景3对应的拼接图像3。在得到分区场景4对应的多幅分区场景图像之后,可以对分区场景4的多幅分区场景图像进行拼接处理,以得到分区场景4对应的拼接图像4等。
92.可以理解地,上述示例仅是为了更好地理解本技术实施例的技术方案而列举的示例,不作为对本实施例的唯一限制。
93.在得到目标场景内每个分区场景对应的多幅分区场景图像中,可以对每个分区场景的多幅分区场景图像进行拼接处理,以生成每个分区场景对应的拼接图像。
94.在具体实现中,在得到每个分区场景对应的多幅分区场景图像之后,可以采用特征匹配算法确定出多幅分区场景图像中的相邻图像,然后,在采用距离变换算法计算出相邻图像之间的图像缝合线,并根据图像缝合线进行相邻图像之间的拼接。对于该过程可以结合图2进行如下详细描述。
95.参照图2,示出了本技术实施例提供的一种拼接图像生成方法的步骤流程图,如图2所示,该拼接图像生成方法可以包括:步骤201、步骤202和步骤203。
96.步骤201:根据预置图像特征匹配算法对每个分区场景对应的多幅分区场景图像进行特征匹配处理,确定每个所述分区场景的多幅分区场景图像中的相邻图像。
97.在本实施例中,在得到每个分区场景对应的多幅分区场景图像之后,可以采用预置图像特征匹配算法对多幅分区场景图像进行图像特征匹配处理,以得到每个分区场景的多幅分区场景图像中的相邻图像。可以理解地,每幅分区场景图像的相邻图像可以为一幅图像,也可以为多幅图像,具体地,对于每幅分区场景图像的相邻图像的数目可以根据实际情况而定,本实施例对此不加以限制。
98.在实际应用中,预置图像特征匹配算法可以包括:基于bbf的粗匹配算法和基于ransanc的细匹配算法,在具体地匹配过程中,可以先采用基于bbf的粗匹配算法进行图像特征匹配处理,以得到每个分区场景的多幅分区场景图像中的可能有相邻关系的初始分区场景图像。然后再采用基于 ransanc的细匹配算法多初始分区场景图像再次进行图像特征匹配,以从初始分区场景图像中筛选出相邻图像。
99.在根据预置图像特征匹配算法对每个分区场景对应的多幅分区场景图像进行特征匹配处理,确定每个分区场景的多幅分区场景图像中的相邻图像之后,执行步骤202。
100.步骤202:基于距离变换算法对所述相邻图像进行处理,确定所述相邻图像之间的目标图像缝合线。
101.在得到每个分区场景的多幅分区场景图像中的相邻图像之后,可以采用距离变换算法对相邻图像进行处理,以确定相邻图像之间的目标图像缝合线。具体地,可以采用距离变换算法计算出相邻图像之间的图像特征距离,然后根据计算的图像特征距离确定出目标缝合线,具体地,对于该过程可以结合图3进行如下详细描述。
102.参照图3,示出了本技术实施例提供的一种图像缝合线确定方法的步骤流程图,如图3所示,该图像缝合线确定方法可以包括:步骤301和步骤302。
103.步骤301:基于所述距离变换算法,计算得到所述相邻图像对应的图像特征距离。
104.在本实施例中,在确定出每个分区场景的多幅分区场景图像之后,可以基于距离变换算法计算得到相邻图像对应的图像特征距离。
105.在实际应用中,在确定出相邻图像之后,可以获取相邻图像中两幅相邻图像中每幅图像在相邻区域的一排图像特征,然后计算这两排图像特征之间的距离,以作为相邻图像的图像特征距离。
106.在基于距离变换算法计算得到相邻图像对应的图像特征距离之后,执行步骤302。
107.步骤302:根据所述图像特征距离,确定所述相邻图像之间的目标图像缝合线。
108.在基于距离变换算法计算得到相邻图像对应的图像特征距离之后,可以根据图像特征距离,确定出相邻图像之间的目标图像缝合线,该目标图像缝合线即可以作为相邻图像的拼接位置,进行相邻图像之间的拼接。
109.本技术实施例通过计算最优缝合线(即目标图像缝合线)进行图像拼接,可以提高图像融合效果。
110.在得到相邻图像之间的目标图像缝合线之后,执行步骤203。
111.步骤203:根据所述目标图像缝合线,对所述多幅分区场景图像进行拼接处理,生成每个所述分区场景对应的拼接图像。
112.在得到相邻图像之间的目标图像缝合线之后,可以根据目标图像缝合线对多幅分区场景图像进行拼接处理,以生成每个分区场景对应的拼接图像。
113.在具体实现中,在进行图像拼接时,还可以对相邻图像的相邻位置处的图像参数进行调整,以实现图像参数的平滑过渡,对于该实现过程可以结合图4进行如下详细描述。
114.参照图4,示出了本技术实施例提供的另一种拼接图像生成方法的步骤流程图,如图4所示,该拼接图像生成方法可以包括:步骤401、步骤402 和步骤403。
115.步骤401:根据所述相邻图像在相邻位置处的图像参数,确定所述相邻图像对应的基准图像参数。
116.在本实施例中,基准图像参数是指与相邻图像在相邻位置处的图像参数匹配的图像参数,该基准图像参数可以用于指示相邻图像在相邻位置处的图像参数在进行调整之后的参数。在本示例中,图像参数可以包括:亮度参数、颜色参数等。
117.在获取到每个分区场景的多幅分区场景图像中的相邻图像之后,可以根据相邻图像在相邻位置处的图像参数,确定相邻图像对应的基准图像参数。具体地,可以根据相邻两幅图像在拼接位置处的图像参数进行基准参数的计算,如计算亮度平均值,或中间颜色等,以根据计算结果得到基准图像参数。
118.在得到基准图像参数之后,执行步骤402。
119.步骤402:根据所述基准图像参数,对所述相邻图像在相邻位置处的图像参数进行调整,得到参数调整的相邻图像。
120.在得到基准图像参数之后,可以根据基准图像参数对相邻图像在相邻位置处的图像参数进行调整,以得到参数调整的相邻图像。
121.步骤403:根据所述目标图像缝合线,对所述参数调整的相邻图像进行拼接处理,生成每个所述分区场景对应的拼接图像。
122.在得到参数调整的相邻图像之后,可以根据目标图像缝合线对参数调整的相邻图
像进行拼接处理,以生成每个分区场景对应的拼接图像。
123.本技术实施例通过对相邻图像在拼接位置处的图像参数进行调整,可以实现图像参数的平滑过渡,进而提高了图像融合的效果。
124.在本技术的一种具体实现中,还可以采用并行加速技术实现分区场景图像的拼接,具体地,可以调用每个分区场景对应的线程,对相应分区场景的多幅分区场景图像进行拼接处理,以生成每个分区场景对应的拼接图像,以提高图像拼接效率。
125.在得到拼接图像之后,执行步骤104。
126.步骤104:根据每个所述分区场景在所述目标场景内的位置信息,建立每幅所述拼接图像与所述目标场景图像上的分区图像之间的触控关联关系,及所述分区场景数据与所述分区图像之间的对应关系。
127.在得到拼接图像之后,可以根据每个分区场景在目标场景内的位置信息,建立每幅拼接图像与目标场景图像上的分区图像之间的触控关联关系,以及分区场景数据与分区图像之间的对应关系。
128.步骤105:将所述拼接图像、所述目标场景图像、所述分区场景数据、所述触控关联关系和所述对应关系发送给目标终端,以由所述目标终端根据所述对应关系将所述分区场景数据显示于所述目标场景图像上,并叠加显示所述目标场景图像和所述拼接图像,及根据所述触控关联关系实现所述目标场景图像与所述拼接图像之间的切换。
129.在建立上述触控关联关系及对应关系之后,可以将拼接图像、目标场景图像、分区场景数据、触控关联关系和对应关系发送给目标终端,以由目标终端根据对应关系将分区场景数据显示于目标场景图像上,并叠加显示目标场景图像和拼接图像,及根据触控关联关系实现目标场景图像与拼接图像之间的切换。
130.在本实施例中,在进行场景数据及场景图像的发送时,还可以对分区场景数据进行格式转换,并按照指定传输协议进行数据及图像的传输,具体地,可以结合图5进行如下详细描述。
131.参照图5,示出了本技术实施例提供的一种场景数据发送方法的步骤流程图,如图5所示,该场景数据发送方法可以包括:步骤501、步骤502和步骤503。
132.步骤501:根据所述目标终端对应的屏幕显示参数,对所述拼接图像和所述目标场景图像的图像参数进行调整,得到调整的拼接图像和目标场景图像。
133.在本实施例中,在得到拼接图像和目标场景图像之后,可以根据目标终端的屏幕显示参数对拼接图像和目标场景图像的图像参数进行调整,以得到调整的拼接图像和目标场景图像。例如,目标终端的屏幕显示参数为 800*800,若拼接图像和目标场景图像的尺寸过大或过小,均会影响图像的显示,此时,需要将拼接图像和目标场景图像的尺寸调整为800*800,以将尺寸调整后的拼接图像和目标场景图像作为调整的拼接图像和目标场景图像。
134.步骤502:将所述分区场景数据转换为json格式的场景数据。
135.在本示例中,在得到分区场景数据之后,还可以将分区场景数据转换为 json格式的场景数据。
136.步骤503:根据与所述目标终端之间的数据传输协议,将所述调整的拼接图像和目标场景图像、所述json格式的场景数据、所述触控关联关系和所述对应关系发送给所述目
标终端。
137.在经过上述步骤的处理之后,可以根据与目标终端之间的数据传输协议,将调整的拼接图像和目标场景图像json格式的场景数据、触控关联关系和对应关系发送给目标终端。
138.在具体实现中,可以通过ajax技术实现前端与服务器通信,将数据参数以json格式传递,并调用graphiclayer将数据图层渲染出来,确保全景内容读取的流畅性和交互的灵活性,实现在线快捷体验全景漫游监管功能。
139.本技术实施例通过将实时采集的场景数据在全景场景图像上显示,且根据触控关联关系可以进行全景漫游场景切换,进而实现了监管范围内360度的可视化管理。
140.在本实施例中,基于webgl全景漫游能力基础上叠加ai算法,对前端 vr设备、物联网设备、监控设备等采集的数据进行云端存储及统计分类,并结合ai、大数据做智能分析和预警。对于预警的过程可以结合图6进行如下详细描述。
141.参照图6,示出了本技术实施例提供的一种异常提示信息显示方法的步骤流程图,如图6所示,该异常提示信息显示方法可以包括:步骤601、步骤602和步骤603。
142.步骤601:获取所述分区场景数据中的异常分区场景数据。
143.在本实施例中,在获取到分区场景数据之后,还可以对分区场景数据进行相应处理,以提取到其中的异常分区场景数据,例如,分区场景数据以温度或湿度数据为例,可以预先设置一个温度阈值或湿度阈值,在检测的温度或湿度数据超过温度阈值或湿度阈值,则表示该分区场景数据为异常分区场景数据等。
144.可以理解地,上述示例仅是为了更好地理解本技术实施例的技术方案而列举的示例,不作为对本实施例的唯一限制。
145.在获取到分区场景数据中的异常分区场景数据之后,执行步骤602。
146.步骤602:生成所述异常分区场景数据对应的目标分区场景对应的异常提示信息。
147.在获取到分区场景数据中的异常分区场景数据之后,可以生成异常分区场景数据对应的目标分区场景对应的异常提示信息。
148.步骤603:将所述异常提示信息发送给所述目标终端,以由所述目标终端在所述目标场景图像上与所述目标分区场景对应的图像位置显示所述异常提示信息。
149.在生成异常分区场景数据对应的目标分区场景对应的异常提示信息之后,可以将该异常提示信息发送给目标终端,以由目标终端在目标场景图像上与目标分区场景对应的图像位置显示异常提示信息,以实现智能预警。
150.本实施例提供的全景图像显示方案,可以通过一套系统来实现,如图7 所示。该全景漫游监控系统可以包括:
151.前端设备接入层:可以开发基于osgi架构的通用设备接入模块和api 接口模块,接入各种硬件设备如vr设备、物联网设备、监控摄像头设备等,并对接入的各种设备进行管理。
152.网络及资源层:可以依靠公有云/私有云计算平台,提供虚拟化的云服务器、对计算资源、存储资源、算法资源实现云存储、云安全、云计算等基础云计算资源管理服务。
153.能力层:可以负责接收及分类处理前端设备所采集数据,响应系统数据订阅以及接口调用请求,并提供设备管理、数据管理、监控运维、数据可视化、统计分析等功能。
154.平台层:可以对底层服务资源进行抽取,通过对资源层的隔离,实施资源的管理和调配,提高资源整体使用率,降低基础设施的投入。
155.本实施例提供的上述监管系统,从云、网、端、边入手,本专利通过在全景漫游监控能力上叠加html5框架协议可实现实时监测、图像回传、物联网联动、ai识别、vr智能巡检机器人等功能,引入物联网、虚拟现实技术、人工智能和大数据等新技术建设“智慧监管”平台,实现各监管场所人员可便捷地“线上”远程监管,构建融合、敏捷、智能的创新型全景漫游监管应用能力。
156.本方案可以应用于海关、企管、智慧工地、智慧乡村建设等场景进行远程展示、监管等需求。
157.1、海关场景:通过在全景漫游系统能力上叠加数据图层可实现实时监测、图像回传、物联网联动、ai识别、vr智能巡检机器人等功能,对海关各大港口共40个场景采集3d全景地图,并在全景地图上标注所有监控设备、检验检疫设备、重要位置进行标注。在关口等重点防疫区域,提供昼夜24 小时,不间断的监管服务。海关监管者点击全景漫游系统上某个场所或设备,可在多终端(pc、手机、大屏、vr头显等)沉浸式、便捷化观看旅检及企业的vr全景画面,实时掌控港口设备运行状态,对重要场所快速定位与监控,及时处理异常事件。本项目在所需阶段期间有效地减少人员之间的接触频次,降低传染性疾病的传播风险,为海关工作带来全新的监控及观看方式,提高海关监管的工作效率。
158.2、乡村场景:农业中可运用基于实景和ai算法构建的3d全景漫游系统能力,直观展示农业园区环境,通过交互热点和外链(文字、图片或视频) 加强展示和互动,并在全景漫游系统能力叠加物联网业务系统接口集成,全方位展示物联网信息(如传感器信息),智能控制农业物联网设备;叠加 ai算法实现智能安监、检测、预警等功能;叠加ai视频分析对乡村进出车辆进行号牌型号信息及行动轨迹信息记录,协助识别通关车辆是否正常,快速实施放行和拦截动作。
159.3、工地场景:将xx小区不同区域的多个监测设备连接后,通过5g网络实时将现场数据传送至服务器,对小区的房屋倾斜、沉降等的数据信息进行不间断监测和收集,并将数据汇总进入网络数据库,在设备开始运行时,各监控分点返回与服务器之间的通讯连接情况,利用tcp/ip通讯协议与服务器相连接调用数据接口,可以实时掌握结构各类真实“体检指标”的动态信息,监测所得的物理量可按需进行分析研判,通过html5-live技术和 webgl全景技术结合的方式,脱离中间插件的支持,工作人员通过电脑或移动终端设备进行交互操作,实现智能解析比对。
160.本技术实施例提供的全景图像显示方法,通过获取在当前时刻采集的目标场景内多个分区场景对应的分区场景数据,及每个分区场景对应的多幅分区场景图像,获取目标场景对应的目标场景图像,对每个分区场景的多幅分区场景图像进行拼接处理,生成每个分区场景对应的拼接图像,根据每个分区场景在目标场景内的位置信息,建立每幅拼接图像与目标场景图像上的分区图像之间的触控关联关系,及分区场景数据与分区图像之间的对应关系,将拼接图像、目标场景图像、分区场景数据、触控关联关系和对应关系发送给目标终端,以由目标终端根据对应关系将分区场景数据显示于目标场景图像上,并叠加显示目标场景图像和拼接图像,及根据触控关联关系实现目标场景图像与拼接图像之间的切换。本技术实施例通过将实时采集的场景数据在全景场景图像上显示,且根据触控关联关
系可以进行全景漫游场景切换,进而实现了监管范围内360度的可视化管理。
161.参照图8,示出了本技术实施例提供的一种全景图像显示装置的结构示意图,如图8所示,该全景图像显示装置800可以包括以下模块:
162.分区场景图像获取模块810,用于获取在当前时刻采集的目标场景内多个分区场景对应的分区场景数据,及每个所述分区场景对应的多幅分区场景图像;
163.目标场景图像获取模块820,用于获取所述目标场景对应的目标场景图像;
164.分区拼接图像生成模块830,用于对每个所述分区场景的多幅分区场景图像进行拼接处理,生成每个所述分区场景对应的拼接图像;
165.图像关联关系建立模块840,用于根据每个所述分区场景在所述目标场景内的位置信息,建立每幅所述拼接图像与所述目标场景图像上的分区图像之间的触控关联关系,及所述分区场景数据与所述分区图像之间的对应关系;
166.场景图像数据发送模块850,用于将所述拼接图像、所述目标场景图像、所述分区场景数据、所述触控关联关系和所述对应关系发送给目标终端,以由所述目标终端根据所述对应关系将所述分区场景数据显示于所述目标场景图像上,并叠加显示所述目标场景图像和所述拼接图像,及根据所述触控关联关系实现所述目标场景图像与所述拼接图像之间的切换。
167.可选地,所述分区拼接图像生成模块830包括:
168.相邻图像确定单元,用于根据预置图像特征匹配算法对每个分区场景对应的多幅分区场景图像进行特征匹配处理,确定每个所述分区场景的多幅分区场景图像中的相邻图像;
169.图像缝合线确定单元,用于基于距离变换算法对所述相邻图像进行处理,确定所述相邻图像之间的目标图像缝合线;
170.第一拼接图像生成单元,用于根据所述目标图像缝合线,对所述多幅分区场景图像进行拼接处理,生成每个所述分区场景对应的拼接图像。
171.可选地,所述图像缝合线确定单元包括:
172.特征距离计算子单元,用于基于所述距离变换算法,计算得到所述相邻图像对应的图像特征距离;
173.图像缝合线确定子单元,用于根据所述图像特征距离,确定所述相邻图像之间的目标图像缝合线。
174.可选地,所述第一拼接图像生成单元包括:
175.基准图像参数确定子单元,用于根据所述相邻图像在相邻位置处的图像参数,确定所述相邻图像对应的基准图像参数;
176.参数调整图像获取子单元,用于根据所述基准图像参数,对所述相邻图像在相邻位置处的图像参数进行调整,得到参数调整的相邻图像;
177.拼接图像生成子单元,用于根据所述目标图像缝合线,对所述参数调整的相邻图像进行拼接处理,生成每个所述分区场景对应的拼接图像。
178.可选地,所述分区拼接图像生成模块830包括:
179.第二拼接图像生成单元,用于调用每个所述分区场景对应的线程,对相应分区场景的多幅分区场景图像进行拼接处理,生成每个所述分区场景对应的拼接图像。
180.可选地,所述场景图像数据发送模块850包括:
181.参数调整图像获取单元,用于根据所述目标终端对应的屏幕显示参数,对所述拼接图像和所述目标场景图像的图像参数进行调整,得到调整的拼接图像和目标场景图像;
182.分区场景数据转换单元,用于将所述分区场景数据转换为json格式的场景数据;
183.场景图像数据发送单元,用于根据与所述目标终端之间的数据传输协议,将所述调整的拼接图像和目标场景图像、所述json格式的场景数据、所述触控关联关系和所述对应关系发送给所述目标终端。
184.可选地,所述装置还包括:
185.异常场景数据获取模块,用于获取所述分区场景数据中的异常分区场景数据;
186.异常提示信息生成模块,用于生成所述异常分区场景数据对应的目标分区场景对应的异常提示信息;
187.异常提示信息发送模块,用于将所述异常提示信息发送给所述目标终端,以由所述目标终端在所述目标场景图像上与所述目标分区场景对应的图像位置显示所述异常提示信息。
188.本技术实施例提供的全景图像显示装置,通过获取在当前时刻采集的目标场景内多个分区场景对应的分区场景数据,及每个分区场景对应的多幅分区场景图像,获取目标场景对应的目标场景图像,对每个分区场景的多幅分区场景图像进行拼接处理,生成每个分区场景对应的拼接图像,根据每个分区场景在目标场景内的位置信息,建立每幅拼接图像与目标场景图像上的分区图像之间的触控关联关系,及分区场景数据与分区图像之间的对应关系,将拼接图像、目标场景图像、分区场景数据、触控关联关系和对应关系发送给目标终端,以由目标终端根据对应关系将分区场景数据显示于目标场景图像上,并叠加显示目标场景图像和拼接图像,及根据触控关联关系实现目标场景图像与拼接图像之间的切换。本技术实施例通过将实时采集的场景数据在全景场景图像上显示,且根据触控关联关系可以进行全景漫游场景切换,进而实现了监管范围内360度的可视化管理。
189.本技术实施例还提供了一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述全景图像显示方法。
190.图9示出了本发明实施例的一种电子设备900的结构示意图。如图9所示,电子设备900包括中央处理单元(cpu)901,其可以根据存储在只读存储器(rom)902中的计算机程序指令或者从存储单元908加载到随机访问存储器(ram)903中的计算机程序指令,来执行各种适当的动作和处理。在ram903中,还可存储电子设备900操作所需的各种程序和数据。cpu901、 rom902以及ram903通过总线904彼此相连。输入/输出(i/o)接口905 也连接至总线904。
191.电子设备900中的多个部件连接至i/o接口905,包括:输入单元906,例如键盘、鼠标、麦克风等;输出单元907,例如各种类型的显示器、扬声器等;存储单元908,例如磁盘、光盘等;以及通信单元909,例如网卡、调制解调器、无线通信收发机等。通信单元909允许电子设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
192.上文所描述的各个过程和处理,可由处理单元901执行。例如,上述任一实施例的方法可被实现为计算机软件程序,其被有形地包含于计算机可读介质,例如存储单元908。
在一些实施例中,计算机程序的部分或者全部可以经由rom902和/或通信单元909而被载入和/或安装到电子设备900上。当计算机程序被加载到ram903并由cpu901执行时,可以执行上文描述的方法中的一个或多个动作。
193.本技术实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现全景图像显示方法。
194.本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
195.本领域内的技术人员应明白,本技术实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本技术实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
196.本技术实施例是参照根据本技术实施例的方法、终端(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
197.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
198.这些计算机程序指令也可装载到计算机或其他可编程数据处理终端上,使得在计算机或其他可编程终端上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
199.尽管已描述了本技术实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本技术实施例范围的所有变更和修改。
200.最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端中还存在另外的相同要素。
201.以上对本技术所提供的一种全景图像显示方法、一种全景图像显示装置、一种电子设备和一种计算机可读存储介质,进行了详细介绍,本文中应用了具体个例对本技术的
原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本技术的方法及其核心思想;同时,对于本领域的一般技术人员,依据本技术的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本技术的限制。
技术特征:1.一种全景图像显示方法,其特征在于,包括:获取在当前时刻采集的目标场景内多个分区场景对应的分区场景数据,及每个所述分区场景对应的多幅分区场景图像;获取所述目标场景对应的目标场景图像;对每个所述分区场景的多幅分区场景图像进行拼接处理,生成每个所述分区场景对应的拼接图像;根据每个所述分区场景在所述目标场景内的位置信息,建立每幅所述拼接图像与所述目标场景图像上的分区图像之间的触控关联关系,及所述分区场景数据与所述分区图像之间的对应关系;将所述拼接图像、所述目标场景图像、所述分区场景数据、所述触控关联关系和所述对应关系发送给目标终端,以由所述目标终端根据所述对应关系将所述分区场景数据显示于所述目标场景图像上,并叠加显示所述目标场景图像和所述拼接图像,及根据所述触控关联关系实现所述目标场景图像与所述拼接图像之间的切换。2.根据权利要求1所述的方法,其特征在于,所述对每个所述分区场景的多幅分区场景图像进行拼接处理,生成每个所述分区场景对应的拼接图像,包括:根据预置图像特征匹配算法对每个分区场景对应的多幅分区场景图像进行特征匹配处理,确定每个所述分区场景的多幅分区场景图像中的相邻图像;基于距离变换算法对所述相邻图像进行处理,确定所述相邻图像之间的目标图像缝合线;根据所述目标图像缝合线,对所述多幅分区场景图像进行拼接处理,生成每个所述分区场景对应的拼接图像。3.根据权利要求2所述的方法,其特征在于,所述基于距离变换算法对所述相邻图像进行处理,确定所述相邻图像之间的目标图像缝合线,包括:基于所述距离变换算法,计算得到所述相邻图像对应的图像特征距离;根据所述图像特征距离,确定所述相邻图像之间的目标图像缝合线。4.根据权利要求2所述的方法,其特征在于,所述根据所述目标图像缝合线,对所述多幅分区场景图像进行拼接处理,生成每个所述分区场景对应的拼接图像,包括:根据所述相邻图像在相邻位置处的图像参数,确定所述相邻图像对应的基准图像参数;根据所述基准图像参数,对所述相邻图像在相邻位置处的图像参数进行调整,得到参数调整的相邻图像;根据所述目标图像缝合线,对所述参数调整的相邻图像进行拼接处理,生成每个所述分区场景对应的拼接图像。5.根据权利要求1所述的方法,其特征在于,所述对每个所述分区场景的多幅分区场景图像进行拼接处理,生成每个所述分区场景对应的拼接图像,包括:调用每个所述分区场景对应的线程,对相应分区场景的多幅分区场景图像进行拼接处理,生成每个所述分区场景对应的拼接图像。6.根据权利要求1所述的方法,其特征在于,所述将所述拼接图像、所述目标场景图像、所述分区场景数据、所述触控关联关系和所述对应关系发送给目标终端,包括:
根据所述目标终端对应的屏幕显示参数,对所述拼接图像和所述目标场景图像的图像参数进行调整,得到调整的拼接图像和目标场景图像;将所述分区场景数据转换为json格式的场景数据;根据与所述目标终端之间的数据传输协议,将所述调整的拼接图像和目标场景图像、所述json格式的场景数据、所述触控关联关系和所述对应关系发送给所述目标终端。7.根据权利要求1所述的方法,其特征在于,在所述将所述拼接图像、所述目标场景图像、所述分区场景数据、所述触控关联关系和所述对应关系发送给目标终端之后,还包括:获取所述分区场景数据中的异常分区场景数据;生成所述异常分区场景数据对应的目标分区场景对应的异常提示信息;将所述异常提示信息发送给所述目标终端,以由所述目标终端在所述目标场景图像上与所述目标分区场景对应的图像位置显示所述异常提示信息。8.一种全景图像显示装置,其特征在于,包括:分区场景图像获取模块,用于获取在当前时刻采集的目标场景内多个分区场景对应的分区场景数据,及每个所述分区场景对应的多幅分区场景图像;目标场景图像获取模块,用于获取所述目标场景对应的目标场景图像;分区拼接图像生成模块,用于对每个所述分区场景的多幅分区场景图像进行拼接处理,生成每个所述分区场景对应的拼接图像;图像关联关系建立模块,用于根据每个所述分区场景在所述目标场景内的位置信息,建立每幅所述拼接图像与所述目标场景图像上的分区图像之间的触控关联关系,及所述分区场景数据与所述分区图像之间的对应关系;场景图像数据发送模块,用于将所述拼接图像、所述目标场景图像、所述分区场景数据、所述触控关联关系和所述对应关系发送给目标终端,以由所述目标终端根据所述对应关系将所述分区场景数据显示于所述目标场景图像上,并叠加显示所述目标场景图像和所述拼接图像,及根据所述触控关联关系实现所述目标场景图像与所述拼接图像之间的切换。9.一种电子设备,其特征在于,包括:处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1至7中任一项所述的全景图像显示方法。10.一种计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行权利要求1至7中任一项所述的全景图像显示方法。
技术总结本申请提供了一种全景图像显示方法及装置。方法包括:获取在当前时刻采集的目标场景内多个分区场景对应的分区场景数据,及每个分区场景的多幅分区场景图像;获取目标场景的目标场景图像;对分区场景的多幅分区场景图像进行拼接处理,生成分区场景的拼接图像;根据每个分区场景的位置信息,建立每幅拼接图像与目标场景图像上的分区图像之间的触控关联关系,及分区场景数据与分区图像之间的对应关系;将拼接图像、目标场景图像、分区场景数据、触控关联关系和对应关系发送给目标终端,以由目标终端根据对应关系将分区场景数据显示于目标场景图像上,并叠加显示目标场景图像和拼接图像,及根据触控关联关系实现目标场景图像与拼接图像之间的切换。接图像之间的切换。接图像之间的切换。
技术研发人员:李武璇 陈芃 朱雄增 谢苑
受保护的技术使用者:中国电信股份有限公司
技术研发日:2022.06.13
技术公布日:2022/11/1