本发明涉及道路提取装置及方法。具体地,本发明涉及可利用通过多任务学习(multi task learning)进行预学习的深度学习模型从卫星图像提取道路的道路提取装置及方法。
背景技术:
1、在此记载的内容仅用于提供本实施例的背景技术,无法构成现有技术。
2、当前,在地球上空有全世界的数百颗人造卫星正在以气象、通信、广播、农业、航天开发、军事等目的执行固定任务。从上述人造卫星拍摄的卫星图像可作为公共数据广泛用于多种领域。
3、上述卫星图像是指在非常高的高度拍摄的图像,因此,当前应用深度学习技术加工、分析和/或存储上述卫星图像的技术正备受瞩目。
4、尤其,上述卫星图像大多用于生成或更新地图(map),在此情况下,非常需要从卫星图像精确提取道路(road)形态的技术,以便生成或更新相应地图。
技术实现思路
1、本发明的目的在于,提供可利用通过多任务学习进行预学习的深度学习模型从卫星图像进一步精确地提取道路的道路提取装置及方法。
2、具体地,本发明的目的在于,提供如下的道路提取装置及方法,即,使得自编码器中的一部分执行分割(segmentation)而其他一部分执行目标检测(object detection),由此,可通过配置用于执行分割的多个自编码模型的解码器来执行不同任务。
3、并且,本发明的再一目的在于,提供如下的道路提取装置及方法,即,除与道路形状(road surface)、道路中心线(center line)等相关的任务外,可通过额外执行与表示道路质感的纹理(texture)、表示道路边缘的道路边界(edge)、表示道路角度的道路走向(direction)、非道路标记(not-road mark,例如,建筑物(building)、植物(plant)、水域(water))、道路标记(road mark,例如,车辆(car))等相关的任务来进一步精确地提取道路。
4、本发明的目的并不局限于以上提及的目的,本发明未提及的其他目的及优点不仅能够基于以下说明来理解,而且,可通过本发明实施例进一步明确理解。并且,显而易见的是,本发明的目的及优点可通过发明要求保护范围表现的装置及其组合来实现。
5、本发明多个实施例的道路提取装置包括:数据收集模块,用于收集与道路(road)相关的道路图像;以及深度学习模块,利用深度学习技术执行用于从上述道路图像提取上述道路的任务(task),上述深度学习模块可包括:第一深度学习部,以上述道路图像为对象执行分割(segmentation);以及第二深度学习部,以上述道路图像为对象执行目标检测(object detection)。
6、并且,上述道路图像可包括与上述道路相关的卫星图像。
7、并且,上述深度学习模块可通过多任务学习(multi task learning)来进行学习。
8、并且,上述深度学习模块可利用自编码器(autoencoder)执行上述任务。
9、并且,上述第一深度学习部及上述第二深度学习部可包括:至少一个编码部,对作为输入数据的上述道路图像进行编码并将其转换成潜在表示(latent representation);以及至少一个解码部,通过转换上述潜在表示来生成输出数据。
10、并且,上述第一深度学习部及上述第二深度学习部中的至少一个可包括多个解码部。
11、并且,上述多个解码部可分别进行预学习以执行不同类型的任务。
12、并且,上述第一深度学习部中所包括的第1-1解码部执行与道路形状(roadsurface)、道路中心线(center line)、表示上述道路质感的纹理(texture)、表示上述道路边缘的道路边界(edge)及表示上述道路角度的道路走向(direction)中的至少一个相关的任务,上述第一深度学习部中所包括的第1-2解码部执行与包括建筑物(building)、植物(plant)及水域(water)中的至少一个的非道路标记(not-road mark)相关的任务,上述第二深度学习部中所包括的第二解码部可执行与包括车辆(car)的道路标记(road mark)相关的任务。
13、并且,本发明多个实施例的道路提取装置还可包括后处理模块,合并分别由上述第一深度学习部及上述第二深度学习部执行的任务后对其进行加工来生成最终数据。
14、并且,当存在与上述道路相关的未连接区域时,上述后处理模块可将相应的未连接区域转换成连接区域。
15、本发明多个实施例的道路提取装置及方法具有如下效果,即,可利用通过多任务学习进行预学习的深度学习模型从卫星图像进一步精确地提取道路。
16、具体地,本发明多个实施例的道路提取装置及方法使得自编码器中的一部分执行分割(segmentation)而其他一部分执行目标检测(object detection),由此,可通过配置用于执行分割的多个自编码模型的解码器来执行多种不同任务。
17、并且,除与道路形状(road surface)、道路中心线(center line)等相关的任务外,本发明多个实施例的道路提取装置及方法可通过额外执行与表示道路质感的纹理(texture)、表示道路边缘的道路边界(edge)、表示道路角度的道路走向(direction)等相关的任务来进一步精确地提取道路。
18、而且,本发明多个实施例的道路提取装置及方法可通过额外执行与非道路标记(not-road mark,例如,建筑物(building)、植物(plant)、水域(water))、道路标记(roadmark,例如,车辆(car))等相关的任务来进一步精确地提取道路。
19、除上述内容外,在以下说明具体实施方式的过程中,将一并说明本发明的具体效果。
1.一种道路提取装置,其特征在于,包括:
2.根据权利要求1所述的道路提取装置,其特征在于,所述道路图像包括与所述道路相关的卫星图像。
3.根据权利要求1所述的道路提取装置,其特征在于,所述深度学习模块通过多任务学习来进行学习。
4.根据权利要求3所述的道路提取装置,其特征在于,所述深度学习模块利用自编码器执行所述任务。
5.根据权利要求4所述的道路提取装置,其特征在于,所述第一深度学习部及所述第二深度学习部包括:
6.根据权利要求5所述的道路提取装置,其特征在于,所述第一深度学习部及所述第二深度学习部中的至少一个包括多个解码部。
7.根据权利要求6所述的道路提取装置,其特征在于,所述多个解码部分别进行预学习以执行不同类型的任务。
8.根据权利要求7所述的道路提取装置,其特征在于,
9.根据权利要求1所述的道路提取装置,其特征在于,还包括后处理模块,合并分别由所述第一深度学习部及所述第二深度学习部执行的任务后对其进行加工来生成最终数据。
10.根据权利要求9所述的道路提取装置,其特征在于,当存在与所述道路相关的未连接区域时,所述后处理模块将相应的未连接区域转换成连接区域。
