1.本技术属于图像处理技术领域,尤其涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术:2.随着图像处理技术的飞速发展,图像三维信息的应用需求越来越大。在工业制造、增强现实、物体重建、游戏娱乐等众多领域,均需要用到图像的深度信息,因此,需要提供确定图像的深度信息的方案。
技术实现要素:3.本技术实施例提供一种图像处理方法、装置、存储介质及电子设备,可以确定图像的深度信息。
4.第一方面,本技术实施例提供一种图像处理方法,包括:
5.获取待处理图像,并获取历史参考图像;
6.对所述待处理图像和所述历史参考图像进行差异比对,得到比对结果;
7.根据所述比对结果,从所述待处理图像中确定出差异区域和非差异区域,并通过深度信息计算策略计算所述差异区域的深度信息;
8.将所述历史参考图像中与所述非差异区域对应的区域的深度信息确定为所述非差异区域的深度信息。
9.第二方面,本技术实施例提供一种图像处理装置,包括:
10.图像获取模块,用于获取待处理图像,并获取历史参考图像;
11.差异比对模块,用于对所述待处理图像和所述历史参考图像进行差异比对,得到比对结果;
12.区域确定模块,用于根据所述比对结果,从所述待处理图像中确定出差异区域和非差异区域,并通过深度信息计算策略计算所述差异区域的深度信息;
13.信息确定模块,用于将所述历史参考图像中与所述非差异区域对应的区域的深度信息确定为所述非差异区域的深度信息。
14.第三方面,本技术实施例提供一种电子设备,包括:
15.前置图像处理器,用于获取待处理图像,并获取历史参考图像;对所述待处理图像和所述历史参考图像进行差异比对,得到比对结果;根据所述比对结果,从所述待处理图像中确定出差异区域和非差异区域;计算所述差异区域的深度信息;
16.应用处理器,用于将所述历史参考图像中与所述非差异区域对应的区域的深度信息确定为所述非差异区域的深度信息。
17.第四方面,本技术实施例提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本技术实施例提供的图像处理方法。
18.第五方面,本技术实施例提供一种存储介质,其上存储有计算机程序,当所述计算
机程序在计算机上执行时,使得所述计算机执行本技术实施例提供的图像处理方法。
19.本技术实施例中,通过获取待处理图像,并获取历史参考图像;对待处理图像和历史参考图像进行差异比对,得到比对结果;根据比对结果,从待处理图像中确定出差异区域和非差异区域,并通过深度信息计算策略计算差异区域的深度信息;将历史参考图像中与非差异区域对应的区域的深度信息确定为非差异区域的深度信息,由此,通过深度信息计算策略计算待处理图像的差异区域的深度信息,并通过历史参考图像确定待处理图像的非差异区域的深度信息,可以确定图像的深度信息。
附图说明
20.下面结合附图,通过对本技术的具体实施方式详细描述,将使本技术的技术方案及其有益效果显而易见。
21.图1是本技术实施例提供的图像处理方法的流程示意图。
22.图2是本技术实施例提供的图像处理方法的第一种场景示意图。
23.图3是本技术实施例提供的图像处理方法的第二种场景示意图。
24.图4是本技术实施例提供的图像处理方法的第三种场景示意图。
25.图5是本技术实施例提供的图像处理方法的第四种场景示意图。
26.图6是本技术实施例提供的图像处理方法的第五种场景示意图。
27.图7是本技术实施例提供的图像处理方法的第六种场景示意图。
28.图8是本技术实施例提供的图像处理装置的结构示意图。
29.图9是本技术实施例提供的电子设备的第一种结构示意图。
30.图10是本技术实施例提供的电子设备的第二种结构示意图。
31.图11是本技术实施例提供的电子设备的第三种结构示意图。
具体实施方式
32.应当说明的是,本技术中的术语“第一”、“第二”和“第三”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块,而是某些实施例还包括没有列出的步骤或模块,或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
33.在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
34.本技术实施例提供一种图像处理方法、图像处理装置、存储介质及电子设备,其中图像处理方法的执行主体可以是本技术实施例提供的图像处理装置,或者集成了该图像处理装置的电子设备,其中该图像处理装置可以采用硬件或者软件的方式实现。其中,电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑等配置有处理器而具有图像处理能力的设备。
35.请参阅图1,图1是本技术实施例提供的图像处理方法的流程示意图,流程可以包
括:
36.在101中,获取待处理图像,并获取历史参考图像。
37.本实施例中,电子设备获取待处理图像,并获取历史参考图像。
38.其中,待处理图像可以为需要确定其的深度信息的图像。待处理图像可以是raw图像、yuv图像或rgb图像,等等。
39.历史参考图像可以为在采集到待处理图像之前电子设备采集的图像。比如,电子设备可以对拍摄场景进行连续的图像采集,依次得到图像m11、m12、m13和m14,其中,m14可以为待处理图像,m11、m12和m13中的至少一帧图像可以为历史参考图像。
40.需要说明的是,本技术实施例中,各图像,如待处理图像、历史参考图像和历史候选图像等均可以是raw图像、yuv图像或rgb图像,等等。
41.在102中,对待处理图像和历史参考图像进行差异比对,得到比对结果。
42.在103中,根据比对结果,从待处理图像中确定出差异区域和非差异区域,并通过深度信息计算策略计算差异区域的深度信息。
43.本实施例中,当得到待处理图像和历史参考图像之后,电子设备对待处理图像和历史参考图像进行差异比对,得到比对结果。当得到比对结果之后,电子设备根据该比对结果,从待处理图像中确定出差异区域和非差异区域。
44.也即是说,电子设备通过比对待处理图像和历史参考图像的差异,从而确定出待处理图像和历史参考图像中有差异(图像内容不同)的区域和无差异(图像内容相同)的区域,将待处理图像中有差异的区域确定为差异区域,并将待处理图像中无差异的区域确定为非差异区域。
45.其中,图像的深度信息可以理解为:由图像采集设备到图像对应的拍摄场景中各点的距离。电子设备在根据用户操作启动拍摄类应用程序(比如电子设备的系统应用“相机”)后,其摄像头所对准的场景即为拍摄场景。比如,用户通过手指点击电子设备上“相机”应用的图标启动“相机应用”后,若用户使用电子设备的摄像头对准某一场景,则该场景即为拍摄场景。根据以上描述,本领域技术人员应当理解的是,拍摄场景并非特指某一特定场景,而是跟随摄像头的指向所实时对准的场景。
46.本实施例中,当从待处理图像中确定出差异区域之后,电子设备通过深度信息计算策略计算差异区域的深度信息。其中,差异区域的深度信息包括差异区域中每个像素点的深度信息。
47.比如,深度信息计算策略包括深度估计模型,当从待处理图像中确定出差异区域之后,电子设备可从待处理图像中分割出该差异区域,并将该差异区域输入预先训练好的深度估计模型中,得到差异区域的深度信息。
48.又比如,深度信息计算策略包括双目立体视觉策略,电子设备在通过一摄像头采集到某拍摄场景的待处理图像的同时,还通过另一与该摄像头相隔一定距离的摄像头采集该拍摄场景的待分割图像。当从待处理图像中确定出差异区域之后,电子设备可从待处理图像中分割出该差异区域,并从该待分割图像中分割出与该差异区域对应的分割区域;随后,电子设备通过立体匹配算法找到差异区域和分割区域中对应的像素点,随后根据三角原理计算出视差信息,而视差信息通过转换可用于表征场景中物体的深度信息,从而可以得到差异区域的深度信息。
49.需要说明的是,深度信息计算策略还可以包括其他可以计算出图像的深度信息的策略,本领域技术人员可以根据实际情况采取相应的深度信息计算策略来计算差异区域的深度信息,此处不作具体限制。
50.在104中,将历史参考图像中与非差异区域对应的区域的深度信息确定为非差异区域的深度信息。
51.在本实施例中,当从待处理图像中确定出非差异区域之后,电子设备将历史参考图像中与非差异区域对应的区域的深度信息确定为非差异区域的深度信息。其中,非差异区域的深度信息包括非差异区域中每个像素点的深度信息。
52.可以理解的是,本实施例中,历史参考图像的深度信息是已经确定好的,而待处理图像的深度信息是需要实时确定的。而在上述步骤中,已经通过深度信息计算策略计算出差异区域的深度信息,那么,还需要确定非差异区域的深度信息。由于非差异区域与历史参考图像中对应的区域无差异,即两个区域的图像内容相同,那么,在确定该非差异区域的深度信息时,可以直接将历史参考图像中对应的区域的深度信息确定为该非差异区域的深度信息,从而无需通过深度信息计算策略计算非差异区域的深度信息。
53.可以理解的是,直接将历史参考图像中对应的区域的深度信息确定为非差异区域的深度信息,相对于通过深度信息计算策略计算非差异区域的深度信息的方案来说,可以减少数据处理的压力。
54.并且,本实施例中,对于包括前置图像处理器和应用处理器的电子设备,可以由前置图像处理器确定出差异区域的深度信息,再将待处理图像和差异区域的深度信息发送至应用处理器,应用处理器确定出非差异区域的深度信息。由于仅需要发送差异区域的深度信息,相对于发送整个待处理图像的深度信息的方案来说,可以减少数据传输量,节省图像的传输速度,进而可以节省图像的处理速度。
55.本实施例中,通过获取待处理图像,并获取历史参考图像;对待处理图像和历史参考图像进行差异比对,得到比对结果;根据比对结果,从待处理图像中确定出差异区域和非差异区域,并通过深度信息计算策略计算差异区域的深度信息;将历史参考图像中与非差异区域对应的区域的深度信息确定为非差异区域的深度信息,由此,通过深度信息计算策略计算待处理图像的差异区域的深度信息,并通过历史参考图像确定待处理图像的非差异区域的深度信息,可以确定图像的深度信息。
56.在一可选地实施例中,对待处理图像和历史参考图像进行差异比对,得到比对结果,包括:
57.确定待处理图像和历史参考图像中相同的物体;
58.确定物体在待处理图像中的第一区域,以及在历史参考图像中的第二区域;
59.对第一区域和第二区域进行差异比对,得到比对结果;
60.根据比对结果,从待处理图像中确定出差异区域和非差异区域,包括:
61.若比对结果为第一区域的面积与第二区域的面积和/或第一区域的位置与第二区域的位置不同,则根据第一区域,从待处理图像中确定出差异区域和非差异区域。
62.可以理解的是,当拍摄场景中存在移动物体时,电子设备连续采集的多帧图像中,该移动物体的位置和/或面积会发生变化,如随着该移动物体离电子设备越来越近,采集的图像中该移动物体的面积也会越来越大,那么,包括该移动物体所在区域的区域即为该多
帧图像的差异区域,而对于拍摄场景中的非移动物体,电子设备连续采集的多帧图像中,该移动物体的位置和面积发生的变化(可能由电子设备抖动导致)可以忽略不计,而对于拍摄场景中的背景场景,其发生的变化也可以忽略不计,因此,本实施例中,电子设备可以将待处理图像中包括移动物体所在区域的区域确定为差异区域,将待处理图像中除该差异区域之外的区域确定为非差异区域。
63.也即是说,本实施例中,电子设备先确定待处理图像和历史参考图像中相同的物体;再确定该物体在待处理图像中的第一区域,以及在历史参考图像中的第二区域;再对该第一区域和第二区域进行差异比对,得到比对结果;若比对结果为第一区域的面积与第二区域的面积和/或第一区域的位置与第二区域的位置不同,则表示该物体为移动物体,那么,电子设备根据第一区域,从待处理图像中确定出差异区域和非差异区域。
64.例如,如图2所示,物体b2在待处理图像m21中的第一区域a21的面积与物体b2在历史参考图像m22中的第二区域a22的面积不同,那么,电子设备可以根据第一区域a21,从待处理图像m21中确定出差异区域和非差异区域。
65.又例如,如图3所示,物体b2在待处理图像m23中的第一区域a23的位置与物体b2在历史参考图像m24中的第二区域a24的位置不同,那么,电子设备可以根据第一区域a23,从待处理图像m23中确定出差异区域和非差异区域。
66.又例如,如图4所示,物体b2在待处理图像m25中的第一区域a25的面积与物体b2在历史参考图像m26中的第二区域a26的面积不同,物体b2在待处理图像m25中的第一区域a25的位置与物体b2在历史参考图像m26中的第二区域a26的位置也不同,那么,电子设备可以根据第一区域a25,从待处理图像m25中确定出差异区域和非差异区域。
67.在一可选地实施例中,根据第一区域,从待处理图像中确定出差异区域和非差异区域,包括:
68.将待处理图像中,以第一区域的中心为原点,预设范围内的区域确定为差异区域,并将待处理图像中除差异区域之外的区域确定为非差异区域,其中,差异区域包括第一区域。
69.考虑到精确地分割出第一区域的算法较为消耗电子设备的算力,因此,本实施例中,电子设备可以将以第一区域的中心为原点,预设范围内的区域确定为差异区域,并将待处理图像中除差异区域之外的区域确定为非差异区域。其中,差异区域包括第一区域。预设范围可以由用户预先设置,也可以由电子设备基于一定规则确定。
70.例如,如图5所示,假设第一区域为a21,那么,电子设备可以将区域a31确定为差异区域,将待处理图像m21中除区域a31之外的区域确定为非差异区域。
71.在一可选地实施例中,根据第一区域,从待处理图像中确定出差异区域和非差异区域,并计算差异区域的深度信息,包括:
72.将待处理图像中,与第二区域对应的区域及第一区域组成的区域确定为差异区域,将待处理图像中除差异区域之外的区域确定为非差异区域。
73.例如,如图6所示,电子设备可以将待处理图像m23中,与第二区域a24对应的区域及第一区域a23组成的区域a32确定为差异区域,并将待处理图像中除差异区域之外的区域确定为非差异区域。
74.在一可选地实施例中,电子设备也可以直接将第一区域确定为差异区域,并将待
处理图像中除差异区域之外的区域确定为非差异区域。
75.在一可选地实施例中,将待处理图像中除差异区域之外的区域确定为非差异区域之前,还包括:
76.从待处理图像中除差异区域之外的区域中确定出待确定区域,并通过深度信息计算策略计算待确定区域的深度信息;
77.从历史参考图像中确定与待确定区域对应的待对比区域,并获取待对比区域的深度信息;
78.将待处理图像中除差异区域之外的其他区域确定为非差异区域,包括:
79.若待确定区域的深度信息与待对比区域的深度信息相同,则将待处理图像中除差异区域之外的区域确定为非差异区域。
80.可以理解的是,为了进一步确定非差异区域与历史参考图像中与该非差异区域对应的区域的图像内容相同,那么,电子设备可以从待处理图像中除差异区域之外的区域中确定出至少一个待确定区域,并通过深度信息计算策略计算待确定区域的深度信息;从历史参考图像中确定与待确定区域对应的待对比区域,并获取待对比区域的深度信息;若待确定区域的深度信息与待对比区域的深度信息相同,则将待处理图像中除差异区域之外的区域确定为非差异区域。
81.例如,如图7所示,电子设备从待处理图像m21中除差异区域a31之外的区域中确定待确定区域a41和a42,并从历史参考图像m22中确定与待确定区域a41对应的待对比区域a43,以及与待确定区域a42对应的待对比区域a44,若该待确定区域a41与待对比区域a43的深度信息相同,且该待确定区域a42与待对比区域a44的深度信息相同,那么,电子设备可以将待处理图像中除差异区域之外的区域确定为非差异区域。
82.需要说明的是,“通过深度信息计算策略计算待确定区域的深度信息”的具体实施可参见“通过深度信息计算策略计算差异区域的深度信息”的具体实施,此处不再赘述。
83.在一可选地实施例中,对待处理图像和历史参考图像进行差异比对,得到比对结果,包括:
84.确定待处理图像的第一对焦区域,并确定历史参考图像的第二对焦区域;
85.对第一对焦区域和第二对焦区域进行差异比对,得到比对结果;
86.根据比对结果,从待处理图像中确定出差异区域,并从历史参考图像中确定出非差异区域,包括:
87.若比对结果为第一对焦区域与第二对焦区域不同,则将第一对焦区域确定为差异区域,并将待处理图像中除第一对焦区域之外的区域确定为非差异区域。
88.考虑到对焦区域是用户的关注点,而对非对焦区域的关注并不大,因此,本实施例中,电子设备可以确定待处理图像的第一对焦区域,并确定历史参考图像的第二对焦区域;若第一对焦区域与第二对焦区域不同,那么,电子设备可以将第一对焦区域确定为差异区域,并将待处理图像中除第一对焦区域之外的区域确定为非差异区域。
89.在一可选地实施例中,将待处理图像中除第一对焦区域之外的区域确定为非差异区域之前,还包括:
90.从待处理图像中除第一对焦区域之外的区域中确定出待确定区域,并通过深度信息计算策略计算待确定区域的深度信息;
91.从历史参考图像中确定与待确定区域对应的待对比区域,并获取待对比区域的深度信息;
92.将待处理图像中除第一对焦区域之外的其他区域确定为非差异区域,包括:
93.若待确定区域的深度信息与待对比区域的深度信息相同,则将待处理图像中除第一对焦区域之外的区域确定为非差异区域。
94.可以理解的是,“从待处理图像中除第一对焦区域之外的区域中确定出待确定区域,并通过深度信息计算策略计算待确定区域的深度信息;从历史参考图像中确定与待确定区域对应的待对比区域,并获取待对比区域的深度信息;若待确定区域的深度信息与待对比区域的深度信息相同,则将待处理图像中除第一对焦区域之外的区域确定为非差异区域”可以参见“从待处理图像中除差异区域之外的区域中确定出待确定区域,并通过深度信息计算策略计算待确定区域的深度信息;从历史参考图像中确定与待确定区域对应的待对比区域,并获取待对比区域的深度信息;若待确定区域的深度信息与待对比区域的深度信息相同,则将待处理图像中除差异区域之外的区域确定为非差异区域”的具体实施,此处不再赘述。
95.在一可选地实施例中,将历史参考图像中与非差异区域对应的区域的深度信息确定为非差异区域的深度信息之后,还包括:
96.利用差异区域的深度信息和非差异区域的深度信息对待处理图像进行虚化处理,得到虚化图像。
97.本实施例中,电子设备在得到差异区域的深度信息和非差异区域的深度信息,也即是得到待处理图像的深度信息之后,电子设备可以利用该深度信息对待处理图像进行虚化处理,得到虚化图像。
98.例如,电子设备可以将待处理图像的对焦区域所在的平面作为焦平面,也即是说,虚化图像中,对焦区域,以及深度信息与对焦区域的深度信息相同的区域最清晰,而虚化图像中的其他区域,随着与对焦区域的深度信息的差异越大,清晰度也越低。
99.在一可选地实施例中,在利用差异区域的深度信息和非差异区域的深度信息对待处理图像进行虚化处理,得到虚化图像之后,电子设备还可利用虚化图像进行后续的图像处理,如美颜或防抖处理,等等。
100.在一可选地实施例中,当得到差异区域的深度信息和非差异区域的深度信息之后,电子设备根据该差异区域的深度信息和非差异区域的深度信息,生成待处理图像的深度图像。其中,该深度图像中的每个像素点表征该待处理图像中对应的像素点的深度信息。
101.在一可选地实施例中,获取历史参考图像之前,还包括:
102.确定历史候选图像的数量;
103.获取历史参考图像,包括:
104.若数量满足预设条件,则从历史候选图像中确定出历史参考图像。
105.为了保证深度信息的实时性,电子设备可以每隔预设帧通过深度信息计算策略计算图像的深度信息以矫正误差。那么,预设条件可以为历史参考图像和待处理图像的数量不为预设数量,如5的整数倍。若数量不满足预设条件,则从历史候选图像中确定出历史参考图像。若数量满足预设条件,则通过深度信息计算策略计算待处理图像的深度信息。比如,假设电子设备对拍摄场景进行连续拍摄,得到图像m11、m12、m13、m14、m15和m16,对于图
像m11,由于其是电子设备得到的第一帧图像,那么,电子设备可以通过深度信息计算策略计算该第一帧图像的深度信息,而对于图像m12、m13、m14和m16,电子设备可以通过本技术实施例提供的图像处理方法得到各图像的深度信息,而对于图像m15,电子设备可以通过深度信息计算策略计算该图像m15的深度信息。预设帧和预设数量可由用户设置,也可由电子设备基于一定规则确定。
106.需要说明的是,“通过深度信息计算策略计算待处理图像的深度信息”可以参见“通过深度信息计算策略计算差异区域的深度信息”,在此不再赘述。
107.在一可选地实施例中,从历史候选图像中确定出历史参考图像,可以包括:将历史候选图像中拍摄时间与待处理图像的拍摄时间最接近的历史候选图像作为历史参考图像,也可以将历史候选图像中任一历史候选图像确定为历史参考图像。
108.在一可选地实施例中,除了比较历史参考图像的待比对区域的深度信息与待确定区域的深度信息之外,还可以比较至少一个历史候选图像中与待确定区域对应的区域的深度信息与待确定区域的深度信息。若待确定区域的深度信息与待比对区域的深度信息相同,且待确定区域的深度信息与至少一个历史候选图像中与待确定区域对应的区域的深度信息相同,则将待处理图像中除差异区域之外的区域确定为非差异区域。
109.在一可选地实施例中,对于图像m15,电子设备可以在通过本技术实施例提供的图像处理方法得到该图像m15的深度信息的同时通过深度信息计算策略计算图像m15的深度信息,以矫正误差,方便后续图像的深度信息的确定。而由于通过本技术实施例提供的图像处理方法得到该图像m15的深度信息,相对于通过该深度信息计算策略计算图像m15的深度信息的方案来说,耗时更少,因此,可以在通过本技术实施例提供的图像处理方法得到该图像m15的深度信息之后,直接利用该图像m15的深度信息进行后续的图像处理,如虚化处理,等等。
110.请参阅图8,图8为本技术实施例提供的图像处理装置的结构示意图。图像处理装置200包括:图像获取模块201、差异比对模块202、区域确定模块203和信息确定模块204。
111.图像获取模块201,用于获取待处理图像,并获取历史参考图像。
112.差异比对模块202,用于对待处理图像和历史参考图像进行差异比对,得到比对结果。
113.区域确定模块203,用于根据比对结果,从待处理图像中确定出差异区域和非差异区域,并通过深度信息计算策略计算差异区域的深度信息。
114.信息确定模块204,用于将历史参考图像中与非差异区域对应的区域的深度信息确定为非差异区域的深度信息。
115.在一可选地实施例中,差异比对模块202,可以用于:确定待处理图像和历史参考图像中相同的物体;确定物体在待处理图像中的第一区域,以及在历史参考图像中的第二区域;对第一区域和第二区域进行差异比对,得到比对结果;
116.区域确定模块203,可以用于:若比对结果为第一区域的面积与第二区域的面积和/或第一区域的位置与第二区域的位置不同,则根据第一区域,从待处理图像中确定出差异区域和非差异区域。
117.在一可选地实施例中,区域确定模块203,可以用于:将待处理图像中,以第一区域的中心为原点,预设范围内的区域确定为差异区域,并将待处理图像中除差异区域之外的
区域确定为非差异区域,其中,差异区域包括第一区域。
118.在一可选地实施例中,区域确定模块203,可以用于:从待处理图像中除差异区域之外的区域中确定出待确定区域,并通过深度信息计算策略计算待确定区域的深度信息;从历史参考图像中确定与待确定区域对应的待对比区域,并获取待对比区域的深度信息;若待确定区域的深度信息与待对比区域的深度信息相同,则将待处理图像中除差异区域之外的区域确定为非差异区域。
119.在一可选地实施例中,差异比对模块202,可以用于:确定待处理图像的第一对焦区域,并确定历史参考图像的第二对焦区域;对第一对焦区域和第二对焦区域进行差异比对,得到比对结果;
120.区域确定模块203,可以用于:若比对结果为第一对焦区域与第二对焦区域不同,则将第一对焦区域确定为差异区域,并将待处理图像中除第一对焦区域之外的区域确定为非差异区域。
121.在一可选地实施例中,图像获取模块201,可以用于:确定历史候选图像的数量;若数量满足预设条件,则从历史候选图像中确定出历史参考图像。
122.本技术实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当计算机程序在计算机上执行时,使得计算机执行如本实施例提供的图像处理方法。
123.本技术实施例还提供一种电子设备,包括存储器,处理器,处理器通过调用存储器中存储的计算机程序,用于执行本实施例提供的图像处理方法。
124.例如,上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图9,图9为本技术实施例提供的电子设备的结构示意图。
125.该电子设备300可以包括处理器301、存储器302等部件。本领域技术人员可以理解,图9中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
126.处理器301,也即中央处理器,是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器302内的应用程序,以及调用存储在存储器302内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。在一可选地实施例中,该处理器301也可以是应用处理器、神经网络处理器等具备计算能力的处理器。
127.存储器302可用于存储应用程序和数据。存储器302存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器301通过运行存储在存储器302的应用程序,从而执行各种功能应用以及数据处理。
128.在本实施例中,电子设备中的处理器301会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器302中,并由处理器301来运行存储在存储器302中的应用程序,从而实现流程:
129.获取待处理图像,并获取历史参考图像;
130.对待处理图像和历史参考图像进行差异比对,得到比对结果;
131.根据比对结果,从待处理图像中确定出差异区域和非差异区域,并通过深度信息计算策略计算差异区域的深度信息;
132.将历史参考图像中与非差异区域对应的区域的深度信息确定为非差异区域的深
度信息。
133.请参阅图10,电子设备300可以包括处理器301、存储器302、输入单元303、输出单元304等部件。
134.处理器301,也即中央处理器,是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器302内的应用程序,以及调用存储在存储器302内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。在一可选地实施例中,该处理器301也可以是应用处理器、神经网络处理器等具备计算能力的处理器。
135.存储器302可用于存储应用程序和数据。存储器302存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器301通过运行存储在存储器302的应用程序,从而执行各种功能应用以及数据处理。
136.输入单元303可用于接收输入的数字、字符信息或用户特征信息(比如指纹),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
137.输出单元304可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。输出单元可包括显示屏,显示屏可包括显示区域。
138.在本实施例中,电子设备中的处理器301会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器302中,并由处理器301来运行存储在存储器302中的应用程序,从而实现流程:
139.获取待处理图像,并获取历史参考图像;
140.对待处理图像和历史参考图像进行差异比对,得到比对结果;
141.根据比对结果,从待处理图像中确定出差异区域和非差异区域,并通过深度信息计算策略计算差异区域的深度信息;
142.将历史参考图像中与非差异区域对应的区域的深度信息确定为非差异区域的深度信息。
143.在一可选地实施例中,处理器301执行对待处理图像和历史参考图像进行差异比对,得到比对结果时,可以执行:确定待处理图像和历史参考图像中相同的物体;确定物体在待处理图像中的第一区域,以及在历史参考图像中的第二区域;对第一区域和第二区域进行差异比对,得到比对结果;处理器301执行根据比对结果,从待处理图像中确定出差异区域和非差异区域时,可以执行:若比对结果为第一区域的面积与第二区域的面积和/或第一区域的位置与第二区域的位置不同,则根据第一区域,从待处理图像中确定出差异区域和非差异区域。
144.在一可选地实施例中,处理器301执行根据第一区域,从待处理图像中确定出差异区域和非差异区域时,可以执行:将待处理图像中,以第一区域的中心为原点,预设范围内的区域确定为差异区域,并将待处理图像中除差异区域之外的区域确定为非差异区域,其中,差异区域包括第一区域。
145.在一可选地实施例中,处理器301执行将待处理图像中除差异区域之外的区域确定为非差异区域之前,还可以执行:从待处理图像中除差异区域之外的区域中确定出待确定区域,并通过深度信息计算策略计算待确定区域的深度信息;从历史参考图像中确定与
待确定区域对应的待对比区域,并获取待对比区域的深度信息;处理器301执行将待处理图像中除差异区域之外的其他区域确定为非差异区域时,可以执行:若待确定区域的深度信息与待对比区域的深度信息相同,则将待处理图像中除差异区域之外的区域确定为非差异区域。
146.在一可选地实施例中,处理器301执行对待处理图像和历史参考图像进行差异比对,得到比对结果时,可以执行:确定待处理图像的第一对焦区域,并确定历史参考图像的第二对焦区域;对第一对焦区域和第二对焦区域进行差异比对,得到比对结果;处理器301执行根据比对结果,从待处理图像中确定出差异区域,并从历史参考图像中确定出非差异区域时,可以执行:若比对结果为第一对焦区域与第二对焦区域不同,则将第一对焦区域确定为差异区域,并将待处理图像中除第一对焦区域之外的区域确定为非差异区域。
147.在一可选地实施例中,处理器301执行获取历史参考图像之前,还可以执行:确定历史候选图像的数量;处理器301执行获取历史参考图像时,可以执行:若数量满足预设条件,则从历史候选图像中确定出历史参考图像。
148.本技术还提供一种电子设备,请参照图11,电子设备300包括前置图像处理器305和应用处理器306。其中,
149.前置图像处理器305,用于获取待处理图像,并获取历史参考图像;对待处理图像和历史参考图像进行差异比对,得到比对结果;根据比对结果,从待处理图像中确定出差异区域和非差异区域;计算差异区域的深度信息;
150.应用处理器306,用于将历史参考图像中与非差异区域对应的区域的深度信息确定为非差异区域的深度信息。
151.在一可选地实施例中,前置图像处理器305可以用于:确定待处理图像和历史参考图像中相同的物体;确定物体在待处理图像中的第一区域,以及在历史参考图像中的第二区域;对第一区域和第二区域进行差异比对,得到比对结果。若比对结果为第一区域的面积与第二区域的面积和/或第一区域的位置与第二区域的位置不同,则根据第一区域,从待处理图像中确定出差异区域和非差异区域。
152.在一可选地实施例中,前置图像处理器305可以用于:将待处理图像中,以第一区域的中心为原点,预设范围内的区域确定为差异区域,并将待处理图像中除差异区域之外的区域确定为非差异区域,其中,差异区域包括第一区域。
153.在一可选地实施例中,前置图像处理器305可以用于:从待处理图像中除差异区域之外的区域中确定出待确定区域,并通过深度信息计算策略计算待确定区域的深度信息;从历史参考图像中确定与待确定区域对应的待对比区域,并获取待对比区域的深度信息;若待确定区域的深度信息与待对比区域的深度信息相同,则将待处理图像中除差异区域之外的区域确定为非差异区域。
154.在一可选地实施例中,前置图像处理器305可以用于:确定待处理图像的第一对焦区域,并确定历史参考图像的第二对焦区域;对第一对焦区域和第二对焦区域进行差异比对,得到比对结果;若比对结果为第一对焦区域与第二对焦区域不同,则将第一对焦区域确定为差异区域,并将待处理图像中除第一对焦区域之外的区域确定为非差异区域。
155.在一可选地实施例中,前置图像处理器305可以用于:从待处理图像中除第一对焦区域之外的区域中确定出待确定区域,并通过深度信息计算策略计算待确定区域的深度信
息;从历史参考图像中确定与待确定区域对应的待对比区域,并获取待对比区域的深度信息;若待确定区域的深度信息与待对比区域的深度信息相同,则将待处理图像中除第一对焦区域之外的区域确定为非差异区域。
156.在一可选地实施例中,前置图像处理器305可以用于:将差异区域的深度信息和待处理图像发送至应用处理器306;
157.应用处理器305可以用于:利用接收到的差异区域的深度信息和非差异区域的深度信息对接收到的待处理图像进行虚化处理,得到虚化图像。
158.在一可选地实施例中,应用处理器306可以用于:利用虚化图像进行后续的图像处理,如美颜或防抖处理,等等。
159.在一可选地实施例中,前置图像处理器305可以用于:将差异区域的深度信息和待处理图像发送至应用处理器306;
160.应用处理器306可以用于:根据差异区域的深度信息和非差异区域的深度信息,生成待处理图像的深度图像。
161.在一可选地实施例中,前置图像处理器305可以用于:确定历史候选图像的数量;若数量满足预设条件,则从历史候选图像中确定出历史参考图像。
162.在一可选地实施例中,前置图像处理器305可以用于:将历史候选图像中拍摄时间与待处理图像的拍摄时间最接近的历史候选图像作为历史参考图像,或将历史候选图像中任一历史候选图像确定为历史参考图像。
163.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对图像处理方法的详细描述,此处不再赘述。
164.本技术实施例提供的图像处理装置与上文实施例中的图像处理方法属于同一构思,在图像处理装置上可以运行图像处理方法实施例中提供的任一方法,其具体实现过程详见图像处理方法实施例,此处不再赘述。
165.需要说明的是,对本技术实施例图像处理方法而言,本领域普通技术人员可以理解实现本技术实施例图像处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,计算机程序可存储于一计算机可读取存储介质中,如存储在存储器中,并被至少一个处理器执行,在执行过程中可包括如图像处理方法的实施例的流程。其中,该存储介质可为磁碟、光盘、只读存储器(rom,read only memory)、随机存取记忆体(ram,random access memory)等。
166.对本技术实施例的图像处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,存储介质譬如为只读存储器,磁盘或光盘等。
167.以上对本技术实施例所提供的一种图像处理方法、装置、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本技术的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本技术的方法及其核心思想;同时,对于本领域的技术人员,依据本技术的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本技术的限制。
技术特征:1.一种图像处理方法,其特征在于,包括:获取待处理图像,并获取历史参考图像;对所述待处理图像和所述历史参考图像进行差异比对,得到比对结果;根据所述比对结果,从所述待处理图像中确定出差异区域和非差异区域,并通过深度信息计算策略计算所述差异区域的深度信息;将所述历史参考图像中与所述非差异区域对应的区域的深度信息确定为所述非差异区域的深度信息。2.根据权利要求1所述的图像处理方法,其特征在于,所述对所述待处理图像和所述历史参考图像进行差异比对,得到比对结果,包括:确定所述待处理图像和所述历史参考图像中相同的物体;确定所述物体在所述待处理图像中的第一区域,以及在所述历史参考图像中的第二区域;对所述第一区域和所述第二区域进行差异比对,得到比对结果;所述根据所述比对结果,从所述待处理图像中确定出差异区域和非差异区域,包括:若所述比对结果为所述第一区域的面积与所述第二区域的面积和/或所述第一区域的位置与所述第二区域的位置不同,则根据所述第一区域,从所述待处理图像中确定出差异区域和非差异区域。3.根据权利要求2所述的图像处理方法,其特征在于,所述根据所述第一区域,从所述待处理图像中确定出差异区域和非差异区域,包括:将所述待处理图像中,以所述第一区域的中心为原点,预设范围内的区域确定为差异区域,并将所述待处理图像中除所述差异区域之外的区域确定为非差异区域,其中,所述差异区域包括所述第一区域。4.根据权利要求3所述的图像处理方法,其特征在于,所述将所述待处理图像中除所述差异区域之外的区域确定为非差异区域之前,还包括:从所述待处理图像中除所述差异区域之外的区域中确定出待确定区域,并通过深度信息计算策略计算所述待确定区域的深度信息;从所述历史参考图像中确定与所述待确定区域对应的待对比区域,并获取所述待对比区域的深度信息;所述将所述待处理图像中除所述差异区域之外的其他区域确定为非差异区域,包括:若所述待确定区域的深度信息与所述待对比区域的深度信息相同,则将所述待处理图像中除所述差异区域之外的区域确定为非差异区域。5.根据权利要求1所述的图像处理方法,其特征在于,所述对所述待处理图像和所述历史参考图像进行差异比对,得到比对结果,包括:确定所述待处理图像的第一对焦区域,并确定所述历史参考图像的第二对焦区域;对所述第一对焦区域和所述第二对焦区域进行差异比对,得到比对结果;所述根据所述比对结果,从所述待处理图像中确定出差异区域,并从所述历史参考图像中确定出非差异区域,包括:若所述比对结果为所述第一对焦区域与所述第二对焦区域不同,则将所述第一对焦区域确定为差异区域,并将所述待处理图像中除所述第一对焦区域之外的区域确定为非差异
区域。6.根据权利要求1至5任一项所述的图像处理方法,其特征在于,所述获取历史参考图像之前,还包括:确定历史候选图像的数量;所述获取历史参考图像,包括:若所述数量满足预设条件,则从所述历史候选图像中确定出历史参考图像。7.一种图像处理装置,其特征在于,包括:图像获取模块,用于获取待处理图像,并获取历史参考图像;差异比对模块,用于对所述待处理图像和所述历史参考图像进行差异比对,得到比对结果;区域确定模块,用于根据所述比对结果,从所述待处理图像中确定出差异区域和非差异区域,并通过深度信息计算策略计算所述差异区域的深度信息;信息确定模块,用于将所述历史参考图像中与所述非差异区域对应的区域的深度信息确定为所述非差异区域的深度信息。8.一种电子设备,其特征在于,包括:前置图像处理器,用于获取待处理图像,并获取历史参考图像;对所述待处理图像和所述历史参考图像进行差异比对,得到比对结果;根据所述比对结果,从所述待处理图像中确定出差异区域和非差异区域;计算所述差异区域的深度信息;应用处理器,用于将所述历史参考图像中与所述非差异区域对应的区域的深度信息确定为所述非差异区域的深度信息。9.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行权利要求1至6任一项所述的图像处理方法。10.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行权利要求1至6任一项所述的图像处理方法。
技术总结本申请公开了一种图像处理方法、装置、存储介质及电子设备。该方法包括:获取待处理图像,并获取历史参考图像;对待处理图像和历史参考图像进行差异比对,得到比对结果;根据比对结果,从待处理图像中确定出差异区域和非差异区域,并通过深度信息计算策略计算差异区域的深度信息;将历史参考图像中与非差异区域对应的区域的深度信息确定为非差异区域的深度信息。本申请可以确定图像的深度信息。本申请可以确定图像的深度信息。本申请可以确定图像的深度信息。
技术研发人员:朱文波
受保护的技术使用者:OPPO广东移动通信有限公司
技术研发日:2022.07.26
技术公布日:2022/11/1