本申请属于图像处理领域,具体涉及一种重投影显示方法、装置和电子设备。
背景技术:
1、扩展现实(extended reality,xr)是指通过计算机将真实与虚拟相结合,打造一个人机交互的虚拟环境,为体验者带来虚拟世界与现实世界之间无缝转换的“沉浸感”。但是在实际应用中,用户通过xr设备看到的视角的画面跟用户大脑感知到认为看到的视角画面是不同的,产生差异的一个原因是用户头部旋转。
2、相关技术中,采用传统的定位时间扭曲(positional timewarp,ptw)方法进行图像的重投影。但是ptw往往只能通过图像处理的方式进行像素移动生成新的图像,会增加内存的占用。
技术实现思路
1、本申请实施例的目的是提供一种重投影显示方法、装置和电子设备,能够解决占用内存较大的问题。
2、第一方面,本申请实施例提供了一种重投影显示方法,该方法包括:
3、创建与头戴式设备在第一位姿渲染的第一帧图像对应的平面网格,其中,所述平面网格包括多个顶点,每个所述顶点对应所述第一帧图像的一个像素,所述第一帧图像的存储数据中包括每个像素的深度值;
4、基于每个所述顶点在所述第一帧图像中对应的像素的深度值,获取所述头戴式设备在第一位姿下每个所述顶点对应的三维空间坐标值;
5、在所述头戴式设备变化到第二位姿的情况下,基于所述头戴式设备在第二位姿下的转换矩阵以及每个所述顶点的三维空间坐标值,得到每个所述顶点在所述二维屏幕上的投影坐标;
6、按照每个所述顶点的投影坐标更新所述平面网格的每个所述顶点的二维屏幕坐标;
7、基于所述第一帧图像,对更新后的所述平面网格进行片段着色渲染,得到重投影的第二帧图像。
8、第二方面,本申请实施例提供了一种重投影显示装置,该装置包括:
9、创建模块,用于创建与头戴式设备在第一位姿渲染的第一帧图像对应的平面网格,其中,所述平面网格包括多个顶点,每个所述顶点对应所述第一帧图像的一个像素,所述第一帧图像的存储数据中包括每个像素的深度值;
10、第一获取模块,用于基于每个所述顶点在所述第一帧图像中对应的像素的深度值,获取所述头戴式设备在第一位姿下每个所述顶点对应的三维空间坐标值;
11、第二获取模块,用于在所述头戴式设备变化到第二位姿的情况下,基于所述头戴式设备在第二位姿下的转换矩阵以及每个所述顶点的三维空间坐标值,得到每个所述顶点在所述二维屏幕上的投影坐标,其中,所述转换矩阵用于将所述头戴式设备在所述第二位姿下采集的三维视图转换为在所述头戴式设备的二维屏幕上显示的投影视图;
12、更新模块,用于按照每个所述顶点的投影坐标更新所述平面网格的每个所述顶点的二维屏幕坐标;
13、着色模块,用于基于所述第一帧图像,对更新后的所述平面网格进行片段着色渲染,得到重投影的第二帧图像。
14、第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
15、第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
16、第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
17、第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
18、在本申请实施例中,可以创建与头戴式设备在第一位姿渲染的第一帧图像对应的包括多个顶点的平面网格,然后基于每个顶点在第一帧图像中对应的像素的深度值,获取头戴式设备在第一位姿下每个顶点对应的三维空间坐标值;在头戴式设备变化到第二位姿的情况下,基于头戴式设备在第二位姿下的转换矩阵以及每个顶点的三维空间坐标值,得到每个顶点在二维屏幕上的投影坐标;接着按照每个顶点的投影坐标更新平面网格的每个顶点的二维屏幕坐标;最后基于第一帧图像,对更新后的平面网格进行片段着色渲染,得到重投影的第二帧图像。本申请实施例提供的方法可以解决传统方案只能针对图像像素的处理方式,充分利用渲染管线架构,巧妙的将像素的处理转换为顶点的处理。且相对于传统方案,可以减少内存的占用,提升算法性能,进一步的提升用户的xr体验。
1.一种重投影显示方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述转换矩阵用于将所述头戴式设备在所述第二位姿下采集的三维视图转换为在所述头戴式设备的二维屏幕上显示的投影视图。
3.根据权利要求1或2所述的方法,其特征在于,所述创建与头戴式设备在第一位姿渲染的第一帧图像对应的平面网格,包括:
4.根据权利要求1至3任一项所述的方法,其特征在于,所述基于每个所述顶点在所述第一帧图像中对应的像素的深度值,获取所述头戴式设备在第一位姿下每个所述顶点对应的三维空间坐标值,包括:
5.根据权利要求1至4任一项所述的方法,其特征在于,所述二维屏幕坐标包括:二维平面坐标和深度值;所述投影坐标包括:二维平面坐标和深度值;所述按照每个所述顶点的投影坐标更新所述平面网格的每个所述顶点的二维屏幕坐标,包括:
6.根据权利要求1至5任一项所述的方法,其特征在于,所述基于所述第一帧图像,对更新后的所述平面网格进行片段着色渲染,得到重投影的第二帧图像,包括:
7.根据权利要求6所述的方法,其特征在于,所述获取所述平面网络的多个片元的投影坐标值,包括:
8.一种重投影显示装置,其特征在于,包括:
9.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至7任一项所述的重投影显示方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1至7任一项所述的重投影显示方法的步骤。