多视图风格转换的系统和方法
1.相关申请的交叉引用
2.本技术要求2020年3月1日提交的美国临时专利申请序列号62/983,739的优先权，该申请的全部内容通过引用并入本文。
背景技术：3.电子显示器是一种几乎无处不在的媒介，用于向各种各样的设备和产品的用户传递信息。最常用的电子显示器包括阴极射线管(crt)、等离子显示面板(pdp)、液晶显示器(lcd)、电致发光显示器(el)、有机发光二极管(oled)和有源矩阵oled(amoled)显示器、电泳显示器(ep)和各种采用机电或电流体光调制的显示器(例如，数字微镜设备、电润湿显示器等)。一般来说，电子显示器可以分为有源显示器(即，发射光的显示器)或无源显示器(即，调制由另一来源提供的光的显示器)。有源显示器最明显的例子是crt、pdp和oled/amoled。
4.在电子显示器上显示的内容和相关信息通常使用图形处理单元(gpu)进行渲染，并传递给显示器驱动器。在一些情况下，特别是图像或照片，原始内容在渲染前可能被操纵或修改。例如，可以使用gpu或与显示信息相关联的另一个处理器来提供操纵或修改。
附图说明
5.参照以下结合附图的详细描述，可以更容易地理解根据本文中所描述的原理的示例和实施例的各种特征，其中类似的参考数字标示类似的结构元素，并且在附图中：
6.图1a例示了根据与本文中所描述的原理一致的实施例的示例中的多视图显示器的透视图。
7.图1b例示了根据与本文中所描述的原理一致的实施例的示例中的光束的具有与多视图显示器的视图方向相对应的特定主角方向的角度分量的图形表示。
8.图2例示了根据与本文中所描述的原理一致的实施例的示例中的多视图风格转换方法的流程图。
9.图3例示了根据与本文中所描述的原理一致的实施例的示例中的导向滤波器应用。
10.图4例示了根据与本文中所描述的原理一致的实施例的示例中的多视图风格转换输出阵列的流程图。
11.图5a-图5c例示了根据与本文中所描述的原理一致的实施例的示例中的多视图风格转换方法的结果。
12.图6a-图6b例示了根据与本文中所描述的原理一致的实施例的示例中的多视图风格转换设备。
13.某些示例和实施例具有除了上述参考图中所例示的特征之外的其他特征，或者代替上述参考图中所例示的特征的其他特征。下面参考上述参考图详细说明这些特征和其他特征。
具体实施方式
14.根据本文中所描述的原理的示例提供了应用于电子显示器的多视图风格转换。特别地，本文中所描述的原理的实施例可以提供以在所有图像上产生一致的结果的方式将风格转换应用于多视图图像的单个视图的方法。在一些实施例中，多视图风格转换可以在移动设备上用图形处理单元(gpu)加速运行。根据各种实施例，多视图风格转换包括模块化管道，其中个体算法可以与系统解耦合。
15.在一些实施例中，可以采用神经网络来为具有两个以上视点的多视图图像提供神经风格转换。根据各种实施例，本文中所描述的多视图风格转换可以导致在所有视图之间基本上一致的风格转换，该风格转换使用来自一对视图中的立体信息，并可以针对按需性能在移动平台上被gpu加速。
16.根据各种实施例，电子显示器的背光可采用多束衍射光栅来衍射耦合(例如，不同颜色的)光，或者更普遍地可以采用多束元件从光导中散射出光，并将耦合出的、散射出的或发射出的光指向与电子显示器的一个观看方向或多个观看方向相对应的不同主角度方向。在一些示例或实施例中，可以采用具有不同主角度方向的光束(也被称为“不同指向的光束
″
)以及在一些实施例中具有不同颜色的光束来显示三维(3d)信息作为多视图图像。例如，不同指向、不同颜色的光束可以被调制并用作为“无眼镜
″
3d或多视图电子显示器的像素。
17.在本文中，“二维显示器
″
或“2d显示器
″
被定义为被配置为提供图像的视图的显示器，无论从哪个方向观看图像(即，在2d显示器的预定义观察角或预定义观察范围内)，该视图都基本相同。许多智能电话和计算机显示器中找到的传统液晶显示器(lcd)是2d显示器的例子。与之相反，在本文中，“多视图显示器
″
被定义为被配置为在不同的视图方向或从不同的视图方向提供多视图图像的不同视图的电子显示器或显示系统。特别地，不同的视图可以表示多视图图像的场景或对象的不同视角视图。本文中所描述的单侧背光和单侧多视图显示器的用途包括但不限于移动电话(例如，智能电话)、手表、平板计算机、移动计算机(例如，膝上型计算机)、个人计算机和计算机显示器、汽车显示控制台、相机显示器以及各种其他移动的核基本上非移动的显示应用和设备。
18.图1a例示了根据与本文中所描述的原理一致的实施例的示例中的多视图显示器110的透视图。如图1a所示，多视图显示器100包括屏幕112，以显示待观看的多视图图像。例如，屏幕112可以是电话(例如，移动电话、智能电话等)、平板计算机、膝上型计算机、台式计算机的计算机显示器、照相机显示器或基本上任何其他设备的电子显示器的显示屏幕。
19.多视图显示器100在相对于屏幕112的不同视图方向116提供多视图图像的不同视图114。视图方向116被例示为以各种不同的主角度方向从屏幕112延伸的箭头；不同的视图114被例示为在箭头的终止处的阴影多边形框(即，描绘视图方向116)；且仅例示了四个视图114和四个视图方向116，都作为示例而非限制。注意，虽然不同的视图114在图1a中被例示为在屏幕上方，但当在多视图显示器110上显示多视图图像时，视图114实际上出现在屏幕112上或其附近。将视图114描绘在屏幕112上方仅为说明的简单，旨在表示从视图方向116中对应于特定视图114的相应方向观看多视图显示器110。2d显示器可以基本上类似于多视图显示器110，只是2d显示器通常被配置为提供所显示的图像的单一视图(例如，多个不同视图114中的一个视图)，而不是由多视图显示器100提供的多视图图像的不同视图
114。
20.根据本文中的定义，视图方向或等效地具有与多视图显示器的视图方向相对应的方向的光束通常具有由角度分量{θ，φ}给出的主角度方向。角度分量θ在本文中被称为光束的“仰角分量
″
或“仰角
″
。角度分量φ被称为光束的“方位角分量
″
或“方位角
″
。根据定义，仰角θ是(例如，垂直于多视图显示器屏幕的平面的)垂直平面内的角度，而方位角是(例如，平行于多视图显示器屏幕平面的)水平平面内的角度。
21.图1b例示了根据与本文中所描述的原理一致的实施例的示例中的具有与多视图显示器的视图方向(例如，图1a中的视图方向116)相对应的特定主角方向的光束120的角度分量{θ，φ}的图形表示。此外，根据本文中的定义，光束120从特定点发射或发出。换言之，根据定义，光束120具有与多视图显示器内的特定原点相关联的中心射线。图1b还例示了光束(或视图方向)的原点o。
22.在本文中，“衍射光栅
″
通常被定义为被布置为提供入射到衍射光栅上的光的衍射的多个特征(即，衍射特征)。在一些示例中，多个特征可以以周期性或准周期性的方式布置。例如，衍射光栅可以包括以一维(1d)阵列布置的多个特征(例如，材料表面中的多个凹槽或隆起)。在其他示例中，衍射光栅可以是二维(2d)特征阵列。例如，衍射光栅可以是材料表面上的凸点或材料表面中的孔的二维阵列。
23.因此，根据本文中的定义，“衍射光栅
″
是提供入射到衍射光栅上的光的衍射的结构。如果光线从光导入射到衍射光栅上，所提供的衍射或衍射散射会导致，并因此被称为，“衍射耦合
″
，因为衍射光栅可以通过衍射将光从光导耦合出。衍射光栅还通过衍射(即，以衍射角度)重新定向或改变光的角度。特别地，作为衍射的结果，离开衍射光栅的光通常具有与入射到衍射光栅上的光(即，入射光)的传播方向不同的传播方向。通过衍射改变光的传播方向在本文中被称为“衍射重定向
″
。因此，衍射光栅可以被理解为包括衍射重定向入射到衍射光栅上的光的衍射特征的结构，并且如果光从光导入射，则衍射光栅也可以将光从光导衍射地耦合出。
24.此外，根据本文中的定义，衍射光栅的特征被称为“衍射特征
″
，并且可以在材料表面(即，两种材料之间的边界)处、材料表面中和材料表面上中的一个或多个。例如，表面可以是光导的表面。衍射特征可包括衍射光的各种结构中的任何一种，包括但不限于在表面处、表面中或表面上的凹槽、隆起、孔和凸点中的一种或多种。例如，衍射光栅可以包括材料表面中的多个基本平行的凹槽。在另一示例中，衍射光栅可以包括从材料表面凸起的多个平行隆起。衍射特征(例如，凹槽、隆起、孔、凸点等)可以具有提供衍射的各种截面形状或轮廓中的任何一种，包括但不限于正弦曲线轮廓、矩形轮廓(例如，二元衍射光栅)、三角形轮廓和锯齿轮廓(例如，闪耀光栅(blazed grating))中的一种或多种。
25.根据本文中所描述的各种示例，可以采用衍射光栅(例如，多束元件的衍射光栅，如下所述)来将光从光导(例如，板式光导)中衍射地散射或耦合出作为光束。特别地，局部周期性衍射光栅的或由局部周期性衍射光栅提供的衍射角θm可以由公式(1)给出为：
[0026][0027]
其中，λ是光的波长，m是衍射阶数，n是光导的折射率，d是衍射光栅的特征之间的距离或间距，θi是光在衍射光栅上的入射角。为简要起见，方程(1)假设衍射光栅与光导的
表面相邻，并且光导外部的材料的折射率等于1(即n
out
＝1)。一般来说，衍射阶数m由整数给出。由衍射光栅产生的光束的衍射角θm可以由公式(1)给出，其中衍射阶数为正(例如，m》0)。例如，当衍射阶数m等于1(即，m＝1)时，提供一阶衍射。
[0028]
在本文中，如在术语“多视图图像
″
和“多视图显示器
″
中使用的术语“多视图(multiview)
″
或等效地“多视图(multi-view)
″
被定义为表示不同视角或包括多个视图中的视图之间的角度视差的多个视图。此外，在本文中，术语“多视图
″
明确地包括两个以上的不同视图(即，最少三个视图，且通常多于三个视图)，根据本文中的定义。因此，如本文中采用的“多视图显示器
″
明确区别于仅包括两个不同的视图以表示场景或图像的立体显示器。然而，注意，虽然多视图图像和多视图显示器可以包括两个以上的视图，但是根据本文中的定义，通过一次只选择多视图中的两个视图来观看(例如，每个眼睛一个视图)，可以将多视图图像作为一对立体图像来观看(例如，在多视图显示器上)。
[0029]“多视图像素
″
在本文中被定义为表示多视图显示器的类似的多个不同视图中的每个视图中的“视图
″
像素的子像素集。特别地，多视图像素可以具有对应于或表示多视图图像的每个不同视图中的视图像素的个体子像素。此外，多视图像素的子像素是所谓的“方向性像素
″
，因为根据本文中的定义，每个子像素与不同视图中的一个对应视图的预定视图方向相关联。此外，根据不同的示例和实施例，由多视图像素的子像素表示的不同视图像素在每个不同的视图中可以具有相等的或至少基本相似的位置或坐标。例如，第一多视图像素可以具有与位于多视图图像的每个不同视图中{x1，y1}处的视图像素相对应的个体子像素，而第二多视图像素可以具有与位于每个不同视图中的{x2，y2}处的视图像素相对应的个体子像素，以此类推。
[0030]
在本文中，“多视图图像
″
被定义为多个图像(即，大于三个图像)，其中多个图像中的每个图像表示与多视图图像的不同视图方向相对应的不同视图。因此，多视图图像是图像(例如，二维图像)的集合，当在多视图显示器上显示时，所述图像的集合可以促进对深度的感知且因此例如对观看者而言似乎是3d场景的图像。
[0031]
与本文中所描述的原理一致的实施例可以使用各种器件和电路(包括但不限于集成电路(ic)、超大规模集成电路(vlsi)、特定应用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、图形处理器单元(gpu)等中的一种或多种)、固件、软件(诸如程序模块或指令集)以及上述两种或多种的组合来实施。例如，实施例或其元素可以被实施为asic或vlsi电路内的电路元素。采用asic或vlsi电路的实施方案是基于硬件的电路实施方案的示例。
[0032]
在另一示例中，实施例可以被实施为使用计算机编程语言(例如c/c++)的软件，该计算机编程语言在操作环境或基于软件的建模环境(例如，mathworks,inc.,natick,ma)中执行，该操作环境或建模环境由计算机进一步执行(例如，存储在存储器中并由通用计算机的处理器或图形处理器执行)。注意，一个或多个计算机程序或软件可以构成一个计算机程序机制，并且编程语言可被编译或解译，例如，可配置或被配置(在本讨论中可互换使用)为由计算机的处理器或图形处理器执行。
[0033]
在又一个示例中，本文中所描述的装置、设备或系统(例如，图像处理器、相机等)的块、模块或元素可以使用实际或物理电路(例如，作为ic或asic)来实施，而另一个块、模块或元素可以使用软件或固件来实施。特别地，根据本文中的定义，例如，一些实施例可以
使用大体上基于硬件的电路方法或设备(例如，ic、vlsi、asic、fpga、dsp、固件等)来实施，而其他实施例也可以使用计算机处理器或图形处理器执行软件被实施为软件或固件，或者例如软件或固件与基于硬件的电路的组合。
[0034]
此外，如本文中所使用的，冠词“一个(a)
″
旨在具有其在专利技术中的普通含义，即“一个或多个
″
。例如，“一个多视图显示器
″
是指一个或多个多视图显示器，并且照此，“多视图显示器
″
在本文中是指“(多个)多视图显示器
″
。另外，本文中对“顶部
″
、“底部
″
、“上
″
、“下
″
、“前
″
、“后
″
、“第一
″
、“第二
″
、“左
″
或“右
″
的任何引用都不旨在作为本文中的限制。在本文中，术语“大约
″
在应用于一个数值时通常指在用于产生该值的设备的公差范围内，或者可以指正负10％，或正负5％，或正负1％，除非另有明确规定。此外，如本文中所使用的术语“基本上
″
是指大部分，或几乎全部，或全部，或在约51％至约100％的范围内的量。此外，本文中的示例仅旨在说明性的，并且出于讨论目的而不是以限制的方式呈现。
[0035]
图2例示了根据与本文中所描述的原理一致的实施例的示例中的多视图风格转换方法200的流程图。如图2所示，用于使多视图风格化一致的示例方法200包括接收风格信息和输入图像信息，以及合成或提供与接收到的风格信息一致的多个输出图像。例如，方法200包括接收风格指南g
s 205、左视差图(disparity map)δ
l 210、右视差图δ
r 215、左立体输入视图i
l 220以及右立体输入视图i
r 225。方法200是针对左图像和右图像描述的，然而对应的方法可以分别应用于右图像和左图像。
[0036]
在示例中，左立体输入视图i
l 220和右立体输入视图i
r 225可以设置有对应的左视差图δ
l 210和右视差图δ
r 215。在另一示例中，可以基于左立体输入视图i
l 220和右立体输入视图i
r 225估计视差图210和215。在示例中，基于在多个输入立体图像上训练的神经网络估计视差图210和215。
[0037]
在图2的示例中，方法200包括应用风格转换网络以基于风格指南g
s 205风格化230左立体输入视图i
l 220，这生成风格化的左图像s
l 240。用于仅风格化230输入的立体视图中的一个的风格转换网络的应用提供了各种优势。对两个立体图像中的一个的风格化230提供了多个视图之间的风格一致性，这减少或消除了由风格转换网络对输入的小变化的敏感性所造成的影响。
[0038]
例如，单独地风格化每个视图的问题可以包括立体视图之间的视差效应(parallax effect)，诸如可能导致视觉差异，或可能导致风格化的特征在风格化的立体图像之间改变位置或外观，诸如图4中放大的图像450所示。例如，当在多视图显示器上观看3d内容时，这种不一致会导致观看者疲劳。该问题的解决方案可以包括使用对两个立体图像中的一个的风格化230。该解决方案可以进一步提供降低的计算开销，诸如对于便携式电子设备(例如，智能电话)上的多视图显示设备。换言之，一次风格化且合成许多输出帧或输出视图比单独风格化每个输出帧或输出视图具有高得多的计算效率。本解决方案的另一优点可以包括，对两个立体图像中的一个的风格化230可以提供与各种风格转换网络的改进的兼容性。例如，本解决方案可以帮助减少或消除专门用于多视图渲染的修改和重新训练，从而方法200可以提供与各种风格转换网络的改进的功能，并且可以提供改进的质量和性能。
[0039]
方法200的示例包括基于左视差图δ
l 210对第一风格化的左图像s
l 240进行重新投影235，以生成风格化的右图像s
r 245。在示例中，风格化的左图像s
l 240被重新投影以生成在与右立体输入视图i
r 225相同的视点处的风格化的右图像s
r 245，诸如使用视图合成
模块。在示例中，可以在中央处理单元(cpu)和图形处理单元(gpu)中的一个或多个上执行重新投影235。在示例中，重新投影235包括前向变形(forward warping)、深度测试和用于采样附近区域诸如以填充去遮挡的区域的修补(in-painting)技术中的一个或多个。前向变形是对源图像施加变换的图像失真过程。来自源图像的像素可以按扫描线顺序被处理，并且将结果投影到目标图像上。深度测试是其中由着色器处理或将处理的图像的片段具有相对于正被写入的样本的深度测试的深度值的过程。当测试失败时，丢弃片段。而当测试通过时，用片段的输出深度更新深度缓存。修补是指填补图像的缺失或未知区域。一些技术涉及基于附近的像素预测像素值，或将附近的像素反射到未知或缺失区域。图像的缺失或未知区域可能是由场景去遮挡造成的，场景去遮挡是指场景对象被另一场景对象部分覆盖。在此方面，重新投影可能涉及到从原始视角构建场景的新视角的图像处理技术。因此，由此生成的风格化的右图像s
r 245是将风格化的左视图重新投影到右视点，其中风格化的右图像s
r 245的风格特征被传送到它们在生成的风格化的右图像s
r 245中的对应位置。
[0040]
方法200的示例包括对风格化的左图像s
l 240应用导向滤波模块250，以生成左滤波的风格化的视图s
l
′
260，并且类似地对风格化的右图像s
r 245应用导向滤波模块255，以生成右滤波的风格化的视图sr′
265。在示例中，导向滤波模块250包括滤波器，其被配置用于使用边缘感知的导向滤波来细化风格化的左图像s
l 240和风格化的右图像sr 245。边缘感知的导向滤波可以基于在左侧立体输入视图i
l 220和右侧立体输入视图i
r 225中检测到的边缘。例如，当在多视图显示器上观看图像时，边缘放置的质量可以增强或减损3d感知体验，然而，在一些示例中，风格转换过程可能削弱3d场景中对象的边缘。通过对使用其对应的非风格化的视图220和225作为指南的风格化的图像240和245应用导向滤波模块250，原始3d对象的边缘可以得到增强同时减少边缘的风格化，从而导致更沉浸式或鲁棒的3d体验。导向滤波模块250的应用的示例被示出在下面描述的图3中。
[0041]
方法200包括合成270左滤波的风格化的视图s
l’260和右滤波的风格化的视图sr′
265，以生成与相应不同视点相对应的多个风格化的图像s1、s2、s3和s
4 280。在示例中，合成270包括将左滤波的风格化的视图s
l
′
260和右滤波的风格化的视图sr′
265重新投影到多个视点x1,x2,...,xn，诸如可以基于左视差图δ
l 210和右视差图δ
r 215。该重新投影类似于如应用到多个视点x1,x2,...,xn的重新投影235。在示例中，每个视点风格化的图像s1、s2、s3和s4280是基于左滤波的风格化的视图s
l
′
260和右滤波的风格化的视图sr′
265到多个视点x1,x2,...,xn中的每个视点的重新投影，并且基于视点与左立体输入视图i
l 220和右立体输入视图i
r 225相对应的左视点和右视点的接近程度进行混合。
[0042]
图3例示了根据与本文中所描述的原理一致的实施方案的示例中的导向滤波器应用300。图3示出了应用导向滤波器310之前和应用导向滤波器320之后的风格化的图像s的示例。放大的前置滤波图像315和放大的后置滤波图像325示出，应用导向滤波器增加了与原始3d场景中的边缘的一致性同时减少了由风格转换引入的对边缘的影响。
[0043]
图4例示了根据与本文中所描述的原理一致的实施方案的示例中的多视图风格转换输出阵列400的流程图。如图4所示，风格指南405被应用于输入的左视差图410、右视差图415、左立体输入视图420和右立体输入视图425。第一示例风格化的图像对430和435对应于已经风格化和投影但未应用导向边缘滤波器的图像。如从第一示例风格化的图像对430和435放大的图像450中可以看出，不一致的特征和其他不一致的风格可能来自已经风格化和
投影而未应用导向边缘滤波器的一对立体图像。这些不一致会降低观看者聚焦于立体图像的能力，从而增加3d观看疲劳。第二示例风格化的图像对460和465对应于已经风格化、投影和使用导引边缘滤波器滤波的图像。如从第二示例风格化的图像对460和465放大的图像470中可以看出，通过应用导向边缘滤波器改进了特征和风格的一致性。这种改进的一致性提高了用户在多视图显示器上观看多个图像时的聚焦和舒适度。
[0044]
用于多视角风格转换mst的本系统和方法相对于其他解决方案提供了各种优点。表1示出了在使用六种不同的方法或技术中的每一种渲染具有4个视图(例如，视点)、8个视图和16个视图的风格化的多视图图像的一些实施例中的平均运行时间比较。
[0045][0046]
表1：多视图风格转换输出运行时间比较
[0047]
表1比较了基线cpu解决方案和基线gpu解决方案、方法a和方法b以及正在讨论的多视图风格转换(mst)cpu解决方案和mst gpu解决方案。基线cpu解决方案和基线gpu解决方案对每个合成的视图单独地单纯地应用神经风格转换。如表1所示，正在讨论的mst cpu和mst gpu线性地缩放视角视点的数量。这提供了对基线cpu解决方案和基线gpu解决方案的计算效率改进，基线cpu解决方案和基线gpu解决方案不是线性缩放的。正在讨论的mst cpu和mst gpu进一步产生风格一致的视图，从而提高了计算效率。
[0048]
正在讨论的mst cpu和mst gpu提供了对方法a的改进。方法a包括对每个立体输入视图应用神经风格转换，然后使用风格化的对和原始视差图作为输入来执行新视图合成。虽然方法a比基线cpu和基线gpu运行更快，但是渲染的视图产生了不想要的重影伪像和立体对之间的整体不一致风格，这可以导致观看疲劳。
[0049]
方法b寻求相对于方法a改进输出图像的风格不一致。方法b包括仅对输入的左图像应用神经风格以创建风格化的左图像，然后仅从该风格化的左图像合成新视图。方法b还包括同时使用原始自然的左图像和右图像来执行视图合成，其中该自然的多视图图像被用作用于对风格化的多视图图像的导向滤波器通过的指南。产生的多视图图像被锐化以减少模糊的伪像。这种方法产生了具有相对尖锐边缘的一致风格化的视图，然而方法b限制了深度效果，这是因为仅使用左侧图像用于风格化的新视图合成。此外，方法b导致在导向滤波步骤中对齐边缘的减少，并且在输出视图中的边缘周围产生了重影伪像。
[0050]
多视图风格转换方法200提供了对基线、方法a和方法b的改进，同时提供了改进的计算效率。特别地，多视图风格转换方法200提供了具有按需性能的改进的多视图一致风格化的图像，包括在移动设备上进行gpu加速时。
[0051]
图5a-图5c例示了根据与本文中所描述的原理一致的实施例的各种示例中的多视图风格转换方法结果500。图5a例示了接收输入510(诸如原始立体对、视差图和风格指南)并生成输出515的4视图示例。类似地，图5b例示了接收输入520并生成输出525的8视图示例，并且图5c例示了接收输入530并生成输出535的16视图示例。从图5a-图5c中可以看出，正在讨论的多视图风格转换方法200导致每个合成图像内的对象的一致风格化而不管对象位置、旋转或遮挡。图5a-图5c的示例中的不同视图可以对应于多视图显示器中的各自不同的视图或视图视角。
[0052]
图6a-图6b例示了根据与本文中所描述的原理一致的实施例的各种示例中的多视图风格转换设备600。图6a例示了根据本文中所描述的原理的实施例的示例中的包括多视图显示628的电子设备600的框图。如图所示，电子设备600包括图形处理单元(gpu)610。图形处理单元610被配置为生成具有独立的3d视点的风格化的多视图图像612(诸如先前所描述的风格化的多视图图像)。
[0053]
在接收到风格化的多视图图像612之后，驱动器616可以将风格化的多视图图像612存储在缓存618中。注意，缓存618可能能够存储具有3d视图的整个风格化的多视图图像612，诸如3d视频的完整帧。然后，映射电路620(诸如控制或路由逻辑，且更通常地映射或变换块)将风格化的多视图图像612变换为复合图像622。接下来，驱动器电路624基于复合图像622将像素驱动信号626驱动或应用到多视图显示器628。在一些实施例中，风格化的多视图图像612具有或兼容具有多种不同格式中的一种的图像文件。
[0054]
代替单独的驱动器616，在一些实施例中，驱动器616中的一些功能或所有功能被包括在图形处理单元中。这被示出在图6b中，图6b例示了根据本文中所描述的原理的另一实施例的电子设备630的框图，电子设备630在示例中包括多视图显示器628。特别地，在图6b中，图形处理单元632包括驱动器616的组件。
[0055]
虽然图6a和图6b例示了包括多视角显示器628的电子设备中的图像处理技术，但在一些实施例中，图像处理技术被实施在电子设备600和630中的一个中的一个或多个组件中，诸如多视角显示器628中的一个或多个组件，所述组件可以与多视角显示器628或电子设备600和630中的一个的剩余部分被分开提供或与其一起被提供。
[0056]
在一些实施例中，电子设备600和630可以包括处理电路，诸如例如，被配置为执行存储在存储器中的指令的中央处理单元(cpu)。所述指令可以是由操作系统支持的应用程序的一部分。所述指令可以是由cpu、gpu或其组合执行的软件程序例程的一部分。例如，视图合成可以被实施为由cpu或gpu执行的软件，而导向滤波器被实施为由cpu执行的软件。
[0057]
本公开的各方面可以帮助提供本文中所确定的风格化问题的解决方案。例如，示例1可以包括多视图风格转换系统，包括：处理电路；以及包括指令的存储器，所述指令在由所述处理电路执行时使所述处理电路：接收表示场景的第一视角的第一图像、对应于所述第一图像的第一视差图、表示所述场景的第二视角的第二图像以及对应于所述第二图像的第二视差图；生成第一风格化的图像，该第一风格化的图像表示应用于所述第一图像的风格转换模型；基于所述第一风格化的图像和所述第一视差图生成风格化的移位图像，所述
风格化的移位图像包括所述第一风格化的图像到所述第二视角的第一移位；以及基于所述风格化的移位图像和所述第二图像的导向滤波器生成第二风格化的图像，所述导向滤波器用于基于所述第二图像处理所述第二风格化的图像中的边缘特征。移位的图像或移位图像是具有从原始图像移位的视角视图的图像。移位是指使图像的视图进行移位以生成新的图像。移位可以使用重新投影技术来实施。为了从原始图像生成移位图像，原始图像的各个区域可能被拉伸、重定位或变形。
[0058]
在示例2中，示例1的主题包括多视图显示器，其中所述指令还使所述处理电路：基于所述风格化的移位图像和所述第一视差图生成第一风格化的图像；基于所述第二风格化的图像和所述第二视差图生成第二风格化的图像，其中所述第一风格化的图像和第二第一风格化的图像被配置用于由多视图显示器同时使用；以及在所述多视图显示器上显示所述第一风格化的图像和所述第二风格化的图像。
[0059]
在示例3中，示例2的主题包括，进一步使所述处理电路执行以下操作的指令：基于第一风格化图像和所述第二风格化图像合成多个风格化的视角视图；以及在所述多视图显示器上显示所述多个风格化的视角视图。
[0060]
在示例4中，示例1-3的主题包括，进一步使所述处理电路基于对所述第二风格化的图像应用第二导向滤波器而生成第二滤波图像的指令，其中，所述第二风格化的图像的生成还基于所述第二滤波图像。
[0061]
在示例5中，示例4的主题包括，进一步使所述处理电路基于对所述第一风格化的图像应用第一导向滤波器而生成第一滤波图像的指令，其中，所述第一风格化的图像的生成还基于所述第一滤波图像。
[0062]
在示例6中，示例5的主题包括，其中：所述第一导向滤波器包括第一导向锐化滤波器，所述第一导向锐化滤波器用于基于所述第一图像内的多个第一边缘锐化所述第一风格化的图像；并且所述第二导向滤波器包括第二导向锐化滤波器，所述第二导向锐化滤波器用于基于所述第二图像内的多个第二边缘锐化所述第二风格化的图像。在一些实施例中，导向锐化滤波器可以被用来通过使用去除低频的高通滤波器锐化检测到的边缘。
[0063]
在示例7中，示例1-6的主题包括，进一步使所述处理电路基于所述第一图像和所述风格转换模型生成所述第一风格化的图像的指令。
[0064]
在示例8中，示例7的主题包括，其中所述风格转换模型包括通过机器学习在多个目标风格图像上训练的风格转换神经网络。
[0065]
在示例9中，示例7-8的主题包括，进一步使所述处理电路执行以下操作的指令：接收目标风格图像；以及基于对所述目标风格图像应用神经风格转换(nst)算法来识别目标风格；以及基于所述目标风格生成所述风格转换模型；其中所述风格转换模型包括。
[0066]
在示例10中，示例1-9的主题包括，进一步使所述处理电路执行以下操作的指令：基于所述第一图像和所述第二图像生成所述第一视差图，所述第一视差图表示所述第一图像中的多个第一图像点相对于所述第二图像中的多个第二图像点的水平坐标差异；以及基于所述第一图像和所述第二图像生成所述第二视差图，所述第二视差图表示所述第二图像中的所述多个第二图像点相对于所述第一图像中的所述多个第一图像点的水平坐标差异。例如，视差图指示多视图图像的视图之间的明显像素差异。在这方面，视差图通过指定在多视图显示器上应该渲染像素的位置来控制渲染像素的明显视差。当视差约为零时，表示一
个对象的像素在观看者看来在不同视图中的相同位置处。当在多视图显示器上渲染时，具有约零视差的像素在观看者看来位于屏幕显示器上，而具有非零视差的像素则出现在显示器的屏幕前面或后面。
[0067]
不同视角中的水平坐标的差异导致了从不同视角观察的同一对象的像素位置的差异，从而引起视差。在一些实施例中，视差图可以指示垂直视差、水平视差或两者。因此，不同视图的对应像素之间的差异可能是在垂直方向、水平方向或两者。
[0068]
在示例11中，示例1-10的主题包括，进一步使所述处理电路执行以下操作的指令：基于所述第一风格化的图像和所述第一视差图生成第一推断图像，该第一推断图像表示基于与所述第一图像相关联的所述场景的所述第一视角推断到第三视点的第一合成视点；基于所述第二风格化的图像和所述第二视差图生成第二推断图像，该第二推断图像表示基于与所述第二图像相关的所述场景的所述第二视角推断至第四视点的第二合成视点；并且在所述多视图显示器上显示所述第一推断图像和所述第二推断图像。视图合成可能涉及使用计算机视觉技术、前向变形、深度测试、修补技术或其任何组合从一个或多个原始视图中人工地预测、推断或插值新视图。
[0069]
在示例12中，示例1-11的主题包括，进一步使所述处理电路执行以下操作的指令：基于从第一期望输出视点重新投影所述第一风格化的图像而生成第一风格化的视点图像；基于从第二期望输出视点重新投影第二风格化的图像而生成第二风格化的视点图像；以及在所述多视图显示器上显示所述第一风格化的视点图像和所述第二风格化的视点图像。期望输出视点对应于由所述多视图显示器产生的视图的主角度方向。
[0070]
在示例13中，示例12的主题包括，其中：所述第一期望输出视点基于与设备多视图显示器相关联的第一设备视点；并且所述第二期望输出视点基于与设备多视图显示器相关联的第二设备视点。
[0071]
在示例14中，示例12-13的主题包括，进一步使所述处理电路执行以下操作的指令：基于从第三期望输出视点重新投影所述第三风格化的图像而生成第三风格化的视点图像；基于从第四期望输出视点重新投影所述第四风格化的图像而生成第四风格化的视点图像；以及在所述多视角显示器上显示所述第三风格化的视点图像和所述第四风格化的视点图像。
[0072]
示例15是一种多视角风格转换方法，包括：接收表示场景的第一视角的第一图像，对应于所述第一图像的第一视差图，表示所述场景的第二视角的第二图像，以及对应于所述第二图像的第二视差图；生成第一风格化的图像，该第一风格化的图像表示应用于所述第一图像的风格转换模型；基于所述第一风格化的图像和所述第一视差图生成风格化的移位图像，该风格化的移位图像包括所述第一风格化的图像到所述第二视角的第一移位；以及基于所述风格化的移位图像和所述第二图像的导向滤波器生成第二风格化的图像，该导向滤波器用于基于所述第二图像处理所述第二风格化的图像中的边缘特征。
[0073]
在示例16中，示例15的主题包括，基于所述风格化的移位图像和所述第一视差图生成第一风格化的图像；以及基于所述第二风格化的图像和所述第二视差图生成第二风格化的图像，其中所述第一风格化的图像和第二第一风格化的图像被配置用于由多视图显示器同时使用。
[0074]
在示例17中，示例16的主题包括，基于第一风格化的图像和所述第二风格化的图
像合成多个风格化的视角视图。
[0075]
在示例18中，示例15-17的主题包括，基于对所述第二风格化的图像应用第二导向滤波器而生成第二滤波图像，其中所述第二风格化的图像的生成还基于所述第二滤波图像。
[0076]
在示例19中，示例18的主题包括，基于对所述第一风格化的图像应用第一导向滤波器而生成第一滤波图像，其中所述第一风格化的图像的生成还基于所述第一滤波图像。在示例20中，示例19的主题包括，其中：所述第一导向滤波器包括第一导向锐化滤波器，该第一导向锐化滤波器用于基于所述第一图像内的多个第一边缘锐化所述第一风格化的图像；并且所述第二导向滤波器包括第二导向锐化滤波器，该第二导向锐化滤波器用于基于所述第二图像内的多个第二边缘锐化所述第二风格化的图像。
[0077]
在示例21中，示例15-20的主题包括，基于所述第一图像和所述风格转换模型生成所述第一风格化的图像。
[0078]
在示例22中，示例21的主题包括，其中所述风格转换模型包括通过机器学习在多个目标风格图像上训练的风格转换神经网络。
[0079]
在示例23中，示例21-22的主题包括，接收目标风格图像；以及基于对所述目标风格图像应用神经风格转换(nst)算法来识别目标风格；以及基于所述目标风格来生成所述风格转换模型；其中所述风格转换模型包括。
[0080]
在示例24中，示例15-23的主题包括，基于所述第一图像和所述第二图像生成所述第一视差图，所述第一视差图表示所述第一图像中的多个第一图像点相对于所述第二图像中的多个第二图像点的水平坐标差异；以及基于所述第一图像和所述第二图像生成所述第二视差图，所述第二视差图表示所述第二图像中的所述多个第二图像点相对于所述第一图像中的所述多个第一图像点的水平坐标差异。
[0081]
在示例25中，示例15-24的主题包括，基于所述第一风格化的图像和所述第一视差图生成第一推断图像，该第一推断图像表示基于与所述第一图像相关联的所述场景的所述第一视角推断至第三视角的第一合成视点；以及基于所述第二风格化的图像和所述第二视差图生成第二推断图像，该第二推断图像表示基于与所述第二图像相关的所述场景的所述第二视角推断至第四视角的第二合成视点。
[0082]
在示例26中，示例15-25的主题包括，基于从第一期望输出视点重新投影所述第一风格化的图像而生成第一风格化的视点图像；以及基于从第二期望输出视点重新投影所述第二风格化的图像而生成第二风格化的视点图像。
[0083]
在示例27中，示例26的主题包括，其中：所述第一期望输出视点基于与设备多视图显示器相关联的第一设备视点；并且所述第二期望输出视点基于与设备多视图显示器相关联的第二设备视点。
[0084]
在示例28中，示例26-27的主题包括，基于从第三期望输出视点重新投影所述第三风格化的图像而生成第三风格化的视点图像；以及基于从第四期望输出视点重新投影所述第四风格化的图像而生成第四风格化的视点图像。
[0085]
因此，已经描述了在多视图显示器上显示第一风格化的图像和第二风格化的图像的多视图风格转换系统和方法的示例和实施例。应理解，上述示例仅仅例示表示本文中所描述的原理的许多特定示例中的一些。显然，本领域技术人员可以在不脱离如由以下权利
要求限定的范围的情况下容易地设计许多其它布置。
技术特征：1.一种多视图风格转换系统，包括：处理电路；以及包括指令的存储器，所述指令在由所述处理电路执行时使所述处理电路：接收表示场景的第一视角的第一图像、对应于所述第一图像的第一视差图以及表示所述场景的第二视角的第二图像；生成表示应用于所述第一图像的风格转换模型的第一风格化的图像；基于所述第一风格化的图像和所述第一视差图生成风格化的移位图像，所述风格化的移位图像包括所述第一风格化的图像到所述第二视角的第一移位；以及基于所述风格化的移位图像和所述第二图像的导向滤波器生成第二风格化的图像，所述导向滤波器用于基于所述第二图像处理所述第二风格化的图像中的边缘特征。2.根据权利要求1所述的多视图风格转换系统，还包括多视图显示器，其中所述指令还使所述处理电路：基于所述风格化的移位图像和所述第一视差图生成第一风格化的图像；基于所述第二风格化的图像和与所述第二图像相对应的第二视差图生成第二风格化的图像，其中所述第一风格化的图像和第二第一风格化的图像被配置为由多视图显示器同时渲染；以及在所述多视图显示器上显示所述第一风格化的图像和所述第二风格化的图像。3.根据权利要求2所述的多视图风格转换系统，其中所述指令还使所述处理电路：基于第一风格化的图像和所述第二风格化的图像合成多个风格化的视角视图；以及在所述多视图显示器上显示所述多个风格化的视角视图。4.根据权利要求1所述的多视图风格转换系统，其中所述指令还使所述处理电路基于对所述第二风格化的图像应用第二导向滤波器而生成第二滤波图像，其中所述第二风格化的图像的生成还基于所述第二滤波图像。5.根据权利要求4所述的多视图风格转换系统，其中所述指令还使所述处理电路基于对所述第一风格化的图像应用第一导向滤波器而生成第一滤波图像，其中所述第一风格化的图像的生成还基于所述第一滤波图像。6.根据权利要求5所述的多视图风格转换系统，其中：所述第一导向滤波器包括第一导向锐化滤波器，所述第一导向锐化滤波器基于所述第一图像内的多个第一边缘锐化所述第一风格化的图像；并且所述第二导向滤波器包括第二导向锐化滤波器，所述第二导向锐化滤波器基于所述第二图像内的多个第二边缘锐化所述第二风格化的图像。7.根据权利要求1所述的多视图风格转换系统，其中所述指令还使所述处理电路基于所述第一图像和所述风格转换模型生成所述第一风格化的图像。8.根据权利要求7所述的多视图风格转换系统，其中所述风格转换模型包括通过机器学习在多个目标风格图像上训练的风格转换神经网络。9.根据权利要求7所述的多视图风格转换系统，其中所述指令还使所述处理电路：接收目标风格图像；基于对所述目标风格图像应用神经风格转换(nst)算法来识别目标风格；以及基于所述目标风格生成所述风格转换模型。
10.根据权利要求1所述的多视图风格转换系统，其中基于所述第一图像和所述第二图像生成所述第一视差图，所述第一视差图表示所述第一图像中的多个第一图像点相对于所述第二图像中的多个第二图像点的水平坐标差异；以及其中基于所述第一图像和所述第二图像生成第二视差图，所述第二视差图表示所述第二图像中的所述多个第二图像点相对于所述第一图像中的所述多个第一图像点的水平坐标差异。11.根据权利要求2所述的多视图风格转换系统，其中所述指令还使所述处理电路：基于所述第一风格化的图像和所述第一视差图生成第一推断图像，所述第一推断图像表示基于与所述第一图像相关联的所述场景的所述第一视角推断到第三视点的第一合成视点；基于所述第二风格化的图像和所述第二视差图生成第二推断图像，所述第二推断图像表示基于与所述第二图像相关联的所述场景的所述第二视角推断到第四视点的第二合成视点；以及在所述多视图显示器上显示所述第一推断图像和所述第二推断图像。12.根据权利要求2所述的多视图风格转换系统，其中所述指令还使所述处理电路：基于从第一期望输出视点重新投影所述第一风格化的图像而生成第一风格化的视点图像；基于从第二期望输出视点重新投影所述第二风格化的图像而生成第二风格化的视点图像；以及在所述多视图显示器上显示所述第一风格化的视点图像和所述第二风格化的视点图像。13.根据权利要求12所述的多视图风格转换系统，其中：所述第一期望输出视点基于与设备多视图显示器相关联的第一设备视点；并且所述第二期望输出视点基于与设备多视图显示器相关联的第二设备视点。14.根据权利要求12所述的多视图风格转换系统，其中所述指令还使所述处理电路：基于从第三期望输出视点重新投影第三风格化的图像而生成第三风格化的视点图像；基于从第四期望输出视点重新投影第四风格化的图像而生成第四风格化的视点图像；以及在所述多视图显示器上显示所述第三风格化的视点图像和所述第四风格化的视点图像。15.一种多视角风格转换方法，包括：接收表示场景的第一视角的第一图像、对应于所述第一图像的第一视差图以及表示所述场景的第二视角的第二图像；生成表示应用于所述第一图像的风格转换模型的第一风格化的图像；基于所述第一风格化的图像和所述第一视差图生成风格化的移位图像，所述风格化的移位图像包括所述第一风格化的图像到第二视角的第一移位；以及基于所述风格化的移位图像和所述第二图像的导向滤波器生成第二风格化的图像，所述导向滤波器用于基于所述第二图像处理所述第二风格化的图像中的边缘特征。16.根据权利要求15所述的多视角风格转换方法，还包括：
基于所述风格化的移位图像和所述第一视差图生成第一风格化的图像；以及基于所述第二风格化的图像和与所述第二图像相对应的第二视差图生成第二风格化图像，其中所述第一风格化的图像和第二第一风格化的图像被配置为通过多视图显示器渲染。17.根据权利要求16所述的多视角风格转换方法，还包括基于所述第一风格化的图像和所述第二风格化的图像合成多个风格化的视角视图。18.根据权利要求16所述的多视角风格转换方法，还包括基于对所述第二风格化的图像应用第二导向滤波器而生成第二滤波图像，其中所述第二风格化的图像的生成还基于所述第二滤波图像。19.根据权利要求18所述的多视角风格转换方法，还包括基于对所述第一风格化的图像应用第一导向滤波器而生成第一滤波图像，其中所述第一风格化的图像的生成还基于所述第一滤波图像。20.根据权利要求19所述的多视角风格转换方法，其中：所述第一导向滤波器包括第一导向锐化滤波器，所述第一导向锐化滤波器用于基于所述第一图像内的多个第一边缘锐化所述第一风格化的图像；并且所述第二导向滤波器包括第二导向锐化滤波器，所述第二导向锐化滤波器用于基于所述第二图像内的多个第二边缘锐化所述第二风格化的图像。21.根据权利要求15所述的多视角风格转换方法，还包括基于所述第一图像和所述风格转换模型生成所述第一风格化的图像。22.根据权利要求21所述的多视角风格转换方法，其中所述风格转换模型包括通过机器学习在多个目标风格图像上训练的风格转换神经网络。23.根据权利要求21所述的多视角风格转换方法，还包括：接收目标风格图像；基于对所述目标风格图像应用神经风格转换(nst)算法来识别目标风格；以及基于所述目标风格生成所述风格转换模型。24.根据权利要求15所述的多视角风格转换方法，其中基于所述第一图像和所述第二图像生成所述第一视差图，所述第一视差图表示所述第一图像中的多个第一图像点相对于所述第二图像中的多个第二图像点的水平坐标差异；并且其中基于所述第一图像和所述第二图像生成第二视差图，所述第二视差图表示所述第二图像中的所述多个第二图像点相对于所述第一图像中的所述多个第一图像点的水平坐标差异。25.根据权利要求16所述的多视角风格转换方法，还包括：基于所述第一风格化的图像和所述第一视差图生成第一推断图像，所述第一推断图像表示基于与所述第一图像相关联的所述场景的所述第一视角推断到第三视点的第一合成视点；以及基于所述第二风格化的图像和所述第二视差图生成第二推断图像，所述第二推断图像表示基于与所述第二图像相关联的所述场景的所述第二视角推断到第四视点的第二合成视点。26.根据权利要求16所述的多视角风格转换方法，还包括：
基于从第一期望输出视点重新投影所述第一风格化的图像而生成第一风格化的视点图像；以及基于从第二期望输出视点重新投影所述第二风格化的图像而生成第二风格化的视点图像。27.根据权利要求26所述的多视角风格转换方法，其中：所述第一期望输出视点基于与设备多视图显示器相关联的第一设备视点；以及所述第二期望输出视点基于与设备多视图显示器相关联的第二设备视点。28.根据权利要求26所述的多视角风格转换方法，还包括：基于从第三期望输出视点重新投影所述第三风格化的图像而生成第三风格化的视点图像；以及基于从第四期望输出视点重新投影所述第四风格化的图像生成第四风格化的视点图像。
技术总结一种多视图风格转换的系统和方法，以在所有图像上产生一致结果的方式将风格转换应用于多视角图像的个体视图。在一些实施例中，所述多视图风格转换包括接收表示场景的第一视角的第一和第二图像以及对应于所述第一和第二图像的第一和第二视差图，生成第一风格化的图像，基于所述第一风格化的图像和所述第一视差图生成风格化的移位图像，基于所述风格化的移位图像和所述第二图像的导向滤波器生成第二风格化的图像，以及基于所述风格化的移位图像和所述视差图生成第一和第二风格化的图像。像和所述视差图生成第一和第二风格化的图像。像和所述视差图生成第一和第二风格化的图像。
技术研发人员：N.达尔奎斯特 S.古纳西兰 P.科利 E.李
受保护的技术使用者：镭亚股份有限公司
技术研发日：2021.01.28
技术公布日：2022/11/1
