一种基于光场序列特征分析的光场深度估计方法

1.本发明属于计算机视觉与人工智能技术领域，具体涉及一种基于光场序列特征分析的光场深度估计方法。


背景技术：

2.微透镜光场相机已经进入消费类电子领域，具有较大工业应用和学术研究价值。微透镜光场相机为解决深度估计问题提供了新途径。一方面，光场成像不仅能够记录光线位置，而且能够记录光线的方向，为深度估计提供了几何依据；另一方面，微透镜光场相机具有单目多视角图像采集能力，方便了视觉系统部署，为拓展深度估计应用奠定了物理基础。
3.基于微透镜光场相机的深度估计是近十年兴起的研究热点，大致分为传统深度估计和基于学习的深度估计两大类。传统深度估计方法主要基于结构算子提取特征，根据光场成像几何反演深度信息。例如：tao等人运用方差和均值算子度量裁切epi，融合散焦和对应两种深度线索，进而估计场景深度。wanner等人利用2d结构张量估计epi图像上的直线斜率，得到深度信息。zhang等人引入平行四边形算子定位epi图像上直线位置，进行深度估计。中国发明专利“一种基于光场的深度估计(zl201510040975.1)”也利用结构张量作为初始深度估计的方法。基于结构算子的传统深度估计方法，可解释性强，但算子描述能力有限，深度估计的准确度存在提升瓶颈。
4.近年来，随着深度学习技术的兴起，基于学习的光场深度估计方法受到青睐。heber等人首先提出了基于深度学习的光场深度估计方法，利用卷积神经网络提取epi块的特征，进而回归得到对应深度值。shin等人在多个方向epi图像的输入流上进行卷积处理，融合得到深度值。han等人提出生成epi合成图像的方法，进而利用多流卷积和跃层融合估计场景深度。tsai等人引入注意力机制选择更有效的子孔径图像，然后运用卷积提取特征，并得到场景深度。中国发明专利“一种基于混合型卷积神经网络的光场图像深度估计方法(zl201711337965.x)”公开了光场图像深度估计方法，利用卷积网络神经网络提取水平方向epi块和垂直方向epi块的信息，然后进行回归融合，得到深度图。中国发明专利申请“一种基于多模态信息的光场深度估计方法(公布号：cn 112767466 a)”利用卷积和空洞卷积对焦点堆栈和中心视图进行分析处理，进而预测场景深度。
5.深度估计理论建模、光场数据提取方法、神经网络设计等影响着深度估计效果。目前，基于学习的方法已经成为光场深度估计方法的主流，取得了长足进步；但深度估计的准确度，以及在遮挡、噪声等方面的鲁棒性均有待提高，尤其是光场数据提取和神经网络数据处理等技术环节亟待革新突破。为此，本发明公开了一种基于向量序列分析的光场图像处理方法，并设计了局部深度估计和全局优化为一体的端到端深度估计网络，运用该网络进行光场深度估计，准确度显著提高，为三维重建、三维缺陷检测等应用提供了良好支撑。


技术实现要素：

6.发明目的：本发明提供一种基于光场序列特征分析的光场深度估计方法，能够估计高准确度深度结果，支撑光场三维重建、缺陷检测等应用。
7.技术方案：本发明所述的一种基于光场序列特征分析的光场深度估计方法，具体包括以下步骤：
8.(1)从4d光场数据中提取中心子孔径图像其中(ic,jc)表示中心子孔径图像的视角坐标；
9.(2)由4d光场数据计算生成epi合成图像i
sepi
；
10.(3)构建光场神经网络模型lfrnn，接收i
sepi
、输入，输出与中心子孔径图像同分辨率的视差图d；所述光场神经网络模型lfrnn包括基于光场序列分析的局部深度估计模块和基于条件随机场模型的深度优化模块；
11.(4)训练步骤(3)构建的光场神经网络模型lfrnn，得到网络最优参数集p：将训练分为两个阶段进行，两个阶段均采用平均绝对误差作为损失函数；第一个阶段仅训练基于光场序列分析的局部深度估计模块，得到该模块的最优参数集p1；第二阶段冻结基于光场序列分析的局部深度估计模块的最优参数集p1，并训练整个网络，更新基于条件随机场模型的深度优化模块的参数，得到lfrnn网络的最优参数集p。
12.进一步地，所述步骤(1)实现过程如下：
13.4d光场数据是由光场相机所采集光场图像的解码表示，记为l:(i,j,k,l)
→
l(i,j,k,l)，其中，(i,j)表示微透镜图像的像素索引坐标或称视角坐标，(k,l)表示微透镜中心的索引坐标，i,j,k,l均为整数，l(i,j,k,l)表示(i,j)视角下通过(k,l)位置处的光线的辐射强度；抽取每个微透镜图像的中心像素，按微透镜位置索引排列得到二维图像，即其中(ic,jc)表示中心子孔径图像的视角坐标。
14.进一步地，所述步骤(2)实现过程如下：
15.(21)根据输入4d光场的维度，初始化i
sepi
为全0矩阵：
16.4d光场l:(i,j,k,l)
→
l(i,j,k,l)中，角度分辨率为n
ai
×naj
，即i∈[0,n
ai
)，j∈[0,n
aj
)；空间分辨率为n
sk
×nsl
，即k∈[0,n
sk
)，l∈[0,n
sl
)；则i
sepi
是(n
sk
×naj
)
×nsl
的二维矩阵，初始化为全0矩阵；
[0017]
(22)对于4d光场第三维k的每一行，行序号为k
*
，计算其对应的epi图像并使用更新i
sepi
的部分区域：
[0018]
由4d光场数据计算生成第三维第k
*
行对应的epi图像的过程看作一个映射：即固定4d光场中的第一和第三两个维度，变化另外两个维度所得到的二维切片图像，令i＝ic，k＝k*；
[0019]
使用所得的更新i
sepi
的部分区域，即这里，i
sepi
((k*-1)
×naj
:k*
×naj
,0:n
sl
)表示i
sepi
中第(k*-1)
×naj
行至第k*
×naj-1行，第0列至第n
sl-1列的一块区域；
[0020]
(23)对4d光场第三维的每一行进行步骤(22)的操作，计算生成epi合成图像i
sepi
。
[0021]
进一步地，步骤(3)所述基于光场序列分析的局部深度估计模块实包括滑窗处理层、序列特征提取子网络、特征图变形层；
[0022]
所述滑窗处理层负责在epi合成图像i
sepi
上滑动截取epi块i
epi-p
，输入到序列特征提取子网络；滑窗大小为(n
aj
,16)，水平方向滑动步长为1，垂直方向滑动步长为n
aj
，滑窗超越i
sepi
时，补0填充；
[0023]
所述序列特征提取子网络为提取epi块i
epi-p
的序列特征的循环神经网络，包括序列化拆分处理、双向gru层和全连接网络；其中序列化拆分处理是基于epi图像上蕴含着深度信息的直线分布于多列像素之中的独特观察，将n
aj
×
16的eip图像块i
epi-p
的每列像素，看作一个列向量其中，x、y分别表示epi图像块i
epi-p
上像素的行、列坐标，表示epi图像块i
epi-p
上(x,y)处像素的灰度值；一个n
aj
×
16的epi图像块i
epi-p
可以序列化为16个列向量gy，0≤y≤15且y为整数；向量gy将依次作为后续双向gru层每个时刻的输入；双向gru层由两个方向的gru单元构成，每个方向gru单元的维度为256，每个gru单元设置为非序列工作模式，接收16个时刻的向量输入，产生1个输出；双向gru层共计产生512个输出；全连接网络包含两个全连接层；第一个全连接层接收双向gru层的512个输出，产生16个输出；该层全连接配置relu激活函数；第二个全连接层接收前一个全连接层的16个输出，输出1个视差值；该全连接层不配置激活函数；
[0024]
所述特征图变形层将(n
sk
×nsl
)个视差值序列，变形成n
sk
×nsl
的矩阵，称为特征图，记为u。
[0025]
进一步地，步骤(3)所述基于条件随机场模型的深度优化模块包括中心子孔径图像核参数提取和特征图迭代优化两部分；中心子孔径图像核参数提取部分是根据输入的中心子孔径图像计算滤波器核参数；特征图迭代优化部分是以条件随机场为理论基础，按照中心子孔径图像核参数提取部分所得滤波器核参数，将特征图迭代优化，得到视差图d；
[0026]
中心子孔径图像核参数提取部分以中心子孔径图像为输入，计算空间和色彩卷积核f1和空间卷积核f2：
[0027][0028][0029]
其中，pi、pj分别表示中心子孔径图像上第i个、第j个像素的位置信息，ci、cj分别表示中心子孔径图像上第i个、第j个像素的色彩信息，θ
α
、θ
β
、θ
γ
为自定义的带宽半径；
[0030]
特征图迭代优化部分包括并行滤波、一元项叠加、归一化因子计算、归一化四个模块；并行滤波模块通过两个通路分别对本次迭代输入μ
t-1
进行滤波处理：第一个通路利用卷积核f1对μ
t-1
进行滤波，即然后，对滤波结果乘以权重参数θ1，即第二通路用卷积核f2对μ
t-1
进行滤波，即然后，对滤波结果乘以权重参数θ2，即第一次迭代时，μ
t-1
初始化为特征图u；θ1、θ2做随机
初始化，通过网络训练获得更新；两个通路的结果逐元素相加得到并行滤波模块的输出即一元项添加模块是将特征图u与并行滤波模块的结果相叠加，得即归一化因子计算模块内部也进行了并行滤波和一元项添加操作，得到归一化因子γ；其数据处理的对象是全1矩阵j，而不是μ
t-1
和特征图u；归一化因子计算模块的具体处理步骤是：体处理步骤是：归一化模块是将一元项添加的模块的计算结果对归一化因子γ按逐元素相除，得到本轮迭代的输出μ
t
，即最后一次迭代的输出即是优化的视差图d。
[0031]
有益效果：与现有技术相比，本发明的有益效果：1、本发明依据光场成像几何，另辟蹊径地从序列数据的视角分析光场，设计了基于循环神经网络的深度特征提取子网络，替代了传统卷积神经网络的特征提取方法，显著提高了局部深度估计能力；2、本发明依据条件随机场理论，对全局深度信息建模，设计了端到端的优化网络，显著提升了深度估计准确度和鲁棒性。
附图说明
[0032]
图1为本发明的流程图；
[0033]
图2为本发明中的4d光场双平面表示图；
[0034]
图3为本发明中的计算生成epi合成图像的流程图；
[0035]
图4为本发明中的中心子孔径图像及epi图像示例；
[0036]
图5为本发明中的epi合成图像示意图；
[0037]
图6为本发明设计的lfrnn网络体系结构图；
[0038]
图7为本发明设计的序列特征提取子网络的结构图；
[0039]
图8为本发明设计的基于条件随机场模型的深度优化模块的结构图；
[0040]
图9为本发明与现有方法的结果对比示意图。
具体实施方式
[0041]
下面结合附图对本发明作进一步详细说明。
[0042]
如图1所示，本发明公开的一种基于光场序列特征分析的光场深度估计方法，包括如下步骤：
[0043]
步骤1、从4d光场数据中提取中心子孔径图像其中(ic,jc)表示中心子孔径图像的视角坐标。
[0044]
4d光场数据是由光场相机所采集光场图像的解码表示，如图2所示，通常用双平面法(2pp)表示光场数据，图中π和ω是平行平面，分别表示视角平面和位置平面，通过光线与双平面的交点表示一条光线，所有非平行于双平面的光线，形成了光场。通常将光场记为l:(i,j,k,l)
→
l(i,j,k,l)，其中，(i,j)表示微透镜图像的像素索引坐标或称视角坐标，(k,l)表示微透镜中心的索引坐标，i,j,k,l均为整数，l(i,j,k,l)表示(i,j)视角下通过(k,l)位置处的光线的辐射强度。提取中心子孔径图像的方法是抽取每个微透镜图像的中心像素，按微透镜位置索引排列得到二维图像，即其中(ic,jc)表
示中心子孔径图像的视角坐标。
[0045]
步骤2、由4d光场数据计算生成epi合成图像i
sepi
；如图3所示，包括如下步骤：
[0046]
(2.1)根据输入4d光场的维度，初始化i
sepi
为全0矩阵。
[0047]
4d光场l:(i,j,k,l)
→
l(i,j,k,l)中，若假设：角度分辨率为n
ai
×naj
，即i∈[0,n
ai
)，j∈[0,n
aj
)；空间分辨率为n
sk
×nsl
，即k∈[0,n
sk
)，l∈[0,n
sl
)。则i
sepi
是(n
sk
×naj
)
×nsl
的二维矩阵，初始化为全0矩阵。
[0048]
(2.2)对于4d光场第三维(k)的每一行(行序号：k
*
)，计算其对应的epi图像并使用更新i
sepi
的部分区域。
[0049]
由4d光场数据计算生成第三维第k
*
行对应的epi图像的过程可以看作一个映射：即固定4d光场中的第一和第三两个维度，变化另外两个维度所得到的二维切片图像，令i＝ic，k＝k*。如图4所示，上方图像是由某场景光场数据生成的中心子孔径图像，下方图像是中心子孔径图像实线所在行对应的epi图像。
[0050]
然后，使用所得的更新i
sepi
的部分区域，即这里，i
sepi
((k*-1)
×naj
:k*
×naj
,0:n
sl
)表示i
sepi
中第(k*-1)
×naj
行至第k*
×naj-1行，第0列至第n
sl-1列的一块区域。
[0051]
(2.3)对4d光场第三维的每一行进行第(2.2)步的操作，即可计算生成epi合成图像i
sepi
。为了展示效果，图5截取epi合成图像中的一块区域作为示例，该区域是图4中心子孔径图像上实线位置上下14行像素对应的epi合成图像。
[0052]
步骤3、构建光场神经网络模型lfrnn，接收i
sepi
、输入，输出与中心子孔径图像同分辨率的视差图d。如图6所示，光场神经网络模型lfrnn包括基于光场序列分析的局部深度估计模块和基于条件随机场模型的深度优化模块。
[0053]
基于光场序列分析的局部深度估计模块包括滑窗处理层、序列特征提取子网络、特征图变形层。其中，滑窗处理层负责在epi合成图像i
sepi
上滑动截取epi块i
epi-p
，输入到序列特征提取子网络。滑窗大小为(n
aj
,16)，水平方向滑动步长为1，垂直方向滑动步长为n
aj
，滑窗超越i
sepi
时，补0填充。
[0054]
序列特征提取子网络是为提取epi块i
epi-p
的序列特征而专门设计的循环神经网络，包括序列化拆分处理、双向gru层和全连接网络，如图7所示。序列化拆分处理是基于epi图像上蕴含着深度信息的直线分布于多列像素之中的独特观察，而提出的epi图像块序列化机制。具体地，将n
aj
×
16的eip图像块i
epi-p
的每列像素，看作一个列向量其中，x、y分别表示epi图像块i
epi-p
上像素的行、列坐标，表示epi图像块i
epi-p
上(x,y)处像素的灰度值。因此，一个n
aj
×
16的epi图像块i
epi-p
可以序列化为16个列向量gy，0≤y≤15且y为整数。这些向量将依次作为后续双向gru层每个时刻的输入。
[0055]
双向gru层由两个方向的gru单元构成，每个方向gru单元的维度为256，每个gru单元设置为非序列工作模式，即接收16个时刻的向量输入，产生1个输出。双向gru层共计产生512个输出。
[0056]
接下来的全连接网络包含两个全连接层。第一个全连接层接收双向gru层的512个
输出，产生16个输出；该层全连接配置relu激活函数。第二个全连接层接收前一个全连接层的16个输出，输出1个视差值；该全连接层不配置激活函数。
[0057]
特征图变形层的任务是将(n
sk
×nsl
)个视差值序列，变形成n
sk
×nsl
的矩阵，称为特征图，记为u。前面滑窗处理层按照设定的步长，在epi合成图像i
sepi
上滑动截取了(n
sk
×nsl
)个epi块i
epi-p
，每个epi块i
epi-p
在经序列特征提取子网络处理得到1个视差值，所有epi块共产生了(n
sk
×nsl
)个视差值，特征图变形层调用reshape处理，将其变形为n
sk
×nsl
矩阵，记为u。
[0058]
基于条件随机场模型的深度优化模块，包括中心子孔径图像核参数提取和特征图迭代优化两部分，如图8所示。中心子孔径图像核参数提取部分主要功能是根据输入的中心子孔径图像计算滤波器核参数；特征图迭代优化部分是以条件随机场为理论基础，按照中心子孔径图像核参数提取部分所得滤波器核参数，将特征图迭代优化，得到视差图d。
[0059]
中心子孔径图像核参数提取部分以中心子孔径图像为输入，计算两个全局连接卷积核的参数：1)计算空间/色彩卷积核f1，计算方法是其中，pi、pj分别表示中心子孔径图像上第i个、第j个像素的位置信息，ci、cj分别表示中心子孔径图像上第i个、第j个像素的色彩信息，θ
α
、θ
β
是自定义的带宽半径(这里，都设定为1)。2)计算空间卷积核f2，计算方法是同样，pi、pj分别表示中心子孔径图像上第i个、第j个像素的位置信息，θ
γ
是自定义的带宽半径(这里设定为)。
[0060]
特征图迭代优化部分包括并行滤波、一元项添加、归一化因子计算、归一化等四个模块。
[0061]
并行滤波模块通过两个通路分别对本次迭代输入μ
t-1
进行滤波处理：第一个通路利用卷积核f1对μ
t-1
进行滤波，即然后，对滤波结果乘以权重参数θ1，即类似地，第二通路用卷积核f2对μ
t-1
进行滤波，即然后，对滤波结果乘以权重参数θ2，即第一次迭代时，μ
t-1
初始化为特征图u；θ1、θ2做随机初始化，通过网络训练获得更新。两个通路的结果逐元素相加得到并行滤波模块的输出即
[0062]
一元项添加模块是将特征图u与并行滤波模块的结果相叠加，得即
[0063]
归一化因子计算模块内部也进行了并行滤波和一元项添加操作，得到归一化因子γ；不同的是，其数据处理的对象是全1矩阵j，而不是μ
t-1
和特征图u。归一化因子计算模块的具体处理步骤是：处理步骤是：
[0064]
归一化模块是将一元项添加的模块的计算结果对归一化因子γ按逐元素相除，得到本轮迭代的输出μ
t
，即
[0065]
特征图迭代优化部分是由四个模块构成的迭代过程，通常6次迭代即可取得理想的优化效果。最后一次迭代的输出即是优化的视差图d。
[0066]
步骤4、训练步骤3所述的lfrnn，得到网络最优参数集p。其特征在于训练步骤分为两个阶段进行，两个阶段均采用平均绝对误差作为损失函数。第一个阶段仅训练基于光场序列分析的局部深度估计模块，得到该模块的最优参数集p1；第二阶段冻结基于光场序列分析的局部深度估计模块的最优参数集p1，并训练整个网络，从而更新基于条件随机场模型的深度优化模块的参数，最终得到lfrnn网络的最优参数集p。
[0067]
训练lfrnn网络包括如下步骤：
[0068]
(4.1)准备光场数据集，并将其划分为训练集、验证集和测试集。光场数据集需包含场景光场数据和场景视差真值，具体地，可以使用现行公开的hci光场数据集，也可通过blender仿真软件合成光场数据，还可以通过光场相机和测距设备采集光场数据和深度真值。按照5:3:2的比例，将光场数据集随机分成训练集、验证集和测试集。
[0069]
(4.2)准备网络训练所需的输入数据和真值数据。输入数据包括中心子孔径图像和epi合成图像，分别按照步骤1和步骤2由光场数据集计算产生；真值数据直接由光场数据集提供。
[0070]
(4.3)将基于光场序列分析的局部深度估计模块作为独立的网络进行训练并验证。首先，输入为epi合成图像，输出的特征图作为估计的视差值，数据集提供的真值数据作为视差真值，由此计算平均绝对误差，反向传播优化网络参数，训练后得到该模块的最优参数集p1。其中，超参数batch设置为64，超参数epoch设置为10000；前2000个epoch学习率为0.1
×
10-3
，后8000个epoch学习率为0.1
×
10-4
。其次，在验证集上，验证该网络模块的泛化能力。
[0071]
(4.4)训练并验证lfrnn，得到参数最优参数集p。首先，将基于光场序列分析的局部深度估计模块作为预训练网络，加载其参数集p1，并冻结该模块的参数更新；然后，输入epi合成图像、中心子孔径图像，输出估计的视差值，参考视差真值计算平均绝对误差，反向传播优化lfrnn网络中基于条件随机场模型的深度优化模块的参数，最终得到lfrnn的最优参数集p。其中，超参数batch设置为64，超参数epoch设置为3000，学习率设置为0.1
×
10-4
。最后，在验证集上测试整个网络的泛化能力。
[0072]
lfrnn网络的测试与实用。对于步骤4所述测试集或者光场相机采集的4d光场数据，均可按照步骤1处理得到中心子孔径图像，按照步骤2处理得到epi合成图像；然后，将所得中心子孔径图像和epi合成图像输入到步骤3所述lfrnn网络；接着，加载步骤4所述的最优参数集p，进行前向计算，得到视差图d。
[0073]
图9给出了本文方法与其他基于神经网络的深度估计方法的性能对比示例。以4幅典型场景为例，对比了epinet、fusionnet和vommanet等主流光场深度估计方法。第一列是场景的中心子孔径图像，第二至五列分别是本发明公开的方法、epinet、fusionnet和vommanet的处理结果；同一场景的处理结果排列在同一行；对比评价的指标是均方误差(mse)，每个处理结果图像上方的数字代表了对应方法在该场景上取得的mse值；每一行后附加一个灰度标尺，指示了处理结果在各像素位置的误差分布，颜色越浅误差越小，颜色越深误差越大。由图9可知，本发明公开的lfrnn深度估计方法在前两个示例场景中取得了最好的mse指标，在后两个示例场景中虽然总体mse指标不及vammanet方法，但多数像素的深
度估计结果更接近真值，视觉效果明显优于vammanet的结果。

技术特征：
1.一种基于光场序列特征分析的光场深度估计方法，其特征在于，包括以下步骤：(1)从4d光场数据中提取中心子孔径图像其中(i
c
,j
c
)表示中心子孔径图像的视角坐标；(2)由4d光场数据计算生成epi合成图像i
sepi
；(3)构建光场神经网络模型lfrnn，接收i
sepi
、输入，输出与中心子孔径图像同分辨率的视差图d；所述光场神经网络模型lfrnn包括基于光场序列分析的局部深度估计模块和基于条件随机场模型的深度优化模块；(4)训练步骤(3)构建的光场神经网络模型lfrnn，得到网络最优参数集p：将训练分为两个阶段进行，两个阶段均采用平均绝对误差作为损失函数；第一个阶段仅训练基于光场序列分析的局部深度估计模块，得到该模块的最优参数集p1；第二阶段冻结基于光场序列分析的局部深度估计模块的最优参数集p1，并训练整个网络，更新基于条件随机场模型的深度优化模块的参数，得到lfrnn网络的最优参数集p。2.根据权利要求1所述的一种基于光场序列特征分析的光场深度估计方法，其特征在于，所述步骤(1)实现过程如下：4d光场数据是由光场相机所采集光场图像的解码表示，记为l:(i,j,k,l)
→
l(i,j,k,l)，其中，(i,j)表示微透镜图像的像素索引坐标或称视角坐标，(k,l)表示微透镜中心的索引坐标，i,j,k,l均为整数，l(i,j,k,l)表示(i,j)视角下通过(k,l)位置处的光线的辐射强度；抽取每个微透镜图像的中心像素，按微透镜位置索引排列得到二维图像，即其中(i
c
,j
c
)表示中心子孔径图像的视角坐标。3.根据权利要求1所述的一种基于光场序列特征分析的光场深度估计方法，其特征在于，所述步骤(2)实现过程如下：(21)根据输入4d光场的维度，初始化i
sepi
为全0矩阵：4d光场l:(i,j,k,l)
→
l(i,j,k,l)中，角度分辨率为n
ai
×
n
aj
，即i∈[0,n
ai
)，j∈[0,n
aj
)；空间分辨率为n
sk
×
n
sl
，即k∈[0,n
sk
)，l∈[0,n
sl
)；则i
sepi
是(n
sk
×
n
aj
)
×
n
sl
的二维矩阵，初始化为全0矩阵；(22)对于4d光场第三维k的每一行，行序号为k
*
，计算其对应的epi图像并使用更新i
sepi
的部分区域：由4d光场数据计算生成第三维第k
*
行对应的epi图像的过程看作一个映射：即固定4d光场中的第一和第三两个维度，变化另外两个维度所得到的二维切片图像，令i＝i
c
，k＝k*；使用所得的更新i
sepi
的部分区域，即这里，i
sepi
((k*-1)
×
n
aj
:k*
×
n
aj
,0:n
sl
)表示i
sepi
中第(k*-1)
×
n
aj
行至第k*
×
n
aj-1行，第0列至第n
sl-1列的一块区域；(23)对4d光场第三维的每一行进行步骤(22)的操作，计算生成epi合成图像i
sepi
。4.根据权利要求1所述的一种基于光场序列特征分析的光场深度估计方法，其特征在于，步骤(3)所述基于光场序列分析的局部深度估计模块实包括滑窗处理层、序列特征提取子网络、特征图变形层；
所述滑窗处理层负责在epi合成图像i
sepi
上滑动截取epi块i
epi-p
，输入到序列特征提取子网络；滑窗大小为(n
aj
,16)，水平方向滑动步长为1，垂直方向滑动步长为n
aj
，滑窗超越i
sepi
时，补0填充；所述序列特征提取子网络为提取epi块i
epi-p
的序列特征的循环神经网络，包括序列化拆分处理、双向gru层和全连接网络；其中序列化拆分处理是基于epi图像上蕴含着深度信息的直线分布于多列像素之中的独特观察，将n
aj
×
16的eip图像块i
epi-p
的每列像素，看作一个列向量其中，x、y分别表示epi图像块i
epi-p
上像素的行、列坐标，表示epi图像块i
epi-p
上(x,y)处像素的灰度值；一个n
aj
×
16的epi图像块i
epi-p
可以序列化为16个列向量g
y
，0≤y≤15且y为整数；向量g
y
将依次作为后续双向gru层每个时刻的输入；双向gru层由两个方向的gru单元构成，每个方向gru单元的维度为256，每个gru单元设置为非序列工作模式，接收16个时刻的向量输入，产生1个输出；双向gru层共计产生512个输出；全连接网络包含两个全连接层；第一个全连接层接收双向gru层的512个输出，产生16个输出；该层全连接配置relu激活函数；第二个全连接层接收前一个全连接层的16个输出，输出1个视差值；该全连接层不配置激活函数；所述特征图变形层将(n
sk
×
n
sl
)个视差值序列，变形成n
sk
×
n
sl
的矩阵，称为特征图，记为u。5.根据权利要求1所述的一种基于光场序列特征分析的光场深度估计方法，其特征在于，步骤(3)所述基于条件随机场模型的深度优化模块包括中心子孔径图像核参数提取和特征图迭代优化两部分；中心子孔径图像核参数提取部分是根据输入的中心子孔径图像计算滤波器核参数；特征图迭代优化部分是以条件随机场为理论基础，按照中心子孔径图像核参数提取部分所得滤波器核参数，将特征图迭代优化，得到视差图d；中心子孔径图像核参数提取部分以中心子孔径图像为输入，计算空间和色彩卷积核f1和空间卷积核f2：：其中，p
i
、p
j
分别表示中心子孔径图像上第i个、第j个像素的位置信息，c
i
、c
j
分别表示中心子孔径图像上第i个、第j个像素的色彩信息，θ
α
、θ
β
、θ
γ
为自定义的带宽半径；特征图迭代优化部分包括并行滤波、一元项叠加、归一化因子计算、归一化四个模块；并行滤波模块通过两个通路分别对本次迭代输入μ
t-1
进行滤波处理：第一个通路利用卷积核f1对μ
t-1
进行滤波，即然后，对滤波结果乘以权重参数θ1，即第二通路用卷积核f2对μ
t-1
进行滤波，即然后，对滤波结果乘以权重参数θ2，即第一次迭代时，μ
t-1
初始化为特征图u；θ1、θ2做随机初始化，通过网络训练获得更新；两个通路的结果逐元素相加得到并行滤波模块的输
出即一元项添加模块是将特征图u与并行滤波模块的结果相叠加，得即归一化因子计算模块内部也进行了并行滤波和一元项添加操作，得到归一化因子γ；其数据处理的对象是全1矩阵j，而不是μ
t-1
和特征图u；归一化因子计算模块的具体处理步骤是：处理步骤是：归一化模块是将一元项添加的模块的计算结果对归一化因子γ按逐元素相除，得到本轮迭代的输出μ
t
，即最后一次迭代的输出即是优化的视差图d。

技术总结
本发明公开了一种基于光场序列特征分析的光场深度估计方法，从双平面表示的4D光场数据中提取中心子孔径图像，并计算生成EPI合成图像；设计以中心子孔径图像和EPI合成图像为输入，视差图为输出的LFRNN网络，网络包括基于光场序列分析的局部深度估计模块和基于条件随机场模型的全局深度优化模块；分局部深度估计和全局优化两个阶段训练并评估LFRNN网络；测试与实用LFRNN网络，评价网络性能。本发明另辟蹊径地从序列数据的视角分析光场，设计了基于循环神经网络的深度特征提取子网络，显著提高了局部深度估计能力；对全局深度信息建模，设计的端到端优化网络，显著提升了深度估计准确度和鲁棒性。确度和鲁棒性。确度和鲁棒性。


技术研发人员：韩磊 杨庆 焦良葆 路绳方 郑胜男 施展 俞翔 黄晓华
受保护的技术使用者：南京工程学院
技术研发日：2022.06.24
技术公布日：2022/11/1