1.本发明涉及一种基于条纹图超分辨率重建的动态条纹投影三维测量方法，属于数字化逆向工程和机器视觉技术领域。
背景技术：2.光学三维测量技术已广泛应用于工业检测、智能制造和逆向工程等领域。如激光线扫描技术，立体视觉，条纹投影轮廓术等等重建方法。其中条纹投影轮廓术(fpp)由于其低成本、高精度、高速的优点，是当下三维测量中最受欢迎的技术之一。一个经典的fpp系统通常由一个投影仪和一个相机组成。前者用于将编码的条纹图案投射到测量对象上，后者用于同步捕获高度调制的条纹图案。由于多帧条纹模式重建的局限性，在动态测量中，当物体在帧间时间间隔内移动时，不可避免地会出现误差。
3.然而，对于大规模和复杂物体的三维形状测量，由于阴影和遮挡等原因造成单次采集的点云不完整。因此，需要通过多次测量，重建物体部分点云，最终通过拼接的方式，将点云融合为整体。因此配准拼接的方式直接影响了最终的三维精度。
4.针对这一问题，目前主流的解决方法大体可分为两类：基于硬件的方法和基于算法的方法。顾名思义，基于硬件的方法通过使用高级硬件配置来解决动态问题。最近发展的数字光处理(dlp)投影技术使二进制模式的离焦投影得以加快到20khz.，但在实际测量中，三维测量的速度通常受到相机的限制。高帧率的相机通常比投影仪更昂贵和笨重。另外，对于低成本的便携式相机，常用的方案是通过牺牲采集分辨率来匹配投影仪的速度，但由此产生的低分辨率的三维信息不能准确地反映物体的细节。
5.与基于硬件的方法不同，基于算法的方法更注重三维重建算法的改进，如推导运动诱导误差模型和补偿，估计运动引起的相移，减少重建所需的条纹图等。然而，上述基于算法的方法存在运动方向和速度受限、对纹理特征的需求高、重建精度低和计算成本昂贵等局限性。此外，基于算法的方法还需要具有高采样速度的测量设备，这是动态测量中不可避免的问题。
6.而在通常的相机读取方法中，由于像素读取尺度的差异，不同的分辨率对应着不同的帧率。由于相机带宽的限制，帧率的增加意味着成像分辨率的降低。而fpp逐像素计算三维形状，重建的三维形状的空间分辨率由二维条纹的像素分辨率决定。为了保持视场(fov)，一个像素需要捕获更多的空间信息，而不同像素之间的空间距离也会变大。而且由于所捕获的条纹是离散的正弦信号，如果采样频率不足，将导致正弦信号混叠，丢失细节。此外，如果重建三维形状的空间分辨率大于实际细节的对象，重建结果通常被认为是不准确的，这不利于应用使用对象细节指导后续操作，如3d打印、工业质量控制和医疗辅助机器人操作等。因此，在动态测量中，解决提高采样速度和保证采样分辨率之间的问题是需要的。
技术实现要素：7.发明目的：针对上述现有存在的问题和不足，本发明的目的是提供一种基于条纹图超分辨率重建的动态条纹投影三维测量方法，使用原始低分辨率条纹图像和图像超分辨率重建技术，提高采集速度，消除了实际测量中产生的动态误差，还能获得准确高分辨率的条纹，保留了被测物体的细节三维信息。仅仅需要简单的硬件配置就能灵活实现精确的动态三维测量。设计细节恢复超分辨率神经网络能够在保证条纹正弦特性的同时恢复细节信息，更适合于fpp领域。可以灵活地选择输入条纹图的分辨率和超分辨率重建尺度，更符合实际的应用要求。
8.技术方案：为实现上述发明目的，本发明采用以下技术方案：
9.一种基于条纹图超分辨率重建的动态条纹投影三维测量方法，包括如下步骤：
10.步骤1：构建神经网络：设计自动恢复细节的超分辨率重建神经网络；
11.步骤2：采集物体高分辨率条纹图，退化得到低分辨率条纹图，并根据高分辨率条纹图得到推测高分辨率图像；
12.步骤3：对各种物体进行步骤2的训练，并收集得到的各对应关系于步骤1中的神经网络，得到训练完成的神经网络；
13.步骤4：采集条纹图像：搭建三维测量系统，对待测物体进行用所述三维测量系统进行测量，并提取待测物体的原始条纹图像；
14.步骤5：将步骤4的原始条纹图像输入步骤3中训练完成的神经网络中，得到高分辨率图像；
15.步骤6：将步骤5得到的高分辨率图像中各点代入如下公式中：
[0016][0017]
其中(x，y)为像素点的坐标，n为一组相移条纹的步数，δn为相移量，in(x，y)为第n张相移图在(x，y)点的像素灰度值，基于格雷码的方式将包裹相位解包裹得到绝对相位，结合所得到的标定参数与绝对相位重建出待测物体的三维信息。
[0018]
进一步的，所述步骤1中的神经网络以残差网络结构为主体，所述神经网络包括依次跳跃连接的第一卷积层、若干个残差结构模块、第二卷积层、上采样模块和第三卷积层，所述残差结构模块依次包括一个卷积层、校正线性单元、一个卷积层和一个恒定缩放层，所述上采样模块包括卷积层和像素洗练层交替多组排列。
[0019]
进一步的，所述步骤2中得到低分辨率条纹图的具体步骤为：使用高分辨率相机将各高分辨率条纹图根据退化模型得到低分辨率条纹图，得到对应的低分辨率图像作为网络输入，所述退化模型为如下公式：
[0020][0021]
其中表示第i个高分辨率条纹图案，n表示相移正弦与灰色码图案相结合的数量，h(x，y)表示条纹图案的光学模糊，表示卷积运算子，v(x，y)表示随机噪声，d表示条纹分辨率的降采样算子。
[0022]
进一步的，所述步骤2中得到推测高分辨率图像的具体步骤为：将原始条纹图像采集完毕后输入训练完成的神经网络中，使用如下公式进行神经网络的参数优化：
[0023][0024]
其中，s
θ
为非线性映射函数，||
·
||为`l1范数，θ为可训练参数(即权重和偏差)，进行批量训练，n表示使用随机梯度下降算法优化θ时的小批量训练的大小，条纹图案中的黑色背景不参与训练，m表示有效像素的数量，训练完成的神经网络基于原始条纹图像，在不调节其他参数情况下输出相应的2倍、4倍或者8倍分辨率的图像。
[0025]
进一步的，所述步骤3中使用低分辨率相机进行原始条纹图像的采集，待测物体放置于轨道上进行移动来采集图像信息。
[0026]
有益效果：与现有技术相比，这是一种新式的基于条纹图超分辨率重建的动态条纹投影三维测量方法，本发明具有以下优点：
[0027]
(1)采用利用摄像机采样分辨率与采样速度的反比关系，使用原始低分辨率条纹图像，引入图像超分辨率重建技术。不仅提高采集速度，消除了实际测量中产生的动态误差，而且还能获得准确高分辨率的条纹，保留了被测物体的细节三维信息。仅仅需要简单的硬件配置就能灵活实现精确的动态三维测量。
[0028]
(2)与传统的图像超重建方法相比，所设计细节恢复超分辨率神经网络能够在保证条纹正弦特性的同时恢复细节信息，更适合于fpp领域。
[0029]
(3)与传统的基于深度学习的方法相比，本发明涉及的神经网络训练完成后，在测试过程中可以灵活地选择输入条纹图的分辨率和超分辨率重建尺度，更符合实际的应用要求。
附图说明
[0030]
图1是本发明的流程示意图；
[0031]
图2是本发明的神经网络结构示意图，
[0032]
图中：(a)为网络整体结构图，(b)为残差结构模块结构图，(c)为上采样模块结构图，(d)为各图形代表的组成示意图；
[0033]
图3是本发明的实施例的成像重建三维示意图。
具体实施方式
[0034]
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本技术所附权利要求所限定的范围。
[0035]
如图1所示流程，一种基于条纹图超分辨率重建的动态条纹投影三维测量方法。包括如下步骤：
[0036]
步骤1：构建神经网络：设计自动恢复细节的超分辨率重建神经网络。神经网络以残差网络结构为主体，所述神经网络包括依次跳跃连接的第一卷积层、若干个残差结构模块、第二卷积层、上采样模块和第三卷积层，所述残差结构模块依次包括一个卷积层、校正线性单元、一个卷积层和一个恒定缩放层，所述上采样模块包括卷积层和像素洗练层交替
多组排列。
[0037]
步骤2：对原始条纹图像进行超分：所述细节恢复和超分辨率重建神经网络包括训练阶段和测试阶段，训练阶段通过使输出条纹图像与真实的高分辨率图像之间的差别最小化，训练细节恢复和超分辨率重建神经网络学习条纹图像由低分辨率转换为高分辨率图像。其中为了数据集的便捷获取，采用高分辨率相机采集物体高分辨率条纹图作为网络真值，退化得到低分辨率条纹图，并根据高分辨率条纹图得到推测高分辨率图像。得到对应的低分辨率图像作为网络输入，所述退化模型为如下公式：
[0038][0039]
其中表示第i个高分辨率条纹图案，n表示相移正弦与灰色码图案相结合的数量，h(x，y)表示条纹图案的光学模糊，表示卷积运算子，v(x，y)表示随机噪声，d表示条纹分辨率的降采样算子。得到推测高分辨率图像的具体步骤为：将原始条纹图像采集完毕后输入训练完成的神经网络中，使用如下公式进行神经网络的参数优化：
[0040][0041]
其中，s
θ
为非线性映射函数，||
·
||为`l1范数，θ为可训练参数(即权重和偏差)，采用批量训练策略来提高训练效果，n表示使用随机梯度下降算法优化θ时的小批量训练的大小，条纹图案中的黑色背景不参与训练，m表示有效像素的数量，训练好的网络可在不调节其他参数情况下根据需要基于初始条纹图输出相应的2倍，4倍或者8倍分辨率的图像。
[0042]
步骤3：对各种物体进行步骤2的训练，并收集得到的各对应关系于步骤1中的神经网络，得到训练完成的神经网络。步骤3中使用低分辨率相机进行原始条纹图像的采集，待测物体放置于轨道上进行移动来采集图像信息。
[0043]
步骤4：采集条纹图像：搭建三维测量系统，对待测物体进行用所述三维测量系统进行测量，并提取待测物体的原始条纹图像。
[0044]
步骤5：将步骤4的原始条纹图像输入步骤3中训练完成的神经网络中，得到高分辨率图像。
[0045]
步骤6：三维重建：将步骤5得到的高分辨率图像中各点代入如下公式中：
[0046][0047]
其中(x，y)为像素点的坐标，n为一组相移条纹的步数，δn为相移量，in(x，y)为第n张相移图在(x，y)点的像素灰度值，基于格雷码的方式将包裹相位解包裹得到绝对相位，结合所得到的标定参数与绝对相位重建出待测物体的三维信息。
[0048]
实施例
[0049]
根据图2所示，本发明的设计的细节恢复超分辨率神经网络其采用残差网络作为基本骨架，输入由卷积层操作，然后是16个残差块、上采样模块和卷积层。对于第一个卷积层，核大小为3
×
3，单像素核步幅，使用单像素填充来控制输出的大小，输出是一个三维形状张量(h，w，c)，其中c＝50表示滤波器的数量。然后，两个残差块包括一个具有50个核大小
为3
×
3的滤波器的卷积层，校正线性单元和恒定缩放层。去除批处理归一化层，以保证图像的对比度，加快训练过程。此外，残差块之间的恒定缩放模块有助于使网络的125个收敛性更加稳定。具有不同超分辨率尺度的上采样块包含卷积层和像素重组模块。卷积层有200和50两种滤波器，像素重组模块的放大倍数设置为2。最后，在最后一个卷积层中生成两个高分辨率的条纹图案，其中1个核大小的滤波器为3
×
3。值得注意的是，训练后的
×
2非线性映射函数可以作为加速
×
4和
×
8超分辨率的训练，避免进入局部最优的先验。
[0050]
网络训练集和验证集部分，我们使用高分辨率相机采集对应的条纹图作为网络的真值，将这些高分辨率条纹图根据退化模型得到低分辨率的条纹图，并将其作为网络的输入进行训练。本次实验中设置降采样系数为4，分辨率降低为原图的1/4。如采集到的1024
×
1024的图像，则退化为256
×
256的图像。
[0051]
搭建fpp三维测量系统，使用低分辨率的相机作为采集设备，为了模拟实际测量时的动态问题，测量期间物体放置在导轨上进行移动。然后将采集完毕后的条纹图输入训练好的神经网络中，得到恢复细节信息的高分辨率条纹图。本次实验设置超分倍数为
×
4，将原始图像分辨率放大为4倍。
[0052]
将得到的高分辨率条纹进行解相位，解包裹等三维重建过程，获得物体的三维数据。
[0053]
为了验证本发明的，选用娃娃和标准球进行了定性与定量实验，最终实验结果如图3所示。可以证明本发明的能有效进行动态三维重建。
技术特征：1.一种基于条纹图超分辨率重建的动态条纹投影三维测量方法，其特征在于：包括如下步骤：步骤1：设计构建自动恢复细节的超分辨率重建神经网络；步骤2：采集物体高分辨率条纹图，构建条纹退化模型，对所述物体高分辨率条纹图退化得到低分辨率条纹图，将若干低分辨率条纹图和对应高分条纹图构建为数据集；步骤3：将步骤2中数据集应用于步骤1中的神经网络进行训练学习条纹退化的映射关系，得到训练完成的神经网络；步骤4：搭建三维测量系统，使用相机快速测量待测物体，采集待测物体的低分辨率原始条纹图像；步骤5：将步骤4的原始条纹图像输入步骤3中训练完成的神经网络中，得到高分辨率图像；步骤6：将步骤5得到的高分辨率图像中各点代入如下公式中：其中(x,y)为像素点的坐标，n为一组相移条纹的步数，δ
n
为相移量，i
n
(x，y)为第n张相移图在(x,y)点的像素灰度值，基于格雷码的方式将包裹相位解包裹得到绝对相位，结合所得到的标定参数与绝对相位重建出待测物体的三维信息。2.根据权利要求1所述的基于条纹图超分辨率重建的动态条纹投影三维测量方法，其特征在于：所述步骤1中的神经网络以残差网络结构为主体，所述神经网络包括依次跳跃连接的第一卷积层、若干个残差结构模块、第二卷积层、上采样模块和第三卷积层，所述残差结构模块依次包括一个卷积层、校正线性单元、一个卷积层和一个恒定缩放层，所述上采样模块包括卷积层和像素洗练层交替多组排列。3.根据权利要求1所述的基于条纹图超分辨率重建的动态条纹投影三维测量方法，其特征在于：所述步骤2中得到低分辨率条纹图的具体步骤为：使用高分辨率相机将各高分辨率条纹图根据退化模型得到低分辨率条纹图，得到对应的低分辨率图像作为网络输入，所述退化模型为如下公式：其中表示第i个高分辨率条纹图案，n表示相移正弦与灰色码图案相结合的数量，h(x，y)表示条纹图案的光学模糊，表示卷积运算子，v(x，y)表示随机噪声，d表示条纹分辨率的降采样算子。4.根据权利要求1所述的基于条纹图超分辨率重建的动态条纹投影三维测量方法，其特征在于：所述步骤2中得到推测高分辨率图像的具体步骤为：将原始条纹图像采集完毕后输入训练完成的神经网络中，使用如下公式进行神经网络的参数优化：其中，s
θ
为非线性映射函数，||
·
||为`l1范数，θ为可训练参数(即权重和偏差)，进行
批量训练，n表示使用随机梯度下降算法优化θ时的小批量训练的大小，条纹图案中的黑色背景不参与训练，m表示有效像素的数量，训练完成的神经网络基于原始条纹图像，在不调节其他参数情况下输出相应的2倍、4倍或者8倍分辨率的图像。
技术总结本发明涉及一种基于条纹图超分辨率重建的动态条纹投影三维测量方法，涉及数字化逆向工程和机器视觉领域。包括如下步骤：设计并训练好细节恢复和超分辨率重建神经网络。搭建三维测量系统并采集条纹图。将采集的到的条纹图放入训练好的神经网络，进行图像超分辨率重建。将得到的超分辨率的条纹图进行三维重建。本发明提出的基于条纹图超分辨率重建的精确动态三维测量技术通过对条纹图进行超分辨率重建，即解决了测量时难以避免的动态误差问题，又能得到精确的高分辨率图像，进而得到更准确稠密的三维数据。提高了测量速度和效率。提高了测量速度和效率。提高了测量速度和效率。
技术研发人员：郑东亮 朱戎彪 韩静 张凯 赵洋 于浩天 张毅
受保护的技术使用者：南京理工大学
技术研发日：2022.06.16
技术公布日：2022/11/1
