本发明属于图像处理，尤其涉及一种基于深度学习的全自动、逐像素输出的三维数字图像相关方法。
背景技术：
1、三维数字图像相关(3d-dic)是用于非接触式、全场三维形貌和变形测量的光测力学技术。由于其光学装置简单、易于实现、对实验环境要求低、时空分辨率可调、适用性广等突出优点，在各个科学学科和工程领域有着不可替代的广泛应用。3d-dic可分为两个子任务：(1)用于重建物体表面三维形貌的立体匹配；(2)用于跟踪物体表面变形的时序匹配。对于给定的3d-dic实验数据，关键问题是确定测试对象表面的基础三维形貌和位移场。标准的基于子区的dic算法的工作原理是将输入参考图像细分为小子区，随后在连续图像之间进行互相关计算，以检索图像子区中心的位移向量。
2、尽管基于图像子区的dic在测量精度、计算效率和鲁棒性方面取得了重大进展，但它仍然存在一些未解决的问题：1)dic分析需要用户输入关键计算参数(子区大小、步长和形函数阶数等)来进行相关分析。在实际操作中，选择适当的参数是棘手的，特别是对复杂形状或未知变形场。在这种情况下，不合适的计算参数会导致错误的计算结果。2)无法逐像素计算三维形貌和变形场。现有的基于图像子区的dic的计算是在参考图像上指定的均匀分布的计算点进行的。重建的形貌和位移场表现出低通滤波效应的特征，导致重建细节的严重损失。
3、为了解决基于图像子区的3d-dic的这些固有局限性，深度学习是一种可能的解决方案。基于深度学习的dic无需人工参数选择，即可实现全自动位移场输出，此外，深度学习位移计算框架可输出逐像素的密集位移场，避免了离散计算点导致的信息损失。然而，大多数现有的深度学习位移计算框架只能应用于二维数字图像相关测量。对于3d-dic,三维重建需要对摄像机从两个视角捕获的图像进行立体匹配，但是视差导致的位移往往是几十或几百像素，远远超出了现有深度学习位移计算框架的位移测量范围(通常在10像素以内)。因此，深度学习位移计算框架不能直接应用于3d-dic。
4、目前已有多项相关研究将深度学习扩展到3d-dic。例如，strainnet-3d采用仿射变换计算视差，并使用轻量级模型计算小位移场。然而，所捕获的表面必须满足左右图像之间为近似仿射变换关系。这对被测物体的形状施加了严格的限制(即物体形貌需为准平面)。最近，nas-net利用确定的内部和外部参数建立了虚拟3d-dic测量系统。在此基础上生成训练数据集来训练位移估计模型，实现端到端的位移场输出。实验结果证明了nas-net的有效性。然而，被测物体的形貌也仅限于准平面。此外，模型是在具有特定内部和外部参数的虚拟系统内的数据集上进行训练的，当测量系统发生变化时，需要重新生成数据集并重新训练模型。
5、综上所述，传统基于图像子区的3d-dic需人工选择参数，无法实现全自动测量，且无法实现逐像素变形场计算。而现有基于深度学习的3d-dic技术的发展还处于早期阶段，关键问题是视差引起的大位移无法得到解决，无法有效实现3d-dic的立体匹配，这导致测量对象的形貌受到限制。为实现全自动、逐像素输出的3d-dic，避免现有深度学习3d-dic大位移测量失效的问题，亟需一种可实现大位移测量的深度学习位移计算框架，用于图像的立体匹配和时序匹配。
技术实现思路
1、本发明的目的在于提供一种基于深度学习的3d-dic变形测量方法，以克服传统基于图像子区3d-dic无法实现无需人工调节参数的全自动、逐像素变形测量的问题。
2、为实现上述目的，本发明提供了一种基于深度学习的全自动、逐像素输出的3d-dic变形测量方法，包括：
3、获取物体表面同一时刻的左右图像；
4、对所述左右图像进行立体匹配，计算左右视图间视差位移场；
5、对不同时刻的左右图像进行时序匹配，获取时序匹配的位移场；
6、基于所述左右视图间视差位移场并结合测量系统中相机内部和外部参数的标定结果，重建物体表面不同阶段的三维形貌；
7、对于初始状态三维形貌的点云坐标，根据所述时序匹配的结果减去变形状态三维形貌的对应点云坐标，计算变形状态的三维全场位移场。
8、特别地，使用基于深度学习的位移估计模型，对所述左右图像进行立体匹配和时序匹配；其中，所述位移估计深度学习模型包括：gma子模型和raft-dic子模型。
9、特别地，所使用的深度学习位移估计模型包括以下步骤：
10、将同一时刻拍摄的一对参考图像及变形阶段拍摄的变形图像对输入gma子模型，输出大位移范围的粗略位移场；
11、基于所述粗略位移场对所述变形图像进行扭曲，获取消除大位移分量的扭曲变形图像；
12、将所述参考图像和扭曲变形图像输入所述raft-dic子模型，输出补偿的小位移场；
13、将所述粗略位移场与补偿的小位移场相减，获取最终的细化位移场。
14、可选地，将所述参考图像和扭曲变形图像输入所述raft-dic子模型，输出补偿的小位移场；
15、将所述参考图像和扭曲变形图像输入特征编码器网络提取特征信息，输出对应的参考图像特征w1和扭曲变形图像特征w2；
16、计算参考图像特征w1和变形图像特征w2之间的内积，获取4d相关层；
17、将所述4d相关层、变形图像特征w2和初始位移场，输入基于conv-gru的迭代更新算子中，迭代更新估计的位移场，获取最终的补偿的小位移场。
18、可选地，所述特征编码器网络包括若干残差块，通道分别为64、128、192和256；
19、所述特征编码器网络还包括上下文编码的网络，基于上下文编码的网络提取所述参考图像的附加特征。
20、可选地，所述4d相关量向量对为：
21、
22、其中，i和j表示参考图像中的坐标，k和l表示变形图像中的坐标，h表示提取的参考图像特征w1和扭曲变形图像特征w2的hth通道，cijkl表示4d相关层向量对。
23、可选地，基于conv-gru的所述迭代更新算子包括四个输入部分，以及输出一个新的隐藏状态，将输出的隐藏状态输入两个卷积层看，获取残差位移场；其中，所述输入部分包括：位移场、相关层、隐藏状态和上下文特征。
24、可选地，更新raft-dic所估计的位移场的方法为：
25、fk+1＝δf+fk
26、其中，fk+1表示第k次迭代后raft-dic输出的位移场，δf表示残差位移场，fk表示第k+1次迭代后raft-dic输出的位移场。
27、本发明具有以下有益效果：
28、本发明提出的一种基于深度学习的3d-dic变形测量方法，与传统基于图像子区的3d-dic方法相比，本发明无需复杂的人工参数选择，即可实现全自动变形场输出。此外，本发明可输出逐像素的密集位移场，避免了离散计算点导致的重建信息损失。
1.一种基于深度学习的全自动、逐像素输出的三维数字图像相关方法，其特征在于，包括：
2.根据权利要求1所述的基于深度学习的全自动、逐像素输出的三维数字图像相关方法，其特征在于，使用基于深度的学习位移估计模型，对所述左右图像进行立体匹配；其中，所述位移估计深度学习模型包括：gma子模型和raft-dic子模型。
3.根据权利要求2所述的基于深度学习的全自动、逐像素输出的三维数字图像相关方法，其特征在于，使用基于深度的学习位移估计模型，对所述左右图像进行立体匹配，包括：
4.根据权利要求3所述的基于深度学习的全自动、逐像素输出的三维数字图像相关方法，其特征在于，将所述参考图像和扭曲变形图像输入所述raft-dic子模型，输出补偿的小位移场；
5.根据权利要求4所述的基于深度学习的全自动、逐像素输出的三维数字图像相关方法，其特征在于，所述特征编码器网络包括若干残差块，通道分别为64、128、192和256；
6.根据权利要求4所述的基于深度学习的全自动、逐像素输出的三维数字图像相关方法，其特征在于，所述4d相关量向量对为：
7.根据权利要求4所述的基于深度学习的全自动、逐像素输出的三维数字图像相关方法，其特征在于，基于conv-gru的所述迭代更新算子包括四个输入部分，以及输出一个新的隐藏状态，将输出的隐藏状态输入两个卷积层看，获取残差位移场；其中，所述输入部分包括：位移场、相关层、隐藏状态和上下文特征。
8.根据权利要求7所述的基于深度学习的全自动、逐像素输出的三维数字图像相关方法，其特征在于，更新估计的位移场的方法为：
