本发明涉及机构振动测量，尤其是涉及一种无标记结构振动的计算机视觉测量方法。
背景技术：
1、在结构健康监测的实践中，对结构振动特性的准确获取是至关重要的。传统的振动检测手段，例如加速度传感器，它们必须附着于结构的表面，这种接触式的方法可能会因为附加质量而对结构的动态行为产生不可忽视的影响。同时，由于测量点布置的局限性和数量的限制，这些技术通常无法提供高分辨率的局部区域测量数据。与此形成鲜明对比的是，计算机视觉测量技术，因其非接触性和高分辨率的特性，已经在航空航天、土木工程、智能制造等多个领域获得了广泛的应用和认可。
2、目前，计算机视觉技术在振动测量领域的主流方法包括数字图像相关(digitalimage correlation，dic)、几何匹配和光流法等。dic和几何匹配技术往往需要预先在测量对象上设置特定的特征标记，如随机散斑或规则几何图案。然而，在实际操作中，这些人工标记可能会因为外力作用或其他因素而脱落，而且在某些关键结构的正样表面上，由于功能性要求，通常不允许添加任何人工标记。此外，帧间跟踪和立体匹配过程中涉及大量的相似度计算，这不仅耗时巨大，而且在需要多测点的位移场测量场景中，计算效率尤为低下。这些问题限制了基于计算机视觉的振动测量技术在某些场合的应用。
技术实现思路
1、本发明的目的是提供一种无标记结构振动的计算机视觉测量方法，解决了现有技术中需要依赖于散斑和人工标记且效率低、无需标记的方法无法实现位移测量的问题。
2、为实现上述目的，本发明提供了一种无标记结构振动的计算机视觉测量方法，包括以下步骤：
3、s1、通过标定板标定法获得重投影误差，分析图像中标定点的重投影误差，用于评估单目视觉系统和悬臂梁的安装位置及方向是否满足预期的精度要求；
4、s2、利用单目视觉系统拍摄无标记结构振动视频，将无标记结构振动视频帧rgb图像灰度化，截取roi图像，得到预处理后的视频；
5、s3、选取预处理后无标记结构振动视频的第一帧图像，并通过orb特征点检测算法进行特征点检测，确定各orb特征点在图像中的像素坐标，同时通过角点响应值阈值筛选掉不需要的特征点；
6、s4、基于亮度恒定假设建立光流方程，构建多尺度金字塔，最小化光流残差，通过构建初始光流猜测量，计算上下层间光流传递，得到最终光流计算结果，通过金字塔lk光流法来追踪第一帧图像中检测出的orb特征点进行帧间追踪；
7、s5、获取无标记结构振动视频每帧图像中orb角点的像素位移振动曲线，对像素位移通过比例因子进行换算，得到三维空间中实际位移振动曲线，利用快速傅里叶变换得到悬臂梁振动频率。
8、优选的，步骤s1中，采用标定板标记法的相机标定技术，建立三维实际坐标与二维像素坐标之间的映射关系，所述映射关系涉及刚体变换、透视投影和仿射变换三种基本变换，具体步骤如下：
9、s11、拍摄标定板图像，所述标定板图像包括相对于单目视觉系统的正视、仰视、俯视和左右斜视位姿的图像；
10、s12、获取标定，所述获取标定的方法为录制标定视频，在录制过程中不断改变标定板相对于相机的位置，后续从标定视频中选择位置符合要求、图像清晰的帧作为标定用图像；
11、s13、在进行检测时，对内角点进行定位，以内角点作为标定用的点集；
12、s14、分析图像中标定点的重投影误差，所述重投影误差为真实成像位置与标定参数预测成像位置之间的偏差，所述重投影误差表示为：
13、
14、式中，n是图像中点的总数，(xi,yi)是经过重投影转换后的二维平面上的坐标，(ai,bi)是实际测量得到的二维平面上的坐标。
15、优选的，步骤s2具体为：在预处理流程中，首先提取无标记结构振动视频的第一帧，并转换为灰度图像，截取roi图像，得到预处理后的视频。
16、优选的，步骤s3中，采用orb特征点检测算法检测第一帧图像中的角点特征，并为每个检测到的特征点分配一个响应值，采用阈值筛选方法，保留响应值超过预定阈值的特征点，具体过程为：
17、所述orb特征检测算法在特征点检测部分采用fast算子，并针对fast算子加入方向特征生成o-fast算法，所述o-fast算法利用harris角点检测的评分机制对候选点进行排序，通过选择harris响应值最高的n个点，所述o-fast算法从候选点中筛选出最优质的角点；
18、所述fast算子是取一个像素点p，考虑像素点p周围的16个像素，计算像素点p与周围16个像素点的灰度值差值，并取绝对值后，与阈值进行比较：
19、若大于该阈值，则认为这两个像素点不同，若像素点p周围的存在连续n个像素点都满足该条件，则定义像素点p为fast特征点，所述特征点判断方式为：
20、∣gp-gi∣＞gth i＝1,2,…,16 (2)
21、式中，gp表示像素点p点的灰度值，gi表示像素点p周围第i处像素点的灰度值，gth表示灰度值阈值。
22、优选的，所述针对fast算子加入方向特征生成o-fast算法，具体过程如下：
23、通过灰度质心法，以特征点为原点建立坐标系，在邻域s内计算质心位置，以特征点p为起点，灰度质心q为终点构造向量，则领域s关于i(x,y)的矩为：
24、
25、式中，mpq表示领域s关于i(x,y)的矩，i(x,y)为图像的灰度值，p和q为矩的阶数，x和y为像素点的坐标，x,y∈[-r,r]，r为特征点领域s的半径；
26、图像区域的质心c表示为：
27、
28、式中，m10为图像块x方向的加权和，m01为图像块y方向的加权和，m00图像块内所有像素的灰度值总和，关于灰度质心x坐标为：
29、
30、式中，m10为图像块x方向的加权和，m01为图像块y方向的加权和，r为特征点领域s的半径，x和y为像素点的坐标，i(x,y)为图像的灰度值；
31、关于灰度质心y坐标为：
32、
33、式中，m10为图像块x方向的加权和，m01为图像块y方向的加权和，r为特征点领域s的半径，x和y为像素点的坐标，i(x,y)为图像的灰度值；
34、得到fast特征点p的方向角θ：
35、θ＝arctan2(cy,cx)＝arctan2(m01,m10) (7)
36、式中，cx为灰度质心x坐标，cy为灰度质心y坐标，m10为图像块x方向的加权和，m01为图像块y方向的加权和，x和y为像素点坐标；
37、采用o-fast算法计算出特征点p的方向角θ，并进一步获得所有特征点的方向角。
38、优选的，所述orb特征检测算法在特征描述部分采用改进的brief描述子r-brief，通过引入关键点的方向信息改进brief描述子，具体过程如下：
39、将点集改写为矩阵形式：
40、在位置(xi,yi)处，对于任意n个二进制准则特征集，定义一个2n矩阵s：
41、
42、根据o-fast算法获得的特征点p的方向角θ，求出它对应的旋转矩阵rθ：
43、
44、由此得到了校正版本sθ：
45、sθ＝rθs (10)
46、式中，s为定义的2n矩阵；
47、则steeredbrief描述子gn表示为：
48、gn(p,θ)＝fnd(p)|(xi,yi)∈sθ (11)
49、p(xi,yi)表示特征点p的位置，θ表示特征点p的方向角，fnd为brief描述子。
50、优选的，步骤s4具体为：
51、基于图像亮度的恒定假设，光流通过解光流方程来计算，对于图像中的每个像素点亮度i(x,y,t)，其在时间t到t+δt的时间间隔内的位移为(u,v)，光流方程表示为：
52、i(x+δx,y+δy,t+δt)＝i(x,y,t) (12)
53、式中，δx为像素中在δt时间内的水平位移，δy为像素中在δt时间内的竖直位移；
54、金字塔lk光流法假设在一个空间内的邻域ω内的运动矢量恒定，则在n个像素的邻域ω内，每个像素都满足下式：
55、ixiu+iyiv+iti＝0 i＝1,2,···n (13)
56、式中，和分别是x和y方向上的空间梯度，u和v表示光流在水平和垂直方向上的移动分量，即所求的光流信息，是图像灰度相对于时间t的变化率，i表示第i个像素点；
57、设i0为原始图像(w×h)的灰度表示，位于金字塔的第0层，并依次生成n层高斯图像金字塔的第1，2，…，n-1层，分别表示为i1，i2，…，in-1；
58、对原始图像i0中的角点x(x,y)，在第l层图像il中的xl(xl,yl)与之对应；对于给定的两幅连续图像ia、ib，是找到ia上一点的坐标u＝(ux,uy)，在ib上对应具有相似图像强度的另一点u+d＝(ux+dx,uy+dy)，其中d为u点从上一帧ia到下一帧ib的平移量；
59、将光流定义为使不同时刻图像区域之间产生最佳拟合的位移，以u点为中心，在ia、ib分别建立u+d＝(ux+dx,uy+dy)的对应区域窗口，并假设对应窗口内的像素具有相同的运动位移矢量d，则点u的邻近点n(u)表达如下：
60、
61、式中ux和uy为点u的横、纵坐标，wx和wy定义了窗口在x和y轴上的尺寸的一半，窗口的大小为(2wx+1,2wy+1)；
62、定义窗口内像素的光流残差e(d)：
63、
64、式中，d为u点上一帧ia到下一帧ib的平移量，dx和dy分别表示为x和y方向上的平移量，ux和uy为点u的横、纵坐标，wx和wy定义了窗口在x和y轴上的尺寸的一半，ia(x,y)和ib(x+dx,y+dy)表示ia和ib两幅图像的灰度值；
65、对平移量d求偏导并令其为0，其中ib(x+dx,y+dy)在d＝0处进行一阶泰勒展开近似，空间梯度矩阵g用于描述像素点的空间变化率，定义空间梯度矩阵g：
66、
67、式中，和分别表示像素点x和y方向上的亮度变化率平方，用于表征图像在特定方向上的纹理信息，ixiy表示像素点在x和y方向上的亮度交叉变化率，用于捕捉图像中亮度在两个方向上的相关性，ux和uy为点u的横、纵坐标，wx和wy定义了窗口在x和y轴上的尺寸的一半；
68、误差匹配矢量为：
69、
70、式中，误差匹配矢量b用于存储像素点的光流估计值与其真实值之间的差异，是图像灰度相对于时间t的变化率，i表示第i个像素点，ux和uy为点u的横、纵坐标，wx和wy定义了窗口在x和y轴上的尺寸的一半；
71、则最优矢量解doe为：
72、doe＝g-1b (18)
73、式中，b为误差匹配矢量，g-1为空间梯度矩阵逆矩阵；
74、采用newton-raphson优化方法对平移量求精，设ek＝g-1bk为第k次迭代时估计的平移量，bk是第k次迭代的误差匹配矢量，最小化残差e(d)，有：
75、
76、式中，d0为初始平移量，下角标0代表初始迭代，dk为第k次估计迭代的位移量，dk-1为第k-1次估计迭代的位移量；
77、对图像序列金字塔同一层级l上的相邻两幅图像其光流残差el定义为：
78、
79、式中，dl为l层计算得到的光流结果，gl为l层对应的光流猜测值，由n-1到l+1层递推计算得到，最顶层的初始光流猜测值gn-1＝0，为l层前一帧对应的灰度值，为l层后一帧对应的灰度值，ux和uy为点u的横、纵坐标，wx和wy定义了窗口在x和y轴上的尺寸的一半；
80、上下层间的光流计算传递过程为：
81、gn-1＝0 (21)
82、gl-1＝2(gl+dl) (22)
83、式中，gn-1为第n-1层的初始光流猜测值，上角标n-1代表金字塔第n-1层，gl为l层对应的光流猜测值，gl-1为l-1层光流猜测值，dl为l层计算得到的光流结果；
84、直到第0层计算完毕并得到最终的光流位移矢量d结果：
85、
86、式中，g0为第0层的光流猜测值，上角标0代表金字塔第0层，d0为第0层计算得到的光流结果，上角标0代表金字塔第0层，n为金字塔层数，l表示光流正在计算的层数，dl为l层计算得到的光流结果；
87、则前一帧图像ia中像素点u在下一帧图像ib中对应的点为：
88、ν＝u+d (24)
89、式中，ν为ib中像素点位置，u为ia中像素点位置，d为最终的光流位移矢量。
90、优选的，步骤s5具体为：通过光流算法的目标跟踪，获得指定目标点的像素位移时程曲线，目标在世界坐标系下的实际位移则通过比例因子进行换算：
91、
92、式中，s表示比例因子，即图像坐标系中单位像素长度所对应的目标实际尺寸，d和dp分别表示实际尺寸和像素长度，z表示镜头距拍摄物体距离，f表示镜头焦距。
93、因此，本发明采用上述一种无标记结构振动的计算机视觉测量方法，有益效果如下：
94、本发明通过研究融合特征点法和稀疏光流法的视觉振动位移测量研究，提出了基于orb角点的多信息融合金字塔lk光流算法，解决了现有技术中需要依赖于散斑和人工标记且效率低、无需标记的方法无法实现位移测量的问题，实现了无标记悬臂梁振动位移检测研究。本发明所提方法测量装置简单，为无标记实验对象振动位移分析提供了新的测量方法。
95、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
1.一种无标记结构振动的计算机视觉测量方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种无标记结构振动的计算机视觉测量方法，其特征在于，步骤s1中，采用标定板标记法的相机标定技术，建立三维实际坐标与二维像素坐标之间的映射关系，所述映射关系涉及刚体变换、透视投影和仿射变换三种基本变换，具体步骤如下：
3.根据权利要求2所述的一种无标记结构振动的计算机视觉测量方法，其特征在于，步骤s2具体为：在预处理流程中，首先提取无标记结构振动视频的第一帧，并转换为灰度图像，截取roi图像，得到预处理后的视频。
4.根据权利要求3所述的一种无标记结构振动的计算机视觉测量方法，其特征在于，步骤s3中，采用orb特征点检测算法检测第一帧图像中的角点特征，并为每个检测到的特征点分配一个响应值，采用阈值筛选方法，保留响应值超过预定阈值的特征点，具体过程为：
5.根据权利要求4所述的一种无标记结构振动的计算机视觉测量方法，其特征在于，所述针对fast算子加入方向特征生成o-fast算法，具体过程如下：
6.根据权利要求5所述的一种无标记结构振动的计算机视觉测量方法，其特征在于，所述orb特征检测算法在特征描述部分采用改进的brief描述子r-brief，通过引入关键点的方向信息改进brief描述子，具体过程如下：
7.根据权利要求6所述的一种无标记结构振动的计算机视觉测量方法，其特征在于，步骤s4具体为：
8.根据权利要求7所述的一种无标记结构振动的计算机视觉测量方法，其特征在于，步骤s5具体为：通过光流算法的目标跟踪，获得指定目标点的像素位移时程曲线，目标在世界坐标系下的实际位移则通过比例因子进行换算：
