本发明涉及电路板测试，尤其是涉及一种基于机器视觉的元件检测方法、系统及飞针测试设备。
背景技术：
1、机器视觉的元件检测是利用计算机视觉技术来实现自动化检测的过程。
2、目前，在飞针测试中，通常通过预先了解电路板的布局和元件位置等信息，以根据预设的电路板结构、尺寸和形状等信息，控制探针按照预设的路径移动并接触预设的测试点（包括元件引脚、焊点等），探针在接触测试点时，通过多路传输系统连接到驱动器和传感器，从而进行各种物理参数的测量，如电压电流值、温度等。然而，对于电路板上的一些状态可以随着探针的移动而改变的元件，无法通过物理量测量的方式得到，只能通过人工观察的方式对这些元件的状态变化是否正常进行判断，无法实现对元件状态的自动检测。因此，如何对电路板上元件的状态变化进行测试是目前亟待解决的问题。
技术实现思路
1、为了便于对电路板上元件的状态变化进行测试，本技术提供了一种基于机器视觉的元件检测方法、系统及飞针测试设备。
2、第一方面，本技术提供的一种基于机器视觉的元件检测方法，采用如下的技术方案：
3、一种基于机器视觉的元件检测方法，包括：
4、获取预设的标准电路板的标准图像序列；
5、获取待检测电路板的状态图像序列；其中，所述待检测电路板和标准电路板的类型一致；
6、构建元件状态检测模型；
7、将标准图像序列和状态图像序列输入至元件状态检测模型，所述元件状态检测模型对标准图像序列和状态图像序列进行特征提取，得到模板特征和待检测特征；并基于模板特征生成状态模板，基于待检测特征生成识别结果；其中，状态模板包括每个元件的标准位置框以及预设时间戳对应的标准状态属性；所述识别结果包括每个元件的识别位置框、状态信息以及状态变化时刻的时间戳；
8、根据预设时间窗内的识别结果中的识别位置框，对所述标准位置框进行校准，得到优化位置框并基于优化位置框生成优化状态模板；
9、将识别结果和所述优化状态模板进行比对，生成元件检测结果。
10、可选的，所述元件状态检测模型包括u-net模块、判别器模块以及时序控制模块；所述构建元件状态检测模型，具体包括：
11、制作包含有多组样本图像、对其标注得到的标注图像以及时间戳标签的训练数据集；其中，所述标注图像包括元件处设定颜色值的位置框；所述时间戳标签是颜色值改变的时刻；
12、利用u-net模块对每组样本图像进行分割并填色，以生成该组的预测图像；
13、利用时序控制模块基于预测图像分析该组的时间戳信息；
14、利用判别器分别对预测图像和与其对应的样本图像进行真伪验证，以生成标注图像为真图的第一概率和预测图像为真图的第二概率；
15、根据第一概率和第二概率构建判别器的判别损失函数；
16、根据预测图像和标注图像之间的像素差值，构建像素损失指标，并基于像素损失指标和判别损失函数构建u-net模块的生成损失函数；
17、根据时间戳标签和时间戳信息构建时序损失函数；
18、根据时序损失函数、判别损失函数和生成损失函数进行迭代训练以得到元件状态检测模型。
19、可选的，所述制作包含有多组样本图像、对其标注得到的标注图像以及时间戳标签的训练数据集，具体包括：
20、获取分别对多个电路板拍摄得到的多张样本图像；
21、对多张样本图像中元件的位置框和状态属性进行标注，并根据状态属性设定位置框的颜色值，以得到标注图像；
22、基于电路板类型，对标注图像进行分组，并对每组中的样本图像进行随机排序，得到标注图像序列；
23、记录标注图像序列中标注图像存在所述颜色值改变的序列值，并基于序列值计算其在标注图像内的时间戳标签；
24、基于每组样本图像、标注图像以及时间戳标签，得到所述训练数据集。
25、可选的，所述根据预设时间窗内的识别结果中的识别位置框，对所述标准位置框进行校准，得到优化位置框并基于优化位置框生成优化状态模板，具体包括：
26、获取预设时间窗内的每个识别位置框的中心坐标和长宽信息，并计算预设时间窗内中心坐标的中心平均值和长宽信息的长宽平均值；
27、判断中心平均值和长宽信息是否超过与其对应的阈值，若是，则根据中心平均值和长宽信息对标准位置框进行校准，得到优化位置框；若否，则将标准位置框作为优化位置框。
28、可选的，所述将识别结果和所述优化状态模板进行比对，生成元件检测结果，具体包括：
29、基于优化状态模板的预设时间戳，截取相邻帧的识别结果作为目标结果；
30、判断目标结果中的识别位置框和标准位置框是否匹配；
31、若不匹配，则生成待测电路板与模板不匹配提示；
32、若匹配，则判断目标结果中的状态信息是否与标准状态属性一致；
33、若一致，则判断当前目标结果所对应的图像与当前目标结果中时间戳所指向的图像是否为同一帧；
34、若是，则生成元件检测结果为合格；若否，则生成元件检测结果为不合格。
35、可选的，所述判断目标结果中的识别位置框和标准位置框是否匹配，具体包括：
36、获取目标结果中所有的识别位置的中心坐标以及标准模板中所有标准位置框的中心坐标；
37、分别将所述中心坐标与预设基准点比对，生成每个识别位置框和标准位置框相对于预设基准点的偏移角度和距离；
38、将每个识别位置框和标准位置框的偏移角度和距离遍历比较，以将识别位置框和标准位置框一对一匹配；
39、计算匹配的识别位置框和标准位置的边界框交并比，并基于边界框交并比判断目标结果中的识别位置框和标准位置框是否匹配。
40、可选的，所述元件包括发光二极管、保险丝、继电器、按键、七段数码管以及液晶显示屏中的一个或多个。
41、第二方面，本技术提供一种基于机器视觉的元件检测系统，采用如下技术方案：
42、一种基于机器视觉的元件检测系统，包括：
43、模板采集模块，用于获取预设的标准电路板的标准图像序列；
44、数据采集模块，用于获取待检测电路板的状态图像序列；其中，所述待检测电路板和标准电路板的类型一致；
45、模型构建模块，用于构建元件状态检测模型；
46、模型输出模块，用于将标准图像序列和状态图像序列输入至元件状态检测模型，所述元件状态检测模型对标准图像序列和状态图像序列进行特征提取，得到模板特征和待检测特征；并基于模板特征生成状态模板，基于待检测特征生成识别结果；其中，状态模板包括每个元件的标准位置框以及预设时间戳对应的标准状态属性；所述识别结果包括每个元件的识别位置框、状态信息以及状态变化时刻的时间戳；
47、优化模块，用于根据预设时间窗内的识别结果中的识别位置框，对所述标准位置框进行校准，得到优化位置框并基于优化位置框生成优化状态模板；
48、检查结果生成模块，用于将识别结果和所述优化状态模板进行比对，生成元件检测结果。
49、第三方面，本技术提供一种飞针测试设备，采用如下技术方案：
50、一种飞针测试设备，包括存储器、处理器以及储存在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行如上述任一种方法的计算机程序。
51、第四方面，本技术提供一种计算机可读存储介质，采用如下技术方案：
52、一种计算机可读存储介质，包括存储有能够被处理器加载并执行如上述任一方法中的计算机程序。
53、综上所述，本技术包括以下有益技术效果：
54、首先，获取预设的标准电路板的标准图像序列，以记录标准电路板在不同时间点的状态。同时，获取了待检测电路板的状态图像序列，以反映了待检测电路板当前的实际情况。构建了元件状态检测模型，以自动对输入的图像序列进行特征提取，从而获取到模板特征和待检测特征。基于模板特征和待检测特征生成状态模板和识别结果。状态模板包含了每个元件的标准位置框以及对应时间戳的标准状态属性，而识别结果包含了每个元件的识别位置框、状态信息以及状态变化时刻的时间戳。然后，根据预设时间窗内的识别结果中的识别位置框，对标准位置框进行校准，以便优化位置框的准确性，提高后续比对的精度。最后，将识别结果与优化状态模板进行比对，以生成元件检测结果，且由于结合了对图像序列分析的方法，使得能够准确地捕获到元件的状态变化，从而实现了检测出电路板上元件的状态变化的效果。
1.一种基于机器视觉的元件检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述元件状态检测模型包括u-net模块、判别器模块以及时序控制模块；所述构建元件状态检测模型，具体包括：
3.根据权利要求2所述的方法，其特征在于，所述制作包含有多组样本图像、对其标注得到的标注图像以及时间戳标签的训练数据集，具体包括：
4.根据权利要求1所述的方法，其特征在于，所述根据预设时间窗内的识别结果中的识别位置框，对所述标准位置框进行校准，得到优化位置框并基于优化位置框生成优化状态模板，具体包括：
5.根据权利要求1所述的方法，其特征在于，所述将识别结果和所述优化状态模板进行比对，生成元件检测结果，具体包括：
6.根据权利要求5所述的方法，其特征在于，所述判断目标结果中的识别位置框和标准位置框是否匹配，具体包括：
7.根据权利要求1所述的方法，其特征在于，所述元件包括发光二极管、保险丝、继电器、按键、七段数码管以及液晶显示屏中的一个或多个。
8.一种基于机器视觉的元件检测系统，其特征在于，包括：
9.一种飞针测试设备，其特征在于：包括存储器、处理器以及储存在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行如权利要求1-7中任一种所述方法的计算机程序。
10.一种计算机可读存储介质，其特征在于，包括存储有能够被处理器加载并执行如权利要求1-7中任一种所述方法中的计算机程序。
