一种pcb载板缺陷检测方法、系统、电子设备及介质
技术领域
1.本发明涉及缺陷检测技术领域，具体而言，涉及一种pcb载板缺陷检测方法、系统、电子设备及介质。
背景技术：2.pcb(printed circuit board，印刷电路板)载板生产制造复杂且繁琐，制造过程中容易引入各种各样的产品缺陷，并且产品缺陷的类型多种多样，在颜色种类、形状大小、颜色深浅上表现不一。
3.在实际产线质量把控过程中，出于整体产品良率考虑，需要评估产品缺陷的严重性，判断产品缺陷所属的缺陷类型，缺陷类型包括可允收的产品缺陷和不可允收的产品缺陷，对于不可允收的产品缺陷，则需要对pcb载板进行报废，对于可允收的产品缺陷，则可以将pcb载板流到后道制程处理，所以对pcb载板进行精确的缺陷检测，并且结合缺陷检测结果准确评估缺陷严重程度，对于工厂成本控制至关重要。
4.目前，很多pcb载板生产厂商已经引入了aoi(automatic optical inspection，自动光学检测)、adc(automatic defect classification，自动缺陷分类)等智能化缺陷检测系统，这些系统能够通过对存在缺陷的历史pcb载板的特征学习，对线上生产的pcb载板进行缺陷实时检测，但是只能单纯的检测到缺陷的位置，不能直接评估出缺陷的严重程度。
5.在pcb载板生产制造行业中，缺陷的允收标准繁多，包括了缺陷的绝对面积、区域相对面积占比、绝对长度、绝对宽度、区域的相对长宽占比、缺陷个数、缺陷相对区域的位置等信息。对于不同的pcb载板，不同的载板区域和不同的缺陷类型，都有不同的允收标准，这就要求在获取到缺陷位置信息的同时，还要能够精确的识别缺陷的形状信息和缺陷所在区域信息，否则就可能导致过杀(允收判断过严)或漏检(允收判断过松)问题，影响产品良率。
6.特别地，圆形焊盘是pcb载板中大量出现的一个区域类型，由于圆形焊盘形状特殊，相比油墨区域的缺陷，该圆形焊盘的缺陷允收精准判断难度较大。
技术实现要素：7.为了解决圆形焊盘的缺陷允收精准判断难度较大的问题，本发明实施例提供了一种pcb载板缺陷检测方法、系统、电子设备及介质，通过结合adc系统和图像轮廓识别算法，实现精确提取，并且基于圆形焊盘的焊盘轮廓图像和缺陷轮廓图像进行缺陷的允收数据计算以及缺陷允收判断，便于后续指导pcb载板的报废、返修处理；与此同时，能够有效排除油墨区域缺陷对圆形焊盘区域缺陷判断的影响，使得pcb载板圆形焊盘区域的缺陷允收判断更加精准。
8.在第一方面，本发明实施例中提供一种pcb载板缺陷检测方法，所述方法包括以下步骤：
9.根据pcb载板图片获取包含缺陷位置信息的目标框bbox1，所述pcb载板图片存在缺陷；
10.根据pcb载板图片获取所有包含圆形焊盘区域信息的目标框bbox2，所述pcb载板图片存在缺陷；
11.使所述目标框bbox1和目标框bbox2对应，提取所述目标框bbox2中圆形焊盘区域的焊盘轮廓图像，并且根据所述焊盘轮廓图像获取所述焊盘轮廓图像内的缺陷坐标集m1；
12.基于所述缺陷坐标集m1提取缺陷轮廓图像，并且根据所述缺陷轮廓图像的图像信息计算缺陷的允收数据，依据所述允收数据判断缺陷是否允收。
13.在上述可选实施方式中，首先通过智能化缺陷检测系统对具有缺陷的pcb载板图片进行检测识别和分类处理，获取包含缺陷位置信息的目标框bbox1和缺陷类别分类信息，并且通过另一通过智能化缺陷检测系统对具有缺陷的pcb载板图片进行检测识别，获取包含圆形焊盘区域信息的目标框bbox2和区域分类信息；然后利用缺陷轮廓识别算法(cv算法)对目标框bbox1和目标框bbox2进行图像数据处理，获取圆形焊盘和圆形焊盘内缺陷轮廓图像信息；再根据缺陷轮廓图像信息相对于焊盘轮廓图像的融合图像信息计算缺陷的允收数据；最后根据允收数据判断缺陷是否允收，便于后续指导缺陷pcb载板的报废、返修处理。
14.此外，为了排除pcb载板油墨区域像素对提取缺陷的影响，需要把缺陷的像素定位在圆形焊盘的焊盘区域范围内，利用提取的焊盘轮廓图像的焊盘的形状参数，生成一个经过二值化处理的黑白图片p1，所述黑白图片p1的背景为黑色(像素值为0)，焊盘轮廓内均为白色(像素值为255)，黑白图片p1的图像大小与焊盘轮廓图像相同，并且结合目标框bbox1，可以得到缺陷位置信息的目标框bbox1和焊盘区域信息的目标框bbox2重叠的像素信息，即缺陷坐标集m1。
15.作为本技术一些可选实施方式，为了有效提升允收判断的效率，所述目标框bbox1和所述目标框bbox2通过两个智能化缺陷检测系统并行获取，即通过两个智能化缺陷检测系统对pcb载板图片同时进行检测识别和分类处理。
16.作为本技术一些可选实施方式，为了快速提取pcb载板上圆形焊盘轮廓以及缺陷轮廓，所述智能化缺陷检测系统为adc系统，但不限于此系统。
17.作为本技术一些可选实施方式，为了快速定位目标框bbox1和所述目标框bbox2的位置信息，所述目标框bbox1和所述目标框bbox2的位置信息分别包括左上角坐标(x1，y1)和右下角点坐标(x2，y2)，即通过两个角点可以唯一确定一个矩形框；其中，缺陷和焊盘对应的目标框bbox1和目标框bbox2的位置信息为：bbox＝[x1，y1，x2，y2]。
[0018]
作为本技术一些可选实施方式，所述方法通过计算目标框bbox1和所有目标框bbox2的交并比，使所述目标框bbox1和目标框bbox2对应，即当目标框bbox1和目标框bbox2的iou大于预设值时k时，判定两个目标框存在较大交叠，则可确定缺陷对应的焊盘区域。
[0019]
作为本技术一些可选实施方式，为了精确获取圆形焊盘的焊盘轮廓图像，所述圆形焊盘的焊盘轮廓图像通过霍夫梯度检测算法提取。
[0020]
在上述可选实施方式中，为了获得清晰的焊盘轮廓图像，采用多级方案实现动态调整适配，即需要根据不同的场景调整边缘检测算子的检测阈值。
[0021]
具体的，所述圆形焊盘的焊盘轮廓图像的提取流程如下：
[0022]
(1.1)设定边缘检测算子的检测阈值为默认值，通过霍夫梯度检测算法对目标框bbox2进行检测，获取焊盘区域的圆盘信息，若是检测失败，则圆盘信息为空；
[0023]
其中，所述圆盘信息包含圆心信息(centerx，centery)和圆半径信息r；
[0024]
(1.2)校验圆盘信息，如果圆盘信息不为空且r大于目标框bbox1宽度的1/w，则此次霍夫梯度检测成功，执行步骤(1.4)，否则此次霍夫梯度检测失败，重新调整边缘检测算子的检测阈值，执行步骤(1.3)；
[0025]
其中，w为预设值；
[0026]
(1.3)下调边缘检测算子的检测阈值，重新进行霍夫梯度检测，并且重新执行步骤(1.2)；
[0027]
(1.4)保存圆形焊盘区域的圆盘信息。
[0028]
在上述可选实施方式中，所述焊盘轮廓图像也可以为方形焊盘的焊盘轮廓图像，所述焊盘轮廓图像可以基于hough变换的矩形检测方法提取，其中，hough变换的基本原理是将影像空间中的直线变换到参数空间中，通过检测参数空间中的极值点，确定出直线的描述参数，从而提取影像中的规则直线。
[0029]
作为本技术一些可选实施方式，所述缺陷轮廓图像提取流程如下：
[0030]
(2.1)对缺陷坐标集m1进行自适应的二值化阈值分割，得到分割阈值t；
[0031]
(2.2)使用分割阈值t对焊盘轮廓图像进行二值化处理，将焊盘轮廓图像转化为仅取0和255两个像素值的黑白图，并且将不属于焊盘区域的图像像素值设置为255，得到黑白图片p1；
[0032]
(2.3)使用目标框bbox1，构造一个像素值全取255的模板图记作m2，并且和黑白图片p1进行按位与处理，得到去除缺陷位置信息的图像p2；
[0033]
(2.4)检测分割阈值t的有效性，并且对图像p2进行的轮廓边界提取，提取结果记为c1，寻找c1中的有效边界个数，如果有效边界个数大于预设阈值，则对分割阈值t进行调整，继续执行步骤(2.4)，如果有效边界个数小于预设阈值，则执行步骤(2.5)；
[0034]
(2.5)将黑白图片p1中目标框bbox1以外区域设置为255，得到图像p3，并且对图像p3进行开闭运算和孔洞填充处理，得到最终图像p4，所述最终图像p4即为缺陷轮廓图像。
[0035]
作为本技术一些可选实施方式，为了对缺陷进行合理判断，所述允收数据包括缺陷的绝对面积、绝对宽度、绝对长度、相对面积占比、相对宽度占比、相对长度占比、相对区域位置以及缺陷数量。
[0036]
在第二方面，本发明提供一种pcb载板缺陷检测系统，所述系统的功能与所述方法步骤对应，所述系统包括：
[0037]
缺陷检测单元，根据pcb载板图片获取包含缺陷位置信息的目标框bbox1，所述pcb载板存在缺陷；
[0038]
焊盘检测单元，根据pcb载板图片获取所有包含焊盘区域信息的目标框bbox2，所述pcb载板存在缺陷；
[0039]
焊盘轮廓信息提取单元，使所述目标框bbox1和目标框bbox2对应，提取所述目标框bbox2中圆形焊盘区域的焊盘轮廓图像，并且根据所述焊盘轮廓图像获取所述焊盘轮廓图像内的缺陷坐标集m1；
[0040]
缺陷轮廓信息提取单元，基于所述缺陷坐标集m1提取缺陷轮廓图像；
[0041]
允收判断单元，根据所述缺陷轮廓图像的图像信息计算缺陷的允收数据，依据所述允收数据判断缺陷是否允收。
[0042]
在上述可选实施方式中，所述缺陷检测单元通过一个adc系统对存在缺陷的pcb载板图片进行检测识别和分类处理，获取包含缺陷位置信息的目标框bbox1和缺陷类别分类信息；所述焊盘检测单元通过另一个adc系统同时对存在缺陷的pcb载板图片进行检测识别，获取所有包含圆形焊盘区域信息的目标框bbox2，即两个adc系统同时进行检测识别处理，能够有效提升允收判断的效率。
[0043]
在第三方面，本发明提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述pcb载板缺陷检测方法。
[0044]
在第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述pcb载板缺陷检测的方法。
[0045]
本发明的有益效果如下：
[0046]
1.本发明能够对pcb载板圆形焊盘内的缺陷进行允收判断，便于后续导缺陷pcb载板的报废、返修处理。
[0047]
2.本发明能够排除pcb载板圆形焊盘外油墨区域对提取缺陷的影响，使得缺陷的允收判断更加精准。
[0048]
3.本发明通过两个adc系统对pcb载板图片同时进行缺陷、焊盘图像的检测识别，能够有效提升允收判断的效率。
附图说明
[0049]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0050]
图1是根据本发明的一些实施例所述pcb载板缺陷检测方法的步骤图。
[0051]
图2是根据本发明的一些实施例所述pcb载板缺陷检测方法的针对圆形焊盘的缺陷检测流程图。
[0052]
图3是根据本发明的一些实施例所述焊盘轮廓图像的提取流程图。
[0053]
图4是根据本发明的一些实施例所述缺陷轮廓图像提取流程流程图。
[0054]
图5是根据本发明的一些实施例所述pcb载板缺陷检测系统的系统框图。
具体实施方式
[0055]
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。
[0056]
同样应当理解的是，为了简化本发明揭示的表述，从而帮助对至少一个发明实施例的理解，前文对本发明实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法幷不意味着本发明对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
[0057]
实施例一
[0058]
本发明提供一种pcb载板缺陷检测方法，所述方法针对于圆形焊盘，进行缺陷检测，请参阅图1、图2，所述方法包括以下步骤：
[0059]
(1)根据pcb载板图片获取包含缺陷位置信息的目标框bbox1，所述pcb载板图片存在缺陷；
[0060]
(2)根据pcb载板图片获取所有包含圆形焊盘的焊盘区域信息的目标框bbox2，所述pcb载板图片存在缺陷；
[0061]
(3)使所述目标框bbox1和目标框bbox2对应，提取所述目标框bbox2中圆形焊盘区域的焊盘轮廓图像，并且根据所述圆形焊盘区域的焊盘轮廓图像获取所述焊盘轮廓图像内的缺陷坐标集m1；
[0062]
(4)基于所述缺陷坐标集m1提取缺陷轮廓图像，并且根据所述缺陷轮廓图像的图像信息计算缺陷的允收数据，依据所述允收数据判断缺陷是否允收。
[0063]
于本发明实施例中，为了快速提取pcb载板上圆形焊盘轮廓以及缺陷轮廓，所述智能化缺陷检测系统为adc系统，但不限于此系统。
[0064]
于本发明实施例中，为了有效提升允收判断的效率，所述目标框bbox1和所述目标框bbox2通过两个adc系统并行获取，即通过两个adc系统对pcb载板图片同时进行检测识别和分类处理。
[0065]
其中，所述adc系统可采用深度学习算法faster r-cnn建立焊盘自动检测与分类模型或者缺陷自动检测与分类模型，进而分别实现圆形焊盘检测识别和缺陷检测识别，有效提升允收判断的效率。
[0066]
于本发明实施例中，为了快速定位目标框bbox1和所述目标框bbox2的位置信息，所述目标框bbox1和所述目标框bbox2分别包括左上角点坐标(x1，y1)和右下角点坐标(x2，y2)，通过两个角点可以唯一确定一个矩形框；其中，缺陷和焊盘对应的目标框bbox1和目标框bbox2的位置信息为：bbox＝[x1，y1，x2，y2]。
[0067]
此外，所述目标框bbox1和所述目标框bbox2还可以分别包括右上角点坐标(x3，y3)和左下角点坐标位(x4，y4)，通过两个角点可以唯一确定一个矩形框；其中，缺陷和焊盘对应的目标框bbox1和目标框bbox2的位置信息为：bbox＝[x3，y3，x4，y4]；所述目标框bbox1和所述目标框bbox2还可以分别包括圆心信息(centerx1，centery1)和圆半径信息r1，通过圆心和半径可以唯一确定一个圆形框。
[0068]
于本发明实施例中，为了精确获取圆形焊盘的焊盘轮廓图像，步骤(3)圆形焊盘区域的焊盘轮廓图像通过霍夫梯度检测算法提取。
[0069]
于本发明实施例中，为了获得清晰的焊盘轮廓图像，采用多级方案实现动态调整适配，即需要根据不同的场景调整边缘检测算子的检测阈值，请参阅图3，所述圆形焊盘区域的焊盘轮廓图像提取流程如下：
[0070]
(1.1)设定边缘检测算子的检测阈值为默认值，通过霍夫梯度检测算法对目标框bbox2进行检测，获取焊盘区域的圆盘信息，若是检测失败，则圆盘信息为空；
[0071]
其中，所述圆盘信息包含圆心信息(centerx，centery)和圆半径信息r；
[0072]
(1.2)校验圆盘信息，如果圆盘信息不为空且r大于目标框bbox1宽度的1/w，则此次霍夫梯度检测成功，执行步骤(1.4)，否则此次霍夫梯度检测失败，重新调整边缘检测算
子的检测阈值，执行步骤(1.3)；
[0073]
其中，w为预设值；
[0074]
(1.3)下调边缘检测算子的检测阈值，重新进行霍夫梯度检测，并且重新执行步骤(1.2)；
[0075]
(1.4)保存圆形焊盘区域的圆盘信息。
[0076]
于本发明实施例中，步骤(3)通过计算iou(interection-over-union，交并比)的方式使所述目标框bbox1和目标框bbox2对应，所述iou的计算公式为：
[0077][0078]
其中，b1为目标框bbox1的位置信息，b2为目标框bbox2的位置信息。
[0079]
即当目标框bbox1和目标框bbox2的iou大于预设值k时，判定两个目标框存在较大交叠，则可确定缺陷对应的焊盘区域，实现初步的定位选择；其中，所述预设值k优选0.5，所述预设值k可以根据实际情况进行设置。
[0080]
于本发明实施例中，步骤(3)为了排除pcb载板油墨区域像素对提取缺陷的影响，需要把缺陷的像素定位在圆形焊盘的焊盘区域范围内，即利用提取的焊盘轮廓图像的圆形参数，生成一个经过二值化处理的黑白图片p1，所述黑白图片p1的背景为黑色(像素值为0)，圆形焊盘的焊盘轮廓内均为白色(像素值为255)，黑白图片p1的图像大小与圆形焊盘的焊盘轮廓图像相同，并且结合目标框bbox1，可以得到缺陷位置信息的目标框bbox1和焊盘区域信息的目标框bbox2重叠的像素信息，即缺陷坐标集m1。
[0081]
于本发明实施例中，请参阅图4，步骤(4)所述缺陷轮廓图像的提取流程如下：
[0082]
(2.1)对缺陷坐标集m1进行自适应的二值化阈值分割，得到分割阈值t；
[0083]
(2.2)使用分割阈值t对焊盘轮廓图像进行二值化处理，将圆形焊盘的焊盘轮廓图像转化为仅取0和255两个像素值的黑白图，并且将不属于圆形焊盘的焊盘轮廓图像的像素值设置为255，得到黑白图片p1；
[0084]
(2.3)使用目标框bbox1，构造一个像素值全取255的模板图记作m2，并且和黑白图片p1进行按位与处理，得到去除缺陷位置信息的图像p2；
[0085]
(2.4)检测分割阈值t的有效性，并且对图像p2进行的轮廓边界提取，提取结果记为c1，寻找c1中的有效边界个数，如果有效边界个数大于预设阈值，则对分割阈值t进行调整，继续执行步骤(2.4)，如果有效边界个数小于预设阈值，则执行步骤(2.5)；
[0086]
(2.5)将黑白图片p1中目标框bbox1以外区域设置为255，得到图像p3，并且对图像p3进行开闭运算和孔洞填充处理，得到最终图像p4，所述最终图像p4即为缺陷轮廓图像。
[0087]
为了对缺陷进行合理判断，所述允收数据包括缺陷的绝对面积、绝对宽度、绝对长度、相对面积占比、相对宽度占比、相对长度占比、相对区域位置以及缺陷数量。
[0088]
于本发明实施例中，步骤(4)依据所述允收数据判断缺陷是否允收的流程为：
[0089]
(3.1)依次对绝对面积、绝对宽度、绝对长度、相对面积占比、相对宽度占比、相对长度占比、相对区域位置以及缺陷的数量等数据进行阈值判定，所述阈值根据实际情况进行设置；
[0090]
(3.2)如果允收数据均小于允收阈值，则缺陷为可允收的产品缺陷，反之则缺陷为不可允收的产品缺陷，其中，允收阈值根据实际情况设置。
[0091]
于本发明实施例中，使用图像轮廓识别算法(cv2.findcontours算法)进行轮廓提取，可以得到轮廓边界信息，进而可以进一步计算，得到缺陷的绝对长/宽度，绝对面积，缺陷个数等数据，并且通过比对圆形焊盘的圆心信息(centerx，centery)和圆半径信息r，可以计算缺陷相对圆心的位置。
[0092]
实施例二
[0093]
本发明提供一种pcb载板缺陷检测方法，所述方法针对于方形焊盘，进行缺陷检测，请参阅图1，所述方法包括以下步骤：
[0094]
(1)基于adc系统对pcb载板图片进行检测识别，进而获取包含缺陷位置信息的目标框bbox1和缺陷分类信息；其中，所述pcb载板图片存在缺陷，其中，所述缺陷分类信息优选为脏污类缺陷，但不限于脏污类缺陷。
[0095]
(2)基于adc系统对pcb载板图片进行检测识别，进而获取所有包含方形焊盘的焊盘区域信息的目标框bbox2；其中，所述pcb载板图片存在缺陷。
[0096]
(3)使所述目标框bbox1和目标框bbox2对应，提取所述目标框bbox2中方形焊盘区域的焊盘轮廓图像，并且根据所述焊盘轮廓图像获取所述焊盘轮廓图像内的缺陷坐标集m1；
[0097]
(4)基于所述缺陷坐标集m1提取缺陷轮廓图像，并且根据所述缺陷轮廓图像的图像信息计算缺陷的允收数据，依据所述允收数据判断缺陷是否允收。
[0098]
于本发明实施例中，为了快速提取pcb载板上圆形焊盘轮廓以及缺陷轮廓，所述智能化缺陷检测系统为adc系统，但不限于此系统。
[0099]
于本发明实施例中，为了有效提升允收判断的效率，所述目标框bbox1和所述目标框bbox2通过两个adc系统并行获取，即通过两个adc系统对pcb载板图片同时进行检测识别和分类处理。
[0100]
其中，所述adc系统可采用深度学习算法fasterr-cnn建立焊盘自动检测与分类模型或者缺陷自动检测与分类模型，进而分别实现圆形焊盘检测识别和缺陷检测识别，有效提升允收判断的效率。
[0101]
具体的，为了快速定位目标框bbox1和所述目标框bbox2的位置信息，所述目标框bbox1和所述目标框bbox2分别包括左上角点坐标(x1，y1)和右下角点坐标(x2，y2)，通过两个角点可以唯一确定一个矩形框；其中，缺陷和焊盘对应的目标框bbox1和目标框bbox2的位置信息为：bbox＝[x1，y1，x2，y2]。
[0102]
此外，所述目标框bbox1和所述目标框bbox2还可以分别包括右上角点坐标(x3，y3)和左下角点坐标位(x4，y4)，通过两个角点可以唯一确定一个矩形框；其中，缺陷和焊盘对应的目标框bbox1和目标框bbox2的位置信息为：bbox＝[x3，y3，x4，y4]；所述目标框bbox1和所述目标框bbox2还可以分别包括圆心信息(centerx1，centery1)和圆半径信息r1，通过圆心和半径可以唯一确定一个圆形框。
[0103]
于本发明实施例中，对于方形焊盘的焊盘轮廓图像，步骤(3)基于hough变换的矩形检测方法提取，但不限于此方法。
[0104]
其中，hough变换的基本原理是将影像空间中的直线变换到参数空间中，通过检测参数空间中的极值点，确定出直线的描述参数，从而提取影像中的规则直线。
[0105]
于本发明实施例中，步骤(3)通过计算iou(interection-over-union，交并比)的
方式使所述目标框bbox1和目标框bbox2对应，所述iou的计算公式为：
[0106][0107]
其中，b1为目标框bbox1的位置信息，b2为目标框bbox2的位置信息。
[0108]
即当目标框bbox1和目标框bbox2的iou大于预设值k时，判定两个目标框存在较大交叠，则可确定缺陷对应的方形焊盘区域，实现初步的定位选择；其中，所述预设值k优选0.5，所述预设值k可以根据实际情况进行设置。
[0109]
于本发明实施例中，步骤(3)为了排除pcb载板油墨区域像素对提取缺陷的影响，需要把缺陷的像素定位在焊盘区域范围内，即利用提取的焊盘轮廓图像的图像参数，生成一个经过二值化处理的黑白图片p1，所述黑白图片p1的背景为黑色(像素值为0)，焊盘轮廓内均为白色(像素值为255)，黑白图片p1的图像大小与焊盘轮廓图像相同，并且结合目标框bbox1，可以得到缺陷位置信息的目标框bbox1和焊盘区域信息的目标框bbox2重叠的像素信息，即缺陷坐标集m1。
[0110]
于本发明实施例中，请参阅图4，步骤(4)所述缺陷轮廓图像的提取流程如下：
[0111]
(2.1)对缺陷坐标集m1进行自适应的二值化阈值分割，得到分割阈值t；
[0112]
(2.2)使用分割阈值t对焊盘轮廓图像进行二值化处理，将焊盘轮廓图像转化为仅取0和255两个像素值的黑白图，并且将不属于焊盘区域的图像的像素值设置为255，得到黑白图片p1；
[0113]
(2.3)使用目标框bbox1，构造一个像素值全取255的模板图记作m2，并且和黑白图片p1进行按位与处理，得到去除缺陷位置信息的图像p2；
[0114]
(2.4)检测分割阈值t的有效性，并且对图像p2进行的轮廓边界提取，提取结果记为c1，寻找c1中的有效边界个数，如果有效边界个数大于预设阈值，则对分割阈值t进行调整，继续执行步骤(2.4)，如果有效边界个数小于预设阈值，则执行步骤(2.5)；
[0115]
(2.5)将黑白图片p1中目标框bbox1以外区域像素值设置为255，得到图像p3，并且对图像p3进行开闭运算和孔洞填充处理，得到最终图像p4，所述最终图像p4即为缺陷轮廓图像。
[0116]
为了对缺陷进行合理判断，所述允收数据包括缺陷的绝对面积、绝对宽度、绝对长度、相对面积占比、相对宽度占比、相对长度占比、相对区域位置以及缺陷数量。
[0117]
于本发明实施例中，步骤(4)依据所述允收数据判断缺陷是否允收的流程为：
[0118]
(3.1)依次对绝对面积、绝对宽度、绝对长度、相对面积占比、相对宽度占比、相对长度占比、相对区域位置以及缺陷的数量等数据进行阈值判定，所述阈值根据实际情况进行设置；
[0119]
(3.2)如果允收数据均小于允收阈值，则缺陷为可允收的产品缺陷，反之则缺陷为不可允收的产品缺陷，其中，允收阈值根据实际情况设置。
[0120]
实施例三
[0121]
请参阅图5，本发明提供一种pcb载板缺陷检测系统，所述系统各个单元实现的功能与所述方法步骤对应，所述系统包括：
[0122]
缺陷检测单元，根据pcb载板图片获取包含缺陷位置信息的目标框bbox1，所述pcb载板存在缺陷；
[0123]
焊盘检测单元，根据pcb载板图片获取所有包含焊盘区域信息的目标框bbox2，所述pcb载板存在缺陷；
[0124]
焊盘轮廓信息提取单元，使所述目标框bbox1和目标框bbox2对应，提取所述目标框bbox2中圆形焊盘区域或方形焊盘区域的焊盘轮廓图像，并且根据所述焊盘轮廓图像获取所述焊盘轮廓图像内的缺陷坐标集m1；
[0125]
缺陷轮廓信息提取单元，基于所述缺陷坐标集m1提取缺陷轮廓图像；
[0126]
允收判断单元，根据所述缺陷轮廓图像的图像信息计算缺陷的允收数据，依据所述允收数据判断缺陷是否允收。
[0127]
具体的，所述缺陷检测单元通过一个adc系统对存在缺陷的pcb载板图片进行检测识别和分类处理，获取包含缺陷位置信息的目标框bbox1和缺陷类别分类信息；所述焊盘检测单元通过另一个adc系统同时对存在缺陷的pcb载板图片进行检测识别，获取所有包含焊盘区域信息的目标框bbox2，即两个adc系统同时进行检测识别处理，能够有效提升允收判断的效率。
[0128]
本发明实施例中，通过adc系统获取了缺陷和缺陷所在焊盘的大体位置信息，利用图像轮廓识别算法对缺陷图像像素数据进行处理，进一步获得缺陷和焊盘的形状信息，从而实现对pcb载板焊盘区域上缺陷的允收评估。
[0129]
示例性的，通过对pcb载板焊盘区域上缺陷的允收评估，可以指导缺陷pcb板的报废、返修处理。本领域技术人员可以根据pcb载板的具体结构对缺陷检测对象进行适应性选择，在此不作赘述。
[0130]
实施例四
[0131]
本发明提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器运行时执行实施例1所述的方法。
[0132]
本实施例提供的计算机设备可以实现执行实施例1所述的方法，为避免重复，在此不再赘述。
[0133]
实施例五
[0134]
本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述的方法。
[0135]
本实施例提供的计算机可读存储介质可以实现执行实施例1所述的方法，为避免重复，在此不再赘述。
[0136]
其中，所述处理器可以是中央处理器(cpu，central processing unit)，还可以是其他通用处理器、数字信号处理器(digital signal processor)、专用集成电路(application specific integrated circuit)、现成可编程门阵列(field programmable gate array)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0137]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的数据，实现发明中印制电路板缺陷检测装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等。此外，存储器可以包括高速随机存取存储器、还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡，安全
数字卡，闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0138]
印制电路板缺陷检测装置如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序可存储于一计算机可读存介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码、对象代码形式、可执行文件或某些中间形式等。所述计算机可读取介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存储器、点载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
[0139]
本发明已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
[0140]
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
[0141]
此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
[0142]
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、rf、或类似介质，或任何上述介质的组合。
[0143]
本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如java、scala、smalltalk、eiffel、jade、emerald、c++、c#、vb.net、python等，常规程序化编程语言如c语言、visual basic、fortran 2003、perl、cobol 2002、php、abap，动态编程语言如python、ruby和groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(lan)或广域网
(wan)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(saas)。
[0144]
此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
[0145]
同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
[0146]
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
[0147]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0148]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
技术特征：1.一种pcb载板缺陷检测方法，其特征在于，所述方法包括以下步骤：根据pcb载板图片获取包含缺陷位置信息的目标框bbox1，所述pcb载板图片存在缺陷；根据pcb载板图片获取所有包含圆形焊盘区域信息的目标框bbox2，所述pcb载板图片存在缺陷；使所述目标框bbox1和目标框bbox2对应，提取所述目标框bbox2中圆形焊盘区域的焊盘轮廓图像，并且根据所述焊盘轮廓图像获取所述焊盘轮廓图像内的缺陷坐标集m1；基于所述缺陷坐标集m1提取缺陷轮廓图像，并且根据所述缺陷轮廓图像的图像信息计算缺陷的允收数据，依据所述允收数据判断缺陷是否允收。2.根据权利要求1所述的一种pcb载板缺陷检测方法，其特征在于：所述目标框bbox1和所述目标框bbox2通过两个智能化缺陷检测系统并行获取。3.根据权利要求2所述的一种pcb载板缺陷检测方法，其特征在于：所述智能化缺陷检测系统为adc系统。4.根据权利要求1所述的一种pcb载板缺陷检测方法，其特征在于：所述目标框bbox1和所述目标框bbox2的位置信息分别包括左上角点坐标(x1，y1)和右下角点坐标(x2，y2)。5.根据权利要求1所述的一种pcb载板缺陷检测方法，其特征在于：所述方法通过计算目标框bbox1和所有目标框bbox2的交并比，使所述目标框bbox1和目标框bbox2对应。6.根据权利要求1所述的一种pcb载板缺陷检测方法，其特征在于：所述焊盘轮廓图像通过霍夫梯度检测算法提取。7.根据权利要求6所述的一种pcb载板缺陷检测方法，其特征在于，所述焊盘轮廓图像的提取流程如下：(1.1)设定边缘检测算子的检测阈值为默认值，通过霍夫梯度检测算法对目标框bbox2进行检测，获取焊盘区域的圆盘信息，若是检测失败，则圆盘信息为空；其中，所述圆盘信息包含圆心信息(centerx，centery)和圆半径信息r；(1.2)校验圆盘信息，如果圆盘信息不为空且r大于目标框bbox1宽度的1/w，则此次霍夫梯度检测成功，执行步骤(1.4)，否则此次霍夫梯度检测失败，重新调整边缘检测算子的检测阈值，执行步骤(1.3)；其中，w为预设值；(1.3)下调边缘检测算子的检测阈值，重新进行霍夫梯度检测，并且重新执行步骤(1.2)；(1.4)保存圆形焊盘区域的圆盘信息。8.根据权利要求1所述的一种pcb载板缺陷检测方法，其特征在于，所述缺陷轮廓图像的提取流程如下：(2.1)对缺陷坐标集m1进行自适应的二值化阈值分割，得到分割阈值t；(2.2)使用分割阈值t对焊盘轮廓图像进行二值化处理，将焊盘轮廓图像转化为仅取0和255两个像素值的黑白图，并且将不属于焊盘区域的图像的像素值设置为255，得到黑白图片p1；(2.3)使用目标框bbox1，构造一个像素值全取255的模板图记作m2，并且和黑白图片p1进行按位与处理，得到去除缺陷位置信息的图像p2；(2.4)检测分割阈值t的有效性，并且对图像p2进行的轮廓边界提取，提取结果记为c1，
寻找c1中的有效边界个数，如果有效边界个数大于预设阈值，则对分割阈值t进行调整，继续执行步骤(2.4)，如果有效边界个数小于预设阈值，则执行步骤(2.5)；(2.5)将黑白图片p1中目标框bbox1以外区域的像素值设置为255，得到图像p3，并且对图像p3进行开闭运算和孔洞填充处理，得到最终图像p4，所述最终图像p4即为缺陷轮廓图像。9.根据权利要求1所述的一种pcb载板缺陷检测方法，其特征在于：所述允收数据包括缺陷的绝对面积、绝对宽度、绝对长度、相对面积占比、相对宽度占比、相对长度占比、相对区域位置以及缺陷的数量。10.一种pcb载板缺陷检测系统，其特征在于，所述系统包括：缺陷检测单元，根据pcb载板图片获取包含缺陷位置信息的目标框bbox1，所述pcb载板存在缺陷；焊盘检测单元，根据pcb载板图片获取所有包含焊盘区域信息的目标框bbox2，所述pcb载板存在缺陷；焊盘轮廓信息提取单元，使所述目标框bbox1和目标框bbox2对应，提取所述目标框bbox2中圆形焊盘区域的焊盘轮廓图像，并且根据所述焊盘轮廓图像获取所述焊盘轮廓图像内的缺陷坐标集m1；缺陷轮廓信息提取单元，基于所述缺陷坐标集m1提取缺陷轮廓图像；允收判断单元，根据所述缺陷轮廓图像的图像信息计算缺陷的允收数据，依据所述允收数据判断缺陷是否允收。11.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-9中任一项所述pcb载板缺陷检测方法。12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9中任一项所述pcb载板缺陷检测方法。
技术总结本发明提供一种PCB载板缺陷检测方法、系统、电子设备及介质，所述方法包括以下步骤：获取包含缺陷位置信息的目标框Bbox1；获取所有包含焊盘区域信息的目标框Bbox2；使所述目标框Bbox1和目标框Bbox2对应，提取目标框Bbox2中圆形焊盘区域的焊盘轮廓图像，根据焊盘轮廓图像获取焊盘轮廓图像内的缺陷坐标集M1；基于缺陷坐标集M1提取缺陷轮廓图像，根据缺陷轮廓图像信息计算缺陷的允收数据，并且依据允收数据判断缺陷是否允收。本发明通过ADC系统获取缺陷和缺陷所在圆形焊盘的位置信息，利用缺陷轮廓识别算法对图像信息进行处理，进而实现精准的缺陷允收判断，排除油墨区域对圆形焊盘区域缺陷判断的影响。域缺陷判断的影响。域缺陷判断的影响。
技术研发人员：ꢀ(51)Int.Cl.G06T7/00
受保护的技术使用者：成都数之联科技股份有限公司
技术研发日：2022.07.11
技术公布日：2022/11/1
