1.本技术涉及图像处理技术领域,特别是涉及一种印制电路板生产参数获取方法、光学检测设备、电子设备及存储介质。
背景技术:2.印刷电路板(printed circuit board,pcb)行业的自动光学检测(automated optical inspection,aoi)设备具有非常重要的实际意义。aoi是指针对pcb生产线上的pcb,通过光学相机采集图像,使用图像处理、机器学习等方法,检测和定位出pcb上的缺陷。
3.pcb在生产过程中无法避免地存在大量的缺陷,pcb上存在缺陷的数量、类型和分布等直接影响着pcb的生产质量。在实际生产中,生产出来的pcb可以根据pcb的类型、用途和根据客户的选择而可以接受不同生产情况的pcb,即不同缺陷情况的pcb。因而,在实际生产过程中,若能够准确的了解pcb上缺陷的情况,对后续pcb的生产或者修补能够带来积极的效果。
技术实现要素:4.为了解决现有技术存在的上述问题,本技术提供了一种印制电路板生产参数获取方法、光学检测设备、电子设备及存储介质,能够提高印制电路板的生产质量和优化印制电路板的生产流程、减少人力资源的消耗。
5.本技术采用的一个技术方案是:提供一种印制电路板生产参数获取方法,该印制电路板生产参数获取方法应用于光学检测设备,该方法包括:获取印制电路板的当前生产参数,以及印制电路板的检测图像中的缺陷信息;基于缺陷信息,生成得分值;得分值用于表征印制电路板的生产质量;基于得分值对当前生产参数进行调整,得到调整生产参数;调整生产参数用于制造印制电路板。
6.可选地,基于得分值对当前生产参数进行调整,得到调整生产参数,包括:基于得分值所在的得分段和印制电路板的类型,对当前生产参数进行调整,得到调整生产参数。
7.可选地,基于得分值所在的得分段和印制电路板的类型,对当前生产参数进行调整,得到调整生产参数,包括:基于印制电路板的类型和用户的设置参数,确定印制电路板的当前生产参数;当前生产参数包括印制电路板的生产区域、生产类型、生产精度、关键缺陷类型、最大缺陷数目和生产数量中的至少一种;当前生产参数基于所述光学检测设备的误差和所述用户的操作影响,在预设差异范围内动态变化,以形成实际使用的生产参数;基于得分值所在的得分段,调整实际使用的生产参数。
8.可选地,基于缺陷信息,生成得分值,包括:基于缺陷信息,确定对应至少一缺陷区域中缺陷的预测类型、预测权重和预测数量;基于预测类型,确定至少一缺陷区域的预测缺陷分;基于预测权重和预测数量,计算预测缺陷分对应的缺陷总得分;响应于缺陷总得分大于预设阈值,计算至少一缺陷区域对应的惩罚总得分;基于缺陷总得分和惩罚总得分的差
值,生成得分值。
9.可选地,计算至少一缺陷区域对应的惩罚总得分,包括:获取至少一缺陷区域中单个缺陷的惩罚得分;基于至少一缺陷区域中缺陷的预测数量,以及惩罚得分,确定至少一缺陷区域对应的惩罚总得分。
10.可选地,基于缺陷信息,生成得分值,包括:基于缺陷信息,提取检测图像中缺陷的特征向量;将提取的特征向量,输入一打分模型中进行得分计算,以输出印制电路板应用于当前生产参数的得分值;其中,打分模型基于用户设置的得分参数和若干个训练向量训练得到。
11.可选地,基于得分值对当前生产参数进行调整,得到调整生产参数,包括:将得分值输入一强化学习网络中进行当前生产参数的预测调整,以生成调整策略;其中,调整策略用于提高利用调整之后的当前生产参数制造的印制电路板对应的得分值;强化学习网络基于用户设置的调整参数和若干个训练得分值训练得到;基于调整策略对当前生产参数进行调整,得到调整生产参数,并应用调整生产参数作为实际的应用生产参数。
12.为解决上述问题,本技术实施例提供了一种光学检测设备,包括:信息获取模块,用于获取印制电路板的当前生产参数,以及印制电路板的检测图像中的缺陷信息;打分模块,用于基于缺陷信息,生成得分值;得分值用于表征印制电路板的生产质量;参数调整模块,基于得分值调整当前生产参数,得到调整生产参数;调整生产参数用于制造印制电路板。
13.为解决上述问题,本技术实施例提供了一种电子设备,包括:处理器以及与处理器连接的存储器,其中,存储器中存储有程序数据,处理器调取存储器存储的程序数据,以执行如上所述的印制电路板生产参数获取方法。
14.为解决上述问题,本技术实施例提供了一种计算机可读存储介质,该计算机可读存储介质中存储有程序数据,程序数据在被处理器执行时,用以实现如上所述的印制电路板生产参数获取方法。
15.与现有技术相比,本技术的印制电路板生产参数获取方法应用于光学检测设备,该方法包括:自动获取印制电路板的当前生产参数,以及印制电路板的检测图像中的缺陷信息;基于缺陷信息,生成得分值;得分值用于表征印制电路板的生产质量、生产状况以及应用该当前生产参数是否适合用于生产;基于得分值调整光学检测设备的当前生产参数,以得到调整生产参数,并利用调整生产参数制造印制电路板。通过上述实施方式,利用印制电路板的检测图像对应的缺陷信息来生成印制电路板的得分值,再通过得分值来评价印制电路板的生产质量,进而来调整光学检测设备制造印制电路板的生产参数,从而能够提高印制电路板的生产质量和优化印制电路板的生产流程、减少人力资源的消耗,并预防参数错误造成的生产事故。
16.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本技术。
附图说明
17.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施
例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
18.图1是本技术提供的光学检测设备一实施例的结构示意图;
19.图2是本技术提供的印制电路板生产参数获取方法一实施例的流程示意图;
20.图3是本技术中生成得分值一实施例的流程示意图;
21.图4是本技术中计算惩罚总得分一实施例的流程示意图;
22.图5是本技术中生成得分值另一实施例的流程示意图;
23.图6是本技术中基于匹配结果计算得分值一实施例的流程示意图;
24.图7是本技术中基于得分值调整生产参数一实施例的流程示意图;
25.图8是本技术中生成得分值另一实施例的流程示意图;
26.图9是本技术中生成得分值另一实施例的流程示意图;
27.图10是本技术提供的一种电子设备的结构示意图;
28.图11是本技术提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
29.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述。可以理解的是,此处所描述的具体实施例仅用于解释本技术,而非对本技术的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本技术相关的部分而非全部结构。基于本技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
30.在申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
31.本技术实施例中的步骤并不一定是按照所描述的步骤顺序进行处理,可以按照需求有选择的将步骤打乱重排,或者删除实施例中的步骤,或者增加实施例中的步骤,本技术实施例中的步骤描述只是可选的顺序组合,并不代表本技术实施例的所有步骤顺序组合,实施例中的步骤顺序不能认为是对本技术的限制。
32.本技术实施例中的术语“和/或”指的是包括相关联的列举项目中的一个或多个的任何和全部的可能组合。还要说明的是:当用在本说明书中时,“包括/包含”指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在,但是不排除一个或多个其他特征、整数、步骤、操作、元件和/或组件和/或它们的组群的存在或添加。
33.本技术中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
34.另外,本技术中尽管多次采用术语“第一”、“第二”等来描述各种操作(或各种元件或各种应用或各种指令或各种数据)等,不过这些操作(或元件或应用或指令或数据)不应
受这些术语的限制。这些术语只是用于区分一个操作(或元件或应用或指令或数据)和另一个操作(或元件或应用或指令或数据)。例如,第一缺陷区域可以被称为第二缺陷区域,第二缺陷区域也可以被称为第一缺陷区域,仅仅是其两者所包括的范围不同,而不脱离本技术的范围,第一缺陷区域和第二缺陷区域都是各种缺陷区域的集合,只是二者并不是相同的缺陷区域的集合而已。
35.参阅图1,图1是本技术提供的光学检测设备一实施例的结构示意图,该光学检测设备10包括:信息获取模块11、打分模块12以及参数调整模块13。
36.在一实施例中,光学检测设备10能够实现自动光学检测(automated optical inspection,aoi),其中,aoi是基于光学原理来对焊接生产中遇到的常见缺陷进行检测的设备。当进行aoi时,光学检测设备10通过摄像头自动扫描pcb,采集图像,测试的焊点与数据库中的合格的参数进行比较,经过图像处理,检查出pcb上缺陷,并通过显示器或自动标志把缺陷显示/标示出来,供维修人员修整。
37.在一实施例中,光学检测设备10能够运行在用户模式以完成某项或多项特定工作(例如,获取印制电路板的检测图像中的缺陷信息、调整光学检测设备的生产参数)的计算机程序,其可以与用户进行交互,且具有可视的用户界面(ui界面)。光学检测设备10也可以包括两部分:图形用户接口(gui)和引擎(engine),利用这两者能够以用户界面的形式向用户提供多种应用服务的数字化客户系统。可选地,光学检测设备10可基于liunx(gnu/linux)系统、mac(macintosh,麦克机)系统或微软系统等用于程序操作,光学检测设备10也可基于平台、平台、平台或者平台等用于程序应用。
38.在一实施例中,用户可以通过输入装置向光学检测设备10输入相应的代码数据或者控制参数,以执行光学检测设备10在用户模式下的特色服务,以及显示用户界面中的应用服务。如用户需要采集印制电路板的检测图像,或者用户需要调整印制电路板的生产参数等,则用户通过输入装置进行操作以及通过显示装置进行显示。
39.具体地,信息获取模块11用于获取印制电路板的当前生产参数,以及印制电路板的检测图像中的缺陷信息。
40.可选地,印制电路板的当前生产参数为光学检测设备10的存储介质中存储的用于生产当前印制电路板的各项指标参数,包括印制电路板的生产类型,电路元件的生产区域、生产精度、关键缺陷类型、最大缺陷数目和生产数量中的至少一种。印制电路板的检测图像为信息获取模块11通过aoi拍摄到的印制电路板检测图像,在该检测图像中能够提取出印制电路板上存在的各缺陷的缺陷信息,缺陷信息包括缺陷位置、缺陷尺寸、缺陷类型、缺陷数量等。
41.可选地,信息获取模块11可搭载有深度相机、3d相机、单目相机或者双目相机等中的一个的图像采集装置,其可根据用户的输入,而产生对应的控制信息,以获取印制电路板的检测图像。进一步地,印制电路板的检测图像对应的缺陷信息可以是信息获取模块11根据印制电路板的检测图像与印制电路板的设计图进行比较,进而得到印制电路板的检测图像中的缺陷信息。其中印制电路板的设计图可以是将印制电路板的电路图导入软件中,通过软件基于电路图自动生成印制电路板的设计图。
42.具体地,打分模块12基于缺陷信息,生成得分值;其中,得分值用于表征印制电路
板的生产质量。
43.可选地,打分模块12包括一个分数预测模型(如,基于attention的rnn、lstm等的点卷积神经网络,或者以点卷基层+全连接的cnn网络)。将印制电路板的检测图像中的缺陷信息输入分数预测模型中进行分数预测,以输出印制电路板对应的得分值。其中,该打分值为根据印制电路板的检测图像中的缺陷得分值用于表征印制电路板的生产质量,即检测图像的缺陷得分值越高,印制电路板的生产质量越低;检测图像的缺陷得分值越低,印制电路板的生产质量越高。
44.具体地,参数调整模块13基于得分值调整光学检测设备的当前生产参数,得到调整参数,以利用调整参数制造印制电路板。
45.可选地,参数调整模块13可包括一参数调整模型(如,dqn(deep q network)中的自主调节神经网络),将检测图像的得分值和当前生产参数输入参数调整模型中进行参数识别和基于得分值的优化,以输出调整后的生产参数。其中,参数调整模型调整生产参数的目的在于提高利用调整之后的当前生产参数制造的印制电路板对应的得分值,即降低检测图像中的缺陷得分值,以提升印制电路板的生产质量。
46.在另一实施例中,印制电路板制造模块13可通过开发工程师基于获取到的得分值对当前生产参数进行人工调整,以增强调整参数的有效性。
47.区别于现有技术,本实施方式提供的光学检测设备包括:信息获取模块,用于获取印制电路板的生产参数,以及印制电路板的检测图像中的缺陷信息;打分模块,基于缺陷信息,生成得分值,其中,得分值用于表征印制电路板的生产质量;参数调整模块,基于得分值调整光学检测设备的当前生产参数,得到调整参数,以利用调整生产参数制造印制电路板。通过上述的光学检测设备,利用印制电路板的检测图像对应的缺陷信息来生成印制电路板的得分值,再通过得分值来评价印制电路板的生产质量,进而来调整光学检测设备制造印制电路板的生产参数,从而能够提高印制电路板的生产质量和优化印制电路板的生产流程、减少人力资源的消耗,并预防参数错误造成的生产事故。
48.可选地,将上述可选实施方式进行结合,并基于上述技术方案进一步优化与扩展,可得到本技术提供的印制电路板生产参数获取方法的一种实施方式。
49.参阅图2,图2是本技术提供的印制电路板生产参数获取方法一实施例的流程示意图。其中,该方法应用于上述实施例中的光学检测设备,以被该光学检测设备执行,该方法包括:
50.步骤s11:获取印制电路板的当前生产参数,以及印制电路板的检测图像中的缺陷信息。
51.可选地,光学检测设备通过提取自身存储介质中存储的参数,以获取到印制电路板的当前生产参数;或者光学检测设备连接第三方机构(例如,云端服务器,大数据处理中心等),以接收印制电路板的当前生产参数。
52.可选地,光学检测设备基于aoi实时采集到印制电路板的检测图像,或通过其他途径(如,第三方机构)传输得到印制电路板的检测图像。
53.示例性地,光学检测设备通过连接自动光学检测设备以实时扫描印制电路板,并通过发送运动控制指令以控制机械台面以及电机的运动,将印制电路板传输至图像采集区域,通过图像采集模块对印制电路板进行图像采集,最终得到印制电路板的检测图像。其
中,在检测图像采集过程中,可以对图像采集区域进行补光,如通过光源控制模块控制光源的开关及亮度进行补光。
54.可选地,印制电路板的检测图像对应的缺陷信息可以是光学检测设备根据印制电路板的检测图像与印制电路板的设计图进行比较,进而得到印制电路板的检测图像中的缺陷信息。其中,印制电路板的设计图可以是将印制电路板的电路图导入软件中,通过软件基于电路图自动生成印制电路板的设计图。在得到印制电路板的设计图之后,即可根据印制电路板的设计图生成与印制电路板设计图相同的印制电路板。然后利用对位算法将印制电路板图像与印制电路板的设计图进行对准处理,进而得到印制电路板的检测图像的缺陷信息。其中,缺陷信息可以包括缺陷的位置,缺陷的类型,缺陷的数量等等。
55.可选地,光学检测设备根据检测图像对应的缺陷信息中的缺陷像素坐标、缺陷尺寸、缺陷形状和缺陷外缘区域来提取出检测图像中各缺陷的中心点位置。
56.示例性地,在光学检测设备的ui界面中,缺陷a为印制电路板图像中的一个第一类缺陷的示意图。光学检测设备根据缺陷a的缺陷像素坐标、缺陷尺寸、缺陷形状和缺陷外缘区域,将缺陷a的外缘通过一最小外接圆b标注,其中,该外接圆b的中点坐标b1即为缺陷a的中心点位置。
57.可选地,光学检测设备根据检测图像对应的缺陷信息中的各缺陷两两之间的中心点位置和第一类缺陷划分的缺陷区域,计算出对应缺陷区域中全部的第一类缺陷之间的间距信息。
58.可选地,光学检测设备将缺陷信息中的缺陷像素坐标、缺陷尺寸、缺陷形状和缺陷外缘区域输入图像特征识别模型中,以提取出第一类缺陷中各缺陷的形状特征。
59.可选地,光学检测设备利用图像特征识别模型基于印制电路板图像识别到对应图像在方向、位置和角度上需要提取的形状特征,再利用特征提取网络(如cnn、vgg、resnet等)对印制电路板图像进行特征分割,以分割出印制电路板图像中各缺陷对应的形状特征。
60.可选地,光学检测设备将印制电路板图像中各缺陷对应的形状特征输入卷积神经网络模型(如基于attention的rnn、lstm等)中以提取出若干第一类缺陷之间的相似度信息。
61.可选地,光学检测设备通过第一类缺陷的关系信息检索符合预设缺陷关系条件的若干个第一类缺陷,并通过该若干个第一类缺陷生成第二类缺陷,从而减小印制电路板中识别缺陷的数量以及提高印制电路板中保留缺陷的重要性。
62.可选地,光学检测设备基于缺陷关系信息,融合至少部分符合预设缺陷关系条件的第一类缺陷,以生成第二类缺陷。
63.可选地,光学检测设备根据缺陷关系信息中各缺陷之间缺陷中心点的间距,确定间距小于预设间距值的至少一对缺陷。其中,该至少一对缺陷为在印制电路板中同一个缺陷区域的两个缺陷,两者之间的间距值小于预设间距值这里不做具体限定,例如,可以是小于2-20mm、5mm、10mm或者15mm等。
64.可选地,光学检测设备根据缺陷的缺陷关系信息中各缺陷之间缺陷的形状,把间距小于预设间距值的至少一对缺陷融合为对应的至少一个第二类缺陷。其中,融合至少一对缺陷可以通过图像融合模型执行,也可以基于开发工程师在光学检测设备的ui界面中进行人工融合。
65.可选地,光学检测设备根据缺陷信息中的缺陷像素坐标、缺陷尺寸、缺陷形状和缺陷外缘区域来确定第一类缺陷的置信值。
66.可选地,光学检测设备选择包括符合缺陷中心点间距值条件和/或缺陷相似度阈值条件的至少部分第一类缺陷。
67.可选地,光学检测设备根据缺陷关系信息中各缺陷之间缺陷中心点的间距,在所有缺陷中选择间距小于预设间距值的至少部分第一类缺陷。其中,该至少部分第一类缺陷为在印制电路板中同一个缺陷区域的两个缺陷,两者之间的间距值小于预设间距值这里不做具体限定,例如,可以是小于2-20mm、5mm、10mm或者15mm等。
68.可选地,光学检测设备根据缺陷关系信息中各缺陷之间相似度信息,在所有缺陷中选择相似度大于预设值的至少部分第一类缺陷。其中,光学检测设备可以将印制电路板图像中各缺陷对应的形状特征输入卷积神经网络模型(如基于attention的rnn、lstm等)中以提取出若干第一类缺陷之间的相似度信息。
69.可选地,光学检测设备将符合第一条件的至少部分缺陷根据其置信度由高到低进行排序,光学检测设备再选择置信度最高的第一类缺陷确定为第二类缺陷。
70.可选地,光学检测设备将符合第一条件的至少部分缺陷根据其置信度由高到低进行排序,光学检测设备再从中选择置信度高于预设置信度阈值的第一类缺陷确定为第二类缺陷。
71.步骤s12:基于缺陷信息,生成得分值;其中,得分值用于表征印制电路板的生产质量。
72.可选地,光学检测设备将印制电路板的缺陷信息输入分数预测模型(如,基于attention的rnn、lstm等的点卷积神经网络,或者以点卷基层+全连接的cnn网络)中,以生成印制电路板的得分值;或者,开发工程师基于光学检测设备的ui界面上显示的缺陷信息,人工输入相应的参数数据,光学检测设备以得到印制电路板的得分值。
73.可选地,印制电路板的打分值为根据印制电路板的检测图像中的缺陷得分值来表征印制电路板的生产质量,即检测图像的缺陷得分值越高,印制电路板的生产质量越低;检测图像的缺陷得分值越低,印制电路板的生产质量越高。
74.参阅图3,图3是本技术中生成得分值一实施例的流程示意图。具体而言,步骤s12可以包括如下步骤:
75.步骤s121:基于缺陷信息,确定对应至少一缺陷区域中缺陷的预测类型、预测权重和预测数量。
76.可选地,光学检测设备将印制电路板的缺陷信息输入分数预测模型中进行缺陷预测。具体地,分数预测模型将印制电路板对应分割为至少一块缺陷区域,在每一缺陷区域中分数预测模型预测有缺陷的类型、缺陷的数量和对应缺陷的权重。
77.作为示例,在a缺陷区域中,分数预测模型预测有a1、a2和a3三种缺陷,其中,a1预测正确的权重为20%、a2预测正确的权重为50%和a3预测正确的权重30%,以及a1的预测数量为8个、a2的预测数量为15个和a3的预测数量为5个。
78.步骤s122:基于预测类型,确定至少一缺陷区域的预测缺陷分。
79.可选地,光学检测设备根据在印制电路板中该至少一缺陷区域的区域等级,和计算出该至少一缺陷区域中缺陷的预测类型,按照得分规则为该至少一缺陷区域计算预测缺
陷分。
80.其中,每一缺陷区域按照其区域等级得到对应的得分值,不同区域等级的缺陷区域按照其区域的重要性,其得分不同;缺陷的预测类型按照其类型的重要性,其得分不同。得分规则具体为先计算出一缺陷区域的对应区域等级的得分值,再将该缺陷区域中所有的缺陷的预测类型乘以对应的缺陷分,最后将所有的预测类型对应的缺陷分和缺陷区域的得分值相加,以得到该缺陷区域的预测缺陷分。
81.作为示例,在缺陷区域b中,光学检测设备预测的缺陷类型有短路、缺口和突起,缺陷区域b的区域等级为第2级,则光学检测设备确定第2级的区域等级的得分值为2分,短路类型的缺陷分为10分、缺口类型的缺陷分为8分和突起类型的缺陷分为6分,则缺陷区域b的预测缺陷分就为2+10+8+6=26分。
82.步骤s123:基于预测权重和预测数量,计算预测缺陷分对应的缺陷总得分。
83.可选地,光学检测设备将该至少一缺陷区域中缺陷的预测权重和预测数量乘以对应的预测缺陷分,以得到全部缺陷区域的缺陷得分,再将全部缺陷区域的缺陷得分相加,就得到缺陷总得分。
84.作为示例,在缺陷区域c中,光学检测设备预测的缺陷区域c的缺陷类型有短路(10分)、缺口(8分)和突起(6分),以及缺陷区域c的区域等级为第1级(3分);缺陷的预测权重为短路类型的缺陷为30%、缺口类型的缺陷为30%和突起类型的缺陷为60%;以及缺陷的预测数量为短路类型有5个、缺口类型有8个和突起类型有3个,则缺陷区域c的缺陷得分为10
×
30%
×
5+8
×
30%
×
8+6
×
60%
×
3+3分;然后再以此类推计算全部缺陷区域的缺陷得分的和,即得到该印制电路板的缺陷总得分。
85.步骤s124:响应于缺陷总得分大于预设阈值,计算至少一缺陷区域对应的惩罚总得分。
86.具体地,若响应于光学检测设备计算得到的缺陷总得分大于预设阈值,则光学检测设备计算对应缺陷得分超出预设阈值的缺陷区域的惩罚得分,以得到该印制电路板的惩罚总得分。
87.参阅图4,图4是本技术中计算惩罚总得分一实施例的流程示意图。
88.具体而言,步骤s124可以包括如下步骤:
89.步骤s1241:获取至少一缺陷区域中单个缺陷的惩罚得分。
90.可选地,缺陷区域中单个缺陷的惩罚得分可以为任意的常数,例如2分、3分、5分等等,这里不作具体限制。
91.步骤s1242:基于至少一缺陷区域中缺陷的预测数量,以及惩罚得分,确定至少一缺陷区域对应的惩罚总得分。
92.可选地,光学检测设备根据计算得到对应缺陷得分超出预设阈值的至少一块缺陷区域中缺陷的缺陷预测数量乘以相应单个缺陷的惩罚分值的和,以得到该至少一缺陷区域的惩罚得分。
93.作为示例,在缺陷区域d中,光学检测设备计算出缺陷区域d的缺陷总得分为100分,即超出预设的阈值80分,且缺陷区域d的缺陷预测数量为20个,单个缺陷的惩罚分值为3分,则光学检测设备计算出缺陷区域d的惩罚分值为3
×
20=60分。
94.步骤s125:基于缺陷总得分和惩罚总得分的差值,生成得分值。
95.可选地,光学检测设备将每一缺陷区域的惩罚分值相加以得到惩罚总得分;光学检测设备再将计算得到的对应全部缺陷区域的缺陷总得分减去全部缺陷区域的惩罚总得分的差值,以生成印制电路板的得分值。
96.参阅图5,图5是本技术中生成得分值另一实施例的流程示意图。
97.具体而言,步骤s12还可以包括如下步骤:
98.步骤s126:基于缺陷信息,提取检测图像中缺陷的特征矩阵和特征类型。
99.可选地,光学检测设备将检测图像的缺陷信息输入打分模型中进行特征提取。其中,检测图像中缺陷的特征矩阵和特征类型可以通过打分模型利用imagenet图像数据集的alexnet深度卷积网络来提取。
100.具体地,打分模型可以将每一张图片256*256*3的rgb检测图像利用三通道数据矩阵输入至imagenet图像数据集的alexnet深度卷积网络中,得到训练的缺陷的特征矩阵和特征类型,其中,训练的特征矩阵的维数不做限制,由于alexnet第五层输出维度为6*6*256,可以张成96*96的特征矩阵,在一种具体实施方式中,可以将96*96的特征矩阵作为训练的特征矩阵。
101.步骤s127:基于特征矩阵和特征类型,构建特征树结构。
102.可选地,打分模型将检测图像所在的平面极角划分为ns等分,每等分称为一个扇区,得到nr*ns个环扇形栅格;再以极角的大小为横轴、以极径的大小为纵轴建立直角坐标系,对应产生一个nr
×
ns个矩阵,矩阵中每个位置保存对应栅格内所有点的特征(即,保存特征矩阵和对应的特征类型),再将nr
×
ns个矩阵通过语义分布和语义方差构建空间的k维特征树结构。
103.步骤s128:将特征树结构与印制电路板预存的特征模板进行匹配,以生成匹配结果。
104.可选地,打分模型将检测图像的k维特征树结构与相应印制电路板预存的特征模板进行匹配,以得到印制电路板的匹配结果。其中,印制电路板预存的特征模板为印制电路板的基准k维特征树结构模板,该模板对应的印制电路板为标准印制电路板,在其上没有缺陷也是理想状态的印制电路板。
105.可选地,匹配结果即为现实生产的印制电路板对应的特征树结构与理想状态的印制电路板对应的特征树结构之间的差异结果。
106.在一实施例中,匹配结果包括特征树结构与特征模板的差异区域和对应的差异信息;差异信息包括差异区域中对应缺陷的缺陷类型、缺陷尺寸和缺陷数量。
107.步骤s129:基于匹配结果和对应的得分规则生成得分值。
108.参阅图6,图6是本技术中基于匹配结果计算得分值一实施例的流程示意图。具体而言,步骤s129可以包括如下步骤:
109.步骤s1291:基于得分规则和差异信息,对差异区域中的缺陷设置对应的惩罚分数。
110.可选地,光学检测设备根据差异信息获取到每一个差异区域中缺陷的缺陷类型、缺陷尺寸和缺陷数量,再根据各种缺陷类型对应的得分、各种缺陷类型对应缺陷尺寸的得分和各种缺陷类型对应缺陷数量的得分的乘积,以计算得到每一差异区域的惩罚分数。
111.作为示例,光学检测设备根据差异信息获取到差异区域a中缺陷的缺陷类型包括
开路类型、缺口类型和凹陷类型三种,其中,开路类型的缺陷共有3个、缺口类型的缺陷共有5个和凹陷类型的缺陷共有2个;3个开路类型的缺陷的缺陷尺寸在第一尺寸段的有2个,在第二尺寸段的有1个;5个缺口类型的缺陷的缺陷尺寸均在第一尺寸段;2个凹陷类型的缺陷的缺陷尺寸均在第三尺寸段。并且,开路类型的缺陷的惩罚分为10分、缺口类型的缺陷的惩罚分为8分和凹陷类型的缺陷的惩罚分为6分;第一尺寸段缺陷的惩罚分为2分,第二尺寸段缺陷的惩罚分为3分,第三尺寸段缺陷的惩罚分为4分,则差异区域a的惩罚分数为10
×
(2
×
2+1
×
3)+8
×
(5
×
2)+6
×
(2
×
4)分。
112.步骤s1292:基于特征模板预设的目标分数和惩罚分数的差值,生成得分值。
113.可选地,光学检测设备将每一差异区域的惩罚分数相加以得到差异区域的惩罚总得分;光学检测设备再将特征模板预设的目标分数减去惩罚总得分的差值,以生成印制电路板的得分值。其中,特征模板预设的目标分数为客户自身设定的分数,这里不做具体限定。
114.步骤s13:基于得分值调整光学检测设备的生产参数,以利用调整后的生产参数制造印制电路板。
115.具体地,光学检测设备基于得分值所在的得分段和印制电路板的类型,调整光学检测设备的当前生产参数,得到调整生产参数,其中,调整生产参数用于制造印制电路板。
116.其中,得分值的得分段有多个,例如,第一得分段(1000分及以上),第二得分段(200-999分),第三得分段(50-199分)和第四得分段(49分及以下)。印制电路板的类型可以有多种,每一类型的印制电路板对应一种生产参数,以及每一类型的印制电路板用于不同的应用产品。
117.参阅图7,图7是本技术中基于得分值调整生产参数一实施例的流程示意图。具体而言,步骤s13可以包括如下步骤:
118.步骤s131:基于印制电路板的类型和用户的设置参数,确定印制电路板的当前生产参数。
119.其中,当前生产参数包括当前印制电路板的生产区域、生产类型、生产精度、关键缺陷类型、最大缺陷数目和生产数量中的至少一种。
120.其中,当前生产参数基于光学检测设备的误差和用户的操作影响,在预设差异范围内动态变化,以形成实际使用的生产参数。
121.可选地,当前生产参数为光学检测设备根据印制电路板的类型和用户输入的设置参数得到的期望生产参数。
122.可选地,当前生产参数也可以为在本次调整生产参数之前最近的一次调整后的生产参数。例如,印制电路板的初始生产参数为a0,第一次调整后的生产参数为a1,第二次调整后的生产参数为a2,第三次调整后的生产参数为a3。则本次(第四次)调整的生产参数的当前生产生产参数可以为初始生产参数为a0,也可以为最近的一次调整后的生产参数a3。
123.步骤s132:基于得分值所在的得分段,调整实际使用的生产参数。
124.可选地,光学检测设备可根据印制电路板所在的得分段和印制电路板的当前生产生产参数通过一参数调整模型(如,dqn(deep q network)中的自主调节神经网络)进行参数识别和基于得分值的优化,以输出调整后的生产参数。其中,参数调整模型调整生产参数的目的在于降低检测图像中的缺陷得分值,以提升印制电路板的生产质量。
125.在另一实施例中,光学检测设备可通过开发工程师基于获取到的得分值对基准生产参数进行人工调整,以增强调整生产参数的有效性。
126.参阅图8,图8是本技术中生成得分值另一实施例的流程示意图。
127.具体而言,上述实施例中的步骤s12还可以包括如下步骤:
128.步骤s121a:基于缺陷信息,提取检测图像中缺陷的特征向量。
129.在一实施例中,光学检测设备根据检测图像中缺陷的缺陷信息,识别到在对应缺陷信息方向、位置和角度上的检测图像,再利用特征提取网络(如cnn、vgg、resnet等)对检测进行特征分割,以分割出对应的若干个分割图像。进一步地,光学检测设备通过图像嵌入(image-embedding)网络将分割图像转换成对应的n*s维的特征向量,且每个分割图像对应一个特征向量。例如,一个检测图像被cnn分割成1000个分割图像,图像嵌入网络再将这1000个分割图像转换成对应的1*3维的特征向量,其中,1表示分割图像的个数,s表示特征向量的维度。
130.步骤s122a:将提取的特征向量,输入一打分模型中进行得分计算,以输出印制电路板应用于当前生产参数的得分值。
131.可选地,打分模型基于用户设置的得分参数和若干个训练向量训练得到。其中,用户设置的得分参数包括用户设置的基于各种缺陷数量、缺陷类型、缺陷位置、缺陷尺寸和/或缺陷置信度而对应的得分参数。例如,“铜渣”类型缺陷对应得分为3分,“短路/开路”类型缺陷对应得分为8分,在缺陷区域a中的缺陷对应得分为5分等等。
132.在一实施例中,光学检测设备中的打分模型可以为基于cnn点卷积网络和用户设置的得分参数,来训练若干个训练向量训练得到。打分模型的打分过程可以通过cnn点卷积网络的相关卷基层+全连接以计算出各个提出的特征向量对应的各个基础分,最后输出印制电路板应用于当前生产参数的得分值。
133.进一步地,光学检测设备在获取到印制电路板应用于当前生产参数的第一得分值之后,还可以动态的调整当前生产参数,并通过调整后的生产参数再生产新的印制电路板,以得到新的印制电路板应用于调整后的生产参数的第二得分值。
134.参阅图9,图9是本技术中生成得分值另一实施例的流程示意图。
135.具体而言,上述实施例中的步骤s13还可以包括如下步骤:
136.步骤s131a:将得分值输入一强化学习网络中进行当前生产参数的预测调整,以生成调整策略。
137.具体地,调整策略用于提高利用调整之后的当前生产参数制造的印制电路板对应的得分值。即强化学习网络基于当前生产参数对应的第一得分值生成调整策略,该调整策略用于提高后续生产印制电路板对应的得分值。
138.具体地,强化学习网络基于用户设置的调整参数和若干个训练得分值训练得到。其中,用户设置的调整参数包括用户设置的检测各种缺陷数量、缺陷类型、缺陷位置、缺陷尺寸和/或缺陷置信度而对应设置的调整参数。例如,调整检测缺陷数量、缺陷类型和缺陷尺寸的精度,以提高印制电路板对应的得分值。或者调整缺陷位置、缺陷尺寸和/或缺陷置信度对应的得分分数,以提高印制电路板对应的得分值。
139.步骤s132a:基于调整策略对当前生产参数进行调整,得到调整生产参数,并应用调整生产参数作为实际的应用生产参数。
140.其中,光学检测设备通过调整策略对当前生产参数进行调整,以得到调整后的生产参数,即调整生产参数,将该调整生产参数应用于实际的应用生产参数以制造新的印制电路板。并且调整生产参数对应新的印制电路板的得分值为第二得分值(v
after
),当前生产参数对应原先的印制电路板的得分值为第一得分值(v
before
),且两者之间包括有调整生产参数对应的第二得分值>当前生产参数对应的第一得分值。
141.在一实施例中,若调整生产参数对应的第二得分值(v
after
)≤当前生产参数对应的第一得分值(v
before
),则光学检测设备将第二得分值继续输入步骤s131a中的强化学习网络中进行对应生产参数的预测调整,以生成新的调整策略,从而得到新的调整生产参数对应的得分值,并且可以一直循环该生成新的调整策略和得到新的调整生产参数对应的得分值的步骤,最终已达到使得新的调整生产参数对应的得分值>当前生产参数对应的得分值的目的。
142.区别于现有技术,本实施方式提供的印制电路板生产参数获取方法应用于光学检测设备,该方法包括:获取印制电路板的生产参数,以及印制电路板的检测图像中的缺陷信息;基于缺陷信息,生成得分值;其中,得分值用于表征印制电路板的生产质量;基于得分值调整光学检测设备的生产参数,以利用调整后的生产参数制造印制电路板。通过上述的光学检测设备,利用印制电路板的检测图像对应的缺陷信息来生成印制电路板的得分值,再通过得分值来评价印制电路板的生产质量,进而来调整印制电路板的生产参数,从而能够提高印制电路板的生产质量和优化印制电路板的生产流程、减少人力资源的消耗。
143.参阅图10,图10是本技术提供的一种电子设备的结构示意图,该电子设备100包括处理器101以及与处理器101连接的存储器102,其中,存储器102中存储有程序数据,处理器101调取存储器102存储的程序数据,以执行上述的印制电路板生产参数获取方法。
144.可选地,在一实施例中,处理器101应用于光学检测设备;处理器101用于执行存储器102中存储的程序数据以实现如下方法:获取印制电路板的生产参数,以及印制电路板的检测图像中的缺陷信息;基于缺陷信息,生成得分值;得分值用于表征印制电路板的生产质量;基于得分值调整光学检测设备的生产参数,以利用调整后的生产参数制造印制电路板。
145.其中,处理器101还可以称为cpu(central processing unit,中央处理单元)。处理器101可能是一种电子芯片,具有信号的处理能力。处理器101还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
146.存储器102可以为内存条、tf卡等,可以存储电子设备100中的全部信息,包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器102中。它根据处理器101指定的位置存入和取出信息。有了存储器102,电子设备100才有记忆功能,才能保证正常工作。电子设备100的存储器102按用途可分为主存储器(内存)和辅助存储器(外存),也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等,能长期保存信息。内存指主板上的存储部件,用来存放当前正在执行的数据和程序,但仅用于暂时存放程序和数据,关闭电源或断电,数据会丢失。
147.在本技术所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的电子设备100的实施方式仅仅是示意性的,例如,基于得
分值所在的得分段,调整基准生产参数;基于特征矩阵和特征类型,构建特征树结构等等,其仅仅为一种集合的方式,实际实现时可以有另外的划分方式,例如光学检测设备的生产参数与印制电路板的生产区域、生产类型、生产精度和生产数量可以结合或者可以集合到另一个系统中,或一些特征可以忽略,或不执行。
148.另外,在本技术各个实施例中的各功能单元(如打分模块和印制电路板制造模块等)可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
149.参阅图11,图11是本技术提供的计算机可读存储介质一实施例的结构示意图,该计算机可读存储介质110中存储有能够实现上述所有方法的程序指令111。
150.在本技术各个实施例中的各功能单元集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在计算机可读存储介质110中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机可读存储介质110在一个程序指令111中,包括若干指令用以使得一台计算机设备(可以是个人计算机,系统服务器,或者网络设备等)、电子设备(例如mp3、mp4等,也可以是手机、平板电脑、可穿戴设备等移动终端,也可以是台式电脑等)或者处理器(processor)以执行本技术各个实施方式方法的全部或部分步骤。
151.可选地,在一实施例中,程序指令111应用于光学检测设备;程序指令111在被处理器执行时,用以实现如下方法:获取印制电路板的生产参数,以及印制电路板的检测图像中的缺陷信息;基于缺陷信息,生成得分值;得分值用于表征印制电路板的生产质量;基于得分值调整光学检测设备的生产参数,以利用调整后的生产参数制造印制电路板。
152.本领域内的技术人员应明白,本技术的实施例可提供为方法、系统、或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质110(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
153.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机可读存储介质110实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机可读存储介质110到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的程序指令111产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
154.这些计算机可读存储介质110也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储介质110中的程序指令111产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
155.这些计算机可读存储介质110也可装载到计算机或其他可编程数据处理设备上,
使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的程序指令111提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
156.在一实施例中,这些可编程数据处理设备上包括处理器和存储器。处理器还可以称为cpu(central processing unit,中央处理单元)。处理器可能是一种电子芯片,具有信号的处理能力。处理器还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
157.存储器可以为内存条、tf卡等,它根据处理器指定的位置存入和取出信息。存储器按用途可分为主存储器(内存)和辅助存储器(外存),也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等,能长期保存信息。内存指主板上的存储部件,用来存放当前正在执行的数据和程序,但仅用于暂时存放程序和数据,关闭电源或断电,数据会丢失。
158.以上所述仅为本技术的实施方式,并非因此限制本技术的专利范围,凡是根据本技术说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本技术的专利保护范围内。
技术特征:1.一种印制电路板生产参数获取方法,应用于光学检测设备,其特征在于,所述方法包括:获取印制电路板的当前生产参数,以及所述印制电路板的检测图像中的缺陷信息;基于所述缺陷信息,生成得分值;所述得分值用于表征所述印制电路板的生产质量;基于所述得分值对所述当前生产参数进行调整,得到调整生产参数;所述调整生产参数用于制造所述印制电路板。2.根据权利要求1所述的印制电路板生产参数获取方法,其特征在于,所述基于所述得分值对所述当前生产参数进行调整,得到调整生产参数,包括:基于所述得分值所在的得分段和所述印制电路板的类型,对所述当前生产参数进行调整,得到所述调整参数。3.根据权利要求2所述的印制电路板生产参数获取方法,其特征在于,所述基于所述得分值所在的得分段和所述印制电路板的类型,对所述当前生产参数进行调整,得到所述调整参数,包括:基于所述印制电路板的类型和用户的设置参数,确定所述印制电路板的当前生产参数;其中,所述当前生产参数包括所述印制电路板的生产区域、生产类型、生产精度、关键缺陷类型、最大缺陷数目和生产数量中的至少一种;所述当前生产参数基于所述光学检测设备的误差和所述用户的操作影响,在预设差异范围内动态变化,以形成实际使用的生产参数;基于所述得分值所在的得分段,调整所述实际使用的生产参数。4.根据权利要求1所述的印制电路板生产参数获取方法,其特征在于,所述基于所述缺陷信息,生成得分值,包括:基于所述缺陷信息,确定对应至少一缺陷区域中缺陷的预测类型、预测权重和预测数量;基于所述预测类型,确定所述至少一缺陷区域的预测缺陷分;基于所述预测权重和所述预测数量,计算所述预测缺陷分对应的缺陷总得分;响应于所述缺陷总得分大于预设阈值,计算所述至少一缺陷区域对应的惩罚总得分;基于所述缺陷总得分和所述惩罚总得分的差值,生成所述得分值。5.根据权利要求4所述的印制电路板生产参数获取方法,其特征在于,所述计算所述至少一缺陷区域对应的惩罚总得分,包括:获取所述至少一缺陷区域中单个缺陷的惩罚得分;基于所述至少一缺陷区域中缺陷的预测数量,以及所述惩罚得分,确定所述至少一缺陷区域对应的惩罚总得分。6.根据权利要求1所述的印制电路板生产参数获取方法,其特征在于,所述基于所述缺陷信息,生成得分值,包括:基于所述缺陷信息,提取所述检测图像中缺陷的特征向量;将提取的所述特征向量,输入一打分模型中进行得分计算,以输出所述印制电路板应用于所述当前生产参数的得分值;其中,所述打分模型基于用户设置的得分参数和若干个训练向量训练得到。7.根据权利要求6所述的印制电路板生产参数获取方法,其特征在于,所述基于所述得
分值对所述当前生产参数进行调整,得到调整生产参数,包括:将所述得分值输入一强化学习网络中进行所述当前生产参数的预测调整,以生成调整策略;其中,所述调整策略用于提高利用调整之后的所述当前生产参数制造的所述印制电路板对应的得分值;所述强化学习网络基于用户设置的调整参数和若干个训练得分值训练得到;基于所述调整策略对所述当前生产参数进行调整,得到所述调整生产参数,并应用所述调整生产参数作为实际的应用生产参数。8.一种光学检测设备,其特征在于,所述光学检测设备包括:信息获取模块,用于获取印制电路板的当前生产参数,以及所述印制电路板的检测图像中的缺陷信息;打分模块,用于基于所述缺陷信息,生成得分值;所述得分值用于表征所述印制电路板的生产质量;参数调整模块,基于所述得分值调整所述当前生产参数,得到调整生产参数;所述调整生产参数用于制造所述印制电路板。9.一种电子设备,其特征在于,所述电子设备包括处理器以及与所述处理器连接的存储器,其中,所述存储器中存储有程序数据,所述处理器调取所述存储器存储的所述程序数据,以执行如权利要求1-7任意一项所述的印制电路板生产参数获取方法。10.一种计算机可读存储介质,内部存储有程序指令,其特征在于,所述程序指令被执行以实现如以执行如权利要求1-7任意一项所述的印制电路板生产参数获取方法。
技术总结本申请公开了一种印制电路板生产参数获取方法、光学检测设备、电子设备及存储介质。该印制电路板生产参数获取方法应用于光学检测设备,该方法包括:自动获取印制电路板的当前生产参数,以及印制电路板的检测图像中的缺陷信息;基于缺陷信息,生成得分值;得分值用于表征印制电路板的生产质量、生产状况以及应用该当前生产参数是否适合用于生产;基于得分值调整光学检测设备的当前生产参数,以得到调整生产参数,并利用调整生产参数制造印制电路板。通过上述方式,通过得分值来调整光学检测设备制造印制电路板的生产参数,从而能够提高印制电路板的生产质量和优化印制电路板的生产流程,减少人力资源的消耗,并预防参数错误造成的生产事故。的生产事故。的生产事故。
技术研发人员:陈龙 曹沿松
受保护的技术使用者:奥蒂玛光学科技(深圳)有限公司
技术研发日:2022.06.21
技术公布日:2022/11/1