本技术涉及到工业图像检测,具体而言,涉及到一种无监督图像增强训练方法、装置、设备及介质。
背景技术:
1、表面贴装技术(surface mount technology,简称smt)是电子制造中的一种主要技术,通过将电子元器件直接安装在印刷电路板(printed circuit board,简称pcb)表面的方式来实现电子产品的装配。与传统的通孔技术相比,smt具有更高的密度、更好的性能和更低的成本,因此在现代电子产品中得到了广泛应用。在smt行业中,ai(artificialintelligence)检测pcb板的缺陷已经应用相当广泛,其中深度学习中应用ocr(opticalcharacter recognition。)算法检测识别smt电路板丝印的步骤占据了smt缺陷检测的重要位置。和人脸检测,行人检测等不同的是,丝印的ocr检测识别对于检测识别的稳定性尤为重要,其中训练数据的合理选取占据了极为重要的作用。目前在smt行业中应用ocr技术检测识别pcb电路板丝印有如下的挑战和现状:1.数据标注成本高:网上的公开smt相关训练数据集极为稀少,对于pcb电路板丝印的训练数据更是少之又少,且泛化性不强,无法应用于工业级别部署中。因为smt行业的ai训练数据需要大量的手工标注,这需要大量的时间和人力资源,成本高昂。2.数据代表性和针对性不足:如果丝印ocr检测识别的训练数据代表性不强,针对性不够,就算训练数据体量极为庞大,在此数据集上训练出来的ocr丝印检测识别算法也会出现在预测不稳定,鲁棒性差的问题,这对pcb电路板的缺陷检测会有极大的消极影响。且庞大却代表性不足的数据花费了数据标注人员多余的人工成本,性价比极为欠缺。
2、因此,现有的smt行业的数据训练过程中,人工标注成本高以及在短时间内难以在现场实际部署的泛化性差的场景中大量获取代表性强的数据的问题亟待解决。
技术实现思路
1、本技术的主要目的为提供一种无监督图像增强训练方法、装置、设备及介质,旨在解决现有的smt行业的数据训练过程中,人工标注成本高以及在短时间内难以在现场实际部署的泛化性差的场景中大量获取代表性强的数据的技术问题。
2、本技术的第一方面提出一种无监督图像增强训练方法,包括:
3、对pcb电路板丝印图片进行预设次数的增强处理得到对应数量的增强图片;
4、基于ocr模型,对所述pcb电路板丝印图片与所述增强图片进行预测,得到基于所述pcb电路板丝印训练图片的第一预测结果和基于所述增强图片的第二预测结果集合;
5、基于预设评估标准,将所述第一预测结果与所述第二预测结果集合进行检测对比,确认出高优图片;
6、收集并整理所述高优图片,形成训练数据集,用于训练所述ocr模型。
7、进一步地,所述对pcb电路板丝印训练图片进行预设次数的增强处理得到对应数量的增强图片的步骤,包括:
8、获取增强处理的预设操作类型,其中所述操作类型不包括偏移操作;
9、获取每个操作类型对应的增强参数;
10、基于所述预设操作类型以及对应的增强参数,对所述pcb电路板丝印图片进行增强处理,得到对应的增强图片;
11、基于需要生成的增强图片的数量,重复进行增强处理,直到达到数量的增强图片,其中,对每次增强处理,随机选择不同的操作类型和增强参数组合。
12、进一步地,所述基于ocr模型,对所述pcb电路板丝印图片与所述增强图片进行预测,得到基于所述pcb电路板丝印训练图片的第一预测结果和基于所述增强图片的第二预测结果集合的步骤,包括:
13、加载ocr模型,并将所述pcb电路板丝印图片与所述增强图片输入所述ocr模型;
14、获取ocr模型对所述pcb电路板丝印图片的预测结果,得到第一预测结果;
15、获取ocr模型对所述增强图片的预测结果,得到第二预测结果集合;其中所述第二预测结果集合包含了多个增强图片的预测结果。
16、进一步地,所述基于预设评估标准,将所述第一预测结果与所述第二预测结果集合进行检测对比,确认出高优图片的步骤,包括:
17、计算第一预测结果中的检测框与第二预测结果集合中包含的检测框在指定交并比阈值下的调和平均数;
18、判断所述调和平均数均值是否小于指定的调和平均数阈值;
19、若小于,判定第一预测结果对应的pcb电路板丝印图片为高优图片。
20、进一步地,所述基于预设评估标准,将所述第一预测结果与所述第二预测结果集合进行检测对比,确认出高优图片的步骤,还包括:
21、计算第一预测结果中的角度分类置信度与第二预测结果集合中的角度分类置信度中的分类置信度最小值;
22、判断角度分类置信度最小值是否小于指定角度分类置信度阈值;
23、若小于,判定第一预测结果对应的pcb电路板丝印图片为高优图片。
24、进一步地,所述基于预设评估标准,将所述第一预测结果与所述第二预测结果集合进行检测对比,确认出高优图片的步骤,还包括:
25、计算第一预测结果中的识别置信度与第二预测结果集合中包含的识别置信度中的识别置信度最小值;
26、判断识别置信度最小值是否小于指定识别置信度阈值;
27、若小于,判定第一预测结果对应的pcb电路板丝印图片为高优图片。
28、进一步地,所述基于预设评估标准,将所述第一预测结果与所述第二预测结果集合进行检测对比,确认出高优图片的步骤,还包括:
29、计算第一预测结果中的检测置信度与第二预测结果集合中的检测置信度中的检测置信度最小值;
30、判断检测置信度最小值是否小于指定检测置信度阈值;
31、若小于,判定第一预测结果对应的pcb电路板丝印图片为高优图片。
32、本技术的第二方面提出一种无监督图像增强训练装置,包括:
33、增强模块,用于对pcb电路板丝印图片进行预设次数的增强处理得到对应数量的增强图片;
34、预测模块,用于基于ocr模型,对所述pcb电路板丝印图片与所述增强图片进行预测,得到基于所述pcb电路板丝印训练图片的第一预测结果和基于所述增强图片的第二预测结果集合;
35、对比模块,用于基于预设评估标准,将所述第一预测结果与所述第二预测结果集合进行检测对比,确认出高优图片;
36、训练模块,用于收集并整理所述高优图片,形成训练数据集,用于训练所述ocr模型。
37、本技术的第三方面提出一种无监督图像增强训练设备,包括:
38、工业相机,用于拍摄pcb电路板丝印图片;
39、处理器;
40、存储器,用于存储计算机程序;
41、其中,所述处理器执行所述计算机程序时实现上述中任一项所述的无监督图像增强训练方法。
42、本技术的第四方面提出一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述中任一项所述的无监督图像增强训练方法。
43、有益效果:
44、本技术通过图像增强技术模拟实际应用中的多种光照和环境变化,极大限度避免了置信度虚高的问题,同时解决了光照等环境因素的干扰,增强了模型面对未知数据时的鲁棒性和泛化能力。极大地加快了对高优数据(高优图片)的判别,只需要针对重点场景进行标注,以较少的时间花费就实现了较好的ocr模型的精度和稳定性的收益,同时降低了数据准备的成本和时间。通过筛选出的高优数据来训练模型,可以显著提高ocr算法在pcb电路板丝印识别任务上的准确,使用高优数据集训练的模型在处理复杂多变的实际场景时表现出更高的稳定性,降低了因环境因素导致的识别错误率。
1.一种无监督图像增强训练方法,其特征在于,包括:
2.根据权利要求1所述的无监督图像增强训练方法,其特征在于,所述对pcb电路板丝印训练图片进行预设次数的增强处理得到对应数量的增强图片的步骤,包括:
3.根据权利要求1所述的无监督图像增强训练方法,其特征在于,所述基于ocr模型,对所述pcb电路板丝印图片与所述增强图片进行预测,得到基于所述pcb电路板丝印训练图片的第一预测结果和基于所述增强图片的第二预测结果集合的步骤,包括:
4.根据权利要求1所述的无监督图像增强训练方法,其特征在于,所述基于预设评估标准,将所述第一预测结果与所述第二预测结果集合进行检测对比,确认出高优图片的步骤,包括:
5.根据权利要求1所述的无监督图像增强训练方法,其特征在于,所述基于预设评估标准,将所述第一预测结果与所述第二预测结果集合进行检测对比,确认出高优图片的步骤,还包括:
6.根据权利要求1所述的无监督图像增强训练方法,其特征在于,所述基于预设评估标准,将所述第一预测结果与所述第二预测结果集合进行检测对比,确认出高优图片的步骤,还包括:
7.根据权利要求1所述的无监督图像增强训练方法,其特征在于,所述基于预设评估标准,将所述第一预测结果与所述第二预测结果集合进行检测对比,确认出高优图片的步骤,还包括:
8.一种无监督图像增强训练装置,其特征在于,包括:
9.一种无监督图像增强训练设备,其特征在于,包括:
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的无监督图像增强训练方法。
