一种基于opencv视觉处理的机器人滚轮自动装配系统和方法
技术领域
1.本发明涉及机器人领域，具体涉及一种基于opencv视觉处理的机器人滚轮自动装配系统和方法。
背景技术：2.滚轮是当代机械设备中一种重要零部件，用于支撑设备旋转运动，装配过程主要包括轴承和卡簧压装。传统压装方式大多通过人工完成多个工序定位和压装，效率低下。
3.且由于现有技术中轴承安装过程中无法精确定位，受力不均等问题，易出现歪斜、不同轴情况，压装后需要进行人工筛查，大大降低整个装配过程的生产效率，无法保证合格率。
技术实现要素：4.本发明的目的在于提供一种基于opencv视觉处理的机器人滚轮自动装配系统和方法，将工业机器人、自动化上料机构、压装机构、机器视觉部分及数字化技术集成融合，有序完成滚轮、轴承、卡簧上料、运输及压装到装配质量检测等工作。不仅自动进行产品检测，保证了合格率，提高了生产效率；还应用网络通信和数字孪生技术，实现了实际工作状态的同步仿真和远程监控，有助于提高滚轮装配制造生产效率和节约企业成本。
5.一种基于opencv视觉处理的机器人滚轮自动装配系统，包括人机交互系统、远程监控系统、plc主控系统、机器人控制系统和视觉处理系统；
6.所述远程监控系统与人机交互系统连接，具有ug mcd机电概念设计平台仿真、控制数据交互、生产状态实时监控功能，所述人机交互系统还与plc主控系统连接，具有用户权限管理、参数设置与管理、生产工艺管理功能，所述plc主控系统还与机器人控制系统和视觉处理系统连接，具有机器人程序调度控制、冲压气缸运动控制、装配工作流程控制功能，所述机器人控制系统具有位置数据通讯管理、rapid程序轨迹运动、报警信息及异常管理功能，所述视觉处理系统具有相机图像采集、图像前置处理、图像特征识别、图像模板匹配、视觉处理数据通讯功能。
7.优选的，所述人机交互系统与远程监控系统之间通过tcp/ip通讯技术实现控制数据交互，所述plc主控系统与人机交互系统通过ethercat通讯技术实现实时生产数据通讯，所述机器人控制系统通过标准i/o板卡dsq652与plc进行输入输出信号通信，所述视觉处理系统与plc主控系统通过tcp/ip通讯。
8.优选的，还包括自动装配设备，自动装配设备包括基台，和设置在基台上的控制面板(1)、原料工位转盘(2)、轴承压装机构(3)、六轴机器人(4)、轴承检测机构(5)、卡簧检测机构(6)、卡簧压装机构(7)。
9.应用于一种基于opencv视觉处理的机器人滚轮自动装配系统的装配方法，包括以下步骤：
10.步骤一：所述控制面板(1)启动装配流程，通过六轴机器人(4)移动至原料转盘工
位(2)的上方，完成滚轮底座取料；
11.步骤二：原料转盘工位(2)旋转到下一工位，并将滚轮底座原料放入轴承压装机构(3)的待装工位，通过六轴机器人(4)完成轴承取料后，轴承压装机构(3)将轴承压入滚轮底座；
12.步骤三：六轴机器人(4)移动压装后的滚轮至轴承检测机构(5)下方进行拍照，并将照片传输到视觉处理系统进行图像识别，若识别失败则放入不合格产品区，若识别成功则放入卡簧压装机构(7)中完成卡簧装配；
13.步骤四：最后六轴机器人(4)将成品移至卡簧检测机构(6)的下方，进行卡簧识别，识别成功后将成品入库完成装配工作，否则放入废品区。
14.优选的，所述步骤三中图像识别方法包括如下步骤：
15.s100、通过相机拍摄，获取安装有轴承及卡簧的滚轮标准件图像；
16.s200、对所述滚轮标准件图像进行图像处理，得到用于后续匹配的模板轮廓；
17.s300、通过相机拍摄，获取冲压后的滚轮带检测图像；
18.s400、对所述s300步骤得到的待检测图像进行与s200步骤相同的方式进行图像中处理，提取待检测图像轮廓；
19.s500、对所述s200步骤得到的目标轮廓与所述s400步骤得到的待检测轮廓进行轮廓形状匹配，匹配方法如下：
[0020][0021][0022][0023]hia
：目标轮廓的hu不变距，h
ib
：待检测轮廓的hu不变距。
[0024]
优选的，所述步骤s200还包括具体如下步骤：
[0025]
s210、由于光照、遮挡和阴影影响，为将检测轴承图像从设备、滚轮体背景中清晰分割，根据以下公式将滚轮图像从rgb转换为hsv颜色空间：
[0026][0027]
[0028]
v＝max(r,g,b)；
[0029]
s220、根据所述s210步骤得到的hsv颜色空间h色调值，对诉述滚轮图像进行二值化处理，提取滚轮中心轴承图像：
[0030]
s230、对所述s220步骤得到的二值化图像进行闭运算，即先膨胀运算再腐蚀运算，将细微断开的图块连接，替补图像中的小孔，在保持目标图像位置和形状情况下，是图像更光滑，实现去噪：
[0031]
dilate(x,y)＝min
(x',y'):element(x',y')≠0
src(x+x',y+y')
[0032]
erode(x,y)＝max
(x',y'):element(x',y')≠0
src(x+x',y+y')；
[0033]
close(x,y)＝erode(dilate(x,y))
[0034]
s240、对所述s230步骤得到的闭运算图像应用canny算子进行边缘检测，依次通过高斯滤波、像素梯度计算、非极大值抑制、滞后阈值处理和孤立弱边缘抑制等操作提取边缘轮廓；
[0035]
s250、对所述s240步骤得到的边缘轮廓进行圆度检测，提取目标轴承图像的圆形轮廓，圆度根据以下方法计算：
[0036][0037][0038][0039]
p：轮廓质心，pi：轮廓点，num：轮廓点总数，dis：轮廓点到质心的平均距离，sig：轮廓点到质心的距离与平均距离的误差，round：圆度值。
[0040]
本发明的优点在于：将工业机器人、自动化上料机构、压装机构、机器视觉部分及数字化技术集成融合，有序完成滚轮、轴承、卡簧上料、运输及压装到装配质量检测等工作。不仅自动进行产品检测，保证了合格率，提高了生产效率；还应用网络通信和数字孪生技术，实现了实际工作状态的同步仿真和远程监控，有助于提高滚轮装配制造生产效率和节约企业成本。
附图说明
[0041]
图1是本发明基于opencv视觉处理的机器人滚轮自动装配系统功能示意图；
[0042]
图2是本发明基于opencv视觉处理的机器人滚轮自动装配机械结构示意图；
[0043]
图3是本发明基于opencv视觉处理的机器人滚轮自动装配流程示意图；
[0044]
图4是本发明的滚轮冲压前和冲压后图像实例示意图；
[0045]
图5是本发明提供的滚轮冲压图像匹配流程示意图；
[0046]
图6是本发明提供的滚轮冲压模板图像处理子流程示意图；
[0047]
其中，1、控制面板、2、原料工位转盘、3、轴承压装机构、4、六轴机器人、5、轴承检测机构、6、卡簧检测机构、7、卡簧压装机构。
具体实施方式
[0048]
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
[0049]
如图1所述的人机交互系统具有用户权限管理、参数设置与管理、生产工艺管理等功能。所述的远程监控系统具有ug mcd机电概念设计平台仿真、控制数据交互、生产状态实时监控等功能。plc主控系统具有机器人程序调度控制、冲压气缸运动控制、装配工作流程控制等功能；机器人控制系统具有位置数据通讯管理、rapid程序轨迹运动、报警信息及异常管理等功能；视觉处理系统具有相机图像采集、图像前置处理、图像特征识别、图像模板匹配、视觉处理数据通讯等功能。其中所述人机交互系统与远程监控系统之间通过tcp/ip通讯技术实现控制数据交互，将生产数据传输到数字孪生平台，实现数字模型同步运动和生产状态监控；所述plc主控系统与人机交互系统通过ethercat通讯技术实现实时生产数据通讯，将工艺参数下发给plc实现工艺流程控制，并反馈plc控制器的生产过程变量；所示机器人控制系统通过标准i/o板卡dsq652与plc进行输入输出信号通信，完成位置数据通讯，控制机器人轨迹运动；所述视觉处理系统通过tcp/ip通讯，由plc主控系统控制相机图像采集及视觉处理，并将完成视觉处理的冲压图像识别结果反馈给plc。
[0050]
如图2所述的机器人滚轮自动装配机械结构包括控制面板1、原料工位转盘2、轴承压装机构3、六轴机器人4、轴承检测机构5、卡簧检测机构6、卡簧压装机构7。所述控制面板1控制工艺参数设定、装配流程启动停止等操作；所述原料工位转盘2分为4个工位放置滚轮底座和轴承原料，当工位取料完成后通过底盘电机旋转到下一工位等待取料；所述轴承压装机构3，通过气缸带动轴承压装头下压，将轴承装入滚轮底座中；所述六轴机器人4，通过更换手爪依次完成轴承、滚轮底座上下料；所述轴承检测机构5，安装光源和ccd相机，滚轮底座安装轴承后进行拍照，并将采集图像传送到视觉处理系统；所述卡簧检测机构6，实现卡簧安装后滚轮产品图像采集；所述卡簧压装机构7，通过推杆进行上料，将卡簧推入锥形导套中，气缸带动卡簧压装导筒，完成卡簧压装工作。具体实施方式及原理：
[0051]
如图3所述基于opencv视觉处理的机器人滚轮自动装配包括以下步骤：所述控制面板1启动装配流程，所述6轴机器人4取大手爪，移动置原料转盘工位2上方，完成滚轮底座取料，同时原料转盘工位2旋转到下一工位，并将滚轮底座原料放入轴承压装机构3的待装工位，接着6轴机器人4更换小手爪，完成轴承取料后，轴承压装机构3将轴承压入滚轮底座，6轴机器人4更换大爪移动压装后滚轮至轴承检测机构5下方进行拍照，并传输到视觉处理系统进行图像识别，若识别失败放入不合格产品区，若识别成功放入卡簧压装机构7中完成卡簧装配，最后6轴机器人4将成品移至卡簧检测机构6下方，进行卡簧识别，识别成功后将成品入库完成装配工作，否则放入废品区。
[0052]
如图5所述滚轮冲压图像匹配流程，该方法包括以下步骤s100至s500。
[0053]
s100、通过相机拍摄，获取安装有轴承及卡簧的滚轮标准件图像，如图例说明图4中滚轮冲压后图像所示。
[0054]
s200、对所述滚轮标准件图像进行图像处理，得到用于后续匹配的模板轮廓。所述s200如图例说明图6所述滚轮冲压模板图像处理子流程，包括步骤s210至s250。
[0055]
s210、由于光照、遮挡和阴影等影响，如图5所述拍摄得到的滚轮图像在rgb颜色空间的三个分量易随亮度变化，不适合后续图像处理。为将如图红框中目标检测轴承图像从
手爪、滚轮体等背景中清晰分割，根据以下公式将滚轮图像从rgb转换为hsv颜色空间：
[0056][0057][0058]
v＝max(r,g,b)
[0059]
s220、根据所述s210步骤得到的hsv颜色空间h色调值，对诉述滚轮图像进行二值化处理，提取滚轮中心轴承图像：
[0060]
s230、对所述s220步骤得到的二值化图像进行闭运算，即先膨胀运算再腐蚀运算，将细微断开的图块连接，替补图像中的小孔，在保持目标图像位置和形状情况下，是图像更光滑，实现去噪：
[0061]
dilate(x,y)＝min
(x',y'):element(x',y')≠0
src(x+x',y+y')
[0062]
erode(x,y)＝max
(x',y'):element(x',y')≠0
src(x+x',y+y')
[0063]
close(x,y)＝erode(dilate(x,y))
[0064]
s240、对所述s230步骤得到的闭运算图像应用canny算子进行边缘检测，依次通过高斯滤波、像素梯度计算、非极大值抑制、滞后阈值处理和孤立弱边缘抑制等操作提取边缘轮廓。
[0065]
s250、对所述s240步骤得到的边缘轮廓进行圆度检测，提取目标轴承图像的圆形轮廓，圆度根据以下方法计算：
[0066][0067][0068][0069]
p：轮廓质心pi：轮廓点num:轮廓点总数dis：轮廓点到质心的平均距离sig：轮廓点到质心的距离与平均距离的偏差round：圆度值
[0070]
s300、通过相机拍摄，获取冲压后的滚轮带检测图像。
[0071]
s400、对所述s300步骤得到的待检测图像进行类似s200步骤的图像处理，提取待检测图像轮廓。
[0072]
s500、对所述s200步骤得到的目标轮廓与所述s400步骤得到的待检测轮廓进行轮廓形状匹配，匹配方法如下：
[0073]
基于上述，本发明将工业机器人、自动化上料机构、压装机构、机器视觉部分及数字化技术集成融合，有序完成滚轮、轴承、卡簧上料、运输及压装到装配质量检测等工作。不仅自动进行产品检测，保证了合格率，提高了生产效率；还应用网络通信和数字孪生技术，实现了实际工作状态的同步仿真和远程监控，有助于提高滚轮装配制造生产效率和节约企业成本。
[0074]
由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。
技术特征：1.一种基于opencv视觉处理的机器人滚轮自动装配系统，其特征在于，包括人机交互系统、远程监控系统、plc主控系统、机器人控制系统和视觉处理系统；所述远程监控系统与人机交互系统连接，具有ug mcd机电概念设计平台仿真、控制数据交互、生产状态实时监控功能，所述人机交互系统还与plc主控系统连接，具有用户权限管理、参数设置与管理、生产工艺管理功能，所述plc主控系统还与机器人控制系统和视觉处理系统连接，具有机器人程序调度控制、冲压气缸运动控制、装配工作流程控制功能，所述机器人控制系统具有位置数据通讯管理、rapid程序轨迹运动、报警信息及异常管理功能，所述视觉处理系统具有相机图像采集、图像前置处理、图像特征识别、图像模板匹配、视觉处理数据通讯功能。2.根据权利要求1所述的一种基于opencv视觉处理的机器人滚轮自动装配系统，其特征在于：所述人机交互系统与远程监控系统之间通过tcp/ip通讯技术实现控制数据交互，所述plc主控系统与人机交互系统通过ethercat通讯技术实现实时生产数据通讯，所述机器人控制系统通过标准i/o板卡dsq652与plc进行输入输出信号通信，所述视觉处理系统与plc主控系统通过tcp/ip通讯。3.根据权利要求1所述的一种基于opencv视觉处理的机器人滚轮自动装配系统，其特征在于：还包括自动装配设备，自动装配设备包括基台，和设置在基台上的控制面板(1)、原料工位转盘(2)、轴承压装机构(3)、六轴机器人(4)、轴承检测机构(5)、卡簧检测机构(6)、卡簧压装机构(7)。4.应用于权利要求3所述的一种基于opencv视觉处理的机器人滚轮自动装配系统的装配方法，其特征在于：包括以下步骤：步骤一：所述控制面板(1)启动装配流程，通过六轴机器人(4)移动至原料转盘工位(2)的上方，完成滚轮底座取料；步骤二：原料转盘工位(2)旋转到下一工位，并将滚轮底座原料放入轴承压装机构(3)的待装工位，通过六轴机器人(4)完成轴承取料后，轴承压装机构(3)将轴承压入滚轮底座；步骤三：六轴机器人(4)移动压装后的滚轮至轴承检测机构(5)下方进行拍照，并将照片传输到视觉处理系统进行图像识别，若识别失败则放入不合格产品区，若识别成功则放入卡簧压装机构(7)中完成卡簧装配；步骤四：最后六轴机器人(4)将成品移至卡簧检测机构(6)的下方，进行卡簧识别，识别成功后将成品入库完成装配工作，否则放入废品区。5.根据权利要求4所述的一种基于opencv视觉处理的机器人滚轮装配方法，其特征在于：所述步骤三中图像识别方法包括如下步骤：s100、通过相机拍摄，获取安装有轴承及卡簧的滚轮标准件图像；s200、对所述滚轮标准件图像进行图像处理，得到用于后续匹配的模板轮廓；s300、通过相机拍摄，获取冲压后的滚轮带检测图像；s400、对所述s300步骤得到的待检测图像进行与s200步骤相同的方式进行图像中处理，提取待检测图像轮廓；s500、对所述s200步骤得到的目标轮廓与所述s400步骤得到的待检测轮廓进行轮廓形状匹配，匹配方法如下：
h
ia
：目标轮廓的hu不变距，h
ib
：待检测轮廓的hu不变距。6.根据权利要求5所述的一种基于opencv视觉处理的机器人滚轮装配方法，其特征在于：所述步骤s200还包括具体如下步骤：s210、由于光照、遮挡和阴影影响，为将检测轴承图像从设备、滚轮体背景中清晰分割，根据以下公式将滚轮图像从rgb转换为hsv颜色空间：根据以下公式将滚轮图像从rgb转换为hsv颜色空间：v＝max(r,g,b)；s220、根据所述s210步骤得到的hsv颜色空间h色调值，对诉述滚轮图像进行二值化处理，提取滚轮中心轴承图像：s230、对所述s220步骤得到的二值化图像进行闭运算，即先膨胀运算再腐蚀运算，将细微断开的图块连接，替补图像中的小孔，在保持目标图像位置和形状情况下，是图像更光滑，实现去噪：dilate(x,y)＝min
(x',y'):element(x',y')≠0
src(x+x',y+y')erode(x,y)＝max
(x',y'):element(x',y')≠0
src(x+x',y+y')；close(x,y)＝erode(dilate(x,y))s240、对所述s230步骤得到的闭运算图像应用canny算子进行边缘检测，依次通过高斯滤波、像素梯度计算、非极大值抑制、滞后阈值处理和孤立弱边缘抑制等操作提取边缘轮廓；s250、对所述s240步骤得到的边缘轮廓进行圆度检测，提取目标轴承图像的圆形轮廓，圆度根据以下方法计算：
p：轮廓质心，p
i
：轮廓点，num：轮廓点总数，dis：轮廓点到质心的平均距离，sig：轮廓点到质心的距离与平均距离的误差，round：圆度值。
技术总结本发明公开一种基于OpenCV视觉处理的机器人滚轮自动装配系统和方法包括人机交互系统、远程监控系统、PLC主控系统、机器人控制系统和视觉处理系统，所述远程监控系统与人机交互系统连接，所述人机交互系统还与PLC主控系统连接，所述PLC主控系统还与机器人控制系统和视觉处理系统连接，将工业机器人、自动化上料机构、压装机构、机器视觉部分及数字化技术集成融合，有序完成滚轮、轴承、卡簧上料、运输及压装到装配质量检测等工作。不仅自动进行产品检测，保证了合格率，提高了生产效率；还应用网络通信和数字孪生技术，实现了实际工作状态的同步仿真和远程监控，有助于提高滚轮装配制造生产效率和节约企业成本。造生产效率和节约企业成本。造生产效率和节约企业成本。
技术研发人员：洪晴 王晓勇 刘杰 陈江
受保护的技术使用者：南京工业职业技术大学
技术研发日：2022.07.21
技术公布日：2022/11/1
