一种基于3d姿态信息的工业机器人钢坯裂缝修磨系统及方法
技术领域
1.本发明涉及一种修磨机器人系统，具体涉及一种基于3d姿态信息的工业机器人钢坯裂缝修磨系统及方法。
背景技术：2.在钢厂钢坯初轧过程中，钢坯表面会出现裂缝的情况，这些裂纹裂缝大多以沿钢坯长度方向上产生，若不经打磨进入下一道工序，会严重影响钢坯生产的质量，而对钢坯表面裂缝的修磨质量往往决定了产品的档次。传统上对钢坯表面裂缝修磨的处理主要有人工修磨、机床修磨。传统的人工修磨工作量大、效率低下，修磨产生的大量粉尘对工人的健康造成威胁；专用的机床修磨虽然修磨效率得以提高，但是通常是将整条钢坯的表面进行修磨处理，无法对裂缝进行精确修磨，使得产量大幅降低，影响生产效率，只适合大批量生产。
3.现钢厂中通过磁粉探伤的方式可得到钢坯表面裂缝2d坐标，然而钢厂中钢坯在辊道的运输过程中，位置姿态会发生或多或少的变化，裂缝的坐标也会发生相应的变化，导致对裂缝修磨不精确，只能通过将钢坯表面进行统一修磨，从而造成原料浪费，生产效率低下。工业机器人具有自动化程度高、通讯性能优秀、位置姿态控制精确等优点，配合3d面阵相机进行钢坯位姿检测，将裂缝2d坐标向机械臂基坐标系下3d坐标的转换，可以克服钢坯在运输中姿态变换造成的误差，使钢坯裂缝得以精确的修磨，因此，利用工业机器人对钢坯表面裂缝进行精确修磨可以提高修磨速度，保证修磨效率。综上所述，如何构建一种利用3d姿态信息的工业机器人修磨系统，检测钢坯实时位置姿态的变化，规划机械臂末端搭载电主轴22及砂轮从待机位置到修磨位置，对钢坯裂缝进行精确且自动化的修磨将有效地提高钢坯生产线的生产效率。
技术实现要素：4.为了提高钢坯裂缝精确修磨的效率，克服钢坯姿态带来的误差，实现产线自动化修磨，本发明的目的在于提供一种基于3d姿态信息的工业机器人修磨系统及方法。该系统通过3d面阵相机确定辊道上钢坯的姿态及深度信息，通过压轮编码器设备准确计算钢坯的长度方向距离，从而拟合出在修磨位置处裂缝的3d坐标信息，由上位机传输坐标信息至工业机器人控制柜，控制工业机器人对钢坯上的裂缝进行精确修磨。
5.本发明专利的目的是通过以下技术方案来实现的：
6.本发明专利所述系统包括工业机器人、末端执行器机构、冷水机、红外对射光栅、电气控制柜、视觉采集系统、光电开关、压轮编码器，其中工控机作为修磨系统的上位机，工控板作为修磨系统的下位机；视觉采集系统通过使用3d面阵相机采集修磨位置处钢坯位姿，将裂缝处钢坯位姿传输至工控机进行运算；压轮编码器用于准确测量辊道上运行中的钢坯行进长度、速度，工控机通过解算相机传输的图像，配合编码器对钢坯运行的长度信息定位钢坯上裂缝具体坐标；通过工控机与工业机器人的控制柜数据端连接，通过输出坐标点实现工业机器人向裂缝点的运动；工控机与工控板进行数据交互，工控板用于接收编码
器信号、光电开关信号，控制状态指示灯亮灭，与变频器通讯以控制电主轴的启动、转速、转向。红外对射光栅保护系统与工业机器人控制柜的安全插头连接，修磨过程中红外光栅被触发时会立即紧急停止，用于保护工作人员安全及机器人运动路径安全。
7.为了实现所述流程，本发明的第二方面是提供一种基于3d姿态信息的工业机器人修磨系统的工业机器人修磨方法，包括一下步骤：
8.步骤a1：钢坯通过磁粉探伤的方式获得该钢坯裂纹数量k、各钢坯裂缝2d坐标信息，通过网线将数据上传至工控机修磨主流程单元内，修磨主流程开始工作，工控机向工控板询问光电开关信号与编码器数值。
9.步骤a2：钢坯经辊道运输穿过光电开关时，工控板受到开关量信号，上传至上位机表示钢坯通过初始位置，接收编码器信号，将脉冲信号转换为长度信息后上传至工控机。
10.步骤a3：对编码器长度信息进行判断，当到达相机拍摄位置时控制相机进行拍照，采集钢坯图像后进行图像处理，提取钢坯点云，相机下点坐标及平面法向量。
11.步骤a4：工控机将2d坐标信息与相机拍摄的钢坯位姿信息进行转换得到工业机器人坐标下3d坐标以及旋转角，传输至工业机器人控制柜。
12.步骤a5：对编码器长度信息进行判断，当到达修磨位置时，工控机发送标志位至工业机器人控制柜，控制机械臂对第n条裂纹进行修磨运动。
13.步骤a6：工业机器人返回初始位置等待下一条钢坯裂纹信息输入。
14.步骤a7：重复步骤a3到步骤a6，直到一条钢坯上修磨裂纹条数n≥一条钢坯上总裂纹数量k，完成一次修磨运动循环，跳回步骤1等待下一条钢坯裂纹信息更新。
15.本发明将工业机器人、3d面阵相机、压轮编码器、光电开关、末端执行器机构、工控机、工控板、变频器组成了基于3d相机的工业机器人修磨系统。通过对钢坯裂缝2d坐标到3d姿态信息的转换获得钢坯在运输过程中辊道产生变动后的精确坐标位置，系统实现对钢坯裂缝的精确自动化、无人化修磨。
16.本发明与传统的钢坯裂缝修磨方式相比，有益效果在于：
17.a)系统可实现机械臂搭载修磨工具进行自动化修磨，相比传统的人工修磨，加快了钢坯修磨速度，有效提升钢坯修磨效率，机器自动化生产可降低生产风险，保证工人生产安全。
18.b)工控机与机器人控制柜数据连接，工控机可向工业机器人实时传输浮点数以定位坐标点，可以对钢坯裂缝进行精确修磨，相较于数控机床对钢坯整体进行表面修磨，因可以对钢坯裂缝进行精确修磨，从而显著减少了工作量，提高了修磨效率，使得生产效率得到提高。
19.c)本系统相比数控机床，体积较小，运动灵活，成本低，可运输能力强，在硬件架构上具有较强的可扩展性，例如：多系统串联通讯，搭建多机器人协作磨削系统。
附图说明
20.图1为本发明的总体结构示意图；
21.图2为本发明的工控板内部结构示意图；
22.图3为本发明的工控机内部结构示意图；
23.图4为本发明的修磨方法流程图；
具体实施方式
24.下面结合附图和具体实施方式对本发明进行详细阐述。
25.如图1所示，基于3d姿态信息的工业机器人修磨系统包括工业机器人1、机械臂11、工业机器人控制柜12、手持示教器13、末端执行器机构2、电主轴固定支架21、电主轴22、砂轮刀柄23、金刚石砂轮24、冷水机3、红外对射光栅4、电气控制柜5、工控机51、工控板52、变频器53、三色报警指示灯54、视觉采集系统6、3d面阵相机61、相机支架62、光电开关7、压轮编码器8、编码器81。
26.如图1所示，工业机器人1包括机械臂11、工业机器人控制柜12、手持示教器13，该工业机器人1机械臂型号为kuka-kr-210-r2700，工业机器人控制柜12型号为kuka-krc4，机械臂轴数为6，额定负荷210kg，最大负载能力为275kg，最大运动范围为2701mm。
27.机械臂末端的法兰盘与电主轴固定支架21连接，砂轮刀柄23以气动密封的方式固定于电主轴22轴心位置，砂轮刀柄23处搭载不同粒度的金刚石砂轮24以修磨不同类型的钢坯裂缝，电主轴22与电气控制柜内的变频器53连接，由变频器53供电及内置编码器计数反馈，变频器53与工控板52通过rs485串行总线连接，根据modbus rtu协议向变频器53发送需控制动作所对应的报文，实现对金刚石砂轮24的转速和转向的控制。
28.为了解决电主轴内藏式电动机发热问题，选择冷水机3与电主轴22组成循环冷却结构。冷水机3远程控制端与工控板52的io口连接，并与电主轴形成互锁，实现远程控制与保护主轴的功能。
29.为解决生产安全问题，防止在生产过程中发生机械臂11运行过程中工作人员误入工作区域或机械臂11失控，在工业机器人1四周安装红外对射光栅4，红外对射光栅信号线与工业机器人控制柜12内部安全插头相连，当机械臂11运行时红外对射光栅4触发时可以实现立即急停并报警的功能。
30.电气控制柜5内部主要分为供电部分与控制部分，供电部分可以为本发明各系统提供380v、220v、24v供电，每级供电设有空气开关于电气控制柜柜体表面，以此提供简便快捷的上电掉电方式，并实现防过流的功能。控制部分主要由工控机51、工控板52、变频器53、三色报警指示灯54组成。
31.本发明实施例的工控板52内部各单元结构示意图如图2所示，其包括：光电开关信号采集单元、编码器数据采集单元、电主轴装刀卸刀气动控制单元、三色报警指示灯灯控制单元、变频器rs485串行通信单元和工控机rs232串行通信单元。其中：光电开关信号采集单元与光电开关信号线相连接，对光电开关7产生的开关量信号进行采集，光电开关7位于产线辊道起始位置，触发光电开关7时即代表钢坯已通过产线初始点开始运送；编码器数据采集单元与编码器信号线相连接，对编码器81的脉冲信号进行采集，其中编码器81采用压轮的形式与辊道直接接触，压轮随辊道转动而带动编码器81转动，根据脉冲信号的数量与压轮的几何关系计算出钢坯长度方向上的距离，以确定钢坯裂缝相对于工业机器人y轴方向长度；电主轴装刀卸刀气动控制单元与三色报警指示灯54分别以工控板52内置继电器的方式与电磁阀和三色报警指示灯54相连接，根据工控机51所发出的指令进行控制；变频器rs485串行通信单元与变频器rs485信号线相连，根据工控机51所发出的指令对变频器53相应的地址码发送数据，实现修改频率、正转反转、自由停车、快速停车等功能；工控机rs232串行通信单元与工控机51进行数据连接，通过自定义通信协议，实现工控板52与工控机51
的数据交互，通过问询式通讯的方式将工控板52采集的光电开关信号及编码器信号上传至工控机51，给予工控板52各功能工作运行的指令。
32.本发明实施例的工控机51内部各单元结构示意图如图3所示，工控机51在linux操作系统下利用软件qt进行编程，修磨主流程单元下有图像处理单元、工业机器人控制柜通信单元、工控板rs232串行通信单元、操作界面单元。其中图像处理单元与3d面阵相机61相连接，对3d面阵相机61输入的图像进行图像处理、位姿检测和坐标转换；工业机器人控制柜通信单元与工业机器人控制柜12相连接，利用modbus转profibus网关统一通讯协议，以此向工业机器人控制柜12输出钢坯裂缝坐标点，机械臂运动标志位，实现控制机械臂11到达裂缝位置进行修磨运动；操作界面单元利用qt项目界面功能进行界面开发，将包括修磨状态、钢坯编号、裂缝个数、裂缝坐标、电主轴装刀卸刀、编码器示数、急停报警和通讯情况。
33.本发明实施例一种给予3d位姿信息的工业机器人修磨系统的整体工作流程图如图3所示，该修磨方法包括以下步骤：
34.步骤a1：钢坯通过磁粉探伤的方式获得该钢坯裂纹数量k、各钢坯裂缝2d坐标信息，通过网线将数据上传至工控机51，工控机51向工控板52实时询问光电开关信号与编码器数值。
35.步骤a2：钢坯经辊道运输穿过光电开关7时，工控板52受到开关量信号，上传至上位机表示钢坯通过初始位置，开始接受编码器信号，将脉冲信号转换为长度信息后上传至工控机51。
36.步骤a3：对编码器81的长度信息进行判断，当到达相机拍摄位置时控制3d面阵相机61进行拍照，采集钢坯图像后进行图像处理。
37.步骤a4：工控机51将2d坐标信息与相机拍摄的钢坯位姿信息进行转换得到工业机器人1坐标下3d坐标以及欧拉角，传输至工业机器人控制柜12。
38.步骤a5：对编码器长度信息进行判断，当到达修磨位置时，工控机51发送标志位至工业机器人控制柜12，控制机械臂11对第n条裂纹进行修磨运动，同时向工控机51发出修磨运动开始的指令，控制冷水机3工作，给予电主轴22降温保护。
39.步骤a6：工业机器人1返回初始位置等待下一条钢坯裂纹信息输入。
40.步骤a7：重复步骤a3到步骤a6，直到一条钢坯上修磨裂纹条数n≥一条钢坯上总裂纹数量k，完成一次修磨运动循环，跳回步骤1等待下一条钢坯裂纹信息更新。
41.其中由探伤相机坐标系下的钢坯裂缝2d坐标转换到机械臂坐标系下3d坐标包括以下步骤：
42.步骤b0：3d面阵相机61可以生成深度图像，进而转化为点云图像。y轴坐标由压轮编码器8获得。
43.步骤b1：通过判断编码器长度信息，待裂纹起点处运送至3d相机前一小段距离时(约2000mm)，运行视觉算法，对点云图像进行分割和去噪，得到裂纹所在平面信息。
44.步骤b2：通过投影的方法，即认为裂纹起点再3d相机下的x方向的长度线是2d相机下钢坯倾斜一定角度后的投影结果，通过比例计算获得x(3d)坐标。
45.步骤b3：通过点云图像在x、y坐标已知情况下直接求取z坐标。至此相机下裂纹3d坐标已求得。
46.步骤b4：通过icp求解算法的方式将相机坐标系下3d坐标转换为机械臂基座标系
下3d坐标。
47.其中工业机器控制柜12通过手持示教器13进行机械臂11运动程序编程，其流程包括以下步骤：
48.步骤c1：上电后通过点到点设置一初始位置为机械臂11提供待机点位。
49.步骤c2：通过点到点设置钢坯各面上方的待修磨点位。
50.步骤c3：裂缝信息传入后，设置一全局坐标点p1作为坐标输入的点位，解析后的坐标以int整形乘10000传入后以double双精度浮点型除以10000接收，得到精确到千分位，以此全局坐标点作为裂缝具体坐标导航点。
51.步骤c4：通过对全局坐标点p1的xyz坐标值及欧拉角进行运算修改可设置修磨进给深度，得到的全局坐标点p2为裂缝修磨开始点；对p2的y坐标值进行运算修改得到的全局坐标点p3为裂缝修磨结束点。
52.步骤c5：修磨完成后机械臂11自动返回初始位置待机，等待下一条裂缝信息传入。
技术特征：1.一种基于3d姿态信息的工业机器人钢坯裂缝修磨系统，其特征在于，系统包括工业机器人(1)、末端执行器机构(2)、冷水机(3)、红外对射光栅(4)、电气控制柜(5)、视觉采集系统(6)、光电开关(7)、压轮编码器(8)；修磨系统的上位机作为工控机(51)，修磨系统的工控板(52)作为下位机；工业机器人(1)机械臂末端法兰盘与末端执行器机构(2)的电主轴支架(24)相连接，负责修磨执行动作；冷水机(3)的水口与进水口与末端执行器机构(2)的电主轴(22)出水口与进水口相连接；冷水机(3)的控制端口与电气控制柜中(5)的工控板(52)相连接，实现远程控制；红外对射光栅(4)与工业机器人(1)的控制柜(12)的安全插头连接；电气控制柜(5)的供电端分别与工业机器人控制柜(12)、冷水机(3)、红外对射光栅(4)、视觉采集系统(6)、光电开关(7)、压轮编码器(8)的电源端相连，进行供电；视觉采集系统(6)的数据端与电气控制柜(5)中工控机(51)相连，进行图像传输；光电开关(7)的信号端与工控板(52)相连；压轮编码器(8)的信号端与工控板(52)相连；变频器(53)与电主轴(22)相连，用于提供电源，驱动电主轴；工控机(51)的数据端与工控板(52)的数据端相连，进行数据交互，控制整体流程；工控机(51)的数据端与工业机器人(1)的控制柜(12)的数据端连接，通过输出轨迹点来控制工业机器人(1)的运动。2.根据权利要求1所述的基于3d姿态信息的工业机器人钢坯裂缝修磨系统，其特征在于，工控板控制系统包括：光电开关信号采集单元、编码器数据采集单元、电主轴装刀卸刀气动控制单元、三色报警指示灯灯控制单元、变频器rs485串行通信单元和工控机rs232串行通信单元；其中：光电开关信号采集单元与光电开关信号线相连接，对光电开关(7)产生的开关量信号进行采集，光电开关(7)位于产线辊道起始位置，触发光电开关(7)时即代表钢坯已通过产线初始点开始运送；编码器数据采集单元与编码器信号线相连接，对编码器(81)的脉冲信号进行采集，其中编码器(81)采用压轮的形式与辊道接触，根据脉冲信号的数量与压轮的几何关系计算出钢坯长度方向上的距离，以确定钢坯裂缝相对于工业机器人y轴方向长度；电主轴装刀卸刀气动控制单元与三色报警指示灯(54)分别以工控板内置继电器的方式与电磁阀和三色报警指示灯(54)相连接，根据工控机(51)所发出的指令进行控制；变频器rs485串行通信单元与变频器rs485信号线相连，根据工控机(51)所发出的指令对变频器(53)相应的地址码发送数据，实现修改频率、正转反转、自由停车、快速停车等功能；工控机rs232串行通信单元与工控机(51)进行数据连接，通过制定modbus通信协议，实现工控板(52)与工控机(51)的数据交互，通过问询式通讯的方式将工控板(52)采集的光电开关(7)信号及编码器信号上传至工控机，给予工控板(52)各功能工作运行的指令。3.根据权利要求1所述的基于3d姿态信息的工业机器人钢坯裂缝修磨系统，其特征在于，工控机控制系统包括：修磨主流程单元、图像处理单元、工业机器人控制柜通信单元、工控板rs232串行通信单元、操作界面单元；工控机(52)在linux操作系统下利用软件qt进行编程，修磨主流程单元下有图像处理单元、工业机器人控制柜通信单元、工控板rs232串行通信单元、操作界面单元；其中图像处理单元与3d面阵相机(61)相连接，对3d面阵相机(61)输入的图像进行图像处理、位姿检测和坐标转换；工业机器人控制柜通信单元与工业机器人控制柜(12)相连接，利用modbus转profibus网关统一通讯协议，以此向工业机器人控制柜输出钢坯裂缝坐标点，机械臂运动标志位，实现控制机械臂(11)到达裂缝位置进行修磨运动；操作界面单元利用qt项目界面功能进行界面开发，包括修磨状态、钢坯编号、裂缝个数、裂缝坐标、电主轴装刀卸刀、编码器示数、急停报警和通讯情况。
4.根据权利要求1所述的基于3d姿态信息的工业机器人钢坯裂缝修磨方法，其特征在于包括以下步骤：步骤a1：钢坯通过磁粉探伤的方式获得该钢坯裂纹数量k、各钢坯裂缝2d坐标信息，通过网线将数据上传至工控机修磨主流程单元内，修磨主流程开始工作，工控机(51)向工控板(52)询问光电开关信号与编码器数值；步骤a2：钢坯经辊道运输穿过光电开关(7)时，工控板受到开关量信号，上传至上位机表示钢坯通过初始位置，接收编码器信号，将脉冲信号转换为长度信息后上传至工控机；步骤a3：对编码器(81)的长度信息进行判断，当到达相机拍摄位置时控制3d面阵相机(61)进行拍照，采集钢坯图像后进行图像处理，提取钢坯点云，相机下点坐标及平面法向量；步骤a4：工控机(51)将2d坐标信息与相机拍摄的钢坯位姿信息进行转换得到工业机器人1坐标下3d坐标以及欧拉角，传输至工业机器人控制柜(12)；步骤a5：对编码器长度信息进行判断，当到达修磨位置时，工控机(51)发送标志位至工业机器人控制柜(12)，控制机械臂(11)对第n条裂纹进行修磨运动，同时向工控机(51)发出修磨运动开始的指令，控制冷水机(3)工作，给予电主轴(22)降温保护；步骤a6：工业机器人(1)返回初始位置等待下一条钢坯裂纹信息输入；步骤a7：重复步骤a3到步骤a6，直到一条钢坯上修磨裂纹条数n≥一条钢坯上总裂纹数量k，完成一次修磨运动循环，跳回步骤1等待下一条钢坯裂纹信息更新。5.根据权利要求4所述的基于3d姿态信息的工业机器人钢坯裂缝修磨方法，其特征在于，由探伤相机坐标系下的钢坯裂缝2d坐标转换到机械臂坐标系下3d坐标包括以下步骤：步骤b0：3d面阵相机61可以生成深度图像，进而转化为点云图像；y轴坐标由压轮编码器(8)获得；步骤b1：通过判断编码器长度信息，待裂纹起点处运送至3d相机前一小段距离时(约2000mm)，运行视觉算法，对点云图像进行分割和去噪，得到裂纹所在平面信息；步骤b2：通过投影的方法，即认为裂纹起点再3d相机下的x方向的长度线是2d相机下钢坯倾斜一定角度后的投影结果，通过比例计算获得x(3d)坐标；步骤b3：通过点云图像在x、y坐标已知情况下直接求取z坐标；至此相机下裂纹3d坐标已求得；步骤b4：通过icp求解算法的方式将相机下3d坐标转换为机械臂下3d坐标。6.根据权利要求4所述的基于3d姿态信息的工业机器人钢坯裂缝修磨方法，其特征在于，工业机器控制柜(12)通过手持示教器(13)进行机械臂(11)运动程序编程，其流程包括以下步骤：步骤c1：上电后通过点到点设置一初始位置为机械臂提供待机点位；步骤c2：通过点到点设置三个棱边和两个面上方的待修磨点位；步骤c3：裂缝信息传入后，设置一全局坐标点p1作为坐标输入的点位，解析后的坐标以int整形乘10000传入后以double双精度浮点型除以10000接收，得到精确到千分位，以此全局坐标点作为裂缝具体坐标导航点；步骤c4：通过对全局坐标点p1的xyz坐标值及欧拉角进行运算修改可设置修磨进给深度，得到的全局坐标点p2为裂缝修磨开始点；对p2的y坐标值进行运算修改得到的全局坐标
点p3为裂缝修磨结束点；步骤c5：修磨完成后机械臂(11)自动返回初始位置待机，等待下一条裂缝信息传入。
技术总结本发明公开了一种基于3D姿态信息的工业机器人钢坯裂缝修磨系统及方法，利用3D工业相机采集在辊道待修磨工件的图像，解析其当前姿态，确定工件表面缺陷3D坐标信息，利用压轮编码器系统作为长度方向检测装置，计算出工件上缺陷位置距修磨机器人的实时距离信息，下位机与变频器通讯，控制电主轴带动金刚石砂轮开始转动，上位机控制机器人以设定好的修磨步骤进行对工件修磨。利用红外光栅将机器人工作范围进行保护，3D面阵相机拍照采集工件姿态；上位机与机器人的控制柜进行数据交换，通过输出坐标点位和修改标志位控制机器人运动；下位机对编码器、光电开关、急停报警进行数据采集并上传至下位机，控制变频器输出控制电主轴的启动、停止。停止。停止。
技术研发人员：李智卿 李瑞 马书根 李龙川 刘智锋 范超
受保护的技术使用者：北京化工大学
技术研发日：2022.07.21
技术公布日：2022/11/1
