1.本发明涉及汽车发动机装配时线束管卡插接检测领域，具体涉及基于3d视觉相机检测发动机插头及管卡是否插接完好的检测方法。
背景技术：2.随着汽车技术的发展，消费者对汽车发动机的品质要求越来越高，如何确保发动机品质，利用机器对产品品质进行检测，实现检测效率的提升，用可视化的数据，代替传统人眼检测，实现品质检测有据可依，成为工业4.0时代亟需解决的难题。
3.传统检测多依靠人眼检测发动机上管卡插接完好，通过启动发动机整机观察信号是否丢失,实现插头虚插的检测。此类方法效率低,一致性差,人为影响过大。
4.因此亟需一种检测方法,实现快速判断发动机插头或者管卡是否装配完好。
技术实现要素：5.针对上述技术问题,本发明提供一种基于3d视觉相机检测发动机插头及管卡的检测方法,能够在短时间内实现插头虚接检测以及管卡插接完好的检测。
6.本发明采用的技术方案为：一种基于视觉相机检测发动机插头及管卡是否插接完好的检测方法，包括：通过3d视觉相机建立直角坐标系，通过3d视觉相机扫描测量插头或管卡边沿与基准位置的平面距离，进行插头或管卡的正常、虚插判断；3d视觉相机由两个摄像头组成，单个摄像头所拍的rgb图片提供了所需物品平面像素坐标系下的x，y坐标，而根据两个摄像头所拍照片从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息建立相机空间坐标系下的z坐标，也就是相机与点的距离；根据rgb图片的信息和相机的内参，可以计算出任何一个像素点在世界坐标系下的坐标；从而根据坐标值计算插头及管卡距离基准位置的距离，从而判断插头或者管卡是否虚插。
7.本发明使用3d视觉相机，根据相机所拍图片，内部形成算法建立坐标系，通过空间坐标计算所检测管卡及插头的边沿距离基准点的距离，从而判断插头或者管卡是否虚插：通过视觉拍照，实现拍的rgb图片提供了像素坐标系下的x，y坐标，而深度图提供了相机坐标系下的z坐标，也就是相机与点的距离，实现每一个像素点有对应的相机世界坐标系下的坐标值。
8.相机照射单元：照射单元需要对光源进行脉冲调制之后再进行发射，调制的光脉冲频率可以高达100mhz。在图像拍摄过程中，光源会打开和关闭几千次。各个光脉冲只有几纳秒的时长。
9.照射光源一般采用方波脉冲调制，这是因为它用数字电路来实现相对容易。深度相机的每个像素都是由一个感光单元（如光电二极管）组成，它可以将入射光转换为电流，
感光单元连接着多个高频转换开关可以把电流导入不同的可以储存电荷的电容里。
10.相机上的控制单元打开光源然后再关闭，发出一个光脉冲。在同一时刻，控制单元打开和关闭芯片上的电子快门。由光脉冲以这种方式产生的电荷s0存储在感光元件上。
11.然后，控制单元第二次打开并关闭光源。这次快门打开时间较晚，即在光源被关闭的时间点打开。现在生成的电荷s1也被存储在感光元件上。
12.记光的速度为c，tp为光脉冲的持续时间， s0表示较早的快门收集的电荷数量， s1表示延迟的快门收集的电荷数量，那么距离d可以由如下公式计算：d=c/2*tp* s1/( s0+ s1)根据这些信息形成图像根据rgb图像的信息和相机的内参，计算出任何一个像素点在世界坐标系下的坐标；并得出一个像素点在相机坐标系下的（x,y,z）坐标值；记管卡或插头起点位置坐标为（x1,y1,z1）, 管卡或插头终点位置坐标为（x2,y2,z2），所测管卡及插头基准点坐标为（x3,y3,z3），取管卡或插头中点坐标（{x1-x2},{y1-y2},{z1-z2}）以及管卡基准点坐标（x3,y3,z3），可以计算插头及管卡距离基准位置的距离。
13.本发明通过3d视觉相机利用入射光信号（利用3d相机的线激光发射器发射一条线激光然后投射到被测物体上然后反射到3d相机图像传感器上，由于线激光发射器、被测物体、图像传感器三个点形成一个三角关系，被测物体的高度不一样，激光反射的激光点在图像传感器的位置不同，通过入射光）与反射光信号的时间差的变化来进行距离测量。
14.管卡及插头图片通过边缘提取方法：
①ꢀ
高度差提取边缘、
②ꢀ
v角棱提取直线，通过平面距离计算方法：空间点到线距离投影到xoy平面上计算平面距离；与调试时所拍的管卡及线束插接完好的标准照片的距离值进行对比，根据所测样片距离值较标准照片距离值偏差大小确定是否虚插。
15.需要通过3d视觉相机，根据激光发射器、被测物体、图像传感器三个点形成一个三角关系；激光发射器和图像传感器距离属于相机硬件，距离已知，根据投影原理算法得出被测物体特征的空间坐标值，得出参照物坐标值后与测量实际坐标值进行对比，运算后得出参照物与管卡或者插头的空间距离，根据多台发动机正常插接时，拍的多组照片，测量多组参照物与管卡或者插头的空间距离，将多组距离数据进行处理，根据正态分布原理，取良率90%，算出插头或者管卡正常插接时候距离数据的范围值，从而确定插头或管卡插接正常距离值，当所测距离数据超出限定范围值时，即判定插头或管卡未插接完好。
16.本发明通过上述方法,能够在短时间内实现插头虚接检测以及管卡插接完好的检测。
附图说明
17.图1为视觉相机测距原理图；图2为视觉相机测量发动机基准平面位置图；图3为视觉相机测量发动机插头距离基准面检测图；图4为视觉相机测量发动机线束距离基准面检测图。
具体实施方式
18.为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
19.本发明包括：通过3d视觉相机建立直角坐标系，通过3d视觉相机扫描测量插头或管卡边沿与基准位置的平面距离，进行插头或管卡的正常、虚插判断；3d视觉相机由两个摄像头组成，单个摄像头所拍的rgb图片提供了所需物品平面像素坐标系下的x，y坐标，而根据两个摄像头所拍照片从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息建立相机空间坐标系下的z坐标，也就是相机与点的距离；根据rgb图片的信息和相机的内参，可以计算出任何一个像素点在世界坐标系下的坐标；从而根据坐标值计算插头及管卡距离基准位置的距离，从而判断插头或者管卡是否虚插。
20.本发明使用3d视觉相机，根据相机所拍图片，内部形成算法建立坐标系，通过空间坐标计算所检测管卡及插头的边沿距离基准点的距离，从而判断插头或者管卡是否虚插：1.通过视觉拍照，实现拍的rgb图片提供了像素坐标系下的x，y坐标，而深度图提供了相机坐标系下的z坐标，实现每一个像素点有对应的相机世界坐标系下的坐标值；2.3d视觉相机的相机照射单元对光源进行脉冲调制之后再进行发射，调制的光脉冲频率可以高达100mhz。在图像拍摄过程中，光源会打开和关闭几千次；各个光脉冲只有几纳秒的时长。
21.3. 照射光源一般采用方波脉冲调制，这是因为它用数字电路来实现相对容易。深度相机的每个像素都是由一个感光单元（如光电二极管）组成，它可以将入射光转换为电流，感光单元连接着多个高频转换开关可以把电流导入不同的可以储存电荷的电容里。
22.4. 相机上的控制单元打开光源然后再关闭，发出一个光脉冲。在同一时刻，控制单元打开和关闭芯片上的电子快门。由光脉冲以这种方式产生的电荷s0存储在感光元件上。
23.5. 然后，控制单元第二次打开并关闭光源。这次快门打开时间较晚，即在光源被关闭的时间点打开。现在生成的电荷s1也被存储在感光元件上。
24.6. 记光的速度为c，tp为光脉冲的持续时间， s0表示较早的快门收集的电荷， s1表示延迟的快门收集的电荷，那么相机距离所测点的距离d可以由如下公式计算：d=c/2
×
tp
×ꢀ
s1/( s0+ s1)。
25.7. 根据开关光源以及相机记录感光信息形成rgb图像；8. 根据rgb图像的信息和相机的内参，可以计算出任何一个像素点在世界坐标系下的坐标。即可得出一个像素点在相机坐标系下的（x,y,z）坐标值。记管卡或插头起点位置坐标为（x1,y1,z1）, 管卡或插头终点位置坐标为（x2,y2,z2），所测管卡及插头基准点坐标为（x3,y3,z3），取管卡或插头中点坐标（{x1-x2},{y1-y2},{z1-z2}）以及管卡基准点坐标（x3,y3,z3），可以计算插头及管卡距离基准位置的距离。
26.图1为本发明实施例提供的3d视觉相机测距原理系统的硬件结构示意图。如图1所示，发明实施例提供的3d视觉相机测距原理系统的硬件结构包括:两个相机，光源。同一直线上的3 个点在下端的相机都投影到cmos 同一个点，因此单独的这个相机没法分辨三个点的距离，但是这3个点在上端相机的投影位置不同，通过三角测量办法和两个相机基线距
离b，我们就可以计算出这3个点离相机平面距离。其中b为相机之间的距离，β为相机与被测物体投影的夹角，因b距离一定，根据三角函数原理可得出斜边或直角边距离，根据投影的像素点，可得出所测点，占据直角边或者斜边的比例，从而得出所测点的坐标值。
27.3d视觉相机测距流程：需要对3d相机进行标定，得到两个相机的内外参数、单应矩阵。
28.根据标定结果对原始图像进行校正，校正后的两张图像位于同一平面且互相平行。
29.对校正后的两张图像进行像素点匹配。
30.根据匹配结果计算每个像素的深度，从而获得深度图。
31.图2为本发明实施例依上述原理生成的发动机线束及管卡生成的平面深度图。每一个像素点都有对应的坐标值。
32.图3为本发明实施例依上述原理生成的管卡检测实例图，通过测量管卡卡扣的直线位置与卡口的距离，从而确定是否虚插。
33.图4为本发明实施例依上述原理生成的插头检测实例图，通过测量插头公头端部位置与插头母头端部位置，所在直线中心点距离，来判断插头是否虚插。
34.以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
技术特征：1.一种基于3d视觉相机技术检测发动机插头及管卡是否插接完好的检测方法，其特征在于，包括：通过3d视觉相机建立直角坐标系，通过3d视觉相机扫描测量插头或管卡边沿与基准位置的平面距离，进行插头或管卡的正常、虚插判断；3d视觉相机由两个摄像头组成，单个摄像头所拍的rgb图片提供了所需物品平面像素坐标系下的x，y坐标，而根据两个摄像头所拍照片从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息建立相机空间坐标系下的z坐标，也就是相机与点的距离；根据rgb图片的信息和相机的内参，可以计算出任何一个像素点在世界坐标系下的坐标；从而根据坐标值计算插头及管卡距离基准位置的距离，从而判断插头或者管卡是否虚插。2.根据权利要求1所述的方法，其特征在于：使用3d视觉相机，根据相机所拍图片，内部形成算法建立坐标系，通过空间坐标计算所检测管卡及插头的边沿距离基准点的距离，从而判断插头或者管卡是否虚插：通过视觉拍照，实现拍的rgb图片提供了像素坐标系下的x，y坐标，而深度图提供了相机坐标系下的z坐标，实现每一个像素点有对应的相机世界坐标系下的坐标值；3d视觉相机的相机照射单元对光源进行脉冲调制之后再进行发射，在图像拍摄过程中，光源会打开和关闭几千次；各个光脉冲只有几纳秒的时长；照射光源采用方波脉冲调制，深度相机的每个像素都由一个感光单元组成，感光单元将入射光转换为电流，感光单元连接着多个高频转换开关并把电流导入不同的可以储存电荷的电容里；相机上的控制单元打开光源然后再关闭，发出一个光脉冲；在同一时刻，控制单元打开和关闭芯片上的电子快门；由光脉冲以这种方式产生的电荷s0存储在感光元件上；然后，控制单元第二次打开并关闭光源；这次快门打开时间较晚，即在光源被关闭的时间点打开；现在生成的电荷s1也被存储在感光元件上；记光的速度为c，tp为光脉冲的持续时间， s0表示较早的快门收集的电荷数量， s1表示延迟的快门收集的电荷数量，那么相机距离所测点的距离d由如下公式计算：d=c/2
×
tp
×ꢀ
s1/( s0+ s1)；根据开关光源以及相机记录感光信息形成rgb图像；根据rgb图像的信息和相机的内参，计算出任何一个像素点在世界坐标系下的坐标；并得出一个像素点在相机坐标系下的（x,y,z）坐标值；记管卡或插头起点位置坐标为（x1,y1,z1）, 管卡或插头终点位置坐标为（x2,y2,z2），所测管卡及插头基准点坐标为（x3,y3,z3），取管卡或插头中点坐标（{x1-x2},{y1-y2},{z1-z2}）以及管卡基准点坐标（x3,y3,z3），可以计算插头及管卡距离基准位置的距离。3.根据权利要求2所述的方法，其特征在于：3d视觉相机利用入射光信号与反射光信号的时间差的变化来进行距离测量。4.根据权利要求2所述的方法，其特征在于：管卡及插头图片通过边缘提取方法：
①ꢀ
高度差提取边缘、
②ꢀ
v角棱提取直线，通过平面距离计算方法：空间点到线距离投影到xoy平面上计算平面距离；与调试时所拍的管卡及线束插接完好的标准照片的距离值进行对比，根据所测样片距离值较标准照片距离值偏差大小确定是否虚插。5.根据权利要求4所述的方法，其特征在于：需要通过3d视觉相机，根据激光发射器、被
测物体、图像传感器三个点形成一个三角关系；激光发射器和图像传感器距离属于相机硬件，距离已知，根据投影原理算法得出被测物体特征的空间坐标值，得出参照物坐标值后与测量实际坐标值进行对比，运算后得出参照物与管卡或者插头的空间距离，根据多台发动机正常插接时，拍的多组照片，测量多组参照物与管卡或者插头的空间距离，将多组距离数据进行处理，根据正态分布原理，取良率90%，算出插头或者管卡正常插接时候距离数据的范围值，从而确定插头或管卡插接正常距离值，当所测距离数据超出限定范围值时，即判定插头或管卡未插接完好。
技术总结本发明提供了一种基于3D视觉相机技术检测发动机插头及管卡是否插接完好的检测方法，包括：通过3D视觉相机建立直角坐标系，通过3D视觉相机扫描测量插头或管卡边沿与基准位置的平面距离，进行插头或管卡的正常、虚插判断；3D视觉相机所拍的RGB图片提供了像素坐标系下的X，Y坐标，而深度图提供了相机坐标系下的Z坐标，也就是相机与点的距离；根据RGB图像的信息和相机的内参，可以计算出任何一个像素点在世界坐标系下的坐标；从而根据坐标值计算插头及管卡距离基准位置的距离，从而判断插头或者管卡是否虚插。本发明通过能够在短时间内实现插头虚接检测以及管卡插接完好的检测。头虚接检测以及管卡插接完好的检测。头虚接检测以及管卡插接完好的检测。
技术研发人员：张富 刘杰 石飞 朱纬坤 陈帅领 付里 孙超超 杨再贵 黄星星
受保护的技术使用者：刘杰 石飞 朱纬坤 陈帅领 付里 孙超超 杨再贵 黄星星
技术研发日：2022.07.10
技术公布日：2022/11/1
