1.本发明涉及地坪研磨技术领域，尤其是涉及一种用于地面研磨机器人的地面平整度检测处理方法。
背景技术：2.新铺设的地坪一般都需要进行水磨用以平整地面，而地面研磨水磨工艺的一般工序包括：往地面洒水、研磨、人工扫水、收集污水以及污水排放。众多工序复杂、劳动强度较大，且人工使用研磨机进行研磨时，由于噪音、灰尘、漏电、机械误伤等原因，极易对人体健康造成危害。
3.另，为了达到抑制扬尘的效果，水磨通常需要大量的市政水对地面进行湿润，容易造成水资源的浪费。同时，打磨完的污水难以收集，若采用人工收集的方式较为费事费力，且收集起来的污水随意排放，容易对市政管道造成堵塞。
4.现有技术下，传统人工的研磨过程会由人工目测判断地面的粗糙程度，决定人工研磨的时间，没有统一的标准，不同人工施工质量难以标准化。
技术实现要素：5.本发明的目的在于提供一种用于地面研磨机器人的地面平整度检测处理方法，以解决现有技术中地面研磨作业中人工判断地面粗糙度不准确的技术问题。
6.本发明提供一种用于地面研磨机器人的地面平整度检测处理方法，该平整度检测处理方法适用于地面研磨机器人，包括如下步骤：
7.sp1：在施工模块中采用网格激光发射器，在前方的平整地面形成3*3或其他n*n的矩形网格；
8.sp2：通过深度学习算法对地面平整度进行标注；
9.sp2-1：对于由2d图像、深度图像、平整度组成的标签，三者共同匹配构成样本集合，选择其中的70％作为训练集，30％作为测试集；
10.sp2-2：将2d图像、深度数据分别送入多层卷积中，其中2d图像使用resnet等典型2d图像的深度学习结构，3d数据输入pointnet等典型3d数据的深度学习结构，并在卷积层后的全连接层进行合并，即将pointnet结构的n*1024与resnet结构的maxpool层的n*1024合并成为n*2048，再输入全连接层，最终结果以分类表示，直接输出地面平整度；
11.sp2-3：随机设置深度神经网络的初始网络权重，将数据输入神经网络进行正向计算，根据计算结构与标签的差值进行梯度计算并反向传播，深度神经网络更新其网络权重，直到达到训练次数上限或准确率满足要求；
12.sp3：通过传统图像处理算法分别对2d图像，3d数据进行平整度检测，最终再合成总的平整度数值；
13.sp3-1：2d图像中的平整度基于激光网格中横向激光线的扭曲程度，2d图像中粗糙度基于激光网格中纵向激光线的扭曲程度。
14.进一步，进行平整度检测时，采用地面研磨机器人进行作业，采用施工模块遍历地面除障碍物、柱子等非施工区域的每一处，设定房间的两面直角相交的墙为坐标系的x，y方向，设备沿x方向在房间左下角作为初始位置，沿x方向进行施工，如果施工过程没有障碍物，则行进至墙边，地面研磨设备掉头，使得第一条施工的右边界与当前施工路线的左边界重合，再继续开始s型轨迹施工。
15.进一步，所述地面研磨机器人包括研磨头、驱动轮、电控柜、激光雷达、外壳和深度摄像头，所述研磨头用于地面研磨，所述驱动轮驱动地面研磨机器人前进，所述激光雷达用于地面研磨机器人的导航与定位，所述深度摄像头的感知区域在施工区域正前方，包括第一感知单元，用于传回2d图像，以及第二感知单元，用于传回3d点云数据。
16.进一步，所述2d图像的视野包含网格激光区域，当设备垂直于地面，且地面完全垂直、横向时，网格的竖条纹与重力方向一致，网格的横条纹与重力方向垂直，通过网格的形变程度即可进行地面的平整度检测。
17.进一步，所述深度学习算法需要先由人工对于地面平整度进行标注，一张640*480*3像素的2d图像，一组对应1000mm*600mm地面的256000*3像素的3d数据，以及与之相对应的一个地面平整度、一个地面为最小样本，在样本中，2d图像、3d数据的拍摄角点都垂直于地面，不同样本之间可以有重合区域，有重合区域的样本可以平整度不同。
18.进一步，所述pointnet的典型模型结构包括以下流程：
19.sp1:输入为一帧的全部点云数据的集合，表示为一个nx3的2d tensor，其中n代表点云数量，3对应xyz坐标；
20.sp2:输入的数据先通过和一个t-net学习到的转换矩阵相乘来对齐，保证了模型对特定空间转换的不变性；
21.sp3:通过多次mlp对各点云数据进行特征提取后，再用一个t-net对特征进行对齐；
22.sp4:在特征的各个维度上执行maxpooling操作来得到最终的全局特征；
23.sp5:对分类任务，将全局特征通过mlp来预测最后的分类分数，对分割任务，将全局特征和之前学习到的各点云的局部特征进行串联，再通过mlp得到每个数据点的分类结果。
24.进一步，以最简的3*3条激光线为例，即一条横向激光线在视野中央，一条横向激光线在垂直视野上80％位置，一横向条激光线在垂直视野上20％位置，一条纵向激光线在视野中央，一条纵向激光线在横向视野上80％位置，一条纵向激光线在横向视野上20％位置，2d图像处理流程包括：
25.sp1:使用颜色过滤，将选定颜色的激光线从图像中提取出来；
26.sp2:使用canny边缘提取，提取出直线轮廓，此时必然包含其他杂线边缘；
27.sp3:使用霍夫直线检测，提取出直线；
28.sp4:基于长度、斜率范围对直线进行过滤；
29.sp5:得到3条横向激光线，3条纵向激光线后，计算出横向激光线与相机横向方向的在右侧形成的夹角θ，三条激光线形成的角分别为θ1，θ2，θ3,其平整度t＝α*θ1+β*θ2+γ*θ3，α、β、γ为对应系数；计算出纵向激光线与相机垂直方向的在右侧形成的夹角δ，三条激光线形成的角分别为δ1，δ2，δ3，粗糙度g＝a*δ1+b*δ2+c*δ3，a、b、c为对应系数。
30.进一步，基于位置信息及2d图像、3d数据拼接的精确地图，使得对本面墙的下一次施工时，设备能精确定位，将不同施工流程中观察到的地面进行位置匹配，对比施工效果；在抹腻子施工对地面的横向度进行调整时，针对地面不同的粗糙度g，需要增大研磨机构与地面压力p，减少行走速度s，增大刮板旋转的速度s0。
31.与现有技术相比较，本发明的有益效果在于：
32.现有技术下，传统人工的研磨过程会由人工目测判断地面的粗糙程度，决定人工研磨的时间，没有统一的标准，不同人工施工质量难以标准化，而本方案使用包括但不仅于深度学习和传统图像处理算法，可以在不同的平整度的地面自适应地实现研磨，使得施工后的地面平整且垂直，标准统一，地面平整度检测准确，且能根据平整度的不同，自动调整研磨压力、行走速度和刮板旋转的速度。
附图说明
33.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
34.图1为本发明中地面研磨机器人的整体结构示意图；
35.图2为本发明中pointnet的典型模型结构图；
36.图3为本发明中图像处理算法中通过横向激光线计算平整度的示意图；
37.图4为本发明中图像处理算法中通过纵向激光线计算粗糙度的示意图。
38.附图标记：
39.1、研磨头；2、驱动轮；3、电控柜；4、激光雷达；5、外壳；6、深度摄像头。
具体实施方式
40.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
41.通常在此处附图中描述和显示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。
42.基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
43.下面结合图1至图4所示，本发明实施例提供了一种用于地面研磨机器人的地面平整度检测处理方法，该平整度检测处理方法适用于地面研磨机器人，包括如下步骤：
44.sp1：在施工模块中采用网格激光发射器，在前方的平整地面形成3*3或其他n*n的矩形网格；
45.sp2：通过深度学习算法对地面平整度进行标注；
46.sp2-1：对于由2d图像、深度图像、平整度组成的标签，三者共同匹配构成样本集合，选择其中的70％作为训练集，30％作为测试集；
47.sp2-2：将2d图像、深度数据分别送入多层卷积中，其中2d图像使用resnet等典型
2d图像的深度学习结构，3d数据输入pointnet等典型3d数据的深度学习结构，并在卷积层后的全连接层进行合并，即将pointnet结构的n*1024与resnet结构的maxpool层的n*1024合并成为n*2048，再输入全连接层，最终结果以分类表示，直接输出地面平整度；
48.sp2-3：随机设置深度神经网络的初始网络权重，将数据输入神经网络进行正向计算，根据计算结构与标签的差值进行梯度计算并反向传播，深度神经网络更新其网络权重，直到达到训练次数上限或准确率满足要求；
49.sp3：通过传统图像处理算法分别对2d图像，3d数据进行平整度检测，最终再合成总的平整度数值；
50.sp3-1：2d图像中的平整度基于激光网格中横向激光线的扭曲程度，2d图像中粗糙度基于激光网格中纵向激光线的扭曲程度。
51.现有技术下，传统人工的研磨过程会由人工目测判断地面的粗糙程度，决定人工研磨的时间，没有统一的标准，不同人工施工质量难以标准化，而本方案使用包括但不仅于深度学习和传统图像处理算法，可以在不同的平整度的地面自适应地实现研磨，使得施工后的地面平整且垂直，标准统一，地面平整度检测准确，且能根据平整度的不同，自动调整研磨压力、行走速度和刮板旋转的速度。
52.具体的，进行平整度检测时，采用地面研磨机器人进行作业，采用施工模块遍历地面除障碍物、柱子等非施工区域的每一处，设定房间的两面直角相交的墙为坐标系的x，y方向，设备沿x方向在房间左下角作为初始位置，沿x方向进行施工，如果施工过程没有障碍物，则行进至墙边，地面研磨设备掉头，使得第一条施工的右边界与当前施工路线的左边界重合，再继续开始s型轨迹施工。
53.具体的，地面研磨机器人包括研磨头1、驱动轮2、电控柜3、激光雷达4、外壳5和深度摄像头6，研磨头1用于地面研磨，驱动轮2驱动地面研磨机器人前进，激光雷达4用于地面研磨机器人的导航与定位，深度摄像头6的感知区域在施工区域正前方，包括第一感知单元，用于传回2d图像，以及第二感知单元，用于传回3d点云数据。
54.具体的，2d图像的视野包含网格激光区域，当设备垂直于地面，且地面完全垂直、横向时，网格的竖条纹与重力方向一致，网格的横条纹与重力方向垂直，通过网格的形变程度即可进行地面的平整度检测。
55.具体的，深度学习算法需要先由人工对于地面平整度进行标注，一张640*480*3像素的2d图像，一组对应1000mm*600mm地面的256000*3像素的3d数据，以及与之相对应的一个地面平整度、一个地面为最小样本，在样本中，2d图像、3d数据的拍摄角点都垂直于地面，不同样本之间可以有重合区域，有重合区域的样本可以平整度不同。
56.具体的，pointnet的典型模型结构包括以下流程：
57.sp1:输入为一帧的全部点云数据的集合，表示为一个nx3的2dtensor，其中n代表点云数量，3对应xyz坐标；
58.sp2:输入的数据先通过和一个t-net学习到的转换矩阵相乘来对齐，保证了模型对特定空间转换的不变性；
59.sp3:通过多次mlp对各点云数据进行特征提取后，再用一个t-net对特征进行对齐；
60.sp4:在特征的各个维度上执行maxpooling操作来得到最终的全局特征；
61.sp5:对分类任务，将全局特征通过mlp来预测最后的分类分数，对分割任务，将全局特征和之前学习到的各点云的局部特征进行串联，再通过mlp得到每个数据点的分类结果。
62.具体的，以最简的3*3条激光线为例，即一条横向激光线在视野中央，一条横向激光线在垂直视野上80％位置，一横向条激光线在垂直视野上20％位置，一条纵向激光线在视野中央，一条纵向激光线在横向视野上80％位置，一条纵向激光线在横向视野上20％位置，2d图像处理流程包括：
63.sp1:使用颜色过滤，将选定颜色的激光线从图像中提取出来；
64.sp2:使用canny边缘提取，提取出直线轮廓，此时必然包含其他杂线边缘；
65.sp3:使用霍夫直线检测，提取出直线；
66.sp4:基于长度、斜率范围对直线进行过滤；
67.sp5:得到3条横向激光线，3条纵向激光线后，计算出横向激光线与相机横向方向的在右侧形成的夹角θ，三条激光线形成的角分别为θ1，θ2，θ3,其平整度t＝α*θ1+β*θ2+γ*θ3，α、β、γ为对应系数；计算出纵向激光线与相机垂直方向的在右侧形成的夹角δ，三条激光线形成的角分别为δ1，δ2，δ3，粗糙度g＝a*δ1+b*δ2+c*δ3，a、b、c为对应系数。
68.具体的，基于位置信息及2d图像、3d数据拼接的精确地图，使得对本面墙的下一次施工时，设备能精确定位，将不同施工流程中观察到的地面进行位置匹配，对比施工效果；在抹腻子施工对地面的横向度进行调整时，针对地面不同的粗糙度g，需要增大研磨机构与地面压力p，减少行走速度s，增大刮板旋转的速度s0。
69.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
技术特征：1.一种用于地面研磨机器人的地面平整度检测处理方法，该平整度检测处理方法适用于地面研磨机器人，其特征在于：包括如下步骤：sp1：在施工模块中采用网格激光发射器，在前方的平整地面形成3*3或其他n*n的矩形网格；sp2：通过深度学习算法对地面平整度进行标注；sp2-1：对于由2d图像、深度图像、平整度组成的标签，三者共同匹配构成样本集合，选择其中的70％作为训练集，30％作为测试集；sp2-2：将2d图像、深度数据分别送入多层卷积中，其中2d图像使用resnet等典型2d图像的深度学习结构，3d数据输入pointnet等典型3d数据的深度学习结构，并在卷积层后的全连接层进行合并，即将pointnet结构的n*1024与resnet结构的maxpool层的n*1024合并成为n*2048，再输入全连接层，最终结果以分类表示，直接输出地面平整度；sp2-3：随机设置深度神经网络的初始网络权重，将数据输入神经网络进行正向计算，根据计算结构与标签的差值进行梯度计算并反向传播，深度神经网络更新其网络权重，直到达到训练次数上限或准确率满足要求；sp3：通过传统图像处理算法分别对2d图像，3d数据进行平整度检测，最终再合成总的平整度数值；sp3-1：2d图像中的平整度基于激光网格中横向激光线的扭曲程度，2d图像中粗糙度基于激光网格中纵向激光线的扭曲程度。2.根据权利要求1所述的一种用于地面研磨机器人的地面平整度检测处理方法，其特征在于：进行平整度检测时，采用地面研磨机器人进行作业，采用施工模块遍历地面除障碍物、柱子等非施工区域的每一处，设定房间的两面直角相交的墙为坐标系的x，y方向，设备沿x方向在房间左下角作为初始位置，沿x方向进行施工，如果施工过程没有障碍物，则行进至墙边，地面研磨设备掉头，使得第一条施工的右边界与当前施工路线的左边界重合，再继续开始s型轨迹施工。3.根据权利要求1所述的一种用于地面研磨机器人的地面平整度检测处理方法，其特征在于：所述地面研磨机器人包括研磨头(1)、驱动轮(2)、电控柜(3)、激光雷达(4)、外壳(5)和深度摄像头(6)，所述研磨头(1)用于地面研磨，所述驱动轮(2)驱动地面研磨机器人前进，所述激光雷达(4)用于地面研磨机器人的导航与定位，所述深度摄像头(6)的感知区域在施工区域正前方，包括第一感知单元，用于传回2d图像，以及第二感知单元，用于传回3d点云数据。4.根据权利要求3所述的一种用于地面研磨机器人的地面平整度检测处理方法，其特征在于：所述2d图像的视野包含网格激光区域，当设备垂直于地面，且地面完全垂直、横向时，网格的竖条纹与重力方向一致，网格的横条纹与重力方向垂直，通过网格的形变程度即可进行地面的平整度检测。5.根据权利要求1所述的一种用于地面研磨机器人的地面平整度检测处理方法，其特征在于：所述深度学习算法需要先由人工对于地面平整度进行标注，一张640*480*3像素的2d图像，一组对应1000mm*600mm地面的256000*3像素的3d数据，以及与之相对应的一个地面平整度、一个地面为最小样本，在样本中，2d图像、3d数据的拍摄角点都垂直于地面，不同样本之间可以有重合区域，有重合区域的样本可以平整度不同。
6.根据权利要求1所述的一种用于地面研磨机器人的地面平整度检测处理方法，其特征在于：所述pointnet的典型模型结构包括以下流程：sp1:输入为一帧的全部点云数据的集合，表示为一个nx3的2d tensor，其中n代表点云数量，3对应xyz坐标；sp2:输入的数据先通过和一个t-net学习到的转换矩阵相乘来对齐，保证了模型对特定空间转换的不变性；sp3:通过多次mlp对各点云数据进行特征提取后，再用一个t-net对特征进行对齐；sp4:在特征的各个维度上执行maxpooling操作来得到最终的全局特征；sp5:对分类任务，将全局特征通过mlp来预测最后的分类分数，对分割任务，将全局特征和之前学习到的各点云的局部特征进行串联，再通过mlp得到每个数据点的分类结果。7.根据权利要求1所述的一种用于地面研磨机器人的地面平整度检测处理方法，其特征在于：以最简的3*3条激光线为例，即一条横向激光线在视野中央，一条横向激光线在垂直视野上80％位置，一横向条激光线在垂直视野上20％位置，一条纵向激光线在视野中央，一条纵向激光线在横向视野上80％位置，一条纵向激光线在横向视野上20％位置，2d图像处理流程包括：sp1:使用颜色过滤，将选定颜色的激光线从图像中提取出来；sp2:使用canny边缘提取，提取出直线轮廓，此时必然包含其他杂线边缘；sp3:使用霍夫直线检测，提取出直线；sp4:基于长度、斜率范围对直线进行过滤；sp5:得到3条横向激光线，3条纵向激光线后，计算出横向激光线与相机横向方向的在右侧形成的夹角θ，三条激光线形成的角分别为θ1，θ2，θ3,其平整度t＝α*θ1+β*θ2+γ*θ3＝，α、β、γ为对应系数；计算出纵向激光线与相机垂直方向的在右侧形成的夹角δ，三条激光线形成的角分别为δ1，δ2，δ3，粗糙度g＝a*δ1+b*δ2+c*δ3＝，a、b、c为对应系数。8.根据权利要求1所述的一种用于地面研磨机器人的地面平整度检测处理方法，其特征在于：基于位置信息及2d图像、3d数据拼接的精确地图，使得对本面墙的下一次施工时，设备能精确定位，将不同施工流程中观察到的地面进行位置匹配，对比施工效果；在抹腻子施工对地面的横向度进行调整时，针对地面不同的粗糙度g，需要增大研磨机构与地面压力p，减少行走速度s，增大刮板旋转的速度s0。
技术总结本发明公开了一种地面研磨机器人的地面平整度检测处理方法，属于地坪研磨技术领域，该平整度检测处理方法适用于地面研磨机器人，包括如下步骤：在施工模块中采用网格激光发射器，在前方的平整地面形成3*3或其他n*n的矩形网格；通过深度学习算法对地面平整度进行标注；通过传统图像处理算法分别对2D图像，3D数据进行平整度检测，最终再合成总的平整度数值。本方案使用包括但不仅于深度学习和传统图像处理算法，可以在不同的平整度的地面自适应地实现研磨，使得施工后的地面平整且垂直，标准统一，地面平整度检测准确，且能根据平整度的不同，自动调整研磨压力、行走速度和刮板旋转的速度。转的速度。转的速度。
技术研发人员：邓煜
受保护的技术使用者：深圳大方智能科技有限公司
技术研发日：2022.06.16
技术公布日：2022/11/1
