1.本发明涉及图像目标识别领域，尤其涉及一种基于深度学习与无序抓取的水果分级分拣方法。
背景技术：2.目前已知对水果的分级分拣，大部分是通过采摘后人工进行分级分拣，然而人眼难以辨别水果表面上的霉变和斑点，导致出现分级遗漏等问题；另外水果需要基于其自身大小尺寸、色泽以及形状等特征进行等级划分，随着特征的增加，人们的工作量也随之增加，使得工人在分级分拣工作中更容易出现疲劳，进而出现分级错误。近年来，有采用传统的机器视觉进行分级分拣，但需手动提取特征，导致效率太低，且识别的准确率不高。因此，提供一种可靠、高效且稳定的分级分拣系统尤为重要。
技术实现要素：3.为了针对以上技术问题，本发明提供一种基于深度学习与无序抓取的水果分级分拣方法，包括以下步骤：
4.s1、建立目标水果的数据集；构建深度学习模型；
5.s2、根据所述数据集训练深度学习模型，得到训练完成的深度学习模型；
6.s3、输入目标水果图像至训练完成的深度学习模型，通过深度学习模型确定目标的目标水果等级；
7.s4、通过双目相机采集目标水果图像，并进行三维重建，得到深度图像；根据深度图像建立目标水果的点云模型；
8.s5、根据深度图像和点云模型确定目标水果的位姿信息以及目标水果的尺寸；
9.s6、通过位姿信息采用避碰算法确定机械臂抓取策略；
10.s7、根据目标水果的尺寸确定机械臂末端夹爪的开合尺寸；
11.s8、所述抓取策略确定抓取目标水果的最优方案；
12.s9、根据所述最优方案和所述开合尺寸，驱动机械臂抓取所述目标水果并按照相应等级放置指定位置。
13.进一步地，步骤s1具体如下：
14.s11：将目标水果按照等级区分标准进行等级区分；
15.s12：根据目标水果等级获取各个不同等级水果数据；
16.s13：采集机械臂需要抓取的目标水果各等级的rgb图片；
17.s14：对所述rgb图片中的水果类别进行标注，生成目标水果的数据集。
18.进一步地，步骤s2中，所述深度学习模型采用yolov3-spp模型。
19.进一步地，步骤s4具体为：
20.s41：采用张正友标定法完成双目相机的标定；
21.s42：采用双目相机采集目标水果图像；
22.s43：利用图像处理数据库中的三维重建方法，得到目标水果的深度图像；
23.s44：根据目标水果的深度图像建立目标水果的点云模型。
24.进一步地，步骤s5具体为：
25.s51：根据深度图像与点云模型确定目标水果的高度信息；
26.s52：将点云模型通过软件cloudcompare进行图像裁剪、噪音去除操作进行预处理，得到预处理后的点云模型；
27.s54：将预处理后的点云模型通过软件meshlab依次进行三维编辑、清洗和拼合，得到最终点云模型。
28.s55：根据最终点云模型计算目标水果的尺寸信息。
29.进一步地，步骤s6具体为：
30.s61、通过所述位姿信息确定抓取策略；
31.s62、通过所得到的高度信息，根据高度信息，从高到低，确定抓取顺序；高度信息大的，优先抓取；
32.s63、根据避碰算法计算接近目标水果抓取轨迹和机械臂退出轨迹；
33.s64、采用一个目标水果位姿对应多个抓取位姿的抓取方案；
34.s65、根据所述抓取顺序、目标水果抓取轨迹和机械臂退出轨迹、抓取方案确定整体的抓取策略。
35.进一步地，步骤s9具体为：
36.s91、根据所述最优方案，确定机械臂的运动轨迹；
37.s92、采用五点定位法驱动机械臂实现对目标水果的精准定位；
38.s93、根据所述运动轨迹和所述开合尺寸，对所述目标水果进行抓取，并按照所识别到的等级将目标水果放到指定位置。
39.本发明提供的有益效果是：通过结合深度学习模型实现了无序抓取目标水果，且实现了高精度的分级与分拣。
附图说明
40.图1是本发明方法流程示意图。
具体实施方式
41.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
42.请参考图1，图1是本发明方法流程示意图；一种基于深度学习与无序抓取的水果分级分拣方法，包括以下：
43.s1、建立目标水果的数据集；构建深度学习模型；
44.需要说明的是，步骤s1具体如下：
45.s11：将目标水果按照等级区分标准进行等级区分；
46.本发明实施例中，主要以柑橘为例，参考表1：
47.表1柑橘等级分类
[0048][0049]
s12：根据目标水果等级获取各个不同等级水果数据；
[0050]
需要说明的是，此处的水果数据指的是水果图像。
[0051]
s13：采集机械臂需要抓取的目标水果各等级的rgb图片；需要说明的是，目标水果各等级rgb图片中，可能包含目标水果以外的一些其他水果。
[0052]
s14：对所述rgb图片中的水果类别进行标注，生成目标水果的数据集。
[0053]
s2、根据所述数据集训练深度学习模型，得到训练完成的深度学习模型；
[0054]
需要说明的是，步骤s2中，所述深度学习模型采用yolov3-spp模型。当然这里不用以作为限定，领域内其他技术人员也可以采用其他深度学习模型。
[0055]
s3、输入目标水果图像至训练完成的深度学习模型，通过深度学习模型确定目标的目标水果等级；
[0056]
需要说明的是，关于深度学习模型的训练过程，为常规训练过程，在本技术中不再进行详细阐述。
[0057]
s4、通过双目相机采集目标水果图像，并进行三维重建，得到深度图像；根据深度图像建立目标水果的点云模型；
[0058]
需要说明的是，步骤s4具体为：
[0059]
s41：采用张正友标定法完成双目相机的标定；
[0060]
需要说明的是，张正友标定法为较为常规的现有标定方法，本技术中不再进行详细阐述和原理推导；当然，这里也不用以作为限定；领域内其他技术人员还可以采用其他标定方法进行；
[0061]
s42：采用双目相机采集目标水果图像；
[0062]
需要说明的是，利用双目相机采集目标水果图像，主要是为了获取深度信息；
[0063]
s43：利用图像处理数据库中的三维重建方法，得到目标水果的深度图像；
[0064]
需要说明的是，图像处理数据库可以采用现有开源数据库，如opencv图像处理或工业halcon图像处理软件进行；三维重建的方法，可以采用图像处理数据库中的相应函数包进行处理。
[0065]
s44：根据目标水果的深度图像建立目标水果的点云模型。
[0066]
需要说明的是，根据深度图像建立目标水果的点云模型仍可以采用图像处理库进行处理。
[0067]
s5、根据深度图像和点云模型确定目标水果的位姿信息以及目标水果的尺寸；
[0068]
需要说明的是，步骤s5具体为：
[0069]
s51：根据深度图像与点云模型确定目标水果的高度信息；
[0070]
需要说明的是，水果高度信息可通过将深度图像和点云模型输入至三维处理软件中进行获取；
[0071]
s52：将点云模型通过软件cloudcompare进行图像裁剪、噪音去除操作进行预处理，得到预处理后的点云模型；
[0072]
s54：将预处理后的点云模型通过软件meshlab依次进行三维编辑、清洗和拼合，得到最终点云模型。
[0073]
s55：根据最终点云模型计算目标水果的尺寸信息。
[0074]
需要说明的是，根据点云模型计算目标水果的尺寸信息可以通过软件meshlab直接进行导出或者相应操作。
[0075]
s6、通过位姿信息采用避碰算法确定机械臂抓取策略；
[0076]
需要说明的是，步骤s6具体为：
[0077]
s61、通过所述位姿信息确定抓取策略；
[0078]
s62、通过所得到的高度信息，根据高度信息，从高到低，确定抓取顺序；高度信息大的，优先抓取；
[0079]
s63、根据避碰算法计算接近目标水果抓取轨迹和机械臂退出轨迹；
[0080]
s64、采用一个目标水果位姿对应多个抓取位姿的抓取方案；
[0081]
需要说明的是，一个目标水果位姿，可以有多个机械臂抓取方案，单独考虑抓取方案时，不涉及到抓取顺序和抓取轨迹的特定规划；
[0082]
s65、根据所述抓取顺序、目标水果抓取轨迹和机械臂退出轨迹、抓取方案确定整体的抓取策略。
[0083]
这里举例说明如下：首先是确定抓取顺序，以高度信息最高的目标水果为最优先抓取，在确定抓取顺序的情况下，生成多个抓取轨迹；考虑多个抓取轨迹的抓取效率和抓取时间，最终确定抓取方案；
[0084]
s7、根据目标水果的尺寸确定机械臂末端夹爪的开合尺寸；
[0085]
需要说明的是，末端夹爪的开合尺寸在靠近目标水果时，略大于目标水果尺寸；
[0086]
s8、所述抓取策略确定抓取目标水果的最优方案；
[0087]
s9、根据所述最优方案和所述开合尺寸，驱动机械臂抓取所述目标水果并按照相应等级放置指定位置。
[0088]
步骤s9具体为：
[0089]
s91、根据所述最优方案，确定机械臂的运动轨迹；
[0090]
s92、采用五点定位法驱动机械臂实现对目标水果的精准定位；
[0091]
s93、根据所述运动轨迹和所述开合尺寸，对所述目标水果进行抓取，并按照所识别到的等级将目标水果放到指定位置。
[0092]
最后需要说明的是，机械臂和双目相机之间也需要进行手眼标定，才能最终完成相应抓取和配合，手眼标定过程是常规的技术手段，这里不再进行更多的补充说明。
[0093]
本发明的有益效果是：通过结合深度学习模型实现了无序抓取目标水果，且实现了高精度的分级与分拣。
[0094]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
技术特征：1.一种基于深度学习与无序抓取的水果分级分拣方法，其特征在于：包括以下步骤：s1、建立目标水果的数据集；构建深度学习模型；s2、根据所述数据集训练深度学习模型，得到训练完成的深度学习模型；s3、输入目标水果图像至训练完成的深度学习模型，通过深度学习模型确定目标的目标水果等级；s4、通过双目相机采集目标水果图像，并进行三维重建，得到深度图像；根据深度图像建立目标水果的点云模型；s5、根据深度图像和点云模型确定目标水果的位姿信息以及目标水果的尺寸；s6、通过位姿信息采用避碰算法确定机械臂抓取策略；s7、根据目标水果的尺寸确定机械臂末端夹爪的开合尺寸；s8、所述抓取策略确定抓取目标水果的最优方案；s9、根据所述最优方案和所述开合尺寸，驱动机械臂抓取所述目标水果并按照相应等级放置指定位置。2.如权利要求1所述的一种基于深度学习与无序抓取的水果分级分拣方法，其特征在于：步骤s1具体如下：s11：将目标水果按照等级区分标准进行等级区分；s12：根据目标水果等级获取各个不同等级水果数据；s13：采集机械臂需要抓取的目标水果各等级的rgb图片；s14：对所述rgb图片中的水果类别进行标注，生成目标水果的数据集。3.如权利要求1所述的一种基于深度学习与无序抓取的水果分级分拣方法，其特征在于：步骤s2中，所述深度学习模型采用yolov3-spp模型。4.如权利要求1所述的一种基于深度学习与无序抓取的水果分级分拣方法，其特征在于：步骤s4具体为：s41：采用张正友标定法完成双目相机的标定；s42：采用双目相机采集目标水果图像；s43：利用图像处理数据库中的三维重建方法，得到目标水果的深度图像；s44：根据目标水果的深度图像建立目标水果的点云模型。5.如权利要求1所述的一种基于深度学习与无序抓取的水果分级分拣方法，其特征在于：步骤s5具体为：s51：根据深度图像与点云模型确定目标水果的高度信息；s52：将点云模型通过软件cloudcompare进行图像裁剪、噪音去除操作进行预处理，得到预处理后的点云模型；s54：将预处理后的点云模型通过软件meshlab依次进行三维编辑、清洗和拼合，得到最终点云模型。s55：根据最终点云模型计算目标水果的尺寸信息。6.如权利要求1所述的一种基于深度学习与无序抓取的水果分级分拣方法，其特征在于：步骤s6具体为：s61、通过所述位姿信息确定抓取策略；s62、通过所得到的高度信息，根据高度信息，从高到低，确定抓取顺序；高度信息大的，
优先抓取；s63、根据避碰算法计算接近目标水果抓取轨迹和机械臂退出轨迹；s64、采用一个目标水果位姿对应多个抓取位姿的抓取方案；s65、根据所述抓取顺序、目标水果抓取轨迹和机械臂退出轨迹、抓取方案确定整体的抓取策略。7.如权利要求1所述的一种基于深度学习与无序抓取的水果分级分拣方法，其特征在于：步骤s9具体为：s91、根据所述最优方案，确定机械臂的运动轨迹；s92、采用五点定位法驱动机械臂实现对目标水果的精准定位；s93、根据所述运动轨迹和所述开合尺寸，对所述目标水果进行抓取，并按照所识别到的等级将目标水果放到指定位置。
技术总结本发明公开了一种基于深度学习与无序抓取的水果分级分拣方法，包括以下步骤：建立目标水果的数据集和深度学习模型；训练深度学习模型；通过深度学习模型确定目标的目标水果等级；通过双目相机采集目标水果图像，得到深度图像；根据深度图像建立目标水果的点云模型；根据深度图像和点云模型确定目标水果的位姿信息以及目标水果的尺寸；通过位姿信息采用避碰算法确定机械臂抓取策略；根据目标水果的尺寸确定机械臂末端夹爪的开合尺寸；所述抓取策略确定抓取目标水果的最优方案；根据所述最优方案和所述开合尺寸，驱动机械臂抓取所述目标水果并按照相应等级放置指定位置。本发明有益效果是：实现了无序抓取目标水果，且实现了高精度的分级与分拣。精度的分级与分拣。精度的分级与分拣。
技术研发人员：谢知音 周剑 徐中贵 吕俊
受保护的技术使用者：湖北民族大学
技术研发日：2022.07.13
技术公布日：2022/11/1
