1.本发明涉及百香果品质无损快速分级的技术领域，尤其是指一种基于机器视觉的多指标百香果品质分级方法。
背景技术：2.随着公众对百香果品质的要求越来越高，采收后根据运输距离和时间选择合适的成熟度的果实，有利于保证果实最佳的成熟度，进而提高百香果市场的竞争力。
3.在目前的百香果自动分级中，大多仅依靠孔筛等机械的方式实现果实尺寸大小的分级而忽略了色泽和皱缩程度等指标，但在实际贮藏过程中颜色变化和皱缩情况与百香果商品性能密切相关。虽然目前也有一些基于多指标的百香果分级，但多以人工评判为主，劳动量大、生产率低而且分选精度容易受主观因素影响，难以实现快速、准确的要求。因此，开发一套自动、无损且能够适用于百香果在线生产的多指标综合品质分级方法是优质化生产的趋势。
4.机器视觉技术能快速提取目标颜色、尺寸等外形信息，已经广泛用于水果的无损快速分级，在一些生产线中也一些利用机器视觉对芒果、苹果等其他水果进行多指标分级。但是对于百香果来说，仍以传统机械或单指标分级为主，尚没有利用机器视觉技术结合图像处理的多指标综合品质分级方法。
技术实现要素：5.本发明的目的在于克服现有技术的缺点与不足，提出了一种基于机器视觉的多指标百香果品质分级方法，针对拍摄百香果生产线中的视频数据，通过百香果皱缩情况判别模型(即mobilenetv3神经网络)与传统图像处理相结合，实现对百香果大小、成熟度、果皮是否皱缩三个指标进行检测，结合百香果分级标准db45/t 2100-2019将百香果分为三个等级，解决人工分级成本高、效率低、主观性大等问题。
6.为实现上述目的，本发明所提供的技术方案为：一种基于机器视觉的多指标百香果品质分级方法，包括以下步骤：
7.1)对工业相机进行标定，得到该相机高度下的单位像素对应的实际尺寸大小，即单位像素实际大小size；
8.2)将百香果置于传送带上，利用工业相机垂直置于传送带上方，拍摄百香果在传送带上传送的视频；
9.3)通过opencv软件库中的背景减去模型对步骤2)中所述视频的每一帧图像进行处理，识别百香果并生成其二值化图像；
10.4)利用5
×
5的卷积核对步骤3)中所述二值化图像进行形态学闭操作处理，填充百香果图像中的空洞，再通过25
×
25的卷积核，对图像进行形态学开操作，切断了百香果果柄与果实的连接，防止了果柄对百香果大小检测的干扰；
11.5)设置图像中心左右特定像素数目作为计数区间，基于步骤4)处理后的图像，求
得百香果的中心x坐标，随着百香果移动，当百香果中心坐标进入到上述计数区间时开始计数图像帧数fps，并取某一帧图像作为后续百香果大小、成熟度、果皮是否皱缩三个指标的分析图像，同时在抽取图像后自动记录该百香果序号，便于后续结果统计；
12.6)对步骤5)所述图像中的百香果轮廓求解最小外接矩形以及正接矩形，基于最小外接矩形得到最长边h2，基于正接矩形区域对图像进行裁剪；
13.7)将步骤6)裁剪后的图像输入预先建立的百香果皱缩情况判别模型中，检测百香果是否皱缩；根据步骤1)提供的单位像素实际大小size以及步骤6)中得到的最小外接矩形的最长边h2，求得百香果的实际大小d，计算公式为：d＝h2
×
size；将步骤6)裁剪后的图像进行hsv色彩空间转换，基于红色、黄色设定阈值，满足阈值要求的区域保留，其它部分设置为背景，以此分别获取到各颜色下百香果区域的二值化图像，对红色和黄色的二值化图像相加，将分割后所保留的区域像素总数与百香果总体区域像素数之比作为成熟度评判标准，比例》设定值的表示成熟；
14.8)对百香果大小、成熟度以及是否皱缩三个指标分别进行打分与求和，并将求和后的分值》b的划分为特级，分值为[a,b]之间的划分为一级，《a的划分为二级，其中a《b。
[0015]
进一步，在步骤1)中，通过将边长为c的白色正方体3d打印件置于工业相机正下方，并拍摄其照片，通过hsv色彩空间转换，对参考标定物进行最小外接矩形识别；其中，为了减少误差，采用最小外接矩形长h1与宽w1和的平均值(h1+w1)/2作为边长，从而得到在该相机高度下拍摄，单位像素对应的实际尺寸大小，即单位像素实际大小size，计算如下式所示：
[0016][0017]
进一步，在步骤2)中，工业相机与传送带的高度设置为80cm，所拍摄图像尺寸为640
×
480像素。
[0018]
进一步，在步骤7)中，所述百香果皱缩情况判别模型已预先建立，具体为mobilenetv3神经网络，在黑色背景下采集表皮光滑的百香果图像1000张，与表皮有皱缩的百香果图像500张，作为训练和验证百香果皱缩情况判别模型的数据集；基于opencv软件库中的knn的背景减法模型对数据集中图像进行背景扣减处理，并提取百香果果实区域，将处理后的数据集以9：1的比例划分为训练集与验证集，输入百香果皱缩情况判别模型进行训练和验证。
[0019]
进一步，在步骤7)中，在求取保留区域面积时，将二值化图像中的成熟区域赋值1，通过计算图像中像素和即可得到像素个数总数。
[0020]
进一步，在步骤7)中，红色与黄色在hsv各通道下阈值设定，如下所示：
[0021]
h通道设定阈值为：红色：0《h《10或156《h《180；黄色：26《h《34；
[0022]
s通道设定阈值为：红色：43《s《255；黄色：43《h《255；
[0023]
v通道设定阈值为：红色：46《v《255；黄色：46《v《255；
[0024]
其中，h表示色调，s表示饱和度，v表示明度。
[0025]
进一步，在步骤8)中，按照百香果分级标准db45/t 2100-2019将百香果分为三个等级，三个等级包含是否皱缩、是否成熟以及果径范围情况。
[0026]
本发明与现有技术相比，具有如下优点与有益效果：
[0027]
1、基于视频分析，更能适应自动化流水线上作业，即百香果在传送带运送过程中即可实现的无损、快速、准确的等级划分。
[0028]
2、采用了mobilenetv3神经网络对百香果果皮是否皱缩进行分类，其网络模型参数少、计算量小、推理时间短，适用于存储空间和功耗受限的移动嵌入式等边缘计算设备，能很好地部署到流水线设备当中。
[0029]
3、综合百香果大小、成熟度及皱缩情况三个指标进行综合分级，分级精度更高。
[0030]
4、在成熟度判别时，区别于传统遍历图像统计二值图像像素数的方式，采用二值化图像像素求和方式求取面积，提高检测速度，单张图片速度达到约1ms/个。
附图说明
[0031]
图1为本发明方法的流程图。
[0032]
图2为区间范围抽取图像流程图。
[0033]
图3为基于knn的背景减法模型得到的二值化图像示意图。
[0034]
图4为形态学闭操作去空洞连接整体轮廓效果图。
[0035]
图5为形态学开操作去果柄的效果图。
[0036]
图6为从视频中抽取的用于百香果多指标检测的图像示意图。
[0037]
图7为基于抽取图像中百香果标记的最小外接矩形以及正接矩形示意图。
[0038]
图8为基于正接矩形区域裁剪的百香果图片示意图。
[0039]
图9为基于红色与黄色阈值分割后的叠加的二值化图像示意图。
[0040]
图10为最终的检测效果图。
具体实施方式
[0041]
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
[0042]
如图1所示，本实施例提供了一种基于机器视觉的多指标百香果品质分级方法，对台农紫色百香果大小、成熟度、是否皱缩三个指标综合分级，其具体情况如下：
[0043]
1)准备表皮光滑以及表皮皱缩的台农百香果，放置于黑色背景上，且位于工业相机的视角正中央拍摄照片，共计采集表皮光滑的百香果图像1000张，与表皮有皱缩的百香果图像500张，作为训练和验证预先建立的百香果皱缩情况判别模型的数据集，其中，该百香果皱缩情况判别模型具体为mobilenetv3神经网络；进一步，基于opencv软件库中的knn的背景减法模型对数据集中图像进行背景扣减处理，并提取百香果果实区域；将处理后数据集以9：1的比例划分为训练集与验证集，输入mobilenetv3百香果皱缩情况判别模型进行训练与验证。
[0044]
2)对相机进行标定，通过将边长为c的白色正方体3d打印件置于工业相机正下方，并拍摄其照片，通过hsv色彩空间转换，对参考标定物进行最小外接矩形识别。为了减少误差，采用最小外接矩形长(h1)与宽(w1)和的平均值(h1+w1)/2作为边长，从而得到在该相机拍摄高度下，单位像素对应的实际尺寸大小，即单位像素实际大小size，计算如下式所示：
[0045]
[0046]
3)实际检测过程中，将百香果置于传送带上，通过背景减法模型，识别运动中百香果的二值化图像如图3所示，对于模型输出图片轮廓带有空洞问题，通过5
×
5的卷积核对图像进行形态学闭操作处理，进行空洞填充，连接整体轮廓，处理结果如图4所示。
[0047]
4)通过25
×
25的卷积核，对图像进行形态学开操作，切断了百香果果柄与果实的连接，防止了果柄对百香果大小检测的干扰，其处理结果如图5所示。
[0048]
5)设置图像中心左右各140个像素作为计数区间，基于视频中每一帧图像，求得百香果的中心x坐标；如图2所示，随着百香果移动，当百香果中心坐标进入到该计数区间时开始计数图像帧数(fps)，并取第三帧(fps＝3)图像作为后续百香果大小、成熟度、果皮是否皱缩三个指标的分析图像，同时在抽取图像后自动记录该百香果序号，便于后续结果统计，如图6所示，即为抽取的图像，图像中心的百香果即为待分析的百香果。
[0049]
6)将抽取图像中心的百香果轮廓求解最小外接矩形以及正接矩形，基于最小外接矩形得到最长边h2，如图7所示；基于正接矩形区域对图像进行裁剪，如图8所示。
[0050]
7)百香果皱缩指标检测：将获得的裁剪后图像输入所建立的百香果皱缩情况判别模型中，即可检测出百香果是否皱缩。
[0051]
8)百香果大小指标检测：根据步骤2)提供的单位像素实际大小size，以及步骤6)提供的最小外接矩形较大边长h2，求得百香果得实际大小d，计算公式为：d＝h2
×
size。
[0052]
9)百香果是否成熟指标检测：将步骤6)中所得的裁剪图像区域进行hsv色彩空间转换，基于红色、黄色设定阈值，满足阈值要求的区域保留，其它部分设置为背景，以此分别获取到各颜色下百香果区域的二值化图像。对红色以及黄色的二值化图像相叠加，如图9所示，将分割后所保留的区域像素总数与百香果总体区域像素数之比作为成熟度评判标准，比例》60％的表示成熟。
[0053]
作为优选，在求取所述保留区域面积时，将二值化图像中的成熟区域赋值1，通过计算图像中像素和即可得到像素个数总数。
[0054]
作为优选，红色与黄色在hsv各通道下阈值设定，如下所示：
[0055]
h通道设定阈值为：红色：0《h《10或156《h《180；黄色：26《h《34；
[0056]
s通道设定阈值为：红色：43《s《255；黄色：43《h《255；
[0057]
v通道设定阈值为：红色：46《v《255；黄色：46《v《255；
[0058]
其中，h表示色调，s表示饱和度，v表示明度。
[0059]
10)对百香果大小、成熟度、以及是否皱缩三个指标进行人工打分并求和，其打分标准如下：
[0060]
表1三个指标的人工打分分值
[0061][0062]
11)根据百香果分级标准db45/t 2100-2019，将百香果划分为三个等级，三个等级包含是否皱缩、是否成熟以及果径范围情况，具体分级如表2所示。根据步骤10)计算分值总和，将分值》6的划分为特级，《5的划分为二级，其它划分为一级，最终的检测效果如图10所示。根据分级标准的分级，每种等级下所包含的各个指标情况以及所对应的得分如下表所示：
[0063]
表2 12种情况的等级划分以及分数赋值
[0064][0065]
综上，本实施例综合了百香果大小、成熟度以及果皮是否皱缩对台农紫果百香果进行综合分级，对于特级果其分级精度为94％，一级果分级精度为97％，二级果其分级精度为100％，有很好的判别效果。同时能对百香果进行精确计数。本发明方法通过工业相机直接获取视频流分析，其分级平均精度为97％，分级一个百香果所需效率为120ms/个。说明本发明方法能有效地应用到百香果自动化流水线分级，值得推广。
[0066]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
技术特征：1.一种基于机器视觉的多指标百香果品质分级方法，其特征在于，包括以下步骤：1)对工业相机进行标定，得到该相机高度下的单位像素对应的实际尺寸大小，即单位像素实际大小size；2)将百香果置于传送带上，利用工业相机垂直置于传送带上方，拍摄百香果在传送带上传送的视频；3)通过opencv软件库中的背景减去模型对步骤2)中所述视频的每一帧图像进行处理，识别百香果并生成其二值化图像；4)利用5
×
5的卷积核对步骤3)中所述二值化图像进行形态学闭操作处理，填充百香果图像中的空洞，再通过25
×
25的卷积核，对图像进行形态学开操作，切断了百香果果柄与果实的连接，防止了果柄对百香果大小检测的干扰；5)设置图像中心左右特定像素数目作为计数区间，基于步骤4)处理后的图像，求得百香果的中心x坐标，随着百香果移动，当百香果中心坐标进入到上述计数区间时开始计数图像帧数fps，并取某一帧图像作为后续百香果大小、成熟度、果皮是否皱缩三个指标的分析图像，同时在抽取图像后自动记录该百香果序号，便于后续结果统计；6)对步骤5)所述图像中的百香果轮廓求解最小外接矩形以及正接矩形，基于最小外接矩形得到最长边h2，基于正接矩形区域对图像进行裁剪；7)将步骤6)裁剪后的图像输入预先建立的百香果皱缩情况判别模型中，检测百香果是否皱缩；根据步骤1)提供的单位像素实际大小size以及步骤6)中得到的最小外接矩形的最长边h2，求得百香果的实际大小d，计算公式为：d＝h2
×
size；将步骤6)裁剪后的图像进行hsv色彩空间转换，基于红色、黄色设定阈值，满足阈值要求的区域保留，其它部分设置为背景，以此分别获取到各颜色下百香果区域的二值化图像，对红色和黄色的二值化图像相加，将分割后所保留的区域像素总数与百香果总体区域像素数之比作为成熟度评判标准，比例>设定值的表示成熟；8)对百香果大小、成熟度以及是否皱缩三个指标分别进行打分与求和，并将求和后的分值>b的划分为特级，分值为[a,b]之间的划分为一级，<a的划分为二级，其中a<b。2.根据权利要求1所述的一种基于机器视觉的多指标百香果品质分级方法，其特征在于：在步骤1)中，通过将边长为c的白色正方体3d打印件置于工业相机正下方，并拍摄其照片，通过hsv色彩空间转换，对参考标定物进行最小外接矩形识别；其中，为了减少误差，采用最小外接矩形长h1与宽w1和的平均值(h1+w1)/2作为边长，从而得到在该相机高度下拍摄，单位像素对应的实际尺寸大小，即单位像素实际大小size，计算如下式所示：3.根据权利要求1所述的一种基于机器视觉的多指标百香果品质分级方法，其特征在于：在步骤2)中，工业相机与传送带的高度设置为80cm，所拍摄图像尺寸为640
×
480像素。4.根据权利要求1所述的一种基于机器视觉的多指标百香果品质分级方法，其特征在于：在步骤7)中，所述百香果皱缩情况判别模型已预先建立，具体为mobilenetv3神经网络，在黑色背景下采集表皮光滑的百香果图像1000张，与表皮有皱缩的百香果图像500张，作为训练和验证百香果皱缩情况判别模型的数据集；基于opencv软件库中的knn的背景减法模型对数据集中图像进行背景扣减处理，并提取百香果果实区域，将处理后的数据集以9：1的
比例划分为训练集与验证集，输入百香果皱缩情况判别模型进行训练和验证。5.根据权利要求1所述的一种基于机器视觉的多指标百香果品质分级方法，其特征在于：在步骤7)中，在求取保留区域面积时，将二值化图像中的成熟区域赋值1，通过计算图像中像素和即可得到像素个数总数。6.根据权利要求1所述的一种基于机器视觉的多指标百香果品质分级方法，其特征在于：在步骤7)中，红色与黄色在hsv各通道下阈值设定，如下所示：h通道设定阈值为：红色：0<h<10或156<h<180；黄色：26<h<34；s通道设定阈值为：红色：43<s<255；黄色：43<h<255；v通道设定阈值为：红色：46<v<255；黄色：46<v<255；其中，h表示色调，s表示饱和度，v表示明度。7.根据权利要求1所述的一种基于机器视觉的多指标百香果品质分级方法，其特征在于：在步骤8)中，按照百香果分级标准db45/t 2100-2019将百香果分为三个等级，三个等级包含是否皱缩、是否成熟以及果径范围情况。
技术总结本发明公开了一种基于机器视觉的多指标百香果品质分级方法，针对拍摄百香果生产线中的视频数据，通过百香果皱缩情况判别模型(即MobileNetV3神经网络)与传统图像处理相结合，实现对百香果大小、成熟度、果皮是否皱缩三个指标进行检测，结合百香果分级标准DB45/T 2100-2019将百香果分为三个等级，三个等级包含是否皱缩、是否成熟以及果径范围情况。本发明解决了人工分级成本高、效率低、主观性大等问题。本发明基于视频分析，更能适应自动化流水线上作业，即百香果在传送带运送过程中即可实现的无损、快速、准确的等级划分。本发明综合百香果大小、成熟度及皱缩情况三个指标进行综合分级，分级精度更高。分级精度更高。分级精度更高。
技术研发人员：褚璇 洪嘉隆 刘洪利 冯耿鑫 刘宏展 韦鸿钰 马稚昱 车铭浩 姚振权 梁海铖
受保护的技术使用者：仲恺农业工程学院
技术研发日：2022.06.14
技术公布日：2022/11/1
