1.本发明涉及茶叶采摘技术领域，具体涉及一种用于名优茶的智能连贯采摘系统。
背景技术：2.近年来，我国大力发展名优茶的种植与生产，从而明显增加茶农的收入。名优茶的采摘主要采用手工或手持式采茶机的方式进行，手工采摘选择性高、采摘准确性强、不易造成茶叶的损坏，但手工采摘会浪费大量的劳动力、且采摘效率低；手持式采摘机成本低、效率高、能够有效节省劳动力，但手持式采茶机大多为“一刀切”的往复切割方式，而茶叶由于光照、温湿度、浇灌方式等影响，茶叶嫩芽的生长高度存在差异，同时茶叶嫩芽的体积小、形态存在差异、空间分布密集，“一刀切”的往复切割方式极易出现漏采、错采、甚至茶叶破损等问题。此外，由于目前手持式采茶机得到的茶叶层次参差不齐，仍需人工进行后续的分类、筛选，增加人力成本与茶叶采摘过程的时间。
技术实现要素：3.针对以上现有技术存在的问题，本发明的目的在于提供一种用于名优茶的智能连贯采摘系统，该系统通过视觉识别系统实现茶叶嫩芽的精准定位，同时通过采摘机器人实现智能化、机械化的茶叶采摘，无需大量劳动力，采摘效率高、名优茶得率高。
4.本发明的目的通过以下技术方案实现：
5.一种用于名优茶的智能连贯采摘系统，其特征在于：包括目标识别模块、路径规划模块、采摘执行模块与运算控制模块；所述运算控制模块分别与目标识别模块、路径规划模块、采摘执行模块通信交互；
6.所述目标识别模块用于获取茶叶嫩芽的采摘点；
7.所述路径规划模块用于规划采摘执行模块的行进路径，具体为：运算控制模块将目标识别模块获得的各个采摘点以及当前采摘执行模块的位置输入到路径规划模块，路径规划模块将采摘执行模块的三维坐标与各个采摘点的三维坐标进行拟合，获得最短最优的采摘路径；
8.所述采摘执行模块包括运动机械臂与末端执行器，所述运动机械臂根据路径规划模块中规划的采摘路径、将末端执行器移动至各个采摘点；所述末端执行器包括剪切部与伸缩部，通过剪切部的闭合实现对茶叶嫩芽的采摘，通过伸缩部的收缩与剪切部的打开实现对茶叶的收集。
9.作进一步优化，所述目标识别模块获取茶叶嫩芽的采摘点的具体步骤为：
10.s10、构建茶叶嫩芽图像数据集；s20、在步骤s10的数据集中，通过双向特征金字塔网络(bi-directional feature pyramid network，bifpn)和通道注意力机制(efficient channel attention，eca)构造语义信息丰富的特征图，实现对yolov5网络模型的改进、获得改进型yolov5网络模型，实现小尺寸茶叶嫩芽的检测；s30、基于步骤s20中的改进型yolov5网络模型的训练结果，获得茶叶三维点云；然后在茶叶三维点云中筛选出茶叶嫩芽
三维点云；最后拟合茶叶嫩芽最小外接长方体，获得茶叶嫩芽的精确位置以及采摘点；
11.所述yolov5网络模型包括backbone模块、neck模块和head模块；backbone模块包括用于对图片进行切片操作的focus模块、spp模块与cbs模块，及用于增强整个卷积神经网络学习性能csp模块；neck模块包括cbs模块与csp模块；head模块包括利用基于网格anchor在不同尺度的特征图上进行目标检测的detect层。
12.优选的，所述yolov5网络模型采用模型文件大小最小、特征图的深度与宽度最小的网络模型。
13.作进一步优化，所述步骤s10具体为：先使用rgb-d相机采集茶叶嫩芽图像数据，获得茶叶嫩芽的彩色图像与深度图像；再采用标注工具对彩色图像进行标注，并进行数据集增强操作、扩充数据集的数量，构建出茶叶嫩芽图像数据集；最后对数据集进行划分，形成训练集、测试集与验证集；
14.所述步骤s20具体为：
15.s21、对步骤s10的训练集中的图像进行预处理、统一训练集中所有图像的分辨率；再将预处理后的图像输入到backbone模块，获得不同尺寸的特征图；s22、将步骤s21中不同尺寸的特征图输入到neck模块中，并在neck模块中采用双向特征金字塔网络替代原有的路径聚合网络(path aggregation network，panet)进行多特征融合；再对特征图依次进行上采样、下采样，及通过通道注意力机制的拼接产生多种尺寸的特征图，并输入到head模块的detect层中；s23、结合多种损失函数进行反向传播，对模型中的梯度进行更新调节权重参数；s24、采用步骤s10中的验证集对现有模型进行验证，获得改进型yolov5网络模型。
16.优选的，所述标注工具采用labelimg标注工具。
17.作进一步优化，所述步骤s30具体为：
18.s31、根据步骤s20的改进型yolov5网络模型的结果，获取检测框坐标，生成彩色图像与对应深度图像的感兴趣区域(region of interest，roi)；
19.s32、根据深度图像的像素坐标与彩色图像的像素坐标之间的映射关系，并通过深度图像的坐标值、像素值和记录距离，来得到对应的映射的彩色图像坐标；
20.s33、通过彩色图像与深度图像的坐标融合，获得茶叶三维点云，具体为：
[0021][0022]
式中，表示三维点云的坐标系；表示彩色图像的坐标系；d表示深度值、通过深度图像获得；f
x
、fy表示相机焦距；
[0023]
s34、由于生成的茶叶三维点云包含茶叶嫩芽及其背景点云，因此通过计算获得茶
叶三维点云的平均值，并将该平均值作为距离阈值；之后将大于距离阈值的背景点云进行过滤，得到初步分割的三维点云；采用dbscan聚类算法，通过设置参数半径eps和邻域中要求含有的最低样本个数m
p
，将初步分割的三维点云聚为一类，并筛选出茶叶嫩芽三维点云；
[0024]
s35、根据茶叶嫩芽的生长姿态，采用主成分分析法(principal component analysis，pca)拟合处茶叶嫩芽的最小外接长方体；计算获得长方体各个顶点坐标；再通过求长方体底面四个顶点平均值获得长方体底面中心点的坐标，并以该点作为茶叶嫩芽的采摘点。
[0025]
作进一步优化，所述步骤s35具体为：
[0026]
s351、采用主成分分析法筛选出茶叶嫩芽三维点云的三个主方向，即x、y、z方向，并计算质心、协方差，得到协方差矩阵；具体为：
[0027][0028][0029]
式中，pc表示三维点云的质心坐标；n表示三维点云的数目(即点的数量)；(xi,yi,zi)表示第i个点的三维坐标；
[0030][0031]
式中，c
p
表示三维点云的协方差矩阵；
[0032]
s352、对协方差矩阵进行奇异值分解，获得特征值与特征向量，具体公式为：
[0033][0034]
式中，u
p
表示协方差矩阵c
pcpt
的特征向量矩阵；d
p
表示一个对角线上的非0值是c
pcpt
的非0特征值的平方根的对角阵；表示一个c
ptcp
的特征向量矩阵；
[0035]
其中，最大特征值对应的特征向量的方向即为长方体的主轴方向；
[0036]
s353、将坐标点投影到方向向量上，通过计算每个顶点位置坐标pi与坐标点单位向量的内积获得在每个方向上的最大值与最小值，令a、b、c分别为x、y、z上最大值与最小值的平均值，获得长方体的中心点o与长度l，生成茶叶嫩芽最合适且紧凑的长方体；
[0037]
具体公式为：
[0038][0039]
o＝ax+by+cz；
[0040][0041]
式中，x为坐标点在x方向上的单位向量；y为坐标点在y方向上的单位向量；z为坐标点在z方向上的单位向量；l
x
、ly、lz分别为长方体在x方向、y方向、z方向的长度；
[0042]
s354、通过判断上述长方体y方向上最小的四个点的坐标，作为长方体底面的四个顶点坐标；最后通过四个顶点坐标的平均值获得长方体底面中心点的坐标、即采摘点。
[0043]
本发明具有如下技术效果：
[0044]
本技术通过深度学习方法对大视野下的茶叶嫩芽的小目标进行检查定位，首先通过构建小尺寸茶叶嫩芽的检测模型，同时通过改进型yolov5网络模型增强图像多个尺度上的语义表达及定位能力，从而使其适用于目标较小、形态之间存在差异且分布空间密集的茶叶嫩芽的判断与识别，从而避免在判断识别茶叶嫩芽过程中、由于茶叶嫩芽的差异性或相互重叠等造成的误判与漏判，提高了识别判断的精确性。同时，本技术通过拟合茶叶嫩芽的最小外接长方体、实现茶叶采摘点的精确定位(即以最小外接长方体底面中心点为茶叶嫩芽的采摘点)，有效避免采摘时对茶叶嫩芽造成的损伤，同时确保最有效、完整的采摘整个茶叶嫩芽，确保茶叶的品质。通过目标识别模块、路径规划模块、采摘执行模块与运算控制模块的配合，能够高效获得最短最优的采摘进给路径，提高采摘效率、简化采摘流程，从而实现自动化、机械化的茶叶采摘，降低劳动力的使用，节约茶叶采摘的时间与成本。
附图说明
[0045]
图1为本发明实施例中采摘系统采摘茶叶时的流程图。
[0046]
图2为本技术实施例的目标识别模块获得采摘点的流程图。
[0047]
图3为本技术实施例中采用标注工具对图片进行标注后的示意图。
[0048]
图4为本发明实施例中基于双向特征金字塔网络结构的多尺度特征融合结构图。
具体实施方式
[0049]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0050]
实施例：
[0051]
一种用于名优茶的智能连贯采摘系统，其特征在于：包括目标识别模块、路径规划模块、采摘执行模块与运算控制模块；运算控制模块分别与目标识别模块、路径规划模块、采摘执行模块通信交互；
[0052]
目标识别模块用于获取茶叶嫩芽的采摘点，具体为：
[0053]
s10、构建茶叶嫩芽图像数据集：先使用rgb-d相机采集茶叶嫩芽图像数据，获得茶叶嫩芽的彩色图像与深度图像；再采用标注工具、例如labelimg标注工具对彩色图像进行标注(如图1所示)，并进行数据集增强操作(数据集增强操作可采用现有常规技术手段，本领域技术人员能够理解，例如空间转换、颜色转换等手段)、扩充数据集的数量，构建出茶叶嫩芽图像数据集；最后对数据集进行划分，形成训练集、测试集与验证集。
[0054]
s20、在步骤s10的数据集中，通过双向特征金字塔网络(bi-directional feature pyramid network，bifpn)和通道注意力机制(efficient channel attention，eca)构造语义信息丰富的特征图，实现对yolov5网络模型的改进、获得改进型yolov5网络模型，实现小尺寸茶叶嫩芽的检测；
[0055]
yolov5网络模型采用模型文件大小最小、特征图的深度与宽度最小的网络模型，包括backbone模块、neck模块和head模块；backbone模块包括用于对图片进行切片操作的focus模块、spp模块与cbs模块，及用于增强整个卷积神经网络学习性能csp模块；neck模块包括cbs模块与csp模块；head模块包括利用基于网格anchor在不同尺度的特征图上进行目标检测的detect层；
[0056]
该步骤具体为：
[0057]
s21、对步骤s10中的训练集中的图像进行预处理、统一训练集中所有图像的分辨率；再将预处理后的图像输入到backbone模块，获得不同尺寸的特征图；
[0058]
s22、将步骤s21中不同尺寸的特征图输入到neck模块中，并在neck模块中采用双向特征金字塔网络替代原有的路径聚合网络(path aggregation network，panet)进行多特征融合；再对特征图依次进行上采样、下采样，及通过通道注意力机制的拼接产生多种尺寸的特征图，并输入到head模块的detect层中；
[0059]
其中，在yolov5网络模型中(即现有yolov5网络结构中)，使用加强特征提取bifpn，对p5_in进行上采样，上采样后与p4_in进行bifpn_concat堆叠获得p4_td；之后对p4_td进行上采样，上采样后与p3_in进行bifpn_concat堆叠获得p3_out；之后对p3_out进行下采样，下采样后与p4_td进行bifpn_concat堆叠获得p4_out；之后对p4_out进行下采样，下采样后与p5_in进行堆叠获得p5_out。该方法使用高效的双向交叉连接进行特征融合，去掉panet中对特征融合贡献较小的节点，在同一级别的输入和输出节点之间添加额外的连接，在不增加额外代价的情况下融合了更多的特征，增强多个尺度上的语义表达以及定位能力，如图2所示。
[0060]
之后，在第9层后添加eca，模块将输入特征图经过全局平均池化(global average pooling)，特征图从[h,w,c]的矩阵变成[1,1,c]的向量，然后计算得到自适应的一维卷积核大小kernel_size，将kernel_size用于一维卷积中，以获得特征图中每个通道的权重；将
归一化权重和原输入特征图进行逐一的通道相乘，生成加权后的特征图。
[0061]
该注意力机制在全局平均池化层之后使用1x1卷积层，去除了全连接层，避免了维度缩减，有效捕获了跨通道交互，最终提高了判断对象的概率和模型的检测精度；具体公式为：
[0062][0063]
式中，c表示通道维度；k表示卷积和大小；y、b分别取值2和1；
[0064]
s23、结合多种损失函数(如分类损失、定位损失、执行损失等)进行反向传播，对模型中的梯度进行更新调节权重参数；
[0065]
s24、采用步骤s10中的验证集对现有模型进行验证，获得改进型yolov5网络模型。
[0066]
s30、基于步骤s20中的改进型yolov5网络模型的训练结果，获得茶叶三维点云；然后在茶叶三维点云中筛选出茶叶嫩芽三维点云；最后拟合茶叶嫩芽最小外接长方体，获得茶叶嫩芽的精确位置以及采摘点；具体为：
[0067]
s31、首先，根据步骤s20的改进型yolov5网络模型的结果，获取检测框坐标，生成彩色图像与对应深度图像的感兴趣区域(region of interest，roi)；
[0068]
s32、然后，根据深度图像的像素坐标与彩色图像的像素坐标之间的映射关系，并通过深度图像的坐标值、像素值和记录距离，来得到对应的映射的彩色图像坐标；
[0069]
s33、再通过彩色图像与深度图像的坐标融合，获得茶叶三维点云，具体为：
[0070][0071]
式中，表示三维点云的坐标系；表示彩色图像的坐标系；d表示深度值、通过深度图像获得；f
x
、fy表示相机焦距；
[0072]
s34、由于生成的茶叶三维点云包含茶叶嫩芽及其背景点云，因此通过计算获得茶叶三维点云的平均值，并将该平均值作为距离阈值；之后将大于距离阈值的背景点云进行过滤，得到初步分割的三维点云；采用dbscan聚类算法，通过设置参数半径eps和邻域中要求含有的最低样本个数m
p
，将初步分割的三维点云聚为一类，并筛选出茶叶嫩芽三维点云；
[0073]
其中，dbscan聚类算法是在空间中随机选择一个数据样本，并通过确定分布在其邻域半径eps中样本数量是否大于等于最低样本个数m
p
阈值个数来确定其是否是核心对象：
[0074]
若是，则可以将邻域中的所有点划分到同一个簇组中，同时在上面的簇组基础上，
通过广度优先搜索可以找到所有的密度可达的样本，划分到该簇组中；
[0075]
若该数据样本是非核心对象，则将其标记成噪声点去除；
[0076]
该公式具体为：
[0077]neps
(p)＝{q∈d|dist(p,q)≤eps}；
[0078]
式中，d表示点云样本集；p、q分别表示样本集汇总的样本点；
[0079]
对于任意p∈d，若它的eps所对应的|n
eps
(p)|至少包含m
p
个样本，则p是核心对象；若q在p的eps内，并且p是核心对象，则成为q由p密度可达；
[0080]
s35、根据茶叶嫩芽的生长姿态，采用主成分分析法(principal component analysis，pca)拟合处茶叶嫩芽的最小外接长方体；计算获得长方体各个顶点坐标；再通过求长方体底面四个顶点平均值获得长方体底面中心点的坐标，并以该点作为茶叶嫩芽的采摘点；具体为：
[0081]
s351、采用主成分分析法筛选出茶叶嫩芽三维点云的三个主方向，即x、y、z方向，并计算质心、协方差，得到协方差矩阵；具体为：
[0082][0083][0084]
式中，pc表示三维点云的质心坐标；n表示三维点云的数目(即点的数量)；(xi,yi,zi)表示第i个点的三维坐标；
[0085][0086]
式中，c
p
表示三维点云的协方差矩阵；
[0087]
s352、对协方差矩阵进行奇异值分解，获得特征值与特征向量，具体公式为：
[0088][0089]
式中，u
p
表示协方差矩阵c
pcpt
的特征向量矩阵；d
p
表示一个对角线上的非0值是c
pcpt
的非0特征值的平方根的对角阵；表示一个c
ptcp
的特征向量矩阵；
[0090]
其中，最大特征值对应的特征向量的方向即为长方体的主轴方向；
[0091]
s353、将坐标点投影到方向向量上，通过计算每个顶点位置坐标pi与坐标点单位向量的内积获得在每个方向上的最大值与最小值，令a、b、c分别为x、y、z上最大值与最小值的平均值，获得长方体的中心点o与长度l，生成茶叶嫩芽最合适且紧凑的长方体；
[0092]
具体公式为：
[0093][0094]
o＝ax+by+cz；
[0095][0096]
式中，x为坐标点在x方向上的单位向量；y为坐标点在y方向上的单位向量；z为坐标点在z方向上的单位向量；l
x
、ly、lz分别为长方体在x方向、y方向、z方向的长度；
[0097]
s354、通过判断上述长方体y方向上最小的四个点的坐标，作为长方体底面的四个顶点坐标；最后通过四个顶点坐标的平均值获得长方体底面中心点的坐标、即采摘点。
[0098]
路径规划模块用于规划采摘执行模块的行进路径，具体为：运算控制模块将目标识别模块获得的各个采摘点以及当前采摘执行模块(具体为剪切部)的位置输入到路径规划模块，路径规划模块将采摘执行模块(具体为剪切部)的三维坐标与各个采摘点的三维坐标进行拟合，获得最短最优的采摘路径；
[0099]
例如：a1、构造采摘执行模块(具体为剪切部)采摘顺序路径目标函数：首先，基于马尔可夫决策过程理论(markov decision processes，mdp)对采摘执行模块(具体为剪切部)的采摘顺序路径规划进行建模；然后，运算控制模块根据收到的目标识别模块中通过上述方法获得的采摘点的三维信息、控制采摘执行模块(具体为剪切部)执行预测动作，然后观测到新的状态并获得奖励，使得目标函数最大化采摘执行模块(具体为剪切部)获得的期望累积奖励；a2、使用仿真设备搭建包含种植茶园与采摘执行模块的仿真环境，将光照强度、相机方位、茶叶嫩芽位置和颜色等物理量作为仿真环境的参数，进行训练；训练过程中，逐渐增加仿真环境的随机性，通过机器人与环境交互采集获取学习难度不断增加的数据，并对数据进行采样；a3、采用近端策略优化算法模块(proximal policy optimization，ppo)、并结合求解器对上述目标函数进行优化，得到采摘执行模块(具体为剪切部)的采摘顺序规划模型。
[0100]
采摘执行模块包括运动机械臂与末端执行器，运动机械臂根据路径规划模块中规划的采摘路径、将末端执行器移动至各个采摘点，运动机械臂可采用多自由度机械臂、根据实际的采摘情况进行机械臂自由度的选择；并且运动机械臂与末端执行器之间通过运算控制模块实现通信交互。末端执行器包括剪切部与伸缩部，通过剪切部的闭合实现对茶叶嫩芽的采摘，通过伸缩部的收缩与剪切部的打开实现对茶叶的收集。必要时，在运动机械臂上且位于末端执行器设置茶叶收集筐。
[0101]
运算控制模块可为在边缘计算机上搭建ubuntu18.04系统、同时通过创建基于pytorch的深度学习运行环境；将目标识别模块与路径规划模块部署到边缘计算机中，协调管理两个神经网络模块的资源调度与网络信号交互；同时在边缘计算机中部署运动机械臂控制系统与末端执行器驱动系统。
[0102]
本技术采摘系统的进行茶叶采摘的具体方法为：
[0103]
s001、首先在茶园中对系统进行初始化，然后手动控制运动机械臂、使其带动末端执行器运动至预采茶点；
[0104]
s002、运算控制模块打开目标识别模块与路径规划模块、同时打开相机；
[0105]
s003、相机将视野传输至目标识别模块，目标识别模块对图像中的茶叶嫩芽进行多目标检测；检测到茶叶嫩芽并拟合出茶叶嫩芽最小外接长方体、获得最小外接长方体底面中心点；之后将最小外接长方体底面的中心点传递至运算控制模块；
[0106]
s004、运算控制模块将最小外接长方体底面的中心点与末端执行器当前的位置坐标导入路径规划模块的ppo模型中、获得末端执行器采摘的最短最优路径；并将解算得到的路径传递给运算控制模块；
[0107]
s005、运算控制模块将路径信息传递至采摘执行模块，采摘执行模块通过运动机械臂控制末端执行器达到采摘点、末端执行器实现采摘与收集动作；直至相机当前视野范围内的茶叶嫩芽采摘完毕；
[0108]
s006、移动采摘系统至下一视野范围，继续进行茶叶嫩芽的采摘。
[0109]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
技术特征：1.一种用于名优茶的智能连贯采摘系统，其特征在于：包括目标识别模块、路径规划模块、采摘执行模块与运算控制模块；所述运算控制模块分别与目标识别模块、路径规划模块、采摘执行模块通信交互；所述目标识别模块用于获取茶叶嫩芽的采摘点；所述路径规划模块用于规划采摘执行模块的行进路径，具体为：运算控制模块将目标识别模块获得的各个采摘点以及当前采摘执行模块的位置输入到路径规划模块，路径规划模块将采摘执行模块的三维坐标与各个采摘点的三维坐标进行拟合，获得最短最优的采摘路径；所述采摘执行模块包括运动机械臂与末端执行器，所述运动机械臂根据路径规划模块中规划的采摘路径、将末端执行器移动至各个采摘点；所述末端执行器包括剪切部与伸缩部，通过剪切部的闭合实现对茶叶嫩芽的采摘，通过伸缩部的收缩与剪切部的打开实现对茶叶的收集。2.根据权利要求1所述的一种用于名优茶的智能连贯采摘系统，其特征在于：所述目标识别模块获取茶叶嫩芽的采摘点的具体步骤为：s10、构建茶叶嫩芽图像数据集；s20、在步骤s10的数据集中，通过双向特征金字塔网络和通道注意力机制构造语义信息丰富的特征图，实现对yolov5网络模型的改进、获得改进型yolov5网络模型，实现小尺寸茶叶嫩芽的检测；s30、基于步骤s20中的改进型yolov5网络模型的训练结果，获得茶叶三维点云；然后在茶叶三维点云中筛选出茶叶嫩芽三维点云；最后拟合茶叶嫩芽最小外接长方体，获得茶叶嫩芽的精确位置以及采摘点；所述yolov5网络模型包括backbone模块、neck模块和head模块；backbone模块包括用于对图片进行切片操作的focus模块、spp模块与cbs模块，及用于增强整个卷积神经网络学习性能csp模块；neck模块包括cbs模块与csp模块；head模块包括利用基于网格anchor在不同尺度的特征图上进行目标检测的detect层。3.根据权利要求1或2所述的一种用于名优茶的智能连贯采摘系统，其特征在于：所述步骤s10具体为：先使用rgb-d相机采集茶叶嫩芽图像数据，获得茶叶嫩芽的彩色图像与深度图像；再采用标注工具对彩色图像进行标注，并进行数据集增强操作、扩充数据集的数量，构建出茶叶嫩芽图像数据集；最后对数据集进行划分，形成训练集、测试集与验证集；所述步骤s20具体为：s21、对步骤s10的训练集中的图像进行预处理、统一训练集中所有图像的分辨率；再将预处理后的图像输入到backbone模块，获得不同尺寸的特征图；s22、将步骤s21中不同尺寸的特征图输入到neck模块中，并在neck模块中采用双向特征金字塔网络替代原有的路径聚合网络进行多特征融合；再对特征图依次进行上采样、下采样，及通过通道注意力机制的拼接产生多种尺寸的特征图，并输入到head模块的detect层中；s23、结合多种损失函数进行反向传播，对模型中的梯度进行更新调节权重参数；s24、采用步骤s10中的验证集对现有模型进行验证，获得改进型yolov5网络模型。4.根据权利要求2或3所述的一种用于名优茶的智能连贯采摘系统，其特征在于：所述步骤s30具体为：s31、根据步骤s20的改进型yolov5网络模型的结果，获取检测框坐标，生成彩色图像与对应深度图像的感兴趣区域；
s32、根据深度图像的像素坐标与彩色图像的像素坐标之间的映射关系，并通过深度图像的坐标值、像素值和记录距离，来得到对应的映射的彩色图像坐标；s33、通过彩色图像与深度图像的坐标融合，获得茶叶三维点云，具体为：式中，表示三维点云的坐标系；表示彩色图像的坐标系；d表示深度值、通过深度图像获得；f
x
、f
y
表示相机焦距；s34、由于生成的茶叶三维点云包含茶叶嫩芽及其背景点云，因此通过计算获得茶叶三维点云的平均值，并将该平均值作为距离阈值；之后将大于距离阈值的背景点云进行过滤，得到初步分割的三维点云；采用dbscan聚类算法，通过设置参数半径eps和邻域中要求含有的最低样本个数m
p
，将初步分割的三维点云聚为一类，并筛选出茶叶嫩芽三维点云；s35、根据茶叶嫩芽的生长姿态，采用主成分分析法拟合处茶叶嫩芽的最小外接长方体；计算获得长方体各个顶点坐标；再通过求长方体底面四个顶点平均值获得长方体底面中心点的坐标，并以该点作为茶叶嫩芽的采摘点。5.根据权利要求4所述的一种用于名优茶的智能连贯采摘系统，其特征在于：所述步骤s35具体为：s351、采用主成分分析法筛选出茶叶嫩芽三维点云的三个主方向，即x、y、z方向，并计算质心、协方差，得到协方差矩阵；具体为：算质心、协方差，得到协方差矩阵；具体为：式中，p
c
表示三维点云的质心坐标；n表示三维点云的数目(即点的数量)；(x
i
,y
i
,z
i
)表示第i个点的三维坐标；式中，c
p
表示三维点云的协方差矩阵；s352、对协方差矩阵进行奇异值分解，获得特征值与特征向量，具体公式为：
式中，u
p
表示协方差矩阵c
p
c
pt
的特征向量矩阵；d
p
表示一个对角线上的非0值是c
p
c
pt
的非0特征值的平方根的对角阵；表示一个c
pt
c
p
的特征向量矩阵；其中，最大特征值对应的特征向量的方向即为长方体的主轴方向；s353、将坐标点投影到方向向量上，通过计算每个顶点位置坐标p
i
与坐标点单位向量的内积获得在每个方向上的最大值与最小值，令a、b、c分别为x、y、z上最大值与最小值的平均值，获得长方体的中心点o与长度l，生成茶叶嫩芽最合适且紧凑的长方体；具体公式为：o＝ax+by+cz；式中，x为坐标点在x方向上的单位向量；y为坐标点在y方向上的单位向量；z为坐标点在z方向上的单位向量；l
x
、l
y
、l
z
分别为长方体在x方向、y方向、z方向的长度；s354、通过判断上述长方体y方向上最小的四个点的坐标，作为长方体底面的四个顶点坐标；最后通过四个顶点坐标的平均值获得长方体底面中心点的坐标、即采摘点。
技术总结本发明提供一种用于名优茶的智能连贯采摘系统，包括目标识别模块、路径规划模块、采摘执行模块与运算控制模块；运算控制模块分别与目标识别模块、路径规划模块、采摘执行模块通信交互。其中，目标识别模块通过构建茶叶嫩芽图像数据集、进行YoloV5网络模型改进、通过拟合茶叶嫩芽三维点云的最小外接长方体的方式获得采摘点。该系统通过视觉识别系统实现茶叶嫩芽的精准定位，同时通过采摘机器人实现智能化、机械化的茶叶采摘，无需大量劳动力，采摘效率高、名优茶得率高。率高、名优茶得率高。率高、名优茶得率高。
技术研发人员：朱立学 张智浩 林桂潮 张世昂 官金炫 陈品岚 陈定贤 陈嘉辉 钟凯勇 蔡柳坚
受保护的技术使用者：仲恺农业工程学院
技术研发日：2022.07.25
技术公布日：2022/11/1
