天车挂钩的跟踪方法、装置、电子设备及可读存储介质与流程

专利2023-08-15  105



1.本发明涉及计算机视觉领域,尤其是一种天车挂钩的跟踪方法、装置、电子设备及计算机可读存储介质。


背景技术:

2.在钢铁行业、港口等需要中型设备起重的场景下,往往需要利用天车或者龙门吊等设备,再结合挂钩将相应的重型设备吊起来,从而进行运输。但是,在挂钩勾起相应设备时,需要确认挂钩是否正确的勾起相应的设备。
3.为了确认是否正确勾起相应的设备,在早期技术中,往往采用人为的肉眼进行观察。但是,在进行人为的肉眼观察时,需要工作人员处于工作现场,会存在较大的风险,比如:天车操作人员不按照规章进行操作天车或者观察人员观察不到位等情况导致挂钩脱钩而对现场人员造成伤害。
4.为了解决上述隐患,本领域逐渐出现了采用球机拍摄视频的方式进行确认的技术,该技术使得工作人员无需进入工作场地,以解决上述隐患。但是,目前采用视频观察的时,往往直接采用球机对挂钩进行跟踪,且得到的视频图像为二维图像。故,使得跟踪挂钩的过程无法做到精准定位。
5.因此,现有技术中,直接采用球机对挂钩进行跟踪的方式,无法做到在跟踪的过程中,对挂钩的精准定位。


技术实现要素:

6.本技术的目的是提供了一种天车挂钩的跟踪方法、装置、电子设备及计算机可读存储介质,能够在进行天车挂钩跟踪的过程中,实现对天车挂钩的精准定位。
7.根据本技术的第一方面,提供了一种天车挂钩的跟踪方法,应用于激光雷达,该方法包括:
8.获取天车挂钩的实时位置数据;其中,实时位置数据包括天车挂钩的三维坐标;
9.基于三维坐标,对天车挂钩进行稠密点云建模,以生成三维建模模型;其中,稠密点云建模为基于天车挂钩的多个外观表面点数的集合,以生成三维建模模型;
10.基于三维建模模型,识别天车挂钩的第一空间坐标位置;
11.向主控单元发送第一空间坐标位置,以使主控单元控制球机根据第一空间坐标位置对天车挂钩进行跟踪。
12.可选的,基于三维建模模型,识别天车挂钩的第一空间坐标位置,包括:
13.将三维建模模型中多个空间坐标进行分类,以使具有相同特征的空间坐标划分到同一区域内;
14.利用识别算法对空间坐标进行识别,以得到天车挂钩的第一空间坐标位置。
15.根据本技术的第二方面,提供了一种天车挂钩的跟踪方法,应用于主控单元,该方法包括:
16.接收激光雷达发送的第一空间坐标位置;其中,第一空间坐标位置为激光雷达获取天车挂钩的实时位置数据;其中,实时位置数据包括天车挂钩的三维坐标;激光雷达基于三维坐标,对天车挂钩进行稠密点云建模,以生成三维建模模型;其中,稠密点云建模为基于天车挂钩的多个外观表面点数的集合,以生成三维建模模型;激光雷达基于三维建模模型,识别天车挂钩的第一空间坐标位置;
17.控制球机根据第一空间坐标位置对天车挂钩进行跟踪。
18.可选的,在接收激光雷达发送的第一空间坐标位置之后,方法还包括:
19.将第一空间坐标位置转化为第二空间坐标位置;
20.控制球机基于第二空间坐标位置对天车挂钩进行实时对焦,以获取天车挂钩的高清图像;其中,第二空间坐标位置为球机能够识别的第二空间坐标位置。
21.可选的,控制球机基于第二空间坐标位置对天车挂钩进行实时对焦,以获取天车挂钩的高清图像,包括:
22.控制球机基于第二空间坐标位置获取其旋转的角度;
23.基于旋转的角度,控制球机对天车挂钩进行实时对焦,以获取天车挂钩的高清图像。
24.可选的,在基于旋转的角度,控制球机对天车挂钩进行实时对焦,以获取天车挂钩的高清图像之后,方法还包括:
25.控制球机将高清图像发送至天车控制室。
26.可选的,在控制球机将高清图像发送至天车控制室之后,方法还包括:
27.控制天车控制室将高清图像的视频流数据进行视频编码;
28.将视频编码后的数据传输至计算单元,以使计算单元基于视频转码解码算法将视频编码后的数据进行解码,得到解码后的数据;
29.控制天车控制室将解码后的数据显示在天车控制室的大屏上。
30.根据本技术的第三方面,提供了一种天车挂钩的跟踪装置,该装置包括:
31.获取模块,用于获取天车挂钩的实时位置数据;其中,实时位置数据包括天车挂钩的三维坐标;
32.生成模块,用于基于三维坐标,对天车挂钩进行稠密点云建模,以生成三维建模模型;其中,稠密点云建模为基于天车挂钩的多个外观表面点数的集合,以生成三维建模模型;
33.识别模块,用于基于三维建模模型,识别天车挂钩的第一空间坐标位置;
34.第一发送模块,用于向主控单元发送第一空间坐标位置,以使主控单元控制球机根据第一空间坐标位置对天车挂钩进行跟踪。
35.可选的,识别模块,用于将三维建模模型中多个空间坐标进行分类,以使具有相同特征的空间坐标划分到同一区域内;利用识别算法对空间坐标进行识别,以得到天车挂钩的第一空间坐标位置。
36.根据本技术的第四方面,提供了一种天车挂钩的跟踪装置,该装置包括:接收模块,用于接收激光雷达发送的第一空间坐标位置;其中,第一空间坐标位置为激光雷达获取天车挂钩的实时位置数据;其中,实时位置数据包括天车挂钩的三维坐标;激光雷达基于三维坐标,对天车挂钩进行稠密点云建模,以生成三维建模模型;其中,稠密点云建模为基于
天车挂钩的多个外观表面点数的集合,以生成三维建模模型;激光雷达基于三维建模模型,识别天车挂钩的第一空间坐标位置;
37.第二发送模块,用于控制球机根据第一空间坐标位置对天车挂钩进行跟踪。
38.可选的,装置还包括:转化模块,用于将第一空间坐标位置转化为第二空间坐标位置;对焦模块,用于控制球机基于第二空间坐标位置对天车挂钩进行实时对焦,以获取天车挂钩的高清图像;其中,第二空间坐标位置为球机能够识别的第二空间坐标位置。
39.可选的,对焦模块,用于控制球机基于第二空间坐标位置获取其旋转的角度;基于旋转的角度,控制球机对天车挂钩进行实时对焦,以获取天车挂钩的高清图像。
40.可选的,装置还包括:第一控制模块,用于控制球机将高清图像发送至天车控制室。
41.可选的,装置还包括:第二控制模块,用于控制天车控制室将高清图像的视频流数据进行视频编码;传输模块,用于将视频编码后的数据传输至计算单元,以使计算单元基于视频转码解码算法将视频编码后的数据进行解码,得到解码后的数据;第三控制模块,用于控制天车控制室将解码后的数据显示在天车控制室的大屏上。
42.根据本技术的第五方面,提供了一种电子设备,该电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令,程序或指令被处理器执行时实现如第一方面或第二方面所示的天车挂钩的跟踪方法的步骤。
43.根据本技术的第六方面,提供了一种可读存储介质,该可读存储介质上存储程序或指令,程序或指令被处理器执行时实现如第一方面或第二方面所示的天车挂钩的跟踪方法的步骤。
44.本技术中,可以由激光雷达作为本技术的执行主体,激光雷达获取天车挂钩的实时位置数据,需要说明的是,实时位置数据包括天车挂钩的三维坐标。根据天车挂钩的三维坐标进行稠密点云建模,生成三维建模模型,需要说明的是,稠密点云建模为基于天车挂钩的多个外观表面点数的集合,以生成三维建模模型。在三维模型建模中,识别出天车挂钩的第一空间坐标位置,并将第一空间坐标位置发送至主控单元,以使主控单元控制球机根据第一空间坐标位置对天车挂钩进行跟踪。对比现有技术中利用二维图像进行跟踪的方式,本技术利用球机以及激光雷达相互配合,以实现三维空间的天车挂钩识别,并通过获取到的天车挂钩的三维坐标,以使球机跟踪天车挂钩。由于三维点云获取数据的方法不但规避了二维图像遇到的光照、姿态等问题,而且相比于二维图像,其获取数据的方法更便利。因此本技术能够在进行天车挂钩跟踪的过程中,实现对天车挂钩的精准定位。
附图说明
45.为了更清楚地说明本技术具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本技术的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
46.图1为本技术实施例提供的天车挂钩的跟踪方法的流程图;
47.图2为本技术实施例提供的天车挂钩的跟踪方法的流程图;
48.图3为本技术实施例提供的天车挂钩的跟踪方法的流程图;
49.图4为本技术实施例提供的天车挂钩的跟踪方法的流程图;
50.图5为本技术实施例提供的天车挂钩的跟踪装置的示意图;以及
51.图6为本技术实施例提供的天车挂钩的跟踪装置的示意图。
具体实施方式
52.为了使本技术的上述以及其他特征和优点更加清楚,下面结合附图进一步描述本技术。应当理解,本文给出的具体实施例是出于向本领域技术人员解释的目的,仅是示例性的,而非限制性的。
53.在以下描述中,阐述了许多具体细节以提供对本技术的透彻理解。然而,对于本领域普通技术人员来说将明显的是,不需要采用具体细节来实践本技术。在其他情况下,未详细描述众所周知的步骤或服务,以避免模糊本技术。
54.基于背景技术部分的内容可知,现有技术中,直接采用球机对挂钩进行跟踪的方式,无法做到在跟踪的过程中,对挂钩的精准定位。
55.为了解决上述技术问题,本技术提供一种天车挂钩的跟踪方法、装置、电子设备及计算机可读存储介质。下面结合附图,通过具体的实施例及其应用场景先对本技术提供的天车挂钩的跟踪方法进行详细地说明。
56.如图1所示,本技术提供的天车挂钩的跟踪方法,该方法应用于激光雷达,方法可以包括:
57.步骤s11:获取天车挂钩的实时位置数据;其中,实时位置数据包括天车挂钩的三维坐标。
58.具体的,在本技术中,可以由激光雷达作为本技术的执行主体,激光雷达和天车挂钩建立通信关系。其中,激光雷达可以扫描工作现场的环境,并获取天车挂钩进行实时位置数据。需要说明的是,实时位置数据包括天车挂钩的三维坐标(比如:x、y、z三轴)。
59.步骤s13:基于三维坐标,对天车挂钩进行稠密点云建模,以生成三维建模模型;其中,稠密点云建模为基于天车挂钩的多个外观表面点数的集合,以生成三维建模模型。
60.具体的,在本技术中,在激光雷达获取到天车挂钩的三维坐标之后,激光雷达根据三维坐标进行稠密点云,并建立三维建模模型。需要说明的是,在进行稠密点云之后,可以获取到很多个点,可以基于很多个点建立三维建模模型。
61.需要说明的是,稠密点云可以为在逆向工程中通过测量仪器得到的产品外观表面的点数据集合也称之为点云,使用三维激光扫描仪或照相式扫描仪得到的点云,点数量比较大并且比较密集,叫密集点云。
62.步骤s15:基于三维建模模型,识别天车挂钩的第一空间坐标位置。
63.具体的,在本技术中,激光雷达在建立三维建模模型之后,可以识别出天车挂钩的第一空间坐标位置。即可以识别出构成天车挂钩的多个点的集合,并将多个点对应的空间坐标识别出来,以确定天车挂钩的第一空间坐标位置。即可以通过确定多个属于天车挂钩的空间坐标的集合,确定天车挂钩的第一坐标位置。
64.如图2所示,为了更准确的识别出天车挂钩,在一个可选的实施例中,步骤s15中基于三维建模模型,识别天车挂钩的第一空间坐标位置,包括:
65.步骤s1501:将三维建模模型中多个空间坐标进行分类,以使具有相同特征的空间
坐标划分到同一区域内。
66.步骤s1502:利用识别算法对空间坐标进行识别,以得到天车挂钩的第一空间坐标位置。
67.激光雷达在建立三维建模模型之后,将三维建模模型中多个空间坐标进行分类,并将具有相同特征的空间坐标划分到同一区域内。即此方法为点云分割算法。需要说明的是,特征可以表征为一事物异于其他事物的特点,那么相同特征可以表征为具有一致特点的事物。比如:在三维建模模型中的多个用于表征天车挂钩的点,就可以划分到用一区域内。在将具有相同特征的空间坐标划分到同一区域内之后,利用识别算法识别多个区域的空间坐标特征,并与天车挂钩的特征做比对。在空间坐标特征与天车挂钩的特征相匹配时,提取其空间坐标,以得到天车挂钩的第一空间坐标位置。本技术通过点云分割以及识别算法可以更准确的识别出天车挂钩。
68.步骤s17:向主控单元发送第一空间坐标位置,以使主控单元控制球机根据第一空间坐标位置对天车挂钩进行跟踪。
69.具体的,在本技术中,激光雷达可以和主控单元建立通信关系,主控单元可以和球机建立通信关系。其中,激光雷达将获取到的第一空间坐标位置发送至主控单元,在主控单元接收到第一空间坐标位置之后,由主控单元控制球机根据第一空间坐标位置对天车挂钩进行跟踪。主控单元可以为工业计算单元,即通过工业计算单元上球机控制软件,发送控制命令,控制球机进行物体的自动跟踪与对焦。
70.在一个可选的实施例中,本技术还提供了一种天车挂钩的追踪方式,该方法包括:球机通过3d感知算法实时跟踪目标挂钩以及对挂钩进行对焦,3d感知算法进行跟踪和对焦的过程为:通过激光雷达对天车挂钩进行稠密点云建模,通过自主研发的点云分割与识别算法,识别出挂钩的位置,将挂钩的空间坐标位置实时的发送给主控单元,由主控单元控制球机去跟踪挂钩以及对挂钩进行实时对焦。
71.需要说明的是,3d感知算法可以为三维目标识别算法,其可以包括基于全局特征的目标识别方法。其中,基于全局特征的目标识别方法可以为基于全局特征的方法需要从背景中将目标物体分割出来,通过描述和比对三维物体形状中的全部或者最显著的几何特征来完成物体的识别。这类方法被广泛地应用于3d物体的表示匹配和分类中。
72.本技术对比现有技术中,通过激光雷达扫描天车挂钩,以获取三维坐标。在获取到三维坐标之后,进行稠密点云建模,并且利用点云分割以及识别算法,以使天车挂钩的空间坐标位置确定的更准确,主控单元根据准确的空间坐标位置控制球机对天车挂钩进行跟踪。因此,本技术能够在进行天车挂钩跟踪的过程中,实现对天车挂钩的精准定位。
73.如图3所示,在一个可选的实施例中,提供了一种天车挂钩的跟踪方法,该方法包括:
74.步骤s21:接收激光雷达发送的第一空间坐标位置;其中,第一空间坐标位置为激光雷达获取天车挂钩的实时位置数据;其中,实时位置数据包括天车挂钩的三维坐标;激光雷达基于三维坐标,对天车挂钩进行稠密点云建模,以生成三维建模模型;其中,稠密点云建模为基于天车挂钩的多个外观表面点数的集合,以生成三维建模模型;激光雷达基于三维建模模型,识别天车挂钩的第一空间坐标位置。
75.步骤s23:控制球机根据第一空间坐标位置对天车挂钩进行跟踪。
76.可以由主控单元作为本实施例的执行主体,主控单元分别与激光雷达以及球机建立通信关系。激光雷达可以扫描工作现场的环境,并获取天车挂钩进行实时位置数据。需要说明的是,实时位置数据包括天车挂钩的三维坐标(比如:x、y、z三轴)。主控单元接收到激光雷达发送的三维坐标,其中,在激光雷达获取到天车挂钩的三维坐标之后,激光雷达根据三维坐标进行稠密点云,并建立三维建模模型。需要说明的是,在进行稠密点云之后,获取到很多个点,基于很多个点建立三维建模模型。其中,激光雷达在建立三维建模模型之后,可以识别出天车挂钩的第一空间坐标位置。即可以识别出构成天车挂钩的多个点的集合,并将多个点的多个空间坐标识别出来,以确定天车挂钩的第一空间坐标位置。即可以通过确定多个属于天车挂钩的空间坐标的集合,确定天车挂钩的第一坐标位置。其中,激光雷达将获取到的第一空间坐标位置发送至主控单元。在主控单元接收到第一空间坐标位置之后,由主控单元控制球机根据第一空间坐标位置对天车挂钩进行跟踪。
77.如图4所示,为了使球机跟踪挂钩的过程更准确,在一个可选的实施例中,在步骤s21之后,方法还包括:
78.步骤s221:将第一空间坐标位置转化为第二空间坐标位置。
79.步骤s222:控制球机基于第二空间坐标位置对天车挂钩进行实时对焦,以获取天车挂钩的高清图像;其中,第二空间坐标位置为球机能够识别的第二空间坐标位置。
80.在主控单元获取到第一空间坐标位置之后,主控单元可以将第一空间坐标位置转换为第二空间坐标位置。需要说明的是,第二空间坐标位置可以应用于球机,即第二空间坐标位置中的三维坐标可以由球机检测。在得到第二空间坐标位置之后,主控单元控制球机根据第二空间坐标位置对天车挂钩进行实时对焦,以得到天车挂钩的高清图像。即采用了应用于球机的第二空间坐标位置,使得球机可以更准确的确定天车挂钩的位置,并且采用对焦的方式,使得球机获取到的天车挂钩的图像更清晰。
81.可选的,对焦可以为全息自动对焦、手动对焦以及多重对焦的方式,具体方式对此不做具体限定,可由本领域技术人员根据实际情况作出相应设定。
82.为了更便利的跟踪天车挂钩,在一个可选的实施例中,步骤s222中控制球机基于第二空间坐标位置对天车挂钩进行实时对焦,以获取天车挂钩的高清图像,包括:控制球机基于第二空间坐标位置获取其旋转的角度;基于旋转的角度,控制球机对天车挂钩进行实时对焦,以获取天车挂钩的高清图像。
83.主控单元控制球机根据第二空间坐标位置计算得到球机在天车挂钩运动时,跟踪天车挂钩所需旋转的角度。比如:在天车挂钩吊运物体时,天车挂钩实时运动,那么球机为了跟踪天车挂钩,势必需要进行旋转。根据旋转的角度,主控单元控制球机对天车挂钩进行实时对焦,以获取天车挂钩的高清图像。通过计算球机旋转的角度,自动控制球机跟随天车挂钩进行旋转,使得球机跟踪天车挂钩的方式更便利。
84.为了对天车挂钩进行监测,在一个可选的实施例中,方法还包括:控制球机将高清图像发送至天车控制室。
85.主控单元可以和天车控制室建立通信关系,在球机获取到高清图像之后,主控单元控制球机将高清图像发送至天车控制室,使得可以对天车挂钩进行实时监测。
86.为了实现低延时的视频流获取,避免由于视频延迟而影响操作人员对挂钩状态的判断,在一个可选的实施例中,方法还包括:
87.控制天车控制室将高清图像的视频流数据进行视频编码。
88.将视频编码后的数据传输至计算单元,以使计算单元基于视频转码解码算法将视频编码后的数据进行解码,得到解码后的数据。
89.控制天车控制室将解码后的数据显示在天车控制室的大屏上。
90.主控单元控制天车控制室将高清图像的视频流数据进行视频编码。需要说明的是,视频编码就是指通过压缩技术,将原始视频格式的文件转换成另一种视频格式文件的方式。该方式可以去除空间、时间维度的冗余。主控单元将视频编码后的数据传输至计算单元,以使计算单元基于视频转码解码算法将视频编码后的数据进行解码,得到解码后的数据。将解码后的数据显示在天车控制室的大屏上。通过这样的方式,可以实现低延时的视频流获取,提高操作人员对挂钩状态的判断的准确性。
91.需要说明的是,视频编解码技术从信息论的观点来看,描述信源的数据是信息和数据冗余之和,比如:数据=信息+数据冗余。数据冗余有许多种,如空间冗余、时间冗余、视觉冗余、统计冗余等。将图像作为一个信源,视频压缩编码的实质是减少图像中的冗余。
92.在一个可选的实施例中,降低视频延时的视频解码算法过程可以为:通过视屏编解码技术,首先将球机获取到的视频流数据进行视频编码,然后将数据通过网络传输给计算单元,计算单元通过解码技术,将视频流数据解码后,最终在前端进行视频显示。
93.本技术对比现有技术中,通过激光雷达扫描天车挂钩,以获取三维坐标。在获取到三维坐标之后,进行稠密点云建模,并且利用点云分割以及识别算法,以使天车挂钩的空间坐标位置确定的更准确,主控单元根据准确的空间坐标位置控制球机对天车挂钩进行跟踪。因此,本技术能够在进行天车挂钩跟踪的过程中,实现对天车挂钩的精准定位。
94.另外,通过视频编解码技术可以实现低延时的视频流获取,提高操作人员对挂钩状态的判断的准确性。
95.如图5所示,在一个可选的实施例中,本技术提供了一种天车挂钩的跟踪装置,该装置包括:
96.获取模块51,用于获取天车挂钩的实时位置数据;其中,实时位置数据包括天车挂钩的三维坐标;生成模块52,用于基于三维坐标,对天车挂钩进行稠密点云建模,以生成三维建模模型;其中,稠密点云建模为基于天车挂钩的多个外观表面点数的集合,以生成三维建模模型;识别模块53,用于基于三维建模模型,识别天车挂钩的第一空间坐标位置;第一发送模块54,用于向主控单元发送第一空间坐标位置,以使主控单元控制球机根据第一空间坐标位置对天车挂钩进行跟踪。
97.具体的,在本技术中,可以由激光雷达作为本技术的执行主体,激光雷达和天车挂钩建立通信关系。其中,激光雷达可以扫描工作现场的环境,并对天车挂钩进行实时位置数据。需要说明的是,实时位置数据包括天车挂钩的三维坐标(比如:x、y、z三轴)。其中,在激光雷达获取到天车挂钩的三维坐标之后,激光雷达根据三维坐标进行稠密点云,并建立三维建模模型。需要说明的是,在进行稠密点云之后,获取到很多个点,基于很多个点建立三维建模模型。其中,激光雷达在建立三维建模模型之后,可以识别出天车挂钩的第一空间坐标位置。即可以识别出构成天车挂钩的多个点的集合,并将多个点的多个空间坐标识别出来,以确定天车挂钩的第一空间坐标位置。即可以通过确定多个属于天车挂钩的空间坐标的集合,确定天车挂钩的第一坐标位置。其中,激光雷达可以和主控单元建立通信关系,主
控单元可以和球机建立通信关系,其中,激光雷达将获取到的第一空间坐标位置发送至主控单元。在主控单元接收到第一空间坐标位置之后,由主控单元控制球机根据第一空间坐标位置对天车挂钩进行跟踪。
98.可选的,识别模块53,用于将三维建模模型中多个空间坐标进行分类,以使具有相同特征的空间坐标划分到同一区域内;利用识别算法对空间坐标进行识别,以得到天车挂钩的第一空间坐标位置。
99.激光雷达在建立三维建模模型之后,将三维建模模型中多个空间坐标进行分类,将具有相同特征的空间坐标划分到同一区域内。即点云分割算法,需要说明的是,特征可以表征为一事物异于其他事物的特点。那么相同特征可以表征为多个事物特点是一致的,比如:在三维建模模型中的多个用于表征天车挂钩的点,就可以划分到用一区域内。在将具有相同特征的空间坐标划分到同一区域内之后,利用识别算法对空间坐标进行识别,以得到天车挂钩的第一空间坐标位置。本技术通过点云分割以及识别算法可以更准确的识别出天车挂钩。
100.本技术对比现有技术中,通过激光雷达扫描天车挂钩,以获取三维坐标。在获取到三维坐标之后,进行稠密点云建模,并且利用点云分割以及识别算法,以使天车挂钩的空间坐标位置确定的更准确,主控单元根据准确的空间坐标位置控制球机对天车挂钩进行跟踪。因此,本技术能够在进行天车挂钩跟踪的过程中,实现对天车挂钩的精准定位。
101.如图6所示,在一个可选的实施例中,本技术提供了一种天车挂钩的跟踪装置,该装置包括:接收模块61,用于接收激光雷达发送的第一空间坐标位置;其中,第一空间坐标位置为激光雷达获取天车挂钩的实时位置数据;其中,实时位置数据包括天车挂钩的三维坐标;激光雷达基于三维坐标,对天车挂钩进行稠密点云建模,以生成三维建模模型;其中,稠密点云建模为基于天车挂钩的多个外观表面点数的集合,以生成三维建模模型;激光雷达基于三维建模模型,识别天车挂钩的第一空间坐标位置;第二发送模块62,用于控制球机根据第一空间坐标位置对天车挂钩进行跟踪。
102.可以由主控单元作为本实施例的执行主体,主控单元分别与激光雷达以及球机建立通信关系。激光雷达可以扫描工作现场的环境,并对天车挂钩进行实时位置数据。需要说明的是,实时位置数据包括天车挂钩的三维坐标(比如:x、y、z三轴)。主控单元接收到激光雷达发送的三维坐标,其中,在激光雷达获取到天车挂钩的三维坐标之后,激光雷达根据三维坐标进行稠密点云,并建立三维建模模型。需要说明的是,在进行稠密点云之后,获取到很多个点,基于很多个点建立三维建模模型。其中,激光雷达在建立三维建模模型之后,可以识别出天车挂钩的第一空间坐标位置。即可以识别出构成天车挂钩的多个点的集合,并将多个点的多个空间坐标识别出来,以确定天车挂钩的第一空间坐标位置。即可以通过确定多个属于天车挂钩的空间坐标的集合,确定天车挂钩的第一坐标位置。其中,激光雷达将获取到的第一空间坐标位置发送至主控单元。在主控单元接收到第一空间坐标位置之后,由主控单元控制球机根据第一空间坐标位置对天车挂钩进行跟踪。
103.可选的,装置还包括:转化模块,用于将第一空间坐标位置转化为第二空间坐标位置;对焦模块,用于控制球机基于第二空间坐标位置对天车挂钩进行实时对焦,以获取天车挂钩的高清图像;其中,第二空间坐标位置为球机能够识别的第二空间坐标位置。
104.在主控单元获取到第一空间坐标位置之后,主控单元可以将第一空间坐标位置转
换了第二空间坐标位置。需要说明的是,第二空间坐标位置可以应用于球机,即第二空间坐标位置中的三维坐标可以由球机检测。在得到第二空间坐标位置之后,主控单元控制球机根据第二空间坐标位置对天车挂钩进行实时对焦,以得到天车挂钩的高清图像。即采用了应用于球机的第二空间坐标位置,使得球机可以更准确的确定天车挂钩的位置,并且采用对焦的方式,使得获取到的天车挂钩的图像更清晰。
105.可选的,对焦模块,用于控制球机基于第二空间坐标位置获取其旋转的角度;基于旋转的角度,控制球机对天车挂钩进行实时对焦,以获取天车挂钩的高清图像。
106.主控单元控制球机根据第二空间坐标位置计算得到球机在天车挂钩运动时,跟踪天车挂钩所需旋转的角度。比如:在天车挂钩吊运物体时,天车挂钩实时运动,那么球机为了跟踪天车挂钩,势必需要进行旋转。根据旋转的角度,主控单元控制球机对天车挂钩进行实时对焦,以获取天车挂钩的高清图像。通过计算球机旋转的角度,自动控制球机跟随天车挂钩进行旋转,使得球机跟踪天车挂钩的方式更便利。
107.可选的,装置还包括:第一控制模块,用于控制球机将高清图像发送至天车控制室。
108.主控单元可以和天车控制室建立通信关系,在球机获取到高清图像之后,主控单元控制球机将高清图像发送至天车控制室,使得可以对天车挂钩进行实时监测。
109.可选的,装置还包括:第二控制模块,用于控制天车控制室将高清图像的视频流数据进行视频编码;传输模块,用于将视频编码后的数据传输至计算单元,以使计算单元基于视频转码解码算法将视频编码后的数据进行解码,得到解码后的数据;第三控制模块,用于控制天车控制室将解码后的数据显示在天车控制室的大屏上。
110.主控单元控制天车控制室将高清图像的视频流数据进行视频编码,需要说明的是,视频编码就是指通过压缩技术,将原始视频格式的文件转换成另一种视频格式文件的方式。可以去除空间、时间维度的冗余。主控单元将视频编码后的数据传输至计算单元,以使计算单元基于视频转码解码算法将视频编码后的数据进行解码,得到解码后的数据。将解码后的数据显示在天车控制室的大屏上。通过这样的方式,可以实现低延时的视频流获取,提高操作人员对挂钩状态的判断的准确性。
111.本技术对比现有技术中,通过激光雷达扫描天车挂钩,以获取三维坐标。在获取到三维坐标之后,进行稠密点云建模,并且利用点云分割以及识别算法,以使天车挂钩的空间坐标位置确定的更准确,主控单元根据准确的空间坐标位置控制球机对天车挂钩进行跟踪。因此,本技术能够在进行天车挂钩跟踪的过程中,实现对天车挂钩的精准定位。
112.另外,通过视频编解码技术可以实现低延时的视频流获取,提高操作人员对挂钩状态的判断的准确性。
113.应理解,本文中前述关于本技术的方法所描述的具体特征、服务和细节也可类似地应用于本技术的装置和系统,或者,反之亦然。另外,上文描述的本技术的方法的每个步骤可由本技术的装置或系统的相应部件或单元执行。
114.应理解,本技术的装置的各个模块/单元可全部或部分地通过软件、硬件、固件或其组合来实现。各模块/单元各自可以硬件或固件形式内嵌于计算机设备的处理器中或独立于处理器,也可以软件形式存储于计算机设备的存储器中以供处理器调用来执行各模块/单元的服务。各模块/单元各自可以实现为独立的部件或模块,或者两个或更多个模块/
单元可实现为单个部件或模块。
115.在一个实施例中,提供了一种计算机设备,其包括存储器和处理器,存储器上存储有可由处理器执行的计算机指令,计算机指令在由处理器执行时指示处理器执行本技术的方法的各步骤。该计算机设备可以广义地为服务器、终端,或任何其他具有必要的计算和/或处理能力的电子设备。在一个实施例中,该计算机设备可包括通过系统总线连接的处理器、存储器、网络接口、通信接口等。该计算机设备的处理器可用于提供必要的计算、处理和/或控制能力。该计算机设备的存储器可包括非易失性存储介质和内存储器。该非易失性存储介质中或上可存储有服务系统、计算机程序等。该内存储器可为非易失性存储介质中的服务系统和计算机程序的运行提供环境。该计算机设备的网络接口和通信接口可用于与外部的设备通过网络连接和通信。
116.本技术可以实现为一种计算机可读存储介质,其上存储有计算机程序,计算机程序在由处理器执行时导致本技术的方法的步骤被执行。在一个实施例中,计算机程序被分布在网络耦合的多个计算机设备或处理器上,以使得计算机程序由一个或多个计算机设备或处理器以分布式方式存储、访问和执行。单个方法步骤/服务,或者两个或更多个方法步骤/服务,可以由单个计算机设备或处理器或由两个或更多个计算机设备或处理器执行。一个或多个方法步骤/服务可以由一个或多个计算机设备或处理器执行,并且一个或多个其他方法步骤/服务可以由一个或多个其他计算机设备或处理器执行。一个或多个计算机设备或处理器可以执行单个方法步骤/服务,或执行两个或更多个方法步骤/服务。
117.本领域普通技术人员可以理解,本技术方法的步骤可以通过计算机程序来指示相关的硬件如计算机设备或处理器完成,所述的计算机程序可存储于非暂时性计算机可读存储介质中,该计算机程序被执行时导致本技术的方法的步骤被执行。根据情况,本文中对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器的示例包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)、闪存、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘等。易失性存储器的示例包括随机存取存储器(ram)、外部高速缓冲存储器等。
118.以上描述的各技术特征可以任意地组合。尽管未对这些技术特征的所有可能组合进行描述,但这些技术特征的任何组合都应当被认为由本说明书涵盖,只要这样的组合不存在矛盾。
119.尽管结合实施例对本技术进行了描述,但本领域技术人员应理解,上文的描述和附图仅是示例性而非限制性的,本技术不限于所公开的实施例。在不偏离本技术的精神的情况下,各种改型和变体是可能的。

技术特征:
1.一种天车挂钩的跟踪方法,其特征在于,应用于激光雷达,所述方法包括:获取天车挂钩的实时位置数据;其中,所述实时位置数据包括所述天车挂钩的三维坐标;基于所述三维坐标,对所述天车挂钩进行稠密点云建模,以生成三维建模模型;其中,所述稠密点云建模为基于所述天车挂钩的多个外观表面点数的集合,以生成三维建模模型;基于所述三维建模模型,识别所述天车挂钩的第一空间坐标位置;向主控单元发送所述第一空间坐标位置,以使所述主控单元控制球机根据所述第一空间坐标位置对所述天车挂钩进行跟踪。2.根据权利要求1所述的天车挂钩的跟踪方法,其特征在于,所述基于所述三维建模模型,识别所述天车挂钩的第一空间坐标位置,包括:将所述三维建模模型中多个空间坐标进行分类,以使具有相同特征的空间坐标划分到同一区域内;利用识别算法对所述空间坐标进行识别,以得到所述天车挂钩的第一空间坐标位置。3.一种天车挂钩的跟踪方法,其特征在于,应用于主控单元,所述方法包括:接收激光雷达发送的第一空间坐标位置;其中,所述第一空间坐标位置为所述激光雷达获取天车挂钩的实时位置数据;其中,所述实时位置数据包括所述天车挂钩的三维坐标;激光雷达基于所述三维坐标,对所述天车挂钩进行稠密点云建模,以生成三维建模模型;其中,所述稠密点云建模为基于所述天车挂钩的多个外观表面点数的集合,以生成三维建模模型;激光雷达基于所述三维建模模型,识别所述天车挂钩的第一空间坐标位置;控制球机根据所述第一空间坐标位置对所述天车挂钩进行跟踪。4.根据权利要求3所述的天车挂钩的跟踪方法,其特征在于,在接收激光雷达发送的第一空间坐标位置之后,所述方法还包括:将所述第一空间坐标位置转化为第二空间坐标位置;控制所述球机基于所述第二空间坐标位置对所述天车挂钩进行实时对焦,以获取所述天车挂钩的高清图像;其中,所述第二空间坐标位置为所述球机能够识别的所述第二空间坐标位置。5.根据权利要求4所述的天车挂钩的跟踪方法,其特征在于,所述控制所述球机基于所述第二空间坐标位置对所述天车挂钩进行实时对焦,以获取所述天车挂钩的高清图像,包括:控制所述球机基于所述第二空间坐标位置获取其旋转的角度;基于所述旋转的角度,控制所述球机对所述天车挂钩进行实时对焦,以获取所述天车挂钩的高清图像。6.根据权利要求5所述的天车挂钩的跟踪方法,其特征在于,在基于所述旋转的角度,控制所述球机对所述天车挂钩进行实时对焦,以获取所述天车挂钩的高清图像之后,所述方法还包括:控制所述球机将所述高清图像发送至天车控制室。7.根据权利要求6所述的天车挂钩的跟踪方法,其特征在于,在控制所述球机将所述高清图像发送至天车控制室之后,所述方法还包括:
控制所述天车控制室将所述高清图像的视频流数据进行视频编码;将所述视频编码后的数据传输至计算单元,以使所述计算单元基于视频转码解码算法将所述视频编码后的数据进行解码,得到解码后的数据;控制所述天车控制室将所述解码后的数据显示在所述天车控制室的大屏上。8.一种天车挂钩的跟踪装置,其特征在于,所述装置包括:获取模块,用于获取天车挂钩的实时位置数据;其中,所述实时位置数据包括所述天车挂钩的三维坐标;生成模块,用于基于所述三维坐标,对所述天车挂钩进行稠密点云建模,以生成三维建模模型;其中,所述稠密点云建模为基于所述天车挂钩的多个外观表面点数的集合,以生成三维建模模型;识别模块,用于基于所述三维建模模型,识别所述天车挂钩的第一空间坐标位置;第一发送模块,用于向主控单元发送所述第一空间坐标位置,以使所述主控单元控制球机根据所述第一空间坐标位置对所述天车挂钩进行跟踪。9.一种电子设备,其特征在于,所述电子设备包括:处理器以及存储有计算机程序指令的存储器;所述处理器执行所述计算机程序指令时实现如权利要求1-2任意一项所述的天车挂钩的跟踪的方法;或所述处理器执行所述计算机程序指令时实现如权利要求3-7任意一项所述的天车挂钩的跟踪的方法。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-2任意一项所述的天车挂钩的跟踪的方法;或所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求3-7任意一项所述的天车挂钩的跟踪的方法。

技术总结
本申请提供了一种天车挂钩的跟踪方法、装置、电子设备及计算机可读存储介质,该方法包括:获取天车挂钩的实时位置数据;其中,实时位置数据包括天车挂钩的三维坐标;基于三维坐标,对天车挂钩进行稠密点云建模,以生成三维建模模型;其中,稠密点云建模为基于天车挂钩的多个外观表面点数的集合,以生成三维建模模型;基于三维建模模型,识别天车挂钩的第一空间坐标位置;向主控单元发送第一空间坐标位置,以使主控单元控制球机根据第一空间坐标位置对天车挂钩进行跟踪。本申请能够在进行天车挂钩跟踪的过程中,实现对天车挂钩的精准定位。位。位。


技术研发人员:蒋开文 陈仁 孙银健 刘石岩 郭敬
受保护的技术使用者:北京瓦特曼智能科技有限公司
技术研发日:2022.05.23
技术公布日:2022/11/1
转载请注明原文地址: https://tieba.8miu.com/read-4582.html

最新回复(0)