本发明涉及机械设备的姿态生成，尤其涉及一种工程机械设备的姿态生成方法、装置、终端设备及存储介质。
背景技术：
1、在施工现场，工程机械设备(比如吊车和挖掘机)的移动和操作可能会与周围的输电线路、建筑物或其他设备产生碰撞风险。通过对这些设备的姿态(如静止、工作中或异常)进行实时识别，可以提前预警潜在的危险，防止事故发生。而且通过对吊车或挖掘机这些工程机械设备的姿态识别还可以帮助划定安全作业区域，以确保设备在允许的范围内操作，避免超出安全界限。
2、而现有技术在对工程机械设备的姿态进行识别时，常通过截取实时监测视频帧中工程机械设备的整体姿态图像，从而通过边缘检测、轮廓提取等图像处理技术，识别出工程机械设备的整体轮廓后，基于整体轮廓来判断出工程机械设备在施工现场的姿态，比如静止状态、工作状态(如吊车正在起吊、挖掘机正在挖掘)以及异常姿态(如倾斜过度、不平衡等)。但是在复杂的地形和环境条件下作业，如泥泞以及崎岖不平的地面，工程机械设备即使处于静止状态下，其对应的整体轮廓也不会跟在常规地形中的整体轮廓一样，则在泥泞、崎岖不平的地面或其他非标准作业环境中，工程机械设备的整体轮廓会因地面条件而发生显著变化，且工程机械设备的姿态与部件间的相对位置会发生关联性的变化，这些变化可能远远超出在常规地形中的预期。则在这种情况下，仅依赖整体轮廓的识别方法会存在明显的局限性，导致无法准确地确定出工程机械设备的实际姿态，从而不能及时地预警潜在的危险。
技术实现思路
1、本发明实施例提供了一种工程机械设备的姿态生成方法、装置、终端设备及存储介质，能够使得姿态的判定与工程机械设备当前各个部件的相对角度和相对长度比例关系相关，能够准确地确定出工程机械设备的实际姿态，能有效解决现有技术中在非标准作业环境中仅依赖整体轮廓的识别方法存在明显的局限性，导致无法准确地确定出工程机械设备的实际姿态的问题。
2、本发明一实施例提供了一种工程机械设备的姿态生成方法，包括：
3、获取包含有若干个工程机械设备的待识别图像；
4、将所述待识别图像输入到预设的节点预测模型中，以使所述节点预测模型对待识别图像中的每个工程机械设备均标注出一个对应的标定框，且在每个标定框中标注出目标节点后，生成已识别图像；所述目标节点包括：工程机械设备的车体中心点、车体与机械臂首端的连接点、机械臂末端与外部工具的铰接点、机械臂上用于连接连杆的关节点以及外部工具的底点；
5、对于已识别图像中的每一工程机械设备，根据对应的各个目标节点在标定框内的坐标信息，生成车体与机械臂之间的目标角度以及目标长度比例；继而将目标角度与目标长度比例分别与预设的角度阈值和长度比例阈值进行比对，根据比对结果确定出工程机械设备的姿态；其中，所述姿态包括：静止状态、工作状态或异常姿态；
6、其中，所述预设的节点预测模型的训练过程，包括：
7、以包含有若干个工程机械设备的图像样本数据作为节点预测模型的输入，以图像样本数据中每一工程机械设备的实际标定框以及每一工程机械设备中各个实际的标注点作为节点预测模型的输出，对节点预测模型进行迭代训练，直至节点预测模型收敛；其中，所述实际的标注点为在图像样本数据中的工程机械设备的车体中心标注点、车体与机械臂首端的连接标注点、机械臂末端与外部工具的铰接标注点或机械臂上用于连接连杆的关节标注点。
8、优选地，所述工程机械设备，包括：挖掘机；所述机械臂末端与外部工具的铰接点为：机械臂末端与铲斗的铰接点；所述外部工具的底点为：铲斗底部的底点；
9、所述根据对应的各个目标节点在标定框内的坐标信息，生成车体与机械臂之间的目标角度以及目标长度比例，包括：
10、获取工程机械设备的车体中心点、车体与机械臂首端的连接点、机械臂末端与铲斗的铰接点、机械臂上用于连接连杆的关节点以及铲斗底部的底点分别在标定框内的坐标信息；
11、根据车体与机械臂首端的连接点的坐标信息、机械臂上用于连接连杆的关节点的坐标信息以及铲斗底部的底点的坐标信息，生成车体与机械臂之间的目标角度；
12、根据工程机械设备的车体中心点的坐标信息、机械臂上用于连接连杆的关节点的坐标信息以及机械臂末端与铲斗的铰接点的坐标信息，生成车体中心点与关节点之间的第一距离以及车体中心点与铰接点之间的第二距离；
13、根据所述第一距离与所述第二距离之间的比例，确定出车体与机械臂之间的目标长度比例。
14、优选地，所述将目标角度与目标长度比例分别与预设的角度阈值和长度比例阈值进行比对，根据比对结果确定出工程机械设备的姿态，包括：
15、根据铲斗底部的底点的坐标信息与车体中心点的坐标信息，生成机械臂末端与车身中心点之间的第三距离；
16、将所述目标角度与预设的角度阈值进行比对，在判定所述目标角度小于预设的角度阈值时，则将第三距离与预设的距离阈值进行比对，在判定第三距离小于预设的距离阈值时，则判定工程机械设备的姿态为静止状态且机械臂与车身对齐；在判定第三距离不小于预设的距离阈值时，则判定工程机械设备的姿态为工作状态；
17、在判定所述目标角度不小于预设的角度阈值时，则将所述目标长度比例与预设的长度比例阈值进行比对，在判定所述目标长度比例小于预设的长度比例阈值时，则判定工程机械设备的姿态为异常状态；在判定所述目标长度比例不小于预设的长度比例阈值时，则判定工程机械设备的姿态为工作状态。
18、优选地，所述工程机械设备，包括：吊机；所述机械臂末端与外部工具的铰接点为：机械臂末端与吊钩的铰接点，所述外部工具的底点为：吊钩底部的底点；
19、所述根据对应的各个目标节点在标定框内的坐标信息，生成车体与机械臂之间的目标角度以及目标长度比例，包括：
20、获取工程机械设备的车体中心点、车体与机械臂首端的连接点、机械臂末端与吊钩的铰接点、机械臂上用于连接连杆的关节点以及吊钩底部的底点分别在标定框内的坐标信息；
21、根据车体中心点的坐标信息、车体与机械臂首端的连接点的坐标信息与吊钩底部的底点的坐标信息，生成车体与机械臂之间的目标角度；
22、根据工程机械设备的车体中心点的坐标信息、机械臂上用于连接连杆的关节点的坐标信息以及机械臂末端与吊钩的铰接点的坐标信息，生成车体中心点与关节点之间的第四距离以及车体中心点与铰接点之间的第五距离；
23、根据所述第四距离与所述第五距离之间的比例，确定出车体与机械臂之间的目标长度比例。
24、优选地，所述将目标角度与目标长度比例分别与预设的角度阈值和长度比例阈值进行比对，根据比对结果确定出工程机械设备的姿态，包括：
25、根据吊钩底部的底点的坐标信息与车体中心点的坐标信息，生成机械臂末端与车身中心点之间的第六距离；
26、将所述目标角度与预设的角度阈值进行比对，在判定所述目标角度小于预设的角度阈值时，则将第六距离与预设的距离阈值进行比对，在判定第六距离小于预设的距离阈值时，则判定工程机械设备的姿态为静止状态且机械臂与车身对齐；在判定第六距离不小于预设的距离阈值时，则判定工程机械设备的姿态为工作状态；
27、在判定所述目标角度不小于预设的角度阈值时，则将所述目标长度比例与预设的长度比例阈值进行比对，在判定所述目标长度比例小于预设的长度比例阈值时，则判定工程机械设备的姿态为异常状态；在判定所述目标长度比例不小于预设的长度比例阈值时，则判定工程机械设备的姿态为工作状态。
28、优选地，所述节点预测模型包括可变形卷积层和输出层；
29、所述在每个标定框中标注出目标节点，包括：
30、对于每一标定框，所述节点预测模型中的可变形卷积层通过一轻量级卷积层预测出标定框中工程机械设备上各个采样点的偏移量；
31、所述可变形卷积层基于各个采样点的偏移量，对标定框中工程机械设备上的点进行非均匀采样，生成工程机械设备上不同部位点的特征信息；
32、所述输出层根据不同部位点的特征信息，标注出工程机械设备上的目标节点。
33、优选地，在每次对节点预测模型进行训练时，将包含有若干个工程机械设备的图像样本数据输入到节点预测模型中，以使所述节点预测模型输出图像样本数据所对应的标定框预测结果以及标定框内各个节点的预测标注结果；
34、将图像样本数据所对应的标定框预测结果以及标定框内各个节点的预测标注结果，与图像样本数据所对应实际标定框以及各个实际的标注点进行分别比对，根据比对结果对节点预测模型的网络参数进行调整。
35、在上述的方法实施例的基础上，本发明对应提供了装置项实施例。
36、本发明一实施例提供了一种工程机械设备的姿态生成装置，包括：图像获取模块、节点识别模块以及姿态确定模块；
37、所述图像获取模块，用于获取包含有若干个工程机械设备的待识别图像；
38、所述节点识别模块，用于将所述待识别图像输入到预设的节点预测模型中，以使所述节点预测模型对待识别图像中的每个工程机械设备均标注出一个对应的标定框，且在每个标定框中标注出目标节点后，生成已识别图像；其中，所述目标节点包括：工程机械设备的车体中心点、车体与机械臂首端的连接点、机械臂末端与外部工具的铰接点、机械臂上用于连接连杆的关节点以及外部工具的底点；
39、所述姿态确定模块，用于对于已识别图像中的每一工程机械设备，根据对应的各个目标节点在标定框内的坐标信息，生成车体与机械臂之间的目标角度以及目标长度比例；继而将目标角度与目标长度比例分别与预设的角度阈值和长度比例阈值进行比对，根据比对结果确定出工程机械设备的姿态；
40、其中，所述预设的节点预测模型的训练过程，包括：
41、以包含有若干个工程机械设备的图像样本数据作为节点预测模型的输入，以图像样本数据中每一工程机械设备的实际标定框以及每一工程机械设备中各个实际的标注点作为节点预测模型的输出，对节点预测模型进行迭代训练，直至节点预测模型收敛；其中，所述实际的标注点为在图像样本数据中的工程机械设备的车体中心标注点、车体与机械臂首端的连接标注点、机械臂末端与外部工具的铰接标注点或机械臂上用于连接连杆的关节标注点。
42、在上述的方法实施例的基础上，本发明对应提供了终端设备项实施例。
43、本发明另一实施例提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述发明实施例所述的一种工程机械设备的姿态生成方法。
44、在上述的方法实施例的基础上，本发明对应提供了存储介质项实施例。
45、本发明另一实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行上述发明实施例所述的一种工程机械设备的姿态生成方法。
46、通过实施本发明具有如下有益效果：
47、本发明实施例提供了一种工程机械设备的姿态生成方法、装置、终端设备及存储介质，本发明通过将包含有若干个工程机械设备的待识别图像输入到预设的节点预测模型中，从而可以使得节点预测模型可以对工程机械设备进行标注且对工程机械设备上的目标节点进行标注，且各个目标节点可为工程机械设备的车体中心点、车体与机械臂首端的连接点、机械臂末端与外部工具的铰接点、机械臂上用于连接连杆的关节点以及外部工具的底点，则实现了对工程机械设备上的各个部件的关键点的标注，最后基于这些点的位置坐标计算出车体与机械臂之间的角度和长度比例，再与预设的阈值进行比较，可以更加准确地识别出工程机械设备的实际姿态。与现有技术相比，本发明通过精确标注出工程机械设备的各个部件的关键点，并基于各个节点的位置信息来判断姿态，使得姿态的判定与工程机械设备当前各个部件的相对角度和相对长度比例相关，而且工程机械设备处于不同姿态时，其内部的各个部件的相对角度和相对长度比例并不会因为地形的变化而不同，因此，即使工程机械设备当前处于泥泞、崎岖不平的地面或其他非标准作业环境中，基于本发明的部件点标注以及角度，以及角度和长度比例的比对，也能够准确地确定出工程机械设备的实际姿态，则本发明能够应对各种复杂多变的作业环境，基于准确识别的姿态信息，能够及时发现工程机械设备可能存在的异常状态(如倾斜过度、不平衡等)，从而及时发出预警，避免事故的发生，提高了施工现场的安全性和效率。
1.一种工程机械设备的姿态生成方法，其特征在于，包括：
2.如权利要求1所述的一种工程机械设备的姿态生成方法，其特征在于，所述工程机械设备，包括：挖掘机；所述机械臂末端与外部工具的铰接点为：机械臂末端与铲斗的铰接点；所述外部工具的底点为：铲斗底部的底点；
3.如权利要求2所述的一种工程机械设备的姿态生成方法，其特征在于，所述将目标角度与目标长度比例分别与预设的角度阈值和长度比例阈值进行比对，根据比对结果确定出工程机械设备的姿态，包括：
4.如权利要求1所述的一种工程机械设备的姿态生成方法，其特征在于，所述工程机械设备，包括：吊机；所述机械臂末端与外部工具的铰接点为：机械臂末端与吊钩的铰接点，所述外部工具的底点为：吊钩底部的底点；
5.如权利要求4所述的一种工程机械设备的姿态生成方法，其特征在于，所述将目标角度与目标长度比例分别与预设的角度阈值和长度比例阈值进行比对，根据比对结果确定出工程机械设备的姿态，包括：
6.如权利要求1所述的一种工程机械设备的姿态生成方法，其特征在于，所述节点预测模型包括可变形卷积层和输出层；
7.如权利要求1所述的一种工程机械设备的姿态生成方法，其特征在于，在每次对节点预测模型进行训练时，将包含有若干个工程机械设备的图像样本数据输入到节点预测模型中，以使所述节点预测模型输出图像样本数据所对应的标定框预测结果以及标定框内各个节点的预测标注结果；
8.一种工程机械设备的姿态生成装置，其特征在于，包括：图像获取模块、节点识别模块以及姿态确定模块；
9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的一种工程机械设备的姿态生成方法。
10.一种存储介质，其特征在于，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行如权利要求1至7中任意一项所述的一种工程机械设备的姿态生成方法。
