本发明属于港口智能装备,具体涉及一种基于大语言模型的多清舱机器人交互式控制方法及系统。
背景技术:
1、新一代航运系统的建设对水路交通运输过程的智能化水平提出了更高的要求,在这个过程中,散货港口智能化和自动化作业技术备受关注。尽管如今散货船港口的门机自动化水平较高,但受限于人工清舱,整体自动化卸货仍未完全实现。少部分发达地区的港口实现了简单的远程控制清舱作业,但依旧存在岸端门机/卸船设备与舱内清舱机器人混合作业协同性差、混合作业危险系数高和远程作业智能化程度低等问题。作为实现散货船全自动卸货的最后障碍,清舱一直影响着卸货过程的自动化程度和工作效率。
2、受限于复杂的清舱工艺流程,现阶段舱内清舱设备难以实现无人化全自主清舱作业,而人工一对一地远程操控舱内清舱设备又无法降低人工成本,同时清舱作业效率也不高,影响整体的自动化程度和工作效率。
3、因此,需要设计一种新的清舱机器人控制方法,提高清舱作业效率。
技术实现思路
1、有鉴于此,本发明提出了一种基于大语言模型的多清舱机器人交互式控制方法及系统,用于解决散货船清舱机器人的清舱作业效率不高的问题。
2、本发明第一方面,公开了一种基于大语言模型的多清舱机器人交互式控制方法,所述方法包括:
3、构建清舱指令范式模版,通过清舱指令范式模版将清舱语音指令转换为清舱机器人可执行的清舱指令范式,并建立清舱数据集;
4、通过清舱数据集训练大语言模型,得到清舱语言理解模型;
5、获取待处理的散货船舱的清舱语音指令,并根据清舱语言理解模型生成清舱指令范式;
6、建立散货船舱内的实时地图,结合清舱指令范式进行各个清舱机器人的路径规划;
7、分别按照清舱指令范式对应的路径规划结果进行多舱室、多清舱机器人协同作业。
8、在以上技术方案的基础上,优选的,所述清舱指令范式模版包括作业顺序、起点、终点、动作关键词、清舱作业效果、循环判断、暂停作业和辅助信息;
9、所述作业顺序为清舱机器人在不同作业位置之间的移动作业顺序;
10、所述起点和终点为单次作业中的起始点和终止点;
11、所述动作关键词是单次作业中两个位置之间的清舱动作;所述动作关键词包括铲、推、堆、刮和卸料;
12、所述清舱作业效果按照清舱作业的需求设置;
13、所述循环判断用于根据循环判断条件判断单次作业的是否需要重复执行;
14、所述暂停作业用于记录需要临时停止动作的时间;
15、所述辅助信息用于功能拓展。
16、在以上技术方案的基础上,优选的,所述建立清舱数据集具体包括:
17、以清舱语音指令为样本属性、以对应的清舱指令范式为样本标签构建样本数据,形成清舱数据集;
18、构建标准清舱动作库,用于存储清舱作业的动作关键词;
19、从语言习惯、动作关键词两个角度对清舱数据集进行扩充。
20、在以上技术方案的基础上,优选的,所述结合清舱指令范式进行各个清舱机器人的路径规划具体包括:
21、根据散货船舱内的实时地图确定清舱机器人的位置与堆料的位置;
22、根据清舱指令范式确定清舱作业的起点和终点;
23、通过自适应改进的a-star算法为清舱机器人规划最优路径;所述自适应改进的a-star算法的评价函数为:
24、;
25、其中, i表示当前节点, i=1,2,…, n, n表示节点总数,为起点通过当前节点到终点的代价值,为综合代价函数,用于计算起点到当前节点的代价值;为启发函数,用于计算当前节点到终点的估计值;
26、所述综合代价函数的表达式如下:
27、
28、其中,分别代表物料代价函数、清舱动作代价函数、清舱作业效果代价函数、清舱拐角平滑代价函数,分别为对应的权重系数;
29、所述启发函数的表达式如下:
30、
31、其中,为起点坐标,为终点坐标。
32、在以上技术方案的基础上,优选的,其特征在于,所述物料代价函数的表达式为:
33、
34、其中,表示第个节点的物料高度,表示物料成本最大时的物料高度,表示物料成本随物料高度变化的程度,表示临界状态下的物料高度,和均为常系数。
35、在以上技术方案的基础上,优选的,其特征在于,所述清舱动作代价函数的表达式如下:
36、
37、其中,分别为清舱动作铲、推、堆、刮代、卸料的代价值,分别为各清舱动作代价值的权重系数;
38、所述清舱作业效果代价函数的表达式如下:
39、
40、其中,分别为四类清舱作业效果的代价值,分别为各清舱作业效果代价值的权重系数。
41、在以上技术方案的基础上,优选的,所述清舱拐角平滑代价函数的数学表达式为:
42、
43、其中,为对已知的 m个拐角路径样例数据进行线性回归拟合得到的目标函数,为第 t个样例数据的输入值,为第 t个样例数据的拟合输出值,为第 t个样例数据的真实输出值, m代表样本数据的总量, t=1,2,…, m。
44、本发明第二方面,公开了一种基于大语言模型的多清舱机器人交互式控制系统,所述系统包括:
45、多机远程模拟驾驶器:用于通过人机交互界面、操纵手柄和远程切换按钮进行多个清舱机器人的远程控制;
46、多舱室视景显示系统:用于展示各个清舱机器人的工作状态和舱室内的实时点云;
47、智能清舱交互系统:用于建立交互式多清舱作业模式,分别按照对应的作业模式和路径规划结果控制多机器人远程操控系统进行多舱室、多清舱机器人协同作业,并根据清舱进度自动切换各个舱清机器人的作业模式;
48、多机器人远程操控系统:用于建立各个清舱机器人与多机远程模拟驾驶器、智能清舱交互系统的通信,并接收多机器人远程操控系统和智能清舱交互系统的控制指令,进行各个清舱机器人的操控。
49、在以上技术方案的基础上,优选的,所述建立交互式多清舱作业模式,分别按照对应的作业模式和路径规划结果进行多舱室、多清舱机器人协同作业具体包括:
50、将清舱过程顺次划分为机器人自主清舱、语音交互清舱和人工远程操控清舱三个环节;
51、为三个环节分别设计对应的自主清舱作业模式、语音交互清舱作业模式和人工远程操控清舱作业模式;
52、其中,自主清舱作业模式是指在舱室内有大量物料的情况下,清舱机器人在舱室内实现自主导航、避障和路径规划,并执行清舱任务;
53、语音交互清舱作业模式是通过构建清舱指令范式模版将清舱语音指令转换为清舱机器人可执行的清舱指令范式,并建立清舱数据集;通过清舱数据集训练大语言模型,得到清舱语言理解模型;在舱室内剩下分散物料时,操作人员输入清舱语音指令,清舱语言理解模型根据清舱语音指令生成清舱指令范式,建立散货船舱内的实时地图,结合清舱指令范式进行各个清舱机器人的路径规划;清舱机器人在舱室内按照清舱指令范式对应的路径规划结果执行清舱任务;
54、人工远程操控清舱作业模式是指操作人员通过多机远程模拟驾驶器远程控制清舱机器人在易发生碰撞的危险区域执行清舱任务;
55、多个舱室的清舱机器人分别按照对应的作业模式同时进行对应舱室的清舱作业。
56、在以上技术方案的基础上,优选的,所述根据清舱进度自动切换各个舱清机器人的作业模式具体包括:
57、建立舱清机器人作业模式自适应切换评价指标,所述评价指标包括铲装作业时间、铲装作业的完成度、与船舱侧壁的距离、机器人周围的障碍物程度、规划路径的曲折度和作业路径与规划路径重复度;通过作业模式自适应切换评价体系评价各个清舱机器人的任务完成等级;
58、利用多层次的模糊综合评价法构建作业模式自适应切换评价体系,并计算各个评价指标的权重;
59、根据各个清舱机器人的任务完成等级判断是否需要切换作业模式,进行作业模式自动切换。
60、本发明相对于现有技术具有以下有益效果:
61、1)本发明通过构建清舱指令范式模版来构建清舱数据集,并训练大语言模型,实现了操作人员的清舱语音指令至清舱机器人可执行的清舱指令范式的转换,可以基于语音交互控制对特定的区域进行精细化的清舱作业,强化了清舱的无人作业能力,并可以实现散货船内多个货舱同时进行无人化清舱作业,无需人员跨舱/舱内作业,从而降低清舱作业的人力成本和设备待机时间,有效提升清舱作业的安全性和清舱效率。
62、2)本发明构建了标准清舱动作库,充分考虑多语种、多方言、语言表达逻辑和表达流畅性的影响,从语言习惯、动作关键词两个角度对清舱数据集进行扩充,该数据集扩充方式丰富了清舱数据集,一方面,可以帮助清舱语言理解模型更好地处理语言变体和方言细微差异,改善对特定语境的理解、翻译和容错能力,极大降低了操作人员在语音交互时的难度,提高处理多语言场景下的准确率和性能表现;另一方面丰富了清舱动作关键词,使得清舱语言理解模型生成更准确的清舱指令范式,极大降低了操作人员在语音交互时的难度,进而提升清舱作业的准确度。
63、3)本发明结合清舱指令范式,通过自适应改进的a-star算法对各个清舱机器人进行路径规划,优化了a-star算法的启发函数,相较于常见的欧式距离、曼哈顿距离等方式,本发明优化后的启发函数访问节点更少路径更贴近实际的节点;此外,本发明从物料代价、清舱动作、清舱作业效果,清舱拐角的平滑四个层次考虑清舱机器人在进行作业时的综合代价函数,为清舱机器人规划最优路径,可以有效提高语音交互清舱作业的效率、质量和节能水平。
64、4)本发明设计了基于大语言模型的多清舱机器人交互式控制系统,将清舱过程顺次划分为清舱机器人自主清舱、语音交互清舱和人工远程操控清舱三个环节,并为每个环节设计了对应的清舱作业模式,使一个操作人员可以控制多个清舱机器人在多个船舱内同时作业,实现“单人对多机”清舱作业,在提升自动化水平的基础上实现降本增效,提高作业效率。
65、5)本发明利用多层次的模糊综合评价法建立了作业模式自适应切换评价体系,来评价各个清舱机器人的任务完成等级,根据各个清舱机器人的任务完成等级自主切换作业模式,实现了机器人自主清舱、语音交互清舱和人工远程操控清舱三种清舱作业模式的实时动态调整,可以优化资源配置,并能快速适应变化的工作环境和要求,提高清舱速度和灵活性。
66、6)本发明的基于大语言模型的多清舱机器人交互式控制系统能有效降低清舱过程的危险性并提高清工作效率,有利于散货码头行业内装备技术水平以及港口整体运行效率的提升,应用潜力巨大,推广前景广阔。
1.一种基于大语言模型的多清舱机器人交互式控制方法,其特征在于,所述方法包括:
2.根据权利要求1所述的基于大语言模型的多清舱机器人交互式控制方法,其特征在于,所述清舱指令范式模版包括作业顺序、起点、终点、动作关键词、清舱作业效果、循环判断、暂停作业和辅助信息;
3.根据权利要求2所述的基于大语言模型的多清舱机器人交互式控制方法,其特征在于,所述建立清舱数据集具体包括:
4.根据权利要求2所述的基于大语言模型的多清舱机器人交互式控制方法,其特征在于,所述结合清舱指令范式进行各个清舱机器人的路径规划具体包括:
5.根据权利要求4所述的基于大语言模型的多清舱机器人交互式控制方法,其特征在于,所述物料代价函数的表达式为:
6.根据权利要求4所述的基于大语言模型的多清舱机器人交互式控制方法,其特征在于,所述清舱动作代价函数的表达式如下:
7.根据权利要求4所述的基于大语言模型的多清舱机器人交互式控制方法,其特征在于,所述清舱拐角平滑代价函数的数学表达式为:
8.使用权利要求1~7任一项所述方法的一种基于大语言模型的多清舱机器人交互式控制系统,其特征在于,所述系统包括:
9.根据权利要求8所述的基于大语言模型的多清舱机器人交互式控制系统,其特征在于,所述建立交互式多清舱作业模式,分别按照对应的作业模式和路径规划结果进行多舱室、多清舱机器人协同作业具体包括:
10.根据权利要求9所述的基于大语言模型的多清舱机器人交互式控制系统,其特征在于,所述根据清舱进度自动切换各个舱清机器人的作业模式具体包括: