本发明涉及人工智能,尤其涉及一种基于深度视觉的智能养老服务机器人。
背景技术:
1、在智能养老服务机器人技术领域,零样本目标导航(zson,zero-shot objectgoal navigation)被视为实现高效操作的关键能力。这一技术允许智能养老服务机器人在没有任何针对特定目标物体的训练数据的情况下,通过视觉观察、语义理解和运动规划,导航到指定的目标物体的位置,并执行针对目标物体的目标任务(如打开冰箱门)。当前的导航方法主要依赖于视觉语言模型来识别物体,并判断物体是目标还是障碍物。然后,使用传统的路径规划算法生成导航路径,引导智能养老服务机器人直接到达目标位置。然而,这种方法并没有考虑导航和操作之间的衔接问题。在实际应用中,智能养老服务机器人不仅需要到达目标位置,还需要以正确的方向和对齐方式定位,以便能够顺利执行后续的操作任务。例如,当导航系统引导智能养老服务机器人到达冰箱时,如果智能养老服务机器人被定位在不切实际的一侧或后部,将无法有效地打开冰箱门进行进一步的操作。同样,对于像坐在沙发上这样的任务,智能养老服务机器人必须正确面对沙发并定位为舒适地坐下,而不仅仅是到达沙发附近。
技术实现思路
1、本发明提供一种基于深度视觉的智能养老服务机器人,用以在智能养老服务机器人接收到针对目标物体执行的目标任务后,将智能养老服务机器人引导到目标物体附近的适合执行目标任务的区域。
2、一种基于深度视觉的智能养老服务机器人,包括机器人控制中台、第一导航模块、第一获取模块、第一确定模块、第二获取模块、第二确定模块和第二导航模块;所述机器人控制中台分别与所述第一导航模块、所述第一获取模块、所述第一确定模块、所述第二获取模块、所述第二确定模块和所述第二导航模块连接,对各个模块进行管理和控制;
3、所述第一导航模块,用于响应于接收到目标用户针对目标物体执行的目标任务,利用预设导航算法,引导智能养老服务机器人到达位于所述目标物体预设范围内的第一目标区域;其中,所述第一目标区域的坐标是根据所述智能养老服务机器人的历史巡检记录确定的;
4、所述第一获取模块,用于获取所述第一目标区域附近的点云数据信息以及所述目标物体的点云数据信息;
5、所述第一确定模块,用于根据所述第一目标区域附近的点云数据信息以及所述目标物体的点云数据信息,在所述目标物体周围确定多个候选区域;
6、第二获取模块,用于将所述多个候选区域,投影到所述智能养老服务机器人到达所述第一目标区域后,面对所述目标物体时拍摄的图像上,得到携带所述多个候选区域信息的第一图像数据;
7、所述第二确定模块,用于利用视觉语言模型,根据所述第一图像数据和所述目标任务的信息,从所述多个候选区域中确定第二目标区域;
8、所述第二导航模块,用于利用预设导航算法,引导所述智能养老服务机器人到达所述第二目标区域,以使所述智能养老服务机器人基于所述第二目标区域,执行所述目标任务。
9、本发明还提供一种基于深度视觉的智能养老服务方法,包括:
10、响应于接收到目标用户针对目标物体执行的目标任务,利用预设导航算法,引导智能养老服务机器人到达位于所述目标物体预设范围内的第一目标区域;所述第一目标区域的坐标是根据所述智能养老服务机器人的历史巡检记录确定;
11、获取所述第一目标区域附近的点云数据信息以及所述目标物体的点云数据信息;
12、根据所述第一目标区域附近的点云数据信息以及所述目标物体的点云数据信息,在所述目标物体周围确定多个候选区域;
13、将所述多个候选区域,投影到所述智能养老服务机器人到达所述第一目标区域后,面对所述目标物体时拍摄的图像上,得到携带所述多个候选区域信息的第一图像数据;
14、利用视觉语言模型,根据所述第一图像数据和所述目标任务的信息,从所述多个候选区域中确定第二目标区域;
15、利用预设导航算法,引导所述智能养老服务机器人到达所述第二目标区域,以使所述智能养老服务机器人基于所述第二目标区域,执行所述目标任务。
16、本发明还提供一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一项所述的基于深度视觉的智能养老服务方法。
17、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的基于深度视觉的智能养老服务方法。
18、本发明还提供一种计算机产品,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的基于深度视觉的智能养老服务方法。
19、本发明提供的基于深度视觉的智能养老服务机器人包括机器人控制中台、第一导航模块、第一获取模块、第一确定模块、第二获取模块、第二确定模块和第二导航模块;机器人控制中台分别与第一导航模块、第一获取模块、第一确定模块、第二获取模块、第二确定模块和第二导航模块连接,对各个模块进行管理和控制,在智能养老服务机器人接收到针对目标物体执行的目标任务的情况下,利用预设导航算法,引导智能养老服务机器人到达位于目标物体预设范围内的第一目标区域;根据第一目标区域附近的点云数据信息以及目标物体的点云数据信息,在目标物体周围确定多个候选区域;将多个候选区域,投影到智能养老服务机器人到达第一目标区域后,面对目标物体时拍摄的图像上,得到携带多个候选区域信息的第一图像数据;利用视觉语言模型强大的语义理解能力以及图像处理能力,根据第一图像数据和目标任务的信息,从多个候选区域中确定适合执行目标任务的第二目标区域;利用预设导航算法,引导智能养老服务机器人到达第二目标区域,以使智能养老服务机器人基于第二目标区域,执行目标任务,从而减少了智能养老服务机器人导航的目的地和执行目标任务的地点之间的距离,有效提高了智能养老服务机器人在预设范围内执行任务的效率和灵活性。
1.一种基于深度视觉的智能养老服务机器人,其特征在于,智能养老服务机器人包括机器人控制中台、第一导航模块、第一获取模块、第一确定模块、第二获取模块、第二确定模块和第二导航模块;所述机器人控制中台分别与所述第一导航模块、所述第一获取模块、所述第一确定模块、所述第二获取模块、所述第二确定模块和所述第二导航模块连接,对各个模块进行管理和控制;
2.一种基于深度视觉的智能养老服务方法,其特征在于,包括:
3.根据权利要求2所述的基于深度视觉的智能养老服务方法,其特征在于,所述根据所述第一目标区域附近的点云数据信息以及所述目标物体的点云数据信息,在所述目标物体周围确定多个候选区域,包括:
4.根据权利要求3所述的基于深度视觉的智能养老服务方法,其特征在于,所述利用所述携带点云数据信息的二维栅格地图,在所述目标物体周围确定多个候选区域,包括:
5.根据权利要求2所述的基于深度视觉的智能养老服务方法,其特征在于,所述利用视觉语言模型,根据所述第一图像数据和所述目标任务的信息,从所述多个候选区域中确定第二目标区域,包括:
6.根据权利要求5所述的基于深度视觉的智能养老服务方法,其特征在于,所述方法还包括:
7.根据权利要求2所述的基于深度视觉的智能养老服务方法,其特征在于,利用以下方法,确定所述第一目标区域的坐标:
8.一种电子设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求2-7任一项所述的基于深度视觉的智能养老服务方法。
9.一种非暂态计算机可读存储介质,其特征在于,所述存储介质中存储有计算机软件程序,所述计算机软件程序被处理器执行时实现如权利要求2-7任一项所述的基于深度视觉的智能养老服务方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求2-7任一项所述基于深度视觉的智能养老服务方法。
