1.本技术涉及手势识别技术领域,特别是涉及一种手势识别方法、装置、计算机设备、存储介质。
背景技术:2.手势动作是一种重要的交互方式,随着人机交互技术领域的发展,出现了手势识别技术。手势识别指的是跟踪人类手势、识别其表示和转换为语义上有意义的命令的整个过程。手势识别的研究旨在设计和开发可以将用于设备控制的手势识别为输入并且通过将命令映射为输出的系统。
3.传统的手势识别技术中,通常采用握持类输入设备进行手势识别或基于加速度传感器、惯性传感器进行手势识别。
4.然而,握持类的输入设备的控制较为不精准,且采用加速度传感器或惯性传感器进行手势识别的技术复杂性较高,准确性差,导致手势识别的精确度低。
技术实现要素:5.基于此,有必要针对上述技术问题,提供一种能够提高手势识别的精确度的手势识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
6.第一方面,本技术提供了一种手势识别方法。所述方法包括:获取至少两个手部拉线传感器分别反馈的手势变化信号;所述手部拉线传感器固定在手部;至少两个的手部拉线传感器之间具有连接关系;对于每个手部拉线传感器反馈的手势变化信号,将所述手势变化信号转换为所述手部拉线传感器的拉线移动距离;基于各个所述手部拉线传感器的拉线移动距离,识别所述手部的手势状态信息。
7.第二方面,本技术还提供了一种手势识别装置。所述装置包括:信号获取模块,用于获取至少两个手部拉线传感器分别反馈的位移手势变化信号;所述手部拉线传感器固定在手部;至少两个的手部拉线传感器之间具有连接关系;信息转换模块,用于对于每个手部拉线传感器反馈的手势变化信号,将所述手势变化信号转换为所述手部拉线传感器的拉线移动距离;手势确认模块,用于基于各个所述手部拉线传感器的拉线移动距离,识别所述手部的手势状态信息。
8.在一些实施例中,所述手势状态信息包括手指状态信息,所述至少两个手部拉线传感器包括第一手指拉线传感器以及第二手指拉线传感器,所述第一手指拉线传感器固定在所述手部的第一手指上,所述第二手指拉线传感器固定在所述手部的第二手指上,所述第一手指拉线传感器的拉线头部与所述第二手指拉线传感器具有连接关系;手势确认模块还用于:基于所述第一手指拉线传感器的拉线移动距离,确定所述第一手指与所述第二手指的手指状态信息。
9.在一些实施例中,所述第二手指拉线传感器的拉线头部与所述第一手指拉线传感器具有连接关系,手势确认模块还用于:基于所述第一手指拉线传感器的拉线移动距离以
及所述第二手指拉线传感器的拉线移动距离,确定所述第一手指与所述第二手指的手指状态信息。
10.在一些实施例中,所述至少两个手部拉线传感器还包括第一手背拉线传感器,所述第一手背拉线传感器的拉线头部与所述第一手指拉线传感器具有连接关系,所述第一手背拉线传感器固定在所述手部的手背上;手势确认模块还用于:基于所述第一手背拉线传感器的拉线移动距离,确定所述第一手指的手指状态信息。
11.在一些实施例中,所述手势信息还包括手腕状态信息,所述至少两个手部拉线传感器包括手腕拉线传感器和第二手背拉线传感器,所述手腕拉线传感器的拉线头部与所述第二手背拉线传感器具有连接关系,所述第二手背拉线传感器固定在所述手部的手背上,所述手腕拉线传感器固定在所述手部的手腕上;手势确认模块还用于:基于所述手腕拉线传感器的拉线移动距离,确定所述手腕的手腕状态信息。
12.在一些实施例中,信息转换模块还用于:获取每个手部拉线传感器分别对应的信号距离转换关系;所述信号距离转换关系,为手势变化信号与拉线移动距离之间的转换关系;对于每个手部拉线传感器反馈的手势变化信号,基于所述手部拉线传感器的信号距离转换关系,将所述手势状态信息转换为所述手部拉线传感器的拉线移动距离。
13.第三方面,本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述手势识别方法中的步骤。
14.第四方面,本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述手势识别方法中的步骤。
15.第五方面,本技术还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述手势识别方法中的步骤。
16.上述手势识别方法、装置、计算机设备、存储介质和计算机程序产品,获取至少两个手部拉线传感器分别反馈的手势变化信号,手部拉线传感器固定在手部,至少两个的手部拉线传感器之间具有连接关系,对于每个手部拉线传感器反馈的手势变化信号,将手势变化信号转换为手部拉线传感器的拉线移动距离,基于各个手部拉线传感器的拉线移动距离,识别手部的手势状态信息。由于通过获取至少两个手部拉线传感器互相连接反馈的手势变化信号,将每个手势变化信号转化成拉线移动距离,确定手部的手势状态信息,从而实现精确的手势识别,提高了手势识别的精确度。
附图说明
17.图1为一个实施例中手势识别方法的应用环境图;
18.图2为一个实施例中手势识别方法的流程示意图;
19.图3为一个实施例中手部拉线传感器的手部固定位置示意图;
20.图4为另一个实施例中手部拉线传感器的手部固定位置示意图;
21.图5为另一个实施例中手势识别方法的流程示意图;
22.图6为一个实施例中手势识别装置的结构框图;
23.图7为一个实施例中计算机设备的内部结构图;
24.图8为一个实施例中计算机设备的内部结构图。
具体实施方式
25.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
26.本技术实施例提供的手势识别方法,可以应用于如图1所示的应用环境中。该应用环境包括主控制器102、终端104、手部拉线传感器和机械手。手部拉线传感器固定于手部。其中,主控制器102、终端104、手部拉线传感器和机械手通过网络进行通信。终端104与机械手进行通信,并且可以控制机械手运动。
27.具体地,主控制器102与固定在手部不同部位的多个手部拉线传感器通信,接收多个手部拉线传感器分别反馈的手势变化信号,将手势变化信号转换为对应的拉线移动距离,基于各个手部拉线传感器的拉线移动距离进行数据分析和计算,确定手部的手势状态信息,实现精确的手势识别。主控制器102可以将手势状态信息发送至用于控制机械手的终端104,终端104可以根据接受到的手势状态信息控制机械手运动,使得机械手做出与固定了手部拉线传感器的手部一致的手势动作。
28.其中,主控制器102包括但不限于是plc(programmable logic controller,可编程控制器)或单片机中的至少一种。终端104具体可以是台式终端或移动终端,移动终端具体可以是手机、平板电脑、笔记本电脑和智能手表等中的至少一种。机械手包括但不限于是手术控制系统场景中的手。主控制器102与终端104进行通信的通信单元包括但不限于wifi、4g/5g和有线网络中至少一种。主控制器与手部传感装置可以通过网络进行通信。
29.本领域技术人员可以理解,图1中示出的应用环境,仅仅是与本技术方案相关的部分场景,并不构成对本技术方案应用环境的限定。
30.在一些实施例中,如图2所示,提供了一种手势识别方法,以该方法应用于图1中的主控制器102为例进行说明,包括以下步骤:
31.步骤202,获取至少两个手部拉线传感器分别反馈的手势变化信号;手部拉线传感器固定在手部;至少两个的手部拉线传感器之间具有连接关系。
32.其中,手部拉线传感器是指固定在手部不同部位的拉线位移传感器,手部的不同部位包括手指、手背、手心和手腕中的至少一个。手指上的拉线位移传感器可以固定在手指的任意位置,比如手指关节处或两个关节之间;手背的拉线位移传感器可以固定在手背的任意位置;手心的拉线位移传感器可以固定在手心的任意位置;手腕的拉线位移传感器可以固定在手腕的任意位置,比如手腕内侧和手腕外侧。手部拉线传感器的具体固定方式可以是图3中示意的方式,也可以是其他的方式,这里不做过多限定。
33.拉线位移传感器是利用拉线测量物体之间位移变化的一种传感器,由一根拉线、拉线盒和编码器组成。拉线盒是放置拉线的容器,拉线的一头固定在拉线盒中,拉线的另一头从拉线盒的出线口拉出,可以固定在其他移动物体上。运动发生时,拉线在出线口外的长度发生变化,而张紧度不发生变化。编码器基于拉线的长短变化输出对应可以计量或传送的电信号。电信号可以是模拟信号和数字信号中的其中一种,模拟信号包括模拟电流4~20毫安、模拟电压0~5伏或模拟电压0~10伏中的至少一种,数字信号为脉冲a、b、z相数字输
出。
34.手势变化信号是由手部拉线传感器在手势变化过程中输出的电信号,具体可以是模拟信号或数字信号中的至少一种。手势变化时,通过手部拉线传感器之间的拉线变化带动编码器输出电信号。
35.拉线传感器之间的连接关系是多个手部拉线传感器的拉线的连接关系,例如,在两个手部拉线传感器中,可以是其中一个手部拉线传感器的拉线头部固定在另一个手部拉线传感器上,也可以是两个手部拉线位移传感器的拉线互相连接。
36.具体地,主控制器与至少两个手部拉线传感器通过网络进行通信,手部拉线传感器通过网络实时反馈手势变化信号至主控制器。其中,网络可以是有线网络也可以是无线网络。至少两个手部拉线传感器固定在手部的不同部位,并具有连接关系。例如,可以为两个手部拉线传感器分别固定在食指和中指上,食指上的手部拉线传感器的拉线固定在中指上的手部拉线传感器上,中指上的手部拉线传感器的拉线固定在食指上的手部拉线传感器上,当食指和中指发生动作变化,两个手部拉线传感器对应的两根拉线也将产生对应的位移变化,并将位移变化对应的手势变化信号反馈至主控制器。主控制器可以周期性或者根据设置,从手部拉线传感器获取手势变化信号。
37.步骤204,对于每个手部拉线传感器反馈的手势变化信号,将手势变化信号转换为所述手部拉线传感器的拉线移动距离。
38.其中,拉线移动距离是指手部拉线传感器的拉线的位移变化长度。位移变化长度具体可以是手部拉线传感器的拉线长度增加或减少的长度,手部拉线传感器的拉线长度是指手部拉线传感器的拉线被拉出的总长度,即为手势变化后的手部拉线传感器的拉线长度与手势变化前手部拉线传感器的拉线长度之间的差值。
39.具体地,主控制器接收每一个手势拉线传感器反馈的手势变化信号,通过信号距离转换关系将手势变化信号转换成对应的拉线移动距离。信号距离转换关系是指手势变化信号与拉线移动距离之间的转换关系,信号距离转换关系可以是正相关关系或其他数学计算公式中的至少一个。正相关关系指的是:在其他条件不变的情况下,两个变量变动方向相同,一个变量由大到小变化时,另一个变量也由大到小变化。
40.在一些实施例中,手部拉线传感器的手势变化信号对应的信号距离转换关系为正相关关系,例如,手势变化信号越大,则对应的拉线移动距离也越大。
41.在一些实施例中,主控制器获取的每个手部拉线传感器反馈的手势变化信号和对应转换的拉线移动距离进行存储,以便后续对手势识别过程中的所有数据进行分析。例如,可以存储到数据库服务器中。
42.步骤206,基于各个手部拉线传感器的拉线移动距离,识别手部的手势状态信息。
43.其中,手势状态包括手指状态和手腕状态中的至少一个。手指状态是指手部的每相邻两根手指之间的相对状态或单根手指的状态,包括两根手指之间的夹角及单根手指的关节弯曲程度中至少一个。手腕状态是指手部的手腕的状态,例如为手腕的指向状态。
44.手势状态信息是指手部的手势状态的数据信息,手势状态信息包括手指状态信息和手腕状态信息中的至少一个。手指状态信息是用于反映手指状态的信息,包括但不限于是用于反映手指之间的夹角的信息或手指的关节弯曲程度的信息中的至少一种信息。手腕状态信息是用于反映手腕状态的信息,例如用于反映手腕的指向状态的信息,指向状态可
以根据手腕的转动变化量确定。手腕的转动变化量基于手腕的转动方向确定,例如可以是沿着该转动方向所转动的角度,手腕的转动方向包括向手心侧转动、向手背侧转动、向拇指侧转动或向小指侧转动中的至少一个。
45.具体地,主控制器可以基于各个手部拉线传感器的拉线移动距离,确定手部的手势状态信息,即确定手部的当前手势状态信息。主控制器对各个手部拉线传感器的拉线移动距离进行计算分析,确定手势变化信息,基于手势变化信息确定手势状态信息。例如,主控制器可以根据拉线移动距离确定每根手指的不同关节的弯曲程度的变化量、相邻两根手指之间的夹角的变化量以及手腕的转动变化量,得到手势变化信息,基于手势变化信息确定手指状态信息。手势变化信息包括但不限于是每根手指的不同关节的弯曲程度的变化量、相邻两根手指之间的夹角的变化量或手腕的转动变化量中的至少一个。手势变化信息是指相对于参考手势的变化信息。其中,参考手势包括但不限于是标准手势或变化前的手势。标准手势为预设的手势,例如标准手势可以是握拳或手掌舒张中的任意一种。主控制器中可以预先存储标准手势或变化前的手势对应的手势状态信息。
46.在一些实施例中,主控制器可以基于参考手势的手势状态信息确定当前手势状态信息。主控制器可以基于参考手势的手势状态信息和当前的手势对应的手势变化信息确定当前的手势状态信息。具体地,主控制器中可以预先存储了参考手势对应的手势状态信息。在进行手势识别时,主控制器可以确定在参考手势的基础上按照当前手部的手势变化信息变化后形成的手势状态,得到当前手势状态信息。
47.例如,当参考手势为握拳时,主控制器可以基于预先存储的握拳手势的手势状态信息和当前的手势对应的手势变化信息确定当前的手势状态信息。在进行手势识别时,主控制器基于各个手部拉线传感器的拉线移动距离,确定当前的手势的每根手指的不同关节的弯曲程度的变化量、相邻两根手指之间的夹角的变化量和手腕的转动变化量。主控制器基于握拳手势的每根手指的不同关节的弯曲程度、相邻两根手指之间的夹角和手腕的指向状态,以及当前的手势对应的手势变化信息确定当前手势的每根手指的不同关节的弯曲程度、相邻两根手指之间的夹角和手腕的指向状态。
48.在一些实施例中,主控制器可以基于手部的手势变化信息,控制远端的机械手执行与该手部一致的手势动作。主控制器基于手指变化信息和手腕变化信息,确认每根手指的不同关节的弯曲程度的变化量、相邻两根手指之间的夹角的变化量以及手腕的转动变化量,将各个变化量发送至控制机械手运动的终端,该终端可以根据各个变化量控制机械手做出与手部一致的手势动作。手部的手势动作如何变化,机械手的手势动作相应变化。手势识别的控制可应用于高精度控制系统,例如手术控制系统,手术控制系统基于手部的手势变化信息控制机械手动作,完成细微的手术动作。
49.上述手势识别方法中,获取至少两个手部拉线传感器分别反馈的手势变化信号,手部拉线传感器固定在手部,至少两个的手部拉线传感器之间具有连接关系,对于每个手部拉线传感器反馈的手势变化信号,将手势变化信号转换为手部拉线传感器的拉线移动距离,基于各个手部拉线传感器的拉线移动距离,识别手部的手势状态信息。通过获取至少两个手部拉线传感器互相连接反馈的手势变化信号,将每个手势变化信号转化成拉线移动距离,确定手部的手势变化信息,基于手势变化信息确定手势状态信息,从而实现了精确的手势识别,提高了手势识别的精确度。
50.在一些实施例中,手势状态信息包括手指状态信息,至少两个手部拉线传感器包括第一手指拉线传感器以及第二手指拉线传感器,第一手指拉线传感器固定在手部的第一手指上,第二手指拉线传感器固定在手部的第二手指上,第一手指拉线传感器的拉线头部与第二手指拉线传感器具有连接关系;步骤206还包括:基于第一手指拉线传感器的拉线移动距离,确定第一手指与第二手指的手指状态信息。
51.其中,手指状态信息是用于反映手指状态的信息,手指状态包括相邻两根手指之间的夹角及手指关节的弯曲状态中至少一个。第一手指和第二手指是相邻的两根手指,比如食指和中指。
52.手指拉线传感器是指固定在手指上的拉线位移传感器,可以通过指环固定在手指的任意位置上。指环是指可以佩戴在手指上的环状物体,一个指环上可以固定至少一个拉线位移传感器。固定有至少一个拉线位移传感器的指环可以称为手指环状传感器。第一手指拉线传感器的拉线头部与第二手指拉线传感器具有连接关系,是指第一手指拉线传感器的拉线头部固定在第二手指拉线传感器所处的指环上。
53.具体地,第一手指拉线传感器以及第二手指拉线传感器的固定位置和连接关系可以参考图4中的第一手指拉线传感器402以及第二手指拉线传感器404。主控制器基于第一手指拉线传感器的拉线移动距离,可以确定第一手指和第二手指之间的夹角的变化量,进而根据夹角的变化量判断手指之间的相对运动。手指之间的相对运动包括手指分离和手指靠拢中的至少一个。当夹角的变化量为正时,第一手指和第二手指之间的夹角变大,判断两根手指分离;当夹角的变化量为负时,第一手指和第二手指之间的夹角变小,判断两根手指靠拢。
54.在一些实施例中,主控制器中可以预先存储有手指拉线传感器的位置与所在的手指的根部之间的距离,主控制器可以根据手指拉线传感器的位置与所在的手指的根部之间的距离和手指拉线传感器的拉线移动距离,计算得到相邻两根手指之间的夹角的变化量。例如,第一手指拉线传感器固定在食指上,第二手指拉线传感器固定在中指上,第一手指拉线传感器的拉线头部固定在第二手指拉线传感器所处的指环上。主控制器可以基于第一手指拉线传感器的拉线移动距离、第一手指拉线传感器与食指指根的距离以及第二手指拉线传感器与中指指根的距离,进行三角形计算,得到食指和中指的夹角的变化量。
55.在一些实施例中,主控制器还可以根据手指拉线传感器的拉线移动距离计算拉线长度,再根据手指拉线传感器的位置与所在的手指的根部之间的距离和手指拉线传感器的拉线长度,计算相邻两根手指之间的夹角。例如,主控制器基于第一手指拉线传感器的拉线移动距离与变化前的手势对应的第一手指拉线传感器的拉线长度,计算得到第一手指拉线传感器的拉线长度。主控制器基于第一手指拉线传感器的拉线长度、第一手指拉线传感器与食指指根的距离以及第二手指拉线传感器与中指指根的距离,进行三角形计算,得到食指和中指的夹角。
56.本实施例中,基于手指拉线传感器的拉线移动距离,确定相邻两根手指之间的夹角的变化量,从而判断了手指的相对状态,提高了手势识别的精确度。
57.在一些实施例中,所述第二拉线位移传感器第二手指拉线传感器的拉线头部与第一手指拉线传感器具有连接关系,基于第一手指拉线传感器的拉线移动距离以及第二手指拉线传感器的拉线移动距离,确定第一手指与第二手指的手指状态信息。
58.具体地,第一手指拉线传感器以及第二手指拉线传感器的固定位置和连接关系可以参考图4中的第一手指拉线传感器402以及第二手指拉线传感器404。主控制器基于第一手指拉线传感器的拉线移动距离以及第二手指拉线传感器的拉线移动距离,可以确定第一手指和第二手指之间的夹角的变化量,进而根据夹角的变化量判断手指之间的相对运动。
59.举例说明,第一手指拉线传感器固定在食指上,第二手指拉线传感器固定在中指上,第一手指拉线传感器的拉线头部固定在第二手指拉线传感器所处的指环上,第二手指拉线传感器的拉线头部固定在第一手指拉线传感器所处的指环上。主控制器可以基于第一手指拉线传感器的拉线移动距离、第一手指拉线传感器与食指指根之间的距离以及第二手指拉线传感器与中指指根之间的距离,进行三角形计算,得到第一夹角变化量。同样的,主控制器基于第二手指拉线传感器的拉线移动距离、第一手指拉线传感器与食指指根之间的距离以及第二手指拉线传感器与中指指根之间的距离得到第二夹角变化量。由于手指动作的过程中,手指拉线位移传感器所固定的指环会发生扭动,导致计算得到的两个夹角不完全一样,可以对第一夹角变化量和第二夹角变化量进行均值计算,减小误差,更精确的确定食指和中指之间的夹角的变化量。
60.本实施例中,基于多个手指拉线传感器的拉线移动距离,更加精确的确定相邻两根手指之间的夹角,进一步提高了手势识别的精确度。
61.在一些实施例中,至少两个手部拉线传感器还包括第一手背拉线传感器,第一手背拉线传感器的拉线头部与第一手指拉线传感器具有连接关系,第一手背拉线传感器固定在手部的手背上;步骤206还包括:基于第一手背拉线传感器的拉线移动距离,确定第一手指的手指状态信息。
62.其中,手背拉线传感器是指固定在手背上的拉线位移传感器,可以是手背上的任意位置。由于其拉线头部固定在手指拉线传感器上,也称之为指背传感器。
63.具体地,手指状态信息可以包括用于表征手指的关节弯曲程度的信息。第一手背拉线传感器和第一手指拉线传感器的固定位置和连接关系可以参考图4中的第一手背拉线传感器406和第一手指拉线传感器402。主控制器基于第一手背拉线传感器的拉线移动距离,确定第一手指的关节弯曲程度。
64.举例说明,第一手指拉线传感器固定在食指上,第一手背拉线传感器固定在手背上的食指根部下方的位置,第一手背拉线传感器的拉线头部固定在第一手指拉线传感器所处的指环上。第一手指在发生弯曲时,第一手背拉线传感器的拉线长度会发生变化,故主控制器可以基于第一手背拉线传感器的拉线移动距离,确定食指的关节发生的弯曲程度的变化量,从而可以确定关节的弯曲状态。
65.在一些实施例中,主控制器还可以基于第一手背拉线传感器和手心拉线传感器分别对应的拉线移动距离,确定第一手指的手指关节弯曲程度。手心拉线传感器是指固定在手心上的拉线位移传感器。手心拉线传感器的拉线头部固定在第一手指拉线传感器所处的指环上。第一手指在发生弯曲时,手心拉线传感器的拉线长度会发生变化,故主控制器可以基于第一手背拉线传感器的拉线移动距离确定第一手指的关节发生的弯曲程度的变化量,得到第一变化量,并且基于手心拉线传感器的拉线移动距离确定第一手指的关节发生的弯曲程度的变化量,得到第二变化量,将第一变化量和第二变化量进行均值计算,得到第一手指的关节发生的弯曲程度的变化量,从而可以确定关节的弯曲程度。
66.本实施例中,基于手背拉线传感器的拉线位移长度进行数据分析和计算,确定了手指的关节弯曲程度,提高了手势识别的准确度。
67.在一些实施例中,手势信息还包括手腕状态信息,至少两个手部拉线传感器包括手腕拉线传感器和第二手背拉线传感器,手腕拉线传感器的拉线头部与第二手背拉线传感器具有连接关系,第二手背拉线传感器固定在手部的手背上,手腕拉线传感器固定在手部的手腕上;步骤206还包括:基于手腕拉线传感器的拉线移动距离,确定手腕的手腕状态信息。
68.其中,手腕状态信息是用于反映手腕状态的信息,手腕状态可以为手腕的指向状态,指向状态可以根据手腕的转动变化量确定。手腕的转动变化量基于手腕的转动方向确定,例如可以是沿着该转动方向所转动的角度,手腕的转动方向包括向手心侧转动、向手背侧转动、向拇指侧转动或向小指侧转动中的至少一个。手腕的指向状态可以是手腕的指向方向与预设的基准方向所成的角度,主控制可以储存预设的基准方向。手腕拉线传感器是指固定在手腕上的拉线位移传感器。
69.具体地,主控制器可以基于手腕拉线传感器的拉线位移距离,得到手腕的转动变化量,基于手腕的转动变化量,确定手腕的指向状态。主控制器基于固定在手腕的不同位置的手腕拉线传感器的拉线移动距离,可以得到不同的手腕转动方向上的转动变化量。例如,参考图4中的第一手腕拉线传感器412,第一手腕拉线传感器412固定在手腕外侧中间位置,其拉线头部固定在第二手背拉线传感器408上。主控制器可以基于第一手腕拉线传感器412的拉线位移距离,得到在向手心侧转动或向手背侧转动的方向上的转动角度。再例如,参考图4中的第二手腕拉线传感器414,第二手腕拉线传感器414固定在手腕外侧右侧位置,其拉线头部固定在第三手背拉线传感器410上,主控制器可以基于第二手腕拉线传感器414的拉线位移距离,得到在向拇指侧转动的方向上的转动角度。
70.在一些实施例中,主控制器可以基于变化前的手势的手腕的指向状态和当前手势的手腕的转动方向和沿着该转动方向所转动的角度,得到当前手势的手腕的指向状态。
71.本实施例中,基于手腕拉线传感器的拉线移动距离,确定了手腕的指向状态,提高了手势识别的精确度。
72.在一些实施例中,步骤204还包括:获取每个手部拉线传感器分别对应的信号距离转换关系;信号距离转换关系,为手势变化信号与拉线移动距离之间的转换关系;对于每个手部拉线传感器反馈的手势变化信号,基于手部拉线传感器的信号距离转换关系,将手势状态信息转换为手部拉线传感器的拉线移动距离。
73.其中,信号距离转换关系是指手势变化信号与拉线移动距离之间的转换关系,信号距离转换关系可以是正相关关系或其他数学计算公式中的至少一个。
74.具体地,主控制器获取每一个手部拉线传感器的手势变化信号和对应的信号距离转换关系,利用信号距离转换关系将手势变化信号转换成对应的拉线位移距离。然后主控制器可以基于拉线位移距离进一步确定手部的手势变化状态,实现手势识别。
75.本实施例中,基于手部拉线传感器对应的信号距离转换关系,将手势变化信号转换成拉线移动距离,为手势状态信息的确定提供计算更加简便的数据,提高了手势识别的速度。
76.在一些实施例中,如图5所示,提供了一种手势识别方法,以该方法应用于主控制
器为例进行说明,包括以下步骤:
77.步骤502,获取至少两个手部拉线传感器分别反馈的手势变化信号和对应的信号距离转换关系。
78.其中,手部拉线传感器固定在手部;至少两个的手部拉线传感器之间具有连接关系。信号距离转换关系为手势变化信号与拉线移动距离之间的转换关系。
79.步骤504,对于每个手部拉线传感器反馈的手势变化信号,基于手部拉线传感器的信号距离转换关系,将手势变化信号转换为手部拉线传感器的拉线移动距离。
80.步骤506,基于第一手指拉线传感器的拉线移动距离以及第二手指拉线传感器的拉线移动距离,确定第一手指与第二手指之间的夹角。
81.其中,至少两个手部拉线传感器包括第一手指拉线传感器以及第二手指拉线传感器。第一手指拉线传感器固定在手部的第一手指上,第二手指拉线传感器固定在手部的第二手指上,第一手指拉线传感器的拉线头部与第二手指拉线传感器具有连接关系,第二手指拉线传感器的拉线头部与第一手指拉线传感器具有连接关系。
82.步骤508,基于第一手背拉线传感器的拉线移动距离,确定第一手指的关节弯曲程度。
83.其中,至少两个手部拉线传感器还包括第一手背拉线传感器,第一手背拉线传感器的拉线头部与所述第一手指拉线传感器具有连接关系,第一手背拉线传感器固定在手部的手背上。
84.步骤510,基于手腕拉线传感器的拉线移动距离,确定手腕的指向状态。
85.其中,至少两个手部拉线传感器包括手腕拉线传感器和第二手背拉线传感器,手腕拉线传感器的拉线头部与第二手背拉线传感器具有连接关系,第二手背拉线传感器固定在手部的手背上,手腕拉线传感器固定在手部的手腕上。
86.本实施例中,通过获取至少两个手部拉线传感器分别反馈的手势变化信号和对应的信号距离转换关系,基于手部拉线传感器的信号距离转换关系,将手势变化信号转换为手部拉线传感器的拉线移动距离,并根据各个手部拉线传感器的拉线移动距离,确定两根手指之间的夹角、单根手指的关节弯曲程度和手腕的指向状态,从而实现了精确的手势识别,提高了手势识别的精确度。
87.应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
88.基于同样的发明构思,本技术实施例还提供了一种用于实现上述所涉及的手势识别方法的手势识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个手势识别装置实施例中的具体限定可以参见上文中对于手势识别方法的限定,在此不再赘述。
89.在一个实施例中,如图6所示,提供了一种手势识别装置,包括:信号获取模块602、
信息转换模块604和手势确认模块606,其中:
90.信号获取模块602,用于获取至少两个手部拉线传感器分别反馈的位移手势变化信号;手部拉线传感器固定在手部;至少两个的手部拉线传感器之间具有连接关系;
91.信息转换模块604,用于对于每个手部拉线传感器反馈的手势变化信号,将手势变化信号转换为手部拉线传感器的拉线移动距离;
92.手势确认模块606,用于基于各个手部拉线传感器的拉线移动距离,识别手部的手势状态信息。
93.在一些实施例中,手势状态信息包括手指状态信息,至少两个手部拉线传感器包括第一手指拉线传感器以及第二手指拉线传感器,第一手指拉线传感器固定在手部的第一手指上,第二手指拉线传感器固定在手部的第二手指上,第一手指拉线传感器的拉线头部与第二手指拉线传感器具有连接关系;手势确认模块还用于:基于第一手指拉线传感器的拉线移动距离,确定第一手指与第二手指的手指状态信息。
94.在一些实施例中,第二手指拉线传感器的拉线头部与第一手指拉线传感器具有连接关系,手势确认模块还用于:基于第一手指拉线传感器的拉线移动距离以及第二手指拉线传感器的拉线移动距离,确定第一手指与第二手指的手指状态信息。
95.在一些实施例中,至少两个手部拉线传感器还包括第一手背拉线传感器,第一手背拉线传感器的拉线头部与第一手指拉线传感器具有连接关系,第一手背拉线传感器固定在手部的手背上;手势确认模块还用于:基于第一手背拉线传感器的拉线移动距离,确定第一手指的手指状态信息。
96.在一些实施例中,手势信息还包括手腕状态信息,至少两个手部拉线传感器包括手腕拉线传感器和第二手背拉线传感器,手腕拉线传感器的拉线头部与第二手背拉线传感器具有连接关系,第二手背拉线传感器固定在手部的手背上,手腕拉线传感器固定在手部的手腕上;手势确认模块还用于:基于手腕拉线传感器的拉线移动距离,确定手腕的手腕状态信息。
97.在一些实施例中,信息转换模块还用于:获取每个手部拉线传感器分别对应的信号距离转换关系;信号距离转换关系,为手势变化信号与拉线移动距离之间的转换关系;对于每个手部拉线传感器反馈的手势变化信号,基于手部拉线传感器的信号距离转换关系,将手势状态信息转换为所述手部拉线传感器的拉线移动距离。
98.上述手势识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
99.在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储手势识别方法涉及到的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种手势识别方法。
100.在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构
图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种手势识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
101.本领域技术人员可以理解,图8中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
102.在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述手势识别方法中的步骤。
103.在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述手势识别方法中的步骤。
104.在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述手势识别方法中的步骤。
105.需要说明的是,本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
106.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory,rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory,mram)、铁电存储器(ferroelectric random access memory,fram)、相变存储器(phase change memory,pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory,ram)或外部高速缓冲存储器等。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(static random access memory,sram)或动态随机存取存储器(dynamic random access memory,dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
107.以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
108.以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本技术专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术的保护范围应以所附权利要求为准。
技术特征:1.一种手势识别方法,其特征在于,所述方法包括:获取至少两个手部拉线传感器分别反馈的手势变化信号;所述手部拉线传感器固定在手部;至少两个的手部拉线传感器之间具有连接关系;对于每个手部拉线传感器反馈的手势变化信号,将所述手势变化信号转换为所述手部拉线传感器的拉线移动距离;基于各个所述手部拉线传感器的拉线移动距离,识别所述手部的手势状态信息。2.根据权利要求1所述的方法,其特征在于,所述手势状态信息包括手指状态信息,所述至少两个手部拉线传感器包括第一手指拉线传感器以及第二手指拉线传感器,所述第一手指拉线传感器固定在所述手部的第一手指上,所述第二手指拉线传感器固定在所述手部的第二手指上,所述第一手指拉线传感器的拉线头部与所述第二手指拉线传感器具有连接关系;所述基于各个所述手部拉线传感器的拉线移动距离,识别所述手部的手势状态信息包括:基于所述第一手指拉线传感器的拉线移动距离,确定所述第一手指与所述第二手指的手指状态信息。3.根据权利要求2所述的方法,其特征在于,所述第二手指拉线传感器的拉线头部与所述第一手指拉线传感器具有连接关系,所述方法还包括:基于所述第一手指拉线传感器的拉线移动距离以及所述第二手指拉线传感器的拉线移动距离,确定所述第一手指与所述第二手指的手指状态信息。4.根据权利要求2所述的方法,其特征在于,所述至少两个手部拉线传感器还包括第一手背拉线传感器,所述第一手背拉线传感器的拉线头部与所述第一手指拉线传感器具有连接关系,所述第一手背拉线传感器固定在所述手部的手背上;所述基于各个所述手部拉线传感器的拉线移动距离,识别所述手部的手势状态信息包括:基于所述第一手背拉线传感器的拉线移动距离,确定所述第一手指的手指状态信息。5.根据权利要求1所述的方法,其特征在于,所述手势信息还包括手腕状态信息,所述至少两个手部拉线传感器包括手腕拉线传感器和第二手背拉线传感器,所述手腕拉线传感器的拉线头部与所述第二手背拉线传感器具有连接关系,所述第二手背拉线传感器固定在所述手部的手背上,所述手腕拉线传感器固定在所述手部的手腕上;所述基于各个所述手部拉线传感器的拉线移动距离,识别所述手部的手势状态信息包括:基于所述手腕拉线传感器的拉线移动距离,确定所述手腕的手腕状态信息。6.根据权利要求1至5任意一项所述的方法,其特征在于,所述对于每个手部拉线传感器反馈的手势变化信号,将所述手势变化信号转换为所述手部拉线传感器的拉线移动距离包括:获取每个手部拉线传感器分别对应的信号距离转换关系;所述信号距离转换关系,为手势变化信号与拉线移动距离之间的转换关系;对于每个手部拉线传感器反馈的手势变化信号,基于所述手部拉线传感器的信号距离转换关系,将所述手势变化信号转换为所述手部拉线传感器的拉线移动距离。
7.一种手势识别装置,其特征在于,所述装置包括:信号获取模块,获取至少两个手部拉线传感器分别反馈的手势变化信号;所述手部拉线传感器固定在手部;至少两个的手部拉线传感器之间具有连接关系;信息转换模块,对于每个手部拉线传感器反馈的手势变化信号,将所述手势变化信号转换为所述手部拉线传感器的拉线移动距离;手势确认模块,基于各个所述手部拉线传感器的拉线移动距离,识别所述手部的手势状态信息。8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
技术总结本申请涉及一种手势识别方法、装置、计算机设备和存储介质。所述方法包括:获取至少两个手部拉线传感器分别反馈的手势变化信号;手部拉线传感器固定在手部;至少两个的手部拉线传感器之间具有连接关系;对于每个手部拉线传感器反馈的手势变化信号,将手势变化信号转换为手部拉线传感器的拉线移动距离;基于各个手部拉线传感器的拉线移动距离,识别手部的手势状态信息。采用本方法能够提高手势识别的精确度。度。度。
技术研发人员:谭畅舒 李艳 杜进桥 田杰 徐华伟 赵凯
受保护的技术使用者:深圳供电局有限公司
技术研发日:2022.06.30
技术公布日:2022/11/1