1.本发明涉及人机自然交互领域，尤其涉及一种用于角色机器人的人机交互方法和装置。
背景技术：2.在数字娱乐、舞台演艺、空间体验、教育展示、新媒体艺术等新兴领域，典型的角色机器人交互应用场景被提出。这些场景的突出特点在于，角色机器人通过与观众(人)、环境(物)，以及智能体(机)之间的交互为人们带来多模态感官的叙事和冲击，进而在人机物三元世界中传递信息与情感。可以看出，能给观众带来良好交互反馈的角色机器人在角色机器人交互应用场景中至关重要。
3.然而，目前构造的角色机器人还是以陈列式表演为主，这种角色机器人通过预先编写的动作程序执行设计师设计好的动作，同质化严重且缺少创新，给观众带来的交互反馈达不到预期。
4.因此，亟需对角色机器人交互动作进行重新设计，以提高角色机器人的交互能力，提升角色机器人交互场景对于观众的吸引力。
技术实现要素：5.本发明的目的是提供一种用于角色机器人的人机交互方法，以解决现有技术中角色机器人不能给观众带来良好的交互反馈的问题，以使角色机器人能够做出与观众行为更加匹配的交互反应。
6.第一方面，本发明提供一种用于角色机器人的人机交互方法，所述方法包括：
7.获取目标区域内的多源信息；
8.根据所述多源信息，确定所述目标区域内行人的行为模式；
9.基于所述行为模式，确定所述角色机器人的情感反馈模式；
10.确定所述情感反馈模式对应的反馈动作，并获取所述反馈动作对应的动作参数，按照所述动作参数生成控制指令，所述控制指令用于控制所述角色机器人执行所述反馈动作。
11.根据本发明提供的用于角色机器人的人机交互方法，获取目标区域内的多源信息，具体包括：
12.利用多源传感器采集所述目标区域内的多源信息。
13.根据本发明提供的用于角色机器人的人机交互方法，利用多源传感器采集所述目标区域内的多源信息，具体包括以下至少两者：
14.所述多源传感器包括图像传感器，利用所述图像传感器采集所述目标区域的场景图像；所述目标区域为所述角色机器人周边一定范围内的区域；
15.所述多源传感器包括距离传感器，利用所述距离传感器采集所述目标区域内角色机器人与行人之间的距离信息；
16.所述多源传感器包括压力传感器，利用所述压力传感器采集所述角色机器人的压力信息；
17.所述多源传感器包括震动传感器，利用所述角色机器人的震动信息。
18.根据本发明提供的用于角色机器人的人机交互方法，将所述目标区域的场景图像、所述目标区域内角色机器人与行人之间的距离信息、所述角色机器人的压力信息和所述角色机器人的震动信息作为所述多源信息；
19.所述根据所述多源信息，确定所述目标区域内行人的行为模式，包括：
20.对所述目标区域的场景图像进行人像识别；
21.若所述角色机器人压力信息/震动信息为受到压力/受到震动，则将触摸布尔值/敲击布尔值记录为正；否则不将触摸布尔值/敲击布尔值记录为正；
22.基于人像识别结果、所述目标区域内角色机器人与行人之间的距离信息、所述触摸布尔值和所述敲击布尔值，确定所述目标区域内行人的行为模式。
23.根据本发明提供的用于角色机器人的人机交互方法，所述基于人像识别结果、所述目标区域内角色机器人与行人之间的距离信息、所述触摸布尔值和所述敲击布尔值，确定所述目标区域内行人的行为模式，包括：
24.若所述人像识别结果为未识别到人形图像包络面，则所述行为模式为无人交互模式；
25.若所述人像识别结果为识别到至少一个人形图像包络面且所有识别到的人形图像包络面均满足预设条件，则所述行为模式为路过模式；
26.若所述人像识别结果为识别到多个人形图像包络面并且至少两个识别到的人形图像包络面不满足预设条件，则所述行为模式为多人交互模式；
27.若所述人像识别结果为识别到一个人形图像包络面、识别到的人形图像包络面不满足预设条件且所述触摸布尔值为正，则所述行为模式为触摸模式；
28.若所述人像识别结果为识别到一个人形图像包络面、识别到的人形图像包络面不满足预设条件且所述敲击布尔值为正，则所述行为模式为敲击模式；
29.若所述人像识别结果为识别到一个人形图像包络面、识别到的人形图像包络面不满足预设条件，识别到的人形图像包络面空间位置仅在预设空间范围内变动，所述触摸布尔值不为正且所述敲击布尔值不为正，则所述行为模式为凝视模式；
30.其中，所述识别到的人形图像包络面空间位置的变动情况，通过所述目标区域内角色机器人与行人之间的距离信息确定；
31.所述预设条件为人形图像包络面经过所述角色机器人的时间小于预设时间。
32.根据本发明提供的用于角色机器人的人机交互方法，所述行为模式的优先级记载在行为模式优先级序列中；
33.所述基于所述行为模式，确定所述角色机器人的情感反馈模式，包括：
34.在所述行为模式不为所述多人交互模式的情况下，从预存的行为模式-情感反馈模式对照表中查找与所述行为模式关联的情感反馈模式，并将查找到的情感反馈模式作为所述角色机器人的情感反馈模式；
35.在所述行为模式为所述多人交互模式的情况下，细化参与交互的每一个行人的行为模式，并选定优先级最高的行为模式；
36.从预存的行为模式-情感反馈模式对照表中查找与所述优先级最高的行为模式关联的情感反馈模式，并将查找到的情感反馈模式作为所述角色机器人的情感反馈模式。
37.根据本发明提供的用于角色机器人的人机交互方法，所述确定所述情感反馈模式对应的反馈动作，包括：
38.从预存的情感反馈模式-反馈动作对照表中查找所述情感反馈模式对应的反馈动作；
39.所述获取所述反馈动作对应的动作参数，包括：
40.从预存动作库中调用所述反馈动作对应的动作参数；所述动作库中保存了为所述角色机器人设计的每一种反馈动作及其对应的动作参数；
41.其中，所述情感反馈模式，包括：无聊模式、惊吓模式、好奇模式、粘人模式和兴奋模式；
42.所述反馈动作为所述角色机器人不同身体部位交互动作的组合。
43.根据本发明提供的用于角色机器人的人机交互方法，所述每一种反馈动作对应的动作参数的生成过程，包括：
44.确定所述每一种反馈动作中包含的交互动作；
45.采用三维建模技术以及动画重定向技术生成所述每一种反馈动作中每一个交互动作对应的动作参数；
46.分别对所述每一个交互动作对应的动作参数进行插值处理，以使所述角色机器人能平滑流畅的执行相应交互动作；
47.基于插值处理后的所述每一个交互动作对应的动作参数，对所述每一种反馈动作中的交互动作进行动作编排，以得到所述每一种反馈动作对应的动作参数；
48.在动作仿真系统中验证所述每一种反馈动作对应的动作参数，并在验证结果为按照所述每一种反馈动作对应的动作参数生成控制指令能够控制所述角色机器人平滑流畅的执行所述每一种反馈动作的情况下，输出所述每一种反馈动作对应的动作参数；在验证结果为按照所述每一种反馈动作对应的动作参数生成控制指令不能够控制所述角色机器人平滑流畅的执行所述每一种反馈动作的情况下，重新执行上述操作。
49.根据本发明提供的用于角色机器人的人机交互方法，所述采用三维建模技术以及动画重定向技术生成所述每一种反馈动作中每一个交互动作对应的动作参数，包括：
50.基于三维建模技术，根据所述角色机器人的关节数量、位置和自由度生成一个具有虚拟动画骨骼的机器人动画模型；
51.采取动作捕捉或动画软件编辑方式生成所述每一个交互动作对应的动作动画；
52.基于所述每一个交互动作对应的动作动画和所述机器人动画模型，采用动画重定向技术生成能够在所述角色机器人上执行的所述每一个交互动作对应的动作参数。
53.第二方面，本发明还提供一种用于角色机器人的人机交互装置，所述装置包括：
54.获取模块，用于获取目标区域内的多源信息；
55.行为模式确定模块，用于根据所述多源信息，确定所述目标区域内行人的行为模式；
56.情感反馈模式确定模块，用于基于所述行为模式，确定所述角色机器人的情感反馈模式；
57.交互模块，用于确定所述情感反馈模式对应的反馈动作，并获取所述反馈动作对应的动作参数，按照所述动作参数生成控制指令，所述控制指令用于控制所述角色机器人执行所述反馈动作。
58.第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述用于角色机器人的人机交互方法。
59.第四方面本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述用于角色机器人的人机交互方法。
60.本发明提供一种用于角色机器人的人机交互方法和装置，获取目标区域内的多源信息；根据所述多源信息，确定所述目标区域内行人的行为模式；基于所述行为模式，确定所述角色机器人的情感反馈模式；确定所述情感反馈模式对应的反馈动作，并获取所述反馈动作对应的动作参数，按照所述动作参数生成控制指令，所述控制指令用于控制所述角色机器人执行所述反馈动作。本发明对多源信息进行融合以判断当前的交互主体行为；根据交互主体行为调用与之对应的反馈动作，以使角色机器人的交互反应更加恰当，进而提升角色机器人的交互效果。
附图说明
61.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
62.图1是本发明提供的用于角色机器人的人机交互方法的流程示意图；
63.图2是本发明提供的交互动作对应的动作参数生成方式示意图；
64.图3是本发明提供的用于角色机器人的人机交互装置的结构示意图；
65.图4是本发明提供的电子设备的结构示意图。
具体实施方式
66.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
67.下面结合图1到图4描述本发明提供的用于角色机器人的人机交互方法。
68.对于用于公共展示的角色机器人而言，其在运动精度、负载特性以及传感感知等方面的要求与工业机器人和服务机器人大致相同。除此之外，角色机器人还需要考虑在运动特性、交互反馈、动作实现上尽可能符合设定的角色属性与交互背景，实现人机的自然交互，保留角色属性的运动特征。为了使角色机器人在运动特性上更加接近设计目标，角色机器人在结构设计上通常需考虑多自由度与复杂自由度的动作实现。这无异于增加人机交互的难度。鉴于此，本发明提供一种用于角色机器人的人机交互方法，如图1所示，所述方法包括：
69.s11、获取目标区域内的多源信息；
70.可以理解的使，多源信息是指从不同的信息源处得到的不同类型信息的总称。
71.s12、根据所述多源信息，确定所述目标区域内行人的行为模式；
72.在处理多源信息时，角色机器人在做出交互反馈时不能只是一对一的做出反应，这样会导致交互的生硬与机械。因此，需要对多源信息进行融合以判断当前的交互主体行为。比如，在角色机器人感受到外界的抚摸、或者敲击时，同时可以根据图像信息判断交互主体的方位、年龄，从而进行更加匹配的交互反应。
73.s13、基于所述行为模式，确定所述角色机器人的情感反馈模式；
74.行为模式的类型以及行为模式关联的情感反馈模式，在设计阶段已经敲定，实际应用时可对应查询。
75.s14、确定所述情感反馈模式对应的反馈动作，并获取所述反馈动作对应的动作参数，按照所述动作参数生成控制指令，所述控制指令用于控制所述角色机器人执行所述反馈动作。
76.可以理解的是，动作参数为控制角色机器人关节转动角度、转到速度等类型的参数。
77.在交互反馈上，主要利用角色机器人自身动态进行拟人化动作反馈。例如利用头部、尾巴的动作组合以及整体的身体姿态来表达角色机器人当前的情绪特征。
78.本发明提供一种用于角色机器人的人机交互方法，对多源信息进行融合以判断当前的交互主体行为；根据交互主体行为调用与之对应的反馈动作，以使角色机器人的交互反应更加恰当，进而提升角色机器人的交互效果。
79.在上述各实施例的基础上，作为一种可选的实施例，获取目标区域内的多源信息，具体包括：
80.利用多源传感器采集所述目标区域内的多源信息。
81.对于角色机器人来说，各种传感器是角色机器人与外界交互的窗口。角色机器人利用在角色机器人上布置的传感设备从外界获取多源信息(例如图像信息、语音信息、触摸信息、敲击信息等)，然后将多源信息中物理声光震动压力等信息转化为电信号输入至角色机器人控制系统中，以使角色机器人控制系统根据程序设定进行不同的反馈。
82.在上述各实施例的基础上，作为一种可选的实施例，利用多源传感器采集所述目标区域内的多源信息，具体包括以下至少两者：
83.所述多源传感器包括图像传感器，利用所述图像传感器采集所述目标区域的场景图像；所述目标区域为所述角色机器人周边一定范围内的区域；
84.所述多源传感器包括距离传感器，利用所述距离传感器采集所述目标区域内角色机器人与行人之间的距离信息；
85.所述多源传感器包括压力传感器，利用所述压力传感器采集所述角色机器人的压力信息；
86.所述多源传感器包括震动传感器，利用所述角色机器人的震动信息。
87.除上述几种传感器之外，所述多源传感器还包括图像传感器语音传感器(例如麦克风阵列)和光线传感器等。
88.下面介绍这几种设置在角色机器人上交互设备；
89.图像传感器(摄像头)：获取各种视觉信息，可以用于人脸、手势动作的检测。如果使用深度摄像头或者双摄系统，则可以得到前方物体的非精确位置信息，更好的识别肢体动作，从而实现更加丰富的交互。
90.麦克风阵列：侦测周围的声音信息，结合语音识别与对话系统，则可以实现人机的语音交互。
91.压力传感器：可以检测到机器人“皮肤”上的压力信号，从而识别交互主体的抚摸、按压等触觉信息，实现肢体交互。
92.震动传感器：识别机器人周边的震动信息，作为压力传感器的补充，完善触觉交互。也可以安装在机器人周围，实现检测人的靠近或者敲击等特殊行为交互的目的。
93.距离传感器：检测前方物体是否靠近机器人，一般作为近距离交互行为的判定。
94.光线传感器：感受机器人周边环境的明暗变化，可以实现一些特殊交互行为。
95.需要说明的是，对于角色机器人的不同交互场景，需要的多源传感器有所差异，应根据实际情况适当调整。
96.在上述各实施例的基础上，作为一种可选的实施例，将所述目标区域的场景图像、所述目标区域内角色机器人与行人之间的距离信息、所述角色机器人的压力信息和所述角色机器人的震动信息作为所述多源信息；
97.所述根据所述多源信息，确定所述目标区域内行人的行为模式，包括：
98.对所述目标区域的场景图像进行人像识别；
99.若所述角色机器人压力信息/震动信息为受到压力/受到震动，则将触摸布尔值/敲击布尔值记录为正；否则不将触摸布尔值/敲击布尔值记录为正；
100.基于人像识别结果、所述目标区域内角色机器人与行人之间的距离信息、所述触摸布尔值和所述敲击布尔值，确定所述目标区域内行人的行为模式。
101.本实施例将所述目标区域的场景图像、所述目标区域内角色机器人与行人之间的距离信息、所述角色机器人的压力信息和所述角色机器人的震动信息作为用于判定行人行为模式的多源信息；在此基础上，对所述目标区域的场景图像、所述角色机器人的压力信息和所述角色机器人的震动信息进行了预处理，得到预处理后的数据。
102.本发明对多源信息进行融合以判断当前的交互主体行为，为角色机器人的交互反应的生成奠定基础。
103.在上述各实施例的基础上，作为一种可选的实施例，所述基于人像识别结果、所述目标区域内角色机器人与行人之间的距离信息、所述触摸布尔值和所述敲击布尔值，确定所述目标区域内行人的行为模式，包括：
104.若所述人像识别结果为未识别到人形图像包络面，则所述行为模式为无人交互模式；
105.若所述人像识别结果为识别到至少一个人形图像包络面且所有识别到的人形图像包络面均满足预设条件，则所述行为模式为路过模式；
106.若所述人像识别结果为识别到多个人形图像包络面并且至少两个识别到的人形图像包络面不满足预设条件，则所述行为模式为多人交互模式；
107.若所述人像识别结果为识别到一个人形图像包络面、识别到的人形图像包络面不满足预设条件且所述触摸布尔值为正，则所述行为模式为触摸模式；
108.若所述人像识别结果为识别到一个人形图像包络面、识别到的人形图像包络面不满足预设条件且所述敲击布尔值为正，则所述行为模式为敲击模式；
109.若所述人像识别结果为识别到一个人形图像包络面、识别到的人形图像包络面不满足预设条件，识别到的人形图像包络面空间位置仅在预设空间范围内变动，所述触摸布尔值不为正且所述敲击布尔值不为正，则所述行为模式为凝视模式；
110.其中，所述识别到的人形图像包络面空间位置的变动情况，通过所述目标区域内角色机器人与行人之间的距离信息确定；
111.所述预设条件为人形图像包络面经过所述角色机器人的时间小于预设时间。
112.因为角色机器人的交互输入主要为公共场所行人/观众的行为，交互目的是通过拟人化的角色交互设计，吸引行人/观众的注意，增加交互展示的参与度和自发的多用户互动，提高公共场所的驻足率。因此，本发明对公共场景下行人行为状态进行了分类，根据行人行为观察，行人的状态分别可以被归类为无人交互、快速路过、抚摸、敲击、驻足凝视观察等。为了避免交互行为的一成不变，角色机器人交互设计中引入了大量的行人模式辨别参数，包括行人驻足远近、时间、交互行为的激烈程度等，以提升模式辨识程度。
113.本实施例只是一种可行的行人状态判定方法。可基础相同原理适应性调节以适应不同应用场景。还可以将手势、语音信息用于行为模式的判别中，以实现更深层次的交互。
114.在上述各实施例的基础上，作为一种可选的实施例，所述行为模式的优先级记载在行为模式优先级序列中；
115.所述基于所述行为模式，确定所述角色机器人的情感反馈模式，包括：
116.在所述行为模式不为所述多人交互模式的情况下，从预存的行为模式-情感反馈模式对照表中查找与所述行为模式关联的情感反馈模式，并将查找到的情感反馈模式作为所述角色机器人的情感反馈模式；
117.在所述行为模式为所述多人交互模式的情况下，细化参与交互的每一个行人的行为模式，并选定优先级最高的行为模式；
118.从预存的行为模式-情感反馈模式对照表中查找与所述优先级最高的行为模式关联的情感反馈模式，并将查找到的情感反馈模式作为所述角色机器人的情感反馈模式。
119.本发明为行为模式设定优先级以表示行为模式对应的交互强弱关系，根据此交互强弱关系，角色机器人在进行多人交互的时候，强交互行为可以将机器人注意力从弱交互行为中吸引。这赋予了机器人同时与多人进行交流的能力，同时鼓励行人与角色机器人进行更深层次的交互行为。
120.在上述各实施例的基础上，作为一种可选的实施例，所述确定所述情感反馈模式对应的反馈动作，包括：
121.从预存的情感反馈模式-反馈动作对照表中查找所述情感反馈模式对应的反馈动作；
122.所述获取所述反馈动作对应的动作参数，包括：
123.从预存动作库中调用所述反馈动作对应的动作参数；所述动作库中保存了为所述角色机器人设计的每一种反馈动作及其对应的动作参数；
124.可以理解的是，情感反馈模式-反馈动作对照表以及所述角色机器人每一种反馈动作及其对应的动作参数是在角色机器人交互场景设计时由工程设计人员设计。
125.其中，所述情感反馈模式，包括：无聊模式、惊吓模式、好奇模式、粘人模式和兴奋模式；
126.所述反馈动作为所述角色机器人不同身体部位交互动作的组合。
127.对于行人的交互行为，角色机器人的反应需要以角色机器人整体的性格设定作为指导。在反馈行为设计时，应考虑情感因素，针对角色机器人不同的情绪模型进行相应的反馈行为设计。
128.表1为四足型角色机器人交互反馈设计表；
129.从表1中可看出每一种情感反馈模式对应的反馈动作，以及每一种行为模式对应的情感反馈动作。
130.表1
[0131][0132]
在上述各实施例的基础上，作为一种可选的实施例，所述每一种反馈动作对应的动作参数的生成过程，包括：
[0133]
确定所述每一种反馈动作中包含的交互动作；
[0134]
采用三维建模技术以及动画重定向技术生成所述每一种反馈动作中每一个交互动作对应的动作参数；
[0135]
分别对所述每一个交互动作对应的动作参数进行插值处理，以使所述角色机器人能平滑流畅的执行相应交互动作；
[0136]
基于插值处理后的所述每一个交互动作对应的动作参数，对所述每一种反馈动作中的交互动作进行动作编排，以得到所述每一种反馈动作对应的动作参数；
[0137]
在动作仿真系统中验证所述每一种反馈动作对应的动作参数，并在验证结果为按照所述每一种反馈动作对应的动作参数生成控制指令能够控制所述角色机器人平滑流畅的执行所述每一种反馈动作的情况下，输出所述每一种反馈动作对应的动作参数；在验证结果为按照所述每一种反馈动作对应的动作参数生成控制指令不能够控制所述角色机器
人平滑流畅的执行所述每一种反馈动作的情况下，重新执行上述操作。
[0138]
动作的设计和实现是以交互和演艺为主的角色机器人的核心功能，因此生动还原的动作生成、平滑流畅的动作执行、简单便捷的动作编排是相当重要的。市面上一般性的工业机器人或者四足机器人，动作比较单一、缺少变化且只需要考虑电机运行的时间、角度、速度等参数，机器人动作参数只需通过编程得到。但是对于角色机器人，机器人的自由度多、动作耦合性多，这时如果仍然通过纯编程的方式生成动作参数，不仅繁琐耗时，动作执行也会生硬不自然。
[0139]
角色机器人动作生成过程分为四个阶段；
[0140]
动作生成阶段：该阶段考虑到角色机器人的动作制作更类似于动画的制作，因此借助ue4游戏引擎以及三维软件blender对不同种类角色机器人进行了三维建模以及动画重定向，得到能够在角色机器人上执行的动作参数。
[0141]
动作平滑阶段：当角色机器人动作数据生成之后，则需要机器人系统将动作平滑流畅的执行。这涉及到机器人学中的轨迹规划与动作平滑问题。在一般性的机器人学问题中，这个问题牵扯到位置精确控制与动作运行的平滑两者的权衡，因此是一个比较难的问题，但是对于角色机器人来说，位置速度等参数的精确控制意义不大，更重要的是整体动作观感的流畅自然。因此在本发明主要侧重于将上文的机器人动作数据通过离散控制进行pvt(位置-速度-时间多项式插补)或者ptp(点对点线性插补)插值，得到一个相对平滑的整体运动规划。
[0142]
动作编排阶段：角色机器人预存的大量动作数据需要合理的融合、调度，才可以形成一个完整的交互流程，因此需要对之前生成的动作数据进行动作编排。本发明利用开源软件blender的动画系统实现了角色机器人的动作预存、动作融合与动作编排工作。
[0143]
虚拟仿真与实时映射阶段：机器人的仿真是验证机器人最终运行效果的重要步骤，然而现存的机器人仿真软件往往基于固有的机器人模型模式，缺少自由度，通信上对机器人底层系统有较高要求，对于非机器人专业的人员难以迅速上手，对于设计师群体不够友好。而游戏引擎在动画制作、物理仿真、接口丰富性上都足够满足角色机器人的设计需要，因此本发明拟基于ue4引擎搭建一套可以实时通信与动作映射的动作仿真系统。一方面ue4有便捷的接口，既可以接受动作捕捉的实时bvh数据，也可以接受动画软件的动画骨骼数据，另一方面ue4具有很好的图形化程序编写蓝图可以便捷的与机器人进行通信，以实现交互动作的实时仿真与实时传输。
[0144]
利用ue4平台，将动作捕捉或者动画编辑的机器人动作利用动画骨骼重映射算法与机器人关节数据进行匹配，可以实时生成机器关节的角度数据，并通过通信上传机器人执行。此流程大大简化了传统机器人仿真、执行流程，方便机器人操作人员进行调试工作。
[0145]
在上述各实施例的基础上，作为一种可选的实施例，所述采用三维建模技术以及动画重定向技术生成所述每一种反馈动作中每一个交互动作对应的动作参数，包括：
[0146]
基于三维建模技术，根据所述角色机器人的关节数量、位置和自由度生成一个具有虚拟动画骨骼的机器人动画模型；
[0147]
采取动作捕捉或动画软件编辑方式生成所述每一个交互动作对应的动作动画；
[0148]
基于所述每一个交互动作对应的动作动画和所述机器人动画模型，采用动画重定向技术生成能够在所述角色机器人上执行的所述每一个交互动作对应的动作参数。
[0149]
图2示例了交互动作对应的动作参数生成方式示意图，图中ros2为开源机器人操作系统，如图2所示，本发明三维建模中需要根据角色机器人自身的关节数量、位置、自由度生成一个具有虚拟动画骨骼的机器人动画模型，然后利用动作捕捉或者动画师手动拖拽编排的方式生成机器人模型动作动画，再提取游戏引擎中机器人模型的各个自由度角度数据，经过动作映射与修正便可以得到机器人可执行的动作数据，等待机器人调用。
[0150]
第二方面，对本发明提供的用于角色机器人的人机交互装置进行描述，下文描述的用于角色机器人的人机交互装置与上文描述的用于角色机器人的人机交互方法可相互对应参照。图3示例了一种用于角色机器人的人机交互装置的结构示意图，图中所述装置包括：
[0151]
获取模块21，用于获取目标区域内的多源信息；
[0152]
行为模式确定模块22，用于根据所述多源信息，确定所述目标区域内行人的行为模式；
[0153]
情感反馈模式确定模块23，用于基于所述行为模式，确定所述角色机器人的情感反馈模式；
[0154]
交互模块24，用于确定所述情感反馈模式对应的反馈动作，并获取所述反馈动作对应的动作参数，按照所述动作参数生成控制指令，所述控制指令用于控制所述角色机器人执行所述反馈动作。
[0155]
本发明实施例提供的用于角色机器人的人机交互装置，具体执行上述各用于角色机器人的人机交互方法实施例流程，具体请详见上述各用于角色机器人的人机交互方法实施例的内容，在此不再赘述。
[0156]
本发明提供一种用于角色机器人的人机交互装置，对多源信息进行融合以判断当前的交互主体行为；根据交互主体行为调用与之对应的反馈动作，以使角色机器人的交互反应更加恰当，进而提升角色机器人的交互效果。
[0157]
第三方面，图4示例了一种电子设备的实体结构示意图。如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(communications interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行用于角色机器人的人机交互方法，该方法包括：获取目标区域内的多源信息；根据所述多源信息，确定所述目标区域内行人的行为模式；基于所述行为模式，确定所述角色机器人的情感反馈模式；确定所述情感反馈模式对应的反馈动作，并获取所述反馈动作对应的动作参数，按照所述动作参数生成控制指令，所述控制指令用于控制所述角色机器人执行所述反馈动作。
[0158]
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0159]
第四方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，以执行用于角色机器人的人机交互方法，该方法包括：获取目标区域内的多源信息；根据所述多源信息，确定所述目标区域内行人的行为模式；基于所述行为模式，确定所述角色机器人的情感反馈模式；确定所述情感反馈模式对应的反馈动作，并获取所述反馈动作对应的动作参数，按照所述动作参数生成控制指令，所述控制指令用于控制所述角色机器人执行所述反馈动作。
[0160]
第五方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，以执行用于角色机器人的人机交互方法，该方法包括：获取目标区域内的多源信息；根据所述多源信息，确定所述目标区域内行人的行为模式；基于所述行为模式，确定所述角色机器人的情感反馈模式；确定所述情感反馈模式对应的反馈动作，并获取所述反馈动作对应的动作参数，按照所述动作参数生成控制指令，所述控制指令用于控制所述角色机器人执行所述反馈动作。
[0161]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0162]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0163]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
技术特征：1.一种用于角色机器人的人机交互方法，其特征在于，所述方法包括：获取目标区域内的多源信息；根据所述多源信息，确定所述目标区域内行人的行为模式；基于所述行为模式，确定所述角色机器人的情感反馈模式；确定所述情感反馈模式对应的反馈动作，并获取所述反馈动作对应的动作参数，按照所述动作参数生成控制指令，所述控制指令用于控制所述角色机器人执行所述反馈动作。2.根据权利要求1所述的用于角色机器人的人机交互方法，其特征在于，获取目标区域内的多源信息，具体包括：利用多源传感器采集所述目标区域内的多源信息。3.根据权利要求2所述的用于角色机器人的人机交互方法，其特征在于，利用多源传感器采集所述目标区域内的多源信息，具体包括以下至少两者：所述多源传感器包括图像传感器，利用所述图像传感器采集所述目标区域的场景图像；所述目标区域为所述角色机器人周边一定范围内的区域；所述多源传感器包括距离传感器，利用所述距离传感器采集所述目标区域内角色机器人与行人之间的距离信息；所述多源传感器包括压力传感器，利用所述压力传感器采集所述角色机器人的压力信息；所述多源传感器包括震动传感器，利用所述角色机器人的震动信息。4.根据权利要求3所述的用于角色机器人的人机交互方法，其特征在于，将所述目标区域的场景图像、所述目标区域内角色机器人与行人之间的距离信息、所述角色机器人的压力信息和所述角色机器人的震动信息作为所述多源信息；所述根据所述多源信息，确定所述目标区域内行人的行为模式，包括：对所述目标区域的场景图像进行人像识别；若所述角色机器人压力信息/震动信息为受到压力/受到震动，则将触摸布尔值/敲击布尔值记录为正；否则不将触摸布尔值/敲击布尔值记录为正；基于人像识别结果、所述目标区域内角色机器人与行人之间的距离信息、所述触摸布尔值和所述敲击布尔值，确定所述目标区域内行人的行为模式。5.根据权利要求4所述的用于角色机器人的人机交互方法，其特征在于，所述基于人像识别结果、所述目标区域内角色机器人与行人之间的距离信息、所述触摸布尔值和所述敲击布尔值，确定所述目标区域内行人的行为模式，包括：若所述人像识别结果为未识别到人形图像包络面，则所述行为模式为无人交互模式；若所述人像识别结果为识别到至少一个人形图像包络面且所有识别到的人形图像包络面均满足预设条件，则所述行为模式为路过模式；若所述人像识别结果为识别到多个人形图像包络面并且至少两个识别到的人形图像包络面不满足预设条件，则所述行为模式为多人交互模式；若所述人像识别结果为识别到一个人形图像包络面、识别到的人形图像包络面不满足预设条件且所述触摸布尔值为正，则所述行为模式为触摸模式；若所述人像识别结果为识别到一个人形图像包络面、识别到的人形图像包络面不满足预设条件且所述敲击布尔值为正，则所述行为模式为敲击模式；
若所述人像识别结果为识别到一个人形图像包络面、识别到的人形图像包络面不满足预设条件，识别到的人形图像包络面空间位置仅在预设空间范围内变动，所述触摸布尔值不为正且所述敲击布尔值不为正，则所述行为模式为凝视模式；其中，所述识别到的人形图像包络面空间位置的变动情况，通过所述目标区域内角色机器人与行人之间的距离信息确定；所述预设条件为人形图像包络面经过所述角色机器人的时间小于预设时间。6.根据权利要求5所述的用于角色机器人的人机交互方法，其特征在于，所述行为模式的优先级记载在行为模式优先级序列中；所述基于所述行为模式，确定所述角色机器人的情感反馈模式，包括：在所述行为模式不为所述多人交互模式的情况下，从预存的行为模式-情感反馈模式对照表中查找与所述行为模式关联的情感反馈模式，并将查找到的情感反馈模式作为所述角色机器人的情感反馈模式；在所述行为模式为所述多人交互模式的情况下，细化参与交互的每一个行人的行为模式，并选定优先级最高的行为模式；从预存的行为模式-情感反馈模式对照表中查找与所述优先级最高的行为模式关联的情感反馈模式，并将查找到的情感反馈模式作为所述角色机器人的情感反馈模式。7.根据权利要求1所述的用于角色机器人的人机交互方法，其特征在于，所述确定所述情感反馈模式对应的反馈动作，包括：从预存的情感反馈模式-反馈动作对照表中查找所述情感反馈模式对应的反馈动作；所述获取所述反馈动作对应的动作参数，包括：从预存动作库中调用所述反馈动作对应的动作参数；所述动作库中保存了为所述角色机器人设计的每一种反馈动作及其对应的动作参数；其中，所述情感反馈模式，包括：无聊模式、惊吓模式、好奇模式、粘人模式和兴奋模式；所述反馈动作为所述角色机器人不同身体部位交互动作的组合。8.根据权利要求7所述的用于角色机器人的人机交互方法，其特征在于，所述每一种反馈动作对应的动作参数的生成过程，包括：确定所述每一种反馈动作中包含的交互动作；采用三维建模技术以及动画重定向技术生成所述每一种反馈动作中每一个交互动作对应的动作参数；分别对所述每一个交互动作对应的动作参数进行插值处理，以使所述角色机器人能平滑流畅的执行相应交互动作；基于插值处理后的所述每一个交互动作对应的动作参数，对所述每一种反馈动作中的交互动作进行动作编排，以得到所述每一种反馈动作对应的动作参数；在动作仿真系统中验证所述每一种反馈动作对应的动作参数，并在验证结果为按照所述每一种反馈动作对应的动作参数生成控制指令能够控制所述角色机器人平滑流畅的执行所述每一种反馈动作的情况下，输出所述每一种反馈动作对应的动作参数；在验证结果为按照所述每一种反馈动作对应的动作参数生成控制指令不能够控制所述角色机器人平滑流畅的执行所述每一种反馈动作的情况下，重新执行上述操作。9.根据权利要求8所述的用于角色机器人的人机交互方法，其特征在于，所述采用三维
建模技术以及动画重定向技术生成所述每一种反馈动作中每一个交互动作对应的动作参数，包括：基于三维建模技术，根据所述角色机器人的关节数量、位置和自由度生成一个具有虚拟动画骨骼的机器人动画模型；采取动作捕捉或动画软件编辑方式生成所述每一个交互动作对应的动作动画；基于所述每一个交互动作对应的动作动画和所述机器人动画模型，采用动画重定向技术生成能够在所述角色机器人上执行的所述每一个交互动作对应的动作参数。10.一种用于角色机器人的人机交互装置，其特征在于，所述装置包括：获取模块，用于获取目标区域内的多源信息；行为模式确定模块，用于根据所述多源信息，确定所述目标区域内行人的行为模式；情感反馈模式确定模块，用于基于所述行为模式，确定所述角色机器人的情感反馈模式；交互模块，用于确定所述情感反馈模式对应的反馈动作，并获取所述反馈动作对应的动作参数，按照所述动作参数生成控制指令，所述控制指令用于控制所述角色机器人执行所述反馈动作。11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至10任一项所述用于角色机器人的人机交互方法。12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10任一项所述用于角色机器人的人机交互方法。
技术总结本发明涉及一种用于角色机器人的人机交互方法和装置，包括：获取目标区域内的多源信息；根据多源信息，确定目标区域内行人的行为模式；基于行为模式，确定角色机器人的情感反馈模式；确定情感反馈模式对应的反馈动作，并获取反馈动作对应的动作参数，按照动作参数生成控制指令，控制指令用于控制角色机器人执行反馈动作。本发明对多源信息进行融合以判断当前的交互主体行为；根据交互主体行为调用与之对应的反馈动作，以使角色机器人的交互反应更加恰当，进而提升角色机器人的交互效果。进而提升角色机器人的交互效果。进而提升角色机器人的交互效果。
技术研发人员：孙启瑞 米海鹏
受保护的技术使用者：清华大学
技术研发日：2022.06.08
技术公布日：2022/11/1
