1.本发明涉及康复辅助器械智能控制领域，尤其涉及一种人在环路的上臂假肢半自主灵巧控制系统。
背景技术：2.我国截肢患者人口数量巨大，肢体功能替代与康复器械是提高截肢群体生活质量的重要民生装备。肌电假肢是帮助截肢患者进行功能康复的有效手段，有望帮助截肢患者回归社会。随着技术的进步，仿人假肢手的灵巧程度和集成的传感器性能不断提高，但是假肢的安装普及率仍然偏低。其中一个重要的原因是，肌电控制接口的性能不足且缺乏感知反馈，截肢患者操控假肢的认知负担重。
3.常用的肌电控制接口一般采用有限状态机或模式识别控制技术。有限状态机法同时采集一对拮抗肌的肌电信号，每个自由度两个相反方向的运动分别由这两块独立的肌肉来控制，通过两块肌肉的同时收缩来切换假肢手的不同自由度。肌电模式识别法采集多通道的肌电信号，从单位窗长的肌电信号中提取特征，然后通过预先训练的分类器识别动作模式控制假肢。对于上臂截肢患者，理想情况下，佩戴的假肢一般包括仿生五指手、多自由度腕关节和肘关节。以日常生活基本操作喝水为例，使用有限状态机控制方法，患者需要频繁的肌肉收缩切换肘、腕、手等关节的自由度，费时费力；若使用模式识别法，首先患者残肢信号源有限，难以采集足够多的肌电信号识别动作意图，而且干扰因素(如手臂位置移动、肌肉疲劳、出汗)容易导致动作的误识别，患者使用信心受挫。
4.本发明要解决的问题是如何提供一种多关节上臂假肢局部自主控制系统，降低患者的使用负担，同时兼顾患者的神经控制和感知反馈。因此，本领域的技术人员致力于开发一种人在环路的上臂假肢半自主灵巧控制系统，采用视觉/触觉等多模态感知提升假肢的操控效率，增加仿人灵巧假肢手的普及率，改善截肢患者的生活质量。
技术实现要素：5.有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是利用视觉传感器的辅助，实现上臂假肢的半自主灵巧控制，输出自然的手臂运动轨迹和目标物体预抓取手势，降低患者的操作认知负担。
6.为实现上述目的，本发明提供了一种人在环路的上臂假肢半自主灵巧控制系统，通过第一视角相机、手眼视觉、假肢手触觉、肌电控制器、感知反馈装置、运动规划器和人机共享控制器实现；所述上臂假肢包括假肢肘关节、假肢腕关节和假肢手；所述运动规划器根据第一视角相机的信号判断目标物体，并根据所述目标物体的坐标规划假肢肘关节和假肢腕关节的联合运动轨迹；所述运动规划器根据手眼视觉的信号调整假肢腕关节的姿态并生成假肢手的预抓取手势；所述假肢手触觉用于采集假肢手抓握过程中的触觉信号，并通过感知反馈装置刺激截肢患者产生相应触觉或触觉提示；所述肌电控制器用于控制假肢手的运动，还可以用于控制假肢肘关节或假肢腕关节的运动；所述人机共享控制器可设置肌电
控制器和运动规划器对上臂假肢关节的控制权重；特别地，肌电控制器可反向设置人机共享控制器的参数。
7.进一步地，所述第一视角相机与眼镜集成，可佩戴在患者头部。
8.进一步地，所述手眼视觉设置在假肢手虎口处。
9.进一步地，所述假肢手触觉集成在假肢手手掌和手指处。
10.进一步地，所述感知反馈装置可通过电刺激、振动刺激或压力刺激中的一种或多种组合对患者施加刺激。
11.进一步地，所述运动规划器可根据假肢手触觉和手眼视觉采集到目标物体属性自动调整假肢手的抓握力度。
12.进一步地，所述假肢肘关节和假肢腕关节的联合运动轨迹可通过采集健康人日常生活中上臂运动轨迹聚类得出。
13.进一步地，所述假肢腕关节的调整可根据手眼视觉采集到的目标物体的主轴实现。
14.进一步地，所述假肢手的预抓取手势可通过手眼视觉采集到的目标物体的几何属性得出。
15.进一步地，所述肌电控制器可通过有限状态机或模式识别法分析患者残肢的肌电信号，输出控制意图。
16.与现有技术相比，本发明带来的有益效果是：
17.1)采用多模态视觉和假肢手触觉融合，自主规划上臂假肢肘关节、腕关节的预抓取运动，根据物体属性自动选择手势并调整假肢手的抓握力，显著降低了截肢患者的操作认知负担；
18.2)兼顾了截肢患者的神经控制和感知反馈，确保了控制直观性和本体感。
19.以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
20.图1是本发明的一个较佳实施例的上臂截肢患者操作示意图；
21.图2是本发明的较佳实施例的人在环路的上臂假肢半自主灵巧控制方法框图；
22.图3是本发明的较佳实施例的上臂假肢预抓取规划信息处理流程图。
23.其中，1为第一视角相机；2为上臂假肢接受腔；3为假肢肘关节；4为假肢腕关节；5是手眼视觉；6是假肢手；7是目标物体。
具体实施方式
24.以下参考说明书附图介绍本发明的优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
25.如图1和图2所示，本发明提供了一种人在环路的上臂假肢半自主灵巧控制系统，包括第一视角相机1、手眼视觉5、假肢手触觉、肌电控制器、感知反馈装置、运动规划器和人机共享控制器。上臂假肢包括假肢肘关节3、假肢腕关节4和假肢手6，通过上臂假肢接受腔2
穿戴在患者身上。第一视角相机1与眼镜集成，可佩戴在患者头部。手眼视觉5设置在假肢手6虎口处。假肢手触觉集成在假肢手6手掌和手指处。
26.人机共享控制器可设置肌电控制器和运动规划器对上臂假肢关节的控制权重；特别地，肌电控制器可以反向设置人机共享控制器的参数。运动规划器根据第一视角相机1的信号判断目标物体7，并根据所述目标物体7的坐标规划假肢肘关节3和假肢腕关节4的联合运动轨迹。如图3所示，当第一视角相机1检测到多个物体时，可通过肌电信号选择并确认目标物体7。假肢肘关节3和假肢腕关节4的联合运动轨迹可预先通过采集健康人日常生活中上臂运动轨迹聚类得出，并存储到运动规划器中。随后，假肢肘关节3和假肢腕关节4自主联合运动至目标物体7附近。
27.运动规划器根据手眼视觉5的信号调整假肢腕关节4的姿态并生成假肢手6的预抓取手势。假肢腕关节4的调整可根据手眼视觉5采集到的目标物体7的主轴实现。日常生活中典型物体的种类、尺寸、材质、刚度等属性信息会提前存储至运动规划器中。假肢手6的预抓取手势可通过手眼视觉5采集到的目标物体7的几何属性(如物体种类)得出。至此，上臂假肢的自主预抓取过程结束。截肢患者可以用肌电信号通过肌电控制器控制假肢手6的抓握运动。对于上臂残肢肌肉较少的截肢患者，可以采用两通道的肌电传感器及有限状态机作为肌电控制器；对于残肢肌群丰富，或者做过神经移植手术(tmr)的患者，也可以采用多通道肌电模式识别作为肌电控制器。此外，运动规划器还可根据假肢手触觉和手眼视觉5采集到目标物体7的属性自动调整假肢手的抓握力度。假肢手触觉用于采集假肢手6抓握过程中的触觉信号，并通过感知反馈装置刺激截肢患者产生相应触觉或触觉提示。感知反馈装置可通过电刺激、振动刺激或压力刺激中的一种或多种组合对患者施加刺激。通过人机共享控制器的参数设置，肌电控制器还可以用于控制假肢肘关节或假肢腕关节的运动。
28.本实施例采用多模态视觉和假肢手触觉融合，自主规划上臂假肢肘关节、腕关节的预抓取运动，根据物体属性自动选择手势并调整假肢手的抓握力，显著降低了截肢患者的操作认知负担；兼顾了截肢患者的神经控制和感知反馈，确保了控制直观性和本体感。
29.以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
技术特征：1.一种人在环路的上臂假肢半自主灵巧控制系统，其特征在于，包括第一视角相机、手眼视觉、假肢手触觉、肌电控制器、感知反馈装置、运动规划器和人机共享控制器；所述上臂假肢包括假肢肘关节、假肢腕关节和假肢手；所述运动规划器根据第一视角相机的信号判断目标物体，并根据所述目标物体的坐标规划假肢肘关节和假肢腕关节的联合运动轨迹；所述运动规划器根据手眼视觉的信号调整假肢腕关节的姿态并生成假肢手的预抓取手势；所述假肢手触觉用于采集假肢手抓握过程中的触觉信号，并通过感知反馈装置刺激截肢患者产生相应触觉或触觉提示；所述肌电控制器用于控制假肢手的运动、控制假肢肘关节或假肢腕关节的运动以及反向设置人机共享控制器的参数；所述人机共享控制器可设置肌电控制器和运动规划器对上臂假肢关节的控制权重。2.根据权利要求1所述的人在环路的上臂假肢半自主灵巧控制系统，其特征在于，所述第一视角相机与眼镜集成，佩戴在患者头部。3.根据权利要求1所述的人在环路的上臂假肢半自主灵巧控制系统，其特征在于，所述手眼视觉设置在假肢手虎口处。4.根据权利要求1所述的人在环路的上臂假肢半自主灵巧控制系统，其特征在于，所述假肢手触觉集成在假肢手手掌和手指处。5.根据权利要求1所述的人在环路的上臂假肢半自主灵巧控制系统，其特征在于，所述感知反馈装置可通过电刺激、振动刺激或压力刺激中的一种或多种组合对患者施加刺激。6.根据权利要求1所述的人在环路的上臂假肢半自主灵巧控制系统，其特征在于，所述运动规划器根据假肢手触觉和手眼视觉采集到目标物体属性自动调整假肢手的抓握力度。7.根据权利要求1所述的人在环路的上臂假肢半自主灵巧控制系统，其特征在于，所述假肢肘关节和假肢腕关节的联合运动轨迹通过采集健康人日常生活中上臂运动轨迹聚类得出。8.根据权利要求1所述的人在环路的上臂假肢半自主灵巧控制系统，其特征在于，所述假肢腕关节的调整可根据手眼视觉采集到的目标物体的主轴实现。9.根据权利要求1所述的人在环路的上臂假肢半自主灵巧控制系统，其特征在于，所述假肢手的预抓取手势通过手眼视觉采集到的目标物体的几何属性得出。10.根据权利要求1所述的人在环路的上臂假肢半自主灵巧控制系统，其特征在于，所述肌电控制器通过有限状态机或模式识别法分析患者残肢的肌电信号，输出控制意图。
技术总结本发明公开了一种人在环路的上臂假肢半自主灵巧控制系统，包括第一视角相机、手眼视觉、假肢手触觉、肌电控制器、感知反馈装置、运动规划器和人机共享控制器。本发明采用多模态视觉和假肢手触觉融合，自主规划上臂假肢肘关节、腕关节的预抓取运动，根据物体属性自动选择手势并调整假肢手的抓握力，显著降低了截肢患者的操作认知负担；兼顾了截肢患者的神经控制和感知反馈，确保了控制直观性和本体感。确保了控制直观性和本体感。确保了控制直观性和本体感。
技术研发人员：郭伟超 盛鑫军 朱向阳
受保护的技术使用者：上海交通大学
技术研发日：2022.07.21
技术公布日：2022/11/1
