一种基于深度学习的聋哑人脑电信号智能交互方法

专利2026-08-28  23


本发明涉及计算机序列数据领域,尤其涉及一种基于深度学习的聋哑人脑电信号智能交互方法。


背景技术:

1、在智能交互领域,随着技术的不断发展,人们对于人机交互方式的需求日益多样化与个性化。特别是针对聋哑人群,由于他们无法通过传统的声音和语言进行交流,开发一种高效、准确的智能交互方法显得尤为重要。近年来,深度学习技术的崛起为解决这一问题提供了新的思路,脑电信号是大脑神经元电活动的直接反映,蕴含了丰富的生理与病理信息。对于聋哑人来说,脑电信号是他们与外部世界进行交流的一种重要途径。通过对脑电信号的采集、分析和处理,可以实现聋哑人与外部设备的智能交互。

2、因此,利用深度学习技术将脑电信号应用在聋哑人的智能交互上,可以极大程度提高交互的效率,同时,每个人的脑电信号都是独特的,进行迁移学习可以满足特定人的个性化需求,基于此,本发明设计了一种基于深度学习的聋哑人脑电信号智能交互方法。


技术实现思路

1、本发明的目的是解决现有技术中的问题,而提出的一种基于深度学习的聋哑人脑电信号智能交互方法。

2、一种基于深度学习的聋哑人脑电信号智能交互方法,包括以下步骤:

3、s1:根据条件选择初始化模型;

4、s2:迁移学习并训练,进而实现针对使用者的特定性优化,最后减少误差。

5、s3:验证模型,并设置误差率,若是低于误差率,则模型最终通过验证,投入使用,若是高于误差率,则需重新进行训练。

6、第一方面,本发明提供了多个初始化的聋哑人脑电信号智能交互模型,包含性别和年龄的双重选择,进而方便更好地进行后续的迁移学习,其中在首次启用时会针对使用对象选择性别和年龄,而年龄是以分段的形式展现的,具体的分段如下有:20岁以下,21-30岁,31岁-40岁,41岁-50岁,51岁-60岁,61岁-70岁和70岁往上。

7、可选地,在迁移学习中,针对使用者进行特定性优化,减少误差,而迁移学习方法包含了100个常见场景的设置,每个场景都设置为1分钟内完成,使用者需要根据使用的场景做出正常的脑电信号即可。

8、可选地,采集到使用者的脑电信号后,模型会在本地的机器上进行迭代更新,进而会针对性对该使用者的脑电信号进行拟合。

9、可选地,本发明支持自定义场景进行迁移学习,在为使用者进行迁移学习时,若是使用者有自己特定的需求,可以进行脑电信号的采集,并给出语义信息。

10、可选地,在验证过程中,针对使用者定制的迁移学习模型进行系统化的测试,其中,验证方法分为脑电信号验证和语义信息验证两部分,脑电信号的验证方法包括1分钟12点差值验证法,具体的验证方法如下:

11、第一步,选择具体的场景,此处的场景可以为100个常见场景或者自定义场景,获得其预先保存的脑电信号。

12、第二步,将验证阶段采集到的脑电信号每隔5秒采集一个点,共计12个点,以0点处的差值为标准,进行该场景脑电信号的误差计算。假设此处原始的脑电信号中的点值为yt0,…yt11,采集到的点值为y0,…,y11,具体的脑电信号误差计算方法如下:

13、

14、可选地,语音信息验证部分是判断模型推理脑电信号结果是否准确的方法,此处假设推理准确的结果个数为nt,假设整体进行测试类别个数为n,则最后的语义信息准确率的计算方法为:

15、

16、可选地,为了平衡脑电信号验证和语义信息验证两部分比重,本申请实例进行了多次验证,最后实现整体的计算方法如下:

17、error=α·point_error+(1-α)·info_error

18、可选地,经过测试,本申请实例默认采用的α值为0.4。

19、可选地,针对α的值,支持自定义调整,以应对不同使用者的特殊情况。

20、可选地,设置误差率,来确认模型是否通过,本申请实例默认设置的阈值为7%。

21、与现有的技术相比,本发明优点在于:

22、1.本方法通过模拟人脑神经网络的工作方式,使机器能够学习和理解复杂的数据。在通过训练深度神经网络模型,机器能够识别和理解用户的意图,从而提供更加自然、流畅的交互体验,利用深度学习技术将脑电信号应用在聋哑人的智能交互上,可以极大程度提高交互的效率。

23、2.在迁移学习的过程中,准备了100个常见的场景,方便使用者进行针对性的迁移学习,同样,本申请实例支持自定义场景,在100个常见场景选择完成后,自定义场景可以通过协助录入脑电数据,方便迁移模型的训练,通过脑电信号验证和语义信息验证的双重验证以及对两者整体误差的计算,可以更准确地验证模型的可行性。



技术特征:

1.一种基于深度学习的聋哑人脑电信号智能交互方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于深度学习的聋哑人脑电信号智能交互方法,其特征在于:初始化模型选择条件包括使用者的性别和年龄,初始化模型选择过程中包含的年龄分段有20岁以下,21-30岁,31岁-40岁,41岁-50岁,51岁-60岁,61岁-70岁和70岁往上。

3.根据权利要求1所述的一种基于深度学习的聋哑人脑电信号智能交互方法,其特征在于:在迁移学习中,利用100个常见的场景针对初始化模型针对使用者进行微调,初始化模型在本地的机器上利用100个场景的使用者的脑电信号数据进行迭代更新,进而会针对性对该使用者的脑电信号进行拟合。

4.根据权利要求1所述的一种基于深度学习的聋哑人脑电信号智能交互方法,其特征在于:验证模型主要包括脑电信号验证和语义信息验证。

5.根据权利要求4所述的一种基于深度学习的聋哑人脑电信号智能交互方法,其特征在于:语义信息验证通过判断模型推理脑电信号信息是否准确。

6.根据权利要求4所述的一种基于深度学习的聋哑人脑电信号智能交互方法,其特征在于:脑电信号验证的方法包括1分钟12点差值验证法,差值验证法的具体步骤包括:

7.根据权利要求6所述的一种基于深度学习的聋哑人脑电信号智能交互方法,其特征在于:α值的默认值设置为0.4,默认误差率为7%,若是低于7%,则模型最终通过验证,投入使用,若是高于7%,则需重新进行训练。


技术总结
本发明提出了一种基于深度学习的聋哑人脑电信号智能交互方法,涉及计算机序列数据领域,包括以下步骤:S1:根据条件选择初始化模型;S2:迁移学习并训练,进而实现针对使用者的特定性优化,最后减少误差;S3:验证模型,并设置误差率,若是低于误差率,则模型最终通过验证,投入使用,若是高于误差率,则需重新进行训练。本发明旨在通过深度学习的强大的序列数据学习能力,解决当前聋哑人交流不便的情况。本方法采用大量的脑电数据结合语义信息进行的标注,进行了大量的训练,实现了脑电数据转为自然语言的过程(即语音数据),本方法可广泛在聋哑人的沟通交流领域,促进聋哑人与正常人之间的沟通交流。

技术研发人员:杨雨薇,邱建林,张海飞,陈虹云,李秀静
受保护的技术使用者:南通理工学院
技术研发日:
技术公布日:2024/11/11
转载请注明原文地址: https://tieba.8miu.com/read-24137.html

最新回复(0)