本申请涉及音频处理,具体而言,涉及一种基于声学事件识别和情绪识别的霸凌事件检测方法及系统。
背景技术:
1、现有的霸凌事件检测方法,通常是采取语音数据与图像数据相结合的方式,在识别到图像数据中存在霸凌行为或者语音数据中存在言语霸凌时,则确定检测到霸凌事件,并锁定图像数据中涉及的人员作为霸凌事件的涉事人员,以便后续针对上述涉事人员进行霸凌事件的调查处理。
2、但是,由于校园中的霸凌事件往往高发于宿舍、卫生间等监控无法覆盖的隐私区域,从而导致依赖于图像数据的上述现有的霸凌事件检测方法无法对校园中可能发生的霸凌事件进行高效且准确地检测。
技术实现思路
1、有鉴于此,本申请提供一种基于声学事件识别和情绪识别的霸凌事件检测方法及系统,一方面,通过部署在目标校园内的多个声学传感器可以捕捉到校园内各个角落的声音信号,从数据采集角度实现对于目标校园的全覆盖,并且采用边缘计算的处理方式,只在边缘计算设备中对采集到的语音数据进行处理,而不会发送和展示采集到的任何语音数据,从而在提高数据处理效率的同时也可以有效地保护校园师生的个人隐私;另一方面,通过从情绪识别、霸凌声事件检测以及语音识别等多个维度分析语音数据,可以综合判定是否在语音数据的采集位置处(即声学传感器的部署位置)检测到霸凌事件,进而有效地提高了霸凌事件检测结果的准确度。
2、为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
3、第一方面,本申请实施例提供了一种基于声学事件识别和情绪识别的霸凌事件检测方法,应用于边缘计算设备,其中,所述边缘计算设备与部署在目标校园内的多个声学传感器之间按照预设的数据传输协议进行数据传输,所述霸凌事件检测方法包括:
4、接收每一所述声学传感器采集的语音数据,并对接收到的每一所述语音数据进行预处理,得到每一所述语音数据对应的目标音频数据;其中,目标音频数据中每条语音信息携带有该条语音信息对应的说话人标签;
5、针对每一所述目标音频数据,当检测到该目标音频数据中存在与霸凌事件相关的预设关键词时,对该目标音频数据进行情绪识别,得到该目标音频数据对应的情绪识别结果;
6、针对每一所述目标音频数据,分别计算该目标音频数据与多个霸凌事件的声学事件模板之间的语音相似度,得到计算结果中语音相似度的最高值作为该目标音频数据对应的霸凌声事件检测结果;
7、针对每一所述目标音频数据,判断该目标音频数据中是否包含与霸凌事件相关的语音信息,得到判断结果作为该目标音频数据的语音识别结果;
8、针对每一所述目标音频数据,根据该目标音频数据对应的所述情绪识别结果、所述霸凌声事件检测结果以及所述语音识别结果,综合确定目标声学传感器的部署位置处对应的霸凌事件检测结果;其中,所述目标声学传感器表征该目标音频数据对应的声学传感器。
9、第二方面,本申请实施例提供了一种基于声学事件识别和情绪识别的霸凌事件检测系统,所述霸凌事件检测系统包括:边缘计算设备以及部署在目标校园内的多个声学传感器;其中,所述边缘计算设备与多个所述声学传感器之间按照预设的数据传输协议进行数据传输,所述边缘计算设备用于:
10、接收每一所述声学传感器采集的语音数据,并对接收到的每一所述语音数据进行预处理,得到每一所述语音数据对应的目标音频数据;其中,目标音频数据中每条语音信息携带有该条语音信息对应的说话人标签;
11、针对每一所述目标音频数据,当检测到该目标音频数据中存在与霸凌事件相关的预设关键词时,对该目标音频数据进行情绪识别,得到该目标音频数据对应的情绪识别结果;
12、针对每一所述目标音频数据,分别计算该目标音频数据与多个霸凌事件的声学事件模板之间的语音相似度,得到计算结果中语音相似度的最高值作为该目标音频数据对应的霸凌声事件检测结果;
13、针对每一所述目标音频数据,判断该目标音频数据中是否包含与霸凌事件相关的语音信息,得到判断结果作为该目标音频数据的语音识别结果;
14、针对每一所述目标音频数据,根据该目标音频数据对应的所述情绪识别结果、所述霸凌声事件检测结果以及所述语音识别结果,综合确定目标声学传感器的部署位置处对应的霸凌事件检测结果;其中,所述目标声学传感器表征该目标音频数据对应的声学传感器。
15、第三方面,本申请实施例提供了一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的基于声学事件识别和情绪识别的霸凌事件检测方法的步骤。
16、第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述的基于声学事件识别和情绪识别的霸凌事件检测方法的步骤。
17、本申请的实施例提供的技术方案可以包括以下有益效果:
18、本申请实施例提供的一种基于声学事件识别和情绪识别的霸凌事件检测方法及系统,一方面,通过部署在目标校园内的多个声学传感器可以捕捉到校园内各个角落的声音信号,从数据采集角度实现对于目标校园的全覆盖,并且采用边缘计算的处理方式,只在边缘计算设备中对采集到的语音数据进行处理,而不会发送和展示采集到的任何语音数据,从而在提高数据处理效率的同时也可以有效地保护校园师生的个人隐私;另一方面,通过从情绪识别、霸凌声事件检测以及语音识别等多个维度分析语音数据,可以综合判定是否在语音数据的采集位置处(即声学传感器的部署位置)检测到霸凌事件,进而有效地提高了霸凌事件检测结果的准确度。
1.一种基于声学事件识别和情绪识别的霸凌事件检测方法,其特征在于,应用于边缘计算设备,其中,所述边缘计算设备与部署在目标校园内的多个声学传感器之间按照预设的数据传输协议进行数据传输,所述霸凌事件检测方法包括:
2.根据权利要求1所述的霸凌事件检测方法,其特征在于,所述对接收到的每一所述语音数据进行预处理,包括:
3.根据权利要求1所述的霸凌事件检测方法,其特征在于,所述对该目标音频数据进行情绪识别,包括:
4.根据权利要求1所述的霸凌事件检测方法,其特征在于,所述判断该目标音频数据中是否包含与霸凌事件相关的语音信息,包括:
5.根据权利要求1所述的霸凌事件检测方法,其特征在于,所述根据该目标音频数据对应的所述情绪识别结果、所述霸凌声事件检测结果以及所述语音识别结果,综合确定目标声学传感器的部署位置处对应的霸凌事件检测结果,包括:
6.根据权利要求1所述的霸凌事件检测方法,其特征在于,所述根据该目标音频数据对应的所述情绪识别结果、所述霸凌声事件检测结果以及所述语音识别结果,综合确定目标声学传感器的部署位置处对应的霸凌事件检测结果,还包括:
7.根据权利要求1所述的霸凌事件检测方法,其特征在于,所述霸凌事件检测方法还包括:
8.根据权利要求7所述的霸凌事件检测方法,其特征在于,所述控制所述目标声学传感器按照预设干预语音模板播放对于霸凌事件的干预语音信息,包括:
9.根据权利要求1所述的霸凌事件检测方法,其特征在于,所述霸凌事件检测方法还包括:
10.一种基于声学事件识别和情绪识别的霸凌事件检测系统,其特征在于,所述霸凌事件检测系统包括:边缘计算设备以及部署在目标校园内的多个声学传感器;其中,所述边缘计算设备与多个所述声学传感器之间按照预设的数据传输协议进行数据传输,所述边缘计算设备用于: