本技术属于计算机,具体涉及一种异常数据检测方法、异常数据检测装置、计算机可读介质、电子设备以及计算机程序产品。
背景技术:
1、在大数据平台的海量数据中,存储着各种形式的数据,如系统流水号、状态码、手机号码、身份证号码等。由于数据量巨大、数据形式的多样性以及数据更新的高频率,使得数据的异常检测变得极其复杂。传统的人工检测方法不仅效率低下,而且成本高昂,特别是在需要全天化实时监控和分析的情况下,人工方法很难捕捉到数据中的微妙变化和模式,这些变化和模式可能指示潜在的异常或欺诈行为,严重时还会导致大数据平台故障等问题。
技术实现思路
1、本技术提供一种异常数据检测方法、异常数据检测装置、计算机可读介质、电子设备以及计算机程序产品,目的在于提高异常数据检测的检测效率和检测成功率。
2、根据本技术实施例的一个方面,提供一种异常数据检测方法,该方法包括:获取历史数据集合,所述历史数据集合包括多个数据项,所述数据项是由多个字符组成的字符序列;根据所述历史数据集合,生成与所述字符序列中的各个序列位置相对应的字符集合和字符串集合,所述字符集合是由位于一个序列位置上的字符组成的去重集合,所述字符串集合是由位于至少两个序列位置上的字符串组成的去重集合;根据所述字符集合中的字符数量与所述字符串集合的字符串数量,筛选用于进行异常数据检测的目标字符串集合;将待检测数据与所述目标字符串集合进行一致性匹配校验,并在校验失败时判定所述待检测数据为异常数据。
3、根据本技术实施例的一个方面,提供一种异常数据检测装置,该装置包括:
4、获取模块,被配置为获取历史数据集合,所述历史数据集合包括多个数据项,所述数据项是由多个字符组成的字符序列;
5、生成模块,被配置为根据所述历史数据集合,生成与所述字符序列中的各个序列位置相对应的字符集合和字符串集合,所述字符集合是由位于一个序列位置上的字符组成的去重集合,所述字符串集合是由位于至少两个序列位置上的字符串组成的去重集合;
6、筛选模块,被配置为根据所述字符集合中的字符数量与所述字符串集合的字符串数量,筛选用于进行异常数据检测的目标字符串集合;
7、校验模块,被配置为将待检测数据与所述目标字符串集合进行一致性匹配校验,并在校验失败时判定所述待检测数据为异常数据。
8、在本技术的一些实施例中,基于以上技术方案,所述生成模块包括:
9、拆分模块,被配置为将所述历史数据集合中的各个数据项按照单个字符进行序列拆分并组合得到字符矩阵,所述字符矩阵中的一个字符行对应于一个数据项,所述字符矩阵中的一个字符列对应于一个序列位置;
10、组合模块,被配置为将位于一个字符列上的所有字符去除重复项后组成与一个所述序列位置相对应的字符集合;
11、拼接模块,被配置为按照序列位置的排列顺序,将两个字符列上的字符拼接形成与各个字符行相对应的字符串,并将所述字符串去除重复项后组成与两个所述序列位置相对应的字符串集合。
12、在本技术的一些实施例中,基于以上技术方案,所述字符串包括邻位字符串和非邻位字符串,所述邻位字符串由两个序列位置相邻的字符拼接组成,所述非邻位字符串由两个序列位置不相邻的字符拼接组成。
13、在本技术的一些实施例中,基于以上技术方案,所述筛选模块包括:
14、数量确定模块,被配置为根据所述字符集合中的字符数量确定与两个序列位置相对应的字符组合数量,所述字符组合数量是由所述两个序列位置上的字符进行自由组合产生的字符组合的最大数量;
15、数值比较模块,被配置为根据所述字符组合数量与所述字符串数量的数值关系,筛选用于进行异常数据检测的目标字符串集合。
16、在本技术的一些实施例中,基于以上技术方案,所述数值比较模块包括:
17、第一比较模块,被配置为当所述字符组合数量小于预设的第一数量阈值时,若所述字符组合数量大于所述字符串数量,则将所述字符串数量对应的字符串集合确定为用于进行异常数据检测的目标字符串集合;
18、第二比较模块,被配置为当所述字符组合数量大于所述第一数量阈值时,对所述字符组合数量对应的两个序列位置进行关联性校验,并在校验成功时将所述字符串数量对应的字符串集合确定为用于进行异常数据检测的目标字符串集合。
19、在本技术的一些实施例中,基于以上技术方案,所述第二比较模块还被配置为:获取与所述两个序列位置相对应的比例阈值,所述比例阈值小于1;若所述字符组合数量与所述比例阈值的乘积大于所述字符串数量,则确定所述字符组合数量对应的两个序列位置具有关联性。
20、在本技术的一些实施例中,基于以上技术方案,所述第二比较模块还被配置为:在所述字符组合数量对应的两个序列位置上统计任意一对字符组合的实际出现频次和理论出现频次;根据所述实际出现频次和所述理论出现频次确定所述两个序列位置具有关联性的可靠性系数;若所述可靠性系数大于预设的可靠性阈值,则确定所述字符组合数量对应的两个序列位置具有关联性。
21、在本技术的一些实施例中,基于以上技术方案,所述可靠性系数按照如下公式计算得到:
22、
23、其中,x2为可靠性系数,y1为字符组合的实际出现频次,y2为字符组合的理论出现频次。
24、在本技术的一些实施例中,基于以上技术方案,所述第二比较模块还被配置为:当所述字符组合数量小于预设的第二数量阈值时,获取与所述两个序列位置相对应的比例阈值,所述比例阈值小于1;若所述字符组合数量与所述比例阈值的乘积大于所述字符串数量,则确定所述字符组合数量对应的两个序列位置具有关联性;当所述字符组合数量大于所述第二数量阈值时,在所述字符组合数量对应的两个序列位置上统计任意一对字符组合的实际出现频次和理论出现频次;根据所述实际出现频次和所述理论出现频次确定所述两个序列位置具有关联性的可靠性系数;若所述可靠性系数大于预设的可靠性阈值,则确定所述字符组合数量对应的两个序列位置具有关联性。
25、在本技术的一些实施例中,基于以上技术方案,所述装置还包括:
26、合并模块,被配置为当任意两个目标字符串集合对应于一个相同的序列位置时,合并所述两个目标字符串集合。
27、根据本技术实施例的一个方面,提供一种计算机可读介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如以上技术方案中的异常数据检测方法。
28、根据本技术实施例的一个方面,提供一种电子设备,该电子设备包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器被配置为执行所述可执行指令来实现如以上技术方案中的异常数据检测方法。
29、根据本技术实施例的一个方面,提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如以上技术方案中的异常数据检测方法。
30、在本技术实施例提供的技术方案中,通过高效利用历史数据集合,首先构建了包含所有字符和字符串的去重集合,然后基于这些集合中字符和字符串的数量,智能筛选出用于异常检测的关键目标字符串集合。这种方法不仅提高了异常数据检测的准确性,而且通过一致性匹配校验,能够快速识别并判定待检测数据中的异常,从而在数据质量和安全性方面提供了显著的益处,确保了数据处理的可靠性和有效性。
31、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本技术。
1.一种异常数据检测方法,其特征在于,包括:
2.根据权利要求1所述的异常数据检测方法,其特征在于,根据所述历史数据集合,生成与所述字符序列中的各个序列位置相对应的字符集合和字符串集合,包括:
3.根据权利要求2所述的异常数据检测方法,其特征在于,所述字符串包括邻位字符串和非邻位字符串,所述邻位字符串由两个序列位置相邻的字符拼接组成,所述非邻位字符串由两个序列位置不相邻的字符拼接组成。
4.根据权利要求1至3中任意一项所述的异常数据检测方法,其特征在于,根据所述字符集合中的字符数量与所述字符串集合的字符串数量,筛选用于进行异常数据检测的目标字符串集合,包括:
5.根据权利要求4所述的异常数据检测方法,其特征在于,根据所述字符组合数量与所述字符串数量的数值关系,筛选用于进行异常数据检测的目标字符串集合,包括:
6.根据权利要求5所述的异常数据检测方法,其特征在于,对所述字符组合数量对应的两个序列位置进行关联性校验,包括:
7.根据权利要求5所述的异常数据检测方法,其特征在于,对所述字符组合数量对应的两个序列位置进行关联性校验,包括:
8.根据权利要求7所述的异常数据检测方法,其特征在于,所述可靠性系数按照如下公式计算得到:
9.根据权利要求5所述的异常数据检测方法,其特征在于,对所述字符组合数量对应的两个序列位置进行关联性校验,包括:
10.根据权利要求1至3中任意一项所述的异常数据检测方法,其特征在于,在筛选用于进行异常数据检测的目标字符串集合之后,所述方法还包括:
