1.本技术涉及计算机技术领域,提供了一种对周期性数据进行异常检测的方法、装置及存储介质。
背景技术:2.目前,随着边缘计算业务规模不断扩大,边缘集群中的机器数量也在不断扩充,而在边缘计算技术当中很重要的一点就在于如何实现各个边缘集群机器的监控和异常预警,得益于目前监控相关技术的发展,可以基于prometheus开源体系采集到各个边缘集群的指标。
3.但是,如何基于这些指标来监控这些集群,并能够检测到指标中存在的异常,也是一个非常复杂的问题,一方面,这些集群地处不同的区域,有着不同的网络环境和硬件配置,另一方面,各个集群承载的业务也不尽相同,因此,在针对某个指标做预警时,对其进行异常检测是非常困难的,无法制定一个统一的阈值来处理,而且,某些指标还具有明显的周期性,如果采用硬阈值的方式来对其进行处理的话,会大大增加误告警的情况。因此,目前在边缘计算场景下的监控指标监控和异常检测工作还存在以下问题:
4.(1)无法制定针对所有集群的统一阈值,且现有方法无法针对各个集群的不同情况自动的调整阈值。
5.(2)现有的方法无法处理具有周期性的数据,无论是固定阈值,还是现有的动态调整方法都不能很好的自动调整阈值,导致误告警增多。
技术实现要素:6.本技术实施例提供一种对周期性数据进行异常检测的方法、装置及存储介质,用以提升检测的效率和准确率。
7.本技术提供的具体技术方案如下:
8.第一方面,本技术实施例提供了一种对周期性数据进行异常检测的方法,包括:
9.基于当前周期对应的预测数据和当前周期对应的实测数据,确定数据差值;其中,当前周期对应的预测数据是将至少一个先前周期的实测数据和实测周期特征输入到异常检测模型后得到的;异常检测模型是基于至少一个历史周期的实测数据、与至少一个历史周期对应的实测周期特征和与至少一个历史周期对应的预测数据进行训练得到的,其中历史周期早于至少一个先前周期;
10.若数据差值超出异常差阈值,则判定当前周期对应的实测数据异常,其中,异常差阈值是基于至少一个先前周期对应的预测数据和实测数据确定的。
11.可选地,异常检测模型通过以下方式训练:
12.将至少一个历史周期的实测数据和与至少一个历史周期对应的实测周期特征作为套索回归模型的输入参数,将与至少一个历史周期对应的预测数据作为套索回归模型的输出参数;
13.基于输入参数和输出参数,对套索回归模型进行训练,并将训练好的套索回归模型作为异常检测模型。
14.可选地,当前周期对应的实测数据通过以下方式确定:
15.确定当前周期对应的当前起始时刻和当前终止时刻;
16.基于当前起始时刻和当前终止时刻,确定当前周期对应的当前滑动窗口;
17.基于当前滑动窗口对原始数据流进行截取,并将截取到的多个原始数据确定为当前周期对应的实测数据,其中,原始数据流为边缘集群在运行过程中的状态数据的集合;
18.至少一个先前周期的实测数据通过以下方式确定:
19.确定至少一个先前周期对应的先前起始时刻和先前终止时刻;
20.基于先前起始时刻和先前终止时刻,确定至少一个先前周期对应的先前滑动窗口;
21.基于先前滑动窗口对原始数据流进行截取,并将截取到的多个原始数据确定为至少一个先前周期对应的实测数据。
22.可选地,实测周期特征通过以下方式确定:
23.在当前周期内预设的各个采样时刻,分别从当前周期对应的实测数据中提取对应的目标特征;
24.基于各个目标特征确定实测周期特征。
25.可选地,数据差值通过以下方式确定:
26.针对当前周期内的每一个采样时刻执行以下操作:将采样时刻对应的预测数据和采样时刻对应的实测数据作差,得到预选差值;
27.将各个采样时刻的预选差值进行叠加,并基于叠加后的结果取平均值;
28.将平均值确定为数据差值。
29.可选地,异常差阈值通过以下方式确定:
30.将至少一个历史周期对应的实测数据和与至少一个历史周期对应的实测周期特征输入到异常检测模型中,得到至少一个历史周期对应的预测数据;
31.基于至少一个历史周期对应的预测数据和至少一个历史周期对应的实测数据,确定异常差阈值。
32.可选地,基于至少一个历史周期对应的预测数据和至少一个历史周期对应的实测数据,确定异常差阈值,包括:
33.针对至少一个历史周期内的每一个预设的先前采样时刻执行以下操作:将先前采样时刻对应的预测数据和先前采样时刻对应的实测数据作差,得到预选先前差值;
34.将各个先前采样时刻的预选先前差值进行叠加,基于叠加后的先前结果得到先前平均值,并将先前平均值确定为异常差阈值。
35.第二方面,本技术实施例还提供了一种对周期性数据进行异常检测的装置,包括:
36.差值确定单元,用于基于当前周期对应的预测数据和当前周期对应的实测数据,确定数据差值;其中,当前周期对应的预测数据是将至少一个先前周期的实测数据和实测周期特征输入到异常检测模型后得到的;异常检测模型是基于至少一个历史周期的实测数据、与至少一个历史周期对应的实测周期特征和与至少一个历史周期对应的预测数据进行训练得到的,其中历史周期早于至少一个先前周期;
37.异常判定单元,用于若数据差值超出异常差阈值,则判定当前周期对应的实测数据异常,其中,异常差阈值是基于至少一个先前周期对应的预测数据和实测数据确定的。
38.可选地,异常检测模型通过以下方式训练:
39.将至少一个历史周期的实测数据和与至少一个历史周期对应的实测周期特征作为套索回归模型的输入参数,将与至少一个历史周期对应的预测数据作为套索回归模型的输出参数;
40.基于输入参数和输出参数,对套索回归模型进行训练,并将训练好的套索回归模型作为异常检测模型。
41.可选地,当前周期对应的实测数据通过以下方式确定:
42.确定当前周期对应的当前起始时刻和当前终止时刻;
43.基于当前起始时刻和当前终止时刻,确定当前周期对应的当前滑动窗口;
44.基于当前滑动窗口对原始数据流进行截取,并将截取到的多个原始数据确定为当前周期对应的实测数据,其中,原始数据流为边缘集群在运行过程中的状态数据的集合;
45.至少一个先前周期的实测数据通过以下方式确定:
46.确定至少一个先前周期对应的先前起始时刻和先前终止时刻;
47.基于先前起始时刻和先前终止时刻,确定至少一个先前周期对应的先前滑动窗口;
48.基于先前滑动窗口对原始数据流进行截取,并将截取到的多个原始数据确定为至少一个先前周期对应的实测数据。
49.可选地,实测周期特征通过以下方式确定:
50.在当前周期内预设的各个采样时刻,分别从当前周期对应的实测数据中提取对应的目标特征;
51.基于各个目标特征确定实测周期特征。
52.可选地,数据差值通过以下方式确定:
53.针对当前周期内的每一个采样时刻执行以下操作:将采样时刻对应的预测数据和采样时刻对应的实测数据作差,得到预选差值;
54.将各个采样时刻的预选差值进行叠加,并基于叠加后的结果取平均值;
55.将平均值确定为数据差值。
56.可选地,异常差阈值通过以下方式确定:
57.将至少一个历史周期对应的实测数据和与至少一个历史周期对应的实测周期特征输入到异常检测模型中,得到至少一个历史周期对应的预测数据;
58.基于至少一个历史周期对应的预测数据和至少一个历史周期对应的实测数据,确定异常差阈值。
59.可选地,基于至少一个历史周期对应的预测数据和至少一个历史周期对应的实测数据,确定异常差阈值,包括:
60.针对至少一个历史周期内的每一个预设的先前采样时刻执行以下操作:将先前采样时刻对应的预测数据和先前采样时刻对应的实测数据作差,得到预选先前差值;
61.将各个先前采样时刻的预选先前差值进行叠加,基于叠加后的先前结果得到先前平均值,并将先前平均值确定为异常差阈值。
62.第三方面,一种智能终端,包括:
63.存储器,用于存储可执行指令;
64.处理器,用于读取并执行存储器中存储的可执行指令,以实现如第一方面任一项的方法。
65.第四方面,一种计算机可读存储介质,当所述存储介质中的指令由处理器执行时,使得所述处理器能够执行上述第一方面任一项所述的方法。
66.本技术有益效果如下:
67.综上所述,本技术实施例中,提供的一种对周期性数据进行异常检测的方法、装置及存储介质,该方法包括:基于当前周期对应的预测数据和当前周期对应的实测数据,确定数据差值,若数据差值超出异常差阈值,则判定当前周期对应的实测数据异常,上述当前周期对应的预测数据是将至少一个先前周期的实测数据和实测周期特征输入到异常检测模型后得到的,其中异常检测模型是基于至少一个历史周期的实测数据、与至少一个历史周期对应的实测周期特征和与至少一个历史周期对应的预测数据进行训练得到的,需要说明的是历史周期早于至少一个先前周期,异常差阈值是基于至少一个先前周期对应的预测数据和实测数据确定的,从而更好的检测异常,提升告警的准确率。
68.本技术的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
69.此处所说明的附图用来提供对本技术的进一步理解,构成本技术的一部分,本技术的示意性实施例及其说明用于解释本技术,并不构成对本技术的不当限定。在附图中:
70.图1为本技术实施例中的对周期性数据进行异常检测的系统架构示意图;
71.图2为本技术实施例中对周期性数据进行异常检测的流程示意图;
72.图3为本技术实施例中一种对周期性数据进行异常检测的装置的逻辑架构示意图;
73.图4为本技术实施例中智能终端的实体架构示意图。
具体实施方式
74.为使本技术实施例的目的、技术方案和优点更加清楚,下面将结合本技术实施例中的附图,对本技术的技术方案进行清楚、完整地描述,显然,所描述的实施例是本技术技术方案的一部分实施例,而不是全部的实施例。基于本技术文件中记载的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术技术方案保护的范围。
75.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够使用除了在这里图示或描述的那些以外的顺序实施。
76.下面结合附图对本技术优选的实施方式进行详细说明。
77.参阅图1所示,本技术实施例中,系统中包含了至少一个智能终端,该智能终端用于对边缘集群(包括多个相连接的服务器)的状态数据进行检测,以判定边缘集群中的机器是否出现了异常。下面进行具体介绍。
78.参阅图2所示,本技术实施例中,对周期性数据进行异常检测的具体流程如下:
79.步骤201:基于当前周期对应的预测数据和当前周期对应的实测数据,确定数据差值。其中,当前周期对应的预测数据是将至少一个先前周期的实测数据和实测周期特征输入到异常检测模型后得到的,异常检测模型是基于至少一个历史周期的实测数据、与至少一个历史周期对应的实测周期特征和与至少一个历史周期对应的预测数据进行训练得到的,其中历史周期早于至少一个先前周期。
80.在边缘集群的各个机器的运行过程中,智能终端会连续获取状态数据,考虑到状态数据通常具备周期性特征,实施过程中,预先将时间进行划分而得到各个周期,随着边缘集群中各个机器的运行,每个周期都会获取到不同的状态数据,这里将上述状态数据称作实测数据,上述周期的长短不做具体限定,每个周期对应的时长长度可以相同也可以不同。由于,边缘集群中包括的机器的数量是庞大的,因而每个周期获取到的实测数据的数量也是非常多的。
81.为了衡量上述每个周期的实测数据是否异常,本技术实施例中,将每个周期的实测数据和实测周期特征分别输入到异常检测模型中,得到每个周期对应的预测数据,针对每个周期对应的预测数据和实测数据之间的差异,来判定实测数据是否异常。为了便于详细说明,本技术实施例中,以当前周期对应的预测数据和当前周期对应的实测数据来做详细阐述。
82.首先来介绍下异常检测模型,异常检测模型是在套索回归模型的基础上进行训练得到的,上述异常检测模型通过以下方式训练:
83.(1)将至少一个历史周期的实测数据和与至少一个历史周期对应的实测周期特征作为套索回归模型的输入参数,将与至少一个历史周期对应的预测数据作为套索回归模型的输出参数。
84.为了对模型进行训练,使其尽可能符合上述状态数据的发展规律,实施过程中,将历史周期的实测数据和与历史周期对应的实测周期特征作为套索回归模型的输入参数,将与历史周期对应的预测数据作为套索回归模型的输出参数,以此作为训练的基础。
85.为了使训练的计算过程更加简便,上述历史周期的数量可以是一个,优选地,选取与当前时刻较近的某个历史周期的实测数据和对应的实测周期特征,这样,训练出来的异常检测模型的实效性更强。当然,上述历史周期的数量也可以是多个,即选取多个历史周期的实测数据和对应的实测周期特征作为输入参数,这样,训练出来的异常检测模型的稳定性更强。
86.需要补充说明的是,这里的历史周期为早于至少一个先前周期的周期,即相比能够训练得到当前周期对应的预测数据的先前周期而言,用于训练套索回归模型的输入参数的时刻更早。
87.相应的,套索回归模型的输出参数即为上述历史周期对应的预测数据,需要说明的是,由于,预测的过程是运用当前的数据去推断未来一段时间的数据,因此,这里的与至少一个历史周期对应的预测数据实际上是运用历史周期的实测数据和与历史周期对应的
实测周期特征推断出来的数据,上述历史周期的实测数据和历史周期对应的预测数据的发生时刻不完全一致。
88.(2)基于输入参数和输出参数,对套索回归模型进行训练,并将训练好的套索回归模型作为异常检测模型。
89.在确定了套索回归模型的输入参数和输出参数后,对套索回归模型进行训练,即对其内部的参数进行调整,得到训练好的套索回归模型,并将训练好的套索回归模型作为异常检测模型。
90.在确定了要使用的异常检测模型后,进一步确定输入数据,即当前周期对应的实测数据,当前周期对应的实测数据通过以下方式确定:
91.1)确定当前周期对应的当前起始时刻和当前终止时刻。
92.由于,边缘集群中包括的机器的数量是庞大的,为了确定出当前周期对应的实测数据,实施过程中,先在时间范畴内确定出当前周期对应的当前起始时刻和当前终止时刻,即确定当前周期对应的时间长度。
93.2)基于当前起始时刻和当前终止时刻,确定当前周期对应的当前滑动窗口。
94.在由当前起始时刻和当前终止时刻确定了当前周期对应的时间长度后,选取与上述时间长度一致的滑动窗口,作为当前周期对应的当前滑动窗口。
95.3)基于当前滑动窗口对原始数据流进行截取,并将截取到的多个原始数据确定为当前周期对应的实测数据,其中,原始数据流为边缘集群在运行过程中的状态数据的集合。
96.在确定了当前滑动窗口后,运用当前滑动窗口对原始数据流进行截取,这里的原始数据流即为边缘集群中的各个机器随时间而产生的所有状态数据的集合。在用当前滑动窗口对原始数据流进行截取后,就能够获取到与当前滑动窗口对应的一段时间的多个原始数据。
97.同样的,至少一个先前周期的实测数据通过以下方式确定:
98.1]确定至少一个先前周期对应的先前起始时刻和先前终止时刻。
99.由于,边缘集群中包括的机器的数量是庞大的,为了确定出至少一个先前周期对应的实测数据,实施过程中,先在时间范畴内确定出至少一个先前周期对应的先前起始时刻和先前终止时刻,即确定至少一个先前周期对应的时间长度。
100.2]基于先前起始时刻和先前终止时刻,确定至少一个先前周期对应的先前滑动窗口。
101.相应的,在由先前起始时刻和先前终止时刻确定了至少一个先前周期对应的时间长度后,选取与上述时间长度一致的滑动窗口,作为至少一个先前周期对应的先前滑动窗口。
102.3]基于先前滑动窗口对原始数据流进行截取,并将截取到的多个原始数据确定为至少一个先前周期对应的实测数据。
103.在确定了先前滑动窗口后,运用先前滑动窗口对原始数据流进行截取,这里的原始数据流即为边缘集群中的各个机器随时间而产生的所有状态数据的集合。在用先前滑动窗口对原始数据流进行截取后,就能够获取到与先前滑动窗口对应的一段时间的多个原始数据。
104.在确定了当前周期对应的实测数据后,还需要确定另一个输入数据,即实测周期
特征,实测周期特征通过以下方式确定:
105.[1]在当前周期内预设的各个采样时刻,分别从当前周期对应的实测数据中提取对应的目标特征。
[0106]
考虑到不同类型的边缘集群可能会具备不同的实测周期特征,实施过程中,为了从实测数据中提取出该特征,会预先在当前周期内设置多个采样时刻,并按照预设的各个采样时刻,分别从当前周期对应的实测数据中提取对应的目标特征,具体的提取手段这里不再一一赘述。
[0107]
[2]基于各个目标特征确定实测周期特征。
[0108]
在从当前周期对应的实测数据中提取到多个目标特征后,可通过分类、汇总等的方式对各个目标特征进行提炼,从而确定出实测周期特征。实施过程中,将该实测周期特征作为另一个输入数据输入到异常检测模型中。
[0109]
在将至少一个先前周期的实测数据和实测周期特征输入到异常检测模型后,得到当前周期对应的预测数据,进一步根据预测数据和实测数据确定数据差值。
[0110]
具体的,数据差值通过以下方式确定:
[0111]
(一)针对当前周期内的每一个采样时刻执行以下操作:将采样时刻对应的预测数据和采样时刻对应的实测数据作差,得到预选差值。
[0112]
由于,上述实测数据和预测数据的数据量都是很庞大的。实施过程中,需要将同一时间的实测数据和预测数据作差。在当前周期内的每一个采样时刻执行以下操作:获取采样时刻对应的预测数据,以及,获取采样时刻对应的实测数据,将同一个采样时刻的预测数据和实测数据作差,得到预选差值,从而在多个采样时刻,得到对应的多个预选差值。
[0113]
(二)将各个采样时刻的预选差值进行叠加,并基于叠加后的结果取平均值。
[0114]
考虑到每个周期包括的采样时刻的数量不同,为了对各个周期做出统一的考量,实施过程中,将各个采样时刻的预选差值进行叠加,即计算各个预选差值的和,进而基于叠加后的结果取平均值,即在求和之后做取平均的计算。
[0115]
(三)将平均值确定为数据差值。
[0116]
实施过程中,将上述步骤中得到的平均值确定为数据差值,即数据差值为每个周期内预测数据和实测数据之间的差值的平均值。
[0117]
步骤202:若数据差值超出异常差阈值,则判定当前周期对应的实测数据异常,其中,异常差阈值是基于至少一个先前周期对应的预测数据和实测数据确定的。
[0118]
实施过程中,在确定出了数据差值后,通过该数据差值来进一步判定当前周期对应的实测数据是否出现了异常。而数据差值的衡量标准是异常差阈值。
[0119]
考虑到实测数据之间的相关性,实施过程中,通过早于至少一个先前周期的历史周期来确定异常差阈值,异常差阈值通过以下方式确定:
[0120]
一)将至少一个历史周期对应的实测数据和与至少一个历史周期对应的实测周期特征输入到异常检测模型中,得到至少一个历史周期对应的预测数据。
[0121]
实施过程中,为了得到异常差阈值,先要获取历史周期对应的预测数据,具体办法为:从上述历史周期中提取出对应的实测周期特征,进而将上述历史周期对应的实测数据和对应的实测周期特征输入到异常检测模型中,得到历史周期对应的预测数据。
[0122]
需要说明的是,为了使异常差阈值更为精准,上述历史周期的数量可以为一个,也
可以为多个。
[0123]
二)基于至少一个历史周期对应的预测数据和至少一个历史周期对应的实测数据,确定异常差阈值。
[0124]
实施过程中,在得到历史周期对应的预测数据和历史周期对应的实测数据后,即可确定异常差阈值。
[0125]
具体的,确定异常差阈值,包括:
[0126]
一]针对至少一个历史周期内的每一个预设的先前采样时刻执行以下操作:将先前采样时刻对应的预测数据和先前采样时刻对应的实测数据作差,得到预选先前差值。
[0127]
同样的,实施过程中,需要将同一时刻的实测数据和预测数据作差。在至少一个历史周期内的每一个先前采样时刻执行以下操作:获取先前采样时刻对应的预测数据,以及,获取先前采样时刻对应的实测数据,将同一个先前采样时刻的预测数据和实测数据作差,得到预选先前差值,从而在多个先前采样时刻,得到对应的多个预选先前差值。
[0128]
二]将各个先前采样时刻的预选先前差值进行叠加,基于叠加后的先前结果得到先前平均值,并将先前平均值确定为异常差阈值。
[0129]
同样的,考虑到每个周期包括的先前采样时刻的数量不同,为了对各个周期做出统一的考量,实施过程中,将各个先前采样时刻的预选先前差值进行叠加,即计算各个预选先前差值的和,进而基于叠加后的结果取平均值,即在求和之后做取平均的计算,从而将计算出来的先前平均值确定为异常差阈值。
[0130]
基于同一发明构思,参阅图3所示,本技术实施例中提供一种对周期性数据进行异常检测的装置,包括:
[0131]
差值确定单元301,用于基于当前周期对应的预测数据和当前周期对应的实测数据,确定数据差值;其中,当前周期对应的预测数据是将至少一个先前周期的实测数据和实测周期特征输入到异常检测模型后得到的;异常检测模型是基于至少一个历史周期的实测数据、与至少一个历史周期对应的实测周期特征和与至少一个历史周期对应的预测数据进行训练得到的,其中历史周期早于至少一个先前周期;
[0132]
异常判定单元302,用于若数据差值超出异常差阈值,则判定当前周期对应的实测数据异常,其中,异常差阈值是基于至少一个先前周期对应的预测数据和实测数据确定的。
[0133]
可选地,异常检测模型通过以下方式训练:
[0134]
将至少一个历史周期的实测数据和与至少一个历史周期对应的实测周期特征作为套索回归模型的输入参数,将与至少一个历史周期对应的预测数据作为套索回归模型的输出参数;
[0135]
基于输入参数和输出参数,对套索回归模型进行训练,并将训练好的套索回归模型作为异常检测模型。
[0136]
可选地,当前周期对应的实测数据通过以下方式确定:
[0137]
确定当前周期对应的当前起始时刻和当前终止时刻;
[0138]
基于当前起始时刻和当前终止时刻,确定当前周期对应的当前滑动窗口;
[0139]
基于当前滑动窗口对原始数据流进行截取,并将截取到的多个原始数据确定为当前周期对应的实测数据,其中,原始数据流为边缘集群在运行过程中的状态数据的集合;
[0140]
至少一个先前周期的实测数据通过以下方式确定:
[0141]
确定至少一个先前周期对应的先前起始时刻和先前终止时刻;
[0142]
基于先前起始时刻和先前终止时刻,确定至少一个先前周期对应的先前滑动窗口;
[0143]
基于先前滑动窗口对原始数据流进行截取,并将截取到的多个原始数据确定为至少一个先前周期对应的实测数据。
[0144]
可选地,实测周期特征通过以下方式确定:
[0145]
在当前周期内预设的各个采样时刻,分别从当前周期对应的实测数据中提取对应的目标特征;
[0146]
基于各个目标特征确定实测周期特征。
[0147]
可选地,数据差值通过以下方式确定:
[0148]
针对当前周期内的每一个采样时刻执行以下操作:将采样时刻对应的预测数据和采样时刻对应的实测数据作差,得到预选差值;
[0149]
将各个采样时刻的预选差值进行叠加,并基于叠加后的结果取平均值;
[0150]
将平均值确定为数据差值。
[0151]
可选地,异常差阈值通过以下方式确定:
[0152]
将至少一个历史周期对应的实测数据和与至少一个历史周期对应的实测周期特征输入到异常检测模型中,得到至少一个历史周期对应的预测数据;
[0153]
基于至少一个历史周期对应的预测数据和至少一个历史周期对应的实测数据,确定异常差阈值。
[0154]
可选地,基于至少一个历史周期对应的预测数据和至少一个历史周期对应的实测数据,确定异常差阈值,包括:
[0155]
针对至少一个历史周期内的每一个预设的先前采样时刻执行以下操作:将先前采样时刻对应的预测数据和先前采样时刻对应的实测数据作差,得到预选先前差值;
[0156]
将各个先前采样时刻的预选先前差值进行叠加,基于叠加后的先前结果得到先前平均值,并将先前平均值确定为异常差阈值。
[0157]
基于同一发明构思,参阅图4所示,本技术实施例提供一种智能终端,包括:存储器401,用于存储可执行指令;处理器402,用于读取并执行存储器中存储的可执行指令,并执行上述第一方面的任意一种方法。
[0158]
基于同一发明构思,本技术实施例提供一种计算机可读存储介质,当所述存储介质中的指令由处理器执行时,使得所述处理器能够执行上述第一方面任一项所述的方法。
[0159]
综上所述,本技术实施例中,提供的一种对周期性数据进行异常检测的方法、装置及存储介质,该方法包括:基于当前周期对应的预测数据和当前周期对应的实测数据,确定数据差值,若数据差值超出异常差阈值,则判定当前周期对应的实测数据异常,上述当前周期对应的预测数据是将至少一个先前周期的实测数据和实测周期特征输入到异常检测模型后得到的,其中异常检测模型是基于至少一个历史周期的实测数据、与至少一个历史周期对应的实测周期特征和与至少一个历史周期对应的预测数据进行训练得到的,需要说明的是历史周期早于至少一个先前周期,异常差阈值是基于至少一个先前周期对应的预测数据和实测数据确定的,从而更好的检测异常,提升告警的准确率。
[0160]
本领域内的技术人员应明白,本技术的实施例可提供为方法、系统、或计算机程序
产品系统。因此,本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品系统的形式。
[0161]
本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品系统的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0162]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0163]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0164]
显然,本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样,倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内,则本技术也意图包含这些改动和变型在内。
技术特征:1.一种对周期性数据进行异常检测的方法,其特征在于,所述方法包括:基于当前周期对应的预测数据和当前周期对应的实测数据,确定数据差值;其中,所述当前周期对应的预测数据是将至少一个先前周期的实测数据和实测周期特征输入到异常检测模型后得到的;所述异常检测模型是基于至少一个历史周期的实测数据、与所述至少一个历史周期对应的实测周期特征和与所述至少一个历史周期对应的预测数据进行训练得到的,其中所述历史周期早于所述至少一个先前周期;若所述数据差值超出异常差阈值,则判定所述当前周期对应的实测数据异常,其中,所述异常差阈值是基于至少一个先前周期对应的预测数据和实测数据确定的。2.如权利要求1所述的方法,其特征在于,所述异常检测模型通过以下方式训练:将所述至少一个历史周期的实测数据和与所述至少一个历史周期对应的实测周期特征作为套索回归模型的输入参数,将与所述至少一个历史周期对应的预测数据作为套索回归模型的输出参数;基于所述输入参数和所述输出参数,对所述套索回归模型进行训练,并将训练好的所述套索回归模型作为所述异常检测模型。3.如权利要求1所述的方法,其特征在于,所述当前周期对应的实测数据通过以下方式确定:确定所述当前周期对应的当前起始时刻和当前终止时刻;基于所述当前起始时刻和所述当前终止时刻,确定所述当前周期对应的当前滑动窗口;基于所述当前滑动窗口对原始数据流进行截取,并将截取到的多个原始数据确定为所述当前周期对应的实测数据,其中,所述原始数据流为边缘集群在运行过程中的状态数据的集合;所述至少一个先前周期的实测数据通过以下方式确定:确定所述至少一个先前周期对应的先前起始时刻和先前终止时刻;基于所述先前起始时刻和所述先前终止时刻,确定所述至少一个先前周期对应的先前滑动窗口;基于所述先前滑动窗口对所述原始数据流进行截取,并将截取到的多个原始数据确定为所述至少一个先前周期对应的实测数据。4.如权利要求1所述的方法,其特征在于,所述实测周期特征通过以下方式确定:在所述当前周期内预设的各个采样时刻,分别从所述当前周期对应的实测数据中提取对应的目标特征;基于各个所述目标特征确定所述实测周期特征。5.如权利要求4所述的方法,其特征在于,所述数据差值通过以下方式确定:针对当前周期内的每一个所述采样时刻执行以下操作:将所述采样时刻对应的预测数据和所述采样时刻对应的实测数据作差,得到预选差值;将各个所述采样时刻的所述预选差值进行叠加,并基于叠加后的结果取平均值;将所述平均值确定为所述数据差值。6.如权利要求1~4任一所述的方法,其特征在于,所述异常差阈值通过以下方式确定:将所述至少一个历史周期对应的实测数据和与所述至少一个历史周期对应的实测周
期特征输入到异常检测模型中,得到至少一个历史周期对应的预测数据;基于所述至少一个历史周期对应的预测数据和所述至少一个历史周期对应的实测数据,确定所述异常差阈值。7.如权利要求6所述的方法,其特征在于,所述基于所述至少一个历史周期对应的预测数据和所述至少一个历史周期对应的实测数据,确定所述异常差阈值,包括:针对所述至少一个历史周期内的每一个预设的先前采样时刻执行以下操作:将所述先前采样时刻对应的预测数据和所述先前采样时刻对应的实测数据作差,得到预选先前差值;将各个所述先前采样时刻的所述预选先前差值进行叠加,基于叠加后的先前结果得到先前平均值,并将所述先前平均值确定为所述异常差阈值。8.一种对周期性数据进行异常检测的装置,其特征在于,包括:差值确定单元,用于基于当前周期对应的预测数据和当前周期对应的实测数据,确定数据差值;其中,所述当前周期对应的预测数据是将至少一个先前周期的实测数据和实测周期特征输入到异常检测模型后得到的;所述异常检测模型是基于至少一个历史周期的实测数据、与所述至少一个历史周期对应的实测周期特征和与所述至少一个历史周期对应的预测数据进行训练得到的,其中所述历史周期早于所述至少一个先前周期;异常判定单元,用于若所述数据差值超出异常差阈值,则判定所述当前周期对应的实测数据异常,其中,所述异常差阈值是基于至少一个先前周期对应的预测数据和实测数据确定的。9.一种智能终端,其特征在于,包括:存储器,用于存储可执行指令;处理器,用于读取并执行所述存储器中存储的可执行指令,以实现如权利要求1-7任一项所述的方法。10.一种计算机可读存储介质,其特征在于,当所述存储介质中的指令由处理器执行时,使得所述处理器能够执行如权利要求1-7任一项所述的方法。
技术总结本申请涉及计算机技术领域,公开了一种对周期性数据进行异常检测的方法、装置及存储介质,该方法为:基于当前周期对应的预测数据和当前周期对应的实测数据,确定数据差值,若数据差值超出异常差阈值,则判定当前周期对应的实测数据异常,上述当前周期对应的预测数据是将至少一个先前周期的实测数据和实测周期特征输入到异常检测模型后得到的,其中异常检测模型是基于至少一个历史周期的实测数据、与至少一个历史周期对应的实测周期特征和与至少一个历史周期对应的预测数据进行训练得到的,需要说明的是历史周期早于至少一个先前周期,异常差阈值是基于至少一个先前周期对应的预测数据和实测数据确定的,从而更好的检测异常,提升告警的准确率。提升告警的准确率。提升告警的准确率。
技术研发人员:巩光乾
受保护的技术使用者:天翼云科技有限公司
技术研发日:2022.07.20
技术公布日:2022/11/1