一种基于智能学习的网络流量异常检测装置及方法与流程

专利2025-01-15  11



1.本发明涉及网络流量分析技术领域,具体涉及一种基于智能学习的网络流量异常检测装置及方法。


背景技术:

2.随着信息化的日渐深入,互联网正在成为国家的关键信息基础设施,各种基于网络的应用也日益广泛,网络安全关系到国家和社会的根本利益。目前,保障国家骨干网络安全以及大型网络运营商、大型企事业单位的网络安全方面面临一些重大的技术问题:如何及时、准确、全面地掌握整体网络安全状况;如何针对网络安全的整体情况及时准确地做出威胁评估、预警和应对方案的选择;针对网络安全危机事件,如何及时有效地采取相应的危机控制措施等。为了应对网络安全的挑战,vpn、ids、防火墙等安全防护和管理系统得到了广泛应用。
3.现有技术中,常用的异常检测行为分析包括以下几种,第一种,建立一个系统访问正常行为的模型,凡是访问者不符合这个模型的行为将被断定为异常;第二种,将所有可能发生的不利的不可接受的行为归纳建立一个模型,凡是访问者符合这个模型的行为将被断定为异常,此二种方法的前提是需要建立特殊场景下的模型,现场实施前要耗费大量时间分析特定场景流量数据,提取出符合特定场景的异常检测模型和无用检测模型。


技术实现要素:

4.针对上述现有技术存在的问题,本技术提供了一种基于智能学习的网络流量异常检测装置及方法,实现灵活适应于各种特定场景下的流量异常检测。该技术方案如下:
5.一方面,本技术提供了一种基于智能学习的网络流量异常检测装置,包括:
6.数据采集部,其控制第一数据引擎抓取网络上的原始流量数据包并进行存储;
7.数据异常检测部,其利用第二数据引擎针对所述数据包智能分析确定所述数据包中表征的访问行为,并利用检测规则生成器生成与所述访问行为匹配的异常检测规则,调用所述异常检测规则对所述数据包表征的访问行为进行异常检测,所述第二数据引擎包括基于预设第一数据组集合而对数据包表征的访问行为种类进行智能学习而得到的学习完毕模型,所述预设第一数据组为,将历史采集的数据包和访问行为种类建立了对应关系的数据组。
8.在一种实施方式中,上述的基于智能学习的网络流量异常检测装置,还包括:
9.数据中转处理部,其控制第三数据引擎针对数据采集部采集的数据包确定与所述数据包匹配的数据预处理策略,并基于所述数据预处理策略对采集部采集的数据包进行预处理,所述第三数据引擎包括基于携带数据预处理策略标注的数据包的第二数据集智能学习完成的数据预处理策略分析模型。
10.在一种实施方式中,所述第二数据引擎针对所述数据包智能分析确定所述数据包中表征的访问行为,包括:
11.基于所述数据包提取流量数据特征;
12.基于所述流量数据特征生成图像数据;
13.针对所述图像数据利用重要性特征分析模块获取第一方面重要性分配权重并基于所述第一方面重要性分配权重针对所述图像数据从所述第一方面进行加权计算,获取第一重要性数据;
14.基于第一重要性数据在重要性特征分析模块提取第二方面重要性数据分布特征并基于所述第二方面重要性数据分布特征针对所述图像数据从所述第二方面进行重要性数据分析,获取第二重要性数据,所述第二方面重要性数据分布特征表征所述图像数据中每个图像区域对于表征所述访问行为的重要性大小;
15.基于第二重要性数据进行分类,确定所述数据包中的访问行为种类。
16.在一种实施方式中,所述针对所述图像数据利用获取第一方面重要性分配权重并基于所述第一方面重要性分配权重针对所述图像数据从所述第一方面进行加权计算,获取第一重要性数据,包括:
17.基于所述图像数据获取其每个通道图像,针对每个通道图像进行余弦函数计算获取所述通道图像的余弦成分;
18.基于每个所述通道图像的余弦成分通过全连接层和激活函数获取所述图像数据的第一方面重要性分配权重;
19.基于所述第一方面重要性分配权重对所述图像数据从所述第一方面进行加权计算,获取第一重要性数据。
20.在一种实施方式中,所述针对所述图像数据利用重要性特征分析模块获取第一方面重要性分配权重之前,还包括:
21.基于所述图像数据经过第一预设非线性映射器转换到低维映射空间,获取降维数据;
22.基于第一预设非线性映射器的输出数据经过第二预设非线性逆映射器进行逆转换,获取所述图像数据中与流量异常检测关联的关键特征数据;
23.所述第一预设非线性映射器、第二预设非线性逆映射器为经过智能学习的深度神经网络模型,所述第一预设非线性映射器、第二预设非线性逆映射器在智能学习时的优化目标函数基于第一预设非线性映射器的输入与第二预设非线性逆映射器的输出之间的损失函数值确定。
24.在一种实施方式中,所述第一预设非线性映射器、第二预设非线性逆映射器中的隐藏层至少为4层。
25.在一种实施方式中,所述优化目标函数l=l1+l2,
26.其中l2=||σ||1,其中l1表征第一
27.预设非线性映射器的输入与第二预设非线性逆映射器的输出之间的损失函数值,n表示智能学习中第n个输入样本,其中,||*||1表示1-范式化计算,l2=||σ||1表征第一预设非线性映射器、第二预设非线性逆映射器中每个隐藏层经过激活函数计算后的激活函数值的绝对值之和。
28.又一方面,本技术提供了一种基于智能学习的网络流量异常检测方法,包括:
29.基于第一数据引擎抓取网络上的原始流量数据包并进行存储;
30.基于第二数据引擎针对所述数据包智能分析确定所述数据包中表征的访问行为,所述第二数据引擎包括基于预设第一数据组集合而对数据包表征的访问行为种类进行智能学习而得到的学习完毕模型,所述预设第一数据组为,将历史采集的数据包和访问行为种类建立了对应关系的数据组;
31.利用检测规则生成器生成与所述访问行为匹配的异常检测规则,调用所述异常检测规则对所述数据包表征的访问行为进行异常检测。
32.在一种实施方式中,所述第二数据引擎中包括第一预设非线性映射器、第二预设非线性逆映射器、重要性特征分析模块,
33.其中所述第一预设非线性映射器、第二预设非线性逆映射器用于实现:基于所述图像数据经过第一预设非线性映射器转换到低维映射空间,获取降维数据;基于第一预设非线性映射器的输出数据经过第二预设非线性逆映射器进行逆转换,获取所述图像数据中与流量异常检测关联的关键特征数据;
34.所述重要性特征分析模块用于实现:针对所述图像数据利用重要性特征分析模块获取第一方面重要性分配权重并基于所述第一方面重要性分配权重针对所述图像数据从所述第一方面进行加权计算,获取第一重要性数据;
35.基于第一重要性数据在重要性特征分析模块提取第二方面重要性数据分布特征并基于所述第二方面重要性数据分布特征针对所述图像数据从所述第二方面进行重要性数据分析,获取第二重要性数据,所述第二方面重要性数据分布特征表征所述图像数据中每个图像区域对于表征所述访问行为的重要性大小。
36.又一方面,本技术提供了一种电子设备,包括处理器、存储器、通信模块、显示屏,其中,所述处理器通过总线分别耦合所述存储器、所述通信模块、所述显示器,所述处理器用于调用所述存储器存储的指令,实现上述网络流量异常检测装置实现的网络流量异常检测过程。
37.本发明的一种基于智能学习的网络流量异常检测装置及方法,具备如下有益效果:对于不同场景下的流量,不需要预先积累对应的访问正常行为数据库、异常行为数据库或者流量异常通用库,基于智能学习,可以灵活适应于各种特定场景下的流量异常检测,对于各种场景下的流量数据,通过智能学习分析其表征的访问行为,进一步根据其表征的访问行为自动生成匹配的异常检测规则,实现基于异常检测规则对流量数据进行异常检测。本技术的网络流量异常检测装置实现的流量异常检测具有高效性和高准确性。
附图说明
38.图1是本技术实施例中基于智能学习的网络流量异常检测装置的结构示意图;
39.图2是本技术实施例中第二数据引擎的结构示意图;
40.图3是本技术实施例中第二数据引擎进行设备访问行为种类分析的流程示意图;
41.图4是本技术实施例中第二数据引擎获取第一重要性数据的流程示意图;
42.图5是本技术实施例中基于智能学习的网络流量异常检测方法的流程示意图;
43.图6是本技术实施例中基于智能学习的网络流量异常检测电子设备的结构示意图。
具体实施方式
44.现在将详细参考本技术的优选实施方式,其示例示出于附图中。下面将参照附图给出的详细描述旨在说明本技术的示例性实施方式,而非示出可根据本技术实现的仅有实施方式。以下详细描述包括具体细节以便提供本技术的彻底理解。然而,对于本领域技术人员而言将显而易见的是,本技术可在没有这些具体细节的情况下实践。
45.参见图1,本技术实施例中公开了一种基于智能学习的网络流量异常检测装置,该装置包括:
46.数据采集部1,其控制第一数据引擎4抓取网络上的原始流量数据包并进行存储;
47.数据异常检测部2,其利用第二数据引擎5针对所述数据包智能分析确定所述数据包中表征的访问行为,并利用检测规则生成器6生成与所述访问行为匹配的异常检测规则,调用所述异常检测规则对所述数据包表征的访问行为进行异常检测,所述第二数据引擎5包括基于预设第一数据组集合而对数据包表征的访问行为种类进行智能学习而得到的学习完毕模型,所述预设第一数据组为,将历史采集的数据包和访问行为种类建立了对应关系的数据组。
48.可以理解,常用的异常检测行为分析有两种模式,第一种模式为:建立一个系统访问正常行为的模型,凡是访问者不符合这个模型的行为将被断定为异常;第二种模式为:将所有可能发生的不利的不可接受的行为归纳建立一个模型,凡是访问者符合这个模型的行为将被断定为异常。这两种模式下,都需要预先建立特殊场景下的模型,现场实施前要耗费大量时间分析特定场景流量数据,提取出符合特定场景的异常检测模型和无用检测模型。
49.另外还有一种方式是自带通用的异常检测通用库,于特定场景无关,此种方式准确率高,但是异常检测通用库需要长时间积累,而且现场需要定期更新异常监测通用库。
50.本技术实施例中,对于不同场景下的流量,不需要预先积累对应的访问正常行为数据库、异常行为数据库或者流量异常通用库,基于智能学习,可以灵活适应于各种特定场景下的流量异常检测,对于各种场景下的流量数据,通过智能学习分析其表征的访问行为,进一步根据其表征的访问行为自动生成匹配的异常检测规则,实现基于异常检测规则对流量数据进行异常检测。本技术的网络流量异常检测装置实现的流量异常检测具有高效性和高准确性。
51.在本技术实施方式中,上述基于智能学习的网络流量异常检测装置,还包括:
52.数据中转处理部3,其控制第三数据引擎7针对数据采集部采集的数据包确定与所述数据包匹配的数据预处理策略,并基于所述数据预处理策略对采集部采集的数据包进行预处理,所述第三数据引擎包括基于携带数据预处理策略标注的数据包的第二数据集智能学习完成的数据预处理策略分析模型8。
53.本技术实施例中,在第一数据引擎抓取网络上的原始流量数据包时,会将所有网络数据流都保存下来存在存储器上,其中包括很多无用的数据包,本技术中针对采集的数据包进行数据预处理,基于采集的数据包的特性进行数据预处理策略匹配,实现基于数据包自身特性有针对性的清除掉无用或者垃圾流量数据。在一种实施方式中,可以通过模型在数据包中提取自身包含的冗余数据特征、无效字段特征、错误字段特征等,基于数据包自身的上述特征对应调用对应的数据预处理方法,也可以基于多个数据包之间的冗余关系特征、无效关系特征等进行预处理去除冗余数据包或者无效数据包。
54.进一步的,参见图3,上述第二数据引擎5针对所述数据包智能分析确定所述数据包中表征的访问行为,包括如下步骤:
55.步骤11,基于所述数据包提取流量数据特征;
56.步骤12,基于所述流量数据特征生成图像数据;
57.步骤13,针对所述图像数据利用重要性特征分析模块11获取第一方面重要性分配权重并基于所述第一方面重要性分配权重针对所述图像数据从所述第一方面进行加权计算,获取第一重要性数据;
58.步骤14,基于第一重要性数据在重要性特征分析模块11提取第二方面重要性数据分布特征并基于所述第二方面重要性数据分布特征针对所述图像数据从所述第二方面进行重要性数据分析,获取第二重要性数据,所述第二方面重要性数据分布特征表征所述图像数据中每个图像区域对于表征所述访问行为的重要性大小;
59.步骤15,基于第二重要性数据进行分类,确定所述数据包中的访问行为种类。
60.本技术实施例中,将流量数据包数据针对基于流量数据包生成的图像采用注意力机制进行流量数据包的数据深层分析挖掘,采用重要性特征分析机制专注流量数据包中的有效度高的数据信息,具体的,先通过第一方面重要性分配权重对图像数据进行重要性数据分析,进一步通过第二方面重要性数据分布特征对对图像数据进行重要性数据分析,从两个方面对图像数据有效特征分析,提高了图像数据的特征提取精准性,进一步提高下一步数据包中的访问行为种类分析准确性。其中,第二方面重要性数据分布特征对图像数据的不同图像区域分别进行重要性分析,对图像区域中的低信息量区域赋予较小权重,对图像区域中的高信息量区域赋予较大权重,有效识别图像数据所对应的流量数据包中的访问行为种类。
61.参见图4,在本技术实施方式中,上述步骤13,针对所述图像数据利用获取第一方面重要性分配权重并基于所述第一方面重要性分配权重针对所述图像数据从所述第一方面进行加权计算,获取第一重要性数据,包括:
62.步骤131,基于所述图像数据获取其每个通道图像,针对每个通道图像进行余弦函数计算获取所述通道图像的余弦成分;
63.步骤132,基于每个所述通道图像的余弦成分通过全连接层和激活函数获取所述图像数据的第一方面重要性分配权重;
64.步骤133,基于所述第一方面重要性分配权重对所述图像数据从所述第一方面进行加权计算,获取第一重要性数据。
65.本技术实施例中,第一方面重要性分配权重针对图像数据的每个通道计算其余弦成分,具体的可以基于预设余弦函数作用于该图像数据获取该图像数据的余弦成分,具体来说,针对一个宽度为a、高度为b的图像数据,针对图像中的每一像素位置(x,y)的图像数据i(x,y)分别进行余弦函数计算获取每一像素位置(x,y)的余弦成分x∈(1,a),y∈(1,b),将所有像素位置(x,y)计算得到的进行融合得到在频率(ω1,ω2)下的余弦成分,其中,ω1∈(1,a),ω2∈(1,b),进而得到图像数据在各个频率下的余弦成分。进而基于每个通道图像在各个频率下的余弦成分通过全连接层和激活函数计算处理,获取图像数据的第一方面重要性分配权
重。本技术实施例中采用计算图像数据余弦成分的方法实现在图像数据有效特征数据计算过程中保留更多重要信息,相比于池化过程对原始图像数据直接对输入图像过滤筛选重要特征数据进行有效特征数据计算的过程,本技术能够保留原始图像中的更多重要信息。
66.参见图4,在本技术实施方式中,上述步骤13之前,还包括:
67.步骤(1),基于所述图像数据经过第一预设非线性映射器9转换到低维映射空间,获取降维数据;
68.步骤(2),基于第一预设非线性映射器9的输出数据经过第二预设非线性逆映射器10进行逆转换,获取所述图像数据中与流量异常检测关联的关键特征数据;
69.所述第一预设非线性映射器9、第二预设非线性逆映射器10为经过智能学习的深度神经网络模型,所述第一预设非线性映射器9、第二预设非线性逆映射器10在智能学习时的优化目标函数基于第一预设非线性映射器9的输入与第二预设非线性逆映射器10的输出之间的损失函数值确定。
70.本技术实施例中,利用第一预设非线性映射器将图像数据转换到低维映射空间,进行关键特征数据提取,并进一步利用第二预设非线性逆映射器进行逆转换,将第一预设非线性映射器输出的数据进行重构,实现对图像数据的噪声去除和对图像数据中冗余数据的过滤,同时在冗余数据过滤的过程中保留了其中具有非线性关联关系的特征数据,最大程度保留了原有图像数据中的高信息量数据,进而提高后续步骤中流量异常检测的准确性。具体来说,本实施例中第一预设非线性映射器、第二预设非线性逆映射器在智能学习时的优化目标函数,第一预设非线性映射器的输入和经过第二预设非线性逆映射器重构后的输出数据误差越小越好,另外,在该第一预设非线性映射器、第二预设非线性逆映射器的智能学习过程中,基于图像数据作为输入数据输入第一预设非线性映射器,然后进入第二预设非线性逆映射器,在第一预设非线性映射器、第二预设非线性逆映射器中,输入数据经过各个隐藏层的激活函数对输入数据进行正向传递,本技术实施例中的激活函数采用非线性激活函数,基于第二预设非线性逆映射器正向传递过程的输出获取优化目标函数值,基于优化目标函数值对第一预设非线性映射器、第二预设非线性逆映射器中的多层隐藏层的模型参数进行迭代更新。
71.具体来说,上述第一预设非线性映射器、第二预设非线性逆映射器中的隐藏层至少为4层。
72.本技术实施例中,第一预设非线性映射器、第二预设非线性逆映射器采用了多层隐藏层,在增加隐藏层层数的情况下提高非线性映射转化和非线性逆映射转化分析的深度,进而实现深度挖掘图像数据中的非线性关联关系,有效对图像数据中的冗余数据和非冗余数据进行分类。
73.具体来说,上述第一预设非线性映射器、第二预设非线性逆映射器在智能学习过程中的优化目标函数l=l1+l2,
74.其中,l2=||σ||1,其中l1表征第一预设非线性映射器的输入与第二预设非线性逆映射器的输出之间的损失函数值,n表示智能学习中第n个输入样本,||*||1表示1-范式化计算,l2=||σ||1表征第一预设非线性映射器、第二预设非线性逆映射器中每个隐藏层经过激活函数计算后的激活函数值的绝对值之和。
75.本技术实施例中,第一预设非线性映射器、第二预设非线性逆映射器智能学习过
程中的优化目标函数基于l1确定,实现该智能学习过程的无监督学习,在一种实施方式中,可以基于第一预设非线性映射器的输入与第二预设非线性逆映射器的输出之间的均方误差计算l1,该优化目标函数基于l2=||σ||1使得优化目标函数对第一预设非线性映射器、第二预设非线性逆映射器中隐藏层的激活节节点的个数进行约束,降低映射器中特征数据计算量。
76.基于上述基于智能学习的网络流量异常检测装置,本技术实施例还提供了一种基于智能学习的网络流量异常检测方法,参见图5,该方法包括如下步骤:
77.步骤1,基于第一数据引擎4抓取网络上的原始流量数据包并进行存储;
78.步骤2,基于第二数据引擎5针对所述数据包智能分析确定所述数据包中表征的访问行为,所述第二数据引擎包括基于预设第一数据组集合而对数据包表征的访问行为种类进行智能学习而得到的学习完毕模型,所述预设第一数据组为,将历史采集的数据包和访问行为种类建立了对应关系的数据组;
79.步骤3,利用检测规则生成器6生成与所述访问行为匹配的异常检测规则,调用所述异常检测规则对所述数据包表征的访问行为进行异常检测。
80.可以理解,上述步骤2之前,还包括如下步骤:
81.步骤4,利用第三数据引擎7针对数据采集部采集的数据包确定与所述数据包匹配的数据预处理策略,并基于所述数据预处理策略对采集部采集的数据包进行预处理,所述第三数据引擎包括基于携带数据预处理策略标注的数据包的第二数据集智能学习完成的数据预处理策略分析模型8。
82.具体来说,上述第二数据引擎5中包括第一预设非线性映射器9、第二预设非线性逆映射器10、重要性特征分析模块11,
83.其中所述第一预设非线性映射器、第二预设非线性逆映射器用于实现:基于所述图像数据经过第一预设非线性映射器转换到低维映射空间,获取降维数据;基于第一预设非线性映射器的输出数据经过第二预设非线性逆映射器进行逆转换,获取所述图像数据中与流量异常检测关联的关键特征数据;
84.所述重要性特征分析模块11用于实现:针对所述图像数据利用重要性特征分析模块11获取第一方面重要性分配权重并基于所述第一方面重要性分配权重针对所述图像数据从所述第一方面进行加权计算,获取第一注意力结果;基于第一注意力结果在重要性特征分析模块11提取第二方面注意力数据并基于所述第二方面注意力数据针对所述图像数据从所述第二方面进行注意,获取第二注意力结果,所述第二方面注意力数据表征所述图像数据中每个图像区域对于表征所述访问行为的重要性大小。
85.可以理解,本实施例提供的基于智能学习的网络流量异常检测方法与上述实施例提供的基于智能学习的网络流量异常检测装置实施例属于同一构思,其具体实现过程详见装置实施例,这里不再赘述。
86.参见图6,本技术实施例还提供了一种电子设备,该电子设备包括处理器、存储器、通信模块、显示屏,其中,处理器通过总线分别耦合所述存储器、所述通信模块、所述显示器,所述处理器用于调用所述存储器存储的指令,实现上述网络流量异常检测装置中的网络流量异常检测过程。
87.本发明不局限于上述具体的实施方式,本领域的普通技术人员从上述构思出发,
不经过创造性的劳动,所做出的种种变换,均落在本发明的保护范围之内。

技术特征:
1.一种基于智能学习的网络流量异常检测装置,其特征在于,包括:数据采集部,其控制第一数据引擎抓取网络上的原始流量数据包并进行存储;数据异常检测部,其利用第二数据引擎针对所述数据包智能分析确定所述数据包中表征的访问行为,并利用检测规则生成器生成与所述访问行为匹配的异常检测规则,调用所述异常检测规则对所述数据包表征的访问行为进行异常检测,所述第二数据引擎包括基于预设第一数据组集合而对数据包表征的访问行为种类进行智能学习而得到的学习完毕模型,所述预设第一数据组为,将历史采集的数据包和访问行为种类建立了对应关系的数据组。2.根据权利要求1所述一种基于智能学习的网络流量异常检测装置,其特征在于,还包括:数据中转处理部,其控制第三数据引擎针对数据采集部采集的数据包确定与所述数据包匹配的数据预处理策略,并基于所述数据预处理策略对采集部采集的数据包进行预处理,所述第三数据引擎包括基于携带数据预处理策略标注的数据包的第二数据集智能学习完成的数据预处理策略分析模型。3.根据权利要求1所述的一种基于智能学习的网络流量异常检测装置,其特征在于,所述第二数据引擎针对所述数据包智能分析确定所述数据包中表征的访问行为,包括:基于所述数据包提取流量数据特征;基于所述流量数据特征生成图像数据;针对所述图像数据利用重要性特征分析模块获取第一方面重要性分配权重并基于所述第一方面重要性分配权重针对所述图像数据从所述第一方面进行加权计算,获取第一重要性数据;基于第一重要性数据在重要性特征分析模块提取第二方面重要性数据分布特征并基于所述第二方面重要性数据分布特征针对所述图像数据从所述第二方面进行重要性数据分析,获取第二重要性数据,所述第二方面重要性数据分布特征表征所述图像数据中每个图像区域对于表征所述访问行为的重要性大小;基于第二重要性数据进行分类,确定所述数据包中的访问行为种类。4.根据权利要求3所述的一种基于智能学习的网络流量异常检测装置,其特征在于,所述针对所述图像数据利用获取第一方面重要性分配权重并基于所述第一方面重要性分配权重针对所述图像数据从所述第一方面进行加权计算,获取第一重要性数据,包括:基于所述图像数据获取其每个通道图像,针对每个通道图像进行余弦函数计算获取所述通道图像的余弦成分;基于每个所述通道图像的余弦成分通过全连接层和激活函数获取所述图像数据的第一方面重要性分配权重;基于所述第一方面重要性分配权重对所述图像数据从所述第一方面进行加权计算,获取第一重要性数据。5.根据权利要求3所述的一种基于智能学习的网络流量异常检测装置,其特征在于,所述针对所述图像数据利用重要性特征分析模块获取第一方面重要性分配权重之前,还包括:基于所述图像数据经过第一预设非线性映射器转换到低维映射空间,获取降维数据;
基于第一预设非线性映射器的输出数据经过第二预设非线性逆映射器进行逆转换,获取所述图像数据中与流量异常检测关联的关键特征数据;所述第一预设非线性映射器、第二预设非线性逆映射器为经过智能学习的深度神经网络模型,所述第一预设非线性映射器、第二预设非线性逆映射器在智能学习时的优化目标函数基于第一预设非线性映射器的输入与第二预设非线性逆映射器的输出之间的损失函数值确定。6.根据权利要求5所述的一种基于智能学习的网络流量异常检测装置,其特征在于,所述第一预设非线性映射器、第二预设非线性逆映射器中的隐藏层至少为4层。7.根据权利要求5所述的一种基于智能学习的网络流量异常检测装置,其特征在于,所述优化目标函数l=l1+l2,其中l2=||σ||1,其中l1表征第一预设非线性映射器的输入与第二预设非线性逆映射器的输出之间的损失函数值,n表示智能学习中第n个输入样本,其中,||*||1表示1-范式化计算,l2=||σ||1表征第一预设非线性映射器、第二预设非线性逆映射器中每个隐藏层经过激活函数计算后的激活函数值的绝对值之和。8.一种基于智能学习的网络流量异常检测方法,其特征在于,包括:基于第一数据引擎抓取网络上的原始流量数据包并进行存储;基于第二数据引擎针对所述数据包智能分析确定所述数据包中表征的访问行为,所述第二数据引擎包括基于预设第一数据组集合而对数据包表征的访问行为种类进行智能学习而得到的学习完毕模型,所述预设第一数据组为,将历史采集的数据包和访问行为种类建立了对应关系的数据组;利用检测规则生成器生成与所述访问行为匹配的异常检测规则,调用所述异常检测规则对所述数据包表征的访问行为进行异常检测。9.根据权利要求8所述的一种基于智能学习的网络流量异常检测方法,其特征在于,所述第二数据引擎中包括第一预设非线性映射器、第二预设非线性逆映射器、重要性特征分析模块,其中所述第一预设非线性映射器、第二预设非线性逆映射器用于实现:基于所述图像数据经过第一预设非线性映射器转换到低维映射空间,获取降维数据;基于第一预设非线性映射器的输出数据经过第二预设非线性逆映射器进行逆转换,获取所述图像数据中与流量异常检测关联的关键特征数据;所述重要性特征分析模块用于实现:针对所述图像数据利用重要性特征分析模块获取第一方面重要性分配权重并基于所述第一方面重要性分配权重针对所述图像数据从所述第一方面进行加权计算,获取第一重要性数据;基于第一重要性数据在重要性特征分析模块提取第二方面重要性数据分布特征并基于所述第二方面重要性数据分布特征针对所述图像数据从所述第二方面进行重要性数据分析,获取第二重要性数据,所述第二方面重要性数据分布特征表征所述图像数据中每个图像区域对于表征所述访问行为的重要性大小。10.一种电子设备,其特征在于,包括处理器、存储器、通信模块、显示屏,其中,所述处理器通过总线分别耦合所述存储器、所述通信模块、所述显示器,所述处理器用于调用所述
存储器存储的指令,实现如权利要求1-7任一项所述网络流量异常检测装置实现的网络流量异常检测过程。

技术总结
本发明公开了一种基于智能学习的网络流量异常检测装置及方法,该装置包括:数据采集部,其控制第一数据引擎抓取网络上的原始流量数据包并进行存储;数据异常检测部,其利用第二数据引擎针对所述数据包智能分析确定所述数据包中表征的访问行为,并利用检测规则生成器生成与所述访问行为匹配的异常检测规则,调用所述异常检测规则对所述数据包表征的访问行为进行异常检测,所述第二数据引擎包括基于预设第一数据组集合而对数据包表征的访问行为种类进行智能学习而得到的学习完毕模型,所述预设第一数据组为,将历史采集的数据包和访问行为种类建立了对应关系的数据组。本发明基于智能学习实现灵活适应于各种特定场景下的流量异常检测。流量异常检测。流量异常检测。


技术研发人员:张树贵 王元卓 周俊 李阳
受保护的技术使用者:深圳铸泰科技有限公司
技术研发日:2022.06.27
技术公布日:2022/11/1
转载请注明原文地址: https://tieba.8miu.com/read-11483.html

最新回复(0)