1.本发明涉及网络威胁监测领域，尤其是涉及一种基于企业网网络流量的异常监测方法、装置及存储介质。
背景技术：2.网络安全与网络防御一直都是计算机领域重点关注的问题。随着互联网技术的飞速发展和普及，网络安全领域的市场前景可期，国家的网络安全对于国家安全至关重要，是国家发展的压舱石；企业的网络安全维系着企业的经济命脉；个人的网络安全决定了个人隐私是否可以得到保障。
3.在网络安全如此重要的当下，网络威胁监测技术的发展正在变得日益关键。网络威胁监测对网络和计算机进行监测，收集其中的关键信息，并对其进行分析，从中发现是否有违反安全策略的行为，在监测到威胁时让网络管理员及时拦截响应。传统的网络威胁监测技术一般使用特征检测，它将已知的网络威胁用特定模式表示，形成网络攻击特征库。对于输入数据，它先提取其对应特征，将这些特征与特征库中的特征进行比对，若相符则发出告警。该方法能准确识别已知的威胁，但对新产生的威胁识别能力较低，因此迫切需要一种不同的网络防御手段以监测未知的网络威胁。
技术实现要素：4.本发明的目的就是为了提供一种基于企业网网络流量的异常监测方法、装置及存储介质，实现网络流量异常行为的判别，并根据变化的企业网环境进行动态调整以适应新产生的异常情况。
5.本发明的目的可以通过以下技术方案来实现：
6.一种基于企业网网络流量的异常监测方法，包括：
7.在企业内网网关采集和存储不同设备通信过程中产生的设备网络流量数据，根据预配置的采集时长间隔得到每个设备的设备网络流量数据集；
8.对企业网内不同设备进行分类，根据分类构建不同的设备组，并基于设备网络流量数据集建立设备组网络流量数据集；
9.基于设备网络流量数据集提取表征网络行为信息的度量指标，建立设备的度量指标数据集，并基于分类和设备的度量指标数据集确定设备组的度量指标数据集；
10.构建基于朴素贝叶斯算法的网络异常行为监测模型，所述网络异常行为监测模型输入为网络流量数据集和对应的度量指标数据集，输出为网络数据流量的正常行为概率和异常行为概率，参数包括先验概率和度量指标的概率密度分布函数，其中，所述先验概率基于历史网络流量数据集确定，所述历史网络流量数据为在企业内网网关采集和存储的所有网络流量数据，所述度量指标的概率密度分布函数基于极大似然估计的参数式方法和核密度估计的非参数式方法共同确定，所述网络流量数据集包括设备网络流量数据集和设备组网络流量数据集，当输入为设备网络流量数据集时，生成的模型为设备的网络异常行为监
测模型，当输入为设备组网络流量数据集时，生成的模型为设备组的网络异常行为监测模型；
11.根据预配置的采集时长间隔更新网络流量数据集和网络异常行为监测模型的参数；
12.实时采集设备网络流量数据，并结合历史网络流量数据确定度量指标；
13.确定度量指标条目数量并判断是否大于预配置的阈值，
14.若是，则基于所述设备的网络异常行为监测模型得到网络流量数据的正常行为概率和异常行为概率，
15.若否，则基于所述设备所属设备组的网络异常行为监测模型得到网络流量数据的正常行为概率和异常行为概率，
16.其中，所述度量指标条目数量等于当前采集到的设备网络流量数据条目数量；
17.判断正常行为概率是否大于异常行为概率，若是，则判定为正常流量，若否，则判定为异常流量，并保存所述异常流量的异常信息至异常行为数据库。
18.所述在企业内网网关采集和存储不同设备通信过程中产生的设备网络流量数据，根据预配置的采集时长间隔得到每个设备的设备网络流量数据集具体包括：
19.部署数据采集设备，将企业网中经过网关的设备产生的网络流量数据通过端口镜像转发到数据采集设备，进行设备网络流量数据的采集和储存，根据预配置的采集时长间隔获得设备网络流量数据集，其中，对每一设备采集得到m条设备网络流量数据条目y1,y2,...,ym；
20.对设备网络流量数据集进行数据清洗。
21.所述对企业网内不同设备进行分类，根据分类构建不同的设备组，并基于设备网络流量数据集建立设备组网络流量数据集具体包括：
22.按照先验知识或网络流量数据的信息对企业网的设备进行分类，将分到相同类别的设备构建为一个设备组，得到s个设备组g1,g2,...,gs，设备组内的设备具有先验或统计上的相似性，其中，先验知识包括设备使用功能、设备使用用户、设备使用权限；
23.将同一设备组内设备的设备网络流量数据集进行汇总，建立设备组网络流量数据集。
24.所述基于设备网络流量数据集提取表征网络行为信息的度量指标，建立设备的度量指标数据集，并基于分类和设备的度量指标数据集确定设备组的度量指标数据集具体包括：
25.根据待监测的网络异常行为，确定度量指标x1,x2,...,xn；
26.将每一设备的设备网络流量数据条目y1,y2,...,ym提取为度量指标条目x1,x2,...,xm，每一个度量指标条目xi包括n个度量指标xi＝{x
1i
,x
2i
,....,x
ni
}，建立设备的度量指标数据集；
27.根据设备的分类，汇总设备组下所有设备的度量指标数据集，确定设备组的度量指标数据集；
28.将度量指标数据集保存至度量指标数据库。
29.所述构建基于朴素贝叶斯算法的网络异常行为监测模型具体包括：
30.假设度量指标xi服从预配置的分布族p(xi|θ)，通过极大似然法确定在当前采集到
的度量指标数据集所包含的数据特征下，所述分布族的极大可能参数θ
mle
，从而确定所述度量指标最可能服从的分布，其中，
[0031][0032]
其中，l(θ)为θ对于当前采集到的度量指标数据集的似然函数，m为度量指标条目数量；
[0033]
基于核密度估计法，基于距离xi＝a处h长度的区间内特征点的比例，估计xi＝a处的概率密度函数：
[0034][0035]
其中，f(x)为累计分布函数；
[0036]
当累计分布函数f(x)为经验分布函数时，得到度量指标的概率密度的表达式：
[0037][0038]
其中k为核函数；
[0039]
确定n个度量指标xi的分布模型p(xi|n)及p(xi|a)；
[0040]
输入网络流量数据集和对应的度量指标数据集，基于朴素贝叶斯算法计算网络流量数据e的似然函数：
[0041][0042][0043]
将似然函数代入概率计算公式得到网络流量数据的正常行为概率和异常行为概率，其中，
[0044]
概率计算公式为：
[0045][0046][0047]
其中，x为度量指标条目；a为设备或设备组流量异常行为的集合，n为设备或设备组流量正常行为的集合；p(a)为流量异常行为的先验概率，p(nv为流量正常行为的先验概率；p(x|n)及p(x|a)为似然函数，p(n|x)为当前网络流量数据的正常行为概率，p(a|xv为当前网络流量数据的异常行为概率；
[0048]
网络流量数据的正常行为概率为：
[0049][0050]
网络流量数据的异常行为概率为：
[0051][0052][0053]
所述方法还包括：
[0054]
当企业网中加入新设备时，基于先验知识将新设备分类至设备组，基于所述设备所属设备组的网络异常行为监测模型进行网络流量异常监测，同时，采集所述新设备运行产生的网络流量数据存入设备网络流量数据集。
[0055]
所述度量指标包括连接持续时间。
[0056]
设备网络流量数据条目的连接持续时间缺失时，在对设备网络流量数据集进行数据清洗时，将所述设备网络流量数据条目的连接持续时间设定为0。
[0057]
一种基于企业网网络流量的异常监测装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述所述的方法。
[0058]
一种存储介质，其上存储有程序，所述程序被执行时上述所述的方法。
[0059]
与现有技术相比，本发明具有以下有益效果：
[0060]
(1)本发明在运行时不再依赖于规则、特征码、固定基准，而是从不断变化的网络环境中学习，从而面对未知的网络异常，有着比传统方法更强的识别能力。
[0061]
(2)本发明基于朴素贝叶斯的网络异常行为监测模型，从内网采集的原始数据和活动进行概率性计算，学习网络的正常行为，从而度量威胁概率，生成的结果可以表示对流量异常行为判断的确定性程度，具有良好的可解释性。
[0062]
(3)本发明的网络异常行为监测模型并非一成不变，在使用中会在动态的环境不断变更，不断地完善模型本身，同时对于新加入企业网的设备，较好地解决了其在运行初期缺少训练数据的问题，从而面对不断变化的网络环境也能保持较好的识别性能。
附图说明
[0063]
图1为本发明的方法流程图；
[0064]
图2为本发明方法的应用流程示意图。
具体实施方式
[0065]
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0066]
一种基于企业网网络流量的异常监测方法，如图1所示，包括：
[0067]
步骤1)在企业内网网关采集和存储不同设备通信过程中产生的设备网络流量数据，根据预配置的采集时长间隔得到每个设备的设备网络流量数据集；
[0068]
在本实施例中采集时长间隔t设置为7个自然日；
[0069]
测试环境是一个由多台台式电脑设备通过有线方式连接到路由器，并设定固定ip地址的内网环境；在此环境中部署数据采集设备，将企业网中经过网关的设备产生的网络流量数据通过端口镜像转发到数据采集设备，由其进行数据采集和储存，采集一段时间后获得设备网络流量数据集，对于每一设备采集得到m条网络流量数据条目y1,y2,...,ym，每条条目包括的信息包括网络连接的源ip地址及目标ip地址和对应端口号、进行连接的通信协议以及建立连接的时间等；其中，传输层协议类型缺失的数据条目将不存入设备网络流量数据集；
[0070]
对网络流量数据集进行数据清洗：当设备网络流量数据条目的连接持续时间缺失时，将所述设备网络流量数据条目的连接持续时间设定为0。
[0071]
步骤2)对企业网内不同设备进行分类，根据分类构建不同的设备组，并基于设备网络流量数据集建立设备组网络流量数据集；
[0072]
按照先验知识或网络流量数据的信息对企业网的设备进行分类，将分到相同类别的设备构建为一个设备组，得到s个设备组g1,g2,...,gs，设备组内的设备具有先验或统计上的相似性，其中，先验知识包括设备使用功能、设备使用用户、设备使用权限；
[0073]
将同一设备组内设备的设备网络流量数据集进行汇总，建立设备组网络流量数据集。
[0074]
步骤3)基于设备网络流量数据集提取表征网络行为信息的度量指标，建立设备的度量指标数据集，并基于分类和设备的度量指标数据集确定设备组的度量指标数据集；
[0075]
根据需要监测的网络异常行为，选取合适的度量指标x1,x2,...,xn，n为度量指标的数量，使得指标能够显著地描述正常行为与异常行为间的差异情况；
[0076]
对于某一设备的网络流量数据y1,y2,...,ym，将其提取为网络行为度量指标条目x1,x2,...,xm，每一个度量指标条目xi包括选取的n个度量指标xi＝{x
1i
,x
2i
,....,x
ni
}；
[0077]
本实施例中共选取8个度量指标：连接的持续时间、从源主机发送到目的主机数据的字节数、从目的主机发送到源主机数据的字节数、当前连接的前100个连接中，与当前连接具有相同目标主机的连接数、每秒从源主机发送到目的主机的字节数、每秒从目的主机发送到源主机的字节数、从源主机发送到目的主机数据的数据包数以及从目的主机发送到源主机数据的数据包数；
[0078]
根据设备的分类，汇总设备组下所有设备的度量指标数据集，确定设备组的度量指标数据集；
[0079]
将度量指标数据集保存至度量指标数据库。
[0080]
步骤4)构建基于朴素贝叶斯算法的网络异常行为监测模型，所述网络异常行为监测模型输入为网络流量数据集和对应的度量指标数据集，输出为网络数据流量的正常行为概率和异常行为概率，参数包括先验概率和度量指标的概率密度分布函数，其中，所述先验概率基于历史网络流量数据集确定，所述历史网络流量数据为在企业内网网关采集和存储的所有网络流量数据，所述度量指标的概率密度分布函数基于极大似然估计的参数式方法和核密度估计的非参数式方法共同确定，所述网络流量数据集包括设备网络流量数据集和
设备组网络流量数据集，当输入为设备网络流量数据集时，生成的模型为设备的网络异常行为监测模型，当输入为设备组网络流量数据集时，生成的模型为设备组的网络异常行为监测模型；
[0081]
假设度量指标xi服从预配置的分布族p(xi|θ)，通过极大似然法确定在当前采集到的度量指标数据集所包含的数据特征下，所述分布族的极大可能参数θ
mle
，从而确定所述度量指标最可能服从的分布，其中，
[0082][0083]
其中，l(θ)为θ对于当前采集到的度量指标数据集的似然函数，m为度量指标条目数量；
[0084]
基于核密度估计法，基于距离xi＝a处h长度的区间内特征点的比例，估计xi＝a处的概率密度函数：
[0085][0086]
其中，f(x)为累计分布函数；
[0087]
当累计分布函数f(x)为经验分布函数时，得到度量指标的概率密度的表达式：
[0088][0089]
其中k为核函数；
[0090]
确定n个度量指标xi的分布模型p(xi|n)及p(xi|a)；
[0091]
输入网络流量数据集和对应的度量指标数据集，基于朴素贝叶斯算法计算网络流量数据e的似然函数：
[0092][0093][0094]
将似然函数代入概率计算公式得到网络流量数据的正常行为概率和异常行为概率，其中，
[0095]
概率计算公式为：
[0096][0097][0098]
其中，x为度量指标条目；a为设备或设备组流量异常行为的集合，n为设备或设备组流量正常行为的集合；p(a)为流量异常行为的先验概率，p(n)为流量正常行为的先验概率；p(x|n)及p(x|a)为似然函数，p(n|x)为当前网络流量数据的正常行为概率，p(a|x)为当前网络流量数据的异常行为概率；
[0099]
网络流量数据的正常行为概率为：
[0100][0101]
网络流量数据的异常行为概率为：
[0102][0103]
步骤5)根据采集时长间隔t更新网络流量数据集和网络异常行为监测模型的参数。
[0104]
步骤6)实时采集设备网络流量数据，并结合历史网络流量数据确定度量指标。
[0105]
步骤7)确定度量指标条目数量并判断是否大于预配置的阈值，在本实施例中阈值设置为5000条数据；
[0106]
若是，则基于所述设备的网络异常行为监测模型得到网络流量数据的正常行为概率和异常行为概率，
[0107]
若否，则基于所述设备所属设备组的网络异常行为监测模型得到网络流量数据的正常行为概率和异常行为概率，
[0108]
其中，所述度量指标条目数量等于当前采集到的设备网络流量数据条目数量。
[0109]
该步骤是为了判断所述设备采集的数据是否足够，若数据足够，则设备的网络异常行为监测模型更具有代表性，若数据不足，则可先基于设备组的网络异常行为监测模型进行初步判断，以渡过数据不足的过渡期，使得在数据不足的情况下也能较为精确的识别异常行为。
[0110]
步骤8)判断正常行为概率是否大于异常行为概率，若是，则判定为正常流量，若否，则判定为异常流量，并保存所述异常流量的异常信息至异常行为数据库。
[0111]
在本实施例中，保存的异常信息包括源主机ip地址、目的主机ip地址、连接产生时间、可能引发异常的指标以及可能的异常行为，以便管理员根据具体信息进一步判断流量是否为网络异常行为。
[0112]
本方法还能识别来自网络攻击行为的流量和来自内网用户异常使用行为的流量，并由不同的数据库进行保存。
[0113]
步骤9)当企业网中加入新设备时，基于先验知识将新设备分类至设备组，基于所述设备所属设备组的网络异常行为监测模型进行网络流量异常监测，同时，采集所述新设备运行产生的网络流量数据存入设备网络流量数据集。
[0114]
上述步骤不对步骤执行顺序进行限定。
[0115]
图2为本发明方法的应用流程示意图，通过网络流量数据采集、网络行为指标提取、模型建立与训练、系统建立与运行这四个部分，可以实现网络流量数据的异常监测。
[0116]
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说
对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0117]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依据本发明的构思在现有技术的基础上通过逻辑分析、推理、或者有限的实验可以得到的技术方案，皆应在权利要求书所确定的保护范围内。
技术特征：1.一种基于企业网网络流量的异常监测方法，其特征在于，包括：在企业内网网关采集和存储不同设备通信过程中产生的设备网络流量数据，根据预配置的采集时长间隔得到每个设备的设备网络流量数据集；对企业网内不同设备进行分类，根据分类构建不同的设备组，并基于设备网络流量数据集建立设备组网络流量数据集；基于设备网络流量数据集提取表征网络行为信息的度量指标，建立设备的度量指标数据集，并基于分类和设备的度量指标数据集确定设备组的度量指标数据集；构建基于朴素贝叶斯算法的网络异常行为监测模型，所述网络异常行为监测模型输入为网络流量数据集和对应的度量指标数据集，输出为网络数据流量的正常行为概率和异常行为概率，参数包括先验概率和度量指标的概率密度分布函数，其中，所述先验概率基于历史网络流量数据集确定，所述历史网络流量数据为在企业内网网关采集和存储的所有网络流量数据，所述度量指标的概率密度分布函数基于极大似然估计的参数式方法和核密度估计的非参数式方法共同确定，所述网络流量数据集包括设备网络流量数据集和设备组网络流量数据集，当输入为设备网络流量数据集时，生成的模型为设备的网络异常行为监测模型，当输入为设备组网络流量数据集时，生成的模型为设备组的网络异常行为监测模型；根据预配置的采集时长间隔更新网络流量数据集和网络异常行为监测模型的参数；实时采集设备网络流量数据，并结合历史网络流量数据确定度量指标；确定度量指标条目数量并判断是否大于预配置的阈值，若是，则基于所述设备的网络异常行为监测模型得到网络流量数据的正常行为概率和异常行为概率，若否，则基于所述设备所属设备组的网络异常行为监测模型得到网络流量数据的正常行为概率和异常行为概率，其中，所述度量指标条目数量等于当前采集到的设备网络流量数据条目数量；判断正常行为概率是否大于异常行为概率，若是，则判定为正常流量，若否，则判定为异常流量，并保存所述异常流量的异常信息至异常行为数据库。2.根据权利要求1所述的一种基于企业网网络流量的异常监测方法，其特征在于，所述在企业内网网关采集和存储不同设备通信过程中产生的设备网络流量数据，根据预配置的采集时长间隔得到每个设备的设备网络流量数据集具体包括：部署数据采集设备，将企业网中经过网关的设备产生的网络流量数据通过端口镜像转发到数据采集设备，进行设备网络流量数据的采集和储存，根据预配置的采集时长间隔获得设备网络流量数据集，其中，对每一设备采集得到m条设备网络流量数据条目y1,y2,
…
,y
m
；对设备网络流量数据集进行数据清洗。3.根据权利要求1所述的一种基于企业网网络流量的异常监测方法，其特征在于，所述对企业网内不同设备进行分类，根据分类构建不同的设备组，并基于设备网络流量数据集建立设备组网络流量数据集具体包括：按照先验知识或网络流量数据的信息对企业网的设备进行分类，将分到相同类别的设备构建为一个设备组，得到s个设备组g1,g2,
…
,g
s
，设备组内的设备具有先验或统计上的相似性，其中，先验知识包括设备使用功能、设备使用用户、设备使用权限；
将同一设备组内设备的设备网络流量数据集进行汇总，建立设备组网络流量数据集。4.根据权利要求1所述的一种基于企业网网络流量的异常监测方法，其特征在于，所述基于设备网络流量数据集提取表征网络行为信息的度量指标，建立设备的度量指标数据集，并基于分类和设备的度量指标数据集确定设备组的度量指标数据集具体包括：根据待监测的网络异常行为，确定度量指标x1,x2,
…
,x
n
；将每一设备的设备网络流量数据条目y1,y2,
…
,y
m
提取为度量指标条目x1,x2,
…
,x
m
，每一个度量指标条目x
i
包括n个度量指标x
i
＝{x
1i
,x
2i
,
…
,x
ni
}，建立设备的度量指标数据集；根据设备的分类，汇总设备组下所有设备的度量指标数据集，确定设备组的度量指标数据集；将度量指标数据集保存至度量指标数据库。5.根据权利要求1所述的一种基于企业网网络流量的异常监测方法，其特征在于，所述构建基于朴素贝叶斯算法的网络异常行为监测模型具体包括：假设度量指标x
i
服从预配置的分布族p(x
i
|θ)，通过极大似然法确定在当前采集到的度量指标数据集所包含的数据特征下，所述分布族的极大可能参数θ
mle
，从而确定所述度量指标最可能服从的分布，其中，其中，l(θ)为θ对于当前采集到的度量指标数据集的似然函数，m为度量指标条目数量；基于核密度估计法，基于距离x
i
＝a处h长度的区间内特征点的比例，估计x
i
＝a处的概率密度函数：其中，f(x)为累计分布函数；当累计分布函数f(x)为经验分布函数时，得到度量指标的概率密度的表达式：其中k为核函数；确定n个度量指标x
i
的分布模型p(x
i
|n)及p(x
i
|a)；输入网络流量数据集和对应的度量指标数据集，基于朴素贝叶斯算法计算网络流量数据e的似然函数：据e的似然函数：将似然函数代入概率计算公式得到网络流量数据的正常行为概率和异常行为概率，其中，概率计算公式为：
其中，x为度量指标条目；a为设备或设备组流量异常行为的集合，n为设备或设备组流量正常行为的集合；p(a)为流量异常行为的先验概率，p(n)为流量正常行为的先验概率；p(x|n)及p(x|a)为似然函数，p(n|x)为当前网络流量数据的正常行为概率，p(a|x)为当前网络流量数据的异常行为概率；网络流量数据的正常行为概率为：网络流量数据的异常行为概率为：6.根据权利要求1所述的一种基于企业网网络流量的异常监测方法，其特征在于，所述方法还包括：当企业网中加入新设备时，基于先验知识将新设备分类至设备组，基于所述设备所属设备组的网络异常行为监测模型进行网络流量异常监测，同时，采集所述新设备运行产生的网络流量数据存入设备网络流量数据集。7.根据权利要求1所述的一种基于企业网网络流量的异常监测方法，其特征在于，所述度量指标包括连接持续时间。8.根据权利要求2所述的一种基于企业网网络流量的异常监测方法，其特征在于，所述度量指标包括连接持续时间，设备网络流量数据条目的连接持续时间缺失时，在对设备网络流量数据集进行数据清洗时，将所述设备网络流量数据条目的连接持续时间设定为0。9.一种基于企业网网络流量的异常监测装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。10.一种存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如权利要求1-8中任一所述的方法。
技术总结本发明涉及一种基于企业网网络流量的异常监测方法、装置及存储介质，其中方法包括：采集数据得到设备网络流量数据集；根据设备分类建立设备组网络流量数据集；建立度量指标数据集；构建基于朴素贝叶斯算法的网络异常行为监测模型；实时采集设备网络流量数据，并结合历史网络流量数据确定度量指标；基于网络异常行为监测模型得到网络流量数据的正常行为概率和异常行为概率，判断正常行为概率是否大于异常行为概率，若是，则判定为正常流量，若否，则判定为异常流量，并保存。与现有技术相比，本发明具有识别能力强、动态适应性好、可解释性好等优点。等优点。等优点。
技术研发人员：王坤 于静 黄振 程新力 宋文
受保护的技术使用者：上海卫道信息技术有限公司
技术研发日：2022.07.26
技术公布日：2022/11/1
