1.本发明涉及一种警务云安全数据的融合方法、系统、装置及存储介质，属于数据融合技术领域。
背景技术：2.大数据警务云系统能够运行警务专题、通用工具、社会服务、队伍管理等四大类几十种云应用，面向民警和各警种提供大数据一体化应用服务；目前，面对警务云存在的网络攻击，存在许多用于入侵检测的机器学习方法，例如支持向量机、神经网络、隐马尔可夫模型和模糊逻辑等，其只具有浅层学习架构，难以识别未知攻击，也无法处理大型数据集中常见的噪声，卷积神经网络相较于其他机器学习方法，能够提高入侵检测的精度和计算速度，在一定程度上能够提高网络环境的安全性，然而此类研究很少可以直接应用于多源日志的网络检测，单源日志将导致一定的检测缺失率。
技术实现要素：3.本发明的目的在于克服现有技术中的不足，提供一种安全数据融合方法、装置及存储介质，解决目前多源安全日志无法直接应用于网络威胁检测中的技术问题。
4.为达到上述目的，本发明是采用下述技术方案实现的：
5.第一方面，本发明提供了一种警务云安全数据的融合方法，包括
6.获取多个数据源的网络攻击数据并进行解析，生成相应的日志集；
7.对每个日志集执行特征工程获取对应的特征数据集；
8.将每个特征数据集输入相应的预构建的攻击识别模型，获取相应的攻击模式集；
9.基于d-s证据理论对每个攻击模式集进行融合分析并输出融合结果；
10.其中，所述攻击识别模型的构建包括：
11.获取数据源的历史网络攻击数据并进行解析，生成相应的历史日志集；
12.基于预设的攻击模式对所述历史日志集进行攻击模式的匹配过滤；
13.对匹配过滤后的历史日志集执行特征工程获取对应的历史特征数据集；
14.将历史特征数据集输入初始化的卷积神经网络模型进行训练得到攻击识别模型。
15.可选的，所述数据源包括网络安全设备、交换设备、操作系统和应用系统。
16.可选的，所述攻击模式包括：
17.攻击目标：目标类型、目标的产品技术、目标依托的运行环境；
18.攻击机制：初始条件、资源需求、攻击手段、攻击层次、时序特性、严重程度；
19.攻击意图：攻击阶段意图、预期攻击结果。
20.可选的，所述基于预设的攻击模式对所述历史日志集进行攻击模式的匹配过滤包括：对所述历史日志集中的每一条日志数据基于预设的攻击模式进行匹配；若出现相同的匹配结果，则对匹配结果相同的日志数据进行聚合归并成一条日志数据。
21.可选的，所述对匹配过滤后的历史日志集执行特征工程获取对应的历史特征数据
集包括：对匹配过滤后的历史日志集中的日志数据进行分布均匀的样本抽样，对样本抽样结果进行均值归一化和one-hot编码处理，将其缩放到[0,1]区间内，生成对应的历史特征数据集。
[0022]
可选的，所述将历史特征数据集输入初始化的卷积神经网络模型进行训练得到攻击识别模型包括：
[0023]
将历史特征数据集按预设比例划分成训练数据集和测试数据集；
[0024]
所述卷积神经网络模型采用1d-cnn网络模型；
[0025]
训练过程：
[0026]
将训练数据集中元素输入1d-cnn网络模型，获取训练预测的攻击模式；
[0027]
根据预测的攻击模式和匹配的攻击模式计算损失；
[0028]
采用adam优化器对损失进行优化，更新1d-cnn网络模型的权值和偏置；
[0029]
将测试数据集中元素输入更新后的1d-cnn网络模型，获取测试预测的攻击模式；
[0030]
根据测试预测的攻击模式和匹配的攻击模式计算准确率；
[0031]
若准确率满足预设要求，则训练完成；若准确率不满足预设要求，则重复所述训练过程。
[0032]
可选的，所述基于d-s证据理论对每个攻击模式集进行融合分析并输出融合结果包括：
[0033]
将每个攻击模式集作为一个证据源，攻击模式集中的元素作为证据，则任意两个证据源之间的距离表示为：
[0034][0035]
式中，sa,sb为第a、b个证据源；
[0036]
证据源关联程度表示为：
[0037][0038]
关联证据源可信度表示为：
[0039][0040]
式中，m为证据源数量；
[0041]
关联证据源融合程度的集合值表示为：
[0042][0043]
式中，m1(
·
)、m2(
·
)
…mn
(
·
)为括号内元素的分布概率，s
a,a
、s
b,b
…sl,l
为第a、b
…
l个证据源中第a、b
…
l个证据；m(φ)＝0；
[0044][0045]
式中，n为第a个证据源中证据数量；s
a,1
、s
a,1
…sa,n
为第a个证据源中第1、2
…
n个证据；
[0046]
融合结果表示为：
[0047][0048]
式中，
[0049][0050][0051]
第二方面，本发明提供了一种警务云安全数据的融合系统，所述系统包括：
[0052]
日志获取模块，用于获取多个数据源的网络攻击数据并进行解析，生成相应的日志集；
[0053]
特征获取模块，用于对每个日志集执行特征工程获取对应的特征数据集；
[0054]
攻击识别模块，用于将每个特征数据集输入相应的预构建的攻击识别模型，获取相应的攻击模式集；
[0055]
模式融合模块，用于基于d-s证据理论对每个攻击模式集进行融合分析并输出融合结果；
[0056]
其中，所述攻击识别模型的构建包括：
[0057]
获取数据源的历史网络攻击数据并进行解析，生成相应的历史日志集；
[0058]
基于预设的攻击模式对所述历史日志集进行攻击模式的匹配过滤；
[0059]
对匹配过滤后的历史日志集执行特征工程获取对应的历史特征数据集；
[0060]
将历史特征数据集输入初始化的卷积神经网络模型进行训练得到攻击识别模型。
[0061]
第三方面，本发明提供了一种警务云安全数据的融合装置，包括处理器及存储介质；
[0062]
所述存储介质用于存储指令；
[0063]
所述处理器用于根据所述指令进行操作以执行根据上述方法的步骤。
[0064]
第四方面，本发明提供了计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述方法的步骤。
[0065]
与现有技术相比，本发明所达到的有益效果：
[0066]
本发明提供了一种安全数据融合方法、装置及存储介质，1)日志集的来源具有多样性，包括网络安全设备、交换设备、操作系统和应用系统，解决单源日志检测结果不精确的问题。2)提出攻击识别模型，对经过特征工程的日志数据进行特征学习和重构，层次挖掘数据集中隐藏特征，解决现有决策层数据特征提取不足的缺点，并得到预测的攻击模式。3)结合改进的d-s证据理论对多源的攻击模式集进行融合，将以攻击模式为核心的多源异构安全数据常态化为威胁事件，根据融合结果能够获取多源的攻击模式，从而增强入侵检测的效果。
附图说明
[0067]
图1是本发明实施例一提供的一种警务云安全数据的融合系统的流程图；
[0068]
图2是本发明实施例一提供的1d-cnn网络模型的结构示意图；
[0069]
图3是本发明实施例一提供的cic-ids-2017测试集上的roc曲线示意图；
[0070]
图4是本发明实施例一提供的改进d-s证据理论精度率对比示意图；
[0071]
图5是本发明实施例一提供的改进d-s证据理论召回率对比示意图。
具体实施方式
[0072]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0073]
实施例一：
[0074]
如图1所示，本发明实施例提供了一种警务云安全数据的融合方法，包括以下步骤：
[0075]
1、获取多个数据源的网络攻击数据并进行解析，生成相应的日志集；
[0076]
本实施例提供的数据源，主要包括网络安全设备、交换设备、操作系统和应用系统。
[0077]
2、对每个日志集执行特征工程获取对应的特征数据集；
[0078]
对日志集中的日志数据进行分布均匀的样本抽样，对样本抽样结果进行均值归一化和one-hot编码处理，将其缩放到[0,1]区间内，生成对应的特征数据集。
[0079]
3、将每个特征数据集输入相应的预构建的攻击识别模型，获取相应的攻击模式集；
[0080]
由于特征数据集来自于不同的数据源，因此需要针对不同的数据源设置不同的攻击识别模型，以任一个数据源的攻击识别模型的构建为例，包括：
[0081]
s1、获取数据源的历史网络攻击数据并进行解析，生成相应的历史日志集；
[0082]
s2、基于预设的攻击模式对历史日志集进行攻击模式的匹配过滤；
[0083]
本实施例提供的攻击模式，主要包括攻击目标：目标类型、目标的产品技术、目标依托的运行环境；攻击机制：初始条件、资源需求、攻击手段、攻击层次、时序特性、严重程度；攻击意图：攻击阶段意图、预期攻击结果。
[0084]
例如：嗅探攻击可以按上述三个维度描述为：攻击目标类型为网络设备，依托运行环境为广播型网络；攻击机制为网络链路流动的数据流分析，初始条件为较低安全的网络结构，资源需求为同一个网络段，攻击手段为渗透性流量分析，攻击层次为侦察，时间特性为长时高强度，严重程度为破坏信息的保密性；攻击阶段意图为实现数据流分析攻击，预期攻击结果为实施重放攻击。
[0085]
基于预设的攻击模式对历史日志集进行攻击模式的匹配过滤包括：对历史日志集中的每一条日志数据基于预设的攻击模式进行匹配；若出现相同的匹配结果，则对匹配结果相同的日志数据进行聚合归并成一条日志数据，通过
[0086]
匹配过滤的主要目的是不同数据源的日志数据打上统一的真实标签(攻击模式)，规范化日志格式，利用定义的攻击模式对日志中的每条记录进行处理，将每条日志进行攻击模式匹配，如果单个或不同的设备日志中出现相同的匹配结果，即代表被处理的日志具有相同特性，即进行合并处理成单条数据，从而降低数据量，提升运算速度。
[0087]
s3、对匹配过滤后的历史日志集执行特征工程获取对应的历史特征数据集；
[0088]
对匹配过滤后的历史日志集中的日志数据进行分布均匀的样本抽样，对样本抽样结果进行均值归一化和one-hot编码处理，将其缩放到[0,1]区间内，生成对应的历史特征数据集。
[0089]
s4、将历史特征数据集输入初始化的卷积神经网络模型进行训练得到攻击识别模型；
[0090]
将历史特征数据集按预设比例(一般为7:3或6:4)划分成训练数据集和测试数据集；
[0091]
卷积神经网络模型采用1d-cnn网络模型；
[0092]
训练过程：
[0093]
将训练数据集中元素输入1d-cnn网络模型，获取训练预测的攻击模式；
[0094]
根据预测的攻击模式和匹配的攻击模式计算损失；其采用的损失函数可以为：loss＝crossentropy(y,y
′
)，y,y
′
为真实标签与预测标签；
[0095]
采用adam优化器对损失进行优化，更新1d-cnn网络模型的权值和偏置；
[0096]
将测试数据集中元素输入更新后的1d-cnn网络模型，获取测试预测的攻击模式；
[0097]
根据测试预测的攻击模式和匹配的攻击模式计算准确率；准确率可以取比值；
[0098]
若准确率满足预设要求，则训练完成；若准确率不满足预设要求，则重复训练过程。
[0099]
如图2所示，卷积神经网络模型采用1d-cnn网络模型；1d-cnn网络模型包括依次连接的第一卷积层、池化层、第二卷积层、全局池化层、全连接层以及softmax层，全局池化层包括全局平均池化层和全局最大池化层。
[0100]
4、基于d-s证据理论对每个攻击模式集进行融合分析并输出融合结果；
[0101]
将每个攻击模式集作为一个证据源，攻击模式集中的元素作为证据，则任意两个证据源之间的距离表示为：
[0102]
[0103]
式中，sa,sb为第a、b个证据源；
[0104]
证据源关联程度表示为：
[0105][0106]
关联证据源可信度表示为：
[0107][0108]
式中，m为证据源数量；
[0109]
关联证据源融合程度的集合值表示为：
[0110][0111]
式中，m1(
·
)、m2(
·
)
…mn
(
·
)为括号内元素的分布概率，s
a,a
、s
b,b
…sl,l
为第a、b
…
l个证据源中第a、b
…
l个证据；m(φ)＝0；
[0112][0113]
式中，n为第a个证据源中证据数量；s
a,1
、s
a,1
…sa,n
为第a个证据源中第1、2
…
n个证据；
[0114]
融合结果表示为：
[0115][0116]
式中，
[0117][0118][0119]
为了进一步验证的1d-cnn模型具有鲁棒性，在安全数据集cic-ids-2017上也进行了对比实验，结果如下表1，该方法在精度、召回率和f1分数方面表现良好，精度、召回率绝大多数都在0.97左右，f1值均在0.97以上，综合情况较好，roc曲线如图3所示，实验证明，在
数据集cic-ids-2017数据集上该模型也能取得较为理想的结果。
[0120]
表1 cic-ids-2017数据集上精确率p、召回率r、f1分数
[0121][0122][0123]
本文对不同类型的日志集进行了比较实验，以验证了多源日志的数据融合阶段采用改进d-s证据理论能够对检测模型的性能起到提升作用，基于1d-cnn模型做了有无改进d-s证据理论的对比试验，实验结果如表2所示。
[0124]
表2不同融合模型的准确率、召回率对比结果
[0125]
methosp(训练集)p(测试集)r(训练集)r(测试集)无改进d-s0.9730.9470.9750.958基于改进d-s0.9890.9820.9870.979
[0126]
实验表明改进的d-s证据理论比缺省数据融合的训练集准确率提升了1.6％，测试集的准确率提升了3.5％，比其余两种基于d-s证据理论的数据融合算法的准确率和召回率要高，该实验证明分类数据经过改进的d-s证据理论融合能够进一步提高检测模型的准确率。同时，数据融合阶段各类样本类型精确率和召回率对比如图4、5所示，改进d-s证据理论对警务云入侵检测数据集具有较强的分类效果，精确率和召回率均有所提高，与原有的ds证据理论方法相比，改进d-s证据理论在警务云威胁检测中能够确保安全检测较高的准确性，通过该方法可以结合多源攻击数据的可信度，提高告警识别率，减少误报事件，提高识别攻击行为的能力，能够为警务云快速变化的网络环境提供有力的支持，提高了警务云系统感知的准确性。
[0127]
实施例二：
[0128]
本发明实施例提供了一种警务云安全数据的融合系统，系统包括：
[0129]
日志获取模块，用于获取多个数据源的网络攻击数据并进行解析，生成相应的日志集；
[0130]
特征获取模块，用于对每个日志集执行特征工程获取对应的特征数据集；
[0131]
攻击识别模块，用于将每个特征数据集输入相应的预构建的攻击识别模型，获取相应的攻击模式集；
[0132]
模式融合模块，用于基于d-s证据理论对每个攻击模式集进行融合分析并输出融合结果；
[0133]
其中，攻击识别模型的构建包括：
[0134]
获取数据源的历史网络攻击数据并进行解析，生成相应的历史日志集；
[0135]
基于预设的攻击模式对历史日志集进行攻击模式的匹配过滤；
[0136]
对匹配过滤后的历史日志集执行特征工程获取对应的历史特征数据集；
[0137]
将历史特征数据集输入初始化的卷积神经网络模型进行训练得到攻击识别模型。
[0138]
实施例三：
[0139]
基于实施例一，本发明实施例提供了一种安全数据融合装置，包括处理器及存储介质；
[0140]
存储介质用于存储指令；
[0141]
处理器用于根据指令进行操作以执行根据上述方法的步骤。
[0142]
实施例四：
[0143]
基于实施例一，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述方法的步骤。
[0144]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0145]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0146]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0147]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0148]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
技术特征：1.一种警务云安全数据的融合方法，其特征在于，包括获取多个数据源的网络攻击数据并进行解析，生成相应的日志集；对每个日志集执行特征工程获取对应的特征数据集；将每个特征数据集输入相应的预构建的攻击识别模型，获取相应的攻击模式集；基于d-s证据理论对每个攻击模式集进行融合分析并输出融合结果；其中，所述攻击识别模型的构建包括：获取数据源的历史网络攻击数据并进行解析，生成相应的历史日志集；基于预设的攻击模式对所述历史日志集进行攻击模式的匹配过滤；对匹配过滤后的历史日志集执行特征工程获取对应的历史特征数据集；将历史特征数据集输入初始化的卷积神经网络模型进行训练得到攻击识别模型。2.根据权利要求1所述的一种警务云安全数据的融合方法，其特征在于，所述数据源包括网络安全设备、交换设备、操作系统和应用系统。3.根据权利要求1所述的一种警务云安全数据的融合方法，其特征在于，所述攻击模式包括：攻击目标：目标类型、目标的产品技术、目标依托的运行环境；攻击机制：初始条件、资源需求、攻击手段、攻击层次、时序特性、严重程度；攻击意图：攻击阶段意图、预期攻击结果。4.根据权利要求1所述的一种警务云安全数据的融合方法，其特征在于，所述基于预设的攻击模式对所述历史日志集进行攻击模式的匹配过滤包括：对所述历史日志集中的每一条日志数据基于预设的攻击模式进行匹配；若出现相同的匹配结果，则对匹配结果相同的日志数据进行聚合归并成一条日志数据。5.根据权利要求1所述的一种警务云安全数据的融合方法，其特征在于，所述对匹配过滤后的历史日志集执行特征工程获取对应的历史特征数据集包括：对匹配过滤后的历史日志集中的日志数据进行分布均匀的样本抽样，对样本抽样结果进行均值归一化和one-hot编码处理，将其缩放到[0,1]区间内，生成对应的历史特征数据集。6.根据权利要求1所述的一种警务云安全数据的融合方法，其特征在于，所述将历史特征数据集输入初始化的卷积神经网络模型进行训练得到攻击识别模型包括：将历史特征数据集按预设比例划分成训练数据集和测试数据集；所述卷积神经网络模型采用1d-cnn网络模型；训练过程：将训练数据集中元素输入1d-cnn网络模型，获取训练预测的攻击模式；根据预测的攻击模式和匹配的攻击模式计算损失；采用adam优化器对损失进行优化，更新1d-cnn网络模型的权值和偏置；将测试数据集中元素输入更新后的1d-cnn网络模型，获取测试预测的攻击模式；根据测试预测的攻击模式和匹配的攻击模式计算准确率；若准确率满足预设要求，则训练完成；若准确率不满足预设要求，则重复所述训练过程。7.根据权利要求1所述的一种警务云安全数据的融合方法，其特征在于，所述基于d-s证据理论对每个攻击模式集进行融合分析并输出融合结果包括：
将每个攻击模式集作为一个证据源，攻击模式集中的元素作为证据，则任意两个证据源之间的距离表示为：式中，s
a
,s
b
为第a、b个证据源；证据源关联程度表示为：关联证据源可信度表示为：式中，m为证据源数量；关联证据源融合程度的集合值表示为：式中，m1(
·
)、m2(
·
)
…
m
n
(
·
)为括号内元素的分布概率，s
a,a
、s
b,b
…
s
l,l
为第a、b
…
l个证据源中第a、b
…
l个证据；m(φ)＝0；式中，n为第a个证据源中证据数量；s
a,1
、s
a,1
…
s
a,n
为第a个证据源中第1、2
…
n个证据；融合结果表示为：式中，
8.一种警务云安全数据的融合系统，其特征在于，所述系统包括：日志获取模块，用于获取多个数据源的网络攻击数据并进行解析，生成相应的日志集；特征获取模块，用于对每个日志集执行特征工程获取对应的特征数据集；攻击识别模块，用于将每个特征数据集输入相应的预构建的攻击识别模型，获取相应的攻击模式集；模式融合模块，用于基于d-s证据理论对每个攻击模式集进行融合分析并输出融合结果；其中，所述攻击识别模型的构建包括：获取数据源的历史网络攻击数据并进行解析，生成相应的历史日志集；基于预设的攻击模式对所述历史日志集进行攻击模式的匹配过滤；对匹配过滤后的历史日志集执行特征工程获取对应的历史特征数据集；将历史特征数据集输入初始化的卷积神经网络模型进行训练得到攻击识别模型。9.一种警务云安全数据的融合装置，其特征在于，包括处理器及存储介质；所述存储介质用于存储指令；所述处理器用于根据所述指令进行操作以执行根据权利要求1-7任一项所述方法的步骤。10.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
技术总结本发明公开了一种警务云安全数据的融合方法、系统、装置及存储介质，其方法包括：获取多个数据源的网络攻击数据并进行解析，生成相应的日志集；对每个日志集执行特征工程获取对应的特征数据集；将每个特征数据集输入相应的预构建的攻击识别模型，获取相应的攻击模式集；基于D-S证据理论对每个攻击模式集进行融合分析并输出融合结果；本发明在安全数据集的基础上系统地对攻击技术机制和攻击目标的特征进行总结，建立一个可扩展的攻击行为模型，结合改进的D-S证据理论进行多源数据融合，将以攻击模式为核心的多源异构安全数据常态化为威胁事件，进一步增强入侵检测的分类效果。进一步增强入侵检测的分类效果。进一步增强入侵检测的分类效果。
技术研发人员：李伟 何明 徐兵 袁国栋
受保护的技术使用者：中国人民解放军陆军工程大学
技术研发日：2022.07.26
技术公布日：2022/11/1
