本申请涉及日志数据处理领域，具体而言，涉及一种日志数据处理方法、系统、装置及非易失性存储介质。
背景技术：
1、目前在通信业务中，网络告警及全流量监控是维护数据安全及系统安全不可或缺的一个环节。但是目前网络传输的日志文本多为非结构化形式的数据，此类数据不适合由数据库二维表来表现，即使通过flume收集落库，也远远达不到可整合分析的要求。另外在对日志数据进行分析的业务场景中，适合存储在iceberg等支持对大规模数据进行较为复杂的联机分析处理的olap数据库中，但目前flume不支持对olap数据库的直接写入，需要借助kafka中间件，导致数据的写入流程失败概率提高且效率降低。
2、针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本申请实施例提供了一种日志数据处理方法、系统、装置及非易失性存储介质，以至少解决由于相关技术中无法对非结构化的日志文本进行高效处理导致的无法对日志文本进行整合分析的技术问题。
2、根据本申请实施例的一个方面，提供了一种日志数据处理方法，包括：接收到非结构化日志数据后，依据预设正则表达式集合确定非结构化日志数据中的关键词，从而确定非结构化日志数据的日志类型；在确定日志类型后，按照日志类型对应的解析方式处理非结构化日志数据，得到结构化数据，并将结构化数据存入目标数据表格中；在无法确定日志类型的情况下，采用多路复用器将非结构化日志发送到分布式文件系统中。
3、可选地，日志类型包括json日志，按照日志类型对应的解析方式处理非结构化日志数据，得到结构化日志数据的步骤包括：在日志类型为json日志的情况下，依据非结构化日志中的json字串确定json对象；确定第一预设字段列表，其中，第一预设字段列表中包括字段名称列、字段描述列和依赖字段列；依据预设字段列表对json对象重新组装得到结构化的json格式数据。
4、可选地，日志类型包括字串日志，按照日志类型对应的解析方式处理非结构化日志数据，得到结构化日志数据的步骤包括：在日志类型为字串日志的情况下，确定第二预设字段列表，其中，第二预设字段列表中包括字段名称列、字段描述列和下标列；依据第二预设字段列表对非结构化日志中的字串进行分割，得到结构化数据。
5、可选地，按照日志类型对应的解析方式处理非结构化日志数据的步骤包括：从目标存储空间中读取日志解析规则，其中，日志解析规则中包括各类日志类型对应的解析方式，并且日志解析规则按照预设时间周期进行更新。
6、可选地，将结构化数据存入目标数据表格中包括：将结构化数据写入数据缓冲区中；通过流处理框架将数据缓冲区中的结构化数据存入目标数据表格中。
7、可选地，日志数据处理方法还包括：获取代理节点分发的非结构化日志数据，其中，代理节点用于获取各个厂商生成的非结构化日志数据，并将非结构化日志数据分发给与代理节点连接的至少一个处理节点中。
8、可选地，日志数据处理方法还包括：响应目标设备的操作指令对处理节点或代理节点的配置信息进行更改，其中，目标设备还用于展示可视化界面，可视化界面中包括代理节点和处理节点之间的连接方式，以及代理节点和处理节点的配置信息。
9、根据本申请实施例的另一方面，还提供了一种日志数据处理系统，包括代理节点，处理节点，其中，代理节点，与至少一个处理节点连接，用于获取各个厂商生成的非结构化日志数据，并将非结构化日志数据分发给与代理节点连接的至少一个处理节点中；处理节点，用于在接收到非结构化日志数据后，依据预设正则表达式集合确定非结构化日志数据中的关键词，从而确定非结构化日志数据的日志类型；在确定日志类型后，按照日志类型对应的解析方式处理非结构化日志数据，得到结构化数据，并将结构化数据存入目标数据表格中；在无法确定日志类型的情况下，采用多路复用器将非结构化日志发送到分布式文件系统中。
10、可选地，日志数据处理系统中还包括目标设备，目标设备用于展示可视化界面，其中，可视化界面中包括代理节点和处理节点之间的连接方式，以及代理节点和处理节点的配置信息。
11、根据本申请实施例的另一方面，还提供了一种日志数据处理装置，包括：第一处理模块，用于在接收到非结构化日志数据后，依据预设正则表达式集合确定非结构化日志数据中的关键词，从而确定非结构化日志数据的日志类型；第二处理模块，用于在确定日志类型后，按照日志类型对应的解析方式处理非结构化日志数据，得到结构化数据，并将结构化数据存入目标数据表格中；第三处理模块，用于在无法确定日志类型的情况下，采用多路复用器将非结构化日志发送到分布式文件系统中。
12、根据本申请实施例的另一方面，还提供了一种非易失性存储介质。非易失性存储介质中存储有程序，其中，在程序运行时控制非易失性存储介质所在设备执行日志数据处理方法。
13、根据本申请实施例的另一方面，还提供了一种电子设备，包括：存储器和处理器，处理器用于运行存储在存储器中的程序，其中，程序运行时执行日志数据处理方法。
14、根据本申请实施例的另一方面，还提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现日志数据处理方法。
15、在本申请实施例中，采用接收到非结构化日志数据后，依据预设正则表达式集合确定非结构化日志数据中的关键词，从而确定非结构化日志数据的日志类型；在确定日志类型后，按照日志类型对应的解析方式处理非结构化日志数据，得到结构化数据，并将结构化数据存入目标数据表格中；在无法确定日志类型的情况下，采用多路复用器将非结构化日志发送到分布式文件系统中的方式，通过为不同类型的非结构化日志数据按照对应的解析方式转化为结构化日志的方式，达到了高效处理各类非结构化日志的目的，从而实现了将日志文件中的数据存入数据表格中以便后续进行整合分析的技术效果，进而解决了由于相关技术中无法对非结构化的日志文本进行高效处理导致的无法对日志文本进行整合分析的技术问题。
1.一种日志数据处理方法，其特征在于，包括：
2.根据权利要求1所述的日志数据处理方法，其特征在于，所述日志类型包括json日志，按照所述日志类型对应的解析方式处理所述非结构化日志数据，得到结构化日志数据的步骤包括：
3.根据权利要求1所述的日志数据处理方法，其特征在于，所述日志类型包括字串日志，按照所述日志类型对应的解析方式处理所述非结构化日志数据，得到结构化日志数据的步骤包括：
4.根据权利要求1所述的日志数据处理方法，其特征在于，所述按照所述日志类型对应的解析方式处理所述非结构化日志数据的步骤包括：
5.根据权利要求1所述的日志数据处理方法，其特征在于，将所述结构化数据存入目标数据表格中包括：
6.根据权利要求1所述的日志数据处理方法，其特征在于，所述日志数据处理方法还包括：
7.根据权利要求6所述的日志数据处理方法，其特征在于，所述日志数据处理方法还包括：
8.一种日志数据处理系统，其特征在于，包括代理节点，处理节点，其中，
9.根据权利要求8所述的日志数据处理系统，其特征在于，所述日志数据处理系统中还包括目标设备，所述目标设备用于展示可视化界面，其中，所述可视化界面中包括所述代理节点和所述处理节点之间的连接方式，以及所述代理节点和所述处理节点的所述配置信息。
10.一种日志数据处理装置，其特征在于，包括：
11.一种非易失性存储介质，其特征在于，所述非易失性存储介质中存储有程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至7中任意一项所述的日志数据处理方法。
12.一种电子设备，其特征在于，包括：存储器和处理器，所述处理器用于运行存储在所述存储器中的程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的日志数据处理方法。
13.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至7中任意一项所述的日志数据处理方法。
