本发明涉及生产线，具体为一种产线一键批量收集服务器日志系统及方法。
背景技术：
1、目前市场上收集服务器日志主要通过网页web登录每台服务器的bmc web界面并且找到一键收集服务器log点击一键收集，等待下载完成后将文件重命名整理保存，或者，大多数服务器都自带事件查看器，可以通过它来查看服务器的运行日志。打开事件查看器后，可以看到系统日志、应用程序日志、安全日志等多个分类，根据需要选择相应的日志进行查看，也可以使用一些命令行工具来查看服务器的日志，例如，在linux系统中，可以使用tail、grep等命令来查看日志文件，在windows系统中，可以使用powershell等命令来查看日志文件。
2、但是，传统的服务器日志系统存在以下缺点：
3、传统的服务器日志系统存在明显弊端是必须在客户端每一台单独登录，输入用户名、密码，然后等待所有机台都登录找到一键收集日志按钮点击并等待每一台服务器下载完成后，整理收集。当多次收集所有服务器机台日志时候每次都需要重新登录并下载。
技术实现思路
1、本发明的目的在于提供一种产线一键批量收集服务器日志系统及方法，以解决上述背景技术中提出的传统的服务器日志系统存在明显弊端是必须在客户端每一台单独登录，输入用户名、密码，然后等待所有机台都登录找到一键收集日志按钮点击并等待每一台服务器下载完成后，整理收集。当多次收集所有服务器机台日志时候每次都需要重新登录并下载的问题。
2、为实现上述目的，本发明提供如下技术方案：一种产线一键批量收集服务器日志系统，包括日志系统，所述日志系统包括基础架构平台、日志管理平台、安全分析平台、威胁分析平台、网络设备审计平台和合规管理平台；
3、所述基础架构平台对服务器日志进行采集、清洗、过滤、展示和分析；
4、所述日志管理平台在单个控制台上对所有最终用户设备收集和分析日志；
5、所述安全分析平台检测安全事件，并使用高级安全分析机制获得可操作的见解；
6、所述威胁分析平台通过威胁检测和缓解，保护网络免受不必要的破坏企图和关键数据盗窃；
7、所述网络设备审计平台监控所有重要网络设备，如防火墙、路由器和交换机；
8、所述合规管理平台内各组织采取积极措施建立网络安全流程，以检测导致企业敏感信息受损的网络异常、攻击和其他漏洞，并对日志进行分类和处理。
9、作为本发明的一种优选技术方案，所述基础架构平台包括数据采集模块、数据清洗模块、数据过滤模块、数据展示模块和数据分析模块，所述数据采集模块对服务器日志进行采集，所述数据清洗模块对收集到的服务器日志进行清洗，所述数据过滤模块根据收集需求对收集的服务器日志进行过滤选取，所述数据展示模块对服务器日志进行展示，所述数据分析模块对服务器日志内信息分析。
10、作为本发明的一种优选技术方案，所述日志管理平台包括日志收集模块、日志存储模块、日志规范化模块、日志分析模块和报表告警模块，所述日志收集模块从网络中的各种设备、服务器和应用程序中收集日志，所述日志存储模块存储在存档中，以便进行取证分析和合规性要求，日志数据存储应该是安全的例如，加密，此外，存储应该是防篡改的，保留期限应该是灵活的最好是用户配置的存储位置、媒体灵活，所述日志规范化模块来自异构源的日志应该被规范化以具有通用格式，所述日志分析模块分析日志以全面了解网络安全事件，日志甚至跨多个设备关联，以帮助全面了解网络事件，所述报表告警模块分析日志以生成报表和告警，应该有不同格式和分发的罐头、可定制、自定义和预定报表，该告警应实时通知，应该有更多的通知机制，甚至应该执行其他程序来执行补救措施。
11、作为本发明的一种优选技术方案，所述安全分析平台包括syslog监控模块、事件日志监控模块、搜索模块和取证分析模块，所述syslog监控模块增强集中式系统日志服务器上的网络可见性和安全性，所述事件日志监控模块从windows设备收集和监控事件日志，并获得有关可疑活动的深入报表和实时告警，所述搜索模块通过将搜索查询保存为告警配置文件，随时了解感兴趣的安全事件，以便立即收到可疑活动的告警，所述取证分析模块通过进行取证分析并追溯攻击者采取的步骤，保护网络免受未来的攻击。
12、作为本发明的一种优选技术方案，所述威胁分析平台包括windows威胁检测模块、文件完整性监控模块、linux文件完整性监控模块、特权用户活动审计模块、实时事件日志相关性模块、威胁情报模块和自动事件响应模块，所述windows威胁检测模块保护安全工具，如漏洞扫描仪、端点安全保护工具和周边安全设备，所述文件完整性监控模块跟踪文件和文件夹上的关键更改，如创建、删除、访问、修改和重命名，并收到可疑活动的告警，所述linux文件完整性监控模块检测对linux系统中的文件、文件夹和目录所做的更改，所述特权用户活动审计模块跟踪特权用户活动，并检测可疑事件，如未经授权的登录、登录失败和非工作时间的访问尝试，所述实时事件日志相关性模块通过关联整个网络的可疑事件来准确检测安全威胁并识别攻击模式，所述威胁情报模块通过内置的stix/taxii提要处理器实时收到进出黑名单ip地址、域和url的恶意流量告警，所述自动事件响应模块利用预定义的事件工作流来缓解不同类型的安全事件，例如外部威胁，使用拖放式工作流构建器界面构建自定义事件工作流。
13、作为本发明的一种优选技术方案，所述网络设备审计平台包括vpn日志监控模块、路由器交换机日志审计模块、ids/ips日志监控模块和防火墙日志审核模块，所述vpn日志监控模块获得有关vpn用户详细信息的可操作见解，审计vpn登录，并分析登录模式的趋势，所述路由器交换机日志审计模块监控hp和juniper设备中的路由器流量和用户活动，并识别威胁网络安全的可疑事件，所述ids/ips日志监控模块收集ids/ips日志，并从集中位置访问它们，获取有关攻击类型、目标设备的宝贵网络威胁信息，所述防火墙日志审核模块审核cisco防火墙、cisco meraki防火墙、windows防火墙、h3c防火墙、sonicwall防火墙、paloalto networks防火墙、fortinet和fortigate防火墙、sophos防火墙、check point防火墙、watchguard防火墙和华为防火墙日志用于监控入站和出站流量，并保护网络免受基于防火墙的网络攻击。
14、作为本发明的一种优选技术方案，所述合规管理平台包括日志等级模块、日志处理模块和合规报表模块，所述日志等级模块将日志分为：基本的通知信息、普通信息，但是有—定的重要性、警告信息，但是还不会影响到服务或系统的运行、错误信息，达到err等级的信息已经影响到服务器系统的运行了、临界状况信息，比err等级还要严、状态信息，比crit等级还要严重，必须立即采取行动、疼痛等级信息，系统已经无法使用，所述日志处理模块通过gzip压缩转储以后的日志、不压缩、用于还在打开中的日志文件，把当前日志备份并截断、备份日志文件但是不截断、转储文件，使用指定的权限，所有者，所属组创建新的日志文件、不建立新的日志文件和compress一起使用时，转储的日志文件到下—次转储时才压缩、覆盖delaycompress选项，转储同时压缩、存储时的错误信息发送到指定的email地址、即使是空文件也转储，此为默认选项、如果是空文件的话，不转储、把转储的日志文件发送到指定的e-mail地址、转储时不发送日志文件、转储后的日志文件放入指定目录，必须和当前日志文件在同一个文件系统、转储后的日志文件和当前日志文件放在同一个目录下、在转储以前需要执行的命令，这两个关键字必须单独成行、在转储以后需要执行的命令，这两个关键字必须单独成行、指定转储周期为每天，所述合规报表模块创建符合要求的自定义合规性报表。
15、本发明一种产线一键批量收集服务器日志系统的使用方法，包括以下步骤：
16、步骤一、数据收集：基础框架平台收集所有服务器ip、用户名、密码并写入程序需要的config档中，默认用户名、密码都是统一的只需要收集ip地址即可；
17、步骤二、日志整理：日志管理平台通过python创建函数，实现ssh登录，生成服务器log日志，再通过sftp将生成文件下载到本地并重命名整理收集；
18、步骤三、日志展示：通过安全分析平台、威胁分析平台和网络设备审计平台对工具进行安全防护后，在主函数中将从config档读取的所有用户信息分别带入创建的上面说的函数中通过多线程同时完成所有服务器日志收集并下载、重命名。
19、与现有技术相比，本发明的有益效果是：
20、1、使用本技术方法发明，在一台客户端上一键收集多台服务器log，且只需要收集一次服务器信息后续都多次一键收集所有服务器log；
21、2、通过设置日志管理平台和基础架构平台只需要收集一次机台信息后续一键收集所有机台log日志信息，并整理重命名在一个文件夹下面。
1.一种产线一键批量收集服务器日志系统，包括日志系统，其特征在于：所述日志系统包括基础架构平台、日志管理平台、安全分析平台、威胁分析平台、网络设备审计平台和合规管理平台；
2.根据权利要求1所述的一种产线一键批量收集服务器日志系统，其特征在于：所述基础架构平台包括数据采集模块、数据清洗模块、数据过滤模块、数据展示模块和数据分析模块，所述数据采集模块对服务器日志进行采集，所述数据清洗模块对收集到的服务器日志进行清洗，所述数据过滤模块根据收集需求对收集的服务器日志进行过滤选取，所述数据展示模块对服务器日志进行展示，所述数据分析模块对服务器日志内信息分析。
3.根据权利要求1所述的一种产线一键批量收集服务器日志系统，其特征在于：所述日志管理平台包括日志收集模块、日志存储模块、日志规范化模块、日志分析模块和报表告警模块，所述日志收集模块从网络中用的各种设备、服务器和应用程序中收集日志，所述日志存储模块存储在存档中，以便进行取证分析和合规性要求，日志数据存储应该是安全的例如，加密，此外，存储应该是防篡改的，保留期限应该是灵活的最好是用户可配置的存储位置、媒体灵活，所述日志规范化模块来自异构源的日志应该被规范化以具有通用格式，所述日志分析模块分析日志以全面了解网络安全事件，日志甚至跨多个设备关联，以帮助全面了解网络事件，所述报表告警模块分析日志以生成报表和告警，应该有不同格式和分发的罐头、可定制、自定义和预定报表，该告警应实时通知，应该有更多的通知机制，甚至应该执行其他程序来执行补救措施。
4.根据权利要求1所述的一种产线一键批量收集服务器日志系统，其特征在于：所述安全分析平台包括syslog监控模块、事件日志监控模块、搜索模块和取证分析模块，所述syslog监控模块增强集中式系统日志服务器上的网络可见性和安全性，所述事件日志监控模块从windows设备收集和监控事件日志，并获得有关可疑活动的深入报表和实时告警，所述搜索模块通过将搜索查询保存为告警配置文件，随时了解感兴趣的安全事件，以便立即收到可疑活动的告警，所述取证分析模块通过进行取证分析并追溯攻击者采取的步骤，保护网络免受未来的攻击。
5.根据权利要求1所述的一种产线一键批量收集服务器日志系统，其特征在于：所述威胁分析平台包括windows威胁检测模块、文件完整性监控模块、linux文件完整性监控模块、特权用户活动审计模块、实时事件日志相关性模块、威胁情报模块和自动事件响应模块，所述windows威胁检测模块保护安全工具，如漏洞扫描仪、端点安全保护工具和周边安全设备，所述文件完整性监控模块跟踪文件和文件夹上的关键更改，如创建、删除、访问、修改和重命名，并收到可疑活动的告警，所述linux文件完整性监控模块检测对linux系统中的文件、文件夹和目录所做的更改，所述特权用户活动审计模块跟踪特权用户活动，并检测可疑事件，如未经授权的登录、登录失败和非工作时间的访问尝试，所述实时事件日志相关性模块通过关联整个网络的可疑事件来准确检测安全威胁并识别攻击模式，所述威胁情报模块通过内置的stix/taxii提要处理器实时收到进出黑名单ip地址、域和url的恶意流量告警，所述自动事件响应模块利用预定义的事件工作流来缓解不同类型的安全事件，例如外部威胁，使用拖放式工作流构建器界面构建自定义事件工作流。
6.根据权利要求1所述的一种产线一键批量收集服务器日志系统，其特征在于：所述网络设备审计平台包括vpn日志监控模块、路由器交换机日志审计模块、ids/ips日志监控模块和防火墙日志审核模块，所述vpn日志监控模块获得有关vpn用户详细信息的可操作见解，审计vpn登录，并分析登录模式的趋势，所述路由器交换机日志审计模块监控hp和juniper设备中的路由器流量和用户活动，并识别威胁网络安全的可疑事件，所述ids/ips日志监控模块收集ids/ips日志，并从集中位置访问它们，获取有关攻击类型、目标设备的宝贵网络威胁信息，所述防火墙日志审核模块审核cisco防火墙、cisco meraki防火墙、windows防火墙、h3c防火墙、sonicwall防火墙、palo alto networks防火墙、fortinet和fortigate防火墙、sophos防火墙、check point防火墙、watchguard防火墙和华为防火墙日志用于监控入站和出站流量，并保护网络免受基于防火墙的网络攻击。
7.根据权利要求1所述的一种产线一键批量收集服务器日志系统，其特征在于：所述合规管理平台包括日志等级模块、日志处理模块和合规报表模块，所述日志等级模块将日志分为：基本的通知信息、普通信息，但是有—定的重要性、警告信息，但是还不会影响到服务或系统的运行、错误信息，达到err等级的信息已经影响到服务器系统的运行了、临界状况信息，比err等级还要严、状态信息，比crit等级还要严重，必须立即采取行动、疼痛等级信息，系统已经无法使用，所述日志处理模块通过gzip压缩转储以后的日志、不压缩、用于还在打开中的日志文件，把当前日志备份并截断、备份日志文件但是不截断、转储文件，使用指定的权限，所有者，所属组创建新的日志文件、不建立新的日志文件和compress一起使用时，转储的日志文件到下—次转储时才压缩、覆盖delaycompress选项，转储同时压缩、存储时的错误信息发送到指定的email地址、即使是空文件也转储，此为默认选项、如果是空文件的话，不转储、把转储的日志文件发送到指定的e-mail地址、转储时不发送日志文件、转储后的日志文件放入指定目录，必须和当前日志文件在同一个文件系统、转储后的日志文件和当前日志文件放在同一个目录下、在转储以前需要执行的命令，这两个关键字必须单独成行、在转储以后需要执行的命令，这两个关键字必须单独成行、指定转储周期为每天，所述合规报表模块创建符合要求的自定义合规性报表。
8.根据权利要求1-7任一所述的一种产线一键批量收集服务器日志系统的使用方法，其特征在于，包括以下步骤：
