本发明涉及大数据管理，特别是指一种用于大数据管理的可视化监测系统。
背景技术：
1、随着互联网和社交媒体的发展，网络信息传播的速度和范围大大增加，尤其是在重大社会事件、企业危机和政府政策发布等敏感时刻，网络舆情呈现出快速传播的特点。舆情的及时监控和有效分析对于政府、企业以及媒体等相关机构具有重要意义，能够帮助这些机构及时掌握舆情动态、迅速做出响应，并采取相应的措施。然而，舆情数据通常来源多样，数据规模庞大，涉及新闻报道、社交媒体、论坛评论等多种信息源。不同信息源生成的数据具有不同的结构化水平和内容类型，导致舆情数据的复杂性显著增加。
2、现有的舆情监控与分析系统主要通过关键词搜索、简单的情感分析等方式来对数据进行筛选和处理，但这些方法往往无法充分挖掘数据之间的潜在关联，也难以应对舆情热点的动态变化。尤其是在面对多源数据的环境下，现有系统缺乏灵活性和应变能力，无法及时对舆情热点做出精确的判断。同时，舆情数据中可能存在大量无关或噪声信息，如何在保证数据处理效率的同时提高舆情分析的准确性，成为现有技术亟待解决的问题。
技术实现思路
1、本发明的目的在于提供一种用于大数据管理的可视化监测系统，旨在解决背景技术中所提到的问题。
2、为解决上述技术问题，本发明的技术方案如下：
3、一种用于大数据管理的可视化监测系统，所述系统包括：
4、数据获取模块，用于从多个数据源中收集并生成原始数据集，所述原始数据集包含多个维度的数据项；
5、数据预处理模块，用于对原始数据集进行预处理，以生成数据集，预处理操作包括数据清洗、格式转换、缺失数据填补和噪声过滤；
6、视图数据模块，用于根据预设的特征维度将数据集转化为多个视图数据；
7、初步关联度计算模块，用于计算视图数据中数据项i和j的初步关联度；
8、最终关联度计算模块，用于对初步关联度进行优化，得到数据项i和j的调整关联度，并根据各个特征维度的调整关联度计算数据项i和j的最终关联度；
9、数据筛选模块，用于根据最终关联度与预设阈值进行对比，对数据集进行筛选，得到筛选数据集；
10、数据流处理模块，用于获取数据获取模块和数据筛选模块的实时数据，并根据数据流变化情况，对数据筛选摸块的参数进行调整，得到实时筛选数据集和数据流趋势结果；
11、可视化展示模块，用于将实时筛选数据集和数据流趋势结果以图形化方式展示。
12、优选地，所述调整关联度通过以下计算公式计算：
13、，
14、其中，为特征函数，表示第k个特征维度的特定筛选条件对视图数据中数据项i与j的初步关联度进行处理后的调整关联度，为数据项i和j在第v个特征维度上的初步关联度，v表示在第k个特征维度中的特征值的索引，m为特征维度的数量，为调整函数，n为视图数据的数据项的数量，为与第k个特征维度的影响函数，为第k个特征维度的筛选条件。
15、优选地，调整函数的计算公式为。
16、优选地，影响函数的计算公式为，其中，是调节系数，为在第k个特征维度的数值指标。
17、优选地，所述最终关联度通过以下计算公式计算；
18、，其中，表示视图数据中数据项i与j之间的最终关联度，为第k个特征维度的权重。
19、优选地，所述数据流处理模块包括数据流变化率计算单元，用于在检测到数据流变化时，并计算筛选数据集的变化率；筛选数据集的变化率通过以下计算公式计算：
20、，
21、其中，f(t)为时间t时刻的筛选数据集，表示在时间间隔内筛选数据集的变化率。
22、优选地，所述数据流处理模块还包括参数调整单元，用于结合历史数据和当前实时数据流，并通过第二计算公式对筛选数据集中的处理参数进行调整；第二计算公式如下：
23、，
24、其中，p(t)为时间t时刻的处理参数，为学习率，用于控制参数调整的幅度，为调节系数，用于平衡历史数据对当前调整的影响，为非线性函数，用于根据筛选数据集的变化趋势进一步调整处理参数。
25、优选地，非线性函数的计算公式如下：
26、，其中，为调节系数，为灵敏度调节系数。
27、优选地，所述可视化展示模块包括多个布局优化单元，布局优化单元通过对实时筛选数据集中视图数据的优先级进行分析，选择展示布局；视图数据的优先级通过以下公式计算实现：
28、，
29、其中，表示第r个视图数据的优先级，为视图数据中第q个数据项的权重，为视图数据中第q个数据项的特征值，为布局函数。
30、优选地，布局函数的计算公式如下：
31、，
32、其中，为视图数据的均值，为调节系数。
33、本发明的上述方案至少包括以下有益效果：
34、舆情数据的获取模块能够从多渠道采集多源数据，包括社交媒体、新闻网站、论坛等舆情数据源，确保网络舆情信息的全面性。通过预处理模块，对获取的数据进行清洗、噪声过滤和缺失值填补，能够有效提升数据的质量，为后续分析提供高质量的数据基础。视图数据模块根据舆情数据的特征维度进行分类，将数据转化为可视化展示的视图数据，使得分析人员能够更加直观地掌握舆情变化。
35、初步关联度计算模块通过特定的算法计算不同舆情主题和关键词之间的初步关联度，为舆情分析提供基础参考。最终关联度计算模块则通过对初步关联度进行优化，确保分析系统能够精确识别舆情信息中的潜在关联，生成准确的关联度结果。数据筛选模块结合最终关联度对大量舆情数据进行筛选，确保分析重点能够聚焦于对当前事件或危机的响应。数据流处理模块监控舆情数据的实时变化，结合实时的舆情反馈信息，对数据筛选结果进行调整，确保系统能够快速响应舆情热点。可视化展示模块最终将经过筛选的舆情信息以图表、趋势图的形式展示，使分析人员能够直观了解舆情发展趋势与变化。该系统能够在复杂、动态的舆情环境中实现高效的舆情监控、分析与反馈处理，为决策者提供实时的舆情洞察和判断依据。
1.一种用于大数据管理的可视化监测系统，其特征在于，所述系统包括：
2.根据权利要求1所述的一种用于大数据管理的可视化监测系统，其特征在于，所述调整关联度通过以下计算公式计算：
3.根据权利要求2所述的一种用于大数据管理的可视化监测系统，其特征在于，调整函数的计算公式为。
4.根据权利要求3所述的一种用于大数据管理的可视化监测系统，其特征在于，影响函数的计算公式为，其中，是调节系数，为在第k个特征维度的数值指标。
5.根据权利要求4所述的一种用于大数据管理的可视化监测系统，其特征在于，所述最终关联度通过以下计算公式计算；
6.根据权利要求3所述的一种用于大数据管理的可视化监测系统，其特征在于，所述数据流处理模块包括数据流变化率计算单元，用于在检测到数据流变化时，并计算筛选数据集的变化率；筛选数据集的变化率通过以下计算公式计算：
7.根据权利要求4所述的一种用于大数据管理的可视化监测系统，其特征在于，所述数据流处理模块还包括参数调整单元，用于结合历史数据和当前实时数据流，并对筛选数据集中的处理参数进行调整；调整后的处理参数通过以下计算公计算：
8.根据权利要求7所述的一种用于大数据管理的可视化监测系统，其特征在于，非线性函数的计算公式如下：
9.根据权利要求8所述的一种用于大数据管理的可视化监测系统，其特征在于，所述可视化展示模块包括多个布局优化单元，布局优化单元通过对实时筛选数据集中视图数据的优先级进行分析，选择展示布局；视图数据的优先级通过以下公式计算实现：
10.根据权利要求9所述的一种用于大数据管理的可视化监测系统，其特征在于，布局函数的计算公式如下：
