本技术涉及人工智能和数据存储，尤其涉及一种基于ai算法的自动存储方法及系统。
背景技术：
1、随着互联网技术的发展，互联网与各行各业在技术上的融合创新，互联网中所产生的数据量与日俱增，数据的分类存储过程也越发复杂。数据量的激增和复杂性增加使得有效管理存储成为一个挑战，为了适应数据量的大幅度增长，与数据相对应的存储系统也从传统的手动存储管理发展为基于规则的自动化存储管理系统和基于规则的优化系统。其中，自动化存储管理系统通常使用预定义规则来管理数据存储，但缺乏深度学习和预测能力；基于规则的优化系统通常包括一些自动化功能，但它们通常依赖于静态规则，而不是动态学习和调整。这些传统的基于规则的系统无法有效适应快速变化的数据模式和需求，缺乏使用历史数据和趋势来预测未来需求的能力，许多现有系统仍然需要相当程度的人工监督和干预，存储效率无法满足如今的数据需求。
2、与此同时，人工智能和机器学习技术的进步为自动化和智能决策提供了基础。这些技术能够分析大量数据，识别模式，并做出基于数据的预测。将人工智能技术与存储技术相结合，可以制定自适应且智能的存储管理解决方案，从而更有效地适应不断变化的数据需求。
技术实现思路
1、针对上述技术问题，本技术提供一种基于ai算法的自动存储方法及系统，通过引入机器学习算法实现了数据的自动存储，提高了数据存储的效率以及存储系统的稳定性。
2、有益效果：
3、第一方面，本技术实施例提供一种基于ai算法的自动存储方法，包括：
4、获取存储系统的实时运行数据，所述实时运行数据包括文件访问记录、系统日志以及性能监控数据；
5、将所述实时运行数据输入至预设的数据分析引擎，以使所述数据分析引擎输出对应的分析结果，其中，所述分析结果包括存储系统的当前存储模式、未来的存储需求和潜在问题，所述数据分析引擎是根据所述存储系统的历史运行数据和机器学习算法训练获得；
6、根据所述分析结果生成所述存储系统的存储管理命令，所述存储管理命令包括数据迁移命令、数据备份命令以及资源分配命令；
7、根据所述存储管理命令控制所述存储系统执行对应操作，包括将第一数据迁移至指定位置、将第二数据进行备份以及维护和优化所述存储系统的潜在问题。
8、本技术实施例提供一种基于ai算法的自动存储方法，通过获取存储系统的实时运行数据并输入至预设的数据分析引擎进行分析，实现对存储系统当前状态的识别以及未来存储需求的预测，进而根据分析结果生成对应的存储管理命令实现对存储系统的自动存储与管理。本技术通过引入机器学习算法学习存储系统的历史运行数据，进而可以根据实时运行数据进行分析与预测，使得系统能够自动确定需要迁移和备份的数据，并将数据存储至最优的存储位置，实现了数据的自动存储，提高了数据存储的效率。同时基于数据分析引擎分析得到存储系统的潜在问题，通过资源分配命令提前进行维护和优化，提高存储系统的稳定性。
9、进一步的，所述根据所述存储系统的历史运行数据和机器学习算法训练获得所述数据分析引擎，包括：
10、获取所述历史运行数据，所述历史运行数据包括用户访问记录、数据迁移和备份日志、存储容量利用率、系统性能指标、硬件健康状况记录、服务器日志、资源监控系统、用户反馈系统以及应用程序日志；
11、对所述历史运行数据进行数据预处理，获得对应的训练数据；
12、根据决策树或随机森林算法构建数据分析模型；
13、使用所述训练数据训练所述数据分析模型，获得所述数据分析引擎。
14、本技术实施例提供一种模型训练方法，将所述存储系统的历史运行数据处理为训练数据，然后构建基于决策树算法或随机森林算法的数据分析模型，使用所述训练数据对数据分析模型进行训练，获得所述数据分析引擎。本技术实施例在存储技术领域选择引入决策树或随机森林算法构建数据分析引擎，充分发挥了决策树算法的优势，能够同时处理数据型和常规型属性，在相对短的时间内能够对大型数据源进行分析判断，得到可行且效果良好的结果，提高数据自动存储的效率，此外，基于决策树构建的模型易于通过静态测试来对模型进行评测，便于测定模型可信度，提高模型的可靠性。
15、在一种可能实现的方式中，所述对所述历史运行数据进行数据预处理，获得对应的训练数据，包括：
16、对所述历史运行数据进行数据清洗，处理重复数据与缺失值数据，获得清洗后数据；
17、对所述清洗后数据进行特征提取，获得对应的特征数据；
18、根据预设评估指标为各个所述特征数据打上数据标签，获得对应的训练数据，其中，所述数据标签包括存储效率评分、存储需求增长评分以及潜在故障风险级别。
19、本技术实施例提供一种数据预处理方法，通过对训练数据进行数据清洗，保证训练数据的完整性与准确性，提高模型的训练效果。然后，对清洗后数据进行特征提取，基于模型的训练需求从清洗后数据中提取出影响模型识别结果的对应特征，从而进一步精简训练数据，提高模型训练的效率。最后，由于决策树算法或随机森林算法属于机器学习算法中的监督学习算法，因此每条训练数据中必须要有人工标记的数据标签。同时数据标签也控制了模型的预测结果类型。因此本技术实施例根据预设评估指标为各个所述特征数据打上数据标签，获得对应的训练数据，其中，存储效率评分为基于系统性能和用户满意度的综合评分，预测的存储需求增长评分为基于历史数据分析预测的未来存储需求，潜在故障风险级别为基于错误日志和系统性能指标预测的系统故障风险。使用这些带标签的数据对模型进行训练，使得模型获得对应的预测评估能力，能够基于实时运行数据预测存储系统的当前存储模式、未来的存储需求和潜在问题，为后续的数据自动存储提供数据支持。
20、在一种可能实现的方式中，所述使用所述训练数据训练所述数据分析模型，获得所述数据分析引擎，包括：
21、使用所述训练数据中的训练集训练所述数据分析模型，并使用训练数据中的验证集进行交叉验证；
22、根据训练结果调整所述数据分析模型的模型参数，得到第一数据分析模型；
23、使用训练数据中的测试集评估所述第一数据分析模型，获得对应的评估指标，所述评估指标包括准确率、召回率以及f1分数；
24、若所述评估指标满足预设条件，则确定所述第一数据分析模型为所述数据分析引擎；
25、若所述评估指标不满足预设条件，则调整所述数据分析模型的训练过程并重新训练，直到所述评估指标满足预设条件，其中，所述调整所述数据分析模型的训练过程包括调整机器学习算法、改变特征提取的特征类型或调整所述数据分析模型的超参数。
26、在本技术实施例中，详细说明了数据分析引擎的训练过程，其中，为了确保训练后的数据分析引擎的各项指标能够达到预期水准，本技术实施例使用测试集对第一数据分析模型进行了模型评估，主要评估模型的准确率、召回率以及f1分数，并且根据评估结果决定是否调整参数重新训练。当第一数据分析模型的各项评估指标不满足预设条件时，调整所述数据分析模型的训练过程并重新训练，直到所述评估指标满足预设条件，提高了模型的可靠性，保证了数据分析引擎的工作性能，使其能够更好地适应存储系统，实现数据的自动存储。
27、进一步的，所述方法还包括在根据所述存储管理命令控制所述存储系统执行对应操作后，评估操作效果，包括：
28、获取所述存储系统下一时刻的运行数据；
29、根据所述存储系统下一时刻的运行数据，识别所述存储系统的存储性能变化，生成对应的性能评估报告以及优化建议。
30、第二方面，相应的，本技术提供一种基于ai算法的自动存储系统，包括获取模块、分析模块、命令生成模块以及执行模块；
31、其中，所述获取模块用于获取存储系统的实时运行数据，所述实时运行数据包括文件访问记录、系统日志以及性能监控数据；
32、所述分析模块用于将所述实时运行数据输入至预设的数据分析引擎，以使所述数据分析引擎输出对应的分析结果，其中，所述分析结果包括存储系统的当前存储模式、未来的存储需求和潜在问题，所述数据分析引擎是根据所述存储系统的历史运行数据和机器学习算法训练获得；
33、所述命令生成模块用于根据所述分析结果生成所述存储系统的存储管理命令，所述存储管理命令包括数据迁移命令、数据备份命令以及资源分配命令；
34、所述执行模块用于根据所述存储管理命令控制所述存储系统执行对应操作，包括将第一数据迁移至指定位置、将第二数据进行备份以及维护和优化所述存储系统的潜在问题。
35、进一步的，所述自动存储系统还包括模型训练模块，所述模型训练模块用于根据所述存储系统的历史运行数据和机器学习算法训练获得所述数据分析引擎，包括获取单元、数据处理单元、模型构建单元以及训练单元；
36、其中，所述获取单元用于获取所述历史运行数据，所述历史运行数据包括用户访问记录、数据迁移和备份日志、存储容量利用率、系统性能指标、硬件健康状况记录、服务器日志、资源监控系统、用户反馈系统以及应用程序日志；
37、所述数据处理单元用于对所述历史运行数据进行数据预处理，获得对应的训练数据；
38、所述模型构建单元用于根据决策树或随机森林算法构建数据分析模型；
39、所述训练单元用于使用所述训练数据训练所述数据分析模型，获得所述数据分析引擎。
40、在一种可能实现的方式中，所述数据处理单元对所述历史运行数据进行数据预处理，获得对应的训练数据，包括：
41、对所述历史运行数据进行数据清洗，处理重复数据与缺失值数据，获得清洗后数据；
42、对所述清洗后数据进行特征提取，获得对应的特征数据；
43、根据预设评估指标为各个所述特征数据打上数据标签，获得对应的训练数据，其中，所述数据标签包括存储效率评分、存储需求增长评分以及潜在故障风险级别。
44、在一种可能实现的方式中，所述训练单元使用所述训练数据训练所述数据分析模型，获得所述数据分析引擎，包括：
45、使用所述训练数据中的训练集训练所述数据分析模型，并使用训练数据中的验证集进行交叉验证；
46、根据训练结果调整所述数据分析模型的模型参数，得到第一数据分析模型；
47、使用训练数据中的测试集评估所述第一数据分析模型，获得对应的评估指标，所述评估指标包括准确率、召回率以及f1分数；
48、若所述评估指标满足预设条件，则确定所述第一数据分析模型为所述数据分析引擎；
49、若所述评估指标不满足预设条件，则调整所述数据分析模型的训练过程并重新训练，直到所述评估指标满足预设条件，其中，所述调整所述数据分析模型的训练过程包括调整机器学习算法、改变特征提取的特征类型或调整所述数据分析模型的超参数。
50、进一步的，所述自动存储系统还包括评估模块，所述评估模块用于根据所述存储管理命令控制所述存储系统执行对应操作后，评估操作效果，包括：
51、获取所述存储系统下一时刻的运行数据；
52、根据所述存储系统下一时刻的运行数据，识别所述存储系统的存储性能变化，生成对应的性能评估报告以及优化建议。
1.一种基于ai算法的自动存储方法，其特征在于，包括：
2.如权利要求1所述的一种基于ai算法的自动存储方法，其特征在于，所述根据所述存储系统的历史运行数据和机器学习算法训练获得所述数据分析引擎，包括：
3.如权利要求2所述的一种基于ai算法的自动存储方法，其特征在于，所述对所述历史运行数据进行数据预处理，获得对应的训练数据，包括：
4.如权利要求2所述的一种基于ai算法的自动存储方法，其特征在于，所述使用所述训练数据训练所述数据分析模型，获得所述数据分析引擎，包括：
5.如权利要求1所述的一种基于ai算法的自动存储方法，其特征在于，所述方法还包括在根据所述存储管理命令控制所述存储系统执行对应操作后，评估操作效果，包括：
6.一种基于ai算法的自动存储系统，其特征在于，包括获取模块、分析模块、命令生成模块以及执行模块；
7.如权利要求6所述的一种基于ai算法的自动存储系统，其特征在于，所述自动存储系统还包括模型训练模块，所述模型训练模块用于根据所述存储系统的历史运行数据和机器学习算法训练获得所述数据分析引擎，包括获取单元、数据处理单元、模型构建单元以及训练单元；
8.如权利要求7所述的一种基于ai算法的自动存储系统，其特征在于，所述数据处理单元对所述历史运行数据进行数据预处理，获得对应的训练数据，包括：
9.如权利要求7所述的一种基于ai算法的自动存储系统，其特征在于，所述训练单元使用所述训练数据训练所述数据分析模型，获得所述数据分析引擎，包括：
10.如权利要求6所述的一种基于ai算法的自动存储方法，其特征在于，所述自动存储系统还包括评估模块，所述评估模块用于根据所述存储管理命令控制所述存储系统执行对应操作后，评估操作效果，包括：
