本技术涉及数据处理，具体提供一种指令数据处理方法、系统、控制装置及存储介质。
背景技术：
1、指令微调是提高大型语言模型能力和可控性的关键步骤，主要方式是通过成对的<instruction,output>指令数据以监督学习的方式进一步训练基础模型，使大型语言模型可以遵循人类指令完成特定的任务。指令微调是一种监督学习的过程，它和预训练过程需要大量无标签数据不同，指令微调数据对于数据的多样性和质量要求更高，对于指令微调的数据量要求并不是很高，很多研究已经证实在少量的高质量指令数据上微调的模型可以达到或者超过是其数量几倍甚至几十倍的非高质量数据上训练的效果，所以如何获得多样性和高质量的数据是指令微调的关键因素。
2、目前可以获取到的开源指令数据，大多是机器生成和提取的，少量是通过人工标注。开源指令数据量虽然很大但是质量一般不是太高，质量包含output回答的准确性以及句子是否通顺、安全等，同时，不同来源的数据大都是通过机器生成，更加容易产生重复和相似的数据；人工标注的数据虽然质量相较于机器生产，质量会更高一点，但是人工标注的数据往往在多样性和复杂性上面要差。
3、相应地，本领域需要一种新的指令数据处理方法、系统、控制装置及存储介质方案来解决上述问题。
技术实现思路
1、为了克服上述缺陷至少之一，提出了本技术，以提供解决或至少部分地解决现有技术中训练模型时所用指令数据的整体评价不佳的技术问题的指令数据处理方法、系统、控制装置及存储介质。
2、在第一方面，本技术提供一种指令数据处理方法，所述方法包括：获取待处理指令数据；基于预设模型，确定每一条所述待处理指令数据的类别、质量分值以及安全分值；将质量分值大于预设质量阈值，且安全分值大于预设安全阈值的所述待处理指令数据，入库至与所述待处理指令数据的类别相对应的数据表中。
3、在上述指令数据处理方法的一个技术方案中，所述基于预设模型，确定每一条所述待处理指令数据的类别、质量分值以及安全分值包括：基于预设类别模型，确定每一条所述待处理指令数据的类别；基于预设质量模型，确定每一条所述待处理指令数据的质量分值；基于预设安全模型，确定每一条所述待处理指令数据的安全分值。
4、在上述指令数据处理方法的一个技术方案中，所述预设类别模型的训练步骤至少包括：获取第一标签数据，其中，所述第一标签数据至少包括第一指令数据和所述第一指令数据的类别信息；基于预设第一规则，将所述第一标签数据输入至预设基础模型进行训练，得到所述预设类别模型。
5、在上述指令数据处理方法的一个技术方案中，所述预设质量模型的训练步骤至少包括：获取第二标签数据，其中，所述第二标签数据至少包括第二指令数据和与所述第二指令数据相对应的第二回答数据，并且，一条所述第二指令数据对应于至少两条所述第二回答数据；针对每一条所述第二指令数据，在该第二指令数据所对应的所有所述第二回答数据中，确定唯一一条所述第二回答数据；基于预设第二规则和所有所述确定的第二回答数据，将所述第二标签数据输入至所述预设基础模型进行训练，得到所述预设质量模型。
6、在上述指令数据处理方法的一个技术方案中，所述预设安全模型的训练步骤至少包括：获取第三标签数据，其中，所述第三标签数据至少包括第三指令数据和与所述第三指令数据相对应的第三回答数据，并且，一条所述第三指令数据对应于至少两条所述第三回答数据；针对每一条所述第三指令数据，在该第三指令数据所对应的所有所述第三回答数据中，确定唯一一条所述第三回答数据；基于预设第三规则和所有所述确定的第三回答数据，将所述第三标签数据输入至所述预设基础模型进行训练，得到所述预设安全模型。
7、在上述指令数据处理方法的一个技术方案中，所述获取待处理指令数据之后，所述方法还包括：针对所述待处理指令数据进行预处理得到预处理指令数据，其中，所述预处理至少包括去重；所述基于预设模型，确定每一条所述待处理指令数据的类别、质量分值以及安全分值包括：基于预设模型，确定每一条所述预处理指令数据的类别、质量分值以及安全分值。
8、在上述指令数据处理方法的一个技术方案中，所述针对所述待处理指令数据进行预处理包括：基于所述预设基础模型，提取所述待处理指令数据的语义特征；基于所述语义特征和所述待处理指令数据，对所述待处理指令数据进行去重；和/或，基于所述预设基础模型，提取所述待处理指令数据的语义特征；基于所述语义特征和所有已入库至所述数据表中的预设指令数据，对所述待处理指令数据进行去重。
9、在第二方面，本技术提供一种指令数据处理系统，所述系统包括：获取模块，所述获取模块被配置为获取待处理指令数据；分析模块，所述分析模块被配置为基于预设模型，确定每一条所述待处理指令数据的类别、质量分值以及安全分值；执行模块，所述执行模块被配置为将质量分值大于预设质量阈值，且安全分值大于预设安全阈值的所述待处理指令数据，入库至与所述待处理指令数据的类别相对应的数据表中。
10、在第三方面，提供一种控制装置，该控制装置包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述指令数据的处理方法的技术方案中任一项技术方案所述的指令数据的处理方法。
11、在第四方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述指令数据的处理方法的技术方案中任一项技术方案所述的指令数据的处理方法。
12、本技术上述一个或多个技术方案，至少具有如下一种或多种有益效果：
13、在实施本技术的技术方案中，能够在大量收集到的指令数据中筛选出质量好且安全性高的指令数据，提高了训练模型时所用指令数据的质量以及安全性。将这些优质指令数据分门别类的入库，不仅提高了指令数据的类别准确性从而确保指令数据的多样性，而且便于后续的数据检索和使用。
14、进一步的，在实施本技术的技术方案中，分别基于预设类别模型、基于预设质量模型、基于预设安全模型，确定每一条待处理指令数据的类别、质量分值、安全分值。通过预设的具备针对性功能的模型来实现对指令数据的分析，能够提高指令数据的处理效率和分析结果的准确性。
15、进一步的，在实施本技术的技术方案中，利用预设基础模型来训练得到预设分类模型、预设质量模型、预设安全模型，充分利用了预设基础模型通过在大量数据上进行预训练后所具备的抽象能力和语义理解能力，一方面仅需少量的具备代表性的标签数据即可训练出不同类型的模型，另一方面得益于预设基础模型的理解能力，可以确保快速高效地训练出不同类型的、分析能力强的模型。
16、进一步的，在实施本技术的技术方案中，利用第二标签数据(第三标签数据)和选择结果即最终确定的第二回答数据(最终确定的第三回答数据)来训练得到预设质量模型(预设安全模型)。通过在“一问多答”中确定出“一问一答”，在一个问题下的多个回答中确定出最优的回答，相较于对于单一回答进行评分的方式，本技术方案采用对比形式来训练打分模型，简化了量化分值过程中的规则，精简了数据量从而提高了模型训练的效率。
17、进一步的，在实施本技术的技术方案中，在对指令数据进行分类和打分之前，还对指令数据进行至少包括去重的预处理操作。通过去重，可以精简数据量从而提高指令数据的处理速度，提高了指令数据的整体评价。
18、进一步的，在实施本技术的技术方案中，利用预设基础模型提取指令数据的语义特征，充分利用了预设基础模型的理解能力，从而提高了指令数据的特征提取速度和准确定。利用提取到的语义特征和指令数据自身，进行自我去重；或者，还可以利用提取到的语义特征和已经入库的预设指令，进行对比去重。通过上述至少一次的去重，筛出了寓意相似的指令数据从而精简了数据量。
1.一种指令数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的指令数据处理方法，其特征在于，所述基于预设模型，确定每一条所述待处理指令数据的类别、质量分值以及安全分值包括：
3.根据权利要求2所述的指令数据处理方法，其特征在于，所述预设类别模型的训练步骤至少包括：
4.根据权利要求3所述的指令数据处理方法，其特征在于，所述预设质量模型的训练步骤至少包括：
5.根据权利要求3所述的指令数据处理方法，其特征在于，所述预设安全模型的训练步骤至少包括：
6.根据权利要求3至5中任一项所述的指令数据处理方法，其特征在于，所述获取待处理指令数据之后，所述方法还包括：
7.根据权利要求6所述的指令数据处理方法，其特征在于，所述针对所述待处理指令数据进行预处理包括：
8.一种指令数据处理系统，其特征在于，所述系统包括：
9.一种控制装置，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至7中任一项所述的指令数据的处理方法。
10.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至7中任一项所述的指令数据的处理方法。
