文件存储任务的处理方法、装置、存储介质及电子设备与流程

专利2025-12-27  9


本技术实施例涉及存储,具体而言,涉及一种文件存储任务的处理方法、装置、存储介质及电子设备。


背景技术:

1、随着计算机技术的发展,企业需要存储的数据越来越多,因此发展出分布式存储系统。而目前分布式存储产品,例如文件存储集群在出厂时并未对存储场景进行优化,在处理所有的业务时都是使用默认通用配置,虽然用户可以手动对分布式存储系统进行配置,但是大部分客户都无法准确判断出需要处理存储业务属于何种类型的存储业务,进而无法根据具体的业务场景对文件存储集群进行配置,导致文件存储集群处理文件存储任务的效率低。

2、因此,相关技术中,存在文件存储集群处理文件存储任务的效率低的问题。

3、针对相关技术中,文件存储集群处理文件存储任务的效率低的问题,尚未提出有效的解决方案。


技术实现思路

1、本技术实施例提供了一种文件存储任务的处理方法、装置、存储介质及电子设备,以至少解决相关技术中文件存储集群处理文件存储任务的效率低的问题。

2、根据本技术的一个实施例,提供了一种文件存储任务的处理方法,包括:对目标文件存储任务的操作执行数据进行监测,得到第一监测数据,其中,所述文件存储集群用于处理文件存储任务,所述文件存储集群包括多个文件存储节点,每一个存储节点对应一个存储服务器;基于所述第一监测数据确定所述目标文件存储任务的任务类型,其中,所述任务类型包括第一文件存储任务,第二文件存储任务,第三文件存储任务;基于所述任务类型设置所述文件存储集群在处理所述目标文件存储任务时的工作模式。

3、在一个示例性实施例中,对目标文件存储任务的操作执行数据进行监测之前,所述方法还包括:对所述文件存储集群的性能数据进行监测,得到第二监测数据,其中,所述第二监测数据包括:所述文件存储集群的带宽,所述文件存储集群的每秒输入输出操作次数;在确定第一比值大于第一预设比值,且所述每秒输入输出操作次数大于第一预设次数情况下,开启所述文件存储集群的文件存储任务分类功能,其中,所述第一比值为所述文件存储集群的带宽负载与所述文件存储集群的带宽上限的比值,所述文件存储任务分类功能用于确定所述文件存储任务的任务类型。

4、在一个示例性实施例中,对目标文件存储任务的操作执行数据进行监测,得到第一监测数据,包括:在预设周期内获取所述文件存储集群在处理所述目标文件处理任务时所创建的文件总数量;根据所述文件存储集群创建的文件大小将所述文件存储集群创建的文件分为第一文件和第二文件,其中,所述第一文件的文件大小大于预设存储容量,所述第二文件的文件大小小于所述预设存储容量,获取所述文件总数量中的第一文件数量和第二文件数量;在所述预设周期内获取所述文件存储集群对所述第一文件进行写操作的次数,得到第一文件写操作次数,以及获取所述文件存储集群对所述第二文件进行写操作的次数,得到第二文件写操作次数;在所述预设周期内获取所述文件存储集群对所述第一文件进行读操作的次数,得到第一文件读操作次数,以及获取所述文件存储集群对所述第二文件进行读操作的次数,得到第二文件读操作次数;获取第一文件操作总次数和第二文件操作总次数,其中,所述第一文件操作总次数等于所述第一文件写操作次数与所述第一文件读操作次数的和值,所述第二文件操作总次数等于所述第二文件写操作次数与所述第二文件读操作次数的和值;将所述文件总数量,所述第一文件数量,所述第二文件数量,所述第一文件写操作次数,所述第二文件写操作次数,所述第一文件读操作次数,所述第二文件读操作次数,所述第一文件操作总次数,所述第二文件操作总次数确定为所述第一监测数据。

5、在一个示例性实施例中,基于所述第一监测数据确定所述目标文件存储任务的任务类型,包括:在确定第二比值大于第二预设比值的情况下,将所述目标文件存储任务确定为所述第一文件存储任务,其中,所述第二比值为所述第一文件数量与所述文件总数量的比值,所述文件总数量等于所述第一文件数量与所述第二文件数量的和值;在确定所述第二比值小于第三预设比值的情况下,将所述目标文件存储任务确定为所述第二文件存储任务,其中,所述第三预设比值小于所述第二预设比值。

6、在一个示例性实施例中,所述方法还包括:在确定所述第二比值小于所述第二预设比值,且所述第二比值大于所述第三预设值的情况下,比较第三比值和第四预设比值;在确定所述第三比值大于所述第四预设比值的情况下,将所述目标文件存储任务确定为所述第一文件存储任务,其中,所述第三比值为所述第一文件操作总次数与操作总次数的比值,所述操作总次数等于所述第一文件操作总次数与所述第二文件操作总次数的和值;在确定所述第三比值小于第五预设比值的情况下,将所述目标文件存储任务确定为所述第二文件存储任务,其中,所述第五预设比值小于所述第四预设比值;在确定所述第三比值小于所述第四预设比值,且所述第三比值大于所述第五预设比值的情况下,将所述目标文件存储任务确定为所述第三文件存储任务。

7、在一个示例性实施例中,基于所述任务类型设置所述文件存储集群在处理所述目标文件存储任务时的工作模式之前,所述方法还包括:为所述文件存储集群配置多种工作模式,所述多种工作模式至少包括第一工作模式,第二工作模式,第三工作模式,其中,在所述第一工作模式下,所述文件存储集群中第六预设比值的文件存储节点用于顺序读写,在所述第二工作模式下,所述文件存储集群中所述第六预设比值的文件存储节点用于随机读写,在所述第三工作模式下,动态调整所述文件存储集群中用于顺序读写的文件存储节点占比,以及用于随机读写的文件存储节点占比。

8、在一个示例性实施例中,基于所述任务类型设置所述文件存储集群在处理所述目标文件存储任务时的工作模式,包括:在确定所述目标文件存储任务为所述第一文件存储任务的情况下,将所述文件存储集群的工作模式设置为所述第一工作模式;在确定所述目标文件存储任务为所述第二文件存储任务的情况下,将所述文件存储集群的工作模式设置为所述第二工作模式;在确定所述目标文件存储任务为所述第三文件存储任务的情况下,将所述文件存储集群的工作模式设置为所述第三工作模式。

9、根据本技术的另一个实施例,提供了一种文件存储任务的处理装置,包括:监测模块,用于对目标文件存储任务的操作执行数据进行监测,得到第一监测数据,其中,所述文件存储集群用于处理文件存储任务,所述文件存储集群包括多个文件存储节点,每一个存储节点对应一个存储服务器;确定模块,用于基于所述第一监测数据确定所述目标文件存储任务的任务类型,其中,所述任务类型包括第一文件存储任务,第二文件存储任务,第三文件存储任务;设置模块,用于基于所述任务类型设置所述文件存储集群在处理所述目标文件存储任务时的工作模式。

10、根据本技术的又一个实施例,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

11、根据本技术的又一个实施例,还提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

12、根据本技术的又一个实施例,还提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述方法实施例中的步骤。

13、通过本技术,可以对目标文件存储任务的操作执行数据进行监测,基于监测数据确定目标文件存储任务的任务类型,根据不同的任务类型设置所述文件存储集群在处理所述目标文件存储任务时的工作模式。因此,可以解决相关技术中,文件存储集群处理文件存储任务的效率低的问题。


技术特征:

1.一种文件存储任务的处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,对目标文件存储任务的操作执行数据进行监测之前,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,对目标文件存储任务的操作执行数据进行监测,得到第一监测数据,包括:

4.根据权利要求3所述的方法,其特征在于,基于所述第一监测数据确定所述目标文件存储任务的任务类型,包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,基于所述任务类型设置所述文件存储集群在处理所述目标文件存储任务时的工作模式之前,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,基于所述任务类型设置所述文件存储集群在处理所述目标文件存储任务时的工作模式,包括:

8.一种文件存储任务的处理装置,其特征在于,包括:

9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被处理器执行时实现所述权利要求1至7任一项中所述的方法的步骤。

10.一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现所述权利要求1至7任一项中所述的方法的步骤。


技术总结
本申请实施例提供了一种文件存储任务的处理方法、装置、存储介质及电子设备,涉及存储技术领域,该方法包括:对目标文件存储任务的操作执行数据进行监测,得到第一监测数据,其中,文件存储集群用于处理文件存储任务,文件存储集群包括多个文件存储节点,每一个存储节点对应一个存储服务器;基于第一监测数据确定目标文件存储任务的任务类型,其中,任务类型包括第一文件存储任务,第二文件存储任务,第三文件存储任务;基于任务类型设置文件存储集群在处理目标文件存储任务时的工作模式。解决了相关技术中,文件存储集群处理文件存储任务的效率低的问题。

技术研发人员:邱中中,李铮鋆
受保护的技术使用者:济南浪潮数据技术有限公司
技术研发日:
技术公布日:2024/11/11
转载请注明原文地址: https://tieba.8miu.com/read-18778.html

最新回复(0)