一种数据处理方法及装置与流程

专利2023-02-18  114



1.本技术涉及互联网技术领域,具体涉及一种数据处理方法及装置。


背景技术:

2.ceph是一个常见的分布式存储系统,它可以结合对象存储网关(radosgw,rgw)提供对象存储服务,用户通过在rgw上创建逻辑存储空间来访问对象存储的资源。存储空间通过放置规则(placement rule)与数据池(pool)绑定,从而建立对象数据与pool的映射关系,使得存储空间的数据只能储存在指定的pool中。由于每个存储空间承接的业务不同,从而导致其实际使用的存储资源没法准确预测,会出现各个pool之间的使用率严重不均衡的情况。
3.除此之外,随着业务规模的增长,单个存储空间里的对象会越来越多,其对应pool的容量最终将无法存放持续增长的数据。当一个pool满载的时候,在其上面建立的存储空间将无法继续提供存储服务,用户需要使用建立在其他pool上的存储空间,由于在ceph集群中存储空间的名字是全局唯一的,因此用户需要频繁的修改对象存储服务的访问入口。
4.因此,目前亟需一种新的数据处理方法,用以实现ceph集群中各个pool的均衡使用。


技术实现要素:

5.本技术提供一种数据处理方法及装置,用以实现ceph集群中各个pool的均衡使用。
6.第一方面,本技术提供一种数据处理方法,该方法应用于分布式存储系统ceph中的用户存储网关ugw,所述方法包括:接收第一请求,所述第一请求用于请求将目标数据存储至所述第一地址,所述第一地址用于指示所述ugw为所述目标数据提供的逻辑存储地址;响应于所述第一请求,根据预设的地址映射关系将所述第一地址映射为第二地址,所述第二地址用于指示所述ceph中的对象存储网关rgw对应的第一数据池pool的物理存储地址;向所述rgw发送第二请求,所述第二请求用于请求将所述目标数据存储到所述第二地址对应的所述第一pool中。
7.在本方案中,通过引入用户存储网关ugw,用户在存储数据时只需面对ugw提供的固定存储地址,无需感知第一地址映射为第二地址这一过程。同时,当同一用户再次存储数据时,同样只需面对ugw提供的同一固定存储地址,而ugw会再次为用户存储数据选择合适的物理存储地址。这样,通过本方案,用户既不会感知到增加的流程,同时还能享受到将数据存储至不同的pool的优势,后续即使需要存储更多的数据,用户也不需要频繁更改对象存储服务的访问入口。同时,本方案实现了对集群中各个pool的均衡使用,避免了某一个pool满载使用而其他pool剩余空间较多的情况,提高了pool中空间利用率,实现了存储资源的均衡使用。
8.可选的,所述根据预设的地址映射关系将所述第一地址映射为第二地址,包括:获
取所述rgw对应的每个pool的空间使用率,根据所述空间使用率确定所述每个pool的权重因子,其中,所述权重因子与所述空间使用率成负相关;从所述每个pool中确定出具有最大权重因子的第一pool;将所述第一地址映射为所述第二地址,其中,所述第二地址为所述第一pool对应的物理存储地址。
9.在本方式中,由不同pool的空间使用率确定其对应的权重因子,并进一步根据该权重因子从所有pool中确定出第二地址对应的pool,充分利用了各个pool的剩余存储空间,有效地实现了存储资源的均衡利用。
10.可选的,所述方法还包括:接收来自所述rgw的第一指示;其中,所述第一指示用于指示所述目标数据成功存储至所述第二地址,所述第一指示携带所述第二地址对应的所述第一pool存储所述目标数据后的空间使用率;响应于所述第一指示,根据所述第一pool存储所述目标数据后的空间使用率,更新所述rgw对应的所有pool的权重因子。
11.在本方式中,成功存储目标数据后及时更新集群中pool对应的权重因子,为后续数据存储提供数据支持,有效地提高了本方案的可实施性,提高了本方案的实施效率。
12.可选的,所述方法还包括:接收来自所述rgw的第二指示,所述第二指示用于指示存储所述目标数据至所述第二地址失败;响应于所述第二指示,根据预设规则降低所述第二地址对应的所述第一pool的权重因子;根据降低后的权重因子以及所述地址映射关系,将所述第一地址映射为第三地址;其中,所述第三地址用于指示所述rgw对应的第二pool的物理存储地址;向所述rgw发送第三请求,所述第三请求用于请求将所述目标数据存储到所述第三地址对应的所述第二pool中。
13.在本方式中,目标数据存储至第二地址失败后,ugw重新选取合适的pool进行存储,确保了目标数据的成功存储。并且,ugw还同时降低第一次被选中的pool再次被选中的概率,降低了重新选取pool后再次存储失败的可能,提高了本方案的实用性。
14.第二方面,本技术提供一种数据处理方法,该方法应用于分布式存储系统ceph中的对象存储网关rgw,所述方法包括:接收第二请求,所述第二请求用于请求将目标数据存储到第二地址中;响应于所述第二请求,将所述目标数据存储到所述第二地址对应的第一pool中。
15.可选的,所述方法还包括:检测所述目标数据是否存储至所述第二地址;若已成功存储所述目标数据,则获取所述第二地址对应的所述第一pool存储所述目标数据后的空间使用率;以及,向所述ceph中的ugw发送第一指示;其中,所述第一指示用于指示所述目标数据成功存储至所述第二地址,所述第一指示携带所述第二地址对应的第一pool存储所述目标数据后的空间使用率;若未成功存储所述目标数据,则向所述ceph中的ugw发送第二指示;所述第二指示用于指示存储所述目标数据至所述第二地址失败。
16.在本方式中,针对目标数据存储情况,向ugw做相应的反馈,使得ugw能够及时处理各类情况,提高了本方案的实用性与普适性,并且确保了目标数据的成功存储。
17.第三方面,本技术提供一种数据处理的装置,该装置应用于ceph中的ugw,所述装置包括:第一接收模块,用于接收第一请求,所述第一请求用于请求将目标数据存储至所述第一地址,所述第一地址用于指示所述ugw为所述目标数据提供的逻辑存储地址;第一响应模块,用于响应于所述第一请求,根据预设的地址映射关系将所述第一地址映射为第二地址,所述第二地址用于指示所述ceph中的对象存储网关rgw对应的第一数据池pool的物理
存储地址;第一发送模块,用于向所述rgw发送第二请求,所述第二请求用于请求将所述目标数据存储到所述第二地址对应的所述第一pool中。
18.可选的,所述第一响应模块用于根据所述预设的地址映射关系将所述第一地址映射为第二地址时,具体用于:获取所述rgw对应的每个pool的空间使用率,根据所述空间使用率确定所述每个pool的权重因子,其中,所述权重因子与所述空间使用率成负相关;从所述每个pool中确定出具有最大权重因子的第一pool;将所述第一地址映射为所述第二地址,其中,所述第二地址为所述第一pool对应的物理存储地址。
19.可选的,所述装置还用于接收来自所述rgw的第一指示;其中,所述第一指示用于指示所述目标数据成功存储至所述第二地址,所述第一指示携带所述第二地址对应的所述第一pool存储所述目标数据后的空间使用率;响应于所述第一指示,根据所述第一pool存储所述目标数据后的空间使用率,更新所述rgw对应的所有pool的权重因子。
20.可选的,所述装置还用于接收来自所述rgw的第二指示,所述第二指示用于指示存储所述目标数据至所述第二地址失败;响应于所述第二指示,根据预设规则降低所述第二地址对应的所述第一pool的权重因子;根据降低后的权重因子以及所述地址映射关系,将所述第一地址映射为第三地址;其中,所述第三地址用于指示所述rgw对应的第二pool的物理存储地址;向所述rgw发送第三请求,所述第三请求用于请求将所述目标数据存储到所述第三地址对应的所述第二pool中。
21.第四方面,本技术提供一种数据处理的装置,应用于ceph中的rgw,所述装置包括:第二接收模块,用于接收第二请求,所述第二请求用于请求将目标数据存储到第二地址中;第二响应模块,用于响应于所述第二请求,将所述目标数据存储到所述第二地址对应的第一pool中。
22.可选的,所述装置还包括第二发送模块,用于检测所述目标数据是否存储至所述第二地址;若已成功存储所述目标数据,则获取所述第二地址对应的所述第一pool存储所述目标数据后的空间使用率;以及,向所述ceph中的ugw发送第一指示;其中,所述第一指示用于指示所述目标数据成功存储至所述第二地址,所述第一指示携带所述第二地址对应的第一pool存储所述目标数据后的空间使用率;若未成功存储所述目标数据,则向所述ceph中的ugw发送第二指示;所述第二指示用于指示存储所述目标数据至所述第二地址失败。
23.第五方面,提供一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令,使得所述至少一个处理器通过执行第一方面或第一方面任一种可选的实施方式中所述的方法。
24.第六方面,提供一种计算机可读存储介质,所述计算机可读存储介质用于存储指令,当所述指令被执行时,使如第一方面或第一方面任一种可选的实施方式中的方法被实现。
25.本技术实施例中第三、第四、第五以及第六方面中提供的一个或多个技术方案所具有的技术效果或优点,均可以由第一方面中提供的对应的一个或多个技术方案所具有的技术效果或优点对应解释。
附图说明
26.为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
27.图1是本技术实施例提供的一种可能的应用场景的示意图;
28.图2是本技术实施例提供的一种数据处理方法的流程图;
29.图3是本技术实施例提供的一种数据存储反馈的方法的流程图;
30.图4是本技术实施例提供的一种数据处理装置的结构示意图;
31.图5是本技术实施例提供的另一种数据处理装置的结构示意图;
32.图6是本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
33.下面通过附图以及具体实施例对本技术技术方案做详细的说明,应当理解本技术实施例以及实施例中的具体特征是对本技术技术方案的详细的说明,而不是对本技术技术方案的限定,在不冲突的情况下,本技术实施例以及实施例中的技术特征可以相互组合。
34.需要理解的是,在本技术实施例的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。在本技术实施例的描述中“多个”,是指两个或两个以上。
35.本技术实施例中的术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
36.为了实现动态调整ceph集群中各个pool上对象存储数据的使用,本技术实施例提供一种数据处理方法,在该方法中,本技术实施例引入一种面向用户侧的用户存储网关ugw,通过该面向用户侧的ugw以及ceph对外提供对象存储服务的rgw双层网关之间相互映射,实现ceph集群中各个pool之间资源存储的动态平衡。
37.参见图1,为本技术实施例提供的一种可能的应用场景的示意图,在该场景中包含终端设备、ugw、rgw以及ceph集群中包含的若干pool。下面,将以该应用场景中各项的交互流程来具体介绍本技术实施例所提供的方法。
38.参见图2为本技术实施例提供的一种数据处理方法的流程图,该方法具体实施步骤如下:
39.步骤s201:终端设备向ugw发送第一请求,对应的,ugw接收该第一请求。
40.其中,第一请求用于请求将目标数据存储至第一地址,而第一地址用于指示ugw为目标数据提供的逻辑存储地址。
41.具体的,终端设备在发起第一请求时,ugw会为终端设备提供一个逻辑存储地址,类似于ceph中的rgw会为存储数据的用户提供的存储地址,终端设备在成功将目标数据存储至第一地址后,终端设备再次访问或是存储其它数据时,仅需访问该对应地址即可。
42.步骤s202:ugw响应于第一请求,根据预设的地址映射关系,将第一地址映射为第二地址,其中,第二地址用于指示ceph集群中的rgw对应的第一pool的物理存储地址。
43.在ugw为终端设备提供了一个逻辑存储地址(即第一地址)后,目标数据仍需要切实的存储进相应的物理存储地址中,此时,ugw会根据预设的地址映射关系,在ceph集群中获取第一pool的物理存储地址,将其作为第二地址与第一地址相关联,这样,使得第一请求中的目标数据具有切实的物理存储地址用以存储其自身。
44.其中,预设的地址映射关系可以是预先由配置人员配置进ugw中以完成均衡pool存储这一实现目标的,也可以是由ugw连接服务器获取的,本技术不做限制。
45.而如何根据预设的地址映射关系将第一地址映射为第二地址,则可以有如下解决方式:
46.首先,ugw在接收到第一请求后,获取rgw对应的每个pool的空间使用率,并根据该空间使用率确定每个pool对应的权重因子,其中,权重因子与空间使用率成负相关。
47.可选的,对于权重因子的确定,还可以将每个pool的被访问频率、使用次数、使用时长等因素作为自变量,使得权重因子由上述各个自变量共同确定,最终使得该权重因子可以用于表示对应pool的推荐使用指数,换言之,pool对应的权重因子越大,则可存储数据越多,存储可靠性越高。
48.其次,在确定每个pool的权重因子后,ugw可以根据上述权重因子,从每个pool中确定出合适的第一pool,用于将目标数据存储至该第一pool,其中,该第一pool具有rgw对应的所有pool中最大的权重因子。换言之,第一pool是根据预设的地址映射关系选出的最推荐的存储该目标数据的pool。
49.最后,将第一地址映射为第二地址,其中,该第二地址即为上述被选中的第一pool的物理存储地址。
50.在本方式中,由不同pool的空间使用率确定其对应的权重因子,并进一步根据该权重因子从所有pool中确定出第二地址对应的pool,充分利用了各个pool的剩余存储空间,有效地实现了存储资源的均衡利用。
51.步骤s203:ugw向rgw发送第二请求,对应的rgw接收该第二请求;该第二请求用于请求将目标存储数据存储到第二地址对应的第一pool中。
52.步骤s204:rgw响应于该第二请求后,根据第二地址指示的第一pool的物理存储地址将目标数据存储进该第一pool中。
53.在rgw响应完成第二请求后,目标数据即可成功的存储至上述第一pool中。而对于提出存储目标数据的用户而言,其面对的也只是将目标数据存储至固定的第一地址,并不能感知到第一地址映射为第二地址这一过程。这样,在该方法的实际使用中,用户既不会感知到增加的流程,后续再次需要存储更多的数据,用户也不需要频繁更改对象存储服务的访问入口。本方案提高了用户的使用体验的同时,还提高了ceph集群中各个pool的利用率,实现了存储资源的均衡使用。
54.以上介绍了目标数据存储的过程,可选的,在上述存储过程结束后,为了确保目标数据安全存储至第二地址,还可以执行如图3所示的方法,其中该方法具体步骤如下:
55.s301:rgw检测目标数据是否成功存储至第二地址;若成功存储,则继续步骤s302-步骤s304,若未能成功存储,则继续步骤s305-步骤s308。
56.s302:rgw获取第二地址对应的第一pool存储目标数据后的空间使用率。
57.在存储目标数据后,用于存储该目标数据的第一pool的空间使用率已然发生变
化,rgw会获取到变化后的空间使用率,为后续再次存储数据提供数据支持。
58.s303:rgw向ugw发送第一指示,对应的,ugw接收该第一指示,其中,第一指示用于指示目标数据存储至第二地址,且第一指示中携带第二地址对应的第一pool存储目标数据后的空间使用率。
59.rgw通过第一指示,既指示了目标数据的成功存储,也将第一pool变化后的空间使用率发送到了ugw。
60.s304:ugw根据第一指示中第一pool存储目标数据后的空间使用率,更新rgw对应的所有pool的权重因子。
61.在上述第一pool存储目标数据后,整个ceph集群中各个pool的存储情况已然发生了变化,这样,需要ugw根据变化后的情况更新各个pool的权重因子,以便下次存储数据时可以选择恰当的pool用以存储数据。
62.在本方式中,成功存储目标数据后及时更新集群中pool对应的权重因子,为后续数据存储提供数据支持,有效地提高了本方案的可实施性,提高了本方案的实施效率。
63.而当rgw检测到未能成功存储上述目标数据后,则执行以下步骤:
64.s305:rgw向ugw发送第二指示,对应的ugw接收该第二指示,其中第二指示用于指示存储目标数据至第二地址失败。
65.s306:ugw响应于第二指示,根据预设规则,降低第二地址对应的第一pool的权重因子。
66.在ugw接收到第二指示后,ugw即可确定第二地址对应的pool存储目标数据失败,这样,ugw即可根据预设规则,降低第一pool对应的权重,以便后续再选择pool进行存储时,可以降低第一pool被选中的概率。
67.s307:ugw根据降低后的权重因子以及上述地址映射关系,将第一地址映射为第三地址,其中,第三地址用于指示rgw对应的第二pool的地址。
68.在将第一地址再次映射,得到第三地址后,第三地址中包括的pool已经不同于第二地址包含的pool。这样,目标数据可以再次尝试去存储到第三地址。
69.s308:ugw向rgw发送第三请求,对应的rgw接收该第三请求,其中,第三请求用于请求将目标数据存储到第三地址对应的第二干pool。
70.后续rgw与ugw的操作即可参考上述步骤s204以及步骤301-s308中的所有操作,直到目标数据成功存储至ceph集群中的pool为止。
71.在本方式中,目标数据存储至第二地址失败后,ugw重新选取合适的pool进行存储,确保了目标数据的成功存储。并且,ugw还同时降低第一次被选中的pool再次被选中的概率,降低了重新选取pool后再次存储失败的可能,提高了本方案的实用性。
72.需要说明的是,以上介绍了本方法执行一次的过程,而在用户存储完目标数据后,若用户需要再次存储数据时,会再次执行一次上述过程。换言之,在同一用户多次存储数据的过程中,ugw在为该用户提供相同的逻辑存储地址的同时,还会根据预设的地址映射关系,将数据存储至相同或不同的物理存储地址中,以实现ceph集群中各个pool的均衡使用。这样,用户并不需要多次更改存储地址,也无需过多的其它操作,即可实现同一地址的多数据存储。可选的,在上述所有步骤之外,ugw还可以每次在将目标数据成功存储至ceph集群中后,将第一地址与pool的物理存储地址的对应关系进行保存,使得后续用户再次访问第
一地址时ugw可以快速且准确的找到对应的资源。其中,ugw既可以使用映射表格保存上述映射关系,也可以通过文档、图像等其他形式进行保存,本技术不做限制。
73.在本方案中,通过引入用户存储网关ugw,用户在存储数据时只需面对ugw提供的固定存储地址,无需感知第一地址映射为第二地址这一过程。同时,当同一用户再次存储数据时,同样只需面对ugw提供的同一固定存储地址,而ugw会再次为用户存储数据选择合适的物理存储地址。这样,通过本方案,用户既不会感知到增加的流程,同时还能享受到将数据存储至不同的pool的优势,后续即使需要存储更多的数据,用户也不需要频繁更改对象存储服务的访问入口。同时,本方案实现了对集群中各个pool的均衡使用,避免了某一个pool满载使用而其他pool剩余空间较多的情况,提高了pool中空间利用率,实现了存储资源的均衡使用。
74.基于同一发明构思,本技术实施例还提供一种数据处理装置。
75.参见图4,为本技术实施例提供一种数据处理装置,该装置可以是由上述用户存储网关ugw或者是该设备中的芯片或集成电路等,该装置包括用于执行上述方法实施例中由ugw执行的方法的模块/单元/技术手段。
76.示例性的,该装置400包括:
77.第一接收模块401,用于接收第一请求,所述第一请求用于请求将目标数据存储至所述第一地址,所述第一地址用于指示所述ugw为所述目标数据提供的逻辑存储地址;
78.第一响应模块402,用于响应于所述第一请求,根据预设的地址映射关系将所述第一地址映射为第二地址,所述第二地址用于指示所述ceph中的对象存储网关rgw对应的第一数据池pool的物理存储地址;
79.第一发送模块403,用于向所述rgw发送第二请求,所述第二请求用于请求将所述目标数据存储到所述第二地址对应的所述第一poo l中。
80.作为一种实施例,图4论述的装置可以用于执行图2所示的实施例中所述的方法,因此,对于该装置的各功能模块所能够实现的功能等可参考图2所示的实施例的描述,此处不再赘述。
81.基于同一发明构思,本技术实施例还提供一种数据处理装置。
82.参见图5,为本技术实施例提供一种数据处理装置,该装置可以是由上述对象存储网关rgw或者是该设备中的芯片或集成电路等,该装置包括用于执行上述方法实施例中由rgw执行的方法的模块/单元/技术手段。
83.示例性的,该装置500包括:
84.第二接收模块501,用于接收第二请求,所述第二请求用于请求将目标数据存储到第二地址中;
85.第二响应模块502,用于响应于所述第二请求,将所述目标数据存储到所述第二地址对应的第一pool中。
86.作为一种实施例,图5论述的装置可以用于执行图2所示的实施例中所述的方法,因此,对于该装置的各功能模块所能够实现的功能等可参考图2所示的实施例的描述,此处不再赘述。
87.应当注意,尽管在上文详细描述中提及了装置的若干模块或子模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多
单元的特征和功能可以在一个模块中具体化。反之,上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
88.作为上述装置一种可能的产品形态,参见图6,本技术实施例还提供一种电子设备600,包括:
89.至少一个处理器601;以及与所述至少一个处理器601通信连接的通信接口603;所述至少一个处理器601通过执行存储器602存储的指令,使得所述电子设备600通过所述通信接口603执行上述方法实施例中任一设备所执行的方法步骤。
90.可选的,所述存储器602位于所述电子设备600之外。
91.可选的,所述电子设备600包括所述存储器602,所述存储器602与所述至少一个处理器601相连,所述存储器602存储有可被所述至少一个处理器601执行的指令。附图6用虚线表示存储器602对于电子设备600是可选的。
92.其中,所述处理器601和所述存储器602可以通过接口电路耦合,也可以集成在一起,这里不做限制。
93.本技术实施例中不限定上述处理器601、存储器602以及通信接口603之间的具体连接介质。本技术实施例在图6中以处理器601、存储器602以及通信接口603之间通过总线604连接,总线在图6中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。应理解,本技术实施例中提及的处理器可以通过硬件实现也可以通过软件实现。当通过硬件实现时,该处理器可以是逻辑电路、集成电路等。当通过软件实现时,该处理器可以是一个通用处理器,通过读取存储器中存储的软件代码来实现。
94.示例性的,处理器可以是中央处理单元(central processing unit,cpu),还可以是其他通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现成可编程门阵列(field programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
95.应理解,本技术实施例中提及的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,rom)、可编程只读存储器(programmable rom,prom)、可擦除可编程只读存储器(erasable prom,eprom)、电可擦除可编程只读存储器(electrically eprom,eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory,ram),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的ram可用,例如静态随机存取存储器(static ram,sram)、动态随机存取存储器(dynamic ram,dram)、同步动态随机存取存储器(synchronous dram,sdram)、双倍数据速率同步动态随机存取存储器(double data eate sdram,ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram,esdram)、同步连接动态随机存取存储器(synchlink dram,sldram)和直接内存总线随机存取存储器(direct rambus ram,dr ram)。
96.需要说明的是,当处理器为通用处理器、dsp、asic、fpga或者其他可编程逻辑器
件、分立门或者晶体管逻辑器件、分立硬件组件时,存储器(存储模块)可以集成在处理器中。
97.应注意,本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
98.作为另一种可能的产品形态,本技术实施例还提供一种计算机可读存储介质,该计算机可读存储介质用于存储指令,当所述指令被执行时,使得计算机执行上述方法实例中任一设备所执行的方法步骤。
99.本领域内的技术人员应明白,本技术的实施例可提供为方法、系统、或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
100.本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
101.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
102.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。显然,本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样,倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内,则本技术也意图包含这些改动和变型在内。

技术特征:
1.一种数据处理方法,其特征在于,应用于分布式存储系统ceph中的用户存储网关ugw,所述方法包括:接收第一请求,所述第一请求用于请求将目标数据存储至所述第一地址,所述第一地址用于指示所述ugw为所述目标数据提供的逻辑存储地址;响应于所述第一请求,根据预设的地址映射关系将所述第一地址映射为第二地址,所述第二地址用于指示所述ceph中的对象存储网关rgw对应的第一数据池pool的物理存储地址;向所述rgw发送第二请求,所述第二请求用于请求将所述目标数据存储到所述第二地址对应的所述第一pool中。2.如权利要求1所述的方法,其特征在于,所述根据预设的地址映射关系将所述第一地址映射为第二地址,包括:获取所述rgw对应的每个pool的空间使用率,根据所述空间使用率确定所述每个pool的权重因子,其中,所述权重因子与所述空间使用率成负相关;从所述每个pool中确定出具有最大权重因子的第一pool;将所述第一地址映射为所述第二地址,其中,所述第二地址为所述第一pool对应的物理存储地址。3.如权利要求2所述的方法,其特征在于,所述方法还包括:接收来自所述rgw的第一指示;其中,所述第一指示用于指示所述目标数据成功存储至所述第二地址,所述第一指示携带所述第二地址对应的所述第一pool存储所述目标数据后的空间使用率;响应于所述第一指示,根据所述第一pool存储所述目标数据后的空间使用率,更新所述rgw对应的所有pool的权重因子。4.如权利要求2所述的方法,其特征在于,所述方法还包括:接收来自所述rgw的第二指示,所述第二指示用于指示存储所述目标数据至所述第二地址失败;响应于所述第二指示,根据预设规则降低所述第二地址对应的所述第一pool的权重因子;根据降低后的权重因子以及所述地址映射关系,将所述第一地址映射为第三地址;其中,所述第三地址用于指示所述rgw对应的第二pool的物理存储地址;向所述rgw发送第三请求,所述第三请求用于请求将所述目标数据存储到所述第三地址对应的所述第二pool中。5.一种数据处理方法,其特征在于,应用于分布式存储系统ceph中的对象存储网关rgw,所述方法包括:接收第二请求,所述第二请求用于请求将目标数据存储到第二地址中;响应于所述第二请求,将所述目标数据存储到所述第二地址对应的第一pool中。6.如权利要求5所述的方法,其特征在于,所述方法还包括:检测所述目标数据是否存储至所述第二地址;若已成功存储所述目标数据,则获取所述第二地址对应的所述第一pool存储所述目标数据后的空间使用率;以及,向所述ceph中的ugw发送第一指示;其中,所述第一指示用于指
示所述目标数据成功存储至所述第二地址,所述第一指示携带所述第二地址对应的第一pool存储所述目标数据后的空间使用率;若未成功存储所述目标数据,则向所述ceph中的ugw发送第二指示;所述第二指示用于指示存储所述目标数据至所述第二地址失败。7.一种数据处理的装置,其特征在于,应用于ceph中的ugw,所述装置包括:第一接收模块,用于接收第一请求,所述第一请求用于请求将目标数据存储至所述第一地址,所述第一地址用于指示所述ugw为所述目标数据提供的逻辑存储地址;第一响应模块,用于响应于所述第一请求,根据预设的地址映射关系将所述第一地址映射为第二地址,所述第二地址用于指示所述ceph中的对象存储网关rgw对应的第一数据池pool的物理存储地址;第一发送模块,用于向所述rgw发送第二请求,所述第二请求用于请求将所述目标数据存储到所述第二地址对应的所述第一poo l中。8.一种数据处理的装置,其特征在于,应用于ceph中的rgw,所述装置包括:第二接收模块,用于接收第二请求,所述第二请求用于请求将目标数据存储到第二地址中;第二响应模块,用于响应于所述第二请求,将所述目标数据存储到所述第二地址对应的第一pool中。9.一种电子设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令,使得所述至少一个处理器执行如权利要求1-6中任一项所述的方法。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储指令,当所述指令被执行时,使如权利要求1-6中任一项所述的方法被实现。

技术总结
本申请提供一种数据处理方法及装置,用以实现CEPH集群中各个POOL的均衡使用。该方法应用于分布式存储系统CEPH中的用户存储网关UGW,具体包括:接收第一请求,所述第一请求用于请求将目标数据存储至所述第一地址,所述第一地址用于指示所述UGW为所述目标数据提供的逻辑存储地址;响应于所述第一请求,根据预设的地址映射关系将所述第一地址映射为第二地址,所述第二地址用于指示所述CEPH中的对象存储网关RGW对应的第一数据池POOL的物理存储地址;向所述RGW发送第二请求,所述第二请求用于请求将所述目标数据存储到所述第二地址对应的所述第一POO L中。L中。L中。


技术研发人员:刘百川 黄鹄 林洁琬
受保护的技术使用者:天翼云科技有限公司
技术研发日:2022.07.21
技术公布日:2022/11/1
转载请注明原文地址: https://tieba.8miu.com/read-1036.html

最新回复(0)