1.本说明书实施例涉及计算机技术领域,特别涉及一种基于边缘云的数据处理方法。
背景技术:2.边缘云,是基于云计算技术和边缘计算能力,构筑在边缘基础设施之上的云计算平台,通过将网络转发、存储、计算、数据分析等工作放到边缘节点处理,降低响应时延、减轻云端压力、降低带宽成本等。
3.现有技术中,基于边缘云进行对象存储时,都是按照节点维度使用,每个边缘节点具备对象存储的独立服务能力,但是用户需要自己解决节点资源管理、资源读写调度、单节点可用性运维等诸多复杂问题,使用门槛高,体验不友好。
技术实现要素:4.有鉴于此,本说明书实施例提供了一种基于边缘云的数据处理方法。本说明书一个或者多个实施例同时涉及一种基于边缘云的数据处理装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
5.根据本说明书实施例的第一方面,提供了一种基于边缘云的数据处理方法,包括:
6.接收用户发送的数据写入请求,其中,所述数据写入请求中携带有待写入数据、用户属性信息以及所述待写入数据对应的目标存储单元的单元标识;
7.根据所述单元标识确定目标存储域,并确定所述目标存储域对应的至少两个初始边缘节点;
8.根据所述至少两个初始边缘节点的节点属性信息以及所述用户属性信息,从所述至少两个初始边缘节点中确定目标边缘节点;
9.确定所述目标边缘节点中、与所述单元标识对应的目标存储单元,并将所述待写入数据写入所述目标存储单元。
10.根据本说明书实施例的第二方面,提供了一种基于边缘云的数据处理装置,包括:
11.请求接收模块,被配置为接收用户发送的数据写入请求,其中,所述数据写入请求中携带有待写入数据、用户属性信息以及所述待写入数据对应的目标存储单元的单元标识;
12.初始节点确定模块,被配置为根据所述单元标识确定目标存储域,并确定所述目标存储域对应的至少两个初始边缘节点;
13.目标节点确定模块,被配置为根据所述至少两个初始边缘节点的节点属性信息以及所述用户属性信息,从所述至少两个初始边缘节点中确定目标边缘节点;
14.数据存储模块,被配置为确定所述目标边缘节点中、与所述单元标识对应的目标存储单元,并将所述待写入数据写入所述目标存储单元。
15.根据本说明书实施例的第三方面,提供了一种计算设备,包括:
16.存储器和处理器;
17.所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述基于边缘云的数据处理方法的步骤。
18.根据本说明书实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述基于边缘云的数据处理方法的步骤。
19.根据本说明书实施例的第五方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述基于边缘云的数据处理方法的步骤。
20.本说明书一个实施例实现了一种基于边缘云的数据处理方法及装置,其中该方法包括接收用户发送的数据写入请求,其中,所述数据写入请求中携带有待写入数据、用户属性信息以及所述待写入数据对应的目标存储单元的单元标识;根据所述单元标识确定目标存储域,并确定所述目标存储域对应的至少两个初始边缘节点;根据所述至少两个初始边缘节点的节点属性信息以及所述用户属性信息,从所述至少两个初始边缘节点中确定目标边缘节点;确定所述目标边缘节点中、与所述单元标识对应的目标存储单元,并将所述待写入数据写入所述目标存储单元。
21.具体的,该基于边缘云的数据处理方法将多个边缘节点的存储资源进行整体管控和调度,在对用户发送的数据写入请求进行处理时,根据该数据写入请求对应的存储域中多个边缘节点的节点属性信息、以及用户属性信息进行全局调度路径规划,选取较优的边缘节点作为目标边缘节点进行数据写入请求处理,实现调度策略全局较优,提升用户使用体验。
附图说明
22.图1是本说明书一个实施例提供的一种基于边缘云的数据处理方法的具体处理示意图;
23.图2是本说明书一个实施例提供的一种基于边缘云的数据处理方法的流程图;
24.图3是本说明书一个实施例提供的一种基于边缘云的数据处理方法中边缘节点中的多引擎集群示意图;
25.图4是本说明书一个实施例提供的一种基于边缘云的数据处理方法的整体调度层次关系示意图;
26.图5是本说明书一个实施例提供的一种基于边缘云的数据处理方法的处理过程流程图;
27.图6是本说明书一个实施例提供的一种基于边缘云的数据处理装置的结构示意图;
28.图7是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
29.在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
30.在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,
而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
31.应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
32.首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
33.边缘节点:一个边缘节点可以由多个边缘设备(如某个物理设备、边缘网关、家庭网关等)组成,一个边缘节点可以具有网络转发、存储、计算、数据分析等工作能力,且每个边缘节点可以理解为一朵边缘云。
34.协同存储:基于多个分布式边缘节点的资源和存储能力,通过多节点协同管控和调度,构建的位置无感、体验一致、大容量、高弹性、高可靠性的分布式存储。
35.对象存储:一种基于对象的数据存储,将数据存储为不同单元进行管理和操作;每个数据单元(对象,object)均有元数据描述,而不是以文件的形式保存在文件夹中。
36.存储空间:bucket,用于存储对象(object)的容器,所有的对象都必须隶属于某个存储空间;存储空间具备各种配置属性,包括地区、访问权限、存储类型等;bucket具有全局唯一性,且不能修改。
37.qps:queries-per-second,每秒查询率,是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。
38.ec:erasure coding,纠删码,是一种冗余保护机制,通过计算校验片的方式实现数据冗余保护。
39.三副本:存储系统采用三副本机制来保证数据的可靠性,即针对某份数据,默认将数据分为1mb大小的数据块,每一个数据块被复制为3个副本,然后按照一定的分布式存储算法将这些副本保存在集群中的不同节点上。
40.ldns:local dns,即本地dns,域名系统。
41.在本说明书中,提供了一种基于边缘云的数据处理方法,本说明书同时涉及一种基于边缘云的数据处理装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
42.参见图1,图1示出了根据本说明书一个实施例提供的一种基于边缘云的数据处理方法的具体处理示意图。
43.图1中包括用户102、节点中心管控系统104、边缘节点集群106;其中,边缘节点集群106中包括多个边缘节点。
44.具体实施时,节点中心管控系统104接收用户102发送的数据读写请求,根据所述数据读写请求从边缘节点集群106中确定目标边缘节点进行数据读取。
45.以数据写请求为例,节点中心管控系统104接收用户102发送的数据写请求,该数据写请求中携带有待写入数据、用户属性信息以及待写入数据对应的存储空间(即
bucket),其中,bucket通常包含全局唯一的bucket名称、bucket生命周期(例如摄像头专用一般保存七天,超过七天的自动淘汰)、bucket归属的存储域,一般在初始化的时候后台指定,对外售卖形态可能是全国、大区、省市等,对内会映射成对应的存储域。
46.根据待写入数据对应的存储空间确定对应的目标存储域,并获取该目标存储域对应的多个边缘节点;对该多个边缘节点进行过滤,例如首先过滤服务状态异常(如网络被切断、预下线等)的边缘节点,其次过滤同运营商(如用户的客户端为联通,则过滤掉移动、电信等边缘节点)、同大区(如用户所在大区为华南大区,则过滤掉其他大区的边缘节点)、专线互通(如用户只能走专线,则过滤掉公网的边缘节点等)的边缘节点等;再根据地理位置排序、水位排序、成本排序、用户业务形态排序、文件形态排序等排序规则,对过滤后留下的边缘节点进行排序,选择较优的边缘节点将待写入数据写入bucket对应的物理bucket。
47.本说明书实施例提供的基于边缘云的数据处理方法,通过节点中心管控系统将一系列边缘节点进行统一纳管,进行全局资源规划;通过节点过滤、节点排序等,选取较优的边缘节点进行数据处理,实现全网资源较优调度,提升用户使用体验。
48.参见图2,图2示出了根据本说明书一个实施例提供的一种基于边缘云的数据处理方法的流程图,具体包括以下步骤。
49.步骤202:接收用户发送的数据写入请求。
50.其中,所述数据写入请求中携带有待写入数据、用户属性信息以及所述待写入数据对应的目标存储单元的单元标识。
51.具体的,目标存储单元可以理解为上述的存储空间bucket;该目标存储单元的单元标识可以理解为全局唯一的bucket名称;且每个bucket存在其对应的存储域。
52.而待写入数据可以理解为任意格式、任意大小以及任意类型的数据,例如图片数据、视频数据或者文字数据等;用户属性信息包括但不限于用户的名称、等级以及地理位置等。
53.步骤204:根据所述单元标识确定目标存储域,并确定所述目标存储域对应的至少两个初始边缘节点。
54.具体的,在接收用户发送的数据写入请求之后,响应于该数据写入请求,根据该数据写入请求中携带的单元标识确定bucket对应的目标存储域,并获取该目标存储域对应的至少两个初始边缘节点(可以理解为上述实施例中的边缘节点)。
55.实际应用中,每个目标存储域会对应多个初始边缘节点,而每个初始边缘节点可以属于多个目标存储域。
56.其中,本说明书实施例中的边缘节点,可以是任何的边缘异构节点或者中心节点,即做到云边协同、云边一体的边缘节点均可,用户无需关心具体的存储位置以及节点状态。
57.步骤206:根据所述至少两个初始边缘节点的节点属性信息以及所述用户属性信息,从所述至少两个初始边缘节点中确定目标边缘节点。
58.具体的,在确定至少两个初始边缘节点之后,即可根据至少两个初始边缘节点的节点属性信息以及用户属性信息,从至少两个初始边缘节点中确定目标边缘节点。
59.实际应用中,为了提高数据写入速率,提升用户使用体验,节点中心管控系统会从至少两个初始边缘节点中选取较优的边缘节点(即目标边缘节点),进行数据处理;因此需要根据至少两个初始边缘节点的节点属性信息以及用户属性信息,对目标边缘节点进行筛
选获取。具体实现方式如下所述:
60.所述根据所述至少两个初始边缘节点的节点属性信息以及所述用户属性信息,从所述至少两个初始边缘节点中确定目标边缘节点,包括:
61.根据所述至少两个初始边缘节点的节点属性信息,从所述至少两个初始边缘节点中确定候选边缘节点,其中,所述节点属性信息包括节点当前状态信息、节点当前属性信息以及节点当前运行信息;
62.根据所述候选边缘节点的节点当前属性信息、节点当前运行信息以及所述用户属性信息,从所述候选边缘节点中确定目标边缘节点。
63.其中,节点当前状态信息包括但不限于上线、下线、预下线、预上线、探测状态异常等,节点当前属性信息包括但不限于地理位置、所属大区、运营商、网络、自建/云联、承载规模、成本等,节点当前运行信息(即节点水位)包括但不限于实时带宽、专线带宽、存储空间、qps、锁量等。
64.具体实施时,在确定至少两个初始边缘节点之后,先根据至少两个初始边缘节点中每个初始边缘节点的节点当前状态信息、节点当前属性信息以及节点当前运行信息,从至少两个初始边缘节点中先确定候选边缘节点;再根据候选节点的节点当前属性信息、节点当前运行信息以及用户属性信息,从候选边缘节点中选取目标边缘节点。
65.本说明书实施例提供的基于边缘云的数据处理方法,通过确定候选边缘节点以及目标边缘节点等两个实现步骤,实现对较优目标边缘节点的获取,以提高后续通过目标边缘节点进行数据写入的写入效率。
66.具体应用时,候选边缘节点为通过对至少两个初始边缘节点的过滤筛选确定的,通过过滤掉一些不可用节点,获得候选边缘节点之后,再对少量的候选边缘节点进行处理选取目标边缘节点,可以极大的减少节点确定计算量。具体实现方式如下所述:
67.所述根据所述至少两个初始边缘节点的节点属性信息,从所述至少两个初始边缘节点中确定候选边缘节点,包括:
68.根据所述至少两个初始边缘节点的节点当前状态信息、节点当前属性信息以及节点当前运行信息,从所述至少两个初始边缘节点中筛选出候选边缘节点。
69.即根据至少两个初始边缘节点的节点属性信息,从至少两个初始边缘节点中确定候选边缘节点;可以理解为根据至少两个初始边缘节点的节点当前状态信息、节点当前属性信息以及节点当前运行信息,从至少两个初始边缘节点中筛选出候选边缘节点。
70.例如至少两个初始边缘节点为100个,根据至少两个初始边缘节点的节点当前状态信息、节点当前属性信息以及节点当前运行信息,从100个初始边缘节点中筛选出的候选边缘节点为50个。
71.而具体的筛选过程,可以先根据至少两个初始边缘节点的节点当前状态信息进行第一次筛选,再根据节点当前属性信息进行第二次筛选,最后根据节点当前运行信息进行第三次筛选等;本说明书实施例中,节点当前状态信息、节点当前属性信息以及节点当前运行信息的筛选顺序没有固定的先后顺序,按照节点当前状态信息、节点当前属性信息以及节点当前运行信息全部筛选一遍即可。具体实现方式如下所述:
72.所述根据所述至少两个初始边缘节点的节点当前状态信息、节点当前属性信息以及节点当前运行信息,从所述至少两个初始边缘节点中筛选出候选边缘节点,包括:
73.根据所述节点当前属性信息,从所述至少两个初始边缘节点中过滤掉、与所述用户属性信息不匹配的初始边缘节点;
74.根据所述节点当前状态信息,从过滤后的初始边缘节点中,筛选出满足第一筛选条件的初始边缘节点;
75.根据所述节点当前运行信息,从所述满足第一筛选条件的初始边缘节点中,筛选出满足第二筛选条件的候选边缘节点。
76.其中,第一筛选条件、第二筛选条件可以根据实际应用进行设置,本说明书实施例对此不作任何限定;例如第一筛选条件可以为筛选节点状态非异常的初始边缘节点,第二筛选条件可以为筛选节点水位满足数据写入请求的初始边缘节点等。
77.具体实施时,根据所述节点当前属性信息,从所述至少两个初始边缘节点中过滤掉、与所述用户属性信息不匹配的初始边缘节点;可以理解为根据节点当前属性信息中的所属大区、运营商等,从至少两个边缘节点中过滤掉与用户的客户端不同大区、不同运营商的初始边缘节点,例如用户的客户端所属大区为华南大区,联通网络,则从至少两个初始边缘节点中过滤掉不属于华南大区的、不属于联通网络的初始边缘节点。此次,若该用户为专线用户,则过滤掉不属于专线互通的初始边缘节点。
78.根据所述节点当前状态信息,从过滤后的初始边缘节点中,筛选出满足第一筛选条件的初始边缘节点;可以理解为根据节点当前状态信息中的上线、下线、预下线、预上线、探测状态异常等,从上述过滤后获得的初始边缘节点中筛选出上线、预上线等节点状态非异常的初始边缘节点,即过滤掉下线、预下线以及探测状态异常的初始边缘节点。
79.根据所述节点当前运行信息,从所述满足第一筛选条件的初始边缘节点中,筛选出满足第二筛选条件的候选边缘节点;可以理解为根据节点当前运行信息中的实时带宽、专线带宽、存储空间、qps、锁量等,从上述筛选后获得的初始边缘节点中筛选出节点水位满足数据写入请求处理的初始边缘节点。
80.本说明书实施例中提供的基于边缘云的数据处理方法,在确定至少两个初始边缘节点之后,为了节省后续的目标边缘节点的计算量,从过滤运营商、大区、专线互通、服务状态异常、节点水位异常等多维度出发,从至少两个初始边缘节点中过滤获得候选边缘节点,以保证后续从候选边缘节点选取目标边缘节点的效率和准确性,避免对不可用的边缘节点进行处理,造成计算资源的浪费。
81.此外,对初始边缘节点的每次过滤之后,均会根据过滤后的初始边缘节点的节点数量对目标存储域进行扩缩,以保证后续存在足够的候选边缘节点,可以进行较优的目标边缘节点的确定。具体实现方式如下所述:
82.在确定所述过滤后的初始边缘节点、所述满足第一筛选条件的初始边缘节点、或者所述满足第二筛选条件的候选边缘节点的节点数量小于第一数量阈值的情况下,为所述目标存储域进行边缘节点以及存储单元扩充。
83.其中,第一数量阈值可以根据实际应用进行设置,本说明书实施例对此不作任何限定,例如第一数量阈值为1。
84.实际应用中,在任意一个维度过滤后的初始边缘节点的节点数量小于1的情况下,均需要为目标存储域进行边缘节点以及存储单元扩充,以保证后续可以存在候选边缘节点进行目标边缘节点的选取,避免会出现无边缘节点进行数据写入请求处理的情况出现,提
升用户体验。
85.而在过滤筛选,获得候选边缘节点之后,则可以从候选边缘节点中选取目标边缘节点进行数据写入请求处理。具体实现方式如下所述:
86.所述根据所述候选边缘节点的节点当前属性信息、节点当前运行信息以及所述用户属性信息,从所述候选边缘节点中确定目标边缘节点,包括:
87.在确定所述候选边缘节点的节点数量大于等于第二数量阈值的情况下,根据所述候选边缘节点的节点当前属性信息、节点当前运行信息以及所述用户属性信息,从所述候选边缘节点中确定目标边缘节点。
88.其中,第二数量阈值可以根据实际应用进行设置,本说明书实施例对此不作任何限定,例如第二数量阈值为2。
89.实际应用中,对目标边缘节点的获取,是通过各种维度对候选边缘节点进行排序后,根据排序结果确定的,因此,候选边缘节点的节点数量较多的情况下,才可以实现排序操作,而在候选边缘节点仅为一个的情况下,则不存在排序的操作。
90.以第二数量阈值为2为例,当确定候选边缘节点的节点数量大于等于第二数量阈值2的情况下,才会根据候选边缘节点的节点当前属性信息、节点当前运行信息以及用户属性信息,从候选边缘节点中确定目标边缘节点;而在候选边缘节点的节点数量小于第二数量阈值2的情况下,则说明候选边缘节点仅存在一个,那么则需要将该候选边缘节点作为目标边缘节点进行后续的数据写入请求处理。
91.而具体实施时,根据候选边缘节点的节点当前属性信息、节点当前运行信息以及用户属性信息,从候选边缘节点中确定目标边缘节点,则是根据用户的不同,为每个用户配置不同的节点排序策略,以根据该节点排序策略为每个用户选取较优的目标边缘节点进行数据写入请求的处理,提升用户的使用体验。具体实现方式如下所述:
92.所述根据所述候选边缘节点的节点当前属性信息、节点当前运行信息以及所述用户属性信息,从所述候选边缘节点中确定目标边缘节点,包括:
93.根据所述候选边缘节点的节点当前属性信息、节点当前运行信息以及所述用户属性信息,确定节点排序策略;
94.根据所述节点排序策略对所述候选边缘节点进行排序,并从排序后的所述候选边缘节点中确定目标边缘节点。
95.实际应用中,用户属性信息不同,根据候选边缘节点的节点当前属性信息、节点当前运行信息确定的节点排序策略也不同;例如根据用户属性信息确定该用户为普通用户,那么则可以根据候选边缘节点的节点当前属性信息、节点当前运行信息确定的节点排序策略为:按照成本、服务质量以及就近程度进行节点排序;若根据用户属性信息确定该用户为等级较高的用户,该用户对服务质量要求较高,则根据候选边缘节点的节点当前属性信息、节点当前运行信息确定的节点排序策略为:按照服务质量、成本以及就近程度进行节点排序等。
96.以上仅为两种节点排序策略的确定方式,实际应用中,还存在其他的节点排序策略,例如按照成本、服务质量、文件大小等进行节点排序等。如先按照成本对候选边缘节点进行排序,再选取排序后的前20个候选节点按照服务质量进行排序,最后再选取服务质量排序后的前10个候选节点按照文件大小进行排序等。
97.当然,实际应用中,若候选边缘节点的数量较多的情况下,为了节省计算资源,还可以从候选边缘节点中筛选一部分边缘节点,根据节点排序策略进行节点排序以及目标边缘节点的确定。
98.步骤208:确定所述目标边缘节点中、与所述单元标识对应的目标存储单元,并将所述待写入数据写入所述目标存储单元。
99.具体的,在确定目标边缘节点之后,则根据单元标识确定目标边缘节点中的目标存储单元,即物理bucket,然后将待写入数据写入目标存储单元。
100.即本说明书实施例提供的基于边缘云的数据处理方法中,一个数据处理请求会经过节点过滤以及节点排序两个阶段,获取的较优的目标边缘节点,后续可以根据该较优的目标边缘节点进行数据写入请求处理,提升用户使用体验。
101.应用于边缘节点的选取中,本说明书实施例提供的该基于边缘云的数据处理方法,将多个边缘节点的存储资源进行整体管控和调度,在对用户发送的数据写入请求进行处理时,根据该数据写入请求对应的存储域中多个边缘节点的节点属性信息、以及用户属性信息进行全局调度路径规划,选取较优的边缘节点作为目标边缘节点进行数据写入请求处理,实现调度策略全局较优,提升用户使用体验。
102.而实际应用中,获得较优边缘节点之后,数据写入请求会访问到较优边缘节点接入网关,同时还会经过节点调度流程(单节点内通常部署n个物理集群,即引擎集群,确保服务高可用以及适配不同的场景)。节点内调度通常会考虑引擎之间的权重比例、qps水位、引擎状态等多个因素,以选取较优的引擎集群进行数据处理,提升数据处理效率。具体实现方式如下所述:
103.所述确定所述目标边缘节点中、与所述单元标识对应的目标存储单元,并将所述待写入数据写入所述目标存储单元,包括:
104.确定所述目标边缘节点中、与所述单元标识对应的目标存储单元,以及所述目标边缘节点中的至少两个引擎集群;
105.根据所述至少两个引擎集群中每个引擎集群的引擎当前运行参数,确定目标引擎集群;
106.根据所述目标引擎集群将所述待写入数据写入所述目标存储单元。
107.其中,引擎当前运行参数包括但不限于权重配置、qps削峰、引擎负载/容灾、存储空间、文件类型、生命周期等。
108.具体的,在获取目标边缘节点之后,确定该目标边缘节点中、与单元标识对应的目标存储单元,以及目标边缘节点中的至少两个引擎集群;再根据至少两个引擎集群中每个引擎集群的引擎当前运行参数,选择较优的目标引擎集群;最后根据较优的目标引擎集群将待写入数据写入目标存储单元。
109.当然,为了保证服务高可用,在目标边缘节点不可用或者目标引擎集群不可用的情况下,可以根据其他候选边缘节点的节点当前运行信息或者其他引擎集群的当前运行参数,进行其他较优目标边缘节点或者目标引擎集群的选取。
110.参见图3,图3示出了本说明书一个实施例提供的一种基于边缘云的数据处理方法中边缘节点中的多引擎集群示意图。
111.图3中的边缘节点中包括引擎集群1、引擎集群2以及引擎集群3等三个引擎集群
(ldns);在确定较优边缘节点之后,数据写入请求访问到该边缘节点的边缘接入网关,同时,经过节点内调度流程从引擎集群1、引擎集群2以及引擎集群3中进行多引擎调度,以选择较优的引擎集群。
112.而目标边缘节点对数据写入请求的处理包括两个维度的处理,一个维度是选择较优的目标引擎集群的处理,另一个维度是选择合适的数据存储方式进行数据写入;具体的,选择较优的目标引擎集群的处理可以根据上述实施例确定,而选择合适的数据存储方式进行数据写入则可以理解为,根据待写入数据的属性信息(例如数据大小、数据类型等)确定写入方式,那么在根据目标引擎集群进行待写入数据的存储的时候,可以根据与其对应的写入方式将待写入数据存储至目标存储单元。具体实现方式如下所述:
113.所述根据所述目标引擎集群将所述待写入数据写入所述目标存储单元,包括:
114.根据所述目标引擎集群将所述待写入数据,通过与所述待写入数据对应的写入方式写入所述目标存储单元。
115.其中,写入方式包括但不限于动态ec写入或者三副本写入等。
116.具体的,首选根据待写入数据的属性信息(例如文件大小)、bucket属性或者读写比例等,确定待写入数据对应的写入方式;再根据目标引擎集群将待写入数据,以与待写入数据对应的写入方式(如动态ec或者三副本)写入目标存储单元,以保证写入数据的稳定性和安全性。
117.实际应用中,节点中心管控系统中包括实时水位统计模块,具体应用时,初始边缘节点的节点当前运行信息均是根据实时水位统计模块获取,以保证后续节点中心管控系统可以根据实时水位统计模块获取的每个初始边缘节点的节点当前运行信息进行合理的节点调度。具体实现方式如下所述:
118.所述基于边缘云的数据处理方法,还包括:
119.接收实时水位统计模块发送的所述至少两个初始边缘节点的节点当前运行信息,其中,所述节点当前运行信息包括节点当前带宽、节点每秒查询率、节点当前存储空间。
120.此外,本说明书实施例还可以对用户发送的数据读取请求进行处理,通过数据读取请求中携带待目标存储单元的单元标识以及文件名,可以快速且准确的读取待读取数据。具体实现方式如下所述:
121.所述将所述待写入数据写入所述目标存储单元之后,还包括:
122.接收用户发送的数据读取请求,其中,所述数据读取请求中携带有待读取数据的目标存储单元的单元标识以及文件名;
123.根据所述单元标识确定目标存储单元,并根据所述文件名从所述目标存储单元中读取所述待读取数据。
124.其中,发送数据读取请求的用户可以为上述实施例中的用户,也可以为其他进行过数据存储的用户。而目标存储单元的单元标识可以参见上述实施例的介绍,在此不再赘述。
125.本说明书实施例提供的基于边缘云的数据处理方法中,调度器(节点中心管控系统)会根据实时水位,进行全局调度路径规划,实现调度策略全局较优,如就近等,提升数据处理(数据写入或者数据读取等)效率;同时,如果单节点(边缘节点)出现问题,调度器通过与全网实时统计模块统计节点的状态,及时将异常节点过滤,使用正常节点进行数据处理,
保证服务的高可用;同时,节点内通过多引擎集群的部署方案,确保单节点内服务的高可用。
126.参见图4,图4示出了本说明书一个实施例提供的一种基于边缘云的数据处理方法的整体调度层次关系示意图。
127.图4中包括资源池402、存储域404、节点调度406、节点内调度408;其中,资源池402、存储域404为资源维度的介绍;节点调度406、节点内调度408为具体的节点调度策略。
128.其中,资源池402中包括节点属性,节点状态,节点水位,而节点属性包括地理位置(节点的地理位置,例如a省)、所属大区(节点的地理位置,例如华南大区)、运营商(例如联通、移动、电信)、网络(上下行带宽的最大最小承载量)、自建/云联(自建机房或者是租的其他运营商的机房)、承载规模(最大承载量)、成本等;节点状态包括上线、预上线、下线、预下线、探测状态异常(例如网络切断)等;节点水位包括实时带宽/专线带宽、存储(存储空间)、qps(每秒查询率)、锁量(给特殊客户预留的资源)等。
129.存储域404包括存储域预划分、存储域管理、存储域动态扩缩,而存储域预划分包括业务维度、大区维度、用户维度(专门打标给某些用户使用的存储域)、自定义等;存储域管理包括存储域与节点状态的联动(存储域对应多个节点,每个节点可以对应多个存储域)、存储域优先级管理(每个节点在不同存储域中的优先级不同);存储域动态扩缩包括跨节点物理bucket扩缩(当存储域不能满足数据处理的情况,可以扩容一些节点)。
130.节点调度406包括节点模型调度、业务模型调度、存储域联动、策略执行与纠偏;而节点模型调度包括位置、流量、存储空间、成本(即根据位置、流量、存储空间、成本等,真正的把这些因素考虑进来,去做节点调度);业务模型调度包括业务模型(节点模型与业务模型属于并列关系,比如若没有任何特殊的配置,可能都走通用的节点模型的节点调度方案,比如用户离某个节点近,就都往这个节点给调,业务模型的话,则是根据业务需求进行节点调度的定制)、用户模型(根据用户的属性信息进行节点调度,比如用户之前向某个节点写过数据,则可以继续往该节点调)、文件模型(比如图片文件往质量低一点的节点调,视频文件往质量高一点的节点调等)等;存储域联动包括结合存储域、节点实时水位/安全水位、容灾等(即存储的扩缩容);策略执行与纠偏包括服务质量统计、实时纠偏(实施调整节点调度策略,比如选择的目标边缘节点的响应耗时很大,则可以进行实施调整纠偏)。
131.节点内调度408包括多引擎调度、物理bucket调度(物理桶调度)、动态ec(纠删码)/三副本,而多引擎调度包括权重配置、qps削峰(每秒查询率削峰)、引擎负载/容灾、存储空间、文件类型、生命周期等(即根据这些参数选择较优的目标引擎集群);物理bucket调度包括文件数动态扩缩/均衡(物理bucket的增加或者删除,保证调度均衡);动态ec/三副本包括bucket属性(桶属性)、文件大小、读写比例等(即根据这些参数选择合适的数据处理方式)。
132.本说明书实施例提供的基于边缘云的数据处理方法,通过资源池、存储域进行节点维度划分,再通过节点调度和节点内调度两种大的调度策略,实现全网资源的较优调度,提升用户使用体验。
133.下述结合附图5,以本说明书提供的基于边缘云的数据处理方法在边缘节点的调度应用为例,对所述基于边缘云的数据处理方法进行进一步说明。其中,图5示出了本说明书一个实施例提供的一种基于边缘云的数据处理方法的处理过程流程图,具体包括以下步
骤。
134.步骤502:节点中心管控系统接收用户发送的数据写入请求,其中,该数据写入请求中携带有待写入数据、用户属性信息以及待写入数据对应的物理bucket的桶标识。
135.步骤504:节点中心管控系统根据桶标识确定目标存储域,并确定目标存储域对应的至少两个初始边缘节点。
136.步骤506:节点中心管控系统根据至少两个初始边缘节点的节点属性信息以及用户属性信息,对至少两个初始边缘节点进行节点过滤以及节点排序,获得目标边缘节点。
137.具体的,目标边缘节点的具体确定方式可以参见上述实施例的介绍,如图5左侧的调度器内部详细流程所示,先根据位置调度(区域、运营商、专线等)、水位调度(上行带宽、下行带宽、qps每秒查询率、存储空间等)等进行节点过滤,再根据用户调度(业务属性、用户优先级、灰度控制、成本控制)或者文件模型(文件大小、文件类型、保存时间)等进行边缘节点排序获得目标边缘节点。
138.即节点过滤阶段,位置调度:先根据用户需求,过滤掉用户所需的区域(例如用户创建资源的时候指定的a省,那么本次请求过滤掉a省以外的边缘节点);其次,根据运营商,过滤掉本次与用户的客户端运营商不匹配的边缘节点(例如用户的客户端为移动,a省有3个移动边缘节点、3个联动边缘节点、3个电信边缘节点,那么则会把电信、联通边缘节点过滤掉);最后再将一些其他用户的专线边缘节点过滤掉。
139.水位调度:过滤掉目前水位超过预设水位阈值(如95%)的边缘节点,通过过滤存储空间水位、过滤上下行带宽水位、过滤qps每秒查询率水位,排除掉不符合条件的边缘节点。
140.节点排序阶段,可以为该用户配置独立策略,也可以采用默认策略。其中,默认策略可以为:水位优先,即优先选择低水位的边缘节点,如果此时边缘节点水位均比较低,例如移动的三个边缘节点和三线(即移动、联通、电信均支持的边缘节点)的三个边缘节点水位都是50%;那么进行第二次排序:成本排序,这时由于三线成本过高,会优先选择移动节点;接下来会进行剩余的策略排序,如地理位置优先,此时如果三个满足条件的移动边缘节点,有一个明显离用户较近,那么优先选择距离近的边缘节点。假设三个边缘节点均比较接近,则会进行下一轮排序,如按照调度集中度进行排序(即若该用户的请求如果之前都是调度到了某个边缘节点,那么倾向于接下来也往这个边缘节点调度)。以此类推,直到选择出较优边缘节点。如果所有排序策略都走完以后,还是有多个符合条件的节点,那随机选择即可。
141.仍参见图5左侧的调度器内部详细流程所示,在确定目标边缘节点之后,在目标边缘节点内部采用引擎模型中的引擎参数(权重、每秒查询率削峰填谷(跟水位类似,每个引擎支持的qps有限,如果该时间点qps过高,就需要削峰,使qps降下来)、空间、中央处理器、读写)进行目标引擎集群确定,根据桶模型中的参数(空间、文件数、类型(三副本/纠删码)等)进行数据写入方式的确定。
142.最后,节点中心管控系统即可根据目标引擎集群将待写入数据,通过与待写入数据对应的写入方式写入物理bucket,其中,该物理bucket为与桶标识对应的物理bucket。
143.具体实施时,节点中心管控系统中的全网实时水位统计模块会对每个边缘节点的水位进行实时检测,以供调度器进行较优调度路径规划。
144.本说明书实施例提供的基于边缘云的数据处理方法,通过将一系列边缘节点进行统一纳管,进行全局资源规划,同时结合全局实时水位统计模块,将全网资源进行较优调度,同时实现整体服务的高可用与容灾。并且节点内采用多物理集群的部署方案,通过节点内调度,实现多集群之间的全局较优。同时对于单集群异常等情况有很好的容灾能力。
145.与上述方法实施例相对应,本说明书还提供了基于边缘云的数据处理装置实施例,图6示出了本说明书一个实施例提供的一种基于边缘云的数据处理装置的结构示意图。如图6所示,该装置包括:
146.请求接收模块602,被配置为接收用户发送的数据写入请求,其中,所述数据写入请求中携带有待写入数据、用户属性信息以及所述待写入数据对应的目标存储单元的单元标识;
147.初始节点确定模块604,被配置为根据所述单元标识确定目标存储域,并确定所述目标存储域对应的至少两个初始边缘节点;
148.目标节点确定模块606,被配置为根据所述至少两个初始边缘节点的节点属性信息以及所述用户属性信息,从所述至少两个初始边缘节点中确定目标边缘节点;
149.数据存储模块608,被配置为确定所述目标边缘节点中、与所述单元标识对应的目标存储单元,并将所述待写入数据写入所述目标存储单元。
150.可选地,所述目标节点确定模块606,进一步被配置为:
151.根据所述至少两个初始边缘节点的节点属性信息,从所述至少两个初始边缘节点中确定候选边缘节点,其中,所述节点属性信息包括节点当前状态信息、节点当前属性信息以及节点当前运行信息;
152.根据所述候选边缘节点的节点当前属性信息、节点当前运行信息以及所述用户属性信息,从所述候选边缘节点中确定目标边缘节点。
153.可选地,所述目标节点确定模块606,进一步被配置为:
154.根据所述至少两个初始边缘节点的节点当前状态信息、节点当前属性信息以及节点当前运行信息,从所述至少两个初始边缘节点中筛选出候选边缘节点。
155.可选地,所述目标节点确定模块606,进一步被配置为:
156.根据所述节点当前属性信息,从所述至少两个初始边缘节点中过滤掉、与所述用户属性信息不匹配的初始边缘节点;
157.根据所述节点当前状态信息,从过滤后的初始边缘节点中,筛选出满足第一筛选条件的初始边缘节点;
158.根据所述节点当前运行信息,从所述满足第一筛选条件的初始边缘节点中,筛选出满足第二筛选条件的候选边缘节点。
159.可选地,所述装置,还包括:
160.扩容模块,被配置为:
161.在确定所述过滤后的初始边缘节点、所述满足第一筛选条件的初始边缘节点、或者所述满足第二筛选条件的候选边缘节点的节点数量小于第一数量阈值的情况下,为所述目标存储域进行边缘节点以及存储单元扩充。
162.可选地,所述目标节点确定模块606,进一步被配置为:
163.在确定所述候选边缘节点的节点数量大于等于第二数量阈值的情况下,根据所述
候选边缘节点的节点当前属性信息、节点当前运行信息以及所述用户属性信息,从所述候选边缘节点中确定目标边缘节点。
164.可选地,所述目标节点确定模块606,进一步被配置为:
165.根据所述候选边缘节点的节点当前属性信息、节点当前运行信息以及所述用户属性信息,确定节点排序策略;
166.根据所述节点排序策略对所述候选边缘节点进行排序,并从排序后的所述候选边缘节点中确定目标边缘节点。
167.可选地,所述数据存储模块608,进一步被配置为:
168.确定所述目标边缘节点中、与所述单元标识对应的目标存储单元,以及所述目标边缘节点中的至少两个引擎集群;
169.根据所述至少两个引擎集群中每个引擎集群的引擎当前运行参数,确定目标引擎集群;
170.根据所述目标引擎集群将所述待写入数据写入所述目标存储单元。
171.可选地,所述数据存储模块608,进一步被配置为:
172.根据所述目标引擎集群将所述待写入数据,通过与所述待写入数据对应的写入方式写入所述目标存储单元。
173.可选地,所述装置,还包括:
174.水位统计模块,被配置为:
175.接收实时水位统计模块发送的所述至少两个初始边缘节点的节点当前运行信息,其中,所述节点当前运行信息包括节点当前带宽、节点每秒查询率、节点当前存储空间。
176.可选地,所述装置,还包括:
177.数据读取模块,被配置为:
178.接收用户发送的数据读取请求,其中,所述数据读取请求中携带有待读取数据的目标存储单元的单元标识以及文件名;
179.根据所述单元标识确定目标存储单元,并根据所述文件名从所述目标存储单元中读取所述待读取数据。
180.本说明书实施例提供的该基于边缘云的数据处理方法,将多个边缘节点的存储资源进行整体管控和调度,在对用户发送的数据写入请求进行处理时,根据该数据写入请求对应的存储域中多个边缘节点的节点属性信息、以及用户属性信息进行全局调度路径规划,选取较优的边缘节点作为目标边缘节点进行数据写入请求处理,实现调度策略全局较优,提升用户使用体验。
181.上述为本实施例的一种基于边缘云的数据处理装置的示意性方案。需要说明的是,该基于边缘云的数据处理装置的技术方案与上述的基于边缘云的数据处理方法的技术方案属于同一构思,基于边缘云的数据处理装置的技术方案未详细描述的细节内容,均可以参见上述基于边缘云的数据处理方法的技术方案的描述。
182.图7示出了根据本说明书一个实施例提供的一种计算设备700的结构框图。该计算设备700的部件包括但不限于存储器710和处理器720。处理器720与存储器710通过总线730相连接,数据库750用于保存数据。
183.计算设备700还包括接入设备740,接入设备740使得计算设备700能够经由一个或
多个网络760通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备740可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(nic))中的一个或多个,诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口,等等。
184.在本说明书的一个实施例中,计算设备700的上述部件以及图7中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图7所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
185.计算设备700可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或pc的静止计算设备。计算设备700还可以是移动式或静止式的服务器。
186.其中,处理器720用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述基于边缘云的数据处理方法的步骤。
187.上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的基于边缘云的数据处理方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述基于边缘云的数据处理方法的技术方案的描述。
188.本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述基于边缘云的数据处理方法的步骤。
189.上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的基于边缘云的数据处理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述基于边缘云的数据处理方法的技术方案的描述。
190.本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述基于边缘云的数据处理方法的步骤。
191.上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的基于边缘云的数据处理方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述基于边缘云的数据处理方法的技术方案的描述。
192.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
193.所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所
述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
194.需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
195.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
196.以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
技术特征:1.一种基于边缘云的数据处理方法,包括:接收用户发送的数据写入请求,其中,所述数据写入请求中携带有待写入数据、用户属性信息以及所述待写入数据对应的目标存储单元的单元标识;根据所述单元标识确定目标存储域,并确定所述目标存储域对应的至少两个初始边缘节点;根据所述至少两个初始边缘节点的节点属性信息以及所述用户属性信息,从所述至少两个初始边缘节点中确定目标边缘节点;确定所述目标边缘节点中、与所述单元标识对应的目标存储单元,并将所述待写入数据写入所述目标存储单元。2.根据权利要求1所述的基于边缘云的数据处理方法,所述根据所述至少两个初始边缘节点的节点属性信息以及所述用户属性信息,从所述至少两个初始边缘节点中确定目标边缘节点,包括:根据所述至少两个初始边缘节点的节点属性信息,从所述至少两个初始边缘节点中确定候选边缘节点,其中,所述节点属性信息包括节点当前状态信息、节点当前属性信息以及节点当前运行信息;根据所述候选边缘节点的节点当前属性信息、节点当前运行信息以及所述用户属性信息,从所述候选边缘节点中确定目标边缘节点。3.根据权利要求2所述的基于边缘云的数据处理方法,所述根据所述至少两个初始边缘节点的节点属性信息,从所述至少两个初始边缘节点中确定候选边缘节点,包括:根据所述至少两个初始边缘节点的节点当前状态信息、节点当前属性信息以及节点当前运行信息,从所述至少两个初始边缘节点中筛选出候选边缘节点。4.根据权利要求2所述的基于边缘云的数据处理方法,所述根据所述至少两个初始边缘节点的节点当前状态信息、节点当前属性信息以及节点当前运行信息,从所述至少两个初始边缘节点中筛选出候选边缘节点,包括:根据所述节点当前属性信息,从所述至少两个初始边缘节点中过滤掉、与所述用户属性信息不匹配的初始边缘节点;根据所述节点当前状态信息,从过滤后的初始边缘节点中,筛选出满足第一筛选条件的初始边缘节点;根据所述节点当前运行信息,从所述满足第一筛选条件的初始边缘节点中,筛选出满足第二筛选条件的候选边缘节点。5.根据权利要求4所述的基于边缘云的数据处理方法,还包括:在确定所述过滤后的初始边缘节点、所述满足第一筛选条件的初始边缘节点、或者所述满足第二筛选条件的候选边缘节点的节点数量小于第一数量阈值的情况下,为所述目标存储域进行边缘节点以及存储单元扩充。6.根据权利要求2所述的基于边缘云的数据处理方法,所述根据所述候选边缘节点的节点当前属性信息、节点当前运行信息以及所述用户属性信息,从所述候选边缘节点中确定目标边缘节点,包括:在确定所述候选边缘节点的节点数量大于等于第一数量阈值的情况下,根据所述候选边缘节点的节点当前属性信息、节点当前运行信息以及所述用户属性信息,从所述候选边
缘节点中确定目标边缘节点。7.根据权利要求6所述的基于边缘云的数据处理方法,所述根据所述候选边缘节点的节点当前属性信息、节点当前运行信息以及所述用户属性信息,从所述候选边缘节点中确定目标边缘节点,包括:根据所述候选边缘节点的节点当前属性信息、节点当前运行信息以及所述用户属性信息,确定节点排序策略;根据所述节点排序策略对所述候选边缘节点进行排序,并从排序后的所述候选边缘节点中确定目标边缘节点。8.根据权利要求1所述的基于边缘云的数据处理方法,所述确定所述目标边缘节点中、与所述单元标识对应的目标存储单元,并将所述待写入数据写入所述目标存储单元,包括:确定所述目标边缘节点中、与所述单元标识对应的目标存储单元,以及所述目标边缘节点中的至少两个引擎集群;根据所述至少两个引擎集群中每个引擎集群的引擎当前运行参数,确定目标引擎集群;根据所述目标引擎集群将所述待写入数据写入所述目标存储单元。9.根据权利要求8所述的基于边缘云的数据处理方法,所述根据所述目标引擎集群将所述待写入数据写入所述目标存储单元,包括:根据所述目标引擎集群将所述待写入数据,通过与所述待写入数据对应的写入方式写入所述目标存储单元。10.根据权利要求1所述的基于边缘云的数据处理方法,还包括:接收实时水位统计模块发送的所述至少两个初始边缘节点的节点当前运行信息,其中,所述节点当前运行信息包括节点当前带宽、节点每秒查询率、节点当前存储空间。11.根据权利要求1或8所述的基于边缘云的数据处理方法,所述将所述待写入数据写入所述目标存储单元之后,还包括:接收用户发送的数据读取请求,其中,所述数据读取请求中携带有待读取数据的目标存储单元的单元标识以及文件名;根据所述单元标识确定目标存储单元,并根据所述文件名从所述目标存储单元中读取所述待读取数据。12.一种基于边缘云的数据处理装置,包括:请求接收模块,被配置为接收用户发送的数据写入请求,其中,所述数据写入请求中携带有待写入数据、用户属性信息以及所述待写入数据对应的目标存储单元的单元标识;初始节点确定模块,被配置为根据所述单元标识确定目标存储域,并确定所述目标存储域对应的至少两个初始边缘节点;目标节点确定模块,被配置为根据所述至少两个初始边缘节点的节点属性信息以及所述用户属性信息,从所述至少两个初始边缘节点中确定目标边缘节点;数据存储模块,被配置为确定所述目标边缘节点中、与所述单元标识对应的目标存储单元,并将所述待写入数据写入所述目标存储单元。13.一种计算设备,包括:存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至11任意一项所述基于边缘云的数据处理方法的步骤。14.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至11任意一项所述基于边缘云的数据处理方法的步骤。
技术总结本说明书实施例提供基于边缘云的数据处理方法及装置,该方法包括接收用户发送的数据写入请求;根据单元标识确定目标存储域,并确定目标存储域对应的至少两个初始边缘节点;根据至少两个初始边缘节点的节点属性信息以及用户属性信息,从至少两个初始边缘节点中确定目标边缘节点;确定目标边缘节点中、与单元标识对应的目标存储单元,并将待写入数据写入所述目标存储单元。该方法将多个边缘节点的存储资源进行整体管控和调度,在对用户发送的数据写入请求进行处理时,根据该数据写入请求对应的存储域中多个边缘节点的节点属性信息、以及用户属性信息进行全局调度路径规划,实现调度策略全局较优,提升用户使用体验。提升用户使用体验。提升用户使用体验。
技术研发人员:肖文鹏
受保护的技术使用者:阿里巴巴(中国)有限公司
技术研发日:2022.07.04
技术公布日:2022/11/1