一种数据迁移方法及装置与流程

专利2023-02-18  93



1.本技术涉及数据管理技术领域,特别涉及一种数据迁移方法及装置。


背景技术:

2.由于云服务的蓬勃发展,越来越多的个人和企业都选择将数据迁移到云中进行存储。为了满足用户数据上云的需求,各大云服务厂商都提供了相应的数据迁移设备。目前的数据迁移设备的规格都是设定好的,不同的规格的数据迁移设备的资费不相同。为了保证数据迁移的效率,用户一般都会选择较大规格的数据迁移设备,以保证进行数据迁移的上游设备的下游设备的读写效率。
3.但是由于用户业务是不断变化的,在一些时间内,用户业务量会比较小,从而导致上游设备中需要进行迁移的数据量会比较小。因此数据迁移设备从上游设备读取的数据的速度就会下降,但是下游设备可承受的写入数据的能力不变,从而导致数据迁移通道空闲,资源浪费。同理,在业务量较大的时间段,若数据迁移设备的规格小,导致数据迁移通道拥塞,会出现数据积压的问题。


技术实现要素:

4.本技术实施例提供了一种数据迁移方法及装置,均衡了进行数据迁移的上游设备和下游设备之间的数据传输速率,解决了现有的数据迁移技术出现的数据堆积以及资源浪费等问题。
5.第一方面,本技术提供了一种数据迁移方法,所述数据迁移为数据从上游设备迁移至下游设备,所述方法包括:
6.统计设定时间段内的数据输出状态;所述数据输出状态用于表征所述上游设备输出数据的速度变化情况;
7.根据所述数据输出状态与预设状态的偏差,调整所述下游设备输入数据的速度;
8.根据调整后的所述下游设备输入数据的速度,进行数据迁移。
9.在一些实施例中,所述根据所述数据输出状态与预设状态的偏差,调整所述下游设备输入数据的速度,包括:
10.在所述偏差达到设定阈值时,根据统计得到的设定时间段内所述上游设备输出数据的速度,调整所述下游设备输入数据的速度。
11.在一些实施例中,所述统计设定时间段内的数据输出状态,包括:
12.在所述设定时间段内,每间隔预设周期获取一次所述上游设备输出数据的速度;
13.根据所述设定时间段内获取到的所述上游设备输出数据的速度,确定所述数据输出状态。
14.在一些实施例中,采用如下公式确定所述数据输出状态:
15.16.其中,u为所述数据输出状态,n为所述设定时间段内获取的所述上游设备输出数据的速度的数量,vi为获取到的第i个所述上游设备输出数据的速度,v
i-1
为获取到的第i-1个所述上游设备输出数据的速度。
17.第二方面,本技术一种数据迁移装置,所述数据迁移为数据从上游设备迁移至下游设备,所述装置包括:
18.统计单元,用于统计设定时间段内的数据输出状态;所述数据输出状态用于表征所述上游设备输出数据的速度变化情况;
19.处理单元,被配置为执行:
20.根据所述数据输出状态与预设状态的偏差,调整所述下游设备输入数据的速度;
21.根据调整后的所述下游设备输入数据的速度,进行数据迁移。
22.在一些实施例中,所述处理单元,具体用于:
23.在所述偏差达到设定阈值时,根据统计得到的设定时间段内所述上游设备输出数据的速度,调整所述下游设备输入数据的速度。
24.在一些实施例中,所述统计单元,具体用于:
25.在所述设定时间段内,每间隔预设周期获取一次所述上游设备输出数据的速度;
26.根据所述设定时间段内获取到的所述上游设备输出数据的速度,确定所述数据输出状态。
27.在一些实施例中,所述统计单元,采用如下公式确定所述数据输出状态:
[0028][0029]
其中,u为所述数据输出状态,n为所述设定时间段内获取的所述上游设备输出数据的速度的数量,vi为获取到的第i个所述上游设备输出数据的速度,v
i-1
为获取到的第i-1个所述上游设备输出数据的速度。
[0030]
第三方面,提供了一种电子设备,所述电子设备包括控制器和存储器。存储器用于存储计算机执行指令,控制器执行存储器中的计算机执行指令以利用控制器中的硬件资源执行第一方面任一种可能实现的方法的操作步骤。
[0031]
第四方面,提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面的方法。
[0032]
本技术提出了获取进行数据迁移的上游设备输出数据的速度的变化情况,通过变化情况判断上游设备是否存在数据骤增或者骤减的现象,并基于判断的结果调整向下游设备输入数据的速度,从而实现上下游设备数据的流速同步,避免出现数据堆积或者资源浪费等问题。
附图说明
[0033]
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0034]
图1为本技术实施例提供的一种数据迁移设备的结构示意图;
[0035]
图2为本技术实施例提供的一种数据迁移的场景示意图;
[0036]
图3为本技术实施例提供的一种数据迁移方法流程示意图;
[0037]
图4为本技术实施例提供的另一种数据迁移方法流程示意图;
[0038]
图5为本技术实施例提供的一种数据迁移装置的结构示意图;
[0039]
图6为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
[0040]
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
[0041]
需要说明的是,本技术中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应所述理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
[0042]
数据迁移指的是将数据在设备之间或者在计算平台之间进行迁移,为了便于理解数据迁移的过程,将数据迁出的设备简称为上游设备,将数据迁入的设备简称为下游设备。数据迁移的过程可以由数据迁移设备来实现,数据迁移设备可以从上游设备中读取待迁移数据,然后将读取到的待迁移数据写入到下游设备中,从而实现待迁移数据从上游设备迁移至下游设备。可选地,数据迁移设备为部署在任意一个具有计算资源的处理芯片或者处理器上的软件,也可以为硬件设备。
[0043]
本技术中将数据迁移设备看作是一种具有计算资源的硬件设备,作为一种示例,参见图1,为本技术实施例提供的一种数据迁移设备的结构示意图。图1中示出的数据迁移设备中包括核心配置集群和管理控制台,核心配置集群中包括至少一个工作节点,各个工作节点之间信息共享,可以实现工作节点之间的高可用切换。已知数据迁移可以分为两个阶段:全量数据迁移和增量数据迁移。全量数据迁移由管理控制台来实现的,在数据迁移设备部署之初,将用户当前全部的待迁移数据进行迁移。增量数据迁移是由核心配置集群中包括至少一个工作节点来实现的,将上游设备进行业务的产生的数据进行迁移。无论是全量数据的迁移还是增量数据的迁移,具体的过程均为:根据配置的上游设备的地址,读取上游设备中的待迁移数据,将读取到的待迁移数据进行压缩以及加密传输至下游设备。
[0044]
目前,数据迁移技术应用的越来越广泛,各大厂商在提供数据迁移服务时,一般会设定特定规格,也就是说,在迁移过程中下游设备输入数据的速度是不变的。但是,由于用户业务是不断变化的,存在业务高峰期和低谷期。如果为了保障数据迁移效率,选择规格较大的数据迁移设备,那么在业务低谷期时,下游设备的数据输入通道会空闲,浪费资源。如果为了降低成本,选择规格较小的数据迁移设备,那么在业务高峰期时,上游设备输出的数据较多,下游设备接收数据的效率不高,会出现数据堆积的问题。
[0045]
为了解决这种问题,本技术实施例提供了一种数据迁移方法及装置,统计设定时间段内的上游设备输出数据速度的变化情况,在确定上游设备输出数据的速度变化较大时,根据上游设备输出数据的速度调整下游设备输入数据的速度,避免出现资源浪费和数据堆积的问题。
[0046]
为了便于理解本技术提出的数据迁移方案,首先对本技术的应用场景进行介绍,参见图2,为本技术提供的一种数据迁移的场景示意图。应理解,本技术实施例并不限于图2所示的场景中,此外,图2中的装置可以是硬件,也可以是从功能上划分的软件,或者以上二者结合后的结构。图2所示的场景示意图中包括代理组件、数据迁移设备、上游设备和下游设备。
[0047]
其中,进行数据迁移的上游设备和下游设备可以为具体的硬件设备,也可以为云端的计算平台。
[0048]
可选地,关于数据迁移设备的介绍可以参见上述实施例,主要用于读取上游设备的数据,以及用于将读取的数据写入下游设备。
[0049]
图2中示出的代理组件用于根据上游设备的数据传输的速度的变化情况,调整下游设备的数据输入速度,即代理组件用于执行本技术提出的数据迁移方法。可选地,代理组件的功能可以由部署在任一硬件设备中的软件来实现,或者,代理组件可以为单独的处理器或者处理芯片等。需要知道的是,图2仅作为一种示例,代理组件还可以集成在数据迁移设备中,图2中示例性地展示了数据迁移设备和代理组件为两个不同的设备。为了便于描述,后续依然以代理组件作为一个单独的硬件设备为例进行介绍。
[0050]
需要说明的是,本技术对于数据前以场景中包括的上游设备、下游设备、数据迁移设备和代理组件的数量不作具体限定,比如数据迁移设备和代理组件可以同时实现多组上游设备和下游设备之间的数据迁移。本技术对于上游设备、下游设备、代理组件和数据迁移设备的具体实现方式也不做限定,比如可以为处理芯片、处理器或者其他具有计算资源的电子设备、服务器或者服务器集群等,也可以为多个计算平台的集合。
[0051]
下面,结合图2所示的场景图对本技术提出的数据迁移方法进行介绍。本技术下述实施例中,“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b的情况,其中a,b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。以及,除非有相反的说明,本技术实施例提及“第一”、“第二”等序数词是用于对多个对象进行区分,不用于限定多个对象的顺序、时序、优先级或者重要程度。例如,第一任务执行设备和第二任务执行设备,只是为了区分不同的任务执行设备,而并不是表示这两种任务执行设备的优先级或者重要程度等的不同。
[0052]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
[0053]
下面,具体介绍本技术提供的方案,参见图3,为本技术实施例提供的一种数据迁移方法流程图。可选地,该方法流程可以由代理组件来执行。该方法流程具体包括:
[0054]
301,统计设定时间段内的数据输出状态。
[0055]
其中,数据输出状态用于表征上游设备输出数据的速度的变化情况。上游设备输出数据的速度变化大,说明发生了待迁移的数据量骤增或者骤减的情况。
[0056]
可选地,可以通过统计设定时间段内的上游设备输出数据的速度,根据统计到的多个速度确定数据输出状态。
[0057]
302,根据数据输出状态与预设状态之间的偏差,调整下游设备输入数据的速度。
[0058]
可选地,可以通过具体的数据来表征数据输出状态和预设状态,从而在确定数据输出状态和预设状态之间的偏差时,可以通过数据之间的差值来表征偏差。
[0059]
在一种可能实现的方式中,在需要进行调整下游设备输入数据的速度时,可以基于上游设备输出数据的速度来调整下游设备输入数据的速度,使得上下游数据流速同步。
[0060]
303,根据调整后的下游设备输入数据的速度,进行数据迁移。
[0061]
可选地,由于上游设备输出数据的量和输出数据的速度是由具体的业务量确定的,因此无法改变上游设备输出数据的速度。可以将从上游设备读取到的待迁移数据,以调整后的速度写入到下游设备中,实现上下游设备之间的数据迁移。
[0062]
基于上述方案,本技术提出了获取进行数据迁移的上游设备输出数据的速度的变化情况,通过变化情况判断上游设备是否存在数据骤增或者骤减的现象,并基于判断的结果调整向下游设备输入数据的速度,从而实现上下游设备数据的流速同步,避免出现数据堆积或者资源浪费等问题。
[0063]
在一些实施例中,代理组件可以在数据迁移设备启动数据迁移时,开始统计上游设备数据输出的状态。一种可能实现的方式中,代理组件可以在设定时间段内,每间隔预设周期获取一次上游设备输出数据的速度。比如可以在1分钟内,每间隔10秒获取一次上游设备输出数据的速度,共获取6个速度值。进一步地,代理组件可以根据获取到的上游设备输出数据的速度,确定数据输出状态。已知数据输出状态用于表征上游设备输出数据的速度的变化情况,可选地,代理组件可以基于获取到的速度计算速度的变化率,采用速度的变化率表征数据输出状态。
[0064]
可选地,在获取到数据输出状态之后,可以对比数据输出状态和预设状态的偏差,并根据偏差调整下游设备输入数据的速度。
[0065]
在一种可能实现的方式中,代理组件可以在偏差达到设定阈值时,根据统计得到的设定时间段内上游设备输出数据的速度,调整下游设备输入数据的速度。举例来说,可以将设定阈值设置为30%,在计算得到的偏差大于30%时,则获取统计得到的设定时间段内上游设备输出数据的速度,并据此调整下游设备输入数据的速度。比如获取到的设定时间段内上游设备输出数据的速度分别为:3bp/s、4bp/s、3bp/s、10bp/s、20bp/s和50bp/s,则可以计算这些获取到的速度的平均值(本技术对于计算平均值的方式不作限定,比如可以计算加权平均值或者算数平均值等),将计算得到的速度平均值作为调整后的下游设备输入数据的速度。
[0066]
一种可能实现的方式中,代理组件可以执行上述步骤确定调整后的下游设备输入数据的速度,将确定的速度发送给数据迁移设备,由数据迁移设备根据调整后的下游设备输入数据的速度向下游设备传输数据。另一种可能实现的方式中,代理组件可以将获取到的上游设备的数据输出状态发送给数据迁移设备,由数据迁移设备执行判断状态和调整下
游设备输入数据的速度的步骤。
[0067]
为了更进一步地理解本技术提出的数据迁移方法,下面结合具体地示例进行介绍。
[0068]
可选地,代理组件可以在启动数据迁移时,通过上游设备的地址获取上游设备输出数据的速度。比如,可以预先设定获取速度的周期,在一段时间内,每间隔预设周期获取一次上游设备输出数据的速度。示例性地,为了便于分析,可以采用向量的方式表示获取到的速度以及获取速度的时间,比如可以表示为v(t,us),其中,t为获取速度的时间,us为获取到的速度。
[0069]
在一些实施例中,在获取到上游设备输出数据的速度之后,代理组件可以根据获取到的速度生成上游设备的数据输出状态。作为一种示例,可以采用如下公式(1)确定数据输出状态:
[0070][0071]
其中,u为数据输出状态,n为设定时间段内获取的上游设备输出数据的速度的数量,vi为获取到的第i个上游设备输出数据的速度,v
i-1
为获取到的第i-1个上游设备输出数据的速度。
[0072]
进一步地,代理组件可以对比计算出的数据输出状态和预设状态之间的偏差。若偏差达到设定阈值,说明上游设备数据传输的速度变化较大,则可以根据上游设备输出数据的速度,调整下游设备输入数据的速度。举例来说,若计算得到的数据输出状态与预设状态的偏差达到了30%,这可以指示调整向下游设备输入数据的速度,以保证上下游设备传输数据的压力均衡,避免数据积压等问题。
[0073]
在一些场景下,在数据迁移设备进行全量数据迁移时,代理组件还可以同时获取上游设备和下游设备的数据传输状态,并采用上述实施例中介绍的速度调整方法,根据上游设备的数据输出状态调整下游设备输入数据的速度,以及根据下游设备的数据输入状态调整上游设备输出数据的速度。
[0074]
下面,为了更进一步理解本技术提出的方案,结合代理组件中的各个处理模块对方案进行具体介绍。可选地,代理组件中可以包括:获取模块、分析模块、控制模块。需要说明的是,上述代理组件中包括的各个模块是从功能上进行划分得到的,还可以采用其他的模块划分方式,本技术对于代理组件中包括的模块的数量和划分方式均不作具体限定。
[0075]
可选地,获取模块中可以配置有上游设备和校友设备的ip地址,通过ip地址获取模块可以获取到上游设备和下游设备传输数据的状态。控制模块中可以配置有数据迁移设备的ip地址,用于控制模块将分析模块计算出的上下游设备传输数据的速度指示给数据迁移设备。下面,结合具体的实施例对各个模块实现的功能进行具体介绍。参见图4,为本技术实施例提供的一种数据迁移方法流程图,具体包括:
[0076]
401,获取模块在设定时间段内每间隔预设周期获取一次上游设备输出数据的速度。
[0077]
402,获取模块将获取到的各个速度以及获取各个速度的时间传输至分析模块。
[0078]
403,分析模块根据来自获取模块的各个速度计算上游设备输出数据的速度的变化率。
[0079]
404,分析模块判断变化率与预设值之间的差值是否大于设定阈值。
[0080]
若不大于,则返回执行步骤401。
[0081]
若大于,则继续执行步骤405。
[0082]
405,分析模块根据计算获取模块的各个速度的平均值,并将所述平均值发送至控制模块。
[0083]
406,控制模块向数据迁移设备发送用于指示调整下游设备输入数据速度的指令。
[0084]
其中,所述指令中携带来自分析模块的平均值,所述指令用于指示数据迁移设备采用所述平均值作为向下游设备输入数据的速度。
[0085]
一些实施例中,上述图4中的步骤404-步骤406还可以由数据迁移设备来执行。例如,分析模块计算出上游设备输出数据的速度的变化率之后,可以将变化率发送给控制模块。控制模块在接收到变化率时可以根据自身配置的数据迁移设备的ip地址将变化率传输给数据迁移设备,由数据迁移设备执行上述步骤404-步骤406。
[0086]
基于与上述方法的同一构思,参见图5,为本技术实施例提供的一种用于实现数据迁移方法的装置500。装置500用以执行上述方法钟的各个步骤,为了避免重复,此处不再进行赘述。装置500包括:统计单元501和处理单元502。
[0087]
统计单元501,用于统计设定时间段内的数据输出状态;所述数据输出状态用于表征所述上游设备输出数据的速度变化情况;
[0088]
处理单元502,被配置为执行:
[0089]
根据所述数据输出状态与预设状态的偏差,调整所述下游设备输入数据的速度;
[0090]
根据调整后的所述下游设备输入数据的速度,进行数据迁移。
[0091]
在一些实施例中,所述处理单元502,具体用于:
[0092]
在所述偏差达到设定阈值时,根据统计得到的设定时间段内所述上游设备输出数据的速度,调整所述下游设备输入数据的速度。
[0093]
在一些实施例中,所述统计单元501,具体用于:
[0094]
在所述设定时间段内,每间隔预设周期获取一次所述上游设备输出数据的速度;
[0095]
根据所述设定时间段内获取到的所述上游设备输出数据的速度,确定所述数据输出状态。
[0096]
在一些实施例中,所述统计单元501,采用如下公式确定所述数据输出状态:
[0097][0098]
其中,u为所述数据输出状态,n为所述设定时间段内获取的所述上游设备输出数据的速度的数量,vi为获取到的第i个所述上游设备输出数据的速度,v
i-1
为获取到的第i-1个所述上游设备输出数据的速度。
[0099]
图6示出了本技术实施例提供的电子设备600结构示意图。本技术实施例中的电子设备600还可以包括通信接口603,该通信接口603例如是网口,电子设备可以通过该通信接口603传输数据。
[0100]
在本技术实施例中,存储器602存储有可被至少一个控制器601执行的指令,至少一个控制器601通过执行存储器602存储的指令,可以用于执行上述方法中的各个步骤,例如,控制器601可以实现上述图5中的统计单元501和处理单元502的功能。
[0101]
其中,控制器601是电子设备的控制中心,可以利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器602内的指令以及调用存储在存储器602内的数据。可选的,控制器601可包括一个或多个处理单元,控制器601可集成应用控制器和调制解调控制器,其中,应用控制器主要处理操作系统和应用程序等,调制解调控制器主要处理无线通信。可以理解的是,上述调制解调控制器也可以不集成到控制器601中。在一些实施例中,控制器601和存储器602可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
[0102]
控制器601可以是通用控制器,例如中央控制器(英文:central processing unit,简称:cpu)、数字信号控制器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本技术实施例中公开的各方法、步骤及逻辑框图。通用控制器可以是微控制器或者任何常规的控制器等。结合本技术实施例所公开的数据统计平台所执行的步骤可以直接由硬件控制器执行完成,或者用控制器中的硬件及软件模块组合执行完成。
[0103]
存储器602作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器602可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(英文:random access memory,简称:ram)、静态随机访问存储器(英文:static random access memory,简称:sram)、可编程只读存储器(英文:programmable read only memory,简称:prom)、只读存储器(英文:read only memory,简称:rom)、带电可擦除可编程只读存储器(英文:electrically erasable programmable read-only memory,简称:eeprom)、磁性存储器、磁盘、光盘等等。存储器602是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本技术实施例中的存储器602还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
[0104]
通过对控制器601进行设计编程,例如,可以将前述实施例中介绍的神经网络模型的训练方法所对应的代码固化到芯片内,从而使芯片在运行时能够执行前述的神经网络模型训练方法的步骤,如何对控制器601进行设计编程为本领域技术人员所公知的技术,这里不再赘述。
[0105]
本领域内的技术人员应明白,本技术的实施例可提供为方法、系统、或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0106]
本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的控制器以产生一个机器,使得通过计算机或其它可编程数据处理设备的控制器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0107]
这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特
定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0108]
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0109]
尽管已描述了本技术的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0110]
显然,本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样,倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内,则本技术也意图包含这些改动和变型在内。

技术特征:
1.一种数据迁移方法,其特征在于,所述数据迁移为数据从上游设备迁移至下游设备,所述方法包括:统计设定时间段内的数据输出状态;所述数据输出状态用于表征所述上游设备输出数据的速度变化情况;根据所述数据输出状态与预设状态的偏差,调整所述下游设备输入数据的速度;根据调整后的所述下游设备输入数据的速度,进行数据迁移。2.根据权利要求1所述的方法,其特征在于,所述根据所述数据输出状态与预设状态的偏差,调整所述下游设备输入数据的速度,包括:在所述偏差达到设定阈值时,根据统计得到的设定时间段内所述上游设备输出数据的速度,调整所述下游设备输入数据的速度。3.根据权利要求1或2所述的方法,其特征在于,所述统计设定时间段内的数据输出状态,包括:在所述设定时间段内,每间隔预设周期获取一次所述上游设备输出数据的速度;根据所述设定时间段内获取到的所述上游设备输出数据的速度,确定所述数据输出状态。4.根据权利要求3所述的方法,其特征在于,采用如下公式确定所述数据输出状态:其中,u为所述数据输出状态,n为所述设定时间段内获取的所述上游设备输出数据的速度的数量,v
i
为获取到的第i个所述上游设备输出数据的速度,v
i-1
为获取到的第i-1个所述上游设备输出数据的速度。5.一种数据迁移装置,其特征在于,所述数据迁移为数据从上游设备迁移至下游设备,所述装置包括:统计单元,用于统计设定时间段内的数据输出状态;所述数据输出状态用于表征所述上游设备输出数据的速度变化情况;处理单元,被配置为执行:根据所述数据输出状态与预设状态的偏差,调整所述下游设备输入数据的速度;根据调整后的所述下游设备输入数据的速度,进行数据迁移。6.根据权利要求5所述的装置,其特征在于,所述处理单元,具体用于:在所述偏差达到设定阈值时,根据统计得到的设定时间段内所述上游设备输出数据的速度,调整所述下游设备输入数据的速度。7.根据权利要求5或6所述的装置,其特征在于,所述统计单元,具体用于:在所述设定时间段内,每间隔预设周期获取一次所述上游设备输出数据的速度;根据所述设定时间段内获取到的所述上游设备输出数据的速度,确定所述数据输出状态。8.根据权利要求7所述的装置,其特征在于,所述统计单元,采用如下公式确定所述数据输出状态:
其中,u为所述数据输出状态,n为所述设定时间段内获取的所述上游设备输出数据的速度的数量,v
i
为获取到的第i个所述上游设备输出数据的速度,v
i-1
为获取到的第i-1个所述上游设备输出数据的速度。9.一种电子设备,其特征在于,包括:存储器,用于存储计算机指令;控制器,与所述存储器连接,用于执行所述存储器中的计算机指令,且在执行所述计算机指令时实现如权利要求1~4中任一项所述的方法。10.一种计算机可读存储介质,其特征在于,包括:所述计算机可读存储介质存储有计算机指令,当所述计算机指令在计算机上运行时,使得所述计算机执行如权利要求1~4中任一项所述的方法。

技术总结
本申请公开了一种数据迁移方法及装置,均衡了进行数据迁移的上游设备和下游设备之间的数据传输速率,解决了现有的数据迁移技术出现的数据堆积以及资源浪费等问题。该方法包括:统计设定时间段内的数据输出状态;数据输出状态用于表征上游设备输出数据的速度变化情况;根据数据输出状态与预设状态的偏差,调整下游设备输入数据的速度;根据调整后的下游设备输入数据的速度,进行数据迁移。进行数据迁移。进行数据迁移。


技术研发人员:吴远昌
受保护的技术使用者:天翼云科技有限公司
技术研发日:2022.07.26
技术公布日:2022/11/1
转载请注明原文地址: https://tieba.8miu.com/read-1028.html

最新回复(0)