数据处理方法、装置及计算机设备与流程

专利2023-01-09  109



1.本技术主要涉及信息技术领域,更具体地说是涉及一种数据处理方法、装置及计算机设备。


背景技术:

2.消息中间件(message queue,mq,也称为消息队列)凭借低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能,已逐渐成为企业系统内部通信的核心手段。
3.基于此,在跨系统的同步场景下,各数据源系统调用消息中间件,将产生的待处理数据发送到消息中间件上缓存,等待各数据处理者通过监听消息中间件,顺序读取所缓存的数据。但受限于消息中间件遵循的这种先进先出的数据顺序处理规则,这种系统架构无法满足紧急重要数据的快速响应需求。


技术实现要素:

4.有鉴于此,本技术提出了一种数据处理方法,所述方法包括:
5.获得待发送至消息中间件的待处理数据,以及所述待处理数据的特征标识;
6.响应数据调度请求,依据所述特征标识以及预设的优先级调度规则,确定多个所述待处理数据的传输优先级;
7.依据多个所述待处理数据的传输优先级,向所述消息中间件发送所述待处理数据。
8.可选的,所述依据所述特征标识以及预设的优先级调度规则,确定多个所述待处理数据的传输优先级,包括:
9.调取与所述特征标识相关联的优先级调度规则;
10.依据所调取的所述优先级调度规则,确定具有所关联的所述特征标识的多个所述待处理数据各自的传输优先级。
11.可选的,所述调取与所述特征标识相关联的优先级调度规则,包括:
12.按照不同特征标识与不同优先级调度规则之间的对应关系,调取所述特征标识对应的优先级调度规则;或者,
13.依据所述特征标识,确定所述待处理数据的目标数据类型;
14.按照不同数据类型与不同优先级调度规则之间的对应关系,调取所述目标数据类型对应的。
15.可选的,所述依据多个所述待处理数据的传输优先级,向所述消息中间件发送所述待处理数据,包括:
16.确定与所述特征标识相关联的数据调度频率;所述特征标识能够表征具有该特征标识的待处理数据所属的数据类型;
17.依据关联同一所述特征标识的所述数据调度频率和所述待处理数据的传输优先级,将具有该特征标识的待处理数据发送至消息中间件。
18.可选的,所述确定与所述特征标识相关联的数据调度频率,包括:
19.检测是否存在与所述特征标识相关联的历史调度信息;所述历史调度信息是在响应针对属于具有所述特征标识的历史待处理数据的历史数据调度请求而生成的;
20.如果存在,将所述历史调度信息包含的历史调度频率确定为数据调度频率;
21.如果不存在,基于调度频率计算规则,对预设时长内获得的与所述特征标识相关联的多个所述待处理数据进行处理,得到与所述特征标识相关联的数据调度频率。
22.可选的,所述基于调度频率计算规则,对预设时长内获得的与所述特征标识相关联的多个所述待处理数据进行处理,得到与所述特征标识相关联的数据调度频率,包括:
23.确定与所述特征标识相关联的预设时长,以及在所述预设时长内的预设个数参照分析时间;
24.在所述预设时长内获得与特征标识相关联的所述待处理数据过程中,获取所述预设个数参照分析时间内各自获得该待处理数据的单位时间增长量;
25.利用获取的预设个数的所述单位时间增长量以及所述预设个数,得到在所述预设时长内获得该待处理数据的单位时间增长量达到最大增长量的增长时间;
26.将所述增长时间确定为相邻两次数据调度的时间间隔,得到与所述特征标识相关联的数据调度频率。
27.可选的,在不存在与所述特征标识相关联的历史调度信息的情况下,所述依据关联同一所述特征标识的所述数据调度频率和所述待处理数据的传输优先级,将具有该特征标识的待处理数据发送至消息中间件,包括:
28.依据与所述特征标识相关联的所述待处理数据的传输优先级,确定具有该特征标识的多个所述待处理数据的传输顺序;
29.在所述预设时长后,按照与同一所述特征标识相关联的数据调度频率以及所述传输顺序,将对应的所述待处理数据发送至消息中间件。
30.可选的,所述方法还包括:
31.输出数据处理界面,在所述数据处理界面内呈现多个功能触发区域以及功能展示区域;所述多个功能触发区域包括数据标注区域、优先级调度区域以及监控区域之中的至少一个;
32.响应于对所述数据标注区域的触发操作,对获得的所述待处理数据进行特征提取,将所得到的所述待处理数据的特征标识呈现于所述功能展示区域;和/或,
33.响应于对所述优先级调度区域的触发操作,在所述功能展示区域呈现优先级调度界面;
34.响应于在所述优先级调度界面的优先级脚本配置操作,得到不同数据类型对应的优先级调度规则;所述优先级脚本配置操作基于对应数据类型的数据处理要求执行;和/或,
35.响应于对所述监控区域的触发操作,在所述功能展示区域内呈现将获得的不同数据类型的待处理数据发送至所述消息中间件的数据调度过程。
36.本技术还提出了一种数据处理装置,所述装置包括:
37.数据获得模块,用于获得待发送至消息中间件的待处理数据,以及所述待处理数据的特征标识;
38.传输优先级确定模块,用于响应数据调度请求,依据所述特征标识以及预设的优先级调度规则,确定多个所述待处理数据的传输优先级;
39.数据传输模块,用于依据多个所述待处理数据的所述传输优先级,向所述消息中间件发送所述待处理数据。
40.本技术还提出了一种计算机设备,所述计算机设备包括:
41.多个通信接口,用于分别与消息中间件和至少一个数据源系统通信连接,以实现所述数据源系统与所述消息中间件之间的待处理数据的传输;
42.存储器,用于存储实现如上述的数据处理方法的程序,以及来自所述数据源系统的待处理数据;
43.处理器,用于加载执行所述存储器存储的所述程序,以实现如上述的数据处理方法。
44.由此可见,本技术提供了一种数据处理方法、装置及计算机设备,将在各数据源系统和消息中间件之间部署计算机设备,对于各数据源系统输出的待处理数据,先发送至计算机设备存储,由计算机设备获得各待处理数据的特征标识,这样,为了将业务所需的某些待处理数据优先发送至消息中间件,可以响应对应的数据调度请求,依据待处理数据的特征标识以及预设的优先级调度规则,确定所存储的多个待处理数据的传输优先级,从而据此将这多个待处理数据发送至消息中间件,无需改变消息中间件以及数据源系统原有配置,即可快速且高效地将业务所需的某些待处理数据发布至消息中间件,以使得执行该业务的数据处理者能够及时从中读取所需的待处理数据,提高数据处理效率。
附图说明
45.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
46.图1为适用于本技术提出的数据处理方法的应用环境下的一可选系统架构示意图;
47.图2为本技术提出的计算机设备的一可选示例的硬件结构示意图;
48.图3为本技术提出的数据处理方法的一可选示例的流程示意图;
49.图4为本技术提出的数据处理方法的又一可选示例的流程示意图;
50.图5为本技术提出的数据处理方法的又一可选示例的流程示意图;
51.图6为本技术提出的数据处理方法的又一可选示例的流程示意图;
52.图7为本技术提出的数据处理方法的又一可选示例的流程示意图;
53.图8为本技术提出的数据处理方法中的一可选数据处理界面示意图;
54.图9为本技术提出的数据处理装置的一可选示例的结构示意图。
具体实施方式
55.针对背景技术部分的描述,提出构建不同优先级的多种类型的主题topic,这样,针对紧急重要数据的快速响应需求,可以提高其所属topic的优先级,数据处理者就可以优
先监听到该最高优先级的topic,优先处理消息中间件中属于该topic的各待处理数据,直至消息中间件中不存在该topic的待处理数据,再处理较低优先级的topic对应的各待处理数据。但这种数据处理方式需要基于应用场景的业务处理需求,构建多种类型的topic,增加了系统管理难度,且在数据处理过程中,若高优先级的topic一直有待处理数据,就无法处理其他低优先级topic的各待处理数据,很难满足业务处理需求。
56.为了改善上述问题,提出挂载基于内存的重新排序器,以在数据发布者和数据处理者之间引入一个服务,在重新排序器内部缓冲区所缓存的待处理数据满足缓存条件(如数据量达到预设容量,或缓存时间达到最大等待时间),按照所确定的kafka(一种高吞吐量的分布式发布订阅消息系统)主题的优先级,基于字符串方式对所缓存的这一组待处理数据进行排序后再发布,以优先处理排序靠前的业务所需的紧急重要数据。
57.然而,在使用重新排序器进行数据处理过程中,其缓冲区所缓存的待处理数据满足缓存条件后,才会按照业务处理需求对其进行排序和发布,很容易导致数据处理者接收待处理数据时出现延迟问题,对此可以通过最大化该重新排序器的缓冲区容量大小,在一定程度上减少超时问题,但由于缓存数据吞吐量这一不确定因素也会影响处理效率,导致无法有效解决使用重新排序器进行数据处理的延迟问题,降低了数据处理效率。
58.对于上述问题,本技术进一步提出在不改变现有消息中间件设置,以及数据生产者(数据源系统)原有数据发送程序的情况下,在各数据源系统和消息中间件之间配置一个优先级调度设备,用于缓存各数据源系统产生的待处理数据,并预先构建满足实际业务处理需求的优先级调度规则,从而利用待处理数据的特征标识以及该优先级调度规则,调整所缓存的多个待处理数据的传输优先级(即向消息中间件传输待处理数据的传输顺序),得到这多个待处理数据的满足实际业务处理需求的优先级标识,即确定所缓存的多个待处理数据的满足实际业务处理需求的传输顺序,按照新确定的传输顺序将这多个待处理数据发送至消息中间件,从而使得业务急需的待处理数据可以第一时间发送至数据处理者,大大提高了数据处理效率。
59.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
60.参照图1,为适用于本技术提出的数据处理方法的应用环境下的一可选系统架构示意图,如图1所示,该系统可以包括至少一个数据源系统110、消息中间件120,以及分别与该数据源系统110和消息中间件120通信连接的计算机设备130,其中:
61.数据源系统110可以是产生待处理数据的业务系统,如crm(customer relationship management,客户关系管理)系统、ecc(enterprises command center,企业监控中心)系统,或其他业务系统等,本技术对业务系统类型及其结构不做限制,可视情而定。
62.消息中间件(message queue,mq,也称为消息队列)120可以用于缓存各数据源系统110产生的待处理数据,等待客户端(即数据处理者)监听处理,避免数据丢失,缓解数据源系统与数据处理者之间的数据处理压力。在实际应用中,可以依据应用需求,灵活选择使用如kafka、rabbitmq、zeromq、activemq等类型消息中间型进行数据缓存,本技术对消息中
间件数量及其类型不做限制,本技术在此对各类型消息中间件自身结构及其工作原理不做详述。
63.计算机设备130可以是上文描述的优先级调度设备,其可以作为独立的设备存在,也可以作为一个自定义组件,集成在系统中某一设备中,以实现本技术提出的数据处理方法,实现过程可以参照下文方法实施例对应部分描述。
64.在本技术实际应用中,计算机设备130可以提供通信接口给各数据源系统调用,接收各数据源系统产生的待处理数据(如各业务系统产生的业务数据等)进行缓存,这样,在某一数据处理者需要先读取某一类或若干待处理数据的情况下,需要先将该待处理数据发送至消息中间件,以便后续能够按照队列先入先出的特点,使得数据处理者能够尽快获得所需的待处理数据。因此,计算机设备130可以是具有一定数据处理能力和数据存储空间的设备,本技术对该计算机设备130的设备类型不做限制,可视情而定。
65.在一些实施例中,如图2所示,为本技术提出的计算机设备的一可选示例的硬件结构示意图,该计算机设备可以包括:多个通信接口131、至少一个存储器132以及至少一个处理器133,其中:
66.多个通信接口131可以用于分别与消息中间件120和至少一个数据源系统110通信连接,以实现数据源系统110与消息中间件120之间的待处理数据的传输,本技术对系统的各组成设备之间的通信连接方式不做限制,可视情况而定。
67.在实际应用中,上述通信接口131可以包括能够利用无线通信网络实现数据交互的通信模块的数据接口,如wifi模块、5g/6g(第五代移动通信网络/第六代移动通信网络)模块、gprs模块等通信模块的数据接口;还可以包括api(application programinterface,应用程序编程接口)等应用调用接口,以供数据源系统通过调用该api接口,将所产生的待处理数据发送至计算机设备,由计算机设备可以执行本技术提出的数据处理方法。此外,上述通信接口131还可以包括如usb接口、串/并口等实现计算机设备内部数据交互的通信接口等,可以依据应用需求确定,本技术在此不做一一举例详述。
68.存储器132可以用于存储实现下文各方法实施例描述的数据处理方法的程序,以及来自各数据源系统110的待处理数据;处理器133可以加载并执行存储器存储的该程序,以实现下文相应方法实施例描述的数据处理方法的各个步骤,具体实现过程可以参照下文实施例相应部分的描述,本实施例在此不做详述。
69.本技术实施例中,存储器132可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件或其他易失性固态存储器件等。为了实现对来自各数据源系统的待处理数据的持久化存储,该存储器132也可以包括数据库(
data base,
db),即用于存储待处理数据的仓库,本技术对数据库类型及其对待处理数据的存储方式不做限制,可视情而定。
70.可选的,上述数据库可以独立设备,通过有线或无线方式连接计算机设备130的处理器133;也可以集成在计算机设备130中。可见,上述计算机设备130不局限于某一个独立设备,也可以包括多个通信连接的设备,可以依据实际需求确定,本技术在此不做举例详述。
71.处理器133可以为中央处理器(central processing unit,cpu)、特定应用集成电路(application-specific integrated circuit,asic)、数字信号处理器(dsp)、专用集成
电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件等。
72.上述通信接口131、存储器132以及处理器133等计算机设备组成器件,均可以连接计算机设备的通信总线,据此实现相互之间,以及与计算机设备的其他i/o设备等组成器件的数据交互,满足计算机设备的多种应用需求,本技术对计算机设备130中各组成器件的通信连接方式不做详述。
73.另外,应该理解的使,图2所示的计算机设备结构并不构成对本技术实施例中计算机设备的限定,在实际应用中,计算机设备可以包括比图2所示的更多的部件,或者组合某些部件,如显示器、扬声器等至少一个输出组件;如键盘、鼠标、拾音器、触摸感应单元等至少一个输入组件等,本技术在此不做一一列举;同理,上述适用于本技术提出的数据处理方法的系统架构也并不局限于图1所示的系统结构,还可以包括监控设备等,可以依据数据处理需求进行灵活调整,本技术在此不做详述。
74.参照图3,为本技术提出的数据处理方法的一可选示例的流程示意图,该数据处理方法可以由上述计算机设备130执行,基于上文描述的系统架构及其组成设备,如图3所示,本实施例提出的数据处理方法可以包括:
75.步骤s31,获得待发送至消息中间件的待处理数据及其特征标识;
76.为了实现对待发送至消息中间件的待处理数据的调度,以使得业务所需的待处理数据能够先发送至消息中间件,从而使数据处理者(如客户端)能够从消息中间件中优先获得业务所需的待处理数据。本技术提出在各数据源系统与消息中间件之间配置优先级调度设备(即上述计算机设备),各数据源系统可以调用计算机设备中,用于实现本技术提出的数据处理方法的应用调用接口api,将自身产生的待处理数据发送至该计算机设备,而不再是直接发送至消息中间件。
77.这样,计算机设备接收到各数据源系统发送的待处理数据(如合同数据、订单数据、客户数据、物料数据、价格数据等不同类型数据,可以依据数据源系统类型确定)后,可以将其持久化至数据库中,以避免数据丢失,缓解数据处理压力。之后,计算机设备可以对获得的待处理数据进行标注,得到各待处理数据的特征标识,以便后续据此识别各待处理数据,本技术对待处理数据的标注方式及其特征标识内容均不做限制,可视情况而定。
78.步骤s32,响应数据调度请求,依据待处理数据的特征标识以及预设的优先级调度规则,确定多个待处理数据的传输优先级;
79.在需要调度待处理数据的场景下,即业务所需的某类待处理数据发送至消息中间件的原顺序比较靠后,需要将其向消息中间件的传输顺序调度到靠前甚至是第一传输位置,以满足数据处理者对该待处理数据的优先处理需求,计算机设备可以基于数据调度需求,预先配置用于调度数据传输顺序,以确定待处理数据的传输优先级的优先级调度规则,这样,在响应数据调度请求的过程中,可以依据该优先级调度规则以及待处理数据的特征标识,确定所存储的待处理数据的传输优先级。
80.在实际应用中,对于数据处理者需要优先读取的业务数据,往往是某一类型数据或是某一个或多个维度下的该类型数据,如m国通过a渠道运输的b产品的价格数据,为了从缓存的来自各数据源系统的多种待处理数据中,尽快读取到所需的该价格数据,需要调度该类价格数据的向消息中间件的传输优先级,对此,可以配置实现该传输优先级调度的优先级调度规则。这样,在响应数据调度请求时,可以依据待处理数据的特征标识,确定属于
需要调度的待处理数据,如上述举例的价格数据,再按照对此配置的优先级调度规则,确定这些价格数据各自的传输优先级,即后续向消息中间件的传输顺序。
81.其中,上述优先级调度规则可以支持脚本定义,这样,在数据调度需求(即数据处理需求)发生变化后,可以通过脚本重新定义满足变化后的数据调度需求的优先级调度规则,如在输出的优先级调度界面上,灵活配置满足当前数据调度需求的优先级调度规则等,本技术对优先级调度规则的动态配置实现方法不做限制,可视情而定。
82.步骤s33,依据多个待处理数据的传输优先级,向消息中间件发送待处理数据。
83.继上文对本技术技术方案的相关描述,待处理数据的传输优先级可以表征:该待处理数据在计算机设备所缓存的多个待处理数据中向消息中间件的传输顺序,可以在待处理数据的优先级字段中配置其具有的传输优先级的优先级标识,以使计算机设备通过监听优先级字段,即在字段级别监听优先级字段上的变化,获得各待处理数据所处的传输优先级,据此得到计算机设备存储的各待处理数据的传输顺序,按照该传输顺序发送至消息中间件。
84.其中,关于计算机设备将所存储的各待处理数据传输至消息中间件进行缓存的传输通道,可以依据计算机设备与消息中间件之间的通信方式确定,本实施例在此不做详述。
85.综上,在本技术实施例中,将在各数据源系统和消息中间件之间部署计算机设备,对于各数据源系统输出的待处理数据,先发送至计算机设备存储,由计算机设备获得各待处理数据的特征标识,这样,为了将业务所需的某些待处理数据优先发送至消息中间件,可以响应对应的数据调度请求,依据待处理数据的特征标识以及预设的优先级调度规则,确定所存储的多个待处理数据的传输优先级,从而据此将这多个待处理数据发送至消息中间件,无需改变消息中间件以及数据源系统原有配置,即可快速且高效地将业务所需的某些待处理数据发布至消息中间件,以使得执行该业务的数据处理者能够及时从中读取所需的待处理数据,提高数据处理效率。
86.参照图4,为本技术提出的数据处理方法的又一可选示例的流程示意图,该方法可以是对上文实施例描述的数据处理方法的一可选细化实现方式进行描述,但并不局限于本实施例描述的细化实现方法,如图4所示,该细化实现方法可以包括:
87.步骤s41,获得待发送至消息中间件的待处理数据及其特征标识;
88.步骤s42,响应数据调度请求,调取与该特征标识相关联的优先级调度规则;
89.步骤s43,依据该优先级调度规则,确定具有所关联的特征标识的多个待处理数据各自的传输优先级;
90.本技术实施例中,可以依据数据调度请求的实际调度需求,预先配置针对不同特征标识对应的待处理数据的优先级调度规则,将所得到的优先级调度规则与特征标识关联后存储,在调度过程中,可以依据待处理数据的特征标识进行分类识别,依据特征标识所关联的优先级调度规则,对具有所关联的特征标识的待处理数据向消息中间件的传输顺序进行调度,得到对应待处理数据的传输优先级,但并不局限于本实施例描述的这种传输优先级确定方法。
91.其中,可以将所确定的待处理数据的传输优先级一一对应的优先级标识,更新至该待处理数据的优先级字段,这样,计算机设备的数据监听模块或数据库触发器,可以在字段级别上监听优先级字段上的变化,触发待处理数据的发送服务,具体实现过程可以按照
上下文对应部分的描述。
92.步骤s44,确定与该特征标识相关联的数据调度频率;
93.在实际应用中,数据源系统产生待处理数据的过程往往不同匀速执行,而是按照实际业务波动执行,本技术可以依据不同数据源系统的业务波动情况,确定对各数据源系统产生的待处理数据的调度时间间隔,即数据调度频率,将其与对应数据源系统产生的待处理数据的特征标识进行关联后存储。需要说明,本技术对各特征标识关联的数据调度频率的确定方法及其数值不做限制,如可以基于预设时长的预测模型,预测最短需要多长时间达到最大数据增长量,由此得到对应类型的待处理数据的数据调度频率等。
94.其中,上述待处理数据的特征标识能够表征具有该特征标识的待处理数据所属的数据类型(其往往是待处理数据所属的大类),因此,可以依据待处理数据的关键字词、主题等信息,确定其特征标识,也可以依据待处理数据的数据源系统的应用类型,确定该数据源系统产生的待处理数据的特征标识等,可见,对于同一类型待处理数据的特征标识相同,以便后续可以通过特征标识直接识别待处理数据所属类型,但并不局限于这种特征标识确定方式及其内容。
95.步骤s45,依据关联同一特征标识的数据调度频率和待处理数据的传输优先级,将具有该特征标识的待处理数据发送至消息中间件。
96.由于计算机设备可能会同时获得多个数据源系统各自产生的待处理数据,使其存储多种类型的待处理数据,按照上文描述方法,确定各类待处理数据的特征标识、传输优先级和数据调度频率后,对于关联同一特征标识的多个待处理数据,可以依据其传输优先级,确定这多个待处理数据的传输顺序,之后,依据该数据调度频率,触发具有该特征标识的多个待处理数据的发送服务,按照所确定的传输顺序,将这多个待处理数据发送至消息中间件。
97.综上,作为数据源系统与消息中间件之间的数据调度设备的计算机设备,获得待发送至消息中间件的各待处理数据后,将获得各待处理数据的特征标识,以及同一特征标识对应的待处理数据的传输优先级和数据调度频率,据此实现具有该特征标识的多个待处理数据向消息中间件传输的传输顺序的调度,以将业务急需的待处理数据优先发送至消息中间件,这样,执行业务的数据处理者可以从消息中间件快速读取到所需的待处理数据,无需增加数据主题数据或采用在消息中间件中定义重新排序器方式增设缓冲区,提高了数据处理效率。
98.参照图5,为本技术提出的数据处理方法的又一可选示例的流程示意图,该方法可以是对上文实施例描述的数据处理方法的又一可选细化实现方式进行描述,如图5所示,该细化实现方法可以包括:
99.步骤s51,获得待发送至消息中间件的待处理数据及其特征标识;
100.步骤s52,响应数据调度请求,依据该特征标识,确定待处理数据的目标数据类型;
101.步骤s53,按照不同数据类型与不同优先级调度规则之间的对应关系,调取目标数据类型对应的优先级调度规则;
102.结合上文实施例对优先级调度规则调取过程的相关描述,可以针对不同数据类型的待处理数据,依据对应的数据处理需求(即对应业务对待处理数据的调度要求),配置对应的优先级调度规则,得到不同数据类型与不同优先级调度规则之间的对应关系。其中,不
同数据类型的待处理数据的产生时间或产生高峰时间段可能不同,同一时间段内,可能只需要对应一数据类型的待处理数据的传输顺序进行调度,当然,也可能会需要对多个数据类型的待处理数据的传输顺序进行调度,各数据类型的待处理数据的调度过程类似,本技术不做一一举例详述。
103.这样,在响应针对任一数据类型的待处理数据的数据调度请求时,可以依据各待处理数据的特征标识,确定各待处理数据所属的目标数据类型,之后,可以依据预设的不同数据类型与不同优先级调度规则之间的对应关系,调取各目标数据类型对应的优先级调度规则,即确定对该目标数据类型下的多个待处理数据的传输优先级调度方法,以便据此确定这多个待处理数据的传输优先级,也就是向消息中间件的传输顺序。
104.在又一些实施例中,为了更精准地实现待处理数据的传输优先级调度,本实施例可以更细粒度地确定的待处理数据的特征标识,由此表征待处理数据的小类,之后,可以依据该类待处理数据的数据处理需求,确定对应的优先级调度规则,生成不同特征标识与不同优先级调度规则之间的对应关系,这样,在响应数据调度请求时,可以直接利用待处理数据的特征标识,查询该对应关系,确定该待处理数据的传输优先级。
105.在又一些实施例中,若同一时间,需要对多个数据类型的待处理数据进行优先级调度,也可以先确定不同数据类型的待处理数据之间的传输优先级,以便后续据此确定各数据类型的待处理数据之间的传输顺序,再结合上文描述的同一数据类型下的多个待处理数据的传输优先级,确定这多个待处理数据的传输顺序。其中,不同数据类型的待处理数据之间的传输优先级,可以依据各数据类型的待处理数据的重要性、数据处理要求、业务需求等至少一个维度信息确定,本技术对此不做限制,可视情况而定。
106.可见,在实施例中,对于计算机设备所获得的多个数据类型各自的待处理数据的传输排序(即传输优先级配置),可以从两个维度确定,一方面可以从数据类型这一维度,确定多个数据类型的待处理数据之间的传输排序,另一方面可以从同一数据类型的待处理数据自身特征(即该数据类型对应的优先级调度规则),实现该数据类型的多个待处理数据的传输排序。
107.可选的,面对某些极限场景下,对于多个数据类型的待处理数据,可以按照上述方法确定出最高传输优先级的某一数据类型的待处理数据,之后,可以依据该数据类型的待处理数据的优先级调度规则和数据调度频率,实现对该数据类型的各待处理数据的调度发布;对于其他数据类型的待处理数据可以暂停发布。
108.步骤s54,检测是否存在目标数据类型的历史调度信息,如果是,进入步骤s55;如果否,执行步骤s56;
109.步骤s55,将历史调度信息包含的历史调度频率确定为数据调度频率;
110.为了减少计算量,分析得知同一数据类型的待处理数据产生规律基本不变,在不同时间对其传输优先级进行调度时的数据调度频率/数据调度时间间隔可以相同,无需反复在线计算该调度参数,以减轻计算机设备的计算压力。因此,在响应数据调度请求时,可以先检测计算机设备所存储的待处理数据的目标数据类型是否被调度过,即是否存在该目标数据类型的历史调度信息,若存在,说明之前该目标数据类型的待处理数据被调度过,可以直接使用该目标数据类型的历史调度频率,完成本次对该目标数据类型的待处理数据的传输优先级的调度。
111.应该理解,本技术对上述历史调度信息的内容不做限制,除了对应目标数据类型的待处理数据的历史调度频率(即对过去某时间段内,计算机设备存储的目标数据类型的历史待处理数据的数据调度频率)外,还可以包括对目标数据类型的历史待处理数据的历史调度时间、历史传输优先级等,可视情况而定。
112.基于此,在又一些实施例中,可以在响应数据调度请求时,先确定具有该特征标识的待处理数据(如目标数据类型的待处理数据)是否被调度过,即是否存储历史调度信息,如果是,利用历史调度信息包含的历史调度频率、历史优先级调度规则,确定针对该数据调度请求的数据调度频率和优先级调度规则,之后,可以依据该优先级调度规则,确定具有所关联的特征标识的待处理数据的传输优先级,依据数据调度频率和待处理数据的传输优先级,向消息中间件发送具有该特征标识的多个待处理数据。所以说,本技术提出的数据处理方法的执行步骤包括但并不局限于上下文描述的步骤顺序,可以依据实际情况进行灵活调整,本技术不做一一举例。
113.步骤s56,基于调度频率计算规则,对预设时长内获得的目标数据类型的多个待处理数据进行处理,得到目标数据类型的待处理数据的数据调度频率;
114.按照上文描述方法,得知计算机设备是首次对目标数据类型的待处理数据进行调度,可以基于预设时长内所获得的该目标数据类型的待处理数据的增长情况,按照调度频率计算规则,获得对应的数据调度频率,实现过程可以参照下文对应实施例的描述,本实施例在此不做详述。
115.步骤s57,依据关联同一特征标识的数据调度频率和待处理数据的传输优先级,将具有该特征标识的待处理数据发送至消息中间件。
116.依据上下文对步骤s57的实现过程的描述,可以依据与特征标识相关联的待处理数据的传输优先级,确定具有该特征标识的多个待处理数据的传输顺序,这样,在预设时长后(如上述示例的5分钟后),可以按照与同一特征标识相关联的数据调度频率和传输顺序,将对应的待处理数据发送至消息中间件,保证业务所需的待处理数据能够尽快发布至消息中间件,使得数据处理者可以及时读取所需的待处理数据。
117.可选的,对于首次被调度的某数据类型的待处理数据,可以参照但并不局限于如下所示的方法,来确定目标数据类型的待处理数据的数据调度频率,如图6所示,该方法可以包括:
118.步骤s61,确定与特征标识相关联的预设时长,以及在预设时长内的预设个数参照分析时间;
119.步骤s62,在预设时长内获得与该特征标识相关联的待处理数据过程中,获取预设个数参照分析时间内各自获得该待处理数据的单位时间增长量;
120.步骤s63,利用获取的预设个数的单位时间增长量以及预设个数,得到在预设时长内获得该待处理数据的单位时间增长量达到最大增长量的增长时间;
121.步骤s64,将增长时间确定为相邻两次数据调度的时间间隔,得到与该特征标识相关联的数据调度频率。
122.本技术实施例,可以构建预设时长的预测模型,来预测对应数据类型的待处理数据的最短发送时间间隔,即确定该数据类型的待处理数据的数据调度频率。在实际应用中,不同数据类型的预设时长(如与不同特征标识关联的预设时长)可能不同,具体可以依据数
据类型、数据处理要求等信息确定对应的预设时长,本技术对该预设时长的数值不做限制。
123.示例性的,对于a类型待处理数据,可以预测5分钟内的数据增强情况,选定6个参照分析时间,如下表1所示的从触发开始调度计时,统计5s内、10s内、30s内、1分钟内、2分钟内、5分钟内各自的a类型待处理数据的数据增长量,即该时间内获得的a类型待处理数据的总量,并计算该时间内的待处理数据的单位增长量。
124.单位时间增长量(数据和)单位增长量(每秒)5(s)1000(s1)s1/510(s)2000(s2)s2/1030(s)3000(s3)s3/301分钟5000(s4)s4/602分钟8000(s5)s5/1205分钟12000(s6)s6/300
125.表1
126.基于表1所计算的各信息,可以获取预设个数的单位时间增长量的平均值,即(s1/5+s2/10+s3/30+s4/60+s5/120+s6/300)/6=115,据此预测得到5分钟内获得a类型待处理数据,最短能够达到最大增长量的增长时间可以为12000/115=104秒,可以直接将其作为5分钟后,对a类型待处理数据进行调度的时间间隔,即每间隔104秒触发一次发送服务,依据所存储的a类型待处理数据的传输优先级,向消息中间件发送该待处理数据。可见,本示例所预测得到的a类型待处理数据的数据调度频率可以是每104秒调度一次。
127.可选的,按照上文描述的方法,确定上述增长时间后,也可以依据该增长时间,确定针对该a类型待处理数据的调度时间间隔,即相邻两次数据调度的时间间隔,得到对应的数据调度频率,如对104秒进行适应性调整,得到数据调度频率,并不局限于将上述增长时间确定为数据调度时间间隔。
128.需要说明,在数据调度控制过程中,并不局限于依据数据调度频率这一参数触发针对消息中间件的数据发送服务,也可以依据数据调度时间间隔实现,实现过程类似,本技术不做举例详述。
129.另外,在如上述5分钟的预测示例中,所要统计的预设个数的参照分析时间,包括但并不局限于表1所示内容,可以依据业务需求进行适应性调整,且并不局限于5分钟这一预设时长。对于其他数据类型的待处理数据的数据调度频率的预测实现方法类似,本技术不做一一举例详述。
130.可选的,本技术实际应用中,可以按照上文描述计算方法,构建用于预测数据调度频率的预测模型,这样,对于首次被调度的数据类型的待处理数据,可以将预设时长内所获取的待处理数据输入该预测模型,获得该数据类型的待处理数据的数据调度频率,实现过程本实施例不做详述。
131.基于上述分析,在本技术实施例中,在响应数据调度请求过程中,确定所存储的待处理数据所属数据类型以前被调度过,可以直接调取该数据类型的历史数据调度频率作为本次数据调度的数据调度频率,历史优先级调度规则为本次数据调度的优先级调度规则,当然,若本次数据调度的数据处理要求发生变化,可以配置新的优先级调度规则,之后,据此实现对所获得的该类型的待处理数据的传输顺序的调度,按照所确定的传输顺序,将该
数据类型的待处理数据发送至消息中间件。
132.若该数据类型的待处理数据是首次被调度,将基于预设时长内获得的该数据类型的待处理数据的增长情况,预测对该数据类型的待处理数据的数据调度频率,这样,在预设时长后,可以按照该数据调度频率开始进行数据调度,在每一次数据调度发送时,可以依据该数据类型的待处理数据的传输优先级,得到这些待处理数据的传输顺序,据此将本次调度的时间间隔内所获得的该类型的待处理数据发送至消息中间件,实现对不同数据类型的待处理数据的灵活调度,满足各数据处理者对任一数据类型的待处理数据的紧急使用需求。
133.由于本技术直接在数据源系统与消息中间件之间部署计算机设备,来实现对待发送至消息中间件的各数据类型的待处理数据,传输至消息中间件的优先级调度,无需更改消息中间件和数据源系统原有的配置,而是由该计算机设备按照上述方法确定满足当前数据处理要求(如急需尽快获取某些待处理数据的调度需求)时各待处理数据的传输顺序,再据此传输至消息中间件,以将数据处理者急需的待处理数据先写入消息中间件的存储队列,数据处理者能够及时从存储队列中读取所需的待处理数据,也不会影响优先级较低的待处理数据的读取处理,且能够兼容多种数据类型。
134.基于上文各实施例描述的数据处理方法,在不需要进行数据调度的情况下,计算机设备不需要确定所获得的来自各数据源系统的待处理数据的传输优先级,可以按照默认传输顺序(如各待处理数据的产生时间/获得时间的先后顺序),直接将所获得的待处理数据发送至消息中间件。可见,在激活数据调度开关时,可以按照上文描述方法,确定所获得的所有待处理数据的传输优先级,即对这些待处理数据进行传输排序后再发布;在未激活数据调度开关时,计算机设备可以直接将获得待处理数据转发至消息中间件,无需对其进行处理。本技术对数据调度开关的形式及其激活实现方式等均不作限制,可视情况而定。
135.参照图7,为本技术提出的数据处理方法的又一可选示例的流程示意图,本实施例可以对上文实施例描述的数据处理方法过程的可视化方案进行描述,但并不局限于本实施例描述的可视化实现方式,如图7所示,本实施例提出的数据处理方法可以包括:
136.步骤s71,输出数据处理界面,在该数据处理界面内呈现多个功能触发区域以及功能展示区域;
137.本技术实施例为了实现数据处理方法的可视化监控,在执行该数据处理方法时,可以触发输出数据处理界面,如图8所示,在该数据处理界面呈现多个功能触发区域(如图8所示的按钮区),如数据标注区域(如图8中的标识数据按钮)、优先级调度区域(如图8所示的定义规则)以及监控区域(如图8所示的监控主屏)等之中的至少一个,本技术对数据处理界面的布局结构不做限制,可视情况进行灵活调整。
138.步骤s72,响应于对数据标注区域的触发操作,对获得的待处理数据进行特征提取,将所得到的待处理数据的特征标识呈现于功能展示区域;
139.计算机设备获得各数据源系统发送的待处理数据,将其持久化至数据库db,其所需持久化的数据信息可以包括但并不局限于:请求header(标头)、请求json、请求参数、请求url(uniformresource locator,统一资源定位符)等。为了便于后续识别各待处理数据,可以依据待处理数据的关键字词等信息进行标注,确定该待处理数据的特征标识。
140.对此,调度者可以对按钮区域中的数据标注区域(如图8所示的标识数据这一功能
按钮)进行触发,通过json解析功能,读取请求json体信息,提取待处理数据的关键字段的关键字词,将其存储至已经持久化的请求数据记录中,按照预设分类标准,利用该关键字段,确定待处理数据的特征标识,定义该待处理数据的数据类型。之后,可以据此对所获得的待处理数据进行分类标注,在对应的功能展示区域呈现对待处理数据的持久化分类结构,但并不局限于图8所示的分类方式及其展示内容和方式,可以依据实际需求进行灵活调整。
141.步骤s73,响应于对优先级调度区域的触发操作,在功能展示区域呈现优先级调度界面;
142.步骤s74,响应于在优先级调度界面的优先级脚本配置操作,得到不同数据类型对应的优先级调度规则;
143.本技术实施例中,可以基于对应数据类型的数据处理要求执行优先级脚本配置操作,即通过脚本对已标识的待处理数据定义优先级调度规则,如“条件数量/条件表/条件类型/销售组织/物料/个数”等,本技术对优先级调度规则的内容及其定义实现方法不做限制。示例性的,触发优先级调度区域后,可以在输出的优先级调度界面中展示用于定义优先级调度规则的各种信息,如各数据类型、各类型条件等可选项,以供调度者选择或拖动对应选项,构成优先级调度规则,但并不局限于这种实现方法。
144.步骤s75,响应于对监控区域的触发操作,在功能展示区域内呈现将获得的不同数据类型的待处理数据发送至消息中间件的数据调度过程。
145.本技术可以依据可视化需求,确定监控区域被触发后,功能展示区域所输出的调度监控界面的布局及其呈现内容,如各数据类型下各待处理数据及其数据量,依据优先级调度规则所确定的各待处理数据的传输优先级,据此向消息中间件传输的传输进度,以及在该过程中,计算机设备所获得的新的待处理数据及其数据量等信息,以直观看到待处理数据的整个动态调度过程,实际展示方法本技术实施例在此不做详述。
146.可见,本技术提出的对数据处理方法的可视化监控,可以直观且实时监控数据同步的流量,在调度需求发生变化时,可以按照上文描述方法,及时调整对应的优先级调度规则、数据调度频率等内容,保证数据处理高效性和便利性。
147.参照图9,为本技术提出的数据处理装置的一可选示例的结构示意图,该装置可以包括:
148.数据获得模块91,用于获得待发送至消息中间件的待处理数据,以及所述待处理数据的特征标识;
149.传输优先级确定模块92,用于响应数据调度请求,依据所述特征标识以及预设的优先级调度规则,确定多个所述待处理数据的传输优先级;
150.数据传输模块93,用于依据多个所述待处理数据的所述传输优先级,向所述消息中间件发送所述待处理数据。
151.在一些实施例中,传输优先级确定模块92可以包括:
152.优先级调度规则调取单元,用于调取与所述特征标识相关联的优先级调度规则;
153.传输优先级确定单元,用于依据所调取的所述优先级调度规则,确定具有所关联的所述特征标识的多个所述待处理数据各自的传输优先级。
154.可选的,优先级调度规则调取单元可以包括:
155.第一调取单元,用于按照不同特征标识与不同优先级调度规则之间的对应关系,调取所述特征标识对应的优先级调度规则;或者,
156.目标数据类型确定单元,用于依据所述特征标识,确定所述待处理数据的目标数据类型;
157.第二调取单元,用于按照不同数据类型与不同优先级调度规则之间的对应关系,调取所述目标数据类型对应的。
158.在又一些实施例中,上述数据传输模块93可以包括:
159.数据调度频率确定单元,用于确定与所述特征标识相关联的数据调度频率;所述特征标识能够表征具有该特征标识的待处理数据所属的数据类型;
160.第一发送单元,用于依据关联同一所述特征标识的所述数据调度频率和所述待处理数据的传输优先级,将具有该特征标识的待处理数据发送至消息中间件。
161.可选的,上述数据调度频率确定单元可以包括:
162.检测单元,用于检测是否存在与所述特征标识相关联的历史调度信息;所述历史调度信息是在响应针对属于具有所述特征标识的历史待处理数据的历史数据调度请求而生成的;
163.第一确定单元,用于检测单元的检测结果为存在的情况下,将所述历史调度信息包含的历史调度频率确定为数据调度频率;
164.第一计算单元,用于在检测单元的检测结果为不存在的情况下,,基于调度频率计算规则,对预设时长内获得的与所述特征标识相关联的多个所述待处理数据进行处理,得到与所述特征标识相关联的数据调度频率。
165.可选的,上述第一计算单元可以包括:
166.第二确定单元,用于确定与所述特征标识相关联的预设时长,以及在所述预设时长内的预设个数参照分析时间;
167.单位时间增长量获取单元,用于在所述预设时长内获得与特征标识相关联的所述待处理数据过程中,获取所述预设个数参照分析时间内各自获得该待处理数据的单位时间增长量;
168.增长时间得到单元,用于利用获取的预设个数的所述单位时间增长量以及所述预设个数,得到在所述预设时长内获得该待处理数据的单位时间增长量达到最大增长量的增长时间;
169.第三确定单元,用于将所述增长时间确定为相邻两次数据调度的时间间隔,得到与所述特征标识相关联的数据调度频率。
170.可选的,上述第一发送单元可以包括:
171.传输顺序确定单元,用于依据与所述特征标识相关联的所述待处理数据的传输优先级,确定具有该特征标识的多个所述待处理数据的传输顺序;
172.第二发送单元,用于在所述预设时长后,按照与同一所述特征标识相关联的数据调度频率以及所述传输顺序,将对应的所述待处理数据发送至消息中间件。
173.在又一些实施例中,上述装置还可以包括:
174.数据处理界面输出模块,用于输出数据处理界面,在所述数据处理界面内呈现多个功能触发区域以及功能展示区域;所述多个功能触发区域包括数据标注区域、优先级调
度区域以及监控区域之中的至少一个;
175.数据标注模块,用于响应于对所述数据标注区域的触发操作,对获得的所述待处理数据进行特征提取,将所得到的所述待处理数据的特征标识呈现于所述功能展示区域;和/或,
176.优先级调度界面呈现模块,用于响应于对所述优先级调度区域的触发操作,在所述功能展示区域呈现优先级调度界面;
177.优先级调度规则得到模块,用于响应于在所述优先级调度界面的优先级脚本配置操作,得到不同数据类型对应的优先级调度规则;所述优先级脚本配置操作基于对应数据类型的数据处理要求执行;和/或,
178.监控展示模块,用于响应于对所述监控区域的触发操作,在所述功能展示区域内呈现将获得的不同数据类型的待处理数据发送至所述消息中间件的数据调度过程。
179.需要说明的是,关于上述各装置实施例中的各种模块、单元等,均可以作为程序模块存储在存储器中,由处理器执行存储在存储器中的上述程序模块,以实现相应的功能,关于各程序模块及其组合所实现的功能,以及达到的技术效果,可以参照上述方法实施例相应部分的描述,本实施例不再赘述。
180.本技术还提供了一种计算机可读存储介质,其上可以存储计算机程序,该计算机程序可以被处理器调用并加载,以实现上述实施例描述的数据处理方法的各个步骤。
181.最后,需要说明的是,关于上述各实施例中,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。由语句“包括一个
……”
限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
182.其中,在本技术实施例的描述中,除非另有说明,“/”表示或的意思,例如,a/b可以表示a或b;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,在本技术实施例的描述中,“多个”是指两个或多于两个。
183.本技术涉及到的术语诸如“第一”、“第二”等仅用于描述目的,用来将一个操作、单元或模块与另一个操作、单元或模块区分开来,而不一定要求或者暗示这些单元、操作或模块之间存在任何这种实际的关系或者顺序。且不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量,由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
184.本说明书中各个实施例采用递进或并列的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、计算机设备、系统而言,由于其与实施例公开的方法对应,所以描述的比较简单,相关之处参见方法部分说明即可。
185.对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一
致的最宽的范围。

技术特征:
1.一种数据处理方法,所述方法包括:获得待发送至消息中间件的待处理数据,以及所述待处理数据的特征标识;响应数据调度请求,依据所述特征标识以及预设的优先级调度规则,确定多个所述待处理数据的传输优先级;依据多个所述待处理数据的传输优先级,向所述消息中间件发送所述待处理数据。2.根据权利要求1所述的方法,所述依据所述特征标识以及预设的优先级调度规则,确定多个所述待处理数据的传输优先级,包括:调取与所述特征标识相关联的优先级调度规则;依据所调取的所述优先级调度规则,确定具有所关联的所述特征标识的多个所述待处理数据各自的传输优先级。3.根据权利要求2所述的方法,所述调取与所述特征标识相关联的优先级调度规则,包括:按照不同特征标识与不同优先级调度规则之间的对应关系,调取所述特征标识对应的优先级调度规则;或者,依据所述特征标识,确定所述待处理数据的目标数据类型;按照不同数据类型与不同优先级调度规则之间的对应关系,调取所述目标数据类型对应的。4.根据权利要求1-3任一项所述的方法,所述依据多个所述待处理数据的传输优先级,向所述消息中间件发送所述待处理数据,包括:确定与所述特征标识相关联的数据调度频率;所述特征标识能够表征具有该特征标识的待处理数据所属的数据类型;依据关联同一所述特征标识的所述数据调度频率和所述待处理数据的传输优先级,将具有该特征标识的待处理数据发送至消息中间件。5.根据权利要求4所述的方法,所述确定与所述特征标识相关联的数据调度频率,包括:检测是否存在与所述特征标识相关联的历史调度信息;所述历史调度信息是在响应针对属于具有所述特征标识的历史待处理数据的历史数据调度请求而生成的;如果存在,将所述历史调度信息包含的历史调度频率确定为数据调度频率;如果不存在,基于调度频率计算规则,对预设时长内获得的与所述特征标识相关联的多个所述待处理数据进行处理,得到与所述特征标识相关联的数据调度频率。6.根据权利要求5所述的方法,所述基于调度频率计算规则,对预设时长内获得的与所述特征标识相关联的多个所述待处理数据进行处理,得到与所述特征标识相关联的数据调度频率,包括:确定与所述特征标识相关联的预设时长,以及在所述预设时长内的预设个数参照分析时间;在所述预设时长内获得与特征标识相关联的所述待处理数据过程中,获取所述预设个数参照分析时间内各自获得该待处理数据的单位时间增长量;利用获取的预设个数的所述单位时间增长量以及所述预设个数,得到在所述预设时长内获得该待处理数据的单位时间增长量达到最大增长量的增长时间;
将所述增长时间确定为相邻两次数据调度的时间间隔,得到与所述特征标识相关联的数据调度频率。7.根据权利要求5所述的方法,在不存在与所述特征标识相关联的历史调度信息的情况下,所述依据关联同一所述特征标识的所述数据调度频率和所述待处理数据的传输优先级,将具有该特征标识的待处理数据发送至消息中间件,包括:依据与所述特征标识相关联的所述待处理数据的传输优先级,确定具有该特征标识的多个所述待处理数据的传输顺序;在所述预设时长后,按照与同一所述特征标识相关联的数据调度频率以及所述传输顺序,将对应的所述待处理数据发送至消息中间件。8.根据权利要求1-3任一项所述的方法,所述方法还包括:输出数据处理界面,在所述数据处理界面内呈现多个功能触发区域以及功能展示区域;所述多个功能触发区域包括数据标注区域、优先级调度区域以及监控区域之中的至少一个;响应于对所述数据标注区域的触发操作,对获得的所述待处理数据进行特征提取,将所得到的所述待处理数据的特征标识呈现于所述功能展示区域;和/或,响应于对所述优先级调度区域的触发操作,在所述功能展示区域呈现优先级调度界面;响应于在所述优先级调度界面的优先级脚本配置操作,得到不同数据类型对应的优先级调度规则;所述优先级脚本配置操作基于对应数据类型的数据处理要求执行;和/或,响应于对所述监控区域的触发操作,在所述功能展示区域内呈现将获得的不同数据类型的待处理数据发送至所述消息中间件的数据调度过程。9.一种数据处理装置,所述装置包括:数据获得模块,用于获得待发送至消息中间件的待处理数据,以及所述待处理数据的特征标识;传输优先级确定模块,用于响应数据调度请求,依据所述特征标识以及预设的优先级调度规则,确定多个所述待处理数据的传输优先级;数据传输模块,用于依据多个所述待处理数据的所述传输优先级,向所述消息中间件发送所述待处理数据。10.一种计算机设备,所述计算机设备包括:多个通信接口,用于分别与消息中间件和至少一个数据源系统通信连接,以实现所述数据源系统与所述消息中间件之间的待处理数据的传输;存储器,用于存储实现如权利要求1-8任一项所述的数据处理方法的程序,以及来自所述数据源系统的待处理数据;处理器,用于加载执行所述存储器存储的所述程序,以实现如权利要求1-8任一项所述的数据处理方法。

技术总结
本申请提供了一种数据处理方法、装置及计算机设备,将在各数据源系统和消息中间件之间部署计算机设备,由计算机设备获得待发送至消息中间件的待处理数据及其特征标识;响应数据调度请求,依据待处理数据的特征标识以及预设的优先级调度规则,确定多个待处理数据的传输优先级;依据多个待处理数据的传输优先级,向消息中间件发送待处理数据。消息中间件发送待处理数据。消息中间件发送待处理数据。


技术研发人员:颜小健 张兆冰
受保护的技术使用者:联想(北京)有限公司
技术研发日:2022.07.26
技术公布日:2022/11/1
转载请注明原文地址: https://tieba.8miu.com/read-219.html

最新回复(0)