一种监控批量处理的方法及装置与流程

专利2023-11-04  96



1.本技术涉及计算机技术领域,尤其涉及一种监控批量处理的方法及装置。


背景技术:

2.目前,银行大多通过批量处理技术对交易数据进行处理。批量处理又称批处理(batch),也称为批处理脚本。顾名思义,批量处理就是对某对象进行批量的处理,通常被认为是一种简化的脚本语言,它可以应用于dos和windows系统中。批量处理可以用来自动地、批量地执行脚本中预设的操作命令,以实现特定的操作。通过批量处理技术,可以一次性对大量的数据进行处理,适合银行这种需要一次性对大量数据进行处理的场景。
3.由于每次批量处理的数据较多,针对其中部分数据的处理在批量处理的过程中可能出现异常。为了保证批量处理的正常进行,目前,在检测到对某个数据的处理异常之后,往往不会直接中断批量处理,而是跳过该异常数据的处理,并继续后续其他数据的处理。在批量处理结束之后,技术人员可以通过查询异常日志发现批量处理中的异常和故障从而对批量处理系统进行检修。
4.但是,如果批量处理的规模较大,查询异常日志的工作量较大,不便于及时发现批量处理的故障和异常。


技术实现要素:

5.有鉴于此,本技术实施例提供了一种监控批量处理的方法及装置,旨在及时发现批量处理中的故障和异常。
6.第一方面,本技术实施例提供了一种监控批量处理的方法,其特征在于,所述方法用于对批量处理系统的批量处理过程进行监控,所述批量处理过程包括对多个数据的处理,所述方法包括:
7.获取批量处理系统上报的处理信息;
8.响应于所述批量处理系统上报的处理信息包括第一关键词,根据所述第一关键词生成第一告警信息;
9.发送所述第一告警信息。
10.在一些可能的实现方式中,所述方法还包括:
11.响应于批量处理系统上报的处理信息包括第二关键词,根据所述第二关键词调整告警参数;
12.响应于所述告警参数大于告警参数阈值,生成第二告警信息;
13.发送所述第二告警信息;和/或,
14.响应于批量处理系统上报的处理信息不包括第三关键词,根据所述第三关键词生成第三告警信息;
15.发送所述第三告警信息。
16.在一些可能的实现方式中,所述方法还包括:
17.响应于所述批量处理结束,生成批量处理告警记录,所述批量处理告警记录包括所述第一告警信息、所述第二告警信息和所述第三告警信息;
18.发送所述批量处理告警记录。
19.在一些可能的实现方式中,所述批量处理系统基于批量处理服务器实现,所述获取批量处理系统上报的处理信息包括:
20.获取处理信息集合,所述处理信息集合包括所述批量处理服务器的标识和目标人员的联系方式;
21.根据所述批量处理服务器的标识,从所述批量处理服务器处获取所述批量处理系统上报的处理信息;
22.所述发送所述第一告警信息包括:
23.根据所述目标人员的联系方式,向所述目标人员发送所述第一告警信息。
24.第二方面,本技术实施例提供了一种监控批量处理的装置,所述装置用于对批量处理系统的批量处理过程进行监控,所述批量处理过程包括对多个数据的处理,所述装置包括:
25.获取模块,用于获取批量处理系统上报的处理信息;
26.处理模块,用于响应于所述批量处理系统上报的处理信息包括第一关键词,根据所述第一关键词生成第一告警信息;发送所述第一告警信息。
27.在一些可能的实现方式中,所述处理模块,还用于响应于批量处理系统上报的处理信息包括第二关键词,根据所述第二关键词调整告警参数;响应于所述告警参数大于告警参数阈值,生成第二告警信息;发送所述第二告警信息;和/或,响应于批量处理系统上报的处理信息不包括第三关键词,根据所述第三关键词生成第三告警信息;发送所述第三告警信息。
28.在一些可能的实现方式中,所述处理模块,还用于响应于所述批量处理结束,生成批量处理告警记录,所述批量处理告警记录包括所述第一告警信息、所述第二告警信息和所述第三告警信息;发送所述批量处理告警记录。
29.在一些可能的实现方式中,所述批量处理系统基于批量处理服务器实现,
30.所述获取模块,还用于获取处理信息集合,所述处理信息集合包括所述批量处理服务器的标识和目标人员的联系方式;
31.所述处理模块,还用于根据所述批量处理服务器的标识,从所述批量处理服务器处获取所述批量处理系统上报的处理信息;根据所述目标人员的联系方式,向所述目标人员发送所述第一告警信息。
32.第三方面,本技术实施例提供了一种设备,所述设备包括存储器和处理器,所述存储器用于存储指令或代码,所述处理器用于执行所述指令或代码,以使所述设备执行前述第一方面任一项所述的监控批量处理的方法。
33.第四方面,本技术实施例提供了一种计算机存储介质,所述计算机存储介质中存储有代码,当所述代码被运行时,运行所述代码的设备实现前述第一方面任一项所述的监控批量处理的方法。
34.本技术实施例提供了一种监控批量处理的方法及装置。所述方法可以用于对批量处理系统的批量处理过程进行监控。在批量处理过程中,批量处理系统可以对多个数据进
行处理。具体地,在执行本技术实施例提供的监控批量处理的方法时,首先可以获取批量处理系统上报的处理信息。接着,可以判断批量处理系统上报的处理信息中是否包括第一关键词。如果批量处理系统上报的处理信息中包括第一关键词,可以根据第一关键词生成第一告警信息,并实时向技术人员发送第一告警信息。这样,如果批量处理系统在批量处理过程中出现了异常或者故障,导致批量处理系统上报的处理信息中包括第一关键词,那么可以及时发现处理信息中的第一关键词,并基于第一关键词生成对应的第一告警信息,最终通过向外发送第一告警信息实现批量处理过程中的及时告警。如此,技术人员可以及时发现批量处理中的故障和异常。
附图说明
35.为更清楚地说明本实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
36.图1为本技术实施例提供的监控批量处理的方法的方法流程图;
37.图2为本技术实施例提供的监控批量处理的装置的一种结构示意图。
具体实施方式
38.批量处理可以基于相同或相似的处理过程对大量数据进行处理,被广泛地应用于银行等需要对大数据量的数据进行的场景。在大数据量的处理背景下,批量处理过程中可能会有部分数据的处理出现故障或异常。为了保证其他数据的正常处理,目前,在批量处理的部分数据出现故障或异常之后,往往不会停止批量处理,而是会跳过出现故障的数据,继续处理下一个数据。并将出现异常的数据记录到批量处理日志中。如此,可以保证批量处理过程的正常进行,避免批量处理中断。
39.这样,如果批量处理过程没有中断,技术人员可以在批量处理过程结束之后通过查询批量处理日志发现异常数据。但是,如果批量处理的数据量较大,手动查找批量处理日志的工作量较大,存在耗时耗力的问题。
40.为了解决上述问题,本技术实施例提供了一种监控批量处理的方法及装置。其中,所述监控批量处理的方法可以用于对批量处理系统进行监控。所述批量处理系统可以是服务器,也可以是服务器组成的服务器集群。本技术实施例提供的监控批量处理的方法可以应用于运行有批量处理系统的服务器或服务器集群,也可以应用于用于对批量处理系统进行监控的批量处理监控系统。所述批量处理监控系统可以应用于服务器或服务器集群。
41.下面从批量处理监控系统的角度,对本技术实施例提供的监控批量处理的方法进行说明。显然,所描述的实施例仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
42.参见图1,图1为本技术实施例提供的监控批量处理的方法的一种方法流程图,包括:
43.s101:获取批量处理系统上报的处理信息。
44.在本技术实施例中,批量处理监控系统可以先获取批量处理系统上报的处理信息。其中,处理信息时批量处理系统在进行批量处理时生成的信息。例如可以包括批量处理系统在进行批量处理时各个被处理的数据的处理情况。可以理解的是,如果批量处理系统在进行批量处理时,某个或某些数据无法得到正常处理,那么批量处理系统向批量处理监控系统上报的处理信息中可以包括处理异常的数据的相关信息。
45.在一些可能的实现方式中,批量处理系统可以在检测到数据处理异常之后,向批量处理监控系统上报处理信息。相应地,批量处理系统向批量处理监控系统上报的处理信息中可以包括处理异常的数据的相关信息。
46.在本技术实施例中,处理异常的数据的相关信息可以包括处理异常的数据的描述信息。例如可以包括处理异常的数据的数据类型。
47.在一些可能的实现方式中,批量处理系统运行于服务器,批量处理监控系统可以根据预先存储的信息,从运行有批量处理系统的服务器处获取批量处理系统上报的处理信息。具体地,批量处理监控系统中可以存储有服务器的标识,例如可以存储有服务器的互联网协议(ip)地址。相应地,在执行本技术实施例提供的监控批量处理的方法时,批量处理监控系统可以根据预先存储的服务器的ip地址,从运行有批量处理系统的服务器中获取批量处理系统上报的处理信息。
48.在一些其他可能的实现方式中,批量处理监控系统中还可以存储有批量处理系统的批量处理日志的存储路径,以及目标人员的联系方式。关于批量处理日志的存储路径和目标人员的联系方式的介绍可以参见后文,这里不再赘述。
49.s102:响应于所述批量处理系统上报的处理信息包括第一关键词,根据所述第一关键词生成第一告警信息。
50.在获取到批量处理系统上报的处理信息之后,批量处理监控系统可以判断批量处理系统上报的处理信息中是否包括第一关键词。其中,第一关键词为表示批量处理系统的批量处理过程出现故障或异常时,批量处理系统输出的关键词。具体地,批量处理监控系统可以从处理信息中查找第一关键字。
51.也就是说,如果批量处理系统上报的处理信息中包括第一关键词,说明批量处理系统在处理信息对应的批量处理过程中,存在异常或者故障。相应地,批量处理监控系统可以根据第一关键词生成第一告警信息,以便通过第一告警信息进行告警。
52.在一些可能的实现方式中,批量处理系统出现不同类型的错误可能导致处理信息中包括不同的关键字。相应地,批量处理监控系统可以在检测到特定的关键字之后再生成第一告警信息。也就是说,第一关键词为批量处理系统在出现故障时生成的、需要进行实时告警的告警关键字。在实际的处理过程中,第一关键字例如可以包括“exeption”、“timeout”和“coredump”三个告警关键词。
53.在一些其他可能的实现方式中,批量处理监控系统还可以记录批量处理系统出现的异常的数量,并在异常的数量达到阈值后进行告警。具体地,批量处理监控系统可以从批量处理系统上报的处理信息中检索第二关键字。如果批量处理监控系统从批量处理系统上报的处理信息中包括第二关键词,批量处理监控系统可以根据第二关键词调整告警参数。该告警参数可以用于指示批量处理系统发生异常的情况。可以理解的是,批量处理监控系统可以包括多个第二关键词,每个第二关键词可以对应一种告警参数。
54.相应地,如果批量处理系统上报的处理信息中包括第二关键词,批量处理监控系统可以调整第二关键词对应的告警参数。具体地,批量处理系统可以根据批量处理系统上报的处理信息中第二关键词的数量,成比例地调整第二关键词对应的告警参数的值。例如批量处理系统可以将告警参数原始的值与批量处理系统上报的处理参数中第二关键词的数量求和,并将求和的得到的结果作为告警参数的值。
55.在调整告警参数的值之后,批量处理监控系统可以根据告警参数的值生成第二告警信息。具体地,批量处理监控系统可以比较告警参数和告警参数阈值的大小。如果告警参数大于告警参数阈值,说明批量处理中第二关键词对应的异常出现的次数和频率较高,那么批量处理监控系统可以生成第二告警信息,以便通过第二告警信息提示目标人员批量处理出现故障。可选地,在生成第二告警信息之后,批量处理监控系统可以中断批量处理系统的批量处理。
56.在一些可能的实现方式中,批量处理监控系统还可以在批量处理系统上报的处理信息中不包括部分关键词时生成告警信息。具体地,批量处理监控系统可以判断批量处理系统上报的处理信息中是否包括第三关键词。如果批量处理系统上报的处理信息中不包括第三关键词,批量处理监控系统可以根据第三关键词生成第三告警信息。第三告警信息用于向技术人员通告批量处理系统上报的处理信息中不包括第三关键词。可选地,第三关键词例如可以包括“载入银行信息表”、“载入货币码表”和“载入交易控制表”。
57.s103:发送所述第一告警信息。
58.在生成第一告警信息之后,批量处理监控系统可以发送第一告警信息。具体地,假设批量处理监控系统中存储有目标人员的联系方式,那么批量处理监控系统可以根据目标人员的联系方式,向目标人员发送第一告警信息。同理,批量处理监控系统还可以向目标人员发送的第二告警信息和/或第三告警信息。
59.在一些可能的实现方式中,批量处理监控系统还可以记录批量处理系统在批量处理过程中生成的异常或故障信息。具体地,批量处理系统可以在批量处理结束之后生成批量告警记录。批量告警记录可以包括第一告警信息、第二告警信息和第三告警信息中的任意一个或多个。另外,批量处理监控系统还可以根据目标人员的联系方式发送批量处理告警记录,以使目标人员得到批量处理过程中的故障和异常。
60.本技术实施例提供了一种监控批量处理的方法。所述方法可以用于对批量处理系统的批量处理过程进行监控。在批量处理过程中,批量处理系统可以对多个数据进行处理。具体地,在执行本技术实施例提供的监控批量处理的方法时,首先可以获取批量处理系统上报的处理信息。接着,可以判断批量处理系统上报的处理信息中是否包括第一关键词。如果批量处理系统上报的处理信息中包括第一关键词,可以根据第一关键词生成第一告警信息,并实时向技术人员发送第一告警信息。这样,如果批量处理系统在批量处理过程中出现了异常或者故障,导致批量处理系统上报的处理信息中包括第一关键词,那么可以及时发现处理信息中的第一关键词,并基于第一关键词生成对应的第一告警信息,最终通过向外发送第一告警信息实现批量处理过程中的及时告警。如此,技术人员可以及时发现批量处理中的故障和异常。
61.以上为本技术实施例提供监控批量处理的方法的一些具体实现方式,基于此,本技术还提供了对应的监控批量处理的装置。下面将从功能模块化的角度对本技术实施例提
供的监控批量处理的装置进行介绍。
62.参见图2所示的监控批量处理的装置200的结构示意图,该装置200包括获取模块210和处理模块220。
63.获取模块210,用于获取批量处理系统上报的处理信息。
64.处理模块220,用于响应于所述批量处理系统上报的处理信息包括第一关键词,根据所述第一关键词生成第一告警信息;发送所述第一告警信息。
65.本技术实施例提供了一种监控批量处理的装置。所述装置可以用于对批量处理系统的批量处理过程进行监控。在批量处理过程中,批量处理系统可以对多个数据进行处理。具体地,首先可以获取批量处理系统上报的处理信息。接着,可以判断批量处理系统上报的处理信息中是否包括第一关键词。如果批量处理系统上报的处理信息中包括第一关键词,可以根据第一关键词生成第一告警信息,并实时向技术人员发送第一告警信息。这样,如果批量处理系统在批量处理过程中出现了异常或者故障,导致批量处理系统上报的处理信息中包括第一关键词,那么可以及时发现处理信息中的第一关键词,并基于第一关键词生成对应的第一告警信息,最终通过向外发送第一告警信息实现批量处理过程中的及时告警。如此,技术人员可以及时发现批量处理中的故障和异常。
66.可选地,在一些可能的实现方式中,所述处理模块220,还用于响应于批量处理系统上报的处理信息包括第二关键词,根据所述第二关键词调整告警参数;响应于所述告警参数大于告警参数阈值,生成第二告警信息;发送所述第二告警信息。
67.和/或,所述处理模块220,还用于响应于批量处理系统上报的处理信息不包括第三关键词,根据所述第三关键词生成第三告警信息;发送所述第三告警信息。
68.可选地,在一些可能的实现方式中,所述处理模块220,还用于响应于所述批量处理结束,生成批量处理告警记录,所述批量处理告警记录包括所述第一告警信息、所述第二告警信息和所述第三告警信息;发送所述批量处理告警记录。
69.可选地,在一些可能的实现方式中,所述批量处理系统基于批量处理服务器实现。
70.所述获取模块210,还用于获取处理信息集合,所述处理信息集合包括所述批量处理服务器的标识和目标人员的联系方式;
71.所述处理模块220,还用于根据所述批量处理服务器的标识,从所述批量处理服务器处获取所述批量处理系统上报的处理信息;根据所述目标人员的联系方式,向所述目标人员发送所述第一告警信息。
72.本技术实施例还提供了对应的设备以及计算机存储介质,用于实现本技术实施例提供的方案。
73.其中,所述设备包括存储器和处理器,所述存储器用于存储指令或代码,所述处理器用于执行所述指令或代码,以使所述设备执行本技术任一实施例所述的监控批量处理的方法。
74.所述计算机存储介质中存储有代码,当所述代码被运行时,运行所述代码的设备实现本技术任一实施例所述的监控批量处理的方法。
75.本技术实施例中提到的“第一”、“第二”(若存在)等名称中的“第一”、“第二”只是用来做名字标识,并不代表顺序上的第一、第二。
76.通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到上述实施
例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解,本技术的技术方案可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如只读存储器(英文:read-only memory,rom)/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者诸如路由器等网络通信设备)执行本技术各个实施例或者实施例的某些部分所述的方法。
77.本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
78.以上所述仅是本技术示例性的实施方式,并非用于限定本技术的保护范围。

技术特征:
1.一种监控批量处理的方法,其特征在于,所述方法用于对批量处理系统的批量处理过程进行监控,所述批量处理过程包括对多个数据的处理,所述方法包括:获取批量处理系统上报的处理信息;响应于所述批量处理系统上报的处理信息包括第一关键词,根据所述第一关键词生成第一告警信息;发送所述第一告警信息。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:响应于批量处理系统上报的处理信息包括第二关键词,根据所述第二关键词调整告警参数;响应于所述告警参数大于告警参数阈值,生成第二告警信息;发送所述第二告警信息;和/或,响应于批量处理系统上报的处理信息不包括第三关键词,根据所述第三关键词生成第三告警信息;发送所述第三告警信息。3.根据权利要求2所述的方法,其特征在于,所述方法还包括:响应于所述批量处理结束,生成批量处理告警记录,所述批量处理告警记录包括所述第一告警信息、所述第二告警信息和所述第三告警信息;发送所述批量处理告警记录。4.根据权利要求1所述的方法,其特征在于,所述批量处理系统基于批量处理服务器实现,所述获取批量处理系统上报的处理信息包括:获取处理信息集合,所述处理信息集合包括所述批量处理服务器的标识和目标人员的联系方式;根据所述批量处理服务器的标识,从所述批量处理服务器处获取所述批量处理系统上报的处理信息;所述发送所述第一告警信息包括:根据所述目标人员的联系方式,向所述目标人员发送所述第一告警信息。5.一种监控批量处理的装置,其特征在于,所述装置用于对批量处理系统的批量处理过程进行监控,所述批量处理过程包括对多个数据的处理,所述装置包括:获取模块,用于获取批量处理系统上报的处理信息;处理模块,用于响应于所述批量处理系统上报的处理信息包括第一关键词,根据所述第一关键词生成第一告警信息;发送所述第一告警信息。6.根据权利要求5所述的装置,其特征在于,所述处理模块,还用于响应于批量处理系统上报的处理信息包括第二关键词,根据所述第二关键词调整告警参数;响应于所述告警参数大于告警参数阈值,生成第二告警信息;发送所述第二告警信息;和/或,响应于批量处理系统上报的处理信息不包括第三关键词,根据所述第三关键词生成第三告警信息;发送所述第三告警信息。7.根据权利要求6所述的装置,其特征在于,所述处理模块,还用于响应于所述批量处理结束,生成批量处理告警记录,所述批量处理告警记录包括所述第一告警信息、所述第二告警信息和所述第三告警信息;发送所述批
量处理告警记录。8.根据权利要求5所述的装置,其特征在于,所述批量处理系统基于批量处理服务器实现,所述获取模块,还用于获取处理信息集合,所述处理信息集合包括所述批量处理服务器的标识和目标人员的联系方式;所述处理模块,还用于根据所述批量处理服务器的标识,从所述批量处理服务器处获取所述批量处理系统上报的处理信息;根据所述目标人员的联系方式,向所述目标人员发送所述第一告警信息。9.一种监控批量处理的设备,其特征在于,所述设备包括存储器和处理器,所述存储器用于存储程序或代码,所述处理器用于运行所述存储器中存储的程序或代码,以实现如权利要求1-4任一项所述的监控批量处理的方法。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有代码,当所述代码被运行时,运行所述代码的设备实现如权利要求1-4任一项所述的监控批量处理的方法。

技术总结
本申请实施例提供了一种监控批量处理的方法及装置。具体地,在执行本申请实施例提供的监控批量处理的方法时,首先可以获取批量处理系统上报的处理信息。接着,可以判断批量处理系统上报的处理信息中是否包括第一关键词。如果批量处理系统上报的处理信息中包括第一关键词,可以根据第一关键词生成第一告警信息,并实时向技术人员发送第一告警信息。这样,如果批量处理系统在批量处理过程中出现了异常或者故障,导致批量处理系统上报的处理信息中包括第一关键词,那么可以及时发现处理信息中的第一关键词,并基于第一关键词生成对应的第一告警信息,最终通过向外发送第一告警信息实现批量处理过程中的及时告警。实现批量处理过程中的及时告警。实现批量处理过程中的及时告警。


技术研发人员:李小莉 郭锦帅 陈颖琪 严祖文
受保护的技术使用者:中国银行股份有限公司
技术研发日:2022.06.23
技术公布日:2022/11/1
转载请注明原文地址: https://tieba.8miu.com/read-6170.html

最新回复(0)