1.本发明涉及数据中心技术领域,尤其涉及一种网络流量监控方法、装置和系统。
背景技术:2.随着大数据、人工智能、云计算等技术的发展,对于这些技术所依赖的数据中心的算力及存储性能要求越来越高,使得数据中心计算及存储设备不断扩容,随之数据中心的网络规模也不断扩大。由于数据中心网络规模的扩大,经常碰到的问题是业务处理速度变慢,效率降低,这一般是由于数据中心的网络中业务流量的传输链路的某一个或某几个交换机发生了拥堵,导致业务流量传输时延增大,甚至发生丢失业务流量包的情况。
3.因此,监控业务流量的传输路径,以基于监控的结果及时发现传输路径存在的问题则显示的十分重要。但是,目前尚没有行之有效的方法获取业务流量的传输路径。
技术实现要素:4.有鉴于此,本发明实施例提供一种网络流量监控方法、装置和系统,能够获取数据中心网络中的多个交换机信息、交换机复制的报文信息;基于多个交换机复制的报文、以及传输所述报文相关的时间信息,确定报文所属业务流量的网络传输链路,并对网络传输链路的传输情况进行分析,从而使用户能够基于分析的结果管理所述网络传输链路,克服了无法获取业务流量的网络传输链路的问题,提高了网络流量控制的效率。
5.为实现上述目的,根据本发明实施例的一个方面,提供了一种网络流量监控方法,包括:获取数据中心网络中的多个交换机复制的报文以及对应于所述报文的交换机的信息;确定与传输所述报文相关的时间信息;基于多个交换机复制的报文、对应于所述报文的交换机的信息以及与传输所述报文相关的时间信息,确定所述报文所属业务流量的网络传输链路,并对所述网络传输链路的传输情况进行分析,以使用户基于分析的结果管理所述网络传输链路。
6.可选地,所述网络流量监控方法,所述确定所述报文所属业务流量的网络传输链路,包括:针对获取到的每一个所述报文,执行下述操作:解析出所述报文的特征信息;查找与所述报文的特征信息相匹配的在先获取的报文;在查找到的情况下,将对应于所述报文的交换机的信息串接到对应于所述在先获取的报文的交换机的信息之后,确定所述报文所在的网络传输链路中交换机的串接顺序。
7.可选地,所述网络流量监控方法,所述确定所述报文所属业务流量的网络传输链路,包括:解析出存储的多个所述报文的特征信息;查找具有相同特征信息的多个目标报文;根据多个所述目标报文的时间信息,确定多个所述目标报文所对应的交换机的信息的顺序;根据多个所述目标报文所对应的交换机的信息的顺序,确定所述目标报文所属业务流量的网络传输链路。
8.可选地,所述网络流量监控方法,所述获取数据中心网络中的多个交换机复制的报文,包括:获取数据中心网络中的多个交换机复制的对应于待监控业务的报文。
9.可选地,所述网络流量监控方法,所述交换机配置有多个队列,每一个所述队列配置有多个dscp值,所述多个dscp值中存在一个预留dscp值,以使用户为所述待监控业务分配一个所述预留dscp值;所述获取数据中心网络中的多个交换机复制的对应于待监控业务的报文,包括:获取数据中心网络中的多个交换机复制的具有所述预留dscp值的报文。
10.可选地,所述网络流量监控方法,所述确定与传输所述报文相关的时间信息,包括:针对获取到的每一个所述交换机复制的报文,执行下述操作:读取所述交换机复制的报文中包括的上一交换机为所述报文添加的进入时间戳和离开时间戳。
11.可选地,所述网络流量监控方法,所述确定与传输所述报文相关的时间信息,包括:记录获取到所述交换机复制的报文的写入时间。
12.可选地,所述网络流量监控方法,所述确定所述报文所属业务流量的网络传输链路,还包括:确定未读取到所述进入时间戳和离开时间戳的报文所对应的交换机信息为网络传输链路的起始位置。
13.可选地,所述网络流量监控方法,所述对所述网络传输链路的传输情况进行分析,包括:确定所述网络传输链路中的所述交换机添加的进入时间戳与离开时间戳之间的第一时间差,确定所述时间差超过预设第一时间差阈值的交换机为异常交换机。
14.可选地,所述网络流量监控方法,所述对所述网络传输链路的传输情况进行分析,包括:确定所述网络传输链路中每相邻两个所述交换机的写入时间的第二时间差,确定所述第二时间差超过预设第二时间差阈值的交换机为异常交换机。
15.可选地,所述网络流量监控方法,所述对所述网络传输链路的传输情况进行分析,包括:确定所述报文所属业务流量的目标地址所连接的一个或多个目标交换机的信息;针对所述报文所属业务流量的网络传输链路中的最后一个交换机的信息与任一所述目标交换机的信息均不一致的情况,确定所述网络传输链路针对所述业务流量发生丢包异常,并确定发生所述丢包异常的交换机。
16.为实现上述目的,根据本发明实施例的第二方面,提供了一种网络流量监控设备,包括:获取单元以及网络分析单元,其中,
17.所述获取单元,用于获取数据中心网络中的多个交换机复制的报文以及对应于所述报文的交换机的信息;
18.所述网络分析单元,用于确定与传输所述报文相关的时间信息;基于多个交换机复制的报文、对应于所述报文的交换机的信息以及与传输所述报文相关的时间信息,确定所述报文所属业务流量的网络传输链路,并对所述网络传输链路的传输情况进行分析,以使用户基于分析的结果管理所述网络传输链路。
19.可选地,所述网络流量监控设备,包括:所述确定所述报文所属业务流量的网络传输链路,包括:针对获取到的每一个所述报文,执行下述操作:解析出所述报文的特征信息;查找与所述报文的特征信息相匹配的在先获取的报文;在查找到的情况下,将对应于所述报文的交换机的信息串接到对应于所述在先获取的报文的交换机的信息之后,确定所述报文所在的网络传输链路中交换机的串接顺序。
20.可选地,所述网络流量监控设备,包括:所述确定所述报文所属业务流量的网络传输链路,包括:解析出存储的多个所述报文的特征信息;查找具有相同特征信息的多个目标报文;根据多个所述目标报文的时间信息,确定多个所述目标报文所对应的交换机的信息
的顺序;根据多个所述目标报文所对应的交换机的信息的顺序,确定所述目标报文所属业务流量的网络传输链路。
21.可选地,所述网络流量监控设备,包括:所述获取数据中心网络中的多个交换机复制的报文,包括:获取数据中心网络中的多个交换机复制的对应于待监控业务的报文。
22.可选地,所述网络流量监控设备,包括:所述交换机配置有多个队列,每一个所述队列配置有多个dscp值,所述多个dscp值中存在一个预留dscp值,以使用户为所述待监控业务分配一个所述预留dscp值;所述获取数据中心网络中的多个交换机复制的对应于待监控业务的报文,包括:获取数据中心网络中的多个交换机复制的具有所述预留dscp值的报文。
23.可选地,所述网络流量监控设备,包括:所述确定与传输所述报文相关的时间信息,包括:针对获取到的每一个所述交换机复制的报文,执行下述操作:读取所述交换机复制的报文中包括的上一交换机为所述报文添加的进入时间戳和离开时间戳。
24.可选地,所述网络流量监控设备,包括:所述确定与传输所述报文相关的时间信息,包括:记录获取到所述交换机复制的报文的写入时间。
25.可选地,所述网络流量监控设备,包括:所述确定所述报文所属业务流量的网络传输链路,还包括:确定未读取到所述进入时间戳和离开时间戳的报文所对应的交换机信息为网络传输链路的起始位置。
26.可选地,所述网络流量监控设备,包括:所述对所述网络传输链路的传输情况进行分析,包括:确定所述网络传输链路中的所述交换机添加的进入时间戳与离开时间戳之间的第一时间差,确定所述时间差超过预设第一时间差阈值的交换机为异常交换机。
27.可选地,所述网络流量监控设备,包括:所述对所述网络传输链路的传输情况进行分析,包括:确定所述网络传输链路中每相邻两个所述交换机的写入时间的第二时间差,确定所述第二时间差超过预设第二时间差阈值的交换机为异常交换机。
28.可选地,所述网络流量监控设备,包括:所述对所述网络传输链路的传输情况进行分析,包括:确定所述报文所属业务流量的目标地址所连接的一个或多个目标交换机的信息;针对所述报文所属业务流量的网络传输链路中的最后一个交换机的信息与任一所述目标交换机的信息均不一致的情况,确定所述网络传输链路针对所述业务流量发生丢包异常,并确定发生所述丢包异常的交换机。
29.为实现上述目的,根据本发明实施例的第三方面,提供了一种网络流量监控系统,包括:数据中心网络中的多个交换机以及第三方面所述的网络流量监控设备。
30.其中,所述交换机复制接收的报文,并在发送报文到下一个交换机时,为报文添加进入时间戳和离开时间戳,即,报文中包括在先的一个或多个交换机为所述报文添加的进入时间戳和离开时间戳;所述交换机还配置有多个队列,每一个所述队列配置有多个dscp值,所述多个dscp值中存在一个预留dscp值,以使用户为所述待监控业务分配一个所述预留dscp值;并通过多个所述交换机复制的具有所述预留dscp值的报文。
31.为实现上述目的,根据本发明实施例的第四方面,提供了一种控制无人驾驶车辆的电子设备,其特征在于,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述控制无人驾驶车辆的方法中任一所述的方法。
32.为实现上述目的,根据本发明实施例的第五方面,提供了一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如上述控制无人驾驶车辆的方法中任一所述的方法。
33.上述发明中的一个实施例具有如下优点或有益效果:能够获取多个交换机复制的报文、对应于所述报文的交换机的信息、以及与传输报文相关的时间信息,以确定报文所属业务流量的网络传输链路,并对网络传输链路的传输情况进行分析,从而使用户能够基于分析的结果管理所述网络传输链路,克服了无法获取业务流量的网络传输链路的问题,提高了网络流量控制的效率和自动化程度。
34.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
35.附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
36.图1是根据本发明实施例的网络流量监控方法的主要流程的示意图;
37.图2是现有数据中心网络的结构示意图;
38.图3是根据本发明实施例的数据中心网络的结构示意图;
39.图4是根据本发明实施例的交换机包含的dscp队列的结构示意图;
40.图5是根据本发明实施例的网络流量监控设备的结构示意图;
41.图6是根据本发明实施例的网络流量监控系统的结构示意图;
42.图7是本发明实施例可以应用于其中的示例性系统架构图;
43.图8是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
44.以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
45.随着互联网技术的发展,互联网应用所使用的数据中心也从规模上、数量上在快速增加。同时第五代通信技术、大数据、人工智能、云计算等技术的发展,为数字经济提供了支撑,而这些日益增长的数据流量对数据中心提出了更多的需求。数据中心网络需要能够为各种不同场景的网络应用提供稳定高效的传输,保证业务的正常运行。一方面,互联网络承载的流量持续增长并且越来越多元化,对网络带宽的要求越来越高,数据中心内部网络设备,比如交换机端口速率从10g、25g、100g、400g在持续迭代,网络设备性能也在快速增长;另一方面,业务场景的多元化以及应用规模的增长,对数据中心算力及存储性能要求越来越高,数据中心计算及存储设备不断扩容,网络规模也不断扩大。如何保证高带宽大规模网络的稳定运行,对数据中心网络设计、运维、监控都提出了更高的要求。图2示出了一种现有的数据中心网络通常使用的一种架构拓扑,如图2所示,交换机之间会接入多条冗余链路,提供流量的负载均衡。图2中所示网络为ecmp(equal cost multi-path,即等价多路径
路由),是指存在多条具有相同开销的路径可以到达同一个目的地址。数据中心内交换机均支持该功能,在设备中存在这样的路由,即同一目的ip网段对应多个下一跳即出口,发往该目的ip网段的报文可以通过多个路径进行负载分担,当其中某些路径出现故障时,其他路径可以自动代替其完成流量转发。但是,现有方法存在如下问题:从某个物理服务器到另一个服务器会有多条负载均衡链路,对应的某条业务流量(例如:报文信息)会走哪条链路,是由ecmp的基于流的哈希运算来确定的;交换机会通过选择报文中的一些字段来作为哈希算法的输入,包括报文的五元组(目的ip地址,源ip地址,ip协议号,目的端口号,源端口号),报文的目的mac地址、源mac地址、vlan id中的一个或多个字段来计算出口链路。相同的业务流量(以上某些字段值相同)会分担到相同的链路上。但这种负载均衡哈希算法复杂度较高,无法通过模拟算法确定某条业务流量会分布到哪条链路上,交换机设备也不提供对外接口来获取。
46.数据中心网络运维中,经常遇到的问题是某个业务处理速度变慢,效率降低,这种情况很有可能是由于业务流量网络传输时延增大导致。数据中心网络中,报文在物理链路上的传输时间基本是固定的,因此存在由于某个交换机发生了拥塞导致设备转发时延增大的问题,进而导致流量传输时长的增加。交换机一般采用存储转发模式,会先将报文根据dscp(differentiated services code point,差分服务代码点)值,每一个业务会指定一些dscp值,为业务划分的不同缓存在端口的不同队列中,再进行队列调度进行转发。dscp取值范围为0-63,交换机每个端口有8个队列,映射关系可以自由配置,当遇到突发流量时,缓存队列中报文越来越多,转发时延逐渐增大,当队列深度超过队列所能分配的最大存储时,就会发生丢包。但发生这种情况时由于无法知道该流量的转发路径,所以无法判断是哪个网络设备发生了拥塞,或者是哪台设备发生了丢包。
47.鉴于此,图1是根据本发明实施例的网络流量监控,如图1所示,本方法包含以下步骤:
48.步骤s101:获取数据中心网络中的多个交换机复制的报文以及对应于所述报文的交换机的信息。
49.具体地,获取数据中心网络中的多个交换机复制的报文以及对应于所述报文的交换机的信息;以图3所示本发明实施例的数据中心网络的示意结构为例,如图3所示,数据中心网络包含了发送报文的源服务器s1、目标服务器s2、以及交换机a-交换机f;其中,源服务器s1所发送的报文经过多个交换机的复制和发送,最后到达目标服务器s2;以完成报文的传输。其中,基于负载均衡动态确定交换机,例如,报文经过交换机a、交换机c、交换机b进行传输,则获取交换机a、交换机c、交换机b所复制的报文、以及对应于所述报文的交换机的信息(交换机a、交换机c、交换机b的标识)。
50.优选地,利用采集器(即本发明涉及的网络流量监控设备)获取数据中心网络中的多个交换机复制的报文以及对应于所述报文的交换机的信息;具体地,各个交换机可以包含基于远程网络的流量监控工具(例如:erspan,encapsulated remote switch port analyzer),各个交换机通过erspan来获取数据中心网络中的多个交换机传输的报文,并将接收到的报文进行复制,然后通过gre(generic routing encapsulation)对报文进行封装,然后发送到采集器进行解析,采集器可以为服务器、云服务、客户端等具有网络连接和数据处理能力的设备。
51.进一步地,由于数据中心网络中数据流量较大,优选地,选择性地确定待监控的报文,并利用采集器获取待监控业务的报文,提高了监控报文的准确性和效率,降低了网络资源的消耗;其中,采集器确定待监控业务的报文的方法可以通过解析报文的内容后确定,例如:例如ip地址1.1.1.1端口号80所提供的http业务为待监控业务,则需要监测该业务流量的实时情况,因此与ip地址是1.1.1.1端口号是80关联的一个或多个交换机复制的报文确定为待监控业务的报文;即,所述获取数据中心网络中的多个交换机复制的报文,包括:获取数据中心网络中的多个交换机复制的对应于待监控业务的报文。
52.进一步地,所述交换机配置有多个队列,每一个所述队列配置有多个dscp值,所述多个dscp值中存在一个预留dscp值,以使用户为所述待监控业务分配一个所述预留dscp值;所述获取数据中心网络中的多个交换机复制的对应于待监控业务的报文,包括:获取数据中心网络中的多个交换机复制的具有所述预留dscp值的报文。具体地,本发明以dscp字段作为acl(access control list,访问控制列表)的匹配项来过滤出待监控业务的业务流量,然后执行erspan及添加时间戳(timestamp)的操作。优选地,交换机可以为待监控业务的报文预留8个dscp值,分别映射到端口的8个队列;图4示出了交换机设置的dscp的8个队列,以及8个队列中每个队列包含的多个dscp值中包含预留dscp值的示例图,即,每一个所述队列配置有多个dscp值,所述多个dscp值中存在一个预留dscp值;如图4所示,例如dscp取值范围为0-63,交换机每个端口有8个队列,每个队列具有队列对应的dscp取值范围,例如:队列0的dscp值的范围为0-7;队列1dscp值的范围为8-15,以此类推;例如交换机为待监控业务a预留的dscp值为1,则映射到队列0中;为待监控业务所预留的dscp值不能被其他业务所使用,由此可见,通过为监测流量预留8个dscp映射到交换机的8个队列,可以在不影响流量转发的情况下准确地跟踪待监控业务的业务流量的转发路径。
53.步骤s102:确定与传输所述报文相关的时间信息。
54.具体地,从获取数据中心网络中的多个交换机复制的报文以及对应于所述报文的交换机的信息中解析并确定与传输所述报文相关的时间信息。
55.其中,与传输所述报文相关的时间信息可以为交换机接收到报文的时间戳和发送出报文的时间戳,以图3的示意图为例,如图3所示,交换机a接收到源服务器s1发送的原始报文,复制原始报文并添加时间戳,可以分别添加进入时间戳和离开时间戳两个时间戳,即接收到报文的时间戳(即进入时间戳)和发送出报文的时间戳(即离开时间戳),其中,时间戳的格式是可以是48位,为utc标准时间的时间格式,其中前18位代表秒,后30位代表纳秒,可以理解的是,进入时间戳和离开时间戳两个时间戳的差值即代表该报文在交换机a所停留的时间,也即交换机a处理报文的时间;进一步地,交换机a转发报文到下一个交换机(交换机c/d/e/f中的任意一个)。类似地,假设交换机c接收到交换机a发送的报文,则执行与交换机a相同的添加的进入时间戳和离开时间戳的操作,进一步地,交换机b在接收交换机发送的报文后,发送报文给目的服务器s2;优选地,每个交换机添加时间戳后的报文经过gre封装发送给采集器,采集器通过解析报文的时间戳,由于每个报文所经过的交换机均添加两个时间戳(即进入时间戳和离开时间戳),通过确定有几对时间戳可以判断经过几个交换机,并根据报文包含的交换机的标识(例如ip地址等唯一标识)确定发送报文的交换机为a-》c-》b,即,确定与传输所述报文相关的时间信息,包括:针对获取到的每一个所述交换机复制的报文,执行下述操作:读取所述交换机复制的报文中包括的上一交换机为所述报文添
加的进入时间戳和离开时间戳。
56.进一步地,确定与传输所述报文相关的时间信息,包括:记录获取到所述交换机复制的报文的写入时间。优选地,采集器还可以记录接收到的录获取到所述交换机复制的报文的写入时间,结合报文中包含的该交换机的为所述报文添加的进入时间戳和离开时间戳,进一步检测该交换机处理报文的时间是否存在延迟。
57.步骤s103:基于多个交换机复制的报文、对应于所述报文的交换机的信息以及与传输所述报文相关的时间信息,确定所述报文所属业务流量的网络传输链路,并对所述网络传输链路的传输情况进行分析,以使用户基于分析的结果管理所述网络传输链路。
58.具体地,基于多个交换机复制的报文、对应于所述报文的交换机的信息以及与传输所述报文相关的时间信息,确定所述报文所属业务流量的网络传输链路,有两种方法:
59.第一种方法:确定所述报文所属业务流量的网络传输链路,包括:针对获取到的每一个所述报文,执行下述操作:解析出所述报文的特征信息;查找与所述报文的特征信息相匹配的在先获取的报文;在查找到的情况下,将对应于所述报文的交换机的信息串接到对应于所述在先获取的报文的交换机的信息之后,确定所述报文所在的网络传输链路中交换机的串接顺序。
60.具体地,针对获取的每一个报文,解析出特征信息,其中,特征信息可以是在交换机上传输的报文包含的消息头或消息体中的信息,可以理解的是,通过多个交换机转发的同一个报文包含相同的特征信息,从而通过特征信息查找匹配的在先获取的报文,在查找到的情况下,将对应于所述报文的交换机的信息串接到对应于所述在先获取的报文的交换机的信息之后,从而确定所述报文所在的网络传输链路中交换机的串接顺序;例如:以最新获取到的报文abc为例,解析报文abc得到的特征信息为“aaa”,则查找是否存在包含特征信息为“aaa”的报文,在查找到的情况下,确定在先的报文对应的交换机信息;在未查找到的情况下,存储报文以进行后续的特征信息匹配操作;例如:采集器最新获取到的报文abc对应的交换机信息为交换机b;通过特征信息匹配确定出的在先报文的交换机信息为“交换机c”,根据交换机发送的报文携带的时间戳确定时间的先后,例如,确定所述报文所在的网络传输链路中交换机的串接顺序为“交换机c
”→“
交换机b”,即,交换机b串接到交换机c的顺序为交换机b串接到交换机c之后。
61.第二种方法:确定所述报文所属业务流量的网络传输链路,包括:解析出存储的多个所述报文的特征信息;查找具有相同特征信息的多个目标报文;根据多个所述目标报文的时间信息,确定多个所述目标报文所对应的交换机的信息的顺序;根据多个所述目标报文所对应的交换机的信息的顺序,确定所述目标报文所属业务流量的网络传输链路。具体地,采集器获取所存储的多个报文,找具有相同特征信息的多个目标报文;根据多个所述目标报文的时间信息,确定多个所述目标报文所对应的交换机的信息的顺序;例如:通过解析特征信息“aaa”,查找到3个包含特征信息“aaa”的目标报文,进一步解析3个目标报文中的时间信息(例如,交换机为报文添加的任意一种时间戳、或者接收报文的时间信息等),根据时间信息指示的时间顺序确定多个所述目标报文所对应的交换机的信息的顺序,例如确定出的3个目标报文所对应的交换机的信息的顺序为“交换机a
”→“
交换机c
”→“
交换机b”,基于该顺序确定所述目标报文所属业务流量的网络传输链路为“交换机a
”→“
交换机c
”→“
交换机b”。
62.进一步地,确定所述报文所属业务流量的网络传输链路,还包括:确定未读取到所述进入时间戳和离开时间戳的报文所对应的交换机信息为网络传输链路的起始位置。仍以图3的示意图为例,例如交换机a收到服务器s1发出的原始报文后,复制一份原始报文并进行gre封装再发送给采集器,当采集器收到该封装的报文后,进行解析确定从该原始报文中未读取到所述进入时间戳和离开时间戳的报文,则确定该原始报文对应的交换机a为网络传输链路的起始位置。
63.进一步地,对所述网络传输链路的传输情况进行分析,具体地,可以包括如下分析方法:
64.第一种方法:确定所述网络传输链路中的所述交换机添加的进入时间戳与离开时间戳之间的第一时间差,确定所述时间差超过预设第一时间差阈值的交换机为异常交换机。具体地,获取传输报文的交换机所添加的进入时间戳与离开时间戳之间的第一时间差,可以理解的是第一时间差代表交换机处理报文所用的时间,如果第一时间差超过预设第一时间差阈值(例如:500毫秒、3秒、5秒等),则说明该交换机存在硬件异常或传输报文堵塞等异常情况,即确定该交换机为异常交换机。
65.第二种方法:确定所述网络传输链路中每相邻两个所述交换机的写入时间的第二时间差,确定所述第二时间差超过预设第二时间差阈值的交换机为异常交换机。具体地,获取每相邻两个所述交换机的报文对应的写入时间,确定每相邻两个所述交换机的写入时间的第二时间差,例如,如图3所示的示意图中,网络传输链路为“交换机a
”→“
交换机c
”→“
交换机b”,若相邻的交换机a与交换机c的写入时间的第二时间差超过预设第二时间差阈值(例如:500毫秒、3秒、5秒等),则说明该交换机存在硬件异常或传输报文堵塞等异常情况,即确定该交换机为异常交换机。
66.第三种方法:确定所述报文所属业务流量的目标地址所连接的一个或多个目标交换机的信息;针对所述报文所属业务流量的网络传输链路中的最后一个交换机的信息与任一所述目标交换机的信息均不一致的情况,确定所述网络传输链路针对所述业务流量发生丢包异常,并确定发生所述丢包异常的交换机。具体地,根据业务流量的目标地址(例如ip地址、mac地址等)确定目标地址所连接的一个或多个目标交换机的信息,确定的目标地址所连接的一个或多个目标交换机的信息方法可以从业务流量对应的报文中解析得到,例如,解析到的多个目标交换机分别为交换机a、交换机c、交换机b;仍以图3为例,在如图3所示的示意图中,假设报文所属业务流量的网络传输链路为“交换机a
”→“
交换机c
”→“
交换机b”,获取网络传输链路中的最后一个交换机的信息,例如最后一个交换机的信息为“交换机b”的信息,解析交换机b对应的报文信息,如果确定交换机b的报文信息与任意一个其他目标交换机(交换机a或交换机c)不一致,则确定针对所述业务流量发生丢包异常,并根据不一致的信息可以确定发生所述丢包异常的交换机。
67.进一步优选地,采集器(即网络流量监控设备)可以利用可视化的数据展示分析网络流量监控的数据得到的结果、以及异常情况下的数据。
68.如图5所示,本发明实施例提供的网络流量监控设备500,包括:获取单元501以及网络分析单元502,其中,
69.所述获取单元501,用于获取数据中心网络中的多个交换机复制的报文以及对应于所述报文的交换机的信息;
70.所述网络分析单元502,用于确定与传输所述报文相关的时间信息;基于多个交换机复制的报文、对应于所述报文的交换机的信息以及与传输所述报文相关的时间信息,确定所述报文所属业务流量的网络传输链路,并对所述网络传输链路的传输情况进行分析,以使用户基于分析的结果管理所述网络传输链路。
71.如图6所示,本发明实施例提供的网络流量监控系统600,包括:数据中心网络中的多个交换机601以及网络流量监控设备500。其中,所述交换机601复制接收的报文,并在发送报文到下一个交换机时,为报文添加进入时间戳和离开时间戳,即报文中包括在先的一个或多个交换机为所述报文添加的进入时间戳和离开时间戳;所述交换机601还配置有多个队列,每一个所述队列配置有多个dscp值,所述多个dscp值中存在一个预留dscp值,以使用户为所述待监控业务分配一个所述预留dscp值;并通过多个交换机复制的具有所述预留dscp值的报文。
72.本发明实施例还提供了一种网络流量监控电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述任一实施例提供的方法。
73.本发明实施例还提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现上述任一实施例提供的方法。
74.图7示出了可以应用本发明实施例的网络流量监控方法或网络流量监控设备的示例性系统架构700。
75.如图7所示,系统架构700可以包括终端设备701、702、703,网络704和服务器705(此架构仅仅是示例,具体架构中包含的组件可以根据申请具体情况调整)。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
76.用户可以使用终端设备701、702、703通过网络704与服务器705交互,以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
77.终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机、交换机、台式计算机等等。
78.服务器705可以是提供各种服务的服务器,例如对终端设备701、702、703所发送的报文进行处理分析的后台管理服务器。后台管理服务器可以对接收到的报文等数据进行分析等处理,并将分析后的流量监控结果反馈给终端设备。
79.需要说明的是,本发明实施例所提供的网络流量监控方法一般由服务器705执行,相应地,网络流量监控设备一般设置于服务器705中。
80.应该理解,图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
81.下面参考图8,其示出了适于用来实现本发明实施例的终端设备的计算机系统800的结构示意图。图8示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
82.如图8所示,计算机系统800包括中央处理单元(cpu)801,其可以根据存储在只读存储器(rom)802中的程序或者从存储部分808加载到随机访问存储器(ram)803中的程序而
执行各种适当的动作和处理。在ram 803中,还存储有系统800操作所需的各种程序和数据。cpu 801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
83.以下部件连接至i/o接口805:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。
84.特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(cpu)801执行时,执行本发明的系统中限定的上述功能。
85.需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、rf等等,或者上述的任意合适的组合。
86.附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
87.描述于本发明实施例中所涉及到的单元(or“模块”)可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元(or“模块”)也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元以及网络分析单元,其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取数据中心网络中的多个交换机复制的报文以及对应于所述报文的交换机的信息的单元”。
88.作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:获取数据中心网络中的多个交换机复制的报文以及对应于所述报文的交换机的信息;确定与传输所述报文相关的时间信息;基于多个交换机复制的报文、对应于所述报文的交换机的信息以及与传输所述报文相关的时间信息,确定所述报文所属业务流量的网络传输链路,并对所述网络传输链路的传输情况进行分析,以使用户基于分析的结果管理所述网络传输链路。
89.根据本发明实施例的技术方案,能够获取多个交换机复制的报文、对应于所述报文的交换机的信息、以及与传输报文相关的时间信息,以确定报文所属业务流量的网络传输链路,并对网络传输链路的传输情况进行分析,从而使用户能够基于分析的结果管理所述网络传输链路,克服了无法获取业务流量的网络传输链路的问题,提高了网络流量控制的效率和自动化程度。
90.上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
技术特征:1.一种网络流量监控方法,其特征在于,包括:获取数据中心网络中的多个交换机复制的报文以及对应于所述报文的交换机的信息;确定与传输所述报文相关的时间信息;基于多个交换机复制的报文、对应于所述报文的交换机的信息以及与传输所述报文相关的时间信息,确定所述报文所属业务流量的网络传输链路,并对所述网络传输链路的传输情况进行分析,以使用户基于分析的结果管理所述网络传输链路。2.根据权利要求1所述的网络流量监控方法,其特征在于,所述确定所述报文所属业务流量的网络传输链路,包括:针对获取到的每一个所述报文,执行下述操作:解析出所述报文的特征信息;查找与所述报文的特征信息相匹配的在先获取的报文;在查找到的情况下,将对应于所述报文的交换机的信息串接到对应于所述在先获取的报文的交换机的信息之后,确定所述报文所在的网络传输链路中交换机的串接顺序。3.根据权利要求1所述的网络流量监控方法,其特征在于,所述确定所述报文所属业务流量的网络传输链路,包括:解析出存储的多个所述报文的特征信息;查找具有相同特征信息的多个目标报文;根据多个所述目标报文的时间信息,确定多个所述目标报文所对应的交换机的信息的顺序;根据多个所述目标报文所对应的交换机的信息的顺序,确定所述目标报文所属业务流量的网络传输链路。4.根据权利要求1所述的网络流量监控方法,其特征在于,所述获取数据中心网络中的多个交换机复制的报文,包括:获取数据中心网络中的多个交换机复制的对应于待监控业务的报文。5.根据权利要求4所述的网络流量监控方法,其特征在于,所述交换机配置有多个队列,每一个所述队列配置有多个dscp值,所述多个dscp值中存在一个预留dscp值,以使用户为所述待监控业务分配一个所述预留dscp值;所述获取数据中心网络中的多个交换机复制的对应于待监控业务的报文,包括:获取数据中心网络中的多个交换机复制的具有所述预留dscp值的报文。6.根据权利要求1所述的网络流量监控方法,其特征在于,所述确定与传输所述报文相关的时间信息,包括:针对获取到的每一个所述交换机复制的报文,执行下述操作:读取所述交换机复制的报文中包括的上一交换机为所述报文添加的进入时间戳和离开时间戳。7.根据权利要求1所述的网络流量监控方法,其特征在于,所述确定与传输所述报文相关的时间信息,包括:记录获取到所述交换机复制的报文的写入时间。8.根据权利要求6所述的网络流量监控方法,其特征在于,所述确定所述报文所属业务流量的网络传输链路,还包括:
确定未读取到所述进入时间戳和离开时间戳的报文所对应的交换机信息为网络传输链路的起始位置。9.根据权利要求6所述的网络流量监控方法,其特征在于,所述对所述网络传输链路的传输情况进行分析,包括:确定所述网络传输链路中的所述交换机添加的进入时间戳与离开时间戳之间的第一时间差,确定所述时间差超过预设第一时间差阈值的交换机为异常交换机。10.根据权利要求7所述的网络流量监控方法,其特征在于,所述对所述网络传输链路的传输情况进行分析,包括:确定所述网络传输链路中每相邻两个所述交换机的写入时间的第二时间差,确定所述第二时间差超过预设第二时间差阈值的交换机为异常交换机。11.根据权利要求1所述的网络流量监控方法,其特征在于,所述对所述网络传输链路的传输情况进行分析,包括:确定所述报文所属业务流量的目标地址所连接的一个或多个目标交换机的信息;针对所述报文所属业务流量的网络传输链路中的最后一个交换机的信息与任一所述目标交换机的信息均不一致的情况,确定所述网络传输链路针对所述业务流量发生丢包异常,并确定发生所述丢包异常的交换机。12.一种网络流量监控设备,其特征在于,包括:获取单元以及网络分析单元,其中,所述获取单元,用于获取数据中心网络中的多个交换机复制的报文以及对应于所述报文的交换机的信息;所述网络分析单元,用于确定与传输所述报文相关的时间信息;基于多个交换机复制的报文、对应于所述报文的交换机的信息以及与传输所述报文相关的时间信息,确定所述报文所属业务流量的网络传输链路,并对所述网络传输链路的传输情况进行分析,以使用户基于分析的结果管理所述网络传输链路。13.一种网络流量监控系统,其特征在于,包括:数据中心网络中的多个交换机以及权利要求12所述的网络流量监控设备。14.一种网络流量监控电子设备,其特征在于,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-11中任一所述的方法。15.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-11中任一所述的方法。
技术总结本发明公开了一种网络流量监控方法、装置和系统,涉及数据中心技术领域。该方法的一具体实施方式包括:能够获取数据中心网络中的多个交换机信息、交换机复制的报文信息;基于多个交换机复制的报文、以及传输所述报文相关的时间信息,确定报文所属业务流量的网络传输链路,并对网络传输链路的传输情况进行分析,从而使用户能够基于分析的结果管理所述网络传输链路,克服了无法获取业务流量的网络传输链路的问题,提高了网络流量控制的效率。提高了网络流量控制的效率。提高了网络流量控制的效率。
技术研发人员:王家富 胡锦江 李力
受保护的技术使用者:京东科技信息技术有限公司
技术研发日:2022.07.11
技术公布日:2022/11/1