基于摘要回传比对方式的业务消息传输效果分析方法与流程

1.本发明属于通信技术领域，涉及一种基于摘要回传比对方式的业务消息传输效果分析方法。


背景技术：

2.由于当前网络带宽大幅提高，运行在网络上的业务量也大幅增加。网络运营商在提高网络容量后，却无法获得增值业务收入，也无法判断各种业务占用资源的大小。这些问题使得对业务的管道化需求日趋迫切，而对业务流量的精确控制需要对业务消息的传输情况进行统计分析，从而为业务的运营改善提供依据和方向。但是目前尚未形成一种对业务消息的传输情况进行统计分析的方法。
3.且由于运营商的业务消息种类较多，流量较大，在对消息传输效果进行分析时，如何保证实时性是亟需考虑的首要问题；其次，对业务消息传输效果进行分析时，不应对原有业务传输网络负载造成较大影响。考虑到当前分布式系统的广泛使用，业务消息传输效果分析方法也需支持分布式业务系统，以满足实际应用的需要。


技术实现要素：

4.发明目的：本发明所要解决的技术问题是针对现有技术中尚缺少高效的业务消息传输情况统计分析方法，难以对业务流量做到精确控制，提供一种基于摘要回传比对方式的业务消息传输效果分析方法。
5.为了解决上述技术问题，本发明公开了一种基于摘要回传比对方式的业务消息传输效果分析方法，包括两个以上的节点，每个节点能够向其他节点发送业务消息，且能够接收其他节点发送来的业务消息；节点间通过接入交换机实现连接；每个节点包括路由器、交换机、业务系统以及探针系统；业务系统用于在不同节点间交互业务信息；在业务系统的交换机对外出口处部署探针系统，所述探针系统用于采集应用层消息报文；
6.处于消息发送方的源业务系统以及处于消息接收方的目的业务系统；在所述源业务系统以及目的业务系统的每个业务节点的交换机对外出口处部署探针系统，用于采集和分析业务系统对外的实时业务消息报文；所述源业务系统的对外出口处探针系统作为消息发送方探针；所述目的业务系统的对外出口处探针系统作为消息接收方探针；
7.所述分析方法执行以下步骤：
8.步骤s1：消息发送方探针对发送的业务消息报文进行解析，得到消息发送摘要，并将消息发送摘要保存至本地数据库；
9.消息接收方探针对接收的业务消息报文进行解析，得到消息接收摘要；
10.步骤s2：对消息接收摘要进行提取，形成比对摘要；消息接收方探针将比对摘要回传给消息发送方探针；
11.步骤s3：消息发送方探针将保存在本地数据库中的消息发送摘要与消息接收方探针回传的比对摘要进行匹配，判断该条业务消息是否传输成功；
12.步骤s4：消息发送方探针对步骤s3中的匹配结果进行统计，并计算一段时间内，业务消息传输过程中的丢包率、平均传输时延以及平均消息传输速率；根据丢包率、平均传输时延以及平均消息传输速率对业务消息传输效果进行分析。
13.进一步地，在业务系统的每个业务节点的交换机对外出口处部署的探针系统需进行网络自同步，即在网络上同步当前探针系统名录信息；所述探针系统名录信息包含探针系统编号、探针系统名称、探针ip、业务系统ip以及系统状态。
14.进一步地，设置一个探针系统为管理节点，当有新的探针系统节点加入或退出时，管理节点能够接收该节点的入网或退网申请，掌握所有节点的探针系统名录信息。
15.进一步地，所述步骤s1包括：
16.步骤s11：消息发送方探针和消息接收方探针分别使用消息采集过滤策略，对网络层的数据包进行过滤；
17.步骤s12：对过滤后的数据包的传输层进行解析，判断传输协议类型；
18.步骤s13：建立应用特征库，采用深度包监测技术，将数据包内容与应用特征库进行匹配，识别应用类型；
19.步骤s14：解析业务消息的链路层、网络层、传输层和应用层头，得到消息的摘要信息。
20.进一步地，所述步骤s11包括：
21.步骤s111：通过底层网口抓包，接收交换机镜像口数据,存入待处理队列。
22.步骤s112：从待处理队列中取出数据，提取五元组信息，逐条比对消息采集过滤策略，将匹配不成功的数据丢弃。
23.进一步地，所述步骤s12中，从接收数据队列中取出数据，根据消息传输特征值对消息协议进行预判决，然后用消息传输协议规则对消息进行匹配，判断消息中关键字段的合理性，进而确认预判决的正确性；其中，判断传输协议类型的方法为：检测到数据包发送的源端口号集合为{i1、i2…in
}(n≥1)，已知源端口集合中任一端口im(1≤m≤n)可传输的所有业务使用的传输协议集合为{t1、t2…
ti}(i≥1)；针对探针系统采集的某一特定消息，先后按照t1、t2…
ti传输协议标准进行传输应用头解析，若数据包的传输应用头解析后字段内容能够与某一传输协议tj(1≤j≤i)匹配，则说明该数据包使用tj传输协议传输业务消息报文。
24.进一步地，所述步骤s13中，依据解析成功的消息传输协议，获取消息格式标准，对数据的应用类型进行解析；其中，应用特征库包含每种应用类型的业务消息报文的识别特征；依据识别特征识别业务消息报文应用类型；每类应用类型的识别特征可由多个识别特征组合而成。
25.进一步地，所述步骤s14中，提取消息收发标识、应用层传输协议类型、源业务系统ip地址、目的业务系统ip地址、源平台id、目的平台id、序列号、抓包时间、消息长度、应用子类型标识和关注字段，得到消息摘要信息。
26.进一步地，所述步骤s2包括：
27.步骤s21：在消息接收摘要中提取比对摘要；
28.步骤s22：将比对摘要按消息发送方进行分组，并在探针系统名录信息中查找消息发送方探针的ip信息；
29.步骤s23：消息接收方探针将比对摘要发送给消息发送方所在网络节点的探针系统。
30.进一步地，所述步骤s21中，比对摘要包括业务消息报文的源业务系统ip、目的业务系统ip、应用子类型标识、消息序列号、ip序列号、抓包时间以及消息长度。
31.进一步地，所述步骤s3包括：
32.步骤s31：消息发送方探针接收来自其它探针系统的比对摘要，并查询本地数据库中存储的消息发送摘要；
33.步骤s32：消息发送方探针将本端的消息发送摘要信息与接收到的比对摘要进行消息五元组匹配；若成功匹配，则认为消息发送方发送的消息已被消息接收方成功接收。
34.进一步地，所述步骤s5中，丢包率的计算方式为：统计一段时间t内消息发送信息，其中n个消息发送成功，m个消息发送失败，则t时间内的丢包率为m/(n m)。
35.进一步地，对于发送成功的n个消息，传输时间分别为t1、t2…
tn，消息长度分别为l1、l2…
ln，平均传输时延为平均消息传输速率为
36.进一步地，若某种业务消息的丢包率低、平均传输时延小，平均消息传输速率快，即说明该业务消息的传输效果好，反之说明传输效果差。
37.本发明中业务系统是待分析的用户系统，能够在不同节点间交互业务信息，通常为分布式部署。
38.有益效果：与现有技术相比，本发明提出的基于摘要回传比对方式的传输效果分析方法，依据摘要回传比对方法进行分析，实现了对业务报文传输效果分析的目的。使用回传的比对摘要的方法占用网络资源很小，避免了传统传输效果分析方法占用网络资源过大的问题。依据部署分布式探针系统采集业务消息并进行探针系统名录自同步，确保了对分布式业务系统的支持，从而有效地实现了对分布式业务系统的传输效果分析。
附图说明
39.图1为探针系统部署示意图；
40.图2为消息摘要提取流程；
41.图3为应用特征库结构示意图；
42.图4为比对摘要回传流程；
43.图5为发送方分析传输效果基本流程。
具体实施方式
44.下面结合附图和具体实施方式对本发明做更进一步的具体说明。
45.本发明提出的基于摘要回传比对方式的业务消息传输效果分析方法，包括：处于消息发送方的源业务系统以及处于消息接收方的目的业务系统；
46.如图1所示，将分布式探针系统部署至分布式业务系统网络对外出口处，用于采集和分析业务系统对外的实时业务消息报文；设置一个探针系统为管理节点，当有新的探针系统节点加入或退出时，管理节点能够接收该节点的入网或退网申请，掌握所有节点的系统编号、系统名称、探针ip和系统状态等探针系统名录信息，然后自动同步探针系统名录信息至所有探针系统节点。探针系统名录信息内容见表1。
47.表1探针系统名录信息
48.内容定义探针系统编号探针系统编号探针系统名称探针系统名称探针ip探针用于比对的ip地址业务系统ip用户业务系统的ip集合系统状态探针的系统运行状态
49.将所述源业务系统的对外出口处探针系统作为消息发送方探针；所述目的业务系统的对外出口处探针系统作为消息接收方探针；
50.所述分析方法执行以下步骤：
51.步骤s1：消息发送方探针对发送的业务消息报文进行解析，得到消息发送摘要，并将消息发送摘要保存至本地数据库；消息接收方探针对接收的业务消息报文进行解析，得到消息接收摘要；如图2所示，具体包括如下步骤：
52.步骤s11消息发送方探针和消息接收方探针分别通过网口连接交换机镜像口，获取镜像口的数据包流，完成数据包的采集过程。如果网络数据量较大，可设置消息采集过滤策略(包括ip、端口号等)，根据抓取数据包的五元组信息，对数据包进行过滤，只留取信息流进行进一步分析；
53.步骤s12：解析数据包的传输层，可知数据包发送的源端口号，根据源端口号预判传输协议类型，并利用传输应用头解析比对的方法确认预判的正确性；
54.假设检测到数据包发送的源端口号集合为{i1、i2…in
}(n≥1)，已知源端口集合中任一端口im(1≤m≤n)可传输的所有业务使用的传输协议集合为{t1、t2…
ti}(i≥1)。针对探针系统采集的某一特定消息，先后按照t1、t2…
ti传输协议标准进行传输应用头解析，若数据包的传输应用头解析后字段内容能够与某一传输协议tj(1≤j≤i)匹配，则说明该数据包使用tj传输协议传输业务消息报文；
55.步骤s13：建立应用特征库，包含每种应用类型的业务消息报文的识别特征，作为识别应用类型的依据。每类应用类型的识别特征可由多个识别特征组合而成。对于数据包，其可能的特征元素及定义如表2所示；
56.表2特征元素
[0057][0058][0059]
采用深度包监测(deep packet inspection)技术，将数据包内容与应用特征库进行匹配，识别应用类型。应用类型可细分为多个应用子类型，如图3所示，每个应用子类型的
特征可由1个或多个特征元素组成，当某一数据包同时满足某一应用子类型的几个特征元素时，可认定该数据包属于该应用子类型，并通过隶属关系，确定应用类型；
[0060]
步骤s14：典型业务消息的报文内容如表3所示，通过解析消息的链路层、网络层、传输层和应用层头，获取消息收发标识、应用层传输协议类型、源ip、目的ip、应用子类型标识、应用类型标识、源平台id、目的平台id、ip序列号、消息序列号、抓包时间和消息长度，得到消息的摘要信息。
[0061]
表3典型业务消息报文内容
[0062][0063]
根据消息的源ip地址和目的ip地址将消息摘要分为消息发送摘要(ra)和消息接收摘要(sa)，消息发送方探针将消息发送摘要保存在本地数据库。其中ra和sa的信息内容见表4。
[0064]
表4摘要信息
[0065][0066]
步骤s2：对消息接收摘要进行提取，形成比对摘要；消息接收方探针将比对摘要回传给消息发送方探针，如图4所示；
[0067]
步骤s21：在消息接收摘要中提取该业务消息的源ip、目的ip、应用子类型标识、消息序列号、ip序列号、抓包时间、消息长度等作为比对摘要(ca)；
[0068]
步骤s22：将比对摘要(ca)按消息发送方进行分组，并在探针系统名录中查找消息发送方探针的ip信息；
[0069]
步骤s23：消息接收方探针将将比对摘要(ca)发送给消息发送方所在网络节点的探针系统。
[0070]
步骤s3：消息发送方探针将保存在本地数据库中的消息发送摘要与消息接收方探针回传的比对摘要进行匹配，判断该条业务消息是否传输成功，如图5所示：
[0071]
步骤s31：消息发送方探针接收来自其它探针系统的比对摘要，并查询本地数据库中存储的消息发送摘要；
[0072]
步骤s32：消息发送方探针将本端的消息发送摘要与接收到的比对摘要进行消息五元组(源ip、目的ip、应用子类型标识、消息序列号、ip序列号)匹配；若成功匹配，则认为消息发送方发送的消息已被消息接收方成功接收。
[0073]
步骤s4：消息发送方探针对步骤s3中的匹配结果进行统计，并计算一段时间内，业务消息传输过程中的丢包率、平均传输时延以及平均消息传输速率；根据丢包率、平均传输时延以及平均消息传输速率对业务消息传输效果进行分析。
[0074]
假设一段时间t内，经过抓取消息获取摘要并比对分析，其中n个消息发送成功，传输时间分别为t1、t2…
tn，消息长度分别为l1、l2…
ln，其中m个消息发送失败，则t时间内的丢包率为m/(n m)，平均传输时延为平均消息传输速率为
[0075]
若某种业务消息的丢包率低、平均传输时延小，平均消息传输速率快，即说明该业务消息的传输效果好，反之说明传输效果差。
[0076]
应用实例：
[0077]
用户系统a和用户系统b之间使用有线网络传输文字、话音和视频等业务，且业务系统a和业务系统b由不同厂商负责。在某时段，用户发现使用系统a发送文字到系统b会出
现发送失败现象，且各厂商对自己负责的文字业务模块进行测试均未发现异常。
[0078]
此时，使用探针系统分别抓取用户系统a和用户系统b的镜像数据，使用摘要回传比对方式发现:在系统a对外的交换机镜像口成功抓取到a发出的文字摘要但在系统b对外的交换机镜像口未抓取到a发送的文字摘要信息。经分析此问题是系统a发送文字业务到系统b的网络丢包所致。另外，探针系统发现从用户系统a到用户系统b之间有大量视频信息传输，经计算，此视频信息传输量大导致网络拥塞，从而使文字业务无法正常发送，将异常视频业务关闭后，其他业务恢复正常。通过此应用实例可知，本方法可在业务种类多的情况下快速分析出业务的发送情况和资源占用情况，从而帮助用户快速定位问题。
[0079]
本发明提供了一种基于摘要回传比对方式的业务消息传输效果分析方法的思路及方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。