一种消息轨迹传输查询方法、装置及系统与流程

1.本发明涉及网络通信技术领域，尤其涉及一种消息轨迹传输查询方法、装置及系统。


背景技术：

2.消息轨迹指的是一条消息从生产方发出到消费方消费处理，整个过程包含生产方、服务方、消费方三个角色，每个角色处理消息的过程中都会在轨迹链路中增加相关的信息，将这些信息汇聚即可获取任意消息当前的状态，从而为生产环境中的问题排查提供强有力的数据支持
3.目前市面上采用的消息轨迹，主要包含了跟踪消息发送、消息消费的轨迹，即详细记录消息各个处理环节的日志，在设计上主要解决以下三个问题:
4.1、规定了消息轨迹数据格式；
5.2、如何记录消息轨迹；
6.3、如何存储消息轨迹数据；
7.服务端需要获取的信息,可以规定在消息轨迹数据格式中；对于如何记录消息轨迹,可以采用hook机制,通过两个接口来定义钩子函数，然后通过实行以上两个接口就可以实现在消息发送、消息消费前后记录消息轨迹；在如何存储消息轨迹数据方面上,可以选择将消息轨迹数据存储在broker服务器中。
8.目前在存储消息轨迹数据方面市场上大部分采用的方法都是保存在broker服务器中，首先，要考虑的问题就是如何避免消息轨迹的数据和正常的业务数据混合在一起，如果通过新增broker服务器会导致资源的使用率不高，而且也要防止消息轨迹数据的丢失。


技术实现要素：

9.针对上述缺陷或不足，本发明的目的在于提供一种消息轨迹传输查询方法、装置及系统。
10.为达到以上目的，本发明的技术方案为：
11.一种消息轨迹传输查询方法，包括：
12.服务端接收多方发送的网络消息，所述网络消息包括传输消息和发送端轨迹信息；
13.根据所述网络消息，获取发送端轨迹信息，将多个发送端轨迹信息存储到服务端日志中；
14.对每个发送端轨迹信息设置唯一标识信息，以用于查询和/或识别。
15.所述服务端接收多方发送的网络消息具体包括：
16.接收生产终端和/或消费终端的网络消息。
17.所述生产终端将发送端轨迹信息发送前，附着于传输消息的标头header上；所述发送端轨迹信息包括：生产终端的ip地址、请求日期/时间、请求的网页、http代码、提供的
字节数、用户代理、和/或引用地址。
18.所述消费终端接收到生产终端发送的网络消息后，将消费后的发送端轨迹信息存储到服务端日志；所述消费后的发送端轨迹信息包括：消费终端的ip地址、消费时间、http代码、提供的字节数、用户代理、和/或引用地址。
19.所述将多个发送端轨迹信息存储到服务端日志中多包括：
20.根据生产终端和消费终端，将收生产阶段、消费阶段和存储阶段的发送端轨迹信息进行分类；
21.将分类后的发送端轨迹信息分别打印到服务器日志server.log中。
22.所述对每个发送端轨迹信息设置唯一标识信息具体包括：
23.对每个发送端轨迹信息设置唯一的信息id；
24.并对每个信息id设置索引，以用于对所需信息进行查找。
25.所述对每个发送端轨迹信息设置唯一的信息id包括：利用elk工具对唯一的信息id设置索引。
26.一种消息轨迹传输查询装置，包括接收单元、存储单元、以及标识单元，其中；
27.所述接收单元用于，接收多方发送的网络消息，所述网络消息包括传输消息和发送端轨迹信息；
28.存储单元用于，根据所述网络消息，获取发送端轨迹信息，将多个发送端轨迹信息存储到服务端日志中；
29.标识单元用于，对每个发送端轨迹信息设置唯一标识信息，以用于查询和/或识别。
30.一种消息轨迹传输查询系统，包括生产终端、服务器、消费终端，其中；
31.所述生产终端用于，发送生产终端的网络消息到服务器，所述网络消息包括传输消息和发送端轨迹信息；
32.所述消费终端用于，发送消费结果投递之后的网络消息到服务器，所述网络消息包括传输消息和发送端轨迹信息；
33.所述服务端用于，接收网络消息，并且根据所述网络消息，获取发送端轨迹信息，将多个发送端轨迹信息存储到服务端日志中；最终，对每个发送端轨迹信息设置唯一标识信息，以用于查询和/或识别。
34.所述生产终端将发送端轨迹信息发送前，附着于传输消息的标头header上；所述发送端轨迹信息包括：生产终端的ip地址、请求日期/时间、请求的网页、http代码、提供的字节数、用户代理、和/或引用地址；所述消费终端接收到生产终端发送的网络消息后，将消费后的发送端轨迹信息存储到服务端日志；所述消费后的发送端轨迹信息包括：消费终端的ip地址、消费时间、http代码、提供的字节数、用户代理、和/或引用地址。
35.与现有技术比较，本发明的有益效果为：
36.本发明提供了一种消息轨迹传输查询方法、装置及系统，将生产阶段、消费阶段和存储阶段的信息分别打印到服务器日志并存储到服务端日志中，通过封装sdk的方法，将数据收集并存储到服务端日志以及实现了将数据落盘持久化，保证了数据的合理分布以及安全存储，进一步的，通过对服务器日志进行索引获取消息轨迹数据这种高效地、安全的方法，既节约了服务器资源又能保证数据的完整性和比较高的可读性。
附图说明
37.图1是本发明消息轨迹传输查询方法流程图；
38.图2是本发明消息轨迹传输查询装置结构图；
39.图3是本发明消息轨迹传输查询系统结构框图；
40.图4是本发明消息轨迹传输查询系统传输图。
具体实施方式
41.下面将结合附图对本发明做详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
42.消息轨迹指的是一条消息从生产方发出到消费方消费处理，整个过程包含生产方、服务方、消费方三个角色，每个角色处理消息的过程中都会在轨迹链路中增加相关的信息，将这些信息汇聚即可获取任意消息当前的状态，从而为生产环境中的问题排查提供强有力的数据支持。目前在存储消息轨迹数据方面市场上大部分采用的方法都是保存在broker(代理)服务器中。首先，要考虑的问题就是如何避免消息轨迹的数据和正常的业务数据混合在一起，如果通过新增broker服务器会导致资源的使用率不高，而且也要防止消息轨迹数据的丢失。因此，本发明通过封装sdk(软件开发工具包(缩写:sdk、外语全称:software development kit)一般都是一些软件工程师为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。)的方法，将数据收集并存储到服务端日志以及实现了将数据落盘持久化，保证了数据的合理分布以及安全存储。
43.实施例一
44.如图1所示，本发明提供了一种消息轨迹传输查询方法，包括：
45.s1：服务端接收多方发送的网络消息，所述网络消息包括传输消息和发送端轨迹信息；
46.本发明中，所述服务端接收多方发送的网络消息具体包括：
47.接收生产终端和/或消费终端的网络消息。
48.所述生产终端将发送端轨迹信息发送前，附着于传输消息的标头header上；所述发送端轨迹信息包括：生产终端的ip地址、请求日期/时间、请求的网页、http代码、提供的字节数、用户代理、和/或引用地址。
49.具体附着于传输消息的标头header上的过程具体包括：
50.所述消费终端接收到生产终端发送的网络消息后，将消费后的发送端轨迹信息存储到服务端日志；所述消费后的发送端轨迹信息包括：消费终端的ip地址、消费时间、http代码、提供的字节数、用户代理、和/或引用地址。
51.s2、根据所述网络消息，获取发送端轨迹信息，将多个发送端轨迹信息存储到服务端日志中；
52.网络消息主要是网络整个互联网通信过程中产生的信息，其中，信息的传输过程中都会在轨迹链路中增加相关的信息，需要根据需求分出轨迹信息。
53.所述将多个发送端轨迹信息存储到服务端日志中多包括：
54.根据生产终端和消费终端，将收生产阶段、消费阶段和存储阶段的发送端轨迹信
息进行分类；
55.将分类后的发送端轨迹信息分别打印到服务器日志server.log中。
56.需要说明的是，发送端轨迹信息包含了跟踪消息发送、消息消费的轨迹，即详细记录消息各个处理环节的日志。还包括了消息轨迹数据格式、消息轨迹记录方式、以及存储消息轨迹数据方式。服务端需要获取的信息，可以规定在消息轨迹数据格式中；对于如何记录消息轨迹，可以采用hook机制，通过两个接口来定义钩子函数，然后通过实行以上两个接口就可以实现在消息发送、消息消费前后记录消息轨迹。最终，将生产阶段和存储阶段的信息分别打印到服务器日志server.log中，在broker接收到consumer的消费结果投递之后，打印出消费相关信息到服务端日志；打印出消费相关信息到服务端日志。
57.另外，本发明还将通过提供了一种信息轨迹查询方法：
58.s3：对每个发送端轨迹信息设置唯一标识信息，以用于查询和/或识别。
59.所述对每个发送端轨迹信息设置唯一标识信息具体包括：
60.对每个发送端轨迹信息设置唯一的信息id；
61.并对每个信息id设置索引，以用于对所需信息进行查找。
62.所述对每个发送端轨迹信息设置唯一的信息id包括：利用elk工具对唯一的信息id设置索引。elk(elasticsearch，logstash，kibana)，elk由elasticsearch、logstash和kiabana三个开源工具组成。elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用(如，搜索)。kibana也是一个开源和免费的工具，它kibana可以为logstash和elasticsearch提供的日志分析友好的web界面，可以帮助您汇总、分析和搜索重要数据日志。日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
63.当在收到疑似有问题的消息信息的查询指令时，收集疑似有问题的消息信息，包括messageid的发送时间。根据已有的信息创建查询任务，查询相关的消息的轨迹，然后查看结果并分析判断原因。
64.实施例二
65.本发明中，基于实施例一中的消息轨迹传输查询方法，还提供了一种相对应的消息轨迹传输查询装置，如图2所示，包括接收单元1、存储单元2、以及标识单元3，其中；
66.接收单元1用于，接收多方发送的网络消息，所述网络消息包括传输消息和发送端轨迹信息；
67.存储单元2用于，根据所述网络消息，获取发送端轨迹信息，将多个发送端轨迹信息存储到服务端日志中；
68.标识单元3用于，对每个发送端轨迹信息设置唯一标识信息，以用于查询和/或识别。
69.需要说明的是，本发明中消息轨迹传输查询装置可以为broker服务器，可以是多个服务器，也可以是一个，其能够将完成日志收集汇总即可。
70.实施例三
71.如图3所示，一种消息轨迹传输查询系统，包括生产终端4、服务器5、消费终端6，其中；
72.所述生产终端4用于，发送生产终端的网络消息到服务器，所述网络消息包括传输消息和发送端轨迹信息；
73.所述消费终端5用于，发送消费结果投递之后的网络消息到服务器，所述网络消息包括传输消息和发送端轨迹信息；
74.所述服务端6用于，接收网络消息，并且根据所述网络消息，获取发送端轨迹信息，将多个发送端轨迹信息存储到服务端日志中；最终，对每个发送端轨迹信息设置唯一标识信息，以用于查询和/或识别。
75.具体的，所述服务端6则包括接收单元1、存储单元2、以及标识单元3，其中；
76.接收单元1用于，接收多方发送的网络消息，所述网络消息包括传输消息和发送端轨迹信息；
77.存储单元2用于，根据所述网络消息，获取发送端轨迹信息，将多个发送端轨迹信息存储到服务端日志中；
78.标识单元3用于，对每个发送端轨迹信息设置唯一标识信息，以用于查询和/或识别。
79.本实施例中所述生产终端将发送端轨迹信息发送前，附着于传输消息的标头header上；所述发送端轨迹信息包括：生产终端的ip地址、请求日期/时间、请求的网页、http代码、提供的字节数、用户代理、和/或引用地址；所述消费终端接收到生产终端发送的网络消息后，将消费后的发送端轨迹信息存储到服务端日志；所述消费后的发送端轨迹信息包括：消费终端的ip地址、消费时间、http代码、提供的字节数、用户代理、和/或引用地址。
80.对于本领域技术人员而言，显然能了解到上述具体事实例只是本发明的优选方案，因此本领域的技术人员对本发明中的某些部分所可能作出的改进、变动，体现的仍是本发明的原理，实现的仍是本发明的目的，均属于本发明所保护的范围。