SQL执行链路追踪方法、装置、介质和系统与流程
本技术涉及sql执行链路追踪,具体而言,涉及一种sql执行链路追踪方法、装置、介质和系统。
背景技术:
1、现有java web应用(java运行在web服务器上的应用程序)中,http请求与数据库sql之间缺乏直观的关联关系。由于sql通常分散在持久层框架或业务代码中,且http上下文仅存在于web层,导致在日志分析和性能诊断时,难以追踪具体sql是由哪个http请求触发的。现有技术(如依赖持久层框架内部逻辑的方案)存在侵入性强、兼容性差(多框架/多数据源适配难)、无法覆盖异步线程切换场景以及生产环境性能开销大等缺陷。
2、可见,如何在不修改业务代码、不依赖特定持久层框架实现的前提下,实现http请求上下文与sql执行行为的无侵入式绑定是亟需解决的问题。
技术实现思路
1、本技术的主要目的在于提供一种sql执行链路追踪方法、装置、介质和系统,以至少解决如何在不修改业务代码、不依赖特定持久层框架实现的前提下,实现http请求上下文与sql执行行为的无侵入式绑定的问题。
2、为了实现上述目的,根据本技术的一个方面,提供了一种sql执行链路追踪方法,包括:在java web应用启动或运行过程中,采用字节码增强技术拦截web层的http请求处理流程,采集当前http请求的请求上下文信息,并将所述请求上下文信息绑定至当前处理线程的线程本地变量中;在应用对象管理容器初始化完成后,对所述应用对象管理容器中的数据源对象进行代理拦截,以使得通过该数据源获取的数据库连接对象均被统一代理;在业务逻辑通过被代理的数据库连接对象创建预编译sql执行对象的情况下,拦截创建过程,读取所述线程本地变量中存储的请求上下文信息,并将所述请求上下文信息以注释形式写入待执行的sql语句中,生成增强后的sql语句;将所述增强后的sql语句传递给jdbc驱动执行,并在执行前或执行过程中采集sql参数信息及执行耗时信息,将所述增强后的sql语句、请求上下文信息、sql参数信息及执行耗时信息构造成结构化数据,并异步发送至存储系统进行集中存储。
3、可选地,采集当前http请求的请求上下文信息,并将所述请求上下文信息绑定至当前处理线程的线程本地变量中,包括:在所述当前http请求进入应用服务器的入口方法处插入拦截逻辑,提取所述当前http请求的标识信息、请求路径及请求方法作为所述请求上下文信息;调用java的线程局部变量机制,将提取的所述请求上下文信息存储至所述当前处理线程的所述线程本地变量中。
4、可选地,所述方法还包括:在http请求触发的异步任务创建或提交阶段,拦截异步任务的执行接口或提交方法,从所述当前http请求线程的所述线程本地变量中读取所述请求上下文信息;将读取到的请求上下文信息进行封装,并作为参数或上下文属性传递给所述异步任务;当所述异步任务被调度至新的异步执行线程时,在异步任务执行逻辑的前端插入恢复逻辑,将所述封装的请求上下文信息写入新异步执行线程对应的线程本地变量中,以使得所述异步执行线程在执行数据库访问操作时基于所述异步执行线程的本地变量中的所述请求上下文信息完成对所述sql语句的增强绑定。
5、可选地,对所述应用对象管理容器中的数据源对象进行代理拦截,包括:监听应用对象管理容器的bean初始化事件或数据源创建事件;当检测到数据源对象初始化完成时,获取所述数据源对象的代理对象;重写被代理数据对象的获取连接对象方法,以使得所述获取连接对象方法返回经过代理包装的数据库连接代理对象,所述数据库连接代理对象用于拦截后续创建预编译语句对象的调用。
6、可选地,将所述请求上下文信息以注释形式写入待执行的sql语句中,生成增强后的sql语句,包括:在所述sql执行对象为预编译sql执行对象的情况下,获取原始的sql字符串模板,构建用于标识请求来源的注释字符串,并将所述注释字符串通过sql注释语法前缀插入至原始sql字符串的头部或指定位置,形成增强后的sql字符串,所述注释字符串包括请求追踪id、请求路径及时间戳信息;在所述sql执行对象为非预编译sql执行对象或非sql执行操作的情况下,执行透传流程,并确定无需进行sql内容修改。
7、可选地,采集sql参数信息及执行耗时信息,包括:在执行方法调用前,记录当前系统时间戳作为开始时间;拦截并获取设置给sql执行对象的绑定参数值,以确定所述sql参数信息;在执行方法调用后,记录当前系统时间戳作为结束时间,计算所述执行耗时信息;判断所述当前处理线程的本地变量中是否存在http请求上下文信息,若存在,将上述采集的数据标记为关联数据;若不存在,标记为独立执行数据并执行放行处理。
8、可选地,所述方法还包括:在增强逻辑失效或异常时,重新采集sql执行状态。
9、根据本技术的另一方面,提供了一种sql执行链路追踪装置,包括:第一处理单元,用于在java web应用启动或运行过程中,采用字节码增强技术拦截web层的http请求处理流程,采集当前http请求的请求上下文信息,并将所述请求上下文信息绑定至当前处理线程的线程本地变量中;第二处理单元,用于在应用对象管理容器初始化完成后,对所述应用对象管理容器中的数据源对象进行代理拦截,以使得通过该数据源获取的数据库连接对象均被统一代理;第三处理单元,用于在业务逻辑通过被代理的数据库连接对象创建预编译sql执行对象的情况下,拦截创建过程,读取所述线程本地变量中存储的请求上下文信息,并将所述请求上下文信息以注释形式写入待执行的sql语句中,生成增强后的sql语句;第四处理单元,用于将所述增强后的sql语句传递给jdbc驱动执行,并在执行前或执行过程中采集sql参数信息及执行耗时信息,将所述增强后的sql语句、请求上下文信息、sql参数信息及执行耗时信息构造成结构化数据,并异步发送至存储系统进行集中存储。
10、根据本技术的再一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行任意一种所述的方法。
11、根据本技术的又一方面,提供了一种sql执行链路追踪系统,包括:一个或多个处理器,存储器,以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行任意一种所述的方法。
12、应用本技术的技术方案,通过字节码增强技术在应用运行期动态拦截servlet或filter等web组件的核心方法,在http请求进入时自动提取请求标识、路径等上下文信息,并绑定至threadlocal。此过程完全在应用启动或运行期通过字节码重定义完成,无需修改任何业务controller(控制器)代码,实现了请求来源信息的透明化捕获。通过jdbc层的统一代理机制消除对特定持久层框架的依赖,在spring等对象管理容器初始化后,直接拦截底层datasource的getconnection()方法,将原始数据库连接替换为代理对象。在被代理的数据库连接创建preparedstatement(预编译语句)或拦截执行方法时,从当前线程的threadlocal中读取web层采集的上下文信息,并以sql注释形式动态注入到即将执行的sql语句中。建立了http请求与sql执行的唯一对应关系,随后将增强sql、参数、耗时及上下文组装为结构化数据异步存储,从而实现了全链路、无侵入、通用的sql执行追踪,从而解决了如何在不修改业务代码、不依赖特定持久层框架实现的前提下,实现http请求上下文与sql执行行为的无侵入式绑定的问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com