1.本说明书涉及数据处理
技术领域：
：，特别涉及一种数据处理方法。本说明书同时涉及一种数据处理系统，一种计算设备，一种计算机可读存储介质，以及一种计算机程序。
背景技术：
：：2.随着科技的不断发展，许多企业开始将现有数据库迁移到云数据库上，从而实现数字化转型或产业升级，但在数据库迁移过程中，由于现有数据库与云数据库在结构上存在差异、两者的语法特性存在不同、数据库对象及应用代码会存在部分不兼容等问题，从而导致数据库执行报错或者语义不一致；为保证数据库替换后正常运行，需要采集应用产生的执行语句(例如sql语句)，并基于所述sql语句找到数据库和应用中的不兼容点。3.但现有技术是采用数据库周期性采集的方式，直接对数据库进行监测，从而采集到数据库的sql列表，但这种方式，一方面，由于数据库在运行过程中会产生sql语句，从而导致无法区分从数据库采集到的sql语句是否为应用发起的。另一方面，对数据库进行监测的过程中，会对数据库以及应用的性能造成较大影响，降低了数据库以及应用的运行效率。技术实现要素：4.有鉴于此，本说明书实施例提供了一种数据处理方法。本说明书同时涉及一种数据处理系统，一种计算设备，一种计算机可读存储介质，以及一种计算机程序，以解决现有技术中存在的技术缺陷。5.根据本说明书实施例的第一方面，提供了一种数据处理方法，应用于数据处理系统，所述系统包括应用于目标服务器的数据采集装置和应用于与所述目标服务器不同的数据处理端的数据收集装置，其中，6.所述数据采集装置获取目标应用的初始运行数据以及对应的数据内容，并基于所述数据内容确定目标运行数据，且将所述目标运行数据发送至所述数据收集装置；7.所述数据收集装置对接收的所述目标运行数据进行语法解析，确定所述目标运行数据中的特征参数，并基于所述特征参数对所述目标运行数据进行处理，获得目标数据。8.根据本说明书实施例的第二方面，提供了一种数据处理系统，包括应用于目标服务器的数据采集装置和应用于与所述目标服务器不同的数据处理端的数据收集装置，其中，9.所述数据采集装置，被配置为获取目标应用的初始运行数据以及对应的数据内容，并基于所述数据内容确定目标运行数据，且将所述目标运行数据发送至所述数据收集装置；10.所述数据收集装置，被配置为对接收的所述目标运行数据进行语法解析，确定所述目标运行数据中的特征参数，并基于所述特征参数对所述目标运行数据进行处理，获得目标数据。11.根据本说明书实施例的第三方面，提供了一种计算设备，包括：12.存储器和处理器；13.所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现任意所述数据处理方法的步骤。14.根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现任意所述数据处理方法的步骤。15.根据本说明书实施例的第五方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行任意所述数据处理方法的步骤。16.本说明书提供的数据处理方法，包括应用于目标服务器的数据采集装置和应用于与所述目标服务器不同的数据处理端的数据收集装置，其中，所述数据采集装置，被配置为获取目标应用的初始运行数据以及对应的数据内容，并基于所述数据内容确定目标运行数据，且将所述目标运行数据发送至所述数据收集装置；所述数据收集装置，被配置为对接收的所述目标运行数据进行语法解析，确定所述目标运行数据中的特征参数，并基于所述特征参数对所述目标运行数据进行处理，获得目标数据。17.具体地，所述数据处理方法通过应用于目标服务器的数据采集装置，基于目标服务器中目标应用在运行过程中产生的初始运行数据的数据内容，获得目标运行数据，有效的避免了无法区分从数据库采集到的执行语句，是否为应用发起的执行语句的问题，能够准确且快速的获取到应用发出的执行语句，并且在获取到目标运行数据后，通过应用于与所述目标服务器不同的数据处理端的数据收集装置对目标运行数据进行异构处理，获得目标数据；从而降低了对于应用以及数据库的影响，有效的提高了应用以及数据库的运行效率。附图说明18.图1是本说明书一实施例提供的一种数据处理方法的流程图；19.图2是本说明书一实施例提供的一种应用于获取应用的运行数据的场景下的数据处理方法的流程示意图；20.图3是本说明书一实施例提供的一种数据处理系统的结构示意图；21.图4是本说明书一实施例提供的一种计算设备的结构框图。具体实施方式22.在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。23.在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。24.应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。25.首先，对本说明书一个或多个实施例涉及的名词术语进行解释。26.数据库：按照数据结构来组织、存储和管理数据的仓库。27.adam:数据库与应用迁移(advanceddatabase&applicationmigration)，简称为adam，是一种用于帮助异构数据库和应用进行评估和结构迁移全链路的产品。通过adam能够将数据库和应用迁移至云数据库(公共云或专有云)，显著地降低了上云的技术难度和成本。adam能够全面评估上云可行性、成本和云存储选型，并且内置实施协助，数据、应用迁移等工具，确保可靠、快速上云。28.动态采集：在应用服务实时运行时进行数据收集。29.源库：客户原本的数据库。30.目标库：客户期望迁移到的目标数据库。31.异构数据库迁移：客户从原本的数据库迁移到目标数据库。32.语法不兼容：原本的数据库的写法在新的目标数据库上由于语法特性不同而无法兼容，表现为执行报错或语义错误。33.敏感信息：是指不当使用、未经授权被人接触或不利于用户享有的隐私权的所有信息。34.脱敏：对于可能敏感的数据(敏感信息)用特殊字符替换删除，保证输出的内容不包含客户的实际数据和查询条件。35.apm：应用性能管理(applicationperformancemanagement)，简称为apm。36.sql：结构化查询语言(structuredquerylanguage)，简称sql。37.jvm：是指java虚拟机(javavirtualmachine)。38.java：是一门面向对象编程语言。39.随着数字化转型和科技的发展，当前很多企业正在进行数字化转型或产业升级，希望将企业原本的数据库迁移到云数据库上，而异构数据库迁移一定会涉及到应用的改造。这是由于企业原本的数据库与云数据库的语法、语义以及用法均有差异，原本的数据库对象及应用代码与云数据库就会存在部分不兼容的问题，从而导致数据库执行报错或语义不一致。因此，为了保证数据库替换后正常运行，需要将数据库和应用的不兼容点找到并进行修正，从而实现对应用的改造，这也是异构数据库迁移过程中，最耗时的地方。40.而应用sql由于特别分散、且是多场景拼接而成，很难将所有sql全部梳理出来。基于上述问题，可以通过手工编写测试用例逐步排查需要改造的地方，一个功能一个功能的测试验证，然后通过发现一个改造一个的方式进行逐步改造，但这又会导致改造周期特别长，非常消耗人力和时间成本。41.基于上述问题，一种方式是通过直接监测数据库进行采集的方式获取sql列表，这种方式虽然能够获得sql，但是无法区分获取的sql是否应用发起、无法区分获取的sql是哪个应用发送的，并且无法定位获取的sql在应用中的具体位置。42.另一种方式是通过apm工具获取到应用的运行数据，但这种方式仅仅是应用于帮助客户监测应用健康度，对应用性能的影响很大、并且不能对采集的sql进行脱敏处理。43.基于此，在本说明书中，提供了一种数据处理方法，本说明书同时涉及一种数据处理系统，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。44.参见图1，图1示出了根据本说明书一个实施例提供的一种数据处理方法的流程图，其中，所述数据处理方法，应用于数据处理系统，所述系统包括应用于目标服务器的数据采集装置和应用于与所述目标服务器不同的数据处理端的数据收集装置，具体包括以下步骤。45.步骤102：所述数据采集装置获取目标应用的初始运行数据以及对应的数据内容，并基于所述数据内容确定目标运行数据，且将所述目标运行数据发送至所述数据收集装置。46.其中，数据处理系统可以理解为采集目标服务器中目标应用在运行过程中产生的目标运行信息，并通过对该目标运行信息进行异构处理，从而获得目标数据的系统，在实际应用中，该数据处理系统可以为部署在adam上的应用动态采集器，该应用动态采集器能在不需要修改应用代码的情况下，帮助客户一次性梳理出所有真实的sql及调用栈位置等运行信息，并对该运行信息进行数据脱敏、信息处理，为后续异构数据库迁移的工作量评估提供基础数据。该应用动态采集器包括两个模型：agent模块以及collector模块；agent模块又称为动态采集器agent，该动态采集器agent部署在目标服务器中，用于采集目标服务器中的应用程序的运行数据，在实际应用中，该动态采集器agent至少包括一个；collector模块又称为动态收集器collector，该动态收集器collector部署在与该目标服务器不同的数据处理端，用于对采集到的目标运行数据进行处理，该目标服务器可以为应用服务器；该与目标服务器不同的数据处理端包括但不限于客户端、与应用服务器不同的服务器。47.数据采集装置可以理解为通过周期性采集的方式对目标应用的目标运行数据进行采集的装置；该数据采集装置部署在应用服务器上，并且该数据采集装置至少包括一个；在实际应用中，该数据采集装置可以为应用动态采集器的动态采集器agent，通过启动采集器agent能够动态的对应用服务器中的目标应用的目标运行数据进行采集；其中，在本说明书实施例中，能够根据客户应用的实际运行情况提供两种启动采集器agent方式：48.在客户应用比较稳定的情况下，通过输入一条命令，即可启动采集器agent；49.在客户应用经常启动/关闭的情况下，通过输入命令启动采集器agent的方式，会导致客户需要频繁的输入命令，基于此，在客户启动应用的过程中，通过在应用启动命令文档里增加一个参数，并通过该参数对采集器agent进行启动，从而实现在客户应用进行启动或停止的过程中，可以使得采集器agent跟随客户应用进行启动或者停止。50.数据收集装置可以理解为用于对接收到的目标运行数据进行异构处理的装置，在实际应用中，该数据收集装置可以为应用动态采集器的动态收集器collector；通过启动动态收集器collector能够对接收到的目标运行数据进行异构处理，从而获得目标数据，在本说明书实施例中，通过输入一条命令即可启动动态收集器collector。51.目标应用可以理解为在异构数据库迁移过程中，需要进行改造的应用；在实际应用中，由于源库与目标库之间存在不兼容问题，因此需要对应用中的不兼容点进行修正，从而保证替换后的数据库的正常运行。52.初始运行数据可以理解为目标应用在运行过程中产生的所有运行数据。53.数据内容可以理解为初始运行数据的数据标识、参数信息、函数等数据。54.目标运行数据可以理解为目标应用实际运行过程中产生的特定运行数据，该目标运行数据包括但不限于url信息、sql语句、调用栈信息、sql‑dbinfo信息以及sql响应信息，在实际应用中，数据采集装置能够对url信息、sql语句、调用栈信息、sql‑dbinfo信息以及sql响应信息等目标运行数据中的任意一项或多项数据进行采集，并通过数据收集装置对该任意一项或多项数据进行处理。55.具体地，所述应用于目标服务器的数据采集装置通过周期性采集的方式获取多个目标应用的初始运行数据，并确定所述初始运行数据对应的数据内容；基于所述数据内容从初始运行数据中确定出一个或多个目标运行数据，并将一个或多个目标运行数据发送至数据收集装置。56.举例说明，以数据处理系统为应用动态采集器的情况下，对数据处理系统进行进一步详细说明，其中，目标运行数据可以为sql语句。57.应用动态采集器包括两个部分：动态采集器agent以及动态收集器collector；针对于动态采集器agent，通过字节码增强技术将动态采集器agent的执行逻辑，加入到多个客户应用的jvm中并启动该动态采集器agent；启动后的动态采集器agent能够对客户应用的主链路进行实时监测，并通过周期性采集的方式对多个客户应用的运行数据进行动态采集，并通过运行数据对应的数据内容，从该运行数据中获得多个客户应用产生的sql语句。58.该动态采集器agent在主链路上将采集的sql语句记录到异步线程池中，不对该sql语句进行任何处理；并通过处理线程将异步线程池中的sql语句，通过异步发送的方式发送到动态收集器collector中进行处理。59.在实际应用中，应用动态采集器同时具有丰富的自监测机制，当客户应用处于运行高峰时自动暂停工作，待运行峰值降下来后再进行错峰工作。60.在本说明书实施例中，动态采集器所采集的目标运行数据包括调用栈信息，通过采集调用栈信息，实现在获取sql时反向将调用sql的应用代码具体位置进行记录，方便后续对客户应用进行改造时直接定位到调用sql的应用代码具体位置，提高了改造的效率。61.进一步地，目标应用在运行过程中产生的数据是多种多样的，这就导致数据采集装置在获取目标运行数据的过程中，需要对目标应用产生的所有运行数据进行采集，并对采集到的运行数据进行检测识别确定出数据内容，并基于数据内容获取到目标运行数据，但数据采集装置基于数据内容从该初始运行数据中获取目标运行数据的过程中，由于初始运行数据的类型多种多样且数量较多，从而导致基于数据内容从初始运行数据中获取目标运行数据的效率较低，浪费了大量的计算机处理资源，为了解决上述问题，本说明书一实施例通过确定初始运行数据的数据格式的方式，获取目标运行数据，具体实现方式如下。62.所述数据采集装置基于所述数据内容确定目标运行数据，包括：63.所述数据采集装置基于所述数据内容确定所述初始运行数据的数据格式，并基于所述数据格式从所述初始运行数据中获取目标运行数据。64.其中，数据格式可以理解为目标应用产生的运行数据的格式，在实际应用中，目标应用产生的运行数据的类型是多种多样的，比如url数据、sql数据。每种类型的运行数据都具有特定的数据格式。65.具体的，数据采集装置在确定出初始运行数据中的数据内容之后，基于该数据内容确定出初始运行数据的数据格式，并基于该数据格式从初始运行数据中筛选出符合目标数据格式的初始运行数据，并将符合目标数据格式的初始运行数据确定为目标运行数据，从而完成目标运行数据的获取。66.沿用上例，以数据处理方法应用于获取应用产生的sql的场景为例，对基于数据格式从初始运行数据中获取目标运行数据进行详细说明。67.动态采集器agent在确定出所有的运行数据的数据内容之后，基于该数据内容确定出每个运行数据的数据格式，并将每个运行数据的数据格式与目标数据格式进行匹配，该目标数据格式可以为sql语句格式。68.在运行数据的数据格式与sql语句格式为一致的情况下，将该运行数据确定为需要获取的运行数据，从而完成目标运行数据的获取；69.在运行数据的数据格式与sql语句格式为不一致的情况下，则表示该运行数据不是需要获取的运行数据，并将该运行数据丢弃。70.本说明书实施例中，数据采集装置基于数据内容确定初始运行数据的数据格式，并基于数据格式从初始运行数据中获取目标运行数据。从而高效的完成目标运行数据的获取，避免了从初始运行数据中获取目标运行数据的效率较低的问题，并且有效的提高了目标运行数据的准确率。71.进一步的，在本说明书实施例的另一种情况下，所述数据内容包括数据标识；72.相应地，所述数据采集装置基于所述数据内容确定目标运行数据，包括：73.所述数据采集装置在所述初始运行数据的数据标识与预设数据标识为一致的情况下，将所述初始运行数据确定为目标运行数据。74.其中，初始运行数据的数据标识可以理解为用于表征初始运行数据的标识，每个数据标识唯一表征一个初始运行数据的标识。75.预设数据标识可以根据实际应用场景的不同进行设置，本说明书实施例中不对预设数据标识做具体限制，例如，预设数据标识可以为sql语句的标识。76.具体的，数据采集装置在确定出初始运行数据的数据标识之后，将初始运行数据的数据标识与预设数据标识进行匹配，在初始运行数据的数据标识与预设数据标识为一致的情况下，将该初始运行数据确定为目标运行数据。77.沿用上例，对通过初始运行数据的数据标识确定目标运行数据做进一步详细说明。运行数据可以包括客户应用在运行过程中产生的sql语句、url信息、http信息等。78.动态采集器agent在获得客户应用产生的运行数据之后，确定出该运行数据的数据标识，并将该数据标识与sql语句的标识进行匹配，在该数据标识与sql语句的标识为一致的情况下，将该数据标识对应的运行数据确定为sql语句。79.本说明书实施例中，在初始运行数据的数据标识与预设数据标识为一致的情况下，将初始运行数据确定为目标运行数据，从而高效的完成目标运行数据的获取，避免了从初始运行数据中获取目标运行数据的效率较低的问题，并且有效的提高了目标运行数据的准确率，进一步提高了目标数据的精度。80.步骤104：所述数据收集装置对接收的所述目标运行数据进行语法解析，确定所述目标运行数据中的特征参数，并基于所述特征参数对所述目标运行数据进行处理，获得目标数据。81.其中，特征参数可以理解为目标运行数据中包含的敏感信息。在实际应用中，特征参数可以根据实际应用进行设置，本说明书实施例对此不做任何限定。例如，在目标运行数据为sql信息的情况下，该特征参数可以为“table_name”“username＝139****”、“password＝123******”；例如，在目标运行数据为url语句的情况下，该特征参数可以为“iphone＝182*****”。82.对目标运行数据进行处理包括但不限于对目标运行数据进行脱敏处理或者去重处理；对应的，目标数据可以理解为进行处理后的目标运行数据。83.具体地，数据收集装置在接收到数据采集装置发送的目标运行数据之后，通过数据收集装置中部署的语法解析器对该目标运行数据进行语法解析，从而获得目标运行数据中的特征参数，基于所述特征参数对所述目标运行数据进行处理，获得目标数据。84.沿用上例，对通过对目标运行数据进行语法解析的方式获得特征参数做进一步详细说明。85.在将动态收集器collector进行解压后，通过一条命令将动态收集器collector启动，启动后的动态收集器collector能够接收到动态采集器agent发送的sql语句。86.动态收集器collector在接收到动态采集器agent发送的sql语句之后，将sql语句输入至部署在动态收集器collector上的语法解析器中，通过该语法解析器能够对sql语句进行语法解析，从而获得sql语句的中的敏感信息，并通过对sql语句进行脱敏处理，从而获得不包含任何应用敏感信息的sql语句。87.本说明书实施例中，数据收集装置对接收的目标运行数据进行语法解析，从而快速且精准的获得目标运行数据中的特征参数，提高了获取目标对象的效率，节省了计算机处理资源。88.进一步地，在说明书实施例中，数据收集装置基于特征参数对目标运行数据进行处理，从而获得目标数据，同时，还可以通过特征参数以及特征参数对应的标识信息获得目标数据，具体实现方式如下所示。89.所述数据收集装置基于所述特征参数对所述目标运行数据进行处理，获得目标数据，包括：90.所述数据收集装置确定出所述特征参数对应的标识信息，并基于所述特征参数以及所述特征参数对应的标识信息对所述目标运行数据进行处理，获得目标数据。91.其中，标识信息可以理解为可唯一表征一个特征参数的信息，本说明书实施例中，不同的特征信息对应不同的标识信息，例如，在特征信息为“username＝139****”的情况下，该特征参数对应的标识信息可以为用户名；在特征信息为“iphone＝182*****”，该特征参数对应的标识信息为手机号码。92.具体地，数据收集装置在确定出目标运行数据中的特征参数之后，在确定该特征参数对应的标识信息，并基于该特征参数以及特征参数对应的标识信息对目标运行数据进行处理，从而获得目标数据。93.沿用上例，对基于特征参数以及特征参数对应的标识信息对目标运行数据进行处理做进一步详细说明。94.动态收集器collector在通过语法解析器确定出sql语句中的特征参数之后，再基于该语法解析器识别出每个特征参数对应的标识信息。95.动态收集器collector基于特征参数以及特征参数对应的标识信息对该sql语句进行处理，从而获得目标sql语句。96.进一步的，所述数据收集装置基于所述特征参数以及所述标识信息对所述目标运行数据进行处理，获得目标数据，包括：97.所述数据收集装置基于所述特征参数以及所述标识信息对所述目标运行数据进行处理，获得预处理数据；98.所述数据收集装置对所述预处理数据进行去重处理，获得目标数据。99.其中，在目标运行数据为sql语句的情况下，预处理数据可以理解为进行脱敏处理后的sql语句。100.具体地，数据收集装置在确定出特征参数对应的标识信息之后，基于特征参数以及标识信息对目标运行数据进行处理，获得预处理数据；并通过对该预处理数据进行去重处理，从而获得目标数据。101.沿用上例，对通过特征参数以及标识信息获得预处理数据并对该预处理数据进行去重处理，从而获得目标数据做进一步详细说明。102.动态收集器collector在基于语法解析器确定出特征参数以及与特征参数对应的标识信息之后，判断该标识信息是否满足预设标识条件，在该预设标识条件可以为标识信息是否为目标标识信息，该目标标识信息可以为用户名、密码以及手机号码。在标识信息与预设目标标识为一致的情况下，则表示标识信息满足预设标识条件，将该标识信息对应的特征参数确定为需要进行脱敏处理的敏感特征参数，并通过对该敏感特征参数进行脱敏处理，获得脱敏后的sql语句。103.动态收集器collector在获得脱敏后的sql语句之后，对脱敏后的sql语句进行去重处理，从而获得目标sql语句。104.本说明书实施例中，数据收集装置基于特征参数以及标识信息获得预处理数据；并通过对预处理数据进行去重处理，获得目标数据。实现了通过脱敏处理避免了客户的隐私信息的泄露，并且通过去重处理，避免了获取大量的重复数据，节省了计算机处理资源，从而提高后续数据库迁移的效率。105.进一步地，数据收集装置基于所述特征参数以及所述标识信息对所述目标运行数据进行处理，获得预处理数据，包括：106.所述数据收集装置在所述特征参数对应的标识信息满足预设标识条件的情况下，将所述标识信息对应的所述特征参数确定为目标特征参数；107.所述数据收集装置基于预设目标字符对所述目标运行数据中的目标特征参数进行替换，获得预处理数据。108.其中，预设标识条件可以根据实际应用进行设置，本说明书实施例对此不做任何限定。例如，预设标识条件可以为标识信息是否为目标标识信息；该目标标识信息可以为用户名、密码以及手机号码。109.预设目标字符可以根据实际应用进行设置，本说明书实施例对此不做任何限定。例如特殊字符包括文字和/或符号。110.具体地，数据收集装置在特征参数对应的标识信息满足预设标识条件的情况下，将标识信息对应的特征参数确定为目标特征参数；并通过预设目标字符对目标运行数据中的目标特征参数进行替换，从而获得预处理数据。111.沿用上例，对基于预设目标字符对确定的目标特征参数进行替换，从而获得预处理数据做进一步详细说明。112.动态收集器collector在基于语法解析器确定出特征参数以及与特征参数对应的标识信息之后，判断该标识信息是否满足预设标识条件，在该预设标识条件可以为标识信息是否为目标标识信息，在标识信息与预设目标标识为一致的情况下，则表示标识信息满足预设标识条件，将该标识信息对应的特征参数确定为需要进行脱敏处理的敏感特征参数，并通过预设目标字符将需要脱敏处理的敏感特征参数进行替换，从而完成对sql语句的脱敏操作，获得脱敏后的sql语句。113.本说明书实施例中，数据收集装置在特征参数对应的标识信息满足预设标识条件的情况下，将标识信息对应的特征参数确定为目标特征参数；并通过预设目标字符对目标运行数据中的目标特征参数进行替换，从而获得预处理数据。从而有效的对目标运行数据进行脱敏处理，从而保证了客户应用的数据安全性，避免数据泄露问题的发生。114.在本说明书实施例中，还可以通过将获取到的多种格式的目标运行数据调整为统一的格式，将调整后的目标运行数据存储至客户的应用数据库中，从而便于客户对目标运行数据进行处理，具体实现方式如下所示。115.所述数据收集装置确定所述目标运行数据中的特征参数之后，还包括：116.所述数据收集装置对所述目标运行数据进行格式处理，获得处理后的目标运行数据，并将所述处理后的目标运行数据存储至应用数据库。117.其中，应用数据库可以理解为用于存储客户应用信息的数据库，在实际应用中，该应用数据库为客户的本地数据库。118.具体地，数据收集装置将获取到的目标运行数据调整为统一的格式，获得处理后的目标运行数据，并将处理后的目标运行数据存储至应用数据库。119.沿用上例，对获得处理后的目标运行数据并存储至应用数据库做进一步详细说明。120.动态收集器collector在获取到多个客户应用的sql语句之后，通过对该sql语句进行格式处理的方式，将多个客户应用的sql语句的数据格式转换为统一的数据格式，并将该转换后的sql语句存储在客户的本地数据库中。121.本说明书实施例中，数据收集装置通过对获取到的目标运行数据进行格式化处理，并将处理后的目标运行数据存储至应用数据库。从而便于客户对目标运行数据进行处理，从而提高了客户的使用体验。122.为了能够实时获取到数据采集装置和数据收集装置的运行状态信息，便于用户对数据采集装置和数据收集装置进行监测，在本说明书实施例通过目标数据的属性信息，确定出所述数据采集装置以及所述数据收集装置的状态数据，从而实时获取数据采集装置和数据收集装置的运行状态，具体实现方式如下。123.所述数据收集装置基于所述特征参数对所述目标运行数据进行处理，获得目标数据之后，还包括：124.所述数据收集装置获取所述目标数据的属性信息，并基于所述属性信息确定出所述数据采集装置以及所述数据收集装置的状态数据。125.其中，目标数据的属性信息可以根据实际应用的不同进行设置，本说明书实施例对此不做任何限定。例如，该属性信息可以为目标数据的数量、目标数据的产生时间等信息。126.状态数据可以理解为动态收集器以及动态收集器的采集时间、在预设时间段内的采集次数以及平均采集时间、动态收集器的成功率。127.具体地，数据收集装置通过确定出目标数据的属性信息，从而基于该属性信息确定出表明数据采集装置以及数据收集装置的运行状态的状态数据。128.沿用上例，以数据处理方法应用于获取应用产生的sql的场景为例，对确定出数据采集装置以及数据收集装置的状态数据做进一步详细说明。129.动态收集器collector在获得目标sql语句之后，确定出目标sql语句的数量、生成时间等属性信息，并基于该属性信息获得动态收集器collector以及动态采集器agent运行状态，从而便于用户对动态收集器collector和动态采集器agent的运行状态进行监测。130.本说明书实施例中，通过数据收集装置获取目标数据的属性信息，并基于属性信息确定出数据采集装置以及数据收集装置的状态数据，能够准确的获取到数据采集装置和数据收集装置的运行状态信息，便于用户对数据采集装置和数据收集装置进行监测。131.在本说明书一实施例中，所述的数据处理方法在通过数据采集装置和数据收集装置，获得目标数据以及数据采集装置与数据收集装置的状态数据之后，还包括：132.所述数据收集装置将所述目标数据以及所述状态数据上传至目标数据库，实现在所述目标数据库中对所述目标数据进行兼容性检测。133.其中，目标数据库可以理解为在异构数据库迁移过程中，客户应用需要迁移至的数据库，比如云数据库。134.具体地，数据收集装置将目标数据以及状态数据上传至目标数据库，实现在目标数据库中对目标数据进行兼容性检测。135.沿用上例，对在目标数据库中对目标数据进行兼容性检测做进一步详细说明。136.动态收集器collector将获取到的目标sql语句以及状态信息上传至云数据库之后，能够基于应用评估平台实现在目标数据库中对目标sql进行兼容性检测，从而判断异构数据库迁移的工作量的评估。137.本说明书实施例中，通过数据收集装置将目标数据以及状态数据上传至目标数据库，实现在目标数据库中对目标数据进行兼容性检测，便于对客户应用集群进行架构拓扑分析，从而有效的对异构数据库迁移的工作量进行评估。138.在本说明书一实施例中，所述的数据处理方法还包括：139.所述数据采集装置获取目标应用的动态运行信息，并将所述动态运行信息发送所述数据收集装置；140.所述数据收集装置对接收的所述动态运行信息进行处理，并将处理后的动态运行信息发送至目标数据库，实现在所述目标数据库中对所述目标应用进行性能检测。141.其中，动态运行信息可以理解为目标应用在运行过程中的性能信息，比如应用服务器磁盘信息、jvm性能信息、应用服务器内存状态信息。142.具体地，数据采集装置获取目标应用的动态运行信息，并将动态运行信息发送数据收集装置；数据收集装置在接收到动态运行信息后，对该动态运行信息进行处理，并将处理后的动态运行信息发送至目标数据库，实现在目标数据库中对目标应用进行性能检测。143.沿用上例，对获取目标应用的动态运行信息，并将处理后的动态运行信息发送至目标数据库，实现在目标数据库中对目标应用进行性能检测做进一步说明。144.动态采集器agent通过周期性采集的方式获取到客户应用在运行过程中的动态运行信息，并通过异步发送的方式将运行动态信息发送至动态收集器collector中进行处理。145.动态收集器collector在接收到动态运行信息之后，对该动态运行信息的格式进行处理，将多个客户应用的动态运行信息转换成统一格式的动态运行信息，并将处理后的动态运行信息发送至云数据库中进行存储。146.在将动态运行信息发送至云数据库后，通过应用评估平台实现在目标数据库中对目标应用进行性能检测，从而确定出目标应用的性能。147.本说明书实施例中，通过数据采集装置获取目标应用的动态运行信息，通过数据收集装置对该动态运行信息进行处理，并将处理后的动态运行信息发送至目标数据库，实现在目标数据库中对目标应用进行性能检测，从而准确的确定出目标应用的性能情况，提高客户的使用体验。148.本说明书实施例提供的数据处理方法，通过通过应用于目标服务器的数据采集装置获取目标应用的目标运行数据，有效的避免了无法区分获取到的sql是否为应用发起的问题，能够准确且快速的获取到应用发出的sql，并且通过应用于与所述目标服务器不同的数据处理端的数据收集装置对目标运行数据进行异构处理，从而获得目标数据；降低了对于应用以及数据库的影响，有效的提高了应用以及数据库的运行效率。149.同时，通过采用数据采集和数据加工互相分离的异构处理方案，对请求链路、应用内存和cpu均几乎无影响；并且对获取到的目标运行数据进行脱敏处理，从而保证输出的目标数据不包含任何敏感信息。150.下述结合附图2，以本说明书提供的数据处理方法在获取应用的运行数据的场景下的应用为例，对所述数据处理方法进行进一步说明。其中，图2示出了本说明书一实施例提供的一种应用于获取应用的运行数据的场景下的数据处理方法的流程示意图，基于该流程示意图可知，本说明书提供的应用于获取应用的运行数据的场景下的数据处理方法包括两个装置：动态采集器和动态收集器。151.其中，动态采集器部署在应用服务器上，该动态采集器能够通过周期性采集的方式，对客户应用在运行过程中产生的运行信息以及客户应用的系统动态信息进行采集；该客户应用可以部署在多个应用服务器中。动态采集器在获得运行信息以及系统动态信息后，通过异步发送的方式将采集到的信息发送至动态收集器进行处理。152.其中，动态收集器部署在与应用服务器不同的数据处理端上，该动态收集器接收到动态采集器发送的信息后，对于客户应用在运行过程中产生的运行信息，动态收集器通过语法解析器对客户应用的运行信息进行语义解析，识别出运行信息中的参数、函数等数据，通过将可能存在敏感的数据使用特殊字符进行替换，实现对运行信息的脱敏处理，从而获得无敏感信息的运行数据；在获得无敏感信息的运行数据后，对该运行数据进行去重处理，然后将去重处理后的运行数据发送至云数据库中，实现通过云数据库中的运行数据对异构数据库迁移的工作量的评估。153.对于客户应用的系统动态信息，动态收集器对其进行标准化处理，转换为统一的数据格式，并将处理后的系统动态信息发送至云数据库，实现通过云数据中的系统动态信息对客户应用进行性能检测。154.基于上述介绍，本说明书提供的应用于获取应用的运行数据的场景下的数据处理方法具体包括以下步骤：155.步骤220：动态采集器周期性采集的方式，获取服务器中的客户应用在运行过程中产生的运行信息，并将该运行信息发送至动态收集器。156.其中，动态采集器可以理解为上述实施例中的数据采集装置。157.运行信息可以理解为上述实施例中的目标运行数据，该运行信息可以为url信息、sql‑dbinfo信息、sql响应信息、调用栈信息。158.动态收集器可以理解为上述实施例中的数据收集装置。159.动态收集器在接收到动态采集器发送的运行信息之后，能够对运行信息进行处理，并将处理后的运行信息发送至云数据库以及本地数据库中，具体实现步骤包括：160.步骤2202：动态收集器通过语法解析器对接收到的运行信息进行语法解析，并将解析后的运行信息发送至格式化处理模块进行处理。161.步骤2204：格式化处理模块对接收到的运行信息进行格式化处理，并将处理后的运行信息发送至本地数据库进行存储。162.其中，本地数据库可以理解为上述实施例中的应用数据库。163.步骤2206：动态收集器通过语法解析器对接收到的运行信息进行语法解析，并将解析后的运行信息发送至数据脱敏模块进行脱敏。164.步骤2208：数据脱敏模块对解析后的运行信息进行脱敏处理，并将脱敏后的运行数据发送至数据去重模块进行去重处理。165.具体地，数据脱敏模块在接收到解析后的运行信息后，识别出该运行信息中可能存在敏感的数据，并使用特征字符将可能存在敏感的数据进行替换，从而实现对运行信息的脱敏处理。其中，特征字符可以理解为上述实施例中的预设目标字符。166.完成对运行信息的脱敏处理之后，数据脱敏模块将脱敏后的运行数据发送至数据去重模块。167.步骤2210：数据去重模块对接收到的运行数据进行去重处理，并将去重处理后的运行数据发送至云数据库中。168.步骤2212：数据去重模块对接收到的运行数据进行去重处理，还将去重处理后的运行数据发送至数据处理模块进行处理。169.步骤2214：数据处理模块对接收到运行数据进行处理，确定出动态收集器以及动态采集器的运行状态数据，并将该运行状态数据发送至云数据中。170.其中，运行状态数据包括动态收集器以及动态收集器的采集时间、在预设时间段内的采集次数以及平均采集时间、动态收集器的成功率。其中，预设时间段可以根据实际应用进行设置，本说明书实施例对此不做任何限定，例如，一天、一周。171.步骤240：动态采集器周期性采集的方式获取客户应用的系统动态信息，并将该系统动态信息发送至动态收集器。172.其中，系统动态信息可以理解为上述实施例中的动态运行信息。该系统动态信息可以为服务器磁盘信息、jvm性能信息、服务器内存状态信息。173.动态收集器在接收到动态采集器发送的系统动态信息之后，能够对系统动态信息进行处理，并将处理后的系统动态信息发送至云数据库中，具体实现步骤包括：174.步骤2402：动态收集器通过系统动态信息处理模块，对接收到动态采集器发送的系统动态信息进行处理，并将处理后的系统动态信息发送至云数据库。175.具体地，动态收集器通过系统动态信息处理模块，将系统动态信息进行格式化处理，将系统动态信息的格式转换为统一的数据格式，并将处理后的系统动态信息发送至云数据库进行存储。176.步骤260：云数据库将运行信息以及系统动态信息发送至应用评估平台进行评估处理。177.具体地，云数据库将运行信息以及系统动态信息发送至应用评估平台，通过该应用评估平台对运行信息进行评估处理，从而评估出异构数据库迁移的工作量。178.通过该应用评估平台对系统动态信息进行性能检测处理，从而检测出客户应用的性能信息。179.本说明书实施例中，通过动态收集器获取客户应用的运行数据，并通过动态收集器对运行数据进行解析处理、脱敏处理以及去重处理，获得处理后的运行数据；从而清晰的确定出获取到的sql语句为应用发送的真实有效的sql，且知道是具体哪个应用发起的，提高异构数据库迁移的效率。180.同时，通过采用数据采集和数据加工互相分离的异构处理方案，对请求链路、应用内存和cpu均几乎无影响；并且对获取到的目标运行数据进行脱敏处理，从而保证输出的目标数据不包含任何敏感信息。181.与上述方法实施例相对应，本说明书还提供了数据处理系统实施例，图3示出了本说明书一实施例提供的一种数据处理系统的结构示意图。如图3所示，该系统包括应用于目标服务器的数据采集装置302和应用于与所述目标服务器不同的数据处理端的数据收集装置304，其中，182.所述数据采集装置302，被配置为获取目标应用的初始运行数据以及对应的数据内容，并基于所述数据内容确定目标运行数据，且将所述目标运行数据发送至所述数据收集装置；183.所述数据收集装置304，被配置为对接收的所述目标运行数据进行语法解析，确定所述目标运行数据中的特征参数，并基于所述特征参数对所述目标运行数据进行处理，获得目标数据。184.可选地，所述数据内容包括数据标识；185.相应地，所述数据采集装置302，还被配置为在所述初始运行数据的数据标识与预设数据标识为一致的情况下，将所述初始运行数据确定为目标运行数据。186.可选地，所述数据采集装置302，还被配置为基于所述数据内容确定所述初始运行数据的数据格式，并基于所述数据格式从所述初始运行数据中获取目标运行数据。187.可选地，所述数据收集装置304，还被配置为确定出所述特征参数对应的标识信息，并基于所述特征参数以及所述特征参数对应的标识信息对所述目标运行数据进行处理，获得目标数据。188.可选地，所述数据收集装置304，还被配置为：189.基于所述特征参数以及所述标识信息对所述目标运行数据进行处理，获得预处理数据；190.对所述预处理数据进行去重处理，获得目标数据。191.可选的，所述数据收集装置304，还被配置为：192.在所述特征参数对应的标识信息满足预设标识条件的情况下，将所述标识信息对应的所述特征参数确定为目标特征参数；193.基于预设目标字符对所述目标运行数据中的目标特征参数进行替换，获得预处理数据。194.可选地，所述数据收集装置304，还被配置为对所述目标运行数据进行格式处理，获得处理后的目标运行数据，并将所述处理后的目标运行数据存储至应用数据库。195.可选地，所述数据收集装置304，还被配置为获取所述目标数据的属性信息，并基于所述属性信息确定出所述数据采集装置以及所述数据收集装置的状态数据。196.可选地，所述数据收集装置304，还被配置为将所述目标数据以及所述状态数据上传至目标数据库，实现在所述目标数据库中对所述目标数据进行兼容性检测。197.可选地，所述数据收集装置304，还被配置为：198.获取目标应用的动态运行信息，并将所述动态运行信息发送所述数据收集装置；199.对接收的所述动态运行信息进行处理，并将处理后的动态运行信息发送至目标数据库，实现在所述目标数据库中对所述目标应用进行性能检测。200.本说明书提供的数据处理系统，通过应用于目标服务器的数据采集装置，基于目标服务器中目标应用在运行过程中产生的初始运行数据的数据内容，获得目标运行数据，有效的避免了无法区分从数据库采集到的执行语句，是否为应用发起的执行语句的问题，能够准确且快速的获取到应用发出的执行语句，并且在获取到目标运行数据后，通过应用于与所述目标服务器不同的数据处理端的数据收集装置对目标运行数据进行异构处理，获得目标数据；从而降低了对于应用以及数据库的影响，有效的提高了应用以及数据库的运行效率201.上述为本实施例的一种数据处理系统的示意性方案。需要说明的是，该数据处理系统的技术方案与上述的数据处理方法的技术方案属于同一构思，数据处理系统的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。202.图4示出了根据本说明书一实施例提供的一种计算设备400的结构框图。该计算设备400的部件包括但不限于存储器410和处理器420。处理器420与存储器410通过总线430相连接，数据库450用于保存数据。203.计算设备400还包括接入设备440，接入设备440使得计算设备400能够经由一个或多个网络460通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备440可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(nic))中的一个或多个，诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi‑max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口，等等。204.在本说明书的一个实施例中，计算设备400的上述部件以及图4中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图4所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。205.计算设备400可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或pc的静止计算设备。计算设备400还可以是移动式或静止式的服务器。206.其中，处理器420用于执行计算机可执行指令，该计算机可执行指令被处理器420执行时实现任意所述数据处理方法的步骤。207.上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的数据处理方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。208.本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现任意所述数据处理方法的步骤。209.上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的数据处理方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。210.本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行任意所述数据处理方法的步骤。211.上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的示意性方案与上述的数据处理方法的技术方案属于同一构思，计算机程序的示意性方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。212.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。213.所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read‑onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。214.需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书并不受所描述的动作顺序的限制，因为依据本说明书，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书所必须的。215.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。216.以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书的原理和实际应用，从而使所属
技术领域：
：技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。当前第1页12当前第1页12
技术领域：
：，特别涉及一种数据处理方法。本说明书同时涉及一种数据处理系统，一种计算设备，一种计算机可读存储介质，以及一种计算机程序。
背景技术：
：：2.随着科技的不断发展，许多企业开始将现有数据库迁移到云数据库上，从而实现数字化转型或产业升级，但在数据库迁移过程中，由于现有数据库与云数据库在结构上存在差异、两者的语法特性存在不同、数据库对象及应用代码会存在部分不兼容等问题，从而导致数据库执行报错或者语义不一致；为保证数据库替换后正常运行，需要采集应用产生的执行语句(例如sql语句)，并基于所述sql语句找到数据库和应用中的不兼容点。3.但现有技术是采用数据库周期性采集的方式，直接对数据库进行监测，从而采集到数据库的sql列表，但这种方式，一方面，由于数据库在运行过程中会产生sql语句，从而导致无法区分从数据库采集到的sql语句是否为应用发起的。另一方面，对数据库进行监测的过程中，会对数据库以及应用的性能造成较大影响，降低了数据库以及应用的运行效率。技术实现要素：4.有鉴于此，本说明书实施例提供了一种数据处理方法。本说明书同时涉及一种数据处理系统，一种计算设备，一种计算机可读存储介质，以及一种计算机程序，以解决现有技术中存在的技术缺陷。5.根据本说明书实施例的第一方面，提供了一种数据处理方法，应用于数据处理系统，所述系统包括应用于目标服务器的数据采集装置和应用于与所述目标服务器不同的数据处理端的数据收集装置，其中，6.所述数据采集装置获取目标应用的初始运行数据以及对应的数据内容，并基于所述数据内容确定目标运行数据，且将所述目标运行数据发送至所述数据收集装置；7.所述数据收集装置对接收的所述目标运行数据进行语法解析，确定所述目标运行数据中的特征参数，并基于所述特征参数对所述目标运行数据进行处理，获得目标数据。8.根据本说明书实施例的第二方面，提供了一种数据处理系统，包括应用于目标服务器的数据采集装置和应用于与所述目标服务器不同的数据处理端的数据收集装置，其中，9.所述数据采集装置，被配置为获取目标应用的初始运行数据以及对应的数据内容，并基于所述数据内容确定目标运行数据，且将所述目标运行数据发送至所述数据收集装置；10.所述数据收集装置，被配置为对接收的所述目标运行数据进行语法解析，确定所述目标运行数据中的特征参数，并基于所述特征参数对所述目标运行数据进行处理，获得目标数据。11.根据本说明书实施例的第三方面，提供了一种计算设备，包括：12.存储器和处理器；13.所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现任意所述数据处理方法的步骤。14.根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现任意所述数据处理方法的步骤。15.根据本说明书实施例的第五方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行任意所述数据处理方法的步骤。16.本说明书提供的数据处理方法，包括应用于目标服务器的数据采集装置和应用于与所述目标服务器不同的数据处理端的数据收集装置，其中，所述数据采集装置，被配置为获取目标应用的初始运行数据以及对应的数据内容，并基于所述数据内容确定目标运行数据，且将所述目标运行数据发送至所述数据收集装置；所述数据收集装置，被配置为对接收的所述目标运行数据进行语法解析，确定所述目标运行数据中的特征参数，并基于所述特征参数对所述目标运行数据进行处理，获得目标数据。17.具体地，所述数据处理方法通过应用于目标服务器的数据采集装置，基于目标服务器中目标应用在运行过程中产生的初始运行数据的数据内容，获得目标运行数据，有效的避免了无法区分从数据库采集到的执行语句，是否为应用发起的执行语句的问题，能够准确且快速的获取到应用发出的执行语句，并且在获取到目标运行数据后，通过应用于与所述目标服务器不同的数据处理端的数据收集装置对目标运行数据进行异构处理，获得目标数据；从而降低了对于应用以及数据库的影响，有效的提高了应用以及数据库的运行效率。附图说明18.图1是本说明书一实施例提供的一种数据处理方法的流程图；19.图2是本说明书一实施例提供的一种应用于获取应用的运行数据的场景下的数据处理方法的流程示意图；20.图3是本说明书一实施例提供的一种数据处理系统的结构示意图；21.图4是本说明书一实施例提供的一种计算设备的结构框图。具体实施方式22.在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。23.在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。24.应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。25.首先，对本说明书一个或多个实施例涉及的名词术语进行解释。26.数据库：按照数据结构来组织、存储和管理数据的仓库。27.adam:数据库与应用迁移(advanceddatabase&applicationmigration)，简称为adam，是一种用于帮助异构数据库和应用进行评估和结构迁移全链路的产品。通过adam能够将数据库和应用迁移至云数据库(公共云或专有云)，显著地降低了上云的技术难度和成本。adam能够全面评估上云可行性、成本和云存储选型，并且内置实施协助，数据、应用迁移等工具，确保可靠、快速上云。28.动态采集：在应用服务实时运行时进行数据收集。29.源库：客户原本的数据库。30.目标库：客户期望迁移到的目标数据库。31.异构数据库迁移：客户从原本的数据库迁移到目标数据库。32.语法不兼容：原本的数据库的写法在新的目标数据库上由于语法特性不同而无法兼容，表现为执行报错或语义错误。33.敏感信息：是指不当使用、未经授权被人接触或不利于用户享有的隐私权的所有信息。34.脱敏：对于可能敏感的数据(敏感信息)用特殊字符替换删除，保证输出的内容不包含客户的实际数据和查询条件。35.apm：应用性能管理(applicationperformancemanagement)，简称为apm。36.sql：结构化查询语言(structuredquerylanguage)，简称sql。37.jvm：是指java虚拟机(javavirtualmachine)。38.java：是一门面向对象编程语言。39.随着数字化转型和科技的发展，当前很多企业正在进行数字化转型或产业升级，希望将企业原本的数据库迁移到云数据库上，而异构数据库迁移一定会涉及到应用的改造。这是由于企业原本的数据库与云数据库的语法、语义以及用法均有差异，原本的数据库对象及应用代码与云数据库就会存在部分不兼容的问题，从而导致数据库执行报错或语义不一致。因此，为了保证数据库替换后正常运行，需要将数据库和应用的不兼容点找到并进行修正，从而实现对应用的改造，这也是异构数据库迁移过程中，最耗时的地方。40.而应用sql由于特别分散、且是多场景拼接而成，很难将所有sql全部梳理出来。基于上述问题，可以通过手工编写测试用例逐步排查需要改造的地方，一个功能一个功能的测试验证，然后通过发现一个改造一个的方式进行逐步改造，但这又会导致改造周期特别长，非常消耗人力和时间成本。41.基于上述问题，一种方式是通过直接监测数据库进行采集的方式获取sql列表，这种方式虽然能够获得sql，但是无法区分获取的sql是否应用发起、无法区分获取的sql是哪个应用发送的，并且无法定位获取的sql在应用中的具体位置。42.另一种方式是通过apm工具获取到应用的运行数据，但这种方式仅仅是应用于帮助客户监测应用健康度，对应用性能的影响很大、并且不能对采集的sql进行脱敏处理。43.基于此，在本说明书中，提供了一种数据处理方法，本说明书同时涉及一种数据处理系统，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。44.参见图1，图1示出了根据本说明书一个实施例提供的一种数据处理方法的流程图，其中，所述数据处理方法，应用于数据处理系统，所述系统包括应用于目标服务器的数据采集装置和应用于与所述目标服务器不同的数据处理端的数据收集装置，具体包括以下步骤。45.步骤102：所述数据采集装置获取目标应用的初始运行数据以及对应的数据内容，并基于所述数据内容确定目标运行数据，且将所述目标运行数据发送至所述数据收集装置。46.其中，数据处理系统可以理解为采集目标服务器中目标应用在运行过程中产生的目标运行信息，并通过对该目标运行信息进行异构处理，从而获得目标数据的系统，在实际应用中，该数据处理系统可以为部署在adam上的应用动态采集器，该应用动态采集器能在不需要修改应用代码的情况下，帮助客户一次性梳理出所有真实的sql及调用栈位置等运行信息，并对该运行信息进行数据脱敏、信息处理，为后续异构数据库迁移的工作量评估提供基础数据。该应用动态采集器包括两个模型：agent模块以及collector模块；agent模块又称为动态采集器agent，该动态采集器agent部署在目标服务器中，用于采集目标服务器中的应用程序的运行数据，在实际应用中，该动态采集器agent至少包括一个；collector模块又称为动态收集器collector，该动态收集器collector部署在与该目标服务器不同的数据处理端，用于对采集到的目标运行数据进行处理，该目标服务器可以为应用服务器；该与目标服务器不同的数据处理端包括但不限于客户端、与应用服务器不同的服务器。47.数据采集装置可以理解为通过周期性采集的方式对目标应用的目标运行数据进行采集的装置；该数据采集装置部署在应用服务器上，并且该数据采集装置至少包括一个；在实际应用中，该数据采集装置可以为应用动态采集器的动态采集器agent，通过启动采集器agent能够动态的对应用服务器中的目标应用的目标运行数据进行采集；其中，在本说明书实施例中，能够根据客户应用的实际运行情况提供两种启动采集器agent方式：48.在客户应用比较稳定的情况下，通过输入一条命令，即可启动采集器agent；49.在客户应用经常启动/关闭的情况下，通过输入命令启动采集器agent的方式，会导致客户需要频繁的输入命令，基于此，在客户启动应用的过程中，通过在应用启动命令文档里增加一个参数，并通过该参数对采集器agent进行启动，从而实现在客户应用进行启动或停止的过程中，可以使得采集器agent跟随客户应用进行启动或者停止。50.数据收集装置可以理解为用于对接收到的目标运行数据进行异构处理的装置，在实际应用中，该数据收集装置可以为应用动态采集器的动态收集器collector；通过启动动态收集器collector能够对接收到的目标运行数据进行异构处理，从而获得目标数据，在本说明书实施例中，通过输入一条命令即可启动动态收集器collector。51.目标应用可以理解为在异构数据库迁移过程中，需要进行改造的应用；在实际应用中，由于源库与目标库之间存在不兼容问题，因此需要对应用中的不兼容点进行修正，从而保证替换后的数据库的正常运行。52.初始运行数据可以理解为目标应用在运行过程中产生的所有运行数据。53.数据内容可以理解为初始运行数据的数据标识、参数信息、函数等数据。54.目标运行数据可以理解为目标应用实际运行过程中产生的特定运行数据，该目标运行数据包括但不限于url信息、sql语句、调用栈信息、sql‑dbinfo信息以及sql响应信息，在实际应用中，数据采集装置能够对url信息、sql语句、调用栈信息、sql‑dbinfo信息以及sql响应信息等目标运行数据中的任意一项或多项数据进行采集，并通过数据收集装置对该任意一项或多项数据进行处理。55.具体地，所述应用于目标服务器的数据采集装置通过周期性采集的方式获取多个目标应用的初始运行数据，并确定所述初始运行数据对应的数据内容；基于所述数据内容从初始运行数据中确定出一个或多个目标运行数据，并将一个或多个目标运行数据发送至数据收集装置。56.举例说明，以数据处理系统为应用动态采集器的情况下，对数据处理系统进行进一步详细说明，其中，目标运行数据可以为sql语句。57.应用动态采集器包括两个部分：动态采集器agent以及动态收集器collector；针对于动态采集器agent，通过字节码增强技术将动态采集器agent的执行逻辑，加入到多个客户应用的jvm中并启动该动态采集器agent；启动后的动态采集器agent能够对客户应用的主链路进行实时监测，并通过周期性采集的方式对多个客户应用的运行数据进行动态采集，并通过运行数据对应的数据内容，从该运行数据中获得多个客户应用产生的sql语句。58.该动态采集器agent在主链路上将采集的sql语句记录到异步线程池中，不对该sql语句进行任何处理；并通过处理线程将异步线程池中的sql语句，通过异步发送的方式发送到动态收集器collector中进行处理。59.在实际应用中，应用动态采集器同时具有丰富的自监测机制，当客户应用处于运行高峰时自动暂停工作，待运行峰值降下来后再进行错峰工作。60.在本说明书实施例中，动态采集器所采集的目标运行数据包括调用栈信息，通过采集调用栈信息，实现在获取sql时反向将调用sql的应用代码具体位置进行记录，方便后续对客户应用进行改造时直接定位到调用sql的应用代码具体位置，提高了改造的效率。61.进一步地，目标应用在运行过程中产生的数据是多种多样的，这就导致数据采集装置在获取目标运行数据的过程中，需要对目标应用产生的所有运行数据进行采集，并对采集到的运行数据进行检测识别确定出数据内容，并基于数据内容获取到目标运行数据，但数据采集装置基于数据内容从该初始运行数据中获取目标运行数据的过程中，由于初始运行数据的类型多种多样且数量较多，从而导致基于数据内容从初始运行数据中获取目标运行数据的效率较低，浪费了大量的计算机处理资源，为了解决上述问题，本说明书一实施例通过确定初始运行数据的数据格式的方式，获取目标运行数据，具体实现方式如下。62.所述数据采集装置基于所述数据内容确定目标运行数据，包括：63.所述数据采集装置基于所述数据内容确定所述初始运行数据的数据格式，并基于所述数据格式从所述初始运行数据中获取目标运行数据。64.其中，数据格式可以理解为目标应用产生的运行数据的格式，在实际应用中，目标应用产生的运行数据的类型是多种多样的，比如url数据、sql数据。每种类型的运行数据都具有特定的数据格式。65.具体的，数据采集装置在确定出初始运行数据中的数据内容之后，基于该数据内容确定出初始运行数据的数据格式，并基于该数据格式从初始运行数据中筛选出符合目标数据格式的初始运行数据，并将符合目标数据格式的初始运行数据确定为目标运行数据，从而完成目标运行数据的获取。66.沿用上例，以数据处理方法应用于获取应用产生的sql的场景为例，对基于数据格式从初始运行数据中获取目标运行数据进行详细说明。67.动态采集器agent在确定出所有的运行数据的数据内容之后，基于该数据内容确定出每个运行数据的数据格式，并将每个运行数据的数据格式与目标数据格式进行匹配，该目标数据格式可以为sql语句格式。68.在运行数据的数据格式与sql语句格式为一致的情况下，将该运行数据确定为需要获取的运行数据，从而完成目标运行数据的获取；69.在运行数据的数据格式与sql语句格式为不一致的情况下，则表示该运行数据不是需要获取的运行数据，并将该运行数据丢弃。70.本说明书实施例中，数据采集装置基于数据内容确定初始运行数据的数据格式，并基于数据格式从初始运行数据中获取目标运行数据。从而高效的完成目标运行数据的获取，避免了从初始运行数据中获取目标运行数据的效率较低的问题，并且有效的提高了目标运行数据的准确率。71.进一步的，在本说明书实施例的另一种情况下，所述数据内容包括数据标识；72.相应地，所述数据采集装置基于所述数据内容确定目标运行数据，包括：73.所述数据采集装置在所述初始运行数据的数据标识与预设数据标识为一致的情况下，将所述初始运行数据确定为目标运行数据。74.其中，初始运行数据的数据标识可以理解为用于表征初始运行数据的标识，每个数据标识唯一表征一个初始运行数据的标识。75.预设数据标识可以根据实际应用场景的不同进行设置，本说明书实施例中不对预设数据标识做具体限制，例如，预设数据标识可以为sql语句的标识。76.具体的，数据采集装置在确定出初始运行数据的数据标识之后，将初始运行数据的数据标识与预设数据标识进行匹配，在初始运行数据的数据标识与预设数据标识为一致的情况下，将该初始运行数据确定为目标运行数据。77.沿用上例，对通过初始运行数据的数据标识确定目标运行数据做进一步详细说明。运行数据可以包括客户应用在运行过程中产生的sql语句、url信息、http信息等。78.动态采集器agent在获得客户应用产生的运行数据之后，确定出该运行数据的数据标识，并将该数据标识与sql语句的标识进行匹配，在该数据标识与sql语句的标识为一致的情况下，将该数据标识对应的运行数据确定为sql语句。79.本说明书实施例中，在初始运行数据的数据标识与预设数据标识为一致的情况下，将初始运行数据确定为目标运行数据，从而高效的完成目标运行数据的获取，避免了从初始运行数据中获取目标运行数据的效率较低的问题，并且有效的提高了目标运行数据的准确率，进一步提高了目标数据的精度。80.步骤104：所述数据收集装置对接收的所述目标运行数据进行语法解析，确定所述目标运行数据中的特征参数，并基于所述特征参数对所述目标运行数据进行处理，获得目标数据。81.其中，特征参数可以理解为目标运行数据中包含的敏感信息。在实际应用中，特征参数可以根据实际应用进行设置，本说明书实施例对此不做任何限定。例如，在目标运行数据为sql信息的情况下，该特征参数可以为“table_name”“username＝139****”、“password＝123******”；例如，在目标运行数据为url语句的情况下，该特征参数可以为“iphone＝182*****”。82.对目标运行数据进行处理包括但不限于对目标运行数据进行脱敏处理或者去重处理；对应的，目标数据可以理解为进行处理后的目标运行数据。83.具体地，数据收集装置在接收到数据采集装置发送的目标运行数据之后，通过数据收集装置中部署的语法解析器对该目标运行数据进行语法解析，从而获得目标运行数据中的特征参数，基于所述特征参数对所述目标运行数据进行处理，获得目标数据。84.沿用上例，对通过对目标运行数据进行语法解析的方式获得特征参数做进一步详细说明。85.在将动态收集器collector进行解压后，通过一条命令将动态收集器collector启动，启动后的动态收集器collector能够接收到动态采集器agent发送的sql语句。86.动态收集器collector在接收到动态采集器agent发送的sql语句之后，将sql语句输入至部署在动态收集器collector上的语法解析器中，通过该语法解析器能够对sql语句进行语法解析，从而获得sql语句的中的敏感信息，并通过对sql语句进行脱敏处理，从而获得不包含任何应用敏感信息的sql语句。87.本说明书实施例中，数据收集装置对接收的目标运行数据进行语法解析，从而快速且精准的获得目标运行数据中的特征参数，提高了获取目标对象的效率，节省了计算机处理资源。88.进一步地，在说明书实施例中，数据收集装置基于特征参数对目标运行数据进行处理，从而获得目标数据，同时，还可以通过特征参数以及特征参数对应的标识信息获得目标数据，具体实现方式如下所示。89.所述数据收集装置基于所述特征参数对所述目标运行数据进行处理，获得目标数据，包括：90.所述数据收集装置确定出所述特征参数对应的标识信息，并基于所述特征参数以及所述特征参数对应的标识信息对所述目标运行数据进行处理，获得目标数据。91.其中，标识信息可以理解为可唯一表征一个特征参数的信息，本说明书实施例中，不同的特征信息对应不同的标识信息，例如，在特征信息为“username＝139****”的情况下，该特征参数对应的标识信息可以为用户名；在特征信息为“iphone＝182*****”，该特征参数对应的标识信息为手机号码。92.具体地，数据收集装置在确定出目标运行数据中的特征参数之后，在确定该特征参数对应的标识信息，并基于该特征参数以及特征参数对应的标识信息对目标运行数据进行处理，从而获得目标数据。93.沿用上例，对基于特征参数以及特征参数对应的标识信息对目标运行数据进行处理做进一步详细说明。94.动态收集器collector在通过语法解析器确定出sql语句中的特征参数之后，再基于该语法解析器识别出每个特征参数对应的标识信息。95.动态收集器collector基于特征参数以及特征参数对应的标识信息对该sql语句进行处理，从而获得目标sql语句。96.进一步的，所述数据收集装置基于所述特征参数以及所述标识信息对所述目标运行数据进行处理，获得目标数据，包括：97.所述数据收集装置基于所述特征参数以及所述标识信息对所述目标运行数据进行处理，获得预处理数据；98.所述数据收集装置对所述预处理数据进行去重处理，获得目标数据。99.其中，在目标运行数据为sql语句的情况下，预处理数据可以理解为进行脱敏处理后的sql语句。100.具体地，数据收集装置在确定出特征参数对应的标识信息之后，基于特征参数以及标识信息对目标运行数据进行处理，获得预处理数据；并通过对该预处理数据进行去重处理，从而获得目标数据。101.沿用上例，对通过特征参数以及标识信息获得预处理数据并对该预处理数据进行去重处理，从而获得目标数据做进一步详细说明。102.动态收集器collector在基于语法解析器确定出特征参数以及与特征参数对应的标识信息之后，判断该标识信息是否满足预设标识条件，在该预设标识条件可以为标识信息是否为目标标识信息，该目标标识信息可以为用户名、密码以及手机号码。在标识信息与预设目标标识为一致的情况下，则表示标识信息满足预设标识条件，将该标识信息对应的特征参数确定为需要进行脱敏处理的敏感特征参数，并通过对该敏感特征参数进行脱敏处理，获得脱敏后的sql语句。103.动态收集器collector在获得脱敏后的sql语句之后，对脱敏后的sql语句进行去重处理，从而获得目标sql语句。104.本说明书实施例中，数据收集装置基于特征参数以及标识信息获得预处理数据；并通过对预处理数据进行去重处理，获得目标数据。实现了通过脱敏处理避免了客户的隐私信息的泄露，并且通过去重处理，避免了获取大量的重复数据，节省了计算机处理资源，从而提高后续数据库迁移的效率。105.进一步地，数据收集装置基于所述特征参数以及所述标识信息对所述目标运行数据进行处理，获得预处理数据，包括：106.所述数据收集装置在所述特征参数对应的标识信息满足预设标识条件的情况下，将所述标识信息对应的所述特征参数确定为目标特征参数；107.所述数据收集装置基于预设目标字符对所述目标运行数据中的目标特征参数进行替换，获得预处理数据。108.其中，预设标识条件可以根据实际应用进行设置，本说明书实施例对此不做任何限定。例如，预设标识条件可以为标识信息是否为目标标识信息；该目标标识信息可以为用户名、密码以及手机号码。109.预设目标字符可以根据实际应用进行设置，本说明书实施例对此不做任何限定。例如特殊字符包括文字和/或符号。110.具体地，数据收集装置在特征参数对应的标识信息满足预设标识条件的情况下，将标识信息对应的特征参数确定为目标特征参数；并通过预设目标字符对目标运行数据中的目标特征参数进行替换，从而获得预处理数据。111.沿用上例，对基于预设目标字符对确定的目标特征参数进行替换，从而获得预处理数据做进一步详细说明。112.动态收集器collector在基于语法解析器确定出特征参数以及与特征参数对应的标识信息之后，判断该标识信息是否满足预设标识条件，在该预设标识条件可以为标识信息是否为目标标识信息，在标识信息与预设目标标识为一致的情况下，则表示标识信息满足预设标识条件，将该标识信息对应的特征参数确定为需要进行脱敏处理的敏感特征参数，并通过预设目标字符将需要脱敏处理的敏感特征参数进行替换，从而完成对sql语句的脱敏操作，获得脱敏后的sql语句。113.本说明书实施例中，数据收集装置在特征参数对应的标识信息满足预设标识条件的情况下，将标识信息对应的特征参数确定为目标特征参数；并通过预设目标字符对目标运行数据中的目标特征参数进行替换，从而获得预处理数据。从而有效的对目标运行数据进行脱敏处理，从而保证了客户应用的数据安全性，避免数据泄露问题的发生。114.在本说明书实施例中，还可以通过将获取到的多种格式的目标运行数据调整为统一的格式，将调整后的目标运行数据存储至客户的应用数据库中，从而便于客户对目标运行数据进行处理，具体实现方式如下所示。115.所述数据收集装置确定所述目标运行数据中的特征参数之后，还包括：116.所述数据收集装置对所述目标运行数据进行格式处理，获得处理后的目标运行数据，并将所述处理后的目标运行数据存储至应用数据库。117.其中，应用数据库可以理解为用于存储客户应用信息的数据库，在实际应用中，该应用数据库为客户的本地数据库。118.具体地，数据收集装置将获取到的目标运行数据调整为统一的格式，获得处理后的目标运行数据，并将处理后的目标运行数据存储至应用数据库。119.沿用上例，对获得处理后的目标运行数据并存储至应用数据库做进一步详细说明。120.动态收集器collector在获取到多个客户应用的sql语句之后，通过对该sql语句进行格式处理的方式，将多个客户应用的sql语句的数据格式转换为统一的数据格式，并将该转换后的sql语句存储在客户的本地数据库中。121.本说明书实施例中，数据收集装置通过对获取到的目标运行数据进行格式化处理，并将处理后的目标运行数据存储至应用数据库。从而便于客户对目标运行数据进行处理，从而提高了客户的使用体验。122.为了能够实时获取到数据采集装置和数据收集装置的运行状态信息，便于用户对数据采集装置和数据收集装置进行监测，在本说明书实施例通过目标数据的属性信息，确定出所述数据采集装置以及所述数据收集装置的状态数据，从而实时获取数据采集装置和数据收集装置的运行状态，具体实现方式如下。123.所述数据收集装置基于所述特征参数对所述目标运行数据进行处理，获得目标数据之后，还包括：124.所述数据收集装置获取所述目标数据的属性信息，并基于所述属性信息确定出所述数据采集装置以及所述数据收集装置的状态数据。125.其中，目标数据的属性信息可以根据实际应用的不同进行设置，本说明书实施例对此不做任何限定。例如，该属性信息可以为目标数据的数量、目标数据的产生时间等信息。126.状态数据可以理解为动态收集器以及动态收集器的采集时间、在预设时间段内的采集次数以及平均采集时间、动态收集器的成功率。127.具体地，数据收集装置通过确定出目标数据的属性信息，从而基于该属性信息确定出表明数据采集装置以及数据收集装置的运行状态的状态数据。128.沿用上例，以数据处理方法应用于获取应用产生的sql的场景为例，对确定出数据采集装置以及数据收集装置的状态数据做进一步详细说明。129.动态收集器collector在获得目标sql语句之后，确定出目标sql语句的数量、生成时间等属性信息，并基于该属性信息获得动态收集器collector以及动态采集器agent运行状态，从而便于用户对动态收集器collector和动态采集器agent的运行状态进行监测。130.本说明书实施例中，通过数据收集装置获取目标数据的属性信息，并基于属性信息确定出数据采集装置以及数据收集装置的状态数据，能够准确的获取到数据采集装置和数据收集装置的运行状态信息，便于用户对数据采集装置和数据收集装置进行监测。131.在本说明书一实施例中，所述的数据处理方法在通过数据采集装置和数据收集装置，获得目标数据以及数据采集装置与数据收集装置的状态数据之后，还包括：132.所述数据收集装置将所述目标数据以及所述状态数据上传至目标数据库，实现在所述目标数据库中对所述目标数据进行兼容性检测。133.其中，目标数据库可以理解为在异构数据库迁移过程中，客户应用需要迁移至的数据库，比如云数据库。134.具体地，数据收集装置将目标数据以及状态数据上传至目标数据库，实现在目标数据库中对目标数据进行兼容性检测。135.沿用上例，对在目标数据库中对目标数据进行兼容性检测做进一步详细说明。136.动态收集器collector将获取到的目标sql语句以及状态信息上传至云数据库之后，能够基于应用评估平台实现在目标数据库中对目标sql进行兼容性检测，从而判断异构数据库迁移的工作量的评估。137.本说明书实施例中，通过数据收集装置将目标数据以及状态数据上传至目标数据库，实现在目标数据库中对目标数据进行兼容性检测，便于对客户应用集群进行架构拓扑分析，从而有效的对异构数据库迁移的工作量进行评估。138.在本说明书一实施例中，所述的数据处理方法还包括：139.所述数据采集装置获取目标应用的动态运行信息，并将所述动态运行信息发送所述数据收集装置；140.所述数据收集装置对接收的所述动态运行信息进行处理，并将处理后的动态运行信息发送至目标数据库，实现在所述目标数据库中对所述目标应用进行性能检测。141.其中，动态运行信息可以理解为目标应用在运行过程中的性能信息，比如应用服务器磁盘信息、jvm性能信息、应用服务器内存状态信息。142.具体地，数据采集装置获取目标应用的动态运行信息，并将动态运行信息发送数据收集装置；数据收集装置在接收到动态运行信息后，对该动态运行信息进行处理，并将处理后的动态运行信息发送至目标数据库，实现在目标数据库中对目标应用进行性能检测。143.沿用上例，对获取目标应用的动态运行信息，并将处理后的动态运行信息发送至目标数据库，实现在目标数据库中对目标应用进行性能检测做进一步说明。144.动态采集器agent通过周期性采集的方式获取到客户应用在运行过程中的动态运行信息，并通过异步发送的方式将运行动态信息发送至动态收集器collector中进行处理。145.动态收集器collector在接收到动态运行信息之后，对该动态运行信息的格式进行处理，将多个客户应用的动态运行信息转换成统一格式的动态运行信息，并将处理后的动态运行信息发送至云数据库中进行存储。146.在将动态运行信息发送至云数据库后，通过应用评估平台实现在目标数据库中对目标应用进行性能检测，从而确定出目标应用的性能。147.本说明书实施例中，通过数据采集装置获取目标应用的动态运行信息，通过数据收集装置对该动态运行信息进行处理，并将处理后的动态运行信息发送至目标数据库，实现在目标数据库中对目标应用进行性能检测，从而准确的确定出目标应用的性能情况，提高客户的使用体验。148.本说明书实施例提供的数据处理方法，通过通过应用于目标服务器的数据采集装置获取目标应用的目标运行数据，有效的避免了无法区分获取到的sql是否为应用发起的问题，能够准确且快速的获取到应用发出的sql，并且通过应用于与所述目标服务器不同的数据处理端的数据收集装置对目标运行数据进行异构处理，从而获得目标数据；降低了对于应用以及数据库的影响，有效的提高了应用以及数据库的运行效率。149.同时，通过采用数据采集和数据加工互相分离的异构处理方案，对请求链路、应用内存和cpu均几乎无影响；并且对获取到的目标运行数据进行脱敏处理，从而保证输出的目标数据不包含任何敏感信息。150.下述结合附图2，以本说明书提供的数据处理方法在获取应用的运行数据的场景下的应用为例，对所述数据处理方法进行进一步说明。其中，图2示出了本说明书一实施例提供的一种应用于获取应用的运行数据的场景下的数据处理方法的流程示意图，基于该流程示意图可知，本说明书提供的应用于获取应用的运行数据的场景下的数据处理方法包括两个装置：动态采集器和动态收集器。151.其中，动态采集器部署在应用服务器上，该动态采集器能够通过周期性采集的方式，对客户应用在运行过程中产生的运行信息以及客户应用的系统动态信息进行采集；该客户应用可以部署在多个应用服务器中。动态采集器在获得运行信息以及系统动态信息后，通过异步发送的方式将采集到的信息发送至动态收集器进行处理。152.其中，动态收集器部署在与应用服务器不同的数据处理端上，该动态收集器接收到动态采集器发送的信息后，对于客户应用在运行过程中产生的运行信息，动态收集器通过语法解析器对客户应用的运行信息进行语义解析，识别出运行信息中的参数、函数等数据，通过将可能存在敏感的数据使用特殊字符进行替换，实现对运行信息的脱敏处理，从而获得无敏感信息的运行数据；在获得无敏感信息的运行数据后，对该运行数据进行去重处理，然后将去重处理后的运行数据发送至云数据库中，实现通过云数据库中的运行数据对异构数据库迁移的工作量的评估。153.对于客户应用的系统动态信息，动态收集器对其进行标准化处理，转换为统一的数据格式，并将处理后的系统动态信息发送至云数据库，实现通过云数据中的系统动态信息对客户应用进行性能检测。154.基于上述介绍，本说明书提供的应用于获取应用的运行数据的场景下的数据处理方法具体包括以下步骤：155.步骤220：动态采集器周期性采集的方式，获取服务器中的客户应用在运行过程中产生的运行信息，并将该运行信息发送至动态收集器。156.其中，动态采集器可以理解为上述实施例中的数据采集装置。157.运行信息可以理解为上述实施例中的目标运行数据，该运行信息可以为url信息、sql‑dbinfo信息、sql响应信息、调用栈信息。158.动态收集器可以理解为上述实施例中的数据收集装置。159.动态收集器在接收到动态采集器发送的运行信息之后，能够对运行信息进行处理，并将处理后的运行信息发送至云数据库以及本地数据库中，具体实现步骤包括：160.步骤2202：动态收集器通过语法解析器对接收到的运行信息进行语法解析，并将解析后的运行信息发送至格式化处理模块进行处理。161.步骤2204：格式化处理模块对接收到的运行信息进行格式化处理，并将处理后的运行信息发送至本地数据库进行存储。162.其中，本地数据库可以理解为上述实施例中的应用数据库。163.步骤2206：动态收集器通过语法解析器对接收到的运行信息进行语法解析，并将解析后的运行信息发送至数据脱敏模块进行脱敏。164.步骤2208：数据脱敏模块对解析后的运行信息进行脱敏处理，并将脱敏后的运行数据发送至数据去重模块进行去重处理。165.具体地，数据脱敏模块在接收到解析后的运行信息后，识别出该运行信息中可能存在敏感的数据，并使用特征字符将可能存在敏感的数据进行替换，从而实现对运行信息的脱敏处理。其中，特征字符可以理解为上述实施例中的预设目标字符。166.完成对运行信息的脱敏处理之后，数据脱敏模块将脱敏后的运行数据发送至数据去重模块。167.步骤2210：数据去重模块对接收到的运行数据进行去重处理，并将去重处理后的运行数据发送至云数据库中。168.步骤2212：数据去重模块对接收到的运行数据进行去重处理，还将去重处理后的运行数据发送至数据处理模块进行处理。169.步骤2214：数据处理模块对接收到运行数据进行处理，确定出动态收集器以及动态采集器的运行状态数据，并将该运行状态数据发送至云数据中。170.其中，运行状态数据包括动态收集器以及动态收集器的采集时间、在预设时间段内的采集次数以及平均采集时间、动态收集器的成功率。其中，预设时间段可以根据实际应用进行设置，本说明书实施例对此不做任何限定，例如，一天、一周。171.步骤240：动态采集器周期性采集的方式获取客户应用的系统动态信息，并将该系统动态信息发送至动态收集器。172.其中，系统动态信息可以理解为上述实施例中的动态运行信息。该系统动态信息可以为服务器磁盘信息、jvm性能信息、服务器内存状态信息。173.动态收集器在接收到动态采集器发送的系统动态信息之后，能够对系统动态信息进行处理，并将处理后的系统动态信息发送至云数据库中，具体实现步骤包括：174.步骤2402：动态收集器通过系统动态信息处理模块，对接收到动态采集器发送的系统动态信息进行处理，并将处理后的系统动态信息发送至云数据库。175.具体地，动态收集器通过系统动态信息处理模块，将系统动态信息进行格式化处理，将系统动态信息的格式转换为统一的数据格式，并将处理后的系统动态信息发送至云数据库进行存储。176.步骤260：云数据库将运行信息以及系统动态信息发送至应用评估平台进行评估处理。177.具体地，云数据库将运行信息以及系统动态信息发送至应用评估平台，通过该应用评估平台对运行信息进行评估处理，从而评估出异构数据库迁移的工作量。178.通过该应用评估平台对系统动态信息进行性能检测处理，从而检测出客户应用的性能信息。179.本说明书实施例中，通过动态收集器获取客户应用的运行数据，并通过动态收集器对运行数据进行解析处理、脱敏处理以及去重处理，获得处理后的运行数据；从而清晰的确定出获取到的sql语句为应用发送的真实有效的sql，且知道是具体哪个应用发起的，提高异构数据库迁移的效率。180.同时，通过采用数据采集和数据加工互相分离的异构处理方案，对请求链路、应用内存和cpu均几乎无影响；并且对获取到的目标运行数据进行脱敏处理，从而保证输出的目标数据不包含任何敏感信息。181.与上述方法实施例相对应，本说明书还提供了数据处理系统实施例，图3示出了本说明书一实施例提供的一种数据处理系统的结构示意图。如图3所示，该系统包括应用于目标服务器的数据采集装置302和应用于与所述目标服务器不同的数据处理端的数据收集装置304，其中，182.所述数据采集装置302，被配置为获取目标应用的初始运行数据以及对应的数据内容，并基于所述数据内容确定目标运行数据，且将所述目标运行数据发送至所述数据收集装置；183.所述数据收集装置304，被配置为对接收的所述目标运行数据进行语法解析，确定所述目标运行数据中的特征参数，并基于所述特征参数对所述目标运行数据进行处理，获得目标数据。184.可选地，所述数据内容包括数据标识；185.相应地，所述数据采集装置302，还被配置为在所述初始运行数据的数据标识与预设数据标识为一致的情况下，将所述初始运行数据确定为目标运行数据。186.可选地，所述数据采集装置302，还被配置为基于所述数据内容确定所述初始运行数据的数据格式，并基于所述数据格式从所述初始运行数据中获取目标运行数据。187.可选地，所述数据收集装置304，还被配置为确定出所述特征参数对应的标识信息，并基于所述特征参数以及所述特征参数对应的标识信息对所述目标运行数据进行处理，获得目标数据。188.可选地，所述数据收集装置304，还被配置为：189.基于所述特征参数以及所述标识信息对所述目标运行数据进行处理，获得预处理数据；190.对所述预处理数据进行去重处理，获得目标数据。191.可选的，所述数据收集装置304，还被配置为：192.在所述特征参数对应的标识信息满足预设标识条件的情况下，将所述标识信息对应的所述特征参数确定为目标特征参数；193.基于预设目标字符对所述目标运行数据中的目标特征参数进行替换，获得预处理数据。194.可选地，所述数据收集装置304，还被配置为对所述目标运行数据进行格式处理，获得处理后的目标运行数据，并将所述处理后的目标运行数据存储至应用数据库。195.可选地，所述数据收集装置304，还被配置为获取所述目标数据的属性信息，并基于所述属性信息确定出所述数据采集装置以及所述数据收集装置的状态数据。196.可选地，所述数据收集装置304，还被配置为将所述目标数据以及所述状态数据上传至目标数据库，实现在所述目标数据库中对所述目标数据进行兼容性检测。197.可选地，所述数据收集装置304，还被配置为：198.获取目标应用的动态运行信息，并将所述动态运行信息发送所述数据收集装置；199.对接收的所述动态运行信息进行处理，并将处理后的动态运行信息发送至目标数据库，实现在所述目标数据库中对所述目标应用进行性能检测。200.本说明书提供的数据处理系统，通过应用于目标服务器的数据采集装置，基于目标服务器中目标应用在运行过程中产生的初始运行数据的数据内容，获得目标运行数据，有效的避免了无法区分从数据库采集到的执行语句，是否为应用发起的执行语句的问题，能够准确且快速的获取到应用发出的执行语句，并且在获取到目标运行数据后，通过应用于与所述目标服务器不同的数据处理端的数据收集装置对目标运行数据进行异构处理，获得目标数据；从而降低了对于应用以及数据库的影响，有效的提高了应用以及数据库的运行效率201.上述为本实施例的一种数据处理系统的示意性方案。需要说明的是，该数据处理系统的技术方案与上述的数据处理方法的技术方案属于同一构思，数据处理系统的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。202.图4示出了根据本说明书一实施例提供的一种计算设备400的结构框图。该计算设备400的部件包括但不限于存储器410和处理器420。处理器420与存储器410通过总线430相连接，数据库450用于保存数据。203.计算设备400还包括接入设备440，接入设备440使得计算设备400能够经由一个或多个网络460通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备440可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(nic))中的一个或多个，诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi‑max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口，等等。204.在本说明书的一个实施例中，计算设备400的上述部件以及图4中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图4所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。205.计算设备400可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或pc的静止计算设备。计算设备400还可以是移动式或静止式的服务器。206.其中，处理器420用于执行计算机可执行指令，该计算机可执行指令被处理器420执行时实现任意所述数据处理方法的步骤。207.上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的数据处理方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。208.本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现任意所述数据处理方法的步骤。209.上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的数据处理方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。210.本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行任意所述数据处理方法的步骤。211.上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的示意性方案与上述的数据处理方法的技术方案属于同一构思，计算机程序的示意性方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。212.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。213.所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read‑onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。214.需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书并不受所描述的动作顺序的限制，因为依据本说明书，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书所必须的。215.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。216.以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书的原理和实际应用，从而使所属
技术领域：
：技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
