一种基于大数据分析的关联性影响识别方法及系统与流程

1.本发明涉及计算机系统测试和大数据分析技术领域，尤其涉及一种基于大数据分析的关联性影响识别方法及系统。


背景技术：

2.随着银行系统功能越来越强大，系统也越来越复杂。因此造成系统的任何变动都可能造成意料之外的各种问题。根据行业经验，在系统升级过程中，绝大部分bug来自于改造过程中对其它功能的关联性影响。
3.当前，业内主要利用静态分析方法和手工测试方法进行关联性影响识别，对个人经验依赖很大，容易造成版本质量的不稳定；现有处理方式需要基于测试人员的经验设计有限的案例，并且测试数据有限，并随着产品越来越复杂，开发效率也逐渐下降。


技术实现要素：

4.为解决现有技术的不足，本发明提出一种基于大数据分析的关联性影响识别方法及系统，基于大数据分析产生覆盖性测试案例，利用大量测试案例进行自动化，以便快速测试程序完成验证。在项目迭代过程中，对版本变动前后进行效果一致性评估，找出差异，从而识别出关联性影响。以摆脱对于个人经验的严重依赖，提高版本质量的稳定性，提高程序开发质量，提高测试效率，缩短项目时长，推进项目投产。
5.为实现以上目的，本发明所采用的技术方案包括：
6.一种基于大数据分析的关联性影响识别方法，其特征在于，包括：
7.s1、获取生产脱敏的日志数据并提取待处理数据，所述待处理数据包括报文、处理码、终端受理类型、收单类型和商户类型中的任意一种或多种组合；
8.s2、依据日志数据所属业务规则和待处理数据的取值对待处理数据进行分类，获得分类数据；
9.s3、将分类数据依据报文规范进行处理获得测试输入报文；
10.s4、将测试输入报文依据预设业务场景组合为若干对应不同业务场景的案例集；
11.s5、依据业务场景使用对应的案例集进行发包处理；
12.s6、匹配对比案例集测试结果，获得关联性影响评估结果。
13.进一步地，所述方法还包括：
14.s7、将案例集测试结果和关联性影响评估结果以可视化方式输出。
15.进一步地，所述报文规范包括通用报文规范或自定义报文规范。
16.进一步地，所述步骤s3包括：
17.将分类数据依据通用报文规范或自定义报文规范进行内容转换，获得具有具体数据的测试输入报文。
18.进一步地，所述对应不同业务场景的案例集为包括对应不同业务场景的具体数据的测试案例的集合。
19.进一步地，所述步骤s5包括：
20.对单一指定场景进行单独发包；
21.或，对多个场景一次性对应发包。
22.进一步地，所述以可视化方式输出包括图表、对比列表、重点影响突出显示中的一种或多种组合。
23.本发明还涉及一种基于大数据分析的关联性影响识别系统，其特征在于，包括：
24.日志数据获取模块，用于获取生产脱敏的日志数据并提取待处理数据；
25.数据分类模块，用于依据日志数据所属业务规则和待处理数据的取值对待处理数据进行分类，获得分类数据；
26.案例生成模块，用于将分类数据依据报文规范进行处理获得测试输入报文，并依据预设业务场景组合为若干对应不同业务场景的案例集；
27.测试模块，用于依据业务场景使用对应的案例集进行发包处理，获得关联性影响评估结果。
28.本发明还涉及一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
29.本发明还涉及一种电子设备，其特征在于，包括处理器和存储器；
30.所述存储器，用于存储日志数据、测试输入报文和案例集；
31.所述处理器，用于通过调用日志数据、测试输入报文和案例集，执行上述的方法。
32.本发明还涉及一种计算机程序产品，包括计算机程序和/或指令，其特征在于，该计算机程序和/或指令被处理器执行时实现上述方法的步骤。
33.本发明的有益效果为：
34.采用本发明所述基于大数据分析的关联性影响识别方法及系统，基于大数据分析产生覆盖性测试案例，利用大量测试案例进行自动化，以便快速测试程序完成验证。在项目迭代过程中，对版本变动前后进行效果一致性评估，找出差异，从而识别出关联性影响。以摆脱对于个人经验的严重依赖，提高版本质量的稳定性，提高程序开发质量，提高测试效率，缩短项目时长，推进项目投产。特别是，对于信用卡发卡系统等相关金融交易功能和业务，金融交易功能复杂，并且重要性非常高，每次程序修改投产风险巨大，采用自动化测试技术和大数据技术，通过应用本发明能够快速进行版本变动前后效果一致性评估，识别出版本造成的关联性影响。
附图说明
35.图1为本发明基于大数据分析的关联性影响识别方法流程示意图。
36.图2为本发明基于大数据分析的关联性影响识别系统结构示意图。
具体实施方式
37.为了更清楚的理解本发明的内容，将结合附图和实施例详细说明。
38.本发明第一方面涉及一种步骤流程如图1所示的基于大数据分析的关联性影响识别方法，包括：
39.s1、获取生产脱敏的日志数据并提取待处理数据，所述待处理数据包括报文、处理
码、终端受理类型、收单类型和商户类型中的任意一种或多种组合。
40.日志数据的脱敏可以应用任何适合的方式执行，例如数据替换、数据隐藏、数据随机化等，应注意的是，本发明所述方法针对的数据项目通常是日志数据中不涉及敏感信息的通用部分，特别是不涉及终端用户的敏感信息如密码、电话号码、通讯地址等内容，因此日志数据脱敏的具体执行并非本发明所涉及的范畴。
41.经过脱敏的日志数据可以从相关的服务器上调取获得，例如使用kafka消息队列等常用技术手段执行。待处理数据中需要包含的具体项目根据对应分析的程序性质预先设置，为了提高识别处理效率，应重点保留变动后可能影响较大的项目，或对可能影响较大的项目增加更大的计算权重。
42.s2、依据日志数据所属业务规则和待处理数据的取值对待处理数据进行分类，获得分类数据。
43.将日志中的报文、处理码、终端受理类型、收单类型、商户类型等进行数据分析，并将取值情况结合业务规则含义，对数据进行分类汇总。
44.业务规则是指对业务定义和约束的描述，用于维持业务结构或控制和影响业务的行为。可以通过将系统处理的业务逻辑抽取出来，将其转变为简单的业务规则，以结构化的业务规则数据来表示业务行为，采用类自然语言来描述，并集中存储在规则库中。优选的，业务规则由业务人员创建、实时更新和调试，业务规则之间的复杂逻辑关系由规则引擎处理。
45.数据分类的过程是为后续获得测试输入报文的必要步骤。数据的类型可以分为连续性的变量和分类变量。数据分类就是把具有某种共同属性或特征的数据归并在一起，通过其类别的属性或特征来对数据进行区别，以便能够针对性的进行处理。相同内容、相同性质的信息以及要求统一管理的信息集合在一起，而把相异的和需要分别管理的信息区分开来，然后确定各个集合之间的关系，形成一个有条理的分类系统。
46.s3、将分类数据依据报文规范进行处理获得测试输入报文。优选的，使用通用或自定义的报文规范将分类数据进行内容转换，获得具有具体数据的测试输入报文。其中，为了提高该识别方法的适用性，根据《中国银联银联卡受理终端应用规范》，可以优选的使用银联8583报文规范这一通用报文规范进行处理。
47.银联8583报文规范又称为iso8583包，是一个国际标准的包格式，最多由128个字段域组成，每个域都有统一的规定，并有定长与变长之分。基于银联8583报文规范的报文总共有64个域，其中可以包含自定义域，通过包前位图来确定包的字段域组成情况，是打包解包确定字段域的关键。
48.在处理获得测试输入报文时，需要先确定使用的位图，并依据位图将相关数据细化分开，分别置入对应的字段域中，使各种不同的分类数据统一为规范的测试用报文。
49.s4、将测试输入报文依据预设业务场景组合为若干对应不同业务场景的案例集。将案例集按照现有报文格式进行细化，每一个案例都细化成交易场景输入报文，将大数据整合成相关输入报文，形成具有具体数据的测试案例库。
50.业务场景的配置可以依据实际业务发生情况进行匹配，以形成有针对性的具体测试场景。单独应用测试输入报文可以检测变动后程序的执行步骤是否正确，但并不能具体向测试人员展现该执行步骤在实际使用场景下的情况。将多个测试输入报文依据业务场景
组合为案例，能够模拟实际使用时终端用户以某个具体目的(对应业务场景)进行一系列相关联操作时的完整执行情况，从而更加全面的分析程序变动对于终端用户使用所可能造成的影响。
51.s5、依据业务场景使用对应的案例集进行发包处理。
52.在具体执行时，可以对单一场景进行单独发包，也可以将多个场景或所有场景进行一键发包，以达到自动测试的目的。根据测试人员经验或在先测试结果的参考，当测试人员确定程序变动影响范围较小，具有非常高的指向性时，可以采用针对单一场景单独发包的方式，高密度针对性测试；而当程序变动影响范围较大，或测试人员不能确定可能的影响范围时，则可以依据测试服务器的性能选择针对多个场景的同时发包测试，实现更高的测试效率。
53.s6、匹配对比案例集测试结果，获得关联性影响评估结果。
54.对于测试结果进行自动化比对，快速进行版本变动前后效果一致性评估，识别出版本造成的关联性影响。
55.优选的，可以对在先版本进行备份，保存其正常运行状态，以便在适当的时候恢复对象。
56.s7、将案例集测试结果和关联性影响评估结果以可视化方式输出。例如，可以采用图表(柱状图、散点图、饼图等)、对比列表、重点影响突出显示的方式，直观明了的展示相关结果。
57.通过上述方法，基于大量的生产脱敏日志数据，设计出消费、取现、转账和分期等各类金融业务场景，形成案例库需要涵盖的交易场景，这些交易场景组合成案例集。
58.本发明另一方面还涉及一种基于大数据分析的关联性影响识别系统，其结构如图2所示，包括：
59.日志数据获取模块，用于获取生产脱敏的日志数据并提取待处理数据。待处理数据包括报文、处理码、终端受理类型、收单类型和商户类型中的任意一种或多种组合，需要进行提取并确认取值供分类和数据分析使用。
60.数据分类模块，用于依据日志数据所属业务规则和待处理数据的取值对待处理数据进行分类，获得分类数据。
61.案例生成模块，用于将分类数据依据报文规范进行处理获得测试输入报文，并依据预设业务场景组合为若干对应不同业务场景的案例集。特别是，将分类数据依据银联8583报文规范进行内容转换，获得具有具体数据的测试输入报文，并将测试输入报文依据预设业务场景组合为若干对应不同业务场景的案例集。
62.测试模块，用于依据业务场景使用对应的案例集进行发包处理，获得关联性影响评估结果。优选的，可以采用如图表、对比列表、重点影响突出显示等可视化方式直观展示影响评估结果。
63.通过使用该系统，能够执行上述的运算处理方法并实现对应的技术效果。
64.本发明的实施例还提供能够实现上述实施例中的方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的方法的全部步骤。
65.本发明的实施例还提供一种用于执行上述方法的电子设备，作为该方法的实现装
置，所述电子设备至少具备有处理器和存储器，特别是该存储器上存储有执行方法所需的数据和相关的计算机程序，例如日志数据、测试输入报文和案例集等，并通过由处理器调用存储器中的数据、程序执行实现方法的全部步骤，并获得对应的技术效果。
66.优选的，该电子设备可以包含有总线架构，总线可以包括任意数量的互联的总线和桥，总线将包括由一个或多个处理器和存储器的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和接收器和发送器之间提供接口。接收器和发送器可以是同一个元件，即收发机，提供用于在传输介质上与各种其他系统通信的单元。处理器负责管理总线和通常的处理，而存储器可以被用于存储处理器在执行操作时所使用的数据。
67.额外的，所述电子设备还可以进一步包括通信模块、输入单元、音频处理器、显示器、电源等部件。其所采用的处理器(或称为控制器、操作控件)可以包括微处理器或其他处理器装置和/或逻辑装置，该处理器接收输入并控制电子设备的各个部件的操作；存储器可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种，可储存上述有关的数据信息，此外还可存储执行有关信息的程序，并且处理器可执行该存储器存储的该程序，以实现信息存储或处理等；输入单元用于向处理器提供输入，例如可以为按键或触摸输入装置；电源用于向电子设备提供电力；显示器用于进行图像和文字等显示对象的显示，例如可为lcd显示器。通信模块即为经由天线发送和接收信号的发送机/接收机。通信模块(发送机/接收机)耦合到处理器，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)还经由音频处理器耦合到扬声器和麦克风，以经由扬声器提供音频输出，并接收来自麦克风的音频输入，从而实现通常的电信功能。音频处理器可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器还耦合到中央处理器，从而使得可以通过麦克风能够在本机上录音，且使得可以通过扬声器来播放本机上存储的声音。
68.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
69.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。
70.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
71.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
72.以上所述仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换等都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。