一种离线数据驱动的登录压测账号构建及压测方法与流程

摘要: 本发明涉及软件测试,特别指一种离线数据驱动的登录压测账号构建及压测方法。背景技术:1、在招投标信息化系统的运维保障中,开标、集中评标等关键业务时段内,海量供应商...
一种离线数据驱动的登录压测账号构建及压测方法与流程

本发明涉及软件测试,特别指一种离线数据驱动的登录压测账号构建及压测方法。

背景技术:

1、在招投标信息化系统的运维保障中,开标、集中评标等关键业务时段内,海量供应商短时间高并发登录,系统性能瓶颈集中于登录接口。为验证系统峰值承载能力,行业普遍需批量构建供应商测试账号,并据此对登录链路开展专项压力测试。

2、目前,压测账号制备主要有两类技术路径:其一,基于生产数据库的方案。该方案通过开放生产数据库访问权限,在线读取供应商原始信息,提取账号相关字段后加工生成测试账号。其二,基于外部接口的方案。该方案通过对接上游业务系统接口,调用第三方数据源获取供应商基础资料,再按目标系统的账号规则组装生成测试数据。

3、上述现有方案存在以下技术缺陷:

4、一、数据安全风险高。生产库方案需向压测人员开放数据库权限,极易因操作失误导致数据误删或损坏,同时扩大敏感数据暴露面,存在泄露隐患。即便采用脱敏处理,常规脱敏手段(如随机替换、掩码)往往破坏表间外键关联与业务逻辑一致性,致使脱敏后数据无法支持多表关联查询,压测数据可用性丧失。

5、二、外部依赖强,流程不可控。接口方案需协调多系统完成协议适配、字段映射与联调,流程繁琐、周期冗长,且严重受制于上游系统的可用性,一旦接口变更或服务宕机,压测准备即告中断。

6、三、账号仿真度低,流量模型失真。现有方案生成的账号在组织结构、权限配置、字段格式等方面与真实供应商逻辑不一致,登录请求报文偏离实际业务场景。更关键的是,所生成账号均为同质化账号,缺乏对真实环境中不同活跃度供应商(如高频投标、低频沉寂、新注册等群体)登录行为差异的模拟能力,导致压测流量模型的业务分布与生产实际严重偏离,测试结果参考价值有限。

7、四、准备周期长、成本高,且缺乏质量保障。现有方案缺乏标准化离线数据复用机制,每次压测均需重新协调数据源,重复劳动量大。同时,前置环节缺少对数据完整性和外键一致性的校验,外键断裂、字段缺失等问题往往延至压测执行阶段才暴露,导致返工,进一步拉高测试成本与时间投入。

8、五、数据销毁不彻底,存在残留风险。压测结束后,现有方案通常仅执行逻辑删除或文件删除操作,未对存储介质进行物理覆写,敏感数据可通过数据恢复工具还原,存在二次泄露的安全隐患。

9、因此,如何提供一种离线数据驱动的登录压测账号构建及压测方法,实现提升压测数据的安全性、账号仿真度与流量模型真实性、制备流程的自主可控性与效率、数据质量保障水平,以及压测后数据销毁的彻底性,成为一个亟待解决的技术问题。

技术实现思路

1、本发明要解决的技术问题,在于提供一种离线数据驱动的登录压测账号构建及压测方法,实现提升压测数据的安全性、账号仿真度与流量模型真实性、制备流程的自主可控性与效率、数据质量保障水平,以及压测后数据销毁的彻底性。

2、本发明提供了一种离线数据驱动的登录压测账号构建及压测方法,包括以下步骤:

3、步骤s1:将离线导出的多张业务数据表导入本地沙箱环境,对多张所述业务数据表进行数据完整性校验;

4、步骤s2:对校验通过后的各所述业务数据表中的敏感字段进行关联关系保真的动态数据脱敏处理,生成脱敏数据表,所述动态数据脱敏处理确保同一业务实体在不同所述业务数据表中的关联字段脱敏后保持一致,且脱敏后的字段格式符合目标系统的登录接口的校验规则;

5、步骤s3:根据所述脱敏数据表,提取每个账号的多维行为特征,根据所述多维行为特征计算每个账号的行为权重系数,并基于所述行为权重系数对账号进行分类画像标注并赋予画像标签,按照预设比例从各类画像类别中抽样,生成带有画像标签的压测账号数据集;

6、步骤s4:将所述压测账号数据集导入压测工具,根据各类账号的所述画像标签配置差异化的压测执行策略,对目标系统的登录接口执行压力测试,采集性能指标数据;

7、步骤s5:压测结束后,对所述本地沙箱环境中的存储介质执行数据销毁处理。

8、进一步的,所述步骤s1中,所述离线导出的多张业务数据表为从业务系统本地离线导出的数据表,全程不访问在线生产数据库且不调用第三方业务接口。

9、进一步的,所述步骤s1中,所述数据完整性校验包括:

10、文件指纹校验:计算导入后的各所述业务数据表的md5校验值,与所述业务数据表导出时预先生成的md5校验值进行比对,若两者不一致则终止流程并输出异常告警;

11、外键关联完整性检查:识别各所述业务数据表的主键字段与外键字段,通过关联查询统计跨表记录匹配率,若任意一组关联的匹配率低于预设阈值,则终止流程并输出缺失记录的行数、涉及表名及缺失的主键值列表;

12、字段级元数据合规性校验:遍历各所述业务数据表的每个字段,根据预设的元数据规则库校验字段类型、长度、精度以及非空约束的合规性,并为具有业务含义的枚举类型字段建立字典映射,校验实际字段值是否落入预定义的合法枚举值域范围内,若发现不合规字段,则生成字段异常报告并标记对应记录;

13、业务逻辑深度校验:基于预设的跨字段关联规则,对所述业务数据表中的数据进行上下文逻辑验证,所述业务逻辑深度校验至少包括:

14、(1)时间轴逻辑校验,验证所述业务数据表中同一实体对应的各状态变更时间戳是否符合预设的业务时序顺序;

15、(2)关联数据活性校验,验证所述业务数据表中外键所关联的主表记录的状态字段是否为有效状态,若关联的主表记录已标记为逻辑删除或已过期,则判定该外键关联为无效关联;

16、分级数据清洗与修复机制:根据所述外键关联完整性检查、所述字段级元数据合规性校验和所述业务逻辑深度校验的校验结果,按照预设的异常等级划分规则,对记录进行分级处理:

17、(a)对于被判定为致命异常级别的记录,将其从压测账号候选集中剔除,并生成包含记录主键及异常原因的清洗日志;

18、(b)对于被判定为可修复异常级别的记录,依据预设的数据修复策略库自动执行字段值修正或外键重映射,所述数据修复策略库包含基于表间关联关系的均值填充策略、基于业务字典的默认值映射策略以及基于时间戳序列预测的修正策略;

19、(c)对于经修复后的记录,再次进行增量校验,仅在验证通过后,方可将该记录纳入后续的脱敏处理环节。

20、进一步的,所述步骤s1中,所述业务数据表至少包括供应商注册表、资质信息表、权限分配表、账户信息表、基础信息表、角色配置表和单位基础信息表。

21、进一步的,所述步骤s2中,所述关联关系保真的动态数据脱敏处理具体包括:

22、建立全局脱敏映射字典,遍历各所述业务数据表中的敏感字段,为每个所述敏感字段的原始值生成唯一的脱敏值;

23、对于作为主键或外键的关联字段,采用一致性哈希算法进行脱敏,使得同一原始id在不同所述业务数据表中脱敏后的结果保持一致;

24、对于具有格式约束要求的字段,采用格式保留加密算法进行脱敏,使脱敏后的字段长度和字符集与脱敏前保持一致。

25、进一步的,所述步骤s2还包括:

26、验证所述脱敏数据表的不可逆性、多表关联查询结果与脱敏前的一致性,以及具有格式约束要求的字段的格式合规率达到预设标准。

27、进一步的,所述步骤s3中,所述多维行为特征包括历史投标记录频次、最近登录时间、注册时长、资质等级、历史中标次数、所属行业类别、账号关联单位数量、近n个自然日内的登录行为序列熵值,以及账号与其它供应商账号之间的业务协同关系强度指数;

28、其中,所述最近登录时间采用基于半衰期参数的时间衰减函数计算衰减因子,所述衰减函数依据业务时段动态调整其衰减速率;

29、所述行为权重系数通过以下步骤动态计算得到:

30、步骤a:基于账号注册时长将账号划分为初始期、成长期、稳定期和衰退期四个生命周期阶段;

31、步骤b:根据当前压测任务的业务场景类型,从预设的权重策略库中匹配对应的初始权重分配方案;

32、步骤c:结合账号所处的生命周期阶段,对所述初始权重分配方案进行阶段性修正,生成阶段性权重向量;

33、步骤d:将各维特征值经归一化处理后,与所述阶段性权重向量进行加权求和,得到行为权重系数;

34、所述画像标签的生成采用模糊分类策略,在行为权重系数的基础上引入置信度区间:

35、当行为权重系数落入某类别的核心置信区间时,直接赋予唯一画像标签;

36、当行为权重系数落入类别边界重叠区间时,为该账号生成多标签候选集,并记录各标签的隶属度分数,供后续压测策略配置时进行弹性策略匹配;

37、所述画像标签至少包括高频活跃供应商、中频普通供应商、低频僵尸供应商和新注册供应商四种类别,并依据业务场景动态调整各类别权重阈值的划分边界。

38、进一步的,所述步骤s3中,所述预设比例为:高频活跃供应商占比10%、中频普通供应商占比50%、低频僵尸供应商占比30%、新注册供应商占比10%。

39、进一步的,所述步骤s4中,所述压测执行策略包括:

40、高频活跃账号采用1-3秒的请求间隔,且其并发线程数高于中频普通账号的并发线程数;

41、中频普通账号采用5-10秒的请求间隔,且其并发线程数介于高频活跃账号的并发线程数和低频僵尸账号的并发线程数之间;

42、低频僵尸账号采用30-60秒的请求间隔,且其并发线程数低于中频普通账号的并发线程数;

43、新注册账号采用包含验证码校验和初始密码修改的完整首次登录流程。

44、进一步的,所述步骤s5中,所述数据销毁处理包括:

45、逻辑删除步骤:删除本地沙箱环境中的脱敏数据表、压测脚本和结果报告文件;

46、物理覆写步骤:对存储有压测相关数据的存储介质执行多轮覆写操作,所述多轮覆写操作包括第一轮写入全0数据、第二轮写入全1数据、第三轮写入随机0/1数据;

47、缓存清理步骤:清除系统内存缓存、页面文件和临时目录中的相关数据。

48、本发明的优点在于:

49、1、构建了一套完全离线隔离的闭环技术体系,从根本上杜绝了生产库权限暴露和外部接口依赖风险,同时采用一致性哈希与格式保留加密相结合的保真脱敏算法,在确保数据不可逆的前提下完整保留了跨表关联关系与字段格式合规性,从而有力保障了数据安全与可用性;在此基础上,通过前置的多层级深度校验机制(涵盖文件指纹、外键完整性、元数据及业务逻辑)配合分级自动修复策略,将外键断裂、逻辑冲突等质量问题提前消灭于压测执行之前,显著提升了数据质量保障水平;进而利用多维行为特征、生命周期阶段划分、动态权重计算及模糊分类策略生成精细化的账号画像,并为不同画像类别配置差异化的请求间隔与并发线程数,使压测流量模型高度贴合真实业务场景下不同活跃度供应商的混合访问分布,大幅提升了账号仿真度与流量真实性;整个制备流程完全依托本地沙箱环境中的离线数据标准化流水线,无需协调多系统联调,既实现了流程的自主可控与高效复用,又大幅缩短了准备周期;压测结束后,则依次执行逻辑删除、多轮物理覆写(全0、全1及随机数据)与缓存清理的三级深度销毁操作,确保存储介质中的数据无法通过任何恢复工具还原,最终形成从数据安全导入、高质量保真处理、高仿真压测执行到彻底销毁的完整安全闭环。

50、2、通过离线导入与本地沙箱环境隔离,结合关联关系保真的动态脱敏处理,实现了压测数据在安全与可用性上的高度统一。所有业务数据表均从业务系统本地离线导出,全程不访问在线生产数据库且不调用任何第三方业务接口,压测人员仅在独立沙箱环境中操作,彻底消除了对生产环境的误操作风险。同时,采用全局脱敏映射字典、一致性哈希算法对主外键关联字段进行脱敏,确保同一实体跨表脱敏后关联一致;对格式约束字段使用格式保留加密算法,使脱敏后数据既满足登录接口校验规则,又保持多表关联查询结果与脱敏前一致,从而在保障数据不可逆的前提下,保留了完整的业务逻辑关联性,使压测数据具备高可用价值。

51、3、实现压测账号制备与执行的全流程自主闭环,显著提升了测试组织效率。整个方法仅依赖离线导出的业务数据表,无需对接任何外部业务系统接口,无需进行跨系统协议适配、字段映射或联调测试,所有操作均在本地沙箱环境内独立完成。这使得压测准备不再受制于上游系统的可用性、接口变更或网络波动,测试团队可完全自主掌控进度,大幅缩短准备周期,避免了跨部门协调带来的不确定性,实现了标准化、可重复的离线数据复用机制。

52、4、基于多维行为特征与动态画像技术,构建了高仿真度的差异化压测流量模型。从脱敏数据中提取历史投标频次、登录行为序列熵值、业务协同关系强度等多维度特征,并结合账号注册时长划分生命周期阶段,动态计算行为权重系数;采用模糊分类策略生成高频活跃、中频普通、低频僵尸、新注册等画像标签,并依据业务场景灵活调整分类阈值。在此基础上,按贴近真实分布的预设比例抽样形成压测账号数据集,并为各类画像配置差异化的请求间隔、并发线程数及登录流程,使压测流量精准模拟真实生产环境中不同活跃度群体的并发行为分布,确保测试结果具有高度业务参考价值。

53、5、通过系统化的前置数据质量校验与分级修复机制,确保了压测数据的完整性和一致性,有效规避了压测执行阶段的数据异常。在导入环节即执行文件指纹校验、外键关联完整性检查、字段级元数据合规性校验以及跨字段业务逻辑深度校验(如时间轴时序、关联数据活性),对发现的问题依据异常等级进行分级处理:致命异常记录自动剔除并生成清洗日志,可修复异常依据策略库自动执行均值填充、默认值映射或时间戳修正,并经增量校验通过后方进入后续环节。该前置保障体系确保了进入脱敏和压测的数据具备完整的外键关联、合规的字段格式和正确的业务逻辑,从源头避免了因外键断裂或字段缺失导致的压测失败与返工,同时支持同一离线数据集的标准化复用,显著降低了重复劳动成本。

54、6、构建多层次、不可逆的数据销毁流程,确保压测结束后敏感数据无任何残留风险。在压测完成后,首先执行逻辑删除,清除本地沙箱环境中的脱敏数据表、压测脚本和结果报告文件;继而执行物理覆写操作,对存储介质进行多轮覆写(全0、全1、随机0/1),使原始数据无法通过任何数据恢复工具还原;最后清除系统内存缓存、页面文件和临时目录中的相关数据。三重销毁机制层层递进,确保本地环境中不留存任何可恢复的数据痕迹,从物理层面彻底杜绝了测试数据被二次获取的可能性,满足高安全等级系统的数据合规要求。