一种面向kafka高并发数据流的性能测试方法与流程

技术特征：
1.一种面向kafka高并发数据流的性能测试方法，其特征在于，包括数据生成、数据流压入两部分；数据生成是根据不同的kafka消息，采用分字段定义，分字段数据生成后组合的方式，自动生成符合现网实际应用的报文数据，并可以csv或xls格式进行保存导出；数据流压入是将数据生成中生成的报文数据，压入到kafka的producer中，后续上层应用通过consumer端对消息流数据进行处理。2.根据权利要求1所述的方法，其特征在于，数据生成包括a.预置数据生成规则，实现基本类型、人员基本类型、互联网、id&uuid，四大类17小类的数据生成规则；其中基本类型包括：整型、双精度型、字符型、日期型、时间型、布尔型、空值；人员类型包括：省份、地址、电子邮件地址、姓名、性别、身份证号、电话号。3.根据权利要求2所述的方法，其特征在于，支持用户自定义数据生成规则，提供一个示例脚本模板，用户可根据自己需要的数据编写生成脚本，生成符合用户自己要求的数据。4.根据权利要求2所述的方法，其特征在于，支持用文件、数据库方式存储测试数据，基于上述的规则，生成测试数据文件，目前支持csv，xml，json，sql的文件生成；文件放在通用的文件仓库进行存储。5.根据权利要求2所述的方法，其特征在于，支持对测试数据进行版本管理及环境管理，生成的测试数据，通过平台选择对应的版本及环境，可以和对应的应用系统版本相关联。6.根据权利要求2所述的方法，其特征在于，采用前后端web应用的方式提供服务，系统包含预置规则、规则设置、测试数据三个菜单。7.根据权利要求6所述的方法，其特征在于，预置规则部分可以管理规则的添加、编辑、删除，可以在此部分定义自己数据生成规则。8.根据权利要求2所述的方法，其特征在于，数据生成还包括b.规则设置部分添加、编辑、删除应用系统的环境及版本信息，同时预置生成数据的表结构，表字段，字段规则，实现设置上限、下限、数据格式，支持excel格式表结构的导入、导出；支持对标准数据的base64及hex的转换保存。9.根据权利要求2或8所述的方法，其特征在于，数据生成还包括c.测试数据部分可以根据前面规则设置的内容，支持版本环境选择，文件格式，生成方式、生产行数，生产测试数据；实现预览数据生成文件及下载的功能；文件下载可选择csv或xls格式。10.根据权利要求1所述的方法，其特征在于，数据流压入包含：a、基本连接信息变更：可随意切换连接方式，满足所有kafka数据流领域的测试；
b、指定发送文件：可将数据生成功能生成的csv格式的数据文件，发送到consumer；c、日志数据功能：将发送的数据流全文打印或只打印唯一id，以方便数据查询，故障检索；d、发送速率定义功能：为测试该需求以及系统具备的告警功能，定义发送速率，此处定义的速率为每秒发送的消息的条数；e、持续发送时长定义功能：可定义告警持续发送的时间，与定义发送速率一起使用；f、支持重复消息的发送；其他唯一性的系统也可以将重复数据纳入异常测试的范围内，在alarm.csv内数据完成一轮后，再次执行一轮；g、id随机化功能，如不选择按照数据文件中的id发送，则对发送的消息的id进行随机化，方式为当前时间 顺序数。

技术总结
本发明提供一种面向kafka高并发数据流的性能测试方法，属于性能测试技术领域，本发明分为数据生成，数据流压入两部分。数据生成是根据不同的kafka消息，采用分字段定义，分字段数据生成后组合的方式，自动生成符合现网实际应用的报文数据，并可以以csv或xls等多种格式进行保存导出。数据流压入是将数据生成工具中生成的报文数据，压入到kafka的producer中，后续上层应用通过consumer端对消息流数据进行处理。处理。处理。


技术研发人员：赵一统 王元勋 王一凡
受保护的技术使用者：浪潮软件集团有限公司
技术研发日：2021.12.08
技术公布日：2022/5/5