一种业务执行方法、装置、电子设备及存储介质与流程

摘要: 本发明涉及业务执行,特别是涉及一种业务执行方法、一种业务执行装置、一种电子设备以及一种可读存储介质。背景技术:1、在智慧工厂、智慧园区以及能源管理系统等领域的数...
一种业务执行方法、装置、电子设备及存储介质与流程

本发明涉及业务执行,特别是涉及一种业务执行方法、一种业务执行装置、一种电子设备以及一种可读存储介质。

背景技术:

1、在智慧工厂、智慧园区以及能源管理系统等领域的数字化升级与系统集成过程中,通常需要接入大量基于旧有技术体系构建的老旧设备与子系统。这类设备往往由不同的生产厂家在不同年代制造,且广泛采用私有、非标准的通信协议。在实际业务场景中,由于设备使用年代久远,原厂的技术说明书早已丢失,底层的代码源码亦不复存在,导致该类老旧设备的通信机制呈现出高度的黑盒化特点。

2、当前,在将此类老旧设备接入上层数据分析大屏、告警系统或大数据平台等业务系统时,面临着严重的数据异构问题。不同设备之间在数据编码格式、字节序与指令集上存在巨大差异,例如,针对相同的物理量(如温度25℃),设备a所发送的原始字节数据可能表现为0xa5 0x01,而设备b所发送的原始字节数据则表现为0xbb 0x19。上层的各种业务应用系统无法直接识别和读取这些五花八门的底层二进制机器码。

3、为了解决上述数据无法兼容的问题,相关技术的做法主要依赖于人工适配,即由技术人员针对每一种特定的私有协议进行手动逆向分析,并重新编写专门的解析驱动或适配插件,然而,严重依赖人工逆向分析与硬编码适配,不仅开发成本高、难以应对未知协议,且缺乏统一的自动化翻译机制,极易导致上层应用系统因重复开发而崩溃,无法实现数据的实时标准化传输。

技术实现思路

1、本发明实施例是提供一种业务执行方法、装置、电子设备以及可读存储介质,以克服上述问题或者至少部分地解决上述问题。

2、为了解决上述技术问题,本技术是这样实现的:

3、第一方面,本技术实施例提供了一种业务执行方法,包括:

4、确定目标设备,并获取所述目标设备发出的原始字节流数据;所述目标设备配置有对应的上层应用系统;

5、通过所述原始字节流数据,生成用于表达所述原始字节流数据的字节分布统计特征、报文结构形态特征和时序传输行为的盲分析画像数据;

6、通过所述盲分析画像数据确定所述目标设备的目标通信协议;

7、调取与所述目标通信协议对应的协议解析规则与会话状态机数据,将后续接收到的原始字节流数据翻译成符合所述上层应用系统的读取规则的标准化数据,所述上层应用系统用于通过所述标准化数据执行目标业务。

8、可选地,在所述通过所述原始字节流数据,生成用于表达所述原始字节流数据的字节分布统计特征、报文结构形态特征和时序传输行为的盲分析画像数据的步骤之前,还包括:

9、从所述原始字节流数据提取源网际协议地址、目的网际协议地址、源端口、目的端口和传输层协议;

10、采用所述源网际协议地址、所述目的网际协议地址、所述源端口、所述目的端口和所述传输层协议生成五元组会话信息,并建立针对所述五元组会话信息的会话通道;

11、为所述会话通道分配唯一会话标识符,并将所述五元组会话信息、所述原始字节流数据和所述唯一会话标识符存入预设的缓冲区,得到与所述会话通道对应的会话缓冲区字节流数据;

12、按照预设的报文长度和提取顺序,提取所述会话缓冲区字节流数据中的多个报文,生成采样报文集合数据。

13、可选地,所述通过所述原始字节流数据,生成用于表达所述原始字节流数据的字节分布统计特征、报文结构形态特征和时序传输行为的盲分析画像数据的步骤包括:

14、对所述采样报文集合数据执行逐字节扫描,按预设的字节长度频率分布和出现频率要求计算香农熵值以及高频字节集合;

15、基于所述计算香农熵值以及所述高频字节集合生成用于表达所述原始字节流数据的字节分布统计特征的字节分布统计特征数据;

16、解析所述采样报文集合数据中各个报文的字节长度与边界;

17、根据所述报文的字节长度与边界,计算符合预设规格的报文长度分布特征,并从所述报文长度分布特征中提取包含首字节值与末字节值的首尾字节特征,生成用于表达所述原始字节流数据的报文结构形态特征的报文结构形态特征数据;

18、将所述采样报文集合数据中具有相邻关系的多个报文确定为相邻报文;

19、获取所述采样报文集合数据以及所述会话缓冲区字节流数据中的报文接收时间戳;

20、通过所述报文接收时间戳生成所述相邻报文之间的到达时间间隔序列,并对所述到达时间间隔序列执行数理统计与周期性拟合计算,生成用于表达所述原始字节流数据的时序传输行为的时序传输行为特征数据;

21、通过所述字节分布统计特征数据、所述报文结构形态特征数据以及所述时序传输行为特征数据,生成所述盲分析画像数据。

22、可选地,所述通过所述盲分析画像数据确定所述目标设备的目标通信协议的步骤包括:

23、调取预设协议特征库中的多个候选协议;

24、依据所述盲分析画像数据中的报文结构形态特征数据对所述多个候选协议执行硬过滤剪枝操作,剔除不满足报文边界特征与报文长度分布特征约束的候选协议,生成候选协议集合;

25、获取所述候选协议集合,基于所述盲分析画像数据中的字节分布统计特征数据以及时序传输行为特征数据,按照预设维度权重系数对所述候选协议集合中的各个候选协议执行加权打分操作,计算生成与各个所述候选协议对应的综合匹配分数值;

26、当判定所述综合匹配分数值大于或等于预设置信度阈值时,将所述综合匹配分数值添加至预构建的综合匹配分数值集合;

27、从所述综合匹配分数值集合中确定出目标综合匹配分数值,并将与所述目标综合匹配分数值对应的候选协议确定为目标通信协议。

28、可选地,所述将后续接收到的原始字节流数据翻译成符合所述上层应用系统的读取规则的标准化数据的步骤包括:

29、通过所述协议会话状态机数据对所述后续接收到的原始字节流数据执行多帧状态转移匹配与缓存拼接操作,生成结构化协议数据包对象;

30、按照所述协议解析规则中的解析指令对所述结构化协议数据包对象中的字节数据执行逐字段读取、数值转换与语义映射操作,生成包含字段语义值的解析上下文数据;

31、将所述解析上下文数据映射转换为所述标准化数据。

32、可选地,还包括:

33、当判定全部所述综合匹配分数值均小于预设置信度阈值时,确定所述目标设备为未知协议设备,并将所述盲分析画像数据发送至预设的自学习引擎;

34、通过所述自学习引擎基于所述盲分析画像数据执行协议特征挖掘与规则重构操作,生成与所述目标设备匹配的新增目标通信协议,以及与所述新增目标通信协议具有对应关系的新增协议解析规则以及新增协议会话状态机数据;

35、将所述新增目标通信协议更新至所述预设协议特征库,并将所述新增协议解析规则以及所述新增协议会话状态机数据基于所述对应关系存入预构建的数据库。

36、可选地,所述通过所述自学习引擎基于所述盲分析画像数据执行协议特征挖掘与规则重构操作,生成与所述目标设备匹配的新增目标通信协议,以及与所述新增目标通信协议具有对应关系的新增协议解析规则以及新增协议会话状态机数据的步骤包括:

37、将所述盲分析画像数据确定为待分析样本数据;

38、对所述待分析样本数据进行特征空间聚类与偏离度计算,从所述待分析样本数据中划分出具有相似报文结构的会话群数据,并将除所述会话群数据以外的样本数据标记为异常样本数据;

39、对所述会话群数据与所述异常样本数据进行半监督标注与模式挖掘,生成包含报文分割规则与语义映射解析规则的声明式解析规则草案;

40、响应于接收到针对所述声明式解析规则草案的人工修正指令,基于所述人工修正指令对所述声明式解析规则草案进行固化,生成更新后的声明式解析规则文件以及与所述声明式解析规则文件对应的协议特征模板;

41、将所述协议特征模板与所述声明式解析规则文件分别确定为所述新增目标通信协议以及所述新增协议解析规则;

42、利用所述待分析样本数据与所述声明式解析规则文件,对预置的一维卷积神经网络与时序特征挖掘模型进行增量训练,生成所述新增协议会话状态机数据。

43、第二方面,本技术实施例提供了一种业务执行装置,包括:

44、原始字节流数据获取模块,用于确定目标设备,并获取所述目标设备发出的原始字节流数据;所述目标设备配置有对应的上层应用系统;

45、盲分析画像数据确定模块,用于通过所述原始字节流数据,生成用于表达所述原始字节流数据的字节分布统计特征、报文结构形态特征和时序传输行为的盲分析画像数据;

46、目标通信协议确定模块,用于通过所述盲分析画像数据确定所述目标设备的目标通信协议;

47、标准化数据翻译模块,用于调取与所述目标通信协议对应的协议解析规则与会话状态机数据,将后续接收到的原始字节流数据翻译成符合所述上层应用系统的读取规则的标准化数据,所述上层应用系统用于通过所述标准化数据执行目标业务。

48、第三方面,本技术实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

49、第四方面,本技术实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

50、第五方面,本技术实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。

51、本发明实施例包括以下优点:

52、本发明实施例,通过首先捕获目标设备的原始字节流数据,并从字节分布、报文结构及时序传输三个维度构建盲分析画像数据,实现了在无文档、无源码背景下对未知私有协议物理特征的自动化精准刻画,避免了人工逆向工程的高昂时间与人力成本;进一步地,利用盲分析画像数据自动确定目标通信协议,并动态调取对应的协议解析规则与会话状态机数据,能够将后续持续传入的异构原始字节流自动分包并“翻译”为符合上层应用读取规则的标准化数据,消除了不同设备间二进制机器码的兼容性壁垒,避免了上层应用系统因硬编码适配成百上千种异构协议而导致的架构臃肿与开发维护崩溃问题,实现了老旧设备私有数据向上层业务系统的高效、实时标准化传输与业务响应。