一种异构数据处理方法、装置、电子设备以及存储介质与流程

1.本技术涉及态势感知的技术领域，尤其是涉及一种异构数据处理方法、装置、电子设备以及存储介质。


背景技术：

2.态势感知平台是一种基于环境的、动态、整体地洞悉安全风险的能力，是以安全大数据为基础，从全局视角提升对安全威胁的发现识别、理解分析、响应处置能力处理平台，通常运用于监管机构或大型企业。
3.为将态势感知平台中的海量异构的日志、数据适配作为各鉴定器及智能异常分析模块的输入数据，采用分词系统将异构数据根据语义、数据格式、位置等多种方式进行智能分词，然后逐一匹配至态势感知平台的各个模块进行计算分析，实现异构数据的融合。
4.但异构数据易出现重复的情况，产生冗余的数据，导致态势感知平台的各个模块重复的计算分析，平台作业效率下降，因此需要改进。


技术实现要素：

5.为了减少冗长数据，提高态势感知平台的计算分析效率，本技术提供了一种异构数据处理方法、装置、电子设备以及存储介质。
6.本技术的上述发明目的一是通过以下技术方案得以实现的：一种异构数据处理方法，包括步骤：当接收到用户终端输入的异构数据时，获取并划分异构数据，生成若干字段数据；将字段数据输入至设置有比对策略的判断模型中；并将已输入判断模型中的字段数据标记为历史字段数据；当判断模型接收到的字段数据和历史字段数据重复时，丢弃接收的字段数据，保存历史字段数据；将历史字段数据输入至态势感知平台。
7.通过采用上述技术方案，当接收到用户终端输入的异构数据时，将异构数据根据语义、数据格式、位置等多种方式进行智能分词，生成若干字段，在将字段输出至台式感知平台前，先将若干字段输入至设置有对比策略的判断模型中进行对比，若先后两次输入的字段数据和历史字段数据存在重复时，则将新接入的重复的字段数据丢弃，再将判断模型内互不重复的字段数据输入态势感知平台进行下一步匹配和运用，使得输入态势感知平台的字段数据均未重复，减少平台对于字段数据的重复计算分析和匹配，提升态势感知平台的计算分析效率。
8.本技术在一较佳示例中可以进一步配置为：当判断模型接收到的字段数据和历史字段数据重复时，丢弃接收的字段数据，保存历史字段数据的步骤，包括步骤：当判断模型接收到的字段数据和历史字段数据重复时，赋予该字段数据重复字段标识；
当识别到重复字段标识时，将该字段标识关联的字段数据丢弃，生成丢弃消息并发送至用户终端。
9.通过采用上述技术方案，当新接手的字段数据与已记录的历史字段数据重复时，将新接收的字段数据进行标识，并依据标识进行丢弃，实现精准地对重复的字段数据进行移除，并生产丢弃消息发送回用户终端以提醒工作人员，便于工作人员了解异构数据中重复的部分内容。
10.本技术在一较佳示例中可以进一步配置为：当接收到用户终端输入的异构数据时，获取并划分异构数据，生成若干字段数据的步骤，还包括步骤：当异构数据划分处理失败时，将处理失败的部分数据标记为错误数据；将错误数据丢弃并生成划分处理失败的错误消息；将错误消息发送至用户终端。
11.通过采用上述技术方案，当某些异构数据部分内容存在乱码或格式不正确的情况下，分词系统将划分时会出现处理失败的情况，将处理失败的错误数据进行标记，并将其丢弃，并发送错误消息至用户终端以提醒工作人员重新修改该错误数据，错误数据的丢弃同样减少了态势感知平台对此类无意义数据的计算分析，并通知工作人员及时修改，以提升了态势感知平台的计算分析效率。
12.本技术在一较佳示例中可以进一步配置为：当异构数据划分处理失败时，将处理失败的部分数据标记为错误数据的步骤之后，还包括步骤：发出暂停分词系统运作的暂停指令；生成错误消息，获取错误数据并将错误数据与错误消息绑定，将错误消息和错误数据打包发送至用户终端。
13.通过采用上述技术方案，当检测到存在错误数据时，先发出暂停指令暂停分词系统，生成错误消息并绑定错误数据后一同发送至用户终端，使得用户终端接收到错误消息时能够及时对错误数据进行修改，使得异构数据的处理更为及时。
14.本技术在一较佳示例中可以进一步配置为：将错误消息和错误数据打包发送至用户终端的步骤之后，还包括步骤：当接收到用户终端发送的更改指令时，向用户终端发送更改端口；基于更改端口，当接收到更正数据时，将更正数据替换掉错误数据；生成启动指令并发送至分词系统。
15.通过采用上述技术方案，通过向用户终端发送更改端口，使得工作人员能够及时对错误数据进行修改，且更正数据输入后即替换掉错误数据，替换完成后再控制分词系统工作，方便了错误数据的修改的同时，保持了数据输出的同步性。
16.本技术在一较佳示例中可以进一步配置为，当判断模型接收到的字段数据和历史字段数据重复时，丢弃接收的字段数据，保存历史字段数据的步骤之后，还包括步骤：将历史字段数据储存至检索库中；当接收到用户终端的检索指令时，从检索指令中获取字段数据，并将字段数据输入至检索库中；基于字段数据匹配到对应的历史字段数据。
17.通过采用上述技术方案，将划分完成的并经过判断模型判断后的历史字段数据储
存至检索库中，工作人员能够通过输入字段数据，匹配到相同字符的历史字段数据，进而方便工作人员后期对历史字段数据在态势感知平台所绑定的内容、事件或报告的查取，异构数据的查取更为方便。
18.本技术的上述发明目的二是通过以下技术方案得以实现的：一种异构数据处理装置，包括：数据划分模块，用于当接收到用户终端输入的异构数据时，获取并划分异构数据，生成若干字段数据；字段判断模块，用于将字段数据输入至设置有比对策略的判断模型中；并将已输入判断模型中的字段数据标记为历史字段数据；数据丢弃模块，用于当判断模型接收到的字段数据和历史字段数据重复时，丢弃接收的字段数据，保存历史字段数据；数据传输模块，用于将历史字段数据输入至态势感知平台。
19.通过采用上述技术方案，当接收到用户终端输入的异构数据时，将异构数据根据语义、数据格式、位置等多种方式进行智能分词，生成若干字段，在将字段输出至台式感知平台前，先将若干字段输入至设置有对比策略的判断模型中进行对比，若先后两次输入的字段数据和历史字段数据存在重复时，则将新接入的重复的字段数据丢弃，再将判断模型内互不重复的字段数据输入态势感知平台进行下一步匹配和运用，使得输入态势感知平台的字段数据均未重复，减少平台对于字段数据的重复计算分析和匹配，提升态势感知平台的计算分析效率。
20.可选的，数据丢弃模块包括：数据标识子模块，用于当判断模型接收到的字段数据和历史字段数据重复时，赋予该字段数据重复字段标识；关联丢弃子模块，用于当识别到重复字段标识时，将该字段标识关联的字段数据丢弃，丢下消息子模块，用于生成丢弃消息并发送至用户终端。
21.本技术的上述目的三是通过以下技术方案得以实现的：一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述异构数据处理方法的步骤。
22.本技术的上述目的四是通过以下技术方案得以实现的：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述异构数据处理方法的步骤。
23.综上所述，本技术包括以下至少一种有益技术效果：1.判断模型内互不重复的字段数据输入态势感知平台进行下一步匹配和运用，使得输入态势感知平台的字段数据均未重复，减少平台对于字段数据的重复计算分析和匹配，提升态势感知平台的计算分析效率；2.依据标识进行丢弃，实现精准地对重复的字段数据进行移除，并生产丢弃消息发送回用户终端以提醒工作人员，便于工作人员了解异构数据中重复的部分内容；3.生成错误消息并绑定错误数据后一同发送至用户终端，使得用户终端接收到错
误消息时能够及时对错误数据进行修改，使得异构数据的处理更为及时；4.工作人员能够通过输入字段数据，匹配到相同字符的历史字段数据，进而方便工作人员后期对历史字段数据在态势感知平台所绑定的内容、事件或报告的查取，异构数据的查取更为方便。
附图说明
24.图1是本技术一种异构数据处理方法实施例的实现流程图；图2是本技术另一实施例的一实现流程图；图3是本技术另一实施例的一实现流程图；图4是本技术另一实施例的一实现流程图；图5是本技术另一实施例的一实现流程图；图6是本技术另一实施例的一实现流程图；图7是本技术一种异构数据处理装置的结构框图；图8是本技术一种电子设备的结构框图。
具体实施方式
25.以下结合附图1-8对本技术作进一步详细说明。
26.在以实施例中，如图1所示，本技术公开了一种异构数据处理方法，具体包括如下步骤：s10：当接收到用户终端输入的异构数据时，获取并划分异构数据，生成若干字段数据；在本实施例中，异构数据是指包含了不同类型、格式、属性的数据集合，字段数据是分词系统根据语义、数据格式、位置等多种方式将进行智能分词后，得到的具有明确含义的字段或词语。用户终端是指与工作人员所操控的pc端。
27.具体的，当接收到工作人员通过pc端输入的异构数据时，获取异构数据内容，并根据语义分析将异构数据划分为若干段字段或词语。
28.s20：将字段数据输入至设置有比对策略的判断模型中；并将已输入判断模型中的字段数据标记为历史字段数据；在本实施例中，比对策略用于字段数据和历史字段数据之间内容的对比，例如字符的校准，判断模型是指经过训练并具有判断数据是否重复的功能的模型。历史字段数据是指已经存在于判断模型内的字段数据。
29.具体的，将字段数据逐一输入至设置有比对策略的判断模型中，并在字段数据输入时，将上一个已输入的字段数据标记为历史字段数据。
30.s30：当判断模型接收到的字段数据和历史字段数据重复时，丢弃接收的字段数据，保存历史字段数据；具体的，当判断模型新接入一个字段数据时，则将其与已接入的历史字段数据进行对比，对比方式为逐一比对，在其他实施例中，也能够采取同时比对的方式，当字段数据与历史字段数据重复时，丢弃该接收到的字段数据，保留历史字段数据在后台服务器。
31.s40：将历史字段数据输入至态势感知平台。
32.在本实施例中，态势感知平台接收到历史字段数据后用于关联其他的事件、日志、以方便工作人员通过字段数据检索得到态势感知平台的关联的数据。
33.具体的，将历史字段数据输入至态势感知平台以关联其他平台数据。
34.在另一实施例中，参照图2，步骤s30包括步骤：s31：当判断模型接收到的字段数据和历史字段数据重复时，赋予该字段数据重复字段标识；s32：当识别到重复字段标识时，将该字段标识关联的字段数据丢弃；s33：生成丢弃消息并发送至用户终端。
35.在本实施例中，重复字段标识是用于关联重复的字段数据的标签，丢弃消息中包括了丢弃的字段数据本身，丢弃的时间。
36.具体的，当判断模型接收到的字段数据和历史字段数据重复时，将该字段数据打上标识，并根据标识将字段数据丢弃，最后生成丢弃的消息发送至用户终端，以提醒工作人员丢弃的操作以及被丢弃的部分数据。
37.进一步的，若未识别到重复字段标识，则将所有的历史字段数据输入态势感知平台。
38.在另一实施例中，参照图3，步骤s30之后，还包括步骤：s34：将历史字段数据储存至检索库中；s35：当接收到用户终端的检索指令时，从检索指令中获取字段数据，并将字段数据输入至检索库中；s36：基于字段数据匹配到对应的历史字段数据。
39.在本实施例中，检索库用于储存若干历史字段数据，检索库关联有检索端口，检索端口设置在用户终端供工作人员输入字段数据以进行检索。
40.具体的，判断模型完成对字段数据的判断后，将互不重复的历史字段数据存储在检索库中，用户终端的工作人员检索端口能够输入字段数据，后台服务器接收到字段数据后，在检索库中找到相同的历史字段数据。
41.进一步的，获取到历史字段数据后，能够查取到该历史字段数据所绑定的态势感知平台中的其他数据。
42.在另一实施例中，参照图4，步骤s10还包括步骤：s11：当异构数据划分处理失败时，将处理失败的部分数据标记为错误数据；s12：将错误数据丢弃并生成划分处理失败的错误消息；s13：将错误消息发送至用户终端。
43.在本实施例中，当异构数据中出现分词系统无法识别、划分的字段时，导致该部分数据处理失败，错误数据则是关联该处理失败的部分数据的标签，错误消息包括了提示处理失败的字符。
44.具体的，当异构数据中存在部分内容无法完成字段数据的划分时，将该部分数据标记为错误数据，并根据错误数据的标签将该处理失败的数据丢弃，减少态势感知平台对于错误数据的冗余处理。
45.进一步的，生成错误消息并发送至用户终端，以提示工作人员异构数据出现处理失败的情况。
46.在另一实施例中，参照图5，步骤s11之后，还包括步骤：s14：发出暂停分词系统运作的暂停指令；s15：生成错误消息，获取错误数据并将错误数据与错误消息绑定；s16：将错误消息和错误数据打包发送至用户终端。
47.在本实施例中，暂停指令是指暂停分词系统运作的指令。
48.具体的，当出现错误数据时，先暂停分词系统的运作，并将错误消息和错误数据打包一起发送至用户终端，进一步的，用户终端接收到错误数据后，由工作人员决定是否将其丢弃或者修改，再启动分词系统进行运作，使得错误数据的处理更为灵活，分词系统的暂停运作也在一定程度上维持数据输出的同步性。
49.进一步的，用户终端能够通过发出指令切换错误数据的处理模式，包括直接丢弃错误数据的模式，以及暂停分词系统运作，将错误数据发送回用户终端进行确认两种模式。
50.在另一实施例中，参照图6、步骤s16之后，还包括步骤：s17：当接收到用户终端发送的更改指令时，向用户终端发送更改端口；s18：基于更改端口，当接收到更正数据时，将更正数据替换掉错误数据；s19：生成启动指令并发送至分词系统。
51.在本实施例中，更改指令是指修改错误数据的指令，更改端口是指用于将用户终端输入的更正数据传输至后台服务器的端口，后台服务器接收到更正数据后则发送至分词系统，更正数据则是用户终端的工作人员修改错误数据后得到的数据。
52.具体的，错误数据发送至用户终端之后，工作人员通过更改端口输入更正数据，更正数据替换掉错误数据，进一步的再生产启动指令控制分词系统继续运作，更改端口则是为错误数据的修改提供了便利的信道，并在更改完成后再启动分词系统运作，维持了数据输出的同步性。
53.在一实施例中，后台服务器接收到异构数据时，将异构数据进行智能分词，得到字段数据，若在智能分词过程中出现处理失败的情况时，将处理失败的部分数据标记为错误数据，将错误数据丢弃，并生产错误消息发送至用户终端以提醒工作人员。
54.完成划分的数据依次输入至判断模型中，已输入判断模型中的字段数据标记为历史字段数据，当新输入至判断模型的字段数据与历史字段数据重复时，丢弃新输入的字段数据，所有字段数据输入判断模型并经过重复判断后，将历史字段数据输入至态势感知平台以绑定平台上的其他数据。
55.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
56.在一实施例中，提供一种异构数据处理装置，该异构数据处理装置与上述实施例中异构数据处理方法一一对应。如图7所示，该异构数据处理装置包括：数据划分模块，用于当接收到用户终端输入的异构数据时，获取并划分异构数据，生成若干字段数据；字段判断模块，用于将字段数据输入至设置有比对策略的判断模型中；并将已输入判断模型中的字段数据标记为历史字段数据；数据丢弃模块，用于当判断模型接收到的字段数据和历史字段数据重复时，丢弃
接收的字段数据，保存历史字段数据；数据传输模块，用于将历史字段数据输入至态势感知平台。
57.可选的，数据丢弃模块包括：数据标识子模块，用于当判断模型接收到的字段数据和历史字段数据重复时，赋予该字段数据重复字段标识；关联丢弃子模块，用于当识别到重复字段标识时，将该字段标识关联的字段数据丢弃，丢下消息子模块，用于生成丢弃消息并发送至用户终端。
58.可选的，易购数据处理装置还包括：检索库模块，用于将历史字段数据储存至检索库中；检索指令模块，用于当接收到用户终端的检索指令时，从检索指令中获取字段数据，并将字段数据输入至检索库中；字段匹配模块，用于基于字段数据匹配到对应的历史字段数据。
59.可选的，数据划分模块包括：错误标记子模块，用于当异构数据划分处理失败时，将处理失败的部分数据标记为错误数据；错误消息子模块，用于将错误数据丢弃并生成划分处理失败的错误消息；消息发送子模块，用于将错误消息发送至用户终端。
60.可选的，数据划分模块还包括：暂停子模块，用于发出暂停分词系统运作的暂停指令；信息绑定子模块，用于生成错误消息，获取错误数据并将错误数据与错误消息绑定，打包发送子模块，用于将错误消息和错误数据打包发送至用户终端。
61.可选的，数据划分模块还包括：更改端口子模块，用于当接收到用户终端发送的更改指令时，向用户终端发送更改端口；更正替换子模块，用于基于更改端口，当接收到更正数据时，将更正数据替换掉错误数据；启动子模块，用于生成启动指令并发送至分词系统。
62.关于异构数据处理装置的具体限定可以参见上文中对于异构数据处理方法的限定，在此不再赘述。上述异构数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
63.在一个实施例中，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图8所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的数据
库用于存储分析数据、检测结果和运行报告。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现异构数据处理方法。
64.该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：s10：当接收到用户终端输入的异构数据时，获取并划分异构数据，生成若干字段数据；s20：将字段数据输入至设置有比对策略的判断模型中；并将已输入判断模型中的字段数据标记为历史字段数据；s30：当判断模型接收到的字段数据和历史字段数据重复时，丢弃接收的字段数据，保存历史字段数据；s40：将历史字段数据输入至态势感知平台。
65.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：s10：当接收到用户终端输入的异构数据时，获取并划分异构数据，生成若干字段数据；s20：将字段数据输入至设置有比对策略的判断模型中；并将已输入判断模型中的字段数据标记为历史字段数据；s30：当判断模型接收到的字段数据和历史字段数据重复时，丢弃接收的字段数据，保存历史字段数据；s40：将历史字段数据输入至态势感知平台。
66.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
67.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
68.以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。