一种数据清理的方法、装置及电子设备与流程

1.本技术涉及计算机网络安全领域，尤其涉及一种数据清理的方法、装置及电子设备。


背景技术：

2.目前，在应用层网关alg中，包含trustmap表、acl、nat，其中trustmap表用来存放ip报文的ip地址以及端口号，ip地址以及端口号为一个键，acl策略和nat策略等信息作为一个值，一个键与一个值组成一个键值对，trustmap表由多个键值对组成，其中，值会记录下所述键的存入时间和超时时间，存入时间与超时时间的和作为一个时间戳，超时时间为所述ip地址以及端口号在alg中预设的存活时间。
3.在alg定时清理任务的每个周期内，因为所有的键值对在时间上都是无序存放的，定时清理任务需要遍历所有的键值对才能将已经超时的键值对清理完毕，已经超时的键值对为超过时间戳记录时间的键值对，当alg中键值对的数量达到百万级时，清理已经超时的键值对将持续消耗大量的网关计算资源，导致网关性能大幅下降。


技术实现要素：

4.本技术提供一种数据清理的方法、装置及电子设备，通过增加一个第一预设列表，利用第一预设列表先进先出的规律，避免了遍历所有的键，减少网关计算资源的耗费，提升网关的性能。
5.第一方面，本技术提供了一种数据清理的方法，所述方法包括：
6.获取第一报文的第一报文参数信息存入第一预设列表时的存入时刻，其中，所述第一报文参数包括第一ip地址以及第一端口号；
7.根据获取到的当前时刻以及所述存入时刻，确定所述第一报文参数信息在所述第一预设列表中的存入时长；
8.判断所述存入时长是否超过预设时长；
9.若是，则将所述第一报文参数信息在所述第一预设列表中删除，并从所述第一报文参数信息的下一个排列位置继续清理；
10.若否，则在所述第一预设列表中保留所述第一报文参数信息，并从所述第一预设列表的起始位置重新开始清理。
11.本技术通过增加一个第一预设列表，使存入第一预设列表中的每一个键对应到一个存入时刻，在第一预设列表中，键按照存入时刻的先后顺序进行排列，按照预设周期对第一预设列表首键进行循环检查以及删除，由于只检查第一预设列表的首键，避免遍历网关中所有的键，降低网关对计算资源的消耗，解决了网关性能大幅下降的问题。
12.在一种可能的设计中，获取第一报文的第一报文参数信息存入第一预设列表时的存入时刻之前，包括：
13.接收第一客户端发送的第一报文并解析出所述第一报文的第一报文参数信息；
14.将所述第一报文参数信息存入所述第一预设列表中以及第二预设列表中，记录所述第一报文参数信息的存入时刻到第一预设列表中；
15.将所述第一预设列表中的所有报文参数信息按照存入的时间顺序由先到后进行排列。
16.在一种可能的设计中，将所述第一报文参数信息存入所述第一预设列表中以及第二预设列表中，记录所述第一报文参数信息的存入时刻，包括：
17.在所述第二预设列表中匹配是否有与所述第一报文参数信息一致的报文参数信息；
18.若有，则不做任何处理；
19.若无，则将所述第一报文参数信息放入所述第一预设列表中以及所述第二预设列表中。
20.在一种可能的设计中，将所述第一报文参数信息放入所述第一预设列表中，包括：
21.根据所述第一报文参数的存入时刻对所述第一报文在所述第一预设列表中进行排序；
22.根据所述排序将所述第一报文参数存入所述第一预设列表中。
23.第二方面，本技术提供了一种数据清理的装置，所述装置包括：
24.获取模块，用于获取第一报文的第一报文参数信息存入第一预设列表时的存入时刻，其中，所述第一报文参数包括第一ip地址以及第一端口号；
25.确定模块，用于根据获取到的当前时刻以及所述存入时刻，确定所述第一报文参数信息在所述第一预设列表中的存入时长；
26.判断模块，用于判断所述存入时长是否超过预设时长；
27.处理模块，用于将所述第一报文参数信息在所述第一预设列表中删除，并从所述第一报文参数信息的下一个排列位置继续清理或者在所述第一预设列表中保留所述第一报文参数信息，并从所述第一预设列表的起始位置重新开始清理。
28.在一种可能的设计中，所述获取模块，具体用于接收第一客户端发送的第一报文并解析出所述第一报文的第一报文参数信息，将所述第一报文参数信息存入所述第一预设列表中以及第二预设列表中，记录所述第一报文参数信息的存入时刻到第一预设列表中，将所述第一预设列表中的所有报文参数信息按照存入的时间顺序由先到后进行排列。
29.在一种可能的设计中，所述获取模块，还用于在所述第二预设列表中匹配是否有与所述第一报文参数信息一致的报文参数信息，若有，则不做任何处理，若无，则将所述第一报文参数信息放入所述第一预设列表中以及将所述第二预设列表中。
30.在一种可能的设计中，所述获取模块，还用于根据所述第一报文参数的存入时刻对所述第一报文在所述第一预设列表中进行排序，根据所述排序将所述第一报文参数存入所述第一预设列表中。
31.第三方面，本技术提供了一种电子设备，包括：
32.存储器，用于存放计算机程序；
33.处理器，用于执行所述存储器上所存放的计算机程序时，实现上述的一种数据清理的方法步骤。
34.第四方面，一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机
程序，所述计算机程序被处理器执行时实现上述的一种数据清理的方法步骤。
35.上述第一方面至第四方面中的各个方面以及各个方面可能达到的技术效果请参照上述针对第一方面或第一方面中的各种可能方案可以达到的技术效果说明，这里不再重复赘述。
附图说明
36.图1为本技术提供的一种数据清理的方法步骤的流程图；
37.图2为本技术提供的一种数据清理的装置的结构示意图；
38.图3为本技术提供的一种电子设备的结构示意图。
具体实施方式
39.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述。方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。需要说明的是，在本技术的描述中“多个”理解为“至少两个”。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。a与b连接，可以表示：a与b直接连接和a与b通过c连接这两种情况。另外，在本技术的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
40.目前，应用层网关alg在进行清理任务时，会遍历所有的键值对，才能对超过预设时长的键值对进行删除，在键值对的数量达到百万级时，应用层网关alg将会耗费大量的计算资源，导致网关性能大幅下降，因此网关性能下降成为要解决的问题。
41.为了解决上述问题，本技术实施例提供一种数据清理的方法，用于减少网关计算资源的耗费，提升网关的性能。其中，本技术实施例所述方法和装置基于同一技术构思，由于方法及装置所解决问题的原理相似，因此装置与方法的实施例可以相互参见，重复之处不再赘述。
42.下面结合附图，对本技术实施例进行详细描述。
43.参照图1，本技术提供了一种数据清理的方法，该方法对报文参数信息进行及时的清理，所以减少网关资源浪费，提升网关的性能，该方法的实现流程如下：
44.步骤s1：获取第一报文的第一报文参数信息存入第一预设列表时的存入时刻。
45.在本技术实施例中需要说明的是，一个报文参数信息为一个键，第一报文参数信息包括第一ip地址以及第一端口号，此处第一ip地址以及第一端口号为发送第一报文的发送端ip地址以及发送端的端口号。
46.在本技术实施例中在获取到一个报文的报文参数信息之后，会将该报文参数信息存入到第一预设列表中，所述第一预设列表如表1所示：
47.ip地址端口号存入时刻10.4.5.2123452021年8月11日14时52分38秒24.1.2.3243542021年8月11日15时42分12秒12.3.4.5253252021年8月11日15时52分18秒10.5.4.3534542021年8月11日15时53分08秒
48.表1
49.将第一报文参数信息存入所述第一预设列表中，记录所述第一报文参数信息的存入时刻，其中，所述第一预设列表中的所有报文参数信息都按照存入的时间顺序由先到后进行排列，所述第一预设列表可以作为老化队列表，该老化队列表用于删除超过预设时长的报文参数信息；
50.进一步，在本技术实施例中，为了避免第一预设列表中报文参数信息的重复，在所述第二预设列表中匹配是否有与第一报文参数信息一致的报文参数信息；
51.若有，则不做任何处理；
52.若无，则将所述第一报文参数信息放入所述第一预设列表中以及所述第二预设列表中。
53.比如：将所述第一报文参数信息存入第一预设列表中，存入的时刻为2021年8月10日16时52分38秒，在所述第二预设列表中匹配是否有与所述第一报文参数信息一致的报文参数信息。
54.若有，则不做任何处理；
55.若无，则将第一报文参数信息放入所述第一预设列表中以及所述第二预设列表中。
56.通过上述描述的方法，将第一报文参数信息存入所述第一预设列表中，并记录下第一报文参数信息的存入时刻，使每一个报文参数信息都对应到一个存入时刻，保证了所述第一预设列表可以根据存入时刻的先后顺序对报文参数信息进行排列。
57.步骤s2：根据获取到的当前时刻以及所述存入时刻，确定所述第一报文参数信息在所述第一预设列表中的存入时长。
58.为了判定存入第一预设列表中的报文参数信息是否需要被清理，因此在将报文参数信息存入到第一预设列表中之后，获取第一报文参数信息的存入时刻，并实时读取网关系统中的当前时刻。
59.将所述存入时刻与所述当前时刻进行作差，获得存入时长。
60.比如：第一报文参数信息为：12.2.2.4以及13457，所述第一报文参数信息的存入时刻为2021年8月10日16时40分40秒，当前时间为2021年8月10日16时50分40秒，将所述存入时间与所述当前时间作差，获得存入时长为：10min。
61.通过上述描述的方法，根据第一报文参数信息的所述存入时刻以及当前时刻获得存入时长，可以根据存入时长判断第一报文参数信息在所述第一预设列表中的存在时间，使得后续可以判断第一报文参数信息在所述第一预设列表中是否超过预设时长。
62.步骤s3:判断所述存入时长是否超过预设时长。
63.在确认第一报文参数信息在所述第一预设列表中的所述存入时长之后，通过所述存入时长与预设时长进行比较判断第一报文参数信息在所述第一预设列表中是否超过预设时长，其中，所述预设时长为所述报文参数信息在alg中预设的存活时间。
64.比如：第一报文参数信息为：12.2.2.4以及13457，网关的预设时长为1min，第一报文参数信息在所述第一预设列表中的存入时长为5min，将1min与5min进行比较判断第一报文参数信息在所述第一预设列表中是否超过预设时长。
65.若是存入时长超过预设时长，则执行步骤s4；若是存入时长未超过预设时长，则执
行步骤s5。
66.通过上述描述的方法，可以快速判断出第一报文参数信息在所述第一预设列表中是否超过预设时长。
67.步骤s4：将所述第一报文参数信息在所述第一预设列表中删除，并从所述第一报文参数信息的下一个排列位置继续清理。
68.为了能够实现对报文参数信息的循环检测，达到删除所述报文参数信息的目的，需要预设一个周期，将存入时长超过预设时长的所述报文参数信息在所述第一预设列表中进行删除，并从所述第一报文参数信息的下一个排列位置继续清理。
69.步骤s5：在所述第一预设列表中保留所述第一报文参数信息，并从所述第一预设列表的起始位置重新开始清理。
70.本技术通过上述的方法，设置一个第一预设列表用于存放键以及键的存入时刻，因此存入的键都对应一个存入时刻，键根据存入时刻的先后顺序进行排序，存活时间较短的键排列在存活时间较长的键前面，当键在第一预设列表中的存入时长超过预设时长之后，在每一个周期内，第一预设列表可以根据键的排序将超过预设时长的键进行依次删除，从而减少了网关计算资源的耗费，提高了网关的性能。
71.基于同一发明构思，本技术实施例中还提供了一种数据清理的装置，该数据清理的装置用于实现了一种数据清理方法的功能，参照图2，所述装置包括：
72.获取模块201，用于获取第一报文的第一报文参数信息存入第一预设列表时的存入时刻，其中，所述第一报文参数包括第一ip地址以及第一端口号；
73.确定模块202，用于根据获取到的当前时刻以及所述存入时刻，确定所述第一报文参数信息在所述第一预设列表中的存入时长；
74.判断模块203，用于判断所述存入时长是否超过预设时长；
75.处理模块204，用于将所述第一报文参数信息在所述第一预设列表中删除，并从所述第一报文参数信息的下一个排列位置继续清理或者在所述第一预设列表中保留所述第一报文参数信息，并从所述第一预设列表的起始位置重新开始清理。
76.在一种可能的设计中，所述获取模块201，具体用于接收第一客户端发送的第一报文并解析出所述第一报文的第一报文参数信息，将所述第一报文参数信息存入所述第一预设列表中以及第二预设列表中，记录所述第一报文参数信息的存入时刻到第一预设列表中，其中第二预设列表用于检查报文参数信息是否重复，将所述第一预设列表中的所有报文参数信息按照存入的时间顺序由先到后进行排列。
77.在一种可能的设计中，所述获取模块201，还用于在所述第二预设列表中匹配是否有与所述第一报文参数信息一致的报文参数信息，若有，则不做任何处理，若无，则按照存入时刻的先后顺序将所述第一报文参数信息放入所述第一预设列表的排列中以及将所述第一报文参数信息放入第二预设列表中。
78.在一种可能的设计中，所述获取模块201，还用于根据所述第一报文参数的存入时刻对所述第一报文在所述第一预设列表中进行排序，根据所述排序将所述第一报文参数存入所述第一预设列表中。
79.基于同一发明构思，本技术实施例中还提供了一种电子设备，所述电子设备可以实现前述一种数据清理的装置的功能，参考图3，所述电子设备包括：
80.至少一个处理器301，以及与至少一个处理器301连接的存储器302，本技术实施例中不限定处理器301与存储器302之间的具体连接介质，图3中是以处理器301和存储器302之间通过总线300连接为例。总线300在图3中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线300可以分为地址总线、数据总线、控制总线等，为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。或者，处理器301也可以称为控制器，对于名称不做限制。
81.在本技术实施例中，存储器302存储有可被至少一个处理器301执行的指令，至少一个处理器301通过执行存储器302存储的指令，可以执行前文论述的一种数据清理的方法。处理器301可以实现图2所示的装置中各个模块的功能。
82.其中，处理器301是该装置的控制中心，可以利用各种接口和线路连接整个该控制设备的各个部分，通过运行或执行存储在存储器302内的指令以及调用存储在存储器302内的数据，该装置的各种功能和处理数据，从而对该装置进行整体监控。
83.在一种可能的设计中，处理器301可包括一个或多个处理单元，处理器301可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器301中。在一些实施例中，处理器301和存储器302可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
84.处理器301可以是通用处理器，例如中央处理器(cpu)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所公开的一种数据清理方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
85.存储器302作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器302可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(random access memory，ram)、静态随机访问存储器(static random access memory，sram)、可编程只读存储器(programmable read only memory，prom)、只读存储器(read only memory，rom)、带电可擦除可编程只读存储器(electrically erasable programmable read
‑
only memory，eeprom)、磁性存储器、磁盘、光盘等等。存储器302是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本技术实施例中的存储器302还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
86.通过对处理器301进行设计编程，可以将前述实施例中介绍的一种数据清理方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行图1所示的实施例的一种数据清理的步骤。如何对处理器301进行设计编程为本领域技术人员所公知的技术，这里不再赘述。
87.基于同一发明构思，本技术实施例还提供一种存储介质，该存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行前文论述的一种数据清理方
法。
88.在一些可能的实施方式中，本技术提供一种数据清理的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在装置上运行时，程序代码用于使该控制设备执行本说明书上述描述的根据本技术各种示例性实施方式的一种数据清理方法中的步骤。
89.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
90.本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
91.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
92.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
93.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。