图形堡垒视频审计方法、装置、设备及计算机存储介质与流程

1.本技术属于图形堡垒视频审计技术领域，尤其涉及一种图形堡垒视频审计方法、装置、电子设备及计算机存储介质。


背景技术：

2.随着云计算和大型系统的普及，越来越多的软件和服务都运行在云端。终端用户通过客户端访问云中的计算资源和存储。然而，当用户的私有云进行开发和维护时，非授权客户就可能通过客户端进入到私有云中，造成用户数据泄露、操作失误等，已经发生多起严重灾害。故信息系统的安全运行直接关系到用户的切身利益，需要对操作和维护的安全性提出更高的要求。堡垒机的建设和应用，通过基于唯一识别的集中账户和访问控制策略，帮助用户建立集中、有序、主动的运管理和控制平台。堡垒机无缝连接各种服务器和网络设备，实现集中精细的运维管理和审计，降低人为操作的安全风险。
3.在堡垒机应用中传统的安全措施除了用户权限管理外，还需要对用户进行操作行为审计。安全审计技术是将计算机系统中的各种操作行为进行记录，并通过一系列的审计规则对操作行为进行分析的过程。该技术的主要目的是实现对系统的监控，实时发现潜在的、己经发生的安全风险，并能够及时采取告警或阻断措施。常见的安全审计方式分为：日志型审计、网络型审计、主机型审计、业务运维型审计。但是，现有的图形堡垒视频审计方法需要大量人工观看视频进行审计，费时费力，效率低下，无法满足轻量级、自动化与实时性需求。
4.因此，如何提高图形堡垒视频的审计效率，进而满足轻量级、自动化与实时性需求是本领域技术人员亟需解决的技术问题。


技术实现要素：

5.本技术实施例提供一种图形堡垒视频审计方法、装置、电子设备及计算机存储介质，能够提高图形堡垒视频的审计效率，进而满足轻量级、自动化与实时性需求。
6.第一方面，本技术实施例提供一种图形堡垒视频审计方法，包括：
7.获取待审计的图形堡垒视频；
8.对待审计的图形堡垒视频进行帧处理，得到帧图片数据集；
9.将帧图片数据集输入预设的图形堡垒视频审计模型，输出审计结果；其中，图形堡垒视频审计模型是利用训练样本集进行模型训练得到的，图形堡垒视频审计模型包括目标检测神经网络结构和光学字符识别(optical character recognition，ocr)神经网络结构。
10.可选的，在对待审计的图形堡垒视频进行帧处理，得到帧图片数据集之后，方法还包括：
11.对帧图片数据集进行数据增强和均衡采样；
12.将数据增强和均衡采样后的帧图片数据集输入图形堡垒视频审计模型，输出审计
结果。
13.可选的，对帧图片数据集进行数据增强，包括：
14.对帧图片数据集中的每一张帧图片进行缩放、裁剪和翻转。
15.可选的，在将帧图片数据集输入预设的图形堡垒视频审计模型，输出审计结果之前，方法还包括：
16.获取样本图形堡垒视频；
17.对样本图形堡垒视频进行帧处理、数据增强和均衡采样，得到训练样本集；
18.在利用训练样本集进行模型训练过程中，获取目标检测损失和光学字符识别损失的结合损失；
19.判断结合损失是否满足预设训练停止条件；
20.若结合损失不满足预设训练停止条件，则将结合损失反馈输入以调整参数，直至满足预设训练停止条件，得到图形堡垒视频审计模型。
21.第二方面，本技术实施例提供了一种图形堡垒视频审计装置，包括：
22.第一获取模块，用于获取待审计的图形堡垒视频；
23.帧处理模块，用于对待审计的图形堡垒视频进行帧处理，得到帧图片数据集；
24.第一输出模块，用于将帧图片数据集输入预设的图形堡垒视频审计模型，输出审计结果；其中，图形堡垒视频审计模型是利用训练样本集进行模型训练得到的，图形堡垒视频审计模型包括目标检测神经网络结构和光学字符识别神经网络结构。
25.可选的，装置还包括：
26.第一预处理模块，用于对帧图片数据集进行数据增强和均衡采样；
27.第二输出模块，用于将数据增强和均衡采样后的帧图片数据集输入图形堡垒视频审计模型，输出审计结果。
28.可选的，第一预处理模块，包括：
29.预处理单元，用于对帧图片数据集中的每一张帧图片进行缩放、裁剪和翻转。
30.可选的，装置还包括：
31.第二获取模块，用于获取样本图形堡垒视频；
32.第二预处理模块，用于对样本图形堡垒视频进行帧处理、数据增强和均衡采样，得到训练样本集；
33.第三获取模块，用于在利用训练样本集进行模型训练过程中，获取目标检测损失和光学字符识别损失的结合损失；
34.判断模块，用于判断结合损失是否满足预设训练停止条件；
35.模型训练模块，用于若结合损失不满足预设训练停止条件，则将结合损失反馈输入以调整参数，直至满足预设训练停止条件，得到图形堡垒视频审计模型。
36.第三方面，本技术实施例提供了一种电子设备，电子设备包括：处理器以及存储有计算机程序指令的存储器；
37.处理器执行计算机程序指令时实现如第一方面所示的图形堡垒视频审计方法。
38.第四方面，本技术实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面所示的图形堡垒视频审计方法。
39.本技术实施例的图形堡垒视频审计方法、装置、电子设备及计算机存储介质，能够提高图形堡垒视频的审计效率，进而满足轻量级、自动化与实时性需求。该图形堡垒视频审计方法，对获取的待审计的图形堡垒视频进行帧处理，得到帧图片数据集，将帧图片数据集输入预设的图形堡垒视频审计模型，输出审计结果。由于图形堡垒视频审计模型是利用训练样本集进行模型训练得到的，且其包括目标检测神经网络结构和光学字符识别神经网络结构，故利用该图形堡垒视频审计模型能够避免使用人工观看视频进行审计，进而能够提高图形堡垒视频的审计效率，进而满足轻量级、自动化与实时性需求。
附图说明
40.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1是本技术一个实施例提供的图形堡垒视频审计方法的流程示意图；
42.图2是本技术一个实施例提供的ocr识别流程图；
43.图3是本技术另一个实施例提供的图形堡垒视频审计方法的流程示意图；
44.图4是本技术一个实施例提供的图形堡垒视频审计装置的结构示意图；
45.图5是本技术一个实施例提供的电子设备的结构示意图。
具体实施方式
46.下面将详细描述本技术的各个方面的特征和示例性实施例，为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本技术进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本技术，而不是限定本技术。对于本领域技术人员来说，本技术可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本技术的示例来提供对本技术更好的理解。
47.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
48.由背景技术部分可知，现有的图形堡垒视频审计方法需要大量人工观看视频进行审计，费时费力，效率低下，无法满足轻量级、自动化与实时性需求。
49.为了解决现有技术问题，本技术实施例提供了一种图形堡垒视频审计方法、装置、电子设备及计算机存储介质。下面首先对本技术实施例所提供的图形堡垒视频审计方法进行介绍。
50.图1示出了本技术一个实施例提供的图形堡垒视频审计方法的流程示意图。如图1所示，该图形堡垒视频审计方法可以包括：
51.s101、获取待审计的图形堡垒视频。
52.s102、对待审计的图形堡垒视频进行帧处理，得到帧图片数据集。
53.在一个实施例中，在对待审计的图形堡垒视频进行帧处理，得到帧图片数据集之后，该方法还包括：对帧图片数据集进行数据增强和均衡采样；将数据增强和均衡采样后的帧图片数据集输入图形堡垒视频审计模型，输出审计结果。
54.在一个实施例中，对帧图片数据集进行数据增强，包括：对帧图片数据集中的每一张帧图片进行缩放、裁剪和翻转。
55.s103、将帧图片数据集输入预设的图形堡垒视频审计模型，输出审计结果；其中，图形堡垒视频审计模型是利用训练样本集进行模型训练得到的，图形堡垒视频审计模型包括目标检测神经网络结构和光学字符识别神经网络结构。
56.在一个实施例中，在将帧图片数据集输入预设的图形堡垒视频审计模型，输出审计结果之前，方法还包括：获取样本图形堡垒视频；对样本图形堡垒视频进行帧处理、数据增强和均衡采样，得到训练样本集；在利用训练样本集进行模型训练过程中，获取目标检测损失和光学字符识别损失的结合损失；判断结合损失是否满足预设训练停止条件；若结合损失不满足预设训练停止条件，则将结合损失反馈输入以调整参数，直至满足预设训练停止条件，得到图形堡垒视频审计模型。
57.该图形堡垒视频审计方法，对获取的待审计的图形堡垒视频进行帧处理，得到帧图片数据集，将帧图片数据集输入预设的图形堡垒视频审计模型，输出审计结果。由于图形堡垒视频审计模型是利用训练样本集进行模型训练得到的，且其包括目标检测神经网络结构和光学字符识别神经网络结构，故利用该图形堡垒视频审计模型能够避免使用人工观看视频进行审计，进而能够提高图形堡垒视频的审计效率，进而满足轻量级、自动化与实时性需求。
58.下面以一个具体场景实施例对上述内容进行说明。
59.针对上述现有技术的缺点，以推动图形堡垒视频结构化为目的，本实施例提供了图形堡垒视频审计方法。通过将图形堡垒机的审计视频录像进行智能拆分，使用视觉目标检测和ocr文字识别联合优化的方式，能够在图形堡垒视频中有效地识别操作的软件以及操作部分的文字。
60.在图形堡垒视频结构化中，创造性地提出分两步来细粒度地进行图形堡垒视频的精确检测识别方案：
61.(1)第一步针对现有的ocr文字识别方法需要固定的图片区域来提取文字，不能直接应用ocr技术提取图形堡垒视频上的文字的问题，本实施例使用目标检测和ocr联合优化的方式，得到相应操作部分的文字信息来帮助图形堡垒视频结构化，从而帮助视频审计。
62.(2)第二步针对图形堡垒视频场景的非背景图与背景图数量严重不均衡以及数据数量不足的问题，本实施例使用了数据增强和均衡采样的方法，对不平衡的基础数据集进行扩充来增加训练集图像的多样性，使得联合训练的识别效果大大提升。
63.本实施例的技术方案将数据增强、目标区域定位、操作信息文字识别统一到一个整体深度学习框架中，并在训练过程中同时结合目标检测损失和ocr识别损失，各模块数据驱动、协同训练、相互增强，是目前科研界和工程界最前沿的研究思路。
64.本实施例的技术方案首先对视频数据进行帧处理，得到帧图片数据集，对此数据集进行数据增强和均衡采样；然后使用目标检测和ocr文字识别联合优化的方式得到目标
区域相应的操作部分的文字信息；最后算一下损失，根据损失是否趋于最低值来决定时候进行下一轮检测和识别。当损失基本不再变化了，输出最终的识别结果。
65.创新性地将数据增强、目标区域定位、操作信息文字识别统一到一个整体深度学习框架中，创新性地利用目标检测损失和ocr识别损失的结合损失。联合训练可以使目标检测和ocr文字识别相辅相成，互相促进，ocr提高了软件目标检测的精度，而目标检测又使得ocr的提取区域更精准，进而ocr技术提取的文字更准确，二者的联合优化使图形堡垒视频数据更精准的结构化输出，基本满足了轻量级、自动化与实时性。
66.1.基于数据增强和均衡采样的图形堡垒视频数据集的扩充技术。
67.基础数据集非背景图与背景图数量之比超过10:1，这种严重不均衡会导致造成较多的误检。为解决这一问题，在算法实现时使用了数据均衡提升识别网络的泛化性能，即对背景图进行数据增强。而且数据的获取有限，采取图像增强的方法，可以一定程度上缓解过拟合问题。为进一步增加训练数据的多样性，采用数据增强和均衡采样的方法对不平衡的基础数据集进行扩充，增强方法有：
68.(1)缩放：将所有图像的短边缩放800x450大小。
69.(2)裁剪：将检测之后的目标区域裁剪出来。
70.(3)翻转：将图片进行随机水平翻转、颜色变化、仿射变换操作，以增加训练集图像片的多样性。
71.2.基于目标检测的图形堡垒软件定位技术。
72.图形堡垒视频含有多种软件界面与文字联合的识别场景，场景繁杂，准确的软件定位可以辅助ocr进行结构化文字的提取。目标检测(object detection)是用于识别中目标位置的技术，目标检测的结果是在图片上标注目标并写上分类标签。目标检测算法分为one stage目标检测算法与two stage目标检测算法，其中前者检测速度快，精度低，后者精度高，检测速度慢。本实施例采用了深度学习中的retinanet神经网络，属于one stage目标检测算法，但是retinanet的损失函数是改造的交叉熵损失函数，精度甚至比一般的two stage目标检测算法还要高，可以说retinanet具备高速度与高精度，是目前目标检测的巅峰之作。
73.3.基于ocr的图形堡垒软件文字识别技术。
74.基于视觉目标检测和ocr文字识别联合优化的方法，能够在图形堡垒视频中有效的识别操作的软件以及操作部分的文字内容。其中ocr(optical character recognition，光学字符识别)是指对文本资料的图像文件进行分析识别处理，获取文字及版面信息的过程，亦即将图像中的文字进行识别，并以文本的形式返回。图2是本技术一个实施例提供的ocr识别流程图，ocr分为图片预处理、文本检测和文字识别，图像经过ocr识别后得到识别结果。
75.(1)文本检测：文本检测是将整张图片上的文本行图片区域提取出来，并不关心每个字符的具体内容。文本检测属于目标检测的一个大类，是深度学习的一个重要研究方向，分为基于候选区域的检测与基于回归的检测。
76.(2)文字识别：文字识别是将文本行转化为文字的过程，在文本检测后执行的，用“lstm ctc”的方法来实现不定长文字的识别。为了实现对不定长文字的识别，就需要有一种能力更强的模型，该模型具有一定的记忆能力，能够按时序依次处理任意长度的信息，这
种模型就是“循环神经网络(recurrent neural networks，rnn)”。长短期记忆网络(long short term memory，lstm)是一种特殊结构的rnn，用于解决rnn的长期依赖问题，也即随着输入rnn网络的信息的时间间隔不断增大，普通rnn就会出现“梯度消失”或“梯度爆炸”的现象，这就是rnn的长期依赖问题，而引入lstm即可以解决这个问题。
77.联接时间分类器(connectionist temporal classifier，ctc)，主要用于解决输入特征与输出标签的对齐问题。例如，由于文字的不同间隔或变形等问题，导致同个文字有不同的表现形式，但实际上都是同一个文字。
78.4.联合训练。
79.在得到软件检测结果与文字识别结果的同时，本实施例借鉴最前沿的端到端的训练方式，将检测损失与ocr损失都反馈于深度网络输入用于深度网络的参数更新与自适应调整。如图3所示，输入图像依次经过软件检测和文字识别，目标检测损失(od_loss)与ocr损失(ocr_loss)都反馈于深度网络输入用于深度网络的参数更新与自适应调整，最终得出识别结果。
80.ocr文字识别后产生的损失反馈给软件检测，产生的软件检测再反馈给深度网络输入，实现深度网络的参数更新与自适应调整。联合训练可以使目标检测和ocr文字识别相辅相成，互相促进，ocr提高了目标检测的精度，而目标检测又使得ocr的提取区域更精准，二者的联合优化使软件检测效果增强。
81.图形堡垒视频结构化技术所采用的损失是联合训练产生的损失，它是图形堡垒软件定位技术中目标检测损失与ocr损失构成的新损失，记为loss。
82.loss＝od_loss ocr_loss
83.(1)其中，目标检测损失是检测框架retinanet中提出的新的损失函数fl(focal loss)，是在原先训练回归任务时惯用的损失函数(交叉熵损失ce(pt))的基础上修改得到的。在retinanet中使用的损失函数，如以下公式所示，即：
84.fl(p
t
)＝-α
t
(1-p
t
)
γ
log(p
t
)
85.记为od_loss，这样既控制了正负样本在总的损失上的共享权重，也解决了容易分类样本和难分类样本的问题。
86.其中，a
t
和p
t
一样，
87.γ≥0，被称作集中参数，(1-p
t
)
γ
被称为调制系数。
88.在focal loss中a
t
＝0.25，γ＝2时，模型会有最好的效果。
89.(2)其中，ocr的损失记为ocr_loss，给定一个训练好的模型和输入序列x，我们希望输出概率最高的y，所以ocr的损失为：
90.y
*
＝argmaxyp(y|x)
91.图4是本技术一个实施例提供的图形堡垒视频审计装置的结构示意图，如图4所示，该图形堡垒视频审计装置，包括：
92.第一获取模块401，用于获取待审计的图形堡垒视频；
93.帧处理模块402，用于对待审计的图形堡垒视频进行帧处理，得到帧图片数据集；
94.第一输出模块403，用于将帧图片数据集输入预设的图形堡垒视频审计模型，输出
审计结果；其中，图形堡垒视频审计模型是利用训练样本集进行模型训练得到的，图形堡垒视频审计模型包括目标检测神经网络结构和光学字符识别神经网络结构。
95.在一个实施例中，装置还包括：
96.第一预处理模块，用于对帧图片数据集进行数据增强和均衡采样；
97.第二输出模块，用于将数据增强和均衡采样后的帧图片数据集输入图形堡垒视频审计模型，输出审计结果。
98.在一个实施例中，第一预处理模块，包括：
99.预处理单元，用于对帧图片数据集中的每一张帧图片进行缩放、裁剪和翻转。
100.在一个实施例中，装置还包括：
101.第二获取模块，用于获取样本图形堡垒视频；
102.第二预处理模块，用于对样本图形堡垒视频进行帧处理、数据增强和均衡采样，得到训练样本集；
103.第三获取模块，用于在利用训练样本集进行模型训练过程中，获取目标检测损失和光学字符识别损失的结合损失；
104.判断模块，用于判断结合损失是否满足预设训练停止条件；
105.模型训练模块，用于若结合损失不满足预设训练停止条件，则将结合损失反馈输入以调整参数，直至满足预设训练停止条件，得到图形堡垒视频审计模型。
106.图4所示装置中的各个模块/单元具有实现图1中各个步骤的功能，并能达到其相应的技术效果，为简洁描述，在此不再赘述。
107.图5示出了本技术实施例提供的电子设备的结构示意图。
108.电子设备可以包括处理器501以及存储有计算机程序指令的存储器502。
109.具体地，上述处理器501可以包括中央处理器(cpu)，或者特定集成电路(application specific integrated circuit，asic)，或者可以被配置成实施本技术实施例的一个或多个集成电路。
110.存储器502可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器502可包括硬盘驱动器(hard disk drive，hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus，usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器502可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器502可在电子设备的内部或外部。在特定实施例中，存储器502可以是非易失性固态存储器。
111.在一个实例中，存储器502可以是只读存储器(read only memory，rom)。在一个实例中，该rom可以是掩模编程的rom、可编程rom(prom)、可擦除prom(eprom)、电可擦除prom(eeprom)、电可改写rom(earom)或闪存或者两个或更多个以上这些的组合。
112.处理器501通过读取并执行存储器502中存储的计算机程序指令，以实现上述实施例中的任意一种图形堡垒视频审计方法。
113.在一个示例中，电子设备还可包括通信接口503和总线510。其中，如图5所示，处理器501、存储器502、通信接口503通过总线510连接并完成相互间的通信。
114.通信接口503，主要用于实现本技术实施例中各模块、装置、单元和/或设备之间的通信。
115.总线510包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(agp)或其他图形总线、增强工业标准架构(eisa)总线、前端总线(fsb)、超传输(ht)互连、工业标准架构(isa)总线、无限带宽互连、低引脚数(lpc)总线、存储器总线、微信道架构(mca)总线、外围组件互连(pci)总线、pci-express(pci-x)总线、串行高级技术附件(sata)总线、视频电子标准协会局部(vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线510可包括一个或多个总线。尽管本技术实施例描述和示出了特定的总线，但本技术考虑任何合适的总线或互连。
116.另外，本技术实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种图形堡垒视频审计方法。
117.需要明确的是，本技术并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本技术的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本技术的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
118.以上所述的结构框图中所示的功能模块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本技术的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom(erom)、软盘、cd-rom、光盘、硬盘、光纤介质、射频(rf)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
119.还需要说明的是，本技术中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本技术不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
120.上面参考根据本技术的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本技术的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
121.以上所述，仅为本技术的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本技术的保护范围并不局限于此，任何熟悉
本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。