一种异常识别方法、系统、计算机程序产品、存储介质及电子设备与流程

摘要: 本发明涉及屏幕捕获,尤其涉及一种异常识别方法、系统、计算机程序产品、存储介质及电子设备。背景技术:1、屏幕捕获与异常识别技术广泛应用于司法数据标注(敏感数据违规...
一种异常识别方法、系统、计算机程序产品、存储介质及电子设备与流程

本发明涉及屏幕捕获,尤其涉及一种异常识别方法、系统、计算机程序产品、存储介质及电子设备。

背景技术:

1、屏幕捕获与异常识别技术广泛应用于司法数据标注(敏感数据违规操作监控)、工业监控(如设备操作界面监控)、运维管理(如服务器桌面异常排查)、安防监控(如公共终端操作合规性监控)等场景。随着数字化转型加速,屏幕数据量呈爆发式增长,对捕获效率、识别精度及运维实时性的要求日益提升。

2、现有屏幕捕获技术采用固定视频流式(如帧率30fps)和分辨率(如1080p)进行全屏幕采集,无论屏幕内容是否变化、区域是否重要,均按统一标准采集,导致cpu占用率高,在边缘设备(如瘦终端、工业平板、小型网关)等资源受限场景下无法稳定运行,且全量数据传输占用大量带宽,捕获策略僵化,资源消耗过高;单一机器学习模型仅能提取局部特征,对多特征融合的复杂异常(如时序+图像混合异常)识别准确率低;仅输出异常警示结果,未记录异常发生的完整链路信息(如特征向量、识别过程),运维人员难以定位异常根源,运维效率低下,亟需一种新的屏幕捕获方法。

3、在实现本发明过程中,发明人发现现有技术中至少存在如下问题:

4、现有屏幕捕获技术捕获策略僵化,资源消耗高,复杂异常与未知异常的识别精度较低。

技术实现思路

1、本发明的目的在于提供一种异常识别方法、系统、计算机程序产品、存储介质及电子设备,以解决现有技术中存在的屏幕捕获捕获策略僵化,资源消耗高,复杂异常与未知异常的识别精度较低的技术问题。本发明提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。

2、为实现上述目的,本发明提供了以下技术方案:

3、本发明提供的一种异常识别方法,包括:基于屏幕显示图像的变化特征及区域重要性信息,对捕获帧率、捕获分辨率及捕获范围进行动态自适应调整,得到多帧原始捕获图像;对每帧原始捕获图像的纹理特征、颜色特征、形状特征进行特征提取,并结合操作时序特征、全局特征生成特征向量;通过稠密模型、专家混合模型对特征向量通过计算异常置信度进行推理,得到异常识别结果。

4、优选的,所述区域重要性信息包括关键区域与非关键区域。

5、优选的,所述对每帧原始捕获图像的纹理特征、颜色特征、形状特征进行特征提取并结合操作时序特征、全局特征生成特征向量包括:对每帧原始捕获图像生成特征向量时,通过lbp算法提取256维纹理特征、hsv颜色直方图提取128维颜色特征、zernike矩提取64维形状特征,并结合32维操作时序特征、32维全局特征共同融合生成512维的特征向量。

6、一种异常识别系统,所述异常识别系统用于运行以上任一项所述的一种异常识别方法,包括屏幕捕获模块、数据预处理模块及异常识别模块;所述屏幕捕获模块的输出端与所述异常识别模块的输入端连接,所述异常识别模块的输出端与所述结果输出与溯源模块的输入端通过tcp/ip协议连接;所述屏幕捕获模块对屏幕显示图像进行动态自适应捕获,得到多帧原始捕获图像,并输入所述数据预处理模块;所述数据预处理模块提取原始捕获图像的特征提取,并生成特征向量输入所述异常识别模块;所述异常识别模块通过稠密模型、专家混合架构模型对特征向量进行实时推理,得到异常识别结果。

7、优选的,所述异常识别模块包括模型轻量化单元、实时推理单元、异常分类单元,所述数据预处理模块的输出端与所述模型轻量化单元的输入端连接,所述模型轻量化单元的输出端与所述实时推理单元的输入端连接,所述实时推理单元的输出端与所述异常分类单元的输入端连接;所述模型轻量化单元对稠密模型、专家混合模型通过剪枝、量化操作降低模型体积;所述实时推理单元接收特征向量,计算异常置信度并进行异常判断,得到异常结果;所述异常分类单元将异常结果分为数据异常类、安全风险类、操作违规类、未知异常类,并将异常分类结果与串流预设策略关联。

8、优选的,所述异常识别系统还包括结果输出与溯源模块,所述结果输出与溯源模块包括警示单元、日志记录单元、可视化单元,所述警示单元、日志记录单元、可视化单元的输入端均与所述异常识别模块的输出端连接;所述警示单元通过多种方式进行警示,所述警示单元的警示信息包括异常类型、发生时间及置信度;所述日志记录单元采用分布式数据库存储异常结果的全链路信息,所述全链路信息包括原始捕获图像、特征向量、模型推理结果、警示渠道、处理状态及日志保留期限;所述可视化单元实时显示cpu使用率、内存占用率、磁盘空间、网络流量、设备屏幕显示图像及摄像头实时画面。

9、优选的,所述异常识别系统还包括边缘与云端协同模块,所述边缘云端协同模块包括算力监测单元、资源调度单元、数据同步单元,所述算力监测单元的输出端与资源调度单元的输入端连接;资源调度单元的输出端分别与所述屏幕捕获模块、数据预处理模块、异常识别模块、结果输出与溯源模块及云端服务器连接,所述数据同步单元的两端分别连接本地存储与云端存储;所述算力监测单元实时监测边缘设备的cpu与gpu利用率、内存占用率;当cpu与gpu利用率小于预设值时,所述资源调度单元通过调度使异常识别任务在本地完成,当cpu与gpu利用率大于预设值时,所述资源调度单元通过调度将特征向量上传至所述云端服务器,通过所述云端服务器完成推理,再将推理结果回传至本地;所述数据同步单元通过增量同步机制上传异常结果日志与模型更新包。

10、一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以上任一项所述的一种异常识别方法的步骤。

11、一种计算机可读的存储介质,所述存储介质上存储有计算机程序,所述计算机程序被执行时实现以上任一项所述的一种异常识别方法。

12、一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个计算机程序,一个或多个所述处理器用于执行所述存储器存储的一个或多个计算机程序,以使一个或多个所述处理器执行如以上任一项所述的一种异常识别方法。

13、实施本发明上述技术方案中的一个技术方案,具有如下优点或有益效果:

14、本申请中,通过对捕获帧率、捕获分辨率及捕获范围进行动态自适应调整,解决传统图像捕获的僵化与高耗问题,捕获策略灵活,降低了资源消耗;基于稠密模型与专家混合模型提升了复杂异常与未知异常的识别精度。

1.一种异常识别方法,其特征在于,包括:

2.根据权利要求1所述的一种异常识别方法,其特征在于,所述区域重要性信息包括关键区域与非关键区域。

3.根据权利要求1所述的一种异常识别方法,其特征在于,所述对每帧原始捕获图像的纹理特征、颜色特征、形状特征进行特征提取并结合操作时序特征、全局特征生成特征向量包括:

4.一种异常识别系统,其特征在于,所述异常识别系统用于运行权利要求1-3中任一项所述的一种异常识别方法,包括屏幕捕获模块、数据预处理模块及异常识别模块;所述屏幕捕获模块的输出端与所述异常识别模块的输入端连接,所述异常识别模块的输出端与所述结果输出与溯源模块的输入端通过tcp/ip协议连接;所述屏幕捕获模块对屏幕显示图像进行动态自适应捕获,得到多帧原始捕获图像,并输入所述数据预处理模块;所述数据预处理模块提取原始捕获图像的特征提取,并生成特征向量输入所述异常识别模块;所述异常识别模块通过稠密模型、专家混合架构模型对特征向量进行实时推理,得到异常识别结果。

5.根据权利要求4所述的一种异常识别系统,其特征在于,所述异常识别模块包括模型轻量化单元、实时推理单元、异常分类单元,所述数据预处理模块的输出端与所述模型轻量化单元的输入端连接,所述模型轻量化单元的输出端与所述实时推理单元的输入端连接,所述实时推理单元的输出端与所述异常分类单元的输入端连接;所述模型轻量化单元对稠密模型、专家混合模型通过剪枝、量化操作降低模型体积;所述实时推理单元接收特征向量,计算异常置信度并进行异常判断,得到异常结果;所述异常分类单元将异常结果分为数据异常类、安全风险类、操作违规类、未知异常类,并将异常分类结果与串流预设策略关联。

6.根据权利要求4所述的一种异常识别系统,其特征在于,所述异常识别系统还包括结果输出与溯源模块,所述结果输出与溯源模块包括警示单元、日志记录单元、可视化单元,所述警示单元、日志记录单元、可视化单元的输入端均与所述异常识别模块的输出端连接;所述警示单元通过多种方式进行警示,所述警示单元的警示信息包括异常类型、发生时间及置信度;所述日志记录单元采用分布式数据库存储异常结果的全链路信息,所述全链路信息包括原始捕获图像、特征向量、模型推理结果、警示渠道、处理状态及日志保留期限;所述可视化单元实时显示cpu使用率、内存占用率、磁盘空间、网络流量、设备屏幕显示图像及摄像头实时画面。

7.根据权利要求4所述的一种异常识别系统,其特征在于,所述异常识别系统还包括边缘与云端协同模块,所述边缘云端协同模块包括算力监测单元、资源调度单元、数据同步单元,所述算力监测单元的输出端与资源调度单元的输入端连接;资源调度单元的输出端分别与所述屏幕捕获模块、数据预处理模块、异常识别模块、结果输出与溯源模块及云端服务器连接,所述数据同步单元的两端分别连接本地存储与云端存储;所述算力监测单元实时监测边缘设备的cpu与gpu利用率、内存占用率;当cpu与gpu利用率小于预设值时,所述资源调度单元通过调度使异常识别任务在本地完成,当cpu与gpu利用率大于预设值时,所述资源调度单元通过调度将特征向量上传至所述云端服务器,通过所述云端服务器完成推理,再将推理结果回传至本地;所述数据同步单元通过增量同步机制上传异常结果日志与模型更新包。

8.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-3任一项所述的一种异常识别方法的步骤。

9.一种计算机可读的存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被执行时实现权利要求1-3任一项所述的一种异常识别方法。

10.一种电子设备,其特征在于,包括: