一种边缘计算视频图像智能处理方法、设备及装置与流程

1.本发明涉及边缘计算技术领域，尤其是指一种边缘计算视频图像智能处理方法、设备及装置。


背景技术：

2.边缘计算使物联终端设备产生的数据不需要再传输至遥远的云数据中心处理，而是就近在网络边缘侧完成数据分析和处理，相较于云计算更加高效和安全。物联网网关在支持传感器、设备连接与聚合数据分析处理的中间源方面发挥着关键作用，海量物联网设备的应用，促进了物联网网关和边缘计算的蓬勃发展，由于不同行业领域、业务场景的应用需求千变万化，对网关的产品集成度、安全可控、算力性能、二次开发提出了更高的要求。
3.但现有的网关采用嵌入式计算环境，只支持单一的处理逻辑，功能上具有一定的局限性，集成开发成本较高。


技术实现要素：

4.为此，本发明所要解决的技术问题在于克服现有技术中边缘计算视频图像智能处理方法处理数据类型单一，设备集成开发成本高的问题。
5.为解决上述技术问题，本发明提供了一种边缘计算视频图像智能处理方法，包括：
6.获取外部感知监控设备采集的实时视频数据；
7.对所述实时视频数据进行预处理获取实时图像序列；
8.利用ai算法对所述实时图像序列进行推理分析得到结构化图像序列；
9.对所述结构化图像序列进行视频后处理得到目标图像序列；
10.将所述目标图像序列通过应用集成输出到管理终端的应用界面。
11.在本发明的一个实施例中，所述对所述实时视频数据进行预处理获取实时图像序列包括对实时视频数据进行清晰化增强得到实时图像序列；所述清晰化增强包括滤波降噪处理、边缘锐化处理、对比度增强处理以及图像分割处理中的一种或几种。
12.在本发明的一个实施例中，所述ai算法包括异常检测、行为分析、目标检测、场景分割、人脸识别、人体属性识别、车辆车牌识别、车辆属性识别与目标再识别中的一种或几种。
13.在本发明的一个实施例中，所述对所述结构化图像序列进行视频后处理得到目标图像序列包括对结构化图像序列进行再编码、叠加目标图像框及属性信息，绘制目标运动轨迹。
14.本发明还提供了一种边缘计算视频图像智能处理设备，包括：
15.存储器，用于存储操作系统，所述操作系统包括至少一个容器；
16.处理器，用于执行部署在操作系统或其容器内的应用程序，实现如上述任一项所述的边缘计算视频图像智能处理方法。
17.在本发明的一个实施例中，所述容器设置有独立的api接口。
18.在本发明的一个实施例中，所述操作系统或其容器内的应用程序还包括应用调度引擎、ai推理引擎、视频处理引擎、图像处理引擎、计算处理引擎与应用集成管理。
19.在本发明的一个实施例中，所述容器包括视频预处理、ai算法仓库、调度处理、视频后处理、数据协议接口服务、应用集成管理与远程物联控制。
20.在本发明的一个实施例中，所述数据协议接口服务包括modbus、mqtt、http(s)、restful与coap中的一种或几种。
21.本发明还提供一种边缘计算视频图像智能处理装置，包括：
22.上述任一项所述的边缘计算视频图像智能处理设备；
23.边缘计算处理物理硬件，用于提供包括ai算力、视频后处理、视频编解码与图像处理的硬件加速计算能力，为ai算法提供支撑。
24.本发明的上述技术方案相比现有技术具有以下优点：
25.1、本发明所述的边缘计算视频图像智能处理方法利用ai算法进行检测识别，有效减少视频传输带宽，降低耗能，并减少人工成本，提高检测识别效率；
26.2、边缘计算视频图像智能处理设备通过容器化部署方式，消除了硬件环境差异，可以将容器环境及其应用程序封装迁移，适配性高；可根据不同的使用场景与需求在容器内部署不同功能的应用程序，显著提高了边缘计算视频图像智能处理设备的集成性；
27.3、容器内部署数据协议接口服务支持多种物联协议，实现边缘安全控制；ai算法仓库支持主流深度学习框架，加速ai算法在边缘端的快速迁移，缩短了算法移植周期；
28.4、边缘计算视频图像智能处理装置采用模块化设计的边缘计算处理物理硬件，与容器内应用程序相对应来实现不同的功能，提高了装置集成性，使其应用场景更广，在二次开发、部署、应用与运维时更加简单高效，成本更低。
附图说明
29.为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中
30.图1是本发明实施例提供的边缘计算视频图像智能处理方法的步骤流程图；
31.图2是本发明实施例提供的一种边缘计算视频图像智能处理设备的结构示意图；
32.图3是本发明实施例提供的包含多个容器及边缘计算视频图像智能处理功能操作系统的组成示意图。
具体实施方式
33.下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
34.参照图1所示，本发明实施例提供了一种边缘计算视频图像智能处理方法包括：
35.s1：获取外部感知监控设备采集的实时视频数据；
36.s2：对所述实时视频数据进行预处理获取实时图像序列；
37.对实时视频数据进行清晰化增强得到实时图像序列；所述清晰化增强包括滤波降噪处理、边缘锐化处理、对比度增强处理以及图像分割处理中的一种或几种。
38.s3：利用ai算法对所述实时图像序列进行推理分析得到结构化图像序列；
39.其中，ai算法包括异常检测、行为分析、目标检测、场景分割、人脸识别、人体属性识别、车辆车牌识别、车辆属性识别与目标再识别中的一种或几种。
40.s4：对所述结构化图像序列进行视频后处理得到目标图像序列；
41.对结构化图像序列进行再编码、叠加目标图像框及属性信息，绘制目标运动轨迹。
42.s5：将所述目标图像序列通过应用集成输出到管理终端的应用界面。
43.参照图2所示，基于上述实施例，本发明的实施例提供的一种边缘计算视频图像智能处理设备，包括存储器，用于存储操作系统，所述操作系统包括至少一个容器；处理器，用于执行操作系统及其容器中的计算机程序来实现上述的边缘计算视频图像智能处理方法。
44.具体地，不同容器内封装的功能模块可包括视频预处理、视频后处理、ai算法仓库、调度处理、数据协议接口服务、应用集成管理与远程物联控制中的一种或几种。其中，视频预处理包括对实时数据进行清晰化增强，所述清晰化增强包括滤波降噪处理、边缘锐化处理，对比度增强处理以及图像分割处理中的任意一种或几种；所述视频后处理包括对实时数据进行再编码、叠加目标图像框及属性信息与绘制目标运动轨迹；ai算法库包括视频图像处理算法、场景分割算法、目标检测算法、人脸识别算法、人体属性设别算法、行为识别算法、异常识别算法、车牌识别算法、车辆属性识别算法与目标再识别算法等；数据协议接口服务包括modbus、mqtt、http(s)、restful、coap等，支持各种主流物联协议，实现边缘安全控制；多种协议支持各类摄像机、硬盘录像机等设备的接入，经过视频联网、多媒体计算、计算机视觉、人工智能ai算法推理决策，由设备自主或远程人机交互辅助下，完成物联设备闭环控制，实现端到端的视觉人工智能应用。
45.参照图3所示，具体地，操作系统可部署一个或多个容器，容器内封装有多种功能的应用程序，用于实现视频图像等数据的获取、存储、ai分析、处理、转发与输出；应用调度引擎，用于调用所述容器内的功能模块；ai推理引擎支持深度学习架构算法模型的迁移和推理，包括tensorflow、pytorch、caffe、mxnet、paddle等，加速了ai算法在边缘设备上的快速迁移，缩短了算法移植周期；视频处理引擎提供视频接入、视频转发、视频录制、视频回看等功能，并兼容多种视频联网协议，支持gb/t 28181《安全防范视频监控联网系统信息传输、交换、控制技术要求》协议、gat 1400《公安视频图像信息应用系统》及onvif开放式网络视频接口论坛协议等，支持边缘视频联网多媒体计算。操作系统上可部署至少一个容器，每个容器均有独立的api接口，应用调度引擎通过独立api接口调用容器内封装的功能模块；采用容器化软件部署方案，大幅度加快了应用开发部署速度，降低了实施运维的成本。
46.本发明实施例所提供的边缘计算视频图像智能处理设备支持多种主流物联通讯协议，实现边缘安全控制；通过在操作系统上容器化部署各功能单元的应用程序，消除了硬件环境差异，可封装迁移，适配性高，显著提高了边缘计算视频图像智能处理设备的集成性，使其应用场景更广，在二次开发、部署、应用与运维更加简单高效，成本更低。
47.显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。