一种面向自定义业务场景的智能视频分析的方法和存储设备与流程

1.本发明涉及人工智能技术领域，特别涉及一种面向自定义业务场景的智能视频分析的方法和存储设备。


背景技术：

2.随着物联网、人工智能、云计算和大数据等技术的快速发展，图片、视频等通过视觉传递信息的方式也不断地发展和优化，在我们日常的生活和工作中越来越多地接触到智能化视频的应用，比如人脸抓拍识别、行为分析、区域入侵检测、
3.火焰及烟雾检测等等。深度学习技术的兴起，视频以及图像的处理受到了广泛的关注，智能视频分析技术也逐渐往智能化快速的发展，随着5g时代的到来，无线视频监控更易于部署，更便利的优势推动着更多领域的发挥，智能化将成为视频分析的主流配置，未来的应用将延伸到政府、公用事业、教育、社区及金融行业等领域，发展空间广阔。
4.随着高清摄像机的普及，视频数据量呈爆炸式的增长，视频分析技术也不断的发展和变化，越来越多的行业对智能视频分析的要求也越来越高，应用的场景相比以往更为宽泛，也更为细化，这对智能分析提出了更高的要求。目前大多的视频分析主要针对不同的业务场景开发不同的算法模型及配套的应用分析任务，同时需要面临真实场景下的各种复杂的因素的挑战，比如光照变化、模糊、形变、拥挤场景、镜头抖动、延迟等问题，需要不断调整策略，从更具体化的、更贴近实战的角度切入，针对不同业务场景、不同环境进行定制不同的解决方案，以达到要求不同、功能不同、专业性更强的目的。
5.目前智能视频分析技术主要利用相机拍摄到图像/视频进行智能分析，实现对画面信息实时分析，并对区域内的运动目标进行自动识别，同时对识别出来的目标进行跟踪和报警。现有技术主要存在以下几个问题。
6.1、不能同时兼容复杂、多变的业务场景
7.目前大部分的视频分析，需针对不同的业务场景定制化开发，共享化、智能化、集成化程度不够，不能很好地适应复杂及多变的业务场景，需针对不同的业务场景，进行定制化开发，产品定制化能力较弱。
8.2、业务场景流程编排不灵活
9.智能视频分析具有行业化、专业化、具体化等要求，针对各行各业有自己的特色，需根据不同的特殊要求和不同的侧重点，制定不同的解决方案，需提供一种灵活的流程编排，及自动化的事件触发机制及消息通知机制，才能为客户提供更便捷、更易用的个性化定制机制，目前大部分平台不能灵活扩展，缺乏图形化的编排能力。
10.3、无法便捷地动态调整视频算法模型及在线自定义业务规则
11.由于视频算法模型存在较大不确认性，需经常调整及测试，影响视频分析准确率的要素非常多，包括物体或摄像机的晃动，光线的变化，动态物体、模糊、形变、拥挤场景等等，环境因素无法预期，模型算法存在很多的不确定性，需要在不同业务场景进行不断调整变化，需提供自定义插件、自定规则的工具，以适应不同业务场景需求，目前大部分产品不
提供在线自定义扩展功能，只能进行个性化功能开发。


技术实现要素：

12.为此，需要提供一种面向自定义业务场景的智能视频分析的方法，用以解决视频分析技术不能同时兼容复杂、多变的业务场景、业务场景流程编排不灵活等技术问题，具体技术方案如下：
13.一种面向自定义业务场景的智能视频分析的方法，包括步骤：
14.将场景应用类别进行最小颗粒度的拆分；
15.对视频分析的功能划分成不同识别模式；
16.响应视频分析指令，根据视频分析需求自定义业务场景，并基于预设的流程化的流水线编排工具进行视频分析。
17.进一步的，所述“并基于预设的流程化的流水线编排工具进行视频分析”，具体还包括步骤：
18.基于deepstream构建视频分析流水线，对输入视频流进行处理。
19.进一步的，所述“基于deepstream构建视频分析流水线”，具体还包括步骤
20.接入视频终端设备，通过视频流混合插件从多个输入源形成一批缓冲区；
21.结合业务场景定制的流程环节定义的模型算法，利用模型推理插件进行多层次模型推理，生成对应的目标框或分类信息；
22.通过图像分析的跟踪器插件，进行唯一id的对象跟踪，生成跟踪目标信息；
23.通过多数据流铺瓦插件形成2d帧数组；
24.通过屏幕显示插件使用生成的元数据在合成帧上，生成识别视频流推送到rtsp流媒体服务；
25.通过消息转换器和消息代理插件结合使用，将分析数据发送到对应的消息队列。
26.进一步的，所述“对输入视频流进行处理”，具体还包括步骤：
27.消费视频服务分析推送的分析结果，并结合业务场景流程节点定义的分析策略及相关规则，进行数据分析；
28.若涉及需要进行人脸识别，则调用人脸识别服务，将识别结果整合到分析服务的业务规则判定中；
29.将数据分析的结果推送到消息队列中，供下一流程环节进行消费；
30.若流程环节的告警策略需要进行录制服务，生成录制调用消息，推送到消息队列，供视频录制服务进行消费，视频录制服务消费录制服务消息队列，获取违章信息，生成告警信息，推送到消息队列供其它模块调用。
31.进一步的，所述“响应视频分析指令，根据视频分析需求自定义业务场景”前，具体还包括步骤：
32.顶置可视化业务场景编程工具；
33.所述“根据视频分析需求自定义业务场景”，具体还包括步骤：
34.在可视化业务场景编程工具上通过拖拽部件实现逻辑化过程。
35.进一步的，所述“响应视频分析指令”后，具体还包括步骤：
36.设定移动检测阈值，读取视频分析输出的运动侦检测结果、运动区域个数、总报警
像素数和每个运动区域的坐标信息；
37.读取检测到的运动区域个数，若个数不为零则进行下一步的判断，若个数为零则认为当前帧不存在运动物体，等待下一帧判断；
38.判断运动区域是否在用户划定的检测框内，给出检测框内的运动区域信息，随后其他检测到的运动区域都要做相同判断；
39.确定用户划定的检测区域内的所有运动区域后，对检测区域内的所有运动区域面积进行求和得到运动区域总面积，求出运动区域总面积占此检测区域面积的比值，若比值大于等于用户设定的面积占比阈值，则进入下一步视频分析；若比值小于用户设定的面积占比阈值，则不进行进一步视频分析。
40.进一步的，所述不同识别模式包括但不限于：通用识别、定制特定环境的模式识别。
41.进一步的，所述处理包括以下中的一种或多种：视频流解码、预处理、推理、rtsp视频流的推送、推送目标检测结果至消息队列并截图、分析服务消费相关的消息开展告警信息。
42.为解决上述技术问题，还提供了一种存储设备，具体技术方案如下：
43.一种存储设备，其中存储有指令集，所述指令集用于执行：上述所提及的一种面向自定义业务场景的智能视频分析的方法的任意步骤。
44.本发明的有益效果是：一种面向自定义业务场景的智能视频分析的方法，包括步骤：将场景应用类别进行最小颗粒度的拆分；对视频分析的功能划分成不同识别模式，所述不同识别模式包括但不限于：通用识别、定制特定环境的模式识别；通过场景应用类别的最小颗粒度划分和视频分析功能划分后，当响应视频分析指令时，可以根据视频分析需求自定义业务场景，无论这个视频分析需求如何，均可以通过以上的最小颗粒度场景应用类别与视频分析功能的组合来满足其需求，并基于预设的流程化的流水线编排工具进行视频分析。整个方法可满足不同行业在不同场景的视频分析需求，为各行业的客户实行定制产品和定制服务。
45.进一步的，基于gstreamer平台实现的即插即用的架构，使得开发人员不仅可以灵活地使用nvidia自带的插件，还可以使用其它开源插件或创建自己的插件并在管道中使用它。
附图说明
46.图1为具体实施方式所述一种面向自定义业务场景的智能视频分析的方法的流程图；
47.图2为具体实施方式所述一种面向自定义业务场景的智能视频分析的应用模块示意图；
48.图3为具体实施方式所述图形化编程工具界面示意图；
49.图4为具体实施方式所述智能识别算法服务模块总体架构示意图；
50.图5为具体实施方式所述智能识别算法服务模块的模型服务实现过程示意图；
51.图6为具体实施方式所述智能识别算法服务模块的视频分析服务实现过程示意图；
52.图7为具体实施方式所述智能识别算法服务模块的分析服务实现过程示意图；
53.图8为具体实施方式所述智能识别算法服务模块生成告警消息推送给本体软件模块的示意图；
54.图9为具体实施方式所述一种存储设备的模块示意图。
55.附图标记说明：
56.900、存储设备。
具体实施方式
57.为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
58.请参阅图1至图8，在本实施方式中，一种面向自定义业务场景的智能视频分析的方法可应用在一种存储设备上，所述存储设备包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备等。
59.本技术的核心技术思想在于：针对不同业务场景，建立视频识别能力体系模型，基于不同模型算法的能力定制不同的能力指标，通过可视化的流程编排工具，自定义不同的业务场景，来满足不同场景的需求。通过拖拉拽的方式完成整个业务场景过程的定义，基于插件式、流式组件拼装式的程序框架，结合规则引擎及消息平台实现业务能力的扩展，完成整个流水线管道贯通，以适应不同业务场景的复杂和多变的需求。
60.以下展开具体说明，其中在软件模块上面，如图2所示，主要是通过智能识别算法服务模块和本体软件模块来配搭对视频检测终端采集的视频进行视频分析。
61.其主要基于流程化编排及插件方式构建ai驱动的智能视频分析应用服务，提供实时视频流分析，包含实时视频编解码、神经网络推理、及相关的分析服务。将ai模型与业务分析规则进行解耦，提供多种训练框架适配及统一的调用接口，采用http、rtsp、mqtt、gb/28181等数据传输协议对各种类型视频采集终端进行统一接入，结合规则引擎、函数计算域流处理等机制实现数据交互共享，实现ai的实时智能视频分析服务。
62.以下会展开具体说明：
63.步骤s101：将场景应用类别进行最小颗粒度的拆分。
64.步骤s102：对视频分析的功能划分成不同识别模式。其中所述不同识别模式包括但不限于：通用识别、定制特定环境的模式识别。
65.步骤s103：响应视频分析指令，根据视频分析需求自定义业务场景，并基于预设的流程化的流水线编排工具进行视频分析。
66.以下从整个存储设备的主要模块来对以上步骤s101-步骤s103展开具体说明：
67.需要说明的是，本技术针对的视频监控终端是由各类智能视频终端组成，实现作业现场多维度视频数据的全覆盖采集，满足对作业现场全景的感知，奠定数字化安全管控视频分析服务基础。主要通过本体软件模块提供终端设备的管理，采用http、rtsp、mqtt、gb/28181等数据传输协议对各种类型视频采集终端进行统一接入，可以灵活自定义维护视频监控终端，主要提供终端设备的分类管理，并对终端设备基本信息及相关策略信息进行维护，具体的实现方式如下：
68.设备的管理，主要包括设备类型、接入协议、设备ip、设备编号、设备位置、移动检
测阈值、场景相似度、检测间隔、默认行为识别类型、识别区域，是否启用等。
69.移动检测，主要通过视频侦测分析通过检测视频的亮度变化，得出视频侦测分析结果。亮度的彩色图像的方法表示采用ycbcr色彩空间和它的变形，y是图像的亮度分量，使用以下公式计算，为r,g,b分量的加权平均值：y＝kr r kgg kbb，建议在计算y时，经验推荐权重值选择为kr＝0.299,kg＝0.587,kb＝0.114。于是常用的转换公式如下：
70.y＝0.299r 0.587g 0.114b
71.而图像的亮度y则是移动侦测算法中视频帧的唯一的对比参数，依靠各像素点的亮度y变化进行后续移动侦测的判定。
72.故此对于是否对视频进行下一步分析，所述“响应视频分析指令”后，具体还包括步骤：
73.1)步骤1：设定移动检测阈值(像素点的亮度的平均值)，读取视频分析输出的运动侦检测结果，运动区域个数，总报警像素数和每个运动区域的坐标信息；
74.2)步骤2：读取检测到的运动区域个数，若个数不为零则进行下一步的判断，若个数为零则认为当前帧不存在运动物体，等待下一帧判断；
75.3)步骤3：判断运动区域是否在用户划定的检测框内，给出检测框内的运动区域信息，随后其他检测到的运动区域都要做相同判断；
76.4)步骤4：确定用户划定的检测区域内的所有运动区域后，对检测区域内的所有运动区域面积进行求和得到运动区域总面积，然后求出运动区域总面积占此检测区域面积的比值，若比值大于等于用户设定的面积占比阈值，则进入下一步视频分析；若比值小于用户设定的面积占比阈值，则不进行进一步分析。
77.(3)、识别区域的定义,针对不同的模型行为识别，可以自定义识别的视频区域，当人物或目标进入指定区域后，智能分析算法才会对区域内的运动目标进行自动识别。
78.其中步骤s103是由智能识别算法服务模块和本体软件模块二者相互配合完成的，以下从这两个模块对步骤s103展开具体说明：
79.首先来看本体软件模块：
80.本体软件：提供业务场景管理、算法模型更新等服务，同时为智能识别算法服务模块提供人脸特征信息、视频来源、分析策略、模型、告警规则及策略等信息，具体的实现如下：
81.步骤1：构建能力体系模型，结合智能算法服务的模型服务提供的目标检测、分类等模型能力，定义能力体系模型，对视频分析的功能划分成通用识别能力指标、定制特定环境的模式识别的能力指标，提供对算法模型识别结果进行自定义规则解析或转换，或对多个指标进行整合二次转发的能力。能力指标示例如下：
82.例如目标检测类能力指标是指前端产品智能识别人或物入侵的行为，并对潜在的危险行为进行报警的一种功能。当人或物进入指定区域或视频区域后，智能摄像机会对视频区域内出现的运动目标进行自动识别，同时对识别出来的目标进行跟踪和报警，通用的能力指标比如人的识别、未戴口罩、标识牌识、安全帽识别、仪表仪器等设备识别等。特定领域作业的能力指标比如登高作业未佩戴安全带、交通事件的检测、巡检检测等。
83.步骤2：提供图形化编程工具，简单而强大的流程编排工具。基于图形化定制开发可视化业务场景定制工作，通过拖拽部件来实现逻辑化过程，提供连接设备硬件，webapi，
功能函数，以及各类在线服务，通过它丰富的部件来拓展功能和定制个性化的业务场景。如图3所示。
84.步骤3：自定义业务场景，将场景应用按类别进行最小颗粒度的拆分，对视频分析的功能要求划分能力模型的能力指标可以支撑或组装的能力的集合。以下以“电力现场作业的数字化安全管控”的业务场景为例，该业务场景主要整合作业现场各类设备数据、人员信息、视频图像，依托业务逻辑、安全规范或约束条件在内的系列判定规则(判定规则库)，结合智能识别算法模型，对视频终端数据进行实时智能分析，对作业风险及时提醒、违章行为自动告警，实现作业本地化安全管控。结合业务管控点梳理，涉及视频分析管控点主要有作业现场是否布置标识牌、是否布置安全围栏、作业人员着装是否规范、是否正确佩戴安全帽、正在登高作业的人员是否佩戴了安全带、验电、挂接地线时是否佩戴绝缘手套、绝缘梯上有人工作时无人扶梯等。
85.步骤4：业务场景视频分析流程编排，结合不同的业务管控点定义多个子管控流程。以下以“验电、挂接地线时是否佩戴绝缘手套”管控流程为例。
86.1)、选择“硬件设备”流程节点，配置对应的视频终端设置的连接信息，可以一个或多个视频输入。
87.2)、选择多个“目标识别检测”流程节点，并配置对应流程节点与能力指标进行对应，主要包括验电笔识别、操作杆识别、人的识别、未佩戴绝缘手套等。
88.3)、创建“数据分析”流程环节，结合目标识别的检测信息及业务安全管控策略在线定义规则，当识别到验电笔或操作杆等目标时，并且目标框信息，与人的目标框架信处存在超过阀值比重交集时，当前业务场景识别为“带电作业”；人的目标框信息与未佩戴绝缘手套目标框信息超过阀值比重的交集时，当前视频帧识别为“存在违规作业的视频帧”；当连续一定阀值的视频帧中(例如20帧)存在超过一定比例(例如0.5),的违章，并且离上次同类告警距离时间不超过一定阀值(例如10s)，则生成违章信息，
89.4)、连接“消息发送”流程环节，将生成的违章信息推送到录制服务消息队列，进入下一个业务流程
90.步骤5：由图形化编排工具，完成整个业务场景业务的流程的编排定义，依托智能识别算法服务模块，及流程环节的自定义，实现各个流程环节贯通。
91.以下对智能识别算法服务模块展开具体说明：
92.实现多路视频设备接入，实现数据统一汇聚，提供脸抓拍识别、行为分析、区域入侵检测、火焰及烟雾检测等智能分析服务，满足对实时视频违章行为和风险的识别和告警，总体架构如图4所示。
93.智能识别算法服务模块，主要由模型服务、视频服务、分析服务、录制服务及人脸识别服务组成，具体的实现过程如下所示：
94.1、模型服务，通过模型服务实现相关业务场景的算法模型，构建业务场景的能力指标体系，提供智能化分析提供分析能力的支撑，主要提供模型的训练、模型压缩、模型量化、模型转换及边缘设备模型部署等流程线工具。如图5所示。
95.2、视频分析服务，基于deepstream构建视频分析流水线，实现对输入视频流解码、预处理、推理的模块及rtsp视频流的推送，将目标检测结果推送给消息队列并截图，分析服务消费相关的消息开展告警分析。如图6所示，以下展开具体说明：
96.基于gstreamer的构建视频分析流水线，由一组gstreamer插件组成，以形成一个完整的流水线框架，具体的实现过程如下：
97.步骤1：接入视频终端设备，通过视频流混合插件(gst-nvstreammux)从多个输入源形成一批缓冲区。
98.步骤2：结合业务场景定制的流程环节定义的模型算法，利用模型推理插件(gst-nvinfer)进行多层次进行模型推理，主要是目标检测和分类，生成对应的目标框或分类信息。
99.步骤3：利用图像分析的跟踪器插件(gst-nvtracker)，进行唯一id的对象跟踪，生成跟踪目标信息。
100.步骤4：利用多数据流铺瓦插件(gst-nvmultistreamtiler)用于形成2d帧数组。
101.步骤5：利用屏幕显示(osd)插件(gst-nvdsosd)使用生成的元数据在合成帧上绘制阴影框、矩形和文本，生成识别视频流推送到rtsp流媒体服务。
102.步骤6：利用消息转换器(gst-nvmsgconv)和消息代理(gst-nvmsgbroker)插件结合使用，将分析数据发送到对应的消息队列。
103.3、分析服务，结合目标检测结果及业务场景自定义的告警规则，对实时视频目标、行为、风险的进行综合识别分析，并生成对应的告警信息，并推送到消息队列，具体的实现过程参考图7如下所示：
104.步骤1：消费视频服务分析推送的分析结果，并结合业务场景流程节点定义的分析策略及相关规则，进行数据分析。
105.步骤2：若涉及需要进行人脸识别，需调用人脸识别服务。人脸识别服务，结合人脸特征库，提供人验识别服务，将生成的识别结果整合到分析服务的业务规则判定中。
106.步骤3：将数据分析的结果推送到消息队列中，供下一流程环节进行消费。
107.步骤4：若流程环节的告警策略需要进行录制服务，生成录制调用消息，推送到消息队列，供视频录制服务进行消费。录制服务，消费录制服务消息队列，对推送的rtsp视频流进行小视频录制或截图。通过消费消息队列违章信息，对视频流进行截图、画识别框、文字标注及查找相匹配的视频，生成告警信息，推送到消息队列供本体软件模块进行调用，具体的实现流程如图8所示。
108.以上方法，一是适应共享化、智能化、集成化的发展要求，满足不同行业在不同场景的视频分析需求。基于业务场景的自定义流程化模型，可以灵活编排整个视频分析流程，通过标准配置与专业定制相结合的方式，针对视频分析技术的普遍性和具体性，为各行业的客户实行定制产品和定制服务。
109.二是：提供图形化编程工具，简单而强大的流程编排工具。基于node-red定制开发可视化业务场景定制工作，通过拖拽部件来实现逻辑化过程，提供连接设备硬件，webapi，功能函数，以及各类在线服务，通过它丰富的部件来拓展功能和定制个性化的业务场景。
110.三是：基于插件式，流式组件拼装式的程序框架，灵活高效的扩展及定制化。基于gstreamer平台实现的即插即用的架构，使得开发人员不仅可以灵活地使用nvidia自带的插件，还可以使用其它开源插件或创建自己的插件并在管道中使用它。
111.请参阅图9，以下对存储设备900的具体实现进行说明：
112.一种存储设备900，其中存储有指令集，所述指令集用于执行：上述所提及的一种
面向自定义业务场景的智能视频分析的方法的任意步骤。
113.需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。