基于深度学习的实时监控方法、系统、设备和可读介质与流程

1.本发明涉及电子设备，尤其涉及基于深度学习的实时监控方法、系统、设备和可读介质。


背景技术：

2.目前的研究中关于目标检测以及跟踪的方法有很多种，即使攻克了视频监控系统中的部分难点，但是更多更具深度的困难问题依然等待着我们去探索解决，例如特殊天气状态下(如下雨天、雾霾天)的系统适用性问题、光照强度自适应问题等等。这些问题如果不能得到有效的解决，那么视频智能监控系统的进一步完善和应用推广也会很不利。


技术实现要素：

3.鉴于上述现有技术的不足之处，本发明的目的之一在于提供基于深度学习的实时监控方法，使用多次识别的方式，保证即使在特殊环境下，也能实现对于非法入侵的实时监控。
4.本发明的目的之二在于提供实时监控系统。
5.本发明的目的之三在于提供电子设备。
6.本发明的目的之四在于提供计算机可读介质。
7.为了达到上述目的，本发明采取了以下技术方案：
8.一方面，本发明提供一种基于深度学习的实时监控方法，包括：
9.获取监控区域的视频数据，并对所述视频数据进行预处理得到若干目标图像；所述目标图像为具有异常数据的图像；
10.针对若干所述目标图像使用基于深度学习的第一识别模型进行目标检测与跟踪，得到每个目标图像的感兴趣区域；所述感兴趣区域为监控区域中存在入侵风险的区域；
11.对若干感兴趣区域对应的视频片段使用行为分析方法进行识别，判定是否为非法入侵。
12.进一步的，所述的基于深度学习的实时监控方法，所述预处理包括：
13.将所述视频数据进行分解得到多个第一图像；
14.使用背景差分法在多个所述第一图像中筛选得到若干预处理图像；
15.将若干所述预处理图像进行图像增强得到若干目标图像。
16.进一步的，所述的基于深度学习的实时监控方法，所述视频数据包括昼视频数据和夜视频数据；所述第一图像包括第一昼图像和第一夜图像；
17.所述背景差分法包括步骤：
18.获取监控区域的标准背景图像；所述标准背景图像包括昼背景图像和夜背景图像；
19.将所述第一图像与所述标准背景图像进行比对分析，判定具有运动目标的为目标图像。
20.进一步的，所述的基于深度学习的实时监控方法，所述第一识别模型通过以下步骤得到：
21.获取第一训练集；所述第一训练集包括若干存在入侵风险的第一训练图像；
22.使用所述第一训练集对初始化的基于深度学习的图像识别模型进行训练得到所述第一识别模型。
23.进一步的，所述的基于深度学习的实时监控方法，所述行为分析方法包括步骤：
24.对所述视频片段投入到入侵识别模型中，判定是否存在非法入侵情况；所述入侵识别模型基于隐马尔可夫模型生成。
25.进一步的，所述的基于深度学习的实时监控方法，还包括：
26.当判定为非法入侵后，发出报警信息。
27.进一步的，所述的基于深度学习的实时监控方法，所述非法入侵包括闯入行为和爬窗行为。
28.另一方面，本发明还提供一种使用前述任一所述的基于深度学习的实时监控方法的实时监控系统，包括：
29.获取模块，用于获取监控区域的视频数据，并对所述视频数据进行预处理得到若干目标图像；
30.处理模块，用于针对若干所述目标图像使用基于深度学习的第一识别模型进行目标检测与跟踪，得到每个目标图像的感兴趣区域；所述感兴趣区域为监控区域中存在入侵风险的区域；对若干感兴趣区域对应的视频片段使用行为分析方法进行识别，判定是否为非法入侵。
31.另一方面，本发明还提供一种电子设备，包括：
32.处理器；
33.存储器，存储有计算机程序；所述计算机程序在被所述处理器执行时实现如前述任一所述的基于深度学习的实时监控方法。
34.另一方面，本发明还提供一种计算机可读介质，存储有计算机程序，所述计算机程序在被处理器执行时实现如前述任一所述的基于深度学习的实时监控方法。
35.相较于现有技术，本发明提供的基于深度学习的实时监控方法、系统、设备和可读介质，具有以下有益效果：
36.使用本发明提供的实时监控方法，首先基于预处理得到目标图像，在从若干目标图像中识别得到每个目标图像中可能存储入侵风险的感兴趣区域，然后根据识别到感兴趣区域去所述视频数据中提取对应的视频片段，最终是用相似度量的行为分析方法最终确认是否为非法入侵，经过多次图像或视频识别，最终确定是否为具有非法入侵风险，安全系数大大提高，避免了误报警或不报警，能适应不同的环境条件，识别能力大大提高。
附图说明
37.图1是本发明提供的实时监控方法的流程图；
38.图2是本发明提供的图像增强步骤的流程图；
39.图3是本发明提供的图像增强步骤一种实施方式的流程图；
40.图4是本发明提供的实时监控系统的结构框图。
具体实施方式
41.为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
42.本领域技术人员应当理解，前面的一般描述和下面的详细描述是本发明的示例性和说明性的具体实施例，不意图限制本发明。
43.本文中术语“包括”，“包含”或其任何其他变体旨在覆盖非排他性包括，使得包括步骤列表的过程或方法不仅包括那些步骤，而且可以包括未明确列出或此类过程或方法固有的其他步骤。同样，在没有更多限制的情况下，以“包含...一个”开头的一个或多个设备或子系统，元素或结构或组件也不会没有更多限制，排除存在其他设备或其他子系统或其他元素或其他结构或其他组件或其他设备或其他子系统或其他元素或其他结构或其他组件。在整个说明书中，短语“在一个实施例中”，“在另一个实施例中”的出现和类似的语言可以但不一定都指相同的实施例。
44.除非另有定义，否则本文中使用的所有技术和科学术语具有与本发明所属领域的普通技术人员通常所理解的相同含义。
45.请参阅图1，本发明提供一种基于深度学习的实时监控方法，应用于中控终端，所述中控终端包括云端、服务器、移动终端，内部加载有基于深度学习的第一识别模型；具体应用为社区的安全监控，具体的实时监控系统包括摄像头和与中控终端，摄像头装设在需要进行监控的位置，例如一栋多层楼房的一个侧面，中控终端能够实时接收到摄像头的监控视频数据，进而跟视频数据进行识别，判断是否有非法入侵情况发生。
46.具体的，所述摄像头优选为使用可以根据光线强度调整工作的摄像头，例如带有夜视功能的摄像头，在日落后或光线强度较低时就开始使用夜视功能。当然，针对同一监控区域还可以使用两个摄像头进行视频数据获取，一个是普通摄像头，专用于在光线强度较高时使用，另一个为夜视摄像头，专用于在光线强度较低时使用。
47.所述基于深度学习的实时监控方法包括：
48.s1、获取监控区域的视频数据，并对所述视频数据进行预处理得到若干目标图像；所述目标图像为具有异常数据的图像；所述监控区域包括但不限于房门走廊、楼房一个侧面，当然还可以是其他建筑物的可出入位置的一定区域，具体根据实际需求进行确定。
49.所述视频数据的来源包括摄像头的实时检测数据以及摄像头检测到的存储数据，即实时监控针对某一时空下的实时监控，还针对某一段监控视频的自动识别。例如，某一楼房的一个住户丢了东西，若是查看监控视频的某一时段，可能需要将该段时间内的监控视频播放一遍才行，但是适用本发明提供的实时监控方法，即可快速将其中的非法入侵的片段识别出来，用以参考。
50.进一步的，所述预处理用于提取目标图像，所述预处理可以是将所述视频数据进行分解，得到视频数据中的每一帧画面，进而根据一定的识别算法获取想要的画面作为目标图像即可。本领域的技术人员可以根据实际需求选择适当的识别算法用于获取所述目标图像。
51.一般的，所述摄像头的监控区域内的画面内容变化不大，所述异常数据为当前的监控区域内出现了不同的不变化，例如在监控某一楼房的某一侧面后，在监控画面中飞入
saturation intensity，视觉色彩空间)的multi-scale retinex(多尺度retinex图像增强)算法，依据图像本身的特点选取滤波函数的尺度，将各种尺度的图像增强效果进行自动的融合，在保持背景平滑的前提下突出目标的细节特征。然后按照韦伯规律和人的视觉特点选择尺度参数，使得处理后得到的图像亮度以及对比度明显改善。
64.具体的，图像增强算法包括以下步骤：
65.s11、将原rgb(红绿蓝色彩系统)图像转化到hsi空间。
66.hsi中的三个分量可以从以下关于r、g、b的计算方法中得到：
[0067][0068][0069][0070][0071]
s12、自适应尺度参数选择。
[0072]
在hsi空间中，首先对图像进行区域划分，然后在每个区域对图像进行自适应尺度参数选择。
[0073]
对二维函数进行求解时，把图像的梯度和背景强度两个方面的信息考虑在内，根据这两方面的渐变率，将图像像素上不同的亮度划分到不同的区域上。其中，用字母i(x，y)表示图像背景强度，经过对图像中邻域像素的加权求平均的方式得到图像的背景强度：
[0074][0075]
其中，m、n、r代表权值，公式中的l是四邻域在图片的对角线中组成的集合。
[0076]
用以下公式来计算图像像素的最大差值i(目的在于对图像的亮度区域进行划分)：
[0077][0078]
i1＝a*id，i2＝b*id，i3＝c*id[0079]
其中，a＝0.01，b＝0.5，c＝0.7。i1、i2、i3分别是低亮度、中亮度、高亮度的阈值。
[0080]
梯度阀值gi(i＝1、2、3)，用来代表图像的渐变率，通过以下公式计算得到：
[0081]
[0082]
一旦确定下来图像属于哪个亮度区域之后，开始对不同的区域里面的图像计算该区域中的参数，具体公式如下：
[0083]
图像属于低亮度区域，则计算参数的公式如下所示：
[0084][0085][0086]
图像属于中亮度区域，则计算参数的公式如下所示：
[0087]
σ2＝d2 w
i2
·
abs(i(x，y)-i2) w
g2
·
abs(g(x，y)-g2·
i(x，y))
[0088]wi2
＝α
·
log(i(x，y)/i2)，w
g2
＝β
·
log(g(x，y)/(g2·
i(x，y)))
[0089]
图像属于高亮度区域，则计算参数的公式如下所示：
[0090]
σ3＝d3 w
i3
·
abs(i(x，y)-i3) w
g3
·
abs(g(x，y)-g3·
i(x，y)2)
[0091]wi3
＝α
·
log(i(x，y)/i3)，w
g3
＝β
·
log(g(x，y)/(g3·
i(x，y)2))
[0092]
上面公式中的d1、d2、d3，是基准参数，最后得出的参数的取值范围都在这三个参数d1、d2、d3，上下波动，在这里选取的三个参数分别为d1＝30、d2＝80、d3＝120；i(x，y)代表图像的背景强度，g(x，y)代表图像的梯度；w(ii)和w(gi)(i＝1，2，3)分别代表的是图像的背景强度和梯度权值，如果想要对背景强度和图像的梯度进行调整，则可以直接调节α和β，这两个参数的数值越大说明对亮度的影响越明显，在实际的应用过程中，是通过图像的整个亮度的程度来选择所需的α和β值。
[0093]
s13、不同尺度信息融合。
[0094]
用上面的步骤中提到的选择尺度参数的方法来替换之前在msr(multi-scale retinex，)方法中的固定的参数，利用这种方法对图像进行增强操作，得到的增强后的图像的公式如下所示：
[0095][0096]
s14、把图形从his的形式变换到rgb形式。
[0097]
进一步的，作为优选方案，本实施例中，所述视频数据包括昼视频数据和夜视频数据；所述第一图像包括第一昼图像和第一夜图像；进一步的，所述夜视频数据是通过具有夜视功能的摄像头拍摄得到。
[0098]
所述背景差分法包括步骤：
[0099]
获取监控区域的标准背景图像；所述标准背景图像包括昼背景图像和夜背景图像；
[0100]
将所述第一图像与所述标准背景图像进行比对分析，判定具有运动目标的为目标图像。
[0101]
具体的，本实施例的实施，可以保证无论是黑夜还是白天都可以高效、高精度的识别视频数据中的非法入侵情况。
[0102]
进一步的，作为优选方案，本实施例中，所述第一识别模型通过以下步骤得到：
[0103]
获取第一训练集；所述第一训练集包括若干存在入侵风险的第一训练图像；
[0104]
使用所述第一训练集对初始化的基于深度学习的图像识别模型进行训练得到所
述第一识别模型。具体的，所述基于深度学习的图像识别模型的模型网络包括：反向传播(bp算法)算法、聚集神经网络。
[0105]
进一步的，作为优选方案，本实施例中，所述行为分析方法包括步骤：
[0106]
对所述视频片段投入到入侵识别模型中，判定是否存在非法入侵情况；所述入侵识别模型基于隐马尔可夫模型生成。
[0107]
本实施例中，仅需要提前知道特定异常行为(例如闯入行为和爬窗行为)的判断标准，再根据这个标准从视频序列提出目标的外形等运动特性信息，运行这些特性人工进行建模即可。本实施例中，所述入侵识别模型通过隐马尔可夫模型生成。
[0108]
首先对人体边缘进行特征提取，并使用支持向量机(svm)方式把行为分成正常和异常两种；在行为建模的过程中，运用混合隐马尔科夫模型方式，再运用时间的可靠性度量识别异常行为；进而采用定位检测，跟踪运动目标的运动轨迹，然后针对轨迹采取建模，实现异常行为的识别。
[0109]
当然，在具体实施中，还可以使用相似度量的行为分析方法，所述相似度量的行为分析方法，不需要提前定义人的行为模型，自动的在视频序列中学习正常的行为的方式，达到异常行为的识别。
[0110]
具体的检测流程为：对视频片段进行分段处理得到若干视频子段，从视频子段中提取特征组成矢量特征，运用聚类以及相似度量进行行为分析，把类别少的视频段作为异常。
[0111]
进一步的，作为优选方案，本实施例中，还包括：
[0112]
当判定为非法入侵后，发出报警信息。进一步的，所述报警信息包括向管理人员、安保人员以及业主发送的报警信息，还包括针对入侵者(例如小偷)的驱离报警信息。具体的，本领域的技术人员可以根据实际需求以及报信息发送的对象使用不同的提醒方式，例如针对管理人员、安保人员以及业主，使用向移动终端发出示警短信息的方式，对于入侵者则利用距离其最近的扬声器，大声发出驱离告警音等。
[0113]
请参阅图4，本发明还提供一种使用前述任一实施例所述的基于深度学习的实时监控方法的实时监控系统，包括：
[0114]
获取模块，用于获取监控区域的视频数据，并对所述视频数据进行预处理得到若干目标图像；
[0115]
处理模块，用于针对若干所述目标图像使用基于深度学习的第一识别模型进行目标检测与跟踪，得到每个目标图像的感兴趣区域；所述感兴趣区域为监控区域中存在入侵风险的区域；对若干感兴趣区域对应的视频片段使用行为分析方法进行识别，判定是否为非法入侵。
[0116]
本发明还提供一种电子设备，包括：
[0117]
处理器；
[0118]
存储器，存储有计算机程序；所述计算机程序在被所述处理器执行时实现如前述任一实施例所述的基于深度学习的实时监控方法。
[0119]
所述电子设备可以实时为任一种智能设备，例如云端、服务器、计算机、移动终端等。
[0120]
本发明还提供一种计算机可读介质，存储有计算机程序，所述计算机程序在被处
理器执行时实现如前述任一实施例所述的基于深度学习的实时监控方法。
[0121]
计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0122]
在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。
[0123]
可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。