一种户外大牌广告画面监控识别系统及方法与流程

1.本发明涉及物联网的技术领域，尤其涉及到一种户外大牌广告画面监控识别系统及方法。


背景技术：

2.户外大牌广告牌常见于城市道路，高速道路及建筑物楼面等户外场景，其特点是广告牌为钢结构，广告牌通常离地有18米及以上，一旦广告画面出现异常情况，需要具备高空作业的专业攀爬人士进行广告画面的修复或广告射灯的修复；
3.由于广告牌处于户外环境，风吹雨淋且容易受到极端天气的影响(如台风，雷暴等)，广告画面如果出现破损或机械装置故障，往往会严重影响广告主投放广告效果，甚至在约定广告画面发布时间内，容易出现被恶意更换，重复销售的行业陋习，进而导致广告媒体公司与广告主之间的信任度降低，服务存疑问题；同时，因为该类型户外广告牌分布区域广，离地距离远，人工巡查和监测时间成本高且准确度不高，而广告画面出现异常往往不能及时得到通知。


技术实现要素：

4.本发明的目的在于克服现有技术的不足，提供一种户外大牌广告画面监控识别系统，使得无需人工巡查也能知道户外大牌广告画面的情况，其不单能提高工作效率，还能降低运营成本。
5.为实现上述目的，本发明所提供的技术方案为：
6.一种户外大牌广告画面监控识别系统及方法，包括主控开发板、gps模块、继电器模块、摄像头模块、收发模块、服务器以及客户端；
7.其中，
8.所述摄像头模块通过继电器模块与主控开发板连接，采集户外大牌广告画面图像后，将该画面图像传送给主控开发板；采集的时间通过继电器模块控制；
9.所述gps模块与主控开发板连接，将其所对应的户外大牌广告的位置发送给主控开发板；
10.所述主控开发板与收发模块连接，通过收发模块将户外大牌广告画面图像和gps模块定位到的位置数据发送给服务器，由服务器对接收到的数据进行分析处理和储存；
11.所述服务器安装在远程的中控室内；
12.所述客户端与服务器连接，通过服务器远程监控户外大牌广告画面。
13.进一步地，所述摄像头模块采用1.6mm超广角鱼眼摄像头模组。
14.进一步地，所述客户端为智能手机、平板电脑、笔记本电脑、台式电脑中的任一种。
15.进一步地，所述收发模块采用4g、5g、nb
‑
i ot中的任一种。
16.进一步地，所述主控开发板采用rk3288处理芯片。
17.为实现上述目的，本发明另外提供一种户外大牌广告画面监控识别方法，包括以
下步骤：
18.s1、主控开发板进行自检，运行gps模块和收发模块，服务器接收各模块的状态码，实现各模块的线上监测；
19.s2、客户端进行广告牌定位信息更新，用户设定各广告牌画面抓拍时间点、抓拍间隔时间、目标广告客户的广告发布时间段；
20.s3、主控开发板获取当前世界时间，判断是否进入预设图像抓拍时间点，若未进入预定时间点，继电器模块和摄像头模块继续进入正常待机工作状态；若判断已进入预定图像抓拍时间点，由主控开发板发送指令开启继电器模块，摄像头模块通电运行，进行对应户外大牌广告画面图像数据的抓拍回传；
21.s4、已抓拍图像回传至主控开发板，确认图像数据接收完整后，继电器模块关闭，等待下一抓拍时间点；图像数据经收发模块发送至至服务器；
22.s5、首次上传图片存储为对应户外大牌广告的初始图像，设定时间内抓拍的图像为该户外大牌广告的抓拍图像，最后进行基于神经网络模型的户外大牌广告画面识别。
23.进一步地，所述进行基于神经网络的户外大牌广告画面识别，包括训练户外大牌广告画面识别模型以及通过训练好的户外大牌广告画面识别模型对户外大牌广告画面进行识别。
24.进一步地，训练户外大牌广告画面识别模型的具体过程如下：
25.s01、初始图像转换为灰度，并进行像素标记，其中1表示白色，
‑
1表示黑色，并且从初始图像中提取三个位置作为户外大牌广告范围的特征，成为3x3大小的卷积核；
26.s02、抓拍图像灰度化，用1，
‑
1标记像素特征，取卷积核中的任一元素值，与抓拍图像任一像素值进行相乘，等到结果为当前像素标记的卷积值，可得到新的3x3大小标记值，将9个值求平均后，得到新的像素值，也称窗口；
27.s03、得到窗口值后，窗口以步长为2向右滑动，继续计算新的特征像素值，当对抓拍图像运用卷积核计算后，得到全新的特征图；接着采用平均池化方法，对特征图的特征值依次向右滑动并取平均值；
28.s04、多次池化后，得到2x2特征图；然后对该特征图应用全连接网络，采用softmax分类函数，输出每个对应类别的概率值，概率值越接近1，即表示该像素区域与初始图像越接近，反之，概率值越接近0，表示该像素区域与初始图像越不接近；
29.s05、经softmax分类函数多次运算，并将所有像素区域的概率值相加取平均数，该平均数即为抓拍图像与初始图像的相似度值；
30.s06、多次循环步骤s01
‑
s05，经卷积
‑
平均值池化
‑
全连接网络
‑
全图概率平均值，每次抓拍的图像数据作为训练集用于户外大牌广告画面识别模型的训练，直至户外大牌广告画面识别模型收敛。
31.进一步地，通过训练好的户外大牌广告画面识别模型对户外大牌广告画面进行的识别包括画面变更识别和画面破损识别；
32.画面变更识别的过程包括：
33.1)客户端上传目标户外广告牌的广告设计画面，并填写广告画面发布时间段；同时，目标户外广告牌所对应的摄像头模块进行广告画面图像抓拍，获取目标广告画面图像；
34.2)将获取到的目标广告画面图像上传至服务器，通过训练好的户外大牌广告画面
识别模型判断广告画面图像的概率值平均数，若平均值小于0.95，则判断该目标广告画面图像为非户外广告牌特征图片，判断结果发送至客户端，并进行警报；若判定平均值大于或等于0.95，执行余弦相似度函数，若余弦值大于或等于0.93，广告设计画面与抓拍的目标广告画面图像相符合，不存在画面更换风险；否则，则认为广告设计画面与抓拍的目标广告画面图像不符合，存在画面更换风险；
35.3)客户端收到最终画面比对结果，根据约定的广告画面发布时间，判断当前广告画面是否在广告发布期内出现变更；
36.画面破损识别的过程包括：
37.在步骤2)中得到的余弦值大于或等于0.93的情况下，对广告设计画面与抓拍的目标广告画面图像均执行机器视觉卷积神经网络算法，计算各区域特征值平均数，两张图片特征数据逐一比对相减，比对值小于0.50的区域进行红线标记绘制，该标记区域即为画面破损区域。
38.与现有技术相比，本方案原理及优点如下：
39.1.本方案基于物联网的方式对户外大牌广告的画面变更或破损情况进行远程监控，使得无需人工巡查也能知道广告的画面情况，不单提高了工作效率，还降低了运营成本。
40.2.具体地，在主控开发板和图像采集模块之间连接继电器模块，通过定时的广告画面图像数据采集，经收发模块上传到服务器进行图像的分析，计算，比对，进而自动判断广告画面是否出现破损或更换，大大提高了监测的准确度和与广告主之间的广告发布信任问题。
41.3.具体地，在每个户外大牌广告处都安装gps模块，使中控室接收到每个户外大牌广告所处的位置，若监测到某一广告大牌的广告画面出现异常，客户端均可实时接收到，并通知最近的工作人员过去进行检修。
42.4.基于神经网络模型对户外大牌广告画面进行识别，保证了识别的精确度。
附图说明
43.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
44.图1为本发明所述的一种户外大牌广告画面监控识别系统的结构示意图；
45.图2为本发明所述的一种户外大牌广告画面监控识别方法的原理流程图；
46.图3为本发明所述的一种户外大牌广告画面监控识别方法中训练户外大牌广告画面识别模型的原理流程图；
47.图4为本发明所述的一种户外大牌广告画面监控识别方法中通过训练好的户外大牌广告画面识别模型对户外大牌广告画面进行识别的原理流程图。
48.附图标记：
[0049]1‑
主控开发板；2
‑
gps模块；3
‑
继电器模块；4
‑
摄像头模块；5
‑
收发模块；6
‑
服务器；7
‑
客户端。
具体实施方式
[0050]
下面结合具体实施例对本发明作进一步说明：
[0051]
如图1所示，一种户外大牌广告画面监控识别系统，包括主控开发板1、gps模块2、继电器模块3、摄像头模块4、收发模块5、服务器6以及客户端7。
[0052]
其中，
[0053]
摄像头模块4通过继电器模块3与主控开发板1连接，采集户外大牌广告画面图像后，将该画面图像传送给主控开发板1；采集的时间通过继电器模块3控制；
[0054]
gps模块2与主控开发板1连接，将其所对应的户外大牌广告的位置发送给主控开发板1；
[0055]
主控开发板1与收发模块5连接，通过收发模块5将户外大牌广告画面图像和gps模块2定位到的位置数据发送给服务器6，由服务器6对接收到的数据进行分析处理和储存；
[0056]
服务器6安装在远程的中控室内；
[0057]
客户端7与服务器6连接，通过服务器6远程监控户外大牌广告画面。
[0058]
具体地，本实施例中，摄像头模块4采用1.6mm超广角鱼眼摄像头模组。客户端7采用智能手机。收发模块5采用5g网络。主控开发板1采用rk3288处理芯片。
[0059]
如图2所示，本实施例的工作原理如下：
[0060]
s1、主控开发板1进行自检，运行gps模块2和收发模块5，服务器6接收各模块的状态码，实现各模块的线上监测；
[0061]
s2、客户端7进行广告牌定位信息更新，用户设定各广告牌画面抓拍时间点、抓拍间隔时间、目标广告客户的广告发布时间段；
[0062]
s3、主控开发板1获取当前世界时间，判断是否进入预设图像抓拍时间点，若未进入预定时间点，继电器模块3和摄像头模块4继续进入正常待机工作状态；若判断已进入预定图像抓拍时间点，由主控开发板1发送指令开启继电器模块3，摄像头模块4通电运行，进行对应户外大牌广告画面图像数据的抓拍回传；
[0063]
s4、已抓拍图像回传至主控开发板1，确认图像数据接收完整后，继电器模块3关闭，等待下一抓拍时间点；图像数据经收发模块5发送至至服务器6；
[0064]
s5、首次上传图片存储为对应户外大牌广告的初始图像，设定时间内抓拍的图像为该户外大牌广告的抓拍图像，最后进行基于神经网络模型的户外大牌广告画面识别。
[0065]
上述中，进行基于神经网络的户外大牌广告画面识别，包括训练户外大牌广告画面识别模型以及通过训练好的户外大牌广告画面识别模型对户外大牌广告画面进行识别。
[0066]
如图3所示，训练户外大牌广告画面识别模型的具体过程如下：
[0067]
s01、初始图像转换为灰度，并进行像素标记，其中1表示白色，
‑
1表示黑色，并且从初始图像中提取三个位置作为户外大牌广告范围的特征，成为3x3大小的卷积核；
[0068]
s02、抓拍图像灰度化，用1，
‑
1标记像素特征，取卷积核中的任一元素值，与抓拍图像任一像素值进行相乘，等到结果为当前像素标记的卷积值，可得到新的3x3大小标记值，将9个值求平均后，得到新的像素值，也称窗口；
[0069]
s03、得到窗口值后，窗口以步长为2向右滑动，继续计算新的特征像素值，当对抓拍图像运用卷积核计算后，得到全新的特征图；接着采用平均池化方法，对特征图的特征值依次向右滑动并取平均值；
[0070]
s04、多次池化后，得到2x2特征图；然后对该特征图应用全连接网络，采用softmax分类函数，输出每个对应类别的概率值，概率值越接近1，即表示该像素区域与初始图像越接近，反之，概率值越接近0，表示该像素区域与初始图像越不接近；
[0071]
s05、经softmax分类函数多次运算，并将所有像素区域的概率值相加取平均数，该平均数即为抓拍图像与初始图像的相似度值；
[0072]
s06、多次循环步骤s01
‑
s05，经卷积
‑
平均值池化
‑
全连接网络
‑
全图概率平均值，每次抓拍的图像数据作为训练集用于户外大牌广告画面识别模型的训练，直至户外大牌广告画面识别模型收敛。
[0073]
如图4所示，通过训练好的户外大牌广告画面识别模型对户外大牌广告画面进行的识别包括画面变更识别和画面破损识别；
[0074]
画面变更识别的过程包括：
[0075]
1)客户端7上传目标户外广告牌的广告设计画面，并填写广告画面发布时间段；同时，目标户外广告牌所对应的摄像头模块4进行广告画面图像抓拍，获取目标广告画面图像；
[0076]
2)将获取到的目标广告画面图像上传至服务器6，通过训练好的户外大牌广告画面识别模型判断广告画面图像的概率值平均数，若平均值小于0.95，则判断该目标广告画面图像为非户外广告牌特征图片，判断结果发送至客户端7，并进行警报；若判定平均值大于或等于0.95，执行余弦相似度函数，若余弦值大于或等于0.93，广告设计画面与抓拍的目标广告画面图像相符合，不存在画面更换风险；否则，则认为广告设计画面与抓拍的目标广告画面图像不符合，存在画面更换风险；
[0077]
3)客户端7收到最终画面比对结果，根据约定的广告画面发布时间，判断当前广告画面是否在广告发布期内出现变更；
[0078]
画面破损识别的过程包括：
[0079]
在步骤2)中得到的余弦值大于或等于0.93的情况下，对广告设计画面与抓拍的目标广告画面图像均执行机器视觉卷积神经网络算法，计算各区域特征值平均数，两张图片特征数据逐一比对相减，比对值小于0.50的区域进行红线标记绘制，该标记区域即为画面破损区域。
[0080]
本实施例基于物联网的方式对户外大牌广告的画面变更或破损情况进行远程监控，使得无需人工巡查也能知道广告的画面情况，不单提高了工作效率，还降低了运营成本。接着，在主控开发板1和图像采集模块之间连接继电器模块3，通过定时的广告画面图像数据采集，经收发模块5上传到服务器6进行图像的分析，计算，比对，进而自动判断广告画面是否出现破损或更换，大大提高了监测的准确度和与广告主之间的广告发布信任问题。还有的是，在每个户外大牌广告处都安装gps模块2，使中控室接收到每个户外大牌广告所处的位置，若监测到某一广告大牌的广告画面出现异常，客户端7均可实时接收到，并通知最近的工作人员过去进行检修。最后，基于神经网络模型对户外大牌广告画面进行识别，保证了识别的精确度。
[0081]
以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。