一种基于机器视觉的非法广告检测方法及系统与流程

技术特征：
1.一种基于机器视觉的非法广告检测方法，其特征在于，包括：步骤1：采集目标区域的街景图片，利用目标检测算法，识别所述街景图片中的疑似图片广告区域和疑似文字广告区域；步骤2：分别对所述疑似图片广告区域和疑似文字广告区域进行广告检测，确定图片广告和文字广告；步骤3：当检测到所述图片广告和文字广告不处于合法位置时，确定为非法广告，对所述非法广告的位置进行标定并报警。2.根据权利要求1所述的一种基于机器视觉的非法广告检测方法，其特征在于，步骤1中，采集目标区域的街景图片包括：根据所述目标区域的图文密集度确定对所述目标区域的采集次数和采集角度；根据所述采集次数和采集角度，对所述目标区域进行图像采集，得到图像数据；基于所述目标区域的建筑物特征、道路特征，确定所述目标区域的坐标数据；将所述图像数据和坐标数据进行识别匹配，得到街景图片。3.根据权利要求1所述的一种基于机器视觉的非法广告检测方法，其特征在于，步骤1中，利用目标检测算法，识别所述街景图片中的疑似图片广告区域和疑似文字广告区域包括：对预先获取的图片数据集进行标注，作为训练集，训练得到目标检测模型；将所述街景图片输入至所述目标检测模型中，输出所述街景图片中的位置信息，并对所述位置信息添加类别标签；基于所述位置信息和类别标签，确定所述街景图片中的疑似图片广告区域和疑似文字广告区域。4.根据权利要求1所述的一种基于机器视觉的非法广告检测方法，其特征在于，步骤2中，对所述疑似图片广告区域进行广告检测，确定图片广告包括：对预先获取的广告图片和非广告图片进行标注，根据标注结果，训练得到二分类模型；将所述疑似图片广告区域输入所述二分类模型中，确定所述疑似图片广告区域是否为图片广告。5.根据权利要求1所述的一种基于机器视觉的非法广告检测方法，其特征在于，步骤2中，对所述疑似文字广告区域进行广告检测，确定文字广告包括：对预设文字广告进行特征提取，获取文本集中文本区域包含像素值之间的关系特征；对所述疑似文字广告区域进行二值化处理，得到二值化图片，并对所述二值化图片进行遍历，截取满足所述关系特征的矩形框；基于所述矩形框在所述二值化图片的面积占比，设定文字广告的文本面积占比阈值；对所述矩形框中的文本信息进行识别，得到文本内容，对所述文本内容进行分词处理得到若干词向量，将所述若干词向量输入语义识别分类器中，将所述若干词向量分为不同的语义类型，并对在同一语义类型下的词向量进行特征提取，获得特征词向量序列；基于所述疑似文字广告区域中语义类型的出现次数，对所述语义类型设置重要程度，基于所述重要程度，确定所述特征词向量序列的重要程度值；基于所述文本面积占比阈值、所述特征词向量序列及其对应的重要程度值，确定所述疑似文字广告区域的第一整体特征；
获取所述疑似文字广告区域与预设文字广告中语义类型相同的相似特征词向量序列，基于所述特征词向量序列及其对应的重要程度值，确定所述疑似文字广告区域第一部分特征，获取所述疑似文字广告区域与预设文字广告中语义类型不相同的无关特征词向量序列，基于所述无关特征词向量序列，确定所述疑似文字广告区域的第二部分特征；基于所述第一部分特征、第二部分特征得到所述疑似文字广告区域的第二整体特征；将所述第一整体特征输入文本广告格式识别模型中，确定所述疑似文字广告区域是否满足文字广告格式；对所述第二整体特征进行语义分析，并根据语义分析结果，确定所述第二整体特征是否满足文字广告语义规则；当所述第一整体特征满足文字广告格式，且所述第二整体特征满足文字广告语义规则时，确定所述疑似文字广告区域为文字广告。6.根据权利要求5所述的一种基于机器视觉的非法广告检测方法，其特征在于，基于所述第一部分特征、第二部分特征得到所述疑似文字广告区域的第二整体特征包括：基于所述第一部分特征确定所述疑似文字广告区域与预设文字图片的相似特征，基于所述第二部分特征确定所述疑似文字广告区域与预设文字图片的差异特征，并确定所述相似特征与差异特征之间的占比特征；根据所述相似特征、差异特征、占比特征，得到所述疑似文字广告区域的第二整体特征。7.根据权利要求4所述的一种基于机器视觉的非法广告检测方法，其特征在于，对预先获取的广告图片和非广告图片进行标注，根据标注结果，训练得到二分类模型包括：对预设模型建立参数配置，建立预训练模型；将对预先获取的广告图片进行第一标注，对非广告图片进行第二标注；将所述广告图片和非广告图片作为训练集，对所述预训练模型进行训练，直到经过第一标注的图片从第一分类口输出的数量大于预设阈值，且经过第二标注的图片从第二分类口输出的数量大于预设阈值，得到所述二分类模型。8.根据权利要求1所述的一种基于机器视觉的非法广告检测方法，其特征在于，步骤3中，当检测到所述图片广告和文字广告不处于合法位置，确定为非法广告，对所述非法广告的位置进行标定并报警包括：获取所述图片广告和文字广告在所述街景图片的第一区域，对所述第一区域进行特征点提取，并确定所述特征点的单个属性和所述特征点之间的关联属性；获取所述第一区域的地址信息，从街景图片集中获取存在所述地址信息的相关街景图片，并从所述相关街景图片中获取所述地址信息所在的第二区域，其中，所述第二区域为多个，表示不同视角下的第一区域；基于所述第二区域建立场景分布中的决策树，并利用所述单个属性和关联属性对所述决策树进行遍历，其中所述决策树包括多个节点，每个节点对应所述特征点的相关测试，确定所述特征点的检测值；基于所述特征点的检测值确定所述第一区域的置信度，并判断所述置信度是否大于预设置信阈值；若是，将所述第一区域作为目标区域；
否则，基于所述特征点的检测值、第二区域，对所述第一区域的特征点进行校正，得到目标区域；获取所述目标区域的模拟场景，将所述模拟场景输入预先训练好的场景分类模型中，确定所述目标区域包括的多个场景类型；确定所述多个场景类型中不能投放广告的目标场景类型，确定所述目标场景类型对应的第三区域；基于城市管理法则，设计非法区域标定算法，基于所述非法区域标定算法，对所述第三区域进行非法区域标定，确定第四区域；判断所述图片广告和文字广告的具体位置与所述第四区域是否发生重叠；若是，获取重叠区域，并确定所述重叠区域在所述第四区域的占比；若所述占比不超过预设占比，确定所述图片广告和文字广告的位置合法，所述所述图片广告和文字广告为合法广告，并对所述重叠区域进行标定并进行第一预警提醒；若所述占比不超过预设占比，确定所述图片广告和文字广告的位置不合法，所述所述图片广告和文字广告为非法广告，并对所述重叠区域进行标定并进行第二预警提醒；否则，确定所述图片广告和文字广告的位置合法，所述所述图片广告和文字广告为合法广告，不进行报警提醒。9.根据权利要求5所述的一种基于机器视觉的非法广告检测方法，其特征在于，对所述第二整体特征进行语义分析，并根据语义分析结果，确定所述第二整体特征是否满足文字广告语义规则，包括：将所述第二整体特征与预设标准广告的第三整体特征进行比较，确定所述第二整体特征和第三整体特征的相似度；判断所述相似度是否大于预设集合相似度阈值；若是，基于所述第二整体特征，结合所述相似度，计算所述第二整体特征为满足广告语义规则的概率p；若所述概率大于预设概率，确定所述疑似文字广告区域满足文字广告语义规则；否则，确定所述疑似文字广告区域不满足文字广告语义规则。10.一种基于机器视觉的非法广告检测系统，其特征在于，包括：采集识别模块：用于采集目标区域的街景图片，利用目标检测算法，识别所述街景图片中的疑似图片广告区域和疑似文字广告区域；分类检测模块，用于分别对所述疑似图片广告区域和疑似文字广告区域进行广告检测，确定图片广告和文字广告；报警模块，用于当检测到所述图片广告和文字广告不处于合法位置，确定为非法广告，对所述非法广告的位置进行标定并报警。

技术总结
本发明提供了一种基于机器视觉的非法广告检测方法及系统，包括：采集目标区域的街景图片，利用目标检测算法，识别所述街景图片中的图片区域和文字区域；分别对所述图片区域和文字区域进行广告检测，确定图片广告和文字广告；当检测到所述图片广告和文字广告不处于合法位置，确定为非法广告，对所述非法广告的位置进行标定并报警；本发明能有效地检测出非法广告的类型和区域，实现对非法广告的有效监控和管理。和管理。和管理。


技术研发人员：杨坤 曾国卿 许志强 孙昌勋 李威 刘佳宁 朱新潮
受保护的技术使用者：北京容联易通信息技术有限公司
技术研发日：2022.05.05
技术公布日：2022/7/15