基于图像识别的资产分类方法、系统、终端及存储介质与流程

1.本技术涉及图像识别领域，尤其是涉及一种基于图像识别的资产分类方法、系统、终端及存储介质。


背景技术：

2.随着物联网技术的发展，全球物联网设备数量呈爆发式增长，而问题也随之而来；一方面，网络管理员对于入网设备的数量、类型、品牌等存在未知情况；另一方面，某些漏洞是针对特定品牌和类型的设备，如果不了解设备的品牌类型，很难做到有效地防范。
3.视频监控网络作为物联网技术发展的一个重要分支，已经成为智慧城市建设中的重要组成部分；视频监控网络中存在大量的摄像头、硬盘录像机、视频监控及运维服务器等，这些视频设备就是视频资产。
4.目前对视频资产进行识别分类的方式是通过拍摄实体设备的照片，再根据照片对视频资产进行识别分类；然而，实际上很难做到对每个实体设备拍摄照片，并且照片的拍摄角度和拍摄质量都能影响对视频资产的识别和分类。


技术实现要素：

5.本技术提供一种基于图像识别的资产分类方法、系统、终端及存储介质，具有提高了对视频资产识别分类的操作便捷性的特点。
6.本技术目的一是提供一种基于图像识别的资产分类方法。
7.本技术的上述申请目的一是通过以下技术方案得以实现的：基于图像识别的资产分类方法，包括：获取视频设备的web响应页面图片；利用特征提取技术对web响应页面图片进行特征提取得到图像特征；调取预设的置信度关系库，并根据置信度关系库和图像特征得到图像特征对应的类别置信度；所述置信度关系库内存储有图像特征、类别置信度及图像特征与类别置信度之间的对应关系；基于预设的图片类别置信度计算规则，根据图像特征和图像特征的类别置信度得到web响应页面图片的图片类别置信度；根据web响应页面图片的图片类别置信度确定视频设备的类别信息。
8.通过采用上述技术方案，先获取视频设备的web响应页面图片，图片中会包含有可能代表视频设备类型和品牌的图像特征，然后对图像特征进行处理，根据图像特征的置信度确定图片的类别置信度，进而确定视频设备的类别，从而提高了对视频资产识别分类的操作便捷性。
9.本技术在一较佳示例中可以进一步配置为，所述获取视频设备的web响应页面图片的步骤包括：
利用网络扫描技术模拟生成http请求；基于http请求，对视频设备的web开放端口进行扫描得到web响应页面；对web响应页面进行截图得到web响应页面图片。
10.本技术在一较佳示例中可以进一步配置为，所述基于预设的图片类别置信度计算规则，根据图像特征和图像特征的类别置信度得到web响应页面图片的图片类别置信度的步骤包括：所述图片类别置信度计算规则包括第一规则；所述第一规则包括：将web响应页面图片中所有图像特征的类别置信度与第一预设置信度比较；若存在一图像特征的类别置信度大于第一预设置信度；将该图像特征的类别置信度视作web响应页面图片的图片类别置信度。
11.本技术在一较佳示例中可以进一步配置为，所述基于预设的图片类别置信度计算规则，根据图像特征和图像特征的类别置信度得到web响应页面图片的图片类别置信度的步骤包括：所述图片类别置信度计算规则包括第二规则；所述第二规则包括：当web响应页面图片中所有的图像特征的类别置信度均小于第一预设置信度时；比较web响应页面图片中所有图像特征的类别置信度；选取其中类别置信度第一高和类别置信度第二高的图像特征，并计算二者的置信度差值，将该差值与第二预设置信度比较，若差值大于置信度阈值，且二者的类别信息不同，将类别置信度第一高的图像特征标记为第一待计算特征；获取第一待计算特征的类别信息；获取其余的图像特征的类别信息，并将其与第一待计算特征的类别信息比较，保留其余的图像特征中类别信息相同的图像特征，并选择其中置信度第一高的图像特征，将该图像特征标记为第二待计算特征；基于第二规则包含的计算规则，根据第一待计算特征的类别置信度和第二待计算特征的类别置信度得到web响应页面图片的图片类别置信度。
12.本技术在一较佳示例中可以进一步配置为，所述计算规则包括：m1＝1-[(1-m2)
×
(1-m3)]；其中，m1表示图片类别置信度，m2表示第一待计算特征的类别置信度，m3表示第二待计算特征的类别置信度。
[0013]
本技术在一较佳示例中可以进一步配置为，所述基于预设的图片类别置信度计算规则，根据图像特征和图像特征的类别置信度得到web响应页面图片的图片类别置信度的步骤包括：所述图片类别置信度计算规则包括第三规则；所述第三规则包括：当web响应页面图片中所有的图像特征的类别置信度均小于第一预设置信度，当类别置信度第一高和类别置信度第二高的图像特征之间的置信度差值小于置信度阈值，且二者的类别信息不同时；
将类别置信度第一高的图像特征的类别信息标记为第一种类别信息；将类别置信度第二高的图像特征的类别信息标记为第二种类别信息；基于第二规则，对第一种类别信息对应的图像特征的置信度计算得到第一置信度；基于第二规则，对第二种类别信息对应的图像特征的置信度计算得到第二置信度；计算第一置信度和第二置信度的差值，将该差值与预设差值阈值比较，若该差值大于预设差值阈值，则将第一置信度视作web响应页面图片的图片类别置信度。
[0014]
本技术在一较佳示例中可以进一步配置为，所述基于预设的图片类别置信度计算规则，根据图像特征和图像特征的类别置信度得到web响应页面图片的图片类别置信度的步骤包括：所述图片类别置信度计算规则包括第四规则；所述第四规则包括：当第一置信度和第二置信度的差值小于预设差值阈值时；获取第一种类别信息对应的类别置信度前三高的图像特征；基于第四规则包含的计算规则，根据图像特征的置信度得到图像特征的比例信息，根据图像特征的比例信息和置信度计算出第一种类别信息对应的类别置信度；获取第二种类别信息对应的类别置信度前三高的图像特征；基于第四规则包含的计算规则，根据图像特征的置信度得到图像特征的比例信息，根据图像特征的比例信息和置信度计算出第二种类别信息对应的类别置信度；比较两个类别置信度，将更大的类别置信度视作web响应页面图片的图片类别置信度。
[0015]
本技术目的二是提供一种基于图像识别的资产分类系统。
[0016]
本技术的上述申请目的二是通过以下技术方案得以实现的：一种基于图像识别的资产分类系统，包括：获取模块，用于获取视频设备的web响应页面图片；提取模块，用于利用特征提取技术对web响应页面图片进行特征提取得到图像特征；调取模块，用于调取预设的置信度关系库，并根据置信度关系库和图像特征得到图像特征对应的类别置信度；所述置信度关系库内存储有图像特征、类别置信度及图像特征与类别置信度之间的对应关系；计算模块，用于基于预设的图片类别置信度计算规则，根据图像特征和图像特征的类别置信度得到web响应页面图片的图片类别置信度；确定模块，用于根据web响应页面图片的图片类别置信度确定视频设备的类别信息。
[0017]
本技术目的三是提供一种智能终端。
[0018]
本技术的上述申请目的三是通过以下技术方案得以实现的：一种智能终端，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行的上述基于图像识别的资产分类方法的计算机程序指令。
[0019]
本技术目的四是提供一种计算机介质，能够存储相应的程序。
[0020]
本技术的上述申请目的四是通过以下技术方案得以实现的：一种计算机可读存储介质，存储有能够被处理器加载并执行上述任一种基于图像识别的资产分类方法的计算机程序。
[0021]
综上所述，本技术包括以下至少一种有益技术效果：通过对视频设备web响应页面进行截图，从图片中获取图像特征，根据图像特征的置信度来确定图片的置信度，进而确定图片所属的类别；通过这种方式，不需要对视频设备实体结构进行拍照就可以确认出视频设备的类别和品牌，提高了对视频资产识别分类的操作便捷性。
附图说明
[0022]
图1是本技术实施例中基于图像识别的资产分类方法的流程示意图。
[0023]
图2是本技术实施例中基于图像识别的资产分类系统的结构示意图。
[0024]
附图标记说明：1、获取模块；2、提取模块；3、调取模块；4、计算模块；5、确定模块。
具体实施方式
[0025]
本具体实施例仅仅是对本技术的解释，其并不是对本技术的限制，本领域人员在阅读完本说明书后可以根据需要对本实施例作出没有创造性贡献的修改，但只要在本技术的权利要求范围内都受到专利法的保护。
[0026]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的全部其他实施例，都属于本技术保护的范围。
[0027]
下面结合说明书附图对本技术实施例做进一步详细描述。
[0028]
随着科技的发展，物联网成为人们生活中的一部分；从物流到快递，从智慧城市到智能家居，万物互联的思维正在深入人心；而视频监控作为物联网技术发展的一个重要分支，已经成为智慧城市建设中的重要组成部分；在已经投入运营的视频监控网络中，存在大量相关设备，这些设备属于视频资产，为了更有效地盘点和梳理这些视频资产，本技术提供一种基于图像识别的资产分类方法。
[0029]
本技术提供的方法的主要流程描述如下。
[0030]
如图1所示：步骤s101：获取视频设备的web响应页面图片。
[0031]
在本技术实施例中，先利用网络扫描技术模拟生成http请求，然后基于http请求，对视频设备的web开放端口进行扫描得到web响应页面；然后对web响应页面进行截图得到web响应页面图片；可以理解的是，在上述过程中，是在网络扫描的基础上，通过访问视频设备的开放的web服务，然后对视频设备响应的web页面进行截图。
[0032]
步骤s102：利用特征提取技术对web响应页面图片进行特征提取得到图像特征。
[0033]
在得到了web响应页面图片中，利用特征提取技术对图片进行特征提取，从而得到了数量不定的图像特征；这里的图像特征存在有表示该图片对应的视频设备所属的类型或
品牌信息；具体的提取过程与常规技术中的提取过程相同，在此不再赘述。
[0034]
步骤s103：调取预设的置信度关系库，并根据置信度关系库和图像特征得到图像特征对应的类别置信度。
[0035]
在本技术实施例中，每个图像特征都被赋予了一个类别置信度，这里的类别置信度可以理解为，图像特征a所属类别a的概率或可信度；即，若图片中包含图像特征a，则图像特征a的类别置信度就表示该图片属于这个类别的置信度，上述例子仅为示例性说明。
[0036]
置信度关系库内存储有图像特征、类别置信度及图像特征与类别置信度之间的对应关系，那么在知道图像特征和置信度关系库后，就可以根据二者推断出每个图像特征的类别置信度。
[0037]
步骤s104：基于预设的图片类别置信度计算规则，根据图像特征和图像特征的类别置信度得到web响应页面图片的图片类别置信度。
[0038]
在本技术实施例中，图片类别置信度计算规则包括多条子规则，这些子规则是应对不同情况下的图片，具体地，图片类别置信度计算规则包含四条子规则。
[0039]
图片类别置信度计算规则包含第一规则，第一规则如下：将web响应页面图片中所有图像特征的类别置信度与第一预设置信度比较；若存在一图像特征的类别置信度大于第一预设置信度；将该图像特征的类别置信度视作web响应页面图片的图片类别置信度。
[0040]
根据步骤s101-s103可以得到图片中所有的图像特征以及这些图像特征的类别置信度；这里的第一预设置信度是一个决定性的阈值，即，如果存在置信度超过第一预设置信度的图像特征，则可以直接将这个图像特征的类别置信度视作web相应页面图片的图像类别置信度；例如，图片a中包含图像特征a，图像特征a的属于i类别的置信度为95％，超过了第一预设置信度90％，则可以将图像特征a的置信度95％直接视作图片a的置信度，即，表明图片a属于i类别的可能性为95％。
[0041]
图片类别置信度计算规则包含第二规则，第二规则如下：当web响应页面图片中所有的图像特征的类别置信度均小于第一预设置信度时；比较web响应页面图片中所有图像特征的类别置信度；选取其中类别置信度第一高和类别置信度第二高的图像特征，并计算二者的置信度差值，将该差值与第二预设置信度比较，若差值大于置信度阈值，且二者的类别信息不同，将类别置信度第一高的图像特征标记为第一待计算特征；获取第一待计算特征的类别信息；获取其余的图像特征的类别信息，并将其与第一待计算特征的类别信息比较，保留其余的图像特征中类别信息相同的图像特征，并选择其中置信度第一高的图像特征，将该图像特征标记为第二待计算特征；基于第二规则包含的计算规则，根据第一待计算特征的类别置信度和第二待计算特征的类别置信度得到web响应页面图片的图片类别置信度。
[0042]
在使用第二规则的前提下，是图片不满足第一规则中的要求，即，图片中所有的图像特征的置信度均低于第一预设置信度，那么表明此时图片中不存在能够直接代表图片的图像特征，那么此时就需要通过第二规则对图片的类别置信度进行计算。
[0043]
首先对图像特征的类别置信度进行比较，选择出其中类别置信度前二高的图像特征，在保证二者所属类别不同的前提下，计算二者的置信度之差，再将这个差值与第二预设置信度进行比较，若差值更大，则说明虽然这两个图像特征的类别置信度是前二高的，但是二者之间的差距较大，因此只选择第一个图像特征作为判别基准即可。
[0044]
将类别置信度第一高的图像特征标记为第一待计算特征，这样便于区分；确定了第一待计算特征之后，获取其所属类别，然后在剩余的图像特征中找到和第一待计算特征所属类别相同的图像特征，并选择其中置信度最高的图像特征，将这个图像特征标记为第二待计算特征；然后再基于第二规则包含的计算规则，根据第一待计算特征和第二待计算特征的类别置信度得到屠屏的类别置信度。
[0045]
为详细说明上述过程，下面进行举例说明；图片a中包含图像特征a、图像特征b、图像特征c和图像特征d；其中，图像特征a的i类别置信度为85％，图像特征b的ii类别置信度为70％，图像特征c的i类别置信度为68％，图像特征d的j类别置信度为50％；四个图像特征的类别置信度均未超过第一预设置信度90％，那么适用第二规则；计算a和b的置信度差值为15％，大于第二预设置信度10％，则将图像特征a标记为第一待计算特征；a所属的类别为i，从剩余的图像特征中挑选出同样所属类别为i的图像特征c，然后根据计算规则进行计算即可。
[0046]
在本技术实施例中，计算规则是一个具体的计算公式，如下：m1＝1-[(1-m2)
×
(1-m3)]；其中，m1表示图片类别置信度，m2表示第一待计算特征的类别置信度，m3表示第二待计算特征的类别置信度。
[0047]
根据这个计算公式，将上述例子中的a和c的置信度代入其中，可以算出m1为95.2％，则这个置信度就为最终的图片类别置信度；在第二规则下，通过比较图像特征的置信度，选择出拥有最高置信度的图像特征，但是在第二规则中，图像特征都是不满足第一规则要求的，那就表示即使是最高置信度的图像特征也不能直接用来表示图片的置信度，需要对图像特征进行进一步处理，根据具体的计算公式计算出最终的图片置信度；通过这种方式，使得图片类别置信度计算规则本身更为严谨和全面，能够适配多种情况，从而提高了对图片类别识别的便捷性和精确性，进而提高了对视频资产类型识别的便捷性和精确性。
[0048]
图片类别置信度计算规则包括第三规则，第三规则如下：当web响应页面图片中所有的图像特征的类别置信度均小于第一预设置信度，当类别置信度第一高和类别置信度第二高的图像特征之间的置信度差值小于置信度阈值，且二者的类别信息不同时；将类别置信度第一高的图像特征的类别信息标记为第一种类别信息；将类别置信度第二高的图像特征的类别信息标记为第二种类别信息；基于第二规则，对第一种类别信息对应的图像特征的置信度计算得到第一置信度；基于第二规则，对第二种类别信息对应的图像特征的置信度计算得到第二置信度；计算第一置信度和第二置信度的差值，将该差值与预设差值阈值比较，若该差值大于预设差值阈值，则将第一置信度视作web响应页面图片的图片类别置信度。
[0049]
可以理解的是，第三规则是对第二规则的补充说明；即，第二规则是在图片中所有的图像特征均不满足置信度大于第一预设置信度，且置信度第一高和第二高的图像特征之间的置信度差值大于第二预设置信度，表示图片中的图像特征不存在置信度非常高的情况，但是存在有一个图像特征高于其余的图像特征的情况，并且差距较大；而第三规则针对的是，同样有一个图像特征的置信度高于其余的图像特征的置信度，但是差距不是很大；这就说明，对于图片而言，置信度第一高和第二高的图像特征都会对图片的类别识别造成影响，那么在计算图片的类别置信度时，就需要将两者都考虑在内。
[0050]
在第三规则的计算过程中，引入了第二种类别信息，然后分别基于第二规则的计算公式，算出了对应第一种类别信息和第二种类别信息的第一置信度和第二置信度；然后计算二者的差值，将其与阈值比较，若差值大于阈值，则说明第一种类别信息才是图片所属的类别信息；具体的计算过程与第二规则相似，在此不再赘述。
[0051]
图片类别置信度计算规则包括第四规则，第四规则如下：当第一置信度和第二置信度的差值小于预设差值阈值时；获取第一种类别信息对应的类别置信度前三高的图像特征；基于第四规则包含的计算规则，根据图像特征的置信度得到图像特征的比例信息，根据图像特征的比例信息和置信度计算出第一种类别信息对应的类别置信度；获取第二种类别信息对应的类别置信度前三高的图像特征；基于第四规则包含的计算规则，根据图像特征的置信度得到图像特征的比例信息，根据图像特征的比例信息和置信度计算出第二种类别信息对应的类别置信度；比较两个类别置信度，将更大的类别置信度视作web响应页面图片的图片类别置信度。
[0052]
第四规则是对第三规则的补充说明；在第三规则中，最后一层判断为第一置信度与第二置信度的差值与阈值的比较，第三规则针对的是差值大于阈值的情况，而第四规则针对的是差值小于阈值的情况；即，在第四规则中，若对两种类别信息的置信度计算过程中，将两个图像特征作为参考项进行计算得到的结果仍然无法表现出图片的类别倾向性，那么就需要引入第三个图像特征，然后更改计算方式，从而提高图片类别置信度结果的计算准确性。
[0053]
具体地，针对第四规则进行示例性说明；在一个示例中，图片a中包括图像特征a，所属i类别，置信度为85％；图像特征b，所属ii类别，置信度为80％；图像特征c，所属ii类别，置信度为70％；图像特征d，所属ii类别，置信度为65％；图像特征e，所属i类别，置信度为75％；图像特征f，所属i类别，置信度为70％；在该示例中，图片a满足第四规则的要求；对上述图像特征进行整理，属于第一种类别信息i的图像特征为a、e和f，属于第二种类别信息ii的图像特征为b、c和d；这里默认提供的各自类别的三个图像特征即为类别置信度前三高的图像特征，其余置信度更低的图像特征不予展示；在获取到类别信息对应的类别置信度前三高的图像特征后，利用第四规则包含的计算规则进行计算，从而计算出了别信息对应的类别置信度。
[0054]
在本技术实施例中，第四规则包含的计算规则如下：根据图像特征的置信度确定图像特征的比例信息；根据图像特征的比例信息计算出三个图像特征中任两个图像特征的比例信息之和；根据第二规则包含的计算规则计算出三个图像特征中任两个图像特征的整体置信度；挑选三个图像特征中任两个图像特征一共有三种情况，将每种情况对应的比例信息与整体置信度相乘，再将三个值相加得到总体置信度；通过这种方式，分别计算出第一种类别信息和第二种类别信息的总体置信度，将二者进行比较，选择其中更大的总体置信度，并将这个总体置信度视作图片的类别置信度。
[0055]
下面进行举例说明；图片a中包含图像特征a，所属i类别，置信度为80％；图像特征b，所属ii类别，置信度为85％；图像特征c，所属i类别，置信度为70％；图像特征d，所属ii类别，置信度为75％；图像特征e，所属i类别，置信度为50％；图像特征f，所属ii类别，置信度为45％。
[0056]
其中，ace同属i类别，bdf同属ii类别；计算i类别下三个图像特征的比例信息；
50％/(80％ 70％ 50％)＝25％，表示e特征在三个特征中所占比例为25％；同理计算出a占比例为40％，c占比例为35％；那么ac的比例信息之和为75％，ae的比例信息之和为65％，ce的比例信息之和为60％；通过第二规则包含的计算规则可以算出，ac的置信度为94％，ae的置信度为90％，ce的置信度为85％；然后计算任两个图像特征的置信度与比例信息之和的乘积，得到94％*75％ 90％*65％ 85％*60％＝70.5％ 58.5％ 51％＝180％；这里的180％就表示i类别的总体置信度；同理，计算出ii类别的总体置信度为184％，将两个总体置信度进行比较，最终将ii类别的总体置信度视作图片的类别置信度。
[0057]
通过上述对规则的阐述，可以使得利用本方案中的图片类别置信度计算规则可以精确便捷地计算出图片的类别置信度。
[0058]
步骤s105：根据web响应页面图片的图片类别置信度确定视频设备的类别信息。
[0059]
通过步骤s104确定了图片的类别置信度后，根据该置信度就可以确定图片所属类别；在本技术实施例中，默认为图片类别置信度对应的类别，即为图片的类别。
[0060]
上述步骤s101-s105为本技术的一个示例，其说明了如何根据通过图片及图片中的图像特征确定图片所属的类别，从而实现对视频资产的识别，提高了对视频资产识别分类的精确性和便捷性。
[0061]
本技术还提供一种基于图像识别的资产分类系统，如图2所示，一种基于图像识别的资产分类系统包括，获取模块1，用于获取视频设备的web响应页面图片；提取模块2，用于利用特征提取技术对web响应页面图片进行特征提取得到图像特征；调取模块3，用于调取预设的置信度关系库，并根据置信度关系库和图像特征得到图像特征对应的类别置信度；置信度关系库内存储有图像特征、类别置信度及图像特征与类别置信度之间的对应关系；计算模块4，用于基于预设的图片类别置信度计算规则，根据图像特征和图像特征的类别置信度得到web响应页面图片的图片类别置信度；确定模块5，用于根据web响应页面图片的图片类别置信度确定视频设备的类别信息。
[0062]
为了更好地执行上述方法的程序，本技术还提供一种智能终端，智能终端包括存储器和处理器。
[0063]
其中，存储器可用于存储指令、程序、代码、代码集或指令集。存储器可以包括存储程序区和存储数据区，其中存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令以及用于实现上述基于图像识别的资产分类方法的指令等；存储数据区可存储上述基于图像识别的资产分类方法中涉及到的数据等。
[0064]
处理器可以包括一个或者多个处理核心。处理器通过运行或执行存储在存储器内的指令、程序、代码集或指令集，调用存储在存储器内的数据，执行本技术的各种功能和处理数据。处理器可以为特定用途集成电路、数字信号处理器、数字信号处理装置、可编程逻辑装置、现场可编程门阵列、中央处理器、控制器、微控制器和微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本技术实施例不作具体限定。
[0065]
本技术还提供一种计算机可读存储介质，例如包括：u盘、移动硬盘、只读存储器(read only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。该计算机可读存储介质存储有能够被处理器加载并执行上述基于图像识别的资产分类方法的计算机程序。
[0066]
以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其他技术方案。例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。