网络资产的管理方法、系统、终端设备以及程序产品与流程

1.本发明涉及网络安全技术领域，尤其涉及一种网络资产的管理方法、系统、终端设备以及计算机程序产品。


背景技术：

2.随着5g(5th generation mobile communication technology：第五代移动通信技术)时代的来临与万物互联概念的兴起，暴露在互联网中的网络资产出现了井喷式的激增现象，如此，针对网络资产进行探测识别与信息分类等管理的难度也急剧上升。
3.目前，针对网络资产进行探测与信息识别分类等采用的都是主动扫描和收集分类的方式，即，根据网络资产的特定指纹或者标志代码进行资产分类和标记。然而，在面对网络资产急剧增长的情况下，现有方式针对网络资产的识别和分类效率以及准确度等都存在缺陷。现有也存在结合机器学习来进行资产识别与分类的方式，然而，该方式也并未针对网络资产进行深入的处理和分析，且还需要大量人工辅助操作，同样效率低且准确性差。


技术实现要素：

4.本发明的主要目的在于提供一种网络资产的管理方法、系统、终端设备以及计算机程序产品，旨在实现自动化的针对网络资产进行识别和分类等管理，提升识别网络资产的效率和准确性。
5.为实现上述目的，本发明提供一种网络资产的管理方法，所述网络资产的管理方法包括：
6.获取网络资产的图像数据；
7.调用预设的深度学习图像识别模型根据所述图像数据判断所述网络资产所属的网络资产主体，其中，所述深度学习图像识别模型结合基于区域的目标定位算法和基于卷积神经网络的图像识别算法构建得到；
8.根据所述网络资产主体生成所述网络资产对应的信息报告。
9.优选地，所述网络资产的管理方法，还包括：
10.结合基于区域的目标定位算法和基于卷积神经网络的图像识别算法构建深度学习图像识别模型。
11.优选地，所述结合基于区域的目标定位算法和基于卷积神经网络的图像识别算法构建深度学习图像识别模型的步骤，包括：
12.采集网络资产主体的网络图像数据以建立训练数据集；
13.利用所述基于区域的目标定位算法确定所述训练数据集中各所述网络图像数据的候选区域；
14.将所述候选区域作为输入以针对基于卷积神经网络的图像识别算法进行训练，以构建得到用于判断各所述网络图像数据各自所属网络资产主体的深度学习图像识别模型。
15.优选地，所述利用所述基于区域的目标定位算法确定所述训练数据集中各所述网
络图像数据的候选区域的步骤，包括：
16.利用所述基于区域的目标定位算法根据所述网络资产主体的图像参数选取n个候选框，其中，n的计算公式为：
[0017][0018]
其中，e为根据网络资产探测精度和速度进行调整的可变参数，size为所述图像参数中包含的图像尺寸，mean为所述训练数据集中各所述网络图像数据size大小的加权平均；
[0019]
按照所述候选框确定所述训练数据集中各所述网络图像数据的候选区域。
[0020]
优选地，所述卷积神经网络为vgg16网络，所述将所述候选区域作为输入以针对基于卷积神经网络的图像识别算法进行训练的步骤，包括：
[0021]
将所述候选区域作为输入，以供所述图像识别算法基于所述vgg16网络针对输入的所述候选区域进行特征提取得到候选区域特征；
[0022]
构建预设层级结构基于所述候选区域特征判断各所述网络图像数据所属的网络资产主体；
[0023]
采用预设机器学习训练方式针对所述图像识别算法提取所述候选区域特征、基于所述候选区域特征判断各所述网络图像数据所属网络资产主体的过程进行训练。
[0024]
优选地，所述vgg16网络的配置参数包括输入像素、卷积核、13个卷积层和3个全链接层。
[0025]
优选地，所述调用预设的深度学习图像识别模型根据所述图像数据判断所述网络资产所属的网络资产主体的步骤，包括：
[0026]
将所述网络资产的所述图像数据输入所述深度学习图像识别模型，以供所述深度学习图像识别模型在所述图像数据中提取特征，并基于提取的特征进行判断后输出所述网络资产所属的网络资产主体。
[0027]
此外，为实现上述目的，本发明还提供一种网络资产的管理系统，所述网络资产的管理系统包括：
[0028]
获取模块，用于获取网络资产的图像数据；
[0029]
判断模块，用于调用预设的深度学习图像识别模型根据所述图像数据判断所述网络资产所属的网络资产主体，其中，所述深度学习图像识别模型结合基于区域的目标定位算法和基于卷积神经网络的图像识别算法构建得到；
[0030]
生成模块，用于根据所述网络资产主体生成所述网络资产对应的信息报告。
[0031]
其中，本发明网络资产的管理系统的各功能模块在运行时实现如上所述的网络资产的管理方法的步骤。
[0032]
此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的网络资产的管理程序，所述网络资产的管理程序被所述处理器执行时实现如上所述的网络资产的管理方法的步骤。
[0033]
此外，为实现上述目的，本发明还提供计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上所述的网络资产的管理方法的步骤。
[0034]
此外，为实现上述目的，本发明还提供一种计算机存储介质，所述计算机存储介质上存储有网络资产的管理程序，所述网络资产的管理程序被处理器执行时实现如上所述的网络资产的管理方法的步骤。
[0035]
本发明提供一种网络资产的管理方法、系统、终端设备、计算机程序产品以及计算机存储介质，通过获取网络资产的图像数据；调用预设的深度学习图像识别模型根据所述图像数据判断所述网络资产所属的网络资产主体，其中，所述深度学习图像识别模型结合基于区域的目标定位算法和基于卷积神经网络的图像识别算法构建得到；根据所述网络资产主体生成所述网络资产对应的信息报告。
[0036]
本发明在针对网络资产进行识别和分类等管理时，通过先主动扫描获取网络资产的图像数据，然后调用预先结合基于区域的目标定位算法和基于卷积神经网络的图像识别算法构建得到的深度学习图像识别模型，以利用该深度学习图像识别模型根据该网络资产的图像数据，判断该网络资产所属的网络资产主体，最后，根据利用深度学习图像识别模型判断得到的网络资产主体生成该网络资产对应的信息报告。
[0037]
本发明相比于传统收集分类或者结合机器学习仅作简单分类的网络资产管理方式，本发明结合基于区域的目标定位算法和基于卷积神经网络的图像识别算法构建深度学习图像识别模型，从而利用该模型针对网络资产的图像数据进行识别判断，从而提出了结合人工智能与自然图像数据处理技术来进行网络资产的识别分类，实现了对网络资产的图像资源进行自动化的识别与分类，极大的提高了对于网络资产进行识别和分类的效率和准确性。
附图说明
[0038]
图1为本发明实施例方案涉及的终端设备硬件运行环境的设备结构示意图；
[0039]
图2为本发明网络资产的管理方法一实施例的流程示意图；
[0040]
图3为本发明网络资产的管理方法另一实施例的流程示意图；
[0041]
图4为本发明网络资产的管理系统一实施例的功能模块示意图。
[0042]
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0043]
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0044]
参照图1，图1为本发明实施例方案涉及的终端设备硬件运行环境的设备结构示意图。
[0045]
本发明实施例终端设备可以是装载有需要进行测试的功能服务的客户端设备，或者，本发明实施例终端设备还可以是专门用于针对该功能服务进行测试从而配置相关挡板规则的挡板服务端设备，该设备可以是智能手机、pc(personal computer，个人计算机)、平板电脑、便携计算机等等。
[0046]
如图1所示，该终端设备可以包括：处理器1001，例如cpu，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接
口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
[0047]
本领域技术人员可以理解，图1中示出的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0048]
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及网络资产的管理程序。
[0049]
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的网络资产的管理程序，并执行以下步骤：
[0050]
获取网络资产的图像数据；
[0051]
调用预设的深度学习图像识别模型根据所述图像数据判断所述网络资产所属的网络资产主体，其中，所述深度学习图像识别模型结合基于区域的目标定位算法和基于卷积神经网络的图像识别算法构建得到；
[0052]
根据所述网络资产主体生成所述网络资产对应的信息报告。
[0053]
优选地，处理器1001可以用于调用存储器1005中存储的网络资产的管理程序，还执行以下步骤：
[0054]
结合基于区域的目标定位算法和基于卷积神经网络的图像识别算法构建深度学习图像识别模型。
[0055]
优选地，处理器1001可以用于调用存储器1005中存储的网络资产的管理程序，还执行以下步骤：
[0056]
采集网络资产主体的网络图像数据以建立训练数据集；
[0057]
利用所述基于区域的目标定位算法确定所述训练数据集中各所述网络图像数据的候选区域；
[0058]
将所述候选区域作为输入以针对基于卷积神经网络的图像识别算法进行训练，以构建得到用于判断各所述网络图像数据各自所属网络资产主体的深度学习图像识别模型。
[0059]
优选地，处理器1001可以用于调用存储器1005中存储的网络资产的管理程序，还执行以下步骤：
[0060]
利用所述基于区域的目标定位算法根据所述网络资产主体的图像参数选取n个候选框，其中，n的计算公式为：
[0061][0062]
其中，e为根据网络资产探测精度和速度进行调整的可变参数，size为所述图像参数中包含的图像尺寸，mean为所述训练数据集中各所述网络图像数据size大小的加权平均；
[0063]
按照所述候选框确定所述训练数据集中各所述网络图像数据的候选区域。
[0064]
优选地，处理器1001可以用于调用存储器1005中存储的网络资产的管理程序，还执行以下步骤：
[0065]
将所述候选区域作为输入，以供所述图像识别算法基于所述vgg16网络针对输入
的所述候选区域进行特征提取得到候选区域特征；
[0066]
构建预设层级结构基于所述候选区域特征判断各所述网络图像数据所属的网络资产主体；
[0067]
采用预设机器学习训练方式针对所述图像识别算法提取所述候选区域特征、基于所述候选区域特征判断各所述网络图像数据所属网络资产主体的过程进行训练。
[0068]
优选地，所述vgg16网络的配置参数包括输入像素、卷积核、13个卷积层和3个全链接层。
[0069]
优选地，处理器1001可以用于调用存储器1005中存储的网络资产的管理程序，还执行以下步骤：
[0070]
将所述网络资产的所述图像数据输入所述深度学习图像识别模型，以供所述深度学习图像识别模型在所述图像数据中提取特征，并基于提取的特征进行判断后输出所述网络资产所属的网络资产主体。
[0071]
基于上述硬件结构，提出本发明网络资产的管理方法的各实施例。
[0072]
需要说明的是，随着5g(5th generation mobile communication technology：第五代移动通信技术)时代的来临与万物互联概念的兴起，暴露在互联网中的网络资产出现了井喷式的激增现象，如此，针对网络资产进行探测识别与信息分类等管理的难度也急剧上升。
[0073]
目前，针对网络资产进行探测与信息识别分类等采用的都是主动扫描和收集分类的方式，即，根据网络资产的特定指纹或者标志代码进行资产分类和标记。然而，在面对网络资产急剧增长的情况下，现有方式针对网络资产的识别和分类效率以及准确度等都存在缺陷。现有也存在结合机器学习来进行资产识别与分类的方式，然而，该方式也并未针对网络资产进行深入的处理和分析，且还需要大量人工辅助操作，同样效率低且准确性差。
[0074]
然而,采用人工智能技术处理问题已经成为了行业内稳定的发展趋势，而深度学习图像识别技术是一项能以人类智能相似的方式做出反应的智能机器，该深度学习图像识别技术同时结合自然语言处理技术，可以代替人为浏览的方式,自动化的对网络资产进行识别和分类，因此，使用深度学习图像识别技术对网络资产进行识别检测和分类，包括对扫描所得的网络资产进行图像和文字识别、使用机器学习算法对该网络资产进行分类，从而构建一个完善的自动化进行网络资产识别与分类的系统，如此，能够极大的提高网络资产识别的效率和准确度。
[0075]
针对上述现象和技术构思，本发明提供一种网络资产的管理方法。请参照图2，图2为本发明网络资产的管理方法第一实施例的流程示意图，在本实施例中，该网络资产的管理方法应用于上述客户端设备，该网络资产的管理方法包括：
[0076]
步骤s10，获取网络资产的图像数据；
[0077]
终端设备通过主动扫描方式，获取需要进行资产识别的网络资产主体的网络资产的图像数据。
[0078]
具体地，例如，终端设备通过任意成熟的数据埋点、数据爬虫等主动扫描方式，在当前需要进行资产识别的网络资产主体：企业a的企业网站上，截取隶属于该企业a的电脑终端所输出显示的web页面图像。
[0079]
步骤s20，调用预设的深度学习图像识别模型根据所述图像数据判断所述网络资
产所属的网络资产主体，其中，所述深度学习图像识别模型结合基于区域的目标定位算法和基于卷积神经网络的图像识别算法构建得到；
[0080]
需要说明的是，在本实施例中，预设的深度学习图像识别模型为预先由终端设备结合基于区域的目标定位算法(selective search算法)和基于卷积神经网络的图像识别算法(fast rcnn算法)进行机器学习训练来构建得到的。
[0081]
终端设备在通过主动扫描方式获取得到需要进行资产识别的网络资产的图像数据之后，立即调用预先已经通过结合selective search算法和fast rcnn算法进行机器学习训练来构建得到的深度学习图像识别模型，从而将该获取得到的图像数据输入该深度学习图像模型，由该深度学习图像识别模型自动对该图像数据进行资产归属的判断，即，判断该图像数据对应的网络资产所属的网络资产主体。
[0082]
进一步地，在一种可行的实施例中，上述步骤s20，可以包括：
[0083]
步骤s201，将所述网络资产的所述图像数据输入所述深度学习图像识别模型，以供所述深度学习图像识别模型在所述图像数据中提取特征，并基于提取的特征进行判断后输出所述网络资产所属的网络资产主体。
[0084]
终端设备在通过主动扫描方式获取得到需要进行资产识别的网络资产的图像数据之后，首先调用预先已经通过结合selective search算法和fast rcnn算法进行机器学习训练来构建得到的深度学习图像识别模型，然后，终端设备将该图像数据输入到该深度学习图像识别模型当中，从而由该深度学习图像识别模型先在该图像数据当中确定候选区域，并从该候选区域当中提取候选区域特征，进而，该深度学习识别模型进一步针对该候选区域特征进行池化处理得到统一的特征图像，并依据图像识别技术和文字识别技术对该特征图像进行相似性分析，以判断该图像数据所对应的网络资产所属的网络资产主体，并输出判断得出的该网络资产主体。
[0085]
具体地，例如，终端设备在从当前需要进行资产识别的网络资产主体：企业a的企业网站上，截取到隶属于该企业a的电脑终端所输出显示的web页面图像之后，终端设备即立即调用预先已经通过结合selective search算法和fast rcnn算法进行机器学习训练来构建得到的深度学习图像识别模型，然后，终端设备将该web页面图像输入到深度学习图像识别模型当中，该深度学习图像识别模型即先通过如下公式的运算以确定出该web页面图像当中的候选区域。
[0086]
s(ri,rj)＝a1s
colour
(ri rj) a2s
texture
(ri rj) a3s
size
(ri rj) a4s
fill
(ri rj)
[0087]
该公式当中，ri为候选区域队列，ri∈r,r＝{r1,......rn}，s(ri,rj)为候选区域ri和rj的距离，a1至a4为颜色距离s
colour
、纹理距离s
texture
、区域尺寸大小距离s
size
以及区域相似度距离s
fill
的权重，这其中：
[0088][0089]
表示每一个候选区域用三通道的颜色直方图；
[0090][0091]
表示每一个候选区域的纹理直方图；
[0092][0093]
size(ri)即区域ri的面积尺寸，size(im)即原图的尺寸；
[0094][0095]
bb
ij
即ri和rj两候选区域合并后的区域的边界框(bounding box)。
[0096]
终端设备在调用深度学习图像识别模型，先确定待识别网络资产主体的电脑终端所输出显示的web页面图像当中的候选区域之后，即进一步从该候选区域当中提取得到候选区域特征，并且，针对该不同尺寸大小的候选区域特征进行池化处理以得到尺寸大小统一的特征图像，最后，终端设备继续利用现有任意成熟的图像识别技术以及文字识别技术针对该特征图像进行相似性分析，从而基于该特征图像分析判断输出显示该web页面图像的电脑终端所属的网络资产主体为企业a。
[0097]
需要说明的是，在本市实例中，深度学习图像识别模型具体通过预先构建的vgg16网络卷积层，来从web页面图像上各个候选区域当中进行特征提取，该深度学习图像识别模型采用vgg16网络的配置参数为：输入像素224*224、卷积核3*3、13层卷积层和3层全链接层，其中，该13个卷积层的神经结点分布分别为：2层64个神经节点、2层128个神经节点、3层256个神经节点、6层512个神经节点；且，采用2*2的池化矩阵，该3个全连接层的前两个全连接层的神经元个数为4096。
[0098]
步骤s30，根据所述网络资产主体生成所述网络资产对应的信息报告。
[0099]
终端设备在通过调用深度学习图像识别模型，判断出图像数据对应的网络资产所属的网络资产主体之后，即根据该判断得出的该网络资产主体，针对该网络资产进行汇总与测绘从而生成包括该网络资产的类型、领域、所属单位以及相同类型网络资产的信息报告。
[0100]
需要说明的是，在本实施例中，终端设备具体可以通过任意成熟的数据汇总与测绘方式，来按照藉由深度学习图像识别模型判断得出的网络资产主体，针对该网络资产进行汇总和测绘之后生成对应的信息报告。此外，终端设备除了在按照网络资产主体来针对该网络资产进行汇总和测绘以生成对应的信息报告之外，还可以针对该网络资产进行标签化处理并按照该网络资产所属类别进行入库管理，如此，能够针对后续终端设备通过主动扫描方式获取得到网络资产的图像数据等资产信息提供关联性分析的数据支持。
[0101]
本发明实施例提供一种网络资产的管理方法，由终端设备通过主动扫描方式，获取需要进行资产识别的网络资产主体的网络资产的图像数据；终端设备在通过主动扫描方式获取得到需要进行资产识别的网络资产的图像数据之后，立即调用预先已经通过结合selective search算法和fast rcnn算法进行机器学习训练来构建得到的深度学习图像识别模型，从而将该获取得到的图像数据输入该深度学习图像模型，由该深度学习图像识别模型自动对该图像数据进行资产归属的判断，即，判断该图像数据对应的网络资产所属的网络资产主体；终端设备在通过调用深度学习图像识别模型，判断出图像数据对应的网络资产所属的网络资产主体之后，即根据该判断得出的该网络资产主体，针对该网络资产进行汇总与测绘从而生成包括该网络资产的类型、领域、所属单位以及相同类型网络资产的信息报告。
[0102]
本发明相比于传统收集分类或者结合机器学习仅作简单分类的网络资产管理方式，本发明结合基于区域的目标定位算法和基于卷积神经网络的图像识别算法构建深度学习图像识别模型，从而利用该模型针对网络资产的图像数据进行识别判断，从而提出了结合人工智能与自然图像数据处理技术来进行网络资产的识别分类，实现了对网络资产的图像资源进行自动化的识别与分类，极大的提高了对于网络资产进行识别和分类的效率和准确性。
[0103]
进一步地，基于上述第一实施例，提出本发明网络资产的管理方法的第二实施例，本实施例与上述第一实施例之间的主要区别在于，在本实施例中，本发明网络资产的管理方法，还可以包括：
[0104]
步骤s40，结合基于区域的目标定位算法和基于卷积神经网络的图像识别算法构建深度学习图像识别模型。
[0105]
需要说明的是，在本实施例中，基于区域的目标定位算法——selective search算法，该selective search算法能在样本量不足的情况下，从大幅图像中快速生成包含资产logo(标牌)主体的待选区域，该selective search算法中的参数e根据资产探测所需的精度和速度进行设定，默认设为20，而参数mean为终端设备所收集的各类样本(图像数据)size(尺寸)大小的加权平均。而基于卷积神经网络的图像识别算法——fast rcnn算法是一种基于vgg16网络的图像识别算法，用于根据训练集训练出能够判断图像数据当中中是否包含资产主体logo的深度学习模型(即，深度学习图像识别模型)，该fast rcnn算法的具体构建包括：构建vgg16网络卷积层对图像数据进行特征提取，和构建对提取出的特征进行池化处理。
[0106]
终端设备在调用深度学习图像识别模型针对通过主动扫描方式获取得到的网络资产的图像数据，进行该网络资产所属网络资产主体的判断之前，先结合基于区域的目标定位算法——selective search算法，和基于卷积神经网络的图像识别算法——fast rcnn算法，通过深度学习训练来构建出能够判断各网络图像数据各自所属网络资产主体的深度学习图像识别模型以供调用。
[0107]
进一步地，在一种可行的实施例中，请参照图3，图3为本发明网络资产的管理方法中一实施例中步骤s40的细化流程示意图，上述步骤s40，可以包括：
[0108]
步骤s401，采集网络资产主体的网络图像数据以建立训练数据集；
[0109]
终端设备在结合基于区域的目标定位算法——selective search算法，和基于卷积神经网络的图像识别算法——fast rcnn算法，构建深度学习图像识别模型的过程当中，先通过主动扫描的方式采集已知网络资产主体的网络图像数据来建立后续用于训练构建该深度学习网络识别模型的训练数据集。
[0110]
具体地，例如，终端设备通过任意成熟的数据埋点、数据爬虫等主动扫描方式，采集各个已知网络资产主体，如企业a、企业b和企业c等，各自的logo、资产网站常用图像等网络图像数据，并按照该企业a、企业b和企业c等网络资产主体对采集到的该网络图像数据进行归类，从而构建得到利用该企业a、企业b和企业c等网络资产主体进行标识、以用于训练构建该深度学习网络识别模型的训练数据集。
[0111]
步骤s402，利用所述基于区域的目标定位算法确定所述训练数据集中各所述网络图像数据的候选区域；
[0112]
终端设备在建立得到训练数据集之后，进一步先利用基于区域的目标定位算法——selective search算法，来确定该训练数据集当中，各个网络图像数据各自的候选区域。
[0113]
具体地，例如，终端设备在构建得到利用已知网络资产主体：企业a、企业b和企业c等进行标识、以用于训练构建深度学习网络识别模型的训练数据集之后，利用基于区域的目标定位算法——selective search算法，依次在该训练数据集当中各个网络资产主体标识的网络图像数据—logo、资产网站常用图像等图像之上，按照该网络资产主体logo的普遍大小与该网络图像数据之间图像比例，先确定后续用于提取特征图像的候选框，然后基于该候选框确定各个候选区域。
[0114]
进一步地，在一种可行的实施例当中，上述步骤s402，可以包括：
[0115]
步骤s4021，利用所述基于区域的目标定位算法根据所述网络资产主体的图像参数选取n个候选框，其中，n的计算公式为：
[0116][0117]
其中，e为根据网络资产探测精度和速度进行调整的可变参数，size为所述图像参数中包含的图像尺寸，mean为所述训练数据集中各所述网络图像数据size大小的加权平均；
[0118]
终端设备在利用基于区域的目标定位算法——selective search算法，确定训练数据集当中各个网络图像数据各自的候选区域时，先基于如下公式1确定各个网络图像数据上的n个候选框，该公式1当中，e为根据网络资产探测精度和速度进行调整的可变参数，size为所述图像参数中包含的图像尺寸，mean为所述训练数据集中各所述网络图像数据size大小的加权平均。
[0119]
公式1：
[0120]
具体地，例如，参数e根据资产探测所需的精度和速度进行设定，默认设置为20，终端设备在利用基于区域的目标定位算法——selective search算法，先基于上述公式1，将参数e设置为20，按照网络图像数据各自的图像尺寸size和该网络图像数据所属训练数据集当中各个网络图像数据size大小的加权平均mean，来依次计算得到该各个网络图像数据上的n个候选框。
[0121]
步骤s4022，按照所述候选框确定所述训练数据集中各所述网络图像数据的候选区域。
[0122]
终端设备在先确定各个网络图像数据上的n个候选框之后，即进一步按照该n个候选框依次确定训练数据集当中该各个网络图像数据之上的每一个用于后续提取特征图像的候选区域。
[0123]
具体地，例如，终端设备进一步利用基于区域的目标定位算法—selective search算法，依次确定各个网络图像数据上n个候选框各自所限定的每一个候选区域时，该每一个候选区域具体依据如下公式计算得到：
[0124]
s(ri,rj)＝a1s
colour
(ri rj) a2s
texture
(ri rj) a3s
size
(ri rj) a4s
fill
(ri rj)
[0125]
该公式当中，ri为候选区域队列，ri∈r,r＝{r1,......rn}，s(ri,rj)为候选区域ri和rj的距离，a1至a4为颜色距离s
colour
、纹理距离s
texture
、区域尺寸大小距离s
size
以及区域相似度距离s
fill
的权重，这其中：
[0126][0127]
表示每一个候选区域用三通道的颜色直方图；
[0128][0129]
表示每一个候选区域的纹理直方图；
[0130][0131]
size(ri)即区域ri的面积尺寸，size(im)即原图的尺寸；
[0132][0133]
bb
ij
即ri和rj两候选区域合并后的区域的边界框(bounding box)。
[0134]
步骤s403，将所述候选区域作为输入以针对基于卷积神经网络的图像识别算法进行训练，以构建得到用于判断各所述网络图像数据各自所属网络资产主体的深度学习图像识别模型。
[0135]
终端设备在先利用基于区域的目标定位算法——selective search算法，来确定该训练数据集当中，各个网络图像数据各自的候选区域之后，再进一步将确定的该各个候选区域作为模型的输入，来针对基于卷积神经网络的图像识别算法—fast rcnn算法进行机器学习训练，从而，在针对该fast rcnn算法的机器学习训练符合预设标准之后，即构建得到能够判断各网络图像数据各自所属网络资产主体的深度学习图像识别模型以供调用。
[0136]
进一步地，在本实施例中，selective search算法所产生的候选区域用于fast rcnn算法中roi pooling层(深度学习(目标检测))处理中所需的候选区域的选择。上述步骤s403，可以包括：
[0137]
步骤s4031，将所述候选区域作为输入，以供所述图像识别算法基于所述vgg16网络针对输入的所述候选区域进行特征提取得到候选区域特征；
[0138]
终端设备在先利用基于区域的目标定位算法——selective search算法，来确定该训练数据集当中，各个网络图像数据各自的候选区域之后，将该各个候选区域作为针对基于卷积神经网络的图像识别算法—fast rcnn算法进行机器学习训练的输入，从而由该fast rcnn算法基于vgg16网络进行深度学习训练，即，开始从作为输入的该候选区域当中提取特征图像并将该特征图像作为候选区域特征。
[0139]
需要说明的是，在本实施例中，基于卷积神经网络的图像识别算法—fast rcnn算法基于采用的vgg16网络。此外，该fast rcnn算法采用该vgg16网络的配置参数包括：输入像素、卷积核、13个卷积层和3个全链接层，具体地，例如，该fast rcnn算法采用该vgg16网络的配置参数具体为：输入像素224*224、卷积核3*3、13层卷积层和3层全链接层，其中，该13个卷积层的神经结点分布分别为：2层64个神经节点、2层128个神经节点、3层256个神经节点、6层512个神经节点；且，采用2*2的池化矩阵，该3个全连接层的前两个全连接层的神
经元个数为4096。
[0140]
此外，在本实施例中，基于卷积神经网络的图像识别算法—fast rcnn算法具体通过roi pooling层进行深度学习训练来进行特征图像的提取。该roi pooling层的具体训练公式如下：
[0141][0142]
该公式当中，设xi为输入层的节点，y
rj
为第r个候选区域的第j个输出节点；δ(i,r,j)为判决函数，表示i节点是否被候选区域r的第j个节点选为最大值输出；l为损失函数，损失函数l对于xi的梯度，该等于所有相关的后一层梯度之和。
[0143]
步骤s4032，构建预设层级结构基于所述候选区域特征判断各所述网络图像数据所属的网络资产主体；
[0144]
需要说明的是，在本实施例中，预设层级结构为全连接层和softmax层(输出层)。
[0145]
终端设备在将确定的训练数据集当中各网络图像数据的候选区域作为输入，以由基于卷积神经网络的图像识别算法—fast rcnn算法从该候选区域当中提取特征图像作为候选区域特征之后，终端设备即进一步构建卷积神经网络的预设层级结构以用于训练根据该候选区域特征来判断该各网络图像数据各自所属的网络资产主体。
[0146]
步骤s4033，采用预设机器学习训练方式针对所述图像识别算法提取所述候选区域特征、基于所述候选区域特征判断各所述网络图像数据所属网络资产主体的过程进行训练。
[0147]
需要说明的是，在本实施例中，预设机器学习训练方式为随机梯度下降方式。应当理解的是，基于实际应用的不同设计需要，在不同可行的实施方式当中，终端设备当然也可以采用其它深度学习的训练方式来进行对深度学习图像识别模型的训练，本发明网络资产的管理方法并不针对实际采用的机器学习训练方式进行具体地限定。
[0148]
终端设备在构建好基于卷积神经网络的图像识别算法—fast rcnn算法所采用的vgg16网络，以通过该fast rcnn算法从网络图像数据当中提取特征图像和判断该网络图像数据所属网络资产主体之后，进一步采用机器学习的随机梯度下降方式，针对该fast rcnn算法提取特征图像和判断该网络图像数据所属网络资产主体的过程进行机器学习训练。
[0149]
具体地，例如，终端设备配置该fast rcnn算法采用的vgg16网络中，三个全连接层的前两个全连接层的神经元个数为4096，以及softmax层输入参数为4096，供该fast rcnn算法以从训练数据集当中各个网络图像数据当中提取的候选区域特征为依据，来判断该各个网络图像数据各自所属的网络资产主体是企业a、企业b还是企业c等。然后，终端设备即采用机器学习通用的随机梯度下降方式，来针对该fast rcnn算法采用vgg16网络针对训练数据集当中，每一个网络图像数据进行候选区域特征提取和基于该候选区域特征判断网络资产主体的过程，进行机器学习训练以构建后续用于根据网络图像判断网络资产所属网络资产主体的深度学习图像识别模型。
[0150]
需要说明的是，在本实施例中，由于判断网络图像数据所属的网络资产主体为分类式的图像识别判断，因此，终端设备在进行机器学习训练时可以使用如下所示的损失函数l：
[0151]
l(p,u,tu,v)＝l
cls
(p,u) λ[u≥1]l
loc
(tu,v)。
[0152]
其中，p为针对每一个检测目标—roi(即fast rcnn算法所输出的判断得到的网络资产主体：企业a、企业b或者企业c等)的离散概率分布，p＝(p0,...,pk)，k 1为所需识别的资产主体的类别总数；u为某类别(此处为隶属于企业a、企业b或者企业c等)的指代，为类别u在x,y,w,h即坐标x,y、宽度w和高度h的预测偏移量，即，tu指定了一个与缩放无关的平移和log空间内的宽高变化；v＝(v
x
,vy,vw,vn)为针对类型u的真实标注框。其中，
[0153]
l
cls
(p,u)＝-log pu[0154][0155]
当类别u＝0(即图像无任何分类)时，当前网络图像数据为背景图像；
[0156][0157]
其中，l
loc
(tu,v)即代表预测值与实际值之间的差距。
[0158]
在本实施例中，通过终端设备在结合基于区域的目标定位算法——selective search算法，和基于卷积神经网络的图像识别算法——fast rcnn算法，构建深度学习图像识别模型，而在构建该深度学习图像识别模型的过程当中，先通过主动扫描的方式采集已知网络资产主体的网络图像数据来建立后续用于训练构建该深度学习网络识别模型的训练数据集；终端设备在建立得到训练数据集之后，进一步先利用基于区域的目标定位算法——selective search算法，来确定该训练数据集当中，各个网络图像数据各自的候选区域；终端设备在先利用基于区域的目标定位算法——selective search算法，来确定该训练数据集当中，各个网络图像数据各自的候选区域之后，再进一步将确定的该各个候选区域作为模型的输入，来针对基于卷积神经网络的图像识别算法—fast rcnn算法进行机器学习训练，从而，在针对该fast rcnn算法的机器学习训练符合预设标准之后，即构建得到能够判断各网络图像数据各自所属网络资产主体的深度学习图像识别模型以供调用。
[0159]
如此，在终端设备主动扫描获取到需要进行网络资产主体识别的网络资产的图像数据之后，即可调用该预先结合基于区域的目标定位算法和基于卷积神经网络的图像识别算法构建得到的深度学习图像识别模型，以利用该深度学习图像识别模型根据该网络资产的图像数据，判断该网络资产所属的网络资产主体，最后，根据利用深度学习图像识别模型判断得到的网络资产主体生成该网络资产对应的信息报告。
[0160]
本发明相比于传统收集分类或者结合机器学习仅作简单分类的网络资产管理方式，本发明使用人工智能技术，构建深度学习图像识别模型以对网络资产进行多维度的识别检测和分类，包括对扫描所得网络资产进行图像和文字识别、使用机器学习算法和自然语言处理技术对该网络资产进行分类，构建了一个完善的自动化实现资产识别与分类的系统，能极大的提高资产识别的效率和准确度(基于本实施例所述的自动化执行资产识别与分类的单台系统，每小时支持处理图像的效率在1w张以上，而对图像logo的识别率也能够达到95％以上，误报率低于0.01％)。
[0161]
进一步地，本发明还提供一种网络资产的管理系统，该网络资产的管理系统包括客户端。请参照图4，图4为本发明网络资产的管理系统一实施例的功能模块示意图。如图4所示，本发明网络资产的管理系统包括：
[0162]
获取模块10，用于获取网络资产的图像数据；
[0163]
判断模块20，用于调用预设的深度学习图像识别模型根据所述图像数据判断所述网络资产所属的网络资产主体，其中，所述深度学习图像识别模型结合基于区域的目标定位算法和基于卷积神经网络的图像识别算法构建得到；
[0164]
生成模块30，用于根据所述网络资产主体生成所述网络资产对应的信息报告。
[0165]
进一步地，本发明网络资产的管理系统，还包括：
[0166]
模型训练模块，用于结合基于区域的目标定位算法和基于卷积神经网络的图像识别算法构建深度学习图像识别模型。
[0167]
进一步地，模型训练模块，包括：
[0168]
数据采集单元，用于采集网络资产主体的网络图像数据以建立训练数据集；
[0169]
候选区域确定单元，用于利用所述基于区域的目标定位算法确定所述训练数据集中各所述网络图像数据的候选区域；
[0170]
机器学习训练单元，用于将所述候选区域作为输入以针对基于卷积神经网络的图像识别算法进行训练，以构建得到用于判断各所述网络图像数据各自所属网络资产主体的深度学习图像识别模型。
[0171]
进一步地，候选区域确定单元，包括：
[0172]
候选框确定子单元，用于利用所述基于区域的目标定位算法根据所述网络资产主体的图像参数选取n个候选框，其中，n的计算公式为：
[0173][0174]
其中，e为根据网络资产探测精度和速度进行调整的可变参数，size为所述图像参数中包含的图像尺寸，mean为所述训练数据集中各所述网络图像数据size大小的加权平均；
[0175]
候选区域确定子单元，用于按照所述候选框确定所述训练数据集中各所述网络图像数据的候选区域。
[0176]
进一步地，所述卷积神经网络为vgg16网络，机器学习训练单元，包括：
[0177]
特征提取子单元，用于将所述候选区域作为输入，以供所述图像识别算法基于所述vgg16网络针对输入的所述候选区域进行特征提取得到候选区域特征；
[0178]
判断子单元，用于构建预设层级结构基于所述候选区域特征判断各所述网络图像数据所属的网络资产主体；
[0179]
训练子单元，用于采用预设机器学习训练方式针对所述图像识别算法提取所述候选区域特征、基于所述候选区域特征判断各所述网络图像数据所属网络资产主体的过程进行训练。
[0180]
进一步地，所述vgg16网络的配置参数包括输入像素、卷积核、13个卷积层和3个全链接层。
[0181]
进一步地，判断模块，还用于将所述网络资产的所述图像数据输入所述深度学习
图像识别模型，以供所述深度学习图像识别模型在所述图像数据中提取特征，并基于提取的特征进行判断后输出所述网络资产所属的网络资产主体。
[0182]
其中，上述网络资产的管理系统中各个模块的功能实现与上述网络资产的管理方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
[0183]
本发明还提供一种计算机存储介质，该计算机存储介质上存储有网络资产的管理程序，所述网络资产的管理程序被处理器执行时实现如以上任一项实施例所述的网络资产的管理方法的步骤。
[0184]
本发明计算机存储介质的具体实施例与上述网络资产的管理方法各实施例基本相同，在此不作赘述。
[0185]
本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如以上任一项实施例所述的网络资产的管理方法的步骤。
[0186]
本发明计算机存储介质的具体实施例与上述网络资产的管理方法各实施例基本相同，在此不作赘述。
[0187]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0188]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0189]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0190]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。