识别地图中国家领土是否完整的方法、装置、存储介质与流程

1.本公开涉及图像识别技术领域，尤其涉及一种识别地图中国家领土是否完整的方法、装置、存储介质。


背景技术：

2.利用深度学习技术识别图片中是否包含地图，以及地图的中国领土是否完整，是当前应用最为广泛的人工智能技术之一。通过提取图片的地图区域并判定该区域的中国领土是否完整，能够有效降低人工审核成本，并且降低审核图片时出错的概率。
3.随着互联网用户日益增多，部分用户发送的图片中存在中国领土不完整的地图，为了降低人工审核成本，现有技术是利用深度学习图像分类技术识别图片中是否包含地图，但是现有技术存在小目标地图漏识别的风险，并且无法识别地图的中国领土是否完整。
4.公开于本技术背景技术部分的信息仅仅旨在加深对本技术的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。


技术实现要素：

5.本公开实施例提供一种识别地图中国家领土是否完整的方法、装置、存储介质，能够至少解决现有技术中的部分或全部问题。
6.本公开实施例的第一方面，提供一种识别地图中国家领土是否完整的方法, 包括：
7.基于预设的图像检测模型检测待识别图像中是否包含待识别国家地图区域，
8.若所述待识别图像中包含待识别国家地图区域，
9.则基于预设的图像分类模型确定所述待识别国家地图区域所属的地图类别，其中，
10.所述地图类别包括不含国家领土的地图、国家领土不完整的地图以及国家领土完整的地图。
11.在一种可选的实施方式中，
12.所述方法还包括：
13.将所述图像检测模型和所述图像分类模型部署至同一个应用容器引擎；
14.所述图像检测模型将所述包含待识别国家地图区域送入所述图像分类模型；
15.所述图像分类模型确定所述包含待识别国家地图区域属于各个预设类别的预测概率，将所述预测概率中值最大的概率对应的类别作为所述包含待识别国家地图区域所属的地图类别。
16.在一种可选的实施方式中，
17.在基于预设的图像分类模型确定所述地图区域所属的地图类别之前，所述方法还包括：
18.构建所述图像分类模型的训练数据集时，通过标签平滑正则化算法调整所述图像分类模型对于各个地图类别的预测比例。
19.在一种可选的实施方式中，
20.所述标签平滑正则化算法如下所示：
21.q
′
(k|x)＝(1―∈)δ
k,y
∈u(k)
22.其中，q
′
(k|x)表示新的预测分布，k表示图像分类模型输出的类别数，x表示图像检测模型的输出结果，∈表示超参，δ
k,y
表示当前的预测概率，也即未加入标签平滑前的概率分布，u(k)表示固定分布的噪声。
23.在一种可选的实施方式中，
24.所述应用容器引擎用于：
25.消除所述图像检测模型和所述图像分类模型中无用的输出层；和/或
26.将所述图像检测模型和所述图像分类模型中的卷积层、批量归一化层和修正线性层融合为同一层；和/或
27.将所述图像检测模型和所述图像分类模型中输入信息相同和执行相同操作的神经网络层融合为同一层。
28.本公开实施例的第二方面，提供一种识别地图中国家领土是否完整的装置，包括：
29.第一单元，用于基于预设的图像检测模型检测待识别图像中是否包含待识别国家地图区域，
30.第二单元，若所述待识别图像中包含待识别国家地图区域，
31.则基于预设的图像分类模型确定所述待识别国家地图区域所属的地图类别，其中，
32.所述地图类别包括不含国家领土的地图、国家领土不完整的地图以及国家领土完整的地图。
33.在一种可选的实施方式中，
34.所述装置还包括第三单元，所述第三单元用于：
35.将所述图像检测模型和所述图像分类模型部署至同一个应用容器引擎；
36.所述图像检测模型将所述包含待识别国家地图区域送入所述图像分类模型；
37.所述图像分类模型确定所述包含待识别国家地图区域属于各个预设类别的预测概率，将所述预测概率中值最大的概率对应的类别作为所述包含待识别国家地图区域所属的地图类别。
38.在一种可选的实施方式中，
39.所述装置还包括第四单元，所述第四单元用于：
40.构建所述图像分类模型的训练数据集时，通过标签平滑正则化算法调整所述图像分类模型对于各个地图类别的预测比例。
41.在一种可选的实施方式中，
42.所述标签平滑正则化算法如下所示：
43.q
′
(k|x)＝(1―∈)δ
k,y
∈u(k)
44.其中，q
′
(k|x)表示新的预测分布，k表示图像分类模型输出的类别数，x表示图像检测模型的输出结果，∈表示超参，δ
k,y
表示当前的预测概率，也即未加入标签平滑前的概
率分布，u(k)表示固定分布的噪声。
45.在一种可选的实施方式中，
46.所述应用容器引擎用于：
47.消除所述图像检测模型和所述图像分类模型中无用的输出层；和/或
48.将所述图像检测模型和所述图像分类模型中的卷积层、批量归一化层和修正线性层融合为同一层；和/或
49.将所述图像检测模型和所述图像分类模型中输入信息相同和执行相同操作的神经网络层融合为同一层。
50.本公开实施例的第三方面，提供一种存储介质，其特征在于，包括：
51.处理器；
52.用于存储处理器可执行指令的存储器；
53.其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述任意一项所述的方法。
54.本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现前述中任意一项所述的方法。
55.本公开提供一种识别地图中国家领土是否完整的方法,包括：
56.基于预设的图像检测模型检测待识别图像中是否包含待识别国家地图区域，
57.若所述待识别图像中包含待识别国家地图区域，
58.则基于预设的图像分类模型确定所述待识别国家地图区域所属的地图类别，其中，
59.所述地图类别包括不含国家领土的地图、国家领土不完整的地图以及国家领土完整的地图。
60.本公开的方法通过图像检测模型检测待识别图像中是否包含待识别国家地图区域，图像检测模型能够有效滤除部分不符合要求的待识别图像，降低图像分类模型的工作量；
61.通过图像分类模型能够确定待识别国家地图区域所属的地图类别，图像分类模型能够准确对不同类型的地图进行细分类，方便应用层根据防控松紧程度，以及根据客户数据分布更加灵活地进行策略配置；
62.通过将图像检测模型与图像分类模型进行结合，不仅能够识别待识别图像中小目标地图，提升小目标地图的召回能力，在此基础上，还能够进一步地识别地图中国家领土是否完整；
63.此外，本公开的方法还可以将图像检测模型与图像分类模型部署至同一个应用容器引擎，用以提升图像检测模型以及图像分类模型的运算速度，在两者结合保证识别准确性的基础上，提高识别速度。
附图说明
64.图1为本公开实施例提供的一种识别地图中国家领土是否完整的方法的流程示意图；
65.图2为本公开实施例提供的一种识别地图中国家领土是否完整的方法的逻辑示意图；
66.图3为本公开实施例提供的一种识别地图中国家领土是否完整的装置的结构示意图。
具体实施方式
67.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
68.本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
69.应当理解，在本公开的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
70.应当理解，在本公开中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
71.应当理解，在本公开中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含a、b和c”、“包含a、b、c”是指 a、b、c三者都包含，“包含a、b或c”是指包含a、b、c三者之一，“包含a、b 和/或c”是指包含a、b、c三者中任1个或任2个或3个。
72.应当理解，在本公开中，“与a对应的b”、“与a相对应的b”、“a与b 相对应”或者“b与a相对应”，表示b与a相关联，根据a可以确定b。根据a 确定b并不意味着仅仅根据a确定b，还可以根据a和/或其他信息确定b。a与 b的匹配，是a与b的相似度大于或等于预设的阈值。
73.取决于语境，如在此所使用的“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。
74.下面以具体地实施例对本公开的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
75.图1示例性地示出本公开实施例提供的一种识别地图中国家领土是否完整的方法的流程示意图，如图1所示，所述方法包括：
76.步骤s101、基于预设的图像检测模型检测待识别图像中是否包含待识别国家地图区域，
77.示例性地，本公开的图像检测模型可以是基于神经网络模型构建的，用于检测图像中是否包含待识别国家地图区域。其中，本公开实施例对用于构建图像检测模型所用的
神经网络模型不进行限定，以及本公开实施例的图像检测模型可检测图像中是否包含待识别国家地图区域，其中，待识别国家地图区域可以是中国地图，也可以是其他任意国家的地图，具体可以根据用户需求或者实际需求进行设定，本公开实施例对此同样不进行限定。
78.在一种可选的实施方式中，
79.在基于预设的图像检测模型检测待识别图像中是否包含待识别国家地图区域之前，所述方法还包括训练所述图像检测模型：
80.基于预先获取的图像检测训练数据集，通过待训练的图像检测模型，确定所述图像检测训练数据集各个样本对应的预测地图区域；
81.根据各个样本对应的预测地图区域，以及预先获取的地图标注训练数据集，通过待训练的图像检测模型的图像检测损失函数，确定各个样本对应的预测地图区域为地图区域的第一预测概率；
82.通过所述第一预测概率，调整所述图像检测损失函数的各个参数，以使所述图像检测损失函数满足预设的收敛条件。
83.可选地，为了说明的方便，本公开实施例以图像检测模型为yolov5m模型为例进行说明：
84.可以预先构建图像检测训练数据集和地图标注训练数据集，其中，综合考虑模型训练、检测的速度以及效果，可以将图像检测训练数据集的样本数据，也即将图像调整为分辨率为640*640的图像；通过地图标注训练数据集可以指示模型提升检测的准确度。
85.示例性地，对模型进行训练时，可以通过待训练的图像检测模型，确定所述图像检测训练数据集各个样本对应的预测地图区域，根据各个样本对应的预测地图区域，以及预先获取的地图标注训练数据集，通过待训练的图像检测模型的图像检测损失函数，确定各个样本对应的预测地图区域为地图区域的第一预测概率。
86.其中，图像检测损失函数可以如下所示：
87.fl(p
t
)＝―
∝
t
(1―p
t
)
γ
logp
t
88.其中，p
t
表示第一预测概率，
∝
t
表示第一动态调节因子，γ表示第二动态调节因子。
89.示例性地，本公开所采用的图像检测损失函数能够有效解决正负样本不均衡的问题，在实际调整参数的过程中，当γ为2，
∝
t
为0.25时，本公开实施例图像检测模型的检测效果最佳，但是需要说明的是，本公开实施例并不因此对图像检测损失函数的具体参数进行限定。
90.此外，本公开实施例的图像检测损失函数中，随着第二动态调节因子γ值增加，第一动态调节因子
∝
t
对检测结果的影响也相应增加，示例性地，γ值为2时，置信度为0.9的样本的损失值将有100倍下降，而置信度为0.968的样本则有1000 倍下降，这变相地增加了误分样本的权重，从而让图像检测模型能够更加专注于图像中目标较小的地图，有利于提升小目标地图的召回能力。
91.步骤s102、若所述待识别图像中包含待识别国家地图区域，
92.则基于预设的图像分类模型确定所述待识别国家地图区域所属的地图类别。
93.其中，所述地图类别包括不含国家领土的地图、国家领土不完整的地图以及国家领土完整的地图中至少一种。
94.示例性地，本公开实施例的地图类别可以包括不含国家领土的地图、国家领土不完整的地图以及国家领土完整的地图中至少一种。
95.在一种可选的实施方式中，
96.在基于预设的图像分类模型确定所述地图区域所属的地图类别之前，所述方法还包括训练所述图像分类模型：
97.基于预先获取的图像分类训练数据集，通过待训练的图像分类模型，确定所述图像分类训练数据集各个样本对应的地图类别的第二预测概率；
98.根据所述第二预测概率，通过标签平滑正则化算法调整所述图像分类模型的图像分类损失函数的各个参数，以使所述图像分类损失函数满足预设的收敛条件。
99.在一种可选的实施方式中，
100.将所述图像检测模型和所述图像分类模型部署至同一个应用容器引擎；
101.所述图像检测模型将所述包含待识别国家地图区域送入所述图像分类模型；
102.所述图像分类模型确定所述包含待识别国家地图区域属于各个预设类别的预测概率，将所述预测概率中值最大的概率对应的类别作为所述包含待识别国家地图区域所属的地图类别。
103.示例性地，为了提高模型的训练和预测速度，可以将图像检测模型和图像分类模型部署至同一个应用容器引擎，其中，可以对图像检测模型和图像分类模型进行tensorrt加速，考虑到部署的可扩展性，可以采用docker部署。需要说明的是，上述加速方式以及部署方式只是示例性地说明，本公开实施例对具体的模型加速方式和部署方式并不进行限定。
104.在一种可选的实施方式中，
105.所述应用容器引擎用于：
106.消除所述图像检测模型和所述图像分类模型中无用的输出层；和/或
107.将所述图像检测模型和所述图像分类模型中的卷积层、批量归一化层和修正线性层融合为同一层；和/或
108.将所述图像检测模型和所述图像分类模型中输入信息相同和执行相同操作的神经网络层融合为同一层。
109.示例性地，应用容器引擎可以通过解析图像检测模型和图像分类模型，将两个模型中无用的输出层消除，从而减少计算量；
110.通过将图像检测模型和图像分类模型中的卷积层、批量归一化层和修正线性层融合为同一层，能够对两个模型的网络结构进行垂直整合；
111.通过将图像检测模型和图像分类模型中输入信息相同和执行相同操作的神经网络层融合为同一层，能够对两个模型中的网络结构进行水平整合。
112.可选地，对于图像检测模型，输入待识别图像后，可以检测待识别图像中包含地图区域，并将包含地图区域送入图像分类模型，经过图像分类模型的softmax 函数后，输出概率最大的地图类别，也即不含国家领土的地图、或者国家领土不完整的地图、或者国家领土完整的地图。
113.在一种可选的实施方式中，
114.在基于预设的图像分类模型确定所述地图区域所属的地图类别之前，所述方法还
包括：
115.构建所述图像分类模型的训练数据集时，通过标签平滑正则化算法调整所述图像分类模型对于各个地图类别的预测比例。
116.在一种可选的实施方式中，所述标签平滑正则化算法如下所示：
117.q
′
(k|e)＝(1―∈)δ
k,y
∈u(k)
118.其中，q
′
(k|x)表示新的预测分布，k表示图像分类模型输出的类别数，x表示图像检测模型的输出结果，∈表示超参，δ
k,y
表示当前的预测概率，也即未加入标签平滑前的概率分布，u(k)表示固定分布的噪声。
119.示例性地，通过标签平滑正则化算法能够防止图像分类模型过拟合，也即能够在原有标签的基础上增加噪声，使得图像分类模型的预测结果不要过度集中在概率较高的类别，同时可以将预测结果分布在概率较低的类别，从而整体上提高图像分类模型预测的准确性。
120.本公开的方法通过图像检测模型检测待识别图像中是否包含待识别国家地图区域，图像检测模型能够有效滤除部分不符合要求的待识别图像，降低图像分类模型的工作量；
121.通过图像分类模型能够确定待识别国家地图区域所属的地图类别，图像分类模型能够准确对不同类型的地图进行细分类，方便应用层根据防控松紧程度，以及根据客户数据分布更加灵活地进行策略配置；
122.通过将图像检测模型与图像分类模型进行结合，不仅能够识别待识别图像中小目标地图，提升小目标地图的召回能力，在此基础上，还能够进一步地识别地图中国家领土是否完整；
123.此外，本公开的方法还可以将图像检测模型与图像分类模型部署至同一个应用容器引擎，用以提升图像检测模型以及图像分类模型的运算速度，在两者结合保证识别准确性的基础上，提高识别速度。
124.图2为本公开实施例提供的一种识别地图中国家领土是否完整的方法的逻辑示意图，如图2所示，首先将待识别图像输入图像检测模型，图像检测模型检测待识别图像中是否包含待识别国家地图区域，若包含待识别国家地图区域，则扣出地图区域，并将地图区域送入图像分类模型，经过图像分类模型进行分类后，确定地图区域所属的地图类别，也即，不含国家领土的地图、或者国家领土不完整的地图、或者国家领土完整的地图。
125.图3示例性地示出本公开实施例提供的一种识别地图中国家领土是否完整的装置的结构示意图，如图3所示，所述装置包括：
126.第一单元41，用于基于预设的图像检测模型检测待识别图像中是否包含待识别国家地图区域，
127.第二单元42，若所述待识别图像中包含待识别国家地图区域，
128.则基于预设的图像分类模型确定所述待识别国家地图区域所属的地图类别，其中，
129.所述地图类别包括不含国家领土的地图、国家领土不完整的地图以及国家领土完整的地图。
130.在一种可选的实施方式中，
131.所述装置还包括第三单元43，所述第三单元43用于：
132.将所述图像检测模型和所述图像分类模型部署至同一个应用容器引擎；
133.所述图像检测模型将所述包含待识别国家地图区域送入所述图像分类模型；
134.所述图像分类模型确定所述包含待识别国家地图区域属于各个预设类别的预测概率，将所述预测概率中值最大的概率对应的类别作为所述包含待识别国家地图区域所属的地图类别。
135.在一种可选的实施方式中，
136.所述装置还包括第四单元44，所述第四单元44用于：
137.构建所述图像分类模型的训练数据集时，通过标签平滑正则化算法调整所述图像分类模型对于各个地图类别的预测比例。
138.在一种可选的实施方式中，
139.所述标签平滑正则化算法如下所示：
140.q
′
(k|x)＝(1―∈)δ
k,y
∈u(k)
141.其中，q
′
(k|x)表示新的预测分布，k表示图像分类模型输出的类别数，x表示图像检测模型的输出结果，∈表示超参，δ
k,y
表示当前的预测概率，也即未加入标签平滑前的概率分布，u(k)表示固定分布的噪声。
142.在一种可选的实施方式中，
143.所述应用容器引擎用于：
144.消除所述图像检测模型和所述图像分类模型中无用的输出层；和/或
145.将所述图像检测模型和所述图像分类模型中的卷积层、批量归一化层和修正线性层融合为同一层；和/或
146.将所述图像检测模型和所述图像分类模型中输入信息相同和执行相同操作的神经网络层融合为同一层。
147.本公开实施例的第三方面，提供一种存储介质，其特征在于，包括：
148.处理器；
149.用于存储处理器可执行指令的存储器；
150.其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述任意一项所述的方法。
151.本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现前述中任意一项所述的方法。
152.需要说明的是，本公开实施例的识别地图中国家领土是否完整的装置的有益效果可以参考前述识别地图中国家领土是否完整的方法的有益效果，本公开实施例在此不再赘述。
153.本公开还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。
154.其中，可读存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专
用计算机能够存取的任何可用介质。例如，可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(application specific integratedcircuits，简称：asic)中。另外，该asic可以位于用户设备中。当然，处理器和可读存储介质也可以作为分立组件存在于通信设备中。可读存储介质可以是只读存储器(rom)、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
155.在上述终端或者服务器的实施例中，应理解，处理器可以是中央处理单元 (英文：central processing unit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digital signal processor，简称：dsp)、专用集成电路(英文：application specific integrated circuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
156.最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。