一种基于改进双候选框交叉替换策略和损失函数的拥挤场景行人检测方法

1.本发明涉及目标检测技术领域，具体涉及一种基于改进双候选框交叉替换策略和损失函数的拥挤场景行人检测方法。


背景技术：

2.行人检测这些年一直受到众多研究者的关注，可以为一些现实场景提供重要的技术支持。例如，在车辆驾驶系统中，帮助车辆在行驶过程中检测行人，从而辅助车辆行驶规避行人，减少交通事故发生；在智能监控系统中，通过监控视频或图片的内容，识别罪犯、拥挤行人等潜在的安全隐患，从而及时采取行动，提高居民和城市安全；在机器人以及高级人机交互系统中，赋予机器智能，解放工人双手。此外，行人检测也是多目标追踪、人体姿态估计和人像搜索的前提。
3.近年来，随着人民物质生活水平的逐渐提高和城市化进程的不断加快，城市居民数量得到了迅速的增长，导致许多场景经常会出现人群拥挤情况，如商场、车站、街道、医院、景区等场景，这些拥挤场景存在着较大的安全隐患。尽管现有行人检测模型在kitti、citypersons 和caltech等经典行人检测数据集上取得了不错的结果，但是在拥挤场景数据集上依然表现不佳。与一般行人检测相比，在拥挤场景下，行人检测除了受到图像中光照强度不一、背景复杂多样、不同拍摄角度等因素的影响外，人体结构之间的相似性、姿态的多样性、尺度大小在图像中多变以及行人着装各异等因素，也大大增加了人体检测的难度。更困难的是人体之间还普遍存在高度遮挡，这些遮挡的模式多样且属于同类别遮挡，使得行人检测模型提取的每个目标的特征区分性不高，导致模型无法区分各目标之间的边界，以致将多个目标看作一个整体，或者某些目标的预测边界框有较大偏差，或者预测的边界框被非极大值抑制剔除，进而导致检测模型存在漏检和误检情况，使模型检测效果严重下降。因此，研究拥挤场景行人检测方法，提高行人识别的准确性及定位的精确性，具有较好的理论意义以及实际应用价值。


技术实现要素：

4.本发明提供了一种基于改进双候选框交叉替换策略和损失函数的拥挤场景行人检测方法，其目的在于解决在拥挤场景下由于人体间的遮挡导致行人检测模型存在漏检和误检的问题。
5.为实现上述目的，本发明提供了如下的技术方案：
6.一种基于改进双候选框交叉替换策略和损失函数的拥挤场景行人检测方法，具体步骤如下：
7.s1：将图像输入到主干网络，提取不同尺度下的特征；
8.s2：将步骤s1中提取的特征输入到基于简化ciou和k-means聚类算法的锚框优化方法的双锚框区域建议网络中获取候选框；
9.s3：采用改进的双候选框交叉替换策略对步骤s2生成的候选框对进行比对、替换，生成包含头部和全身候选框的高质量候选框对；
10.s4：将经过roi align后的头部和全身候选框对应的特征输入全连接层进行融合，生成融合后的特征图信息；
11.s5：根据目标内容对融合后的特征图信息，采用基于改进的损失函数对融合后的特征图信息进行分类和回归处理，获得多个预测框，预测行人的位置和类别信息，其中改进的回归损失函数计算公式见公式(1)：
12.l
e-reploss
＝l
e-attr-α*l
e-repgt-β*l
e-repbox
ꢀꢀꢀ
(1)
13.公式(1)中，l
e-reploss
是改进的损失函数，l
e-attr
是吸引力损失，l
e-repgt
、l
e-repbox
是排斥力损失，α和β为平衡系数；
14.公式(1)中，吸引力损失l
e-attr
的计算方法见公式(2)，其作用是使目标的预测边界框尽可能靠近自己的真实框：
[0015][0016]
公式(2)中，b和分别表示行人的预测边界框和与之对应的真实框，而w表示预测边界框的宽，h表示预测边界框的高，表示真实框的宽，表示真实框的高，c表示两个边界框最小外接矩形的对角线，ρ表示两个边界框最小外接矩形的中心点的距离，cw和ch为两个边界框最小外接矩形的宽和高；
[0017]
公式(1)中，l
e-repgt
为预测边界框与相邻目标真实框的排斥力损失函数，计算方法见公式 (3)：
[0018][0019]
公式(3)中，是b与所有真实框交并比值第二大时的真实框，和是其对应的宽和高；
[0020]
公式(1)中，l
e-repbox
为行人预测边界框与相邻行人预测边界框损失函数，计算方法见公式(4)：
[0021][0022]
公式(4)中，bi和bj表示行人i跟行人j的预测边界框，wi、hi表示行人i的预测边界框的宽跟高，wj、hj表示行人j的预测边界框的宽跟高；
[0023]
s6：剔除冗余预测框，输出带有最优预测框的图像。
[0024]
进一步的，所述步骤s1具体包括步骤s11至步骤s12：
[0025]
s11：加载在imagenet分类数据集上预训练后生成的深度残差卷积神经网络模型 resnet50；
[0026]
s12：将待检测的图像输入到深度残差卷积神经网络resnet50中提取不同尺度下的深度卷积特征；
[0027]
进一步的，所述步骤s2具体包括步骤s21至步骤s22：
[0028]
s21：采用基于简化ciou和k-means聚类算法的锚框优化方法对双锚框区域建议网
络进行锚框优化，进一步包括步骤s211至步骤s215：
[0029]
s211：将数据集中所有全身标注框的宽和高(xi，yi)作为待聚类样本，其中，i∈(1，2，...n)， n为样本个数，xi为第i个标注框的宽，yi为第i个标注框的高；
[0030]
s212：给定k个聚类中心点的坐标(swj，shj)，其中，(swj，shj)为第j个聚类中心点的坐标， j∈(1，2，...k)，k为聚类中心点的数量；
[0031]
s213：根据l
s-ciou
计算每个标注框到每个聚类中心的距离，计算公式见公式(5)，将标注框分配给距离最近的聚类中心；
[0032]
d＝l
s-ciou
[(swi，shi)，(swj，shj)]
ꢀꢀꢀ
(5)
[0033]
公式(5)中，d表示标注框到聚类中心的距离，i∈(1，2，
…
，n)，j∈(1，2，
…
k)，l
s-ciou
为 k-means聚类算法中距离计算公式，(swi，shi)为第i个标注框中心位置坐标，l
s-ciou
计算公式见公式(6)：
[0034]
l
s-ciou
＝1-iou αν
ꢀꢀꢀ
(6)
[0035]
公式(6)中，v是宽高比，a是动态权重因子，其中，α的计算方法见公式(7)：
[0036][0037]
公式(7)中，宽高比v的计算方法见公式(8)：
[0038][0039]
公式(8)中，(sw
gt
,sh
gt
)为真实框中心位置坐标，(sw,sh)为标注框中心位置坐标；
[0040]
s214：所有标注框分配完毕以后，对每个簇重新计算聚类中心，计算方法见公式(9)：
[0041][0042]
公式(9)中，(sw’,sh’)为重新计算的第i个类簇的聚类中心位置坐标，ni为第i个类簇中对象个数，∑swi为第i个类簇中所有对象横坐标sw向量的和，∑shi为第i个类簇中所有对象纵坐标sh向量的和；
[0043]
s215：重复步骤s213、s214，直到聚类中心不再改变；
[0044]
s22：将步骤s1中提取的特征输入到基于简化ciou和k-means聚类算法的锚框优化方法的双锚框区域建议网络中，由rpn-h和rpn-b生成符合数据集的头部和全身候选框对。
[0045]
进一步的，所述步骤s3具体包括步骤s31至步骤s32：
[0046]
s31：设定第一阈值；
[0047]
s32：对rpn-b的低质量头部候选框和rpn-h高质量头部候选框计算交并比，若交并比值大于步骤s31所述的第一阈值，则将rpn-b的头部候选框替换为rpn-h的头部候选框；将替换后头部候选框与rpn-b中身体候选框拼接，最终形成一对高质量候选框对。
[0048]
进一步的，所述步骤s6具体包括步骤s61至步骤s62：
[0049]
s61：通过非极大值抑制法筛选出所述最优预测框；
[0050]
s62：通过open cv将带有最优预测框的图像绘制到操作界面的结果输出框，并进行输出。
[0051]
进一步的，所述步骤s61具体包括步骤s611至步骤s615：
[0052]
s611：通过联合非极大值抑制的方法，同时利用输出的头部和全身边界框的信息，加权两种边界框的类别得分作为边界框排序的置信度；
[0053]
s612：将置信度最高的预测框记录到最终输出列表中，并将步骤s611所述置信度最高的预测框从预测框列表中删除；
[0054]
s613：计算所述预测框列表中剩余预测框的面积；并根据所述剩余预测框的面积，计算所述置信度最高的预测框与剩余预测框的重叠度；
[0055]
s614：将所述剩余预测框中大于阈值的预测框，从所述预测框列表中删除；
[0056]
s615：重复步骤s612-s614，直到所述预测框列表为空。
[0057]
本发明与现有技术相比，具体有以下优点：
[0058]
(1)采用基于简化ciou和k-means聚类算法的锚框优化方法，设计符合数据集的锚框大小和比例从而提升了模型检测效果。
[0059]
(2)采用改进的双候选框交叉替换策略，将候选框交叉替换策略中全身框选择替换改为头部框选择替换，若rpn-b和rpn-h中的头部框候选框之间的交并比大于指定阈值，则将 rpn-b的头部候选框替换为rpn-h的头部候选框，然后再将替换后头部候选框与rpn-b中全身候选框融合，从而提高候选框的质量。
[0060]
(3)提出一种适用于遮挡更严重场景的回归损失函数e-reploss。该函数将eiou损失函数与reploss相结合，使reploss完全以eiou损失函数实现吸引和排斥损失内容。该函数包含的两个函数以不同的方式都可以使边界框更好地覆盖自身目标的同时，与基于锚框 (anchor-based)的crowddet模型更适配，reploss可以使预测的边界框远离相邻行人真实框和预测边界框，提高了检测模型在遮挡更严重的场景的检测性能。
附图说明
[0061]
图1是本发明的流程图；
[0062]
图2是基于简化ciou和k-means聚类算法的锚框优化方法流程图；
[0063]
图3是改进的双候选框交叉替换策略的示意图；
具体实施方式
[0064]
为了更清楚地理解本发明的上述方案，下面结合附图对本发明进行进一步的详细描述。需要说明的是，此处所描述的具体实施仅用于解释本技术，并不用于限定本技术。
[0065]
图1是本发明一种基于改进双候选框交叉替换策略和损失函数的拥挤场景行人检测方法流程图，具体步骤如下：
[0066]
s1：将图像输入到主干网络，提取不同尺度下的特征；
[0067]
s2：将步骤s1中提取的特征输入到基于简化ciou和k-means聚类算法的锚框优化方法的双锚框区域建议网络中获取候选框；
[0068]
s3：采用改进的双候选框交叉替换策略对步骤s2生成的候选框对进行比对、替换，生成包含头部和全身候选框的高质量候选框对；
[0069]
s4：将经过roi align后的头部和全身候选框对应的特征输入全连接层进行融合，生成融合后的特征图信息；
[0070]
s5：根据目标内容对融合后的特征图信息，采用基于改进的损失函数对融合后的特征图信息进行分类和回归处理，获得多个预测框，预测行人的位置和类别信息，其中改进的回归损失函数计算公式见公式(1)：
[0071]
l
e-reploss
＝l
e-attr-α*l
e-repgt-β*l
e-repbox
ꢀꢀꢀ
(1)
[0072]
公式(1)中，l
e-reploss
是改进的损失函数，l
e-attr
是吸引力损失，l
e-repgt
、l
e-repbox
是排斥力损失，α和β为平衡系数；
[0073]
公式(1)中，吸引力损失l
e-attr
的计算方法见公式(2)，其作用是使目标的预测边界框尽可能靠近自己的真实框：
[0074][0075]
公式(2)中，b和分别表示行人的预测边界框和与之对应的真实框，而w表示预测边界框的宽，h表示预测边界框的高，表示真实框的宽，表示真实框的高，c表示两个边界框最小外接矩形的对角线，ρ表示两个边界框最小外接矩形的中心点的距离，cw和ch为两个边界框最小外接矩形的宽和高；
[0076]
公式(1)中，l
e-repgt
为预测边界框与相邻目标真实框的排斥力损失函数，计算方法见公式 (3)：
[0077][0078]
公式(3)中，是b与所有真实框交并比值第二大时的真实框，和是其对应的宽和高；
[0079]
公式(1)中，l
e-repbox
为行人预测边界框与相邻行人预测边界框损失函数，计算方法见公式(4)：
[0080][0081]
公式(4)中，bi和bj表示行人i跟行人j的预测边界框，wi、hi表示行人i的预测边界框的宽跟高，wj、hj表示行人j的预测边界框的宽跟高；
[0082]
s6：剔除冗余预测框，输出带有最优预测框的图像。
[0083]
具体的，所述步骤s1具体包括如下步骤：
[0084]
s11：加载在imagenet分类数据集上预训练后生成的深度残差卷积神经网络模型 resnet50；
[0085]
s12：将待检测的图像输入到深度残差卷积神经网络resnet50中提取不同尺度下的深度卷积特征；
[0086]
图2为基于简化ciou和k-means聚类算法的锚框优化方法的流程图，具体的，所述步骤s2具体包括步骤s21至步骤s22：
[0087]
s21：采用基于简化ciou和k-means聚类算法的锚框优化方法对双锚框区域建议网络进行锚框优化，进一步包括步骤s211至步骤s215：
[0088]
s211：将数据集中所有全身标注框的宽和高(xi,yi)作为待聚类样本，其中，i∈(1,2,...n)， n为样本个数，xi为第i个标注框的宽，yi为第i个标注框的高；
[0089]
s212：给定k个聚类中心点的坐标(swj,shj)，其中，(swj,shj)为第j个聚类中心点的坐标， j∈(1,2,...k)，k为聚类中心点的数量；
[0090]
s213：根据l
s-ciou
计算每个标注框到每个聚类中心的距离，计算公式见公式(5)，将标注框分配给距离最近的聚类中心；
[0091]
d＝l
s-ciou
[(swi,shi),(swj,shj)]
ꢀꢀꢀ
(5)
[0092]
公式(5)中，d表示标注框到聚类中心的距离，i∈(1，2，
…
，n)，j∈(1，2，
…
k)，l
s-ciou
为 k-means聚类算法中距离计算公式，(swi,shi)为第i个标注框中心位置坐标，l
s-ciou
计算公式见公式(6)：
[0093]
l
s-ciou
＝1-iou αν
ꢀꢀꢀ
(6)
[0094]
公式(6)中，v是宽高比，a是动态权重因子，其中，α的计算方法见公式(7)：
[0095][0096]
公式(7)中，宽高比v的计算方法见公式(8)：
[0097][0098]
公式(8)中，(sw
gt
,sh
gt
)为真实框中心位置坐标，(sw,sh)为标注框中心位置坐标；
[0099]
s214：所有标注框分配完毕以后，对每个簇重新计算聚类中心，计算方法见公式(9)：
[0100][0101]
公式(9)中，(sw’,sh’)为重新计算的第i个类簇的聚类中心位置坐标，ni为第i个类簇中对象个数，∑swi为第i个类簇中所有对象横坐标sw向量的和，∑shi为第i个类簇中所有对象纵坐标sh向量的和；
[0102]
s215：重复步骤s213、s214，直到聚类中心不再改变；
[0103]
s22：将步骤s1中提取的特征输入到基于简化ciou和k-means聚类算法的锚框优化方法的双锚框区域建议网络中，由rpn-h和rpn-b生成符合数据集的头部和全身候选框对。
[0104]
图3是改进的双候选框交叉替换策略的示意图，具体的，所述步骤s3具体包括步骤s31 至步骤s32：
[0105]
s31：设定第一阈值；
[0106]
s32：对rpn-b的低质量头部候选框和rpn-h高质量头部候选框计算交并比，若交并比值大于步骤s31所述的第一阈值，则将rpn-b的头部候选框替换为rpn-h的头部候选框；将替换后头部候选框与rpn-b中身体候选框拼接，最终形成一对高质量候选框对。
[0107]
具体的，所述步骤s6具体包括步骤s61至步骤s62：
[0108]
s61：通过非极大值抑制法筛选出所述最优预测框；
[0109]
s62：通过open cv将带有最优预测框的图像绘制到操作界面的结果输出框，并进行输出。
[0110]
具体的，所述步骤s61具体包括如下步骤：
[0111]
s611：通过联合非极大值抑制的方法，同时利用输出的头部和全身边界框的信息，
加权两种边界框的类别得分作为边界框排序的置信度；
[0112]
s612：将置信度最高的预测框记录到最终输出列表中，并将步骤s611所述置信度最高的预测框从预测框列表中删除；
[0113]
s613：计算所述预测框列表中剩余预测框的面积；并根据所述剩余预测框的面积，计算所述置信度最高的预测框与剩余预测框的重叠度；
[0114]
s614：将所述剩余预测框中大于阈值的预测框，从所述预测框列表中删除；
[0115]
s615：重复步骤s612-s614，直到所述预测框列表为空。
[0116]
本发明公开了一种基于改进双候选框交叉替换策略和损失函数的拥挤场景行人检测方法，解决了拥挤造成行人检测模型普遍面临nms阈值设定敏感问题，以及由于遮挡导致模型预测的边界框发生较大偏移和最优边界框被非极大值抑制误删的问题，拥挤场景下准确检测行人目标提供了一种基于深度学习的新方法，有效提高行人检测模型的检测性能。
[0117]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所做的任何修改、同等替换、改进等，均应包含在本发明的保护范围之内。