室内监护场景下的目标检测模型训练优化方法及系统与流程
本技术涉及人工智能,特别涉及一种室内监护场景下的目标检测模型训练优化技术。
背景技术:
1、随着人口老龄化程度的不断加深,养老院卧室、医院病房、康复中心以及独居老人家居等固定室内监护场景对智能化监护手段的需求日益增长。在这类场景中,通常借助固定安装于室内预设位置的监控摄像头采集覆盖床体及周边活动区域的图像,并利用目标检测模型对场景内的人体等目标进行检测,进而为跌倒预警、离床提醒、夜间巡视等后续监护任务提供检测结果。举例来说,在养老院卧室中,需要在夜间灯光昏暗、成像质量下降的条件下持续检测卧床老人;在医院病房中,需要在被子、枕头等遮挡物覆盖人体大部的情况下判断床位上是否存在人体目标;在独居老人家居场景中,家具、衣物等背景元素还容易与人体特征发生视觉混淆。
2、然而,目标检测模型在上述弱光、遮挡、卧床姿态变化、背景干扰等困难场景中容易出现误检、漏检和错分类,而常规训练方式和普通数据增强对此类困难样本、错误样本的利用不足,模型对困难检测场景的学习能力有限;现有对错误样本施加扰动的增强方式往往采用同一种扰动策略处理所有错误样本,难以与目标检测中的定位错误、类别错误和背景误检问题相适配,扰动还容易波及正确目标区域和背景区域;此外,经扰动处理后的样本未经有效性审查即进入训练过程,其中修正失败或扰动后仍无法被正确检测的样本会降低训练数据的质量。因此,迫切需要一种新的目标检测模型训练优化方案,以解决上述问题。
技术实现思路
1、本技术的目的在于提供一种室内监护场景下的目标检测模型训练优化方法及系统,以解决上述背景技术中提出的问题。
2、为实现上述目的,本技术提供一种室内监护场景下的目标检测模型训练优化方法,包括以下步骤:获取由固定安装的室内监控摄像头采集的图像训练集,所述图像训练集中的图像附带真实标注框和类别标签,所述类别标签指示预设目标类别;利用基准目标检测模型对所述图像训练集进行检测,输出预测框、预测类别和置信度,并对所述预测框进行置信度筛选与去重,得到修正候选框;根据交并比和类别一致性对所述修正候选框和所述真实标注框逐一进行匹配判定,将所述图像训练集中的样本划分为正确样本和错误样本,将所述错误样本中的检测错误按错误类型划分为错分类、误检和漏检,并以预测框或真实标注框对应的区域为基本单位,确定各错误类型对应的修正候选区域;根据所述错误类型,为各所述修正候选区域确定修正目标框,并根据所述修正目标框确定对抗修正区域和修正方式,对于错分类和漏检,采用有目标的基于梯度对抗修正,修正方向根据对应真实标注框的类别标签确定,对于误检,对预测框对应的背景误检区域采用非基于梯度的对抗修正;按照所确定的修正方式,通过修正区域掩码将对抗修正扰动限制在当前待修正的对抗修正区域内,对所述错误样本施加对抗修正,并经图像重建生成对抗修正样本;将所述对抗修正样本重新输入所述基准目标检测模型,以修正区域为粒度进行修正验证;将通过修正验证的对抗修正样本与所述正确样本合并,构建增强训练集;利用所述增强训练集对所述基准目标检测模型进行训练,更新模型参数,得到优化后的目标检测模型。
3、在一个优选例中,所述置信度筛选与去重包括:滤除置信度低于预设置信度阈值的预测框;当同一目标被多个预测框重复预测时,仅保留与对应真实标注框最相似、且与该真实标注框的交并比大于预设匹配阈值的预测框。所述匹配判定包括:若预测框与某一真实标注框的交并比达到所述预设匹配阈值,且预测类别与该真实标注框的类别标签一致,则该预测框对应的检测结果为正确检测结果;若预测框与某一真实标注框的交并比达到所述预设匹配阈值,但预测类别与该真实标注框的类别标签不一致,则属于错分类,将该预测框所检测的区域确定为错分类对应的修正候选区域;若某一预测框与所有真实标注框的交并比均低于所述预设匹配阈值,则属于误检,将该预测框对应的区域确定为误检对应的修正候选区域;若某一真实标注框与所有预测框的交并比均低于所述预设匹配阈值,则属于漏检,将该真实标注框对应的区域确定为漏检对应的修正候选区域。将不包含任何修正候选区域的图像作为所述正确样本,将包含至少一个修正候选区域的图像作为所述错误样本。
4、在一个优选例中,所述修正目标框、所述对抗修正区域和所述修正方式的确定包括:对于错分类,修正目标框为与真实标注框相匹配的预测框,对抗修正区域为该预测框对应的区域;对于漏检,修正目标框为真实标注框,对抗修正区域为该真实标注框对应的目标区域;对于误检,修正目标框为预测框,对抗修正区域为该预测框对应的背景误检区域。所述修正区域掩码与输入图像具有对应的空间尺寸,在当前待修正的对抗修正区域内取值为1,在其余非修正区域内取值为 0;施加对抗修正扰动时,通过所述修正区域掩码对当前待修正区域以外的图像区域进行屏蔽,所述对抗修正扰动仅作用于当前待修正区域。对于存在遮挡的目标,所述修正区域掩码在所述对抗修正区域内进一步限定至目标可见区域,即在目标可见区域内取值为 1,在被遮挡区域和背景区域取值为 0。
5、在一个优选例中,所述有目标的基于梯度对抗修正采用迭代式梯度修正方式生成所述对抗修正样本,其单步更新表示为:
6、xadvt+1=clipx,ε{xadvt-α·sign(∇xlcorr)}
7、其中,xadvt 表示第 t 次迭代前的对抗修正样本,迭代开始时 xadv0 取原始图像x,xadvt+1 表示第 t+1 次迭代后的对抗修正样本,α 表示单步迭代步长,lcorr 表示修正损失函数,∇xlcorr 表示所述修正损失函数关于输入图像 x 的梯度,sign(·) 为符号函数,用于取梯度各元素的正负号,clipx,ε(·) 为逐像素截断函数,用于将扰动限制在相对于原始图像 x 的预设扰动幅度 ε 的范围内,式中的负号表示沿减小所述修正损失函数的方向进行更新;所述修正损失函数 lcorr 包括分类修正损失、目标置信度修正损失、边界框匹配损失、边界框回归损失、交并比损失或特征表示修正损失中的一种或多种;所述对抗修正样本相对于原始图像的总扰动满足:
8、‖xadv-x‖∞≤ε
9、其中,xadv 表示对抗修正样本,x 表示原始图像,‖·‖∞ 表示无穷范数,即取各像素位置扰动绝对值中的最大值,ε 表示预设的扰动幅度上限。需要指出的是,上述单步更新形式为所述有目标的基于梯度对抗修正的一种示例性实现,本技术并不限于该单步更新形式,还可以采用由其他基于梯度的对抗攻击算法改造得到的、沿减小所述修正损失函数的方向进行更新的迭代形式。
10、在一个优选例中,所述非基于梯度的对抗修正采用不依赖所述基准目标检测模型的梯度信息即可实施的黑盒扰动,包括盐椒噪声形式的扰动或弹性网络攻击形式的扰动;当采用盐椒噪声形式的扰动时,在所述背景误检区域内对部分像素施加随机黑白像素扰动。
11、在一个优选例中,针对同一图像内的多个修正候选区域,采用合并修正策略或逐级修正策略进行区域组织。所述合并修正策略包括:将属于同一错误类型、且相互之间重叠度大于预设重叠阈值的修正候选区域合并为合并区域进行统一修正;对于错分类和漏检对应的合并区域,选取该合并区域内出现次数最多的真实类别标签作为该合并区域的目标标签,当存在多个类别标签出现次数相同时,选取其中所属真实标注框面积最大的类别标签作为目标标签;并按错分类、漏检、误检的先后顺序对各待修正区域依次进行修正。所述逐级修正策略包括:按修正候选区域的面积从小到大的顺序逐个进行修正,每个修正候选区域使用其自身对应的目标标签和修正方式;对于已经完成修正的区域,在后续其他修正候选区域的修正过程中通过所述修正区域掩码予以掩码保护,所述已经完成修正的区域在后续修正过程中不再被扰动。进一步地,还可以根据相互重叠的多个修正候选区域所对应的目标标签是否存在冲突,在上述两种区域组织方式之间进行选择:在多个相互重叠的修正候选区域对应相同目标标签或者不存在目标标签冲突的情况下,采用所述合并修正策略,以减少重复修正并提高处理效率;在多个相互重叠的修正候选区域对应不同目标标签、合并后可能产生目标标签冲突的情况下,采用所述逐级修正策略,使各修正候选区域分别按照其对应的目标标签进行修正。所述图像重建包括:在完成各待修正区域的扰动处理后,将修正后的各区域替换回原始图像中的对应位置,原始图像中的其余区域保留原始像素,共同构成所述对抗修正样本。
12、在一个优选例中,所述修正验证包括:对于误检对应的修正区域,若所述基准目标检测模型重新检测后,在原背景误检区域内不再输出所述预设目标类别的预测框,或者不再输出置信度达到预设置信度阈值的预测框,则该修正区域通过修正验证;对于漏检对应的修正区域,若所述基准目标检测模型重新检测后,在对应真实标注框区域输出所述预设目标类别的预测框,且该预测框与该真实标注框之间的交并比达到预设交并比阈值、置信度达到所述预设置信度阈值,则该修正区域通过修正验证;对于错分类对应的修正区域,若所述基准目标检测模型重新检测后,在对应真实标注框区域输出与该真实标注框的类别标签一致的预测框,且该预测框与该真实标注框之间的交并比达到所述预设交并比阈值、置信度达到所述预设置信度阈值,则该修正区域通过修正验证;未通过修正验证的对抗修正样本不纳入所述增强训练集。进一步地,还可以根据修正验证通过率,调整扰动幅度上限、迭代次数、单步迭代步长、盐椒噪声的噪声密度或盐椒比例中的一种或多种参数。
13、在一个优选例中,所述利用所述增强训练集对所述基准目标检测模型进行训练包括:将所述增强训练集定义为源域,将原始的所述图像训练集定义为目标域,在所述基准目标检测模型的深层特征层上分别提取源域样本和目标域样本的特征,并计算源域特征与目标域特征之间的特征统计对齐损失;所述特征统计对齐损失采用相关对齐损失:
14、lcoral=1/(4d2)‖cs-ct‖f2
15、其中,lcoral 表示相关对齐损失,d 表示所选深层特征层输出的特征表示的维度,cs 表示源域特征的协方差矩阵,ct 表示目标域特征的协方差矩阵,‖·‖f 表示 frobenius范数,即矩阵各元素平方和的平方根;训练过程中的总损失函数为:
16、ltotal=ldet+λlcoral
17、其中,ltotal 表示总损失函数,ldet 表示目标检测损失,λ 表示特征统计对齐损失的权重系数,所述权重系数采用随训练轮次递增的动态调整方式或定值方式确定;通过联合最小化所述目标检测损失和所述特征统计对齐损失,更新所述基准目标检测模型的模型参数,得到所述优化后的目标检测模型。需要指出的是,所述特征统计对齐损失用于表征源域特征与目标域特征之间的统计量差异,相关对齐损失为所述特征统计对齐损失的一种示例性实现;在其他实施方式中,所述特征统计对齐损失还可以采用最大均值差异损失、一阶统计量对齐损失,或者其他能够表征并减小上述统计量差异的域自适应形式的对齐损失。
18、本技术还提供一种室内监护场景下的目标检测模型训练优化系统,包括:图像获取模块,用于获取由固定安装的室内监控摄像头采集的图像训练集,所述图像训练集中的图像附带真实标注框和类别标签,所述类别标签指示预设目标类别;检测筛选模块,用于利用基准目标检测模型对所述图像训练集进行检测,输出预测框、预测类别和置信度,并对所述预测框进行置信度筛选与去重,得到修正候选框;错误划分模块,用于根据交并比和类别一致性对所述修正候选框和所述真实标注框逐一进行匹配判定,将所述图像训练集中的样本划分为正确样本和错误样本,将所述错误样本中的检测错误按错误类型划分为错分类、误检和漏检,并以预测框或真实标注框对应的区域为基本单位,确定各错误类型对应的修正候选区域;修正配置模块,用于根据所述错误类型,为各所述修正候选区域确定修正目标框,并根据所述修正目标框确定对抗修正区域和修正方式,对于错分类和漏检,采用有目标的基于梯度对抗修正,修正方向根据对应真实标注框的类别标签确定,对于误检,对预测框对应的背景误检区域采用非基于梯度的对抗修正;对抗修正模块,用于按照所确定的修正方式,通过修正区域掩码将对抗修正扰动限制在当前待修正的对抗修正区域内,对所述错误样本施加对抗修正,并经图像重建生成对抗修正样本;修正验证模块,用于将所述对抗修正样本重新输入所述基准目标检测模型,以修正区域为粒度进行修正验证;增强训练集构建模块,用于将通过修正验证的对抗修正样本与所述正确样本合并,构建增强训练集;训练优化模块,用于利用所述增强训练集对所述基准目标检测模型进行训练,更新模型参数,得到优化后的目标检测模型。
19、本技术还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上文所述的室内监护场景下的目标检测模型训练优化方法。
20、本技术所提供的训练优化方案,将对抗扰动由使正确样本变为错误样本的攻击工具转换为使错误样本朝正确检测结果修正的修正工具,并使其面向基准目标检测模型已经产生错误检测或错误分类的训练样本,使模型训练过程更加集中于困难样本和错误样本,有助于提高模型对弱光、遮挡、卧床姿态变化、背景干扰等困难检测场景的学习能力,并提高增强样本对训练的有效性。与图像分类任务中以整幅图像为单位判断结果不同,本方案中错误样本的识别、修正与验证均以预测框或真实标注框对应的区域为基本单位进行,与目标检测任务中一幅图像可能包含多个预测框和真实标注框、各框分别对应不同错误情形的特点相适应;按错误类型确定修正目标框、对抗修正区域和修正方式,使对抗修正与目标检测中的定位错误、类别错误和背景误检问题相适配;修正区域掩码使扰动仅作用于识别错误的区域,而不影响正确目标区域和背景区域;以修正区域为粒度的修正验证准入机制,有助于避免修正失败或扰动后仍无法被正确检测的样本进入训练过程,从源头上提高增强训练集的数据质量,降低无效扰动样本对模型训练的不利影响。
21、进一步地,借助置信度筛选滤除置信度过低的预测框、借助去重处理避免同一目标被多个预测框重复处理,使后续的匹配判定和对抗修正建立在质量较高的修正候选框之上,减少无效处理;借助以交并比和类别一致性为判据的框级匹配规则,错分类、误检和漏检三类错误各自的修正候选区域得以按客观、可量化的方式确定,为差异化的对抗修正提供准确的作用对象。
22、进一步地,借助错误类型与修正目标框、对抗修正区域之间的对应关系,错分类和漏检的修正被锚定于目标真实所在的区域、修正方向由对应真实标注框的类别标签确定,误检的修正则被锚定于模型错误地认为存在目标的背景误检区域;对于存在遮挡的目标,修正区域掩码进一步限定至目标可见区域,使基于梯度的对抗修正扰动集中作用于未被遮挡的目标可见部分,避免在被遮挡区域和背景区域施加无意义的扰动。
23、进一步地,迭代式梯度修正沿减小修正损失函数的方向逐步更新,并借助逐像素截断和无穷范数约束将总扰动控制在预设扰动幅度范围内;修正损失函数可以结合分类、目标置信度、边界框匹配、边界框回归、交并比或特征表示等多种损失构成,使对抗修正与目标检测任务中的目标定位、类别预测和置信度判断相结合,而非仅调整分类输出。与之配合,非基于梯度的对抗修正不依赖基准目标检测模型的梯度信息即可实施,用于削弱背景误检区域中导致误检的虚假目标特征,其适用范围较广。
24、进一步地,针对同一图像内多个修正候选区域逐一独立处理耗时较长、不加区分地合并处理又容易引入标签冲突与重复修正的问题,合并修正策略通过同类型重叠区域的合并与目标标签的确定规则节省修正时间,逐级修正策略通过按面积从小到大的修正顺序和对已修正区域的掩码保护避免标签冲突和重复修正,实际应用中还可以按照相互重叠的修正候选区域之间是否存在目标标签冲突在二者之间进行选择;二者配合图像重建生成对抗修正样本,图像重建保留非修正区域的原始像素,使对抗修正样本尽可能维持原始图像的信息。
25、进一步地,修正验证按错误类型分别设置验证条件,并以修正区域为粒度分别得到验证结果,一幅图像中的多个修正区域可以分别判断;根据修正验证通过率反馈调整扰动参数,有助于提高修正验证通过率,进而扩大进入增强训练集的有效样本规模。
26、进一步地,以增强训练集为源域、以原始的图像训练集为目标域,在深层特征层上以相关对齐损失约束源域特征与目标域特征的二阶统计差异,并结合权重系数的动态调整或定值设置,有助于促进目标检测损失与特征统计对齐损失构成的总损失更好地收敛,使模型在保持对原始图像训练集中正确样本特征学习的基础上,提升对困难样本的检测能力,有助于维持优化后模型在真实场景数据上的检测性能。
27、上述各技术手段前后衔接、相互配合,前一环节的输出构成后一环节的处理对象,使所述训练优化方案在保持原始场景检测性能的前提下,提高困难检测场景的学习能力以及对抗修正样本的有效性和训练针对性。
28、本技术的说明书中记载了大量的技术特征,分布在各个技术方案中,如果要罗列出本技术所有可能的技术特征的组合(即技术方案)的话,会使得说明书过于冗长。为了避免这个问题,本技术上述 技术实现要素: 中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征,都可以自由地互相组合,从而构成各种新的技术方案(这些技术方案均应视为在本说明书中已经记载),除非这种技术特征的组合在技术上是不可行的。例如,在一个例子中公开了特征 a+b+c,在另一个例子中公开了特征 a+b+d+e,而特征 c 和 d 是起到相同作用的等同技术手段,技术上只要择一使用即可,不可能同时采用,特征 e 技术上可以与特征 c 相组合,则,a+b+c+d 的方案因技术不可行而应当不被视为已经记载,而 a+b+c+e 的方案应当视为已经被记载。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com