视频服饰检测方法、装置及设备与流程

技术特征：
1.一种视频服饰检测方法，其特征在于，所述方法包括：对待处理视频的多个视频帧进行分区，确定每一所述视频帧对应的分区信息；对每一所述视频帧进行检测，得到每一所述视频帧中目标人物对应的检测结果；所述检测结果包括所述视频帧中所述目标人物的人物信息和所述目标人物对应的服饰信息；基于每一所述视频帧对应的分区信息，对相同分区内的视频帧的检测结果进行校正，得到每一所述视频帧对应的目标检测结果；其中，相同分区内的视频帧对应的目标检测结果针对目标人物的检测结果相同。2.根据权利要求1所述的方法，其特征在于，所述对待处理视频的多个视频帧进行分区，确定每一所述视频帧对应的分区信息，包括：获取所述待处理视频对应的多个视频帧；基于每一所述视频帧对应的相邻视频帧集合，确定每一所述视频帧对应的变化类别；所述变化类别用于表征所述视频帧相对于对应的相邻视频帧的变化程度；基于每一所述视频帧对应的变化类别，对所述多个视频帧进行划分，得到每一视频帧对应的分区信息。3.根据权利要求2所述的方法，其特征在于，所述基于每一所述视频帧对应的相邻视频帧集合，确定每一所述视频帧对应的变化类别，包括：针对每一所述视频帧，将与所述视频帧相邻的至少一个视频帧作为所述视频帧对应的相邻视频帧集合；将所述视频帧对应的相邻视频帧集合输入训练后的视频分割网络，得到所述视频帧对应的变化类别；和/或，所述变化类别包括表征第一变化程度的第一类别和表征第二变化程度的第二类别；所述第二变化程度高于所述第一变化程度；所述基于每一所述视频帧对应的变化类别，对所述多个视频帧进行划分，得到每一视频帧对应的分区信息，包括：基于所述多个视频帧对应的时序关系，对每一所述变化类别对应的视频帧进行聚类，得到至少一个视频帧集合；所述视频帧集合中包括一个视频帧或连续的至少两个视频帧，且所述连续的至少两个视频帧具有相同的变化类别；将位于目标视频帧集合的中心的视频帧作为划分基准，对所述多个视频帧进行划分，得到每一所述视频帧对应的分区信息；所述目标视频帧集合为所述第二类别的视频帧集合。4.根据权利要求1至3任一项所述的方法，其特征在于，所述对每一所述视频帧进行检测，得到每一所述视频帧中目标人物对应的检测结果，包括：针对每一所述视频帧，对所述视频帧进行人物检测，确定所述视频帧中所述目标人物对应的人物信息；对所述视频帧进行服饰检测，确定所述目标人物对应的服饰的服饰信息。5.根据权利要求4所述的方法，其特征在于，所述对所述视频帧进行人物检测，确定所述视频帧中所述目标人物对应的人物信息，包括：对所述视频帧进行人脸探测，确定所述视频帧中人脸对应的人脸图像；对所述人脸图像进行人脸特征提取，得到所述人脸对应的待匹配人脸特征；获取预设的人脸特征库，所述人脸特征库包括至少一个预设人物和每一所述预设人物对应的人物信息和多个人脸特征；基于所述待匹配人脸特征与每一所述预设人物对应的多个人脸特征之间的特征距离，
在所述多个预设人物中确定所述人脸对应的目标预设人物，将所述目标预设人物对应的人物信息确定为所述目标人物对应的人物信息。6.根据权利要求5所述的方法，其特征在于，所述基于所述待匹配人脸特征与每一所述预设人物对应的多个人脸特征之间的特征距离，在所述多个预设人物中确定所述人脸对应的目标预设人物，包括：针对每一所述预设人物，分别确定所述待匹配人脸特征和所述预设人物对应的每一所述人脸特征之间的特征距离；比对每一所述人脸特征的特征距离和预设的距离阈值，确定每一所述人脸特征对应的相似结果；所述相似结果用于表征所述人脸是否对应所述人脸特征对应的预设人物；基于每一所述人脸特征对应的相似结果，在所述多个预设人物中确定所述人脸对应的目标预设人物。7.根据权利要求6所述的方法，其特征在于，所述基于每一所述人脸特征对应的相似结果，在所述多个预设人物中确定所述人脸对应的目标预设人物，包括：在第一相似结果均对应一个已匹配预设人物的情况下，将所述已匹配预设人物确定为所述目标预设人物；所述第一相似结果表征所述人脸对应所述人脸特征对应的预设人物；在第一相似结果对应至少两个已匹配预设人物的情况下，基于所述待匹配人脸特征与每一所述已匹配预设人物对应的多个人脸特征的特征距离和，在所述至少两个已匹配预设人物中确定所述目标预设人物。8.根据权利要求4至7任一项所述的方法，其特征在于，所述服饰信息包括服饰的服饰类别，所述对所述视频帧进行服饰检测，确定所述目标人物对应的服饰的服饰信息，包括：提取所述视频帧对应的服饰特征图；基于所述服饰特征图，确定所述视频帧中服饰对应的检测框信息；基于所述服饰对应的检测框信息，确定所述服饰对应的服饰特征；基于所述服饰对应的服饰特征，确定所述服饰的服饰类别。9.根据权利要求8所述的方法，其特征在于，所述基于所述服饰对应的检测框信息，确定所述服饰对应的服饰特征，包括：基于所述服饰对应的检测框信息，从所述视频帧中截取所述服饰对应的服饰图片；对所述服饰图片进行特征提取，得到所述服饰对应的服饰特征；和/或，所述服饰特征包括多个服饰子特征；所述基于所述服饰对应的检测框信息，确定所述服饰对应的服饰特征，包括：基于所述服饰对应的检测框信息，从所述视频帧中截取所述服饰对应的服饰图片；对所述服饰图片进行数据增强处理，得到所述服饰对应的至少一个相似服饰图片；对所述服饰图片和所述至少一个相似服饰图片进行特征提取，得到所述服饰对应的多个服饰子特征；和/或，所述服饰信息包括所述服饰的数据信息；所述对所述视频帧进行服饰检测，确定所述目标人物对应的服饰的服饰信息，还包括：基于预设服饰库的数据量在第一检索策略和第二检索策略中确定目标检索策略；所述第一检索策略对应的数据量高于所述第二检索策略对应的数据量；所述预设服饰库包括多个预设服饰和每一所述预设服饰对应的数据信息；利用所述目标检索策略，在所述多个预设服饰中确定与所述服饰匹配的至少一个预设服
饰；将与所述服饰匹配的每一所述预设服饰对应的数据信息确定为所述服饰的数据信息。10.根据权利要求9所述的方法，其特征在于，在所述目标检索策略为所述第一检索策略的情况下，所述利用所述目标检索策略，在所述多个预设服饰中确定与所述服饰匹配的至少一个预设服饰，包括：基于所述服饰的服饰图片，确定所述服饰图片对应的服饰特征向量；在所述多个预设服饰对应的多个第一中心特征中，确定与所述服饰特征向量匹配的目标第一中心特征；所述多个第一中心特征是对所述预设服饰库中的多个预设服饰向量进行聚类后确定的，聚类得到的每一第一聚类结果对应一个第一中心特征；基于所述目标第一中心特征，对所述服饰特征向量进行量化编码，得到服饰编码；将目标编码结果对应的预设服饰编码对应的预设服饰确定为与所述服饰匹配的至少一个预设服饰；所述目标编码结果为所述目标第一中心特征对应的多个量化编码结果中，与所述服饰编码匹配的至少一个量化编码结果；对所述目标第一中心特征对应的预设服饰向量进行量化编码的方法与对所述服饰特征向量进行量化编码的方法相同。11.根据权利要求10所述的方法，其特征在于，所述基于所述目标第一中心特征，对所述服饰特征向量进行量化编码，得到服饰编码，包括：基于不同的特征位置，对所述服饰特征向量进行特征内拆分，得到所述服饰特征向量对应的每一所述特征位置对应的服饰子向量；基于所述目标第一中心特征对应的每一所述特征位置的第二中心特征，对每一所述特征位置对应的服饰子向量进行量化编码，得到每一所述特征位置对应的服饰子向量的量化值；所述第二中心特征是对所述目标第一中心特征对应的多个所述特征位置的预设子向量进行聚类后确定的，聚类得到的每一第二聚类结果对应一个第二中心特征；基于每一所述特征位置对应的服饰子向量的量化值，确定所述服饰编码。12.根据权利要求9至11任一项所述的方法，其特征在于，在所述目标检索策略为所述第二检索策略的情况下，所述利用所述目标检索策略，在所述多个预设服饰中确定与所述服饰匹配的至少一个预设服饰，包括：基于所述服饰的服饰图片，确定所述服饰图片对应的整体特征向量和至少一个局部特征向量；针对所述多个预设服饰中的每一所述预设服饰，确定所述预设服饰对应的预设整体向量和所述整体特征向量确定第一相似度，并确定所述预设服饰对应的每一预设局部向量与每一局部特征向量之间的第二相似度；基于所述第一相似度和至少一个第二相似度，确定所述预设服饰与所述服饰之间的预设相似度；基于每一所述预设服饰对应的预设相似度，在所述多个预设服饰中确定与所述服饰匹配的至少一个预设服饰。13.根据权利要求1至12任一项所述的方法，其特征在于，所述目标人物的服饰信息包括所述视频帧中每一服饰对应的检测框信息和服饰类别；所述基于每一所述视频帧对应的分区信息，对相同分区内的视频帧的检测结果进行校正，得到每一所述视频帧对应的目标检测结果，包括：针对每一分区，对所述分区内每一所述视频帧中每一所述服饰进行分类，得到至少一个检测类别；所述检测类别对应的服饰在对应的至少一个待校正视频帧内的检测框信息满
足预设的重叠条件；针对每一所述服饰，基于每一所述待校正视频帧中所述服饰对应的服饰类别，确定所述服饰对应的目标服饰类别。14.根据权利要求13所述的方法，其特征在于，所述基于每一所述待校正视频帧中所述服饰对应的服饰类别，确定所述服饰对应的目标服饰类别，包括：获取每一所述待校正视频帧对应的视频帧质量；基于每一所述待校正视频帧对应的视频帧质量，确定每一所述待校正视频帧对应的投票权重；所述待校正视频帧对应的投票权重与所述待校正视频帧对应的视频帧质量正相关；基于每一所述待校正视频帧对应的投票权重，和每一所述待校正视频帧中所述服饰对应的服饰类别，确定所述服饰对应的目标服饰类别。15.根据权利要求14所述的方法，其特征在于，所述获取每一所述待校正视频帧对应的视频帧质量，包括：针对每一所述待校正视频帧，基于所述服饰对应的检测框信息，确定所述待校正视频帧对应的服饰区域；基于所述待校正视频帧和所述服饰区域，确定所述待校正视频帧对应的视频帧质量；其中，所述视频帧质量包括以下至少之一：所述服饰的遮挡程度、所述服饰对应的服饰区域的清晰度和所述服饰对应的服饰区域的亮度。16.根据权利要求14或15所述的方法，其特征在于，所述视频帧质量包括至少一个质量维度的质量信息，所述服饰类别包括至少一个服饰子类别；所述基于每一所述待校正视频帧对应的视频帧质量，确定每一所述待校正视频帧对应的投票权重，包括：针对每一所述服饰子类别，基于所述服饰子类别与每一所述质量维度之间的关联程度，和每一所述质量维度的质量信息，确定所述服饰子类别对应的投票子权重；所述基于每一所述待校正视频帧对应的投票权重，和每一所述待校正视频帧中所述服饰对应的服饰类别，确定所述服饰对应的目标服饰类别，包括：针对每一所述服饰子类别，基于所述服饰子类别对应的投票子权重，和每一所述待校正视频帧中所述服饰对应的服饰子类别，确定所述服饰对应的目标服饰子类别。17.根据权利要求1至16任一项所述的方法，其特征在于，所述方法还包括：通过服饰展示界面播放所述待处理视频；在展示所述待处理视频中的目标视频帧的过程中，展示所述目标视频帧中所述目标人物的人物信息和所述目标人物对应的服饰信息。18.根据权利要求17所述的方法，其特征在于，所述展示所述目标视频帧中所述目标人物的人物信息和所述目标人物对应的服饰信息，包括：通过所述服饰展示界面中的人物展示区域展示所述目标视频帧中所述目标人物的人物信息；通过所述服饰展示界面中的服饰展示区域展示所述目标视频帧中所述目标人物对应的服饰信息；所述服饰信息包括所述目标视频帧中每一所述服饰对应的局部服饰图片和服饰类别。19.一种视频服饰检测装置，其特征在于，包括：
分区模块，用于对待处理视频的多个视频帧进行分区，确定每一所述视频帧对应的分区信息；检测模块，用于对每一所述视频帧进行检测，得到每一所述视频帧中目标人物对应的检测结果；所述检测结果包括所述视频帧中所述目标人物的人物信息和所述目标人物对应的服饰信息；校正模块，用于基于每一所述视频帧对应的分区信息，对相同分区内的视频帧的检测结果进行校正，得到每一所述视频帧对应的目标检测结果；其中，相同分区内的视频帧对应的目标检测结果针对目标人物的检测结果相同。20.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至18任一项所述方法中的步骤。

技术总结
本公开实施例公开了一种视频服饰检测方法、装置及设备，其中，所述方法包括：对待处理视频的多个视频帧进行分区，确定每一所述视频帧对应的分区信息；对每一所述视频帧进行检测，得到每一所述视频帧中目标人物对应的检测结果；所述检测结果包括所述视频帧中所述目标人物的人物信息和所述目标人物对应的服饰信息；基于每一所述视频帧对应的分区信息，对相同分区内的视频帧的检测结果进行校正，得到每一所述视频帧对应的目标检测结果；其中，相同分区内的视频帧对应的目标检测结果针对目标人物的检测结果相同。人物的检测结果相同。人物的检测结果相同。


技术研发人员：于博文 刘思诚 张伟 旷章辉 冯俐铜 王新江 李治中
受保护的技术使用者：商汤集团有限公司
技术研发日：2022.06.22
技术公布日：2022/9/13