一种跨域行为识别方法、装置、设备及可读存储介质与流程

技术特征：
1.一种跨域行为识别方法，其特征在于，包括以下步骤：将待预测数据输入至行为识别模型中，得到所述行为识别模型输出的视频动作识别结果；其中，所述行为识别模型通过对融合训练集和源域训练集训练得到，所述融合训练集为根据同类预测结果融合和比例渐进融合原则将目标域融合数据与所述源域训练集进行融合得到，所述目标域融合数据为根据预测结果和所述预测结果对应的置信度得分从目标域训练集选取得到，所述预测结果和所述置信度得分由将所述目标域训练集输入至预训练行为识别模型中得到，所述预训练行为识别模型通过对所述源域训练集进行训练得到。2.根据权利要求1所述的跨域行为识别方法，其特征在于，所述将待预测数据输入至行为识别模型中，得到所述行为识别模型输出的视频动作识别结果之前，该方法还包括以下步骤：将目标域训练集输入至预训练行为识别模型中，得到所述预训练行为识别模型输出的预测结果和所述预测结果对应的置信度得分；其中，所述预训练行为识别模型通过对源域训练集进行训练得到；根据所述预测结果和所述置信度得分，从所述目标域训练集中选取目标域融合数据；根据同类预测结果融合和比例渐进融合原则，将所述目标域融合数据与所述源域训练集进行融合，得到融合训练集；其中，所述比例渐进融合原则中每种同类所述预测结果均具有多个融合比例，所述融合比例为所述源域训练集在所述融合训练集中的占比，不同所述融合比例中所述源域训练集的占比不同，且，每种同类所述预测结果中所有的所述融合比例中所述源域训练集的占比逐渐提高。3.根据权利要求2所述的跨域行为识别方法，其特征在于，所述预训练行为识别模型通过以下步骤得到：从所述源域训练集得到源域帧序列，对所述源域帧序列进行采样，得到源域采样帧序列；根据所述源域采样帧序列得到对应的源域识别结果；将所述源域采样帧序列作为训练用的输入数据，将所述源域采样帧序列对应的所述源域识别结果作为标签，采用深度学习方式进行训练，得到用于生成所述目标域训练集的所述预测结果的所述预训练行为识别模型。4.根据权利要求2所述的跨域行为识别方法，其特征在于，所述将目标域训练集输入至预训练行为识别模型中，得到所述预训练行为识别模型输出的预测结果和所述预测结果对应的置信度得分，具体包括以下步骤：从所述目标域训练集得到目标域帧序列，对所述目标域帧序列进行采样，得到目标域采样帧序列；调整所述目标域采样帧序列至预设输入要求；根据调整后的所述目标域采样帧序列输入至所述预训练行为识别模型中，得到所述预训练行为识别模型输出的预测结果和所述预测结果对应的置信度得分。5.根据权利要求2所述的跨域行为识别方法，其特征在于，所述根据所述预测结果和所述置信度得分，从所述目标域训练集中选取目标域融合数据，具体包括以下步骤：从每类所述预测结果对应的所述目标域训练集中选取对应的置信度得分最高的第一
数量的数据作为该类预测结果的待融合数据；获取所有所述预测结果对应的所述待融合数据，得到所述目标域融合数据。6.根据权利要求2所述的跨域行为识别方法，其特征在于，所述根据同类所述预测结果融合和比例渐进融合原则，将所述目标域融合数据与所述源域训练集进行融合，得到融合训练集，具体包括以下步骤：对同类所述预测结果下的所述目标域融合数据与所述源域训练集进行预处理，分别得到目标域待融合帧序列和源域待融合帧序列；将所述目标域待融合帧序列依次与同类所述预测结果下的所述源域待融合帧序列按照该类预测结果其中一种所述融合比例进行融合，得到该类预测结果下的该融合比例的融合数据；获取所有所述预测结果下的所有所述融合比例的所述融合数据，得到所述融合训练集。7.根据权利要求1所述的跨域行为识别方法，其特征在于，所述行为识别模型的训练过程基于动态渐进采样。8.一种跨域行为识别装置，其特征在于，包括：跨域识别模块(400)，用于将待预测数据输入至行为识别模型中，得到所述行为识别模型输出的视频动作识别结果；其中，所述行为识别模型通过对融合训练集和源域训练集训练得到，所述融合训练集为根据同类预测结果融合和比例渐进融合原则将目标域融合数据与所述源域训练集进行融合得到，所述目标域融合数据为根据预测结果和所述预测结果对应的置信度得分从目标域训练集选取得到，所述预测结果和所述置信度得分由将所述目标域训练集输入至预训练行为识别模型中得到，所述预训练行为识别模型通过对所述源域训练集进行训练得到。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述跨域行为识别方法的步骤。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述跨域行为识别方法的步骤。

技术总结
本发明提供一种跨域行为识别方法、装置、设备及可读存储介质，涉及视觉识别技术领域，该方法包括以下步骤；将待预测数据输入至行为识别模型中，得到行为识别模型输出的视频动作识别结果；其中，行为识别模型通过对融合训练集和源域训练集训练得到，融合训练集为根据同类预测结果融合和比例渐进融合原则将目标域融合数据与源域训练集进行融合得到，目标域融合数据为根据预测结果和预测结果对应的置信度得分从目标域训练集选取得到，预测结果和置信度得分由将目标域训练集输入至预训练行为识别模型中得到，预训练行为识别模型通过对源域训练集进行训练得到，本发明能兼容域之间的差异，具有通用性并且兼顾了精确度的要求。具有通用性并且兼顾了精确度的要求。具有通用性并且兼顾了精确度的要求。


技术研发人员：张兆翔 宋纯锋 吴晗
受保护的技术使用者：中国科学院自动化研究所
技术研发日：2021.07.28
技术公布日：2021/12/13