一种目标行为识别方法、装置以及计算机可读存储介质与流程

1.本发明涉及人工智能技术领域，具体提供一种目标行为识别方法、装置以及计算机可读存储介质。


背景技术：

2.随着我国城市化和工业现代化的不断发展，居民的出行方式更加多样化，出于便捷和环保考虑，越来越多人选择非机动车(包括电动车，自行车，电动三轮车等)作为日常生活中的代步交通工具。
3.在非机动车中，电动车装有gps定位防盗监控系统，可以快速定位，然而，对于结构更加简单且没有额外电能供给的自行车、人力三轮车来说，定位系统难以部署。该部分非机动车丢失后，公安人员需要大量人力对丢失地点及附近各处监控进行检查，耗时长且效率低下。因此，急需一种能快速有效识别出盗车行为的方法。


技术实现要素：

4.本发明旨在解决上述技术问题，即，解决现有与交通工具相关的目标行为识别效率低的问题。
5.在第一方面，本发明提供了一种目标行为识别方法，其包括：
6.获取待识别图像数据集，所述待识别图像数据集为与交通工具相关的图像数据集；
7.根据载人属性特征从所述待识别图像数据集中筛选出第一图像数据集和第二图像数据集；其中，所述第一图像数据集包括至少一帧第一图像，且每帧所述第一图像对应的载人属性特征为所述第一图像中所述交通工具的乘坐人员数量大于或等于2；所述第二图像数据集包括至少一帧第二图像，且每帧所述第二图像对应的载人属性特征为所述第二图像中所述交通工具的乘坐人员数量等于1；
8.分别基于每帧所述第一图像中的每个所述乘坐人员对所述第二图像数据集进行聚类；
9.根据所述聚类结果判断所述待识别图像数据集中是否存在所述目标行为，或根据所述聚类结果和待识别图像特征判断所述待识别图像数据集中是否存在所述目标行为。
10.在一些实施例中，所述根据所述聚类结果判断所述待识别图像数据集中是否存在所述目标行为包括：
11.当基于所述第一图像中的至少两个所述乘坐人员对所述第二图像数据集进行聚类均得到与所述乘坐人员对应的聚类图像，判定所述待识别图像数据集中存在所述目标行为。
12.在一些实施例中，所述待识别图像特征包括交通工具属性特征，和/或，人员姿态属性特征和时间属性特征；所述根据所述聚类结果和待识别图像特征判断所述待识别图像数据集中是否存在所述目标行为包括：
13.当基于所述第一图像中的至少两个所述乘坐人员对所述第二图像数据集进行聚类均得到与所述乘坐人员对应的聚类图像之后，基于所述聚类图像的交通工具属性特征与所述第一图像的交通工具属性特征的比较结果，和/或基于所述聚类图像的所述人员姿态属性特征和所述时间属性特征判断所述待识别图像数据集中是否存在所述目标行为；
14.当所述第一图像中至少一个所述乘坐人员对应的所述聚类图像的交通工具属性特征与所述第一图像的交通工具属性特征不一致，
15.和/或当所述聚类图像的所述人员姿态属性特征为推行姿态且所述时间属性特征为夜间时段，判定所述待识别图像数据集中存在所述目标行为。
16.在一些实施例中，所述方法还包括采用预先训练好的神经网络模型识别所述聚类图像和/或所述第一图像中的交通工具属性特征。
17.在一些实施例中，通过以下步骤训练所述神经网络模型：
18.获取交通工具图像训练样本集；
19.将所述交通工具图像训练样本集输入初始神经网络模型，所述初始神经网络模型包括resnet50特征提取网络；
20.对所述初始神经网络模型进行训练直至模型收敛，得到训练好的所述神经网络模型。
21.在一些实施例中，对所述初始神经网络模型进行训练直至模型收敛，得到训练好的所述神经网络模型包括：
22.采用softmax损失函数和三元组损失函数对所述初始神经网络进行联合训练，以得到训练好的所述神经网络模型；
23.或基于bnneck网络对所述初始神经网络模型进行训练直至模型收敛，以得到训练好的所述神经网络模型。
24.在一些实施例中，获取不同地理位置处的图像，得到所述待识别图像数据集；
25.或者，获取相同地理位置处不同时刻的图像，得到所述待识别图像数据集。
26.在第二方面，本发明提供了一种目标行为识别装置，其包括：
27.获取模块，其用于获取待识别图像数据集，所述待识别图像数据集为与交通工具相关的图像数据集；
28.筛选模块，其用于根据载人属性特征从所述待识别图像数据集中筛选出第一图像数据和第二图像数据；其中，所述第一图像数据集包括至少一帧第一图像，且每帧所述第一图像对应的载人属性特征所述第一图像中所述为交通工具的乘坐人员数量大于或等于2；所述第二图像数据集包括至少一帧第二图像，且每帧所述第二图像对应的载人属性特征为所述第二图像中所述交通工具的乘坐人员数量等于1；
29.聚类模块，其用于分别基于每帧所述第一图像的每个所述乘坐人员对所述第二图像数据集进行聚类；
30.识别模块，其用于根据所述聚类结果判断所述待识别图像数据集中是否存在所述目标行为，或根据所述聚类结果和待识别图像特征判断所述待识别图像数据集中是否存在所述目标行为。
31.在第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的目标行为
识别方法。
32.在第四方面，本发明提供了一种电子设备，其包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时实现上述任意一项所述的目标行为识别方法。
33.在采用上述技术方案的情况下，本发明能够通过获取待识别图像数据集，待识别图像数据集为与交通工具相关的图像数据集；根据载人属性特征从待识别图像数据集中筛选出包括至少一帧第一图像的第一图像数据集以及包括至少一帧第二图像的第二图像数据集，其中，第一图像对应的载人属性特征为第一图像中交通工具的乘坐人员数量大于或等于2，第二图像对应的载人属性特征为第二图像中交通工具的乘坐人员数量等于1；分别基于每帧第一图像中的每个乘坐人员对第二图像数据集进行聚类；根据聚类结果判断待识别图像数据集中是否存在目标行为，或者根据聚类结果和待识别图像特征判断待识别图像数据集中是否存在目标行为。该方法能够高效识别出与交通工具相关的目标行为，有利于提前进行预警，便于快速锁定与目标行为相关的人员以及交通工具的动向。
附图说明
34.下面结合附图来描述本发明的优选实施方式，附图中：
35.图1是本发明实施例提供的一种目标行为识别方法的流程示意图；
36.图2是本发明实施例提供的神经网络模型的训练方法流程示意图；
37.图3是本发明实施例提供的目标行为识别装置的结构示意图；
38.图4是本发明实施例提供的电子设备结构示意图。
具体实施方式
39.下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
40.随着我国城市化和工业现代化的不断发展，居民的出行方式更加多样化，出于便捷和环保考虑，越来越多人选择非机动车(包括电动车，自行车，电动三轮车等)作为日常生活中的代步交通工具。
41.在非机动车中，电动车装有gps定位防盗监控系统，可以快速定位，然而，对于结构更加简单且没有额外电能供给的自行车、人力三轮车来说，定位系统难以部署。该部分非机动车丢失后，公安人员需要大量人力对丢失地点及附近各处监控进行检查，耗时长且效率低下。因此，急需一种能快速有效识别出盗车行为的方法。
42.为解决上述问题，本发明提供了一种目标行为识别方法、装置、计算机可读存储介质以及电子设备。
43.参见图1所示，图1示出了本发明实施例提供的一种目标行为识别方法的流程示意图，其可以包括：
44.步骤s11：获取待识别图像数据集，待识别图像数据集为与交通工具相关的图像数据集；
45.步骤s12：根据载人属性特征从待识别图像数据集中筛选出第一图像数据集和第二图像数据集；其中，第一图像数据集包括至少一帧第一图像，且每帧第一图像对应的载人
属性特征为第一图像中交通工具的乘坐人员数量大于或等于2；第二图像数据集包括至少一帧第二图像，且每帧第二图像对应的载人属性特征为第二图像中交通工具的乘坐人员数量等于1；
46.步骤s13：分别基于每帧第一图像中的每个乘坐人员对第二图像数据集进行聚类；
47.步骤s14：根据聚类结果判断待识别图像数据集中是否存在目标行为；或，步骤s15：根据聚类结果和待识别图像特征判断待识别图像数据集中是否存在目标行为。
48.在一些实施例中，步骤s11可以具体为通过获取不同地理位置处的图像，得到待识别图像数据集；或者，通过获取相同地理位置处不同时刻的图像，得到待识别图像数据集。其中，可以根据目标行为发生时间或地理位置来获取预设时间段或预设地理位置的待识别图像数据集。在另一些实施例中，还可以为直接获取已预先存储好的待识别图像数据集。
49.在本发明实施例中，步骤s12可以具体为根据载人属性特征，利用载人属性特征识别模型从待识别图像数据集中筛选出第一图像数据集和第二图像数据集。其中，载人属性特征为交通工具的乘坐人员数量大于或等于2，即存在多人单车的情况；载人属性特征为交通工具的乘坐人员数量等于1，即存在单人单车的情况。
50.在一些实施例中，步骤s13可以具体为基于每帧第一图像中的每个乘坐人员，为每个乘坐人员的设定聚类标签；基于每个乘坐人员的特征采用聚类算法对第二图像数据集进行聚类。
51.在一些实施例中，步骤s14可以具体为当基于第一图像中的至少两个乘坐人员对第二图像数据集进行聚类均得到与乘坐人员对应的聚类图像，判定待识别图像数据集中存在目标行为。在一些实施例中，利用聚类算法对第二图像数据集进行聚类时，当第二图像的聚类标签与乘坐人员的聚类标签一致，则该第二图像为与乘坐人员对应的聚类图像。
52.在一些实施例中，待识别图像特征可以包括交通工具属性特征，和/或，人员姿态属性特征和时间属性特征。
53.在一些实施例中，步骤s15可以具体为：
54.当基于第一图像中的至少两个乘坐人员对第二图像数据集进行聚类均得到与乘坐人员对应的聚类图像之后，基于聚类图像的交通工具属性特征与第一图像的交通工具属性特征的比较结果，和/或基于聚类图像的人员姿态属性特征和时间属性特征判断待识别图像数据集中是否存在目标行为；
55.当第一图像中至少一个乘坐人员对应的聚类图像的交通工具属性特征与第一图像的交通工具属性特征不一致；
56.和/或当聚类图像的人员姿态属性特征为推行姿态且时间属性特征为夜间时段，判定待识别图像数据集中存在目标行为。
57.其中，交通工具属性特征可以为交通工具类型或具有身份识别作用的唯一标识。
58.作为示例，当获取到待识别图像数据集，根据载人属性特征从待识别图像数据集中筛选出了第一图像数据集和第二图像数据集，第一图像数据集中第一图像对应两人单车的情况，第二图像数据集中第二图像对应单人单车的情况。当根据第一图像中的两个乘坐人员分别对第二图像数据集进行聚类且均得到与乘坐人员对应的聚类图像时，则表明第一图像中的两个乘坐人员由两人单车变为单人单车，判定存在目标行为。
59.在另一示例中，为了提高识别的有效性，当根据第一图像中的两个乘坐人员分别
对第二图像数据集进行聚类且均得到与乘坐人员对应的聚类图像时，还可以进一步判断乘坐人员对应的聚类图像的交通工具属性特征与第一图像的交通工具属性特征是否一致，如果至少有一个乘坐人员的聚类图像的交通工具属性特征与第一图像的交通工具属性特征不一致，则表明第一图像中的两个乘坐人员由两人单车变为单人单车且出现了新的交通工具，判定存在目标行为。
60.在另一示例中，当根据第一图像中的两个乘坐人员分别对第二图像数据集进行聚类且均得到与乘坐人员对应的聚类图像时，还可以进一步识别乘坐人员对应的聚类图像的人员姿态属性特征和时间属性特征，当聚类图像的人员姿态属性特征为推行姿态且时间属性特征为夜间时段，则表明第一图像中的两个乘坐人员由两人单车变为单人单车且出现了乘坐人员在夜间推行交通工具的情况，判定存在目标行为。在其他实施例中，当根据第一图像中的两个乘坐人员分别对第二图像数据集进行聚类且均得到与乘坐人员对应的聚类图像时，还可以进一步判断乘坐人员对应的聚类图像的交通工具属性特征与第一图像的交通工具属性特征是否一致，以及，识别乘坐人员对应的聚类图像的人员姿态属性特征和时间属性特征；如果至少有一个乘坐人员的聚类图像的交通工具属性特征与第一图像的交通工具属性特征不一致且聚类图像的人员姿态属性特征为推行姿态、时间属性特征为夜间时段，判定存在目标行为。其中，可以利用预先训练好的人员姿态属性识别模型识别出聚类图像中的人员姿态属性特征。在一些实施例中，可以直接获取预先存储的聚类图像的时间属性特征。
61.在一些实施例中，本发明实施例提供的目标行为识别方法还可以包括采用预先训练好的神经网络模型识别聚类图像和/或第一图像中的交通工具属性特征。以能够对交通工具进行便捷、有效的识别，提高目标行为的识别效率。
62.在一些实施例中，参见图2所示，图2示出了本发明实施例提供的神经网络模型的训练方法流程示意图，其可以包括：
63.步骤s21：获取交通工具图像训练样本集；
64.步骤s22：将交通工具图像训练样本集输入初始神经网络模型，初始神经网络模型包括resnet50特征提取网络；
65.步骤s23：对初始神经网络模型进行训练直至模型收敛，得到训练好的神经网络模型。
66.在一些实施例中，步骤s21可以具体为获取多种交通工具属性特征的交通工具图像以及交通工具图像对应的聚类标签，其中，聚类标签与交通工具属性特征对应，针对每种交通工具属性特征的交通工具，可采集交通工具在不同角度、交通工具对应不同乘坐人员以及交通工具对应不同人员姿态属性特征时的图像，用于制作交通工具图像训练样本集。
67.在一些实施例中，步骤s23可以具体为采用softmax损失函数和三元组损失函数对初始神经网络进行联合训练，以得到训练好的神经网络模型。
68.在另一些实施例中，步骤s23可以具体为基于bnneck网络对初始神经网络模型进行训练直至模型收敛，以得到训练好的所述神经网络模型。其中，resnet50特征提取网络与bnneck网络连接，resnet50特征提取网络提取的特征通过bnneck网络中的三元组损失函数层、bn层(batch normalization)以及softmax损失函数层后输出识别标签。采用bnneck网络后，有利于使三元组损失和softmax损失的梯度下降方向基本一致，从而能够使模型收敛
更充分。
69.需要说明的是，在一些实施例中，该神经网络模型的训练方法可以应用于非机动车识别模型的训练，本发明提供的目标行为可以为偷盗非机动车的行为。
70.以上为本发明实施例提供的能够通过获取待识别图像数据集，待识别图像数据集为与交通工具相关的图像数据集；根据载人属性特征从待识别图像数据集中筛选出包括至少一帧第一图像的第一图像数据集以及包括至少一帧第二图像的第二图像数据集，其中，第一图像对应的载人属性特征为第一图像中交通工具的乘坐人员数量大于或等于2，第二图像对应的载人属性特征为第二图像中交通工具的乘坐人员数量等于1；分别基于每帧第一图像中的每个乘坐人员对第二图像数据集进行聚类；根据聚类结果判断待识别图像数据集中是否存在目标行为，或者根据聚类结果和待识别图像特征判断待识别图像数据集中是否存在目标行为。该方法能够高效识别出与交通工具相关的目标行为，有利于提前进行预警，便于快速锁定与目标行为相关的人员以及交通工具的动向。
71.本发明的另一方面，提供了一种目标行为识别装置，参见图3所示，图3示出了本发明实施例提供的目标行为识别装置的结构示意图，其可以包括：
72.获取模块31，其用于获取待识别图像数据集，待识别图像数据集为与交通工具相关的图像数据集；
73.筛选模块32，其用于根据载人属性特征从待识别图像数据集中筛选出第一图像数据和第二图像数据；其中，第一图像数据集包括至少一帧第一图像，且每帧第一图像对应的载人属性特征为第一图像中交通工具的乘坐人员数量大于或等于2；第二图像数据集包括至少一帧第二图像，且每帧第二图像对应的载人属性特征为第二图像中交通工具的乘坐人员数量等于1；
74.聚类模块33，其用于分别基于每帧第一图像的每个乘坐人员对第二图像数据集进行聚类；
75.识别模块34，其用于根据聚类结果判断待识别图像数据集中是否存在目标行为，或根据聚类结果和待识别图像特征判断待识别图像数据集中是否存在目标行为。
76.本发明提供的目标行为识别装置可用于执行上述目标行为识别方法，达到与上述实施例中目标行为识别方法相同的有益效果。进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图3中的各个模块的数量仅仅是示意性的。本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。
77.本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。
78.本发明的另一方面还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时能够实现上述任一实施例中的目标行为识别方法。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
79.参见图4所示，图4示出了本发明实施例提供的电子设备结构示意图，其可以包括存储器41和处理器42，存储器41中存储有计算机程序，该计算机程序包括但不限于执行上述方法实施例的方法的程序。该计算机程序被处理器42执行时能够实现上述任一实施例中的目标行为识别方法。
80.至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。