使用有限数据和元学习的行人活动识别的方法与流程

技术特征：
1.一种行人活动识别的方法，包括：通过基于两个或更多个输入训练暹罗神经网络来训练它，以识别多个活动，其中所述输入是来自两个或更多个单独训练图像捕获装置的相同行人活动的记录；利用来自附加图像捕获装置的连续数据收集来部署所述暹罗神经网络模型，以按照无监督方式来创建类似活动的多个活动聚类的数据集；采用所述暹罗神经网络以将活动注释为预测活动或者非预测活动，以便创建带注释的预测数据集和带注释的非预测数据集；将来自所述非预测的带注释数据集的空间-时间数据样本以及来自所述预测的带注释数据集的空间-时间数据样本用作输入来训练空间-时间意图预测模型；以及部署所述意图预测模型，以指配特定活动的似然。2.如权利要求1所述的行人活动识别的方法，其中，利用来自所述附加活动图像捕获装置的连续数据收集来部署所述暹罗神经网络模型以按照无监督方式聚类类似活动包括：向包括所述多个活动聚类的所述暹罗神经网络中输入：来自所述附加活动图像捕获装置的输出；以及所述多个活动聚类的所述数据集；由所述暹罗神经网络确定所述附加活动图像捕获装置输出与所述多个活动聚类的每个的数据样本之间的类似性的测量值，以确定所述附加活动是否匹配现有聚类样本；以及如果所述附加活动图像捕获装置输出属于所述多个活动聚类中的一个活动聚类，则检测活动。3.如权利要求2所述的行人活动识别的方法，进一步包括：如果所述类似性测量值对于多个活动聚类中的所有活动聚类超出所指定测量值范围，则创建与所述当前活动输出关联的新聚类，并且将所述新聚类添加到所述多个活动聚类。4.如权利要求1所述的行人活动识别的方法，其中，训练所述暹罗神经网络以识别所述多个活动包括：至少从来自所述两个或更多个训练图像捕获装置的第一训练图像捕获装置的输出以及来自所述两个或更多个训练图像捕获装置的第二训练图像捕获装置的同步输出来创建类似数据集，其中所述输出反映相同行人活动；从来自所述第一训练图像捕获装置的所述输出以及来自所述第二训练图像捕获装置的延迟输出来创建相异数据集，其中所述输出反映不同行人活动；以及通过基于所述类似数据集和所述相异数据集训练暹罗神经网络来创建包括多个活动聚类的数据集。5.如权利要求4所述的行人活动识别的方法，进一步包括通过将基于规则的试探应用于来自所述第二训练图像捕获装置的延迟输出以及所述第一训练图像捕获装置的所述输出来细化所述类似数据集和所述相异数据集，以对相异性进行评估。6.如权利要求1所述的行人活动识别的方法，其中，采用所述暹罗神经网络以便将活动注释为预测活动或者非预测活动以创建带注释的预测数据集和带注释的非预测数据集包括：执行采用所述暹罗神经网络的注释算法，以便自动注释与所检测活动之前的所指定时间段期间所捕获的活动关联的图像捕获装置输出，以将它加标签为预测所述所检测活动，
以便创建被注释为预测活动的数据集；以及从其中未检测活动的图像捕获装置输出来创建其中未检测所述多个活动聚类中的一个活动聚类的时段之前的所指定时间段期间所捕获的行人活动的否定样本，并且将所述否定样本加标签为不预测所述多个活动聚类中的所述一个活动聚类，以创建被注释为不预测活动的数据集。7.如权利要求1所述的行人活动识别的方法，其中，部署所述意图预测模型以指配特定活动的似然包括在预测活动时指配“1”而在不预测活动时指配零。8.如权利要求1所述的行人活动识别的方法，进一步包括基于所述特定活动的所述似然的指配来执行自动交通工具操纵。9.一种用于识别行人活动的系统，包括：一个或多个处理器；一个或多个存储装置，在所述一个或多个存储装置上存储计算机代码，所述计算机代码包括暹罗神经网络；其中执行所述计算机代码使所述一个或多个处理器执行下列方法：基于两个或更多个输入训练所述暹罗神经网络，以识别多个活动，其中所述输入是来自两个或更多个单独训练图像捕获装置的相同行人活动的记录；利用来自附加图像捕获装置的连续数据收集来部署所述暹罗神经网络模型，以按照无监督方式来创建类似活动的多个活动聚类的数据集；采用所述暹罗神经网络以便将活动注释为预测活动或者非预测活动，以创建带注释的预测数据集和带注释的非预测数据集；把来自所述非预测的带注释数据集的空间-时间数据样本以及来自所述预测的带注释数据集的空间-时间数据样本用作输入来训练空间-时间意图预测模型；以及部署所述意图预测模型，以指配特定活动的似然。10.如权利要求9所述的系统，其中，利用来自所述附加活动图像捕获装置的连续数据收集来部署所述暹罗神经网络模型以按照无监督方式聚类类似活动包括所述计算机代码使所述一个或多个处理器执行下列步骤：向包括所述多个活动聚类的所述暹罗神经网络中输入：来自所述附加活动图像捕获装置的输出；以及所述多个活动聚类的所述数据集；由所述暹罗神经网络确定所述附加活动图像捕获装置输出与所述多个活动聚类的每个的数据样本之间的类似性的测量值，以确定所述附加活动是否匹配现有聚类样本；以及如果所述附加活动图像捕获装置输出属于所述多个活动聚类中的一个活动聚类，则检测活动。11.如权利要求10所述的系统，进一步包括所述一个或多个存储装置，所述一个或多个存储装置具有在其上存储的计算机代码，所述计算机代码在被执行时使所述一个或多个处理器执行下列的步骤：如果所述类似性测量值对于所述多个活动聚类中的所有活动聚类超出所指定测量值范围，则创建与所述当前活动输出关联的新聚类，并且将所述新聚类添加到所述多个活动聚类。12.如权利要求9所述的系统，其中，训练所述暹罗神经网络以识别所述多个活动包括
所述计算机代码使所述一个或多个处理器执行下列的步骤：至少从来自所述两个或更多个训练图像捕获装置的第一训练图像捕获装置的输出以及来自所述两个或更多个训练图像捕获装置的第二训练图像捕获装置的同步输出来创建类似数据集，其中所述输出反映相同行人活动；从来自所述第一训练图像捕获装置的所述输出以及来自所述第二训练图像捕获装置的延迟输出来创建相异数据集，其中所述输出反映不同行人活动；以及通过基于所述类似数据集和所述相异数据集训练暹罗神经网络来创建包括多个活动聚类的数据集。13.如权利要求12所述的系统，进一步包括所述一个或多个存储装置，所述一个或多个存储装置具有在其上存储的计算机代码，所述计算机代码在被执行时使所述一个或多个处理器执行下列的步骤：通过将基于规则的试探应用于来自所述第二训练图像捕获装置的延迟输出以及所述第一训练图像捕获装置的所述输出来细化所述类似数据集和所述相异数据集，以对相异性进行评估。14.如权利要求9所述的系统，其中，采用所述暹罗神经网络以便将活动注释为预测活动或者非预测活动以创建带注释的预测数据集和带注释的非预测数据集包括所述计算机代码使所述一个或多个处理器执行下列的步骤：执行采用所述暹罗神经网络的注释算法以便自动注释与所检测活动之前的所指定时间段期间所捕获的活动关联的图像捕获装置输出，以将它加标签为预测所述所检测活动，以便创建被注释为预测活动的数据集；以及从其中未检测活动的图像捕获装置输出来创建其中未检测所述多个活动聚类中的一个活动聚类的时段之前的所指定时间段期间所捕获的行人活动的否定样本，并且将所述否定样本加标签为不预测所述多个活动聚类中的所述一个活动聚类，以创建被注释为不预测活动的数据集。15.如权利要求9所述的系统，其中，部署所述意图预测模型以指配特定活动的似然包括所述计算机代码使所述一个或多个处理器执行在预测活动时指配“1”而在不预测活动时指配零的步骤。16.如权利要求9所述的系统，进一步包括所述一个或多个存储装置，所述一个或多个存储装置具有在其上存储的计算机代码，所述计算机代码在被执行时基于所述特定活动的所述似然的指配来引起自动交通工具操纵。17.一种自主或半自主控制交通工具，其中所述交通工具包括如权利要求9所述的用于识别行人活动的系统。18.如权利要求17所述的交通工具，进一步包括：交通工具控制组件；以及致动器，其电子连接到所述交通工具控制组件；其中所述一个或多个存储装置在其上已存储计算机代码，所述计算机代码在被执行时使所述致动器通过所述交通工具控制组件来发起所述交通工具操纵。19.一种非暂时计算机可读介质，在所述非暂时计算机可读介质上存储计算机代码，所述计算机代码当在一个或多个处理器上执行时使计算机系统执行下列的方法：通过基于两个或更多个输入训练暹罗神经网络来训练它，以识别多个活动，其中所述
输入是来自两个或更多个单独训练图像捕获装置的相同行人活动的记录；利用来自附加图像捕获装置的连续数据收集来部署所述暹罗神经网络模型，以按照无监督方式来创建类似活动的多个活动聚类的数据集；采用所述暹罗神经网络以便将活动注释为预测活动或者非预测活动，以创建带注释的预测数据集和带注释的非预测数据集；把来自所述非预测的带注释数据集的空间-时间数据样本以及来自所述预测的带注释数据集的空间-时间数据样本用作输入来训练空间-时间意图预测模型；以及部署所述意图预测模型，以指配特定活动的似然。20.如权利要求19所述的非暂时计算机可读介质，其中，利用来自所述附加活动图像捕获装置的连续数据收集来部署所述暹罗神经网络模型以按照无监督方式聚类类似活动包括：向包括所述多个活动聚类的所述暹罗神经网络中输入：来自所述附加活动图像捕获装置的输出；以及所述多个活动聚类的所述数据集；由所述暹罗神经网络确定所述附加活动图像捕获装置输出与所述多个活动聚类的每个的数据样本之间的类似性的测量值，以确定所述附加活动是否匹配现有聚类样本；以及如果所述附加活动图像捕获装置输出属于所述多个活动聚类中的一个活动聚类，则检测活动。21.如权利要求20所述的非暂时计算机可读介质，进一步包括：如果所述类似性测量值对于所述多个活动聚类中的所有活动聚类超出所指定测量值范围，则创建与所述当前活动输出关联的新聚类，并且将所述新聚类添加到所述多个活动聚类。22.如权利要求19所述的非暂时计算机可读介质，其中，训练所述暹罗神经网络以识别所述多个活动包括：至少从来自所述两个或更多个训练图像捕获装置的第一训练图像捕获装置的输出以及来自所述两个或更多个训练图像捕获装置的第二训练图像捕获装置的同步输出来创建类似数据集，其中所述输出反映相同行人活动；从来自所述第一训练图像捕获装置的所述输出以及来自所述第二训练图像捕获装置的延迟输出来创建相异数据集，其中所述输出反映不同行人活动；以及通过基于所述类似数据集和所述相异数据集训练暹罗神经网络来创建包括多个活动聚类的数据集。23.如权利要求22所述的非暂时计算机可读介质，进一步包括通过将基于规则的试探应用于来自所述第二训练图像捕获装置的延迟输出以及所述第一训练图像捕获装置的所述输出来细化所述类似数据集和所述相异数据集，以对相异性进行评估。24.如权利要求19所述的非暂时计算机可读介质，其中，采用所述暹罗神经网络以便将活动注释为预测活动或者非预测活动以创建带注释的预测数据集和带注释的非预测数据集包括：执行采用所述暹罗神经网络的注释算法以便自动注释与所检测活动之前的所指定时间段期间所捕获的活动关联的图像捕获装置输出，以将它加标签为预测所述所检测活动，以便创建被注释为预测活动的数据集；以及
从其中未检测活动的图像捕获装置输出来创建其中未检测所述多个活动聚类中的一个活动聚类的时段之前的所指定时间段期间所捕获的行人活动的否定样本，并且将所述否定样本加标签为不预测所述多个活动聚类中的所述一个活动聚类，以创建被注释为不预测活动的数据集。25.如权利要求19所述的非暂时计算机可读介质，其中，部署所述意图预测模型以指配特定活动的似然包括在预测活动时指配“1”而在不预测活动时指配零。26.如权利要求19所述的非暂时计算机可读介质，进一步包括基于所述特定活动的所述似然的指配来执行自动交通工具操纵。

技术总结
行人活动识别以方法、系统、非暂时计算机可读和交通工具体现。通过训练暹罗神经网络、来自两个或更多独立训练图像捕获装置的相同行人活动的记录来训练它，以识别多个行人活动。采用来自附加图像捕获装置的连续数据收集来部署暹罗神经网络，以按照无监督方式来创建类似活动的聚类的数据集。然后训练能够被部署以识别和预测行人活动的空间-时间意图预测模型。基于正发生或者当前正在进行的特定行人活动的似然，能够执行自动交通工具操纵，以导航状况。状况。状况。


技术研发人员：M
受保护的技术使用者：大众汽车股份公司
技术研发日：2020.08.13
技术公布日：2022/3/29