一种实时事件流识别方法及系统与流程

1.本发明涉及多媒体技术领域，尤其涉及一种实时事件流识别方法及系统。


背景技术：

2.在针对人体事件检测研究中，常常用到事件流检测模型，而该模型往往会出现模型泛化能力较差的问题，例如在一些数据不均衡的数据集中，因为数据分布偏差较大，往往导致所训练的模型偏好某些特定的事件类别。
3.健康实时事件识别任务一般包括时间序列检测与多模态事件识别两个步骤，但是由于现有的人体事件检测方案在训练模型时针对所有的研究对象一概而论，而不对研究对象进行区分，这样会因数据分布不均衡等因素造成模型泛化能力较差的问题，满足不了对于个体自适应的需求。


技术实现要素：

4.本发明提供一种实时事件流识别方法及系统，用以解决现有技术中无法针对事件识别检测的个体进行个性区分，导致检测结果容易出现偏差的缺陷。
5.第一方面，本发明提供一种实时事件流识别方法，包括：
6.确定待识别个体事件；
7.将所述待识别个体事件输入至预先训练好的事件流检测模型，得到个体事件识别结果；其中，所述事件流检测模型是基于不同个体事件样本数据特征进行融合得到融合特征后，将所述融合特征进行边界匹配，并基于个体自适应元学习进行分类识别后所得到。
8.在一个实施例中，所述事件流检测模型，通过以下步骤获得：
9.获取所述视频数据特征和所述传感数据特征；
10.将所述视频数据特征和所述传感数据特征进行连接融合，得到所述融合特征；
11.将所述融合特征输入边界匹配网络，得到候选时间片段数据；
12.将所述候选时间片段数据输入分类识别网络，得到个体事件类型以及个体事件时间信息；
13.确定不同用户个体的元学习任务，对所述融合特征、所述候选时间片段数据和所述个体事件类型以及个体事件时间信息进行优化，得到所述事件流检测模型。
14.在一个实施例中，所述获取所述视频数据特征和所述传感数据特征，包括：
15.将任意长度的视频片段输入预设视频特征提取器，得到所述视频数据特征；
16.将所述任意长度的视频片段对应的传感器数据输入预设传感特征提取器，得到所述传感数据特征。
17.在一个实施例中，所述将所述视频数据特征和所述传感数据特征进行连接融合，得到所述融合特征，包括：
18.将具有相同特征维度的所述视频数据特征和所述传感数据特征进行连接，得到连接特征；
19.将所述连接特征由线性网络进行特征融合，得到具有多源异构数据统一表示的所述融合特征。
20.在一个实施例中，所述将所述融合特征输入边界匹配网络，得到候选时间片段数据，包括：
21.确定所述融合特征的时序特征序列；
22.基于所述时序特征序列的时序候选初始边界位置，以及时序候选长度，将所述时序候选构建为边界匹配特征图，基于所述边界匹配特征图得到边界匹配置信度图；
23.根据所述边界匹配置信度图的置信度分数，提取所述融合特征的特征表示，得到所述候选时间片段数据。
24.在一个实施例中，所述基于所述时序特征序列的时序候选初始边界位置，以及时序候选长度，将所述时序候选构建为边界匹配特征图，基于所述边界匹配特征图得到边界匹配置信度图，包括：
25.获取具有预设大小的边界匹配图上的任一时序候选片段；
26.获取所述时序特征序列中的若干第一采样点，将所述若干第一采样点确定为所述任一时序候选片段的第一时序特征序列；
27.获取所述任一时序候选片段的开始时间和结束时间，基于所述开始时间和所述结束时间确定预设扩展时序范围，在所述预设扩展时序范围内获取与所述若干第一采样点数量相同的若干第二采样点；
28.确定所述若干第二采样点中的每个采样点数值，获得第二时序特征序列；
29.将所述第一时序特征序列与所述第二时序特征序列进行点乘和线性插值，得到任一时序候选片段特征；
30.采用三维卷积网络消除所述任一时序候选片段特征中的采样点数量，并通过多个二维卷积层确定所述任一时序候选片段的上下文信息，得到所述边界匹配置信度图。
31.在一个实施例中，所述将所述候选时间片段数据输入分类识别网络，得到个体事件类型以及个体事件时间信息，包括：
32.将每个候选时间片段的数据流特征输入至所述分类识别网络，基于边界匹配置信度图确定每个候选时间片段对应的数据时段进行分类，得到每个候选时间片段中的个体事件类别、个体事件开始时间和个体事件结束时间。
33.在一个实施例中，所述确定不同用户个体的元学习任务，对所述融合特征、所述候选时间片段数据和所述个体事件类型以及个体事件时间信息进行优化，得到所述事件流检测模型，包括：
34.确定初始元学习模型，所述初始元学习模型包括对应于所述融合特征的第一参数、对应于所述候选时间片段数据的第二参数以及对应于所述个体事件类型以及个体事件时间信息的第三参数；
35.确定模型更新步长超参数，获取所述初始元学习模型中任一用户数据构成的元训练任务损失函数；
36.基于所述第一参数、所述第二参数、所述第三参数、所述模型更新步长超参数和所述元训练任务损失函数，确定单次梯度下降更新，得到更新的元学习模型；
37.将所述更新的元学习模型与若干不同用户数据进行适配更新，得到所述事件流检
测模型。
38.第二方面，本发明还提供一种实时事件流识别系统，包括：
39.确定模块，用于确定待识别个体事件；
40.检测模块，用于将所述待识别个体事件输入至预先训练好的事件流检测模型，得到个体事件识别结果；其中，所述事件流检测模型是基于不同个体事件样本数据特征进行融合得到融合特征后，将所述融合特征进行边界匹配，并基于个体自适应元学习进行分类识别后所得到。
41.第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述实时事件流识别方法的步骤。
42.第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述实时事件流识别方法的步骤。
43.第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述实时事件流识别方法的步骤。
44.本发明提供的实时事件流识别方法及系统，通过对健康实时事件进行识别时，采用模型无关的元学习策略对事件流检测模型进行优化，实现了以最低代价得到具有个体自适应的检测模型，大大提高模型的泛化能力。
附图说明
45.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
46.图1是本发明提供的实时事件流识别方法的流程示意图；
47.图2是本发明提供的实时事件流识别方法的逻辑示意图；
48.图3是本发明提供的实时事件流识别系统的结构示意图；
49.图4是本发明提供的电子设备的结构示意图。
具体实施方式
50.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
51.目前，在人体事件检测研究中常常会出现模型泛化能力较差的问题，例如在一些数据不均衡的数据集中，因为数据分布偏差较大，往往导致所训练的模型偏好某些特定的事件类别。健康实时事件识别任务一般包括时间序列检测与多模态事件识别两个步骤，与传统方法相似，本发明提出了实时事件流识别方法。
52.图1是本发明提供的实时事件流识别方法的流程示意图，如图1所示，包括：
53.s1，确定待识别个体事件；
54.s2，将所述待识别个体事件输入至预先训练好的事件流检测模型，得到个体事件识别结果；其中，所述事件流检测模型是基于不同个体事件样本数据特征进行融合得到融合特征后，将所述融合特征进行边界匹配，并基于个体自适应元学习进行分类识别后所得到。
55.具体地，针对现有技术中存在的问题，本发明采用模型无关的元学习策略针对提出的检测模型进行优化，使其在针对新的研究对象时能以最低的代价进行优化得到有个体自适应的模型，提出的检测方法主要通过学习更新模型的参数，使其在新用户的事件检测任务中有很好的敏感性，对模型参数做较小的改变就可以使其在任意的新用户事件检测任务上取得较好的性能。这种方法对模型的形式没有限制，只要求模型可以通过梯度反向传播的方式进行优化训练，因此可以很好地应用于包含时间序列检测和事件识别等模块的多模态事件检测。
56.具体来说，在不改变模型结构的基础上，构建多个子任务，并在每个子任务上对模型进行优化，更新模型中每个子模块的参数；最终在构建的多个子任务的基础上对原始的模型参数进行更新，使其最有利于适配到所有的子任务上，通过这种方式得到最终的具有个体自适应特性的事件检测模型能大大提高模型的泛化能力。
57.从逻辑上，本发明提出的自适应的健康实时事件流识别系统分为两个模块，第一个是基于特征融合的多模态人体事件检测模块，先将视频数据和传感器数据分别进行特征提取得到特征表示，然后以固定时间窗口对两种特征表示进行融合后的数据流进行采样，再使用深度神经网络得到数据流事件的开始和结束时刻，进而根据候选时间片段进行事件检测；第二个是个体自适应元学习模块，先根据第一个模块得到的模型参数为初始化参数，再根据不同用户的训练样本构建元学习任务。整体逻辑结构如图2所示。
58.本发明通过对健康实时事件进行识别时，采用模型无关的元学习策略对事件流检测模型进行优化，实现了以最低代价得到具有个体自适应的检测模型，大大提高模型的泛化能力。
59.基于上述任一实施例，所述事件流检测模型，通过以下步骤获得：
60.获取所述视频数据特征和所述传感数据特征；
61.将所述视频数据特征和所述传感数据特征进行连接融合，得到所述融合特征；
62.将所述融合特征输入边界匹配网络，得到候选时间片段数据；
63.将所述候选时间片段数据输入分类识别网络，得到个体事件类型以及个体事件时间信息；
64.确定不同用户个体的元学习任务，对所述融合特征、所述候选时间片段数据和所述个体事件类型以及个体事件时间信息进行优化，得到所述事件流检测模型。
65.具体地，本发明所提出的事件流检测模型，具体包括：
66.将任意长度的视频数据和传感器数据分别经过特征提取器得到特征维度相同的底层特征表示；
67.将得到的视频数据特征和传感数据特征进行融合；
68.将输出的两种特征表示融合后的特征输入bmn(boundary-matching network，边界匹配网络)，得到候选时间片段数据；
69.将由边界匹配网络生成的候选时间片段数据输入分类识别网络，得到最终的个体
事件类型及该事件的开始和结束时间；
70.将得到的基础模型参数作为初始化参数，根据不同用户的训练样本构建元学习任务，将对应的模型参数有针对性地更新；
71.根据以上步骤的模型训练和优化，最终得到具有个体自适应特性的事件流检测模型。
72.本发明通过构建训练和优化事件流检测模型，能针对不同的个体事件进行识别检测，具有较强的泛化性和普适性。
73.基于上述任一实施例，所述获取所述视频数据特征和所述传感数据特征，包括：
74.将任意长度的视频片段输入预设视频特征提取器，得到所述视频数据特征；
75.将所述任意长度的视频片段对应的传感器数据输入预设传感特征提取器，得到所述传感数据特征。
76.具体地，具体来说，采用c3d神经网络作为视频特征提取器，可以得到视觉特征：
[0077][0078]
其中，lv是视频的长度，σ是每次输入特征提取器的视频帧数，tn是一个视频中第n(1≤n≤lf)个子视频段，其中，c是特征维度是第n个子视频段的特征。同时，除了选用的特征提取器不同外，传感数据采用同样方式进行处理。
[0079]
本发明在处理不同个体事件对应的数据特征时，采用相同的特征提取器，便于统一数据维度，方便后续数据融合处理。
[0080]
基于上述任一实施例，所述将所述视频数据特征和所述传感数据特征进行连接融合，得到所述融合特征，包括：
[0081]
将具有相同特征维度的所述视频数据特征和所述传感数据特征进行连接，得到连接特征；
[0082]
将所述连接特征由线性网络进行特征融合，得到具有多源异构数据统一表示的所述融合特征。
[0083]
具体地，将具有相同特征维度的视频特征与传感特征进行连接，再经过线性网络进行特征融合得到多源异构数据的统一表示。
[0084]
基于上述任一实施例，所述将所述融合特征输入边界匹配网络，得到候选时间片段数据，包括：
[0085]
确定所述融合特征的时序特征序列；
[0086]
基于所述时序特征序列的时序候选初始边界位置，以及时序候选长度，将所述时序候选构建为边界匹配特征图，基于所述边界匹配特征图得到边界匹配置信度图；
[0087]
根据所述边界匹配置信度图的置信度分数，提取所述融合特征的特征表示，得到所述候选时间片段数据。
[0088]
其中，所述基于所述时序特征序列的时序候选初始边界位置，以及时序候选长度，将所述时序候选构建为边界匹配特征图，基于所述边界匹配特征图得到边界匹配置信度图，包括：
[0089]
获取具有预设大小的边界匹配图上的任一时序候选片段；
[0090]
获取所述时序特征序列中的若干第一采样点，将所述若干第一采样点确定为所述任一时序候选片段的第一时序特征序列；
[0091]
获取所述任一时序候选片段的开始时间和结束时间，基于所述开始时间和所述结束时间确定预设扩展时序范围，在所述预设扩展时序范围内获取与所述若干第一采样点数量相同的若干第二采样点；
[0092]
确定所述若干第二采样点中的每个采样点数值，获得第二时序特征序列；
[0093]
将所述第一时序特征序列与所述第二时序特征序列进行点乘和线性插值，得到任一时序候选片段特征；
[0094]
采用三维卷积网络消除所述任一时序候选片段特征中的采样点数量，并通过多个二维卷积层确定所述任一时序候选片段的上下文信息，得到所述边界匹配置信度图。
[0095]
具体地，按照时序候选开始边界的位置以及时序候选的长度将所有可能存在的时序候选结合成一个二维边界匹配图。在这个二维边界匹配图上的每一列上的时序候选具有相同的开始时间，而每一行上的时序候选具有相同的时序长度。该二维边界匹配图主要用来表示所有潜在的时序候选片段，每个点的数值表示对应的时序候选的置信度分数。因此，可以通过生成边界匹配置信度图来同时给所有时序候选生成置信度分数。
[0096]
需要说明的是，为了从时序特征序列sf∈rc×
t
生成边界匹配特征图，再基于边界匹配特征图来生成边界匹配置信度图。对于大小为d
×
t的边界匹配图上的任意一个时序候选片段需要在其时序范围内，从时序特征序列中采样n个点，构成m
i,j
∈rc×n作为该候选片段的特征。为了使整个采样过程准确高效，所有的候选片段的特征采样过程可以同时进行。对于开始和结束时间为ts和te的时序候选片段在其扩展的时序范围[t
s-0.25d,te 0.25d]内采样n个点，构造一个采样矩阵w
i,j
∈rn×
t
。其中第n个采样点tn对应的值w
i,j,n
∈r
t
定义为：
[0097][0098]
其中dec表示取小数运算，floor表示向下取整运算。然后在时序维度上对时序特征序列sf∈rc×
t
和w
i,j
∈rn×
t
进行点乘，从而得到m
i,j
∈rc×n：
[0099][0100]
这里的候选片段的特征可以通过点乘形式的线性插值来计算得到。最后将采样矩阵从w
i,j
∈rn×
t
扩展到w∈rn×
t
×d×
t
,并通过同样的点乘运算，可以得到所有时序候选片段的边界匹配特征图m∈rc×n×d×
t
。通过这种矩阵点乘的方式，可以高效地给所有时序候选片段生成准确对应的特征表示。最后采用三维卷积网络来消去采样点的数量n，并通过多个二维的卷积层挖掘每个时序候选片段周围的上下文信息，最终生成边界匹配置信度图。
[0101]
基于上述任一实施例，所述将所述候选时间片段数据输入分类识别网络，得到个体事件类型以及个体事件时间信息，包括：
[0102]
将每个候选时间片段的数据流特征输入至所述分类识别网络，基于边界匹配置信
度图确定每个候选时间片段对应的数据时段进行分类，得到每个候选时间片段中的个体事件类别、个体事件开始时间和个体事件结束时间。
[0103]
具体地，把每个片段的数据流特征输入到分类识别网络，并根据生成的边界匹配置信度图选择相应的数据时段进行分类，得到最终的个体事件类别，最终输出的检测结果包括事件类别以及对应的开始和结束时间。
[0104]
基于上述任一实施例，所述确定不同用户个体的元学习任务，对所述融合特征、所述候选时间片段数据和所述个体事件类型以及个体事件时间信息进行优化，得到所述事件流检测模型，包括：
[0105]
确定初始元学习模型，所述初始元学习模型包括对应于所述融合特征的第一参数、对应于所述候选时间片段数据的第二参数以及对应于所述个体事件类型以及个体事件时间信息的第三参数；
[0106]
确定模型更新步长超参数，获取所述初始元学习模型中任一用户数据构成的元训练任务损失函数；
[0107]
基于所述第一参数、所述第二参数、所述第三参数、所述模型更新步长超参数和所述元训练任务损失函数，确定单次梯度下降更新，得到更新的元学习模型；
[0108]
将所述更新的元学习模型与若干不同用户数据进行适配更新，得到所述事件流检测模型。
[0109]
具体地，针对模型的优化，通过个体自适应元学习来完成。
[0110]
不同个体由于其生活习惯差异导致其事件数据分布也存在一定的差异。建模这种个体差异有助于构建更有效的事件检测模型。如果为每个用户训练一个独有的模型，将会消耗大量的计算资源，而且在实际使用场景中每个用户的数据量较难达到理想规模以满足完整模型的训练。为了根据用户个体特性来优化事件识别和检测模型的性能(定位和分类准确率)，本发明使用模型无关的元学习方法对事件检测模型进行适配优化，使其在新的用户数据上以最低的代价进行优化得到有个体自适应的模型。本发明从模型更新阶段引入了个体自适应机制，该机制将用户的历史信息作为模型适配学习的指导。
[0111]
采用的个体自适应事件检测方法主要通过学习更新模型的参数，使其在新用户的事件检测任务中有很好的敏感性，对模型参数做较小的改变就可以使其在任意的新用户事件检测任务上取得较好的性能。这种方法对模型的形式没有限制，只要求模型可以通过梯度反向传播的方式进行优化训练，因此可以很好地应用于包含定位和识别等模块的多模态事件检测。为了便于更形式化的描述，首先假设本项目所采用的事件检测方法由特征融合网络f
θ
，边界匹配网络和分类识别三个子模型构成。
[0112]
首先不考虑用户差异，在完整训练集上充分训练整个检测网络框架得到初始化的模型参数为了在新的测试用户上对初始化的模型进行适配优化，根据用户n的训练样本构建元训练任务对应的模型参数将通过梯度下降的方式被更新为：
[0113][0114][0115]
[0116]
这里α是超参数用于指定模型适配更新的步长，表示初始化模型在第n个用户的数据构成的元训练任务中的损失函数。
[0117]
为了减小在实际应用中对初始模型适配更新时候的训练代价，本项目将采用单次的梯度下降更新来计算类似地，可以对初始模型在n个不同用户的数据上进行适配更新得到n个适配后的模型参数最终对原有的模型参数进行更新，优化模型参数使其最有利于适配到n个不同的元训练任务上：
[0118][0119]
上面的目标函数可以采用元梯度下降的方式来优化训练，最终得到具有个体自适应特性的事件检测模型
[0120]
下面对本发明提供的实时事件流识别系统进行描述，下文描述的实时事件流识别系统与上文描述的实时事件流识别方法可相互对应参照。
[0121]
图3是本发明提供的实时事件流识别系统的结构示意图，如图3所示，包括：确定模块31和检测模块32，其中：
[0122]
确定模块31用于确定待识别个体事件；检测模块32用于将所述待识别个体事件输入至预先训练好的事件流检测模型，得到个体事件识别结果；其中，所述事件流检测模型是基于不同个体事件样本数据特征进行融合得到融合特征后，将所述融合特征进行边界匹配，并基于个体自适应元学习进行分类识别后所得到。
[0123]
本发明通过采用模型无关的元学习策略对事件流检测模型进行优化，实现了以最低代价得到具有个体自适应的检测模型，大大提高模型的泛化能力。
[0124]
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(communications interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行实时事件流识别方法，该方法包括：确定待识别个体事件；将所述待识别个体事件输入至预先训练好的事件流检测模型，得到个体事件识别结果；其中，所述事件流检测模型是基于不同个体事件样本数据特征进行融合得到融合特征后，将所述融合特征进行边界匹配，并基于个体自适应元学习进行分类识别后所得到。
[0125]
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0126]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的实时事件流识别方法，该方法包括：确定待识别个体事件；将所述待识别个体事件输入至预先训练好的事件流检测模型，得到个体事件识别结果；其中，所述事件流检测模型是基于不同个体事件样本数据特征进行融合得到融合特征后，将所述融合特征进行边界匹配，并基于个体自适应元学习进行分类识别后所得到。
[0127]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的实时事件流识别方法，该方法包括：确定待识别个体事件；将所述待识别个体事件输入至预先训练好的事件流检测模型，得到个体事件识别结果；其中，所述事件流检测模型是基于不同个体事件样本数据特征进行融合得到融合特征后，将所述融合特征进行边界匹配，并基于个体自适应元学习进行分类识别后所得到。
[0128]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0129]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0130]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。