动作识别方法及动作识别系统与流程

1.本发明涉及动作识别技术领域，尤其涉及一种动作识别方法及动作识别系统。


背景技术：

2.现有技术中通过普通相机拍摄视频，然后进行人物的动作识别，以根据识别的人物动作，但识别的准确性较低。
3.因此，有必要提供一种新型的动作识别方法及动作识别系统以解决现有技术中存在的上述问题。


技术实现要素：

4.本发明的目的在于提供一种动作识别方法及动作识别系统，提高动作识别的准确性。
5.为实现上述目的，本发明的所述动作识别方法，包括：获取事件流数据，所述事件流数据包括事件数据，所述事件数据包括记录时间、像素坐标和极性，所述极性表示相邻所述记录时间所对应同一所述像素坐标处的感应值的大小关系；通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作。
6.所述动作识别方法的有益效果在于：获取事件流数据，所述事件流数据包括事件数据，通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，将事件流数据与神经网络相结合，从而提高了动作识别的准确性。
7.可选地，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，包括：将单位时间段内相同所述像素坐标处的所述事件数据进行累加，以得到所述神经网络的感受层输出数据。其有益效果在于：能够极大的消除噪声干扰。
8.可选地，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：将所述神经网络的感受层输出数据与预设权重数据进行矩阵乘运算，以得所述神经网络的抑制层输出数据。
9.可选地，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：将所述神经网络的感受层输出数据作为所述神经网络的兴奋层输出数据。
10.可选地，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：将所述神经网络的兴奋层输出数据与所述神经网络的抑制层输出数据进行减运算，以得到所述神经网络的汇总层输出数据。
11.可选地，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标
动作，还包括：通过长短期记忆模型循环神经网络对所述神经网络的感受层输出数据进行处理，以得到所述神经网络的时间状态记忆数据。
12.可选地，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：通过合并函数将所述神经网络的汇总层输出数据与所述神经网络的时间状态记忆数据进行合并，然后进行神经网络整合训练，以得到所述神经网络的整合层输出数据。
13.可选地，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：将所述神经网络的整合层输出数据依次进行平均池化处理和数据压平处理，然后进行卷积运算，以得到所述神经网络的决策层输出数据，根据所述神经网络的决策层输出数据判断所述事件流数据中的目标动作。
14.本发明还提供了一种动作识别系统，所述动作识别系统包括事件流数据获取模块和神经网络模块，所述事件流数据获取模块用于获取事件流数据，所述事件流数据包括事件数据，所述事件数据包括记录时间、像素坐标和极性，所述极性表示相邻所述记录时间所对应同一所述像素坐标处的感应值的大小关系，所述神经网络模块用于通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作。
15.所述动作识别系统的有益效果在于：所述事件流数据获取模块用于获取事件流数据，所述事件流数据包括事件数据，所述神经网络模块用于通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，将事件流数据与神经网络相结合，从而提高了动作识别的准确性。
16.可选地，所述神经网络模块包括神经网络感受层单元，用于将单位时间段内相同所述像素坐标处的所述事件数据进行累加，以得到所述神经网络的感受层输出数据。
17.可选地，所述神经网络模块包括神经网络抑制层单元，用于将所述神经网络的感受层输出数据与预设权重数据进行矩阵乘运算，以得所述神经网络的抑制层输出数据。
18.可选地，所述神经网络模块包括神经网络兴奋层处理单元，用于将所述神经网络的感受层输出数据作为所述神经网络的兴奋层输出数据。
19.可选地，所述神经网络模块包括神经网络汇总层处理单元，用于将所述神经网络的兴奋层输出数据与所述神经网络的抑制层输出数据进行减运算，以得到所述神经网络的汇总层输出数据。
20.可选地，所述神经网络模块包括长短期记忆模型循环神经网络单元，用于通过长短期记忆模型循环神经网络对所述神经网络的感受层输出数据进行处理，以得到所述神经网络的时间状态记忆数据。
21.可选地，所述神经网络模块包括神经网络整合层处理单元，用于通过合并函数将所述神经网络的汇总层输出数据与所述神经网络的时间状态记忆数据进行合并，然后进行神经网络整合训练，以得到所述神经网络的整合层输出数据。
22.可选地，所述神经网络模块包括神经网络决策层处理单元，用于将所述神经网络的整合层输出数据依次进行平均池化处理和数据压平处理，然后进行卷积运算，以得到所述神经网络的决策层输出数据，根据所述神经网络的决策层输出数据判断所述事件流数据
中的目标动作。
附图说明
23.图1为本发明动作识别方法的流程图；图2为本发明一些实施例中动作识别系统的结构框图。
具体实施方式
24.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
25.针对现有技术存在的问题，本发明的实施例提供了一种动作识别方法。参照图1，所述动作识别方法包括以下步骤：s1：获取事件流数据，所述事件流数据包括事件数据，所述事件数据包括记录时间、像素坐标和极性，所述极性表示相邻所述记录时间所对应同一所述像素坐标处的感应值的大小关系；s2：通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作。
26.一些实施例中，用（t，x，y，p）表示所述事件数据，其中，t表示所述记录时间，（x，y）表示所述像素坐标，p表示所述极性，当t时刻（x，y）处的像素的响度高于t-1时刻（x，y）处像素的亮度，则p为1，当t时刻（x，y）处的像素的响度低于t-1时刻（x，y）处像素的亮度，则p为-1。
27.一些实施例中，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，包括：将单位时间段内相同所述像素坐标处的所述事件数据进行累加，以得到所述神经网络的感受层输出数据。
28.一些实施例中，所述神经网络通过公式计算所述神经网络的感受层输出数据，其中，t0表示初始记录时间，
ꢀꢀ
表示所述单位时间段，m表示所述单位时间段的个数，p
t0 mδ
（x，y）表示第m个单位时间段内所述神经网络的感受层输出数据，e表示常数。
29.一些实施例中，一个所述单位时间段内为一帧图像。
30.一些实施例中，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：将所述神经网络的感受层输出数据与预设权重数据进行矩阵乘运算，以得所述神经网络的抑制层输出数据。可选地，将上一个所述单位时间段的所述神经网络的感受层输出数据与预设权重数据进行矩阵乘运算，以得当前时间段所述神经网络的抑制层输出数据。
31.一些实施例中，所述神经网络通过公式计算所述神经网络的抑制层输出数据，其中，i
t0 mδ
（x，y）表示第m个单位时间段所述神经网络的抑制层输出数据，p
t0 （m-1）δ
（x，y）表示第m-1个单位时间段内所述神经网络的感受层输出数据，w表示所述预设权重数据。
32.一些实施例中，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：将所述神经网络的感受层输出数据作为所述神经网络的兴奋层输出数据。
33.一些实施例中，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：将所述神经网络的兴奋层输出数据与所述神经网络的抑制层输出数据进行减运算，以得到所述神经网络的汇总层输出数据。
34.一些实施例中，所述神经网络通过公式计算所述神经网络的汇总层输出数据，其中，s
t0 mδ
（x，y）表示第m个单位时间段所述神经网络的汇总层输出数据，e
t0 mδ
（x，y）表示第m个单位时间段所述神经网络的兴奋层输出数据。
35.一些实施例中，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：通过长短期记忆模型循环神经网络对所述神经网络的感受层输出数据进行处理，以得到所述神经网络的时间状态记忆数据。
36.一些实施例中，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：通过合并函数将所述神经网络的汇总层输出数据与所述神经网络的时间状态记忆数据进行合并，然后进行神经网络整合训练，以得到所述神经网络的整合层输出数据。
37.一些实施例中，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：将所述神经网络的整合层输出数据依次进行平均池化处理（average pooling）和数据压平处理（flatten），然后进行卷积运算，以得到所述神经网络的决策层输出数据，根据所述神经网络的决策层输出数据判断所述事件流数据中的目标动作。
38.一些实施例中，所述动作识别方法还包括神经网络训练步骤，所述神经网络训练步骤包括：收集数据集；采样损失函数采用二值交叉熵方式对所述数据集进行处理，以得到损失函数处理数据；对所述损失函数处理数据进行归一化处理，以得到神经网络训练数据。
39.一些实施例中，所述数据集包括人脸接近的事件流数据、人脸远离的事件流数据、人脸非接近或远离的事件流数据、非人脸接近的事件流数据、非人脸远离的事件流数据、非人脸非接近或远离的事件流数据，所述事件流数据的个数共320个，每个所述事件流数据的时长为15s。
40.一些实施例中，所述收集数据集包括通过事件相机（events camera）采集不同场所、不同亮度、不同人数情况下的人相对于事件相机接近、远离、非接近或远离的第一事件流数据。
41.一些实施例中，所述收集数据集还包括通过事件相机（events camera）采集不同场所、不同亮度、不同人数情况下的物品或动物相对于事件相机接近、远离、非接近或远离的第二事件流数据。
42.一些实施例中，所述收集数据集还包括对所述第一事件流数据和所述第二事件流
数据进行可视化图像。具体地，通过公式将所述第一事件流数据和所述第二事件流数据可视化，其中，pt0（x，y）表示像素点的值，即，当像素点的值大于0，则将像素点的值调整为255，当像素点的值小于0，则将像素点的值调整为0，当像素点的值等于0，则将像素点的值调整为127。
43.一些实施例中，所述第一事件流数据和所述第二事件流数据共320个，且每个所述第一事件流数据和每个所述第二事件流数据的时长均为15s，将所述第一事件流数据和所述第二事件流数据以30ms为视频帧间隔提取图片，则每个所述第一事件流数据和每个所述第二事件流数据均可以得到500张图片。
44.一些实施例中，所述收集数据集还包括：将按帧数排序的前400张图片加入所述神经网络的训练集，将按帧数排序的中间50张图片加入所述神经网络的验证集，按帧数排序的后50张图片加入所述神经网络的测试集，进而得到训练集中128000张图片，验证集中16000张图片，测试集中16000张图片。
45.一些实施例中，所述收集数据集还包括将按帧数排序的相邻两张图片的绝对路径和对应的标签作为一条标注数据，所述标签包括靠近、远离和挂起，其中靠近为100、远离为010、挂起为001，以10个所述标注数据为例，前5张图片取自同一事件流数据，后5张图片来自同一事件流数据：path（a0）path（a1）010；path（a1）path（a2）010；path（a2）path（a3）010；path（a2）path（a4）010；path（a4）path（b0）010；path（b0）path（b1）010；path（b1）path（b2）001；path（b2）path（b3）001；path（b3）path（b4）001。其中，path（a0）表示地址a0，path（a1）表示地址a1。
46.图2为本发明一些实施例中动作识别系统的结构框图。参照图2，所述动作识别系统100包括事件流数据获取模块101和神经网络模块102，所述事件流数据获取模块101用于获取事件流数据，所述事件流数据包括事件数据，所述事件数据包括记录时间、像素坐标和极性，所述极性表示相邻所述记录时间所对应同一所述像素坐标处的感应值的大小关系，所述神经网络模块102用于通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作。
47.一些实施例中，所述事件流数据获取模块为事件相机（events camera）。
48.一些实施例中，所述神经网络模块包括神经网络感受层单元，用于将单位时间段内相同所述像素坐标处的所述事件数据进行累加，以得到所述神经网络的感受层输出数据。
49.一些实施例中，所述神经网络模块包括神经网络抑制层单元，用于将所述神经网络的感受层输出数据与预设权重数据进行矩阵乘运算，以得所述神经网络的抑制层输出数据。
50.一些实施例中，所述神经网络模块包括神经网络兴奋层处理单元，用于将所述神经网络的感受层输出数据作为所述神经网络的兴奋层输出数据。
51.一些实施例中，所述神经网络模块包括神经网络汇总层处理单元，用于将所述神经网络的兴奋层输出数据与所述神经网络的抑制层输出数据进行减运算，以得到所述神经网络的汇总层输出数据。
52.一些实施例中，所述神经网络模块包括长短期记忆模型循环神经网络单元，用于通过长短期记忆模型循环神经网络对所述所述神经网络的感受层输出数据进行处理，以得到所述神经网络的时间状态记忆数据。
53.一些实施例中，所述神经网络模块包括神经网络整合层处理单元，用于通过合并函数将所述神经网络的汇总层输出数据与所述神经网络的时间状态记忆数据进行合并，然后进行神经网络整合训练，以得到所述神经网络的整合层输出数据。
54.一些实施例中，所述神经网络模块包括神经网络决策层处理单元，用于将所述神经网络的整合层输出数据依次进行平均池化处理和数据压平处理，然后进行卷积运算，以得到所述神经网络的决策层输出数据，根据所述神经网络的决策层输出数据判断所述事件流数据中的目标动作。
55.一些实施例中，通过所述动作识别系统实现所述动作识别方法。
56.一些实施例中，所述动作识别方法和所述动作识别系统应用于电子设备的休眠和唤醒，当识别人物远离所述电子设备时，控制所述电子设备休眠，当识别人物靠近所述电子设备时，控制所述电子设备唤醒。
57.又一些实施例中，所述动作识别方法和所述动作识别系统应用于电子设备的休眠和唤醒，当识别人物的特殊动作时，控制所述电子设备休眠或唤醒，例如招手、摇头。
58.虽然在上文中详细说明了本发明的实施方式，但是对于本领域的技术人员来说显而易见的是，能够对这些实施方式进行各种修改和变化。但是，应理解，这种修改和变化都属于权利要求书中所述的本发明的范围和精神之内。而且，在此说明的本发明可有其它的实施方式，并且可通过多种方式实施或实现。