实施例涉及用于对封闭结构的窗口或入口上的外部冲击进行分类的分类系统。进一步的实施例涉及用于对封闭结构的窗口或入口上的外部冲击进行分类的方法。更具体地，本公开使用来自麦克风的音频信号以及来自气压传感器的压力信号来处理对封闭结构的窗口或入口上的外部冲击的分类。
背景技术：
存在可以检测室内环境中存在入侵者的若干类型的系统。它们主要基于可以监控房间中的多个窗口的运动传感器(例如，红外或磁性传感器)以及被安装到门窗的接触传感器或玻璃破碎传感器(基于振动并且直接施加到门窗的每个玻璃窗格)。图像传感器和相机也是选项。
在气压传感器或麦克风传感器处测量的信号可以被视为上述方法的更简单(安装工作量更少)并且更便宜的备选方法，但是备选方法利用先进的机器学习技术和神经网络架构来提高优于更多常规方法的性能。
就特定的检测算法而言，在us9,940,825b2中公开了基于传感器信号(包括气压计)和阈值的组合的简单的现有技术方法。由于其简单性，该方法的缺点是不能区分不同类型的事件(诸如，窗口的打开或倾斜或窗口撞毁)，并且容易产生过多的错误警报。
一个更复杂的方法包括将隐马尔可夫模型应用于所收集的压力传感器信号。该方法需要不同的状态的标识以及从一个状态到另一状态的转移概率，如果不同类型的打开事件需要被分类(窗口打开/倾斜、门打开等)，该方法将变得非常具有挑战性，并且因此使用更简单的概率模型变得更加有吸引力。
就传感器融合而言，在ep3573031a1中还提出了压力传感器和麦克风传感器的简单组合，其中多数规则被应用于对压力传感器的信号和麦克风的信号运行的基于基本阈值的算法的最终输出。
尽管这样的方法很简单，但是并不能有效地并且明智地使用两个可用流，并且会损害分类性能。
技术实现要素：
公开了用于对封闭结构的窗口或入口上的外部冲击进行分类的分类系统。分类系统包括：
麦克风，被配置为产生与封闭结构内的声音相对应的音频信号；
气压传感器，被配置为产生与封闭结构内的空气压力相对应的压力信号；
音频信号预处理器，被配置为从音频信号中导出经预处理的音频信号；
压力信号预处理器，被配置为从压力信号中导出经预处理的压力信号；
音频信号特征处理器，被配置为从经预处理的音频信号中提取音频特征，以产生音频特征矢量；
压力信号特征处理器，被配置为从经预处理的压力信号中提取压力特征，以产生压力特征矢量；
特征组合处理器，被配置为将音频特征矢量和压力特征矢量组合，以产生音频特征和压力特征矢量；以及
分类处理器，被配置为通过对音频特征和压力特征矢量进行分类来对窗口或入口上的外部冲击进行分类，从而产生分类输出；
其中分类处理器被配置用于执行第一机器学习算法，其中音频特征和压力特征矢量被馈送到第一机器学习算法的输入层，并且其中分类输出基于第一机器学习算法的输出。
根据本公开的分类系统基于多流方法，多流方法将来自不同性质的传感器的数据组合在公共网络架构中，以在处理流的早期，使用来自另一流的知识来增强每个流。
术语“对封闭结构的窗口或入口上的外部冲击进行分类”指代对封闭结构的窗口或入口有影响的外部事件的性质的检测。类别可以包括：
a)窗口或入口正被打开；
b)窗口或入口已关闭：
c)窗口或入口已被击中：
d)窗口或出入口已被损坏，例如发生玻璃破裂；
e)窗口或入口已被猛击。
封闭结构可以是例如建筑物、建筑物的一部分(例如，房间)、载具或载具的一部分(例如，乘客舱)。入口可以是门、行李舱盖等。
术语处理器指代被配置用于特定任务的电子设备。处理器可以包括硬件或硬件和软件的组合。不同的处理器可以共享硬件组件和/或软件组件。
音频信号特征处理器可以被配置用于将音频信号变换为音频特征矢量，其中音频特征矢量包括对于音频信号而言具有特性的特征值。一些特征可以对应于相应的音频信号的平均偏差的绝对值、相应的音频信号的平均偏差的相位、相应的音频信号的标准偏差的绝对值或者相应的音频信号的标准偏差的相位。还考虑音频信号的最大值、最小值、动态力矩、一阶导数的动态力矩或元特征(例如，峰度、偏度或分位数)。
以相同的方式，压力信号特征处理器可以被配置用于将压力信号变换为压力特征矢量，其中压力特征矢量包括对于压力信号而言具有特性的特征值。一些特征可以对应于相应压力信号的平均偏差的绝对值、相应压力信号的平均偏差的相位、相应压力信号的标准偏差的绝对值或者相应压力信号的标准偏差的相位。还可以考虑压力信号的最大值、最小值、动态力矩、一阶导数的动态力矩或元特征(例如，峰度、偏度或分位数)。
特征组合处理器将音频特征矢量和压力特征矢量进行组合，以产生音频特征和压力特征矢量，音频特征和压力特征矢量被馈送到分类处理器。
具体地，音频特征和压力特征矢量被馈送到第一机器学习算法的输入层，并且分类输出基于第一机器学习算法的输出。
术语“机器学习算法”指代计算机系统在无需使用明确指令的情况下、而是依赖于模式和推断来执行特定任务的所有统计模型。机器学习算法的结构通常被预定义。但是，机器学习算法的参数通常在预操作学习阶段期间和/或操作阶段期间进行学习。
必须注意，所提出的技术足够灵活，以能够并入除本文所述的来自气压传感器和麦克风的信号之外的其他传感器信号，诸如来自雷达或环境传感器的传感器信号。
本公开的核心是用于基于在处理流程的早期阶段，将不同流融合来对来自多个源的信号进行分类的机制。具体地，信号在麦克风和压力传感器处进行测量，其最终目的是识别对封闭结构的窗口或入口的冲击。所提出的分类系统包括：
多个特征提取处理器，其中特征提取处理器中的每一个被实现为基于相应信号的特定性质来提取或学习信号中的一个信号的判别属性，并且能够有效地重新使用后续网络层；
特征组合处理器，将来自多个流的特征明智地组合，并且其参数可选地与其他网络参数一起被优化；以及
分类处理器，包括第一机器学习算法，第一机器学习算法以监督方式输出对已观察到的事件的判定。
与音频信号的特征和压力信号的特征被彼此独立分类的解决方案相比，在音频信号的特征和压力信号的特征被馈送到第一机器学习算法之前，音频信号的特征和压力信号的特征的组合提供了更高的分类精度。
根据一些实施例，音频信号预处理器包括被配置为对音频信号进行归一化的音频信号归一化处理器，和/或压力信号预处理器包括被配置为对压力信号进行归一化的压力信号归一化处理器。这些特征进一步改进了分类精度。
根据一些实施例，音频信号预处理器包括被配置用于对音频信号进行滤波的音频信号滤波器，和/或压力信号预处理器包括被配置用于对压力信号进行滤波的压力信号滤波器。滤波器中的每一个滤波器可以例如被实现为高通滤波器或噪声滤波器。这些特征进一步改进了分类精度。
根据一些实施例，音频信号预处理器包括被配置为从音频信号中去除离群值的音频信号离群值去除处理器，和/或压力信号预处理器包括被配置为从压力信号中去除离群值的压力信号离群值去除处理器。这些特征进一步改进了分类精度。
根据一些实施例，音频信号预处理器包括被配置为提供经预处理的音频信号作为二维预处理音频信号时频图的音频信号转换处理器，和/或压力信号预处理器包括被配置为提供经预处理的压力信号作为二维预处理压力信号时频图的压力信号转换处理器。信号转换处理器中的每一个信号转换处理器可以被实现为梅尔谱图算法。这些特征简化了特征的后续确定，并且因此改进了分类精度。
根据一些实施例，音频信号特征处理器被配置为用于通过使用一个或多个第一显式公式来计算音频特征矢量的至少第一部分，和/或压力信号特征处理器被配置为用于通过使用一个或多个第二显式公式来计算压力特征矢量的至少第一部分。在这样的实施例中，与仅使用自适应算法来计算每个特征矢量的实施例相比，每个特征矢量的至少第一部分由预定义的公式来计算，预定义的公式限制了计算工作量。
根据一些实施例，第一机器学习算法被实现为第一人工神经网络，其中分类处理器包括柔性最大值传输函数(softmax)处理器，softmax处理器被布置在第一人工神经网络的输出侧处并且第一人工神经网络的输出侧输出分类输出。
已发现，人工神经网络比诸如决策树等的其他机器学习算法更适合于分类处理器。softmax处理器能够执行softmax函数。softmax函数被用作基于神经网络的分类处理器的最后一层。具体地，人工神经网络和softmax处理器的组合限制了计算工作量并且提供了高精度。
根据一些实施例，第一人工神经网络包括至少一个第一卷积处理器。卷积处理器是充当卷积神经网络的处理器。名称“卷积神经网络”指示网络采用被称为卷积的数学运算。卷积是特殊的线性运算。卷积网络只是在其至少一层中使用卷积来代替一般的矩阵乘法的简单的神经网络。
根据一些实施例，第一人工神经网络包括至少一个第一卷积批量归一化处理器。卷积批量归一化处理器是能够执行批量归一化算法的处理器。批量归一化是用于训练非常深度神经网络的技术，该技术将每个微型批量的层输入标准化。这具有稳定学习过程并且显著减少训练深度网络所需的训练时期的效果。
第一卷积处理器和第一卷积批量归一化处理器可以被并行布置，其中处理器的输出被求和来提供第一人工神经网络的输出。这些特征限制了计算工作量并且提供了高精度。
根据一些实施例，第一人工神经网络包括至少一个第一整流线性单元处理器。在人工神经网络的上下文中，整流器是被定义为其论证的正部分的激活函数。已证明，与其他激活函数相比，整流器实现更深度的网络的更好地训练。
根据一些实施例，分类处理器包括至少一个第一池化层处理器，至少一个第一池化层处理器被布置在第一人工神经网络的输出侧处。池化层处理器将其输入成形为1d阵列，该1d阵列适用于后续softmax层。
根据一些实施例，分类处理器包括至少一个第二整流线性单元处理器，至少一个第二整流线性单元处理器被布置在第一人工神经网络的输出侧处。第二整流线性单元处理器的配置类似于第一整流线性单元处理器的配置。
根据一些实施例，音频信号特征处理器被配置用于执行第二机器学习算法，其中音频特征矢量的至少第二部分被提供在第二机器学习算法的输出层处，和/或压力信号特征处理器被配置为用于执行第三机器学习算法，其中压力特征矢量的至少第二部分被提供在第三机器学习算法的输出层处。在这样的实施例中，每个特征矢量的计算不仅依赖于预定义的算法，而是计算至少部分地依赖于机器学习算法。通过这些特征，特征矢量的计算可以被适配用于分类系统的特定环境，使得分类精度可以被改进。
根据一些实施例，第二机器学习算法被实现为第二人工神经网络，和/或第三机器学习算法被实现为第三人工神经网络。第二人工网络和/或第三人工网络可以类似于第一人工网络来实现。
根据一些实施例，第二人工神经网络包括至少一个第二卷积处理器，和/或第三人工神经网络包括至少一个第三卷积处理器。第二卷积处理器和/或第三卷积处理器可以类似于第一卷积处理器来实现。
根据一些实施例，第二人工神经网络包括至少一个第二卷积批量归一化处理器，和/或第三人工神经网络包括至少一个第三卷积批量归一化处理器。第二卷积批量归一化处理器和/或第三卷积批量归一化处理器可以类似于第一卷积批量归一化处理器来实现。
根据一些实施例，音频信号特征处理器在第二人工神经网络的输出侧处包括至少一个第二池化层处理器，和/或压力信号特征处理器在第三人工神经网络的输出侧处包括至少一个第三池化层处理器。第二池化层处理器和/或第三池化层处理器可以类似于第一池化层处理器来实现。
根据一些实施例，音频信号特征处理器在第二人工神经网络的输出侧处包括至少一个第三整流线性单元处理器，和/或压力信号特征处理器在第三人工神经网络的输出侧处包括至少一个第四整流线性单元处理器。第三整流线性单元处理器和/或第四整流线性单元处理器可以类似于第一整流线性单元处理器来实现。
根据一些实施例，音频信号特征处理器在第二人工神经网络的输出侧处包括至少一个第四卷积处理器，和/或压力信号特征处理器在第三人工神经网络的输出侧处包括至少一个第五卷积处理器。第四卷积处理器和/或第五卷积处理器可以类似于第一卷积处理器来实现。
根据一些实施例，特征组合处理器被配置为用于通过产生音频特征矢量和压力特征矢量的级联、或总和、或元素乘法来产生音频特征和压力特征矢量。
其中fa为音频特征矢量，并且fp为两个传感器流(被学习或显式提取)中的压力特征矢量，并假设它们已在预处理和特征提取步骤中被减小到兼容大小，我们可以具有各种组合。产生音频特征和压力特征矢量的可能选项是：
1)级联[fa，fp]；
2)总和[fa fp]；
3)元素乘法[fa]*[fp]。
根据一些实施例，特征组合处理器被配置为用于通过产生音频特征矢量与压力特征矢量的加权级联、或加权总和、或加权元素乘法来产生音频特征和压力特征矢量，其中通过权重计算处理器，针对音频特征矢量的权重以及针对压力特征矢量的权重根据音频特征矢量和/或压力特征矢量来确定。
其中fa是音频特征矢量，并且fp是两个传感器流(被学习或显式提取)的压力特征矢量，并且假设它们已在预处理和特征提取步骤中被减小为兼容大小，我们可以具有各种组合。可能的选项是：
4)加权级联[αafa,βpfp]，其中αa是音频特征矢量的权重，并且βp是压力特征矢量的权重；
5)加权总和[αafa βpfp]，其中αa是音频特征矢量的权重，并且βp是压力特征矢量的权重；
6)加权元素乘法[αafa]*[βpfp]，其中αa是音频特征矢量的权重，并且βp是压力特征矢量的权重。
权重考虑到在某些情况下，音频信号的特征可能比压力信号的特征更独特(特性)，反之亦然。因此，在音频信号的特征比压力信号的特征更具特性的情况下，分类精度可以通过向音频信号的特征分配比压力信号的特征更高的权重来改进，并且在音频信号的特征没有比压力信号的特征更具特性的情况下，分类精度可以通过向压力信号的特征分配比音频信号的特征更高的权重来改进。在该情况下，权重至少部分地通过使用预定义算法来确定，预定义算法限制了计算工作量。
根据一些实施例，特征组合处理器被配置为用于通过产生音频特征矢量与压力特征矢量的加权级联、或加权总和、或加权元素乘法来产生音频特征和压力特征矢量，其中通过权重计算处理器，针对音频特征矢量的权重和针对压力特征矢量的权重根据第一人工神经网络的隐藏状态来确定。在该情况下，权重至少部分地通过使用来自第一人工网络的学习数据来确定，这进一步改进了分类精度。
根据一些实施例，特征组合处理器被配置为在产生音频特征和压力特征矢量之前，将第一偏移矢量添加到音频特征矢量和/或将第二偏移矢量添加到压力特征矢量，其中第一偏移矢量和/或第二偏移矢量根据音频特征矢量和/或压力特征矢量来确定。在该情况下，偏移至少部分地通过使用预定义算法来确定，预定义算法限制了计算工作量。这样的特征改进了分类精度。
根据一些实施例，特征组合处理器被配置为在产生音频特征和压力特征矢量之前，将第一偏移矢量添加到音频特征矢量和/或将第二偏移矢量添加到压力特征矢量，其中第一偏移矢量和/或第二偏移矢量根据第一人工神经网络的隐藏状态来确定。在该情况下，偏移至少部分地通过使用来自第一人工网络的学习数据来确定，这进一步改进了分类精度。这样的特征改进了分类精度。
还公开了用于对封闭结构的窗口或入口上的外部冲击进行分类的方法。方法包括以下步骤：
通过使用麦克风，产生与封闭结构内的声音相对应的音频信号；
通过使用气压传感器，产生与封闭结构内的空气压力相对应的压力信号；
通过使用音频信号预处理器，从音频信号中导出经预处理的音频信号；
通过使用压力信号预处理器，从压力信号中导出经预处理的压力信号；
通过使用音频信号特征处理器，从经预处理的音频信号中提取音频特征，以产生音频特征矢量；
通过使用压力信号特征处理器，从经预处理的压力信号中提取压力特征，以产生压力特征矢量；
通过使用特征组合处理器来将音频特征矢量和压力特征矢量组合，以产生音频特征和压力特征矢量；以及
通过使用分类处理器，对音频特征和压力特征矢量进行分类，从而对窗口或入口上的外部冲击进行分类，以产生分类输出；
其中分类处理器正在执行第一机器学习算法，其中音频特征和压力特征矢量被馈送到第一机器学习算法的输入层，并且其中分类输出基于第一机器学习算法的输出。
还公开了用于在计算机上运行时，实现本文所公开的方法的计算机程序。
附图说明
随后参考附图来讨论本发明的优选实施例，其中：
图1示出了根据本公开的用于对封闭结构的窗口或入口上的外部冲击进行分类的分类系统的第一实施例的示意图；
图2示出了根据本公开的用于对封闭结构的窗口或入口上的外部冲击进行分类的分类系统的第二实施例的示意图；
图3示出了根据本公开的用于对封闭结构的窗口或入口上的外部冲击进行分类的分类系统的第三实施例的示意图；
图4示出了根据本公开的用于对封闭结构的窗口或入口上的外部冲击进行分类的分类系统的第四实施例的示意图；
图5示出了根据本公开的用于对封闭结构的窗口或入口上的外部冲击进行分类的分类系统的第五实施例的示意图；
图6示出了根据本公开的用于对封闭结构的窗口或入口上的外部冲击进行分类的分类系统的第六实施例的示意图；
图7示出了当玻璃窗口被打开时，随时间变化的典型压力信号和随时间变化的典型音频信号；
图8示出了当玻璃窗口被关闭时，随时间变化的典型压力信号和随时间变化的典型音频信号；
图9示出了当玻璃窗口被击中时，随时间变化的典型压力信号和随时间变化的典型音频信号；
图10示出了当玻璃窗口破裂时，随时间变化的典型压力信号和随时间变化的典型音频信号；
图11示出了当玻璃窗口被猛击时，随时间变化的典型压力信号和随时间变化的典型音频信号；以及
图12示出了本文所述的卷积处理器的可能实现方式。
在以下描述中，相同或等同的元素或具有相同或等同功能的元素通过相同或等同的附图标记来表示。
具体实施方式
在以下描述中，阐述了多个细节来提供对本公开的实施例的更透彻解释。然而，对于本领域技术人员将显而易见的是，可以在没有这些具体细节的情况下实践本公开的实施例。在其他实例中，以框图的形式而不是详细地示出了公知的结构和设备，以避免使得本公开的实施例不清楚。附加地，除非另外特别指出，否则下文描述的不同实施例的特征可以彼此组合。
图1示出了根据本公开的分类系统1的第一实施例的示意图，分类系统1用于对封闭结构的窗口或入口上的外部冲击进行分类。分类系统包括：
麦克风2，被配置为产生与封闭结构内的声音相对应的音频信号as；
气压传感器3，被配置为产生与封闭结构内的空气压力相对应的压力信号ps；
音频信号预处理器4，被配置为从音频信号as中导出经预处理的音频信号pas；
压力信号预处理器5，被配置为从压力信号ps中导出经预处理的压力信号pps；
音频信号特征处理器6，被配置为从经预处理的音频信号pas中提取音频特征，以产生音频特征矢量afv；
压力信号特征处理器7，被配置为从经预处理的压力信号pps中提取压力特征，以产生压力特征矢量pfv；
特征组合处理器8，被配置为将音频特征矢量afv和压力特征矢量pvf组合来产生音频特征和压力特征矢量apv；以及
分类处理器9，被配置为通过对音频特征和压力特征矢量apv进行分类来对窗口或入口上的外部冲击进行分类，以产生分类输出co；
其中分类处理器9被配置用于执行第一机器学习算法，其中音频特征和压力特征矢量apv被馈送到第一机器学习算法的输入层，并且其中分类输出co基于第一机器学习算法的输出。
根据一些实施例，音频信号预处理器4包括被配置为对音频信号as进行滤波的音频信号滤波器，和/或压力信号预处理器5包括被配置为对压力信号ps进行滤波的压力信号滤波器。
根据一些实施例，音频信号预处理器4包括被配置用于从音频信号as中去除离群值的音频信号离群值去除处理器，和/或压力信号预处理器5包括被配置为从压力信号ps中去除离群值的压力信号离群值去除处理器。
根据一些实施例，音频信号特征处理器6被配置用于通过使用一个或多个第一显式公式来计算音频特征矢量afv的至少第一部分，和/或压力信号特征处理器7被配置用于通过使用一个或多个第二显式公式来计算压力特征矢量pfv的至少第一部分。
根据一些实施例，特征组合处理器8被配置为用于通过产生音频特征矢量afv与压力特征矢量pfv的级联、或总和、或元素乘法来产生音频特征和压力特征矢量apv。
在另一方面，本公开涉及用于对封闭结构的窗口或入口上的外部冲击进行分类的方法。方法包括以下步骤：
通过使用麦克风2，产生与封闭结构内的声音相对应的音频信号as；
通过使用气压传感器3，产生与封闭结构内的空气压力相对应的压力信号ps；
通过使用音频信号预处理器4，从音频信号as中导出经预处理的音频信号pas；
通过使用压力信号预处理器5，从压力信号ps中导出经预处理的压力信号pps；
通过使用音频信号特征处理器6，从经预处理的音频信号pas中提取音频特征，以产生音频特征矢量afv；
通过使用压力信号特征处理器7，从经预处理的压力信号pps中提取压力特征，以产生压力特征矢量pfv；
通过使用特征组合处理器8，将音频特征矢量afv和压力特征矢量pfv进行组合，以产生音频特征和压力特征矢量apv；以及
通过使用分类处理器9，对音频特征和压力特征矢量apv进行分类来对窗口或入口上的外部冲击进行分类，以产生分类输出co；
其中分类处理器9执行第一机器学习算法，其中音频特征和压力特征矢量apv被馈送到第一机器学习算法的输入层，并且其中分类输出co基于第一机器学习算法的输出。
在另一方面，本公开涉及用于在计算机上运行时实现本文所讨论的方法的计算机程序。
本公开涉及智能组合-传感器融合-气压传感器3的压力信号ps和麦克风2的音频信号as，用于标识特定类型的事件(诸如，窗口或房屋门被打开或关闭或窗口玻璃破裂)。在智能家居和家庭场景分析的上下文中，此类事件的标识可以被用于检测窃贼正在进入住宅或房屋。类似事件也与其他封闭环境(例如，汽车)相关。
已观察到，根据气压传感器3被放置的房屋中的窗口或门是否被打开、倾斜、破裂等，在气压传感器3处测量的压力信号ps具有特性模式。只要房屋内的门没有紧密关闭，压力信号ps的模式不仅在受影响的房间中而且在整个房屋中都保持独特。类似地，当在麦克风2附近发生诸如猛击、碰撞或击中窗口等事件时，音频信号as也表现出非常独特的行为。然而，根据在事件，在麦克风2和气压传感器3处记录的特定模式具有不同的特性，或多或少会很明显。
根据图1，音频信号as和压力信号ps首先由音频信号预处理器4和压力信号预处理器5来单独预处理。这在需要时包括高通滤波或噪声滤波、信号归一化、离群值的消除等，并且还可以生成二维时频图(例如，特征图)。
第二步，经预处理的音频信号pas被馈送到音频信号特征处理器6，并且经预处理的压力信号pps被馈送到特征压力信号特征处理器7。信号pas和pps仍然保持分离，以使得对多流数据的判别属性进行更适当并且信号特定的学习。所提取的音频特征矢量afv和所提取的压力特征矢量pfv可以是某个指标(例如，导数、相位、均值等)的显式计算，或者可以借助单独的神经网络来隐式学习。
此时，所提取的音频特征矢量afv和所提取的压力特征矢量pfv可以被融合或组合在一起，以计算音频特征和压力特征矢量apv。该操作可以具有不同的实现方式，范围从简单的特征级联到更复杂的加权组合，其中权重(和偏移)用单独的注意机制以及单独的反向传播过程来学习。在不同的组合方法之间进行选择将取决于特定结构、后续结构、其收敛属性以及数据(和所提取的特征)的性质。
现在，经计算的音频特征和压力特征矢量apv被发送到分类处理器9，分类处理器9可以被实现为通用机器学习分类算法或者更方便地实现为后跟softmax层的神经网络。根据在先前步骤中提取了哪些特征以及它们被如何组合，特定网络可以是完全组合的网络，或者附加卷积块。
图2示出了根据本发明的分类系统1的第二实施例的示意图，分类系统1用于对封闭结构的窗口或入口上的外部冲击进行分类。
根据一些实施例，音频信号预处理器4包括被配置为对音频信号as进行归一化的音频信号归一化处理器10，和/或压力信号预处理器5包括被配置为对压力信号ps进行归一化的压力信号归一化处理器11。
根据一些实施例，音频信号预处理器4包括音频信号转换处理器12，音频信号转换处理器12被配置为提供经预处理的音频信号pas作为二维预处理音频信号时频图。
根据一些实施例，第一机器学习算法被实现为第一人工神经网络13，其中分类处理器9包括softmax处理器14，softmax处理器14被布置在第一人工神经网络13的输出侧处并且第一人工神经网络13的输出侧输出分类输出co。
根据一些实施例，音频信号特征处理器4被配置用于执行第二机器学习算法，其中音频特征矢量afv的至少第二部分在第二机器学习算法的输出层处提供。
根据一些实施例，第二机器学习算法被实现为第二人工神经网络15。
根据一些实施例，第二人工神经网络15包括至少一个第二卷积处理器16。
根据一些实施例，第二人工神经网络15包括至少一个第二卷积批量归一化处理器17。
根据一些实施例，音频信号特征处理器6在第二人工神经网络15的输出侧处包括至少一个第二池化层处理器18。
在数据归一化中，第一预处理步骤可以包括针对音频信号as和压力信号ps。之后，梅尔缩放的谱图可以针对音频信号as来计算。在窗口大小为40毫秒并且重叠为20毫秒的情况下，音频谱图可以包括40个梅尔系数。显然，窗口大小、重叠和梅尔数量的其他组合也是可能的。
对于压力信号ps，最大值、最小值和平均值以及动态力矩和一阶导数的动态力矩可以被提取作为指标。还应当考虑其他指标或元特征，例如，峰度、偏度、分位数。
就音频信号而言，特征利用第二神经网络15，以音频时频表示的形式来从经预处理的音频信号pas中学习。这包括卷积处理器16和卷积批量归一化处理器17的组合。此处，卷积批量归一化处理器16指示快捷方式，其中进入卷积处理器15的相同预处理音频信号pas被用作卷积批量归一化处理器17的输入。这将改进第二人工网络15的收敛。第二池化层处理器18将第二神经网络15的输出成形为1d阵列。
经计算的压力特征和经训练的音频特征然后被级联并且被馈送到前馈神经网络13，随后是softmax处理器14，softmax处理器14最终传递分类概率。
图3示出了根据本发明的分类系统1的第三实施例的示意图，分类系统1用于对封闭结构的窗口或入口上的外部冲击进行分类。
根据一些实施例，音频信号特征处理器6在第二人工神经网络15的输出侧处包括至少一个第三整流线性单元处理器19。
根据一些实施例，音频信号特征处理器6在第二人工神经网络15的输出侧处包括至少一个第四卷积处理器20。
在图3中，卷积处理器16和卷积批量归一化处理器16的组合之后是第三整流线性单元处理器19和第四卷积处理器20。第二池化层处理器18将第二卷积处理器16的输出成形为1d阵列。
图4示出了根据本公开的分类系统1的第四实施例的示意图，分类系统1用于对封闭结构的窗口或入口上的外部冲击进行分类。
根据一些实施例，压力信号特征处理器6被配置用于执行第三机器学习算法，其中压力特征矢量pfv的至少第二部分被提供在第三机器学习算法的输出层处。
根据一些实施例，第三机器学习算法被实现为第三人工神经网络21。
根据一些实施例，第三人工神经网络21包括至少一个第三卷积处理器。
根据一些实施例，压力信号特征处理器7在第三人工神经网络21的输出侧处包括至少一个第三池化层处理器。
根据一些实施例，压力信号特征处理器7在第三人工神经网络21的输出侧处包括至少一个第四整流线性单元处理器。
根据一些实施例，压力信号特征处理器7在第三人工神经网络的输出侧处包括至少一个第五卷积处理器。
根据一些实施例，压力信号特征处理器7在第三人工神经网络的输出侧处包括至少一个第五卷积处理器。
根据一些实施例，第一人工神经网络13包括至少一个第一卷积处理器22。
根据一些实施例，第一人工神经网络13包括至少一个第一卷积批量归一化处理器23。
根据一些实施例，第一人工神经网络13包括至少一个第一整流线性单元处理器24。
根据一些实施例，分类处理器9包括被布置在第一人工神经网络13的输出侧处的至少一个第一池化层处理器25。
根据一些实施例，分类处理器9包括被布置在第一人工神经网络13的输出侧处的至少一个第二整流线性单元处理器26。
在图4中，压力信号ps被归一化来创建经预处理的压力信号pps。压力特征矢量pvf通过第三人工神经网络21，从经预处理的压力信号pps来学习。对于音频信号as，与先前实施例中相同的方法被实现。
音频信号特征处理器6和压力信号特征处理器7的输出被相加，然后馈送到第一神经网络13，第一神经网络13包括第二整流线性单元处理器26、第一卷积处理器22和第一卷积批量归一化处理器23。第一卷积处理器22和第一卷积批量归一化处理器23的输出的总和被输入到第二整流线性单元处理器26，随后是第一池化层处理器25和softmax处理器14，用于生成分类输出co。
图5示出了分类系统1的第五实施例的示意图，分类系统1用于对本公开的封闭结构的窗口或入口上的外部冲击进行分类。
根据一些实施例，压力信号预处理器5包括压力信号转换处理器27，压力信号转换处理器27被配置为提供经预处理的压力信号pps作为二维预处理压力信号时频图。
在图5中描绘了另一可能的实施例。压力信号ps和音频信号as被归一化并且谱图被计算。来自压力信号ps的谱图使用fft来计算，fft在已移位的窗口上被级联。在该实施例中，仅在特征组合处理器8之后，才在音频信号特征处理器6中不使用卷积批量归一化处理器。附加地，在第四卷积处理器20之后需要第二池化层处理器18，以能够将音频特征矢量afv和从压力信号特征处理器7所学习的压力特征矢量pfv组合。在将所学习的特征矢量afv和pfv组合之后，分类处理器9采用与图4相同的网络架构，以获得分类输出co。
图6示出了分类系统1的第六实施例的示意图，分类系统1用于对本公开的封闭结构的窗口或入口上的外部冲击进行分类。
根据一些实施例，特征组合处理器8被配置用于通过产生音频特征矢量afv和压力特征矢量pvf的加权级联、或加权总和、或加权元素乘法来产生音频特征和压力特征矢量apv，其中通过权重计算处理器28，音频特征矢量afv的权重afw和压力特征矢量pfv的权重pfw根据音频特征矢量afv和/或压力特征矢量pfv来确定。
根据一些实施例，特征组合处理器8被配置用于通过产生音频特征矢量afv和压力特征矢量pfv的加权级联、或加权总和、或加权元素乘法来产生音频特征和压力特征矢量apv，其中通过权重计算处理器28，音频特征矢量afw的权重afw和压力特征矢量pfv的权重pfw根据第一人工神经网络13的隐藏状态hs来确定。
根据一些实施例，特征组合处理器8被配置为在产生音频特征和压力特征矢量apv之前，将第一偏移矢量添加到音频特征矢量afv和/或将第二偏移矢量添加到压力特征矢量pfv，其中第一偏移矢量和/或第二偏移矢量根据音频特征矢量afv和/或压力特征矢量pfv来确定。
根据一些实施例，特征组合处理器8被配置为在产生音频特征和压力特征矢量apv之前，将第一偏移矢量添加到音频特征矢量afv和/或将第二偏移矢量添加到压力特征矢量pfv，其中第一偏移矢量和/或第二偏移矢量根据第一人工神经网络13的隐藏状态hs来确定。
如图6所示，权重和偏移可以通过标准的反向传播算法和被实现为多层感知器网络的梯度下降来学习，或者通过使用将特征(以及根据需要，以下分类网络的隐藏状态)作为输入的更复杂的注意力机制来学习。
就特征组合处理器8的权重(和偏移)而言，它们可以被直接学习，或者它们通过类似注意力机制来获得，在该机制中，我们首先计算得分ei，然后采用softmax进行归一化
[e1，...，e，n]＝tanh(v[fa(1)，...，fb(n)，h] b)(1)
at＝softmax(et)(2)
其中h是全局网络的隐藏状态(如果可用)，v和b是待学习的参数矩阵和向量，并且ai是与预处理特征相关联的最终权重。
备选地，可以将以下内容直接优化：
[a1，...，an]＝softmax(v[fo(1)，...，fb(n)，h] b)(3)
应注意，(1)和(2)中的单独网络及其超参数使用其相应的全局网络架构来联合训练，使得总体损失函数被最小化。
另外，应注意，等式(1)和(3)中的h是可选的，并且当先前的隐藏状态可用时，它将成为优化的一部分。例如，当递归神经网络被部署来代替卷积神经网络作为第一神经网络13时，就会发生这种情况。
图7示出了当玻璃窗口被打开时，随时间变化的典型压力信号ps和随时间变化的典型音频信号as。
图8示出了在玻璃窗口被关闭时，随时间变化的典型压力信号ps和随时间变化的典型音频信号as。
图9示出了当玻璃窗口被击中时，随时间变化的典型压力信号ps和随时间变化的典型音频信号as。
图10示出了当玻璃窗口破裂时，随时间变化的典型压力信号ps和随时间变化的典型音频信号as。
图11示出了当玻璃窗口被猛击时，随时间变化的典型压力信号ps和随时间变化的典型音频信号as。
图7至图11示出了在发生不同类型的事件时，在压力传感器和麦克风处测量的一些典型信号。可以看出，根据玻璃窗口是被打开、关闭、击中、猛击还是破裂，以下的信号具有非常独特的模式。另外，可以看出，音频信号as和压力信号ps在属性上有很大的不同，其中音频信号as针对被猛击、被击中和玻璃破裂具有非常特定的模式，并且压力信号ps在试图将打开/关闭事件分离时，具有更独特的行为。可以通过观察不同类别的频谱来进行类似的考虑。
图12示出了本文描述的卷积处理器16、20、21和22的可能实现方式。在本公开中解释的卷积处理器16、20、21和22中的每一个卷积处理器可以(按此顺序)包括以下子单元：包括八个二维核的第一卷积层29、第一批量归一化层30、第一整流线性层(relu)31、包括五个二维核的第二卷积层32、第二批量归一化层33、第二整流线性层34、包括三个二维核的第三卷积层35和第三批量归一化层36。
在表1中，逐项比较了单流方法和多流方法。可以看出，压力算法和音频算法的简单与组合已比每种算法本身提供了更好的性能。然而，除了通过跨不同流共享处理块来节省计算资源之外，本公开中描述的智能多流方法还提供了比使用多数规则更好的结果。如参考图4所描述的，使用分类系统的实施例已达到98％的精度。然而，本文所公开的其他实施例提供了类似的精度。
表1：概述算法比较
尽管已在装置的上下文中描述了一些方面，但是很显然，这些方面也表示对相应方法的描述，其中框或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的各方面也表示对相应装置的对应框或项或特征的描述。
以上描述的仅是示例性的，并且应当理解，本文描述的布置和细节的修改和变化对于本领域的其他技术人员将是显而易见的。因此，本发明的意图仅由所附权利要求的范围来限制，而不受通过以上描述和解释所呈现的具体细节的限制。
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
