一种行为监测方法、装置、电子设备及存储介质与流程

技术特征：
1.一种行为监测方法，其特征在于，所述方法包括：从第一音频中提取出至少一个第二音频；所述第一音频表征由至少两个监测对象发出的声音；所述至少一个第二音频中的每个第二音频对应表征所述至少两个监测对象中的一个监测对象发出的声音；将所述至少一个第二音频中的每个第二音频以及对应的第二视频输入第一设定模型，得到所述至少两个监测对象中每个监测对象对应的第一行为特征；将所述至少两个监测对象中每个监测对象对应的第一行为特征与第一设定行为特征进行匹配，得到第一行为监测结果；其中，所述第二视频表征拍摄有对应的监测对象的视频。2.根据权利要求1所述的行为监测方法，其特征在于，所述将所述至少两个监测对象中每个监测对象对应的第一行为特征与第一设定行为特征进行匹配，包括：在第一行为特征满足以下条件至少之一的情况下，确定第一行为特征与第一设定行为特征匹配：第一语谱图中存在幅值大于设定阈值的语音信号；其中，第一语谱图为第一行为特征对应的监测对象对应的第二音频的语谱图；基于第一行为特征对应的监测对象对应的第二视频，判断出对应的监测对象发生设定行为。3.根据权利要求1所述的行为监测方法，其特征在于，所述方法还包括：在所述第一行为监测结果表征存在监测对象对应的第一行为特征与所述第一设定行为特征匹配的情况下，将对应的第二音频以及对应的第二视频输入第二设定模型，得到对应的监测对象对应的第二行为特征；将得到的第二行为特征与第二设定行为特征进行匹配，得到关于对应的监测对象的第二行为监测结果；其中，所述第二设定行为特征表征对应的监测对象行为异常。4.根据权利要求3所述的行为监测方法，其特征在于，所述将得到的第二行为特征与第二设定行为特征进行匹配，包括：在得到的第二行为特征满足以下至少一个条件的情况下，确定第二行为特征与第二设定行为特征匹配：第二语谱图中幅值大于设定阈值的语音信号出现的时间间隔小于设定时间间隔；其中，第二语谱图为第二行为特征对应的监测对象对应的第二音频的语谱图；第二语谱图中幅值大于设定阈值的语音信号持续的时长大于设定时长。5.根据权利要求3所述的行为监测方法，其特征在于，所述方法还包括：在第二行为监测结果表征第二行为特征与所述第二设定行为特征匹配的情况下，基于第二行为特征对应的监测对象的第二音频的音频编码，确定所述第二行为特征对应的监测对象。6.根据权利要求1所述的行为监测方法，其特征在于，在从第一音频中提取出至少一个第二音频之后，所述方法还包括：基于第二音频的音频编码确定出所述第二音频对应的监测对象；获取所述监测对象对应的第二视频。
7.根据权利要求5或6所述的行为监测方法，其特征在于，在所述从第一音频中提取出至少一个第二音频之前，所述方法还包括：将每个监测对象发出的声音分别输入设定语音编码器，得到每个监测对象发出的声音的音频编码；存储所述每个监测对象与发出的声音的音频编码之间的对应关系。8.一种模型训练方法，其特征在于，用于训练权利要求1-7任一项所述的行为监测方法中的第一设定模型，所述方法包括：获取监测对象的音频样本和视频样本；所述音频样本表征所述监测对象发出的声音；所述视频样本表征与所述音频样本同时采集的拍摄有所述监测对象的视频；将所述音频样本对应的音频特征以及所述视频样本输入第一设定模型，得到第一输出结果；所述第一输出结果表征所述监测对象对应的第一行为特征；基于所述第一输出结果计算损失值，并基于所述损失值更新第一设定模型的权重参数；其中，所述音频样本对应的音频特征包括互相关系数矩阵特征，所述互相关系数矩阵特征表征所述音频样本对应的语谱图中相邻两帧之间的相关系数。9.根据权利要求8所述的模型训练方法，其特征在于，所述音频样本对应的音频特征还包括以下至少之一：所述音频样本对应的语谱图；所述音频样本对应的梅尔频率倒谱特征；所述音频样本对应的一阶差分特征；所述音频样本对应的二阶差分特征。10.一种行为监测装置，其特征在于，所述装置包括：提取单元，用于从第一音频中提取出至少一个第二音频；所述第一音频表征由至少两个监测对象发出的声音；所述至少一个第二音频中的每个第二音频对应表征所述至少两个监测对象中的一个监测对象发出的声音；输入单元，用于将所述至少一个第二音频中的每个第二音频以及对应的第二视频输入第一设定模型，得到所述至少两个监测对象中每个监测对象对应的第一行为特征；匹配单元，用于将所述至少两个监测对象中每个监测对象对应的第一行为特征与第一设定行为特征进行匹配，得到第一行为监测结果；其中，所述第二视频表征拍摄有对应的监测对象的视频。11.一种模型训练装置，其特征在于，所述装置包括：获取单元，用于获取监测对象的音频样本和视频样本；所述音频样本表征所述监测对象发出的声音；所述视频样本表征与所述音频样本同时采集的拍摄有所述监测对象的视频；输入单元，用于将所述音频样本对应的音频特征以及所述视频样本输入第一设定模型，得到第一输出结果；所述第一输出结果表征所述监测对象对应的第一行为特征；计算单元，用于基于所述第一输出结果计算损失值，并基于所述损失值更新第一设定模型的权重参数；其中，所述音频样本对应的音频特征包括互相关系数矩阵特征，所述互相关系数矩阵特征表
征所述音频样本对应的语谱图中相邻两帧之间的相关系数。12.一种电子设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行权利要求1-7或8-9任一项所述方法的步骤。13.一种存储介质，其上存有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7或8-9任一项所述方法的步骤。

技术总结
本申请公开了一种行为监测方法、装置、电子设备及存储介质。其中，方法包括：从第一音频中提取出至少一个第二音频；所述第一音频表征由至少两个监测对象发出的声音；所述至少一个第二音频中的每个第二音频对应表征所述至少两个监测对象中的一个监测对象发出的声音；将所述至少一个第二音频中的每个第二音频以及对应的第二视频输入第一设定模型，得到所述至少两个监测对象中每个监测对象对应的第一行为特征；将所述至少两个监测对象中每个监测对象对应的第一行为特征与第一设定行为特征进行匹配，得到第一行为监测结果；其中，所述第二视频表征拍摄有对应的监测对象的视频。上述方法可以精准快速地定位出存在异常行为的监测对象，提高了定位效率。提高了定位效率。提高了定位效率。


技术研发人员：夏艺菲 苗海委 陈建 周剑 李泽源
受保护的技术使用者：中国移动通信集团有限公司
技术研发日：2021.07.22
技术公布日：2023/2/6