一种极度条件下的视听联合人群计数方法与流程

技术特征：
1.一种极度条件下的视听联合人群计数方法，其特征在于，包括步骤：s100，提取视觉特征，在给定的rgb图像上提取得到所述视觉特征vfeat；s200，提取音频特性，在给定的原始音频信号进行采样，然后进行短时傅立叶变换（stft），以生成视频图，再应用mel滤波器提取音频特征；s300，融合视听特征，基于提取的所述音频特征和所述视觉特性两个特征方向参数γ和β以分别在乘法和加法方面对这种交叉模态产生建模，公式如下所示：，其中表示个特征融合块，定义了第个空洞卷积层，和分别是激活函数和逐元素相乘。2.根据权利要求1所述的极度条件下的视听联合人群计数方法，其特征在于，包括步骤：在融合视听特征，基于提取的所述音频特征和所述视觉特性两个特征方向参数γ和β以分别在乘法和加法方面对这种交叉模态产生建模时，还包括步骤：我们使用全连接层通过以下两个方程式来学习和：：在这两个方程中，表示平均池化，而。3.根据权利要求1所述的极度条件下的视听联合人群计数方法，其特征在于，还包括步骤：s400，给定真实人群密度图y∈r
w
×
h
和预测密度图选择l2范数作为损失函数，通过以下等式计算损失：4.根据权利要求1所述的极度条件下的视听联合人群计数方法，其特征在于，在提取音频特性时，还包括：给定原始音频信号，先对进行16khz的采样，后以hann窗口进行短时傅立叶变换，以生成98
×
257视频图。

技术总结
本发明公开了一种极度条件下的视听联合人群计数方法，包括步骤：S100，提取视觉特征，在给定的RGB图像上提取得到所述视觉特征vfeat；S200，提取音频特性，在给定的原始音频信号进行采样，然后进行短时傅立叶变换(STFT)，以生成视频图，再应用Mel滤波器提取音频特征α


技术研发人员：莫敏玲
受保护的技术使用者：广东蓝鲲海洋科技有限公司
技术研发日：2021.07.20
技术公布日：2021/11/4