会议记录的生成方法、装置、设备、存储介质及程序产品与流程

本公开涉及会议记录，尤其涉及一种会议记录的生成方法、装置、设备、存储介质及程序产品。

背景技术：

1、本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

2、会议记录的自动化生成是指在会议过程中，通过语音识别、自然语言处理等技术，将会议中的语音内容自动转换为文字，并进一步对文字内容进行分析、总结和整理，最终生成一份结构化的会议记录的过程。

3、然而，相关技术提供的会议记录的生成方案中，在生成会议记录之前，需要预先构建参会人员的特征库，在这种方案中，当有新的人员参会时，需要重新构建特征库。

技术实现思路

1、有鉴于此，本公开的目的在于提出一种会议记录的生成方法、装置、设备、存储介质及程序产品，至少在一定程度上解决相关技术中的技术问题之一。

2、基于上述目的，本公开示例性实施例第一方面提供了一种会议记录的生成方法，包括：

3、获取会议的音视频，其中，所述音视频中包括音频和视频；

4、提取当前时刻音视频的声纹特征和人脸特征，融合所述声纹特征和所述人脸特征，得到当前时刻发言人融合特征；

5、判断基于所述会议实时构建的人脸声纹融合特征库中是否存在与所述当前时刻发言人融合特征匹配的样本发言人融合特征；

6、响应于确定所述人脸声纹融合特征库中不存在与所述当前时刻发言人融合特征匹配的样本发言人融合特征，确定所述发言人融合特征对应的当前时刻发言人和人脸图像，将所述发言人融合特征、所述当前时刻发言人和所述人脸图像对应存入所述人脸声纹融合特征库；

7、响应于确定所述人脸声纹融合特征库中存在与所述当前时刻发言人融合特征匹配的样本发言人融合特征，基于所述样本发言人融合特征确定所述当前时刻音视频对应的所述当前时刻发言人和所述人脸图像；

8、将所述当前时刻音视频中的音频转为文本，基于所述文本、所述当前时刻发言人和所述人脸图像，生成所述当前时刻发言人的会议记录。

9、在一些示例性实施例中，所述提取当前时刻音视频的声纹特征和人脸特征，包括：

10、将所述音视频分段，得到至少两段音视频段；

11、对于每段所述音视频段，作为所述当前时刻音视频进行处理；

12、则，所述将所述当前时刻音视频中的音频转为文本，基于所述文本、所述当前时刻发言人和所述人脸图像，生成所述当前时刻发言人的会议记录，包括：

13、判断所述当前时刻音视频是否是所述至少两段音视频段中的第一段音视频段；

14、响应于确定所述当前时刻音视频不是所述至少两段音视频段中的第一段音视频段，判断所述当前时刻发言人融合特征与上一段音视频段的发言人融合特征是否匹配；

15、响应于确定所述当前时刻发言人融合特征与上一段音视频段的发言人融合特征匹配，将所述当前时刻音视频与所述上一段音视频段聚合，得到聚合音视频段；

16、将所述聚合音视频段中的音频转为文本，基于所述文本、所述当前时刻发言人和所述人脸图像，生成所述当前时刻发言人的会议记录。

17、在一些示例性实施例中，所述提取所述当前时刻音视频的声纹特征，包括：

18、对所述当前时刻音视频中的音频进行预处理，得到预处理后音频；

19、确定所述预处理后音频的频谱参数；

20、对所述频谱参数进行滤波，得到输出；

21、对所述输出进行对数变换，得到对数能量；

22、对所述对数能量进行离散余弦变换，得到倒谱系数和所述倒谱系数的一阶差分系数，将所述倒谱系数和所述一阶差分系数作为所述声纹特征。

23、在一些示例性实施例中，所述对所述当前时刻音视频中的音频进行预处理，得到预处理后音频，包括：

24、对所述音频进行预加重，提升所述音频中高频部分的信噪比；

25、对所述音频进行分帧加窗，将所述音频分成多段音频帧；

26、对所述音频进行端点检测，剔除所述音频中的非语音信号。

27、在一些示例性实施例中，所述人脸图像的确定方式，包括：

28、从所述当前时刻音视频中的视频中获取人脸图像序列；

29、从所述人脸图像序列中选取人脸尺寸大于预设尺寸的备选人脸图像；

30、基于预设规则，从所述备选人脸图像中确定所述人脸图像。

31、在一些示例性实施例中，所述基于预设规则，从所述备选人脸图像中确定所述人脸图像，包括：

32、基于人脸模糊度评优规则、人脸姿态评优规则、人脸图像质量评价模型及微笑表情匹配度，从所述备选人脸图像中确定所述人脸图像。

33、基于同一发明构思，本公开示例性实施例第二方面提供了一种会议记录的生成装置，包括：

34、音视频采集模块，被配置为获取会议的音视频，其中，所述音视频中包括音频和视频；

35、发言人融合特征提取模块，被配置为提取当前时刻音视频的声纹特征和人脸特征，融合所述声纹特征和所述人脸特征，得到当前时刻发言人融合特征；

36、发言人融合特征匹配模块，被配置为判断基于所述会议实时构建的人脸声纹融合特征库中是否存在与所述当前时刻发言人融合特征匹配的样本发言人融合特征；

37、发言人和人脸图像确定模块，被配置为响应于确定所述人脸声纹融合特征库中不存在与所述当前时刻发言人融合特征匹配的样本发言人融合特征，确定所述发言人融合特征对应的当前时刻发言人和人脸图像，将所述发言人融合特征、所述当前时刻发言人和所述人脸图像对应存入所述人脸声纹融合特征库；响应于确定所述人脸声纹融合特征库中存在与所述当前时刻发言人融合特征匹配的样本发言人融合特征，基于所述样本发言人融合特征确定所述当前时刻音视频对应的所述当前时刻发言人和所述人脸图像；

38、会议记录生成模块，被配置为将所述当前时刻音视频中的音频转为文本，基于所述文本、所述当前时刻发言人和所述人脸图像，生成所述当前时刻发言人的会议记录。

39、基于同一发明构思，本公开示例性实施例第三方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的方法。

40、基于同一发明构思，本公开示例性实施例第四方面提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如第一方面所述的方法。

41、基于同一发明构思，本公开示例性实施例第五方面提供了一种计算机程序产品，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行如第一方面所述的方法。

42、从上面所述可以看出，本公开实施例提供的会议记录的生成方法、装置、设备、存储介质及程序产品，该方法包括：获取会议的音视频，其中，所述音视频中包括音频和视频；提取当前时刻音视频的声纹特征和人脸特征，融合所述声纹特征和所述人脸特征，得到当前时刻发言人融合特征；判断基于所述会议实时构建的人脸声纹融合特征库中是否存在与所述当前时刻发言人融合特征匹配的样本发言人融合特征；响应于确定所述人脸声纹融合特征库中不存在与所述当前时刻发言人融合特征匹配的样本发言人融合特征，确定所述发言人融合特征对应的当前时刻发言人和人脸图像，将所述发言人融合特征、所述当前时刻发言人和所述人脸图像对应存入所述人脸声纹融合特征库；响应于确定所述人脸声纹融合特征库中存在与所述当前时刻发言人融合特征匹配的样本发言人融合特征，基于所述样本发言人融合特征确定所述当前时刻音视频对应的所述当前时刻发言人和所述人脸图像；将所述当前时刻音视频中的音频转为文本，基于所述文本、所述当前时刻发言人和所述人脸图像，生成所述当前时刻发言人的会议记录。本公开实时构建人脸声纹融合特征库，无需预先构建参会人员的特征库，当有新的人员参会时，无需重新构建特征库，提高了会议记录的生成效率。