一种车载会议记录的生成方法与流程

本技术涉及车辆，特别是涉及一种车载会议记录的生成方法。

背景技术：

1、随着智能网联汽车的发展，汽车座舱正在逐步成为除办公室和家里之外的第三生活空间，车载会议也逐步成为会议重要的形式。但是，现有车辆的车载会议提供简单的音频接入或视频显示功能，无法对会议内容进行有效的记录和整理，且参会者在驾驶或乘车过程中，不便进行手动记录。因此，亟需一种车载会议记录的生成方法。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种车载会议记录的生成方法。

2、第一方面，提供了一种车载会议记录的生成方法，所述方法包括：

3、接收用户下发的开始车内记录指令，获取车辆的当前运行参数和会议开始时间，并开启车辆的麦克风阵列和预先训练好的自然语言处理模型；

4、根据所述当前运行参数，确定所述车辆的当前车辆状态；

5、根据所述当前车辆状态，确定所述车辆的当前降噪模式；

6、通过所述麦克风阵列采集多路混合音频流，并按照所述当前降噪模式进行降噪；

7、基于自动语音识别技术将降噪后的所述多路混合音频流，实时转写为带时间戳的初始文本流，并将所述车辆的当前车辆状态记录到初始文本流；

8、将所述初始文本流输入所述自然语言处理模型中，输出切分后的多个文本段落和会议内容概要；

9、接收结束车内记录指令，关闭所述麦克风阵列和所述自然语言处理模型，并获取会议结束时间；

10、按照预设会议格式，将所述会议内容概要、所述会议开始时间、所述会议结束时间和切分后的文本段落，生成车载会议记录。

11、作为一种可选的实施方式，所述当前运行参数包括当前档位和当前车速，所述根据所述当前运行参数，确定所述车辆的当前车辆状态，包括：

12、当所述当前档位为停车档位，或所述当前车速等于预设车速阈值时，确定所述车辆的当前车辆状态为驻车状态；

13、当所述当前档位不为停车档位，且所述当前车速大于所述预设车速阈值时，确定所述车辆的当前车辆状态为行车状态。

14、作为一种可选的实施方式，所述根据所述当前车辆状态，确定所述车辆的当前降噪模式，包括：

15、若所述当前车辆状态为驻车状态，则确定所述车辆的当前降噪模式为标准降噪模式；

16、若所述当前车辆状态为行车状态，则确定所述车辆的当前降噪模式为强降噪和风噪抑制模式。

17、作为一种可选的实施方式，所述麦克风阵列包括多个麦克风，所述按照所述当前降噪模式进行降噪，包括：

18、若所述当前降噪模式为标准降噪模式，则获取所述车辆的发动机的转速信息，根据所述转速信息，确定第一噪声声波，并通过所述车辆的扬声器播放与所述第一噪声声波的幅值相同、相位相反的反向声波；

19、若所述当前降噪模式为强降噪和风噪抑制模式，则通过设置于车辆上的振动传感器获取路噪的振动信号，将所述振动信号进行傅里叶变换，得到第二噪声声波，通过麦克风采集风噪的第三噪声声波，以及降噪处理后反馈的第一残留噪声的第四噪声声波，通过所述车辆的音响系统播放与第二噪声声波、第三噪声声波和第四噪声声波形成的综合噪声声波的幅值相同、相位相反的反向声波，并通过变分模态分解和希尔伯特黄变换将降噪后的多路混合音频流分解成多个音频模块，采用深度学习网络识别各音频模块人声声波，并保留，以及采用自适应混馈主动降噪识别各音频模块中第二残留噪音，并产生反向声波。

20、作为一种可选的实施方式，所述基于自动语音识别技术将降噪后的所述多路混合音频流，实时转写为带时间戳的初始文本流，包括：

21、消除降噪后的所述多路混合音频流的回声干扰；

22、采用语音活动检测技术，识别多路混合音频流中当前发言人，并获取所述多路混合音频流中当前发言人位置、当前发言音频的信号功率和噪声功率，以及根据所述信号功率和噪声功率，确定所述当前发言音频的当前信噪比；

23、根据所述当前信噪比，采用最小均方算法，调整各麦克风的麦克风权重；

24、针对任一当前发言音频，将各麦克风采集到的降噪后的当前发言音频，按照麦克风权重进行加权融合，输出按照时间顺序的单路混合音频流；

25、采样自动语音识别技术，将所述单路混合音频流实时转写为带时间戳的初始文本流。

26、作为一种可选的实施方式，所述根据所述当前信噪比，采用最小均方算法，调整各麦克风的麦克风权重，包括：

27、若所述当前信噪比小于预设信噪比阈值，则采用最小均方算法，确定所述当前发言音频与预设理想音频的差距，并基于所述差距，调整各麦克风的麦克风权重。

28、作为一种可选的实施方式，所述将所述初始文本流输入所述自然语言处理模型中，输出切分后的多个文本段落和会议内容概要，包括：

29、将所述初始文本流输入所述自然语言处理模型中，所述自然语言处理模型将重复次数超过重复次数阈值的语气词和重复词进行过滤，得到过滤后的第一文本流；

30、所述自然语言处理模型识别所述第一文本流的文本语义，采用语音静默检测技术，将所述第一文本流切分为多个文本段落；

31、采用抽取式摘要算法，从所述多个文本段落中选取多句文本，生成会议内容概要。

32、作为一种可选的实施方式，所述车辆连接云端，所述方法还包括：

33、将所述车载会议记录保存，并上传至云端保存，以及进行语音播报通知，用于提示用户会议记录已保存。

34、第二方面，提供了一种车载会议记录的生成装置，所述装置包括：

35、开始模块，用于接收用户下发的开始车内记录指令，获取车辆的当前运行参数和会议开始时间，并开启车辆的麦克风阵列和预先训练好的自然语言处理模型；

36、第一确定模块，用于根据所述当前运行参数，确定所述车辆的当前车辆状态；

37、第二确定模块，用于根据所述当前车辆状态，确定所述车辆的当前降噪模式；

38、降噪模块，用于通过所述麦克风阵列采集多路混合音频流，并按照所述当前降噪模式进行降噪；

39、转写模块，用于基于自动语音识别技术将降噪后的所述多路混合音频流，实时转写为带时间戳的初始文本流，并将所述车辆的当前车辆状态记录到初始文本流；

40、输出模块，用于将所述初始文本流输入所述自然语言处理模型中，输出切分后的多个文本段落和会议内容概要；

41、结束模块，用于接收结束车内记录指令，关闭所述麦克风阵列和所述自然语言处理模型，并获取会议结束时间；

42、生成模块，用于按照预设会议格式，将所述会议内容概要、所述会议开始时间、所述会议结束时间和切分后的文本段落，生成车载会议记录。

43、作为一种可选的实施方式，所述当前运行参数包括当前档位和当前车速，所述第一确定模块，具体用于：

44、当所述当前档位为停车档位，或所述当前车速等于预设车速阈值时，确定所述车辆的当前运行模式为驻车状态；

45、当所述当前档位不为停车档位，且所述当前车速大于所述预设车速阈值时，确定所述车辆的当前运行模式为行车状态。

46、作为一种可选的实施方式，所述第二确定模块，具体用于：

47、若所述当前车辆状态为驻车状态，则确定所述车辆的当前降噪模式为标准降噪模式；

48、若所述当前车辆状态为行车状态，则确定所述车辆的当前降噪模式为强降噪和风噪抑制模式。

49、作为一种可选的实施方式，所述麦克风阵列包括多个麦克风，所述降噪模块，具体用于：

50、若所述当前降噪模式为标准降噪模式，则获取所述车辆的发动机的转速信息，根据所述转速信息，确定第一噪声声波，并通过所述车辆的扬声器播放与所述第一噪声声波的幅值相同、相位相反的反向声波；

51、若所述当前降噪模式为强降噪和风噪抑制模式，则通过设置于车辆上的振动传感器获取路噪的振动信号，将所述振动信号进行傅里叶变换，得到第二噪声声波，通过麦克风采集风噪的第三噪声声波，以及降噪处理后反馈的第一残留噪声的第四噪声声波，通过所述车辆的音响系统播放与第二噪声声波、第三噪声声波和第四噪声声波形成的综合噪声声波的幅值相同、相位相反的反向声波，并通过变分模态分解和希尔伯特黄变换将降噪后的多路混合音频流分解成多个音频模块，采用深度学习网络识别各音频模块人声声波，并保留，以及采用自适应混馈主动降噪识别各音频模块中第二残留噪音，并产生反向声波。

52、作为一种可选的实施方式，所述转写模块，具体用于：

53、消除降噪后的所述多路混合音频流的回声干扰；

54、采用语音活动检测技术，识别多路混合音频流中当前发言人，并获取所述多路混合音频流中当前发言人位置、当前发言音频的信号功率和噪声功率，以及根据所述信号功率和噪声功率，确定所述当前发言音频的当前信噪比；

55、根据所述当前信噪比，采用最小均方算法，调整各麦克风的麦克风权重；

56、针对任一当前发言音频，将各麦克风采集到的降噪后的当前发言音频，按照麦克风权重进行加权融合，输出按照时间顺序的单路混合音频流；

57、采样自动语音识别技术，将所述单路混合音频流实时转写为带时间戳的初始文本流。

58、作为一种可选的实施方式，所述转写模块，具体用于：

59、若所述当前信噪比小于预设信噪比阈值，则采用最小均方算法，确定所述当前发言音频与预设理想音频的差距，并基于所述差距，调整各麦克风的麦克风权重。

60、作为一种可选的实施方式，所述输出模块，具体用于：

61、将所述初始文本流输入所述自然语言处理模型中，所述自然语言处理模型将重复次数超过重复次数阈值的语气词和重复词进行过滤，得到过滤后的第一文本流；

62、所述自然语言处理模型识别所述第一文本流的文本语义，采用语音静默检测技术，将所述第一文本流切分为多个文本段落；

63、采用抽取式摘要算法，从所述多个文本段落中选取多句文本，生成会议内容概要。

64、作为一种可选的实施方式，所述车辆连接云端，所述装置还包括：

65、将所述车载会议记录保存，并上传至云端保存，以及进行语音播报通知，用于提示用户会议记录已保存。

66、本技术提供了车载会议记录的生成方法，本技术的实施例提供的技术方案至少带来以下有益效果：在接收到用户下发的开始车内记录指令后，获取车辆的当前运行参数，根据当前运行参数，可以得到车辆的运行状态。由于车辆运行状态不同，产生的噪音不同，那么对应的降噪方法也不同。所以根据当前车辆状态，可以确定在进行车载会议时，需要进行降噪的方法，从而可以保证车载会议无论在车辆处于何种状态下，都可以完美进行降噪处理，从而避免降噪能力不足的现象。同理，将车辆状态深度融入处理流程，实现了安全与功能的智能平衡。采用车辆的麦克风阵列实时采集车载会议的音频，不依赖复杂的说话人分离和关键信息抽取，保证全车高保真录音，高精度全车收音，发言不会被缺失和遗漏。通过自动语音识别技术实时转写文本，避免文本语义理解缺失和上下文信息利用不足的问题。最后通过自然语言处理模型对文本进行实时处理，最终生成以时间轴和发言内容为核心的、简洁的车载会议记录。整个过程中的实时性、可靠性与计算效率，更适合车载嵌入式环境，并且技术方案形成了完整的技术闭环，兼具工程可行性与商业应用前景。在保障驾驶安全的前提下，以最低的计算复杂度和用户交互成本，实现会议内容的自动化存档。大幅降低了用户使用门槛和交互负担，实现了无感记录与灵活归档。

67、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。