一种基于流水线并行的长江江豚声学数据处理与分析调度方法及系统与流程
本发明涉及声学数据处理与生态监测,具体而言,涉及一种基于流水线并行的长江江豚声学数据处理与分析调度方法及系统。
背景技术:
1、长江江豚作为长江生态系统健康与否的重要指示物种,通过对长江江豚声信号进行长期监测和分析,可以获得其活动分布、行为状态及栖息地利用等信息,对科学支撑保护决策、优化栖息地保护管理及风险隐患排除具有重要意义。
2、随着长江江豚活跃范围逐渐扩大以及保护研究需求不断增加,通常需要在不同江段或者同一江段不同点位布设多台长江江豚声学监测设备,对目标水域进行长时间连续记录。由于采样率高、记录时间长、设备数量多,回收后的监测音频数据规模庞大,单台设备在一个监测周期内即可产生tb 级数据,多台设备同步回收后形成的数据量则进一步增加。为降低存储压力,上述监测设备通常采用压缩格式存储音频数据,因此在进行长江江豚声信号分析之前,需要先对压缩音频数据进行读取和解压缩处理。
3、现有技术中,针对鲸豚类动物声学监测的研究多集中于水下声学采集设备、声信号探测、声事件识别、脉冲信号筛选或监测结果展示等方面,能够在一定程度上实现鲸豚声信号的识别与分析。然而,在多台长江江豚声学监测设备长期连续采集并形成海量压缩音频数据后,仍然存在数据导入、解压缩、缓存调度和声信号分析处理之间衔接效率低的问题。尤其是在多个数据源同时回收、压缩文件数量多、单个文件持续时间长的情况下,传统串行读取、解压和分析方式容易造成 i/o 阻塞、计算资源利用率不足、解压结果等待分析或分析线程等待数据的问题,难以满足海量长江江豚声学数据快速处理和结果归档的需要。因此,如何提供一种面向多源长江江豚压缩声学数据的流水线并行处理与分析调度方案,以实现多源并行读取、并行解压缩、缓冲调度、分析程序接口化调用和结果关联归档,成为本领域技术人员亟需解决的技术问题。
技术实现思路
1、鉴于此,本发明提出了一种基于流水线并行的长江江豚声学数据处理与分析调度方法及系统,以解决上述现有技术存在的急迫问题。
2、为实现上述目标,本发明提出了一种基于流水线并行的长江江豚声学数据处理与分析调度方法,包括:
3、从长江江豚声学监测设备对应的存储介质中,通过若干个数据读取通道并行读取压缩音频数据;按照预设数据块大小或预设时间窗口对所述压缩音频数据进行分块处理,得到若干压缩数据片段,并为每一压缩数据片段生成片段元数据,所述片段元数据包括数据源标识、文件标识、块序号、起止时间、数据长度和采样参数;
4、通过若干个解压线程对不同的压缩数据片段进行并行解压,得到与所述压缩数据片段对应的原始长江江豚声信号数据块;
5、根据所述片段元数据中的块序号或起止时间,将所述原始长江江豚声信号数据块写入高速环形缓冲区的对应缓存单元,并通过循环写指针和循环读指针记录所述高速环形缓冲区的写入位置和读取位置;
6、针对写入所述高速环形缓冲区的原始长江江豚声信号数据块,生成任务描述信息并写入线程安全任务队列,所述任务描述信息至少包括缓冲区索引或偏移地址、数据长度、数据源标识、块序号、起止时间、采样参数和任务状态中的一种或若干种;
7、通过若干个分析线程从所述线程安全任务队列中获取任务描述信息,并根据所述任务描述信息从所述高速环形缓冲区读取对应的原始长江江豚声信号数据块,调用预设的声事件分析程序对所述原始长江江豚声信号数据块进行处理,生成长江江豚声信号数据分析结果;
8、其中,所述预设的声事件分析程序通过统一输入接口接收所述原始长江江豚声信号数据块及对应片段元数据,并通过统一输出接口返回结构化分析结果;
9、所述声信号数据分析结果至少包括声音事件类别、事件起止时间、数据源标识、声学特征参数、频谱图索引、声信号片段索引中的一种或若干种;
10、所述解压线程向高速环形缓冲区写入数据的过程,与所述分析线程从高速环形缓冲区读取并处理数据的过程在时间上重叠执行,并根据高速环形缓冲区的读写指针位置或缓存占用率调节解压线程的数据写入速率,以实现压缩音频数据解压处理与声信号分析处理之间的流水线并行。
11、可选地,得到长江江豚声信号数据分析结果之后还包括:
12、将所述长江江豚声信号数据分析结果存储到数据库中,并建立所述长江江豚声信号数据分析结果与对应的数据源标识、文件标识、起止时间、频谱图文件、长江江豚声信号片段及任务描述信息之间的关联索引。
13、可选地,所述根据高速环形缓冲区的读写指针位置或缓存占用率调节解压线程的数据写入速率包括:
14、根据所述高速环形缓冲区的总容量、单个原始长江江豚声信号数据块的数据长度、解压线程的平均写入速率、分析线程的平均读取处理速率以及线程调节响应时间,设置第一预设阈值和第二预设阈值;
15、当所述高速环形缓冲区的剩余空间低于第一预设阈值时,暂停或降低至少一个解压线程向高速环形缓冲区写入数据的速率;
16、当所述高速环形缓冲区的剩余空间高于第二预设阈值时,恢复或提高至少一个解压线程向高速环形缓冲区写入数据的速率;
17、其中,所述第一预设阈值小于所述第二预设阈值。
18、可选地,所述压缩音频数据为长江江豚声学监测设备采集监测声信号后形成的压缩格式音频数据,所述压缩音频数据从声学监测设备本地存储介质、移动存储介质、网络存储设备、分布式文件系统或对象存储系统中读取。
19、可选地,所述高速环形缓冲区包括若干个缓存单元,所述循环写指针用于指示待写入缓存单元,所述循环读指针用于指示待读取缓存单元或满足释放条件的缓存单元;每一缓存单元对应设置任务完成状态标识或引用计数,当所述缓存单元对应的任务完成状态标识表征分析线程尚未处理完成,或者所述引用计数不为零时,禁止覆盖所述缓存单元中的原始长江江豚声信号数据块。
20、可选地,所述任务队列为线程安全队列,用于存储任务描述信息,所述任务描述信息不直接复制原始长江江豚声信号数据块,而是记录所述原始长江江豚声信号数据块在高速环形缓冲区中的索引位置、数据长度、数据源标识、起止时间、块序号和任务状态中的一种或多种。
21、可选地,所述调用预设的声事件分析程序对所述原始长江江豚声信号数据块进行处理包括:
22、通过统一输入接口将所述原始长江江豚声信号数据块及其对应的片段元数据输入预设的声事件分析程序;
23、通过所述预设的声事件分析程序经统一输出接口输出长江江豚声信号数据分析结果;
24、所述长江江豚声信号数据分析结果包括声音事件类别、声学特征参数、事件起止时间、数据源标识、频谱图索引和声信号片段索引中的一种或若干种。
25、可选地,所述按照预设数据块大小或预设时间窗口对所述压缩音频数据进行分块处理包括:根据所述压缩音频数据的编码帧边界、时间戳信息或采样参数确定压缩数据片段的起止位置,使每一压缩数据片段进行独立解压;并在相邻压缩数据片段之间设置预设重叠时间,并在生成长江江豚声信号数据分析结果后,根据数据源标识、事件起止时间和块序号对重叠区域内的重复分析结果进行去重。
26、另一方面,本发明提供了一种基于流水线并行的长江江豚声学数据处理与分析调度系统,包括:数据获取模块、分块管理模块、并行解压模块、高速环形缓冲模块、任务队列模块、多线程分析模块和结果存储模块;
27、所述数据获取模块用于通过若干个数据读取通道从多个长江江豚声学数据源并行读取压缩音频数据;
28、所述分块管理模块用于按照预设数据块大小、预设时间窗口、编码帧边界、时间戳信息或采样参数对所述压缩音频数据进行分块处理,得到压缩数据片段,并生成与所述压缩数据片段对应的片段元数据;
29、所述并行解压模块用于通过若干个解压线程对不同压缩数据片段进行并行解压,得到原始长江江豚声信号数据块,并保持所述原始长江江豚声信号数据块与对应片段元数据之间的关联关系;
30、所述高速环形缓冲模块用于缓存所述原始长江江豚声信号数据块,并通过循环写指针、循环读指针、任务完成状态标识或引用计数管理缓存单元的写入、读取和释放;
31、所述任务队列模块用于针对写入所述高速环形缓冲模块的原始长江江豚声信号数据块生成任务描述信息,并将所述任务描述信息写入线程安全任务队列;
32、所述多线程分析模块用于通过若干个分析线程从所述线程安全任务队列中获取任务描述信息,根据所述任务描述信息从所述高速环形缓冲模块读取对应的原始长江江豚声信号数据块,并调用预设声事件分析程序生成长江江豚声信号数据分析结果;
33、所述结果存储模块用于存储所述长江江豚声信号数据分析结果,并建立所述长江江豚声信号数据分析结果与数据源标识、文件标识、起止时间、频谱图文件、声信号片段文件及任务描述信息之间的关联索引。
34、与现有技术相比,本发明的有益效果在于:
35、本发明通过多数据读取通道并行读取压缩音频数据,提高多源声学监测数据的导入效率;通过压缩数据片段的并行解压,缩短海量压缩音频数据的解压耗时;通过高速环形缓冲区、任务描述信息和线程安全任务队列,使解压处理阶段与声信号分析阶段能够在时间上重叠执行,减少阶段间等待;通过读写指针和缓存占用阈值对解压线程写入速率进行调节,降低缓冲区溢出和数据覆盖风险;通过将分析结果与数据源标识、时间信息、频谱图和声信号片段建立关联索引,提高后续查询、复核和监测数据管理效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com