一种面向光电检测系统的海量时序数据压缩方法及系统

摘要: 本发明涉及光电时序数据压缩领域,特别是一种面向光电检测系统的海量时序数据压缩方法及系统。背景技术:1、随着高速光电探测器、阵列式传感器及同步采集设备在光谱检测、...
一种面向光电检测系统的海量时序数据压缩方法及系统

本发明涉及光电时序数据压缩领域,特别是一种面向光电检测系统的海量时序数据压缩方法及系统。

背景技术:

1、随着高速光电探测器、阵列式传感器及同步采集设备在光谱检测、弱光测量和在线监测中的应用不断扩展,光电检测过程通常以较高采样频率连续记录多个检测通道的采样值、增益档位、积分时间及检测状态,由此形成规模庞大且具有明显时序相关性的多通道数据,现有压缩技术多采用按通道独立处理的预测编码、分段拟合、量化编码和零值游程编码,并依据预设误差限值调节量化间隔,以降低原始采样数据的存储容量和传输带宽需求。

2、然而,现有按通道独立压缩或采用固定通道相关模型的处理方式,通常直接在各检测通道内建立预测关系,未能随检测阶段变化同步处理通道间的时间偏移、增益差异及异常通道扰动,当同一光学事件在不同通道中表现为具有不同响应时延和幅值比例的相似波形时,共同性光学变化容易被重复计入各通道预测残差,异常通道还可能改变固定相关参数,使残差分布范围扩大、零值连续性降低并增加编码位宽,在保证片段重构偏差不越限的条件下,容易出现压缩码长增加且压缩结果随通道状态波动的问题。

技术实现思路

1、鉴于上述现有存在的问题,提出了本发明。

2、因此,本发明提供了一种面向光电检测系统的海量时序数据压缩方法解决多通道光电时序数据中共同响应重复编码且重构偏差难以受控的问题。

3、为解决上述技术问题,本发明提供如下技术方案:

4、第一方面,本发明提供了一种面向光电检测系统的海量时序数据压缩方法,其包括:采集光电采样值及采样属性,通过校正采样时刻,扣除暗电平并统一增益量级,生成光电校准序列;结合光电校准序列中的检测状态划分检测阶段,计算局部变化量和拟合偏差,标记越出噪声边界的位置,沿检测阶段边界和标记位置划分时序片段,生成光电片段序列;根据光电片段序列的通道一致性和时延关系建立动态通道图,剔除异常通道,按连接权重归并有效通道采样值,形成共同光学响应,确定响应时延和响应比例,对共同光学响应进行时序迁移和幅值调整,计算通道残差值,并按片段位置关联共同光学响应和通道残差值,生成通道关联序列;根据通道关联序列建立候选预测方式,逐一计算预测残差值,按残差编码特征确定各候选预测方式的预计码长,剔除重构偏差越限的候选预测方式,从剩余候选预测方式中选定预计码长最短的目标预测方式,对目标预测方式的预测残差值进行分级量化、零值归并和变位宽编码,生成候选压缩序列;对候选压缩序列进行时序重构并计算片段重构偏差,当片段重构偏差越限时缩小量化间隔,仍越界时增加采样锚点,按检测时序排列通过校验的候选压缩序列,生成光电压缩记录。

5、作为本发明所述面向光电检测系统的海量时序数据压缩方法的一种优选方案,其中,所述通过校正采样时刻,扣除暗电平并统一增益量级,生成光电校准序列,具体步骤如下:

6、根据光电采样值对应的采样时间戳、通道标识和同步触发标记计算各检测通道的时间偏移,修正采样时刻,并按修正后的采样时刻重新排列光电采样值,形成时刻校正序列;

7、从时刻校正序列的采样属性中提取通道标识、增益档位和积分时间,匹配对应暗电平与增益校准系数,扣除光电采样值中的暗电平,再换算至统一基准增益量级,生成光电校准序列。

8、作为本发明所述面向光电检测系统的海量时序数据压缩方法的一种优选方案,其中,所述生成光电片段序列,具体步骤如下:

9、沿校正采样时刻比较光电校准序列中的检测状态,在状态改变位置划定检测阶段边界,并归并同一检测状态下的光电校准值,生成检测阶段序列;

10、在各检测阶段内按通道排列光电校准值,以积分时间和基准采样间隔确定局部窗口半宽,分别计算窗口前后光电校准值中位数的绝对差值,并排除中心位置执行局部线性拟合,生成局部变化量序列和拟合偏差序列;

11、分别依据局部变化量和拟合偏差的中位数及中位绝对偏差建立初始噪声边界,剔除初始越界值后重新确定对应噪声边界,将越出任一噪声边界的位置登记为初始标记位置,并在连续越界范围内保留越界强度最大的位置,生成标记位置序列;

12、汇集检测阶段边界和标记位置,删除紧邻检测阶段边界的重复标记,以保留位置依次划分光电校准值,并按校正采样时刻排列各时序片段,生成光电片段序列。

13、作为本发明所述面向光电检测系统的海量时序数据压缩方法的一种优选方案,其中,所述形成共同光学响应,具体步骤如下:

14、按照片段位置提取同一时序片段内各通道的光电校准值,扣除片段中值后执行相对时移,以最大归一化互相关系数确定通道一致性和初始通道时延,并对相关峰进行抛物线插值,生成通道关系记录;

15、以通道标识建立图节点,对通道一致性达到一致性边界的通道建立连接边,删除时延闭合误差越限的连接边,并依据通道一致性和时延闭合误差配置连接权重,生成动态通道图;

16、汇总动态通道图中各图节点关联的连接权重,依据节点连接强度的中位数和中位绝对偏差确定连接强度下界,迭代删除低于连接强度下界的图节点,生成有效动态通道图;

17、选取有效动态通道图中节点连接强度最大的通道作为基准通道,沿最小代价路径确定其余有效通道的累加时延,将各有效通道采样值迁移至基准时间轴,并按节点连接强度对应的归并权重进行加权归并,生成共同光学响应。

18、作为本发明所述面向光电检测系统的海量时序数据压缩方法的一种优选方案,其中,所述确定响应时延和响应比例,对共同光学响应进行时序迁移和幅值调整,计算通道残差值,并按片段位置关联共同光学响应和通道残差值,生成通道关联序列,具体步骤如下:

19、以累加时延为搜索中心移动共同光学响应,通过最大归一化互相关位置确定各有效通道的响应时延,再对时序对齐后的共同光学响应执行无偏置最小二乘比例估计,生成通道响应参数记录;

20、依照响应时延迁移共同光学响应,对非整采样时刻执行线性插值并按照响应比例调整幅值,计算各有效通道相对于调整响应的通道残差值,再按片段位置关联共同光学响应、通道响应参数和通道残差值,生成通道关联序列。

21、作为本发明所述面向光电检测系统的海量时序数据压缩方法的一种优选方案,其中,所述根据通道关联序列建立候选预测方式,逐一计算预测残差值,具体步骤如下:

22、按照片段位置分别排列共同光学响应和各通道残差值,在片段边界及无效位置截断连续采样范围,并保留各连续采样范围的起始值作为预测锚点,生成预测对象序列;

23、沿预测对象序列的连续采样范围配置预测规则,对共同光学响应配置前值预测和变化外推预测,对通道残差值配置零值预测、前值预测和变化外推预测,登记各预测规则对应的预测锚点,并删除前序采样位置不足的变化外推预测,建立候选预测方式;

24、依据候选预测方式逐点确定当前预测值,计算当前实际值与当前预测值之间的差值以形成预测残差值,并以当前实际值更新对应预测方式的前序采样位置,继续确定后一采样位置的预测值。

25、作为本发明所述面向光电检测系统的海量时序数据压缩方法的一种优选方案,其中,所述按残差编码特征确定各候选预测方式的预计码长,剔除重构偏差越限的候选预测方式,从剩余候选预测方式中选定预计码长最短的目标预测方式,具体步骤如下:

26、沿预测残差值的采样顺序划分量化区段,从光电采样分辨率对应的量化间隔开始逐级放宽量化间隔,在理论量化偏差将越出允许重构偏差前停止放宽,并将预测残差值转换为带符号整数索引,生成试量化残差索引序列;

27、沿试量化残差索引序列识别连续零值范围,通过比较长度编码与逐项编码的占用码长确定零值归并位置,对其余带符号整数索引执行正负交错映射,并根据扩展当前数值块与新建数值块的编码开销确定数值块分界,再模拟写入对应编码块,确定各候选预测方式的预计码长;

28、依据试量化残差索引序列逐点形成当前重构值,并按照通道响应参数恢复试重构光电校准值,剔除重构偏差越出允许重构偏差的候选预测方式,在未保留候选预测方式时缩小量化间隔重新校验,再从保留的候选预测方式中选取预计码长最短的目标预测方式。

29、作为本发明所述面向光电检测系统的海量时序数据压缩方法的一种优选方案,其中,所述对目标预测方式的预测残差值进行分级量化、零值归并和变位宽编码,生成候选压缩序列,具体步骤为:依据目标预测方式重新计算预测残差值并执行分级量化,按照码长比较结果归并连续零值,再依据有效位宽变化对应的编码开销划分数值块并写入量化索引,按照片段位置排列编码结果,生成候选压缩序列。

30、作为本发明所述面向光电检测系统的海量时序数据压缩方法的一种优选方案,其中,所述生成光电压缩记录,具体步骤如下:

31、展开候选压缩序列并逐点恢复光电校准值,与原光电校准值比较后确定片段重构偏差,生成片段重构偏差记录;

32、当片段重构偏差越出允许重构偏差时,缩小最大偏差位置对应量化区段的量化间隔并重新编码校验;当量化间隔达到光电采样分辨率后仍越限时,在最大偏差位置写入原数值作为采样锚点,从采样锚点重新预测和编码,直至片段重构偏差通过校验,生成有效压缩序列;

33、按照片段起始校正采样时刻排列有效压缩序列,在各片段起始位置登记片段压缩长度,并依次拼接对应编码内容,生成光电压缩记录。

34、第二方面,本发明提供了一种面向光电检测系统的海量时序数据压缩系统,包括:光电校准模块,用于采集光电采样值及采样属性,通过校正采样时刻,扣除暗电平并统一增益量级,生成光电校准序列;

35、时序分片模块,用于结合光电校准序列中的检测状态划分检测阶段,计算局部变化量和拟合偏差,标记越出噪声边界的位置,沿检测阶段边界和标记位置划分时序片段,生成光电片段序列;

36、通道关联模块,用于根据光电片段序列的通道一致性和时延关系建立动态通道图,剔除异常通道,按连接权重归并有效通道采样值,形成共同光学响应,确定响应时延和响应比例,对共同光学响应进行时序迁移和幅值调整,计算通道残差值,并按片段位置关联共同光学响应和通道残差值,生成通道关联序列;

37、预测压缩模块,用于根据通道关联序列建立候选预测方式,逐一计算预测残差值,按残差编码特征确定各候选预测方式的预计码长,剔除重构偏差越限的候选预测方式,从剩余候选预测方式中选定预计码长最短的目标预测方式,对目标预测方式的预测残差值进行分级量化、零值归并和变位宽编码,生成候选压缩序列;

38、重构校验模块,用于对候选压缩序列进行时序重构并计算片段重构偏差,当片段重构偏差越限时缩小量化间隔,仍越界时增加采样锚点,按检测时序排列通过校验的候选压缩序列,生成光电压缩记录。

39、本发明有益效果为:通过依据时序片段内的通道一致性和时延关系建立动态通道图,迭代剔除异常通道,沿最小代价路径统一有效通道的时间轴,并按连接权重归并形成共同光学响应,再依据响应时延和响应比例分离共同光学响应与通道残差,使跨通道重复波形集中表达、局部差异转化为幅值较小且零值连续的残差,为后续预测量化和变位宽编码提供稳定对象,减少了重复编码、缩短压缩码长并保持重构精度。