一种基于隐式神经表达的神经信号压缩方法及系统与流程
本发明涉及神经信号处理和数据压缩,更具体的说是涉及一种基于隐式神经表达的神经信号压缩方法及系统。
背景技术:
1、钙成像(calcium imaging)和电压成像(voltage imaging)技术的发展使得神经科学家能够同时监测数百甚至数千个神经元的活动。这些成像技术产生的数据量极其庞大,一个典型的钙成像实验可能包含1000×1000像素的图像,采样频率为30hz,持续时间为1小时,可产生约90gb的数据。如此庞大的数据对存储、传输和处理都构成了巨大的压力。
2、与自然图像相比,神经成像数据具有以下特殊性质:(1)空间结构高度稀疏,只有少数像素对应神经元,大部分背景是不活跃的;(2)神经元信号具有特定的时间动态模式,例如钙浓度的缓慢上升和快速下降;(3)相邻帧之间的差异较小,具有强的时间相关性。但现有压缩方法未能充分利用这些特性。
3、传统的图像视频压缩方法主要针对自然图像或常规视频设计,采用固定的变换基和量化策略,这种方法对于稀疏的、动态变化相对缓慢、包含清晰的神经元结构的神经成像数据特点的适应性不足。标准压缩方法通常使用50-100:1的压缩比,但即使这样的压缩仍然会导致细节信息的丢失,影响后续分析。
4、因此,如何实现超高压缩比的同时,保留关键的信息特征是本领域技术人员亟需解决的技术问题。
技术实现思路
1、鉴于上述问题,本发明提出了一种基于隐式神经表达的神经信号压缩方法及系统,以便克服上述问题或者至少部分地解决上述问题。
2、为了实现上述目的,本发明采用如下技术方案:
3、第一方面,本发明提供一种基于隐式神经表达的神经信号压缩方法,包括以下步骤:
4、获取钙成像或电压成像的时空序列数据并进行预处理,所述时空序列数据的维度表示为(x, y, t),其中,x和y表示每个图像帧的分辨率,t表示总采样时长下的图像帧总数;
5、从预处理后的所述时空序列数据中随机选取若干图像帧,并从每个图像帧中随机采样若干像素点,构建训练样本集,每个训练样本以四元组形式表示为(x,y,t,i(x,y,t)),其中,(x,y,t)表示第t个图像帧的像素点坐标,i(x,y,t)表示对应像素点坐标(x,y,t)的真实信号强度;
6、利用所述训练样本集对预先构建的神经网络模型进行训练;
7、解压时,将任意像素点坐标(x,y,t’)输入至训练好的所述神经网络模型,得到对应位置的信号强度。
8、进一步的,对所述时空序列数据进行预处理的方式为:对每个像素点的数值进行归一化处理和滤波处理。
9、进一步的,所述神经网络模型为多层感知机,包括坐标编码层、多个隐藏层和输出层;其中,所述坐标编码层采用位置编码方式将像素点的原始坐标映射到高维空间;各个所述隐藏层均使用relu激活函数,所述输出层输出为[0,1]范围的信号值。
10、进一步的,所述坐标编码层对任一像素点坐标值u∈{x,y,t}进行编码计算的表达式为:
11、enc(u) = [sin(20πu), cos(20πu), sin(21πu), cos(21πu), ..., sin(2lπu),cos(2lπu)]
12、其中,l表示编码频率级数,u为像素点坐标(x,y,t)中的任一数值,enc(u)表示x、y或t的编码向量。
13、进一步的,采用随机采样策略对所述神经网络模型进行训练,所述随机采样策略为:每对所述神经网络模型进行一轮训练之后,从所述时空序列数据中随机选取若干图像帧,并从每个图像帧中随机选取若干像素点,作为新一轮的训练样本。
14、进一步的,采用分阶段训练方法对所述神经网络模型进行训练,将所述时空序列数据分为1/4分辨率数据、1/2分辨率数据和全分辨率数据,在训练初期,从1/4分辨率数据中随机采样训练样本对所述神经网络模型进行m1轮训练,在训练中期,从1/2分辨率数据中随机采样训练样本对所述神经网络模型进行m2轮训练,在训练后期,从全分辨率数据中随机采样训练样本对所述神经网络模型进行m3轮训练。
15、进一步的,对所述神经网络模型进行训练时,采用的损失函数包括均方误差项和l2正则项,其表达式为:
16、
17、其中,表示训练阶段的采样点集合,表示采样点集合中的样本数量,表示位置相关的加权系数,表示神经网络模型预测的信号强度,表示真实信号强度,表示参数正则化系数,表示神经网络模型的训练参数。
18、进一步的,对所述神经网络模型进行训练时,采用的损失函数还包括时间梯度约束项,损失函数的表达式为:
19、
20、其中,表示时间梯度约束项的权重系数,表示用于计算时间梯度约束的采样点集合,与相同或不同,表示采样点集合中的样本数量,表示神经网络模型预测的信号强度在时间内的变化量,表示真实信号在时间内的变化量。
21、进一步的,解压时,采用的新采样网格采样像素点坐标(x,y,t’),新采样网格与训练阶段时空序列数据的原始采样网格相同,即采样点间隔与原始采样点间隔相同;或在原始采样网格的基础上加密采样点,即在原始两个时间点之间插入新的时间点t’,使新的采样点间隔变为原始采样点间隔的1/2。
22、第二方面,本发明提供一种基于隐式神经表达的神经信号压缩系统,包括:
23、像素点采样模块,用于采样任意像素点坐标;
24、解压模块,用于采用如上所述的神经网络模型接收采样的像素点坐标,并输出对应位置的信号强度。
25、经由上述的技术方案可知,与现有技术相比,本发明具有以下有益效果:
26、(1)本发明通过将原始时空神经成像数据表示为隐式神经网络参数,可有效降低数据的存储量和传输开销,实现高压缩比。
27、(2)相对于传统视频压缩必须解压整个视频才能获取特定帧,本方法可以按需解压缩任意坐标和时间点的数据,支持超分辨率和时间插值,解压过程更为灵活。
28、(3)本发明采用加权损失函数,可以优先保留神经元活动相关的高频信息,确保后续的神经科学分析不受影响。
29、(4)本发明对任意像素点的推理速度很快,推理时间<1ms,即使需要恢复整个数据集,其速度也远快于传统视频解码,计算效率得到很大提升。
30、(5)本发明神经网络模型参数可以存储为标准的深度学习格式,在各种平台和软件中都能读取和使用,具备良好的跨平台兼容性能。
1.一种基于隐式神经表达的神经信号压缩方法,其特征在于,包括以下步骤:
2.如权利要求1所述的基于隐式神经表达的神经信号压缩方法,其特征在于,对所述时空序列数据进行预处理的方式为:对每个像素点的数值进行归一化处理和滤波处理。
3.如权利要求1所述的基于隐式神经表达的神经信号压缩方法,其特征在于,所述神经网络模型为多层感知机,包括坐标编码层、多个隐藏层和输出层;其中,所述坐标编码层采用位置编码方式将像素点的原始坐标映射到高维空间;各个所述隐藏层均使用relu激活函数,所述输出层输出为[0,1]范围的信号值。
4.如权利要求3所述的基于隐式神经表达的神经信号压缩方法,其特征在于,所述坐标编码层对任一像素点坐标值u∈{x,y,t}进行编码计算的表达式为:
5.如权利要求1所述的基于隐式神经表达的神经信号压缩方法,其特征在于,采用随机采样策略对所述神经网络模型进行训练,所述随机采样策略为:每对所述神经网络模型进行一轮训练之后,从所述时空序列数据中随机选取若干图像帧,并从每个图像帧中随机选取若干像素点,作为新一轮的训练样本。
6.如权利要求1所述的基于隐式神经表达的神经信号压缩方法,其特征在于,采用分阶段训练方法对所述神经网络模型进行训练,将所述时空序列数据分为1/4分辨率数据、1/2分辨率数据和全分辨率数据,在训练初期,从1/4分辨率数据中随机采样训练样本对所述神经网络模型进行m1轮训练,在训练中期,从1/2分辨率数据中随机采样训练样本对所述神经网络模型进行m2轮训练,在训练后期,从全分辨率数据中随机采样训练样本对所述神经网络模型进行m3轮训练。
7.如权利要求1所述的基于隐式神经表达的神经信号压缩方法,其特征在于,对所述神经网络模型进行训练时,采用的损失函数包括均方误差项和l2正则项,其表达式为:
8.如权利要求1所述的基于隐式神经表达的神经信号压缩方法,其特征在于,对所述神经网络模型进行训练时,采用的损失函数还包括时间梯度约束项,损失函数的表达式为:
9.如权利要求1所述的基于隐式神经表达的神经信号压缩方法,其特征在于,解压时,采用的新采样网格采样像素点坐标(x,y,t’),新采样网格与训练阶段时空序列数据的原始采样网格相同,即采样点间隔与原始采样点间隔相同;或在原始采样网格的基础上加密采样点,即在原始两个时间点之间插入新的时间点t’,使新的采样点间隔变为原始采样点间隔的1/2。
10.一种基于隐式神经表达的神经信号压缩系统,其特征在于,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com