一种生物神经信号的视觉解码方法、装置、存储介质及终端

1.本发明涉及机器视觉技术领域，特别涉及一种生物神经信号的视觉解码方法、装置、存储介质及终端。


背景技术：

2.在日常生活中，大量的感知信息被传递到大脑，然后由神经元处理，产生一系列的应对行为。在这些不同类型外界信息的感知源中，视觉可以说是外部环境与大脑之间相互作用的主要贡献者。了解大脑如何检测、解释和响应代表外部环境的视觉信息是神经科学的一个主要问题。
3.从猴大脑或者人脑大脑的视觉系统神经元响应中，解码出具体视觉特征，比如人脸等，在近些年已经成为了类脑视觉和计算神经科学领域相关研究者的研究热点。但是，现有技术无法解析出更加广泛的视觉特征，因此，如何获得高的线性度和精度，是一个亟需解决的问题。


技术实现要素：

4.本技术实施例提供了一种生物神经信号的视觉解码方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
5.第一方面，本技术实施例提供了一种生物神经信号的视觉解码方法，方法包括：
6.获取双光子钙成像信号的数据阵列；
7.将双光子钙成像信号的数据阵列输入预先训练的v1视觉皮层视觉信息神经解码模型中；其中，v1视觉皮层视觉信息神经解码模型是由神经信号转换模块和自动编码模块构成的；自动编码模块包含跳层结构，跳层结构用于在不同深度的神经网络层之间，融合整个神经网络在不同层上提取出来的特征；
8.输出双光子钙成像信号对应的重构图像。
9.可选的，将双光子钙成像信号输入预先训练的v1视觉皮层视觉信息神经解码模型中，包括：
10.神经信号转换模块将输入的双光子钙成像信号的数据阵列，转换成与重构目标图像相同大小的中间计算量；
11.将中间计算量输入自动编码模块，生成视觉刺激重构图像。
12.可选的，自动编码模块包括第一网络、跳层结构以及第二网络；
13.将中间计算量输入自动编码模块，生成视觉刺激重构图像，包括：
14.第一网络将中间计算量的向量进行卷积操作，并通过下采样从卷积的结果中提取特征；
15.跳层结构将提取的特征进行特征融合，得到融合后的特征；
16.第二网络将融合后的特征进行上采样和卷积，恢复出和视觉刺激尺寸相同的重构图像。
17.可选的，按照以下步骤生成预先训练的v1视觉皮层视觉信息神经解码模型，包括：
18.创建v1视觉皮层视觉信息神经解码模型；
19.构建模型样本，并将模型样本按照预设比例进行划分，得到训练集和测试集；
20.将训练集输入v1视觉皮层视觉信息神经解码模型中，并采用误差反向传播算法进行端到端的训练后输出损失值；
21.根据损失值生成预先训练的v1视觉皮层视觉信息神经解码模型。
22.可选的，构建模型样本，包括：
23.获取多张基础视觉刺激图片；
24.将每张基础视觉刺激图片经过不同角度的旋转和平移，得到人工场景视觉刺激图像集合；
25.从纪录片影像中随机多次截取自然场景视觉刺激图像，得到自然场景视觉刺激图像集合；
26.根据人工场景视觉刺激图像集合与自然场景视觉刺激图像集合生成模型样本。
27.可选的，根据人工场景视觉刺激图像集合与自然场景视觉刺激图像集合生成模型样本，包括：
28.根据人工场景视觉刺激图像集合对生物体进行视觉刺激，并记录生物体的v1视觉皮层神经元响应，得到第一数量的钙成像信号；
29.根据自然场景视觉刺激图像集合对生物体进行视觉刺激，并记录生物体的v1视觉皮层神经元响应，得到第二数量的钙成像信号；
30.将第一数量的钙成像信号与第二数量的钙成像信号确定为双光子钙成像信号；
31.将双光子钙成像信号和与其对应的视觉刺激图像映射关联，生成模型样本。
32.可选的，根据自然场景视觉刺激图像集合对生物体进行视觉刺激，并记录所述生物体的v1视觉皮层神经元响应，得到第二数量的钙成像信号，包括：
33.对生物体展示空白显示屏至预设时刻；
34.通过单神经元记录精度的双光子亮度捕捉能力的电子微型显微镜采集生物体的第一神经影像；
35.对生物体多次展示自然场景视觉刺激图像集合中第一个自然场景视觉刺激图像至预设时刻；
36.通过单神经元记录精度的双光子亮度捕捉能力的电子微型显微镜采集生物体的第二神经影像；
37.基于第一神经影像与第二神经影像确定差分图像；
38.根据差分图像计算激活神经元上钙指示剂亮度变化的比例；
39.将激活神经元上钙指示剂亮度变化的比例确定为钙成像信号；
40.当自然场景视觉刺激图像集合中每个自然场景视觉刺激图像展示结束后，生成第二数量的钙成像信号。
41.第二方面，本技术实施例提供了一种生物神经信号的视觉解码装置，装置包括：
42.信号的数据阵列获取模块，用于获取双光子钙成像信号的数据阵列；
43.信号的数据阵列输入模块，用于将双光子钙成像信号的数据阵列输入预先训练的v1视觉皮层视觉信息神经解码模型中；其中，v1视觉皮层视觉信息神经解码模型是由神经信号转换模块和自动编码模块构成的；自动编码模块包含跳层结构，跳层结构用于在不同深度的神经网络层之间，融合整个神经网络在不同层上提取出来的特征；
44.重构图像输出模块，用于输出双光子钙成像信号对应的重构图像。
45.第三方面，本技术实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
46.第四方面，本技术实施例提供一种终端，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。
47.本技术实施例提供的技术方案可以包括以下有益效果：
48.在本技术实施例中，生物神经信号的视觉解码装置首先获取双光子钙成像信号的数据阵列，然后将双光子钙成像信号的数据阵列输入预先训练的v1视觉皮层视觉信息神经解码模型中；其中v1视觉皮层视觉信息神经解码模型是由神经信号转换模块和自动编码模块构成的；自动编码模块包含跳层结构，跳层结构用于在不同深度的神经网络层之间，融合整个神经网络在不同层上提取出来的特征，最后输出双光子钙成像信号对应的重构图像。由于本技术通过神经信号转换模块和自动编码模块进行信号数据处理，并通过自动编码模块中的跳层结构融合整个神经网络在不同层上提取出来的特征，从而提升了重构图像的精确度。
49.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
50.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
51.图1是本技术实施例提供的一种生物神经信号的视觉解码方法的流程示意图；
52.图2是本技术实施例提供的一种预先训练的v1视觉皮层视觉信息神经解码模型的网络结构示意图；
53.图3是本技术实施例提供的一种解码模型中的重构效果和指标信息示意图；
54.图4是本技术实施例提供的一种v1视觉皮层视觉信息神经解码模型训练方法的流程示意图；
55.图5是本技术实施例提供的一种生物神经信号的视觉解码装置的结构示意图；
56.图6是本技术实施例提供的一种终端的结构示意图。
具体实施方式
57.以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
58.应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
59.下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
60.在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
61.本技术提供了一种生物神经信号的视觉解码方法、装置、存储介质及终端，以解决上述相关技术问题中存在的问题。本技术提供的技术方案中，由于本技术通过神经信号转换模块和自动编码模块进行信号数据处理，并通过自动编码模块中的跳层结构融合整个神经网络在不同层上提取出来的特征，从而提升了重构图像的精确度，下面采用示例性的实施例进行详细说明。
62.下面将结合附图1-附图4，对本技术实施例提供的生物神经信号的视觉解码方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的生物神经信号的视觉解码装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。
63.请参见图1，为本技术实施例提供了一种生物神经信号的视觉解码方法的流程示意图。如图1所示，本技术实施例的方法可以包括以下步骤：
64.s101，获取双光子钙成像信号的数据阵列；
65.其中，双光子钙成像信号的数据阵列是实时得到的神经信号，也可以是从测试集中得到的神经信号。
66.在一种可能的实现方式中，在进行生物神经信号的视觉解码时，首先需要获取到实时的神经信号或者测试集中的神经信号。
67.s102，将双光子钙成像信号的数据阵列输入预先训练的v1视觉皮层视觉信息神经解码模型中；
68.其中，v1视觉皮层视觉信息神经解码模型是由神经信号转换模块和自动编码模块构成的；自动编码模块包含跳层结构，跳层结构用于在不同深度的神经网络层之间，融合整个神经网络在不同层上提取出来的特征；
69.在本技术实施例中，在生成预先训练的v1视觉皮层视觉信息神经解码模型时，首先创建v1视觉皮层视觉信息神经解码模型，然后构建模型样本，并将模型样本按照预设比例进行划分，得到训练集和测试集，再将训练集输入v1视觉皮层视觉信息神经解码模型中，并采用误差反向传播算法进行端到端的训练后输出损失值，最后根据损失值生成预先训练的v1视觉皮层视觉信息神经解码模型。
70.在一种可能的实现方式中，神经信号转换模块将输入的双光子钙成像信号的数据阵列，转换成与重构目标图像相同大小的中间计算量，然后将中间计算量输入自动编码模块，生成视觉刺激重构图像。
71.具体的，自动编码模块包括第一网络、跳层结构以及第二网络，在将中间计算量输
入自动编码模块，生成视觉刺激重构图像时，第一网络将中间计算量的向量进行卷积操作，并通过下采样从卷积的结果中提取特征，跳层结构将提取的特征进行特征融合，得到融合后的特征，第二网络将融合后的特征进行上采样和卷积，恢复出和视觉刺激尺寸相同的重构图像。
72.需要说明的是，从清醒猕猴的第2/3层v1神经元记录的双光子钙成像神经信号中重建视觉刺激图像。传统的卷积神经网络利用大多倾向于面向决策的任务，其目的是提取关键知识。相反，视觉刺激解码重建是恢复原始信息的过程，需要对从输入中提取的特征进行补充。自动编码模块(u-net结构)已广泛应用于医学图像分割，提供高精度的像素级分割。受此启发，我们在提出的v1视觉皮层视觉信息神经解码模型中添加了跳层连接，允许后面更深的层访问前面浅层中更完整的信息。
73.s103，输出双光子钙成像信号对应的重构图像。
74.在一种可能的实现方式中，在经过预先训练的v1视觉皮层视觉信息神经解码模型处理后，可输出双光子钙成像信号对应的重构图像。
75.例如图2所示，预先训练的v1视觉皮层视觉信息神经解码模型主要可以看成两部分：神经信号转换模块(双光子钙成像信号转换器)和基于自动编码模块(u-net自动编码器)重构部分。
76.对信号转换器部分来说，模型输入的尺寸被设置为等于在相应人工设计的视觉刺激生理数据集或者自然场景视觉刺激生理数据测试集中的双光子钙成像信号神经元数量相同。信号转换器的输出尺寸被设置为跟目标视觉刺激重构图像的大小一致，方便接下去的自动编码器部分的视觉信息重构。对基于u-net自动编码机的视觉重构部分，这个信息处理流程可以分为两个阶段。
77.在第一个阶段中，使用卷积和下采样操作来处理上一阶段信号转换器带来的输入，将输入跟目标重构视觉刺激图像尺寸一样的大小的尺寸减小。在第二阶段的另外四层网络层，大致是第一阶段四层网络层的“逆排列”。第二阶段的功能是为了将下采样之后的图像通过上采样的方式，恢复成目标重构视觉刺激图像的尺寸。
78.需要说明的是，在这个自动编码机部分的网络结构中，类似u-net中的“跳层”结构(skip connection structure)被加入了进来。跳层结构的功能是，在不同深度的神经网络层之间，融合整个神经网络在不同层上提取出来的特征。具体来说，将较为浅层的网络(shallow network)中的低级特征(low-level features)跟较为深层的网络(deep network)中的高级特征(high-level features)，在整个神经解码重构过程中进行融合。这个过程意味着，在给清醒猴展示的视觉刺激图像中的深层特征和浅层特征都可以被较好地捕捉到。得益于这样的视觉信息神经解码网络结构的设计，更多视觉细节和精确的位置可以在，仅提供规模不大的视觉刺激图像数据集的情况下，得到较好的重构效果，例如图3所示。根据使用的清醒猴v1视觉皮层上采集的双光子钙成像信号神经数据，以及相对应的视觉刺激数据集，我们结合钙成像神经信号数据的数据结构特点，以及视觉刺激图像的图像空间复杂性。在整个v1视觉皮层神经元钙成像信号神经解码模型中，在神经网络的不同层中使用了三个跳层结构来进行特征融合。
79.进一步地，第一阶段的下采样操作是通过keras框架中的maxpooling2d神经网络函数来实现。第二阶段的上采样操作则是通过upsampling2d神经网络函数来实现的。relu
函数被选择作为整个视觉信息神经解码模型网络中的激活函数。提出的v1视觉皮层视觉信息神经解码模型中的所有的卷积层之后，都有批标准化(batch normalization)层。除此之外，中间层(也就是最小卷积核的网络层)，spatialdropout2d层被加在批标准层之后，以便通过空间上的随机丢弃激活神经元来改善神经解码模型过拟合的现象。
80.在本技术实施例中，生物神经信号的视觉解码装置首先获取双光子钙成像信号的数据阵列，然后将双光子钙成像信号的数据阵列输入预先训练的v1视觉皮层视觉信息神经解码模型中；其中v1视觉皮层视觉信息神经解码模型是由神经信号转换模块和自动编码模块构成的；自动编码模块包含跳层结构，跳层结构用于在不同深度的神经网络层之间，融合整个神经网络在不同层上提取出来的特征，最后输出双光子钙成像信号对应的重构图像。由于本技术通过神经信号转换模块和自动编码模块进行信号数据处理，并通过自动编码模块中的跳层结构融合整个神经网络在不同层上提取出来的特征，从而提升了重构图像的精确度。
81.请参见图4，为本技术实施例提供了一种生物神经信号的视觉解码方法的流程示意图。如图4所示，本技术实施例的方法可以包括以下步骤：
82.s201，创建v1视觉皮层视觉信息神经解码模型；
83.s202，构建模型样本，并将模型样本按照预设比例进行划分，得到训练集和测试集；
84.通常，在双光子成像钙信号数据集中，总共包括两种类型的视觉刺激图像数据集，作为视觉刺激实验时的视觉刺激图像集合。这两种视觉刺激图像集合分别为，人工设计的视觉刺激图像(artificial pattern，ap)与自然场景视觉刺激图像(natural scene，ns)。在双光子钙成像生理实验中，一共有9500张人工设计的视觉刺激图片呈现作为视觉刺激。这些人工设计的视觉刺激图片其实是由138张基础视觉刺激图片经过不同角度的旋转、平移等方式生成的。这些操作是为了保证视觉刺激在展示期间可以充分被v1皮层神经元的“感受野”所感知。而自然场景的视觉刺激图片一共有2250张，是从纪录片影像中随机截取生成的。
85.在本技术实施例中，首先获取多张基础视觉刺激图片，再将每张基础视觉刺激图片经过不同角度的旋转和平移，得到人工场景视觉刺激图像集合，其次从纪录片影像中随机多次截取自然场景视觉刺激图像，得到自然场景视觉刺激图像集合，最后根据人工场景视觉刺激图像集合与自然场景视觉刺激图像集合生成模型样本。
86.具体的，在根据人工场景视觉刺激图像集合与自然场景视觉刺激图像集合生成模型样本时，首先根据人工场景视觉刺激图像集合对生物体进行视觉刺激，并记录生物体的v1视觉皮层神经元响应，得到第一数量的钙成像信号，再根据自然场景视觉刺激图像集合对生物体进行视觉刺激，并记录生物体的v1视觉皮层神经元响应，得到第二数量的钙成像信号，然后将第一数量的钙成像信号与第二数量的钙成像信号确定为双光子钙成像信号，最后将双光子钙成像信号和与其对应的视觉刺激图像映射关联，生成模型样本。
87.具体的，在根据所述自然场景视觉刺激图像集合对生物体进行视觉刺激，并记录所述生物体的v1视觉皮层神经元响应，得到第二数量的钙成像信号时，首先对生物体展示空白显示屏至预设时刻，然后通过单神经元记录精度的双光子亮度捕捉能力的电子微型显微镜采集生物体的第一神经影像，再对生物体多次展示自然场景视觉刺激图像集合中第一
个自然场景视觉刺激图像至预设时刻，其次通过单神经元记录精度的双光子亮度捕捉能力的电子微型显微镜采集生物体的第二神经影像，再基于第一神经影像与第二神经影像确定差分图像，最后根据差分图像计算激活神经元上钙指示剂亮度变化的比例，并将激活神经元上钙指示剂亮度变化的比例确定为钙成像信号，以及当自然场景视觉刺激图像集合中每个自然场景视觉刺激图像展示结束后，生成第二数量的钙成像信号。
88.在一种可能的实现方式中，在本技术使用的双光子钙成像信号数据是从清醒猴2/3皮层采集而来，使用的神经影像采集设备是具有单神经元记录精度的双光子亮度捕捉能力的电子微型显微镜。在双光子钙成像信号采集实验中，通过一些严格的实验设置，来确保视觉刺激图像在展示的时候可以被受试清醒猴的准确的视网膜区域定位(retinopic)位置所接受。当视觉刺激图像在展示时，受试清醒猴会进行一个固定的任务。每张人工设计的视觉图像会被重复展示五到六次，自然场景视觉刺激图像会被重复展示三次。v1视觉皮层神经元在一个视觉刺激的展示期间经历如下流程，整个过程中的神经元响应会被记录下来。一个空白的显示屏幕会被展示一秒钟，随后接下来的一秒钟用来展示视觉刺激。为了定量每个激活神经元的响应，激活神经元上钙指示剂亮度变化的比例(δf/f0)被通过上述两个过程(空白屏幕展示过程和视觉刺激图像展示过程)的差分图像(differential image)计算出来，表示为δf＝f-f0。f0是在空白屏幕展示期间的神经元活动响应，δf是每次试验中，视觉刺激图像展示期间的光照活动变化。最终，在清醒猴双光子成像钙信号数据采集实验中，在人工设计的视觉图像刺激下，一共有1142个激活神经元被记录到；在自然场景视觉刺激图像下，一共有1225个激活神经元的神经响应活动被采集到。所有的这些神经元上记录到的钙成像信号，连同引起这些响应所对应的视觉刺激图像，被用来训练和测试解码模型。
89.s203，将训练集输入v1视觉皮层视觉信息神经解码模型中，并采用误差反向传播算法进行端到端的训练后输出损失值；
90.通常，对人工设计的视觉刺激图像和自然场景的视觉刺激图像这两种视觉刺激双光子钙成像信号数据集，在训练相对应的视觉信息神经解码模型时，均使用adam算法来进行梯度下降。人工设计的视觉刺激图像对应的神经解码模型的参数更新学习率设置为0.003，自然场景的视觉刺激图像的神经解码模型的网络参数学习率设置为0.001。训练数据的批大小(batch size)均设置为80。人工设计的视觉刺激图像的神经解码模型的训练迭代次数(epoches)是有early-stop算法来控制。也就是当神经解码重构模型在验证集上的误差(validation error)不再减小时(在这里是最小平方误差mse)，神经解码模型的模型参数停止更新。而自然场景的视觉刺激图像的神经解码模型的训练迭代次数，是根据神经解码模型的重构结果来进行控制。这是因为受到自然场景的视觉刺激图像数据集只有2250张自然图片，自然场景的视觉刺激图像的神经解码模型相对来说比较难以收敛。
91.需要说明的是，整个v1视觉皮层神经元视觉信息神经解码模型是运行在keras深度学习框架上，它的后端是tensorflow深度学习平台。计算过程是运行在nvidia v100计算显卡上。设定了学习率的adam误差梯度下降算法被用来训练神经解码模型。
92.在一种可能的实现方式中，在得到训练数据后，可将训练集输入v1视觉皮层视觉信息神经解码模型中，并采用误差反向传播算法进行端到端的训练后输出损失值。
93.s204，根据损失值生成预先训练的v1视觉皮层视觉信息神经解码模型。
94.在一种可能的实现方式中，当损失值到达预设阈值时，生成预先训练的v1视觉皮层视觉信息神经解码模型。当未到达预设阈值时，继续更新模型参数进行模型训练。
95.在本技术实施例中，生物神经信号的视觉解码装置首先获取双光子钙成像信号的数据阵列，然后将双光子钙成像信号的数据阵列输入预先训练的v1视觉皮层视觉信息神经解码模型中；其中v1视觉皮层视觉信息神经解码模型是由神经信号转换模块和自动编码模块构成的；自动编码模块包含跳层结构，跳层结构用于在不同深度的神经网络层之间，融合整个神经网络在不同层上提取出来的特征，最后输出双光子钙成像信号对应的重构图像。由于本技术通过神经信号转换模块和自动编码模块进行信号数据处理，并通过自动编码模块中的跳层结构融合整个神经网络在不同层上提取出来的特征，从而提升了重构图像的精确度。
96.下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
97.请参见图5，其示出了本发明一个示例性实施例提供的生物神经信号的视觉解码装置的结构示意图。该生物神经信号的视觉解码装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置1包括信号的数据阵列获取模块10、信号的数据阵列输入模块20、重构图像输出模块30。
98.数据阵列获取模块10，用于获取双光子钙成像信号的数据阵列；
99.数据阵列输入模块20，用于将双光子钙成像信号的数据阵列输入预先训练的v1视觉皮层视觉信息神经解码模型中；
100.其中，v1视觉皮层视觉信息神经解码模型是由神经信号转换模块和自动编码模块构成的；自动编码模块包含跳层结构，跳层结构用于在不同深度的神经网络层之间，融合整个神经网络在不同层上提取出来的特征；
101.重构图像输出模块30，用于输出双光子钙成像信号对应的重构图像。
102.需要说明的是，上述实施例提供的生物神经信号的视觉解码装置在执行生物神经信号的视觉解码方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的生物神经信号的视觉解码装置与生物神经信号的视觉解码方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
103.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
104.在本技术实施例中，生物神经信号的视觉解码装置首先获取双光子钙成像信号的数据阵列，然后将双光子钙成像信号的数据阵列输入预先训练的v1视觉皮层视觉信息神经解码模型中；其中v1视觉皮层视觉信息神经解码模型是由神经信号转换模块和自动编码模块构成的；自动编码模块包含跳层结构，跳层结构用于在不同深度的神经网络层之间，融合整个神经网络在不同层上提取出来的特征，最后输出双光子钙成像信号对应的重构图像。由于本技术通过神经信号转换模块和自动编码模块进行信号数据处理，并通过自动编码模块中的跳层结构融合整个神经网络在不同层上提取出来的特征，从而提升了重构图像的精确度。
105.本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器
执行时实现上述各个方法实施例提供的生物神经信号的视觉解码方法。本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的生物神经信号的视觉解码方法。
106.请参见图6，为本技术实施例提供了一种终端的结构示意图。如图6所示，终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
107.其中，通信总线1002用于实现这些组件之间的连接通信。
108.其中，用户接口1003可以包括显示屏(display)、摄像头(camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
109.其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。
110.其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种接口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field-programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(central processing unit，cpu)、图像处理器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
111.其中，存储器1005可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read-only memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及生物神经信号的视觉解码应用程序。
112.在图6所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的生物神经信号的视觉解码应用程序，并具体执行以下操作：
113.获取双光子钙成像信号的数据阵列；
114.将双光子钙成像信号的数据阵列输入预先训练的v1视觉皮层视觉信息神经解码模型中；
115.其中，v1视觉皮层视觉信息神经解码模型是由神经信号转换模块和自动编码模块构成的；自动编码模块包含跳层结构，跳层结构用于在不同深度的神经网络层之间，融合整个神经网络在不同层上提取出来的特征；
116.输出双光子钙成像信号对应的重构图像。
117.在一个实施例中，处理器1001在执行将双光子钙成像信号输入预先训练的v1视觉皮层视觉信息神经解码模型中时，具体执行以下操作：
118.神经信号转换模块将输入的双光子钙成像信号的数据阵列，转换成与重构目标图像相同大小的中间计算量；
119.将中间计算量输入自动编码模块，生成视觉刺激重构图像。
120.在一个实施例中，处理器1001在执行将中间计算量输入自动编码模块，生成视觉刺激重构图像时，具体执行以下操作：
121.第一网络将中间计算量的向量进行卷积操作，并通过下采样从卷积的结果中提取特征；
122.跳层结构将提取的特征进行特征融合，得到融合后的特征；
123.第二网络将融合后的特征进行上采样和卷积，恢复出和视觉刺激尺寸相同的重构图像。
124.在一个实施例中，处理器1001生成预先训练的v1视觉皮层视觉信息神经解码模型时，具体执行以下操作：
125.创建v1视觉皮层视觉信息神经解码模型；
126.构建模型样本，并将模型样本按照预设比例进行划分，得到训练集和测试集；
127.将训练集输入v1视觉皮层视觉信息神经解码模型中，并采用误差反向传播算法进行端到端的训练后输出损失值；
128.根据损失值生成预先训练的v1视觉皮层视觉信息神经解码模型。
129.在一个实施例中，处理器1001在执行构建模型样本时，具体执行以下操作：
130.获取多张基础视觉刺激图片；
131.将每张基础视觉刺激图片经过不同角度的旋转和平移，得到人工场景视觉刺激图像集合；
132.从纪录片影像中随机多次截取自然场景视觉刺激图像，得到自然场景视觉刺激图像集合；
133.根据人工场景视觉刺激图像集合与自然场景视觉刺激图像集合生成模型样本。
134.在一个实施例中，处理器1001在执行根据人工场景视觉刺激图像集合与自然场景视觉刺激图像集合生成模型样本时，具体执行以下操作：
135.根据人工场景视觉刺激图像集合对生物体进行视觉刺激，并记录生物体的v1视觉皮层神经元响应，得到第一数量的钙成像信号；
136.根据自然场景视觉刺激图像集合对生物体进行视觉刺激，并记录生物体的v1视觉皮层神经元响应，得到第二数量的钙成像信号；
137.将第一数量的钙成像信号与第二数量的钙成像信号确定为双光子钙成像信号；
138.将双光子钙成像信号和与其对应的视觉刺激图像映射关联，生成模型样本。
139.在一个实施例中，处理器1001在执行根据所述自然场景视觉刺激图像集合对生物体进行视觉刺激，并记录所述生物体的v1视觉皮层神经元响应，得到第二数量的钙成像信号时，具体执行以下操作：
140.对生物体展示空白显示屏至预设时刻；
141.通过单神经元记录精度的双光子亮度捕捉能力的电子微型显微镜采集生物体的第一神经影像；
142.对生物体多次展示自然场景视觉刺激图像集合中第一个自然场景视觉刺激图像至预设时刻；
143.通过单神经元记录精度的双光子亮度捕捉能力的电子微型显微镜采集生物体的第二神经影像；
144.基于第一神经影像与第二神经影像确定差分图像；
145.根据差分图像计算激活神经元上钙指示剂亮度变化的比例；
146.将激活神经元上钙指示剂亮度变化的比例确定为钙成像信号；
147.当自然场景视觉刺激图像集合中每个自然场景视觉刺激图像展示结束后，生成第二数量的钙成像信号。
148.在本技术实施例中，生物神经信号的视觉解码装置首先获取双光子钙成像信号的数据阵列，然后将双光子钙成像信号的数据阵列输入预先训练的v1视觉皮层视觉信息神经解码模型中；其中v1视觉皮层视觉信息神经解码模型是由神经信号转换模块和自动编码模块构成的；自动编码模块包含跳层结构，跳层结构用于在不同深度的神经网络层之间，融合整个神经网络在不同层上提取出来的特征，最后输出双光子钙成像信号对应的重构图像。由于本技术通过神经信号转换模块和自动编码模块进行信号数据处理，并通过自动编码模块中的跳层结构融合整个神经网络在不同层上提取出来的特征，从而提升了重构图像的精确度。
149.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，生物神经信号的视觉解码的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
150.以上所揭露的仅为本技术较佳实施例而已，当然不能以此来限定本技术之权利范围，因此依本技术权利要求所作的等同变化，仍属本技术所涵盖的范围。