一种搭载图形界面的可交互式脑机接口方法和装置与流程

1.本发明涉及光学脑机接口领域，特别涉及一种搭载图形界面的可交互式脑机接口方法和装置。


背景技术：

2.近年来，光学脑机接口成为脑机接口领域极具潜力的一个分支。它通过钙成像的方式观察脑内神经元活动情况，可以做到对单细胞的长时间活动追踪，为脑部机理研究提供了强有力的支撑。针对光学脑机接口实验，国内外学者开发了许多工具箱，主要包括：发表在《elife》上的《caiman an open source tool for scalable calcium imaging data analysis》；发表在《frontiers in neural circuits》上的《ezcalcium: open-source toolbox for analysis of calcium imaging data》；以及发表在《biorxiv》上的《suite2p: beyond 10,000 neurons with standard two-photon microscopy》。以上几种工具箱在采集和离线数据分析方面给研究员提供了很大便利，是近期学者们广泛选择使用的工具。
3.然而，这些工具箱并没有配置用户图形界面，只能够在代码层面运行，使得用户需要具备一定编程知识才可以使用。在实际使用过程中，用户往往会因为环境搭建、代码阅读、参数调试等问题耗费大量时间。因此，如何提升使用效率是一个待解决的问题。


技术实现要素：

4.本发明的目的在于提供一种搭载图形界面的可交互式脑机接口方法和装置，以克服现有技术中的不足。
5.为实现上述目的，本发明提供如下技术方案：本技术公开了一种搭载图形界面的可交互式脑机接口方法，具体包括如下步骤：s1、采集包含神经元活动的钙成像实验数据，所述实验数据包括测试数据和训练数据；s2、对实验数据进行预处理，并进行感兴趣区域和荧光轨迹的提取，得到脑内神经元发放信号；s3、通过训练数据的脑内神经元发放信号对解码器进行训练；s4、使用训练好的解码器解析测试数据的脑内神经元发放信号，完成被试者脑活动至行为的解析。
6.作为优选，步骤s1具体包括如下子步骤：s11、根据实验需求，调整摄像头的画面参数；s12、通过摄像头捕捉钙成像画面并显示在图像界面中。
7.作为优选，步骤s11中画面参数包括曝光值、增益值、led灯光强度以及显示帧率。
8.作为优选，步骤s2具体包括如下子步骤：s21、对实验数据进行运动校正处理，在图像界面中重新加载校正后的数据；
s22，选取感兴趣区域，并在图像界面上显示标注；s23，对感兴趣区域进行荧光轨迹提取，并显示在图像界面上。
9.作为优选，步骤s21中运动校正过程具体如下：遍历整个实验数据获取模板，通过模板逐帧对实验数据进行校正。
10.作为优选，步骤s22中选取感兴趣区域包括自动选取和手动选取，自动选取的算法与参数由用户指定。
11.作为优选，步骤s23中荧光轨迹提取具体过程包括：提取各感兴趣区域内的荧光值，并以曲线的形式绘制在图像界面上。
12.本技术还公开了一种搭载图形界面的可交互式脑机接口装置，包括图像用户界面，用于与各模块进行交互；项目管理模块，用于管理整个项目的运行状态；采集模块，用于采集实验数据；离线解析模块，用于对实验数据进行预处理，并提取感兴趣区域中的数据；在线解析模块，用于实时获取并处理实验数据，提取感兴趣区域中的数据；解码模块，用于对提取好的实验数据进行训练或解析。
13.本发明的有益效果：1、本发明提供一个可交互式的图形界面，免除了用户因代码技能不足而无法高效利用相关工具的问题。
14.2、本发明提供一站式服务，保证了各个步骤切换时的数据一致性，避免因各工具包输入输出不同导致的格式切换问题。
15.3、本发明同时支持离线与在线实验本发明的特征及优点将通过实施例结合附图进行详细说明。
附图说明
16.图1为本发明整体结构的示意图；图2为本发明中采集模块实施步骤示意图；图3为本发明中离线模块实施步骤示意图；图4为本发明中在线模块实施步骤示意图；图5为本发明中解码模块实施步骤示意图。
具体实施方式
17.为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
18.本发明一种搭载图形界面的可交互式脑机接口方法，具体包括如下步骤：s1、采集包含神经元活动的钙成像实验数据，所述实验数据包括测试数据和训练数据；s2、对实验数据进行预处理，并进行感兴趣区域和荧光轨迹的提取，得到脑内神经元发放信号；s3、通过训练数据的脑内神经元发放信号对解码器进行训练；
s4、使用训练好的解码器解析测试数据的脑内神经元发放信号，完成被试者脑活动至行为的解析。
19.在一种可行的实施例中，步骤s1具体包括如下子步骤：s11、根据实验需求，调整摄像头的画面参数；s12、通过摄像头捕捉钙成像画面并显示在图像界面中。
20.在一种可行的实施例中，步骤s11中画面参数包括曝光值、增益值、led灯光强度以及显示帧率。
21.在一种可行的实施例中，步骤s2具体包括如下子步骤：s21、对实验数据进行运动校正处理，在图像界面中重新加载校正后的数据；s22，选取感兴趣区域，并在图像界面上显示标注；s23，对感兴趣区域进行荧光轨迹提取，并显示在图像界面上。
22.在一种可行的实施例中，步骤s21中运动校正过程具体如下：遍历整个实验数据获取模板，通过模板逐帧对实验数据进行校正。
23.在一种可行的实施例中，步骤s22中选取感兴趣区域包括自动选取和手动选取，自动选取的算法与参数由用户指定。
24.在一种可行的实施例中，步骤s23中荧光轨迹提取具体过程包括：提取各感兴趣区域内的荧光值，并以曲线的形式绘制在图像界面上。
25.实施例：图1为本技术实例公开的整体结构示意图，包括：项目管理模块、采集模块、离线解析模块、在线解析模块和解码模块；其中，项目管理模块用于管理整个项目的运行状态，例如项目的设置、保存与加载等；采集模块、离线解析模块和解码模块共同支持离线光学脑机接口实验流程；采集模块用于采集实验数据。离线解析模块用于对实验数据进行预处理，并提取感兴趣区域中的数据。解码模块用于对提取好的实验数据进行训练或解析。在线解析模块、解码模块共同支持在线光学脑机接口实验流程；其中在线解析模块用于实时获取并处理实验数据，提取感兴趣区域中的数据；解码模块功能与上述相同。
26.图2为本发明中采集模块实施流程示意图，具体步骤包括：s101，获取摄像头编号并设定至对应显示框体中；s102，获取摄像头捕捉的画面并显示在界面中，调整参数使画面符合实验需求；s103，录制调整好的画面，以.avi格式保存至本地。
27.在上述技术方案的基础上，显示画面可调整的参数包括：曝光值、增益值、led灯光强度以及显示帧率。
28.图3为本发明中离线解析模块实施流程示意图，具体步骤包括：s201，读取实验数据，将数据显示在界面中；s202，对实验数据进行运动校正处理，在界面中重新加载校正后的数据；s203，手动或自动选取感兴趣区域，并在界面上显示标注；s204，荧光轨迹提取，并显示在界面上。
29.在上述技术方案的基础上，读取的实验数据可以是上述采集模块保存的数据，也可以是公开数据集上的数据。
30.在上述技术方案的基础上，运动校正过程包括：遍历整个实验数据获取模板，通过
模板逐帧对实验数据进行校正。
31.在上述技术方案的基础上，自动感兴趣区域选取的算法与参数可由用户指定，该模块搭载了多种算法，包括：cnmfe、hnccorr在上述技术方案的基础上，荧光轨迹提取的过程包括：提取各感兴趣区域内的荧光值，并以曲线的形式绘制在界面上的图表中。
32.图4为本发明中在线解析模块实施流程示意图，具体步骤包括：s301，获取摄像头捕捉的画面并显示在界面中，调整参数使画面符合实验需求；s302，运动校正预处理，在界面中显示校正后的数据；s303，手动或自动选取感兴趣区域，并在界面上显示标注；s304，实时荧光轨迹提取，并动态显示在界面上。
33.在上述技术方案的基础上，运动校正预处理过程包括：预采集一段数据用于生成模板，通过模板对实时加入的数据进行校正，同时对模板进行更新。
34.在上述技术方案的基础上，自动感兴趣区域选取仅搭载了cnmfe，参数可由用户自由指定。
35.图5为本发明中解码模块实施流程示意图，具体步骤包括：s401，获取荧光轨迹数据；s402，通过荧光轨迹数据训练解码器；s403，使用解码器解析荧光轨迹数据；在上述技术方案的基础上，荧光轨迹数据的来源可以是离线解析模块处理后的数据，或是在线解析模块处理后的数据。
36.在上述技术方案的基础上，解码器的来源可以是本次实验生成的，也可以选取之前实验训练完成的。
37.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。