一种结合数字孪生的脑机接口系统与方法与流程

1.本发明属于生理信号处理技术领域，涉及到一种结合数字孪生的脑机接口系统与方法。


背景技术：

2.脑机接口(brain-computer interface，bci)是在人脑和计算机或其他电子设备之间建立不依赖于常规大脑信息输出通路的全新对外信息交流和控制技术。脑机接口包括在大脑处的采集设备和在外部读取、分析和展示信号的外界设备两部分。目前的脑机接口主要是通过脑电波（electroencephalogram , eeg）作为对外信息输出通道。脑电波是脑神经细胞电生理活动在大脑皮层或头皮表面的总体反映，包含有大脑丰富的节律信息，可广泛应用于脑疾病诊断、康复、疲劳检测等领域。它被认为是检测癫痫发作，心理性非癫痫发作，偏头痛，脑病等疾病的主要方法。人类大脑的脑电信号电压仅有几十微伏，脑电采集就是将这种微伏级的电压通过电极及信号采集电路进行采集、记录及显示，通过后续对大脑脑电波形进行分析处理，可以实现神经功能检测、意识状态鉴别、睡眠监测以及各种脑部疾病的诊疗。
3.目前的脑机接口主要存在三个方面的问题，一是只采集脑电数据，不采集生成脑电数据的环境数据，难以重现环境和控制数据质量，由于脑电技术是由计算机通过电极采集测试数据并进行处理来实现的，因此测试数据的质量会严重影响处理结果，受试者的生理数据（头型）、测试过程的配合情况，电极与受试者头皮的贴附程度，电极的位置等均会影响测试数据的质量；二是只关注相对规则的数据(频率变动范围在每秒1－30次之间的四个波段)，摒弃“噪声”，科学研究发现，在人的大脑的“背景噪音”的后面，隐藏着相当有意义的东西；三是脑机接口采用单向信息传递模式，不适合接收反馈信息，因为大脑高度依赖感官处理复杂的信息，脑机接口通过电极直接刺激大脑皮层难以形成复杂的信息并且难以实现长时间的安全有效，存在电极失效或脑损伤的可能性。
4.中国发明专利公开说明书cn112171669a公开了一种脑-机协作数字孪生强化学习控制方法及系统，通过构建脑-机协作控制模型，在数字孪生环境中，采集操控者的脑电信号和操作信号并输入脑-机协作控制模型后对虚拟设备发出指令，通过训练脑-机协作控制模型具备较高的指令完成质量后迁移到真实场景，用脑-机协作控制模型向真实设备发送指令，实现大脑和机器之间信息层、指令层的交互。该技术方案只是对脑-机协作在数字孪生环境中生成了模型，数据采集范围仅限于具体的指令，缺乏通用性及可扩展性。中国发明专利公开说明书cn114781258a公开了一种基于钙波成像信号的数字孪生斑马鱼神经系统的构建方法，通过对模式动物斑马鱼的钙波成像的时间序列进行建模、模拟并结合神经元网络模型进行数据同化以估算系统参数，从而构建动力学行为与真实斑马鱼接近的数字孪生斑马鱼神经系统。同化结果的质量由系统模拟产生出的钙波序列与实验观测数据的相关性衡量。可以减少集群卡尔曼滤波算法的复杂度，使其在大规模神经系统上具有可行性；还可以借助图神经网络库高效实现斑马鱼神经系统的模拟；还可以
实现较好的基于有限观测数据对斑马鱼神经系统的数据同化效果。该方法是对神经系统的数字孪生，不涉及对神经系统检测系统的数字孪生。中国发明专利公开说明书cn113905781a公开了一种biospine：数字孪生神经康复系统，对神经肌肉骨骼模型结合了数字孪生技术以虚拟的方式绕过脊髓损伤部位，再次连接大脑、脊髓和肌肉之间的感觉和运动通路，以及通过人工智能方法开发每个参与者的个性化数字孪生。但其数字孪生的主要对象是人体，不是脑机接口。


技术实现要素：

5.为了解决上述技术问题，本发明提供一种结合数字孪生的脑机接口系统与方法，为脑机接口物理实体构建数字孪生体，并通过数字孪生体与外接设备交互，解决了当前脑机接口操作零散管理、数据采集缺乏过程监控与管理，以及脑机接口直连外接设备缺乏缓冲与功能扩展的问题。
6.第一方面，本发明解决上述技术问题的一种结合数字孪生的脑机接口系统包括：系统管理模块，系统设置、系统管理功能；网络模块，系统连接网络的功能模块；数据处理模块，通过数据集成、数据治理和数据开发实现脑机接口及相关实体的数据转化并存储到数字孪生体对应的数据存储空间；模型管理模块，实现脑机接口数字孪生体模型的构建、编辑和管理功能；数据存储模块，提供数据存储功能；数字孪生体容器，生成、容纳、承载及管理脑机接口数字孪生体；运行监控模块，监控脑机接口数字孪生系统的运行状况，并输出相关数据。
7.安全防护模块，对脑机接口数字孪生系统做整体安全防护，防范各种非法技术手段的攻击；数据采集模块，采集脑机接口物理实体及运行环境相关的数据；反馈控制模块，提供脑机接口数字孪生体系统从相应脑机接口物理实体获取指令并发送到外接设备的通道，以及外接设备反馈信息到操作终端和脑机接口数字孪生体系统的交互功能；操作终端，提供人机交互操作功能；外接设备，脑机接口的连接和驱动对象；上述模块组成脑机接口物理空间、脑机接口数字孪生体系统和外接设备物理空间，其中脑机接口物理空间和外接设备物理空间通过脑机接口数字孪生体系统连接并实现交互。
8.第二方面，本发明提供一种结合数字孪生的脑机接口方法，该方法包括：构建脑机接口数字孪生体模型，采集脑机接口数据，数据预处理，生成脑机接口数字孪生体，脑机接口数字孪生体和物理实体与外接设备交互，优化数字孪生体模型。
9.构建脑机接口数字孪生体模型可进一步具体为：构建脑机接口数字孪生体几何模型，包括被检测用户的头部尺寸（不含毛发）、发型、电极位置、脑电采集装置的外观数据；构建脑机接口数字孪生体物理模型，脑机接口设备类型、设备技术参数，脑机接口获取的电位数据，电极阻抗数据、电极材料、电极对被检测用户的施加压力，时间等；构建脑机接口数字孪生体行为模型，例如被检测用户的脑电产生模式（自发信号、诱发信号（事件相关电位、稳态视觉诱发电位））；构建脑机接口数字孪生体规则模型，包括脑电数据转化规则、系统内和系统间交互规则等；构建脑机接口数字孪生体生理模型，包括被检测用户的年龄、性别、血型、病史等；构建脑机接口数字孪生体模型对应数据存储空间，为每个数字孪生体模型构建所需的包括存储格式化数据的关系数据库和非关系数据库、存储图像的对象存储、文件存储等数据存储空间。
10.采集脑机接口数据可进一步具体为：采集被检测用户的生理数据，采集被检测用户脑电采集设备数据，采集被检测用户检测模式数据，采集被检测用户脑电数据，采集外接设备数据。
11.数据预处理可进一步具体为：复制脑接口数据作为数据源，用户生理数据数字化，脑电采集设备数据标准化，检测模式数据数字化，用户脑电数据转化为规律数据和其他数据，外接设备数据数字化，生成脑机接口数字孪生体可进一步具体为：数字孪生体容器创建数字孪生体实体，脑机接口数据按照数字孪生体模型分类，分类后的脑机接口数据分别导入对应数字孪生体实体的数据存储空间，数字孪生体实体生成并输出信息。
12.脑机接口数字孪生体和物理实体与外接设备交互进一步具体为：脑机接口物理实体获取脑电指令，脑机接口物理实体把脑电指令发送到对应的脑机接口数字孪生体，脑机接口数字孪生体处理脑电指令并转化为对外接设备的操作指令，脑机接口数字孪生体发送操作指令到外接设备，外接设备接收操作指令并执行，外接设备反馈操作指令执行结果到脑机接口数字孪生体，脑机接口数字孪生体把操作指令执行结果反馈到操作终端。
13.优化数字孪生体模型可进一步具体为：扩展数字孪生体模型类别，扩展数字孪生体模型的维度，扩展数字孪生体模型对应数据存储空间。
14.第三方面，本发明提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第二方面中任一项所述的结合数字孪生的脑机接口方法。
15.第四方面，本发明提供了一种可读存储介质，包括计算机可读指令，其特征在于，当计算机读取并执行所述计算机可读指令时，使得计算机实现第二方面中任一项所述的结合数字孪生的脑机接口方法。
16.与现有技术相比，本发明的有益效果为：采用结合数字孪生的脑机接口系统与方法，解决了当前脑机接口操作零散管理、数据采集缺乏过程监控与管理，以及脑机接口直连外接设备缺乏缓冲与功能扩展的问题，并且能够实现各种类型脑机接口及其采集的数据集成在同一数字孪生体系统，为后续对脑电数据挖掘奠定基础。
附图说明
17.图1为一个实施例中结合数字孪生的脑机接口系统结构示意图；图2为一个实施例中结合数字孪生的脑机接口方法流程图；图3为一个实施例中计算机设备结构示意图。
具体实施方式
18.为了便于理解本发明，下面将对本发明进行更全面的描述，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使本发明公开内容更加透彻全面。
19.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
20.本发明提供一种结合数字孪生的脑机接口系统与方法，本文中所描述的具体实施例仅是对本发明精神的举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
21.在一个实施例中，本发明提供了一种结合数字孪生的脑机接口系统，该系统如图1所示，该系统功能区划分为：脑机接口物理空间、脑机接口数字孪生系统、外接设备物理空间，包括系统管理模块、网络模块、数据处理模块、模型管理模块、数据存储模块、数字孪生体容器、运行监控模块、安全防护模块、数据采集模块、反馈控制模块、操作终端和外接设备。
22.系统管理模块101，系统设置、系统管理功能；网络模块102，系统连接网络的功能模块；数据处理模块103，通过数据集成、数据治理和数据开发实现脑机接口及相关实体
的数据转化并存储到数字孪生体对应的数据存储空间；模型管理模块104，实现脑机接口数字孪生体模型的构建、编辑和管理功能；数据存储模块105，提供数据存储功能；数字孪生体容器106，生成、容纳、承载及管理脑机接口数字孪生体；运行监控模块107，监控脑机接口数字孪生系统的运行状况，并输出相关数据。
23.安全防护模块108，对脑机接口数字孪生系统做整体安全防护，防范各种非法技术手段的攻击；数据采集模块109，采集脑机接口物理实体及运行环境相关的数据；反馈控制模块110，提供脑机接口数字孪生体系统从相应脑机接口物理实体获取指令并发送到外接设备通道，以及外接设备反馈信息到操作终端和脑机接口数字孪生体系统的交互功能；操作终端111，提供人机交互操作功能；外接设备112，脑机接口的连接和驱动对象；其中数据采集模块109采集脑机接口物理空间中一个或多个脑机接口物理实体的相关数据并通过有线或无线网络发送到脑机接口数字孪生系统的网络模块102，网络模块102把数据传送到数据处理模块103进行处理；数字孪生体容器106中的脑机接口数字孪生体通过网络模块102发送脑机接口物理实体的指令到反馈控制模块110，通过反馈控制模块110发送到脑机接口物理实体对应的外接设备物理空间中的外接设备112；外接设备112执行指令后通过反馈控制模块110反馈信息到网络模块102，网络模块102同样把反馈信息传递到数据处理模块103处理后传递到数字孪生体容器106中对应的脑机接口数字孪生体。外接设备物理空间中的外接设备112也可以通过反馈控制模块110直接反馈信息到操作终端111，操作终端111通过反馈控制模块110与脑机接口数字孪生系统交互，可以对脑机接口数字孪生系统进行设置、管理，也可以实时显示脑机接口数字孪生体与脑机接口物理空间中的脑机接口物理实体同步以及脑机接口数字孪生体与外接设备物理空间中的相应外接设备112交互状况。
24.基于同样的发明思路，在一个实施例中，如图2所示，本发明提供了一种结合数字孪生的脑机接口方法，该方法包括如下步骤：s201，构建脑机接口数字孪生体模型；s202，采集脑机接口数据；s203，数据预处理；s204，生成脑机接口数字孪生体；s205，脑机接口数字孪生体和物理实体与外接设备交互；s206，优化数字孪生体模型。
25.步骤s201可进一步具体为：s20101，构建脑机接口数字孪生体几何模型，包括被检测用户的头部尺寸（不含毛发）、发型、电极位置、脑电采集装置的外观数据；s20102，构建脑机接口数字孪生体物理模型，脑机接口设备类型、设备技术参数，脑机接口获取的电位数据，电极阻抗数据、电极材料、电极对被检测用户的施加压力，时间等；
s20103，构建脑机接口数字孪生体行为模型，例如被检测用户的脑电产生模式（自发信号、诱发信号（事件相关电位、稳态视觉诱发电位））；s20104，构建脑机接口数字孪生体规则模型，包括脑电数据转化规则、系统内和系统间数据交互、指令转化规则等；s20105，构建脑机接口数字孪生体生理模型，包括被检测用户的年龄、性别、血型、病史等；s20106，构建脑机接口数字孪生体模型对应数据存储空间，为每个数字孪生体模型构建所需的包括存储格式化数据的关系数据库和非关系数据库、存储图像的对象存储、文件存储等数据存储空间。
26.步骤s202可进一步具体为：s20201，采集被检测用户的生理数据；s20202，采集被检测用户脑电采集设备数据；s20203，采集被检测用户检测模式数据；s20204，采集被检测用户脑电数据；s20205，采集外接设备数据。
27.步骤s203可进一步具体为：s20301，复制脑接口数据作为数据源；s20302，用户生理数据数字化，例如性别
‘
男’、
‘
女’转化为
‘1’
、
‘0’
；s20303，脑电采集设备数据标准化，例如统一数据格式、统一数据类型；s20304，检测模式数据数字化，例如自发状态为
‘0’
、稳态视觉诱发为
‘1’
，p300为
‘2’
；s20305，用户脑电数据转化为规律数据和其他数据，例如脑电数据中的电压、电极位置、时间分别转化为有规律的有α波、β波、θ波、δ波，眼电、肌电以及其他非规律数据存储备用；s20306，外接设备数据数字化，外接设备反馈的文本数据数字化。
28.步骤s204可进一步具体为：s20401，数字孪生体容器创建数字孪生体实体；s20402，脑机接口数据按照数字孪生体模型分类；s20403，分类后的脑机接口数据分别导入对应数字孪生体实体的数据存储空间；s20404，数字孪生体实体生成并输出信息。
29.步骤s205进一步具体为：s20501，脑机接口物理实体获取脑电指令；s20502，脑机接口物理实体把脑电指令发送到对应的脑机接口数字孪生体；s20503，脑机接口数字孪生体处理脑电指令并转化为对外接设备的操作指令；s20504，脑机接口数字孪生体发送操作指令到外接设备；s20505，外接设备接收操作指令并执行；s20506，外接设备反馈操作指令执行结果到脑机接口数字孪生体；s20507，脑机接口数字孪生体把操作指令执行结果反馈到操作终端。
30.步骤s206可进一步具体为：
s20601，扩展数字孪生体模型类别；s20602，扩展数字孪生体模型的维度；s20603，扩展数字孪生体模型对应数据存储空间。
31.应该理解的是，虽然如上所述的实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
32.在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图3所示。该计算机设备包括处理器、存储器、输入/输出接口和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种结合数字孪生的脑机接口方法。
33.本领域技术人员可以理解，图3中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
34.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
35.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
36.在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
37.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
38.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。