外部设备的控制方法、系统、电子设备和存储介质与流程

本技术涉及脑机接口控制领域，具体而言，涉及一种外部设备的控制方法、系统、电子设备和存储介质。

背景技术：

1、目前，针对脑机接口（brain-computer interface，简称为bci）的外部设备的控制方法，可以通过单一多分类模型和二分类模型，对生物对象的运动想象进行分类，以确定外部设备所需执行的动作，并控制外部设备执行上述动作的方法。

2、针对上述单一多分类模型的外部设备控制方法，一方面，针对生物对象的节律性动作所对应的运动想象，在生物对象的脑部具有高度同源性。比如，触发节律性动作的脑电信号较为相似，且激活上述两种动作的脑区相邻，若利用单一多分类模型，容易出现对节律性动作的运动想象进行分类的分类边界模糊，使得解码准确率下降，动作误触发率高，难以准确控制外部设备。另一方面，为了捕捉大量不同动作在运动想象上的细微差异，需要大量高质量的训练数据训练单一多分类模型，使得单一多分类模型的复杂度和训练难度较高，从而使得单一多分类模型的稳定性差，难以满足对外部设备的精准控制需求。

3、针对上述二分类模型的外部设备控制方法，为了提升分类稳定性，可以将动作想象分类简化为是否运动的二分类问题，但是难以区分节律性动作，且通过简单的是否运动的判断，难以根据运动想象，直接驱动外部设备执行动作，导致难以满足对外部设备的精准控制需求。

4、综上所述，仍存在外部设备的控制准确性低的技术问题。

5、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本技术实施例提供了一种外部设备的控制方法、系统、电子设备和存储介质，以至少解决外部设备的控制准确性低的技术问题。

2、根据本技术实施例的一个方面，提供了一种外部设备的控制方法。该方法可以包括：从解码模型集中，确定外部设备的执行状态匹配的目标解码模型，其中，外部设备用于辅助生物对象，按照时间周期轮流执行多种动作，执行状态用于表征多种动作中待执行的目标动作，不同执行状态与解码模型集中的不同解码模型匹配；将生物对象的脑电信号，输入至目标解码模型中进行解码，得到解码结果，其中，脑电信号用于表征生物对象的运动想象，多种动作包括运动想象对应的动作；基于解码结果，生成控制指令；基于控制指令，驱动外部设备执行目标动作。

3、可选地，不同执行状态对应不同目标动作，不同目标动作与解码模型集中的不同解码模型匹配，从解码模型集中，确定外部设备的执行状态匹配的目标解码模型，包括：确定执行状态对应的目标动作；从解码模型集中，选择出目标动作匹配的目标解码模型，其中，目标解码模型能够确定外部设备处于运动状态或处于静息状态。

4、可选地，多种动作至少包括：第一动作和第二动作，外部设备用于辅助生物对象，按照时间周期交替执行第一动作和第二动作，确定执行状态对应的目标动作，包括：响应于执行状态表示生物对象已执行第一动作，且即将执行第二动作，将第二动作确定为目标动作；响应于执行状态表示生物对象已执行第二动作，且即将执行第一动作，将第一动作确定为目标动作。

5、可选地，不同目标动作由外部设备中的不同执行机构执行，从解码模型集中，选择出目标动作匹配的目标解码模型，包括：响应于目标动作为第二动作，从解码模型集中，选择出第二动作匹配的第一目标解码模型，其中，第一目标解码模型与不同执行机构中的第一执行机构对应，第一目标解码模型能够确定第一执行机构在运动想象下期望处于运动状态或处于静息状态；响应于目标动作由第二动作切换为第一动作，将第一目标解码模型切换为解码模型集中第一动作匹配的第二目标解码模型，其中，第二目标解码模型与不同执行机构中的第二执行机构对应，第二目标解码模型能够确定第二执行机构在运动想象下期望处于运动状态或处于静息状态。

6、可选地，第一动作和第二动作互为生物对象的对侧动作或同侧拮抗动作。

7、可选地，从解码模型集中，确定外部设备的执行状态匹配的目标解码模型，包括：响应于执行状态与解码系统的指令状态一致，控制解码系统从解码模型集中，确定执行状态匹配的目标解码模型，其中，指令状态用于表征解码系统指示外部设备需要待执行的动作。

8、可选地，响应于执行状态与解码系统的指令状态一致，控制解码系统从解码模型集中，确定执行状态匹配的目标解码模型，包括：响应于解码系统首次运行，且执行状态与解码系统的默认指令状态一致，控制解码系统从解码模型集中，确定执行状态匹配的目标解码模型，其中，默认指令状态用于表征解码系统指示外部设备需要待执行的默认动作；在解码系统首次运行之后，响应于执行状态与解码系统的当前指令状态一致，控制解码系统从解码模型集中，确定执行状态匹配的目标解码模型，其中，当前指令状态用于表征解码系统指示外部设备需要从多种动作中当前已执行的动作，切换至多种动作中即将执行的动作。

9、可选地，该方法还包括：响应于执行状态与解码系统的指令状态不一致，禁止解码系统从解码模型集中，确定执行状态匹配的目标解码模型，其中，外部设备进入安全静止状态。

10、可选地，解码结果包括分类结果和置信度，分类结果用于表示在运动想象下期望外部设备处于运动状态，以执行目标动作，或者，期望外部设备处于静息状态，置信度用于表示分类结果的可信程度，将生物对象的脑电信号，输入至目标解码模型中进行解码，得到解码结果，包括：控制解码系统，将脑电信号输入至目标解码模型中进行解码，得到分类结果和置信度。

11、可选地，基于解码结果，生成控制指令，包括：响应于分类结果表示运动想象下期望外部设备处于运动状态，以执行目标动作，且置信度大于置信度阈值，生成用于驱动外部设备中执行机构的控制指令，其中，不同目标动作由外部设备中的不同执行机构执行。

12、可选地，多种动作至少包括：第一动作和第二动作，控制指令包括第一控制指令和第二控制指令，第一控制指令用于驱动不同执行机构中的第一执行机构，以执行第二动作，第二控制指令用于驱动不同执行机构中的第二执行机构，以执行多种动作中的第一动作，基于控制指令，驱动外部设备执行目标动作，包括：响应于第一控制指令，驱动第一执行机构执行第二动作，且协同驱动外部设备中的脊髓电刺激器，对生物对象执行针对第二动作的激活操作；或者，响应于第二控制指令，驱动第二执行机构执行第一动作，且协同驱动外部设备中的脊髓电刺激器，对生物对象执行针对第一动作的激活操作。

13、可选地，该方法还包括：响应于分类结果表示期望外部设备处于静息状态，和/或，置信度小于或等于置信度阈值，控制外部设备保持静止状态。

14、可选地，在基于控制指令，驱动外部设备执行目标动作之后，该方法还包括：获取解码系统的目标指令状态，其中，目标指令状态用于表征在解码系统将脑电信号输入至目标解码模型中进行解码，得到解码结果之后，解码系统指示外部设备需要从多种动作中当前已执行的动作，切换至多种动作中即将执行的动作；从解码模型集中，确定目标指令状态匹配的目标解码模型，返回从以下步骤开始执行：将生物对象的脑电信号，输入至目标解码模型中进行解码，得到解码结果。

15、可选地，该方法还包括：获取外部设备执行目标动作之后的执行状态，得到更新执行状态；从解码模型集中，确定目标指令状态匹配的目标解码模型，包括：响应于更新执行状态与目标指令状态一致，控制解码系统从解码模型集中，确定与更新执行状态和目标指令状态匹配的目标解码模型。

16、可选地，从解码模型集中，确定目标指令状态匹配的目标解码模型，包括：响应于获取外部设备执行目标动作之后的执行状态失败，从解码模型集中，确定目标指令状态匹配的目标解码模型。

17、可选地，外部设备包括用于执行不同动作的不同执行机构，不同动作包括第一动作和第二动作，外部设备用于辅助生物对象，按照时间周期交替执行第一动作和第二动作，不同执行机构中的第一执行机构用于执行第二动作，不同执行机构中的第二执行机构用于执行第一动作，该方法还包括：分别确定第一动作对应的第一脑电信号样本、第二动作对应的第二脑电信号样本，以及静息数据样本，其中，第一脑电信号样本用于表征生物对象样本的运动想象对应的第一动作，第二脑电信号样本用于表征生物对象样本的运动想象对应的第二动作，静息数据样本为用于表征生物对象未产生目标动作对应的运动想象时的脑电信号样本，且静息数据样本在第一执行机构或第二执行机构处于静息状态的过程中采集到；利用第一脑电信号样本和静息数据样本，训练得到解码模型集中的第二目标解码模型，以及利用第二脑电信号样本和静息数据样本，训练得到解码模型集中的第一目标解码模型。

18、可选地，第二目标解码模型能够确定第二执行机构在输入脑电信号对应的运动想象下期望处于运动状态或处于静息状态，第一目标解码模型能够确定第一执行机构在输入脑电信号对应的运动想象下期望处于运动状态或处于静息状态。

19、可选地，该方法还包括：对采集到的脑电信号进行预处理，其中，预处理后的脑电信号的稳定性高于预处理前的脑电信号的稳定性；将生物对象的脑电信号，输入至目标解码模型中进行解码，得到解码结果，包括：将预处理后的脑电信号，输入至目标解码模型中进行解码，得到解码结果。

20、根据本技术实施例的另一方面，还提供了另一种外部设备的控制方法。该方法可以包括：从解码模型集中，确定康复辅助装置的执行状态匹配的目标解码模型，其中，康复辅助装置用于辅助康复训练对象按照时间周期轮流执行多种动作，多种动作中的第一动作和第二动作互为康复训练对象的对侧动作或同侧拮抗动作，执行状态用于表征多种动作中待执行的目标动作，不同执行状态与解码模型集中的不同解码模型匹配；将康复训练对象的脑电信号，输入至目标解码模型中进行解码，得到解码结果，其中，脑电信号用于表征康复训练对象的运动想象，多种动作包括运动想象对应的动作；基于解码结果，生成控制指令；基于控制指令，驱动康复辅助装置执行目标动作。

21、根据本技术实施例的另一方面，还提供了一种外部设备的控制系统。该系统可以包括：双模型管理模块，用于从解码模型集中，确定外部设备的执行状态匹配的目标解码模型，其中，外部设备用于辅助生物对象，按照时间周期轮流执行多种动作，执行状态用于表征多种动作中待执行的目标动作，不同执行状态与解码模型集中的不同解码模型匹配；分类输出模块，用于将生物对象的脑电信号，输入至目标解码模型中进行解码，得到解码结果，以及基于解码结果，生成控制指令，其中，脑电信号用于表征生物对象的运动想象，多种动作包括运动想象对应的动作；驱动模块，用于基于控制指令，驱动外部设备执行目标动作。

22、可选地，该系统还包括以下至少之一：脑电采集模块，用于采集生物对象的脑电信号；外设状态反馈模块，用于确定外部设备执行目标动作之后的执行状态，得到更新执行状态；将更新执行状态确定为执行状态，返回从以下步骤开始执行：从解码模型集中，确定外部设备的执行状态匹配的目标解码模型；模型训练模块，用于利用不同动作对应的不同脑电信号样本和相同的静息数据样本，训练得到解码模型集中的解码模型，其中，脑电信号样本用于表征生物对象样本期望通过外部设备中的执行机构执行多种动作中的动作，静息数据样本为用于表征生物对象未产生目标动作对应的运动想象时的脑电信号样本，且静息数据样本在执行机构处于静息状态的过程中采集到；预处理模块，用于对采集到的脑电信号进行预处理，其中，预处理后的脑电信号的稳定性高于预处理前的脑电信号。

23、根据本技术实施例的另一方面，还提供了一种外部设备的控制装置。该装置可以包括：第一确定模块，用于从解码模型集中，确定外部设备的执行状态匹配的目标解码模型，其中，外部设备用于辅助生物对象，按照时间周期轮流执行多种动作，执行状态用于表征多种动作中待执行的目标动作，不同执行状态与解码模型集中的不同解码模型匹配；第一解码模块，用于将生物对象的脑电信号，输入至目标解码模型中进行解码，得到解码结果，其中，脑电信号用于表征生物对象的运动想象，多种动作包括运动想象对应的动作；第一生成模块，用于基于解码结果，生成控制指令；第一驱动模块，用于基于控制指令，驱动外部设备执行目标动作。

24、根据本技术实施例的另一方面，还提供了另一种外部设备的控制装置。该装置可以包括：第二确定模块，用于从解码模型集中，确定康复辅助装置的执行状态匹配的目标解码模型，其中，康复辅助装置用于辅助康复训练对象按照时间周期轮流执行多种动作，多种动作中的第一动作和第二动作互为康复训练对象的对侧动作或同侧拮抗动作，执行状态用于表征多种动作中待执行的目标动作，不同执行状态与解码模型集中的不同解码模型匹配；第二解码模块，用于将康复训练对象的脑电信号，输入至目标解码模型中进行解码，得到解码结果，其中，脑电信号用于表征康复训练对象的运动想象，多种动作包括运动想象对应的动作；第二生成模块，用于基于解码结果，生成控制指令；第二驱动模块，用于基于控制指令，驱动康复辅助装置执行目标动作。

25、根据本技术实施例的另一方面，还提供了一种电子设备，包括：存储器，存储有可执行程序；处理器，用于运行程序，其中，程序运行时执行本技术实施例各个实施例中的方法。

26、根据本技术实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的可执行程序，其中，在可执行程序运行时控制计算机可读存储介质所在设备执行本技术实施例各个实施例中的方法。

27、根据本技术实施例的另一方面，还提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本技术实施例各个实施例中的方法。

28、在本技术实施例中，一方面，考虑到按照时间周期轮流执行的动作的节律特性和周期特征，利用外部设备的执行状态，从解码模型集中确定执行状态匹配的目标解码模型，利用该目标解码模型实现对生物对象的脑电信号进行解码，以向外部设备输出控制指令，进而驱动外部设备针对执行状态对应的目标动作进行执行。由于本技术实施例将针对运动想象的多分类问题，解耦为多个解码模型，并且外部设备的不同执行状态与解码模型集中的不同解码模型匹配，从而避免采用单一多分类模型导致的难以对节律性动作的运动想象进行准确分类、动作误触发率高，以及采用二分类模型难以区分节律性动作。另一方面，本技术实施例通过将多分类模型解耦为不同解码模型，大幅度减少了单个模型需要区分的动作种类，显著降低了模型复杂度和训练难度，从而提高了模型稳定性，达到了利用执行状态匹配的解码模型，解码脑电信号的准确性的目的，进而实现了提高外部设备的控制准确性的技术效果，解决了外部设备的控制准确性低的技术问题。