多靶点时域干涉刺激参数优化方法和系统
本发明涉及时域干涉刺激,尤其涉及一种多靶点时域干涉刺激参数优化方法和系统。
背景技术:
1、时域干涉刺激通过向头部施加频率相近的高频电流,使不同载波形成低频包络,从而为非侵入式深部神经调控提供了一种技术路径。刺激效果与电极位置、载波频率、电流分配、头部组织电学特性以及靶点位置等因素有关。
2、许多神经系统疾病涉及多个脑区或多个网络节点,治疗计划可能需要同时兼顾多个靶点,并根据不同治疗目的设置相同或不同的刺激优先级。若分别优化各靶点后再叠加刺激方案,容易出现电流预算冲突、非靶点场强增加或多个靶点之间难以整体平衡的问题。
3、因此,有必要提供一种能够接收多靶点任务条件,在统一约束下联合确定刺激参数,并依据电场评价结果持续优化的技术方案。
技术实现思路
1、为解决背景技术中存在的技术问题,本发明提出一种多靶点时域干涉刺激参数优化方法和系统。
2、第一方面,本发明提出的一种基于强化学习的多靶点时域干涉刺激参数优化方法,包括:
3、获取待刺激靶点参数集合;其中,待刺激靶点参数集合包括靶点、非靶点、多靶点权重向量和载波频率对;
4、利用训练好的深度强化学习智能体根据待刺激靶点参数集合,输出刺激方案;
5、对刺激方案进行电流归一化和安全约束处理,并将通过电流归一化和安全约束处理的刺激方案作为多靶点tis刺激方案;
6、其中,深度强化学习智能体包括:环境状态编码器、电极位置解码器和电极电流解码器;
7、环境状态编码器用于对状态空间产生的随机状态向量进行多尺度特征提取,并在提取过程中根据多靶点权重向量对每个尺度的中间特征进行film特征线性调制,得到多尺度编码特征;
8、电极位置解码器用于根据多尺度编码特征,得到候选电极-载波频率的概率分布,并对候选电极-载波频率的概率分布进行类别采样,得到包括各个激活电极及位置信息的离散电极方案;
9、电极电流解码器用于根据多尺度编码特征和离散电极方案,得到正态电流分布参数,并对正态电流分布参数进行高斯采样,得到离散电极方案中各个激活电极的初始电流强度。
10、进一步地,环境状态编码器包括:状态输入层、权重投影器、film调制控制器和编码模块;
11、状态输入层用于接收状态空间产生的随机状态向量,并将随机状态向量进行线性映射,得到状态表示;权重投影器用于接收多靶点权重向量,并将多靶点权重向量进行线性映射;film调制控制器用于将经过线性映射的多靶点权重向量映射为film增益参数和偏置参数;
12、编码模块用于对状态表示进行多尺度特征提取,并在提取过程中基于film增益参数和偏置参数对每个尺度的中间特征进行film特征线性调制,得到多尺度编码特征。
13、进一步地,编码模块包括n个串联的第一残差块,每个第一残差块包括主支和快捷连接分支,主支包括依次连接的层归一化层、高斯误差线性单元激活层和线性层;film增益参数和偏置参数通过film特征线性调制注入每个第一残差块的主支输出的中间特征中。
14、进一步地,电极位置解码器包括依次连接的线性层、双曲正切激活层、多层感知机层、归一化指数函数层和类别采样层。
15、进一步地,电极电流解码器包括拼接层、高斯采样层以及并联在拼接层、高斯采样层之间的第一路径分支和第二路径分支;
16、拼接层用于将环境状态编码器输出的多尺度编码特征和电极位置解码器输出的离散电极方案中各个激活电极的位置信息进行拼接,得到联合特征;第一路径分支用于根据联合特征,得到各个激活电极的电流强度的高斯分布均值参数;第二路径分支用于根据联合特征,得到各个激活电极的电流强度的标准差参数;
17、高斯采样层用于根据各个激活电极的电流强度的高斯分布均值参数和标准差参数构建正态电流分布参数,并在正态电流分布参数中进行高斯采样,得到各个激活电极的初始电流强度;
18、其中,第一路径分支包括依次连接的维度重构层、线性层、双曲正切激活层、多层感知机层;第二路径分支包括依次连接的n个第二残差块、线性层和softplus激活层。
19、进一步地,深度强化学习智能体的训练过程包括:
20、构建目标的先导场张量;
21、构建深度强化学习智能体及其状态空间、混合动作空间和奖励函数;
22、获取多靶点权重向量,通过状态空间从标准正态分布中采样随机状态向量,并将随机状态向量和多靶点权重向量输入智能体,使深度强化学习智能体在混合动作空间中采样得到候选刺激方案;其中,候选刺激方案包括激活电极、每个激活电极所属的载波频率以及初始电流强度;
23、对候选刺激方案进行电流归一化和安全约束处理;
24、根据先导场张量和通过电流归一化和安全约束处理后的候选刺激方案,确定待刺激靶点集合中每个靶点和非靶点的包络电场幅值;
25、根据待刺激靶点集合中每个靶点和非靶点的包络电场幅值,计算奖励函数;
26、基于奖励函数,采用预设的策略梯度算法更新深度强化学习智能体的参数,直至奖励函数收敛,即可得到训练好的深度强化学习智能体。
27、进一步地,深度强化学习智能体的状态空间中的状态向量为服从标准正态分布的随机状态向量;
28、深度强化学习智能体的混合动作空间包括离散子空间和连续子空间,离散子空间用于从候选物理电极集合中选择激活电极及其对应载波频率,并使得每个激活电极均满足预设的单频电极约束;在单频电极约束中,每个激活电极仅分配至一个载波频率;连续子空间用于为每个激活电极分配初始电流强度。
29、进一步地,深度强化学习智能体的奖励函数具体为:
30、;
31、;
32、式中,为奖励函数,为加权多靶点聚焦指标,,为靶点的总数量,表示多靶点权重向量中第个靶点的权重;表示第个靶点内包络电场幅值最高10%有限元单元的平均值;表示非靶点内包络电场幅值最高10%有限元单元的平均值,为激活阈值惩罚。
33、进一步地,安全约束处理过程包括:
34、对于离散电极方案中分配给每个载波频率的激活电极集合,对每个激活电极集合的电流执行均值中心化,使得每个载波频率的净电流为零:
35、对每个激活电极集合中各个执行过均值中心化的初始电流强度均进行两级缩放,使得每个载波频率的激活电极的电流均满足预设的单电极电流约束,且每个载波频率的总阳极电流满足预设的总阳极电流约束;
36、在单电极电流约束中,任一激活电极电流绝对值不超过单电极安全阈值;
37、在总阳极电流约束中,每个载波频率的所有阳极电流总和不超过总阳极电流阈值。
38、进一步地,策略梯度算法采用reinforce算法,并引入批次相关基线以降低梯度方差;
39、在每个训练批次中,深度强化学习智能体根据输入的随机状态向量和多靶点权重向量采样个刺激方案,计算个刺激方案中每个刺激方案对应奖励;基于每个刺激方案的奖励和该训练批次的批次相关基线,得到每个刺激方案的优势函数;基于该训练批次中所有刺激方案的优势函数,计算该训练批次的损失函数;通过反向传播更新智能体参数,反复迭代直至奖励收敛;
40、其中,批次相关基线为:;式中,为批次相关基线,为训练批次内的刺激方案的奖励;为批大小,即每个训练批次的刺激方案的总数量;为基线混合系数;
41、其中,优势函数为:;式中,为优势函数,为该训练批次的第k刺激方案的奖励,;
42、其中,损失函数为:;式中,为训练批次的损失函数,为reinforce算法的参数的策略网络,为该训练批次的第k刺激方案所选择的动作。
43、第二方面,本发明还提出了一种基于强化学习的多靶点时域干涉刺激参数优化系统,包括:
44、获取模块,用于获取待刺激靶点参数集合;
45、优化模块,用于利用训练好的深度强化学习智能体根据待刺激靶点参数集合,输出刺激方案;
46、电流归一化和安全约束处理模块,用于对刺激方案进行电流归一化和安全约束处理,并将通过电流归一化和安全约束处理的刺激方案作为多靶点tis刺激方案;
47、其中,深度强化学习智能体包括:环境状态编码器、电极位置解码器和电极电流解码器;
48、环境状态编码器用于对状态空间产生的随机状态向量进行多尺度特征提取,并在提取过程中根据多靶点权重向量对每个尺度的中间特征进行film特征线性调制,得到多尺度编码特征;
49、电极位置解码器用于根据多尺度编码特征,得到候选电极-载波频率的概率分布,并对候选电极-载波频率的概率分布进行类别采样,得到包括各个激活电极的位置信息的离散电极方案;
50、电极电流解码器用于根据多尺度编码特征和离散电极方案,得到正态电流分布参数,并对正态电流分布参数进行高斯采样,得到离散电极方案中各个激活电极的初始电流强度。
51、本发明将多个靶点及其相对刺激需求作为统一的任务条件,能够在同一优化任务中联合处理电极选择、载波频率分配和电流确定;在满足预设物理和设备约束的条件下生成刺激方案;而且,支持不同受试者、不同靶点组合和不同优先级配置下的参数规划。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com