磁性微机器人的量子控制策略训练与部署方法及相关设备
本技术涉及微机器人智能控制,尤其涉及一种磁性微机器人的量子控制策略训练与部署方法及相关设备。
背景技术:
1、磁性微机器人在生物医学(如靶向给药、微创活检、组织修复)等领域具有应用前景。由于尺寸微小,微机器人难以集成传感、供能与通信器件,通常依靠外部磁场进行无线驱动与操控,其运动还受低雷诺数效应、布朗运动等复杂物理现象影响,精确自主控制困难。
2、现有微机器人运动控制技术存在以下不足:
3、1)传统控制方法(如 pid 控制、非线性自适应控制等)依赖带有大量简化假设的近似系统模型,需要建立涵盖微机器人动力学、环境因素与驱动机构的完整模型,在人体内部等复杂环境中难以实用。
4、2)深度强化学习(drl)方法虽可摆脱对精确建模的依赖,但依赖包含大量可训练参数的深度神经网络。例如,用于微机器人控制的柔性动作-评价(sac)算法约需优化十几万个参数,深度 q 网络(dqn)约需数十万个参数;当采用卷积神经网络处理图像输入时,参数量可达数十万乃至数千万个。参数量激增导致计算与内存开销大、训练更新次数多、推理时延高,难以部署于对能耗、算力与实时性要求苛刻的微机器人控制平台。
5、3)量子强化学习(qrl)以变分量子电路作为函数逼近器,可大幅压缩可训练参数数量,但现有 qrl 研究基本局限于仿真环境,尚无在物理微机器人系统上实现闭环控制的技术方案,也缺乏应对真实量子硬件噪声、退相干与读出误差、以及云端访问排队时延的可行实施途径。
6、4)小状态空间上训练得到的控制器在大范围、通道曲折、含血液等生物介质的复杂环境中直接应用时精度下降,缺乏兼顾全局规划与局部控制的解决方案。
技术实现思路
1、本技术实施例的主要目的在于提出一种磁性微机器人的量子控制策略训练与部署方法、电子设备、存储介质及程序产品,旨在解决现有技术中存在的以下技术问题之一:经典深度强化学习微机器人控制器可训练参数量大、计算与内存开销高、难以在资源受限平台部署,以及量子强化学习难以走出仿真、无法在真实量子硬件与物理微机器人系统间形成闭环控制的技术问题。
2、为实现上述目的,本技术实施例的一方面提出了一种磁性微机器人的量子控制策略训练与部署方法,所述方法包括:
3、构建由电磁线圈致动系统与视觉反馈模块组成的闭环控制环境,将工作区离散化为网格并定义离散动作,每个离散动作对应施加于电磁线圈的一组预定义电流;
4、将所述网格划分为若干空间区域,将微机器人所在区域的索引编码为二进制向量,并通过单量子比特旋转门将所述二进制向量制备为变分量子电路的输入量子态;
5、构建变分量子深度q网络,以变分量子电路替代经典深度q网络中的价值估计神经网络,计算各离散动作的动作价值;
6、基于各离散动作的动作价值选择动作并与所述闭环控制环境交互,将产生的状态转移样本存入经验回放池,随机采样小批量样本,由目标电路计算目标q值并构建损失,更新所述变分量子深度q网络的参数,所述目标电路的参数周期性地与所述变分量子深度q网络的参数同步;
7、将训练好的电路参数部署于量子计算单元,在线控制时将环境状态发送至所述量子计算单元,由其根据各离散动作的动作价值执行策略电路并返回控制动作,所述控制动作映射为线圈电流指令以驱动微机器人运动,直至到达目标。
8、在一些实施例中,将工作区离散化为网格的步骤中,将工作区离散化为网格;将所述网格划分为若干空间区域的步骤中,将所述网格划分为共16个空间区域,区域索引编码为4位二进制向量,满足;对每一位在对应量子比特上施加旋转门与,使每个离散空间区域唯一映射至一个计算基态。
9、在一些实施例中,所述变分量子电路包括4个量子比特与l个变分层,其中,每个变分层包括由cnot门构成的纠缠链以及施加于每个量子比特的参数化旋转;其中,表示绕布洛赫球z轴旋转角度的单量子比特旋转门,其矩阵形式为;表示绕布洛赫球y轴旋转角度的单量子比特旋转门,其矩阵形式为;表示绕布洛赫球z轴旋转角度的单量子比特旋转门,其矩阵形式为;、、均为可训练的变分参数,三者的组合构成任意单量子比特酉变换的通用分解形式,因而所述参数化旋转不限于上述特定的旋转轴次序,任何能够表示通用单量子比特旋转的旋转门组合均落入本技术的保护范围。
10、所述纠缠链依次包括cnot(0,1)、cnot(1,2)与cnot(2,3),其中cnot(p,q)表示以第p个量子比特为控制位、第q个量子比特为目标位的受控非门,用于在相邻量子比特之间建立量子纠缠,使各量子比特的测量结果相互关联,从而以少量参数获得逼近动作价值函数所需的表达能力。;
11、测量各量子比特的泡利z期望值,第个离散动作的动作价值为,其中为可训练偏置,每个量子比特对应一个候选动作。由于〈的取值范围为[-1,1],所述可训练偏置用于将电路输出平移至回报函数所对应的动作价值量程,无需附加经典神经网络层进行后处理。
12、在一些实施例中,所述变分量子电路采用2个变分层,可训练参数总数为28个,包括24个旋转角参数与4个偏置项。
13、在一些实施例中,所述基于各离散动作的动作价值选择动作,具体包括:
14、采用ε-贪婪策略选择动作,所述ε-贪婪策略的探索率按随训练回合衰减;所述目标电路与所述变分量子电路结构相同,所述目标q值由所述目标电路按计算;所述目标电路的参数每隔预设全局步数与所述变分量子深度q网络的当前参数同步。
15、在一些实施例中,所述构建损失所依据的回报函数基于微机器人与目标间欧氏距离的变化设置,动作使距离减小时给予正回报,动作无效时给予负回报,到达目标区域时给予终止正回报并结束回合。
16、在一些实施例中,所述离散动作对应的电流通过逆动力学方法构建,由磁转矩与流体阻力矩、表面摩擦力矩的平衡关系及电磁配置矩阵的逆映射求得理论电流向量,并与实验标定电流向量按加权融合,其中为权重系数,。
17、在一些实施例中,所述量子计算单元为经云端应用程序接口连接的真实量子处理器,训练好的电路参数经所述接口传输至所述真实量子处理器;在线控制采用离散时间协议,微机器人在收到所述真实量子处理器返回的控制动作之前保持静止。
18、在一些实施例中,所述方法还包括以下步骤:
19、将所述变分量子深度q网络与a*路径规划算法相集成;由所述a*算法实时计算从起点至最终目标的无碰撞全局路径,并在所述路径上确定路径点作为局部目标,映射至局部工作区;由所述变分量子深度q网络作为底层局部控制器引导微机器人依次到达各路径点;当微机器人越出预设边界时由所述a*算法重新规划路径,直至到达最终目标。
20、为实现上述目的,本技术实施例的另一方面提出了一种电子设备,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上所述的方法。
21、为实现上述目的,本技术实施例的另一方面提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上所述的方法。
22、为实现上述目的,本技术实施例的另一方面提出了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上所述的方法。
23、本技术实施例至少包括以下有益效果:本技术提供一种磁性微机器人的量子控制策略训练与部署方法、电子设备、存储介质及程序产品,该方案通过构建由电磁线圈致动与视觉反馈组成的闭环控制环境、将工作区离散化并建立从空间区域索引到二进制向量再到量子计算基态的编码映射、以每个量子比特对应一个候选动作的变分量子电路替代经典深度q网络计算各离散动作价值、并基于该动作价值完成策略训练与量子计算单元部署的完整技术方案,实现了以极少量可训练参数完成物理微机器人实时闭环控制的有益效果——相较于依赖大规模深度神经网络的传统方法,变分量子电路因其结构与控制任务(状态空间到动作空间的映射)天然契合,每个状态仅需一次前向计算即可获得全部候选动作价值,从根本上压缩了可训练参数量并降低了推理时延,使得控制策略能够在算力、功耗与存储空间受限的微机器人平台上稳定部署与实时运行;同时,训练与部署阶段均基于同一变分量子电路架构,保证了策略从量子模拟器到真实量子计算单元的无缝迁移,为磁性微机器人在复杂物理环境中的自主导航提供了兼具紧凑性、实时性与硬件适应性的可行解决方案。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com