一种体表医学标注符号智能识别与理疗机器人精准定位方法及系统与流程

本发明属于理疗机器人控制，具体来说是一种体表医学标注符号智能识别与理疗机器人精准定位方法及系统。

背景技术：

1、在物理治疗、中医推拿、运动康复等理疗领域，操作点位的精准定位直接关系到疗效与患者安全。传统临床实践中，问诊医师在完成评估后，通常使用皮肤安全记号笔在患者体表绘制几何符号（如圆圈、叉叉、箭头等），以标注后续理疗的目标区域、操作方式及禁忌部位。该手绘标注方法直观、灵活，已在临床广泛采用，但在向自动化理疗机器人系统传递信息时，存在以下突出技术瓶颈：

2、（1）人工目视定位精度不足。 操作者依赖肉眼判断符号中心，受视角、光照及经验差异影响，定位误差通常达5～20 mm，难以满足穴位按摩、脊柱矫正等高精度操作的需求，易导致疗效偏离或安全风险。

3、（2）人机信息传递效率极低。 目前机器人系统获取目标点位主要依赖人工拖拽末端执行器或通过app界面手动逐点设定，流程繁琐耗时。对于包含10个以上标注点的复杂理疗方案，单次定位往往需15分钟以上，严重制约了理疗机器人的临床推广。

4、（3）标注语义无法结构化解析。 手绘符号不仅表示位置，还承载操作语义（如施力区、规避区、方向指示等），而现有系统缺乏自动识别符号类别并将其映射为机器人动作参数的技术手段，导致信息传递断层。

5、（4）缺乏跨体表区域的通用解决方案。 已有计算机辅助定位方案多针对特定部位（如背部或颈部）设计，难以适应四肢、头面等多部位形态差异，通用性不佳。

6、近年来，深度学习目标检测技术发展迅速，yolov9作为最新代表性架构，引入可编程梯度信息（pgi）机制与广义高效层聚合网络（gelan-c），在复杂背景下的小目标检测中表现出优异性能（推理速度>60 fps，map领先），具备实时理疗导航的潜力。然而，目前尚无将yolov9应用于体表医学标注符号多类别识别，并进一步集成至理疗机器人一键定位与自动执行系统的完整技术方案。

技术实现思路

1、为解决上述问题，本发明提供的技术方案为：

2、本发明的一种体表医学标注符号智能识别与理疗机器人精准定位方法，所述方法包括如下步骤

3、s1、问诊标注阶段：问诊人员通过移动端设备在患者体表图像上绘制医学标注符号，并为每个符号设置操作语义及治疗参数；

4、s2、图像采集与预处理阶段：采集患者体表彩色图像及深度信息，执行对比度增强与深度滤波预处理；

5、s3、多类别符号检测阶段：通过经专项数据集训练的神经网络模型，对预处理图像进行实时目标检测，输出符号类别标签、边界框坐标及置信度评分；

6、s4、几何中心点精确计算阶段：分别计算每个符号几何中心像素坐标(u*, v*)；

7、s5、三维坐标映射阶段：利用相机内参矩阵k与深度值d通过针孔相机反投影模型将中心点像素坐标转换至相机坐标系，再经手眼标定外参矩阵t_cam_to_base变换至机器人基坐标系，得到毫米级三维物理坐标；

8、s6、运动规划与执行阶段：解析标注语义生成有序理疗点序列，执行逆运动学求解、五次多项式轨迹规划及全路径碰撞预检，经操作员ar可视化确认后，机器人自动执行全部理疗操作，全程实施实时碰撞监测与力控反馈。

9、优选地，所述步骤s2中的经专项数据集训练的神经网络模型具体为

10、构建专项体表医学标注符号数据集并进行神经网络模型得到所述神经网络模型；

11、包括如下步骤

12、（1）原始数据采集；

13、（2）数据标注；

14、（3）预训练模型；

15、（4）模型优化；

16、（5）验证评估。

17、优选地，所述步骤（3）具体为

18、在数据集上预训练的yolov9-c权重作为迁移学习起点，迁移学习策略为

19、冻结策略：训练第1~50轮（热身阶段）冻结主干网络gelan-c的前10层权重，仅微调颈部fpn+pan层与检测头，学习率lr0=0.001；

20、全网微调：第51~300轮解冻所有层，全网络参与梯度更新，学习率按余弦退火策略从0.01衰减至0.0001；

21、数据增强配置：启用mosaic增强（4图拼接，概率=1.0）、随机水平/垂直翻转（概率=0.5）、随机旋转（±15°）、hsv色域扰动（h=0.015, s=0.7, v=0.4）、随机噪声与模糊；

22、训练超参数：batch_size=16，输入尺寸640×640，优化器sgd（momentum=0.937,weight_decay=0.0005），在nvidia a100 gpu上训练约4小时；

23、其中总训练损失采用pgi辅助分支加权联合损失：

24、l_total = l_main + λ × l_aux ；

25、式中，l_main为主检测头的多任务损失，l_aux为pgi辅助可逆分支的监督损失，λ为平衡权重（默认取0.25），两路损失均反向传播至共享的主干特征提取网络；

26、主检测头损失l_main由三部分组成：

27、l_main = l_cls + l_box + l_dfl

28、l_cls = σ [-y·log(p) - (1-y)·log(1-p)] (二元交叉熵分类损失)

29、l_box = 1 - ciou(b_pred, b_gt) (完整iou边框回归损失)

30、l_dfl = σ [-(y_i+1-y)·log(s_i) - (y-y_i)·log(s_{i+1})] (分布焦点损失)

31、式中，l_cls为二元交叉熵分类损失，y为真值类别标签，p为预测概率；l_box采用ciou（完整iou）损失，综合考虑重叠率、中心点距离与宽高比；l_dfl为分布焦点损失，将边界框坐标建模为离散概率分布，提升精细化定位精度；b_pred、b_gt分别为预测框与真值框；s_i为softmax概率输出。

32、优选地，所述步骤s5具体包括

33、s51、相机内参矩阵k（针孔相机模型）：

34、

35、式中，fx、fy为相机在x/y方向的焦距（像素单位），cx、cy为光学主点坐标（像素单位），由棋盘格标定程序精确确定，重投影误差不大于0.5像素；

36、s52、像素坐标到相机三维坐标反投影：

37、xc = (u* - cx) × d / fx

38、yc = (v* - cy) × d / fy

39、zc = d

40、式中，(u*,v*)为步骤s3输出的中心点像素坐标；d为深度传感器在该像素位置的深度测量值（单位mm，需与rgb图像进行深度-彩色配准）；(xc,yc,zc)为中心点在相机坐标系下的三维坐标，单位mm；

41、s53、相机坐标系到机器人基坐标系变换：

42、p_base = t_cam_to_base × [xc, yc, zc, 1]ᵀ

43、式中，t_cam_to_base为步骤s1.2手眼标定得到的4×4齐次变换矩阵，包含3×3旋转子矩阵r与3×1平移向量t；p_base = [xw,yw,zw,1]ᵀ为中心点在机器人基坐标系下的三维物理坐标，单位mm，精度优于2mm；

44、s54、综合误差分析：系统最终三维定位误差由各项误差均方根合成：

45、σ_total = √(σ_detect² + σ_center² + σ_depth² + σ_calib²)

46、式中，σ_detect≈1px（yolov9检测框误差），σ_center≈0.5px（几何中心算法误差），σ_depth≈1mm（深度传感器误差），σ_calib≈0.3mm（标定残差）；合成精度σ_total <2mm，满足临床理疗精度需求。

47、优选地，所述步骤s6具体包括

48、s61、标注语义解析：系统读取步骤s1输出的结构化标注任务文件，解析每个点位的类别语义及对应的操作参数，生成有序理疗点序列；

49、s62、逆运动学求解：对有序理疗点序列中的每个目标点p_base，结合末端工具接近方向向量n（由符号类别或箭头方向提供），计算机器人关节角目标构型q_tgt：

50、q_tgt = ik(p_base, n, q_seed)

51、式中，ik(·)为机器人逆运动学解算函数（采用数值迭代法或解析法，取决于机器人型号）；p_base为目标点三维坐标；n为末端接近方向向量；q_seed为初始种子关节角（取当前关节角），用于在多解情况下选取最优构型（最小关节运动量准则）；

52、s63、轨迹规划与碰撞预检：在机器人实际运动前，采用五次多项式插补在关节空间规划从当前构型q_curr到目标构型q_tgt的运动轨迹，并执行全路径碰撞预检：

53、q(t)=a3+a1t+a2t5+a3t5+a4t5+a4t5 ；

54、式中，系数a0、a1、a2、a3、a4由起止点的位置、速度（=0）、加速度（=0）六个边界条件唯一确定，保证机器人平滑启停；

55、s64、可视化与操作员确认：轨迹规划完成后，系统在操作界面以增强现实方式叠加显示并等待操作员确认执行；

56、s65、自动执行与实时监控：机器人按规划路径自动依次访问各理疗点并执行对应操作动作。

57、一种体表医学标注符号智能识别与理疗机器人精准定位系统，所述系统用于执行上述的方法，系统包括

58、移动端标注模块，用于供问诊人员在患者体表图像上绘制医学标注符号，并为每个符号设置操作语义及治疗参数，生成结构化标注任务文件；

59、图像采集模块，用于采集患者体表彩色图像及深度信息，并对采集的图像执行对比度增强与深度滤波预处理；

60、多类别符号检测模块，采用经专项数据集训练的神经网络模型，对预处理图像进行实时目标检测，输出符号类别标签、边界框坐标及置信度评分；

61、几何中心精确计算模块，用于根据检测得到的符号类别与边界框，执行类别专属的几何算法，精确计算各符号几何中心像素坐标；

62、三维坐标映射模块，用于利用相机内参矩阵与深度值通过针孔相机反投影模型将中心点像素坐标转换至相机坐标系，再经手眼标定外参矩阵变换至机器人基坐标系，得到三维物理坐标；

63、语义解析与运动规划模块，用于解析所述结构化标注任务文件中的标注语义，生成有序理疗点序列，执行逆运动学求解、轨迹规划及全路径碰撞预检；

64、增强现实可视化确认模块，用于在操作界面以增强现实方式叠加显示检测到的符号点位、机器人末端执行器的规划运动路径及各理疗点的操作参数，供操作员确认或调整执行方案；

65、机器人执行与安全监控模块，用于控制机器人按规划路径自动执行理疗操作，并在执行过程中持续进行实时碰撞监测与力控反馈。

66、优选地，所述多类别符号检测模块采用gelan-c广义高效层聚合网络作为主干特征提取网络，结合可编程梯度信息辅助可逆分支机制进行训练；所述可编程梯度信息辅助分支仅在训练阶段参与梯度计算，推理阶段不参与计算。

67、优选地，所述几何中心精确计算模块包括：

68、圆圈符号计算子模块，用于采用最小二乘圆拟合法计算圆圈符号的几何中心；

69、叉叉符号计算子模块，用于采用双笔画pca主轴交点法计算叉叉符号的几何中心；

70、三角形符号计算子模块，用于采用三顶点重心法计算三角形符号的几何中心；

71、星形符号计算子模块，用于采用凸包中心法计算星形符号的几何中心；

72、方形符号计算子模块，用于采用最小外接矩形中心法计算方形符号的几何中心；

73、方向箭头符号计算子模块，用于采用骨架根部定位与方向角提取法计算方向箭头符号的施力点坐标及方向角。

74、优选地，所述语义解析与运动规划模块将叉叉类规避符号的三维坐标作为障碍约束传入碰撞预检模块，在轨迹规划阶段自动为机器人各连杆设置针对规避点的安全距离约束，确保机器人在执行过程中与规避区域保持不小于30mm的安全间隙；

75、所述方形符号计算子模块还用于根据最小外接矩形的长轴方向、短轴方向与尺寸自动生成光栅扫描路径，机器人末端执行器在方形区域内按行进行平行往复扫描，行间距根据末端工具直径自动计算。

76、优选地，所述移动端标注模块支持手势绘制模式与符号工具栏点选模式，绘制的标注信息以结构化json文件格式传输至所述语义解析与运动规划模块；所述机器人执行与安全监控模块以不低于10hz的频率对未来预测位置的碰撞风险进行滚动验证，并实时更新执行进度；操作员可通过紧急停止按钮随时中止机器人运动。

77、有益效果

78、采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：

79、本发明的一种体表医学标注符号智能识别与理疗机器人精准定位方法及系统，所述方法包括：问诊人员通过移动端设备在患者体表图像上绘制医学标注符号并设置操作语义及治疗参数；采集患者体表彩色图像及深度信息并执行预处理；通过经专项数据集训练的神经网络模型进行实时目标检测，输出符号类别标签、边界框坐标及置信度评分；分别计算每个符号几何中心像素坐标；利用相机内参矩阵与深度值通过针孔相机反投影模型将中心点像素坐标转换至相机坐标系，再经手眼标定外参矩阵变换至机器人基坐标系，得到三维物理坐标；解析标注语义生成有序理疗点序列，执行逆运动学求解、轨迹规划及全路径碰撞预检，经ar可视化确认后机器人自动执行理疗操作。本发明将深度学习目标检测、类别专属几何中心计算、手眼标定三维映射与机器人运动规划控制相融合，实现了体表医学标注符号从人工绘制到机器人自动执行的全流程智能化，显著提升了理疗机器人的定位精度、操作效率与临床安全性，可广泛应用于物理治疗、中医推拿及运动康复领域。