一种瞳孔追踪方法及其BPPV智能辅助诊断方法与系统

一种瞳孔追踪方法及其bppv智能辅助诊断方法与系统
技术领域
1.本发明涉及bppv智能虚拟辅助诊断技术领域，更具体地说，本发明涉及一种瞳孔追踪方法及其bppv智能辅助诊断方法与系统。


背景技术：

2.良性阵发性位置性眩晕(benign positional paroxysmal vertigo，bppv)是临床眩晕症中最常见的一种。视频眼震图(videonystagmograph，vng)的普及应用使眼震方向的判断更加客观、方便。有学者将其与bppv诊治相结合，使得患者在各个体位诱发的眼震可以更直观、客观地被记录与分析。
3.近年来，bppv的定位诊断和复位都基于医者目测到的眼震，但旋转性眼震的方向常常不易辨别，加之一些细小眼震容易被肉眼所忽略，影响了bppv的定位诊断和后续复位治疗。2015年国医华科(天津)医疗科技集团有限公司研制的眩晕综合诊疗系统，对眼震图采集系统进行改进，实现了眼震轴向识别，可以捕捉轴向旋转等复杂眼震数据，可以有效的对良性阵发性位置性眩晕症进行辅助诊断及治疗。但是bppv诊疗仍存在以下不足：
4.(1)半规管空间方位数据缺乏不管是bppv的诊断还是治疗，都高度依赖半规管空间方位知识，尤其背地眼震hsp-bppv判断患侧常需要次要定位体征来进行判断，更是高度依赖壶腹嵴空间方向知识，其定位判断更是存在争议。
5.(2)诊断手法和复位方法的合理性。基于带空间方向的半规管模型对bppv的诊断手法和复位手法进行分析可以发现，传统的诊断手法和复位手法很多需要进行改良或者重新设计，诊断策略也需要重新设计，甚至次要定位体征的意义也需要重新认定。
6.(3)诊断分析功能有限。由于bppv存在双侧共3对半规管，还分为嵴顶结石症和管结石症，半规管不同位置结石，壶腹嵴不同侧结石，甚至多管结石，而诊断试验发现三半规管bppv都可能诱发眩晕和眼震，使得其诊断分析相当复杂，需要对诊断试验进行改良并重新设计。
7.基于上述，bppv诊疗设备主要是通过眼震的特征来判断病变部位，同时病变部位目前主要针对前庭病变的检测，定位精准度有待提高，因此，如何精准定位bppv病变部位，研究智能虚拟辅助诊断系统与方法，对于辅助临床医生提高bppv的诊治率具有重要的临床意义。


技术实现要素：

8.针对上述技术中存在的不足之处，本发明提供一种瞳孔追踪方法及其bppv智能辅助诊断方法与系统，实现准确、快速的瞳孔分割以及中心定位，为后续的眼震信息获取提供准确的瞳孔位置信息，辅助医生对bppv病人的诊断。
9.为了实现根据本发明的这些目的和其它优点，本发明通过以下技术方案实现：
10.本发明实施例提供一种瞳孔追踪方法，其包括步骤：
11.瞳孔分割：使用基于yolov5的子网络替换deeplabv3 中的xception模型，对眼震
视频的每帧图像进行特征提取，获取1/8大小的第一有效特征层和1/16大小的第二有效特征层；对所述第一有效特征层进行第一卷积处理，将所述第二有效特征层被送入aspp加强特征提取模块进行特征加强，将第一卷积处理后的第一有效特征层和特征加强处理后的第二有效特征层通过ffm模块完成特征融合，获得瞳孔分割结果；
12.瞳孔边界和中心定位：对所述瞳孔分割结果进行瞳孔中心定位，获得瞳孔边界和瞳孔中心位置信息。
13.优选的是，将所述第二有效特征层被送入aspp加强特征提取模块进行特征加强，包括以下步骤：
14.对所述第二有效特征层分别进行5个操作获得5个不同输出；
15.所述5个不同输出依次经一次concat操作和第二卷积处理得到步长为16x的输出；
16.其中，所述5个操作包括1个第三卷积处理、3个不同膨胀率的膨胀卷积处理、1个imagepooling处理。
17.优选的是，特征融合后，还包括步骤：
18.将特征融合后的结果通过第四卷积进行通道调整，并利用resize进行上采样调整输出层大小，获得瞳孔分割结果。
19.优选的是，对所述瞳孔分割结果进行瞳孔中心定位，获得瞳孔边界和瞳孔中心位置信息，包括步骤：
20.获得所述瞳孔分割结果的mask图；
21.将所述mask图二值化；
22.对二值化后mask图进行最小二乘数法的椭圆拟合，获得瞳孔边界和瞳孔中心位置信息。
23.一种应用瞳孔追踪方法的bppv智能辅助诊断方法，其包括以下步骤：
24.获取实时眼震视频；
25.对所述眼震视频的每帧图像进行瞳孔分割和瞳孔中心定位获得瞳孔边界和瞳孔中心位置信息；
26.提取每帧图像的瞳孔中心坐标，根据所述眼震视频中瞳孔中心坐标的变化，分析眼震轨迹，获得实时眼震信息；
27.其中，所述瞳孔分割包括：使用基于yolov5的子网络替换deeplabv3 中的xception模型，对眼震视频的每帧图像进行特征提取，获取1/8大小的第一有效特征层和1/16大小的第二有效特征层；对所述第一有效特征层进行第一卷积处理，将所述第二有效特征层被送入aspp加强特征提取模块进行特征加强，将第一卷积处理后的第一有效特征层和特征加强处理后的第二有效特征层通过ffm模块完成特征融合，获得瞳孔分割结果。
28.优选的是，bppv智能辅助诊断方法还包括以下步骤：
29.获取载体的实际方位三维模型，三维显示旋转过程的实际方位姿态信息；
30.将通用半规管空间模型与载体头部根据所述实际方位姿态信息进行组合，三维显示旋转过程中半规管的实时姿态信息，三维显示实时眼震信息，并根据半规管的实时姿态信息、实际方位姿态信息，控制三维模型的实时旋转，提供可视化调整载体实际方位的导航信息；
31.其中，所述姿态信息包括姿态角、三个方向的加速度以及三维地磁强度；所述姿态
角包括航向角、俯仰角和滚动角。
32.一种应用瞳孔追踪方法的bppv智能辅助诊断系统，其包括：
33.眼震记录单元，其用于获取实时眼震视频；
34.数据处理单元，其用于接收所述实时眼震视频进行瞳孔分割、瞳孔边界和瞳孔中心定位信息，根据所述实时眼震视频中瞳孔中心位置变化，分析眼震轨迹，获得实时眼震信息；
35.其中，所述瞳孔分割包括：使用基于yolov5的子网络替换deeplabv3 中的xception模型，对眼震视频的每帧图像进行特征提取，获取1/8大小的第一有效特征层和1/16大小的第二有效特征层；对所述第一有效特征层进行第一卷积处理，将所述第二有效特征层被送入aspp加强特征提取模块进行特征加强，将第一卷积处理后的第一有效特征层和特征加强处理后的第二有效特征层通过ffm模块完成特征融合，获得瞳孔分割结果。
36.优选的是，bppv智能辅助诊断系统还包括：
37.方位单元，其用于获取载体的实际方位三维模型，三维显示旋转过程的实际方位姿态信息；
38.智能辅助诊断单元，其用于将通用半规管空间模型与载体头部根据所述实际方位姿态信息进行组合，三维显示旋转过程中半规管的实时姿态信息，三维显示实时眼震信息，并根据半规管的实时姿态信息、实际方位姿态信息提供可视化调整载体实际方位的导航信息；
39.其中，所述姿态信息包括姿态角、三个方向的加速度以及三维地磁强度；所述姿态角包括航向角、俯仰角和滚动角。
40.优选的是，所述眼震记录单元包括：
41.光源，其包括四个矩阵排列的近红外光源；
42.二向色镜，其倾斜位于所述光源上方；
43.摄像头模块，其包括镜头、图像传感器以及数字信号处理器；
44.其中，所述镜头设于所述四个矩阵排列的近红外光源中间，所述四个矩阵排列的近红外光源发出近红外光，经所述二向色镜反射水平射入眼部在视网膜上成像；
45.所述镜头接收通过所述二向色镜的眼球反射回来的红外光，形成光学图像，进而投射在所述图像传感器表面转换成电信号，所述数字信号处理器将所述电信号转换成瞳孔实时眼震视频的数字图像信号。
46.优选的是，方位单元包括：
47.三轴陀螺仪，其用于测量载体三个方向的绝对解速率，获得载体实际方位的姿态角；
48.三轴加速度计，其用于测量载体三个方向的加速度；
49.三轴磁阻型磁强计，其用于测量三维地磁强度以提供方向角的初始对准以及修正航向角漂移；
50.信号处理器，其分别与所述三轴陀螺仪、所述三轴加速度计以及三轴磁阻型磁强计通信连接，接收包括所述姿态角、所述三个方向的加速度以及所述三维地磁强度进行信号处理，三维显示实际方位姿态信息。
51.本发明至少包括以下有益效果：
52.1.本发明提供的瞳孔追踪方法，通过基于yolov5和改进deeplabv3 框架的新型目标分割网络框架，以yolov5替换deeplabv3 的xception模型，并添加ffm模块进行特征融合，即可实现准确、快速的瞳孔分割，再加上通孔中心位置定位处理，有利于为后续的眼震信息获取提供准确的瞳孔位置信息，辅助医生对bppv病人的诊断；
53.2.本发明提供的bppv智能辅助诊断方法，通过基于yolov5和改进deeplabv3 框架的新型目标分割网络框架，进行眼震视频中每帧图像的瞳孔分割、瞳孔边界与瞳孔中心位置定位，并进一步提取每帧图像的瞳孔中心坐标，再根据瞳孔中心坐标的变化，分析眼震轨迹，可获得精确地实时眼震信息，辅助医生对bppv病人的诊断；
54.3.本发明提供的bppv智能辅助诊断方法，还包括在获取载体的实际方位三维模型的基础上，将通用半规管空间模型与载体头部根据实际方位姿态信息进行组合，达到可以三维显示旋转过程中半规管的实时姿态信息，三维显示实时眼震信息的效果，并根据半规管的实时姿态信息、实际方位姿态信息提供可视化调整载体实际方位的导航信息，即一方面实现了实时跟踪半规管三维空间变化，获得直观可靠的半规管三维空间实时跟踪变化数据，对于诊断耳石症，研究bppv发病机制以及改良创新复位手法很有帮助，辅助诊断，也可对半规管空间方向个体变异范围进行调节，分析半规管空间方向个体差异对不同复位方法复位效果的影响；另一方面，又可以为矫正机器提供可视化调整载体实际方位的导航信息，将极大提升临床医生的诊断效率。
55.4.本发明提供的bppv智能辅助诊断系统，设置用于获取实时眼震视频和数据处理单元，数据处理单元搭建yolov5和改进deeplabv3 框架的新型目标分割网络框架，实现眼震视频中每帧图像的瞳孔分割、瞳孔边界与瞳孔中心位置定位，并进一步提取每帧图像的瞳孔中心坐标，再根据瞳孔中心坐标的变化，分析眼震轨迹，获得精确的实时眼震信息，辅助医生对bppv病人的诊断；
56.5.本发明提供的bppv智能辅助诊断系统，设置方位单元和智能辅助诊断单元，通过方位单元获取载体的实际方位三维模型，通过智能辅助诊断单元将通用半规管空间模型与载体头部根据实际方位姿态信息进行组合，可以达到三维显示旋转过程中半规管的实时姿态信息、三维显示实时眼震信息的效果，不需要医生肉眼观测，并根据半规管的实时姿态信息、实际方位姿态信息提供可视化调整载体实际方位的导航信息，即一方面实现了实时跟踪半规管三维空间变化，获得直观可靠的半规管三维空间实时跟踪变化数据，对于诊断耳石症，研究bppv发病机制以及改良创新复位手法很有帮助，辅助诊断，也可对半规管空间方向个体变异范围进行调节，分析半规管空间方向个体差异对不同复位方法复位效果的影响；另一方面，又可以为矫正机器提供可视化调整载体实际方位的导航信息，将极大提升临床医生的诊断效率。
57.本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
58.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前
提下，还可以根据这些附图获得其他的附图。
59.图1为本发明提供的瞳孔追踪方法流程图；
60.图2为本发明提供的yolov5-deeplabv3 语义分割网络框架示意图；
61.图3为本发明提供的deeplabv3 网络中decoder模块示意图；
62.图4为本发明提供的deeplabv3 网络中encoder模块示意图；
63.图5(a)为本发明提供的瞳孔分割结果的mask图；
64.图5(b)为本发明提供的瞳孔分割结果mask图的二值化图；
65.图5(c)为本发明提供的基于最小二乘法椭圆拟合获得的瞳孔边界和瞳孔中心位置信息图；
66.图6为本发明提供的基于瞳孔追踪方法的bppv智能辅助诊断方法的流程图；
67.图7为本发明提供的bppv智能辅助诊断方法设置三维显示辅助诊断的方法流程图；
68.图8为本发明提供的bppv智能辅助诊断系统的组成及通信示意图；
69.图9为本发明提供的眼震记录单元的组成与通信示意图；
70.图10为本发明提供的眼震记录单元采集到的实时眼震图片示意图；
71.图11为本发明提供的方位单元的组成与通信示意图；
72.图中：
73.100-眼震记录单元；
74.110-近红外光源；120-二向色镜；130-摄像头模块；
75.131-镜头；132-图像传感器；133-数字信号处理器；
76.200-数据处理单元；
77.300-方位单元；
78.310-三轴陀螺仪；320-三轴加速度计；330-三轴磁阻型磁强计；340-信号处理器；350-温度传感器；
79.400-智能辅助诊断单元。
具体实施方式
80.下面将结合附图对本发明实施例的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
81.下面所述的本发明不同实施方式中使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加；所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
82.《实施方式1》
83.如图1和2所示，本发明实施方式提供一种瞳孔追踪方法，瞳孔分割网络通过集成yolov5和基于deeplabv3 改进的子网络来构建，具体包括以下步骤：
84.s10，瞳孔分割：
85.s11，使用基于yolov5的子网络替换deeplabv3 中的xception模型，对眼震视频的
每帧图像进行特征提取，获取1/8大小的第一有效特征层和1/16大小的第二有效特征层；
86.s12，对第一有效特征层进行第一卷积处理，将第二有效特征层被送入aspp加强特征提取模块进行特征加强，将第一卷积处理后的第一有效特征层和特征加强处理后的第二有效特征层通过ffm模块完成特征融合，获得瞳孔分割结果；
87.s20，瞳孔边界和中心定位：
88.对瞳孔分割结果进行瞳孔中心定位，获得瞳孔边界和瞳孔中心位置信息。
89.步骤s11中，原deeplabv3 网络中使用的backbone为xception模型，其大量使用了深度可分离卷积，这样虽然对语义分割的精确度有较大提升，却使计算速度显著下降；yolov5在目标检测方面具有出色的性能，其主干大量使用的csp结构，解决了优化过程中梯度重复的问题，它支持特征传播和特征重用，从而减少参数和计算量，提升了网络的运行速度，有利于保证网络的实时性能，因此将原deeplabv3 网络中encoder模块的backbone替换为yolov5子网络。对于改进后的deeplabv3 子网，进一步修改了原本deeplabv3 浅层特征层的大小，因为yolov5的1/4大小特征层太过于浅且通道太少只有64，而deeplabv3 的backbone获取的特征层常有256以上，而且1/4大小特征层最后用3*3refine计算量太大，因此步骤s11中分别取1/8大小的第一有效特征层和1/16大小的第二有效特征层，有利于获得更好的分割结果，
90.步骤s12中，对第一有效特征层进行第一卷积处理，用于调整通道数，优选的是，对第一有效特征层进行了1
×
1卷积来调整通道数。aspp(atrous spatial pyramid pooling)，空洞空间卷积池化金字塔。使用aspp加强特征提取模块对1/16大小的第二有效特征层进行特征加强，是在不降采样的前提下增大网络的感受野，增强网络获得多尺度上下文的能力。deeplabv3 采用的融合方式是两个特征层的简单堆叠，ffm模块代替了原先的简单堆叠。ffm模块融合空间路径和上下文路径两条路径的特征具有不错的结果，空间路径捕获的空间信息编码了大部分丰富的细节信息，上下文路径的输出特征主要对上下文信息进行编码，即空间路径的输出特征是低层次的，而上下文路径的输出特征是高层次的。本实施方式步骤s12中经过encoder模块的1/16大小的第二有效特征层包含了充足的上下文信息，为高层次的特征，从yolov5主干中获取的1/8大小的第一有效特征层包含了大部分丰富的细节信息，为低层次的特征，因此，如图3所示，采用ffm模块来融合这些特征相比简单叠加可以获得更好的效果。
91.上述实施方式中，通过基于yolov5和改进deeplabv3 框架的新型目标分割网络框架，以yolov5替换deeplabv3 的xception模型，并添加ffm模块进行特征融合，即可实现准确、快速的瞳孔分割，再加上通孔中心位置定位处理，有利于为后续的眼震信息获取提供准确的瞳孔位置信息，辅助医生对bppv病人的诊断。
92.作为进一步的优选，步骤s12中，将第二有效特征层被送入aspp加强特征提取模块进行特征加强，包括以下步骤：
93.对第二有效特征层分别进行5个操作获得5个不同输出；
94.5个不同输出依次经一次concat操作和第二卷积处理得到步长为16x的输出；
95.其中，5个操作包括1个第三卷积处理、3个不同膨胀率的膨胀卷积处理、1个imagepooling处理。
96.该实施方式中，如图4所示，aspp加强特征提取模块本质上由一个1
×
1的卷积 池
化金字塔 aspp pooling组成，因此，1个第三卷积处理是1
×
1卷积处理，池化金字塔各层的膨胀因子可自定义，因此，3个不同膨胀率可自定义，从而实现自由的多尺度特征提取。第二卷积也优选为1
×
1卷积处理。
97.作为进一步的优选，步骤s12中，特征融合后，还包括步骤：将特征融合后的结果通过第四卷积进行通道调整，并利用resize进行上采样调整输出层大小，获得瞳孔分割结果。该实施方式中，第四卷积可以采用1
×
1卷积。
98.作为进一步的优选，步骤s20中，对瞳孔分割结果进行瞳孔中心定位，获得瞳孔边界和瞳孔中心位置信息，包括步骤：
99.s21，获得瞳孔分割结果的mask图；
100.s22，将mask图二值化；
101.s23，对二值化后mask图进行最小二乘数法的椭圆拟合，获得瞳孔边界和瞳孔中心位置信息。
102.该实施方式中，步骤s21，经过瞳孔分割网络之后，首先获得瞳孔分割结果的mask图，如图5(a)所示，在mask图的基础上再提取有效的边界信息。步骤s22，将mask图二值化，是对瞳孔分割后的mask图去除原图的各种噪声干扰，如图5(b)所示。步骤s23中，基于最小二乘法的椭圆拟合，具体地，椭圆的二阶多项式圆锥曲线表示式为：约束条件为：b
2-4ac＜0；其中，(x,y)是输入点的坐标，多项式表示点(x,y)到椭圆的代数距离；最小二乘法用来寻找中系数的值，使获得的边缘数据点与拟合椭圆之间的代数距离最小化，对获得的边缘数据点进行最小二乘处理，即使式子的值最小来确定中系数的值，从而确定确定了椭圆的方程与椭圆中心的坐标，如图5(c)所示。通过图5(c)可以看出，拟合后的结果包含了准确的瞳孔边界和中心信息。
103.为了更好说明所述实施方式的瞳孔分割效果，现在进一步补充实验说明。
104.采用改进后的yolov5-deeplabv3 语义分割网络对瞳孔数据进行分割。为了进行比较，将deeplabv3 作为基础网络，在此基础上依次加入yolov5以及ffm模块来研究不同模块对实验性能的影响。融合后的语义分割网络在测试集上分割效果表现良好，分割较为精确，瞳孔边界更加平滑，大部分瞳孔像素都被分割出来。
105.此外，表1列出了通过yolov5和deeplabv3 融合后的语义分割网络和deeplabv3 语义分割网络的评估指标。从该表中可以看出，融合后分割的精度指标高于原版deeplabv3 分割的精度指标且实时性更加良好。
106.表1 deeplabv3 ，yolov5-deeplabv3 和其是否使用ffm模块指标对比
[0107][0108]
同时，本实施方式对比了一些语义分割方法，如unet，pspnet，bisenet，bisenetv，yolov5-pspnet，yolov5-bisenet。在dikablis数据集上，不同的语义分割网络获得的实验结果如表2所示，其中yolov5-deeplabv3 的iou,precision,recall,fps取得了95.46％，99.24％，96.51％，76.3fps的成绩。从表2可以看出，与其他经典语义分割网络相比，本实施方式提出的yolov5-deeplabv3 网络对齿面和点蚀具有更强的分割能力与分割速度。此外，在两个pspnet，bisenet添加yolov5特征提取的实验中，可以看出分割的精度得到了小幅度提升，但运行速度大大加快，这证明了yolov5应用于语义分割领域可以有效提升分割的速度。在三个使用yolov5的不同分割网络对比中，可以看出yolov5-deeplabv3 的分割精度是最好的，但是推理速度弱于其他两个，这主要是因为aspp特征加强模块中使用了大量的膨胀卷积，这会显著影响到模型的推理速度，但其对模型分割性能的提升是巨大的。综合考虑实际使用中的需求，76.3的fps已满足bppv智能辅助诊断中对实时获取眼震信息的需要，所以追求更高的分割精度，本实施方式选择yolov5-deeplabv3 作为瞳孔分割框架。
[0109]
表2与经典语义分割网络的指标对比
[0110][0111][0112]
《实施方式2》
[0113]
本实施方式提供一种应用实施方式1提出的瞳孔追踪方法的bppv智能辅助诊断方法，如图6所示，其包括以下步骤：
[0114]
s30，获取实时眼震视频；
[0115]
s40，对眼震视频的每帧图像进行瞳孔分割和瞳孔中心定位获得瞳孔边界和瞳孔中心位置信息；
[0116]
s50，提取每帧图像的瞳孔中心坐标，根据眼震视频中瞳孔中心坐标的变化，分析眼震轨迹，获得实时眼震信息；
[0117]
其中，如图1所示，瞳孔分割包括：使用基于yolov5的子网络替换deeplabv3 中的xception模型，对眼震视频的每帧图像进行特征提取，获取1/8大小的第一有效特征层和1/16大小的第二有效特征层；对第一有效特征层进行第一卷积处理，将第二有效特征层被送
入aspp加强特征提取模块进行特征加强，将第一卷积处理后的第一有效特征层和特征加强处理后的第二有效特征层通过ffm模块完成特征融合，获得瞳孔分割结果。
[0118]
该实施方式中，通过采用实施方式1提供的瞳孔追踪方法进行眼震视频中每帧图像的瞳孔分割、瞳孔边界与瞳孔中心位置定位，并进一步提取每帧图像的瞳孔中心坐标，再根据瞳孔中心坐标的变化，分析眼震轨迹，获得实时眼震信息。由于瞳孔追踪方法中精确的瞳孔分割，为实时眼震信息的精确获取提供准确的瞳孔位置信息，辅助医生对bppv病人的诊断。
[0119]
作为上述实施方式的进一步优选，如图7所示，bppv智能辅助诊断方法还包括以下步骤：
[0120]
s60，获取载体的实际方位三维模型，三维显示旋转过程的实际方位姿态信息；
[0121]
s70，将通用半规管空间模型与载体头部根据实际方位姿态信息进行组合，三维显示旋转过程中半规管的实时姿态信息，三维显示实时眼震信息，并根据半规管的实时姿态信息、实际方位姿态信息提供可视化调整载体实际方位的导航信息；其中，姿态信息包括姿态角、三个方向的加速度以及三维地磁强度；姿态角包括航向角、俯仰角和滚动角。
[0122]
该实施方式中，在获取载体的实际方位三维模型的基础上，将通用半规管空间模型与载体头部根据实际方位姿态信息进行组合，达到可以三维显示旋转过程中半规管的实时姿态信息，三维显示实时眼震信息的效果，并根据半规管的实时姿态信息、实际方位姿态信息提供可视化调整载体实际方位的导航信息，即一方面实现了实时跟踪半规管三维空间变化，获得直观可靠的半规管三维空间实时跟踪变化数据，对于诊断耳石症，研究bppv发病机制以及改良创新复位手法很有帮助，辅助诊断，也可对半规管空间方向个体变异范围进行调节，分析半规管空间方向个体差异对不同复位方法复位效果的影响；另一方面，又可以为矫正机器提供可视化调整载体实际方位的导航信息，将极大提升临床医生的诊断效率。
[0123]
《实施方式3》
[0124]
在实施方式1提供的瞳孔追踪方法和实施方式2提供的bppv智能辅助诊断方法基础上，本实施方式提供一种bppv智能辅助诊断系统，如图8所示，其包括眼震记录单元100和数据处理单元200。眼震记录单元100用于获取实时眼震视频；数据处理单元200用于接收实时眼震视频进行瞳孔分割、瞳孔边界和瞳孔中心定位信息，根据实时眼震视频中瞳孔中心位置变化，分析眼震轨迹，获得实时眼震信息；其中，瞳孔分割包括：使用基于yolov5的子网络替换deeplabv3 中的xception模型，对眼震视频的每帧图像进行特征提取，获取1/8大小的第一有效特征层和1/16大小的第二有效特征层；对第一有效特征层进行第一卷积处理，将第二有效特征层被送入aspp加强特征提取模块进行特征加强，将第一卷积处理后的第一有效特征层和特征加强处理后的第二有效特征层通过ffm模块完成特征融合，获得瞳孔分割结果。
[0125]
该实施方式中，通过数据处理单元200采用实施方式1提供的瞳孔追踪方法以及实施方式2提供的bppv智能辅助诊断方法进行眼震视频中每帧图像的瞳孔分割、瞳孔边界与瞳孔中心位置定位，并进一步提取每帧图像的瞳孔中心坐标，再根据瞳孔中心坐标的变化，分析眼震轨迹，获得实时眼震信息。由于瞳孔追踪方法中精确的瞳孔分割，为实时眼震信息的精确获取提供准确的瞳孔位置信息，辅助医生对bppv病人的诊断。需要补充说明的是，至于眼震记录单元100的结构，优选采用可穿戴眼罩结构，方便佩戴和获取实时眼震视频。
[0126]
作为上述实施方式的进一步优选，bppv智能辅助诊断系统还包括方位单元300和智能辅助诊断单元400。方位单元300用于获取载体的实际方位三维模型，三维显示旋转过程的实际方位姿态信息。智能辅助诊断单元400用于将通用半规管空间模型与载体头部根据实际方位姿态信息进行组合，三维显示旋转过程中半规管的实时姿态信息，三维显示实时眼震信息，并根据半规管的实时姿态信息、实际方位姿态信息，控制三维模型的实时旋转，提供可视化调整载体实际方位的导航信息；其中，姿态信息包括姿态角、三个方向的加速度以及三维地磁强度；姿态角包括航向角、俯仰角和滚动角。
[0127]
该实施方式中，通过方位单元300获取载体的实际方位三维模型，在此基础上，通过智能辅助诊断单元400将通用半规管空间模型与载体头部根据实际方位姿态信息进行组合，可以达到三维显示旋转过程中半规管的实时姿态信息、三维显示实时眼震信息的效果，不需要医生肉眼观测，并根据半规管的实时姿态信息、实际方位姿态信息提供可视化调整载体实际方位的导航信息，即一方面实现了实时跟踪半规管三维空间变化，获得直观可靠的半规管三维空间实时跟踪变化数据，对于诊断耳石症，研究bppv发病机制以及改良创新复位手法很有帮助，辅助诊断，也可对半规管空间方向个体变异范围进行调节，分析半规管空间方向个体差异对不同复位方法复位效果的影响；另一方面，又可以为矫正机器提供可视化调整载体实际方位的导航信息，将极大提升临床医生的诊断效率。
[0128]
作为上述实施方式的进一步优选，如图9所示，眼震记录单元100包括光源、二向色镜120、摄像头模块130。光源包括四个矩阵排列的近红外光源110，用于发出近红外光。二向色镜120倾斜位于光源上方。摄像头模块130包括镜头131、图像传感器132以及数字信号处理器133。具体地，镜头131设于四个矩阵排列的近红外光源110中间，四个矩阵排列的近红外光源110发出近红外光，经二向色镜120反射水平摄入眼部在视网膜上成像；镜头131接收通过二向色镜120的眼球反射回来的红外光，形成光学图像，进而投射在图像传感器132表面转换成电信号，数字信号处理器133将电信号转换成实时眼震视频的数字图像信号，供后续信号收发与数据处理。
[0129]
该实施方式中，考虑到成像效果以及对人眼不能有伤害，4个近红外光源110波长选为850nm，功率选为50mw；二向色镜120选为400-700nm透射，800-950nm反射，直径为50mm；摄像头模块130可以采用相机，相机的采集帧率为1080p 30帧(640*480 120帧)，镜头焦距为12mm，视角为30度，传输接口为usb，支持uvc免驱协议，将采集到的实时眼震视频的数字图像信号传输到智能辅助诊断单元400例如电脑进行进一步算法分析。作为进一步优选，设置近红外光源110的入射光线与二向色镜120的夹角为45度，眼部的反射光线与二向色镜120的夹角也为45度，镜头131的轴向与眼部距离设为3cm，镜头131到二向色镜120的垂直距离为为5cm，则相机的物距为3cm 5cm＝8cm，那么镜头131的焦距保证物距为8cm时成像最清晰，可以获得能够产生后面分割算法处理所需的暗瞳以及作为眼震分析标定的普尔钦斑，如图10所示。作为进一步优选，图像传感器132优选为cmos图像探测器，数字信号处理器133优选包括模数转换功能的ad转换器和视频信号采集芯片，支持数据无线收发。
[0130]
作为上述实施方式的进一步优选，如图11所示，方位单元300包括三轴陀螺仪310、三轴加速度计320、三轴磁阻型磁强计330以及信号处理器340。三轴陀螺仪310用于测量载体三个方向的绝对解速率，通过三个方向的绝对解速率计算获得载体实际方位的姿态角；三轴加速度计320用于测量载体三个方向的加速度；三轴磁阻型磁强计330用于测量三维地
磁强度以提供方向角的初始对准以及修正航向角漂移；信号处理器340分别与三轴陀螺仪310、三轴加速度计320以及三轴磁阻型磁强计330通信连接，接收包括姿态角、三个方向的加速度以及三维地磁强度进行信号处理，三维显示实际方位姿态信息。
[0131]
作为进一步的优选，方位单元300还包括测量载体其他参数的传感器，为辅助诊断提供数据参考和支撑，例如温度传感器350，温度传感器350与信号处理器340通信连接，信号处理器340控制温度传感器350采集载体实时温度并实时显示，本发明不一一列举。
[0132]
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申的显而易见的变化或变动仍处于本发明创造的保护范围之中。