一种基于视频的眼震特征自动分析方法及系统

摘要: 本发明涉及计算机视觉与数学信号处理相结合的,尤其涉及一种基于视频的眼震特征自动分析方法及系统。背景技术:1、眼震(nystagmus)是一种非随意的、具有特定节...
一种基于视频的眼震特征自动分析方法及系统

本发明涉及计算机视觉与数学信号处理相结合的,尤其涉及一种基于视频的眼震特征自动分析方法及系统。

背景技术:

1、眼震(nystagmus)是一种非随意的、具有特定节律性的眼球振荡运动,在客观运动学上通常表现为平滑的慢相漂移与快速的快相回跳交替出现的生物运动力学特征。其方向、节律、持续时间以及慢相速度(slow phase velocity,spv)等客观参数,不仅在生理体征监测中具有重要价值,也是人机交互、视线追踪及特定行为模式分析中的关键基础数据。传统高精度的三维眼动特征提取往往依赖于搭载红外同步系统及特殊滤光设备的专用视频记录设备。然而,这类专用系统不仅硬件成本高昂、设备体积庞大,且操作流程复杂、系统算法封闭,难以在移动端或普通消费级摄像头等常规光照采集环境下推广普及。

2、为了摆脱对专用硬件的依赖,现有技术尝试通过普通视频帧序列进行运动目标追踪与信号提取,但在复杂的实际视频环境中暴露出诸多技术缺陷,难以自动、稳定地提取核心量化指标:

3、其一,抗干扰能力弱且判定阈值僵化。普通视频环境下的眼球运动信号极易受到眨眼、瞬时扫视或受环境光影响导致的跟踪跳变等事件干扰,这些事件会在位移曲线上产生巨大的伪高速突变。现有数据处理方法普遍采用单一的固定速度阈值来过滤噪声,这种刚性门限难以适应不同受检对象的个体尺寸差异以及多变的图像底噪,极易导致对真实高频快相特征的漏检,或将瞬时噪声误判为有效信号(过检)。

4、其二,缺乏对运动时序结构的闭环验证。现有基于速度突变的检测方法通常仅依据瞬时特征进行单点孤立判定,缺乏对眼球微运动时序特征(即慢相漂移与快相回跳的因果交替规律)的系统建模。由于未引入前置慢相支持条件及持续时间等物理约束,算法无法从底层信号逻辑上将真实的节律性运动周期与随机的伪高速事件有效剥离,导致提取出的轨迹掺杂大量假阳性信号。

5、其三,特征提取维度单一且易漏检间歇性信号。现有基于简单视频处理的方法往往仅支持二维位移分析,难以覆盖复杂的空间旋转特征;同时,对于时隐时现的间歇性节律运动,现有系统缺乏跨时间尺度的统筹分析机制,极其容易在长时程静息信号的掩盖下漏掉微弱的突发节律运动簇。

6、其四,缺乏多维特征到高层体征模式的自动化联合映射机制与标准化输出。现有的眼动分析系统往往停留在基础运动参数(如单一方向的速度曲线)的展示层面,未能建立眼震多维特征(如水平、垂直、旋转方向分量的组合关联)与特定前庭解剖学受累模式之间的量化映射模型。面对复杂的混合型眼动特征,依然高度依赖人工肉眼观察与经验进行综合研判,难以实现从底层信号特征到高层体征模式分类的自动化全链条输出,且无法提供包含多模态波形与临床基准阈值同步对比的标准化可追溯报告。

7、综上所述,现有基于普通视频的提取方法难以输出具备高信噪比、可复现和结构化的多维运动特征数据,无法为上层的状态量化评估、特定解剖学受累模式辨识与行为模式分析提供抗干扰的底层算力支撑及自动化映射框架。

8、此外,一方面由于对本领域技术人员的理解存在差异;另一方面由于申请人做出本发明时研究了大量文献和专利,但篇幅所限并未详细罗列所有的细节与内容,然而这绝非本发明不具备这些现有技术的特征,相反本发明已经具备现有技术的所有特征,而且申请人保留在背景技术中增加相关现有技术之权利。

技术实现思路

1、针对现有普通光学视频采集环境下,微小节律性运动信号极易受遮挡、扫视及跟踪跳变等伪高速噪声干扰,且固定阈值检测方法极易导致过检或漏检的技术缺陷,本发明提供了一种基于视频的眼球运动特征自动提取方法及系统,旨在无需专用高精度硬件的条件下,通过自适应门控与信号结构闭环验证机制,从高噪视频流中稳定、客观地提取并输出结构化的三维空间运动周期特征。

2、本发明公开了一种基于视频的眼震特征自动分析方法,其包括以下步骤:

3、获取待分析的眼部视频数据,并从眼部视频数据中提取眼球运动轨迹数据,将眼球运动轨迹数据转换为速度序列;

4、基于速度序列计算速度分量的中位数绝对偏差,构建自适应速度阈值,并基于自适应速度阈值从速度序列中识别出候选快相事件;

5、对候选快相事件执行结构闭环验证:判断候选快相事件前方的时序区间内,是否存在满足预设约束条件的慢相支持段;若是,则将慢相支持段与对应的候选快相事件构建为有效运动周期;其中,预设约束条件包括:速度方向一致且速度幅值低于对应分量的自适应速度阈值;

6、基于构建的有效运动周期,提取量化特征指标生成结构化特征集合;

7、设定全局时间窗口以及局部滑动窗口,分别在全局时间窗口和局部滑动窗口内基于结构化特征集合计算窗口级置信度,并执行多时间尺度融合,输出用于表征眼动模式的存在性与主导方向的综合判定结果。

8、本发明通过中位数绝对偏差自适应阈值与慢快相结构闭环验证的协同作用,从信号本质上解决了普通视频环境下眼震识别的鲁棒性难题。不同于诸如cn109146851a采用低通滤波进行去噪而不可避免地抹平眼震快相高频尖峰的技术路径,本发明利用中位数绝对偏差这一稳健统计量,能够在不破坏原始信号动态特性的前提下,精确捕获受检者实时眼动的背景噪声底噪,从而构建动态浮动的判定门限。更为核心的是,本发明引入了基于生理先验知识的结构闭环验证逻辑,强制要求快相事件必须锚定在满足特定时域及空域约束的慢相段之后,这种因果约束机制能够从底层逻辑上物理隔离孤立的眨眼、瞬时扫视或设备抖动产生的伪高速信号。这使得系统在无需依赖cn108814543a所记载的二向色镜及红外同步采集等昂贵硬件的条件下,依然能够稳定、客观地提取出符合临床生理定义的结构化眼震周期,为后续精确计算慢相速度提供了可靠的数据基准。此外,本发明实现了从原始眼部视频输入到结构化特征输出的完整自动化处理流程,极大地降低了对传统人工肉眼观察经验的依赖。通过输出包含慢相速度等关键指标的标准化特征集合,本发明为临床提供了具备一致性与可复现性的量化依据,有效解决了人工评估主观性强、难以形成标准化数据以供后续随访与科研利用的痛点。

9、根据一种优选实施方式,眼球运动轨迹数据包含水平运动分量、垂直运动分量以及旋转运动分量;

10、在将眼球运动轨迹数据转换为速度序列之前,还包括相位阶跃补偿步骤:判断相邻帧的旋转角差值绝对值是否大于,若是,则对旋转运动分量的后续序列执行的代数连续化补偿,以构建单调连续的位移序列;

11、将眼球运动轨迹数据转换为速度序列时,利用虹膜像素半径与预设的物理半径构建尺度比例因子,将像素坐标系下的速度映射为单位为度/秒的三维物理角速度向量。

12、本发明通过在速度转换前执行相位阶跃补偿,针对性消除了反正切函数值域受限在圆周临界点引发的数值跳变,避免该数学阶跃被差分运算放大为伪速度峰值,从底层数据结构上保证了位移序列的单调连续性;同时,利用虹膜像素半径与预设物理半径构建尺度比例因子,实现了图像像素坐标系向绝对物理角速度空间的尺度不变映射,有效克服了因拍摄距离、镜头焦距及受检者个体生理尺寸差异导致的测量偏差,使得基于普通光学采集设备提取出的角速度具备了跨系统一致的绝对定量意义,从而输出符合医学常规计量标准的物理参量。

13、根据一种优选实施方式,自适应速度阈值按下式构建:

14、;

15、其中,为系统随输入数据流动态计算所得的速度分量中位数,为基于所述中位数统计解算出的中位数绝对偏差,为预设的灵敏度调节系数,为预设的分布标定系数;

16、在识别候选快相事件时,利用生理区间对自适应速度阈值进行截断处理:

17、;

18、其中,与分别为预设的生理速度下限与上限。

19、自适应速度阈值的构建方式利用了中位数绝对偏差对离散异常值的迟钝特性,真实刻画了信号处于相对稳态时的底噪分布规律。相较于常规的标准差统计方法,该机制有效防止了由眨眼或大幅扫视产生的高速干扰点对局部阈值的异常抬升,进而在高背景噪声下维持对真实微小快相的捕捉敏感度;此外,通过引入生理速度区间对动态阈值进行截断处理,为纯数据驱动的统计运算设定了合理的物理边界,有效抑制了在视频发生剧烈晃动或长时间跟踪丢失等极端工况下可能引发的阈值数学发散与假阳性级联反应,显著增强了系统整体的容错性能与抗干扰能力。

20、根据一种优选实施方式,获取待分析的眼部视频数据,包括:接收移动终端通过网络传输的原始视频文件及关联的体位标签信息;

21、其中,原始视频文件为移动终端在本地执行前置质量验证通过后上传的合规数据,前置质量验证包括:确认视频扩展名属于预设集合、验证解码属性均为正值、验证根据公式计算所得的视频时长满足。

22、本发明设置的移动终端前置质量验证与拦截机制,为系统的端云协同分析架构确立了工程可靠性防线。通过在终端本地独立执行对文件扩展名、解码状态及时效区间的强制前置核验,系统能够在启动云端计算密集型任务前,物理阻断损坏视频、不兼容格式及无效数据的上传与流转。这种多级校验策略不仅避免了低质数据对云端通信带宽与计算资源的无谓消耗,同时也防范了异常数据流引发的算法进程异常中断,确保了在开放式网络环境下医疗级数据处理任务执行的高度稳定性。

23、根据一种优选实施方式,在输出综合判定结果之后,还包括:

24、对综合判定结果中包含的水平、垂直及旋转三方向特征进行离散化处理,构建方向模式向量,其中表征对应运动分量是否存在眼震,为对应分量的主导方向标签;

25、将体位标签信息离散编码为体位信息;

26、组合体位信息与方向模式向量,构建联合模式键作为底层数据输入,以供下游模块执行模式辨识。

27、通过将水平、垂直及旋转三方向的底层特征离散化并结合受检者的体位标签进行联合编码,本发明将临床实务中“依据特定体位诱发动作观察眼震方向组合”的主观诊断经验,有效转化为了计算机能够直接读取与计算的结构化向量形式。这种将空间多维运动分量与物理诱发条件相绑定的联合模式键构建方式,突破了以往孤立分析单一运动维度的局限性,为后续处理复杂的混合型眼震模式以及精确定位受累的前庭解剖学位置提供了严密、自洽的数据输入架构。

28、根据一种优选实施方式,该方法还基于联合模式键执行前庭解剖学受累部位趋向标签的模式辨识步骤:

29、引入预设的眼动模式分类标签集合:

30、,并通过映射函数分别计算集合中每一标签的匹配得分:

31、;

32、其中,为预设的方向模式约束条件,为对应权重,为指示函数;

33、若存在多个体位标签信息对应的联合模式键,则设测试集合为,基于公式计算全局加权综合得分;

34、选取得分最高项作为最终的眼动体征模式分类结果输出;当不同体位对应的模式分类发生冲突或得分差值低于极值阈值时,依次执行主导分量强度比对以及高置信度方向保留策略,若冲突仍未消除,则输出混合型标签指示。

35、上述基于联合模式键的模式辨识步骤,构建了从底层物理运动规律到高层体征模式的定量关联映射。通过引入多维约束指示函数及权重评分模型,系统能够在无需人工干预的情况下输出纯客观的模式分类结果,降低了传统评估中因观察者经验差异导致的主观研判偏差;并且,在面对单一受检者存在多体位测试数据共存的复杂应用场景时,系统所采用的多体位融合加权计算及冲突处理策略,能够基于主导分量强度及历史置信度执行合理的排他剔除或混合判定,确保了在非典型临床表现或部分矛盾数据共存情况下分类结果输出的唯一性与稳定性。

36、根据一种优选实施方式,在生成眼动体征模式分类结果后,还包括基于规则驱动的文本解释生成步骤:

37、汇集综合判定结果、结构化特征集合、分类结果以及底层的轨迹与速度时间序列,拼装构建树形结构的标准报告对象;

38、调用总体结论生成函数,当判定存在眼震时执行字符串加法运算级联拼接出包含主导方向与分类标签的结论文本;

39、自动检索能量贡献度最高的主导分量,按规则拼接输出包含主导分量对应的平均慢相速度与主频数值的定量物理依据文本。

40、本发明采用基于规则驱动与字符串级联运算的解释生成机制,实现了分析结论的标准化闭环输出。该机制并非依赖具有不可解释性的生成式模型,而是通过预设的刚性代码逻辑,强制调用包含主导方向、平均慢相速度及运动主频在内的结构化数值特征进行固定句式拼装,确保了最终输出的每一条说明性文本均与底层的物理测量依据存在明确的溯源映射关系。这为临床使用者提供了高度透明、逻辑连贯且具备充分量化支撑的辅助参考信息,有效提升了分析结果的可理解性。

41、根据一种优选实施方式,该方法还包括与文本解释生成同步执行的可视化图形渲染与多模态打包输出步骤:

42、渲染出表征眼球水平运动、垂直运动及空间旋转位移的三维物理曲线,并通过离散点状图元高亮叠加标记出快相帧位置;

43、并行渲染出各分量的慢相速度曲线;

44、将文本解释进行串行级联合并,连同三维物理曲线、慢相速度曲线以及对速度信号执行傅里叶变换生成的频谱图统一执行数据序列化打包,生成多模态标准报告结构体,以供移动终端的前端交互界面将其渲染为二维码展示。

45、可视化图形渲染与多模态打包机制进一步强化了检测结果的直观性与可交互性。系统不仅实现了三维空间轨迹、频域能量图及慢相速度曲线的同步时序渲染,而且在速度曲线上强制叠加预设的临床基准阈值线,使得分析人员能够直观比对患者的动态体征与病理红线之间的越限关系;同时,将文本、图形及基础数据序列化封装并转换为二维码交互形式,打通了跨平台与跨终端的医疗信息流转通道,充分满足了临床床旁检查场景下对分析结果进行远程传递、扫码快读及本地二次复核的实际工程需求。

46、第二方面,本发明公开了一种基于视频的眼震特征自动分析系统,其包括依次通信连接的视频数据处理模块、眼球运动提取模块、运动信号分析模块、眼震特征提取模块以及眼震判定模块;其中,

47、视频数据处理模块,用于获取输入的眼部视频数据,并在对眼部视频数据进行时效与解码属性校验合规后送入眼球运动提取模块;

48、眼球运动提取模块,用于解算出连续的眼球运动轨迹数据并发送至运动信号分析模块;

49、运动信号分析模块,用于接收眼球运动轨迹数据并将其转换为速度序列,基于中位数绝对偏差计算自适应速度阈值以识别出候选快相事件,并发送至眼震特征提取模块;

50、眼震特征提取模块,用于在接收候选快相事件后执行时域上的慢-快相结构闭环验证,构建有效运动周期,并基于该周期提取量化特征指标生成结构化特征集合送入眼震判定模块;

51、眼震判定模块,用于基于多尺度时间窗口对结构化特征集合执行融合计算,输出表征受检目标眼动模式存在性与主导方向的综合判定结果。

52、本发明公开的系统通过模块化的信号流转体系,实现了从底层轨迹提取到高层特征量化的全自动链路。该系统通过软件算法层面的信号清洗与结构闭环验证,取代了cn108814543a所依赖的5ghz wifi高速传输与精密采集硬件对精度的保障需求。这种以算力补偿硬件不足的设计理念,极大地降低了系统的部署门槛,使高精度的眼震分析能够摆脱专业检查室的物理束缚,走向普通的床旁或常规光照采集环境。在工程实施层面,本发明支持移动端视频采集与云端计算分析协同的系统架构,通过降低采集端的计算负荷,显著提升了系统的部署灵活性与维护便利性。同时,系统将量化结论与清洗后的信号特征进行关联的可视化输出机制,极大地提升了检测结果的数据可解释性,便于分析人员进行快速复核,使系统具备极高的推广应用价值。

53、第三方面,本发明公开了一种计算机可读存储介质,其上存储有计算机程序指令,该计算机程序指令被处理器执行时实现前述方法。