一种用于盲人平板的视频驱动振动触觉装置、系统及方法与流程
本发明涉及无障碍辅助设备,具体涉及一种用于盲人平板的视频驱动振动触觉装置、系统及方法。
背景技术:
1、视障群体无法通过视觉获取足球赛事的画面信息,目前主要依赖赛事解说音频了解比赛进程,但纯音频方式无法传递赛场空间位置、球员跑位、足球运动轨迹等空间化信息,视障用户难以形成完整的赛场态势感知。
2、现有触觉反馈技术多应用于游戏手柄可穿戴设备,多为全局同步振动或简单点位触发,存在的缺陷包括:
3、未针对足球赛事场景做空间化映射,无法通过振动位置感知对应赛场上足球、球员的位置,无法传递射门进球等事件的空间特征与类型;以及无法感知球场发生的事态;未考虑盲人触觉信息带宽有限的生理特点,全阵列同时振动易造成信息过载,位置感知混淆。
4、所以,针对上述问题,就需要一种用于盲人平板的视频驱动振动触觉装置、系统及方法。
技术实现思路
1、针对现有技术存在的不足,本发明提出一种用于盲人平板的视频驱动振动触觉装置,以解决现有技术中存在的未针对足球赛事场景做空间化映射,无法通过振动位置感知对应赛场上足球、球员的位置,无法传递射门进球等事件的空间特征与类型;以及无法感知球场发生的事态;未考虑盲人触觉信息带宽有限的生理特点,全阵列同时振动易造成信息过载,位置感知混淆的技术问题。
2、本发明采用的技术方案是:
3、本发明提供一种用于盲人平板的视频驱动振动触觉方法,包括读取足球赛事录播视频,检测球场特征标线并提取标定特征点,并计算单应矩阵,建立视频像素坐标到标准球场归一化坐标系的映射关系;
4、再对录播视频逐帧进行目标检测,和多目标跟踪,输出足球球员的逐帧坐标,并输出连续运动轨迹,同时识别比赛事件的类型与对应时间戳;
5、将足球球员的标准球场坐标映射至平板振动阵列的逻辑坐标空间,计算对应振动电机的位置索引,建立振动阵列坐标映射;
6、根据目标位置运动参数和事件类型,按照预设的三级编码规则生成包含振动强度频率时长时序的控制信号,建立三级触觉信号编码;
7、将振动控制信号与录播视频时间戳对齐,驱动对应位置的振动电机按规则输出振动,向盲人用户传递赛场位置与赛事动态。
8、进一步,所述的建立视频像素坐标到标准球场归一化坐标系的映射关系,包括选取录播视频中镜头静止全场可见的帧作为标定关键帧图像,识别中的球场特征标识,提取组特征点的像素坐标,其中;
9、预定义各组特征点在标准球场归一化坐标系中的真实坐标,所述标准球场归一化坐标系的原点在球场左下角,x为球场长度方向,y为球场宽度方向,取值范围均为;
10、基于k组对应点,求解单应矩阵,建立像素齐次坐标到球场齐次坐标的透视变换关系;
11、代入验证点计算重投影误差,当误差小于预设阈值时,标定有效,输出单应矩阵与像素坐标到球场坐标的映射函数;
12、所述的足球球员的逐帧坐标,并输出连续运动轨迹,包括帧级目标检测与坐标转换,首先对录播视频逐帧进行目标检测,输出足球主队球员客队球员的像素坐标;利用所述单应矩阵,将所有目标的像素坐标转换为标准球场归一化坐标,得到第帧的目标集合。
13、进一步,根据目标集合再进行多目标跟踪与轨迹平滑,包括为每个目标分配唯一跟踪id,根据录播视频,进行全局平滑,输出足球连续轨迹与球员轨迹集合;
14、再进行赛事事件识别与时序标注,包括基于足球连续轨迹与球员轨迹集合、时序特征识别核心赛事事件,融合录播音频与字幕信息做多模态校验,输出赛事事件序列;
15、所述的将足球球员的标准球场坐标映射至平板振动阵列的逻辑坐标空间,首先计算目标对应振动电机的行列索引;
16、激活足球周边邻域内的电机,生成足球邻域电机索引集合;再进行球员点位筛选,仅保留足球周边预设范围内的球员对应电机索引,超出范围的球员不做映射,输出时刻所有激活目标的电机位置索引集合。
17、进一步,所述的根据目标位置运动参数和事件类型,按照预设的三级编码规则生成包含振动强度频率时长时序的控制信号,建立三级触觉信号编码,包括按照足球核心点位、赛事事件点位、关键球员点位的三级优先级规则,确定每个电机的响应优先级,同一时刻同一电机仅响应最高优先级信号;
18、再进行强度与频率编码,将足球振动强度与运动速度正相关编码,采用不同频率区分主队与客队球员,对足球邻域内的电机执行距离衰减强度编码;
19、再进行事件专属范式编码,为不同赛事事件定义独立的振动时序范式,在事件发生时段叠加至对应位置的电机上;最终生成时刻的振动控制信号集。
20、进一步,所述的像素坐标转换为标准球场归一化坐标,所述的建立像素齐次坐标到球场齐次坐标的透视变换关系;所述的多目标跟踪与轨迹平滑,首先确定足球的状态向量为,再进行轨迹平滑,平滑后的足球连续轨迹为;
21、所述的将振动控制信号与录播视频时间戳对齐,驱动对应位置的振动电机按规则输出振动,向盲人用户传递赛场位置与赛事动态,包括录播离线预生成,在视频播放前,基于全量录播视频预先生成带时间戳的振动控制指令序列并存储;
22、播放时根据当前视频播放时间戳,读取对应时刻的振动控制信号,保证同步误差≤50ms;
23、将数字强度等级转换为电机驱动的pwm占空比,采用行列矩阵扫描方式驱动对应位置的振动电机输出振动。
24、进一步,本发明提供一种用于盲人平板的视频驱动振动触觉装置,用于实现上述中任一项所述的一种用于盲人平板的视频驱动振动触觉方法;包括平板框,在所述平板框的边框上设有控制按键,所述的控制按键上设有盲文凸起。
25、与所述控制按键相邻设有扬声器,在所述平板框内嵌设有振动阵列,在所述平板框的一侧上依次相邻设有type-c接口、usb接口和sd卡槽;
26、在所述平板框内,固定嵌设有与所述控制按键的输出端连接的主控芯片,所述的主控芯片分别连接有运行存储单元和内置存储单元,所述的usb接口和sd卡槽均与所述内置存储单元连接,所述的type-c接口还连接有电源单元,通过所述的电源单元与所述主控芯片连接;所述的控制按键与所述主控芯片的输入端连接,所述的扬声器与所述主控芯片的输出端连接。
27、进一步,所述的振动阵列包括多个lra线性谐振电机组成的阵列,嵌入设在所述平板框内,所述的振动阵列通过阵列控制子单元与所述主控芯片连接。
28、进一步,本发明提供一种用于盲人平板的视频驱动振动触觉系统,包括:
29、视频预处理模块,接收赛事录播视频,完成球场特征检测透视校正与坐标系标定,输出单应矩阵;
30、视觉解析模块,集成目标检测单元多目标跟踪单元赛事事件识别单元,用于输出赛场目标轨迹与赛事事件信息;
31、坐标映射模块,实现标准球场坐标到振动阵列逻辑坐标的转换与电机索引计算;
32、触觉编码模块,根据目标属性与事件类型,按照三级编码规则生成振动控制指令;振动阵列执行模块,内置点阵振动电机阵列与驱动电路,用于接收控制指令并输出触觉反馈;
33、核心主控模块,所述视频预处理模块、视觉解析模块、坐标映射模块、触觉编码模块均运行于核心主控模块;所述核心主控模块通过spi总线连接振动阵列执行模块,提供同源系统时钟保证时序同步;
34、所述振动阵列执行模块采用行列矩阵扫描驱动架构,包括阵列控制子单元电机驱动阵列与线性谐振电机阵列;所述线性谐振电机阵列采用与标准足球场等比例的矩形布局,电机间距匹配人体手掌触觉两点分辨阈。
35、进一步,本发明提供一种计算机可读存储介质,用于存储计算机程序或指令,当所述计算机程序或指令在计算机上运行时,使得所述计算机执行上述中任一项所述的方法。
36、由上述技术方案可知,本发明的有益技术效果如下:
37、1.本发明实现了足球赛事录播视频的空间化触觉感知,通过球场坐标到振动阵列的等比例映射,使振动位置对应赛场位置,帮助视障用户建立赛场空间感知;本发明以足球位置为核心、赛事事件为增强、球员信息为辅助,在有限触觉带宽内保证核心信息清晰,解决信息过载问题;
38、2.本发明针对录播场景采用离线预生成与双向轨迹平滑,通过强度频率时序的组合编码传递不同赛事事件的类型与空间特征,丰富了触觉信息维度,使得视障用户能更清晰顺滑的感知到足球比赛的轨迹、事态发展的细节。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com