一种NFC识别与动作识别相结合的接触式互动方法及系统与流程

摘要: 本发明属于智能口腔护理与人机交互,特别是涉及一种nfc识别与动作识别相结合的接触式互动方法及系统。背景技术:1、随着人们口腔健康意识的提高,智能牙刷逐渐成为市场...
一种NFC识别与动作识别相结合的接触式互动方法及系统与流程

本发明属于智能口腔护理与人机交互,特别是涉及一种nfc识别与动作识别相结合的接触式互动方法及系统。

背景技术:

1、随着人们口腔健康意识的提高,智能牙刷逐渐成为市场上的热门产品。现有智能牙刷主要通过内置的加速度计和陀螺仪来识别用户的刷牙动作,统计刷牙时间和刷牙力度,并通过手机app提供简单的反馈和建议。

2、然而,现有技术存在以下明显缺陷:

3、(1)无法精确定位刷头位置:单纯依靠六轴传感器只能计算牙刷的相对运动轨迹,无法知道刷头实际在口腔的哪个位置,导致无法判断用户是否刷到了需要清洁的区域。

4、(2)无法实时检测清洁效果:现有智能牙刷只能记录刷牙过程,无法实时检测牙齿表面的菌斑、软垢和食物残渣,无法判断是否刷干净了。

5、(3)游戏化引导与实际清洁脱节:现有智能牙刷的游戏化功能大多是预先设定好的,与用户的实际口腔状态无关,无法实现针对性的引导。

6、(4)累积误差大:动作识别存在累积误差,刷牙时间越长,位置计算的偏差越大,导致后期的引导完全失效。

7、为了解决上述问题,人们尝试了多种技术方案,如超声波定位、摄像头视觉定位等,但这些方案都存在各自的缺点:超声波定位成本高、功耗大、易受口腔内液体干扰;摄像头视觉定位容易被牙膏泡沫、舌头和嘴唇遮挡,计算量大,且在刷牙过程中几乎无法正常工作。

8、因此,迫切需要一种能够精确定位刷头位置、实时检测清洁效果、游戏化引导与实际清洁紧密结合的智能口腔护理系统。

9、在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本发明的目的在于提供一种nfc识别与动作识别相结合的接触式互动方法及系统,以解决上述背景技术中提出的问题。

2、为解决上述技术问题,本发明是通过以下技术方案实现的:

3、本发明为一种nfc识别与动作识别相结合的接触式互动方法,包括如下步骤:

4、步骤s1:用户在刷牙前佩戴可穿戴nfc定位牙套,采用多光谱成像模组采集用户口腔牙齿的多光谱图像序列,通过基于多光谱特征互补与逐牙刚性约束的遮挡鲁棒动态牙齿三维重建算法,生成个性化牙齿三维模型,并利用nfc标签完成模型与口腔实际位置的校准;

5、步骤s2:通过多光谱融合检测算法识别牙齿上的病灶和清洁问题,生成牙齿清洁度热力图并更新牙齿三维模型;

6、步骤s3:通过集成在牙刷头内的nfc阅读器读取口腔内预设nfc标签的id信息,获取牙刷的绝对位置;同时通过集成在牙刷手柄内的六轴imu传感器采集牙刷的加速度和角速度数据,获取牙刷的相对运动信息;

7、步骤s4:采用自适应噪声扩展卡尔曼滤波算法将nfc绝对位置信息与imu相对运动信息进行融合,实时计算牙刷在口腔内的三维位置和姿态;

8、步骤s5:基于深度q网络强化学习算法,以牙齿清洁度提升最大化为核心奖励函数,根据实时牙齿状态、历史刷牙数据和当前清洁进度动态生成个性化游戏内容;

9、步骤s6:通过游戏化方式引导用户清洁牙齿,并提供视觉、听觉和触觉多模态接触式互动反馈。

10、进一步地,步骤s1中,生成个性化牙齿三维模型的具体步骤如下:

11、对采集的多光谱图像进行预处理,基于多光谱特征差异检测牙刷和牙膏泡沫遮挡区域,生成遮挡区域二值图;

12、根据不同组织在不同光谱下的成像质量,计算每个像素点的自适应融合权重,生成融合特征图像;

13、采用改进的maskr-cnn算法将所有牙齿分别分割出来,得到逐牙实例分割结果;

14、将每颗牙齿作为独立的刚性物体,定义单牙能量函数,采用局部增量式优化策略仅对当前帧覆盖的牙齿进行三维重建;

15、利用时序一致性和多帧融合技术,对被牙刷遮挡的区域进行预测与补全;

16、将所有单牙的重建结果融合成一个完整的全口牙齿三维模型。

17、进一步地,基于多光谱特征差异检测牙刷和牙膏泡沫遮挡区域的方法为:

18、预先对采集的蓝光、绿光、红光三通道多光谱图像分别进行归一化预处理,获取各通道标准化灰度图像;

19、针对图像中每一个像素点,分别计算蓝光通道与红光通道的灰度差值、绿光通道与红光通道的灰度差值,同时提取该像素点对应3×3局部邻域内的灰度标准差;

20、按照固定权重配比分别对两组灰度差值、局部灰度标准差进行加权运算;其中,蓝光与红光灰度差值权重为0.4,绿光与红光灰度差值权重为0.3,局部灰度标准差权重为0.3,加权求和得到当前像素点的遮挡置信度;

21、采用otsu算法自适应求解全局最优遮挡判定阈值,将所有像素点的遮挡置信度与最优阈值进行比对,当像素点遮挡置信度大于最优阈值时,判定该像素点为遮挡区域像素,反之则为非遮挡区域像素;

22、最终遍历全图像素生成完整的遮挡区域二值掩码图,实现口腔内牙刷、牙膏泡沫遮挡区域的精准检测与分割。

23、进一步地,计算每个像素点的自适应融合权重,生成融合特征图像的方法为:

24、对采集的蓝光、绿光、红光三个光谱通道图像,逐像素提取各通道的图像梯度幅值、图像噪声标准差以及像素局部对比度,结合三项参数计算得到每个像素点对应各光谱通道的特征质量评分;基于各通道对应的像素特征质量评分,引入固定温度系数对特征质量评分进行指数运算处理,汇总三个光谱通道的运算结果完成归一化处理,分别得到每个光谱通道对应像素点的自适应融合权重;对各光谱通道的像素灰度值与对应自适应融合权重进行加权运算,叠加所有通道的加权结果,最终生成融合多光谱优势特征的完整融合特征图像,实现不同口腔组织的光谱特征自适应互补强化。

25、进一步地,利用nfc标签完成模型与口腔实际位置的校准的具体流程如下:

26、预先在12个分区nfc标签内部固化唯一分区标识、标准口腔物理坐标范围、分区中心基准坐标;在刷牙过程中,智能牙刷nfc读写器实时扫描识别当前视野内所有有效nfc标签,批量读取各分区绝对物理坐标,构建实时nfc物理锚点集合,作为三维模型校准的唯一真实空间基准;

27、提取视觉重建个性化牙齿三维模型中对应12个口腔分区的虚拟坐标点集,将模型虚拟分区与nfc真实物理分区进行一一映射匹配,求解模型初始平移、旋转变换矩阵,完成三维模型全局粗对齐;

28、对12个nfc锚点动态分配校准权重,通过加权迭代优化求解最优空间变换参数,完成模型全局精细化校准;

29、依托牙齿刚性生理特性,结合逐牙独立能量函数约束,对单颗牙齿局部坐标进行二次修正,保证校准过程中牙齿无拉伸、扭曲、形变,保留个性化牙齿畸形、排列特征,同时消除局部坐标失真;

30、利用刷牙过程中nfc标签的持续扫描数据,实时动态更新空间变换参数,补偿视觉重建随时间产生的累计漂移误差,实现全程动态校准,保证刷牙全过程三维模型与真实口腔位置实时匹配。

31、进一步地,所述步骤s2中,生成牙齿清洁度热力图并更新牙齿三维模型的具体流程如下:

32、多光谱成像模组实时采集牙齿多光谱图像;

33、将实时采集的多光谱图像与初始化的牙齿三维模型进行配准,确定当前图像对应的牙齿位置;

34、采用改进的yolov8目标检测算法,结合多光谱特征融合技术,识别牙齿上的龋齿、牙结石、菌斑、软垢和食物残渣;

35、根据不同口腔问题在其最优检测波段下的光谱强度,计算每个问题区域的严重程度得分;

36、利用多光谱融合清洁度量化公式计算每颗牙齿和整体口腔的清洁度,生成牙齿清洁度热力图;

37、将检测结果实时叠加到牙齿三维模型上,更新牙齿三维模型状态。

38、进一步地,所述步骤s4中,实时计算牙刷在口腔内的三维位置和姿态的具体流程如下:

39、当牙刷头接触到口腔内的nfc标签时,nfc阅读器读取标签的唯一id信息,获得牙刷的绝对位置和区域信息;同时,六轴imu传感器采集牙刷的三轴加速度和三轴角速度数据;对imu数据进行预处理,包括去噪、校准和姿态解算,获得牙刷的初始姿态和相对运动信息;

40、建立牙刷运动的状态方程和观测方程,状态向量包括牙刷的三维位置、三维速度和三维姿态角;

41、采用自适应噪声扩展卡尔曼滤波算法将nfc绝对位置信息与imu相对运动信息进行融合;

42、当检测到nfc信号时,利用nfc测量值更新状态向量和协方差矩阵;当未检测到nfc信号时,利用imu测量值进行状态预测和更新;

43、根据nfc信号强度和imu数据质量动态调整观测噪声协方差矩阵,提高定位精度和鲁棒性;

44、实时输出牙刷在口腔内的三维位置和姿态,定位精度达到±1mm。

45、进一步地,建立牙刷运动的状态方程如下:

46、

47、

48、式中,为当前时刻先验状态预测值,为上一时刻系统状态向量,状态向量;表示牙刷的三维位置信息,表示牙刷的三维速度信息,表示牙刷的三维姿态角(俯仰/横滚/偏航);为状态转移矩阵,为控制输出矩阵,为时刻imu控制输入向量,为上一时刻状态协方差矩阵,为当前时刻先验协方差矩阵,为系统过程噪声协方差,为矩阵转置运算;

49、当检测到nfc信号时,利用nfc测量值更新状态向量和协方差矩阵:

50、

51、

52、

53、式中,为观测矩阵,为nfc观测噪声协方差,为卡尔曼增益;

54、当未检测到nfc信号时,利用imu测量的位置增量更新状态向量和协方差矩阵:

55、

56、

57、

58、式中,为imu测量的位移增量,为imu观测噪声协方差。

59、进一步地,所述步骤s5中,生成个性化游戏内容的具体流程如下:系统根据初始化的牙齿模型和初始病灶分布,生成初始游戏地图,将牙齿上的问题区域映射为游戏中的“敌人”、“障碍物”或“目标点”;采用深度q网络强化学习算法,以牙齿清洁度提升最大化为核心奖励函数,构建游戏内容生成模型;实时获取牙刷位置、牙齿清洁度变化和用户刷牙动作数据,作为强化学习模型的输入状态;根据当前状态和奖励函数,动态调整游戏难度、目标位置、敌人数量和奖励机制;当用户清洁完一个区域的问题后,游戏中对应的“敌人”被消灭,给予用户积分和虚拟奖励;如果用户在某个区域停留时间过短或清洁不彻底,游戏会提示用户返回该区域,并增加该区域的游戏难度;系统根据用户的历史刷牙数据和游戏表现,不断优化强化学习模型的参数,提高游戏的个性化程度和吸引力。

60、本发明为一种nfc识别与动作识别相结合的接触式互动系统,包括智能牙刷本体、可穿戴nfc牙套和移动终端设备;

61、所述智能牙刷本体包括刷头和手柄;所述刷头集成了多光谱成像模组、压力传感器和nfc天线;所述手柄集成了六轴陀螺仪、加速度计、nfc读写模块、微控制器、蓝牙模块和充电电池;所述多光谱成像模组用于采集口腔多光谱图像,所述压力传感器用于采集刷牙力度,所述六轴陀螺仪用于检测刷牙动作,所述nfc读写模块用于读取可穿戴nfc牙套内的nfc标签信息;

62、所述可穿戴nfc牙套内置有12个nfc标签,每个标签对应口腔内12个分区;

63、所述移动终端设备包括通信模块、三维模型重建模块、异常区域检测模块、融合校验模块、游戏生成模块和反馈模块;

64、所述通信模块与nfc天线无线通信连接;

65、所述三维模型重建模块基于多光谱特征互补与逐牙刚性约束的遮挡鲁棒动态牙齿三维重建算法构建牙齿的三维模型;

66、所述异常区域检测模块用于检测牙齿表面的菌斑、软垢、食物残渣和早期龋齿病灶,计算牙齿表面清洁度;

67、所述融合校验模块用于采用nfc与动作识别融合算法,判断刷牙动作的有效性;

68、所述游戏生成模块根据实时口腔状态动态生成游戏任务,将清洁异常区域转化为游戏中的关卡;

69、所述反馈模块用于实时显示游戏界面和清洁效果反馈,生成刷牙报告和个性化建议。

70、本发明具有以下有益效果:

71、(1)本发明通过佩戴于牙齿非清洁区的十二点位nfc标签阵列,构建口腔内部固定绝对坐标基准,可在刷牙过程中持续对刷头位置进行实时校准,将惯性动作识别的累积误差清零,实现全时段、无漂移的口腔分区精准定位,定位精度稳定可控。

72、(2)本发明采用多光谱特征互补融合机制,充分利用不同波段光谱对菌斑、软垢、龋齿、牙体组织的差异化识别能力,弥补单一光谱特征缺失问题;同时首创逐牙独立刚性约束机制,将每颗牙齿作为独立刚性单元优化,杜绝非生理性形变,配合局部增量式重建策略与时序遮挡补全算法,仅对当前视野牙齿局部迭代更新,大幅降低运算量的同时,有效修复各类遮挡区域模型缺失问题,重建精度可达20μm级别,重建帧率满足实时动态刷牙需求,模型真实性、完整性与鲁棒性远优于传统算法。

73、(3)本发明基于多光谱成像特征与高精度三维牙齿模型,可精准识别菌斑、软垢、食物残渣、早期龋齿等多类口腔异常区域,结合异常类型、附着面积、附着厚度、牙齿清洁难易位置权重以及不同牙齿的功能重要性权重,构建完善的tsci牙齿清洁度指数评价体系,能够从单区域、单牙、全口多维度量化清洁效果,实现刷牙质量的客观、精细化评判,为口腔健康评估提供精准数据支撑。

74、(4)本发明可根据用户实时口腔异常区域分布、清洁难度、当前清洁度以及用户个人刷牙能力指数,动态生成适配的游戏关卡与难度系数,仅在用户对应真实脏污区域完成标准有效刷牙动作时方可触发清洁进度与游戏收益,实现“真实脏污对应游戏目标、有效刷牙对应游戏反馈”的深度绑定,让游戏化互动真正服务于口腔清洁矫正,大幅提升针对性清洁引导效果。

75、当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。