一种基于AI视觉与语音交互的儿童用眼行为智能监测与干预方法、系统、终端及存储介质与流程

摘要: 本发明涉及近视防控,尤其涉及一种基于ai视觉与语音交互的儿童用眼行为智能监测与干预方法、系统、终端及计算机可读存储介质。背景技术:1、儿童青少年近视防控是公共卫...
一种基于AI视觉与语音交互的儿童用眼行为智能监测与干预方法、系统、终端及存储介质与流程

本发明涉及近视防控,尤其涉及一种基于ai视觉与语音交互的儿童用眼行为智能监测与干预方法、系统、终端及计算机可读存储介质。

背景技术:

1、儿童青少年近视防控是公共卫生领域的重点问题,国际公认的“20-20-20”原则(每近距离用眼20分钟,远眺20英尺外20秒)是有效预防手段。然而,现有护眼产品存在以下不足:一是感知能力有限,计时器、智能台灯等设备无法主动识别儿童是否正在近距离用眼、用眼距离和姿态是否正确,更无法判断是否真正执行了望远行为,导致提醒盲目且滞后;二是决策方式单一,缺乏基于实时用眼数据的智能判断机制,提醒方式固定、机械,无法根据儿童的个体差异进行个性化干预;三是交互方式单向,仅能发出提醒而无法接收儿童的语音反馈,难以获知儿童是否接受提醒或执行了望远动作,导致干预效果无法评估和调整。

2、因此,现有技术还有待于改进和发展。

技术实现思路

1、本发明的主要目的在于提供一种基于ai视觉与语音交互的儿童用眼行为智能监测与干预方法、系统、终端及计算机可读存储介质,旨在现有护眼技术无法对儿童的用眼距离、姿态及望远行为进行实时精准感知,无法根据感知结果智能判断并生成个性化干预,且无法通过儿童语音反馈形成闭环以评估和调整干预效果。

2、为实现上述目的,本发明提供一种基于ai视觉与语音交互的儿童用眼行为智能监测与干预方法,所述一种基于ai视觉与语音交互的儿童用眼行为智能监测与干预方法包括如下步骤:

3、采集儿童用眼行为的视频流;

4、利用边缘ai算法处理所述视频流,识别儿童的用眼距离、用眼姿态、用眼时长和望远行为,得到识别结果;

5、根据所述识别结果和预设近视防控规则,通过ai决策引擎判断儿童用眼行为是否符合要求,当儿童用眼行为不符合要求时,根据当前的个性化干预策略,生成个性化干预指令;

6、根据所述个性化干预指令,播放个性化干预语音;

7、接收儿童对所述个性化干预语音的回复,根据所述回复调整所述个性化干预策略的策略参数,并将儿童用眼行为数据上传至云端平台;

8、所述云端平台根据所述儿童用眼行为数据更新所述个性化干预策略。

9、进一步,所述采集儿童用眼行为的视频流,具体包括:

10、当探测到作业区域内的人体热源移动时,唤醒主控芯片;

11、所述主控芯片进行人脸检测,在确认人脸在作业范围内且持续时间超过预设阈值后,采集视频流。

12、进一步,所述利用边缘ai算法处理所述视频流,识别儿童的用眼距离、用眼姿态、用眼时长和望远行为,得到识别结果,具体包括:

13、采用基于人脸关键点比例的单目测距算法处理所述视频流,实时估算儿童的用眼距离并判断是否过近,得到用眼距离识别结果;

14、对所述视频流进行人脸关键点检测,提取头部欧拉角并判定用眼姿态,得到用眼姿态识别结果;

15、对所述视频流进行连续帧分析,当视线朝向书本或屏幕超过计时起点阈值时累计用眼时长,得到用眼时长识别结果;

16、对所述视频流进行景深估计和眼球追踪,判断视线是否朝向窗外远景且处于凝视状态,得到望远行为识别结果。

17、进一步,所述根据所述识别结果和预设近视防控规则,通过ai决策引擎判断儿童用眼行为是否符合要求,当儿童用眼行为不符合要求时,根据当前的个性化干预策略,生成个性化干预指令,具体包括:

18、以所述识别结果中的用眼时长、用眼距离和用眼姿态作为输入,通过ai决策引擎中运行的有限状态机执行预设近视防控规则,所述有限状态机包括空闲态、用眼态、提醒态、望远态和完成态;

19、当所述用眼时长达到预设的用眼周期阈值,或者所述用眼距离低于安全阈值,或者所述用眼姿态异常时,所述ai决策引擎判定儿童用眼行为不符合要求,并触发所述有限状态机进入提醒态;

20、在所述有限状态机进入提醒态后,所述ai决策引擎根据当前的个性化干预策略,生成对应的个性化干预指令。

21、进一步,所述根据所述个性化干预指令,播放个性化干预语音,具体包括:

22、根据所述个性化干预指令,通过喇叭播放个性化干预语音,所述个性化干预语音包含提醒内容和语气;

23、根据所述提醒内容和所述语气,进行多模态辅助提醒。

24、进一步,所述接收儿童对所述个性化干预语音的回复,根据所述回复调整所述个性化干预策略的策略参数,并将儿童用眼行为数据上传至云端平台,具体包括:

25、接收儿童对所述个性化干预语音的回复,通过自然语言处理模型对儿童语音回复进行意图识别,得到目标意图,所述目标意图包括确认执行、请求延时、查询状态和负面情绪;

26、根据所述目标意图调整所述个性化干预策略的策略参数,所述策略参数包括提醒语气、提醒频率和延时标志;

27、将儿童用眼行为数据加密后上传至云端平台。

28、进一步,所述云端平台根据所述儿童用眼行为数据更新所述个性化干预策略,具体包括:

29、所述云端平台接收各终端上传的儿童用眼行为数据,将所述数据与历史数据合并作为反馈结果,根据所述反馈结果,通过强化学习模型对所述个性化干预策略的模型参数进行持续优化,得到优化后的策略模型;

30、基于联邦学习,各终端仅上传本地模型加密后的梯度至所述云端平台,所述云端平台将所述策略模型的梯度与各终端上传的梯度进行聚合,生成更新后的全局模型,并将所述更新后的全局模型下发至各终端。

31、此外,为实现上述目的,本发明还提供一种基于ai视觉与语音交互的儿童用眼行为智能监测与干预系统,所述基于ai视觉与语音交互的儿童用眼行为智能监测与干预系统用于实现如上所述的基于ai视觉与语音交互的儿童用眼行为智能监测与干预方法,其中,所述基于ai视觉与语音交互的儿童用眼行为智能监测与干预系统包括:

32、感知采集模块,用于采集儿童用眼行为的视频流;

33、边缘识别模块,用于利用边缘ai算法对所述视频流进行处理,对儿童的用眼距离、用眼姿态、用眼时长和望远行为进行识别,得到识别结果;

34、决策引擎模块,用于根据所述识别结果和预设近视防控规则,通过ai决策引擎判断儿童用眼行为是否符合要求,当儿童用眼行为不符合要求时,根据当前的个性化干预策略,生成个性化干预指令;

35、执行干预模块,用于根据所述个性化干预指令,播放个性化干预语音;

36、反馈交互模块,用于接收儿童对所述个性化干预语音的回复,根据所述回复调整所述个性化干预策略的策略参数,并将儿童用眼行为数据上传至云端平台;

37、云端平台,用于根据所述儿童用眼行为数据更新所述个性化干预策略。

38、此外,为实现上述目的,本发明还提供一种终端,其中,所述终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于ai视觉与语音交互的儿童用眼行为智能监测与干预程序,所述基于ai视觉与语音交互的儿童用眼行为智能监测与干预程序被所述处理器执行时实现如上所述的基于ai视觉与语音交互的儿童用眼行为智能监测与干预方法的步骤。

39、此外,为实现上述目的,本发明还提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储有基于ai视觉与语音交互的儿童用眼行为智能监测与干预程序,所述基于ai视觉与语音交互的儿童用眼行为智能监测与干预程序被处理器执行时实现如上所述的基于ai视觉与语音交互的儿童用眼行为智能监测与干预方法的步骤。

40、本发明的有益效果为:利用边缘ai算法实时处理视频流,能够在不依赖网络的情况下精准识别儿童的用眼距离、姿态、时长及望远行为,实现了低延迟、高隐私保护的用眼行为感知;基于识别结果与预设近视防控规则,通过ai决策引擎自动判断用眼行为合规性,并在不合规时依据个性化干预策略生成干预指令,实现了从被动计时到主动智能决策的转变;通过播放个性化干预语音并接收儿童的语音回复,能够根据儿童的实际反馈动态调整策略参数,形成了本地闭环的双向自然交互,显著提升了儿童对提醒的接受度和依从性;同时,将儿童用眼行为数据上传至云端平台,由云端依据汇聚的数据持续更新个性化干预策略,使得干预策略能够自适应地进化和优化,最终实现了从数据采集、本地识别、智能决策、语音干预、反馈调整到云端自优化的完整闭环,达到了用眼行为管理的全流程自动化、个性化和持续改进的效果。