状态监测方法、系统、设备及计算机存储介质与流程

摘要: 本申请涉及状态监测,尤其涉及一种状态监测方法、系统、设备及计算机存储介质。背景技术:1、随着不同领域对状态监测需求的不断发展,例如对驾驶员进行状态监测、对书写用...
状态监测方法、系统、设备及计算机存储介质与流程

本申请涉及状态监测,尤其涉及一种状态监测方法、系统、设备及计算机存储介质。

背景技术:

1、随着不同领域对状态监测需求的不断发展,例如对驾驶员进行状态监测、对书写用户进行状态监测,这也使用户对状态监测方式提出了更高的要求。

2、传统的状态监测方式是通过专门的状态监测设备(如头戴式设备、桌面式监测仪、车载摄像头等)中的摄像头对用户的面部以及眼睛状态进行监测,进而确定此时用户的状态。这种状态监测方式存在一定不足,需要使用专门的状态监测设备才能实现对用户状态的监测,而目前的状态监测设备均存在体积较大、不便于携带的缺陷。因此,急需一种新的状态监测方式,可以在无需使用状态监测设备的前提下,实现状态监测。

3、上述内容仅用于辅助理解本申请的技术方案,并不代表承认上述内容是现有技术。

技术实现思路

1、本申请的主要目的在于提供一种状态监测方法、系统、设备及计算机存储介质,旨在解决如何在无需使用状态监测设备的前提下,实现状态监测的技术问题。

2、为实现上述目的,本申请提供一种状态监测方法,所述状态监测方法应用于设置在智能笔上的状态监测系统,所述状态监测系统包括相机模块和惯性传感器,所述状态监测方法包括:

3、获取所述相机模块采集的用户图像数据和所述惯性传感器采集的笔体位姿数据,其中,所述用户图像数据包括用户眼部图像和用户头部图像;

4、根据所述用户头部图像和所述笔体位姿数据确定校正头部数据,并根据所述校正头部数据和所述用户眼部图像确定用户状态,以完成状态监测。

5、在一实施例中,所述根据所述校正头部数据和所述用户眼部图像确定用户状态的步骤,包括:

6、根据所述用户眼部图像进行特征提取得到眼部特征数据,并确定所述校正头部数据的头部特征数据;

7、依据所述头部特征数据和所述眼部特征数据确定用户状态,其中,所述眼部特征数据包括扫视速度、注视时长、眨眼频率、瞳孔位置和瞳孔直径中的至少一种。

8、在一实施例中,所述依据所述头部特征数据和所述眼部特征数据确定用户状态的步骤,包括:

9、依据所述扫视速度、所述注视时长、所述眨眼频率、所述瞳孔位置和所述瞳孔直径确定眼部监测状态值,并依据所述头部特征数据对所述眼部监测状态值进行修正得到目标监测状态值;

10、在所述目标监测状态值大于预设状态阈值时,确定用户状态为状态异常;

11、在所述目标监测状态值小于或者等于预设状态阈值时,确定用户状态为状态正常。

12、在一实施例中,所述依据所述头部特征数据和所述眼部特征数据确定用户状态的步骤,包括:

13、在所述头部特征数据中的转动参数与所述扫视速度不匹配,或所述头部特征数据中的转动参数与所述注视时长不匹配时,确定用户状态为分心状态;

14、在所述头部特征数据中的倾斜角度与预设向下角度匹配,且所述眨眼频率与预设疲劳频率匹配时,确定用户状态为疲劳状态;

15、在所述头部特征数据中的倾斜角度与所述瞳孔位置的目标角度不匹配,且所述瞳孔直径与预设标准直径阈值匹配时,确定用户状态为分心状态。

16、在一实施例中,所述状态监测系统还包括反馈模块,所述依据所述头部特征数据和所述眼部特征数据确定用户状态的步骤之后,包括:

17、在所述用户状态满足预设报警条件时,生成报警指令,其中,所述报警指令用于对所述反馈模块进行报警控制,所述预设报警条件包括连续预设第一次数的所述用户状态为疲劳状态,或,连续预设第二次数的所述用户状态为分心状态,所述预设第二次数大于所述预设第一次数。

18、在一实施例中,所述根据所述用户头部图像和所述笔体位姿数据确定校正头部数据的步骤,包括:

19、确定所述笔体位姿数据中所述智能笔的使用角度,并依据所述使用角度和预设的标准角度确定图像修正参数;

20、依据所述图像修正参数对所述用户头部图像进行修正得到校正头部数据。

21、在一实施例中,所述获取所述相机模块采集的用户图像数据和所述惯性传感器采集的笔体位姿数据的步骤之前,包括:

22、获取惯性传感器采集的实时位姿数据;

23、在所述实时位姿数据与预设监测位姿匹配,且所述实时位姿数据的运动状态与预设书写状态匹配时,执行所述获取所述相机模块采集的用户图像数据和所述惯性传感器采集的笔体位姿数据的步骤。

24、此外,为实现上述目的,本申请还提供一种状态监测系统,所述状态监测系统设置在智能笔上,所述状态监测系统包括控制器、相机模块和惯性传感器,所述控制器与所述相机模块和所述惯性传感器连接,所述控制器包括:

25、数据获取模块,用于获取所述相机模块采集的用户图像数据和所述惯性传感器采集的笔体位姿数据,其中,所述用户图像数据包括用户眼部图像和用户头部图像;

26、状态监测模块,用于根据所述用户头部图像和所述笔体位姿数据确定校正头部数据,并根据所述校正头部数据和所述用户眼部图像确定用户状态,以完成状态监测。

27、此外,为实现上述目的,本申请还提供一种状态监测设备,所述状态监测设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现上述的状态监测方法的步骤。

28、此外,为实现上述目的,本申请还提供一种计算机存储介质,所述计算机存储介质上存储有状态监测程序,其中,所述状态监测程序被处理器执行时,实现如上所述的状态监测方法的步骤。

29、本申请实施例提供了一种状态监测方法,应用于设置在智能笔上的状态监测系统,状态监测系统包括相机模块和惯性传感器,获取相机模块采集的用户图像数据和惯性传感器采集的笔体位姿数据,其中,用户图像数据包括用户眼部图像和用户头部图像;根据用户头部图像和笔体位姿数据确定校正头部数据,并根据校正头部数据和用户眼部图像确定用户状态,以完成状态监测,这种状态监测方法通过智能笔上的状态监测系统来实现对用户的状态监测,进而依据惯性传感器采集的笔体位姿数据,以及相机模块采集的用户眼部图像和用户头部图像进行综合处理,以避免需要使用专门的状态监测设备才能实现对用户状态监测的问题,也就是这种状态监测方法通过智能笔上的状态监测系统来实现对用户的状态监测,进而可以大大降低监测仪器的体积和提高便携性,同时还可以依据惯性传感器采集的笔体位姿数据对用户头部图像进行修正得到校正头部数据,最终依据校正头部数据和相机模块采集的用户眼部图像确定用户状态,就可以依据智能笔以及智能笔上采集的头部和眼部图像以及笔体位姿数据来实现用户状态监测,就可以在无需使用状态监测设备的前提下,实现状态监测。

1.一种状态监测方法,其特征在于,所述状态监测方法应用于设置在智能笔上的状态监测系统,所述状态监测系统包括相机模块和惯性传感器,所述状态监测方法包括:

2.如权利要求1所述的状态监测方法,其特征在于,所述根据所述校正头部数据和所述用户眼部图像确定用户状态的步骤,包括:

3.如权利要求2所述的状态监测方法,其特征在于,所述依据所述头部特征数据和所述眼部特征数据确定用户状态的步骤,包括:

4.如权利要求2所述的状态监测方法,其特征在于,所述依据所述头部特征数据和所述眼部特征数据确定用户状态的步骤,包括:

5.如权利要求4所述的状态监测方法,其特征在于,所述状态监测系统还包括反馈模块,所述依据所述头部特征数据和所述眼部特征数据确定用户状态的步骤之后,包括:

6.如权利要求1所述的状态监测方法,其特征在于,所述根据所述用户头部图像和所述笔体位姿数据确定校正头部数据的步骤,包括:

7.如权利要求1所述的状态监测方法,其特征在于,所述获取所述相机模块采集的用户图像数据和所述惯性传感器采集的笔体位姿数据的步骤之前,包括:

8.一种状态监测系统,其特征在于,所述状态监测系统设置在智能笔上,所述状态监测系统包括控制器、相机模块和惯性传感器,所述控制器与所述相机模块和所述惯性传感器连接,所述控制器包括:

9.一种状态监测设备,其特征在于,所述状态监测设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如权利要求1至7中任一项所述的状态监测方法的步骤。

10.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有状态监测程序,其中,所述状态监测程序被处理器执行时,实现如权利要求1至7中任一项所述的状态监测方法的步骤。