基于眼神追踪技术的多模态信息屏幕装置及其区域信息放大方法与流程

1.本发明涉及智能监控技术领域，具体来说涉及基于眼神追踪技术的多模态信息屏幕装置及其区域信息放大方法。


背景技术：

2.随着通讯技术的进步，在目前生活形态中，越来越多的信息，不再通过纸张进行传递，而是通过各种各样的屏幕，如电脑、手机、车站的电子广告屏、小区的信息宣传大屏实现各种信息的传达。
3.值得注意的是，在一些特殊的岗位上，如地铁驾驶员、飞机驾驶员，需要时刻通过屏幕上的信息进行相应的操作或判读，长时间工作后容易有眼睛疲劳而发生看走眼的状况。此外，手机、平板、电脑等几乎是日常生活中必需的3c用品；其中，手机的使用年龄层最广，然而，手机屏幕面积固定也常见3c屏幕中最小的，对于一些视力不佳的人，尤其是老年人，往往不易阅读屏幕预设大小的字体，需要随着阅读段落随时调整字体，不仅阅读麻烦，且固定面积的屏幕上所能显示的信息量也少，需要不断滚动页面才能完成阅读；更甚者，有些屏幕设备或者应用程序(app)页面，无法手动调大字体，或者调大之后，导致页面上的信息区块重叠。明显造成阅读困难，有待进一步改进。


技术实现要素：

4.鉴于上述情况，本发明提供一种基于眼神追踪技术的多模态信息屏幕装置及其区域信息放大方法，本发明利用神经网络预测模型模块训练出眼神追踪判断模型模塊，用以对屏幕装置的观看者的眼神方向位置进行预测判断，从而分析出观看者的目光落点位在显示屏的那个区域(即获得目光区域信息)，并将所述目光区域信息反馈至中央处理器，以供中央处理器根据所述目光区域信息驱动控制放大显示屏的相应区域内容，从而起到方便观看者阅读显示屏显示内容的作用。
5.为实现上述目的，本发明采取的技术方案是提供一种基于眼神追踪技术的多模态信息屏幕装置，其包括：中央处理器；显示屏，内存有屏幕区域识别数据；所述显示屏与所述中央处理器连接并供所述中央处理器读取所述屏幕区域识别数据；ai智能分析摄像设备，包括分别与所述中央处理器连接的摄像头、眼神追踪判断模型模塊及神经网络预测模型模块；所述眼神追踪判断模型模塊另与所述摄像头及所述神经网络预测模型模块连接；所述中央处理器根据所述屏幕区域识别数据控制所述摄像头拍摄并反馈以获得观看者的面部图像信息；眼神追踪训练样本数据库，与所述神经网络预测模型模块连接，供所述神经网络预测模型模块提取训练样本数据；其中，所述中央处理器接收所述面部图像信息和所述屏幕区域识别数据后形成图像对比信息并输出至所述神经网络预测模型模块；所述神经网络预测模型模块根据所述图像对比信息中的面部图像信息提取与其具有映射关系的训练样本数据，所述训练样本数据于所述神经网络预测模型模块训练更新形成带有屏幕区域识别
数据的图像识别模型更新信息，所述图像识别模型更新信息被输出至所述眼神追踪判断模型模塊以训练更新所述图像识别模型；借此，所述屏幕装置使用时，所述眼神追踪判断模型模塊通过所述摄像头拍摄获得观看者的面部图像信息，所述眼神追踪判断模型模塊基于已训练更新的所述图像识别模型与所述面部图像信息比对判断以形成目光区域信息，所述中央处理器接收所述目光区域信息并据以形成目光区域放大信息输出至所述显示屏，所述显示屏根据所述目光区域放大信息放大对应的屏幕区域内容。
6.本发明屏幕装置的进一步改进在于，所述训练样本数据包括眼神状态特征、面部头部特征和表情特征；所述面部图像信息包括观看者的眼神状态特征、面部头部特征和表情特征；所述神经网络预测模型模块通过对比所述训练样本数据及所述面部图像信息中的特征以获得具有映射关系的训练样本数据和面部图像信息。
7.本发明屏幕装置的进一步改进在于，所述屏幕区域识别数据包含对应所述显示屏不同区域的识别数据；所述神经网络预测模型模块具有映射关系的训练样本数据和面部图像信息获得与所述训练样本数据相应的屏幕区域识别数据，使输出的图像识别模型更新信息包括训练样本数据以及与其相应的屏幕区域识别数据。
8.本发明屏幕装置的进一步改进在于，所述屏幕装置还包括时序程序控制模块，所述时序程序控制模块与所述眼神追踪判断模型模塊连接；所述时序程序控制模块与所述眼神追踪判断模型模塊协同作用，根据间隔摄像时长进行图像拍摄以及感测观看者的目光停留时长及目光离开时长；所述时序程序控制模块另与所述中央处理器连接，以供调整目光停留灵敏度。
9.本发明另提供一种基于眼神追踪技术的多模态信息屏幕装置的区域信息放大方法，所述方法的步骤包括：
10.屏幕装置提供步骤：提供具有中央处理器、显示屏及ai智能分析摄像设备的屏幕装置；其中，所述ai智能分析摄像设备设有分别与所述中央处理器连接的摄像头、眼神追踪判断模型模塊及神经网络预测模型模块；所述眼神追踪判断模型模塊另与所述摄像头及所述神经网络预测模型模块连接；
11.训练样本数据获取步骤：使所述神经网络预测模型模块与一眼神追踪训练样本数据库连接；
12.观看者图像对比信息获取步骤：使所述中央处理器自所述显示屏读取内存的屏幕区域识别数据；所述中央处理器根据所述屏幕区域识别数据控制所述摄像头对观看者进行拍摄以获得观看者的面部图像信息；所述面部图像信息和所述屏幕区域识别数据经所述中央处理器处理形成图像对比信息并输出至所述神经网络预测模型模块；
13.神经网络预测模型训练步骤：所述神经网络预测模型模块根据所述图像对比信息中的面部图像信息提取与其具有映射关系的训练样本数据，所述训练样本数据于所述神经网络预测模型模块训练更新形成带有屏幕区域识别数据的图像识别模型更新信息；
14.神经网络预测模型训练结束步骤：重覆所述训练样本数据获取步骤、所述观看者图像对比信息获取步骤和所述神经网络预测模型训练步骤，直到所述中央处理器读取到的所有屏幕区域识别数据皆与所述训练样本数据形成映射关系时停止神经网络预测模型的训练；
15.图像识别模型训练更新步骤：将所述图像识别模型更新信息输出至所述眼神追踪
判断模型模塊以训练更新所述图像识别模型；
16.屏幕区域信息放大步骤：当观看者位于所述屏幕装置前，所述眼神追踪判断模型模塊通过所述摄像头拍摄获得观看者的面部图像信息，所述眼神追踪判断模型模塊基于已训练更新的所述图像识别模型与当前拍摄获得的所述面部图像信息比对判断以形成目光区域信息，所述中央处理器接收所述目光区域信息并据以形成目光区域放大信息输出至所述显示屏，所述显示屏根据所述目光区域放大信息放大对应的屏幕区域内容。
17.本发明屏幕装置的区域信息放大方法的进一步改进在于，所述屏幕装置提供步骤中，所述ai智能分析摄像设备另设有时序程序控制模块与所述眼神追踪判断模型模塊连接；所述眼神追踪判断模型模塊根据所述时序程序控制模块的间隔摄像时长通过所述摄像头获得最新的所述摄像信息；所述屏幕区域信息放大步骤中，当观看者位于所述屏幕装置前，所述眼神追踪判断模型模塊通过所述摄像头拍摄获得的当前摄像信息为所述观看者的面部图像信息。
18.本发明屏幕装置的区域信息放大方法的进一步改进在于，所述屏幕区域信息放大步骤中，所述眼神追踪判断模型模塊在接收到所述观看者的面部图像信息时启动所述眼神追踪判断模型模塊和所述时序程序控制模块协同感测所述观看者的目光停留时长；当所述目光停留时长达到预设值时，所述时序程序控制模块驱动所述眼神追踪判断模型模塊输出所述目光区域信息，所述中央处理器接收所述目光区域信息并据以形成目光区域放大信息输出至所述显示屏，所述显示屏根据所述目光区域放大信息放大对应的屏幕区域内容。
19.本发明屏幕装置的区域信息放大方法的进一步改进在于，所述方法的步骤还包括屏幕区域信息恢复步骤，其中，所述屏幕区域信息恢复步骤，所述眼神追踪判断模型模塊输出所述目光区域信息后，再次根据所述时序程序控制模块的间隔摄像时长通过所述摄像头获得最新的所述面部图像信息；当所述眼神追踪判断模型模塊不再读取到所述面部图像信息时，启动所述眼神追踪判断模型模塊和所述时序程序控制模块协同感测所述观看者的目光离开时长；当所述目光离开时长达到预设值时，所述时序程序控制模块驱动所述眼神追踪判断模型模塊输出目光离开信息，所述中央处理器接收所述目光离开信息并据以形成放大区域恢复信息输出至所述显示屏，所述显示屏根据所述放大区域恢复信息缩小对应的屏幕区域内容。
20.本发明屏幕装置及其区域信息放大方法的进一步改进在于，所述屏幕装置为手机屏幕、电脑屏幕、平板屏幕、室外广告大屏、电视屏幕或笔记型电脑屏幕。
21.本发明由于采用了以上技术方案，使其具有以下有益效果：
22.(1)本发明利用神经网络预测模型模块训练出眼神追踪判断模型模塊，用以对屏幕装置的观看者的眼神方向位置进行预测判断的屏幕装置及屏幕区域信息放大方法，解决了视力不佳尤其是老年人在阅读电子屏幕时看不清文字的情况。
23.(2)本发明利用神经网络预测模型模块训练出眼神追踪判断模型模塊，用以对屏幕装置的观看者的眼神方向位置进行预测判断的屏幕装置及屏幕区域信息放大方法，对于非个人设备，如室外电子屏，无需进行个性化调节字体，只要设备有该功能，正常阅读即可使用。
24.(3)本发明利用神经网络预测模型模块训练出眼神追踪判断模型模塊，用以对屏幕装置的观看者的眼神方向位置进行预测判断的屏幕装置及屏幕区域信息放大方法，适用
于个人化的屏幕设备，如手机、平板、电脑、电视、笔电等设备，无需调整原始字体，页面仍然可以搭载丰富信息。
25.本发明的这些和其它目的、特点和优势，通过下述的详细说明和权利要求得以充分体现，并可通过所附权利要求中特地指出的手段、装置和它们的组合得以实现。
附图说明
26.图1是本发明基于眼神追踪技术的多模态信息屏幕装置的架构示意图。
27.图2是本发明的ai智能分析摄像设备进行眼神追踪的状态示意图。
28.图3是本发明的显示屏裁分成相同大小区域以进行眼神追踪的状态示意图。
29.图4是本发明的显示屏裁分成不同大小区域以进行眼神追踪的状态示意图。
30.图5是本发明的显示屏收到目光区域放大信息后，将对应区域悬浮放大的示意图。
31.附图标记与部件的对应关系如下：
32.屏幕装置100；中央处理器10；显示屏20；ai智能分析摄像设备30；摄像头31；眼神追踪判断模型模塊32；图像识别模型321；神经网络预测模型模块33；眼神追踪训练样本数据库40；训练样本数据41；观看者50；眼睛51；面部图像信息s1；目光区域信息s2；图像对比信息s3；图像识别模型更新信息s4；目光区域放大信息s5；放大区域恢复信息s6；目光离开信息s7。
具体实施方式
33.在这里将公开本发明的详细的具体实施方案。然而应当理解，所公开的实施方案仅仅是本发明的典型例子，并且本发明可以通过多种备选形式来实施。因此，这里所公开的具体结构和功能细节不是限制性的，仅是以权利要求为原则，作为向本领域技术人员说明不同实施方式的代表性原则。
34.为利于对本发明的了解，以下结合附图1至图5及实施例进行说明。
35.需先说明的是，于本发明的图1中，设备、数据库、模块或构件之间的连接线，其中一端箭号所指方向是指特别标注的信息(s1、s2、s3、s4、s5、s6、s7)的传输方向；应被理解的是，连接线的箭号方向不用于限制连接线两端连接构件、数据库、模块或设备之间的其他信息传输方向。
36.请参阅图1，本发明提供了基于眼神追踪技术的多模态信息屏幕装置，其中，所述屏幕装置100包括中央处理器10、显示屏20、ai智能分析摄像设备30和眼神追踪训练样本数据库40；其中，所述ai智能分析摄像设备30还包括摄像头31、眼神追踪判断模型模塊32和神经网络预测模型模块33。
37.如图1，所述中央处理器10与所述显示屏20、所述摄像头31、所述眼神追踪判断模型模塊32和所述神经网络预测模型模块33连接。
38.如图1，所述显示屏20内存有屏幕区域识别数据21；所述中央处理器10通过与所述显示屏20连接以读取所述屏幕区域识别数据21。于本发明实施例中，所述屏幕区域识别数据21可根据不同形态的屏幕装置100进行区域划分，如图3，显示将显示屏20的面积按相同尺寸的规则区域划分，并可进一步标识为a1区域、a2区域
…
至h8区域；如图4，显示将显示屏20的面积按不同尺寸大小的区域划分，可标识为a区域、b区域
…
至g区域。
39.如图1、图2所示，所述ai智能分析摄像设备30用于拍摄获得所述显示屏20前方的图像信息，并在观看者50位于显示屏20前方时形成观看者50的面部图像信息s1，供作分析判断使用。其中，所述眼神追踪判断模型模塊32另与所述摄像头31及所述神经网络预测模型模块33连接；所述中央处理器10根据所述屏幕区域识别数据21控制所述摄像头31拍摄并反馈以获得观看者50的面部图像信息s1。于本发明实施例中，如图2所示，观看者50通过目光落点于如图3、图4中显示屏20的不同屏幕区域，而形成不同的眼神状态特征、面部头部特征、表情特征等特征，从而在ai智能分析摄像设备30拍摄获得的面部图像信息s1中形成可供比对判断的有效信息。
40.如图1所示，所述眼神追踪训练样本数据库40与所述神经网络预测模型模块33连接，供所述神经网络预测模型模块33提取训练样本数据41。
41.于本发明实施例中，如图1，所述中央处理器10接收所述面部图像信息s1和所述屏幕区域识别数据21后形成图像对比信息s3并输出至所述神经网络预测模型模块33；所述神经网络预测模型模块33根据所述图像对比信息s3中的面部图像信息s1提取与其具有映射关系的训练样本数据41，所述训练样本数据41于所述神经网络预测模型模块33训练更新形成带有屏幕区域识别数据21的图像识别模型更新信息s4，所述图像识别模型更新信息s4被输出至所述眼神追踪判断模型模塊32以训练更新所述图像识别模型321。借此，所述屏幕装置100使用时，所述眼神追踪判断模型模塊32通过所述摄像头31拍摄获得观看者50的面部图像信息s1，所述眼神追踪判断模型模塊32基于已训练更新的所述图像识别模型321与所述面部图像信息s1比对判断以形成目光区域信息s2，所述中央处理器10接收所述目光区域信息s2并据以形成目光区域放大信息s5输出至所述显示屏20，如图5的e区域所示，所述显示屏20根据所述目光区域放大信息s5放大对应的屏幕区域内容。
42.具体地，于本发明实施例中，所述训练样本数据41包括眼神状态特征、面部头部特征和表情特征；所述面部图像信息s1包括观看者50的眼神状态特征、面部头部特征和表情特征；所述神经网络预测模型模块33通过对比所述训练样本数据41及所述面部图像信息s1中的特征以获得具有映射关系的训练样本数据41和面部图像信息s1。
43.具体地，于本发明实施例中，所述屏幕区域识别数据21包含对应所述显示屏20不同区域的识别数据；所述神经网络预测模型模块33具有映射关系的训练样本数据41和面部图像信息s1获得与所述训练样本数据41相应的屏幕区域识别数据21，使输出的图像识别模型更新信息s4包括训练样本数据41以及与其相应的屏幕区域识别数据21。
44.具体地，于本发明实施例中，所述屏幕装置100还包括时序程序控制模块，所述时序程序控制模块与所述眼神追踪判断模型模塊32连接；所述时序程序控制模块与所述眼神追踪判断模型模塊32协同作用，根据间隔摄像时长进行图像拍摄以及感测观看者50的目光停留时长及目光离开时长；所述时序程序控制模块另与所述中央处理器10连接，以供调整目光停留灵敏度。
45.于本发明实施例中，所述屏幕装置100为手机屏幕、电脑屏幕、平板屏幕、室外广告大屏、电视屏幕或笔记型电脑屏幕。
46.以上说明了本发明基于眼神追踪技术的多模态信息屏幕装置的具体实施方式，以下请配合参阅图1至图5，说明本发明屏幕装置100的区域信息放大方法。
47.本发明基于眼神追踪技术的多模态信息屏幕装置的区域信息放大方法的步骤包
括：
48.屏幕装置提供步骤：提供具有中央处理器10、显示屏20及ai智能分析摄像设备30的屏幕装置100；其中，所述ai智能分析摄像设备30设有分别与所述中央处理器10连接的摄像头31、眼神追踪判断模型模塊32及神经网络预测模型模块33；所述眼神追踪判断模型模塊32另与所述摄像头31及所述神经网络预测模型模块33连接；
49.训练样本数据获取步骤：使所述神经网络预测模型模块33与一眼神追踪训练样本数据库40连接；
50.观看者图像对比信息获取步骤：使所述中央处理器10自所述显示屏20读取内存的屏幕区域识别数据21；所述中央处理器10根据所述屏幕区域识别数据21控制所述摄像头31对观看者50进行拍摄以获得观看者50的面部图像信息s1；所述面部图像信息s1和所述屏幕区域识别数据21经所述中央处理器10处理形成图像对比信息s3并输出至所述神经网络预测模型模块33；
51.神经网络预测模型训练步骤：所述神经网络预测模型模块33根据所述图像对比信息s3中的面部图像信息s1提取与其具有映射关系的训练样本数据41，所述训练样本数据41于所述神经网络预测模型模块33训练更新形成带有屏幕区域识别数据21的图像识别模型更新信息s4；
52.神经网络预测模型训练结束步骤：重覆所述训练样本数据获取步骤、所述观看者图像对比信息获取步骤和所述神经网络预测模型训练步骤，直到所述中央处理器10读取到的所有屏幕区域识别数据21皆与所述训练样本数据41形成映射关系时停止神经网络预测模型的训练；
53.图像识别模型训练更新步骤：将所述图像识别模型更新信息s4输出至所述眼神追踪判断模型模塊32以训练更新所述图像识别模型321；
54.屏幕区域信息放大步骤：当观看者50位于所述屏幕装置100前，所述眼神追踪判断模型模塊32通过所述摄像头31拍摄获得观看者50的面部图像信息s1，所述眼神追踪判断模型模塊32基于已训练更新的所述图像识别模型321与当前拍摄获得的所述面部图像信息s1比对判断以形成目光区域信息s2，所述中央处理器10接收所述目光区域信息s2并据以形成目光区域放大信息s5输出至所述显示屏20，所述显示屏20根据所述目光区域放大信息s5放大对应的屏幕区域内容。
55.进一步地，于本发明实施例中，所述屏幕装置提供步骤中，所述ai智能分析摄像设备30另设有时序程序控制模块(图未示)与所述眼神追踪判断模型模塊32连接；所述眼神追踪判断模型模塊32根据所述时序程序控制模块的间隔摄像时长通过所述摄像头31获得最新的所述摄像信息；
56.所述屏幕区域信息放大步骤中，当观看者50位于所述屏幕装置100前，所述眼神追踪判断模型模塊32通过所述摄像头31拍摄获得的当前摄像信息为所述观看者50的面部图像信息s1。
57.进一步地，于本发明实施例中，所述屏幕区域信息放大步骤中，所述眼神追踪判断模型模塊32在接收到所述观看者50的面部图像信息s1时启动所述眼神追踪判断模型模塊32和所述时序程序控制模块协同感测所述观看者50的目光停留时长；当所述目光停留时长达到预设值时，所述时序程序控制模块驱动所述眼神追踪判断模型模塊32输出所述目光区
域信息s2，所述中央处理器10接收所述目光区域信息s2并据以形成目光区域放大信息s5输出至所述显示屏20，所述显示屏20根据所述目光区域放大信息s5放大对应的屏幕区域内容。
58.进一步地，于本发明实施例中，所述方法的步骤还包括屏幕区域信息恢复步骤，其中，所述屏幕区域信息恢复步骤，所述眼神追踪判断模型模塊32输出所述目光区域信息s2后，再次根据所述时序程序控制模块的间隔摄像时长通过所述摄像头31获得最新的所述面部图像信息s1；当所述眼神追踪判断模型模塊32不再读取到所述面部图像信息s1时，启动所述眼神追踪判断模型模塊32和所述时序程序控制模块协同感测所述观看者50的目光离开时长；当所述目光离开时长达到预设值时，所述时序程序控制模块驱动所述眼神追踪判断模型模塊32输出目光离开信息s7，所述中央处理器10接收所述目光离开信息s7并据以形成放大区域恢复信息s6输出至所述显示屏20，所述显示屏20根据所述放大区域恢复信息s6缩小对应的屏幕区域内容。
59.以下提供本发明基于眼神追踪技术的多模态信息屏幕装置的区域信息放大方法的实施例。其方法步骤包括：
60.第一步：获取眼神追踪训练样本集(眼神追踪训练样本数据库40)，包括眼神状态特征，面部头部特征，表情特征等；
61.第二步：获取所述训练样本集中训练样本(训练样本数据41)与目光实际观测屏幕区域的行为特征(面部图像信息s1)；于本步骤中，可将屏幕分成很多大小相同或不同的区域，以获取目光区域信息s2；
62.第三步：分别对所述人眼神表情特征和目光区域特征进行提取，输入神经网络预测模型，训练可进行眼神追踪的图像识别模型；
63.第四步：将第一步至第三步方法应用在有ai分析能力的摄像头(ai智能分析摄像设备30)中，并搭载至各类屏幕(屏幕装置100)；
64.第五步：大尺寸屏幕为例，当观看者50停留在屏幕前3秒时，屏幕可对观看者50行人物自动判断，此时ai智能分析摄像设备30可以对观看者50的眼睛51进行眼神追踪；
65.第六步：当追踪到观看者50的眼睛51在浏览a区域，且目光已经停留超过3秒，此时ai智能分析摄像设备30可通过其眼神追踪判断模型模塊32进行软件逻辑判断观看者50正在阅读a区域信息，将此状况信息反馈至中央处理器10；
66.第七步：所述中央处理器10采用悬浮的方式控制a区域信息(如图5)，进行适当的放大，方便观看者50进行a区域信息阅读。
67.第八步：当观看者50的眼睛51离开a区域超过2秒，放大效果根据内设时序程序控制而自动消失；当屏幕装置100接着眼神追踪判断观看者50在阅读b区域，可根据以上步骤放大b区域内容；
68.第九步：当ai智能分析摄像设备30判断观看者50离开屏幕前方后，将状况信息反馈至中央处理器10以使被放大的区域内容恢复原来字体大小。
69.是以，本发明通过前述基于眼神追踪技术的多模态信息屏幕装置及其区域信息放大方法，能够搭载进入手机、平板、电脑、电视或大型室外广告大屏等设备中，并配合设置开关功能，从而在有需要使用该眼神追踪以放大阅读区域功能时，将ai智能分析摄像设备30的摄像头正对观看者50面部即可实现上述操作。
70.以上结合附图及实施例对本发明进行了详细说明，本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的某些细节不应构成对本发明的限定，本发明将以所附权利要求书界定的范围作为本发明的保护范围。