基于图像处理的智能眼镜调节控制方法及系统与流程

1.本发明涉及图像处理技术领域，具体而言，涉及一种基于图像处理的智能眼镜调节控制方法及系统。


背景技术：

2.智能眼镜的应用较多，例如，可以通过智能眼镜对用户进行警示处理，即在用户存在状态不佳的情况下，对用户进行相应的警示以免造成损害。在现有技术中，智能眼镜在用户观影时间过长造成状态不佳时，对用户进行警示；但是，在整个过程中，会存在因对智能眼镜调节控制不到位而造成警示可靠度不佳的问题，即存在对智能眼镜进行调节控制的可靠度不佳的问题。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种基于图像处理的智能眼镜调节控制方法及系统，以在一定程度上提高对智能眼镜进行调节控制的可靠度。
4.为实现上述目的，本发明实施例采用如下技术方案：一种基于图像处理的智能眼镜调节控制方法，包括：通过目标智能眼镜对目标用户的脸部区域进行视频监控处理，以输出所述目标用户对应的脸部区域监控视频，所述脸部区域监控视频包括多帧脸部区域监控视频帧，所述脸部区域监控视频帧至少包括眼睛的信息；利用预先训练形成的用户状态识别神经网络，对所述脸部区域监控视频进行用户状态识别处理，以输出所述目标用户对应的目标用户状态识别信息，所述目标用户状态识别信息用于反映所述目标用户的注意力集中度；基于所述目标用户状态识别信息，对所述目标智能眼镜进行调节控制，以实现对所述目标用户的警示处理。
5.在一些优选的实施例中，在上述基于图像处理的智能眼镜调节控制方法中，所述通过目标智能眼镜对目标用户的脸部区域进行视频监控处理，以输出所述目标用户对应的脸部区域监控视频的步骤，包括：判断是否接收到目标智能眼镜或所述目标智能眼镜对应的目标用户终端设备发送的智能眼镜调节控制指令；倘若接收到所述目标智能眼镜或所述目标智能眼镜对应的目标用户终端设备发送的智能眼镜调节控制指令，则通过向所述目标智能眼镜发送视频监控指令，以控制所述目标智能眼镜对目标用户的脸部区域进行视频监控处理，以输出所述目标用户对应的脸部区域监控视频。
6.在一些优选的实施例中，在上述基于图像处理的智能眼镜调节控制方法中，所述利用预先训练形成的用户状态识别神经网络，对所述脸部区域监控视频进行用户状态识别处理，以输出所述目标用户对应的目标用户状态识别信息的步骤，包括：
对所述脸部区域监控视频包括的多帧脸部区域监控视频帧中的每一帧脸部区域监控视频帧进行视频帧区域截取处理，以输出每一个所述脸部区域监控视频帧对应的脸部子区域监控视频帧，所述脸部子区域监控视频帧为所述脸部区域监控视频帧中眼睛所在的子区域；依据每一帧所述脸部区域监控视频帧对应的脸部子区域监控视频帧，按照所述脸部区域监控视频帧的视频帧时序进行排序，以形成所述脸部区域监控视频对应的脸部子区域监控视频；利用预先训练形成的用户状态识别神经网络，对所述脸部子区域监控视频和预先配置的多个标准脸部子区域监控视频中的每一帧标准脸部子区域监控视频进行识别匹配处理，以输出所述脸部子区域监控视频和每一个所述标准脸部子区域监控视频之间的视频匹配度；依据所述脸部子区域监控视频和每一个所述标准脸部子区域监控视频之间的视频匹配度，对每一个所述标准脸部子区域监控视频对应的用户状态标准信息进行融合，以输出所述目标用户对应的目标用户状态识别信息。
7.在一些优选的实施例中，在上述基于图像处理的智能眼镜调节控制方法中，所述利用预先训练形成的用户状态识别神经网络，对所述脸部子区域监控视频和预先配置的多个标准脸部子区域监控视频中的每一个标准脸部子区域监控视频进行识别匹配处理，以输出所述脸部子区域监控视频和每一个所述标准脸部子区域监控视频之间的视频匹配度的步骤，包括：从所述脸部子区域监控视频中，提取到所述脸部子区域监控视频中包括的每一帧脸部子区域监控视频帧对应的视频帧特征数据，从所述标准脸部子区域监控视频中，提取到所述标准脸部子区域监控视频包括的每一帧标准脸部子区域监控视频帧对应的视频帧特征数据；将每一帧所述脸部子区域监控视频帧对应的视频帧特征数据和每一帧所述标准脸部子区域监控视频帧对应的视频帧特征数据加载到预先训练形成的用户状态识别神经网络中，以利用所述用户状态识别神经网络，分析识别出每一帧所述脸部子区域监控视频帧分别与目标视频帧簇中的每一帧目标视频帧之间的视频帧匹配系数，并分析识别出每一帧所述标准脸部子区域监控视频帧分别与所述目标视频帧簇中的每一帧目标视频帧之间的标准视频帧匹配系数，所述目标视频帧簇中的多帧目标视频帧包括所述脸部子区域监控视频帧和所述标准脸部子区域监控视频帧；基于每一帧所述脸部子区域监控视频帧分别与每一帧目标视频帧之间的视频帧匹配系数和每一帧所述标准脸部子区域监控视频帧分别与每一帧目标视频帧之间的标准视频帧匹配系数，分析确定出所述脸部子区域监控视频和所述标准脸部子区域监控视频之间的视频匹配度。
8.在一些优选的实施例中，在上述基于图像处理的智能眼镜调节控制方法中，所述从所述脸部子区域监控视频中，提取到所述脸部子区域监控视频中包括的每一帧脸部子区域监控视频帧对应的视频帧特征数据，从所述标准脸部子区域监控视频中，提取到所述标准脸部子区域监控视频包括的每一帧标准脸部子区域监控视频帧对应的视频帧特征数据的步骤，包括：
从所述脸部子区域监控视频中，提取到每一帧所述脸部子区域监控视频帧对应的视频帧像素分布数据，从所述标准脸部子区域监控视频中，提取到每一帧所述标准脸部子区域监控视频帧对应的视频帧像素分布数据；从所述脸部子区域监控视频中，分别提取到每一帧所述脸部子区域监控视频对应的视频帧时序数据，再从所述标准脸部子区域监控视频中，提取到每一帧所述标准脸部子区域监控视频帧对应的视频帧时序数据；分别基于每一帧所述脸部子区域监控视频帧对应的视频帧像素分布数据和视频帧时序数据，构建形成每一帧所述脸部子区域监控视频帧对应的视频帧特征数据，再分别基于每一帧所述标准脸部子区域监控视频帧对应的视频帧像素分布数据和视频帧时序数据，构建形成每一帧所述标准脸部子区域监控视频帧对应的视频帧特征数据。
9.在一些优选的实施例中，在上述基于图像处理的智能眼镜调节控制方法中，所述将每一帧所述脸部子区域监控视频帧对应的视频帧特征数据和每一帧所述标准脸部子区域监控视频帧对应的视频帧特征数据加载到预先训练形成的用户状态识别神经网络中，以利用所述用户状态识别神经网络，分析识别出每一帧所述脸部子区域监控视频帧分别与目标视频帧簇中的每一帧目标视频帧之间的视频帧匹配系数，并分析识别出每一帧所述标准脸部子区域监控视频帧分别与所述目标视频帧簇中的每一帧目标视频帧之间的标准视频帧匹配系数的步骤，包括：将每一帧所述脸部子区域监控视频帧对应的视频帧特征数据和每一帧所述标准脸部子区域监控视频帧对应的视频帧特征数据加载到预先训练形成的用户状态识别神经网络中；通过所述用户状态识别神经网络，基于所述脸部子区域监控视频帧对应的视频帧时序数据和所述标准脸部子区域监控视频帧对应的视频帧时序数据，分析输出所述脸部子区域监控视频帧分别与目标视频帧簇中的每一帧目标视频帧之间的视频帧时序数据差值，并分析输出所述标准脸部子区域监控视频帧分别与所述目标视频帧簇中的每一帧目标视频帧之间的视频帧时序数据差值；基于所述脸部子区域监控视频帧对应的视频帧像素分布数据、所述脸部子区域监控视频帧分别与每一帧目标视频帧之间的视频帧时序数据差值、所述标准脸部子区域监控视频帧对应的视频帧像素分布数据和所述标准脸部子区域监控视频帧分别与每一帧目标视频帧之间的视频帧时序数据差值，分析输出所述脸部子区域监控视频帧分别与每一帧目标视频帧的视频帧匹配系数，并分析输出所述标准脸部子区域监控视频帧分别与每一帧目标视频帧的标准视频帧匹配系数。
10.在一些优选的实施例中，在上述基于图像处理的智能眼镜调节控制方法中，所述将每一帧所述脸部子区域监控视频帧对应的视频帧特征数据和每一帧所述标准脸部子区域监控视频帧对应的视频帧特征数据加载到预先训练形成的用户状态识别神经网络中，以利用所述用户状态识别神经网络，分析识别出每一帧所述脸部子区域监控视频帧分别与目标视频帧簇中的每一帧目标视频帧之间的视频帧匹配系数，并分析识别出每一帧所述标准脸部子区域监控视频帧分别与所述目标视频帧簇中的每一帧目标视频帧之间的标准视频帧匹配系数的步骤，包括：将每一帧所述脸部子区域监控视频帧对应的视频帧特征数据和每一帧所述标准
脸部子区域监控视频帧对应的视频帧特征数据，加载到所述用户状态识别神经网络包括的视频帧特征识别挖掘模型中；利用所述视频帧特征识别挖掘模型包括的视频帧特征权重分析子模型，分析识别出所述脸部子区域监控视频帧分别与每一帧目标视频帧之间的视频帧匹配系数，并分析识别出所述标准脸部子区域监控视频帧分别与每一帧目标视频帧之间的标准视频帧匹配系数。
11.在一些优选的实施例中，在上述基于图像处理的智能眼镜调节控制方法中，所述基于图像处理的智能眼镜调节控制方法还包括训练形成的所述用户状态识别神经网络的步骤，该步骤包括：从配置的示例性脸部子区域监控视频中，提取到所述示例性脸部子区域监控视频包括的每一帧示例性脸部子区域监控视频帧对应的视频帧特征数据，再从配置的示例性标准脸部子区域监控视频中，提取到所述示例性标准脸部子区域监控视频包括的每一帧示例性标准脸部子区域监控视频帧对应的视频帧特征数据；将每一帧所述示例性脸部子区域监控视频帧对应的视频帧特征数据和每一帧所述示例性标准脸部子区域监控视频帧对应的视频帧特征数据加载到预先搭建的待更新用户状态识别神经网络中；利用所述待更新用户状态识别神经网络，分析识别出每一帧所述示例性脸部子区域监控视频帧分别与示例性目标视频帧簇中的每一帧示例性目标视频帧之间的示例性视频帧匹配系数，并分析识别出每一帧所述示例性标准脸部子区域监控视频帧分别与所述示例性目标视频帧簇中的每一帧示例性目标视频帧之间的示例性标准视频帧匹配系数，所述示例性目标视频帧簇中的多帧示例性目标视频帧包括所述示例性脸部子区域监控视频帧和所述示例性标准脸部子区域监控视频帧；基于每一帧所述示例性脸部子区域监控视频帧分别与每一帧示例性目标视频帧之间的示例性视频帧匹配系数、每一帧所述示例性标准脸部子区域监控视频帧分别与每一帧示例性目标视频帧之间的示例性标准视频帧匹配系数，分析确定出所述示例性脸部子区域监控视频和所述示例性标准脸部子区域监控视频之间的示例性视频匹配度；基于所述示例性脸部子区域监控视频和所述示例性标准脸部子区域监控视频之间的视频匹配度真实值，并结合所述示例性视频匹配度，对所述待更新用户状态识别神经网络进行更新处理，以形成所述待更新用户状态识别神经网对应的用户状态识别神经网络。
12.在一些优选的实施例中，在上述基于图像处理的智能眼镜调节控制方法中，所述基于所述目标用户状态识别信息，对所述目标智能眼镜进行调节控制，以实现对所述目标用户的警示处理的步骤，包括：对所述目标用户状态识别信息反映出的所述目标用户的注意力集中度和预先配置的注意力集中度参考值进行大小比较处理；倘若所述目标用户状态识别信息反映出的所述目标用户的注意力集中度小于或等于所述注意力集中度参考值，则对所述注意力集中度参考值和所述注意力集中度进行比值计算，以输出对应的集中度比值；依据所述集中度比值确定出具有正相关关系的目标振动参数，再依据所述目标振
动参数对所述目标智能眼镜进行调节控制，以使所述目标智能眼镜基于所述目标振动参数发出振动，以提示所述目标用户，所述目标振动参数至少包括目标振动幅度和目标振动频率中的一种。
13.本发明实施例还提供一种基于图像处理的智能眼镜调节控制系统，包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，以实现上述的基于图像处理的智能眼镜调节控制方法。
14.本发明实施例提供的一种基于图像处理的智能眼镜调节控制方法及系统，通过目标智能眼镜对目标用户的脸部区域进行视频监控处理，以输出目标用户对应的脸部区域监控视频。利用预先训练形成的用户状态识别神经网络，对脸部区域监控视频进行用户状态识别处理，以输出目标用户对应的目标用户状态识别信息，目标用户状态识别信息用于反映目标用户的注意力集中度。基于目标用户状态识别信息，对目标智能眼镜进行调节控制，以实现对目标用户的警示处理。基于前述的步骤，可以通过具有较高数据处理能力的神经网络对脸部区域监控视频进行识别以输出对应的目标用户状态识别信息，使得目标用户状态识别信息可以较高可靠度的反映出目标用户的注意力集中度，从而在基于该目标用户状态识别信息对目标智能眼镜进行调节控制时，可以具有较高可靠度，即在一定程度上提高对智能眼镜进行调节控制的可靠度，改善现有技术中的不足。
15.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
16.图1为本发明实施例提供的基于图像处理的智能眼镜调节控制系统的结构框图。
17.图2为本发明实施例提供的基于图像处理的智能眼镜调节控制方法包括的各步骤的流程示意图。
18.图3为本发明实施例提供的基于图像处理的智能眼镜调节控制装置包括的各模块的示意图。
具体实施方式
19.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.参照图1所示的内容，本发明实施例提供了一种基于图像处理的智能眼镜调节控制系统。其中，所述基于图像处理的智能眼镜调节控制系统可以包括存储器和处理器。
21.示例性地，在一些可能的实施方式中，所述存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述存储器中可以存储有至少一个可以以软件或固件（firmware）的形式，存
在的软件功能模块（计算机程序）。所述处理器可以用于执行所述存储器中存储的可执行的计算机程序，从而实现本发明实施例提供的基于图像处理的智能眼镜调节控制方法。
22.示例性地，在一些可能的实施方式中，所述存储器可以是，但不限于，随机存取存储器（random access memory，ram），只读存储器（read only memory，rom），可编程只读存储器（programmable read-only memory，prom），可擦除只读存储器（erasable programmable read-only memory，eprom），电可擦除只读存储器（electric erasable programmable read-only memory，eeprom）等。所述处理器可以是一种通用处理器，包括中央处理器（central processing unit，cpu）、网络处理器（network processor，np）、片上系统(system on chip，soc)等；还可以是数字信号处理器（dsp）、专用集成电路（asic）、现场可编程门阵列（fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
23.示例性地，在一些可能的实施方式中，图1所示的结构仅为示意，所述基于图像处理的智能眼镜调节控制系统还可包括比图1中所示更多或者更少的组件，或具有与图1所示不同的配置，例如，可以包括用于与其它设备（如智能眼镜、手机等用户终端设备）进行信息交互的通信单元。
24.示例性地，在一些可能的实施方式中，所述基于图像处理的智能眼镜调节控制系统可以是一种具备数据处理能力的服务器。
25.结合图2，本发明实施例还提供一种基于图像处理的智能眼镜调节控制方法，可应用于上述基于图像处理的智能眼镜调节控制系统。其中，所述基于图像处理的智能眼镜调节控制方法有关的流程所定义的方法步骤，可以由所述基于图像处理的智能眼镜调节控制系统实现。
26.下面将对图2所示的具体流程，进行详细阐述。
27.步骤s110，通过目标智能眼镜对目标用户的脸部区域进行视频监控处理，以输出所述目标用户对应的脸部区域监控视频。
28.在本发明实施例中，所述基于图像处理的智能眼镜调节控制系统可以通过目标智能眼镜对目标用户的脸部区域进行视频监控处理，以输出所述目标用户对应的脸部区域监控视频。所述脸部区域监控视频包括多帧脸部区域监控视频帧，所述脸部区域监控视频帧至少包括眼睛的信息。
29.步骤s120，利用预先训练形成的用户状态识别神经网络，对所述脸部区域监控视频进行用户状态识别处理，以输出所述目标用户对应的目标用户状态识别信息。
30.在本发明实施例中，所述基于图像处理的智能眼镜调节控制系统可以利用预先训练形成的用户状态识别神经网络，对所述脸部区域监控视频进行用户状态识别处理，以输出所述目标用户对应的目标用户状态识别信息。所述目标用户状态识别信息用于反映所述目标用户的注意力集中度。
31.步骤s130，基于所述目标用户状态识别信息，对所述目标智能眼镜进行调节控制，以实现对所述目标用户的警示处理。
32.在本发明实施例中，所述基于图像处理的智能眼镜调节控制系统可以基于所述目标用户状态识别信息，对所述目标智能眼镜进行调节控制，以实现对所述目标用户的警示处理。
33.基于前述的步骤，可以通过具有较高数据处理能力的神经网络对脸部区域监控视频进行识别以输出对应的目标用户状态识别信息，使得目标用户状态识别信息可以较高可靠度的反映出目标用户的注意力集中度，从而在基于该目标用户状态识别信息对目标智能眼镜进行调节控制时，可以具有较高可靠度，即在一定程度上提高对智能眼镜进行调节控制的可靠度，改善现有技术中的不足（即对智能眼镜进行调节控制的可靠度不高）。
34.示例性地，在一些可能的实施方式中，为了实现步骤“通过目标智能眼镜对目标用户的脸部区域进行视频监控处理，以输出所述目标用户对应的脸部区域监控视频”，在具体的执行过程中可以执行以下内容：判断是否接收到目标智能眼镜或所述目标智能眼镜对应的目标用户终端设备（即目标用户对应的）发送的智能眼镜调节控制指令；倘若接收到所述目标智能眼镜或所述目标智能眼镜对应的目标用户终端设备发送的智能眼镜调节控制指令，则通过向所述目标智能眼镜发送视频监控指令，以控制所述目标智能眼镜对目标用户的脸部区域进行视频监控处理，以输出所述目标用户对应的脸部区域监控视频。
35.示例性地，在一些可能的实施方式中，为了实现步骤“通过目标智能眼镜对目标用户的脸部区域进行视频监控处理，以输出所述目标用户对应的脸部区域监控视频”，在具体的执行过程中，还可以执行以下内容：对所述目标用户对应的脸部区域监控视频中每相邻两帧脸部区域监控视频帧进行视频帧相似度的计算处理，以输出每相邻两帧脸部区域监控视频帧之间的视频帧相似度；再基于所述视频帧相似度，对所述脸部区域监控视频进行去重或去高相似度视频帧筛选，以输出最后的脸部区域监控视频（所述最后的脸部区域监控视频用于执行后续的步骤，如步骤s120）。
36.其中，在一些可能的实施方式中，所述对所述目标用户对应的脸部区域监控视频中每相邻两帧脸部区域监控视频帧进行视频帧相似度的计算处理，以输出每相邻两帧脸部区域监控视频帧之间的视频帧相似度的步骤，可以进一步包括以下内容（仅针对其中的任意相邻两帧进行计算）：对所述相邻两帧脸部区域监控视频帧进行人脸特征点的识别处理，以分别输出对应的第一人脸特征点集合和第二人脸特征点集合，所述第一人脸特征点集合包括的多个第一人脸特征点来自于所述相邻两帧脸部区域监控视频帧中的一帧脸部区域监控视频帧，所述第二人脸特征点集合包括的多个第二人脸特征点来自于所述相邻两帧脸部区域监控视频帧中的另一帧脸部区域监控视频帧；对于所述第一人脸特征点集合中的每一个第一人脸特征点，依据该第一人脸特征点和与该第一人脸特征点最近的一个相邻第一人脸特征点，确定出经过该第一人脸特征点和该相邻第一人脸特征点的一条特征点直线，再依据所述第一人脸特征点集合中的每一个第一人脸特征点对应的特征点直线，对所属的脸部区域监控视频帧进行分割处理，以输出对应的多个第一脸部区域监控视频帧块；对于所述第二人脸特征点集合中的每一个第二人脸特征点，依据该第二人脸特征点和与该第二人脸特征点最近的一个相邻第二人脸特征点，确定出经过该第二人脸特征点和该相邻第二人脸特征点的一条特征点直线，再依据所述第二人脸特征点集合中的每一个
第二人脸特征点对应的特征点直线，对所属的脸部区域监控视频帧进行分割处理，以输出对应的多个第二脸部区域监控视频帧块；分别计算所述多个第一脸部区域监控视频帧块中的每一个第一脸部区域监控视频帧块和所述多个第二脸部区域监控视频帧块中的每一个第二脸部区域监控视频帧块之间的第一维度相似系数和第二维度相似系数，所述第一维度相似系数用于反映对应的第一脸部区域监控视频帧块和第二脸部区域监控视频帧块之间的形状相似度（如区域轮廓的相似度），所述第二维度相似系数用于反映对应的第一脸部区域监控视频帧块和第二脸部区域监控视频帧块之间的像素相似度（如将像素点的像素值安全预设路径进行序列化，如先左后右、先上后下等顺序，再计算得到的像素值序列之间的序列相似度）；将对应的第一维度相似系数和第二维度相似系数进行融合计算（如均值计算或加权均值计算），以输出对应的第一脸部区域监控视频帧块和第二脸部区域监控视频帧块之间的融合维度相似度系数；依据对应的融合维度相似度系数，将所述多个第一脸部区域监控视频帧块和所述多个第二脸部区域监控视频帧块进行关联处理，使得关联的第一脸部区域监控视频帧块和第二脸部区域监控视频帧块之间的融合维度相似度系数的均值最大，其中，若一个第一脸部区域监控视频帧块与多个第二脸部区域监控视频帧块关联，则该多个第二脸部区域监控视频帧块中的每一个第二脸部区域监控视频帧块仅与该第一脸部区域监控视频帧块关联，反之，若一个第二脸部区域监控视频帧块与多个第一脸部区域监控视频帧块关联，则该多个第一脸部区域监控视频帧块中的每一个第一脸部区域监控视频帧块仅与该第二脸部区域监控视频帧块关联（即形成的关系可以包括，一对一、一对多、多对一，不包括多对多）；对于每一个所述第一脸部区域监控视频帧块，计算该第一脸部区域监控视频帧块的面积与该第一脸部区域监控视频帧块对应的参考面积之间的面积比值，再依据该面积比值确定出该第一脸部区域监控视频帧块对应的第一融合权重系数，所述第一融合权重系数与该面积比值负相关，该第一脸部区域监控视频帧块对应的参考面积用于反映该第一脸部区域监控视频帧块的最小外接圆的面积；对于每一个所述第二脸部区域监控视频帧块，计算该第二脸部区域监控视频帧块的面积与该第二脸部区域监控视频帧块对应的参考面积之间的面积比值，再依据该面积比值确定出该第二脸部区域监控视频帧块对应的第二融合权重系数，所述第二融合权重系数与该面积比值负相关，该第二脸部区域监控视频帧块对应的参考面积用于反映该第二脸部区域监控视频帧块的最小外接圆的面积；依据对应的所述第一融合权重系数和所述第二融合权重系数，对每一组关联的第一脸部区域监控视频帧块和第二脸部区域监控视频帧块之间的融合维度相似度系数进行融合处理（示例性地，可以将所述第一融合权重系数和所述第二融合权重系数的平均值作为权重值，对所述融合维度相似度系数进行加权求和计算），以输出所述相邻两帧脸部区域监控视频帧之间的视频帧相似度。
37.示例性地，在一些可能的实施方式中，为了实现步骤“利用预先训练形成的用户状态识别神经网络，对所述脸部区域监控视频进行用户状态识别处理，以输出所述目标用户对应的目标用户状态识别信息”，在具体的执行过程中可以执行以下内容：对所述脸部区域监控视频包括的多帧脸部区域监控视频帧中的每一帧脸部区域
监控视频帧进行视频帧区域截取处理（示例性地，可以先识别出所述脸部区域监控视频帧中的眼睛区域，再对眼睛区域进行截取，其中，对眼睛区域进行识别的技术可以参照相关的现有技术），以输出每一个所述脸部区域监控视频帧对应的脸部子区域监控视频帧，所述脸部子区域监控视频帧为所述脸部区域监控视频帧中眼睛所在的子区域；依据每一帧所述脸部区域监控视频帧对应的脸部子区域监控视频帧，按照所述脸部区域监控视频帧的视频帧时序进行排序，以形成所述脸部区域监控视频对应的脸部子区域监控视频；利用预先训练形成的用户状态识别神经网络，对所述脸部子区域监控视频和预先配置的多个标准脸部子区域监控视频中的每一帧标准脸部子区域监控视频进行识别匹配处理，以输出所述脸部子区域监控视频和每一个所述标准脸部子区域监控视频之间的视频匹配度；依据所述脸部子区域监控视频和每一个所述标准脸部子区域监控视频之间的视频匹配度，对每一个所述标准脸部子区域监控视频对应的用户状态标准信息（示例性地，所述用户状态标准信息可以是预先配置的，用于反映对应的标准用户集中度，且所述标准脸部子区域监控视频对应的用户可以是所述目标用户，也可以是所述目标用户以外的其它用户）进行融合（示例性地，该融合可以是指，将所述视频匹配度作为加权系数，以对所述用户状态标准信息进行加权求和计算，以得到目标用户状态识别信息），以输出所述目标用户对应的目标用户状态识别信息。
38.示例性地，在一些可能的实施方式中，为了实现步骤“利用预先训练形成的用户状态识别神经网络，对所述脸部子区域监控视频和预先配置的多个标准脸部子区域监控视频中的每一个标准脸部子区域监控视频进行识别匹配处理，以输出所述脸部子区域监控视频和每一个所述标准脸部子区域监控视频之间的视频匹配度”，在具体的执行过程中可以执行以下内容：从所述脸部子区域监控视频中，提取到所述脸部子区域监控视频中包括的每一帧脸部子区域监控视频帧对应的视频帧特征数据，从所述标准脸部子区域监控视频中，提取到所述标准脸部子区域监控视频包括的每一帧标准脸部子区域监控视频帧对应的视频帧特征数据；将每一帧所述脸部子区域监控视频帧对应的视频帧特征数据和每一帧所述标准脸部子区域监控视频帧对应的视频帧特征数据加载到预先训练形成的用户状态识别神经网络中，以利用所述用户状态识别神经网络，分析识别出每一帧所述脸部子区域监控视频帧分别与目标视频帧簇中的每一帧目标视频帧之间的视频帧匹配系数，并分析识别出每一帧所述标准脸部子区域监控视频帧分别与所述目标视频帧簇中的每一帧目标视频帧之间的标准视频帧匹配系数，所述目标视频帧簇中的多帧目标视频帧包括所述脸部子区域监控视频帧和所述标准脸部子区域监控视频帧；基于每一帧所述脸部子区域监控视频帧分别与每一帧目标视频帧之间的视频帧匹配系数和每一帧所述标准脸部子区域监控视频帧分别与每一帧目标视频帧之间的标准视频帧匹配系数，分析确定出所述脸部子区域监控视频和所述标准脸部子区域监控视频之间的视频匹配度。
39.示例性地，在一些可能的实施方式中，为了实现步骤“从所述脸部子区域监控视频
中，提取到所述脸部子区域监控视频中包括的每一帧脸部子区域监控视频帧对应的视频帧特征数据，从所述标准脸部子区域监控视频中，提取到所述标准脸部子区域监控视频包括的每一帧标准脸部子区域监控视频帧对应的视频帧特征数据”，具体的执行过程中可以执行以下内容：从所述脸部子区域监控视频中，提取到每一帧所述脸部子区域监控视频帧对应的视频帧像素分布数据，从所述标准脸部子区域监控视频中，提取到每一帧所述标准脸部子区域监控视频帧对应的视频帧像素分布数据；从所述脸部子区域监控视频中，分别提取到每一帧所述脸部子区域监控视频对应的视频帧时序数据，再从所述标准脸部子区域监控视频中，提取到每一帧所述标准脸部子区域监控视频帧对应的视频帧时序数据；分别基于每一帧所述脸部子区域监控视频帧对应的视频帧像素分布数据和视频帧时序数据，构建形成每一帧所述脸部子区域监控视频帧对应的视频帧特征数据，再分别基于每一帧所述标准脸部子区域监控视频帧对应的视频帧像素分布数据和视频帧时序数据，构建形成每一帧所述标准脸部子区域监控视频帧对应的视频帧特征数据。
40.示例性地，在一些可能的实施方式中，为了实现步骤“将每一帧所述脸部子区域监控视频帧对应的视频帧特征数据和每一帧所述标准脸部子区域监控视频帧对应的视频帧特征数据加载到预先训练形成的用户状态识别神经网络中，以利用所述用户状态识别神经网络，分析识别出每一帧所述脸部子区域监控视频帧分别与目标视频帧簇中的每一帧目标视频帧之间的视频帧匹配系数，并分析识别出每一帧所述标准脸部子区域监控视频帧分别与所述目标视频帧簇中的每一帧目标视频帧之间的标准视频帧匹配系数”，在具体的执行过程中可以执行以下内容：将每一帧所述脸部子区域监控视频帧对应的视频帧特征数据和每一帧所述标准脸部子区域监控视频帧对应的视频帧特征数据加载到预先训练形成的用户状态识别神经网络中；通过所述用户状态识别神经网络，基于所述脸部子区域监控视频帧对应的视频帧时序数据和所述标准脸部子区域监控视频帧对应的视频帧时序数据，分析输出所述脸部子区域监控视频帧分别与目标视频帧簇中的每一帧目标视频帧之间的视频帧时序数据差值，并分析输出所述标准脸部子区域监控视频帧分别与所述目标视频帧簇中的每一帧目标视频帧之间的视频帧时序数据差值；基于所述脸部子区域监控视频帧对应的视频帧像素分布数据、所述脸部子区域监控视频帧分别与每一帧目标视频帧之间的视频帧时序数据差值、所述标准脸部子区域监控视频帧对应的视频帧像素分布数据和所述标准脸部子区域监控视频帧分别与每一帧目标视频帧之间的视频帧时序数据差值，分析输出所述脸部子区域监控视频帧分别与每一帧目标视频帧的视频帧匹配系数，分析输出所述标准脸部子区域监控视频帧分别与每一帧目标视频帧的标准视频帧匹配系数。
41.需要说明的是，可以根据所述脸部子区域监控视频帧的视频帧特征数据中脸部子区域监控视频帧的视频帧像素分布数据、标准脸部子区域监控视频帧的视频帧特征数据中标准脸部子区域监控视频帧的视频帧像素分布数据、脸部子区域监控视频帧与目标视频帧簇中每一帧目标视频帧之间的视频帧时序数据差值、以及标准脸部子区域监控视频帧与目标视频帧簇中每一帧目标视频帧的视频帧时序数据差值，生成脸部子区域监控视频帧分别与目标视频帧簇中的每一帧目标视频帧之间的匹配值、标准脸部子区域监控视频帧分别与
目标视频帧簇中的每一帧目标视频帧之间的匹配值。其中，脸部子区域监控视频帧与目标视频帧簇中的一帧目标视频帧之间可以对应有一个匹配值，该匹配值表征了脸部子区域监控视频帧与目标视频帧簇中对应目标视频帧之间的匹配程度，或相似程度，因此，可以将脸部子区域监控视频帧与目标视频帧簇中的每一帧目标视频帧之间的匹配值，作为脸部子区域监控视频帧与目标视频帧簇中的每一帧目标视频帧之间的视频帧匹配系数。同理，标准脸部子区域监控视频帧与目标视频帧簇中的一帧目标视频帧之间可以对应有一个匹配值，该匹配值表征了标准脸部子区域监控视频帧与目标视频帧簇中对应目标视频帧之间的匹配程度，或相似程度，因此，可以将标准脸部子区域监控视频帧与目标视频帧簇中的每一帧目标视频帧之间的匹配值，作为标准脸部子区域监控视频帧与目标视频帧簇中的每一帧目标视频帧之间的标准视频帧匹配系数。
42.示例性地，上述的视频帧匹配系数和上述的标准视频帧匹配系数可以是通过队列的形式存在，可以根据上述脸部子区域监控视频帧的视频帧像素分布数据、标准脸部子区域监控视频帧的视频帧像素分布数据、脸部子区域监控视频帧与目标视频帧簇中每一帧目标视频帧之间的视频帧时序数据差值、以及标准脸部子区域监控视频帧与目标视频帧簇中每一帧目标视频帧之间的视频帧时序数据差值，生成一个匹配值队列，该匹配值队列中包括脸部子区域监控视频帧与目标视频帧簇中每一帧目标视频帧之间的视频帧匹配系数、以及标准脸部子区域监控视频帧与目标视频帧簇中每一帧目标视频帧之间的标准视频帧匹配系数。
43.示例性地，包括脸部子区域监控视频帧1、脸部子区域监控视频帧2、脸部子区域监控视频帧3、脸部子区域监控视频帧4和脸部子区域监控视频帧5，即5帧脸部子区域监控视频帧，还包括标准脸部子区域监控视频帧1、标准脸部子区域监控视频帧2和标准脸部子区域监控视频帧3，即3帧标准脸部子区域监控视频帧。因此目标视频帧簇中的多个原子就包括脸部子区域监控视频帧1、脸部子区域监控视频帧2、脸部子区域监控视频帧3、脸部子区域监控视频帧4、脸部子区域监控视频帧5、标准脸部子区域监控视频帧1、标准脸部子区域监控视频帧2和标准脸部子区域监控视频帧3。基于此，用户状态识别神经网络输出的匹配值队列中可以包括8行8列，可以将该匹配值队列中的一行看作一个匹配系数分布特征，如此，在该匹配值队列中，前面的5行可以是每一帧脸部子区域监控视频帧分别对应的匹配系数分布特征，一帧脸部子区域监控视频帧对应的匹配系数分布特征中包括了该脸部子区域监控视频帧与目标视频帧簇中每一帧目标视频帧之间的视频帧匹配系数；后面的3行可以是每一帧标准脸部子区域监控视频帧分别对应的匹配系数分布特征，一帧标准脸部子区域监控视频帧对应的匹配系数分布特征中包括了该标准脸部子区域监控视频帧与目标视频帧簇中每一帧目标视频帧之间的标准视频帧匹配系数。
44.示例性地，在一些可能的实施方式中，为了实现步骤“将每一帧所述脸部子区域监控视频帧对应的视频帧特征数据和每一帧所述标准脸部子区域监控视频帧对应的视频帧特征数据加载到预先训练形成的用户状态识别神经网络中，以利用所述用户状态识别神经网络，分析识别出每一帧所述脸部子区域监控视频帧分别与目标视频帧簇中的每一帧目标视频帧之间的视频帧匹配系数，并分析识别出每一帧所述标准脸部子区域监控视频帧分别与所述目标视频帧簇中的每一帧目标视频帧之间的标准视频帧匹配系数”，在具体的执行过程中也可以执行以下内容：
将每一帧所述脸部子区域监控视频帧对应的视频帧特征数据和每一帧所述标准脸部子区域监控视频帧对应的视频帧特征数据，加载到所述用户状态识别神经网络包括的视频帧特征识别挖掘模型中；利用所述视频帧特征识别挖掘模型包括的视频帧特征权重分析子模型（示例性地，所述视频帧特征权重分析子模型可以是一种注意力感知网络，对对视频帧匹配系数进行分析确定），分析识别出所述脸部子区域监控视频帧分别与每一帧目标视频帧之间的视频帧匹配系数，并分析识别出所述标准脸部子区域监控视频帧分别与每一帧目标视频帧之间的标准视频帧匹配系数。
45.示例性地，在一些可能的实施方式中，为了实现步骤“基于每一帧所述脸部子区域监控视频帧分别与每一帧目标视频帧之间的视频帧匹配系数和每一帧所述标准脸部子区域监控视频帧分别与每一帧目标视频帧之间的标准视频帧匹配系数，分析确定出所述脸部子区域监控视频和所述标准脸部子区域监控视频之间的视频匹配度”，可以执行以下内容：对所述脸部子区域监控视频帧分别与每一帧目标视频帧之间的视频帧匹配系数和所述标准脸部子区域监控视频帧分别与每一帧目标视频帧之间的标准视频帧匹配系数进行数据压缩和筛选处理，以输出对应的视频匹配数据特征分布；基于所述视频匹配数据特征分布，分析确定出所述脸部子区域监控视频和所述标准脸部子区域监控视频之间的视频匹配度（示例性地，所述用户状态识别神经网络可以通过包括的pooling网络，对脸部子区域监控视频帧对应的视频帧匹配系数和标准脸部子区域监控视频帧对应的标准视频帧匹配系数，进行pooling处理，再将pooling网络的输出通过线性网络进行处理以输出对应的视频匹配数据特征分布，该视频匹配数据特征分布作为所述用户状态识别神经网络分析出所述脸部子区域监控视频和所述标准脸部子区域监控视频之间的视频匹配度的依据，如此，可以分析确定出对应的视频匹配度，如通过softmax函数实现）。
46.示例性地，在一些可能的实施方式中，所述基于图像处理的智能眼镜调节控制方法还包括训练形成的所述用户状态识别神经网络的步骤，该步骤在具体的执行过程中可以执行以下内容：从配置的示例性脸部子区域监控视频中，提取到所述示例性脸部子区域监控视频包括的每一帧示例性脸部子区域监控视频帧对应的视频帧特征数据，再从配置的示例性标准脸部子区域监控视频中，提取到所述示例性标准脸部子区域监控视频包括的每一帧示例性标准脸部子区域监控视频帧对应的视频帧特征数据；将每一帧所述示例性脸部子区域监控视频帧对应的视频帧特征数据和每一帧所述示例性标准脸部子区域监控视频帧对应的视频帧特征数据加载到预先搭建的待更新用户状态识别神经网络中；利用所述待更新用户状态识别神经网络，分析识别出每一帧所述示例性脸部子区域监控视频帧分别与示例性目标视频帧簇中的每一帧示例性目标视频帧之间的示例性视频帧匹配系数，并分析识别出每一帧所述示例性标准脸部子区域监控视频帧分别与所述示例性目标视频帧簇中的每一帧示例性目标视频帧之间的示例性标准视频帧匹配系数，所述示例性目标视频帧簇中的多帧示例性目标视频帧包括所述示例性脸部子区域监控视频帧和所述示例性标准脸部子区域监控视频帧；基于每一帧所述示例性脸部子区域监控视频帧分别与每一帧示例性目标视频帧之间的示例性视频帧匹配系数、每一帧所述示例性标准脸部子区域监控视频帧分别与每一
帧示例性目标视频帧之间的示例性标准视频帧匹配系数，分析确定出所述示例性脸部子区域监控视频和所述示例性标准脸部子区域监控视频之间的示例性视频匹配度；基于所述示例性脸部子区域监控视频和所述示例性标准脸部子区域监控视频之间的视频匹配度真实值（可以通过标注形成），并结合所述示例性视频匹配度，对所述待更新用户状态识别神经网络进行更新处理，以形成所述待更新用户状态识别神经网对应的用户状态识别神经网络。
47.示例性地，在一些可能的实施方式中，为了实现步骤“基于所述示例性脸部子区域监控视频和所述示例性标准脸部子区域监控视频之间的视频匹配度真实值，并结合所述示例性视频匹配度，对所述待更新用户状态识别神经网络进行更新处理，以形成所述待更新用户状态识别神经网对应的用户状态识别神经网络”，在具体的执行过程中可以执行以下内容：基于所述示例性脸部子区域监控视频和所述示例性标准脸部子区域监控视频之间的视频匹配度真实值，并结合所述示例性视频匹配度，对所述待更新用户状态识别神经网络的网络权重进行更新；利用网络权重更新后的待更新用户状态识别神经网络，分析识别出所述示例性脸部子区域监控视频和所述示例性标准脸部子区域监控视频之间的更新视频匹配度；在所述更新视频匹配度和所述视频匹配度真实值之间的匹配度差异程度未超过匹配度差异程度参考值的情况下（即达到收敛条件），将所述网络权重更新后的待更新用户状态识别神经网络，标记为所述待更新用户状态识别神经网对应的用户状态识别神经网络。
48.示例性地，在一些可能的实施方式中，为了实现步骤“基于所述目标用户状态识别信息，对所述目标智能眼镜进行调节控制，以实现对所述目标用户的警示处理”，在具体的执行过程中可以执行以下内容：对所述目标用户状态识别信息反映出的所述目标用户的注意力集中度和预先配置的注意力集中度参考值进行大小比较处理（所述注意力集中度参考值可以根据实际应用需求进行配置，不做具体的限定）；倘若所述目标用户状态识别信息反映出的所述目标用户的注意力集中度小于或等于所述注意力集中度参考值，则对所述注意力集中度参考值和所述注意力集中度进行比值计算，以输出对应的集中度比值；依据所述集中度比值确定出具有正相关关系的目标振动参数，再依据所述目标振动参数对所述目标智能眼镜进行调节控制，以使所述目标智能眼镜基于所述目标振动参数发出振动，以提示所述目标用户，所述目标振动参数至少包括目标振动幅度和目标振动频率中的一种。
49.结合图3，本发明实施例还提供一种基于图像处理的智能眼镜调节控制装置，可应用于上述基于图像处理的智能眼镜调节控制系统。其中，所述基于图像处理的智能眼镜调节控制装置可以包括：第一软件功能模块，用于通过目标智能眼镜对目标用户的脸部区域进行视频监控处理，以输出所述目标用户对应的脸部区域监控视频，所述脸部区域监控视频包括多帧脸部区域监控视频帧，所述脸部区域监控视频帧至少包括眼睛的信息；第二软件功能模块，用于利用预先训练形成的用户状态识别神经网络，对所述脸
部区域监控视频进行用户状态识别处理，以输出所述目标用户对应的目标用户状态识别信息，所述目标用户状态识别信息用于反映所述目标用户的注意力集中度；第三软件功能模块，用于基于所述目标用户状态识别信息，对所述目标智能眼镜进行调节控制，以实现对所述目标用户的警示处理。
50.综上所述，本发明提供的一种基于图像处理的智能眼镜调节控制方法及系统，通过目标智能眼镜对目标用户的脸部区域进行视频监控处理，以输出目标用户对应的脸部区域监控视频。利用预先训练形成的用户状态识别神经网络，对脸部区域监控视频进行用户状态识别处理，以输出目标用户对应的目标用户状态识别信息，目标用户状态识别信息用于反映目标用户的注意力集中度。基于目标用户状态识别信息，对目标智能眼镜进行调节控制，以实现对目标用户的警示处理。基于前述的步骤，可以通过具有较高数据处理能力的神经网络对脸部区域监控视频进行识别以输出对应的目标用户状态识别信息，使得目标用户状态识别信息可以较高可靠度的反映出目标用户的注意力集中度，从而在基于该目标用户状态识别信息对目标智能眼镜进行调节控制时，可以具有较高可靠度，即在一定程度上提高对智能眼镜进行调节控制的可靠度，改善现有技术中的不足。
51.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。