基于图像的电视控制方法、装置、设备及存储介质与流程

1.本发明涉及车辆技术领域，尤其涉及一种基于图像的电视控制方法、装置、设备及存储介质。


背景技术：

2.随着技术的不断发展，电视逐渐智能化，智能化对应的也即资源的浪费和资源的不对应，在通常情况下，壁画电视在进行媒体播放时，会一直保持媒体播放状态，无法根据当前用户的具体情况对电视进行调整，会造成资源能耗的浪费，同时青少年使用电视时也会获取到不属于对应年龄层的网络资源。
3.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

4.本发明的主要目的在于提供一种基于图像的电视控制方法、装置、设备及存储介质，旨在解决现有技术无法对运行模式进行智能化调整的技术问题。
5.为实现上述目的，本发明提供了一种基于图像的电视控制方法，所述方法包括以下步骤：在检测到媒体播放时，获取目标图像数据；提取所述目标图像数据的特征数据，得到提取结果；若所述提取结果中存在人脸图像数据，根据所述人脸图像数据确定用户观看状态和用户身份信息；根据所述用户观看状态和所述用户身份信息控制目标电视的运行模式。
6.可选地，所述提取所述目标图像数据的特征数据，得到提取结果，包括：提取所述目标图像数据中的图像帧数据；对各图像帧数据进行识别，得到所述各图像帧数据中存在的特征数据；根据所述特征数据确定所述目标图像数据中存在对象及所述存在对象对应的图像数据；根据所述存在对象及所述存在对象对应的图像数据得到提取结果。
7.可选地，所述根据所述人脸图像数据确定用户观看状态和用户身份信息，包括：提取所述人脸图像数据的特征区块；根据所述特征区块确定用户观看状态；根据所述人脸图像数据确定用户身份信息。
8.可选地，所述根据所述特征区块确定用户观看状态，包括：获取所述特征区块中的眼部特征区块；识别所述眼部特征区块对应的眼部状态；根据所述眼部状态确定用户观看状态。
9.可选地，所述根据所述人脸图像数据确定用户身份信息，包括：根据所述人脸图像数据在预设数据库中进行人脸比对，得到比对结果；根据所述比对结果在所述预设数据库中得到与所述人脸图像数据相同的预设图像数据；根据所述预设图像数据在所述预设数据库中查找对应的目标身份信息；根据所述目标身份信息确定用户身份信息。
10.可选地，所述根据所述用户观看状态和所述用户身份信息控制目标电视的运行模式，包括：若所述用户观看状态不为预设观看状态，获取所述用户观看状态的持续时长；若所述持续时长不超过所述预设时长，根据所述用户身份信息确定目标用户对应年龄；若所述年龄不超过预设年龄阈值，调整目标电视的运行模式为待机模式；若所述年龄超过预设年龄阈值，调整所述目标电视的运行模式为低音量模式。
11.可选地，所述根据所述用户观看状态和所述用户身份信息控制目标电视的运行模式，包括：若所述用户观看状态为预设观看状态，根据所述用户身份信息确定目标用户对应年龄；若所述年龄超过预设年龄阈值，控制目标电视保持当前运行模式；若所述年龄不超过预设年龄阈值，调整所述目标电视的运行模式为青少年模式。
12.此外，为实现上述目的，本发明还提出一种基于图像的电视控制装置，所述基于图像的电视控制装置包括：获取模块，用于在检测到媒体播放时，获取目标图像数据；提取模块，用于提取所述目标图像数据的特征数据，得到提取结果；确定模块，用于若所述提取结果中存在人脸图像数据，根据所述人脸图像数据确定用户观看状态和用户身份信息；控制模块，用于根据所述用户观看状态和所述用户身份信息控制目标电视的运行模式。
13.此外，为实现上述目的，本发明还提出一种基于图像的电视控制设备，所述基于图像的电视控制设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于图像的电视控制程序，所述基于图像的电视控制程序配置为实现如上文所述的基于图像的电视控制方法。
14.此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于图像的电视控制程序，所述基于图像的电视控制程序被处理器执行时实现如上文所述的基于图像的电视控制方法。
15.本发明在检测到媒体播放时，获取目标图像数据；提取所述目标图像数据的特征数据，得到提取结果；若所述提取结果中存在人脸图像数据，根据所述人脸图像数据确定用户观看状态和用户身份信息；根据所述用户观看状态和所述用户身份信息控制目标电视的运行模式。通过上述方式，通过对采集到的目标图像数据进行分析，若有用户观看时根据用户的用户观看状态和用户身份信息对目标电视的运行模式进行控制，从而实现模式运行的
智能化控制，不仅能够节约能耗同时还保证用户获取到合适的资源，提升了用户体验。
附图说明
16.图1是本发明实施例方案涉及的硬件运行环境的基于图像的电视控制设备的结构示意图；图2为本发明基于图像的电视控制方法第一实施例的流程示意图；图3为本发明基于图像的电视控制方法第二实施例的流程示意图；图4为本发明基于图像的电视控制装置第一实施例的结构框图。
17.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
18.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
19.参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于图像的电视控制设备结构示意图。
20.如图1所示，该基于图像的电视控制设备可以包括：处理器1001，例如中央处理器（central processing unit，cpu），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（display）、输入单元比如键盘（keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（wireless-fidelity，wi-fi）接口）。存储器1005可以是高速的随机存取存储器（random access memory，ram）存储器，也可以是稳定的非易失性存储器（non-volatile memory，nvm），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
21.本领域技术人员可以理解，图1中示出的结构并不构成对基于图像的电视控制设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
22.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于图像的电视控制程序。
23.在图1所示的基于图像的电视控制设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明基于图像的电视控制设备中的处理器1001、存储器1005可以设置在基于图像的电视控制设备中，所述基于图像的电视控制设备通过处理器1001调用存储器1005中存储的基于图像的电视控制程序，并执行本发明实施例提供的基于图像的电视控制方法。
24.本发明实施例提供了一种基于图像的电视控制方法，参照图2，图2为本发明一种基于图像的电视控制方法第一实施例的流程示意图。
25.本实施例中，所述基于图像的电视控制方法包括以下步骤：步骤s10：在检测到媒体播放时，获取目标图像数据。
26.需要说明的是，本实施例的执行主体为大屏播放设备，播放设备可为电视或其他设备，本实施例对此不加以限制，但本实施例以电视为例进行举例说明。目标电视在检测到有媒体播放时，获取目标电视对应的目标图像数据对目标图像数据进行特征提取，得到对应的提取结果，当提取结果中存在人脸图像数据时，根据人脸图像数据确定目标电视当前
对应用户的用户观看状态和用户身份信息，根据用户观看状态和用户身份信息对目标电视的运行模式进行控制。
27.可以理解的是，在检测到媒体播放时说明目标电视的当前状态为启动状态，此时目标电视需要获取目标电视前方预设范围内的图像数据，目标电视前方预设范围内的图像数据即为目标图像数据。
28.步骤s20：提取所述目标图像数据的特征数据，得到提取结果。
29.需要说明的是，目标图像数据中存在连续多帧图像数据，且每帧图像数据中都存在对象及物品，因此，需要对目标图像数据进行分解同时提取每帧图像数据中的特征数据，得到对应的提取结果。
30.可以理解的是，为了能够对图像进行准确提取，最终得到准确率较高的提取结果，进一步地，所述提取所述目标图像数据的特征数据，得到提取结果，包括：提取所述目标图像数据中的图像帧数据；对各图像帧数据进行识别，得到所述各图像帧数据中存在的特征数据；根据所述特征数据确定所述目标图像数据中存在对象及所述存在对象对应的图像数据；根据所述存在对象及所述存在对象对应的图像数据得到提取结果。
31.在具体实现中，由于目标图像数据中存在连续多帧数据，因此对目标图像数据进行分解，将目标图像数据进行分解，提取目标图像数据中存在的连续多帧图像数据，从而得到目标图像数据中的图像帧数据。
32.需要说明的是，在得到图像帧数据后，对各图像帧数据进行识别，得到各图像帧数据中存在的特征数据，特征数据包括但不限于颜色特征、外形特征、轮廓特征以及纹理特征。在得到各图像帧数据中的特征数据后，根据特征数据确定目标图像数据中存在对象及存在对应的图像数据。根据存在对象及存在对应的图像数据得到提取结果。例如，当前目标图像数据中存在5帧图像帧数据，识别5帧图像帧数据中的特征数据，确定目标图像数据中存在对应为用户、沙发、桌以及茶杯，5帧图像帧数据中均存在用户、沙发、桌以及茶杯。
33.步骤s30：若所述提取结果中存在人脸图像数据，根据所述人脸图像数据确定用户观看状态和用户身份信息。
34.需要说明的是，当前提取结果中存在人体也即目标电视前方存在用户时，获取用户对应的人脸图像数据，对人脸图像数据进行解析，可确定目标用户的用户观看状态和用户身份信息。用户观看状态为目标用户当前观看目标电视的状态，用户可为睡眠状态、正在观看电视状态或其他状态，用户身份信息可包括目标用户年龄信息性别信息以及其他可代表用户身份的相关信息。
35.可以理解的是，若提取结果中不存在人脸图像数据，获取不存在人脸图像数据的持续时间，若不存在人脸图像数据的持续时间超过设定时间，则将目标电视的当前运行模式调整为待机状态。例如，设定时间为20分钟，根据目标电视获取的目标图像数据，确定不存在人脸图像数据的持续时间为20分钟02秒，此时关闭目标电视正在播放的媒体数据，将目标电视的当前运行模式调整为待机状态。
36.步骤s40：根据所述用户观看状态和所述用户身份信息控制目标电视的运行模式。
37.需要说明的是，在得到用户观看状态后和用户身份信息后，可根据用户观看状态和用户身份信息对目标电视的当前运行模式进行调整，从而实现对目标电视的控制。例如，当前用户观看状态为休闲状态，即目标电视前方存在目标用户，且目标用户并未处于睡眠
状态但同时又未聚精会神注视目标电视，此时根据目标用户的休闲状态和用户身份信息中的年龄信息调整目标电视的运行模式。
38.可以理解的是，为了节约资源且提高用户的体验感，进一步地，所述根据所述用户观看状态和所述用户身份信息控制目标电视的运行模式，包括：若所述用户观看状态不为预设观看状态，获取所述用户观看状态的持续时长；若所述持续时长不超过所述预设时长，根据所述用户身份信息确定目标用户对应年龄；若所述年龄不超过预设年龄阈值，调整目标电视的运行模式为待机模式；若所述年龄超过预设年龄阈值，调整所述目标电视的运行模式为低音量模式。
39.在具体实现中，预设观看状态指的是目标用户正在观看电视状态，预设时长指的是管理员预先设定的用于调整目标电视运行模式的时长阈值，预设年龄阈值指的是管理员预先设定的用于调整目标电视运行模式的年龄阈值，若目标用户的用户观看状态不为预设观看状态，则获取用户观看状态的持续时长，若持续时长不超过预设时长，由于不同年龄层对于目标电视的专注力不同，当年龄层较低时，若当前用户观看状态在一定时间内不为预设观看状态，注意力可能已经转移，不会再继续观看目标电视，当年龄层超过预设年龄阈值时，在一定时间内不为预设观看状态可能是由于其他事情短暂耽搁，仍会继续观看目标电视，因此根据用户身份信息确定目标用户对应年龄，若年龄不超过预设年龄阈值，则调整目标电视的运行模式为待机模式，若年龄超过预设年龄阈值，则调整目标电视的运行模式为低音量模式。
40.需要说明的是，为了保证用户获取到合适的资源，进一步地，所述根据所述用户观看状态和所述用户身份信息控制目标电视的运行模式，包括：若所述用户观看状态为预设观看状态，根据所述用户身份信息确定目标用户对应年龄；若所述年龄超过预设年龄阈值，控制目标电视保持当前运行模式；若所述年龄不超过预设年龄阈值，调整所述目标电视的运行模式为青少年模式。
41.可以理解的是，若用户观看状态为预设观看状态，此时为保证目标用户能够获取到合适的资源，保护青少年，需要根据用户身份信息确定目标用户对应年龄，当年龄超过预设年龄阈值时，控制目标电视保持当前运行模式继续运行，若年龄不超过预设年龄阈值，则需要调整目标电视的运行模式为青少年模式。
42.本实施例在检测到媒体播放时，获取目标图像数据；提取所述目标图像数据的特征数据，得到提取结果；若所述提取结果中存在人脸图像数据，根据所述人脸图像数据确定用户观看状态和用户身份信息；根据所述用户观看状态和所述用户身份信息控制目标电视的运行模式。通过上述方式，通过对采集到的目标图像数据进行分析，若有用户观看时根据用户的用户观看状态和用户身份信息对目标电视的运行模式进行控制，从而实现模式运行的智能化控制，不仅能够节约能耗同时还保证用户获取到合适的资源，提升了用户体验。
43.参考图3，图3为本发明一种基于图像的电视控制方法第二实施例的流程示意图。
44.基于上述第一实施例，本实施例基于图像的电视控制方法中所述步骤s30，包括：步骤s31：若所述提取结果中存在人脸图像数据，提取所述人脸图像数据的特征区块。
45.需要说明的是，若目标图像数据的提取结果中存在人脸图像数据，则需要提取人脸图像数据的特征区块。人脸图像数据中的特征区块包括但不限于眼部特征区块、鼻子特
征区块、嘴部特征区块、眉毛特征区块以及耳部特征区块。
46.步骤s32：根据所述特征区块确定用户观看状态。
47.需要说明的是，在提取到人脸图像数据的特征区块后，可根据特征区块确定目标用户的用户观看状态。
48.可以理解的是，为了准确得到目标用户的用户观看状态，进一步地，所述根据所述特征区块确定用户观看状态，包括：获取所述特征区块中的眼部特征区块；识别所述眼部特征区块对应的眼部状态；根据所述眼部状态确定用户观看状态。
49.在具体实现中，由于特征区块包括但不限于眼部特征区块、鼻子特征区块、嘴部特征区块、眉毛特征区块以及耳部特征区块，因此获取眼部特征区块，识别眼部特征区块中的眼部瞳孔，根据眼部瞳孔的视线角度以及眼部瞳孔的露出面积确定眼部特征区块对应的眼部状态。在得到眼部状态后，可根据眼部状态确定目标用户的用户观看状态。例如，当前眼部状态为眼部瞳孔全部露出且视线角度为平视目标电视，因此可确定目标用户的用户观看状态为正在观看电视状态。
50.步骤s33：根据所述人脸图像数据确定用户身份信息。
51.需要说明的是，在得到人脸图像数据后，将人脸图像数据与预设数据库中的人脸图像数据进行比对，即可根据比对结果可确定目标用户的用户身份信息。
52.可以理解的是，为了能够准确得到用户身份信息，进一步地，所述根据所述人脸图像数据确定用户身份信息，包括：根据所述人脸图像数据在预设数据库中进行人脸比对，得到比对结果；根据所述比对结果在所述预设数据库中得到与所述人脸图像数据相同的预设图像数据；根据所述预设图像数据在所述预设数据库中查找对应的目标身份信息；根据所述目标身份信息确定用户身份信息。
53.在具体实现中，预设数据库中存储有目标电视常用用户的人脸图像数据与人脸图像数据对应的用户身份信息，因此将人脸图像数据在预设数据库中进行人脸比对，得到人脸图像数据与预设数据库中存储的人脸图像数据的比对结果，查找与人脸图像数据相同的人脸图像数据，得到预设图像数据，并在预设数据库中查找预设图像数据对应的目标身份信息，目标身份信息即为用户身份信息。当预设数据库中未查找与人脸图像数据相同的人脸图像数据时，需要对目标用户进行身份认证，从而获取到目标用户的用户身份信息。
54.本实施例通过提取所述人脸图像数据的特征区块；根据所述特征区块确定用户观看状态；根据所述人脸图像数据确定用户身份信息。通过人脸图像数据的特征区块确定用户观看状态，并根据人脸图像数据确定用户身份信息，从而准确识别到目标用户的用户观看状态和用户身份信息，提高了后续对目标电视控制的准确率。
55.此外，参照图4，本发明实施例还提出一种基于图像的电视控制装置，所述基于图像的电视控制装置包括：获取模块10，用于在检测到媒体播放时，获取目标图像数据。
56.提取模块20，用于提取所述目标图像数据的特征数据，得到提取结果。
57.确定模块30，用于若所述提取结果中存在人脸图像数据，根据所述人脸图像数据确定用户观看状态和用户身份信息。
58.控制模块40，用于根据所述用户观看状态和所述用户身份信息控制目标电视的运行模式。
59.本实施例通过在检测到媒体播放时，获取目标图像数据；提取所述目标图像数据的特征数据，得到提取结果；若所述提取结果中存在人脸图像数据，根据所述人脸图像数据确定用户观看状态和用户身份信息；根据所述用户观看状态和所述用户身份信息控制目标电视的运行模式。通过上述方式，通过对采集到的目标图像数据进行分析，若有用户观看时根据用户的用户观看状态和用户身份信息对目标电视的运行模式进行控制，从而实现模式运行的智能化控制，不仅能够节约能耗同时还保证用户获取到合适的资源，提升了用户体验。
60.在一实施例中，所述提取模块20，还用于提取所述目标图像数据中的图像帧数据；对各图像帧数据进行识别，得到所述各图像帧数据中存在的特征数据；根据所述特征数据确定所述目标图像数据中存在对象及所述存在对象对应的图像数据；根据所述存在对象及所述存在对象对应的图像数据得到提取结果。
61.在一实施例中，所述确定模块30，还用于提取所述人脸图像数据的特征区块；根据所述特征区块确定用户观看状态；根据所述人脸图像数据确定用户身份信息。
62.在一实施例中，所述确定模块30，还用于获取所述特征区块中的眼部特征区块；识别所述眼部特征区块对应的眼部状态；根据所述眼部状态确定用户观看状态。
63.在一实施例中，所述确定模块30，还用于根据所述人脸图像数据在预设数据库中进行人脸比对，得到比对结果；根据所述比对结果在所述预设数据库中得到与所述人脸图像数据相同的预设图像数据；根据所述预设图像数据在所述预设数据库中查找对应的目标身份信息；根据所述目标身份信息确定用户身份信息。
64.在一实施例中，所述控制模块40，还用于若所述用户观看状态不为预设观看状态，获取所述用户观看状态的持续时长；若所述持续时长不超过所述预设时长，根据所述用户身份信息确定目标用户对应年龄；若所述年龄不超过预设年龄阈值，调整目标电视的运行模式为待机模式；若所述年龄超过预设年龄阈值，调整所述目标电视的运行模式为低音量模式。
65.在一实施例中，所述控制模块40，还用于若所述用户观看状态为预设观看状态，根据所述用户身份信息确定目标用户对应年龄；若所述年龄超过预设年龄阈值，控制目标电视保持当前运行模式；若所述年龄不超过预设年龄阈值，调整所述目标电视的运行模式为青少年模式。
66.由于本装置采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
67.此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于图像的电视控制程序，所述基于图像的电视控制程序被处理器执行时实现如上文所述的基于图像的电视控制方法的步骤。
68.由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
69.需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
70.另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的基于图像的电视控制方法，此处不再赘述。
71.此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
72.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
73.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器（read only memory，rom）/ram、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
74.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。