显示控制方法、显示装置及计算机可读存储介质与流程

1.本发明涉及智能电视技术领域，尤其涉及一种显示控制方法、显示装置及计算机可读存储介质。


背景技术：

2.随着科技的快速发展，电视的功能不再局限于收看节目、播放影音，并出现了搭载有用户界面或是操作系统的智能电视。现有智能电视在实现实景显示和人机动作交互时，显示画面往往不能跟随人物的移动或人物的动作而进行精确的改变，导致用户在进行人机交互时活动范围有限，从而影响用户的使用体验感。


技术实现要素：

3.本发明的主要目的在于提出一种显示控制方法、显示装置及计算机可读存储介质，旨在解决现有电视画面不能随人物移动而进行改变的问题。
4.为实现上述目的，本发明提供一种显示控制方法，包括步骤：
5.实时获取预设视场角范围内的人体信息，根据所述人体信息处理得到与所述人体信息相对应的关键点位置；
6.根据所述关键点位置，处理得到实时人体姿态信息；
7.根据所述实时人体姿态信息调整摄像头，以使人体处于摄像头中预设位置。
8.可选地，所述人体姿态信息包括手势信息；所述关键点位置包括手部关键点和人体关键点；所述根据所述实时人体姿态信息调整摄像头，以使人体处于摄像头中预设位置的步骤包括：
9.根据所述手部关键点确定所述手势信息是否为预设控制手势；
10.当检测到所述手势信息为预设控制手势时，根据所述人体关键点位置确定人体关键点位置中的预设点的位置；
11.根据所述预设点的位置，调整摄像头，以使人体处于摄像头中预设位置。
12.可选地，所述根据所述预设点的位置，调整摄像头，以使人体处于摄像头中预设位置的步骤之后，还包括：
13.根据实时获取的预设视场角范围内的人体信息，确定是否有除已判断完成的预设控制手势之外的其他所述预设控制手势；
14.若是，则根据所述其他预设控制手势的优先顺序，确定下一个预设控制手势所对应的人体的人体关键点位置中预设点的位置；
15.根据所述下一个预设控制手势所对应的人体的人体关键点位置中预设点的位置，调整摄像头，以使下一个预设控制手势所对应的人体处于摄像头中预设位置。
16.可选地，所述根据所述其他预设控制手势的优先顺序，确定下一个预设控制手势所对应的人体的人体关键点位置中预设点的位置的步骤包括：
17.获取所述预设视场角范围内的图片信息，根据所述图片信息，得到与所述其他预
设控制手势相对应的人体的用户信息；
18.根据所述用户信息，处理得到与所述其他预设控制手势相对应的人体的用户优先级；
19.根据所述用户优先级确定其他预设控制手势的优先顺序，并根据所述优先顺序确定下一个预设控制手势所对应的人体的人体关键点位置中预设点的位置。
20.可选地，所述根据所述手部关键点确定所述手势信息是否为预设控制手势的步骤包括：
21.根据所述手部关键点位置确定所述手势信息是否与预设控制手势相符合；
22.若所述手势信息与预设控制手势相符合，则获取所述预设控制手势存在的时间；
23.若所述预设控制手势存在的时间大于预设时间，则判定所述手势信息为预设控制手势。
24.可选地，所述实时获取预设视场角范围内的人体信息，根据所述人体信息处理得到与所述人体信息相对应的关键点位置的步骤包括：
25.获取预设视场角范围内的图片信息，判断预设视场角范围内是否有人体存在；
26.若有人体存在，则根据所述图片信息和预设学习算法处理得到与所述人体相对应的第一预设数量的人体关键点和第二预设数量的手部关键点。
27.可选地，所述若有人体存在，则根据所述图片信息和预设学习算法处理得到与所述人体相对应的第一预设数量的人体关键点和第二预设数量的手部关键点的步骤包括：
28.若有人体存在，则根据所述图片信息确定人数；
29.若人数小于预设人数，则根据所述图片信息和预设学习算法处理得到与所述人体相对应的第一预设数量的人体关键点和第二预设数量的手部关键点；
30.若人数大于或等于预设人数，则获取所述人体在预设视场角范围内所对应的预设控制手势的优先级顺序，依次根据所述图片信息和预设学习算法处理得到与所述人体相对应的第一预设数量的人体关键点和第二预设数量的手部关键点。
31.可选地，所述根据所述实时人体姿态信息调整摄像头，以使人体处于摄像头中预设位置的步骤之后，还包括：
32.根据所述实时人体姿态信息，识别用户操作意图，转化为与所述人体姿态信息相应的控制指令并执行。
33.为实现上述目的，本发明还提供一种显示装置，所述显示装置包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的显示控制方法的步骤。
34.为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的显示控制方法的步骤。
35.本发明提出的一种显示控制方法、显示装置及计算机可读存储介质，通过实时获取预设视场角范围内的人体信息，根据所述人体信息处理得到与所述人体信息相对应的关键点位置，并通过所述关键点位置，处理得到实时人体姿态信息，能够实时检测用户关键点位置，并检测用户实时姿态信息，保证所述人体姿态信息的准确性；通过根据实时人体姿态信息，调整摄像头，以使人体处于摄像头中预设位置，实现用户与电视的交互，使得用户始
终处于摄像头中的预设位置，从而保证电视能够随用户移动而始终实时保持与用户的交互。
附图说明
36.图1是本发明实施例方案涉及的硬件运行环境的结构示意图；
37.图2为本发明显示控制方法第一实施例的流程示意图；
38.图3为本发明显示控制方法第二实施例的流程示意图；
39.图4为本发明显示控制方法第三实施例的流程示意图；
40.图5为本发明显示控制方法第三实施例中步骤s35的细化流程示意图；
41.图6为本发明显示控制方法第四实施例的流程示意图；
42.图7为本发明显示控制方法第五实施例的流程示意图；
43.图8为本发明显示控制方法中所述的人体关键点位置的示意图；
44.图9为本发明显示控制方法中所述的手部关键点位置的示意图。
45.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
46.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
47.请参照图1，图1为本发明各个实施例中所提供的显示装置的硬件结构示意图。所述显示装置包括通信模块01、存储器02及处理器03等部件。本领域技术人员可以理解，图1中所示出的显示装置还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中，所述处理器03分别与所述存储器02和所述通信模块01连接，所述存储器02上存储有计算机程序，所述计算机程序同时被处理器03执行。
48.通信模块01，可通过网络与外部设备连接。通信模块01可以接收外部设备发出的数据，还可发送数据、指令及信息至所述外部设备，所述外部设备可以是手机、平板电脑、笔记本电脑和台式电脑等电子设备。
49.存储器02，可用于存储软件程序以及各种数据。存储器02可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据显示装置的使用所创建的数据或信息等。此外，存储器02可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
50.处理器03，是显示装置的控制中心，利用各种接口和线路连接整个显示装置的各个部分，通过运行或执行存储在存储器02内的软件程序和/或模块，以及调用存储在存储器02内的数据，执行显示装置的各种功能和处理数据，从而对显示装置进行整体监控。处理器03可包括一个或多个处理单元；优选的，处理器03可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器03中。
51.本领域技术人员可以理解，图1中示出的显示装置结构并不构成对显示装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
52.根据上述硬件结构，提出本发明方法各个实施例。
53.参照图2，在本发明显示控制方法的第一实施例中，所述显示控制方法包括步骤：
54.步骤s10，实时获取预设视场角范围内的人体信息，根据所述人体信息处理得到与所述人体信息相对应的关键点位置；
55.在本实施例中，所述视场角为以摄像头的镜头为顶角，以被测人体的物像可通过镜头的最大范围的两条边缘构成的夹角，其中，所述最大范围即为视场角范围，所述预设视场角范围可以为以30度为视场角角度所覆盖的范围或45度以及60度为视场角角度所覆盖的范围，本领域技术人员可根据实际需要，设置不同大小的视场角范围，以满足人体信息的获取。所述关键点位置包括代表骨骼位置的人体关键点以及代表手部的手部关键点，关键点位置可以通过ai(人工智能artificial intelligence)深度学习来进行识别。
56.步骤s20，根据所述关键点位置，处理得到实时人体姿态信息；
57.可根据关键点位置的组合，判断出每一种组合所代表的人体姿态信息，所述人体姿态信息包括手势信息。例如，当所述手部关键点位置都处于张开状态时，即可判断为用户的手处于五指张开状态。
58.步骤s30，根据所述实时人体姿态信息调整摄像头，以使人体处于摄像头中预设位置；
59.在本实施例中，所述摄像头为安装在电视机上的云台摄像头，可以自行设置旋转方向以及视场角范围，当检测到人体姿态信息发生变化时，摄像头可根据人体姿态信息的变化，改变工作角度和方向，使得人体始终处于摄像头中预设位置，从而在电视上始终显示该人体的画面，所述预设位置为摄像头中心位置。
60.本发明提出的一种显示控制方法，通过实时获取预设视场角范围内的人体信息，根据所述人体信息处理得到与所述人体信息相对应的关键点位置，并通过所述关键点位置，处理得到实时人体姿态信息，能够实时检测用户关键点位置，并检测用户实时姿态信息，保证所述人体姿态信息的准确性；通过根据实时人体姿态信息，调整摄像头，以使人体处于摄像头中预设位置，实现用户与电视的交互，使得用户始终处于摄像头中的预设位置，从而保证电视能够随用户移动而始终保持与用户的交互。
61.进一步地，参照图3，在基于本发明的第一实施例所提出的本发明显示控制方法，本发明提出第二实施例，所述步骤s30包括：
62.步骤s31，根据所述手部关键点位置确定所述手势信息是否为预设控制手势；
63.在本实施例中，可通过ai(人工智能artificial intelligence)识别技术来识别所述手势信息，并将识别后的手势信息与预设的手势作对比，从而筛选出预设控制手势；所述预设控制手势为五指张开的手势，当然，本领域技术人员还可根据需要设置不同的预设控制手势，以实现预设控制手势的识别。
64.步骤s32，当检测到所述手势信息为预设控制手势时，根据所述人体关键点位置确定人体关键点位置中的预设点的位置；
65.步骤s33，根据所述预设点的位置，调整摄像头，以使人体处于摄像头中预设位置；
66.在本实施例中，可将所述人体关键点位置划分为16个关键点，具体可根据人体骨骼的位置来进行关键点划分；参照图8，为人体关键点位置的示意图，其中所述预设点为位于人体两肩连线中点所处的关键点，即图8中的1点；在识别到所述预设点位置时，控制摄像头进行上下左右调整，以使所述预设点始终处于摄像头中的中心位置，从而使得人体始终
处于与摄像头想连接的电视显示画面中。
67.在本发明中，通过根据所述手部关键点位置确定所述手势信息是否为预设控制手势，使得手势信息的判断更加精准；通过检测到所述手势信息为预设控制手势时，根据所述人体关键点位置确定人体关键点位置中的预设点的位置，实现了手势信息与人体关键点位置的联合判断，完成了手势与人体骨骼关联；通过根据所述预设点的位置，调整摄像头，以使人体处于摄像头中预设位置，使得电视显示画面可以根据用户的动作和移动从而更好的保证了用户与电视机的交互，提升用户实用体验。
68.进一步地，参照图4，在基于本发明的第一实施例所提出的本发明显示控制方法，本发明提出第三实施例，所述步骤s33之后，还包括：
69.步骤s34，根据实时获取的预设视场角范围内的人体信息，确定是否有除已判断完成的预设控制手势之外的其他所述预设控制手势；
70.所述已判断完成的预设控制手势即为当前摄像头所对应的人体的控制手势，例如，在确定当前手势为预设控制手势时，摄像头跟随当前控制手势所对应的人体而进行调整，当视场角范围内出现第二个控制手势时，即判断第二个控制手势是否为预设控制手势。
71.步骤s35，若是，则根据所述其他预设控制手势的优先顺序，确定下一个预设控制手势所对应的人体的人体关键点位置中预设点的位置；
72.参照图5，在一实施例中，所述步骤s35还包括：
73.步骤s351，获取所述预设视场角范围内的图片信息，根据所述图片信息，得到与所述其他预设控制手势相对应的人体的用户信息；
74.在本实施例中，可以根据图片信息获取预设视场角范围的人体的人脸信息，根据所述人脸信息，得到与所述其他预设控制手势相对应的人体的用户信息，所述用户信息可以是根据所述人脸信息生成并存储在电视机中的账号信息，其中，包括用户使用电视的次数。
75.步骤s352，根据所述用户信息，处理得到与所述其他预设控制手势相对应的人体的用户优先级；
76.步骤s353，根据所述用户优先级确定其他预设控制手势的优先顺序，并根据所述优先顺序确定下一个预设控制手势所对应的人体的人体关键点位置中预设点的位置。
77.所述用户优先级可以根据所述用户信息中所存储的用户使用电视的次数来判断。其中，使用次数越多，则用户优先级越高，且优先判断优先级越高的用户的手势信息是否为预设控制手势；另外，所述用户优先级还可以根据进入预设视场角范围内的人体所对应的顺序来判断，即先进入预设视场角范围内的人体所对应的用户的优先级越高；所述优先级还可通过用户自行设置。
78.步骤s35之后执行，步骤s36，根据所述下一个预设控制手势所对应的人体的人体关键点位置中预设点的位置，调整摄像头，以使下一个预设控制手势所对应的人体处于摄像头中预设位置。
79.下一个预设控制手势所对应的人体即为根据上述用户优先级顺序所确定的下一个用户，同时获取所述下一个用户所对应的人体的人体关键点位置中的预设点位置，调整摄像头上下左右转动，以使摄像头中预设位置切换到下一个用户所对应的人体。例如，当电视显示画面正在跟随第一个人时，第二个人只需要作出五指张开的预设控制手势动作，则
摄像头会检测到该控制手势，从而识别第二个人的人体关键点位置，进而调整摄像头，使得第二个人始终处于摄像头的中心位置，从而使得电视显示画面中始终保持第二个人的画面。
80.在本发明中，通过根据实时获取的预设视场角范围内的人体信息，确定是否有除已判断完成的预设控制手势之外的其他所述预设控制手势，实现了对除已完成判断的用户的其他用户的判断，避免摄像头只对一个用户实行检测，方便切换其他用户进行画面跟随；通过根据所述其他预设控制手势的优先顺序，确定下一个预设控制手势所对应的人体的人体关键点位置中预设点的位置，避免在同一时间，摄像头检测到同一预设控制手势时，无法进行确定其他预设控制手势的问题发生，提高了判断准确性，提升了用户使用体验；通过根据所述预设点的位置，调整摄像头，以使下一个预设控制手势所对应的人体处于摄像头中预设位置，实现了不同用户通过手势切换电视显示画面进行跟随对应的用户的作用，使得用户可以通过作出特定手势，从而在人机交互中使电视显示画面能够切换到自己，避免用户需要通过遥控器等进行手动切换，提升了用户使用体验感，同时使得电视的应用场景更加广阔。
81.进一步地，参照图6，在基于本发明的第一实施例所提出的本发明显示控制方法，本发明提出第四实施例，所述步骤s31包括：
82.步骤s311，根据所述手部关键点位置确定所述手势信息是否与预设控制手势相符合；
83.在本实施例中，所述手势信息包括手势动作，所述手部关键点位置共有22个，可通过ai(人工智能artificial intelligence)识别技术和深度学习算法对所述手部关键点位置进行识别，并判断所述手势信息中含有的手势动作是否为预设控制手势；
84.步骤s312，若所述手势信息与预设控制手势相符合，则获取所述预设控制手势存在的时间；
85.步骤s313，若所述预设控制手势存在的时间大于预设时间，则判定所述手势信息为预设控制手势；
86.所述预设时间为1秒，当然，本领域技术人员可根据需要设置不同的预设时间，例如1.2秒、1.4秒或1.6秒等，以实现预设控制手势的判断；
87.在本发明中，通过预设控制手势存在时间的判断来判断是否采用该预设控制手势，避免在人机交互过程中，造成误触的问题，提高了预设控制手势判断的准确性和用户的使用体验感。
88.进一步地，参照图7，在基于本发明的第一实施例所提出的本发明显示控制方法，本发明提出第五实施例，所述步骤s10包括：
89.步骤s11，获取预设视场角范围内的图片信息，判断预设视场角范围内是否有人体存在；
90.步骤s12，若有人体存在，则根据所述图片信息和预设学习算法处理得到与所述人体相对应的第一预设数量的人体关键点和第二预设数量的手部关键点；
91.所述视场角为以摄像头的镜头为顶角，以被测人体的物像可通过镜头的最大范围的两条边缘构成的夹角，其中，所述最大范围即为视场角范围，所述预设视场角范围可以为以30度为视场角角度所覆盖的范围或45度以及60度为视场角角度所覆盖的范围，本领域技
术人员可根据实际需要，设置不同大小的视场角范围，以满足人体信息的获取。所述关键点位置包括代表骨骼位置的16个人体关键点以及代表手部的22个手部关键点，关键点位置可以通过ai(人工智能artificial intelligence)深度学习来进行识别。
92.其中，所述步骤s12，还包括：
93.若有人体存在，则根据所述图片信息确定人数；
94.若人数小于预设人数，则根据所述图片信息和预设学习算法处理得到与所述人体相对应的第一预设数量的人体关键点和第二预设数量的手部关键点；
95.若人数大于或等于预设人数，则获取所述人体在预设视场角范围内所对应的预设控制手势的优先级顺序，依次根据所述图片信息和预设学习算法处理得到与所述人体相对应的第一预设数量的人体关键点和第二预设数量的手部关键点；
96.参照图8和图9，分别为所述的人体关键点位置的示意图和所述的手部关键点位置的示意图，在本实施例中，所述预设人数为1人，人体数量即与人数对应。通过获取预设视场角范围内的图片信息，判断预设视场角范围内是否有人存在，若有人存在则根据所述图片信息和预设学习算法处理得到与所述人体相对应的第一预设数量的人体关键点和第二预设数量的手部关键点，避免了摄像头长时间对预设视场角范围内进行检测，节省了电力，防止设备损耗。
97.进一步地，在基于本发明的第一实施例所提出的本发明显示控制方法，本发明提出第六实施例，所述步骤s30之后，还包括：
98.根据所述实时人体姿态信息，识别用户操作意图，转换为与所述人体姿态信息相应的控制指令并执行；
99.在本实施例中，识别人体关键点和手部关键点的位置，通过预设算法得到由人体关键点和手部关键点所组合而成的人体姿态信息，再通过人体姿态信息与预设动作指令相匹配，识别得到与预设动作指令相对应的用户操作意图，转换成控制指令并执行，从而控制电视进行相应的操作。例如，识别到用户举手动作，则根据举手动作与预设的动作指令匹配，识别出举手动作即为切换电视频道，则控制电视切换频道，本领域技术人员可根据实际需要，设置与控制指令相对应的人体姿态信息，以提升用户使用体验感。
100.在本发明中，通过根据所述实时人体姿态信息，识别用户操作意图，转换为相应的控制指令并执行，使得在人机交互过程中，用户能够直接通过身体的姿态变换来控制电视机所显示的内容，而不需要观察传统遥控器上复杂的按键进行操作，提高了电视控制的便利性，有利于实现用户与电视机之间的交互。
101.本发明还提出一种计算机可读存储介质，其上存储有计算机程序。所述计算机可读存储介质可以是图1的显示装置中的存储器02，也可以是如rom(read
‑
only memory，只读存储器)/ram(random access memory，随机存取存储器)、磁碟、光盘中的至少一种，所述计算机可读存储介质包括若干信息用以使得显示装置执行本发明各个实施例所述的方法。
102.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
103.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
104.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
105.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。