终端设备、服务器和通信控制方法与流程

1.本技术涉及显示设备技术领域，尤其涉及一种终端设备、服务器和通信控制方法。


背景技术：

2.随着人工智能技术的飞速发展和人们生活水平的不断提高，人们对显示设备的智能化需求也越来越高，显示设备通过互联网技术，可以将影音、游戏等功能集于一身，用于满足用户多样化和个性化需求。
3.随着显示设备的发展，用户不仅可以使用遥控器控制显示设备，还可以使用终端设备，例如手机，来控制显示设备。在利用遥控器控制显示设备时，遥控器采用红外控制的方式，可以向显示设备发射红外信号，显示设备通过将红外信号转换为电信号，并进一步进行解码，解调出相应的遥控器指令，从而实现相应的功能。当利用手机控制显示设备时，可以采用aiot(artificial intelligence&internet of things，人工智能物联网)云端智能控制的方式，通过将指令上传到云端服务器，并进一步由服务器将指令发送给显示设备，以实现相应的功能。
4.然而，当用户利用终端设备控制显示设备时，由于aiot能够控制的功能是有限的，导致终端设备无法发送控制显示设备的部分指令，此时需要用户使用遥控器才可以发送这部分指令，从而相应的功能，导致用户的体验性较差。


技术实现要素：

5.本发明提供了一种终端设备、服务器和通信控制方法。以解决相关技术中，终端设备无法发送控制显示设备的部分指令，导致用户的体验性较差的问题。
6.第一方面，本技术提供一种终端设备，包括显示单元、通信单元和处理器。其中，通信单元被配置为与显示设备和服务器进行通信连接；处理器被配置为执行以下步骤：
7.检测到终端设备与显示设备建立通信连接，获取通信连接信息和显示设备的设备信息，所述通信连接信息包括通信连接类型；将所述通信连接信息和所述设备信息发送至服务器，以使服务器根据所述通信连接信息和所述设备信息获取控制指令集合，所述控制指令集合中包括显示设备与终端设备通信连接时所支持的所有控制指令；响应于用户输入的指示控制显示设备的指令，发送用于获取控制指令集合的请求至服务器；根据服务器发送的所述控制指令集合生成控制界面，并控制显示单元显示所述控制界面，以使用户根据在所述控制界面上触发的控制指令控制显示设备。
8.在一些实现方式中，所述处理器还被配置为：在执行确定通信连接信息和显示设备的设备信息的步骤前，
9.向网络中发送通信连接请求，以使显示设备根据网络中的所述通信连接请求，发送显示设备的网络信息和物理地址至终端设备；根据显示设备发送的所述网络信息和所述物理地址，生成设备信息获取请求，并将所述设备信息获取请求发送至显示设备，以使显示设备允许所述通信连接请求，所述设备信息获取请求用于获取显示设备的设备信息；接收
显示设备发送的设备信息。
10.在一些实现方式中，所述处理器还被配置为：
11.接收用户输入的控制指令；将所述用户输入的控制指令发送至显示设备，以使显示设备实现所述用户输入的控制指令对应的功能。
12.在一些实现方式中，所述处理器进一步被配置为：在执行将所述用户输入的控制指令发送至显示设备的步骤中，
13.检测所述用户输入的控制指令的指令类型；若检测到所述用户输入的控制指令为第一类控制指令，将所述用户输入的控制指令和所述设备信息发送至服务器，以使服务器将所述用户输入的控制指令发送至显示设备；若检测到所述用户输入的控制指令为第二类控制指令，将所述用户输入的控制指令直接发送至显示设备。
14.第二方面，本技术提供一种服务器，包括通信器和控制器。其中，通信器被配置为与终端设备和显示设备进行通信连接；控制器被配置为执行以下步骤：
15.接收终端设备发送的通信连接信息和显示设备的设备信息，所述通信连接信息包括终端设备与显示设备建立通信连接时的通信连接类型；根据所述通信连接信息和所述设备信息获取控制指令集合，所述控制指令集合中包括显示设备与终端设备通信连接时所支持的所有控制指令；响应于终端设备发送的用于获取控制指令集合的请求，将所述控制指令集合发送至终端设备，以使终端设备根据所述控制指令集合生成控制界面，并显示所述控制界面。
16.在一些实现方式中，所述控制器进一步被配置为：在执行根据所述通信连接信息和所述设备信息获取控制指令集合的步骤中，
17.若检测到所述通信连接类型为第一类通信连接，根据所述设备信息判断显示设备是否支持第二类通信连接，所述设备信息包括显示设备的设备id；若检测到显示设备支持第二类通信连接，根据所述设备id，在预设的指令数据库中获取显示设备支持的所有第一类控制指令和所有第二类控制指令；所述预设的指令数据库中存储有每个显示设备支持的所有控制指令；根据所述所有第一类控制指令和所述所有第二类控制指令生成控制指令集合。
18.在一些实现方式中，所述控制器还被配置为：
19.若检测到显示设备不支持第二类通信连接，根据所述设备id，在预设的指令数据库中获取显示设备支持的所有第一类控制指令；根据所述所有第一类控制指令生成控制指令集合。
20.在一些实现方式中，所述控制器进一步被配置为：在执行根据所述通信连接信息和所述设备信息获取控制指令集合的步骤中，
21.若检测到所述通信连接类型为第二类通信连接，根据所述设备信息，在预设的指令数据库中获取显示设备支持的所有第二类控制指令；所述预设的指令数据库中存储有每个显示设备支持的所有控制指令；根据所述所有第二类控制指令生成控制指令集合。
22.第三方面，本技术提供一种通信控制方法，应用于终端设备，包括：
23.检测到终端设备与显示设备建立通信连接，获取通信连接信息和显示设备的设备信息，所述通信连接信息包括通信连接类型；
24.将所述通信连接信息和所述设备信息发送至服务器，以使服务器根据所述通信连
接信息和所述设备信息获取控制指令集合，所述控制指令集合中包括显示设备与终端设备通信连接时所支持的所有控制指令；
25.响应于用户输入的指示控制显示设备的指令，发送用于获取控制指令集合的请求至所述服务器；
26.根据服务器发送的所述控制指令集合生成控制界面，并控制显示单元显示所述控制界面，以使用户根据在所述控制界面上触发的控制指令控制显示设备。
27.第四方面，本技术提供一种通信控制方法，应用于服务器，包括：
28.接收终端设备发送的通信连接信息和显示设备的设备信息，所述通信连接信息包括终端设备与显示设备建立通信连接时的通信连接类型；
29.根据所述通信连接信息和所述设备信息获取控制指令集合，所述控制指令集合中包括显示设备与终端设备通信连接时所支持的所有控制指令；
30.响应于终端设备发送的用于获取控制指令集合的请求，将所述控制指令集合发送至终端设备，以使终端设备根据所述控制指令集合生成控制界面，并显示所述控制界面。
31.由以上技术方案可以看出，本技术提供了一种终端设备、服务器和通信控制方法。当检测到终端设备与显示设备建立通信连接时，终端设备可以将显示设备的设备信息，以及终端设备和显示设备的通信连接信息发送至服务器。服务器进一步可以整合出显示设备的控制指令集合，即显示设备能够支持的所有aiot控制指令和所有红外控制指令，并发送给终端设备。从而使得终端设备可以发送两种类型的控制指令至显示设备，而不需要用户再使用遥控器，从而提高了用户的体验性。
附图说明
32.为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
33.图1示出了根据一些实施例的终端设备的使用场景；
34.图2示出了根据一些实施例的终端设备的结构示意图；
35.图3示出了根据一些实施例的终端设备的软件架构示意图；
36.图4示出了根据一些实施例的终端设备的用户界面示意图；
37.图5示出了一些实施例中显示设备中设置身份认证模式的示意图；
38.图6示出了一些实施例中显示设备和终端设备进行通信连接的流程图；
39.图7示出了一些实施例中终端设备的终端界面的示意图；
40.图8示出了一些实施例中终端设备和服务器的交互流程图；
41.图9示出了一些实施例中服务器获取控制指令集合的流程图；
42.图10示出了一些实施例中终端设备的终端界面的示意图；
43.图11a示出了一些实施例中终端设备的一个控制界面的示意图；
44.图11b示出了一些实施例中终端设备的又一个控制界面的示意图；
45.图12示出了一些实施例中终端设备控制显示设备的流程图；
46.图13示出了通信控制方法的一个实施例的流程示意图；
47.图14示出了通信控制方法的一个实施例的流程示意图。
具体实施方式
48.为使本技术的目的和实施方式更加清楚，下面将结合本技术示例性实施例中的附图，对本技术示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本技术一部分实施例，而不是全部的实施例。
49.需要说明的是，本技术中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本技术的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
50.本技术中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
51.术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
52.术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
53.图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图。如图1中示出，用户可通过终端设备300和控制装置100操作显示设备200。
54.在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式等，通过无线或其他有线方式来控制显示设备200。其中，无线方式可以是直连和非直连，可以是经过路由的，也可以是不经过路由的。用户可以通过遥控器上按键，语音输入、控制面板输入等输入用户指令，来控制显示设备200。如：用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令，来实现控制显示设备200的功能。
55.在一些实施例中，也可以使用移动终端、平板电脑、计算机、笔记本电脑、和其他智能设备以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。该应用程序通过配置可以在与智能设备关联的屏幕上，在直观的用户界面(ui)中为用户提供各种控制。
56.在一些实施例中，终端设备300可与显示设备200通过网络通信协议实现连接通信，实现一对一控制操作的和数据通信的目的。如：终端设备300与显示设备200建立控制指令协议，将遥控控制键盘同步到终端设备300上，通过控制终端设备300上用户界面，实现控制显示设备200的功能。也可以将终端设备300上显示音视频内容传输到显示设备200上，实现同步显示功能。
57.如图1中还示出，显示设备200和终端设备300还与服务器400通过多种通信方式进行数据通信。可允许显示设备200和终端设备300通过局域网(lan)、无线局域网(wlan)和其他网络进行通信连接。服务器400可以向显示设备200和终端设备300提供各种内容和互动。示例的，显示设备200和终端设备300通过发送和接收信息，以及电子节目指南(epg)互动，接收软件程序更新，或访问远程储存的数字媒体库。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。通过服务器400提供视频点播和广告服务等其他网络服务内容。
58.显示设备200，可以液晶显示器、oled显示器、投影显示设备。具体显示设备类型，尺寸大小和分辨率等不作限定，本领技术人员可以理解的是，显示设备200可以根据需要做性能和配置上一些改变。
59.显示设备200除了提供广播接收电视功能之外，还可以附加提供计算机支持功能的智能网络电视功能，包括但不限于，网络电视、智能电视、互联网协议电视(iptv)等。
60.在一些实施例中，一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的，服务器执行的软件步骤可以随需求迁移到与之数据通信的显示设备上执行，反之亦然。
61.图2为本技术在一些实施例中示出的终端设备300的硬件配置框图。
62.应该理解的是，图2所示终端设备300仅是一个范例，并且终端设备300可以具有比图2中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
63.如图2所示，终端设备300包括：射频(radio frequency，rf)电路110、存储器120、显示单元130、摄像头140、传感器150、音频电路160、无线保真(wireless fidelity，wi
‑
fi)模块170、处理器180、蓝牙模块181、以及电源190等部件。
64.rf电路110可用于在收发信息或通话过程中信号的接收和发送，可以接收基站的下行数据后交给处理器180处理；可以将上行数据发送给基站。通常，rf电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等器件。
65.存储器120可用于存储软件程序及数据。处理器180通过运行存储在存储器120的软件程序或数据，从而执行终端设备300的各种功能以及数据处理。存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器120存储有使得终端设备300能运行的操作系统。本技术中存储器120可以存储操作系统及各种应用程序，还可以存储执行本技术实施例所述方法的代码。
66.显示单元130可用于接收输入的数字或字符信息，产生与终端设备300的用户设置以及功能控制有关的信号输入，具体地，显示单元130可以包括设置在终端设备300正面的触摸屏131，可收集用户在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。
67.显示单元130还可用于显示由用户输入的信息或提供给用户的信息以及终端300的各种菜单的图形用户界面(graphical user interface，gui)。具体地，显示单元130可以包括设置在终端设备300正面的显示屏132。其中，显示屏132可以采用液晶显示器、发光二极管等形式来配置。显示单元130可以用于显示本技术中的各种图形用户界面。
68.其中，触摸屏131可以覆盖在显示屏132之上，也可以将触摸屏131与显示屏132集成而实现终端设备300的输入和输出功能，集成后可以简称触摸显示屏。本技术中显示单元130可以显示应用程序以及对应的操作步骤。
69.摄像头140可用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal
‑
oxide
‑
semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器180转换成数字图像信号。
70.终端设备300还可以包括至少一种传感器150，比如加速度传感器151、距离传感器152、指纹传感器153、温度传感器154。终端设备300还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。
71.音频电路160、扬声器161、麦克风162可提供用户与终端设备300之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出。终端设备300还可配置音量按钮，用于调节声音信号的音量。另一方面，麦克风162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出至rf电路110以发送给比如另一终端，或者将音频数据输出至存储器120以便进一步处理。本技术中麦克风162可以获取用户的语音。
72.wi
‑
fi属于短距离无线传输技术，终端设备300可以通过wi
‑
fi模块170帮助用户收发电子邮件、浏览网页和访问流媒体等，它为用户提供了无线的宽带互联网访问。
73.处理器180是终端设备300的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器120内的软件程序，以及调用存储在存储器120内的数据，执行终端设备300的各种功能和处理数据。在一些实施例中，处理器180可包括一个或多个处理单元；处理器180还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器180中。本技术中处理器180可以运行操作系统、应用程序、用户界面显示及触控响应，以及本技术实施例所述的处理方法。另外，处理器180与显示单元130和摄像头140耦接。
74.蓝牙模块181，用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如，终端设备300可以通过蓝牙模块181与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接，从而进行数据交互。
75.终端设备300还包括给各个部件供电的电源190(比如电池)。电源可以通过电源管理系统与处理器180逻辑相连，从而通过电源管理系统实现管理充电、放电以及功耗等功能。终端设备300还可配置有电源按钮，用于终端的开机和关机，以及锁屏等功能。
76.图3是本技术根据一些实施例示出的终端设备300的软件结构框图。其中，分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(android runtime)和系统库，以及内核层。应用程序层可以包括一系列应用程序包。
77.如图3所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，wlan，蓝牙，音乐，视频，短信息等应用程序。
78.应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface，api)和编程框架。应用程序框架层包括一些预先定义的函数。
79.如图3所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。其中：
80.窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
81.内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据
可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
82.视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
83.电话管理器用于提供终端设备300的通信功能。例如通话状态的管理(包括接通，挂断等)。
84.资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
85.通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，终端设备振动，指示灯闪烁等。
86.android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。其中，核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
87.应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
88.系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：opengl es)，2d图形引擎(例如：sgl)等。
89.表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2d和3d图层的融合。
90.媒体库支持多种常用的音频，视频格式回放和录制，静态图像文件等。媒体库可以支持多种音视频编码格式，例如：mpeg4，h.264，mp3，aac，amr，jpg，png等。
91.三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
92.2d图形引擎是2d绘图的绘图引擎。
93.内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
94.本技术实施例中的终端设备300可以为手机、平板电脑、可穿戴设备、笔记本电脑以及电视等。
95.在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphic user interface，gui)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、widget等可视的界面元素中的至少一种。
96.通常，终端设备通过向服务器发送数据请求，以从服务器获取对应的数据。例如，向服务器获取媒资信息请求，以从服务器获取媒资信息，这里的媒资信息至少包括媒资标
识，例如，还可以包括媒资名称。基于推送功能，用户可以在终端设备(如手机)的媒资平台上选择媒资，通过推送操作将选择的媒资投放到电视或者其他显示设备进行播放。
97.需要说明的是，终端设备和被推送的显示设备中都安装有播放视频应用，为便于说明，在下述实施例中，将终端设备300中安装的视频播放应用称为第一应用，将显示设备200中安装的视频播放应用命名为第二应用。其中，第二应用可以是系统应用，也可以是第三方应用。
98.图4是本技术根据一些实施例示出的一种终端设备(例如图1的终端设备300)用户界面示意图。在一些具体实施中，用户通过触摸用户界面上的应用图标可以打开相应的应用程序，或者通过触摸用户界面上的文件夹图标可以打开相应的文件夹。
99.用户不仅可以使用遥控器控制显示设备，还可以使用终端设备，例如手机，来控制显示设备。当用户利用终端设备控制显示设备时，由于aiot能够控制的功能是有限的，导致终端设备无法发送控制显示设备的部分指令，此时需要用户使用遥控器才可以发送这部分指令，从而相应的功能，导致用户的体验性较差。
100.本技术提供一种终端设备和服务器。其中，终端设备包括显示单元、通信单元和处理器。其中，显示单元用于显示终端界面，通信单元用于与显示设备和服务器进行通信连接。终端设备可以是移动终端、笔记本电脑或平板电脑。服务器包括通信器和控制器，通信器被配置为与终端设备和显示设备进行通信连接。
101.在一些实施例中，用户可以使用终端设备和显示设备进行通信连接，从而实现终端设备和显示设备之间的信息交互。
102.终端设备可以发送通信连接请求至显示设备，以使终端设备和显示设备进行通信连接。当终端设备和显示设备进行通信连接后，可以进行通信交互，例如，用户可以操控终端设备从显示设备中下载一些媒资资源，也可以将终端设备中的媒资资源上传至显示设备进行播放。用户还可以利用终端设备发送一些控制指令至显示设备，以控制显示设备实现相应的功能，此时，可以利用终端设备实现遥控器的功能。
103.在一些实施例中，显示设备可以设置有通信模式。当通信模式关闭时，显示设备不会接收终端设备发送的通信连接请求。此时显示设备不允许终端设备进行通信连接，此时显示设备不会和任何终端设备进行信息交互。当通信模式开启时，显示设备会接收终端设备发送的通信连接请求。此时，显示设备可以允许终端设备和显示设备进行通信连接，从而实现信息交互。用户可以向显示设备输入通信模式开启指令，当控制器接收到通信模式开启指令时，可以控制显示设备进入通信模式。
104.在一些实施例中，用户可以通过操作遥控器的指定按键，向显示设备发送通信模式开启指令。在实际应用的过程中预先绑定通信模式开启指令与遥控器按键之间的对应关系。例如，在遥控器上设置一个通信模式按键，当用户触控该按键时，遥控器可以发送通信模式开启指令至控制器，此时控制器控制显示设备进入通信模式。当用户再次触控该按键时，控制器可以控制显示设备退出通信模式。
105.在一些实施例中，也可以预先绑定通信模式指令与多个遥控器按键之间的对应关系，当用户触控与通信模式指令绑定的多个按键时，遥控器发出通信模式指令。在一可行性实施例中，通信模式指令绑定的按键依次为方向键(左、下、左、下)，即当用户在预设时间内连续触控按键(左、下、左、下)的情况下，遥控器才发送通信模式指令至控制器。采用上述绑
定方法，可以避免通信模式指令由于用户的误操作而发出。本技术实施例仅是示例性的提供几种通信模式指令与按键之间的绑定关系，在实际应用的过程中可以根据用户的习惯设定通信模式指令与按键之间的绑定关系，在此不做过多的限定。
106.在一些实施例中，用户可以使用显示设备的声音采集器，例如麦克风，通过语音输入的方式，向显示设备发送通信模式指令，以控制显示设备进入通信模式。显示设备中可以设置有智能语音系统，智能语音系统可以对用户的语音进行识别，以提取用户输入的指令内容。用户可以通过麦克风输入预设的唤醒词，从而启动智能语音系统，从而控制器可以对用户输入的指令做出响应。并在一定时间内输入通信模式指令，使得显示设备进入通信模式。例如，用户可以输入“某某同学”，以启动智能语音系统。再输入“进入通信模式”，实现向显示设备发送通信模式指令。
107.还可以在显示设备的ui界面中设置通信模式选项，当用户点击该选项时，可以控制显示设备进入或退出通信模式。
108.在一些实施例中，当显示设备处于通信模式下，考虑到安全性，还可以进一步设置身份认证模式。当身份认证模式关闭时，显示设备不会对终端设备进行身份认证，此时终端设备可以直接和显示设备进行通信连接。即当终端设备向显示设备发送通信连接请求时，显示设备可以不对通信连接请求进行验证，从而直接和终端设备进行通信连接。
109.当身份认证模式开启时，显示设备会对终端设备进行身份认证。即当显示设备接收到终端设备发送的通信连接请求时，会对通信连接请求进行验证，当验证通过时，允许通信连接请求，从而和终端设备进行通信连接。
110.图5示出了一些实施例中显示设备中设置身份认证模式的示意图。其中，当用户选择开启通信模式时，可以进一步选择开启身份认证模式或者关闭身份认证模式。
111.图6示出了一些实施例中显示设备和终端设备进行通信连接的流程图。
112.在一些实施例中，当显示设备处于通信模式下，终端设备可以和显示设备进行通信交互。终端设备需要将通信连接请求发送至显示设备，显示设备进一步可以确定是否要与终端设备进行通信连接。
113.在一些实施例中，通信连接请求可以是搜索指令。终端设备可以发送搜索指令至网络中，具体可以发送搜索指令至局域网的组播地址。
114.局域网中所有的设备通过组播地址均可以接收到该搜索指令。因此，当终端设备和显示设备接入到一个局域网络中时，显示设备可以从组播地址中获取到搜索指令。当显示设备获取到搜索指令时，则可以认为终端设备发送了通信连接请求。
115.显示设备获取到该通信连接请求后，显示设备可以将自身的网络信息发送至终端设备。例如，显示设备可以将location url(uniform resource locator，统一资源定位符)发送至终端设备，upl中可以包括显示设备的ip地址。
116.显示设备还可以将自身的物理地址(即mac地址)发送至终端设备，mac地址用于标识显示设备的网卡。
117.终端设备在接收到显示设备发送的网络信息以及物理地址后，可以根据网络信息和物理地址生成设备信息获取请求。其中，设备信息获取请求用于获取显示设备的设备信息。进一步的，可以将设备信息获取请求发送至显示设备。
118.在一些实施例中，在接收到设备信息获取请求后，显示设备可以将自身的设备信
息发送给终端设备。同时，显示设备可以允许终端设备发送的通信连接请求，即允许终端设备和显示设备进行通信交互。进一步的，显示设备可以和终端设备建立通信连接。
119.终端设备在接收到显示设备发送的设备信息时，即实现了与显示设备的通信连接，此时，终端设备可以和显示设备进行通信交互。例如，终端设备可以向显示设备发送一些控制指令，以使显示设备实现相应的功能。
120.显示设备的设备信息可以包括deviceid(设备id)、品牌名称、型号名称和featurecode(特征代码)等信息。其中，设备id表示显示设备的id信息，是每个显示设备的唯一标识属性。品牌名称以及型号名称为显示设备的出厂参数，一般是固定的名称。
121.在一些实施例中，用户可以通过将终端设备和显示设备进行绑定关联，从而实现将终端设备和显示设备建立通信连接。
122.在一些实施例中，用户可以使用终端设备直接搜索局域网中的所有显示设备。图7示出了一些实施例中终端设备的终端界面的示意图。
123.终端设备中可以包括“连接设备”控件，用户可以通过点击“连接设备”控件，以指示终端设备扫描局域网中可连接的显示设备，同时触发进入对应的设备列表页面。当显示出设备列表页面时，用户可以该页面中选择要连接的显示设备。
124.当检测到用户点击某个显示设备后，终端设备可以向该显示设备发送设备信息获取请求。在接收到设备信息获取请求后，显示设备可以将自身的设备信息发送给终端设备。同时，显示设备可以和终端设备进行绑定关联，即建立通信连接。
125.在一些实施例中，用户还可以在终端设备中登录自己的账号。当用户使用终端设备和某个显示设备绑定关联后，用户的账号也和该显示设备进行了绑定关联。
126.在一些实施例中，当用户使用终端设备和显示设备建立通信连接时，还可以采用不同的通信连接类型。
127.用户可以利用网络直接将终端设备和显示设备进行绑定关联，从而实现终端设备和显示设备的通信连接。终端设备可以直接在局域网中搜索显示设备，也可以将搜索指令发送至局域网中。例如，当显示设备为aiot设备时，可以采用aiot网络连接方式，从而实现终端设备和显示设备的通信连接。本技术实施例中将这些网络连接的方式设为第一类通信连接。
128.用户也可以采用红外连接的方式将终端设备和显示设备进行绑定关联，实现终端设备和显示设备的通信连接。终端设备可以向显示设备发射红外信号，显示设备再将红外信号转换为电信号，并进一步进行解码，解调出相应的信息，从而使得显示设备可以与终端设备建立通信连接。进一步的，终端设备可以得到显示设备的设备信息。本技术实施例中将红外连接的方式设为第二类通信连接。
129.在一些实施例中，当检测到终端设备与显示设备建立通信连接时，用户可以使用终端设备对显示设备进行控制。此时，终端设备可以起到遥控器的作用。
130.终端设备可以控制显示单元中显示控制界面，控制界面中包括多个用于控制显示设备的控制指令。当用户点击控制界面中的某个控制指令时，终端设备可以将该控制指令发送至显示设备，以使显示设备实现相应的功能。
131.需要说明的是，当终端设备和显示设备采用aiot云端智能控制的方式进行交互时，由于aiot能够控制的功能有限，因此还需要在终端设备的控制界面中整合一些红外连
接时的控制指令，从而使得终端设备可以完全控制显示设备，而不需要再利用遥控器进行操作，以提升用户的体验性。
132.图8示出了一些实施例中终端设备和服务器的交互流程图。
133.在一些实施例中，当检测到终端设备与某个显示设备建立通信连接时，处理器可以获取该显示设备的设备信息。同时，处理器还可以进一步获取终端设备和显示设备进行通信连接的通信连接信息。通信连接信息可以包括终端设备和显示设备的通信连接类型。还可以包括显示设备网络信息以及物理地址。
134.具体可以判断通信连接类型是第一类通信连接或者第二类通信连接。
135.在确定通信连接信息和显示设备的设备信息后，处理器可以控制通信单元，将通信连接信息和设备信息发送至服务器，从而进一步确定显示设备当前能够支持的控制指令。
136.在一些实施例中，在接收到终端设备发送的通信连接信息和设备信息后，服务器可以获取控制指令集合。控制指令集合中包括显示设备与终端设备通信连接时所支持的所有控制指令。
137.具体的，服务器的控制器可以根据通信连接信息和设备信息获取控制指令集合。图9示出了一些实施例中服务器获取控制指令集合的流程图。
138.需要说明的是，当显示设备和终端设备的通信连接类型不同时，显示设备能够支持的控制指令也可能不同。
139.当显示设备和终端设备采用第一类通信连接的方式进行通信连接时，即终端设备利用aiot云端智能控制的方式对显示设备进行控制时，终端设备可以向显示设备发送第一类控制指令，即aiot控制指令，也可以向显示设备发送第二类控制指令，即红外控制指令。此时，在第一类通信连接的方式下，显示设备可以支持两种控制指令。
140.当显示设备和终端设备采用第二类通信连接的方式进行通信连接时，即终端设备利用红外控制的方式对显示设备进行控制时，终端设备只能向显示设备发送第二类控制指令，即红外控制指令，但是不能发送第一类控制指令。此时，显示设备仅仅支持第二类控制指令，而不支持第一类控制指令。
141.因此，服务器需要根据通信连接信息确定显示设备支持的控制指令。具体的，控制器可以对显示设备和终端设备的通信连接类型进行检测。
142.在一些实施例中，如果检测到通信连接类型为第一类通信连接，说明显示设备在当前的通信连接情况下，既支持第一类控制指令，又支持第二类控制指令。此时，处理器可以在预设的指令数据库中获取显示设备支持的所有第一类控制指令和所有第二类控制指令，即显示设备能够支持的所有的控制指令。
143.需要说明的是，服务器中预先设置有一个指令数据库。指令数据库中存储有每个显示设备支持的所有控制指令。
144.显示设备可以支持两种控制指令：aiot控制指令和红外控制指令。其中，红外控制指令是传统遥控器可以支持的指令。一般来说，每个红外控制指令对应显示设备的一次操作，实时控制性较强，但是红外控制指令不能支持一些较为复杂的功能。例如，将显示设备的音量或亮度值等设置为特定数值，这种功能是红外控制指令无法实现的。
145.aiot控制指令的实时控制性较差，对于一些需要需要快速响应的功能，aiot控制
指令较难实现。例如，遥控器中的数字按键和方向按键，由于用户一般会多次或连续触控这些按键，因此需要终端设备和显示设备快速的多次交互，导致aiot控制指令无法实现这些功能。但是一个aiot控制指令可以对应显示设备的多次操作，例如将显示设备设备的音量从当前数值调节至特定的数值，如果用传统遥控器则需要用户发出多次调节音量的指令，但利用aiot控制指令的话则只需要一个指令即可实现，因此大大提高了用户的操作效率。
146.本技术实施例综合考虑到两种控制指令的优势，在终端设备中将两种控制指令进行融合，以期最大化提高用户的体验性。
147.在显示设备可以支持的两种指令中，aiot控制指令可以用纯指令的形式进行存储。红外控制指令可以用红外码值的形式进行存储，每个红外控制指令都对应一个红外码值。
148.因此，对于显示设备来说，可以将其能够支持的所有aiot控制指令形成一个aiot指令集合。将其能够支持的所有红外控制指令形成一个红外码库。即每个显示设备都会对应一个aiot指令集合和一个红外码库。
149.在指令数据库中，根据显示设备的设备id即可查询该显示设备对应的aiot指令集合和红外码库。
150.在一些实施例中，同一个品牌的显示设备能够支持的的控制指令可以是相同的，因此同一个品牌的显示设备可以共用aiot指令集合和红外码库。
151.在一些实施例中，如果检测到通信连接类型为第一类通信连接，在确定了显示设备对应的aiot指令集合和红外码库后，可以将aiot指令集合和红外码库进行整合，并对其中所有的第一类控制指令和第二类控制指令进行取全集处理，从而生成控制指令集合。控制指令集合中包括显示设备当前通信连接状态下，支持的所有的控制指令以及每个控制指令的类型。
152.在一些实施例中，如果检测到通信连接类型为第一类通信连接，考虑到终端设备可以不支持红外控制的情况，服务器还可以根据显示设备的设备信息判断显示设备是否支持第二类通信连接，即是否支持红外控制。
153.如果检测到显示设备支持第二类通信连接，即支持红外控制，控制器可以根据显示设备的设备id，在预设的指令数据库中同时获取该显示设备对应的aiot指令集合和红外码库，可以得到该显示设备支持的所有第一类控制指令和所有第二类控制指令。
154.此时，可以对所有的第一类控制指令和第二类控制指令取全集处理，从而得到控制指令集合。
155.如果检测到显示设备不第二类通信连接，即不支持红外控制，控制器可以根据显示设备的设备id，在预设的指令数据库中只获取该显示设备对应的aiot指令集合，从而得到该显示设备支持的所有第一类控制指令。此时，所有的第一类控制指令共同构成控制指令集合。
156.在一些实施例中，如果检测到通信连接类型为第二类通信连接，说明终端设备无法向显示设备发送aiot控制指令，显示设备在当前的通信连接情况下，仅仅支持第二类控制指令。此时，处理器可以根据设备id，在指令数据库中获取该显示设备对应的红外码库，从而得到该显示设备支持的所有第二类控制指令。此时，所有的第二类控制指令共同构成控制指令集合。
157.在一些实施例中，在确定显示设备的控制指令集合后，处理器可以将控制指令集合进行存储。
158.服务器中可以设置有显示设备指令库。进一步的，处理器可以将每个显示设备的控制指令集合存储到该显示设备指令库中。
159.当某个显示设备和终端设备的通信连接类型发生改变时，服务器可以获取该显示设备当前通信连接情况下的控制指令集合，并将新的控制指令集合在显示设备指令库中更新。
160.在一些实施例中，当显示设备和终端设备建立通信连接后，用户可以使用终端设备控制显示设备。
161.图10示出了一些实施例中终端设备的终端界面的示意图。
162.终端设备中可以包括“控制设备”控件，用户可以通过点击该“控制设备”控件，以指示终端设备确认已经建立通信连接的所有显示设备，同时触发进入对应的控制列表页面。当显示出控制列表页面时，用户可以该页面中选择要控制的显示设备。
163.在一些实施例中，用户可以点击控制列表页面中的某个显示设备，从而输入指示控制显示设备的指令。
164.响应于该指令，终端设备可以发送控制指令集合获取请求至服务器。其中，控制指令集合获取请求用于获取该显示设备的控制指令集合。
165.在接收到终端设备发送的控制指令集合获取请求后，服务器可以将该显示设备的控制指令集合发送至终端设备。
166.在一些实施例中，终端设备在接收到控制指令集合后，可以根据该控制指令集合生成控制界面。同时，可以控制显示单元显示该控制界面。控制界面中可以包括控制指令集合中的多个控制指令，从而使得用户可以根据控制界面控制显示设备。
167.在一些实施例中，当终端设备接收到的控制指令集合中同时包含第一类控制指令和第二类控制指令时，两种控制指令中可能存在相同指令的情况。例如，对于控制指令“将显示设备静音”，既可以以第一类控制指令的形式存在，也可以以第二类控制指令的形式存在，从而造成同一个控制指令重复出现的情况。
168.此时，可以对控制指令的类型设置优先级，例如：aiot控制指令>红外控制指令。即当一个控制指令既可以是aiot控制指令，也可以是红外控制指令时，优先设置为aiot控制指令。优先级还可以设定为：红外控制指令>aiot控制指令，即控制指令优先设置为红外控制指令。也可以根据用户的需求自行设置每个控制指令的类型，本技术实施例不做具体限定。
169.在确定了显示设备当前通信连接情况下支持的所有控制指令以及每个控制指令的类型后，终端设备可以根据这些控制指令生成控制界面并在显示单元中进行显示。
170.在一些实施例中，在根据该控制指令集合生成控制界面时，处理器可以对控制指令集合进行解析，得到显示设备再当前通信连接的情况下，能够支持的所有控制指令以及每个控制指令的指令类型。
171.进一步的，处理器可以将每个控制指令转换为一个操作控件，每个操作控件即为一个控制指令，同时每个操作控件可以具有单独的图标。此时，可以将这些图标生成控制界面，以供用户进行操作。
172.图11a示出了一些实施例中终端设备的一个控制界面的示意图。该控制界面中包括9种操作控件：电源控件1101、节目源控件1102、返回控件1103、主界面控件1104、键盘切换控件1105、信号源控件1106、图像识别控件1107以及音量设置界面1108。其中，电源控件1101用于控制显示设备的开启与关闭，可以设置为aiot控制指令或红外控制指令。节目源控件1102为数字键盘，用于调节显示设备当前播放的节目源，用户可以按下特定的数字键转换到相应的电视节目，也可以按照节目源的顺序前后切换电视节目，需要设置为红外控制指令。返回控件1103用于返回用户的上一次操作，可以设置为aiot控制指令或红外控制指令。主界面控件1104用于返回显示设备的主界面，可以设置为aiot控制指令或红外控制指令。键盘切换控件1105用于切换显示的键盘，键盘包括数字键盘和方向键盘，可以设置为aiot控制指令或红外控制指令。信号源控件1106用于显示显示设备的信号源列表，包括hdmi、usb、atv等信号源，以供用户选择，可以设置为aiot控制指令或红外控制指令。图像识别控件1107用于对显示设备显示的图像进行识别，需要设置为aiot控制指令。音量设置界面1108用于将显示设备的音量调节为预设的音量值，可以是调节为50，需要设置为aiot控制指令。在当前控制界面下，当用户点击键盘切换控件1105时，控制界面中的数字键盘会切换为方向键盘。
173.图11b示出了一些实施例中终端设备的又一个控制界面的示意图。其中，焦点控件1109位方向键盘，用户可以利用该控件调节显示设备中的焦点位置，需要设置为红外控制指令。
174.在一些实施例中，用户可以利用控制界面，根据在控制界面上触发的控制指令控制显示设备对显示设备进行控制。例如，通过对控制界面中某个控件进行点击或触控，从而输入对应的控制指令。
175.图12示出了一些实施例中终端设备控制显示设备的流程图。
176.具体的，处理器可以检测用户对控制界面的操作，从而确定用户输入的控制指令。
177.进一步的，终端设备可以将用户输入的控制指令发送给显示设备。显示设备在接收到相应的控制指令后，可以对该控制指令进行解析，从而确定该控制指令对应的功能，并予以实现。
178.在确定用户输入的控制指令后，终端设备可以检测该控制指令的指令类型。
179.在一些实施例中，当检测到用户输入的控制指令为第一类控制指令时，即aiot控制指令时，终端设备需要先将用户输入的控制指令和显示设备的设备信息发送至服务器，具体可以将该控制指令和显示设备的设备id发送至服务器。
180.服务器根据显示设备的设备id可以确定用户想要控制的是哪一个显示设备。此时，服务器可以将用户输入的控制指令发送给对应的显示设备。进一步的，显示设备在接收到控制指令后，可以实现该控制指令对应的功能。
181.在一些实施例中，当检测到用户输入的控制指令为第二类控制指令时，即红外控制指令时，终端设备可以直接将用户输入的控制指令直接发送至显示设备。具体的，可以将控制指令的红外码值发送给显示设备。显示设备将红外码值转换为电信号后，可以对电信号进行解码，解调出相应的控制指令，并实现相应的功能。
182.本技术实施例中，终端设备可以将显示设备的设备信息，以及终端设备和显示设备的通信连接信息发送至服务器。服务器进一步可以整合出显示设备能够支持的aiot控制
指令和红外控制指令，并发送给终端设备。从而使得终端设备可以发送两种类型的控制指令至显示设备，而不需要用户在使用遥控器，从而提高了用户的体验性。
183.本技术实施例提供了一种通信控制方法，应用于终端设备，如图13所示，该方法包括以下步骤：
184.s1301、检测到终端设备与显示设备建立通信连接，获取通信连接信息和显示设备的设备信息，所述通信连接信息包括通信连接类型。
185.s1302、将所述通信连接信息和所述设备信息发送至服务器，以使服务器根据所述通信连接信息和所述设备信息获取控制指令集合，所述控制指令集合中包括显示设备与终端设备通信连接时所支持的所有控制指令。
186.s1303、响应于用户输入的指示控制显示设备的指令，发送用于获取控制指令集合的请求至所述服务器。
187.s1304、根据服务器发送的所述控制指令集合生成控制界面，并控制显示单元显示所述控制界面，以使用户根据在所述控制界面上触发的控制指令控制显示设备。
188.本技术实施例提供了一种通信控制方法，应用于服务器，如图14所示，该方法包括以下步骤：
189.s1401、接收终端设备发送的通信连接信息和显示设备的设备信息，所述通信连接信息包括终端设备与显示设备建立通信连接时的通信连接类型。
190.s1402、根据所述通信连接信息和所述设备信息获取控制指令集合，所述控制指令集合中包括显示设备与终端设备通信连接时所支持的所有控制指令。
191.s1403、响应于终端设备发送的用于获取控制指令集合的请求，将所述控制指令集合发送至终端设备，以使终端设备根据所述控制指令集合生成控制界面，并显示所述控制界面。
192.本技术实施例还提供一种通信控制方法，该方法包括以下步骤：
193.终端设备在检测到与显示设备建立通信连接时，确定通信连接信息和显示设备的设备信息，所述通信连接信息包括通信连接类型。
194.终端设备将通信连接信息和设备信息发送至服务器。
195.服务器根据通信连接信息和设备信息获取控制指令集合，控制指令集合中包括显示设备与终端设备通信连接时所支持的所有控制指令。
196.响应于用户输入的指示控制显示设备的指令，终端设备发送控制指令集合获取请求至服务器，控制指令集合获取请求用于获取控制指令集合。
197.服务器将控制指令集合发送至终端设备。
198.终端设备根据控制指令集合生成控制界面，并控制显示单元显示控制界面，以使用户根据控制界面控制显示设备。
199.本说明书中各个实施例之间相同相似的部分互相参照即可，在此不再赘述。
200.本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分的
方法。
201.最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。
202.为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用实施方式以及适于具体使用考虑的各种不同的变形的实施方式。