一种显示设备及多图层叠加方法与流程

一种显示设备及多图层叠加方法
1.本技术是国内申请的分案申请，申请号：202011528031.6，申请日：2020-12-22，发明名称：一种显示设备及多图层叠加方法。
技术领域
2.本技术涉及触控电视技术领域，尤其涉及一种显示设备及多图层叠加方法。


背景技术：

3.智能电视是基于internet应用技术，具备开放式操作系统与芯片的电视产品。智能电视拥有开放式应用平台，可实现双向人机交互功能。智能电视集影音、娱乐、数据等多种功能于一体，用于满足用户多样化和个性化需求。智能电视的交互方式可以有多种，例如，可以在显示屏幕上集成触控组件，形成触控电视，用于满足用户的触控交互。
4.用户可以通过触控操作向触控电视输入多种类型的交互指令。例如，用户可以在显示屏幕上输入触控动作轨迹，而触控电视根据触控动作轨迹，实时显示对应的轨迹画面。在显示轨迹过程中，触控电视可以通过对多个图层进行叠加，以实时显示。目前常用的叠加方法是分别设置不同图层的透明度，然后通过调节图层的透明度显示不同图层中的内容。通常，多个图层共用相同的透明度，如果要改变叠加时对某个图层的透明度处理，一般需要同时改变整个图层的透明比例。
5.可见在多图层叠加时，无法灵活改变图层中某些像素点的透明比例。而且当各图层的分辨率不同时，无法准确叠加。为了提高准确叠加图层，改善显示效果，可以通过内插法将低分辨率的图层画面提升到高分辨率，然后再进行叠加。而当同一图层元素存在不同透明度时，利用内插等方法提升分辨率，会使得透明度衔接的边界处颜色不同，影响最终展示效果。例如，在画线操作时，因内插算法需要将画线颜色与透明颜色做内插计算，导致在画线图案边缘出现锯齿或黑边，影响显示效果。


技术实现要素：

6.本技术提供了一种显示设备及多图层叠加方法，以解决传统叠加方法由于内插算法导致的最终显示效果差的问题。
7.第一方面，本技术提供一种显示设备，包括：显示器、触控组件和控制器。其中，所述显示器被配置为显示用户界面，触控组件被配置为检测用户输入的触控轨迹，控制器被配置为执行以下程序步骤：获取第一图层中的触控轨迹图案，以及获取第二图层中的背景图案，所述第二图层是位于所述第一图层下一层的图层；根据所述背景图案，对所述触控轨迹图案执行内插运算，以生成转换图案，所述转换图案的分辨率等于所述背景图案的分辨率；叠加所述转换图案与所述背景图案，以控制所述显示器实时显示叠加结果。
8.由以上技术方案可知，本技术第一方面提供的显示设备可以在显示器显示用户界
面的同时，通过触控组件检测用户输入的触控轨迹，并在第一图层中实时呈现触控轨迹图案。在获取触控轨迹图案后，还可以根据第二图层中的背景图案对第一图层中的触控轨迹图案执行内插运算，提高触控轨迹图案的分辨率，最后将内插运算后的转换图案与背景图案进行叠加，并实时通过显示器进行显示。所述显示设备可以根据背景图案对触控轨迹图案执行内插运算，可以缓解第一图层透明度对触控轨迹图案边缘插值算法结果产生的影响，缓解触控轨迹图案叠加时出现锯齿或黑边的问题，提高实时显示效果。
9.第二方面，本技术还提供一种多图层叠加方法，所述多图层叠加方法应用于显示设备，所述显示设备包括显示器、触控组件和控制器，其中所述触控组件被配置为检测用户输入的触控轨迹，所述多图层叠加方法包括：获取第一图层中的触控轨迹图案，以及获取第二图层中的背景图案，所述第二图层是位于所述第一图层下一层的图层；根据所述背景图案，对所述触控轨迹图案执行内插运算，以生成转换图案，所述转换图案的分辨率等于所述背景图案的分辨率；叠加所述转换图案与所述背景图案，以控制所述显示器实时显示叠加结果。
10.由以上技术方案可知，本技术第二方面提供的多图层叠加方法，可以配置在显示设备的控制器中，用于在用户输入触控轨迹时，通过多图层叠加方式，实时显示触控轨迹图案。所述方法可以根据背景图案对触控轨迹图案执行内插运算，可以缓解第一图层透明度对触控轨迹图案边缘插值算法结果产生的影响，解决触控轨迹图案叠加时出现锯齿或黑边的问题，提高实时显示效果。
11.第三方面，本技术还提供一种多图层叠加方法，所述多图层叠加方法应用于显示设备，所述显示设备包括显示器、触控组件和控制器，其中所述触控组件被配置为检测用户输入的触控轨迹，所述多图层叠加方法包括：控制所述显示器显示绘制界面，所述绘制界面包括第一图层和第二图层，所述第二图层是位于所述第一图层下一层的图层；响应于用户的触控动作，在所述第一图层显示转换图案，以及在所述第二图层显示背景图案，所述转换图案为对所述触控轨迹图案执行内插运算生成，所述转换图案的分辨率等于所述背景图案的分辨率；控制所述显示器实时显示叠加图案，所述叠加图案由转换图案与所述背景图案叠加获得。
12.由以上技术方案可知，本技术第三方面提供的多图层叠加方法可以在用户执行演示动作过程中，控制显示器显示绘制界面，并通过绘制界面的第一图层和第二图层分别显示转换图案和背景图案，并实时将第一图层和第二图层中的图案进行叠加显示，以缓解第一图层透明度对触控轨迹图案边缘插值算法结果产生的影响，解决触控轨迹图案叠加时出现锯齿或黑边的问题，提高实时显示效果。
附图说明
13.为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
14.图1为本技术实施例中显示设备与控制装置之间操作场景的示意图；图2为本技术实施例中显示设备的硬件配置框图；图3为本技术实施例中控制装置的硬件配置框图；图4为本技术实施例中显示设备软件配置示意图；图5为本技术实施例中显示设备多图层示意图；图6为本技术实施例中多图层叠加显示效果示意图；图7为本技术实施例中根据背景图案内插运算叠加效果示意图；图8为本技术实施例中多图层叠加方法流程示意图；图9为本技术实施例中第二图层和第三图层叠加效果示意图；图10为本技术实施例中第二图层内插效果示意图；图11为本技术实施例中透明或半透明第二图层叠加效果示意图；图12为本技术实施例中置顶显示叠加效果示意图。
具体实施方式
15.为使本技术的目的和实施方式更加清楚，下面将结合本技术示例性实施例中的附图，对本技术示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本技术一部分实施例，而不是全部的实施例。
16.需要说明的是，本技术中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本技术的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
17.本技术中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
18.术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
19.术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
20.图1为根据实施例中显示设备的使用场景的示意图。如图1所示，显示设备200还与服务器400进行数据通信，用户可通过智能设备300或控制装置100操作显示设备200。
21.在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式中的至少一种，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令，来控制显示设备200。
22.在一些实施例中，智能设备300可以包括移动终端、平板电脑、计算机、笔记本电脑，ar/vr设备等中的任意一种。
23.在一些实施例中，也可以使用智能设备300以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。
24.在一些实施例中，也可以使用智能设备300和显示设备进行数据的通信。
25.在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。
26.在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(lan)、无线局域网(wlan)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。
27.在一些实施例中，一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的，服务器执行的软件步骤可以随需求迁移到与之数据通信的显示设备上执行，反之亦然。
28.图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。 控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。
29.在一些实施例中，通信接口130用于和外部通信，包含wifi芯片，蓝牙模块，nfc或可替代模块中的至少一种。
30.在一些实施例中，用户输入/输出接口140包含麦克风，触摸板，传感器，按键或可替代模块中的至少一种。
31.图3示出了根据示例性实施例中显示设备200的硬件配置框图。
32.在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
33.在一些实施例中控制器包括中央处理器，视频处理器，音频处理器，图形处理器，ram，rom，用于输入/输出的第一接口至第n接口。
34.在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控ui 界面等。
35.在一些实施例中，显示器260可为液晶显示器、oled显示器、以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。
36.在一些实施例中，调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及epg数据信号。
37.在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。
38.在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包
括声音采集器，如麦克风等，用于接收外部声音。
39.在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒体接口接口(hdmi)、模拟或数据高清分量输入接口（分量）、复合视频输入接口（cvbs）、usb输入接口（usb）、rgb端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
40.在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。
41.在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如： 响应于接收到用于选择在显示器260上显示ui对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
42.在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。
43.在一些实施例中控制器包括中央处理器（central processing unit，cpu），视频处理器，音频处理器，图形处理器（graphics processing unit， gpu），ram random access memory，ram），rom（read-only memory ,rom），用于输入/输出的第一接口至第n接口，通信总线（bus）等中的至少一种。
44.cpu处理器。用于执行存储在存储器中操作系统和应用程序指令，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。cpu处理器，可以包括多个处理器。如，包括一个主处理器以及一个或多个子处理器。
45.在一些实施例中，图形处理器，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象；还包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。
46.在一些实施例中，视频处理器，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种，可得到直接可显示设备200上显示或播放的信号。
47.在一些实施例中，视频处理器，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中，解复用模块，用于对输入音视频数据流进行解复用处理。视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的gui信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率。 显示格式化模块，用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出rgb数据信号。
48.在一些实施例中，音频处理器，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理中的至少一种，得到可以在扬声器中播放的声音信号。
49.在一些实施例中，用户可在显示器260上显示的图形用户界面（gui）输入用户命令，则用户输入接口通过图形用户界面（gui）接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
50.在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphic user interface，gui)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、widget等可视的界面元素中的至少一种。
51.在一些实施例中，用户接口280，为可用于接收控制输入的接口（如：显示设备本体上的实体按键，或其他等）。
52.在一些实施例中，显示设备的系统可以包括内核（kernel）、命令解析器（shell）、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构，它们让用户可以管理文件、运行程序并使用系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(ipc)。内核启动后，再加载shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。
53.参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(applications)层(简称“应用层”)，应用程序框架(application framework)层(简称“框架层”)，安卓运行时(androidruntime)和系统库层(简称“系统运行库层”)，以及内核层。
54.在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。
55.框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，api)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过api接口，可在执行中访问系统中的资源和取得系统的服务。
56.如图4所示，本技术实施例中应用程序框架层包括管理器（managers），内容提供者（content provider）等，其中管理器包括以下模块中的至少一个：活动管理器（activity manager）用与和系统中正在运行的所有活动进行交互；位置管理器（ location manager）用于给系统服务或应用提供了系统位置服务的访问；文件包管理器（package manager）用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器（notification manager）用于控制通知消息的显示和清除；窗口管理器（window manager）用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
57.在一些实施例中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
58.在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安
卓操作系统会运行系统运行库层中包含的c/c 库以实现框架层要实现的功能。
59.在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、wifi驱动、usb驱动、hdmi驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。
60.基于上述显示设备200，可以通过增加触控组件276使显示设备200支持触控交互功能。通常，触控组件276可以与显示器260共同构成触摸屏。在触摸屏上用户可以通过触摸操作输入不同的控制指令。例如，用户可以输入点击、滑动、长按、双击等触控指令，不同的触控指令可以代表不同的控制功能。
61.为了实现上述不同的触摸动作，触控组件276可以在用户输入不同触摸动作时，产生不同的电信号，并将产生的电信号发送给控制器250。控制器250可以对接收到的电信号进行特征提取，从而根据提取的特征确定用户要执行的控制功能。
62.例如，当用户在应用程序界面中的任一程序图标位置输入点击触摸动作时，触控组件276将感应到触摸动作从而产生电信号。控制器250在接收到电信号后，可以先对电信号中触摸动作对应电平的持续时间进行判断，在持续时间小于预设时间阈值时，识别出用户输入的是点击触控指令。控制器250再对电信号产生的位置特征进行提取，从而确定触摸位置。当触摸位置在应用图标显示范围内时，确定用户在应用图标位置输入了点击触控指令。相应的，点击触控指令在当前场景下用于执行运行相应应用程序的功能，因此控制器250可以启动运行对应的应用程序。
63.又例如，当用户在媒资展示页面中输入滑动动作时，触控组件276同样将感应到的电信号发送给控制器250。控制器250先对电信号中触摸动作对应信号的持续时间进行判断。在确定持续时间大于预设时间阈值时，再对信号产生的位置变化情况进行判断，显然，对于互动触摸动作，其信号的产生位置将发生变化，从而确定用户输入了滑动触控指令。控制器250再根据信号产生位置的变化情况，对滑动触控指令的滑动方向进行判断，控制在媒资展示页面中对显示画面进行翻页，以显示更多的媒资选项。进一步地，控制器250还可以对滑动触控指令的滑动速度、滑动距离等特征进行提取，并按照所提取的特征进行翻页的画面控制，以达到跟手效果等。
64.同理，对于双击、长按等触控指令，控制器250可以通过提取不同的特征，并通过特征判断确定触控指令的类型后，按照预设的交互规则执行相应的控制功能。在一些实施例中，触控组件276还支持多点触控，从而使用户可以在触摸屏上通过多指输入触摸动作，例如，多指点击、多指长按、多指滑动等。
65.对于上述触控动作还可以配合特定的应用程序，实现特定的功能。例如，当用户打开“演示白板”应用后，显示器260可以呈现绘图区域，用户可以通过滑动触控指令在绘图区域中画出特定触控动作轨迹，控制器250则通过触控组件276检测的触控动作，确定触控动作图案，并控制显示器260实时进行显示，以满足演示效果。
66.为了实现实时显示效果，显示设备200可以通过多个图层叠加的方式对手绘过程进行显示。通常，显示设备200可以使用一个图层对用户手绘对应的滑动触控动作轨迹进行实时显示，可以再使用一个图层对演示白板界面进行显示，而在最终显示器260上所呈现的画面，是由这两个图层进行叠加而成。为了便于区分，在本技术实施例中，将用于实时显示触控轨迹图案的图层称为第一图层，将用于显示白板界面的图层称为第二图层。显然，为了
呈现最终画面，显示设备200所能够呈现的图层不仅包括上述两个，还可以包括其他图层，用于展示不同的画面内容。
67.例如，如图5所示，显示设备200可以包括三个图层，分别为第一图层：画面组层（group of pictures，gop）、第二图层：屏幕菜单调节层（on-screen display，osd）以及第三图层：视频层（video）。其中，gop层又称为gop2层或加速层，可以用来显示临时绘制的、在菜单上层显示的内容。osd层又称为中间层或菜单层，用于展示应用界面、应用菜单、工具栏等内容。video层又称为底层，一般可以用来显示电视连接的外接信号对应的画面内容。
68.不同图层之间可以设置层级关系，以达到特定的显示效果。例如，gop层、osd层以及video层的层级关系可以依次为：gop层-osd层-video层，即video层显示在最底层，展示外接信号画面内容，osd层显示在video层之上，从而使应用菜单可以浮于外接信号画面之上进行显示，而gop层显示在osd层之上，以便用户输入绘制图形时，可以突出显示。
69.其中，对于gop层，由于其用于显示临时绘制的内容，使得gop层中显示的画面会随着用户绘制动作的输入而呈现为不同的内容。因此，在实际应用中，为了满足作画要求，在一次滑动触控动作输入完成后，显示设备200可以将绘制的图案更新到osd层进行显示，并通过gop层继续显示其他触控轨迹内容。这样的显示方式，可以使新的作画动作所产生的图案能够覆盖之前作画动作所产生的图案，以适应用户操作习惯。
70.需要说明的是，对于显示设备200所能够呈现的多个图层中的图案，其图案的表现形式可以为argb形式，即在传统rgb形式的基础上，带有透明度信息，以便于多个图层画面的叠加。例如，对于用户绘制的画面，其画笔绘制的部分为具体触控轨迹图案，而其他部分为完全透明的图案，以避免用户未绘制的部分对底层图层中内容造成遮挡。因此，基于上述多个图层，显示设备200可以根据各图层中的具体图案内容和透明度呈现最终画面。
71.由于各图层所用于显示的具体内容不同，因此各图层中的图案可以拥有不同的画面分辨率。例如，gop层的分辨率为2k级，而osd层和video层的分辨率为4k级，则在画面叠加时，由于分辨率的不同会使得各图层中的图案难以对齐，造成显示偏差或错误。
72.为了能够叠加显示，当不同图层之间存在分辨率差异时，可以对较低分辨率的图层中的图案执行内插运算，以提高该图层画面的分辨率。例如，如图6所示，当gop2层、osd层和video层叠加时，因gop2层分辨率是2k的，而osd层和video层分辨率是4k的，因此gop2层要先通过内插算法，提高到4k的分辨率，然后再和其他两层进行叠加。
73.其中，内插运算是一种图像画面的插值算法，可以通过图像中相邻的多个像素内容计算待插入的像素内容，用于提高画面的分辨率。然而，由于进行叠加的图层中包括透明度信息，并且不同的图层往往设置有不同的透明度，因此进行内插算法时，相邻像素的内容会受到透明度影响，而使得绘制图案的边缘位置经过内插算法后，出现显示错误的问题。
74.如图6所示，以显示设备200的电子白板应用为例，电子白板的书写过程一般在gop层显示，书写后的画线在osd层显示，实际电子白板界面显示的是gop层和osd层的叠加。在叠加时，若存在图层分辨率不同的情况，一般会将低分辨率的图案通过内插法放大到高分辨率，然后再进行叠加。当gop2层（2k）要和osd层（4k）叠加时，需要先将gop2提高到4k的分辨率，此时需要对像素点做内插算法，若gop2的背景是透明的（即背景颜色为：0x00000000），在画线的边界处，会将画线颜色和透明颜色做内插算法。由于内插算法中透明颜色不起作用，使得插值后因由2k切换到4k，会出现锯齿问题，若考虑透明色的颜色值
000000，则变成画线颜色和透明黑色做内插算法，则在插值后会出现半透明黑色的情况，表现为画线的边界处有黑边的效果。
75.为了改善上述触控轨迹图案边缘显示错误的问题，本技术的部分实施例中提供一种多图层叠加方法，该多图层叠加方法可应用于显示设备200，为了实施所述多图层叠加方法，所述显示设备200包括显示器260、触控组件276和控制器250，其中所述触控组件276被配置为检测用户输入的触控轨迹，如图7、图8所示，所述多图层叠加方法包括以下步骤：获取第一图层中的触控轨迹图案，以及获取第二图层中的背景图案。
76.其中，第一图层用于展示触控轨迹图案，第二图层用于展示应用界面、应用菜单、工具栏等界面内容。因此，所述第二图层是位于所述第一图层下一层的图层。例如，第一图层为gop2层，第二图层为osd层。
77.用户可以通过应用启动界面点击应用图标启动相关应用。如果用户启动的应用为能够使用第一图层的应用，则可以在第二图层中显示应用界面。同时通过触控组件276实时检测用户输入的触控轨迹，并根据用户输入动作，将触控轨迹图案呈现在第一图层中。本技术实施例中，在第二图层中展示的内容不仅包括应用界面、应用菜单、工具栏等应用内容，而且包括一次触控动作结束后，同步至第二图层中的绘画内容，因此为了便于描述，将第二图层中显示的应用界面内容称为背景图案。
78.在获取第一图层中的触控轨迹图案和第二图层中的背景图案后，控制器250还可以根据背景图案，对触控轨迹图案执行内插算法，以将触控轨迹图案转化成分辨率等于背景图案分辨率的转换图案。
79.其中，内插算法用于改变触控轨迹图案的分辨率，根据所处理图像的效果要求不同，内插算法可以采用不同的形式，如，最邻近插值法、双线性插值法、双立方插值法、方向插值法等。以邻近插值法为例，当需要将一个2k图像变换为4k图像时，可以遍历2k图像中每个像素中的像素值，并计算相邻两个像素点像素值的平均值，以获得待插入的像素点对应的像素值。即，两个相邻像素点分别为（0，255，0）和（255，255，255）时，可以分别针对rgb通道中的数值进行计算，即r通道插入像素点值为（0 255）/2=128，g通道插入像素点值为（255 255）/2=255，b通道插入像素点值为（0 255）/2=128。
80.在执行内插算法时，可以分别从触控轨迹图案的边缘和背景图案相近位置中提取像素点图像数据，从而根据背景图案与触控轨迹图案中提取的像素点数据，计算插值像素点的图像数据。
81.例如，在获取触控轨迹图案后，可以对触控轨迹图案的颜色进行提取，获得图像数据（192，0，255，0），即用户手绘75%不透明度的纯绿色图形，同时在此时背景图案中进行颜色提取，获得背景图案的图像数据（255，255，255，255），即背景图案为纯白界面。因此，可以按照上述提取的图像数据，计算插值像素点数据为，透明度通道数值维持为192（即75%不透明度），r通道插入像素点值为（0 255）/2=128，g通道插入像素点值为（255 255）/2=255，b通道插入像素点值为（0 255）/2=128，即内插像素点为（192，128，255，128），即在执行内插算法以增加分辨率时，在触控轨迹图案的边缘插入（192，128，255，128）的像素点。
82.叠加所述转换图案与所述背景图案，以控制所述显示器实时显示叠加结果。
83.在将触控轨迹图案执行内插运算后，控制器250还可以根据内插运算的结果和背景图案执行叠加，并将叠加结果事实显示在显示器260上。可见，在上述实施例中，由于在执
行内插运算的过程中，计算的插值像素数据由背景图案和触控轨迹图案确定，因此在将两个图层画面进行叠加时，不会在触控轨迹图案边缘出现黑边或锯齿，提高图层叠加过程的显示效果。
84.在上述实施例中，对触控轨迹图案执行内插运算时需要分别从第一图层和第二图层中提取图案数据，而对于第一图层中所呈现的画面，由于其图案是由用户的触控输入生成，因此对第一图层中图案的提取，可以直接从用户的触控操作中获得。即在一些实施例中，获取第一图层中的触控轨迹图案的步骤还包括：实时接收用户输入的触控轨迹；并响应于触控轨迹，提取前景颜色；再按照前景颜色，在第一图层中呈现触控轨迹，以生成触控轨迹图案。
85.在显示设备200启动运行演示白板应用等应用后，用户可以通过触控动作输入触控轨迹，触控组件276将触控轨迹检测后，可以发送给控制器250，以使控制器250响应于该触控轨迹，提取前景颜色。
86.本技术实施例中，前景颜色即用户在绘画演示过程中，所选择的画笔颜色。例如，用户可以在演示白板应用界面的工具栏窗口中，选择画笔形状，并设置前景色为绿色。则用户在后续输入滑动触控操作后，可以在白板界面中形成绿色的触控轨迹。因此，为了获取触控轨迹图案对应的像素点数据，控制器250可以直接提取前景色，并按照前景色在第一图层中呈现触控轨迹，以生成触控轨迹图案。
87.在生成触控轨迹图案的同时，控制器250还可以将提取的前景色进行保留，以作为触控轨迹图案对应的像素点数据。即在执行内插算法时，可以直接通过前景色数据与第二图层中提取的背景色数据进行插值计算。
88.例如，可以在显示设备200的演示白板程序中设置一个透明取色器，将gop层背景部分颜色设置为透明取色器的颜色，使得画线的颜色和透明取色器的颜色内插后不会出现边界线的情况。
89.针对画笔颜色或透明层中的界面颜色单一的情况，透明取色去选取画笔颜色或界面颜色，并设置为全透明，这样画线或界面与透明层的边界处的颜色是内插的半透明的画笔颜色的值，边界不会有明显的黑色或其他边界色。
90.然而在部分演示或绘画过程中，用户所使用的画笔可能不是一种固定的颜色，即画笔可以为包括多种颜色彩色笔，这种彩色笔会随着触控轨迹的延伸，呈现为多种颜色组合的形式。当用户使用这种彩色笔进行绘画时，控制器250再通过前景色作为触控轨迹图案的像素点数据时，将造成提取的像素点数据与实际触控轨迹图案不符，影响内插算法的计算结果。为此，在一些实施例中，根据所述背景图案，对所述触控轨迹图案执行内插运算的步骤还包括：先提取触控轨迹图案的边界颜色和边界位置；再从第二图层中，提取边界位置关联区域中的背景颜色，以根据边界颜色和背景颜色求解插值结果，对触控轨迹图案执行内插运算。
91.控制器250可以在第一图层呈现触控轨迹图案的过程中，通过执行图像分析程序，对触控轨迹图案的边界进行提取，并获得边界颜色以及边界像素点所在的位置。其中，图像边界可以通过遍历图像中的全部像素点，并确定相邻两个像素点之间的色值差距，当差距较大时，确定这两个相邻像素点所处的位置为触控轨迹图案的边界。而由于第一图层在最顶层显示，为了叠加显示，第一图层上不是触控轨迹图案的像素点对应不透明度为0%，因此
可以根据不透明度确定触控轨迹图案的边界。
92.在获取边界颜色和边界位置后，控制器250还可以在第二图层中提取背景颜色。如果第二图层中的背景图案为纯色背景时，则背景颜色可以从背景图案中的任一像素点进行提取；如果第二图层中的背景图案不是纯色背景时，则需要按照边界位置，在第二图层中进行查找，确定边界位置对应在背景图案位置上的像素点的颜色为背景颜色。
93.显然，触控动作轨迹图案边界是由多个像素点构成的二维数组，因此在背景图案中提取的背景颜色也是由多个像素点构成的二维数组。控制器250再根据边界颜色和背景颜色求解插值结果，从而将触控轨迹图案转化为较高分辨率的转换图案，以便进行多图层间的叠加运算。
94.例如，针对彩色画线，画线中的颜色是不固定的，透明取色器若选取其中的一种颜色，则在边界处仍然会出现颜色不同的情况。针对此种情况，透明取色器可以选择选取osd层的颜色。因提高分辨率后最终会叠加到一起，因此选取要叠加的下一层的颜色，若背景颜色是单一颜色，则透明取色器的颜色选取的是单一颜色的全透明值；若背景色是非单一透明颜色，则透明取色器是一二维数组。针对gop层中要展示内容的区域，获取该区域在osd层的对应位置的颜色数组，然后对颜色数组中的颜色取其全透明值作为透明取色器颜色。
95.采用此透明取色器作为要展示内容的背景，进行叠加时，因透明取色器中的颜色是要叠加的边界区域下一层的颜色值，此时内插后边界颜色是要叠加的颜色的半透明值，所以叠加后不会存在边界线或边界颜色异常的情况。
96.根据上述实施例提供的技术方案可知，通过对触控轨迹图案的边界颜色和边界位置，可以直接确定位于边界位置的像素点，同时确定边界像素点相关联的背景颜色，适应第一图层中触控轨迹的颜色变化以及第二图层中背景图案中的颜色变化，从而在对触控轨迹图案边界进行内插运算时，可以获得与两个图层颜色相适应的插值结果，以便提高边界区域的图像质量。
97.由于在实际应用中，内插算法是在多个图层之间具有不同分辨率时才执行的运算，而在图层间分辨率相同时，则可以无需对触控轨迹图案执行内插算法处理，即在一些实施例中，根据所述背景图案，对所述触控轨迹图案执行内插运算的步骤还包括：检测触控轨迹图案和背景图案的分辨率；再根据检测结果执行不同的程序步骤，如果触控轨迹图案的分辨率小于背景图案的分辨率，执行提取触控轨迹图案的边界颜色和边界位置的步骤；如果触控轨迹图案的分辨率等于背景图案的分辨率，对触控轨迹图案和背景图案执行叠加。
98.触控轨迹图案和背景图案的分辨率可以通过显示设备200的显示器260所支持的屏幕分辨率或者当前运行的应用程序所支持的分辨率获取。在检测到触控轨迹图案和背景图案的分辨率后，可以对两个图层的分辨率进行对比，并根据对比结果确定叠加方式。
99.当触控轨迹图案的分辨率小于背景图案的分辨率，即第一图层中所显示内容的分辨率小于第二图层中所显示内容的分辨率，此时，需要增加分辨率较小的图案，即对触控轨迹图案执行内插算法，即执行提取所述触控轨迹图案的边界颜色和边界位置的步骤。
100.显然，在执行内插算法时，还需要根据背景图案的分辨率，确定内插算法中插入的像素点数量。例如，gop层为2k分辨率，osd层为4k分辨率，则需要在gop层中的触控轨迹图案中插入一倍数量的像素点，从而使触控轨迹图案也转化为4k图案。
101.当触控轨迹图案的分辨率等于背景图案的分辨率，即第一图层和第二图层中的图
案分辨率相同，此时可以无需对触控轨迹图案进行内插处理，直接对触控轨迹图案和背景图案执行叠加处理。
102.显示设备200对于不同类型的应用程序界面，还可以通过多个图层叠加进行显示，即除第一图层、第二图层外，还需要叠加诸如video层等第三图层。例如，如图9所示，在显示设备200通过video层显示外接信号内容的同时，通过osd层显示程序界面，同时通过gop层完成演示功能。此时，不仅第一图层具有透明度设置，第二图层也具有透明度设置。使得在控制器250在第二图层中提取背景图案时，可能提取到透明区域，进而影响内插算法结果和叠加结果。
103.因此，在一些实施例中，显示特定外接信号中的内容根据所述背景图案，对所述触控轨迹图案执行内插运算的步骤还包括：检测背景图案的透明度，根据检测的结果，如果背景图案的透明度为全透明或半透明，获取第三图层中的底层图案，再对背景图案与底层图案执行叠加；从而在第二图层中呈现经叠加后的背景图案。
104.为了缓解第二图层中透明区域对内插算法结果的影响，在执行内插算法前，还可以先对背景图案的透明度进行检测，以确定第二图层中的背景图案是否为全透明或半透明类型的图案。具体检测过程可以通过遍历背景图案中各像素点中的不透明度值，如果背景图案中存在不透明度值为0的像素点或者区域，或者不透明度值为0的像素点占全部像素点数量的比例大于设定值，则确定背景图案的透明度为全透明或半透明。
105.当背景图案为全透明或半透明图案时，则确定内插算法因第二图层中的透明图案产生影响，而部分或全部出现边界缺陷。此时，可以对第二图层和第三图层先进行叠加，在对第一图层中的图案进行内插运算。其中，所述第三图层是位于所述第二图层下一层的图层。例如，在检测到osd层显示的图案为透明或半透明图案时，可以对video层显示的底层图案进行提取，并将底层图案和第二图层中的背景图案进行叠加处理，消除第二层的背景图案中透明区域的影响，使后续在第二图层提取背景颜色时不会提取到透明色，保证触控轨迹边界的显示效果。
106.同理，对于多个图层情况，还可以在对触控轨迹图案执行内插算法前，对第二图层和第三图层的分辨率进行检测，从而将分辨率调整一致后，再进行叠加。即，对所述背景图案与所述底层图案执行叠加的步骤中还可以检测背景图案和底层图案的分辨率，如果背景图案的分辨率小于底层图案的分辨率，在第三图层中提取底层颜色，根据底层颜色对背景图案执行内插算法；对内插算法处理后的背景图案与底层图案执行叠加。
107.例如，如图10所示，通过检测背景图案和底层图案的分辨率，确定osd层中背景图案的分辨率为2k，而video层中底层图案的分辨率为4k，则可以在video层中提取底层颜色，具体的提取方法，与上述第一图层在叠加时所使用的提取方法相同，并根据提取的底层颜色，对背景图案执行内插算法，以获得4k分辨率的背景图案。再对内插算法处理后的高分辨率背景图案与底层图案进行叠加，获得最终显示在osd图层中的图案。
108.需要说明的是，由于第三图层作为底层可以用于显示外接信号的画面内容，显示设备200可能无法直接获取到底层图案，因此在提取底层图案中的颜色时，可以先对video层进行截取，获得截图后，再从截图图像中提取底层颜色。
109.可见，在上述实施例中，可以在对第一图层中的图像进行内插算法和叠加显示前，先对第二图层中的背景图案进行处理，使第二图层中显示的背景图案始终能够被提取到有
效的背景颜色，以便在对第一图层执行内插算法时，能够对触控轨迹图案边界进行合理的插值处理，缓解边界显示缺陷。
110.基于上述实施例，在实际图层叠加过程中，可以获得如下效果：例如，若osd层是全屏非透明的，则叠加后，osd层会完全遮盖video层。用户看上去显示的是osd层和gop2层中的内容。若osd层存在透明度，则叠加的效果是gop2层、osd层和video层三层的效果。
111.如图11所示，针对osd层是透明或半透明的情况，控制器250可以将osd层和video层进行叠加，若osd层分辨率和video层分辨率不同，则提高低分辨率的层级，即将2k分辨率的osd层图案，通过内插法提高到4k。
112.如果osd层的背景是半透明的，在内插时将需要使用透明选择器选择要叠加的video层的颜色和半透明对应颜色进行透明度颜色叠加；如果osd层的背景是透明的，在内插时透明选色器需要选择video层颜色。将osd层和video层叠加后再去gop2层进行叠加。由于gop2层的背景是透明的，可以更新透明选色器的颜色为osd层和video层叠加后的颜色，并将分辨率提高到4k后然后再进行叠加。
113.另外，通道下的批注功能是一种osd层是2k透明层的情况，批注一般是针对video层是静态显示的画面，在叠加显示时，先获取video层截图，透明选色器选择截图的二维数组颜色，透明osd层进行内插时以此透明选色器颜色为背景进行内插，然后更新透明选色器的颜色为osd和video层叠加后的颜色，gop2层叠加时以更新后的透明选色器为背景进行叠加，获取gop2层、osd和video的叠加。
114.由于第一图层常用于显示临时绘制图案，即用户在绘画过程中，显示设备200通过第一图层展示绘画内容，而用户的绘画内容常以点、线等几何图形组成，而绘画内容所对应的边界区域较小，因此控制器250无需对整个背景图案中的颜色进行提取，只需要在特定区域内提取背景颜色即可满足内插算法要求。即在一些实施例中，对所述触控轨迹图案执行内插运算的步骤还包括：遍历触控轨迹中的特征点；根据特征点位置在第二图层中划定取色区域；提取取色区域中的像素值和透明度值，以获取背景图案。
115.随着用户的绘画过程，可以在触控轨迹中产生多个特征点。控制器250可以根据用户触控轨迹定位一个或多个特征点，这些特征点可以单点，也可以是触控轨迹中的划线点，可以根据用户输入的具有触控轨迹形状确定。
116.在定位特征点以后，还可以按照特征点位置在背景图案中划定取色区域。取色区域的划分方式可以根据特征点类型、特征点之间的距离以及具体的内插运算方法划定，例如，取色区域可以是包含预设像素点数量的矩形区域。显然，取色区域要能够覆盖触控轨迹图案的边界。
117.控制器250再从划定的取色区域中选取各像素点的颜色值和透明度值，以获取背景图案。即在本实施例中，背景图案可以仅为第二图层中位于取色区域内的图案，相对于整个第二图层中显示的图案，划定的取色区域面积较小，可以减少内插运算过程中的数据处理量。
118.例如，电子白板的书写过程是不断连接画线点形成画线的过程，因此在书写的过程中只显示被画线部分覆盖的区域，即每连接两个画线点，只添加上一画线点和当前画线点区域，因此画线过程中只绘制连接画线点的矩形区域，即可将画线过程叠加osd层的取色区域显示出来。因此在叠加时取色器获取的颜色区域是覆盖画线的矩形框集合。以通过获
取局部区域的方法可以减少计算量，提高书写速度。
119.由于在每个单次触控动作结束后，第一图层中的触控轨迹图案会同步到第二图层，这将造成第二图层中的背景图案发生变化，因此在本技术的部分实施例中，叠加所述转换图案与所述背景图案的步骤还包括：在用户输入的触控轨迹中检测结束点；如果所述触控轨迹包含所述结束点，将所述触控轨迹图案添加至所述第二图层；更新所述第二图层中的背景图案。
120.控制器250可以在用户输入触控轨迹过程中，实时检测触控轨迹的结束点。通常，对于用户的绘画动作，当用户输入的触控轨迹出现断点时，即代表用户结束一个单次绘画动作，因此控制器250可以通过检测触控轨迹的断点检测结束点。在检测到触控轨迹中包含结束点时，则判断此时用户完成了一次绘画动作，需要将触控轨迹图案添加至第二图层，以更新第二图层中的背景图案。
121.例如，电子画板的书写过程在gop2层展示，而书写后的画线在osd层显示，gop2层插值时取色器要选取osd层的颜色作为背景，随着画线的增加，osd层的界面不断变化，所以在每次画线结束后要重新刷新取色器，以保证下一次画线时的透明背景色与画线时是一样的。同样，在书写板中擦除时，板擦及擦除路径在gop2层显示，擦除结束后也要重新刷新osd层，以保证在下一次书写或擦除时，取色器获取的是最新的osd层的背景。
122.又例如，电子白板的擦除过程是不断替换背景元素和绘制板擦的过程，在gop2层显示板擦经过路径的背景还有板擦，因gop2层背景是透明的，所以在从2k到4k的内插时，会出现背景和透明衔接的边界处有黑色边线的情况。除了采用上述示例中提供的透明取色器选取下一层的颜色数组的方法，也可以采用透明取色器选取部分区域颜色的方法。即针对板擦擦除的情况，选取板擦区域边框范围大16个像素的范围，透明取色器只选取这一部分在下一图层的对应区域的颜色，作为透明取色器数组范围，同样可减少计算量，提高擦除速度。
123.进一步地，在第二图层显示的应用界面中，还可以能包括一些置顶显示的内容。例如在进行绘画操作时，部分工具栏需要在一次绘画动作结束后，在触控轨迹之上进行显示，以便用户在后续作画动作中进行点击。为了实现这一效果，如图12所示，在一些实施例中，更新所述第二图层中的背景图案的步骤还包括：遍历所述触控轨迹，以在所述背景图案中提取被所述触控轨迹覆盖的图案内容；如果所述图案内容为置顶显示的内容，在所述触控轨迹的上一层显示所述图案内容。
124.例如，工具栏位置是一个特殊的情况，在书写过程中需判定书写画线是否在工具栏位置，若书写在工具栏范围内则每次绘制都要重新刷新工具栏位置，以保证工具栏显示和画线显示的实时刷新。
125.由以上技术方案可知，上述实施例提供的多图层叠加方法，可以配置在显示设备的控制器中，用于在用户输入触控轨迹时，通过多图层叠加方式，实时显示触控轨迹图案。所述方法可以根据背景图案对触控轨迹图案执行内插运算，可以缓解第一图层透明度对触控轨迹图案边缘插值算法结果产生的影响，缓解触控轨迹图案叠加时出现锯齿或黑边的问题，提高实时显示效果。
126.基于上述实施例提供的多图层叠加方法，在本技术的部分实施例中还提供一种显示设备200，包括：显示器260、触控组件276和控制器250。其中，所述显示器260被配置为显
示用户界面，触控组件276被配置为检测用户输入的触控轨迹，控制器250被配置为执行以下程序步骤：获取第一图层中的触控轨迹图案，以及获取第二图层中的背景图案，所述第二图层是位于所述第一图层下一层的图层；根据所述背景图案，对所述触控轨迹图案执行内插运算，以生成转换图案，所述转换图案的分辨率等于所述背景图案的分辨率；叠加所述转换图案与所述背景图案，以控制所述显示器实时显示叠加结果。
127.由以上技术方案可知，上述实施例提供的显示设备200可以在获取触控轨迹图案后，还可以根据第二图层中的背景图案对第一图层中的触控轨迹图案执行内插运算，提高触控轨迹图案的分辨率，最后将内插运算后的转换图案与背景图案进行叠加，并实时通过显示器进行显示。所述显示设备可以根据背景图案对触控轨迹图案执行内插运算，可以缓解第一图层透明度对触控轨迹图案边缘插值算法结果产生的影响，缓解触控轨迹图案叠加时出现锯齿或黑边的问题，提高实时显示效果。
128.上述显示设备200可以实时呈现叠加效果，以提高显示质量。为了呈现最终的显示效果，在本技术的部分实施例中还提供一种多图层叠加方法，该多图层叠加方法可应用于显示设备200，所述多图层叠加方法包括以下步骤：首先，控制显示器260显示绘制界面，所述绘制界面包括第一图层和位于第一图层下一层的第二图层。其次，控制器250可响应于用户的触控动作，在第一图层显示转换图案，以及在第二图层显示背景图案。其中，所述转换图案为对触控轨迹图案执行内插运算生成的分辨率等于背景图案的分辨率的图案。最后，控制器250可控制显示器260实时显示由转换图案与所述背景图案叠加获得的叠加图案。
129.可见，上述多图层叠加方法可以在用户执行演示动作过程中，控制显示器显示绘制界面，并通过绘制界面的第一图层和第二图层分别显示转换图案和背景图案，并实时将第一图层和第二图层中的图案进行叠加显示，以缓解第一图层透明度对触控轨迹图案边缘插值算法结果产生的影响，解决触控轨迹图案叠加时出现锯齿或黑边的问题，提高实时显示效果。
130.本技术提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本技术总的构思下的几个示例，并不构成本技术保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本技术方案所扩展出的任何其他实施方式都属于本技术的保护范围。