一种显示控制方法、芯片、电子设备及可读存储介质与流程

1.本技术涉及终端领域，尤其涉及一种显示控制方法、芯片、电子设备及计算机可读存储介质。


背景技术：

2.随着消费电子产品的不断发展，平板电脑可以支持作为个人电脑(personal computer，pc)的第二个显示器使用，pc上展示显示的内容可以投屏至平板电脑上进行显示。当将pc上展示内容显示在平板电脑上时，用户可以使用pc的鼠标、键盘对平板电脑进行操控。对于一些使用场景，例如绘图、书写等场景，pc上展示的绘图软件的绘图界面显示在平板电脑上，用户可以在平板电脑上使用手写笔进行绘画操作，用户的绘画操作可以加载至绘图软件，绘图软件响应用户的绘画操作更新绘图界面，平板电脑侧与pc侧均可以显示更新的绘图界面，进而实现在平板电脑上使用手写笔来替代pc侧的键盘/鼠标进行绘画操作，用户的使用体验更佳。
3.相比于鼠标、键盘，用户使用手写笔进行书写/绘画等操作时，更易感知到时延的存在，例如在平板电脑上使用手写笔画一条横线，可能需要较长时间平板电脑才会显示出该横线。现有的平板电脑、pc的协同控制方案(在pc侧操控平板电脑或在平板电脑侧操控pc)的时延一般较长，用户感知延迟较明显，绘画、书写场景体验较差。


技术实现要素：

4.有鉴于此，有必要提供一种显示控制方法、芯片、电子设备及计算机可读存储介质，其可降低反向控制的时延，提升用户使用体验。
5.本技术实施例第一方面公开了一种显示控制方法，应用于第一电子设备与第二电子设备，第二电子设备所显示的屏幕图像投屏至第一电子设备进行显示，显示控制方法包括：第一电子设备响应于手写笔的第一操作，发送与第一操作关联的第一信息至第二电子设备；当第二电子设备接收到第一信息时，第二电子设备获取与第一信息对应的图像帧；第二电子设备基于图像帧及图像帧的上一图像帧生成第一图像；第二电子设备将第一图像传送至第一电子设备进行显示。
6.通过采用该技术方案，第二电子设备可以基于图像变化信息生成第一图像并传送至第一电子设备进行显示，可以实现降低用户在第一电子设备使用手写笔控制第二电子设备的时延，提升用户使用体验。
7.在一种可能的实现方式中，第一信息包括与第一操作关联的操作位置信息及图像帧信息。
8.在一种可能的实现方式中，基于图像帧及图像帧的上一图像帧生成第一图像，包括：第二电子设备获取图像帧相对于上一图像帧的图像变化信息；第二电子设备基于图像变化信息得到图像变化区；第二电子设备对图像变化区进行编码得到第一图像。
9.通过采用该技术方案，第二电子设备可以实现基于获取到的图像变化信息确定图
像变化区，再对图像变化区进行编码得到第一图像，实现局部刷新图像帧，降低用户使用手写笔反向控制的时延。
10.在一种可能的实现方式中，对图像变化区进行编码得到第一图像，包括：第二电子设备计算图像变化区的面积；若图像变化区的面积小于或等于第一预设面积，第二电子设备对图像变化区进行编码得到第一图像。
11.通过采用该技术方案，可以实现在图像变化区较小的情形下，不对整个屏幕图像进行处理，只抓取变化区进行编码，降低用户使用手写笔反向控制的时延，提升用户使用体验。
12.在一种可能的实现方式中，计算图像变化区的面积，包括：第二电子设备基于图像变化信息得到至少一个图像差异；第二电子设备将每个图像差异所在的局部区域定义为图像变化子区，其中局部区域为最小能框住所述图像差异的方框区域；第二电子设备获取每个图像变化子区的角点坐标，并基于角点坐标计算得到每个图像变化子区的面积；第二电子设备基于每个图像变化子区的面积汇总得到图像变化区的面积。
13.通过采用该技术方案，第二电子设备将最小能框住图像差异的方框区域定义为图像变化子区，并通过汇总每个图像变化子区的面积实现计算得到图像变化区的面积。
14.在一种可能的实现方式中，显示控制方法还包括：若图像变化区的面积大于第一预设面积，第二电子设备对多个图像变化子区执行合并操作；第二电子设备基于合并操作后的图像变化子区重新计算得到图像变化区的面积；若重新计算得到的图像变化区的面积小于或等于第一预设面积，第二电子设备对图像变化区进行编码得到第一图像。
15.通过采用该技术方案，当图像变化区的面积大于第一预设面积，第二电子设备尝试对个图像变化子区执行合并操作，并基于合并后的图像变化子区重新计算得到图像变化区的面积，以确定是否可以采用局部刷新方式进行图像编码。
16.在一种可能的实现方式中，对多个图像变化子区执行合并操作，包括：第二电子设备对多个图像变化子区进行二值化处理，得到与多个图像变化子区对应的图像灰度值；若多个图像变化子区存在两个图像变化子区的图像灰度值之间的差值小于预设差值，第二电子设备忽略统计两个图像变化子区中的一图像变化子区的面积。
17.通过采用该技术方案，第二电子设备对多个图像变化子区进行二值化处理，并在两个图像变化子区的图像灰度值之间的差值小于预设差值，忽略统计两个图像变化子区中任意一图像变化子区的面积，以重新计算图像变化区的面积，确定是否可以采用局部刷新方式进行图像编码。
18.在一种可能的实现方式中，对多个图像变化子区执行合并操作，包括：第二电子设备从多个图像变化子区中的选取两个图像变化子区；第二电子设备计算使用最小能框住所选取的两个图像变化子区的图形区域的面积；若图形区域的面积小于或等于第二预设面积，第二电子设备将图形区域定义为对所选取的两个图像变化子区执行合并操作得到的区域。
19.通过采用该技术方案，若最小能框住所选取的两个图像变化子区的图形区域小于或等于第二预设面积，第二电子设备将图形区域定义为对所选取的两个图像变化子区执行合并操作得到的区域，以重新计算图像变化区的面积，确定是否可以采用局部刷新方式进行图像编码。
20.在一种可能的实现方式中，第一图像包括与多个图像变化子区对应的多个子图像及每个子图像的时间戳、位置信息、尺寸信息，将第一图像传送至第一电子设备进行显示，包括：第一电子设备在接收到第一图像时，新增与第一图像对应的图层；第一电子设备基于位置信息及尺寸信息将多个子图像添加至图层；第一电子设备基于图层的时间戳顺序，对多个图层进行合并贴图显示，其中图层的时间戳对应于图层所添加的子图像的时间戳。
21.通过采用该技术方案，第一电子设备可以对接收的第一图像进行不断的合并贴图显示，使得图像显示效果随着用户的手写笔操作而变化。
22.在一种可能的实现方式中，显示控制方法还包括：第一电子设备将多个图层的时间戳与第一电子设备当前所显示图层的时间戳进行比对，并过滤掉时间戳晚于当前所显示图层的时间戳的图层。
23.通过采用该技术方案，可以避免第一电子设备显示时间戳晚于当前所显示图层的时间戳的图层，实现按照图层的先后顺序进行显示。
24.在一种可能的实现方式中，基于第一信息生成第一图像，包括：当第二电子设备接收到第一信息时，第二电子设备基于第一信息模拟执行第一操作，生成第一图像。
25.通过采用该技术方案，可以实现对于特定书写场景，第二电子设备直接基于第一信息模拟执行第一操作，生成第一图像，可进一步降低反向控制时延。
26.在一种可能的实现方式中，显示控制方法还包括：若重新计算得到的图像变化区的面积大于第一预设面积，第二电子设备基于第一信息对所述屏幕图像进行全局刷新。
27.通过采用该技术方案，若图像变化区较大，此时采用局部刷新效率低于全局刷新效率的场景，直接采用全局刷新屏幕图像。
28.本技术实施例第二方面公开了一种显示控制方法，应用于第二电子设备，第二电子设备所显示的屏幕图像投屏至第一电子设备进行显示，显示控制方法包括：接收第一电子设备发送的第一信息，其中第一信息与手写笔的第一操作相关联；获取与第一信息对应的图像帧；基于图像帧及图像帧的上一图像帧生成所述第一图像；将第一图像传送至第一电子设备进行显示。
29.通过采用该技术方案，第二电子设备可以基于图像变化信息生成第一图像并传送至第一电子设备进行显示，可以实现降低用户在第一电子设备上使用手写笔控制第二电子设备的时延，提升用户使用体验。
30.在一种可能的实现方式中，第一信息包括与第一操作关联的操作位置信息及图像帧信息，基于所述图像帧及图像帧的上一图像帧生成第一图像，包括：获取图像帧相对于上一图像帧的图像变化信息；基于图像变化信息得到图像变化区；对图像变化区进行编码得到第一图像。
31.通过采用该技术方案，第二电子设备可以实现基于获取到的图像变化信息确定图像变化区，再对图像变化区进行编码得到第一图像，实现局部刷新图像帧，降低用户使用手写笔反向控制的时延。
32.在一种可能的实现方式中，对图像变化区进行编码得到第一图像，包括：计算图像变化区的面积；若图像变化区的面积小于或等于第一预设面积，对图像变化区进行编码得到第一图像。
33.通过采用该技术方案，可以实现在图像变化区较小的情形下，不对整个屏幕图像
进行处理，只抓取变化区进行编码，降低用户使用手写笔反向控制的时延，提升用户使用体验。
34.在一种可能的实现方式中，计算图像变化区的面积，包括：基于图像变化信息得到至少一个图像差异；将每个图像差异所在的局部区域定义为图像变化子区，其中局部区域为最小能框住所述图像差异的方框区域；获取每个图像变化子区的角点坐标，并基于角点坐标计算得到每个图像变化子区的面积；基于每个图像变化子区的面积汇总得到图像变化区的面积。
35.通过采用该技术方案，第二电子设备将最小能框住图像差异的方框区域定义为图像变化子区，并通过汇总每个图像变化子区的面积实现计算得到图像变化区的面积。
36.在一种可能的实现方式中，显示控制方法还包括：若图像变化区的面积大于第一预设面积，对多个图像变化子区执行合并操作；基于合并操作后的图像变化子区重新计算得到图像变化区的面积；若重新计算得到的图像变化区的面积小于或等于第一预设面积，对图像变化区进行编码得到第一图像。
37.通过采用该技术方案，当图像变化区的面积大于第一预设面积，第二电子设备尝试对个图像变化子区执行合并操作，并基于合并后的图像变化子区重新计算得到图像变化区的面积，以确定是否可以采用局部刷新方式进行图像编码。
38.在一种可能的实现方式中，对多个图像变化子区执行合并操作，包括：对多个图像变化子区进行二值化处理，得到与多个图像变化子区对应的图像灰度值；若多个图像变化子区存在两个图像变化子区的图像灰度值之间的差值小于预设差值，忽略统计两个图像变化子区中的一图像变化子区的面积。
39.通过采用该技术方案，第二电子设备对多个图像变化子区进行二值化处理，并在两个图像变化子区的图像灰度值之间的差值小于预设差值，忽略统计两个图像变化子区中任意一图像变化子区的面积，以重新计算图像变化区的面积，确定是否可以采用局部刷新方式进行图像编码。
40.在一种可能的实现方式中，对多个图像变化子区执行合并操作，包括：从多个图像变化子区中的选取两个图像变化子区；计算使用最小能框住所选取的两个图像变化子区的图形区域的面积；若图形区域的面积小于或等于第二预设面积，将图形区域定义为对所选取的两个图像变化子区执行合并操作得到的区域。
41.通过采用该技术方案，若最小能框住所选取的两个图像变化子区的图形区域小于或等于第二预设面积，第二电子设备将图形区域定义为对所选取的两个图像变化子区执行合并操作得到的区域，以重新计算图像变化区的面积，确定是否可以采用局部刷新方式进行图像编码。
42.第三方面，本技术实施例提供一种显示控制方法，应用于第一电子设备，第二电子设备所显示的屏幕图像投屏至第一电子设备进行显示，显示控制方法包括：接收第二电子设备发送的第一图像，新增与第一图像对应的图层，其中第一图像包括与多个图像变化子区对应的多个子图像及每个子图像的时间戳、位置信息、尺寸信息；基于每个子图像的位置信息与尺寸信息将多个子图像添加至所述图层；基于图层的时间戳顺序，对多个图层进行合并贴图显示，其中图层的时间戳对应于图层所添加的子图像的时间戳。
43.通过采用该技术方案，第一电子设备可以对接收的第一图像进行不断的合并贴图
显示，使得图像显示效果随着用户的手写笔操作而变化。
44.在一种可能的实现方式中，显示控制方法还包括：将多个图层的时间戳与当前所显示图层的时间戳进行比对，并过滤掉时间戳晚于当前所显示图层的时间戳的图层。
45.通过采用该技术方案，可以避免第一电子设备显示时间戳晚于当前所显示图层的时间戳的图层，实现按照图层的先后顺序进行显示。
46.第四方面，本技术实施例提供一种计算机可读存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行如第二方面或第三方面所述的显示控制方法。
47.第五方面，本技术实施例提供一种电子设备，电子设备包括处理器和存储器，存储器用于存储指令，处理器用于调用存储器中的指令，使得电子设备执行如第二方面或第三方面所述的显示控制方法。
48.第六方面，本技术实施例提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如第二方面或第三方面所述的显示控制方法。
49.第七方面，提供一种装置，该装置具有实现上述第二方面或第三方面所提供的方法中的电子设备行为的功能。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。
50.可以理解地，上述提供的第四方面所述的计算机可读存储介质，第五方面所述的电子设备，第六方面所述的计算机程序产品，第七方面所述的装置均与上述第二方面或第三方面的方法对应，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
附图说明
51.图1为本技术一实施例提供的多设备协同交互的场景示意图；
52.图2为本技术一实施例提供的第一电子设备与第二电子设备的交互示意图；
53.图3为本技术一实施例提供的显示控制方法的流程示意图；
54.图4为图3的显示控制方法的一步骤流程的细分流程示意图；
55.图5为本技术一实施例提供的多个图像变化子区进行合并处理的示意图；
56.图6为本技术一实施例提供的多个图层进行合并贴图显示的示意图；
57.图7为本技术另一实施例提供的显示控制方法的流程示意图；
58.图8为本技术又一实施例提供的显示控制方法的流程示意图；
59.图9为本技术实施例提供的一种可能的第一电子设备的结构示意图；
60.图10为本技术实施例提供的一种可能的第二电子设备的结构示意图。
具体实施方式
61.需要说明的是，本技术中“至少一个”是指一个或者多个，“多个”是指两个或多于两个。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a，b可以是单数或者复数。本技术的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不是用于描述特定的顺序或先后次序。
62.为了便于理解，示例性的给出了部分与本技术实施例相关概念的说明以供参考。
63.个人电脑(personal computer，pc)可以通过通信网络与平板电脑连接。通信网络可以是有线网络，也可以是无线网络。例如，通信网络可以是局域网(local area networks，lan)，也可以是广域网(wide area networks，wan)，例如互联网。通信网络可使用任何已知的网络通信协议来实现，上述网络通信协议可以是各种有线或无线通信协议，诸如以太网、通用串行总线(universal serial bus，usb)、火线(firewire)、全球移动通讯系统(global system for mobile communications，gsm)、通用分组无线服务(general packet radio service，gprs)、码分多址接入(code divisionmultiple access，cdma)、宽带码分多址(wideband code division multiple access，wcdma)，时分码分多址(time-division code division multiple access，td-scdma)，长期演进(long term evolution，lte)、蓝牙、无线保真(wireless fidelity，wi-fi)、nfc、基于互联网协议的语音通话(voice over internet protocol，voip)、支持网络切片架构的通信协议或任何其他合适的通信协议。示例性地，在一些实施例中，pc可以通过wi-fi协议与平板电脑建立wi-fi连接。
64.pc可以作为源设备，平板电脑可以作为pc的目的设备。pc所显示的内容可以投屏至平板电脑上进行显示，例如pc端可以对其显示内容进行编码，编码得到的视频流发送给平板端，平板端对接收到的视频流进行解码与送显，实现镜像pc桌面。用户可以使用pc所连接的鼠标、键盘等外设对平板电脑进行操控，实现将平板电脑作为pc的第二个显示屏使用。
65.现有的在平板电脑上使用手写笔操控pc的事件的耗时包括三个部分：a1.平板电脑检测到用户在使用手写笔时，平板电脑接收手写笔的操作，将操作转化为手写笔事件发送给pc，pc接收到手写笔事件后，pc响应手写笔事件；a2.pc获取屏幕的第一区域图像(可以是整个屏幕区域图像或指定的屏幕区域图像)，对第一区域图像进行编码后传送至平板电脑；a3.平板电脑收到编码数据后，进行解码与送显(将解码出来的图像数据送至显卡，以驱动平板屏幕显示图像)。现有的在平板电脑上使用手写笔操控pc的事件耗时较长，用户感受到的操控延迟较明显，用户使用体验较差，在手写笔场景，若图像变化区域较小，现有方案仍对整个屏幕图像进行编码处理，导致耗时较长。
66.下面结合图1示例性的介绍本发明实施例提供的多电子设备协同交互的场景示意图。
67.第一电子设备100与第二电子设备200可以处于同一局域网下，第一电子设备100与第二电子设备200可以通过wi-fi建立通信连接，第一电子设备100包括第一显示屏1001，第二电子设备200包括第二显示屏2001，第二显示屏2001所显示的屏幕图像(整个屏幕图像或者屏幕的指定区域图像)可以投屏至第一显示屏1001进行显示，例如第一电子设备100可以镜像显示第二电子设备200所显示的画面，第二电子设备200上运行的某一应用程序app1的界面可以投屏至第一电子设备100上显示。
68.第一电子设备100可以为手机、平板电脑等手持设备。第二电子设备200可以是笔记本电脑、pc等设备。以下以第一电子设备100为平板电脑、第二电子设备200为笔记本电脑为例进行举例说明。
69.用户可以使用手写笔300在第一电子设备100上进行操作，例如用户使用手写笔300在第一显示屏1001上进行书写操作，或者用户使用手写笔300进行隔空操作。手写笔300
可以不与第一电子设备100进行通信连接，也可以与第一电子设备100建立无线通信连接，如手写笔300通过蓝牙或者wi-fi连接至第一电子设备100。
70.第一电子设备100检测到手写笔300的操作时，第一电子设备100可以响应该操作生成与该操作关联的操作事件，第一电子设备100发送与该操作关联的操作事件至第二电子设备200。
71.第二电子设备200在接收到操作事件时，第二电子设备200可以响应该操作事件，第二电子设备200获取图像变化信息，并基于图像变化信息确定图像变化区。若图像变化区的面积小于或等于第一预设面积，第二电子设备200采用局部刷新方式，对图像变化区进行编码，编码数据流发送至第一电子设备100进行显示。局部刷新方式可以是指对图像变化区进行刷新。若图像变化区的面积大于第一预设面积，对图像变化区进行合并处理，若合并处理后的图像变化区的面积仍然大于第一预设面积，第二电子设备200采用全局刷新方式，对屏幕的第一区域图像(可以是整个屏幕图像或屏幕的指定区域图像)进行编码，编码数据流发送至第一电子设备100进行显示。第一区域图像的面积可选大于图像变化区的面积。若合并处理后的图像变化区的面积小于或等于第一预设面积，第二电子设备200采用局部刷新方式，对图像变化区进行编码，编码数据流发送至第一电子设备100进行显示。第一预设面积可以根据实际需求进行设定，本技术对此不作限定。
72.在一些实施例中，第二电子设备200设置有一用于开启协同优化功能的图标，当协同优化功能被开启后，第二电子设备200可以基于图像变化区的面积确定是选用局部刷新方式还是全局刷新方式进行显示内容刷新。当协同优化功能未开启，第二电子设备200采用全局刷新方式进行显示内容刷新。
73.在一些实施例中，当第二电子设备200检测到网络时延大于预设时延，或者用户开启第二电子设备200上的协同优化功能时，第二电子设备200基于图像变化区的面积选择采用局部刷新方式或者全局刷新方式进行图像刷新。例如，设定预设时延为10ms或15ms。当第二电子设备200检测到网络时延不大于(小于)预设时延，或者第二电子设备200检测到协同优化功能未开启时，第二电子设备200使用全局刷新方式进行图像刷新，即第二电子设备200响应操作事件之后，屏幕的预设区域(例如，整个屏幕显示区域)进行编码。
74.下面结合图2示例性的介绍本发明实施例提供的第一电子设备100与第二电子设备200的交互示意图。
75.为便于下文描述，在下文的应用场景中，第二电子设备200预先安装有应用程序app1，应用程序app1可以根据实际需求进行选择，在此不作限定。例如，应用程序app1为绘图类应用程序。第一电子设备100与第二电子设备200处于同一局域网下，第二电子设备200上显示的应用程序app1投屏至第一显示屏100上进行显示。如图2所示，第一电子设备100与第二电子设备200进行交互的过程具体可包括：
76.20、第二电子设备200开启应用程序app1，第二电子设备200进入应用程序app1的界面，以使得用户可使用第二电子设备200的硬件模块(鼠标、键盘等)在应用程序app1上进行绘图。
77.21、第二电子设备200选定第一电子设备100作为目的设备，第二电子设备200与第一电子设备100通过wi-fi建立通信连接，第二电子设备200上的应用程序app1的界面投屏在第一电子设备100上显示。
78.在一些实施例中，交互过程21也可以设置在交互过程20之前，即第二电子设备200可以先选定第一电子设备100作为目的设备进行投屏，再开启应用程序app1。
79.在一些实施例中，以第一电子设备100与第二电子设备200通过wi-fi建立通信连接为例进行说明，第一电子设备100包括视频解码器(video decoder)，第二电子设备200包括图像帧捕捉器(capture frame)及视频编码器(video encoder)。图像帧捕捉器可以实时捕捉应用程序app1的图像，并传送至视频编码器进行编码，编码得到的视频流可以通过wi-fi通道传送至第一电子设备100。第一电子设备100可以通过wi-fi通道接收第二电子设备200发送的编码后的视频流，经由视频解码器解码后播放该视频流，从而使得第二电子设备200上的应用程序app1在第一电子设备100上显示。
80.22、第一电子设备100检测到手写笔300的第一操作，第一电子设备100响应手写笔300的第一操作生成与第一操作关联的第一信息。
81.在一些实施例中，以应用程序app1为绘图类应用程序为例，第一操作可以是指用户在第一电子设备100进行的绘图操作，第一电子设备100可以检测到该绘图操作。第一信息可以包括与第一操作关联的操作位置信息及图像帧信息。
82.23、第一电子设备100发送与第一操作关联的第一信息至第二电子设备100。
83.在一些实施例中，第一电子设备100可以通过wi-fi通道发送与第一操作关联的第一信息至第二电子设备100。
84.24、第二电子设备200根据第一信息获取图像变化信息。
85.在一些实施例中，图像变化信息可以是指当前图像帧和上一图像帧的图像差异信息。当安装在第二电子设备200上的应用程序app1接收到第一信息时，应用程序app1对第一信息进行处理，进而第二电子设备200可以通过预设应用程序接口(application programming interface，api)获取图像变化信息。
86.25、第二电子设备200基于图像变化信息得到图像变化区。
87.在一些实施例中，图像变化信息可以包括多处图像差异，第二电子设备200可以获取每处图像差异所在的局部区域，例如，第二电子设备200可以基于图像差异获得方框，方框所包含的区域定义为该处图像差异所在的局部区域，方框为能框住该图像差异且具有最小面积的矩形。图像变化区可以由多个局部区域组成。
88.26、当图像变化区的面积小于或等于第一预设面积时，第二电子设备200对图像变化区进行编码得到第一图像。
89.在一些实施例中，图像变化区为rgb格式，第二电子设备200可以对图像变化区进行jpeg格式编码，得到第一图像。
90.27、第二电子设备200将第一图像传送至第一电子设备100进行显示。
91.在一些实施例中，当图像变化区的面积大于第一预设面积时，第二电子设备200可以对图像变化区进行合并处理。若合并处理后的图像变化区的面积仍然大于第一预设面积，第二电子设备200采用全局刷新方式，对屏幕的第一区域图像(可以是整个屏幕图像或屏幕的指定区域图像，如指定区域图像为应用程序app1的显示界面)进行编码得到第一图像，并传送至第一电子设备100进行显示。若合并处理后的图像变化区的面积小于或等于第一预设面积，第二电子设备200可以仅对图像变化区进行编码得到第一图像。
92.28、第一电子设备100对第一图像进行解码与显示。
93.本技术可以在使用手写笔操作第一电子设备时，第二电子设备不对整个屏幕图像进行处理，可以仅对图像变化区进行编码并传送至第一电子设备进行显示，可以有效降低反向控制的时延，提升用户使用体验。
94.参照图3所示，本技术实施例提供的一种显示控制方法，应用于由第一电子100与第二电子设备。第一电子设备100与第二电子设备200处于同一局域网下，以下以第一电子设备100与第二电子设备200通过wi-fi建立通信连接为例进行说明，第二电子设备200上显示的应用程序app1可以投屏至第一电子设备100上进行显示。本实施例中，显示控制方法包括：
95.步骤30、响应于手写笔300的第一操作，第一电子设备100发送与第一操作关联的第一信息至第二电子设备200。
96.在一些实施例中，第一电子设备100包括第一显示屏1001，第二电子设备200包括第二显示屏2001，第一显示屏1001与第二显示屏2001均可以各自定义有一坐标系统。当用户使用手写笔300对第一电子设备100进行第一操作时，第一电子设备100可以检测到手写笔300在第一显示屏1001上的操作信息，例如操作信息包括第一操作所涉及的坐标点信息。第一信息可以包括与第一操作关联的操作位置信息及图像帧信息。
97.在一些实施例中，第一操作可以是指用户使用手写笔300直接在第一显示屏1001上进行书写，或者用户使用手写笔300隔空对第一显示屏1001上显示的内容进行操作。第一电子设备100可以通过wi-fi通道发送与第一操作关联的第一信息至第二电子设备200。
98.步骤31、当第二电子设备200接收到第一信息时，第二电子设备200获取与第一信息对应的图像帧。
99.步骤32、第二电子设备200基于图像帧及图像帧的上一图像帧生成第一图像。
100.在一些实施例中，当第二电子设备200接收到第一信息时，应用程序app1可以对第一信息进行处理，第二电子设备200可以抓取对第一信息进行响应之后的图像帧及该图像帧的上一图像帧，进而可以基于该图像帧及该图像帧的上一图像帧生成第一图像。
101.在一些实施例中，如图4所示，步骤32可以包括：
102.步骤320、第二电子设备200获取图像帧相对于上一图像帧的图像变化信息；
103.步骤321、第二电子设备200基于图像变化信息得到图像变化区；
104.步骤322、第二电子设备200计算图像变化区的面积；
105.步骤323、若图像变化区的面积小于或等于第一预设面积，第二电子设备200对图像变化区进行编码得到第一图像。
106.在一些实施例中，第二电子设备200可以通过预设api获取图像帧相对于上一图像帧的图像变化信息，图像变化信息可以包括该两帧图像的图像差异的位置、大小等信息。第二电子设备200可以基于图像变化信息得到图像变化区。例如，图像变化信息包括多处图像差异，第二电子设备200可以获取每处图像差异所在的局部区域，将每个图像差异所在的局部区域定义为一图像变化子区，图像变化区可以由多个图像变化子区组成，每个图像变化子区对应一处图像差异。例如，将面积最小的能框柱图像差异的方框区域定义为该处图像差异所在的局部区域，每个方框区域即为一个图像变化子区。
107.在一些实施例中，当确定图像变化区之后，第二电子设备200可以获取每个图像变化子区的角点坐标，基于角点坐标计算得到每个图像变化子区的面积。由于每个图像变化
子区均为方框区域，图像变化子区的角点坐标可以是指方框区域的四个角点的坐标。当得到四个角点的坐标时，第二电子设备200可以根据四个角点的坐标得到图像变化子区的长、宽，进而可以基于图像变化子区的长、宽计算得到图像变化子区的面积。当第二电子设备200计算得到每个图像变化子区的面积时，可以汇总每个图像变化子区的面积得到图像变化区的面积。
108.若图像变化区的面积小于或等于第一预设面积，第二电子设备200可以对图像变化区进行编码得到第一图像。例如，图像变化区为rgb格式，第二电子设备200可以对rgb格式的图像变化区进行jpeg格式编码得到第一图像。第一预设面积可以根据实际需求进行设定，本技术对此不作限定，如第一预设面积为三分之一的第二显示屏2001的面积。
109.若图像变化区的面积大于第一预设面积，第二电子设备200可以对多个图像变化子区执行合并操作，再基于合并操作后的图像变化子区重新计算得到图像变化区的面积。第二电子设备200对多个图像变化子区执行合并操作可以是指对多个图像变化子区进行过滤处理。例如，第二电子设备200采用opencv对多个图像变化子区进行二值化处理，得到与每个图像变化子区对应的图像灰度值。若多个图像变化子区存在两个图像灰度值之间的差值小于预设差值，表明该两个图像变化子区的图像差异较小，该两个图像变化子区的图像处理时间可以近似等于一个图像变化子区的图像处理时间，在重新计算图像变化区的面积时，第二电子设备200可以忽略统计该两个图像变化子区中的一图像变化子区的面积。若两个图像灰度值之间的差值不小于预设差值，则在计算图像变化区的面积时需统计该两个图像变化子区的面积。第二电子设备200也可以对多个图像变化子区中的任意两个图像变化子区进行二值化处理，得到与两个图像变化子区对应的两个图像灰度值，若两个图像灰度值之间的差值小于预设差值，第二电子设备200可以忽略统计该任意两个图像变化子区中的一图像变化子区的面积。预设差值可以根据实际需求进行设定，比如预设差值为30。
110.举例而言，图像灰度值为0～255范围之间，图像变化区包括四个图像变化子区ia1、ia2、ia3、ia4，第二电子设备200利用opencv对四个图像变化子区ia1～ia4进行二值化处理，得到与每个图像变化子区ia1～ia4对应的图像灰度值gv1～gv4。若图像灰度值gv1与图像灰度值gv2的差值小于30，图像灰度值gv3与图像灰度值gv4的差值小于30，第二电子设备200可以忽略统计图像变化子区ia1的面积(或者忽略统计图像变化子区ia2的面积)，忽略统计图像变化子区ia3的面积(或者忽略统计图像变化子区ia4的面积)。假设第二电子设备200对多个图像变化子区ia1～ia4执行过滤处理后，忽略统计两个图像变化子区ia1、ia3的面积，第二电子设备200可以根据图像变化子区ia2、ia4的面积重新计算得到图像变化区的面积。若重新计算得到的图像变化区的面积小于或等于第一预设面积，第二电子设备200可以对图像变化区ia1～ia4进行编码得到第一图像。若重新计算得到的图像变化区的面积仍然大于第一预设面积，表明进行局部刷新效率可能还不如全局刷新效率，第二电子设备200采用全局刷新方式，对屏幕的第一区域图像(可以是整个屏幕图像或屏幕的指定区域图像)进行编码得到第一图像。
111.在一些实施例中，若两组图像变化子区(一组包括两个图像变化子区)均满足图像灰度值之间的差值小于预设差值，且两组图像变化子区存在交集，第二电子设备200可以只保留交集的图像变化子区。例如，图像变化区包括四个图像变化子区ia1、ia2、ia3、ia4，图像灰度值gv1与图像灰度值gv2的差值小于30，图像灰度值gv2与图像灰度值gv3的差值小于
30，第二电子设备200可以忽略统计图像变化子区ia1、ia3的面积。
112.在一些实施例中，第二电子设备200对多个图像变化子区执行合并操还可以是指对多个图像变化子区进行合并处理。例如，第二电子设备200从多个图像变化子区中的选取两个图像变化子区，第二电子设备200计算使用最小能框住所选取的两个图像变化子区的图形区域的面积。若图形区域的面积小于或等于第二预设面积，第二电子设备200将该图形区域定义为对所选取的两个图像变化子区执行合并处理得到的区域。第二电子设备200可以重复上述合并处理，直至最小能框住所选取的两个图像变化子区的图形区域的面积均不小于第二预设面积。第二预设面积可以根据实际需求进行设定，本技术对此不作限定。
113.如图5所示，假设图像变化区包括四个图像变化子区ia1、ia2、ia3、ia4，图像变化子区ia1、ia2存在重合部分，第二电子设备200从多个图像变化子区ia1～ia4中任意选取两个图像变化子区ia1、ia2，并获取最小能框住所选取的两个图像变化子区ia1、ia2的方框b1的四个角点坐标，进而第二电子设备200可以计算得到方框b1的面积。若方框b1的面积小于第二预设面积，第二电子设备200将方框b1所涵盖的区域定义为对图像变化子区ia1、ia2执行合并处理得到的图像区域。此时，图像变化区变更为包括图像变化子区ia3、ia4及方框b1的区域。若方框b1的面积大于第二预设面积，第二电子设备200放弃对图像变化子区ia1、ia2执行合并处理。第二电子设备200可以采用上述合并处理方式再次对图像变化子区ia3、ia4及方框b1的区域尝试进行合并处理，例如，第二电子设备200获取最小能框住所选取的两个图像变化子区ia3、ia4的方框b2的四个角点坐标，且计算得到的方框b2的面积小于第二预设面积，第二电子设备200将方框b2所涵盖的区域定义为对图像变化子区ia3、ia4执行合并处理得到的图像区域。此时，图像变化区再次变更为包括方框b1的区域及方框b2的区域。第二电子设备200再次获取最小能框住方框b1的区域与方框b2的区域的方框b3的四个角点坐标，且计算得到的方框b3的面积大于第二预设面积，第二电子设备200放弃对方框b1的区域与方框b2的区域进行合并处理。即第二电子设备200对从多个图像变化子区ia1～ia4进行合并处理，得到方框b1的区域与方框b2的区域。第二电子设备200汇总方框b1的面积与方框b2的面积，重新得到图像变化区的面积。若重新得到的图像变化区的面积小于或等于第一预设面积，第二电子设备200可以对图像变化区ia1～ia4进行编码得到第一图像。若重新计算得到的图像变化区的面积仍然大于第一预设面积，第二电子设备200采用全局刷新方式，对屏幕的第一区域图像(可以是整个屏幕图像或屏幕的指定区域图像)进行编码得到第一图像。
114.在一些实施例中，第二电子设备200可以先对多个图像变化子区进行过滤处理，再对经过过滤处理得到的图像变化子区进行合并处理。第二电子设备200也可以先对多个图像变化子区进行合并处理，再对经过合并处理得到的图像变化子区进行过滤处理。
115.步骤33、第二电子设备200将第一图像传送至第一电子设备100进行显示。
116.在一些实施例中，第一图像可以包括多个子图像及与每个子图像关联的时间戳、位置信息、尺寸信息，每个子图像可以对应一图像变化区。第二电子设备200可以将与多个图像变化区对应的多个子图像及每个子图像的时间戳、位置信息、尺寸信息通过wi-fi通道传送至第一电子设备100。
117.假设，第二电子设备200基于图像帧in及图像帧in的上一图像帧i
n-1
生成第一图像im，图像帧in具有时间戳tn，图像帧i
n-1
具有时间戳t
n-1
，此时第一图像im所包括的多个子图
像的时间戳均为tn。若第二电子设备200基于图像帧i
n 1
及图像帧i
n 1
的上一图像帧in生成第一图像i
m 1
，图像帧i
n 1
具有时间戳t
n 1
，此时第一图像i
m 1
所包括的多个子图像的时间戳均为t
n 1
。若第二电子设备200基于图像帧i
n 2
及图像帧i
n 2
的上一图像帧i
n 1
生成第一图像i
m 2
，图像帧i
n 2
具有时间戳t
n 2
，此时第一图像i
m 2
所包括的多个子图像的时间戳均为t
n 2
。
118.第一电子设备100在接收到第一图像时，可以新增与第一图像对应的图层，第一电子设备100可以基于每个子图像的位置信息及面积信息将多个子图像添加至图层。第一电子设备100可以基于图层的时间戳先后顺序，对多个图层进行合并贴图显示，其中图层的时间戳对应于该图层所添加的子图像的时间戳。
119.举例而言，第一电子设备100在接收到第一图像im时，可以新增与第一图像im对应的图层lm，图层lm的时间戳为tn，第一电子设备100可以将与第一图像im对应的多个子图像添加至图层lm。第一电子设备100在接收到第一图像i
m 1
时，可以新增与第一图像i
m 1
对应的图层l
m 1
，图层l
m 1
的时间戳为t
n 1
，第一电子设备100可以将与第一图像i
m 1
对应的多个子图像添加至图层l
m 1
。第一电子设备100在接收到第一图像i
m 2
时，可以新增与第一图像i
m 2
对应的图层l
m 2
，图层l
m 2
的时间戳为t
n 2
，第一电子设备100可以将与第一图像i
m 2
对应的多个子图像添加至图层l
m 2
。第一电子设备100可以基于多个图层lm～l
m 2
的时间戳先后顺序，对多个图层lm～l
m 2
进行合并贴图显示。例如，第一电子设备100使用surfaceflinger对多个图层lm～l
m 2
进行合并贴图显示。
120.如图6所示，第一电子设备100基于3个图层lm～l
m 2
的时间戳先后顺序，对3个图层lm～l
m 2
进行合并贴图显示。
121.在一些实施例中，第一电子设备100在对多个图层进行合并贴图显示过程中，可以只对时间戳位于当前所显示图层之后的图层进行合并贴图显示，时间戳早于当前所显示图层的图层不进行显示。第一电子设备100可以将多个图层的时间戳与第一电子设备100当前所显示图层的时间戳进行比对，以过滤时间戳晚于当前所显示图层的时间戳的图层。
122.在一些实施例中，第二电子设备200还包括极简刷新方式，第二电子设备200还可以设置有一用于开启极简刷新功能的图标，当极简刷新功能被开启后，第二电子设备200可以采用极简刷新方式进行显示内容刷新。当极简刷新功能未开启，第二电子设备200采用全局刷新方式进行显示内容刷新。第二电子设备200也可以在检测到当前手写笔使用场景为白板书写场景时，采用极简刷新方式进行显示内容刷新。白板书写场景可以是指采用白底的黑线条、线宽固定、无需调用其他工具的绘图/书写场景，第二电子设备200在接收到第一电子设备100发送的第一信息时，第一信息可以包括线条颜色、线宽等信息，第二电子设备200可以基于第一信息模拟执行第一操作，生成第一图像，可以进一步降低第一电子设备100反向控制第二电子设备200的时延。第二电子设备200无需进行抓屏获取当前图像帧和上一图像帧的图像差异。
123.参照图7所示，本技术实施例提供的一种显示控制方法，应用于第二电子设备200中，第一电子设备100与第二电子设备200处于同一局域网下，第二电子设备200上显示的应用程序app1投屏至第一电子设备100进行显示。本实施例中，显示控制方法包括：
124.步骤71、接收第一电子设备100发送的第一信息。
125.在一些实施例中，当用户使用手写笔300对第一电子设备100进行第一操作时，第一电子设备100可以感知到手写笔300的第一操作，第一信息可以是指与手写笔300的第一
操作相关联的信息。例如，第一信息可以包括与第一操作关联的操作位置信息及图像帧信息。
126.在一些实施例中，第二电子设备200在接收到第一电子设备100发送的第一信息时，应用程序app1可以响应第一消息，第二电子设备200进入局部刷新状态。
127.步骤72、获取与第一信息对应的图像帧。
128.步骤73、基于该图像帧及该图像帧的上一图像帧生成第一图像。
129.在一些实施例中，当应用程序app1对第一信息进行响应后，第二电子设备200可以通过预设api获取当前所显示的图像帧相对于上一图像帧的图像变化信息，图像变化信息可以包括该两帧图像的图像差异的位置、大小等信息。第二电子设备200可以基于图像变化信息得到图像变化区。例如，图像变化信息包括多处图像差异，第二电子设备200可以获取每处图像差异所在的局部区域，将每个图像差异所在的局部区域定义为一图像变化子区，图像变化区可以由多个图像变化子区组成，每个图像变化子区对应一处图像差异。例如，将面积最小的能框柱图像差异的方框区域定义为该处图像差异所在的局部区域，每个方框区域即为一个图像变化子区。
130.当确定图像变化区之后，第二电子设备200可以获取每个图像变化子区的角点坐标，基于角点坐标计算得到每个图像变化子区的面积。由于每个图像变化子区均为方框区域，图像变化子区的角点坐标可以是指方框区域的四个角点的坐标。当得到四个角点的坐标时，第二电子设备200可以根据四个角点的坐标得到图像变化子区的长、宽，进而可以基于图像变化子区的长、宽计算得到图像变化子区的面积。当第二电子设备200计算得到每个图像变化子区的面积时，可以汇总每个图像变化子区的面积得到图像变化区的面积。若图像变化区的面积小于或等于第一预设面积，第二电子设备200可以对图像变化区进行编码得到第一图像。若图像变化区的面积大于第一预设面积，第二电子设备200可以对多个图像变化子区执行合并操作，再基于合并操作后的图像变化子区重新计算得到图像变化区的面积。若重新得到的图像变化区的面积小于或等于第一预设面积，第二电子设备200可以对图像变化区进行编码得到第一图像。若重新计算得到的图像变化区的面积仍然大于第一预设面积，第二电子设备200采用全局刷新方式，对屏幕的第一区域图像(可以是整个屏幕图像或屏幕的指定区域图像进行编码得到第一图像。
131.步骤74、将第一图像传送至第一电子设备100进行显示。
132.在一些实施例中，第一图像可以包括多个子图像及与每个子图像关联的时间戳、位置信息、尺寸信息，每个子图像可以对应一图像变化区。第二电子设备200可以将与多个图像变化区对应的多个子图像及每个子图像的时间戳、位置信息、尺寸信息通过wi-fi通道传送至第一电子设备100。
133.参照图8所示，本技术实施例提供的一种显示控制方法，应用于第一电子设备100中，第一电子设备100与第二电子设备200处于同一局域网下，第二电子设备200上显示的应用程序app1投屏至第一电子设备100上进行显示。本实施例中，显示控制方法包括：
134.步骤81、接收第二电子设备200发送的第一图像，新增与第一图像对应的图层。
135.在一些实施例中，第一图像包括与多个图像变化子区对应的多个子图像及每个子图像的时间戳、位置信息、尺寸信息。第一电子设备100在接收到第二电子设备200发送的第一图像时，可以新增与第一图像对应的图层。
136.步骤82、基于每个子图像的位置信息与尺寸信息将多个子图像添加至图层。
137.步骤83、基于图层的时间戳顺序，对多个图层进行合并贴图显示。
138.在一些实施例中，第一电子设备100可以基于每个子图像的位置信息及面积信息将多个子图像添加至图层。第一电子设备100可以基于图层的时间戳先后顺序，对多个图层进行合并贴图显示，其中图层的时间戳对应于该图层所添加的子图像的时间戳。
139.在一些实施例中，第一电子设备100在对多个图层进行合并贴图显示过程中，可以只对时间戳位于当前所显示图层之后的图层进行合并贴图显示，时间戳早于当前所显示图层的图层不进行显示。第一电子设备100可以将多个图层的时间戳与第一电子设备100当前所显示图层的时间戳进行比对，以过滤时间戳晚于当前所显示图层的时间戳的图层。
140.参考图9，为本技术实施例提供的第一电子设备100的硬件结构示意图。如图9所示，第一电子设备100可以包括第一显示屏1001、第一处理器1002、第一存储器1003及第一通信总线1004。第一存储器1003用于存储一个或多个第一计算机程序1005。一个或多个第一计算机程序1005被配置为被该第一处理器1002执行。该一个或多个第一计算机程序1005包括指令，上述指令可以用于实现在第一电子设备10中执行如图8所述的显示控制方法。
141.可以理解的是，本实施例示意的结构并不构成对第一电子设备100的具体限定。在另一些实施例中，第一电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。
142.参考图10，为本技术实施例提供的第二电子设备200的硬件结构示意图。如图10所示，第二电子设备200可以包括第二显示屏2001、第二处理器2002、第二存储器2003及第二通信总线2004。第二存储器2003用于存储一个或多个第二计算机程序2005。一个或多个第二计算机程序2005被配置为被该第二处理器2002执行。该一个或多个第二计算机程序2005包括指令，上述指令可以用于实现在第二电子设备200中执行如图7所述的显示控制方法。
143.可以理解的是，本实施例示意的结构并不构成对第二电子设备200的具体限定。在另一些实施例中，第二电子设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。
144.第一处理器1002与第二处理器2002均可以包括一个或多个处理单元，例如：第一处理器1002与第二处理器2002均可以包括应用处理器(application processor，ap)，调制解调器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
145.第一处理器1002、第二处理器2002中还均可以设置有存储器，用于存储指令和数据。在一些实施例中，第一处理器1002与第二处理器2002中的存储器为高速缓冲存储器。该存储器可以保存第一处理器1002(第二处理器2002)刚用过或循环使用的指令或数据。如果第一处理器1002(第二处理器2002)需要再次使用该指令或数据，可从该存储器中直接调用。避免了重复存取，减少了第一处理器1002(第二处理器2002)的等待时间，因而提高了系统的效率。
146.在一些实施例中，第一处理器1002与第二处理器2002均可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，i2c)接口，集成电路内置音频
(inter-integrated circuit sound，i2s)接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general-purpose input/output，gpio)接口，sim接口，和/或usb接口等。
147.在一些实施例中，第一存储器1003与第二存储器2003均可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
148.本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的显示控制方法。
149.本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的显示控制方法。
150.另外，本技术的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的显示控制方法。
151.其中，本实施例提供的第一电子设备、第二电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
152.通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
153.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例是示意性的，例如，该模块或单元的划分，为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
154.该作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
155.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
156.该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或
者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
157.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何在本技术揭露的技术范围内的变化或替换，都应涵盖在本技术的保护范围之内。