一种差分编码模式及计算机屏幕内容编码方法与流程

1.本发明涉及编码技术领域，特别涉及一种差分编码模式及计算机屏幕内容编码方法。


背景技术：

2.随着计算机及网络技术的不断发展，数字化的文本、图像、图形及视频已逐步替代传统的模拟媒体，使得媒体实现了更为便捷及广泛的编辑与传播。例如，在虚拟桌面、视频会议、远程教学、远程医疗等应用中，均会运用到屏幕共享技术，以将本地计算机屏幕显示的内容传输到远程终端上并显示。为了保证屏幕共享时屏幕显示内容的质量，则需要采用合适的编码方法对计算机屏幕内容进行编码。
3.相较于自然拍摄的视频而言，计算机屏幕内容具有更为复杂的空间和频谱特征，其通常会包含不连续色调，与自然拍摄的视频存在巨大的差异。这就使得若直接将传统的视频编码技术应用到计算机屏幕内容的编码上，会导致编码性能的下降。
4.针对上述问题，目前已有研究提出了一些针对计算机屏幕内容的特点设计的编码方法，例如，在新的avs和mpeg视频压缩标准中，已开始考虑计算机屏幕内容编码的需求，针对计算机屏幕内容的特点提出了一些有针对性的编码技术。但是，这些技术通常都是针对某一种计算机屏幕内容设计，难以完全适应复杂多变的计算机屏幕内容。


技术实现要素：

5.针对现有技术中的部分或全部问题，本发明首先提供一种差分编码模式，其应用于字处理类型的计算机屏幕内容的编码，所述差分编码模式包括：
6.将计算机屏幕内容划分为n*n个方块，分别与前一帧对应位置的方块进行比较，形成编码数据；以及
7.根据所述编码数据，对存在差异的方块的数据进行更新。
8.进一步地，形成编码数据包括：
9.将每个方块分别与前一帧对应位置的方块进行比较：
10.若完全相同，则将第一标记作为所述方块的编码数据；否则
11.将第二标记以及所述方块的数据一起，作为所述方块的编码数据；以及
12.将所述n*n个方块的编码数据依次排列，形成所述计算机屏幕内容的编码数据。
13.本发明另一方面还提供一种计算机屏幕内容编码方法，包括：
14.根据计算机屏幕内容的当前帧图像的类型，确定采用的编码模式；
15.根据所述编码模式，对当前帧图像进行编码，得到图像编码数据；以及
16.在所述图像编码数据的头部插入编码模式信息。
17.进一步地，确定采用的编码模式包括：
18.判断计算机屏幕内容的当前帧图像的类型；以及
19.根据所述类型，手动选择编码模式。
20.进一步地，确定采用的编码模式包括：
21.根据图像的特征，采用深度学习的方法，判断计算机屏幕内容的当前帧图像的类型；以及
22.根据所述类型，自动选择编码模式。
23.进一步地，确定采用的编码模式包括：
24.采用不同的编码模式对计算机屏幕内容的当前帧图像进行编码，并进行比较，选取效果最好的一种作为最终的编码模式。
25.进一步地，编码模式包括：
26.如前所述的差分编码模式，其用于对字处理类型的图像进行编码；生成图像编码模式，其用于对生成图像类型的图像进行编码；以及
27.自然拍摄图像编码模式，其用于对自然拍摄图像类型的图像进行编码。
28.进一步地，所述生成图像编码模式包括根据avs2和/或mpeg编码标准，对计算机屏幕内容的当前帧图像进行编码。
29.进一步地，所述自然拍摄图像编码模式包括根据avs3或h.266编码标准，对计算机屏幕内容的当前帧图像进行编码。
30.本发明还提供一种计算机程序产品，其包括计算机程序指令，所述计算机程序指令用于指向如前所述的计算机屏幕内容编码方法的步骤。
31.本发明基于发明人的如下洞察：在实际应用中，计算机屏幕内容多种多样，且可能随时发生变化，然而现有的计算机多采用单一的编码方式对计算机屏幕内容进行编码，而没有考虑到屏幕内容的多样性。而且，现有的计算机屏幕内容编码方法多针对于生成图像类型，其算法较为复杂。在视频会议、远程教学等屏幕共享等场景中，文字处理软件界面的使用频率相对较高。发明人进一步研究发现，对于文件处理软件界面所形成的计算机屏幕内容而言，通常具有以下特点：图像包含色彩少，且更新频率低，同时变化范围小，也就是说，对于这类计算机屏幕内容来说，其每帧图像之间出现变化的像素点较少。因此，可考虑通过直接存储像素数据的方式对图像进行传输及显示。若采用现有的计算机屏幕内容编码方法对其进行编码，则会造成极大的资源浪费。基于此，发明人提出一种差分编码模式，其仅对出现变化的像素点数据进行更新，而不进行其他的操作，进而能够在保证显示效果的前提下，大大提升了字处理类型图像的编码效率。此外，发明人还进一步提出了一种编码方法，其在对计算机屏幕内容进行编码前，首先判断计算机屏幕内容的类型，然后有针对性地选择不同的编码模式。所述编码方法能够在保证不同类型计算机屏幕内容的编码和/或压缩质量的同时，提升计算机屏幕内容的编码和/或压缩效率。
附图说明
32.为进一步阐明本发明的各实施例的以上和其它优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。
33.图1示出本发明一个实施例的一种差分编码模式的流程示意图；以及
34.图2示出本发明一个实施例的一种计算机屏幕内容编码方法的流程示意图。
具体实施方式
35.以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构、材料或操作以免模糊本发明的发明点。类似地，为了解释的目的，阐述了特定数量、材料和配置，以便提供对本发明的实施例的全面理解。然而，本发明并不限于这些特定细节。此外，应理解附图中示出的各实施例是说明性表示且不一定按正确比例绘制。
36.在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。
37.需要说明的是，本发明的实施例以特定顺序对工艺步骤进行描述，然而这只是为了阐述该具体实施例，而不是限定各步骤的先后顺序。相反，在本发明的不同实施例中，可根据工艺的调节来调整各步骤的先后顺序。
38.针对计算机屏幕内容的多样性，以及不同计算机屏幕内容的特点，本发明提出一种差分编码模式及计算机屏幕内容编码方法，其根据不同计算机屏幕内容的特点，分别采用具有针对性的编码模式，从而提高计算机屏幕内容的压缩效率和质量。
39.下面结合实施例附图，对本发明的方案做进一步描述。
40.图2示出本发明一个实施例的一种计算机屏幕内容编码方法的流程示意图。如图2所示，一种计算机屏幕内容编码方法，包括：
41.首先，在步骤201，确定计算机屏幕内容类型。在本发明的实施例中，根据不同计算机屏幕内容的特性，将常见的计算机屏幕内容分为三类：字处理类型、生成图像类型以及自然拍摄图像类型。其中，所述字处理类型是指字处理软件界面，例如word、pdf、文本文档等软件界面，所述生成图像类型是指其他类型计算机软件生成的图像，例如游戏界面、二维和三维动画等，以及所述自然拍摄图像类型是指由计算机播放的自然拍摄的视频、图片等。在本发明的一个实施例中，通过人为判断的方式，判断当前计算机屏幕内容类型。在本发明的又一个实施例中，通过深度学习的方法，自动判断当前计算机屏幕内容的类型，具体而言，是通过学习样本数据，得到样本数据的内在规律和表示层次，然后，根据所述内在规律和表示层次来判断当前计算机屏幕内容的类型。在本发明的再一个实施例中，是通过提取图像特征，并与预设值进行比较，来判断当前计算机屏幕内容的类型，其中，所述图像特征例如可以包括图像的均值、方差、及相关系数等；
42.接下来，在步骤202，确定编码模式。根据步骤201中得到的计算机屏幕内容的类型，确定需要采用的编码模式。在本发明的实施例中，针对如前所述的三类计算机屏幕内容，分别设计了三种编码模式：差分编码模式、生成图像编码模式以及自然拍摄图像编码模式：
43.针对字处理类型，采用差分编码模式。字处理类型的计算机屏幕内容包含色彩少，因此，可考虑通过直接存储像素数据的方式对图像进行传输及显示，同时及处理类型的计算机屏幕内容的更新频率低，且变化范围小，也就是说，对于这类计算机屏幕内容来说，其每帧图像之间出现变化的像素点较少。针对这些特性，本发明提供了一种差分编码模式，其能够尽可能少地刷新图像数据。图1示出本发明一个实施例的一种差分编码模式的流程示
意图。如图1所示，所述差分编码模式包括：
44.首先，在步骤101，图像划分。将待处理的图像划分为n*n个方块；
45.接下来，在步骤102，图像对比。将各个方块分别与前一帧对应位置的方块进行比较，形成编码数据，具体而言，在本发明的一个实施例中，所述编码数据由所述n*n个方块的编码数据依次排列，其中，任意一个方块的编码数据可能包括两种情形：
46.当所述方块与与前一帧对应位置的方块完全相同时，则将第一标记作为所述方块的编码数据，所述第一标记例如可为“跳过”，以表示该方块内的数据不需要进行处理；以及
47.当所述方块与与前一帧对应位置的方块存在不同时，则将第二标记以及所述方块的数据一起，作为所述方块的编码数据，所述第二标记例如可为“刷新”，以表示该方块内的数据需要进行按照编码数据中的内容进行刷新；以及
48.最后，在步骤103，图像更新。根据步骤101中得到的编码数据，对存在差异的方块的数据进行更新，完成编码；
49.针对生成图像类型，目前已有成熟的编码标准或技术，因此，可直接采用现有的计算机屏幕内容编码标准对其进行编码，例如根据avs2和/或mpeg编码标准，对计算机屏幕内容的当前帧图像进行编码；以及
50.针对自然拍摄图像类型，同样存在成熟的编码标准或技术，因此，也可直接采用现有的计算机屏幕内容编码标准对其进行编码，例如根据avs3或h.266编码标准，对计算机屏幕内容的当前帧图像进行编码。
51.在本发明的实施例中，所述编码模式的选择可以手动或自动进行。其中，自动进行是指根据步骤201中的判断结果，自动调用对应的编码模式的程序进行处理。
52.在本发明的又一个实施例中，还可以省略步骤201，而是直接通过效果对比的方法来确定编码模式，具体而言，包括：
53.首先，分别采用三种编码模式对计算机屏幕内容进行编码；
54.然后，比较三种编码模式的编码效果，并选取最优的一种作为最终的编码模式。其中，所述编码效果主要是指率失真性能，率失真优化是图像与视频压缩编码领域普遍使用的评价方法，其本质是把图像压缩后的失真和压缩后的比特数折算成一个数值，率失真代
55.价的通用计算公式如下：
56.j＝d λr
57.其中d是对失真的衡量指标，通常用峰值信噪比(psnr)，r是编码后所述图像的编码数据的比特数，λ是把比特数r折算成失真的系数，j是率失真代价。在编码一幅图像或图像中的某个块的过程中，有多种编码模式可供选择，每一种编码模式都会产生相应的失真和编码数据，率失真优化的目标是找出率失真代价j最小的编码模式，作为最终的编码模式。同时，对于最优的判断，可以是结合率失真代价和编码复杂度的综合判断。例如，在对于时效性要求高的应用场景中，可将编码时间最短的编码模式作为最终的编码模式，而对于压缩质量要求高的应用场景中，则可以在计算率失真代价时，适当降低λ的值，这样就会倾向于选择失真更小的编码模式。应当理解的是，在本发明的其他实施例中，还可采用其他评价编码质量的参数来判断编码效果，以及确定最优的标准；
58.接下来，在步骤203，图像编码。根据步骤202中确定的编码模式，对当前帧图像进行编码，得到图像编码数据；以及
59.最后，在步骤204，插入编码模式信息。为了便于能够正确解码，还需要在所述图像编码数据的头部插入编码模式信息，以便于选择正确的解码方式。
60.本发明提供的一种编码方法，其在对计算机屏幕内容进行编码前，首先判断计算机屏幕内容的类型，然后有针对性地选择不同的编码模式。所述编码方法能够在保证不同类型计算机屏幕内容的编码和/或压缩质量的同时，提升计算机屏幕内容的编码和/或压缩效率。同时，针对字处理类型的计算机屏幕内容，本发明还提供一种差分编码模式，其仅对出现变化的像素点数据进行更新，而不进行其他的操作，进而能够在保证显示效果的前提下，大大提升了字处理类型图像的编码效率。
61.尽管上文描述了本发明的各实施例，但是，应该理解，它们只是作为示例来呈现的，而不作为限制。对于相关领域的技术人员显而易见的是，可以对其做出各种组合、变型和改变而不背离本发明的精神和范围。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。