线上教学录屏方法与系统与流程

1.本发明属于信号处理技术领域，尤其涉及线上教学录屏方法与系统。


背景技术：

2.近几年，为解决线下学习尤其是异地线下教学来回不便、时间成本高的问题，线上教学使用人群不断扩大。为了保留一些比较好的线上教学视频，往往需要对其进行录屏。例如，对于直播式的线上教学，直播教学组织方对教学过程进行录屏也是必不可少的。但是，对于直播式的线上教学，如果视频录制方不能及时到达现场或者现场不具有录制条件(例如直播教学的老师在自己家里进行教学讲解时并不方便去其家中进行视频录制)，则往往只能通过电子设备在线播放教学视频并想办法对其进行录屏。但是，现在的电脑录屏软件对各种线上教学软件的兼容性不强，无法对线上教学视频进行有效录屏。若通过摄像机拍摄在电子设备播放的线上教学视频的方式来录屏，则由于直接拍摄的音视频一体数据中噪声太大，目前仍未有有效的能对这类综合数据进行降噪处理的方案，因此录制的视频效果较差。


技术实现要素：

3.有鉴于此，本发明实施例提供线上教学录屏方法与系统，用于解决目前电脑录屏软件对各种线上教学软件的兼容性不强以及直接录屏得到的视频效果不好的问题。本发明能够分别对录屏视频的图像画面和声音进行降噪，继而提高图像分辨率，降低声音中的噪音成分，然后将降噪后的图像画面和声音合并，从而可以获得高质量的录制视频。
4.第一方面，本发明实施例提供一种线上教学录屏方法，包括以下步骤：
5.采集线上教学视频在录制时间段内的第一图像序列和第一声音信号序列；其中，所述第一图像序列包括所述录制时间段内各采集点采集的第一图像，所述第一声音信号序列包括所述录制时间段内各采集点采集的第一声音信号，且所述第一图像、第一声音信号均带有采集时间标签；
6.对各第一图像进行降噪处理得到第二图像，并对各第一声音信号进行降噪处理得到第二声音信号；
7.对第二图像和第二声音信号按照采集时间标签进行合并，形成线上教学录制视频。
8.在一可选实施例中，所述对各第一图像进行降噪处理得到第二图像，包括：
9.根据以下第一公式对各第一图像进行均值滤波，得到第二图像：
[0010][0011]
其中，m(x，y)
t
为第t个采集点采集的第一图像中像素点(x，y)在第二图像中对应位置的像素值；n(i，j)
t
为第t个采集点采集的第一图像中像素点(i，j)的像素值；t＝1，2，...，t；t为所述录制时间段的采集点总数；m表示预设滤波区域在所述第一图像中覆盖的
像素数，x为所述预设滤波区域沿第一图像的长度方向覆盖的像素数，y为所述预设滤波区域沿第一图像的宽度方向覆盖的像素数，且x和y均为正奇数；
[0012]
在一可选实施例中，x＝9，y＝9。
[0013]
在一可选实施例中，根据以下第二公式对各第一声音信号进行降噪处理，得到对应的第二声音信号：
[0014][0015]
其中，为第t个采集点采集的第一声音信号经降噪后的第二声音信号，k(t)为预设降噪函数，y(t)为第t个采集点采集的第一声音信号，f(y(t))为预设调节函数，符号||表示取绝对值。
[0016]
在一可选实施例中，根据以下第三公式计算所述预设调节函数：
[0017][0018]
其中，y(a)表示第a个采集点采集的第一声音信号，为第a个采集点采集的第一声音信号经降噪后的第二声音信号，a＝1，2，...，t
‑
1；sin()求正弦函数。
[0019]
第二方面，本发明实施例提供一种线上教学录屏系统，包括：
[0020]
采集模块，用于采集线上教学视频在录制时间段内的第一图像序列和第一声音信号序列；其中，所述第一图像序列包括所述录制时间段内各采集点采集的第一图像，所述第一声音信号序列包括所述录制时间段内各采集点采集的第一声音信号，且所述第一图像、第一声音信号均带有采集时间标签；
[0021]
降噪处理模块，用于对各第一图像进行降噪处理得到第二图像，并对各第一声音信号进行降噪处理得到第二声音信号；
[0022]
合并模块，用于对第二图像和第二声音信号按照采集时间标签进行合并，形成线上教学录制视频。
[0023]
在一可选实施例中，所述降噪处理模块，具体用于根据以下第一公式对各第一图像进行均值滤波，得到对应的第二图像：
[0024][0025]
其中，m(x，y)
t
为第t个采集点采集的第一图像中像素点(x，y)在第二图像中对应位置的像素值；n(i，j)
t
为第t个采集点采集的第一图像中像素点(i，j)的像素值；t＝1，2，...，t；t为所述录制时间段的采集点总数；m表示预设滤波区域在所述第一图像中覆盖的像素数，x为所述预设滤波区域沿第一图像的长度方向覆盖的像素数，y为所述预设滤波区域沿第一图像的宽度方向覆盖的像素数，且x和y均为正奇数；
[0026]
在一可选实施例中，x＝9，y＝9。
[0027]
在一可选实施例中，所述降噪处理模块，具体用于根据以下第二公式对各第一声音信号进行降噪处理，得到对应的第二声音信号：
[0028][0029]
其中，为第t个采集点采集的第一声音信号经降噪后的第二声音信号，k(t)为预设降噪函数，y(t)为第t个采集点采集的第一声音信号，f(y(t))为预设调节函数，符号||表示取绝对值。
[0030]
在一可选实施例中，所述降噪处理模块，具体用于根据以下第三公式计算所述预设调节函数：
[0031][0032]
其中，y(a)表示第a个采集点采集的第一声音信号，为第a个采集点采集的第一声音信号经降噪后的第二声音信号，a＝1，2，...，t
‑
1；sin()求正弦函数。
[0033]
本发明提供的线上教学录屏方法与系统，首先对线上教学视频在录制时间段内的图像和声音信号分别进行降噪处理，得到降噪后的图像和声音信号，然后再将这些降噪后的图像和声音信号进行合并，从而可以获得高质量的录制视频。
附图说明
[0034]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0035]
图1为本发明实施例提供的线上教学录屏方法流程图；
[0036]
图2为本发明实施例提供的线上教学录屏系统结构示意图。
具体实施方式
[0037]
下面结合附图对本发明实施例进行详细描述。
[0038]
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0039]
图1为本发明实施例提供的线上教学录屏方法流程图。参见图1，该方法包括如下步骤s101
‑
s103：
[0040]
s101：采集线上教学视频在录制时间段内的第一图像序列和第一声音信号序列。
[0041]
其中，所述第一图像序列包括所述录制时间段内各采集点采集的第一图像，所述第一声音信号序列包括所述录制时间段内各采集点采集的第一声音信号，且所述第一图像、第一声音信号均带有采集时间标签。
[0042]
本实施例中，可以按照线上教学视频每帧对应的时间点作为时间标签，即每个时间标签都对应着一张画面，同时也对应着一个音频信号，便于后续对画面和音频信息进行降噪处理和合并。
[0043]
s102：对各第一图像进行降噪处理得到第二图像，并对各第一声音信号进行降噪处理得到第二声音信号。
[0044]
作为一可选实施例，可以根据如下第一公式对各第一图像进行均值滤波降噪处理，得到对应的第二图像：
[0045][0046]
其中，m(x，y)
t
为第t个采集点采集的第一图像中像素点(x，y)在第二图像中对应位置的像素值；n(i，j)
t
为第t个采集点采集的第一图像中像素点(i，j)的像素值；t＝1，2，...，t；t为所述录制时间段的采集点总数；m表示预设滤波区域在所述第一图像中覆盖的像素数，x为所述预设滤波区域沿第一图像的长度方向覆盖的像素数，y为所述预设滤波区域沿第一图像的宽度方向覆盖的像素数，且x和y均为正奇数；
[0047]
在对第一图像进行均值滤波时，对于第一图像的边缘像素，可以将原图边缘位置扩大一圈并填充以新的元素，新的元素的值与原图像边缘的值保持一致，这样一来得到的滤波结果就会比原始图像少一圈，但刚好与扩大之前的原图尺寸保持一致，如此变化之后即可对边缘像素采用第一公式(1)进行滤波。
[0048]
本实施例中，对采集的图像画面进行降噪处理，可以有效地提高图像分辨率。由于图像画面常被不同方面的噪声污染，而这些噪声在图像上可以认为是孤立的像素点，所以其与整个像素矩阵空间是独立的，与一定领域内的像素有着明显的不同，因此可以采用第一公式来过滤噪声。其中，m一般取3*3、5*5、7*7等。优选地，为了提高画面质量，提升图像分辨率，可以将m取9*9的区域，即x＝9，y＝9，m取值为81。
[0049]
作为一可选实施例，可以根据如下第二公式对各第一声音信号进行降噪处理，得到对应的第二声音信号：
[0050][0051]
其中，为第t个采集点采集的第一声音信号经降噪后的第二声音信号，k(t)为预设降噪函数，y(t)为第t个采集点采集的第一声音信号，f(y(t))为预设调节函数，此预设调节函数作用是根据历史信噪比调节的输出，避免信号失真或者去噪不完整，符号||表示取绝对值，即|y(t)|表示对y(t)取绝对值。
[0052]
本实施例中，对采集的声音信息进行降噪处理，设第t时刻采集到的声音信号y(t)可以由x(t) d(t)组成，其中x(t)表示第t时刻有效的声音信号，d(t)表示第t时刻声音信号中含有的噪声，为了避免传统声音降噪方法引起的有效信号失真以及噪声去除不完整的问
题，因此可以采用上述第二公式对声音信号进行降噪处理。
[0053]
优选地，根据如下第三公式计算所述预设调节函数：
[0054][0055]
其中，y(a)表示第a个采集点采集的第一声音信号，为第a个采集点采集的第一声音信号经降噪后的第二声音信号，sin()为正弦函数，a＝1，2，...，t
‑
1。y(1)表示第1个采集点采集的第一声音信号，即在录制时间段内第一次采集的线上教学视频的初始声音信号；此公式中，符号||也表示取绝对值。
[0056]
本实施例中，在进行声音降噪处理中，为了避免传统声音降噪方法引起的有效信号失真以及噪声去除不完整的问题，相较于目前降噪方法，本发明采用调节函数，根据历史信噪情况对后续声音降噪进行处理修正，降噪效果更为优秀。
[0057]
s103：对第二图像和第二声音信号按照采集时间标签进行合并，形成线上教学录制视频。
[0058]
本实施例中，将降噪处理好的图像画面和声音信息进行合并，为了避免出现声音和图像画面不一致的问题，对降噪处理好的图像画面和声音信息按照时间序列进行合并，例如第1时刻的图形画面应于第1时刻的声音信息进行合并，从而形成新的视频信息，获得高质量的录制视频。有效地避免了目前部分视频网站出现的声音较画面超前或者声音较画面后滞的情况发生，给用户带来良好的视听体验。
[0059]
本实施例提供的线上教学录屏方法，能够根据领域内的像素对录屏视频的图像画面中的各个像素进行过滤噪声，同时能够根据历史信噪比来调节各个时刻的声音信号，实现了提高图像分辨率的同时，降低声音中的噪音成分。最后，将降噪后的图像画面和声音合并，从而可以获得高质量的录制视频。
[0060]
对应于本发明实施例提供的线上教学录屏方法，本发明实施例还提供线上教学录屏系统，如图2所述，该系统包括：
[0061]
采集模块1，用于采集线上教学视频在录制时间段内的第一图像序列和第一声音信号序列；其中，所述第一图像序列包括所述录制时间段内各采集点采集的第一图像，所述第一声音信号序列包括所述录制时间段内各采集点采集的第一声音信号，且所述第一图像、第一声音信号均带有采集时间标签；
[0062]
降噪处理模块2，用于对各第一图像进行降噪处理得到第二图像，并对各第一声音信号进行降噪处理得到第二声音信号。优选地，降噪处理模块2，具体用于根据上述第一公式计算对各第一图像进行降噪处理，得到对应的第二图像。优选地，降噪处理模块2，还具体用于根据上述第三公式计算预设调节函数，然后根据上述第二公式及此预设调节函数，对各第一声音信号进行降噪处理，得到对应的第二声音信号。
[0063]
合并模块3，用于对第二图像和第二声音信号按照采集时间标签进行合并，形成线上教学录制视频。
[0064]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序
指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0065]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0066]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0067]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。