一种视频时屏幕共享的方法与流程

1.本发明涉及视频通信技术领域，特别涉及一种视频时屏幕共享的方法，属于通信技术领域。


背景技术：

2.视频时屏幕共享是一个普遍存在的需求，许多第三方应用都需要这个功能，若系统能提供无需应用层适配的解决方案，可降低重复研发成本，快速推进功能普及，为人民带来更多的便利。
3.新冠疫情导致视频时屏幕共享需求激增。市面上的系统都未支持视频时屏幕共享功能，需要第三方应用自行研发。然而，由于研发成本的原因，许多软件暂未支持该功能，如手机微信视频聊天时仍无法直接共享屏幕，无法满足用户高效沟通的需求，市面上的解决方案，从应用层实现该功能，但这样解决方案的缺点是：每个应用都需要单独开发，仅解决单个应用本身的问题。若应用未研发该功能，则无法满足用户需求。


技术实现要素：

4.发明目的：提供一种视频时屏幕共享的方法，视频时屏幕共享是一个普遍存在的需求，许多第三方应用都需要这个功能，若系统能提供无需应用层适配的解决方案，可降低重复研发成本，快速推进功能普及，为人民带来更多的便利。
5.技术方案：一种视频时屏幕共享的方法，包括：应用层，由第三方软件开发者负责研发，以及系统层，由操作系统开发团队负责研发。
6.在进一步的实施例中，所述屏幕共享的方法包括以下步骤：s1、当用于通过应用使用视频共享功能时，所述应用层进行创建视频通讯；s1.1、所述应用层创建视频推流通道；s2、当用于通过应用使用视频共享功能时，所述系统层进行监测所述视频通讯；s2.1、当用户授权打开摄像头，所述系统层进行采集用户视频屏幕画面；s1.2、用户授权打开摄像头，且所述应用层采集摄像头画面；s2.2、所述系统层进行提取所述摄像头画面；s2.3、所述系统层将所述屏幕画面和所述摄像头画面合并成画中画；s2.4、所述系统层将所述画中画替换成所述摄像头画面，且传输至所述应用层；s1.3、所述应用层接收替换后的摄像头画面，且将所述摄像头画面填充进所述视频推流通道中。
7.在进一步的实施例中，所述应用层且用于进行创建视频推流通道，采集摄像头画面，以及将画中画填充进所述视频推流通道中。
8.在进一步的实施例中，所述系统层用于进行监测视频通讯，并采集视频屏幕画面，同时对所述应用层采集的摄像头画面进行提取，从而将所述屏幕画面和所述摄像头画面合并成画中画，最后将所述画中画传输至应用层。
9.在进一步的实施例中，本发明包括控制系统；所述控制系统包括：应用监测模块，用于检测到用户设备启动视频通信时，提供功能交互入口；用户操作模块，用于用户操作界面输入功能开启或者关闭的指令；数据获取模块，用于获取所述摄像头画面和采集所述屏幕画面；数据合成模块，用于将所述屏幕画面和所述摄像头画面以画中画的布局形式进行拼合；数据替换模块：用于用合成后的画面数据替换原始摄像头数据。
10.在进一步的实施例中，当将所述摄像头画面填充进所述视频推流通道中，即为完成视频屏幕共享，并进行实时监控画面。
11.在进一步的实施例中，所述应用监测模块包括检测子模块；所述检测子模块的工作步骤如下：步骤1、当用户启动应用，检测子模块进行工作，检测是否是目标应用；步骤2、当目标应用时，则进行下一步骤；当不是目标应用时，则不做任何操作；步骤3、当目标应用具有视频通信功能的应用，则进行检测目标应用是否正在进行视频通信；步骤4。当目标应用正在进行视频通信时，则进行下一步；当目标应用不在进行视频通信时，则不做任何操作；步骤5、提供功能入口。
12.在进一步的实施例中，所述目标应用时具有视频通信功能的应用（代指微信、钉钉等），可通过应用白名单的方式,将目标应用配置在系统中,提供接口给检测模块判断。、在进一步的实施例中，进行检测目标应用是否正在进行视频通信包括以下方案：方案1、监听摄像头状态：系统层可监听摄像头开启状态，若开启，则视为正在进行视频通信；方案2、图像识别界面特征：系统层可监测前台界面样式，若样式为视频画中画且有相关icon等特征，则视为正在进行视频通信。
13.方案3、监听api调用情况：应用进行视频通信时，会调用相关api；可将相关信息配置在系统中，提供接口给检测模块判断。
14.在进一步的实施例中，数据获取模块中系统通过bsp层有相关接口，系统可直接获取摄像头画面，通过录屏api、截屏等形式采集屏幕画面。
15.有益效果：本发明涉及视频通信技术领域，特别涉及一种视频时屏幕共享的方法，属于通信技术领域，解决第三方应用尚未支持视频时屏幕共享功能的问题，本发明包括：应用层，由第三方软件开发者负责研发，以及系统层，由操作系统开发团队负责研发；所述应用层且用于进行创建视频推流通道，采集摄像头画面，以及将画中画填充进所述视频推流通道中；所述系统层用于进行监测视频通讯，并采集视频屏幕画面，同时对所述应用层采集的摄像头画面进行提取，从而将所述屏幕画面和所述摄像头画面合并成画中画，最后将所述画中画传输至应用层；本发明利用系统权限优势，检测到有视频通信行为时，提供屏幕共享功能给用户；用户开启功能时，自动获取屏幕和摄像头画面，合成画中画并替换原始摄像头画面，输送给第三方应用；使得通信对象能在视频中看到屏幕的画面，本发明从系统层实现该功能，优点：只需一次开发且无需第三方应用适配，解决所有应用的同一问题，若应用
未研发该功能，仍可以满足用户需求。
附图说明
16.图1是现有技术中的屏幕共享方案。
17.图2是本发明的屏幕共享方法示意图。
18.图3是本发明的控制系统示意图。
19.图4是本发明的检测模块工作示意图。
20.图5是本发明的画中画示意图。
具体实施方式
21.在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施；在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
22.一种视频时屏幕共享的方法，包括：应用层，由第三方软件开发者负责研发，以及系统层，由操作系统开发团队负责研发。
23.本发明中的一些术语解释：视频通信：是指通过电子终端之间实时传送视频的一种通信方式。视频由一张张图片组成，由于播放速度很快，看起来是连续动态的画面，一般需要每秒播放24帧画面以上。
24.屏幕共享：是指将一个电子终端上显示的图像/视频同步到另一个电子终端上进行显示。
25.视频时屏幕共享：是指在一个应用内，使用视频通讯时，同时还能进行屏幕共享。
26.系统层：由操作系统开发团队负责研发，拥有的系统权限较多，可直接修改系统原始数据。
27.应用层：由第三方软件开发者负责研发，拥有的系统权限较少，无法改动系统原始数据。
28.画中画：本专利中是指，在一个视频全屏显示的同时，于画面的某部分区域上同时显示另一个或多个视频。
29.在一个实施例中，现有技术中系统都未支持视频时屏幕共享功能，需要第三方应用自行研发，然而，由于研发成本的原因，许多软件暂未支持该功能，如手机微信视频聊天时仍无法直接共享屏幕，无法满足用户高效沟通的需求市面上的解决方案，从应用层实现该功能，但存在以下确定缺点：每个应用都需要单独开发，仅解决单个应用本身的问题，若应用未研发该功能，则无法满足用户需求，从而本发明提出一种视频时屏幕共享的方法，解决第三方应用尚未支持视频时屏幕共享功能的问题，利用系统权限优势，检测到有视频通信行为时，提供屏幕共享功能给用户；用户开启功能时，自动获取屏幕和摄像头画面，合成画中画并替换原始摄像头画面，输送给第三方应用；使得通信对象能在视频中看到屏幕的画面。
30.具体的，所述屏幕共享的方法包括以下步骤：
s1、当用于通过应用使用视频共享功能时，所述应用层进行创建视频通讯；s1.1、所述应用层创建视频推流通道；s2、当用于通过应用使用视频共享功能时，所述系统层进行监测所述视频通讯；s2.1、当用户授权打开摄像头，所述系统层进行采集用户视频屏幕画面；s1.2、用户授权打开摄像头，且所述应用层采集摄像头画面；s2.2、所述系统层进行提取所述摄像头画面；s2.3、所述系统层将所述屏幕画面和所述摄像头画面合并成画中画；s2.4、所述系统层将所述画中画替换成所述摄像头画面，且传输至所述应用层；s1.3、所述应用层接收替换后的摄像头画面，且将所述摄像头画面填充进所述视频推流通道中。
31.在一个实施例中，所述应用层且用于进行创建视频推流通道，采集摄像头画面，以及将画中画填充进所述视频推流通道中。
32.在一个实施例中，所述系统层用于进行监测视频通讯，并采集视频屏幕画面，同时对所述应用层采集的摄像头画面进行提取，从而将所述屏幕画面和所述摄像头画面合并成画中画，最后将所述画中画传输至应用层。
33.具体的，本发明解决方案，从系统层实现该功能，具有以下优点：只需一次开发且无需第三方应用适配，解决所有应用的同一问题。若应用未研发该功能，仍可以满足用户需求。
34.在一个实施例中，本发明仅有客户端逻辑无服务端逻辑，仅功能逻辑无算法逻辑，重点在功能逻辑无界面与交互要求。
35.在一个实施例中，本发明包括控制系统；所述控制系统包括：应用监测模块，用于检测到用户设备启动视频通信时，提供功能交互入口；用户操作模块，用于用户操作界面输入功能开启或者关闭的指令；数据获取模块，用于获取所述摄像头画面和采集所述屏幕画面；数据合成模块，用于将所述屏幕画面和所述摄像头画面以画中画的布局形式进行拼合；数据替换模块：用于用合成后的画面数据替换原始摄像头数据。
36.具体的，各模块的偶尔弱可延展性强。
37.在一个实施例中，当将所述摄像头画面填充进所述视频推流通道中，即为完成视频屏幕共享，并进行实时监控画面。
38.在一个实施例中，所述应用监测模块包括检测子模块；所述检测子模块的工作步骤如下：步骤1、当用户启动应用，检测子模块进行工作，检测是否是目标应用；步骤2、当目标应用时，则进行下一步骤；当不是目标应用时，则不做任何操作；步骤3、当目标应用具有视频通信功能的应用，则进行检测目标应用是否正在进行视频通信；步骤4。当目标应用正在进行视频通信时，则进行下一步；当目标应用不在进行视频通信时，则不做任何操作；步骤5、提供功能入口。
39.在一个实施例中，所述目标应用时具有视频通信功能的应用（代指微信、钉钉等），可通过应用白名单的方式,将目标应用配置在系统中,提供接口给检测模块判断。、在一个实施例中，进行检测目标应用是否正在进行视频通信包括以下方案：方案1、监听摄像头状态：系统层可监听摄像头开启状态，若开启，则视为正在进行视频通信；方案2、图像识别界面特征：系统层可监测前台界面样式，若样式为视频画中画且有相关icon等特征，则视为正在进行视频通信。
40.方案3、监听api调用情况：应用进行视频通信时，会调用相关api；可将相关信息配置在系统中，提供接口给检测模块判断。
41.在一个实施例中，数据获取模块中系统通过bsp层有相关接口，系统可直接获取摄像头画面，通过录屏api、截屏等形式采集屏幕画面。
42.工作原理：当用于通过应用使用视频共享功能时，所述应用层进行创建视频通讯；所述应用层创建视频推流通道；当用于通过应用使用视频共享功能时，所述系统层进行监测所述视频通讯；当用户授权打开摄像头，所述系统层进行采集用户视频屏幕画面；用户授权打开摄像头，且所述应用层采集摄像头画面；所述系统层进行提取所述摄像头画面；所述系统层将所述屏幕画面和所述摄像头画面合并成画中画；所述系统层将所述画中画替换成所述摄像头画面，且传输至所述应用层；所述应用层接收替换后的摄像头画面，且将所述摄像头画面填充进所述视频推流通道中。
43.以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。