一种投屏方法、辅助投屏装置及存储介质与流程

1.本发明涉及投屏技术领域，特别涉及一种投屏方法、辅助投屏装置及存储介质。


背景技术：

2.最近几年，人与人之间的沟通和交流方式发生了重大变化，从普遍的线下沟通、当面沟通转变为线上沟通，未来很长一段时间理，人们利用远程会议将成为一种常态，很多人的工作在一夜之间迁移到线上。这种转变本是一种无奈之举，但是人们逐渐适应了线上沟通的这种方式后，对数字化的带来的好处却体会颇深。更高的效率、更低的成本、更灵活多变的形式，让人们有了不一样的体验。
3.无论是本地会议还是远程会议，为了展示方便，大部分都需要用到投屏，即将笔记本电脑、手机等小屏幕移动终端显示的内容投放到大屏幕的一体机、电视机等投屏设备上，方便与会者观看。现有解决投屏方案中，大都是移动终端与投屏设备直连，会议室中独立的摄像头、麦克风等独立的系统，这些子系统之间需要多次连接，并且只能跟固定的系统配合，很难快速的切换主机，并且有些子系统无法建立与投屏设备的连接。例如，利用笔记本电脑开会，只能调用笔记本电脑自身的摄像头和麦克风，很难调用会议室原有的摄像头或麦克风。并且现有的直连投屏方式，常常会出现连接错误，需要在移动设备上进行设置，普通用户往往会不知如何操作，到时会议延迟，造成时间成本的浪费。如何让参会者节省会议准备的时间，减少投屏时连接错误是当前急需解决的问题。


技术实现要素：

4.本发明的目的是提供一种投屏方法、辅助投屏装置及存储介质，可以解决现有技术中会议室原有的摄像头或麦克风无法被投屏调用的问题，还解决了直连投屏连接错误率高的问题。
5.本发明的目的是通过以下技术方案实现的：
6.第一方面，本发明提供一种投屏方法，包括以下步骤：
7.辅助投屏装置建立与数据源设备的连接，获取数据源设备的投屏数据，同时辅助投屏装置获取音频信号；
8.辅助投屏装置对接收的音频信号进行混音消除、降噪、自动增益处理；
9.根据用户的选择，将处理后的音频信号和投屏数据发送给投屏设备进行实时投屏，或者发送给存储模块保存之后进行缓存投屏。
10.进一步的，在辅助投屏装置获取数据源设备的投屏数据前，还包括对数据源设备进行登录验证的步骤。
11.进一步的，所述登录验证的方法为：在辅助投屏装置的存储模块中存储有预先设置好的用户名和密码，登录验证模块将用户输入的用户名和密码与存储模块中存储的用户数据进行比对，如果属于存储模块中的用户数据，则建立辅助投屏装置与数据源设备的连接。
12.进一步的，辅助投屏装置同时接收两个以上数据源设备的投屏数据时，设置分屏数量，控制投屏设备分屏同时投放不同数据源设备的投屏数据。
13.进一步的，还包括利用会议室独立摄像头捕获会议室的视频数据并在投屏设备上投放。
14.进一步的，设定第一时间段和第二时间段，辅助投屏装置在第一时间段内没有接收到投屏数据时，或者辅助投屏装置与投屏设备断开连接持续第二时间段时，辅助投屏装置进入待机状态。
15.进一步的，所述辅助投屏装置根据其全向麦克风是否被调用来控制其喇叭的输出模式，当麦克风正在被调用，判断为当前为会议状态，切换喇叭为会议模式；否则，切换喇叭为多媒体音乐模式。
16.第二方面，本发明提供一种辅助投屏装置，包括：
17.接收模块，用于接收数据源设备的投屏数据；
18.声音获取模块，用于获取环境与数据源设备的音频数据；
19.声音处理模块，用于对声音获取模块获取的音频信号进行混音消除、降噪、自动增益处理；
20.存储模块，用于存储投屏数据和处理后的音频信号；
21.发送模块，用于实时转发接收模块接收的投屏数据和声音处理模块处理的音频信号，或者转发存储在存储模块中的投屏数据和音频信号；
22.显示控制模块，根据用户选定的投屏方式以及分屏数量，控制发送模块按照实时投屏或者暂存缓冲投屏的方式发送数据。
23.进一步的，本发明的辅助投屏装置还包括登录验证模块，用于将接收模块接收的登录信息与存储模块中存储的预设登录信息进行比对，确定接收模块接收的登录信息是否在预设登录信息中。
24.第三方面，本发明提供一种存储介质，其中存储有计算机程序，运行该计算机程序，能执行上述投屏方法。
25.本发明的投屏方法、辅助投屏装置及存储介质，在移动终端和投屏设备之间连接辅助投屏装置，该辅助投屏装置正常情况下是与一体机等投屏设备是长连的，投屏时，只需用户将笔记本电脑等移动终端与辅助投屏装置连接，辅助投屏装置会自动获取移动终端的画面和声音数据，经过降噪处理后，发送给投屏设备进行显示。本发明的辅助投屏装置还可以连接会议室的摄像头等设备。本发明的投屏方法、辅助投屏装置及存储介质，升级传统会议室，连接简单，可以调用会议室中独立的摄像头，提高用户的会议体验与会议效率。
附图说明
26.图1为本发明的投屏方法的步骤图；
27.图2为本发明的辅助投屏装置应用时的连接示意图；
28.图3为本发明的辅助投屏装置的原理框图。
具体实施方式
29.下面结合附图对本公开实施例进行详细描述。
30.以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
31.本发明的投屏方法，包括以下步骤：
32.步骤s1、辅助投屏装置建立与数据源设备的连接，获取数据源设备的投屏数据，同时辅助投屏装置获取音频信号。
33.数据源设备包括手机、笔记本等小屏幕的移动终端设备。投屏数据包括音频数据和图像数据。
34.本发明中，辅助投屏装置可以通过数据线与数据源设备连接，通过数据线连接的话能保证信号稳定的传输，且传输信号的速度快。辅助投屏装置也可以设置蓝牙模块，通过蓝牙模块与数据源设备连接。通过蓝牙方式建立连接有助于减少现场布线，方便建立连接后移动终端的移动。辅助投屏装置与数据源设备通过蓝牙方式传输图像数据和音频数据时，可同时连接2台数据源设备，并且需要在数据源设备比如笔记本电脑中安装移动终端的投屏软件。辅助投屏装置会保留最近8个配对的数据源设备，以备下次快速建立建立。辅助投屏装置通过数据线与数据源设备连接并传输图像数据和音频数据时，连接成功后即可传输，不需要在笔记本电脑中安装移动终端的投屏软件。当辅助投屏装置与笔记本电脑通过数据线连接后，可以自动在电脑端安装投屏软件。
35.辅助投屏装置置于会议室中，正常情况下与一体机等投屏设备长连的。非必要不断开辅助投屏装置与投屏设备的连接。辅助投屏装置与投屏设备的连接方式为无线连接。在辅助投屏装置和投屏设备中均设置无线模块，通过无线网络的方式建立辅助投屏装置与投屏设备之间的连接。
36.优选的，在辅助投屏装置获取数据源设备的投屏数据前，还包括对数据源设备进行登录验证的步骤。
37.辅助投屏装置设置登录验证模块，登录验证模块设置用户名和密码，在辅助投屏装置与数据源设备建立连接后，数据源设备上会显示登录的界面，用户填写用户名和密码后，由登录验证模块对登录用户进行身份验证。
38.登录验证的方法为：在辅助投屏装置的存储模块中存储有预先设置好的用户名和密码，登录验证模块将用户输入的用户名和密码与存储模块中存储的用户数据进行比对，如果属于存储模块中的用户数据，辅助投屏装置与数据源设备连接成功，辅助投屏装置开始接收数据源设备的投屏数据。增加登录验证步骤的有益效果是：可以防止在投屏进行本地会议或远程会议的过程中，有另一台数据源设备在不知情的情况下与辅助投屏装置进行了连接，因本次误连接中断了正常的会议投屏数据。进行登录验证后，不会发生误连接的情况，可以保证会议的顺畅进行。
39.辅助投屏装置的声音获取模块获取音频信号。
40.步骤s2、辅助投屏装置对接收的音频信号进行混音消除、降噪、自动增益处理。
41.本发明的辅助投屏装置的声音接收硬件设备采用全向麦克风，全向麦克风为四阵列麦克风 5w喇叭，具备3a算法。音频信号被辅助投屏装置的声音获取模块采集，经过声音处理模块进行混音消除、降噪、自动增益控制等音频的前处理过程，由音频编码器进行编码。其中前处理过程，acoustic echo cancelling (aec)、automatic gain control(agc)、active noise control(anc，也被称为noise cancellation、noise suppression)的使用方式，俗称3a。
42.音频3a处理在不同的应用场景三者的处理顺序也不同，如在webrtc中音频数据会依次经过aec和ns(noise suppression)或者ns与aecm(aecm是 webrtc专门为移动端打造的算法，计算量低，而aec是为pc打造的)。aec为回声消除算法。当一个设备在播放声音经过空间中的多次反射后，回音会被麦克风再次捕捉并采集到辅助投屏装置当中。这时音频的输入既有空间反射的回声也有本端说话声，如果缺少声音处理模块，就意味着通话中说话人一直可以听到自己的声音回音，这是非常差的一种体验。这里aec的作用就是通过播放的参考信号跟踪出回声并从采集信号中把回声消除掉，随后再经过降噪处理去除噪声。而其中的aecm是在ns模块之后通过获取clean与noise数据进行分析，aec则是ns模块之前直接获取noise数据进行分析。音频数据完成aec与 ns的处理后会进行agc处理，其包括aagc(模拟域的自动增益控制)与dagc (数字域的自动增益控制)。其中aagc的主要作用是通过系统的采集音量设置接口调整输入信号(大多用于pc端，移动端一般没有输入音量的系统接口)，如借助windows上的的api调整采集音量等参数。aagc可为输入的音频数据带来明显的质量优化，如提高信噪比，避免输入信号溢出等。但由于跨平台要求，需要构建一个面向多平台设备的框架，在不同的输入平台和设备都会有不同的输入音量，dagc可以根据对输入信号的跟踪，尽量的调整信号到达期望大小(幅值或能量)，从而避免不同设备采集带来的音量差异过大。完成agc处理的音频数据，即可进入audio encode进行编码操作。
43.步骤s3、根据用户的选择，将处理后的音频数据和投屏数据发送给投屏设备进行实时投屏，或者发送给存储模块保存之后进行缓存投屏。
44.本技术的辅助投屏装置有实时投屏方式和缓存投屏方式。可以根据用户选择进行实时投屏或缓存投屏。
45.辅助投屏装置与投屏设备之间通过无线方式传输数据。
46.进一步的，辅助投屏装置同时接收两个以上数据源设备的投屏数据时，设置分屏数量，控制投屏设备分屏同时投放不同数据源设备的投屏数据。
47.进一步的，本发明的投屏方法，还包括利用会议室独立摄像头捕获会议室的视频数据并在投屏设备上投放。
48.将会议室独立摄像头与辅助投屏装置建立连接，利用独立摄像头捕获与会现场的视频数据，作为另一投屏数据在投屏设备上投放。
49.进一步的，辅助投屏装置在第一设定时间段内没有接收到投屏数据时，或者辅助投屏装置与投屏设备断开连接第二设定时间段时，进入待机状态。第一设定时间段与第二设定时间段可以相同，也可以不相同，根据用户需要进行设定。本发明中，第一设定时间段和第二设定时间段取相同值，优选5分钟。具体时间段的设定不应作为对本发明的限制。
50.进一步的，本发明的辅助投屏装置根据全向麦克风是否被调用来控制其喇叭的输出模式，当麦克风正在被调用，判断为当前为会议状态，切换喇叭为会议模式，会议模式下
针对人声做优化，在重低音端做抑制，突出中音，还原度真实，让人声清澈、清晰，减少齿音、喉音、浑浊感觉；当麦克风没有被调用，切换喇叭为多媒体音乐模式，音乐模式着重低音丰满厚实有层次，中音明亮清晰，高频柔韧。
51.本技术的投屏方法可以在本地会议、远程语音会议、远程视频会议等场景中使用。
52.本地会议时，需要将笔记本上的内容投到会议室大屏上，让大家可以更方便的看到内容。将笔记本电脑与本发明的辅助投屏装置连接，如果是有线连接，笔记本不用进行任何设置即可一键将笔记本屏幕内容投放到一体机大屏幕上。远程语音会议时，笔记本投屏至大屏，本地与会人员能与远程的与会人员进行语音沟通。在本地需要投屏，需要本地拾音，即调用辅助投屏装置的麦克风和喇叭，对本地与会人员的语音进行采集，并将远程与会人员的语音进行输出。远程视频会议时，笔记本投屏至大屏，本地与会人员能与远程的与会人员进行语音沟通完，还可以互相看到对方。可以将本地会议室中独立的摄像头接入，一键投放会议室场景。本发明的辅助投屏装置正常情况下与一体机等投屏设备是长连的，投屏时，只需用户将笔记本电脑等移动终端与辅助投屏装置连接，辅助投屏装置会自动获取移动终端的画面和声音数据，经过降噪处理后，发送给投屏设备进行显示。本发明的辅助投屏装置还可以连接会议室的摄像头等设备。本发明的投屏方法、辅助投屏装置及存储介质，升级传统会议室，连接简单，可以调用会议室中独立的摄像头，提高会议的体验与效率。
53.本发明还提供一种辅助投屏装置，包括：
54.接收模块，用于接收数据源设备的投屏数据；
55.本发明中，辅助投屏装置设置蓝牙模块，或者与数据源设备通过数据线连接，投屏数据通过数据线传输给接收模块，或者通过蓝牙方式传输给接收模块。
56.声音获取模块，用于获取环境与数据源设备的音频数据；
57.声音处理模块，用于对声音获取模块获取的音频信号进行混音消除、降噪、自动增益处理；
58.存储模块，用于存储投屏数据和处理后的音频信号；
59.发送模块，用于实时转发接收模块接收的投屏数据和声音处理模块处理的音频信号，或者转发存储在存储模块中的投屏数据和音频信号；
60.本发明的发送为无线发送。辅助投屏装置设置无线模块，一体机等投屏设备也设置无线模块，辅助投屏装置与投屏设备无线连接，通过无线网络发送投屏数据和音频信号。
61.显示控制模块，根据用户选定的投屏方式以及分屏数量，控制发送模块按照实时投屏或者暂存缓冲投屏的方式发送数据。
62.优选的，本发明的辅助投屏装置还包括登录验证模块，用于将接收模块接收的登录信息与存储模块中存储的预设登录信息进行比对，确定接收模块接收的登录信息是否在预设登录信息中。增加登录验证模块可以防止在投屏进行本地会议或远程会议的过程中，有另一台数据源设备在不知情的情况下与辅助投屏装置进行了连接，因本次误连接中断了正常的会议投屏数据。进行登录验证后，不会发生误连接的情况，可以保证会议的顺畅进行。
63.本发明的辅助投屏装置的硬件配置介绍：
64.本发明的辅助投屏装置定位中小型会议室，配合智慧大屏，优化本地会议与远程会议体验。本发明的辅助投屏装置带一键投屏功能，与本技术人研发的一体机进行有线连
接后，可连接获取一体机热点账号密码。硬件装置中声音收集采用8个顶面环形排列的全向麦克风。麦克风直径不小于4cm，优选6cm，拾音距离为4米半。全向麦克风最好选择背面出声的(非底面出声)，这样可以尽可能与外面距离更近，如果高度不够，还需要考虑垫高。支持有线和无线扩展麦克风。本发明的辅助投屏装置自带锂电池，在没有市电的情况下，可以持续工作12小时以上，超长的电池工作时长，可以解决在无市电情况下的一些紧急会议的需求。
65.硬件装置中声音播放采用一个2英寸全频带腔体喇叭，可以人声增强和音乐增强。全频带腔体喇叭有两种播放模式：音乐模式：150hz～16khz，会议模式： 150hz～7khz。根据麦克风是否被调用来确定喇叭的播放模式。当麦克风正在被调用，判断为当前为会议状态，切换喇叭的播放模式为会议模式；当麦克风没有被调用，切换喇叭的播放模式为多媒体音乐模式。辅助投屏装置带wifi模块， wifi模块负责将笔记本电脑等移动终端输出的视频画面、音频输出传输给一体机等大屏的投屏设备，并接受一体机等大屏投屏设备的摄像头、麦克风数据。辅助投屏装置带经典蓝牙模块，负责无线连接笔记本电脑，扩展麦克风与喇叭。还带一个usb2.0 typea的母口，在笔记本电脑的全功能typec接口被辅助投屏装置占用后，可以扩展到辅助投屏装置的接口上插鼠标、u盘等产品，也可以对外充电。
66.本发明还提供一种存储介质，其中存储有计算机程序，运行该计算机程序，可以执行本发明的投屏方法。
67.在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
68.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或彼此可通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
69.以上仅为说明本发明的实施方式，并不用于限制本发明，对于本领域的技术人员来说，凡在本发明的精神和原则之内，不经过创造性劳动所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。