多路音频混音的处理方法、混音装置及可读存储介质与流程

1.本发明属于混音技术领域，尤其涉及一种多路音频混音的处理方法及装置。


背景技术：

2.目前，在实现多方实时语音通信的方式中，有以下一种常用方式：甲用户可通过启动沟通软件中自带的会议功能创建会议通信(比如企业微信的音视频会议)，在所建立的会议通信可以将已安装相同沟通软件(企业微信)的乙用户拉进来以实现多方语音通信。在上述建立多方会议通信过程中，由于涉及沟通软件，因此沟通软件本身建立的多方语音通信会涉及后台服务参与，也即甲用户、乙用户需要在各自的移动终端上执行与后台服务相关的操作，比如建立用户账号、登录用户账号、接收好友邀请等操作。
3.因此上述这种实现多方语音通信的方式虽然可以实现多方通信，但是针对没有安装相同沟通软件的又需要进入会议中的用户(比如丙用户)，上述常用方式无效，无法将丙用户拉进来进行会议通信(受限同一会议平台)，以及这种多方语音的建立过程需要每个用户都执行一些与后台服务相关的复杂操作，降低建立会议的效率以及降低用户体验。
4.即现有实现多方通信的方式存在需每一方均具有相同沟通软件所导致的无法跨平台应用的问题。
5.因此，现有技术有待于改善。


技术实现要素：

6.本发明的主要目的在于提出一种多路音频混音的处理方法、混音装置及可读存储介质，以解决背景技术中所提及的现有实现多方语音通信的方式存在需每一方均具有相同沟通软件所导致的无法跨平台应用的问题。
7.本发明的第一方面，提供了一种多路音频混音的处理方法，应用于混音装置中，包括：
8.接收第一移动终端所发送的处于沟通状态的第一音频信息，所述第一音频信息经与所述第一移动终端所建立的短距离通道进行传输；
9.接收第二移动终端所发送的处于沟通状态的第二音频信息，所述第二音频信息经与所述第二移动终端所建立的短距离通道进行传输；
10.根据预设的第一混音选择策略对所述第一音频信息和所述第二音频信息进行混音处理形成本地混音信息；
11.将所述本地混音信息进行现场外放。
12.本发明的第二方面，提供了一种混音装置，包括存储器、处理器和总线，所述总线用于实现所述存储器、处理器之间的连接通信，所述处理器用于执行存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序时，实现第一方面的方法中的步骤。
13.本发明的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面的多路音频混音的处理方法的步骤。
14.本发明基于第一移动终端、第二移动终端以及混音装置，通过三个设备所建立的两条独立、互不干扰的近距离通道以便于将第一移动终端、第二移动终端上所分别接收的第一音频信息、第二音频信息经不同的近距离通道传输至混音装置中以进行混音处理后，进行外放。使得与第一移动终端进行远端沟通的第一对象、与第二移动终端进行远端沟通的第二对象、以及双移动终端本身的用户，快速、方便地实现多路沟通。且这种实现多路沟通的方式基于是应用混音装置进行混音，因此可以帮助使用者实现跨平台的会议，消除对接入者使用平台的限制。以及能够有效减少与第一移动终端对应的第一远端移动终端的用户、与第二移动终端对应的第二远端移动终端的用户所在对应移动终端上所需要执行的操作(比如远端用户仅需要执行接通电话的操作)。
附图说明
15.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1为本发明各个实施例所涉及的一种实施环境的结构示意图；
17.图2为本发明一个实施例提供的多方混音的处理方法流程图；
18.图3为本发明一个实施例提供的多方混音的处理方法流程图；
19.图4为本发明一个实施例提供的多方混音的处理方法流程图；
20.图5为本发明一个实施例提供的多方混音的处理方法流程图；
21.图6为本发明一个实施例提供的多方混音的处理方法流程图；
22.图7为本发明一个实施例提供的多方混音的处理方法流程图；
23.图8为本发明一个实施例提供的多方混音的处理装置的结构示意图；
24.图9为本发明一个实施例提供的多方混音的处理装置中混音装置的模块示意图。
25.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
26.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
27.需要注意的是，相关术语如“第一”、“第二”等可以用于描述各种组件，但是这些术语并不限制该组件。这些术语仅用于区分一个组件和另一组件。例如，不脱离本发明的范围，第一组件可以被称为第二组件，并且第二组件类似地也可以被称为第一组件。
28.请参考图1，其示出了本发明各个实施例所涉及的一种实施环境的结构示意图。该实施环境包括：混音装置10、第一移动终端21和第二移动终端31。
29.第一移动终端21可以是智能手机、平板电脑、电子书阅读器、mp3播放器(moving pictureexperts group audio layer iii，动态影像专家压缩标准音频层面3)、mp4(moving picture experts group audio layer iv，动态影像专家压缩标准音频层面3)播放器、ipad等等。
30.第二移动终端31可以是智能手机、平板电脑、电子书阅读器、mp3播放器(moving pictureexperts group audio layer iii，动态影像专家压缩标准音频层面3)、mp4
(moving picture experts group audio layer iv，动态影像专家压缩标准音频层面3)播放器、ipad、非智能手机等等。
31.混音装置10上设置有至少两个数据接口，这两个数据接口分别用于与对应的第一移动终端、第二移动终端进行有线或者无线连接；这两个数据接口分别为第一音频数据接口、第二音频数据接口，比如3.5mm接口、2.5mm接口、usb接口或者蓝牙接口。一般而言，当一个数据接口与第一移动终端进行有线连接时，另一个数据接口也与第二移动终端进行有线连接；当一个数据接口与第一移动终端进行无线连接时，另一个数据接口也与第二移动终端进行无线连接。其次，混音装置内还设置有混音模块，以提供混音处理功能。因为本发明中是依靠混音装置中的混音模块进行硬件式的混音处理，因此语音的混音在终端侧完成，不依赖网络服务器侧设备对语音混音的支持，混音装置本身不具备通讯功能、拨号功能，本质是一种处理装置。
32.该实施环境还包括与第一移动终端21形成远端沟通的第一远端移动终端22和与第二移动终端形成远端31沟通的第二远端移动终端32。其中，第一移动终端、第二移动终端所处环境作为本地会场，而第一远端移动终端22所处环境作为第一远端会场，第二移动终端所处环境作为第二远端会场。这种会场区分主要根据与混音装置的连接状态不同进行区分，比如第一移动终端、第二移动终端基于与混音装置处于直接连接(有线、无线)，而另外的第二远端移动终端、第一远端移动终端基于与混音装置处于间接连接。
33.本发明在下述实施例中仅以两个移动终端进行阐述，本领域技术人员可以理解本发明所适用的实施环境中还可以包括第三移动终端、第四移动终端等更多的移动终端，也即相应还包括与第三移动终端形成远端沟通的第三远端移动终端、与第四移动终端形成远端沟通的第四移动终端。
34.如图2所示，其示出了本发明一个实施例提供的多方混音的处理方法流程图，包括：
35.步骤s101，第一移动终端建立与混音装置之间的短距离通道；
36.在步骤s101中，可以通过有线或者无线方式将第一移动终端、混音装置连接起来，以使得第一移动终端建立与混音装置之间的短距离通道。其中，有线方式为：与混音装置上的第一音频数据接口建立用于处于沟通状态的第一音频信息进行传输的短距离有线通道，第一音频数据接口可以是3.5mm接口。无线方式为：与混音装置中的无线连接端口建立用于处于沟通状态的第一音频信息进行传输的短距离无线通道。
37.在步骤s101中，短距离通道是指第一移动终端与混音装置上的第一音频数据接口所建立的用于第一音频信息所传输的通道；该短距离通道建立的目的是将第一音频信息传输至混音装置中，以便于混音装置的混音模块将接收到的第一音频信息与来自第二移动终端的第二音频信息进行混音处理。
38.步骤s102，第二移动终端建立与混音装置之间的短距离通道；
39.在步骤s102中，可以通过有线或者无线方式将第二移动终端、混音装置连接起来，以使得第二移动终端建立与混音装置之间的短距离通道。其中，有线方式为：与混音装置上的第二音频数据接口建立用于处于沟通状态的第二音频信息进行传输的短距离有线通道。无线方式为：与混音装置中的无线连接端口建立用于处于沟通状态的第一音频信息进行传输的短距离无线通道。
40.在步骤s102中，短距离通道是指第二移动终端与混音装置上的第二音频数据接口所建立的用于第一音频信息所传输的通道；该短距离通道建立的目的是将第二音频信息传输至混音装置中，以便于混音装置的混音模块将接收到的第二音频信息与来自第一移动终端的第一音频信息进行混音处理。
41.步骤s103，第一移动终端根据短距离通道发送处于沟通状态的第一音频信息至所述混音装置；
42.在步骤s103中，混音装置根据与第一移动终端所建立的短距离通道接收第一移动终端所发送的处于沟通状态的第一音频信息；处于沟通状态的第一音频信息包括与第一移动终端关联的处于通话沟通状态的通话音频传输信息和/或与所述第一移动终端关联处于会议沟通状态的会议音频传输信息。
43.进一步，与第一移动终端关联的处于通话沟通状态的通话音频传输信息表示由第一移动终端通过拨打功能与第一远端移动终端所建立的通话沟通过程中的通话音频传输信息。比如，a用户的第一移动终端通过拨打功能与b用户的第一远端移动终端建立通话沟通过程，在该通话沟通过程中a用户所输出音频以及b用户所输出的音频均为处于通话沟通状态的通话音频传输信息。
44.进一步，与所述第一移动终端关联处于会议沟通状态的会议音频传输信息表示由第一移动终端通过即时通讯app中建立会议功能与第一远端移动终端所建立的会议沟通过程中的会议音频传输信息。比如，a用户的第一移动终端通过企业微信app与b用户的第一远端移动终端建立会议沟通过程，在该会议沟通过程中a用户所输出音频、b用户所输出的音频均为处于会议沟通状态的会议音频传输信息。
45.步骤s104，第二移动终端根据短距离通道发送处于沟通状态的第二音频信息至所述混音装置；
46.在步骤s104中，混音装置根据与第二移动终端所建立的短距离通道接收第二移动终端所发送的处于沟通状态的第二音频信息；处于沟通状态的第二音频信息包括与第二移动终端关联的处于通话沟通状态的通话音频传输信息和/或与第二移动终端关联处于会议沟通状态的会议音频传输信息。
47.进一步，与第二移动终端关联的处于通话沟通状态的通话音频传输信息表示由第二移动终端通过拨打功能与第二远端移动终端所建立的通话沟通过程中的通话音频传输信息。比如，c用户的第二移动终端通过拨打功能与d用户的第二端移动终端建立通话沟通过程，在该通话沟通过程中c用户所输出音频以及d用户所输出的音频均为处于通话沟通状态的通话音频传输信息。
48.进一步，与第二移动终端关联处于会议沟通状态的会议音频传输信息表示由第二移动终端通过即时通讯app中建立会议功能与第二远端移动终端所建立的会议沟通过程中的会议音频传输信息。比如，c用户的第二移动终端通过企业微信app与d用户的第二远端移动终端建立会议沟通过程，在该会议沟通过程中c用户所输出音频、d用户所输出的音频均为处于会议沟通状态的会议音频传输信息。
49.步骤s105，混音装置根据预设的第一混音选择策略对所述第一音频信息和所述第二音频信息进行混音处理形成本地混音信息，将本地混音信息进行现场外放。
50.在步骤s105中，混音装置中的混音模块根据预设的第一混音选择策略对第一音频
信息、第二音频信息进行混音处理；与传统的app服务器侧需要同时对于来自多个客户端所传输的多个多方通信过程中的音频进行混音处理相比，本技术中的混音装置由于仅需对于经第一音频数据接口传输的第一音频信息、经第二音频数据接口传输的第二音频信息进行混音处理，基于所需要进行混音处理的音频信息更少，且都是属于同一多方通信过程，因此混音效率、稳定性更高，在应用于对应的混音策略时能取得较佳的混音质量。
51.在上述实施例中，基于步骤s101、s102、s103、s104以及s105，通过两个移动终端结合一个混音装置在本地会场建立两个短距离通道，由这两个短距离通道分别接收两个远端移动终端所分别传输的第一音频信息以及第二音频信息，由此在本地会场中基于混音装置将对于上述两个音频信息进行混音处理后进行外放。因此能够简便、快速地实现多方通信，且不会受限于每个参与方对应的移动终端需要属于同一平台、安装相同的沟通app。以及在建立实时会议过程中，远端的两个移动终端无需进行额外的复杂操作，最复杂操作也仅是接通电话即可被拉进实时会议中，大大提高远端移动终端的远端用户的使用体验。
52.在上述实施例中，所述处于沟通状态的第二音频信息还可以是录音信息。具体的，这个录音信息可以是第二移动终端所本身存储的，也可以是经第二远端移动终端所传输过来的。则该录音信息可以参与到后续的混音处理中以进行外放，即录音信息可以被本地会场外放，同时该录音信息可以传输至另一个第一远端移动终端。提供了一种能够通过建立多方语音会议，将一个录音信息进行多方播放、传输，适用于一些较严肃的应用场景，实用性强。
53.在上述实施例中，当第一音频信息为与第一移动终端关联的处于通话沟通状态的通话音频传输信息，以及第二音频信息为与第二移动终端关联处于会议沟通状态的会议音频传输信息时，即步骤s105的混音装置根据预设的第一混音选择策略对通话音频传输信息、会议音频传输信息进行混音处理形成本地混音信息，也即本实施例不局限于所需要进行混音处理的两个音频信息是否属于同一类型，这也是步骤s101、s102所建立的短距离通道的好处、优势，这是与现有技术形成区别的一个点。
54.在步骤s105中，可选地，所述混音装置的混音模块所执行的混音处理对应的第一混音选择策略为：其中，ao
m
表示第m路所输出的混音信息，b
m
代表第m路音频输出的输出增益，n代表混音装置所需要进行混音处理的总路数，a
k
代表第k路音频输入的增益，k是混音处理中的一个代表路数的量；ai
k
表示第k路的音频信息，a
m
代表第m路音频输入的增益，ai
m
表示第m路的音频信息。在混音装置的混音模块接收到来自多路的音频信息时(第一音频信息、第二音频信息)，根据第一混音选择策略来确定所需要进行混音处理的各音频信息，然后处理为用于现场外放的输出aom(本地混音信息)，以通过较佳的混音处理质量得到本地混音信息，从而适用于现场外放。当然，混音处理可以不局限于第一混音选择策略，这里不进行赘述。
55.其中，对于步骤s105中的第一混音选择策略的这个第一混音选择策略主要起到从第一音频信息、第二音频信息中进行选择以形成待进行混音处理的音频信息，在完成选择后，将待进行混音处理的音频信息进行混音处理以形成本地混音信息，然后将本地混音信息进行现场外放。
56.而且需要说明的是，基于本发明中的第一混音选择策略的
可以明显看出本发明不仅适用第一音频信息、第二音频信息，在增加数据接口的情况下，也适用于第三音频信息、第四音频信息等，也即适用多方混音。
57.更具体地：所述根据预设的第一混音选择策略对所述第一音频信息和所述第二音频信息进行混音处理形成本地混音信息具体包括：
58.步骤s1051，如果接收到用户的第一选择指令，则根据所述第一选择指令从第一音频信息和第二音频信息中选择出待进行混音处理的音频信息，根据所述待进行混音处理的音频信息进行混音处理以形成本地混音信息；
59.其中，所述第一选择指令是通过用户在混音装置上的选择按钮或者触摸屏进行触发的，所述第一选择指令的作用是基于用户的自主选择性确定待进行混音处理的音频信息(确定哪路音频需要进行混音处理)。比如，现在混音装置已分别与第一移动终端、第二移动终端建立两个独立的短距离通道，但本地会场的用户可以通过自主选择，仅选择其中一个移动终端所传输的音频信息进行混音处理而外放(另一个移动终端因隐私问题或者未与对应的远端移动终端接通而未被选择)。
60.步骤s1052，如果没有接收到用户的第一选择指令，则自动将第一音频信息和第二音频信息进行混音处理形成本地混音信息；当没有接收到用户的第一选择指令，则自动将混音装置通过麦克风所接收的本地音频信息、第一音频数据接口所接收的第一音频信息和第二音频数据接口所接收的第二音频信息自动确定待进行混音处理的音频信息，然后将待进行混音处理的音频信息进行混音处理以形成本地混音信息，最后进行现场外放。
61.需要说明的是，在各个实施例中，短距离通道、处于沟通状态的第一音频信息、处于沟通状态的第二音频信息、第一混音选择策略等是相同的技术特征，其对应解释、功能均相同。因此基于在其中一个实施例中进行说明后，其余实施例不再进行重复赘述。
62.本发明还包括以下步骤：
63.接收本地会场中处于沟通状态的本地音频信息，本地音频信息由混音装置的麦克风获取；
64.根据预设的第一混音选择策略对所述本地音频信息进行混音处理形成远端混音信息，将远端混音信息分别经短距离通道发送至第一移动终端以及第二移动终端，以便于第一移动终端接收到远端混音信息后进行输出以及第二移动终端接收到远端混音信息后进行输出。
65.这里需要注意的是，所述远端混音信息为两路远端混音信息，该两路远端混音信息与本地混音信息是同时形成。具体的，混音装置中的混音模块将第一音频信息、第二音频信息进行混音处理以形成本地混音信息，同时混音装置中的混音模块将本地音频信息进行混音处理以形成两路远端混音信息，该两路远端混音处理分别经两个短距离通道分别传输至与第一移动终端对应的第一远端移动终端以及与第二移动终端对应的第二远端移动终端。也即说明本发明的多路音频混音的处理方法是同时形成三路混音信息(两路远端混音信息、一路本地混音信息)，以此来达到本地会场、远端会场的实时会议沟通。
66.其中，两路远端混音信息是混音装置中的混音模块对本地音频信息进行混音处理所形成，一路本地音频信息是混音装置中的混音模块对第一音频信息、第二音频信息进行混音处理所形成。
67.其中，所述麦克风所获取的本地音频信息会先执行回声消除处理，然后再根据预
设的第一混音选择策略对所述经回声消除处理的本地音频信息进行混音处理形成远端混音信息；回声消除处理是针对同时包含外放模块(扬声器)以及拾音模块(麦克风)的混音装置，以通过回声消除处理对麦克风所获取的本地音频信息进行处理后，再执行混音处理，在保证所需要进行混音处理的本地音频信息没有回声。
68.其中，本地音频信息是由混音装置的拾音模块对经混音装置的麦克风所接收的本地会话音频进行降噪处理后所输出至混音装置内混音模块的一路音频信息；本地会话音频是指处于本地会场中用户所发出的声音(比如持有第一移动终端的a用户发出的以及持有第二移动终端的c用户发出的)。
69.当然需要说明，a用户和c用户可以是同一用户，也即一个用户同时持有第一移动终端、第二移动终端，基于不同类型的客户分别与不同的移动终端关联；因此可以基于本发明的混音装置执行多方混音的处理方法，从而将该用户的不同移动终端上的不同用户快速、简便拉进到一个会议中，进行多方沟通。
70.如图3所示，为本发明中的一种多路音频混音的处理方法，应用于混音装置中，包括：
71.步骤s200，接收第一移动终端所发送的处于沟通状态的第一音频信息，所述第一音频信息经与所述第一移动终端所建立的短距离通道进行传输；
72.步骤s201，接收第二移动终端所发送的处于沟通状态的第二音频信息，所述第二音频信息经与所述第二移动终端所建立的短距离通道进行传输；
73.步骤s202，根据预设的第一混音选择策略对第一音频信息和第二音频信息进行混音处理形成本地混音信息；
74.在步骤s202中，第一混音选择策略是混音装置中混音模块预先设置的。
75.步骤s203，将所述本地混音信息进行现场外放。
76.在步骤s203中，现场外放表示通过通过混音装置上的扬声器将混音信息进行播放；也即使得处于本地会场的持有第一移动终端的a用户、处于本地会场的持有第二移动终端的b用户能够基于这种现场外放实现了与第一远端移动终端对应的c用户、与第二远端移动终端对应的d用户多方通信，且基于本地混音信息是经过混音处理，因此所播放的来自各方的音频信息是按预设逻辑顺序进行外放，具备较佳的外放效果。
77.需要说明的是，对于与第一远端移动终端对应c用户，不特指该c用户为一个，如果第一移动终端与第一远端移动终端所建立的是会议沟通过程，则c用户可以是多位用户。对于与第二远端移动终端对应d用户同理，不再赘述。
78.在上述实施例中，可以适用于一种应用场景，比如第一移动终端为智能手机，智能手机为安装有沟通软件(比如企业微信)的手机；第二移动终端为非智能手机，非智能手机为无法安装沟通软件的手机(老式的诺基亚或者老人机)，基于老人机具备3.5mm接口，可以实现与混音装置的数据接口实现连接。即实现老式手机与新式手机之间的实时会议建立，在这样的基础上，第二移动终端通过拨号功能将第二远端移动终端拉进实时会议，而第一移动终端即可以通过拨号功能将第一远端移动终端拉进实时会议，也可以通过沟通软件将第一远端移动终端拉进实时会议。即实现老式手机、新式手机的实时会议建立方式，这是现有技术所没有的。
79.如图4所示，为本发明中的一种多路音频混音的处理方法，应用于混音装置中，包
括：
80.步骤s199，通过所述混音装置上的第一音频数据接口与所述第一移动终端建立用于处于沟通状态的第一音频信息进行传输的短距离有线通道；
81.或者通过所述混音装置中的无线连接端口与所述第一移动终端建立用于处于沟通状态的第一音频信息进行传输的短距离无线通道。
82.步骤s200，接收第一移动终端所发送的处于沟通状态的第一音频信息，所述第一音频信息经与所述第一移动终端所建立的短距离通道进行传输；
83.步骤s201，接收第二移动终端所发送的处于沟通状态的第二音频信息，所述第二音频信息经与所述第二移动终端所建立的短距离通道进行传输；
84.步骤s202，根据预设的第一混音选择策略对所述第一音频信息和所述第二音频信息进行混音处理形成本地混音信息；
85.其中，所述本地音频信息是由混音装置的拾音模块对经混音装置的麦克风所接收的本地会话音频进行降噪处理后所输出至混音装置内混音模块的一路音频信息；本地会话音频是由处于本地会场中用户所发出的声音，本地会场中用户包括第一移动终端的a用户和第二移动终端的b用户。
86.步骤s203，将本地混音信息进行现场外放；
87.步骤s204，通过麦克风获取本地音频信息；
88.步骤s205，根据预设的第一混音选择策略对本地音频信息进行混音处理形成远端混音信息，将远端混音信息分别经短距离通道发送至第一移动终端以及第二移动终端，以便于第一移动终端接收到远端混音信息后进行输出以及第二移动终端接收到远端混音信息后进行输出。
89.在本实施例中，基于步骤s204、s205，即本技术中的多路音频混音的处理方法不仅考虑到本地会场的多路混音处理，也对于不同的远端会场执行多路混音处理，以基于所形成的本地混音信息、第一远端会场混音信息、以及第二远端会场混音信息提高不同会场的外放的质量。(对于第二远端会场混音信息的形成原理与第一远端会场混音信息的形成原理相同，不同点在于经不同的音频数据接口输出，因此不再赘述)
90.如图7所示，将本地混音信息进行现场外放之后，包括：
91.步骤s206，如果接收到用户的第二选择指令，则根据第二选择指令从所述第一音频信息和所述第二音频信息中重新选择出待进行混音处理的音频信息，根据所述待进行混音处理的音频信息进行混音处理以形成新的本地混音信息；
92.其中，第二选择指令是通过用户在混音装置上的选择按钮或者触摸屏进行触发的，所述第二择指令的作用是基于用户的选择确定需进行下一次混音处理的音频信息(确定哪路音频还需要进行混音处理，以便于与该路音频的远端用户进行下一时刻沟通)。
93.步骤s207，将新的本地混音信息进行现场外放。
94.上述优选实施例基于步骤s206、步骤s207设置，使得处于本地会场的a、c用户，在进行完一轮现场会议沟通后(认为其中远端的其中一路已完成沟通、无需再进行下一步现场沟通)，因此基于步骤s206的a、c用户对于混音装置上选择按钮或者触摸屏进行触发所生成的第二选择指令，由第二选择指令去重新选择出待进行混音处理的音频信息，根据所述待进行混音处理的音频信息进行混音处理以形成新的本地混音信息；由此来实现第二次的
多方沟通。
95.如图5所示，本发明的第二方面，提供了一种多路音频混音的处理方法，应用于第一移动终端中，包括：
96.步骤s301，建立与混音装置之间的短距离通道；
97.步骤s302，根据所述短距离通道发送处于沟通状态的第一音频信息至所述混音装置，以便于所述混音装置将所述第一音频信息和来自第二移动终端的处于沟通状态的第二音频信息进行混音处理后现场外放。
98.进一步，建立与混音装置之间的短距离通道包括：
99.与所述混音装置上的第一音频数据接口建立用于处于沟通状态的第一音频信息进行传输的短距离有线通道；
100.或者与所述混音装置中的无线连接端口建立用于处于沟通状态的第一音频信息进行传输的短距离无线通道。
101.如图6所示，在所述建立与混音装置之间的短距离通道之后，包括：
102.步骤s301，接收所选择的远端对象，所述远端对象是由用户对第一移动终端中所显示的提示信息中所选择的对象；
103.在步骤s301中，具体地：在显示界面中显示提示信息，基于提示信息接收所选择的远端对象，所述提示信息包括预设时间段内达到预设次数通话过程的处于通讯录中的联系人名单；比如近2天内达到至少1次通话过程的联系人。
104.步骤s3011，发送携带有多路沟通标识的第一沟通请求至所述远端对象，所述第一沟通请求用于与所述远端对象建立沟通状态；
105.在步骤s3011中，多路沟通标识可以是多路沟通语音信息或者多路沟通图像信息，以在第一沟通请求到达第一远端移动终端的远端对象时，将对应的多路沟通语音信息或者多路沟通图像信息进行输出；以提示远端对象同意路沟通语音信息表示愿意参与多方通信(如若此时不方便或者涉及隐私，请不要接受该第一沟通请求)，起到提示、提醒作用。
106.步骤s3012，如果接收到所述远端对象基于所述第一沟通请求所反馈的同意多路沟通的第一回应信息，则执行根据所述短距离通道发送处于沟通状态的第一音频信息至所述混音装置，以便于所述混音装置将所述第一音频信息和来自第二移动终端的处于沟通状态的第二音频信息进行混音处理后现场外放。
107.如图8所示，本发明的第三方面，提供了一种多路混音的处理装置，应用于混音装置10中，包括：
108.第一接收模块401，用于接收第一移动终端所发送的处于沟通状态的第一音频信息，第一音频信息经与第一移动终端所建立的短距离通道进行传输，该第一接收模块401可以是第一音频数据接口，该第一音频数据接口可以与第一移动终端建立有线连接或者无线连接；
109.第二接收模块402，用于接收第二移动终端所发送的处于沟通状态的第二音频信息，第二音频信息经与第二移动终端所建立的短距离通道进行传输，该第二接收模块402可以是第二音频数据接口，该第二音频数据接口可以与第二移动终端建立有线连接或者无线连接；
110.混音模块403，用于根据预设的第一混音选择策略对所述第一音频信息和所述第
二音频信息进行混音处理形成本地混音信息；
111.第一外放模块404，用于将混音信息进行现场外放；外放模块可以是安装在混音装置10上的外放元件。
112.麦克风，用于获取处于本地会场的本地声音；
113.回声消除模块，用于对麦克风所获取的本地音频信息进行回声消除处理；
114.降噪单元，用于执行降噪处理。
115.其中，混音模块403的混音处理中的第一混音选择策略为：其中，ao
m
表示第m路所输出的混音信息，b
m
代表第m路音频输出的输出增益，n代表混音装置所需要进行混音处理的总路数，a
k
代表第k路音频输入的增益，k是混音处理中的一个代表路数的量；ai
k
表示第k路的音频信息，a
m
代表第m路音频输入的增益，ai
m
表示第m路的音频信息。
116.更具体地：混音模块403包括：
117.第一混音单元，用于如果接收到用户的第一选择指令，则根据所述第一选择指令从第一音频信息和第二音频信息中选择出待进行混音处理的音频信息，根据所述待进行混音处理的音频信息进行混音处理以形成本地混音信息；
118.第二混音单元，用于如果没有接收到用户的第一选择指令，则自动将第一音频信息和第二音频信息进行混音处理形成本地混音信息；当没有接收到用户的第一选择指令，则自动将混音装置通过麦克风所接收的本地音频信息、第一音频数据接口所接收的第一音频信息和第二音频数据接口所接收的第二音频信息自动确定待进行混音处理的音频信息，然后将待进行混音处理的音频信息进行混音处理以形成本地混音信息，最后进行现场外放。
119.更具体地，还包括：
120.第三接收模块，用于接收本地会场中处于沟通状态的本地音频信息，本地音频信息由混音装置的麦克风获取；
121.远端混音信息生成模块，用于根据预设的第一混音选择策略对所述本地音频信息进行混音处理形成远端混音信息，将远端混音信息分别经短距离通道发送至第一移动终端以及第二移动终端，以便于第一移动终端接收到远端混音信息后进行输出以及第二移动终端接收到远端混音信息后进行输出。
122.更具体地，还包括：
123.第二选择指令接收模块，用于如果接收到用户的第二选择指令，则根据第二选择指令从所述第一音频信息和所述第二音频信息中重新选择出待进行混音处理的音频信息，根据所述待进行混音处理的音频信息进行混音处理以形成新的本地混音信息；
124.第二外放模块，用于将新的本地混音信息进行现场外放。
125.图9示出本发明一个实施例提供的多方混音的处理装置中混音装置的模块示意图。该混音装置包括存储器601、处理器602、总线603及存储在存储器601上并可在处理器602上运行的计算机程序；所述信号处理单元内部设置有第一充电回路和第二充电回路，所述第一充电回路中设置有第一开关，所述第二充电回路中设置有第二开关；所述总线用于实现所述存储器、处理器之间的连接通信；所述处理器用于执行存储在所述存储器上的计算机程序；所述处理器执行所述计算机程序时，实现上述各实施例中多方混音的处理方法
的步骤。
126.如图8所示，该混音装置还包括第一接收模块401、第二接收模块402、混音模块403、外放模块404、拾音模块405以及回声消除模块406。
127.第一接收模块401表示第一音频数据接口，第二接收模块402表示第二音频数据接口。
128.存储器601可以是高速随机存取记忆体(ram，random access memory)存储器，也可为非不稳定的存储器(non
‑
volatile memory)，例如磁盘存储器。存储器601用于存储可执行程序代码，处理器602与存储器601耦合。
129.进一步的，本技术还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的电子装置中，该计算机可读存储介质可以是前述图9所示实施例中的存储器。
130.该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述实施例中的状态检测方法。进一步的，该计算机可存储介质还可以是u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、ram、磁碟或者光盘等各种可以存储程序代码的介质。
131.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
132.作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
133.另外，在本技术各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
134.集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的可读存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
135.需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本技术所必须的。
136.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部
分，可以参见其它实施例的相关描述。
137.本发明还提供了一种多路混音的处理装置，应用于第一移动终端中，包括：
138.第一通道建立模块，用于建立与混音装置之间的短距离通道；
139.第一发送模块，用于根据短距离通道发送处于沟通状态的第一音频信息至所述混音装置，以便于所述混音装置将所述第一音频信息和来自第二移动终端的处于沟通状态的第二音频信息进行混音处理后现场外放。
140.进一步，第一通道建立模块包括：
141.第一有线建立单元，用于与所述混音装置上的第一音频数据接口建立用于处于沟通状态的第一音频信息进行传输的短距离有线通道；或者
142.第一无线建立单元，用于与所述混音装置中的无线连接端口建立用于处于沟通状态的第一音频信息进行传输的短距离无线通道。
143.进一步，还包括：
144.接收对象模块，用于接收所选择的远端对象；
145.发送请求模块，用于发送携带有多路沟通标识的第一沟通请求至所述远端对象，所述第一沟通请求用于与所述远端对象建立沟通状态；
146.执行模块，用于如果接收到所述远端对象基于所述第一沟通请求所反馈的同意多路沟通的第一回应信息，则执行根据所述短距离通道发送处于沟通状态的第一音频信息至所述混音装置，以便于所述混音装置将所述第一音频信息和来自第二移动终端的处于沟通状态的第二音频信息进行混音处理后现场外放。
147.本发明基于第一移动终端、第二移动终端以及混音装置，通过三个设备所建立的两条独立、互不干扰的近距离通道以便于将第一移动终端、第二移动终端上所分别接收的第一音频信息、第二音频信息经不同的近距离通道传输至混音装置中以进行混音处理后，进行外放。使得与第一移动终端进行远端沟通的第一对象、与第二移动终端进行远端沟通的第二对象、以及双移动终端本身的用户，快速、方便地实现多路沟通。且这种实现多路沟通的方式基于是应用混音装置进行混音，因此可以帮助使用者实现跨平台的会议，消除对接入者使用平台的限制。
148.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。