社交互动的定向交流方法、介质、服务端及交流系统与流程

1.本发明属于声音处理的技术领域，涉及一种语音定向交流方法，特别是涉及一种社交互动的定向交流方法、介质、服务端及交流系统。


背景技术：

2.随着电子产品功能的不断丰富，用户之间沟通的形式也多种多样，在社交互动时，不仅可以通过文字进行沟通，还可以通过语音或视频进行沟通。尤其在工作中，与传统的电话会议相比，现在的互联网会议则具备更多的交互形式。
3.然而，在现在大规模的互联网会议中，大部分时候只能一个人说话，其他人想要针对某一想法与他人进行简单交流时总是需要打断当前会议，导致会议效率低下，而且，在多种语言参与且带有翻译的会议中表现的尤为明显。
4.因此，如何提供一种社交互动的定向交流方法、介质、服务端及交流系统，以解决现有技术无法在社交互动时提供多种交流形式，进而提高社交互动的沟通质量等缺陷，成为本领域技术人员亟待解决的技术问题。


技术实现要素：

5.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种社交互动的定向交流方法、介质、服务端及交流系统，其优势在于，可以在社交互动时提供多种交流形式，进而提高社交互动的沟通质量。
6.本发明的另一目的在于提供一种社交互动的定向交流方法、介质、服务端及交流系统，其优势在于，向用户提供全员播放模式和定向沟通模式，以使用户可以根据沟通需要进行灵活选择，使得整个社交互动可以进行多线交流。
7.本发明的另一目的在于提供一种社交互动的定向交流方法、介质、服务端及交流系统，其优势在于，提供了一种多线交流的互联网会议实现方式，提高了互联网会议的效率。
8.本发明的另一目的在于提供一种社交互动的定向交流方法、介质、服务端及交流系统，其优势在于，在定向沟通模式下，可以根据确定的目标用户与非目标用户分别传输不同的声音数据。
9.本发明的另一目的在于提供一种社交互动的定向交流方法、介质、服务端及交流系统，其优势在于，通过混音进行声音融合，实现了声音数据的重定向。
10.本发明的另一目的在于提供一种社交互动的定向交流方法、介质、服务端及交流系统，其优势在于，可以使用户在远程会议中，保证不切断会议且不打断整个会议进程的情况下实现与他人的单独沟通。
11.为实现上述目的及其他相关目的，本发明一方面提供一种社交互动的定向交流方法，所述社交互动的定向交流方法包括以下步骤：在已经获取至少三个声音数据的情况下，获取模式指令；基于所述模式指令确定所述声音数据的融合方式，以根据确定的融合方式
进行融合后生成待传输声音数据；所述融合方式由确定的接收对象决定；将所述待传输声音数据按照所述融合方式中对应的接收对象进行传输，以实现所述模式指令的发起方与所述接收对象之间的定向交流。
12.为实现上述目的及其他相关目的，本发明另一方面提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的社交互动的定向交流方法。
13.为实现上述目的及其他相关目的，本发明另一方面提供一种服务端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述服务端执行所述的社交互动的定向交流方法。
14.为实现上述目的及其他相关目的，本发明另一方面提供一种社交互动的定向交流系统，所述社交互动的定向交流系统包括：所述的服务端、发起方和接收方；所述发起方用于发送模式指令；所述服务端用于在已经获取至少三个声音数据的情况下，获取模式指令；基于所述模式指令确定所述声音数据的融合方式，以根据确定的融合方式进行融合后生成待传输声音数据；所述融合方式由确定的接收对象决定；将所述待传输声音数据按照所述融合方式中对应的接收对象进行传输，以实现所述模式指令的发起方与所述接收对象之间的定向交流；所述接收方用于接收所述待传输声音数据。
附图说明
15.图1显示为本发明的社交互动的定向交流方法于一实施例中的原理流程图。
16.图2显示为本发明的社交互动的定向交流方法于一实施例中的模式指令示意图。
17.图3显示为本发明的社交互动的定向交流方法于一实施例中的全员播放流程图。
18.图4显示为本发明的社交互动的定向交流方法于一实施例中的定向沟通流程图。
19.图5显示为本发明的服务端于一实施例中的结构连接示意图。
20.图6显示为本发明的社交互动的定向交流系统于一实施例中的结构原理图。
21.图7显示为本发明的社交互动的定向交流系统于一实施例中的传输示意图。
22.图8显示为本发明的社交互动的定向交流系统于一实施例中的功能结构示意图。
23.元件标号说明
[0024]1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
服务端
[0025]
11
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
服务端通信模块
[0026]
111
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
服务端声音传输单元
[0027]
112
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
服务端控制传输单元
[0028]
12
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
声音融合模块
[0029]
121
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
全员声音融合单元
[0030]
122
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
定向混音单元
[0031]2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
发起方
[0032]
21
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
客户端控制模块
[0033]
211
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
全员播放单元
[0034]
212
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
定向沟通单元
[0035]
22
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
客户端通信模块
[0036]
221
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
客户端声音传输单元
[0037]
222
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
客户端控制传输单元
[0038]
23
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
音频模块
[0039]
231
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
声音采集单元
[0040]
232
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
声音播放单元
[0041]3ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
接收方
[0042]
s11～s13
ꢀꢀꢀꢀꢀꢀꢀꢀ
步骤
[0043]
s121a～s121b
ꢀꢀꢀꢀ
步骤
[0044]
s122a～s122c
ꢀꢀꢀꢀ
步骤
具体实施方式
[0045]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0046]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0047]
本发明所述的社交互动的定向交流方法、介质、服务端及交流系统可以在社交互动时提供多种交流形式，进而提高社交互动的沟通质量。
[0048]
以下将结合图1至图8详细阐述本实施例的一种社交互动的定向交流方法、介质、服务端及交流系统的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本实施例的社交互动的定向交流方法、介质、服务端及交流系统。
[0049]
请参阅图1，显示为本发明的社交互动的定向交流方法于一实施例中的原理流程图。如图1所示，所述社交互动的定向交流方法具体包括以下几个步骤：
[0050]
s11，在已经获取至少三个声音数据的情况下，获取模式指令。
[0051]
于一实施例中，所述模式指令至少包括：全员播放模式指令和定向沟通模式指令中的一种。
[0052]
具体地，存在用户a、用户b、用户c和用户d四个人进行语音的社交互动。用户a选定定向沟通模式，且需要与用户c进行单独沟通，用户b、用户c和用户d均选定全员播放模式。
[0053]
s12，基于所述模式指令确定所述声音数据的融合方式，以根据确定的融合方式进行融合后生成待传输声音数据；所述融合方式由确定的接收对象决定。
[0054]
具体地，以用户a选定定向沟通模式为例，所述模式指令为定向沟通模式指令，则根据定向沟通模式指令确定出不同的接收对象。若接收对象为目标用户，则目标用户接收的声音数据为全员声音融合后的数据；若接收对象为非目标用户，则非目标用户接收的声音数据为用户a以外的其他用户声音融合后的数据。
[0055]
请参阅图2，显示为本发明的社交互动的定向交流方法于一实施例中的模式指令
示意图。如图2所示，若是全员播放模式指令，则执行步骤s121，基于所述全员播放模式指令，对所有用户的声音数据进行融合；若是定向沟通模式指令，则执行步骤s122，基于所述定向沟通模式指令，针对特定的所述接收对象，对所有用户的声音数据进行特定形式的融合。
[0056]
请参阅图3，显示为本发明的社交互动的定向交流方法于一实施例中的全员播放流程图。如图3所示，s121包括以下步骤：
[0057]
s121a，将所有用户的声音数据进行格式转换，统一生成线性语音格式的音频流。
[0058]
具体地，于声音数据的处理中，数字化声音的过程实际上就是以一定的频率对来自电子设备中连续的模拟音频信号进行模数转换得到音频数据的过程；数字化声音的播放就是将音频数据进行数模转换变成模拟音频信号输出。线性语音格式的音频流是模拟记录的音频，比如磁带，开盘之类，是以模拟数据的方式记录在介质上，没有经过任何的编码压缩，由此音频在每一个时刻都是连续的而非离散的。
[0059]
s121b，对所有所述线性语音格式的音频流进行混音处理。由此，对线性语音格式的音频流进行混音处理可以最大程度的避免音频数据的失真以及保证音频数据传输至客户端时的音质效果。
[0060]
需要说明的是，对线性语音格式的音频流进行混音处理的方式不仅适用于全员播放模式的所有用户声音的融合，还适用于去除定向沟通发起方声音后其他用户声音的定向融合。
[0061]
请参阅图4，显示为本发明的社交互动的定向交流方法于一实施例中的定向沟通流程图。如图4所示，s122包括以下步骤：
[0062]
s122a，结合所述定向沟通模式指令，于参与社交的所有用户中确定具有定向交流需求的定向发起用户以及根据所述定向交流需求确定目标用户和非目标用户。其中，目标用户在被确认后，所用的客户端也相应切换为定向沟通模式。
[0063]
具体地，基于上述实例，定向发起用户为用户a，目标用户为用户c，非目标用户为用户b和用户d。且在用户c确认为目标用户之后，用户c所用的客户端也相应切换为定向沟通模式。
[0064]
s122b，对所有用户的声音数据进行融合后，形成第一待传输声音数据。
[0065]
具体地，将用户a、用户b、用户c和用户d的声音融合后形成第一待传输声音数据。
[0066]
于另一实施例中，第一待传输声音数据的形成过程也可以是先去除所述定向发起用户的声音数据，然后再将定向发起用户的声音数据单独发送至目标用户。且发送的时间并不作限制，可以是去除所述定向发起用户的声音数据与定向发起用户的声音数据两者同时发送，也可以是在不影响沟通效果以及保证跟进社交互动进程的前提下两个数据一前一后进行发送，例如，先发送去除所述定向发起用户的声音数据，再发送定向发起用户的声音数据或者先发送定向发起用户的声音数据，再发送去除所述定向发起用户的声音数据。
[0067]
s122c，对所有用户的声音数据进行融合后，去除所述定向发起用户的声音数据，形成第二待传输声音数据。
[0068]
于另一实施例中，将所有非目标用户的声音挑选出来，直接进行融合形成所述第二待传输声音数据。
[0069]
具体地，将用户b、用户c和用户d的声音融合后形成第二待传输声音数据。需要注
意的是，此时将用户c的声音融合进去是指用户c在接收到用户a单独沟通的声音数据之前，公开播放的声音。
[0070]
s13，将所述待传输声音数据按照所述融合方式中对应的接收对象进行传输，以实现所述模式指令的发起方与所述接收对象之间的定向交流。
[0071]
于一实施例中，将所述目标用户作为第一接收对象，将所述非目标用户作为第二接收对象；将所述第一待传输声音数据传输至所述第一接收对象，将所述第二待传输声音数据传输至所述第二接收对象。
[0072]
具体地，将用户c作为第一接收对象，并将第一待传输声音数据发送给用户c；将用户b和用户d作为第二接收对象，并将第二待传输声音数据发送给用户b和用户d。
[0073]
于一实施例中，将所述目标用户接收的第一待传输声音数据划分为定向沟通声音数据和非定向沟通声音数据，其中，定向沟通声音数据是指用户a与用户c之间进行单独沟通时的来往声音数据。分别对所述定向沟通声音数据和非定向沟通声音数据进行信号能量调整，以使所述目标用户接收到的定向沟通声音数据信号强于非定向沟通声音数据。具体地，用户c在接收到第一待传输声音数据后，所听到的用户a发出的声音，即单独沟通内容的声音较高，其他用户在社交互动中沟通的声音较低。此外，经过信号强度调节，使所述目标用户接收到的定向沟通声音数据信号弱于非定向沟通声音数据，也在本发明保护的范围内。
[0074]
于一实施例中，所述对所有用户的声音数据进行融合还包括以下步骤：对所有用户的声音数据确定的混音路数进行判断；将所述混音路数与预设路数进行比较，若所述混音路数大于所述预设路数，将所有的所述声音数据按照信号能量大小进行排列，并选取与所述预设路数相同的声音数据进行融合；若所述混音路数小于所述预设路数，则对所有的所述声音数据进行融合。
[0075]
本发明所述的社交互动的定向交流方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
[0076]
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述社交互动的定向交流方法。
[0077]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的计算机可读存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的计算机存储介质。
[0078]
请参阅图5，显示为本发明的服务端于一实施例中的结构连接示意图。如图5所示，本实施例提供一种服务端1，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述服务端执行所述社交互动的定向交流方法的各个步骤。
[0079]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(alication specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gatearray，简
称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0080]
上述的存储器可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
[0081]
于实际应用中，所述服务端可以根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以是由分布的或集中的服务器集群构成的云服务器，本实施例不作限定。
[0082]
请参阅图6，显示为本发明的社交互动的定向交流系统于一实施例中的结构原理图。如图6所示，所述社交互动的定向交流系统包括：服务端1、发起方2和接收方3。
[0083]
所述服务端1用于在已经获取至少三个声音数据的情况下，获取模式指令；基于所述模式指令确定所述声音数据的融合方式，以根据确定的融合方式进行融合后生成待传输声音数据；所述融合方式由确定的接收对象决定；将所述待传输声音数据按照所述融合方式中对应的接收对象进行传输，以实现所述模式指令的发起方与所述接收对象之间的定向交流。
[0084]
所述发起方2用于发送模式指令。
[0085]
所述接收方3用于接收所述待传输声音数据。
[0086]
请参阅图7，显示为本发明的社交互动的定向交流系统于一实施例中的传输示意图。如图7所示，所述接收方包括目标客户端和非目标客户端。
[0087]
所述目标客户端用于所述模式指令为定向沟通模式指令时，接收所述发起方的声音数据；
[0088]
所述非目标客户端用于所述模式指令为定向沟通模式指令时，未接收所述发起方的声音数据。
[0089]
具体地，如图7所示，参与社交互动的包括四个客户端：客户端a、客户端b、客户端c和客户端d。其中，客户端a作为定向交流的发起方，想与客户端b的用户进行单独沟通，此时，客户端b作为目标客户端，客户端c和客户端d作为非目标客户端。客户端a的用户将模式切换为定向沟通模式后，服务端将客户端a的声音数据提取出来，先将客户端a以外的客户端b、客户端c和客户端d声音数据进行混音，若在此基础上加入客户端a的声音数据，则生成第一待传输声音数据，并发送至客户端b；若并未在此基础上加入客户端a的声音数据，则生成第二待传输声音数据，并发送至客户端c和客户端d。
[0090]
需要说明的是，当客户端b作为目标客户端后，则客户端b也自动切换为定向沟通模式。此时客户端a与客户端b的用户均能正常收听公开的声音数据，额外的，客户端a与客户端b的用户单独沟通的内容仅在客户端a与客户端b之间进行传输，由此，实现了多线交流。
[0091]
相对应的，客户端a与客户端b的用户进行单独沟通，当客户端b的用户需要回复客户端a的用户时，则客户端b转换为定向交流的发起方。
[0092]
请参阅图8，显示为本发明的社交互动的定向交流系统于一实施例中的功能结构示意图。如图8所示，呈现了服务端1与作为发起方的客户端2的功能模块。
[0093]
服务端1包括服务端通信模块11和声音融合模块12。其中，服务端通信模块11包括服务端声音传输单元111和服务端控制传输单元112，声音融合模块12包括全员声音融合单元121和定向混音单元122。
[0094]
客户端2包括客户端控制模块21、客户端通信模块22和音频模块23。其中，客户端
unit，简称cpu)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统(system-on-a-chip，简称soc)的形式实现。
[0101]
本发明所述的社交互动的定向交流系统可以实现本发明所述的社交互动的定向交流方法，但本发明所述的社交互动的定向交流方法的实现装置包括但不限于本实施例列举的社交互动的定向交流系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
[0102]
综上所述，本发明所述社交互动的定向交流方法、介质、服务端及交流系统可以在社交互动时提供多种交流形式，进而提高社交互动的沟通质量。向用户提供全员播放模式和定向沟通模式，以使用户可以根据沟通需要进行灵活选择，使得整个社交互动可以进行多线交流。提供了一种多线交流的互联网会议实现方式，提高了互联网会议的效率。在定向沟通模式下，可以根据确定的目标用户与非目标用户分别传输不同的声音数据。通过混音进行声音融合，实现了声音数据的重定向。可以使用户在远程会议中，保证不切断会议且不打断整个会议进程的情况下实现与他人的单独沟通。本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
[0103]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。