一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

音频处理方法及相关装置、电子设备、存储介质与流程

2021-12-03 23:01:00 来源:中国专利 TAG:


1.本技术涉及音频处理技术领域,特别是涉及一种音频处理方法及相关装置、电子设备、存储介质。


背景技术:

2.随着新常态下我国经济稳步增长,国内传统产业加快升级、新兴产业茁壮成长。其中,作为企业内部以及各企业合作讨论中必不可缺的一环,商务投屏设备一直都有着广阔的市场发展空间。合作谈判、教学授课、项目讨论、培训推广等场景均离不开商务投屏设备的帮助。
3.研究发现,目前商务投屏设备已经无法满足用户日新月异的需求。此外,对于跨语种交流的会议场景下以及远程会议场景下,录音、翻译等功能也成为了会议中的重点。为了在会议上实现各项功能,往往需要携带配置多个设备,从而增大需要配置的硬件设备与软件的数量,流程步骤繁多,难以达到会议流程快捷化、一体化的目标,无法满足现代多人会议场景下的多元化需求,给用户体验造成了一定程度的负面影响。


技术实现要素:

4.本技术主要解决的技术问题是提供一种音频处理方法及相关装置、电子设备、存储介质,能够扩展投屏设备的使用范围。
5.为了解决上述技术问题,本技术第一方面提供了一种音频处理方法,音频处理方法由源端设备执行,音频处理方法包括:获取投屏设备采集到的音频数据;其中,投屏设备与源端设备通过预设接口连接;基于源端设备的状态检测结果,采用不同策略处理音频数据。
6.其中,状态检测结果包含以下任一者:源端设备当前是否运行投屏设备的定制程序、源端设备是否具有对投屏设备的配置规则。
7.其中,状态检测结果包含源端设备当前是否运行投屏设备的定制程序;基于源端设备的状态检测结果,采用不同策略处理音频数据,包括:检测到状态检测结果包括源端设备运行定制程序,获取音频数据的识别结果。
8.其中,识别结果包括音频数据的识别文本;在获取音频数据的识别结果之后,音频处理方法还包括:将识别结果显示于预设设备;其中,预设设备包括:源端设备、通过投屏设备与源端设备投屏连接的显示设备中至少一者。
9.其中,识别结果还包括音频数据所属的发言对象;在获取音频数据的识别结果之后,音频处理方法还包括:基于音频数据的识别文本和音频数据所属的发言对象,获取会话记录。
10.其中,识别文本包括第一文本、第二文本中至少一者;其中,第一文本基于音频数据直接识别得到,第一文本以音频数据的源语种表示,第二文本以与源语种不同的第一目标语种表示,且第二文本与第一文本具有相同语义。
11.其中,识别结果包括音频数据的传译音频;在获取音频数据的识别结果之后,音频处理方法还包括:指示播放设备播放传译音频;其中,播放设备包括:源端设备、投屏设备、通过投屏设备与源端设备投屏连接的显示设备中任一者,音频数据以源语种表达,传译音频采用与源语种不同的第二目标语种表达,且传译音频与音频数据具有相同语义。
12.其中,音频数据包括语音数据和回环数据,在获取音频数据的识别结果之前,音频处理方法还包括:基于语音数据和回环数据,优化得到待识别音频;其中,识别结果是基于待识别音频识别得到的。
13.其中,获取音频数据的识别结果,包括:将音频数据发送至云端设备;其中,云端设备集成有音频识别模型,音频识别模型用于识别音频数据;接收云端设备对音频数据的识别结果。
14.其中,基于源端设备的状态检测结果,采用不同策略处理音频数据,还包括:检测到状态检测结果包括源端设备未运行定制程序,保存音频数据。
15.其中,获取与源端设备电连接的投屏设备所采集到的音频数据,包括:基于状态检测结果,采用与预设接口相关的不同协议获取音频数据。
16.其中,状态检测结果包含源端设备当前是否运行投屏设备的定制程序;基于状态检测结果,采用与预设接口相关的不同协议获取音频数据,包括:在状态检测结果包括源端设备运行定制程序的情况下,采用第一协议获取音频数据;其中,第一协议为预设接口的自定义协议;和/或,在状态检测结果包括源端设备未运行定制程序的情况下,采用第二协议获取音频数据;其中,第二协议为预设接口的标准协议。
17.其中,音频处理方法还包括:检测到状态检测结果满足预设条件,获取投屏设备的设备标识;基于设备标识,获取适用于投屏设备的升级固件;基于升级固件,对投屏设备进行升级。
18.其中,音频处理方法还包括以下至少一者:将数据文件存储至云端设备;从云端设备下载数据文件;编辑云端设备中的数据文件。
19.为了解决上述技术问题,本技术第二方面提供了一种音频处理装置,包括:数据获取模块,用于获取投屏设备采集到的音频数据;其中,投屏设备与源端设备通过预设接口连接;数据处理模块,用于基于源端设备的状态检测结果,采用不同策略处理音频数据。
20.为了解决上述技术问题,本技术第三方面提供了一种电子设备,包括相互耦接的存储器和处理器,存储器中存储有程序指令,处理器用于执行程序指令以实现上述第一方面中的音频处理方法。
21.为了解决上述技术问题,本技术第四方面提供了一种计算机可读存储介质,存储有能够被处理器运行的程序指令,程序指令用于实现上述第一方面中的音频处理方法。
22.上述方案中,投屏设备可以用于采集音频数据,增大了投屏设备的适用范围,避免投屏设备适用范围单一,使得投屏设备具备除投屏功能以外的其他功能;基于源端设备的状态检测结果,采用不同策略处理音频数据,有利于扩展投屏设备的使用范围。进一步地,将投屏设备应用于会议中,在减少了硬件设备的数量的情况下,能够进行屏幕投屏以及音频数据处理等操作,从而能够实现会议流程快捷化、一体化的目标。
附图说明
23.图1是本技术提供的音频处理方法一实施例的流程示意图;
24.图2是本技术提供的音频数据传输协议一实施例的结构示意图;
25.图3是本技术提供的音频处理方法另一实施例的流程示意图;
26.图4是本技术提供的升级投屏设备一实施例的流程示意图;
27.图5是图3所示步骤s35一实施例的流程示意图;
28.图6是本技术提供的基于音频数据识别得到传译音频的示意图;
29.图7是本技术提供的云端设备一实施例的示意图;
30.图8是本技术提供的投屏方法一实施例的流程示意图;
31.图9是本技术提供的第一投屏设备和显示设备投屏连接一实施例的示意图;
32.图10是本技术提供的投屏方法另一实施例的流程示意图;
33.图11是本技术提供的投屏方法又一实施例的流程示意图;
34.图12是本技术提供的音频处理装置一实施例的框架示意图;
35.图13是本技术提供的投屏装置一实施例的框架示意图;
36.图14是本技术提供的电子设备一实施例的框架示意图;
37.图15是本技术提供的计算机可读存储介质一实施例的框架示意图。
具体实施方式
38.下面结合说明书附图,对本技术实施例的方案进行详细说明。
39.以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本技术。
40.本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
41.请参阅图1,图1是本技术提供的音频处理方法一实施例的流程示意图。需要注意的是,若有实质上相同的结果,本实施例并不以图1所示的流程顺序为限。如图1所示,本实施例包括:
42.步骤s11:获取投屏设备采集到的音频数据。
43.本实施方式中,投屏设备与源端设备通过预设接口连接,通过将投屏设备和源端设备利用预设接口电连接,从而投屏设备能够将采集到的音频数据传输至源端设备,以使得源端设备能够获取到投屏设备采集到的音频数据,便于后续对投屏设备采集到的音频数据进行处理。可选地,预设接口可以是usb

type

c接口等,usb

type

c接口是一个usb通用数据接口,能够实现对数字音频数据的传输,将音频数据以预定格式传输至源端设备,音频数据的预定格式包括但不限于24k/24bit等。可以理解地,在其他实施方式中,预设接口也可以是其他类型的接口,可根据实际使用需要具体设置,在此不做具体限定。
44.其中,本实施例的方法用于对投屏设备采集到的音频数据进行处理,所以源端设备包括但不限于电脑、手机、平板电脑等。另外,投屏设备本身具有投屏的功能,所以投屏设备实现投屏功能时,还可包括有显示设备,例如智能电视,当投屏设备和显示设备(如,智能
电视)之间投屏连接时,能够将电脑屏幕投屏至显示设备屏幕上,以通过无线传输实现实时投屏。
45.在一实施方式中,通过检测与投屏设备通过预设接口连接的源端设备的状态,以确定采用与预设接口相关的何种协议来获取投屏设备采集到的音频数据。例如,可通过检测源端设备当前是否运行投屏设备的定制程序来确定采用何种协议进行音频数据的传输。当然,也可通过检测源端设备的其他状态确定采用何种协议进行音频数据传输。可以理解地,在其他实施方式中,也可通过检测音频数据类型、大小、源端设备所支持的传输协议等其他方式确定采用何种协议来获取投屏设备采集到的音频数据,在此不做具体限定。
46.在一具体的实施方式中,通过检测源端设备是否运行投屏设备的定制程序,以确定采用与预设接口相关的何种协议获取音频数据。具体地,在检测结果为源端设备运行投屏设备的定制程序时,采用第一协议获取投屏设备采集的音频数据;而在检测结果为源端设备未运行投屏设备的定制程序时,采用第二协议获取投屏设备采集的音频数据。其中,第一协议为预设接口的自定义协议,自定义协议是用户可根据实际使用需要可自己编写的协议;第二协议为预设接口的标准协议,也就是说,第二协议是对应预设接口的常规协议。当然,在其他实施方式中,在检测到源端设备运行投屏设备的定制程序后,也可以采用第二协议传输音频数据至源端设备,具体可根据使用需要设置,在此不做具体限定。其中,定制程序是安装在源端设备上且能够对投屏设备传输控制指令的软件程序,以及在源端设备接获取到音频数据后,可根据用户需求将音频数据发送至服务器进行处理,投屏设备和定制程序相互配合以通过第一协议对音频数据进行处理。
47.举例来说,如图2所示,图2是本技术提供的音频数据传输协议一实施例的结构示意图,预设接口为usb

type

c接口,在检测到源端设备已安装且运行投屏设备的定制程序后,投屏设备可通过自定义协议的数据通道即自定义协议将音频数据传输至源端设备,以使源端设备获取到投屏设备采集到的音频数据;而在检测到源端设备未安装投屏设备的定制程序或者安装有投屏设备的定制程序且未运行此定制程序时,即认定为未运行投屏设备的定制程序,例如,源端设备运行的是腾讯会议、钉钉、微信等普通程序,投屏设备可通过usb

type

c接口的uac通道即usb

type

c接口的标准协议通道,将音频数据传输至源端设备。
48.需要说明的是,本实施方式中,投屏设备能够用于屏幕投屏,并且投屏设备里集成有麦克风,麦克风可以采集语音信号,所以使得集成有麦克风的投屏设备能够采集到音频数据。也就是说,投屏设备是集屏幕投屏和音频数据采集为一体的一体化设备,增大了投屏设备的适用范围,避免投屏设备适用范围单一,使得投屏设备具备除投屏功能以外的其他功能。在会议中使用此投屏设备能够进行屏幕投屏以及录音等操作,减少了硬件设备的数量,达到会议流程快捷化、一体化的目标,满足现代多人会议场景下的多元化需求。
49.在一实施方式中,投屏设备配置的麦克风是多个麦克风组成的阵列麦克风。可选地,可以是2个、3个、4个、6个或8个等麦克风组成的麦克风阵列。可选地,麦克风可以是硅麦克风,硅麦克风具有较高的灵敏度,体积小、重量轻且能够将声音信号直接转换成电能信号;当然,麦克风也可以是柱极体等其他类型的麦克风,在此不做具体限定。
50.举例来说,以6个麦克风组成的麦克风阵列为例,6个麦克风均匀放置在一个圆周上,使得投屏设备360度全方位进行声音采集,能够对投屏设备10米范围内的声音进行采
集,提高投屏设备的收音服务的质量,所以在当该投屏设备应用于空间较大且多人的商务会议中时,一方面,无需额外设备进行录音,投屏设备本身具备录音功能,从而能够达到记录会议全过程的目的;另一方面,无需外接会议麦克风设备即可实现远场收音,以保证所有参会人员的声音均可被采集到或者使得所有参会人员的声音均被采集并让会议对方成功收听,从而使得会议顺利进行。其中,利用6个麦克风阵列组成的麦克风阵列的声音采样率可达48k 16bit*2,采样率越高,声音清晰度越高,提高了采集到的声音的清晰度。进一步地,6个麦克风组成的麦克风阵列还具备声源定位功能以及降噪功能,能够准确地进行声音方向定位及噪声的消除,以提高通过投屏设备采集到并传输至源端设备的音频数据的清晰度。
51.另外,为了提高经投屏设备输出的音频数据的清晰度等质量,以便于后续对音频数据的处理,在一实施方式中,投屏设备还会对采集到音频数据进行回声消除(acoustic echo cancelling,aec)、自动增益补偿(automatic gain control,agc)、窄波束降噪等预处理,对音频数据具体进行何种预处理,在此不做具体限定,可根据实际使用需要具体设置。其中,回声消除技术是采用回波抵消方法,即通过自适应方法估计回波信号的大小,然后在接收信号中减去此估计的回波信号值,以在接收信号中抵消回波信号的技术,回声消除技术能够保证来自远端的经过扬声器放出来的声音被消除掉,避免远端声音信号和近端声音信号混合后一起传递至远端,提高用户的体验感。自动增益补偿技术是一种放大电路的增益并且自动地随信号强度而调整的控制方法,当输入信号较弱时,线性放大电路工作,保证输出信号的强度,而当输入信号达到一定强度时,则启动压缩放大电路,使输出信号的强度降低,从而使得输出信号的强度保持在一定的范围内,保证投屏设备输出的音频数据的音量处于最佳收听范围内。窄波束降噪技术是利用减小声音波束宽度而实现降低声音信号的噪声信号的方法,从而实现对声音信号进行降噪处理。
52.步骤s12:基于源端设备的状态检测结果,采用不同策略处理音频数据。
53.在一实施方式中,音频数据的处理策略可以是保存音频数据、识别音频数据等,识别音频数据可以是基于音频数据的转写、翻译等,可根据实际使用需要具体设置,在此不做具体限定。
54.在一实施方式中,状态检测结果为源端设备当前是否运行投屏设备的定制程序。基于源端设备当前是否运行投屏设备的定制程序来确定对音频数据采用的处理策略,由于在源端设备运行定制程序时,定制程序能够将投屏设备传递的音频数据发送给云端等服务器进行用户所需的处理,以完成对音频数据的处理,从而扩大了投屏设备的使用范围。也就是说,只要确定投屏设备电连接的源端设备安装且运行有投屏设备的定制程序,在无需增加其他硬件设备的情况下,就能够采用识别、转写、翻译等策略对音频数据进行处理,使得投屏设备具备除简单投屏功能以外其他功能,扩大了投屏设备的使用范围。进一步,在将上述投屏设备和定制程序应用于商务会议中时,能够利用这一设备系统完成录音、录音转写、翻译、生成会议记录等会议需求,即利用同一设备系统能够完成用户从会议开始到会议结束的会议需求,使得商务会议流程快捷化、完整化、一体化,以满足会议的多元化需求。
55.在一实施方式中,状态检测结果也可以为源端设备是否具有对投屏设备的配置规则,从而根据源端设备是否具有对投屏设备的配置规则确定对音频数据的处理策略,如具有投屏设备的配置规则时,利用配置规则对音频数据进行处理,而不具有配置规则时,则将
音频数据保存。配置规则可根据使用需要具体设置,在此不做具体限定,例如,配置规则可以是对投屏设备采集到的音频数据进行转写等。其中,可以在源端设备的底层驱动中配置对应投屏设备的配置规则,也可以采用脚本文件配置对应投屏设备的配置规则,在此不做具体限定。可以理解地,在其他实施方式中,也可基于源端设备的其他检测结果来确定对音频数据采用的处理策略,在此不做具体限定。
56.举例来说,以配置规则为对投屏设备采集到的音频数据进行转写为例,基于源端设备具有投屏设备的上述配置规则,在源端设备获取到投屏设备采集到的音频数据后,会调用配置规则对音频数据进行转写。其中,如果配置规则中限定了音频数据的转写途径,例如,在源端设备的本地利用本地转写模型进行转写或者上传云端设备利用云端转写模型进行转写,则此时源端设备会根据配置规则中的转写途径对音频数据进行本地转写或者上传云端设备进行转写等。
57.上述实施方式中,投屏设备里集成有麦克风,麦克风可以采集语音信号,所以使得集成有麦克风的投屏设备能够采集到音频数据,增大了投屏设备的适用范围;另外,基于源端设备当前的状态检测结果来确定对音频数据采用的处理策略。例如,以源端设备当前是否运行投屏设备的定制程序来确定对音频数据的处理策略,当源端设备运行定制程序时,定制程序能够将投屏设备传递的音频数据发送给云端等服务器以完成对音频数据的处理,所以将投屏设备和定制程序结合,能够进一步扩大了投屏设备的使用范围。进一步地,将投屏设备和投屏设备的定制程序运用于会议中,在无需增加其他硬件设备的情况下,就能够对音频数据进行例如转写、翻译等处理,即利用同一设备系统能够完成用户从会议开始到会议结束的会议需求,使得商务会议流程快捷化、完整化、一体化,以满足会议的多元化需求。
58.请参阅图3,图3是本技术提供的音频处理方法另一实施例的流程示意图。需要注意的是,若有实质上相同的结果,本实施例并不以图3所示的流程顺序为限。如图3所示,本实施例中,基于源端设备是否运行投屏设备的定制程序以确定对音频数据所采用的处理策略,具体包括:
59.步骤s31:获取投屏设备采集到的音频数据。
60.步骤s31与步骤s11类似,在此不再赘述。
61.步骤s32:检测源端设备是否运行投屏设备的定制程序。
62.本实施方式中,通过检测源端设备是否运行投屏设备的定制程序以确定对音频数据所采用的处理策略。而在检测结果为源端设备未运行投屏设备的定制程序,或者说源端设备并未安装投屏设备的定制程序,此时未安装定制程序也可以理解为未检测到源端设备运行投屏设备的定制程序,则执行步骤s33。在检测结果为源端设备运行投屏设备的定制程序时,则执行步骤s34。
63.步骤s33:保存音频数据。
64.在一具体的实施方式中,状态检测结果为源端设备未运行定制程序,即检测到源端设备未运行投屏设备的定制程序,则保存音频数据。具体地,在检测到源端设备未运行投屏设备的定制程序时,投屏设备通过预设接口的标准协议通道将音频数据传送给源端设备,由于源端设备未运行定制程序,无法对音频数据进行转写、翻译等策略操作,所以此时源端设备仅对音频数据进行保存,投屏设备在此实施方式中可看作是进行声音采集的麦克
风,相当于仅在投屏设备的投屏功能上扩增了音频采集功能即录音功能。
65.在一实施方式中,源端设备可将音频数据保存于本地。可以理解地,在其他实施方式中,源端设备也可将音频数据保存于云端,即用户可通过云端进行音频数据的存取。另外,当用户将音频数据保存于云端时,用户也可通过访问云端在线编辑音频数据等文件,或者用户也可通过云端分享音频数据等文件,以使其他用户可共享得到音频数据等文件,提高了协同办公效率。
66.步骤s34:基于语音数据和回环数据,优化得到待识别音频。
67.本实施方式中,音频数据可以具体包括语音数据和回环数据,其中,语音数据为投屏设备里所集成的麦克风采集,回环数据是投屏设备根据采集到的语音数据而生成的,回环数据用于后续对语音数据中的回声进行消除,所以通过将语音数据和回环数据结合,能够对语音数据进行优化处理,以消除语音数据中的回声信号,得到待识别音频。在一具体的实施方式中,投屏设备集成的麦克风为6个麦克风组成的阵列麦克风,6个麦克风采集的声音信号通过预设算法排列组合得到语音数据和回环数据,例如,6路语音数据和2路回环数据。可以理解地,在其他实施方式中,也可生成3路或多路等回环数据,在此不做具体限定。另外,在其他实施方式中,音频数据也可包括除语音数据、回环数据以外的其他数据,可根据实际使用需要具体设置,在此不做具体限定。
68.由于投屏设备对采集到的音频数据的回声消除、降噪、声源定位等预处理能力较弱,处理后的效果并不能达到支持后续音频数据处理的预期,在一实施方式中,源端设备的定制程序除了基于语音数据和回环数据优化得到待识别音频外,会进一步地对待识别音频数据进行优化处理,例如对待识别音频数据进行声源定位、降噪、自动增益补偿、去混响等处理,从而提高对音频数据的优化程度,进而有利于后续对音频数据的识别等处理。
69.另外,在一实施方式中,还可对待识别音频数据进行人声增强处理,具体为,将音频数据中人声进行放大处理,以在有噪声的环境中使得人声更加清晰,保障会议在各种情况下都能顺畅进行。可以理解地,在其他实施方式中,也可采用其他语音处理技术对待识别音频数据进行处理,可根据实际使用需要具体设置,在此不做具体限定。
70.另外,在通过自定义协议的数据通道对音频数据进行传输和处理前,还需先通过自定义协议将投屏设备和投屏设备的定制程序建立连接。具体地,投屏设备插入源端设备的usb接口;源端设备通过查找投屏设备的pid和vid,以与投屏设备建立连接;源端设备通过attach监听投屏设备的插入,通过detach监听投屏设备的拔出。在投屏设备和源端设备连接成功后,源端设备获取得到投屏设备的inendpoint,并通过inendpoint的ondata命令控制投屏设备进行采集声音采集,在投屏设备将采集到的音频数据传递至源端设备时,源端设备获取得到预定格式大小的pcm音频源文件,例如24bit的pcm音频源文件。
71.此外,由于源端设备通过投屏设备获取到的是24bit的pcm音频源文件,所以在对应设置有定制程序的处理策略对音频数据进行处理之前,还需要对音频源文件进行格式转换,以获得能够被投屏设备的定制程序的识别模块读取的音频流。具体地,将采集得到的音频源文件输入至array的push,以把pcm音频源文件转换为16bit,再将16bit的pcm音频源文件进行buffer转换,以将16bit的pcm音频源文件转换为16bit的opus音频文件,以便于后面对音频数据进行识别处理。其中,对音频源文件转换后的音频格式根据后续的识别模型对文件格式的要求具体设置,在此不做具体限定,由于本技术涉及的识别模型只能够对16bit
的opus音频文件进行识别,所以上述陈述中将24bit的pcm音频源文件转换成了16bit的opus音频文件。
72.请参阅图4,图4是本技术提供的升级投屏设备一实施例的流程示意图。为了提升投屏设备的使用质量,从而提升用户的体验感,在一实施方式中,在检测到源端设备的状态检测结果满足预设条件后,还可对投屏设备进行升级操作,例如可以是对投屏设备的整个系统进行升级更新,也可是对投屏设备的某个功能进行升级更新等。其中,状态检测结果满足预设条件可以是源端设备在运行投屏设备的定制程序;或者,也可以是源端设备在运行投屏设备的定制程序,且源端设备接收到用户通过投屏设备发起的尝试升级指令;或者,也可以是源端设备在运行投屏设备的定制程序,且源端设备接收到云端设备发送的升级询问消息;或者,也可以是其他的预设条件,可根据实际使用需要具体设置,在此不做具体限定。其中,对投屏设备的升级具体包括如下子步骤:
73.步骤s41:获取投屏设备的设备标识。
74.本实施方式中,源端设备在与投屏设备建立连接后,会获取得到投屏设备的设备标识,以确定后续对哪个投屏设备进行升级更新操作。其中,投屏设备的设备标识可以看作是投屏设备的唯一编号,可用于区分不同的投屏设备,避免在多个投屏设备与源端设备连接时,错误对投屏设备进行升级,造成资源浪费。
75.在一具体的实施方式中,源端设备的定制程序可通过adb shell/usr/local/bin/usr_tool version命令读取投屏设备的版本号即设备标识,以获取得到投屏设备的设备标识,当然,在其他实施方式中,源端设备也可通过其他命令读取投屏设备的版本号,在此不做具体限定。
76.步骤s42:基于设备标识,获取适用于投屏设备的升级固件。
77.本实施方式中,通过获取到的投屏设备的设备标识,从云端设备获取对应该投屏设备的升级固件,升级固件用于对投屏设备进行升级。其中,投屏设备的升级可以是投屏设备整个系统的升级,也可以是投屏设备中某个功能的升级,可根据实际使用需要,从云端设备获取对应的升级固件。
78.在一具体的实施方式中,对投屏设备的整个系统进行升级更新,通过源端设备上运行的定制程序从云端设备获取得到投屏设备的升级固件,例如,升级固件为fw文件,并通过下载升级固件将其保存至本地,以便于后续利用其对投屏设备的整个系统进行升级更新。
79.步骤s43:基于升级固件,对投屏设备进行升级。
80.本实施方式中,能够基于升级固件,对投屏设备进行升级。具体地,在对投屏设备的整个系统进行升级更新时,投屏设备的定制程序通过
81.adb shell cp/usr/local/bin/pcba_test_tool/tmp命令得到投屏设备的系统的权限,然后通过“adb push”命令将升级固件传送到投屏设备的tmp文件夹下,再通过“adb shell“cat/tmp/upgrade proess
””
执行升级命令,以对投屏设备的版本系统升级,实现远程在线对投屏设备进行升级。
82.在一具体的实施方式中,可在投屏设备上设置有红、绿、蓝三个指示灯以告知用户当前投屏设备升级的过程及状态,以使用户可通过观察投屏设备的指示灯颜色来判断升级过程,其中,蓝灯用于表示投屏设备即将进行升级,红灯用于表示投屏设备正处于升级中,
绿灯用于表示投屏设备升级完成,待重启后可正常使用。
83.步骤s35:获取音频数据的识别结果。
84.其中,识别结果是基于步骤s34优化后的待识别音频识别得到的,也即下述所提及的音频数据即为优化后的音频数据。本实施方式中,通过云端设备对优化后的音频数据进行识别,以得到音频数据的识别结果。可选地,识别结果可以是音频数据的识别文本、会话记录、音频数据的传译音频等,可根据实际使用需要具体设置,在此不做具体限定。其中,音频数据的识别文本即是将音频数据转写成文本格式,可以是多语种文本;会话记录即是基于音频数据生成的分角色的会议记录,也即会议纪要;音频数据的传译音频即是采用异于音频数据语种的第二语种的音频数据。
85.其中,如图5所示,图5是图3所示步骤s35一实施例的流程示意图,获取音频数据的识别结果具体包括如下子步骤,需要注意的是,若有实质上相同的结果,本实施例并不以图5所示的流程顺序为限。
86.步骤s351:将音频数据发送至云端设备。
87.在一实施方式中,源端设备所运行的定制程序中预定义有云端设备网络地址,所以在源端设备接收到投屏设备传递的音频数据并进行预处理等优化后,可利用自带的网络模块按照定制程序中云端设备的网络地址,将优化后的音频数据发送至云端设备。可以理解地,在其他实施方式中,投屏设备也可设置有网络模块,以使投屏设备能够利用自身的网络模块将音频数据按照云端设备的网络地址,将音频数据发送至云端设备。
88.其中,云端设备中集成有用于识别音频数据的音频识别模型,所以在云端设备接收到优化后的音频数据后,会对音频数据进行识别。可选地,音频识别模型包括但不限于是智能语音识别模型、翻译模型,具体根据实际使用需要具体设置,在此不做具体限定。
89.步骤s352:接收云端设备对音频数据的识别结果。
90.本实施方式中,在云端设备利用音频识别模型对音频数据识别后,会将识别结果反馈至投屏设备的定制程序,定制程序接收云端设备对音频数据的识别结果,以使源端设备获取得到对音频数据的识别结果。
91.另外,在一实施方式中,云端设备会将音频数据的识别结果进行保存,以便于后续访问查看、编辑等;并且,也可以通过云端设备共享给其他用户,提高协同办公效率。
92.步骤s36:将识别结果显示于预设设备。
93.在一实施方式中,识别结果包括音频数据的识别文本,也就是说,音频识别模型将音频数据转换成了文本内容。当定制程序接收到云端设备返回的识别结果时,能够将音频数据对应的文本内容显示于预设设备,以在预设设备上同步生成对应音频数据的字幕内容,也就是说,通过设置投屏设备和投屏设备的定制程序,能够实现边录音边转写的功能,将实时接收到的音频数据转写成文本内容,从而满足多人会议等场景下的需求。在其他实施方式中,音频识别模型还可对识别出的文本内容进行纠错处理,以提高识别结果的准确率。可选地,预设设备可以是源端设备,也可以是通过投屏设备与源端设备投屏连接的显示设备,可根据实际使用需要具体设置,在此不做具体限定。
94.其中,识别文本可以是第一文本,第一文本是基于音频数据直接识别得到的,第一文本以音频数据的源语种表示;或者,识别文本也可以是第二文本,第二文本以与源语种不同的第一目标语种表示,且第二文本与第一文本具有相同语义;或者,识别文本可以同时是
第一文本和第二文本,即识别文本同时以源语种和与源语种不同的语种表示。也就是说,识别文本既可以源语种的文本,也可以是目标语种的翻译文本。可选地,源语种可以是中文、英语、法语、德语等任一语种,第一目标语种可以是除源语种以外的任一语种。在其他实施方式中,也可同时显示除源语种、第一目标语种以外的任一或多种语种,可根据实际使用需要具体设置显示语种的数量,在此不做具体限定。
95.举例来说,在一场中英会议上,为了便于双方会议人士高效且灵活的沟通交流,会在预设设备上同步生成对应音频数据的中英两种语言的字幕内容,所以利用音频识别模型识别出的文本包括以中文表示的第一文本和以英文表示的第二文本。
96.在一实施方式中,将音频数据转换成源语种表示的文本内容的音频识别模型可以是智能语音识别模型(automatic speech recognition,asr)。可以理解地,在其他实施方式中,也可利用其他网络模型将音频数据转换成源语种表示的文本内容,可根据实际使用需要具体设置,在此不做具体限定。
97.在一实施方式中,将音频数据转换成任一目标语种的翻译文本内容的音频识别模型为翻译模型,其中,不对翻译模型具体限定,可根据实际使用需要具体设置。具体地,云端设备基于收到的音频数据利用智能语音识别模型识别得到音频数据的以源语种表示的第一文本,然后通过获取到第一目标语种,以确定是哪两种语种之间的互译,最后通过翻译模型翻译得到第一目标语种表示的第二文本,并传输至源端设备的定制程序,以使源端设备获取得到第二文本并对其进行显示。
98.步骤s37:获取会话记录。
99.上述实施方式中,投屏设备会对所采集到的音频数据进行声源定位,以及源端设备会对投屏设备传递的音频数据进一步地进行声源定位,从而使得能够基于音频数据得到音频数据所属的发言对象。所以,在一实施方式中,识别结果除了包括音频数据的识别文本,还可包括音频数据所属的发言对象,由于通过设置投屏设备和投屏设备的定制程序,能够实现边录音边转写的功能,所以基于音频数据的识别文本和音频数据所属的发言对象,能够生成并输出即时会议纪要,此时的即时会议纪要即为所获取的会话记录。
100.在其他实施方式中,对于会议结束后的音频数据,即整场会议的会议录音数据,能够基于会议录音数据完成对会议内容的精准转写,并且能够基于会议录音数据的识别文本和录音数据中各声音所属的发言对象,生成分角色的基于整场会议的会议记录,此时的分角色的会议记录即为所获取的会话记录。
101.另外,在一实施方式中,可在获取会话记录或者基于会议内容的精准转写后上传至云端设备进行保存,以便于后续访问查看、编辑等;并且,也可以通过云端设备共享给其他用户,提高协同办公效率。
102.步骤s38:指示播放设备播放传译音频。
103.在一实施方式中,识别结果可以包括音频数据的传译音频,传译音频和音频数据具有相同语义,也就是说,云端设备的音频识别模型能够将以源语种表达的音频数据转换成与源语种不同的第二目标语种表达的传译音频。其中,基于音频数据生成传译音频的音频识别模型为翻译模型,此时翻译模型以音频格式的形式输出,本实施方式不对翻译模型具体限定,可根据实际使用需要具体设置。如图6所示,图6是本技术提供的基于音频数据识别得到传译音频的示意图。具体地,源端设备接收音频数据,并通过语种识别模型识别得到
音频数据的源语种,然后获取第二目标语种以确定哪两种语种之间的互译,最后通过翻译模型将音频数据转换成第二目标语种表达的传译音频,并回传至源端设备。
104.本实施方式中,在获取到云端设备对音频数据处理后的传译音频后,指示播放设备播放传译音频,以实现同声传译,从而能够实现高效且灵活的跨语种会议交流。其中,播放设备可以是源端设备、投屏设备、或者通过投屏设备与源端设备投屏连接的显示设备等,可根据实际使用需要具体设置,在此不做具体限定。
105.举例来说,以投屏设备为播放设备为例,投屏设备除了集成有麦克风以外,还集成有扬声器,所以能够对传译音频进行播放。其中,投屏设备中的扬声器可以是高保真扬声器或者其他类型的扬声器,高保真扬声器能够更加真实更加清晰地还原出人声和高音部分,以使投屏设备提供高质量的扬升服务,并且高保真扬声器还支持输出超重低音等。
106.需要说明的是,对于仅需要以录音形式记录会议全程的实施方式中,可在优化后上传云端设备进行保存、共享、编辑等,或者直接保存于本地,而无需进行后续步骤,即无需执行步骤s35

s38以及步骤s351

s352。
107.在一实施方式中,如图7所示,图7是本技术提供的云端设备一实施例的示意图。用户可通过源端设备上运行的定制程序将数据文件存储至云端设备、从云端设备上下载已经存储的数据文件、编辑云端设备中的数据文件等,其中,由于在源端设备上运行有定制程序时,可对音频数据进行转写、翻译等,所以数据文件包括音频数据文件以及基于音频数据文件生成的其他数据文件等。
108.具体地,源端设备上运行的投屏设备的定制程序可将通过投屏设备采集到的音频数据以及音频数据的识别结果上传至云端设备,用户可通过定制程序登录个人账号访问云端设备,可对云端设备上存储的文件进行下载、删除、编辑等操作,并且也可将其他个人文件通过投屏设备的定制程序上传至云端设备进行保存。此外,可通过定制程序设置云端设备上存储的某些文件共享,以使其他用户可获取得到有关共享的文件,以打通文件共享的能力,提升商务办公效率。
109.为了保证云端设备内的文件的安全性和隐私性,在一实施方式中,还可设置提取码和文件码分别对从云端设备进行会议文件和个人文件的提取进行限制,也就是说,在具备提取码时才能够从云端设备提取会议文件,在具备文件码时才能够从云端设备提取个人文件。
110.可以理解地,在其他实施方式中,在源端设备未运行定制程序时,源端设备本身也可以直接访问云端设备,将音频数据文件以及基于源端设备配置规则生成的其他数据文件存储至云端设备、从云端设备上下载已经存储的数据文件、编辑云端设备中的数据文件等。
111.请参阅图8,图8是本技术提供的投屏方法一实施例的流程示意图。需要注意的是,若有实质上相同的结果,本实施例并不以图8所示的流程顺序为限。如图8所示,本实施例包括:
112.步骤s81:基于预设配网信息,开启临时热点。
113.本实施方式中,显示设备基于预设配网信息,开启临时热点,其中,由于第一投屏设备预存有预设配网信息,所以第一投屏设备能够通过预设配网信息连接至显示设备开启的临时热点,从而实现第一投屏设备与显示设备的投屏连接。也就是说,第一投屏设备能够在显示设备实现无线屏幕投屏功能,即本实施方式能够支撑显示设备和第一投屏设备之间
进行无线传输,提高了设备之间的可移动性和便携性。
114.其中,预设配网信息包括预设服务集标识符(service set identifier,ssid)和预设密码,预设服务集标识符是指唯一命名无线局域网的一串字符,预设服务集标识符的设置使得进入临时热点网络需要进行身份验证即需要进行预设密码验证,只有对应预设服务集标识符的预设密码才能通过身份验证,从而能够防止未被授权的设备进入到此热点网络。由于第一投屏设备预存有与显示设备相同的预设配网信息,所以第一投屏设备能够通过预存的预设配网信息中的预设密码完成身份验证,以与基于预设配网信息开启的临时热点实现连接。可以理解地,在其他实施方式中,预设配网信息也可包括其他信息,可根据实际使用需要具体设置,在此不做具体限定。
115.可选地,在一实施方式中,预设配网信息可以是一组,在预设配网信息为一组时,显示设备只能与一个第一投屏设备实现投屏连接,即第一投屏设备和显示设备为一对一的连接方式。可以理解地,在其他实施方式中,也可在显示设备处配置多组不同的预设配网信息,所以显示设备基于多组不同的预设配网信息能够开启多个临时热点,因此,多个第一投屏设备中各预存不同的预设配网信息,各第一投屏设备中预存的预设配网信息与显示设备上配置的各预设配网信息一一对应,所以各个第一投屏设备能够基于其的预设配网信息连接至基于对应预设配网信息开启的临时热点,即实现了多个第一投屏设备投屏连接至同一显示设备,简化了一对多或多对一场景下的投屏连接方式,从而提高多人会议的高效性和灵活性。其中,不对同一显示设备能够同时连接的第一投屏设备的数量进行限定,可根据实际使用需要具体设置。
116.在一实施方式中,显示设备可通过连接外接的硬件设备以开启临时热点,以使第一投屏设备连接至临时热点,实现第一投屏设备和显示设备之间的投屏连接。可以理解地,在其他实施方式中,显示设备也可通过内置的程序软件以开启临时热点,以使第一投屏设备连接至临时热点,实现第一投屏设备和显示设备之间的投屏连接。
117.可选地,显示设备可以为智能电视、手机、平板电脑等,可根据实际使用需要具体设置,在此不做具体限定。
118.步骤s82:获取第一投屏设备的设备标识,并基于设备标识生成目标配网信息,以及将目标配网信息发送至第一投屏设备。
119.由于显示设备是基于预设配网信息开启临时热点的,例如,利用预设服务集标识符和预设密码开启临时热点的,以及第一投屏设备是基于预设配网信息连接至临时热点的,考虑到网络安全性问题以及避免未授权的设备连接至临时热点,在本实施方式中,第一投屏设备和显示设备通过临时热点实现投屏连接后,会获取第一投屏设备的设备标识,并基于第一投屏设备的设备标识生成对应该第一投屏设备的专用的目标配网信息,并将该目标配网信息发送至第一投屏设备,以便于后续该第一投屏设备基于自身专用的目标配网信息与显示设备投屏连接。
120.在一实施方式中,第一投屏设备的设备标识可以是第一投屏设备的硬件地址(medium access control,mac),简称为mac地址,第一投屏设备的mac地址是表示互联网上第一投屏设备的标识符,具有唯一性,从而能够基于第一投屏设备的mac地址生成对应该第一投屏设备的唯一且不变的目标配网信息,即目标服务集标识符及其对应的目标密码。可以理解地,在其他实施方式中,也可通过第一投屏设备的其他设备标识生成对应该第一投
屏设备的目标配网信息,可根据实际使用需要具体设置,在此不做具体限定。
121.步骤s83:关闭临时热点,并基于目标配网信息,开启第一投屏设备专用的投屏热点。
122.由于显示设备在生成目标配网信息后,会将生成的目标配网信息发送给对应的第一投屏设备,所以该第一投屏设备能够获取得到基于自身的设备标识生成的专用的目标配网信息。因此,在显示设备基于该目标配网信息生成热点后,第一投屏设备能够利用目标配网信息连接至该热点。本实施方式中,在显示设备将生成的目标配网信息发送给对应的第一投屏设备后,关闭对应该第一投屏设备的临时热点,并基于目标配网信息开启对应该第一投屏设备专用的投屏热点,由于该第一投屏设备同时也具有目标配网信息,所以第一投屏设备利用目标配网信息连接至对应自身的专用的投屏热点,从而实现显示设备和第一投屏设备的投屏连接。
123.在一实施方式中,如图9所示,图9是本技术提供的第一投屏设备和显示设备投屏连接一实施例的示意图。显示设备可连接有第二投屏设备,第二投屏设备用于与第一投屏设备通信连接,此时可由与显示设备连接的第二投屏设备开启投屏热点,以使第一投屏设备连接至第二投屏设备开启的投屏热点,从而实现第一投屏设备通过投屏热点与显示设备投屏连接,进而能够将与第一投屏设备连接的源端设备的屏幕内容投屏至显示设备上。也就是说,在无需安装任何其他软件的情况下,便可以实现无线屏幕投屏功能,提高了设备之间的可移动性和便携性。可以理解地,在其他实施方式中,在显示设备未连接有第二投屏设备时,也可在显示设备内设置有配网程序,通过配网程序配置显示设备的网络模块,网络模块用于与第一投屏设备通信连接,此时可由显示设备的网络模块开启投屏热点,以使第一投屏设备连接至显示设备的网络模块开启的投屏热点,从而实现第一投屏设备通过投屏热点与显示设备投屏连接,进而能够将与第一投屏设备连接的源端设备的屏幕内容投屏至显示设备上。
124.另外,如图9所示,在一实施方式中,在同一显示设备同时投屏连接多个第一投屏设备时,还可同时展示多个第一投屏设备连接的源端设备的屏幕内容,即支持多用户并行无线屏幕投屏。在其他实施方式中,也可通过切换以轮流展示各用户的投屏内容,从而实现高效的多人会议讨论。
125.在一实施方式中,在源端设备通过第一投屏设备与显示设备投屏连接成功后,显示设备接收并输出来自第一投屏设备的投屏数据,从而成功将源端设备的屏幕内容投屏至显示设备上。其中,投屏数据可包括音频数据的识别结果和图像数据,图像数据是第一投屏设备从与其连接的源端设备采集到的,音频数据是通过第一投屏设备采集到的。
126.可选地,在一实施方式中,识别结果可包括音频数据的识别文本,识别文本包括第一文本、第二文本中至少一者,第一文本基于音频数据直接识别得到的,第一文本以音频数据的源语种表示,第二文本以与源语种不同的第一目标语种表示,且第二文本与第一文本具有相同语义。在其他的实施方式中,识别结果也可包括音频数据的传译音频,音频数据以源语种表达,传译音频采用与源语种不同的第二目标语种表达,且传译音频与音频数据具有相同语义。
127.在一实施方式中,如图7所示,图7是本技术提供的云端设备一实施例的示意图。当第一投屏设备通过显示设备内置的程序软件实现与显示设备的投屏连接时,用户可通过显
示设备内置的程序软件访问云端设备,以将数据文件存储至云端设备、从云端设备上下载已经存储的数据文件、编辑云端设备中的数据文件等,其中,由于显示设备能够接收到来自源端设备的音视频数据文件、基于音频数据进行转写、翻译等数据文件,所以数据文件包括音视频数据文件以及基于音频数据文件生成的其他数据文件等。
128.可以理解地,在其他实施方式中,当第一投屏设备通过显示设备外接的硬件设备实现与显示设备的投屏连接时,显示设备本身也可以直接访问云端设备,将音视频数据文件以及基于音频数据进行转写、翻译等数据文件存储至云端设备、从云端设备上下载已经存储的数据文件、编辑云端设备中的数据文件等。
129.请参阅图10,图10是本技术提供的投屏方法另一实施例的流程示意图。需要注意的是,若有实质上相同的结果,本实施例并不以图10所示的流程顺序为限。如图10所示,本实施例包括:
130.步骤s1001:基于预设配网信息,驱动第二投屏设备开启临时热点。
131.本实施方式中,如图9所示,显示设备连接有第二投屏设备,第二投屏设备上预存有预设配网信息,所以将预设配网信息写入第二投屏设备,以驱动第二投屏设备开启临时热点,因此,预存有预设配网信息的第一投屏设备能够基于预设配网信息连接至第二投屏设备开启的临时热点,实现第一投屏设备和显示设备的投屏连接。
132.步骤s1002:获取第一投屏设备的设备标识,并基于设备标识生成目标配网信息,以及将目标配网信息发送至第一投屏设备。
133.步骤s1002和步骤s82类似,在此不再赘述。
134.步骤s10032:基于目标配网信息,驱动第二投屏设备开启投屏热点。
135.本实施方式中,在第二投屏设备生成对应第一投屏设备的目标配网信息,以及将该配网信息发送给对应的第一投屏设备后,该第一投屏设备断开与临时热点的连接,同时第二投屏设备关闭临时热点。并且,将目标配网信息写入电子设备,此时电子设备利用重新写入的目标配网信息驱动第二投屏设备开启投屏热点。
136.步骤s1011:基于预设配网信息,驱动显示设备的网络模块开启临时热点。
137.本实施方式中,显示设备运行配网程序且未连接第二投屏设备,配网程序上预存有预设配网信息,所以将预设配网信息写入配网程序,以使配网程序驱动显示设备的网络模块开启临时热点,因此,预存有预设配网信息的第一投屏设备能够基于预设配网信息连接至显示设备的网络模块开启的临时热点,实现第一投屏设备和显示设备的投屏连接。
138.在一具体的实施方式中,用户运行配网程序,将预设服务集标识符和预设密码写入显示设备中,此时利用写入的预设服务集标识符和预设密码驱动显示设备的网络模块启动临时热点。
139.步骤s1012:获取第一投屏设备的设备标识,并基于设备标识生成目标配网信息,以及将目标配网信息发送至第一投屏设备。
140.步骤s1012和步骤s82类似,在此不再赘述。
141.步骤s1013:基于目标配网信息,驱动网络模块开启投屏热点。
142.本实施方式中,在配网程序生成对应第一投屏设备的目标配网信息,以及将该配网信息发送给对应的第一投屏设备后,该第一投屏设备断开与临时热点的连接,同时显示设备的网络模块关闭临时热点。并且,将目标配网信息写入电子设备,此时电子设备利用重
新写入的目标配网信息驱动网络模块开启投屏热点。
143.步骤s102:保存已生成的目标配网信息,作为候选配网信息。
144.本实施方式中,在第一投屏设备和显示设备通过目标配网信息完成配对连接后,对已经生成的目标配网信息进行保存,以作为候选配网信息,后续可以根据用户直接选择开启期望投屏连接的第一投屏设备对应的投屏热点,而无需再次重复上述连接配对的步骤。
145.另外,对已生成的目标配网信息进行保存,以使电子设备在重启后,能够自动基于保存的目标配网信息启动投屏热点。
146.步骤s103:基于用户选择的至少一个候选配网信息,开启与至少一个候选配网信息对应的投屏热点。
147.本实施方式中,用户选择的候选配网信息可以是一个,也可以是多个。当用户选择的候选配网信息为一个时,此时开启被选择的候选配网信息对应的一个投屏热点,从而与被选择的候选配网信息对应的第一投屏设备连接至该投屏热点,则第一投屏设备和显示设备是一对一的连接方式,显示设备对用户选择的候选配网信息对应的第一投屏设备的投屏数据进行接收并显示;当用户选择的候选配网信息为多个时,此时开启被选择的候选配网信息对应的多个投屏热点,第一投屏设备和显示设备是多对一的连接方式,显示设备可通过切换,一一对每一被选择的第一投屏设备的投屏数据进行接收并显示,或者显示设备也可通过并行显示被选择的第一投屏设备的投屏数据,即在显示设备中的同一画面将被选择的所有第一投屏设备的投屏数据都进行显示。
148.此外,为了避免配网信息泄露,在一实施方式中,可只在显示设备处仅显示配网信息的服务集标识符,而对服务集标识符对应的密码进行隐藏。
149.请参阅图11,图11是本技术提供的投屏方法又一实施例的流程示意图。需要注意的是,若有实质上相同的结果,本实施例并不以图11所示的流程顺序为限。如图11所示,本实施例中,通过对投屏设备的投屏状态进行检测以切换投屏权,具体包括:
150.步骤s110:基于预设配网信息,开启临时热点。
151.步骤s110与步骤s81类似,在此不再赘述。
152.步骤s111:获取第一投屏设备的设备标识,并基于设备标识生成目标配网信息,以及将目标配网信息发送至第一投屏设备。
153.步骤s111与步骤s82类似,在此不再赘述。
154.步骤s112:关闭临时热点,并基于目标配网信息,开启第一投屏设备专用的投屏热点。
155.步骤s112与步骤s83类似,在此不再赘述。
156.步骤s113:响应于等待投屏设备发送的投屏请求,保持与当前投屏设备之间的投屏连接,并检测当前投屏设备的投屏状态。
157.其中,多个第一投屏设备通过各自专用的投屏热点与显示设备通信连接,多个第一投屏设备包括当前投屏设备和等待投屏设备,且当前投屏设备与显示设备投屏连接,其余的待投屏设备实际并未与显示设备投屏连接。在本实施方式中,在接收到等待投屏设备发送的投屏请求后,会先对当前投屏设备的投屏状态进行检测,并不立即对当前投屏设备的投屏状态进行切换。
158.可选地,投屏状态可以是保持投屏状态,也可以是让渡投屏状态即让出投屏权。在一实施方式中,在检测到来自当前投屏设备的让渡请求,确定当前投屏设备的投屏状态为让渡投屏状态。在其他实施方式中,在未检测到来自当前投屏设备的让渡请求时,确定当前投屏设备的投屏状态为保持投屏状态。
159.在一具体的实施方式中,第一投屏设备上可设置有按键,可预先设置等待投屏设备双击按键表示投屏请求,当前投屏设备双击按键表示让渡请求,所以可以通过检测第一投屏设备是否有按键动作以确定是否有投屏请求或者让渡请求。可以理解地,在其他实施方式中,也可预先设置等待投屏设备双击按键表示投屏请求,当前投屏设备单机按键表示让渡请求,可根据实际使用需要具体设置如何体现投屏设备的投屏请求或让渡请求,在此不做具体限定。
160.步骤s114:基于投屏状态,确定是否切换至与等待投屏设备投屏连接。
161.本实施方式中,在检测到来自当前投屏状态的投屏设备的让渡请求时,即当前投屏设备的投屏状态为让渡投屏状态,表明当前投屏设备可能会让出投屏权,为了避免错误操作而引发投屏错误,所以会输出待确认消息,以提示用户确认是否让渡投屏。在当当前投屏设备确认后,即当前投屏设备发送确认让渡消息后,确定将显示设备切换至与等待投屏设备连接,从而实现投屏权的切换。
162.请参阅图12,图12是本技术提供的音频处理装置一实施例的框架示意图。音频处理装置120包括:数据获取模块121和数据处理模块122。数据获取模块121用于获取投屏设备采集到的音频数据,其中,投屏设备与源端设备通过预设接口连接;数据处理模块122用于基于源端设备的状态检测结果,采用不同策略处理音频数据。
163.其中,上述状态检测结果包含以下任一者:源端设备当前是否运行投屏设备的定制程序、源端设备是否具有对投屏设备的配置规则。
164.其中,上述状态检测结果包含源端设备当前是否运行投屏设备的定制程序;数据处理模块122用于基于源端设备的状态检测结果,采用不同策略处理音频数据,具体包括:检测到状态检测结果包括源端设备运行定制程序,获取音频数据的识别结果。
165.其中,上述识别结果包括音频数据的识别文本;数据处理模块122用于在获取音频数据的识别结果之后,具体还包括:将识别结果显示于预设设备;其中,上述预设设备包括源端设备、通过投屏设备与源端设备投屏连接的显示设备中至少一者。
166.其中,上述识别结果还包括音频数据所属的发言对象;数据处理模块122用于在获取音频数据的识别结果之后,具体还包括:基于音频数据的识别文本和音频数据所属的发言对象,获取会话记录。
167.其中,上述识别文本包括第一文本、第二文本中至少一者;其中,第一文本基于音频数据直接识别得到,第一文本以音频数据的源语种表示,第二文本以与源语种不同的第一目标语种表示,且第二文本与第一文本具有相同语义。
168.其中,上述识别结果包括音频数据的传译音频;数据处理模块122用于在获取音频数据的识别结果之后,具体还包括:指示播放设备播放传译音频;其中,上述播放设备包括源端设备、投屏设备、通过投屏设备与源端设备投屏连接的显示设备中任一者,音频数据以源语种表达,传译音频采用与源语种不同的第二目标语种表达,且传译音频与音频数据具有相同语义。
169.其中,上述音频数据包括语音数据和回环数据;数据处理模块122用于在获取音频数据的识别结果之前,具体还包括:基于语音数据和回环数据,优化得到待识别音频;其中,上述识别结果是基于待识别音频识别得到的。
170.其中,数据获取模块121用于获取音频数据的识别结果,具体包括:将音频数据发送至云端设备;其中,云端设备集成有音频识别模型,音频识别模型用于识别音频数据;接收云端设备对音频数据的识别结果。
171.其中,数据处理模块122用于基于源端设备的状态检测结果,采用不同策略处理音频数据,具体还包括:检测到状态检测结果包括源端设备未运行定制程序,保存音频数据。
172.其中,数据获取模块121用于获取与源端设备电连接的投屏设备所采集到的音频数据,具体包括:基于状态检测结果,采用与预设接口相关的不同协议获取音频数据。
173.其中,上述状态检测结果包含源端设备当前是否运行投屏设备的定制程序;数据获取模块121用于基于状态检测结果,采用与预设接口相关的不同协议获取音频数据,具体包括:在状态检测结果包括源端设备运行定制程序的情况下,采用第一协议获取音频数据;其中,第一协议为预设接口的自定义协议;和/或,在状态检测结果包括源端设备未运行定制程序的情况下,采用第二协议获取音频数据;其中,第二协议为预设接口的标准协议。
174.其中,数据处理模块122还用于检测到状态检测结果满足预设条件,获取投屏设备的设备标识;基于设备标识,获取适用于投屏设备的升级固件;基于升级固件,对投屏设备进行升级。
175.其中,数据处理模块122还用于以下至少一者:将数据文件存储至云端设备;从云端设备下载数据文件;编辑云端设备中的数据文件。
176.请参阅图13,图13是本技术提供的投屏装置一实施例的框架示意图。投屏装置130包括:临时热点模块131、配网信息模块132和投屏热点模块133。临时热点模块131用于基于预设配网信息,开启临时热点,其中,第一投屏设备预存有预设配网信息,并基于预设配网信息连接至临时热点;配网信息模块132用于获取第一投屏设备的设备标识,并基于设备标识生成目标配网信息,以及将目标配网信息发送至第一投屏设备;投屏热点模块133用于关闭临时热点,并基于目标配网信息,开启第一投屏设备专用的投屏热点,其中,第一投屏设备基于目标配网信息连接至投屏热点。
177.其中,上述第一投屏设备通过投屏热点实现与显示设备投屏连接,显示设备连接第二投屏设备,第二投屏设备用于与第一投屏设备通信连接,以实现投屏连接;或者,第一投屏设备通过投屏热点实现与显示设备投屏连接,显示设备运行配网程序,配网程序用于配置显示设备的网络模块,网络模块用于与第一投屏设备通信连接,以实现投屏连接。
178.其中,上述显示设备连接第二投屏设备,第二投屏设备预存预设配网信息;临时热点模块131用于基于预设配网信息,开启临时热点,具体包括:基于预设配网信息,驱动第二投屏设备开启临时热点;投屏热点模块133用于基于目标配网信息开启投屏热点,具体包括:基于目标配网信息,驱动第二投屏设备开启投屏热点。
179.其中,上述显示设备运行配网程序,配网程序预存预设配网信息;临时热点模块131用于基于预设配网信息,开启临时热点,具体包括:基于预设配网信息,驱动显示设备的网络模块开启临时热点;投屏热点模块133用于基于目标配网信息开启投屏热点,具体包括:基于目标配网信息,驱动网络模块开启投屏热点。
180.投屏装置130还包括数据执行模块134,数据执行模块134用于保存已生成的目标配网信息,作为候选配网信息;基于用户选择的至少一个候选配网信息,开启与至少一个候选配网信息对应的投屏热点。
181.其中,多个上述第一投屏设备通过各自专用的投屏热点与显示设备通信连接,多个第一投屏设备包括当前投屏设备和等待投屏设备,且当前投屏设备与所述显示设备投屏连接;数据执行模块134还用于响应于等待投屏设备发送的投屏请求,保持与当前投屏设备之间的投屏连接,并检测当前投屏设备的投屏状态;其中,投屏状态包括:保持投屏状态、让渡投屏状态中任一者;基于投屏状态,确定是否切换至与等待投屏设备投屏连接。
182.其中,数据执行模块134用于检测当前投屏设备的投屏状态,具体包括:检测到来自当前投屏设备的让渡请求,确定投屏状态为让渡投屏状态;或者,未检测到来自当前投屏设备的让渡请求,确定投屏状态为保持投屏状态。
183.其中,数据执行模块134用于基于投屏状态,确定是否切换至与等待投屏设备投屏连接,具体包括:基于投屏状态为让渡投屏状态,输出待确认消息;其中,待确认消息用于提示是否确认让渡投屏;响应于当前投屏设备发送的确认让渡消息,确定切换至与等待投屏设备投屏连接。
184.投屏装置130还包括数据接收模块135,数据接收模块135用于接收并输出来自第一投屏设备的投屏数据;其中,投屏数据包括音频数据的识别结果和图像数据,图像数据是第一投屏设备从与其连接源端设备采集到的,音频数据是第一投屏设备采集到的。
185.其中,上述识别结果包括音频数据的识别文本,识别文本包括第一文本、第二文本中至少一者,第一文本基于音频数据直接识别得到,第一文本以音频数据的源语种表示,第二文本以与源语种不同的第一目标语种表示,且第二文本与第一文本具有相同语义;和/或,识别结果包括音频数据的传译音频,音频数据以源语种表达,传译音频采用与源语种不同的第二目标语种表达,且传译音频与音频数据具有相同语义。
186.其中,投屏装置130还包括数据处理模块136,数据处理模块136还用于以下至少一者:将数据文件存储至云端设备;从云端设备下载数据文件;编辑云端设备中的数据文件。
187.请参阅图14,图14是本技术提供的电子设备一实施例的框架示意图。电子设备140包括相互耦接的存储器141和处理器142,存储器141中存储有程序指令,处理器142用于执行程序指令以实现上述任一音频处理方法或投屏方法实施例中的步骤。具体地,电子设备140可以包括但不限于:台式计算机、笔记本电脑、服务器、手机、平板电脑等等,在此不做限定。
188.具体而言,处理器142用于控制其自身以及存储器141以实现上述任一音频处理方法或投屏方法实施例中的步骤。处理器142还可以称为cpu(central processing unit,中央处理单元)。处理器142可能是一种集成电路芯片,具有信号的处理能力。处理器142还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field

programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器142可以由集成电路芯片共同实现。
189.请参阅图15,图15是本技术提供的计算机可读存储介质一实施例的框架示意图。
计算机可读存储介质150存储有能够被处理器运行的程序指令151,程序指令151用于实现上述任一音频处理方法或投屏方法实施例中的步骤。
190.在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
191.上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
192.在本技术所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
193.作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
194.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
195.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read

only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
196.以上所述仅为本技术的实施方式,并非因此限制本技术的专利范围,凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本技术的专利保护范围内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献