音视频监控方法、装置、设备、存储介质以及系统与流程

1.本技术实施例涉及音视频监控领域，特别涉及一种音视频监控方法、装置、设备、存储介质以及系统。


背景技术：

2.监控场景下，单个视频采集模块的覆盖范围已经非常广，覆盖范围从几米到几千米，而拾音器的覆盖范围十分有限，通常在几米范围内，所以，为了能够采集到单个视频采集模块的整个覆盖范围内的音频信号，通常需要单个视频采集模块加多个拾音器的监控方案。在这种情况下，涉及到单路视频和多路音频的传输问题，也即是在发送端和接收端如何对该单路视频以及多路音频进行正确区分，该问题成为目前亟待解决的问题。


技术实现要素：

3.本技术实施例提供了一种音视频监控方法、装置、设备、存储介质以及系统，可以解决多路媒体信号下的音视频监控问题。所述技术方案如下：
4.第一方面，提供了一种音视频监控方法，应用于媒体接收设备，所述方法包括：
5.从媒体采集设备获取多路媒体信号中每路媒体信号的描述信息，所述描述信息包括编号和有效载荷类型pt，所述多路媒体信号包括单路视频信号和多路音频信号，所述多路音频信号采用不同的拾音器来采集；
6.基于所述多路媒体信号的编号，从所述媒体采集设备获取所述多路音频信号中每路音频信号对应的传输参数，所述传输参数用于指示对应音频信号的传输通道或者传输端口；
7.从所述媒体采集设备获取所述多路媒体信号的数据包；
8.基于所述多路媒体信号的pt，从获取到的数据包中确定视频数据包和音频数据包，以及基于所述多路音频信号中每路音频信号对应的传输参数，从所述音频数据包中确定所述多路音频信号中每路音频信号的数据包。
9.可选的，所述媒体接收设备与所述媒体采集设备通过传输控制协议tcp通信，所述传输参数包括通道标识，所述音频数据包携带所属的音频信号对应的通道标识；
10.所述基于所述多路音频信号中每路音频信号对应的传输参数，从所述音频数据包中确定所述多路音频信号中每路音频信号对应的数据包，包括：
11.在基于所述多路音频信号对应的传输参数确定所述多路音频信号对应的通道标识不同的情况下，按照所述音频数据包中携带的通道标识，确定所述多路音频信号中每路音频信号的数据包。
12.可选的，所述描述信息还包括同步信源ssrc；
13.所述方法还包括：
14.在基于所述多路音频信号对应的传输参数确定所述多路音频信号中至少两路音频信号对应的通道标识相同的情况下，基于所述多路音频信号中每路音频信号对应的pt和
ssrc，从所述音频数据包中确定所述多路音频信号中每路音频信号对应的数据包。
15.可选的，所述媒体接收设备与所述媒体采集设备通过用户数据报协议udp通信，所述传输参数包括端口号，所述音频数据包携带所属的音频信号对应的端口号；
16.所述基于所述多路音频信号中每路音频信号对应的传输参数，从所述音频数据包中确定所述多路音频信号中每路音频信号对应的数据包，包括：
17.在基于所述多路音频信号对应的传输参数确定所述多路音频信号对应的端口号不同的情况下，按照所述音频数据包中携带的端口号，确定所述多路音频信号中每路音频信号对应的数据包。
18.可选的，所述描述信息还包括ssrc；
19.所述方法还包括：
20.在基于所述多路音频信号对应的传输参数确定所述多路音频信号中至少两路音频信号对应的端口号相同的情况下，基于所述多路音频信号中每路音频信号对应的pt和ssrc，从所述音频数据包中确定所述多路音频信号中每路音频信号对应的数据包。
21.可选的，所述媒体接收设备为客户端；
22.所述方法还包括：
23.播放所述视频信号以及所述多路音频信号；
24.显示多个拾音器的描述信息，所述多个拾音器是指用于采集所述多路音频信号的拾音器；
25.基于所述多个拾音器的描述信息接收音频信号切换指令，所述音频信号切换指令携带目标音频信号的编号，所述目标音频信号为所述多路音频信号中的一路；
26.将当前播放的音频信号切换至所述目标音频信号。
27.第二方面，提供了一种音视频监控方法，应用于媒体采集设备，所述方法包括：
28.向媒体接收设备提供多路媒体信号中每路媒体信号的描述信息，所述描述信息包括编号和有效载荷类型pt，所述多路媒体信号包括单路视频信号和多路音频信号，所述多路音频信号采用不同的拾音器来采集；
29.向所述媒体接收设备提供所述多路音频信号中每路音频信号对应的传输参数，所述传输参数用于指示对应音频信号的传输通道或者传输端口；
30.向所述媒体接收设备发送所述多路媒体信号的数据包，以使所述媒体接收设备从获取到的数据包中确定视频数据包和音频数据包，以及从所述音频数据包中确定所述多路音频信号中每路音频信号的数据包。
31.可选的，所述描述信息还包括同步信源ssrc；
32.所述向媒体接收设备提供多路媒体信号中每路媒体信号的描述信息之前，还包括：
33.为所述多路音频信号中的每路音频信号分配一个同步信源ssrc。
34.可选的，所述描述信息是采用会话描述协议sdp传输。
35.可选的，所述方法还包括：
36.向所述媒体接收设备提供所述多路音频信号中每路音频信号对应的拾音器的描述信息。
37.第三方面，提供了一种音视频监控装置，应用于媒体接收设备，所述装置包括：
38.描述信息获取模块，用于从媒体采集设备获取多路媒体信号中每路媒体信号的描述信息，该描述信息包括编号和有效载荷类型pt，该多路媒体信号包括单路视频信号和多路音频信号，该多路音频信号采用不同的拾音器来采集；
39.传输参数获取模块，用于基于该多路媒体信号的编号，从该媒体采集设备获取该多路音频信号中每路音频信号对应的传输参数，该传输参数用于指示对应音频信号的传输通道或者传输端口；
40.数据包获取模块，用于从该媒体采集设备获取该多路媒体信号的数据包；
41.确定模块，用于基于该多路媒体信号的pt，从获取到的数据包中确定视频数据包和音频数据包，以及从该音频数据包中确定该多路音频信号中每路音频信号的数据包。
42.可选的，所述媒体接收设备与所述媒体采集设备通过传输控制协议tcp通信，所述传输参数包括通道标识，所述音频数据包携带所属的音频信号对应的通道标识；
43.所述确定模块具体用于：
44.在基于所述多路音频信号对应的传输参数确定所述多路音频信号对应的通道标识不同的情况下，按照所述音频数据包中携带的通道标识，确定所述多路音频信号中每路音频信号的数据包。
45.可选的，所述描述信息还包括同步信源ssrc；
46.所述确定模块具体用于：
47.在基于所述多路音频信号对应的传输参数确定所述多路音频信号中至少两路音频信号对应的通道标识相同的情况下，基于所述多路音频信号中每路音频信号对应的pt和ssrc，从所述音频数据包中确定所述多路音频信号中每路音频信号对应的数据包。
48.可选的，所述媒体接收设备与所述媒体采集设备通过用户数据报协议udp通信，所述传输参数包括端口号，所述音频数据包携带所属的音频信号对应的端口号；
49.所述确定模块具体用于：
50.在基于所述多路音频信号对应的传输参数确定所述多路音频信号对应的端口号不同的情况下，按照所述音频数据包中携带的端口号，确定所述多路音频信号中每路音频信号对应的数据包。
51.可选的，所述描述信息还包括ssrc；
52.所述确定模块具体用于：
53.在基于所述多路音频信号对应的传输参数确定所述多路音频信号中至少两路音频信号对应的端口号相同的情况下，基于所述多路音频信号中每路音频信号对应的pt和ssrc，从所述音频数据包中确定所述多路音频信号中每路音频信号对应的数据包。
54.可选的，所述媒体接收设备为客户端；
55.所述装置还包括：
56.播放模块，用于播放所述视频信号以及所述多路音频信号；
57.显示模块，用于显示多个拾音器的描述信息，所述多个拾音器是指用于采集所述多路音频信号的拾音器；
58.接收模块，用于基于所述多个拾音器的描述信息接收音频信号切换指令，所述音频信号切换指令携带目标音频信号的编号，所述目标音频信号为所述多路音频信号中的一路；
59.切换模块，用于将当前播放的音频信号切换至所述目标音频信号。
60.第四方面，提供了一种音视频监控装置，应用于媒体采集设备，所述装置包括：
61.第一描述信息提供模块，用于向媒体接收设备提供多路媒体信号中每路媒体信号的描述信息，所述描述信息包括编号和有效载荷类型pt，所述多路媒体信号包括单路视频信号和多路音频信号，所述多路音频信号采用不同的拾音器来采集；
62.传输参数提供模块，用于向所述媒体接收设备提供所述多路音频信号中每路音频信号对应的传输参数，所述传输参数用于指示对应音频信号的传输通道或者传输端口；
63.数据包发送模块，用于向所述媒体接收设备发送所述多路媒体信号的数据包。
64.可选的，所述描述信息还包括同步信源ssrc；
65.所述装置还包括：
66.分配模块，用于为所述多路音频信号中的每路音频信号分配一个同步信源ssrc。
67.可选的，所述描述信息是采用会话描述协议sdp传输。
68.可选的，所述装置还包括：
69.第二描述信息提供模块，用于向所述媒体接收设备提供所述多路音频信号中每路音频信号对应的拾音器的描述信息。
70.第五方面，提供了一种媒体采集设备，所述设备包括：
71.视频采集模块，用于采集单路视频信号；
72.多个拾音器，用于采集多路音频信号，所述多路音频信号采用不同的拾音器来采集；
73.发射器，用于向媒体接收设备提供多路媒体信号中每路媒体信号的描述信息，所述描述信息包括编号和有效载荷类型pt，所述多路媒体信号包括所述单路视频信号和所述多路音频信号；向所述媒体接收设备提供所述多路音频信号中每路音频信号对应的传输参数，所述传输参数用于指示对应音频信号的传输通道或者传输端口；向所述媒体接收设备发送所述多路媒体信号的数据包。
74.第六方面，提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器用于存放计算机程序，所述处理器用于执行所述存储器上所存放的计算机程序，以实现上述所述的音视频监控方法的步骤。
75.第七方面，提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述所述音视频监控方法的步骤。
76.第八方面，提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使得计算机执行上述所述的音视频监控方法的步骤。
77.本技术实施例提供的技术方案至少可以带来以下有益效果：
78.本技术实施例通过媒体接收设备从媒体采集设备获取多路媒体信号的描述信息和传输参数，在媒体接收设备接收到多媒体信号的数据包后，基于pt和传输参数能够确定该数据包属于哪一路媒体信号，使得媒体接收设备能够正确区分出每一路媒体信号的数据包，解决了多路媒体信号的传输问题。
附图说明
79.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使
用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
80.图1是本技术实施例提供的一种音视频监控方法的实施环境示意图；
81.图2是本技术实施例提供的另一种音视频监控方法的实施环境示意图；
82.图3是本技术实施例提供的一种音视频监控方法的流程图；
83.图4是本技术实施例提供的一种音视频监控装置的结构示意图；
84.图5是本技术实施例提供的另一种音视频监控装置的结构示意图；
85.图6是本技术实施例提供的一种客户端的结构示意图。
具体实施方式
86.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
87.在对本技术实施例提供的音视频监控方法进行详细的解释说明之前，先对本技术实施例提供的实施环境进行介绍。
88.请参考图1，图1是根据一示例性实施例示出的一种实施环境的示意图。该实施环境包括媒体采集设备100、外部存储器200和客户端300，该媒体采集设备100包括至少一个视频采集模块和多个拾音器，该多个拾音器部署在不同的位置。其中，该媒体采集设备100与该外部存储器200进行通信连接，该客户端300与该媒体采集设备100进行通信连接，该客户端300还可以与该外部存储器200进行通信连接。该通信连接可以为有线或者无线连接，本技术实施例对此不做限定。
89.媒体采集设备100用于采集音频信号和视频信号，并将采集到的视频信号和音频信号进行编码以及打包，得到多个数据包。将得到的多个数据包发送给外部存储器200或者客户端300。如上文所述，媒体采集设备100包括至少一个视频采集模块和多个拾音器，每个视频采集模块采集一路视频信号，每个拾音器采集一路音频信号。
90.外部存储器200用于利用本技术实施例提供的方法，从媒体采集设备100发送的数据包中确定视频数据包和音频数据包，以及从视频数据包中确定每个视频采集模块采集的视频信号的数据包，从音频数据包中确定每个拾音器采集的音频信号的数据包。在另一些实施例中，外部存储器200还用于将存储的数据包发送给客户端300。
91.客户端300用于接收媒体采集设备100或外部存储器200发送的数据包，并利用本技术实施例提供的方法，从接收到的数据包中确定视频数据包和音频数据包，以及从视频数据包中确定每个视频采集模块采集的视频信号的数据包，从音频数据包中确定每个拾音器采集的音频信号的数据包。之后，可以对视频信号和音频信号进行播放。
92.可选地，请参考图2，媒体采集设备100包括多个拾音器、音频编码模块、至少一个视频采集模块、视频编码模块、打包模块和发射器。该多个拾音器、音频编码模块、至少一个视频采集模块、视频编码模块、打包模块和发射器可以集成在同一个物理设备上，也可以集成在不同的物理设备上，用户可按需选取，在此不做限定。
93.每个拾音器用于采集一路音频信号并发送给音频编码模块，拾音器采集到的音频信号可以是模拟信号，也可以是数字信号。如果拾音器采集的音频信号为模拟音频信号，则
需要先将该模拟音频信号转换为数字音频信号，再将该数字音频信号发送给音频编码模块。如果拾音器采集的音频信号为数字音频信号，那么可以直接将该数字音频信号发送给音频编码模块。
94.音频编码模块用于对拾音器采集的音频信号进行编码，并将编码后的音频信号发送给打包模块。该音频编码模块支持对多种格式的音频信号进行编码，关于音频信号的格式在此不做限定。
95.需要说明的是，在上述图2中，拾音器和音频编码模块是两个独立的模块，但是在另一些实施例中，音频编码模块也可以集成在拾音器中，也就是说，集成有音频编码模块的拾音器不仅具有采集音频信号的功能，还具有对音频信号进行编码的功能。
96.可选的，多路音频信号也可以使用除媒体采集设备100之外的其他外接编码设备进行统一编码，再将编码后的音频信号发送给打包模块。
97.每个视频采集模块用于采集一路视频信号，该视频信号可以为数字信号，也可以为其他类型的视频信号，在此不做限定。
98.视频编码模块用于对该视频采集模块采集的视频信号进行编码。
99.打包模块用于按照流媒体传输协议的报文格式，将编码后的音频信号封装为音频数据包，以及将编码后的视频信号封装为视频数据包。
100.发射器用于在接收到媒体接收设备发送的描述信息请求后，向媒体接收设备提供多路媒体信号的描述信息，在接收到媒体接收设备发送的传输参数请求后，向媒体接收设备提供多路媒体信号的传输参数，之后，向所述媒体接收设备发送音频数据包和视频数据包。
101.其中，视频信号和音频信号具有不同的pt(payload type，有效载荷类型)，不同路视频信号的pt可能相同或者不同，不同路音频信号的pt也可能相同或者不同。但是，视频信号和视频信号具有不同的ssrc(synchronization source，同步信源)，且不同路的视频信号具有不同的ssrc，不同路的音频信号也具有不同的ssrc。在打包模块封装得到的数据包中可以携带对应的pt和ssrc。
102.需要说明的是，打包模块支持对具有不同pt或不同ssrc的多路媒体信号进行打包。打包模块也支持对不同编码格式的多路媒体信号进行打包。其中，上述流媒体传输协议可以是rtp(realtime transport protocol，实时传输协议)。
103.外部存储器200包括转封装模块和存储模块。转封装模块用于将媒体采集设备100生成的数据包从一种封装格式转换为另外一种封装格式，例如可以将rtp封装格式的数据包转封装为ps(programstream，节目流)或mp4(mpeg
‑
4)封装格式的数据包。存储模块用于对转封装后的数据包进行存储，例如对转封装为ps或mp4封装格式的数据包进行存储。
104.其中，媒体采集设备可以为相机、手机、pda(personal digital assistant，个人数字助手)、平板电脑等。
105.客户端可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品，例如pc(personal computer，个人计算机)、手机、智能手机、pda、可穿戴设备、掌上电脑ppc(pocket pc)、平板电脑、智能车机、智能电视、智能音箱等。
106.外部存储器可以是任何一种支持存储音视频数据的存储器。可选的，该存储器也
可以支持转发所存储的音视频数据。例如网络视频录像机。
107.本领域技术人员应能理解上述客户端和外部存储器仅为举例，其他现有的或今后可能出现的客户端或外部存储器如可适用于本技术实施例，也应包含在本技术实施例保护范围以内，并在此以引用方式包含于此。
108.接下来对本技术实施例提供的音视频监控方法进行详细的解释说明。
109.图3是本技术实施例提供的一种音视频监控方法的流程图，该方法应用于媒体接收设备和媒体采集设备100之间的通信过程。其中，该媒体接收设备可以是上述图1中的客户端300，也可以是上述图1中的外部存储器200。请参考图3，该方法包括如下步骤。
110.s101、媒体采集设备采集多路媒体信号，该多路媒体信号包括单路视频信号和多路音频信号，该多路音频信号采用不同的拾音器来采集。
111.基于上文描述，媒体采集设备包括至少一个视频采集模块和多个拾音器，每个视频采集模块用于采集一路视频信号，每个拾音器用于采集一路音频信号。在媒体采集设备包括多个视频采集模块的情况下，该多个视频采集模块采集到的多路视频信号也可以参考多路音频信号的方式进行区分，本技术实施例对此不展开论述，后续将以单路视频信号和多路音频信号为例进行介绍。
112.由于媒体采集设备包括多个拾音器，该多个拾音器部署在不同的位置，所以，通过该多个拾音器可以采集到单个视频采集模块的整个覆盖范围内的音频信号。
113.在媒体采集设备采集到多路媒体信号之后，可以将该多路媒体信号发送给客户端或者外部存储器，由客户端进行播放，或者由外部存储器进行存储。详细实现过程请参考下述s102
‑
s106。
114.s102、媒体接收设备从媒体采集设备获取多路媒体信号中每路媒体信号的描述信息，该描述信息包括编号和pt。
115.媒体接收设备向媒体采集设备发送描述信息请求消息，用于请求多路媒体信号的描述信息。媒体采集设备接收到该描述信息请求消息后，发送描述信息响应消息到媒体接收设备，该描述信息响应消息携带多路媒体信号的描述信息。
116.该多路媒体信号的描述信息包括每路媒体信号的编号和pt，可选的，该多路媒体信号的描述信息还可以包括每路媒体信号的ssrc、编码格式、时钟频率、声道数以及拾音器的描述信息中的一种或多种。
117.需要说明的是，该多路媒体信号的描述信息可以采用sdp(session description protocol，会话描述协议)进行传输，当然，还可以采用其他的协议进行传输。每路媒体信号的ssrc由媒体采集设备为每路媒体信号进行分配。拾音器的描述信息由媒体采集设备根据每路音频信号对应的拾音器的方位确定的，也即是，拾音器的描述信息用于描述拾音器的方位。当然，拾音器的描述信息还能够描述拾音器的其他属性信息。
118.此外，在描述信息包括编码、pt和ssrc的情况下，媒体接收设备在获取到该多路媒体信号的描述信息之后，还可以将每路媒体信号的编号、pt和ssrc存储至编号、pt与ssrc之间的映射关系。
119.比如，该描述信息请求消息为describe消息，该描述信息响应消息为200ok消息。该媒体接收设备向该媒体采集设备发送describe消息，用于获取多路媒体信号中每路媒体信号的描述信息。该媒体采集设备向该媒体接收设备发送200ok消息，该200ok消息携带的
该多路媒体信号中每路媒体信号的描述信息如下：
120.rtsp/1.0 200ok
121.cseq:3
122.content
‑
type:application/sdp
123.content
‑
length:609
124.v＝0
125.o＝
‑
1610842017961245 1610842017961245in ip4 10.112.75.115
126.s＝media presentation
127.e＝none
128.b＝as:5100
129.t＝0 0
130.a＝control:*
131.m＝video 0rtp/avp 96
132.c＝in ip4 0.0.0.0
133.b＝as:5000
134.a＝recvonly
135.a＝x
‑
dimensions:1280,720
136.a＝control:trackid＝0
137.a＝rtpmap:96h264/90000
138.a＝fmtp:96profile
‑
level
‑
id＝420029；packetization
‑
mode＝1；
139.sprop
‑
parameter
‑
sets＝z00ah5y1qkaldnwebauaaaciaaffkaq＝,ao48ga＝＝
140.m＝audio 0rtp/avp 8 0
141.c＝in ip4 0.0.0.0
142.b＝as:50
143.a＝recvonly
144.a＝rtpmap:0pcmu/8000/1
145.a＝ssrc:12345cname＝name1
146.a＝control:trackid＝1
147.a＝ssrc:34567cname＝name2
148.a＝control:trackid＝2
149.a＝rtpmap:8pcma/8000/1
150.a＝ssrc:67890cname＝name3
151.a＝control:trackid＝3
152.a＝media_header:mediainfo＝494d4b48010300000400000111710110401f000000fa000000000000000000000000000000000000；
153.a＝appversion:1.0
154.其中，m＝video 0rtp/avp 96表示该路媒体信号为视频信号，使用rtp进行传输，pt为96。a＝control:trackid＝0表示视频信号的编号为0。m＝audio 0rtp/avp 8 0表示多个音频信号，使用rtp进行传输，pt分别为8、0。a＝rtpmap:0pcmu/8000/1表示pt为0的音频
信号的编码格式为pcmu，时钟频率为8000，声道数为1。a＝ssrc:12345表示该媒体采集设备为pt为0的第一路音频信号分配的ssrc为12345，a＝control:trackid＝1表示pt为0的第一路音频信号的编号为1。a＝ssrc:34567表示该媒体采集设备为pt为0的第二路音频信号分配的ssrc为34567，a＝control:trackid＝2表示pt为0的第二路音频信号的编号为2。a＝rtpmap:8pcma/8000/1表示pt为8的音频信号的编码格式为pcma，时钟频率为8000，声道数为1。a＝ssrc:67890表示该媒体采集设备为pt为8的这路音频信号分配的ssrc为67890，a＝control:trackid＝3表示pt为8的这路音频信号的编号为8。
155.可选的，媒体接收设备向媒体采集设备发送描述信息请求消息之前，还可以向媒体采集设备发送通信方式请求消息，用于请求媒体采集设备所支持的通信方式。媒体采集设备接收该通信方式请求消息，向媒体接收设备发送通信方式响应消息，媒体接收设备接收媒体采集设备发送的通信方式响应消息，该通信方式响应消息携带媒体采集设备支持的通信方式。这样，媒体接收设备可以按照媒体采集设备支持的通信方式，与媒体采集设备进行通信。
156.比如，通信方式请求消息为options消息，通信方式响应消息为200ok消息。媒体接收设备向该媒体采集设备发送options消息，该options消息用于获取该媒体采集设备所支持的通信方式。该媒体采集设备向该媒体接收设备发送200ok消息，其内容如下：
157.rtsp/1.0 200ok
158.cseq:1
159.public:options,describe,play,pause,setup,teardown,set_parameter
160.date:sun,jan 17 2021 00:06:57gmt
161.其中，public字段指示该媒体采集设备所支持的通信方式，媒体采集设备后续使用这些通信方式与媒体接收设备进行通信。比如，媒体采集设备支持describe通信方式，那么，媒体接收设备可以向媒体采集设备发送describe消息来获取多路媒体信号中每路媒体信号的描述信息。
162.s103、该媒体接收设备基于该多路媒体信号的编号，从该媒体采集设备获取该多路音频信号中每路音频信号对应的传输参数，该传输参数用于指示对应音频信号的传输通道或者传输端口。
163.媒体接收设备从该多路媒体信号的描述信息中获取每一路媒体信号的编号。对于该多路媒体信号中的每一路媒体信号，媒体接收设备向媒体采集设备发送传输参数请求消息，该传输参数请求消息携带该路媒体信号的编号。媒体采集设备接收该传输参数请求消息，向媒体接收设备发送传输参数响应消息，该传输参数响应消息携带该路媒体信号对应的传输参数。媒体接收设备接收该传输参数响应消息，将该传输参数响应消息携带的传输参数确定为该路媒体信号对应的传输参数。
164.可选的，该传输参数请求消息中还可以携带媒体接收设备关于该路媒体信号期望使用的传输参数。这样，在媒体采集设备接收到该传输参数请求消息后，可以基于媒体接收设备关于该路媒体信号期望使用的传输参数，来确定媒体采集设备期望使用的传输参数，并携带在传输参数响应消息中发送给媒体接收设备。
165.其中，媒体接收设备与媒体采集设备之间的传输协议可以事先约定。当然，媒体接收设备也可以与媒体采集设备进行协商。
166.示例的，媒体接收设备向媒体采集设备发送传输协议请求消息，该传输协议请求消息携带媒体接收设备期望使用的传输协议的类型。媒体采集设备接收该传输协议请求消息，向媒体接收设备发送传输协议响应消息，该传输协议响应消息携带媒体采集设备期望使用的传输协议的类型。此时，媒体接收设备可以将该传输协议响应消息携带的传输协议的类型所对应的传输协议，确定为媒体接收设备与媒体采集设备传输媒体信号的传输协议。至此，完成了媒体接收设备与媒体采集设备协商传输协议的过程。
167.需要说明的是，传输参数请求消息与传输协议请求消息可以为同一请求消息，也即是，媒体接收设备可以在获取媒体信号的传输参数的同时，来获取传输协议，当然，这两个请求消息也可以为不同的请求消息，本技术实施例对此不做限定。
168.此外，媒体接收设备获取到该多路音频信号中每路音频信号对应的传输参数之后，还可以将每路媒体信号的编号与传输参数存储至编号与传输参数之间的映射关系。当然，还可以将每路媒体信号的传输参数与上述的编号、pt和ssrc存储在一起。也即是，存储编号、pt、ssrc与传输参数之间的映射关系。
169.需要说明的是，传输参数可以为通道标识，该通道标识用于指示媒体信号的传输通道。或者，传输参数可以为端口号，该端口号用于指示媒体信号的传输端口。其中，该端口号可以包括客户端口号(client port)和服务端口号(server port)。
170.当传输参数为通道标识时，上述映射关系中存储的传输参数为通道标识。当传输参数为端口号时，上述映射关系中存储的传输参数为端口号。
171.比如，传输参数请求消息与传输协议请求消息为同一请求消息，该请求消息为setup消息，该setup消息如下：
172.setup rtsp://10.112.75.115:554/psia/streaming/channels/101/trackid＝1rtsp/1.0
173.cseq:4
174.authorization:digest username＝"admin",realm＝"ip camera(12345)",nonce＝"6af89f9fb8ef5bce472ee0dc07c1ca65",
175.uri＝"rtsp://10.112.75.115:554/psia/streaming/channels/101",response＝"a9acc7819a490abbf01bf2254a5a070c"
176.user
‑
agent:nkplayer
‑
vsplayer1.0
177.transport:rtp/avp/tcp；unicast；interleaved＝0
‑1178.其中，trackid＝1表示媒体接收设备请求编号为1的这一路音频信号的传输参数。transport:rtp/avp/tcp表示媒体接收设备期望使用的传输协议为rtp/tcp，interleaved＝0
‑
1为通道标识，表示媒体接收设备期望使用通道0接收rtp报文，以及期望使用通道1接收rtcp(realtime transport control protocol，实时传输控制协议)报文。
179.该媒体采集设备向该媒体接收设备发送200ok消息，该200ok消息携带该媒体采集设备传输该路媒体信号时期望使用的传输协议和传输参数：
180.rtsp/1.0 200ok
181.cseq:4
182.session:1656473847；timeout＝60
183.transport:rtp/avp/tcp；unicast；interleaved＝0
‑
1；ssrc＝736dd621；mode＝"
play"
184.date:sun,jan 17 2021 00:06:57gmt
185.其中，transport:rtp/avp/tcp表示媒体采集设备期望使用的传输协议为rtp/tcp，interleaved＝0
‑
1表示媒体采集设备期望使用通道0发送rtp报文，以及期望使用通道1发送rtcp报文。
186.又比如，传输参数请求消息与传输协议请求消息为同一请求消息，该请求消息为setup消息，该setup消息如下：
187.setup rtsp://10.112.75.115:554/psia/streaming/channels/101/trackid＝1rtsp/1.0
188.cseq:4
189.authorization:digest username＝"admin",realm＝"ip camera(12345)",nonce＝"a4a2ee6a5ee449f398e8ebcee6b5c78b",
190.uri＝"rtsp://10.112.75.115:554/psia/streaming/channels/101",response＝"3eb8a1ec516a007cbbbd46e72af684f7"
191.user
‑
agent:nkplayer
‑
vsplayer1.0
192.transport:rtp/avp；unicast；client_port＝58000
‑
58001
193.其中，trackid＝1表示媒体接收设备请求编号为1的这一路音频信号的传输参数，transport:rtp/avp表示媒体接收设备期望使用的传输协议为rtp/udp，client_port＝58000
‑
58001为端口号，表示媒体接收设备期望使用端口58000接收rtp报文，以及期望使用端口58001接收rtcp报文。
194.该媒体采集设备向该媒体接收设备发送200ok消息，该200ok消息携带该媒体采集设备传输该路媒体信号时期望使用的传输协议和传输参数：
195.rtsp/1.0 200ok
196.cseq:4
197.session:353530289；timeout＝60
198.transport:rtp/avp；unicast；client_port＝58000
‑
58001；server_port＝8360
‑
8361；ssrc＝44b0b59d；mode＝"play"
199.date:sun,jan 17 2021 00:09:32gmt
200.其中，transport:rtp/avp表示媒体采集设备期望使用的传输协议为rtp/udp，server_port＝8360
‑
8361表示媒体采集设备期望使用端口8360发送rtp报文，以及期望使用端口8361发送rtcp报文。
201.s104、该媒体接收设备从该媒体采集设备获取该多路媒体信号的数据包。
202.如上文所述，在媒体接收设备获取到媒体采集设备发送每一路媒体信号所使用的传输参数后，媒体采集设备可以按照每路媒体信号对应的传输参数，向媒体接收设备发送相应一路媒体信号的数据包。这样，媒体接收设备可以按照每路媒体信号对应的传输参数，接收相应一路媒体信号的数据包。
203.基于上文描述，该传输协议可以为rtp/tcp，也可以为rtp/udp，该传输参数可以包括通道标识，也可以包括端口号。接下来将分两种情况，对媒体接收设备从媒体采集设备获取该多路媒体信号的数据包的过程进行详细地介绍。
204.第一种情况，该传输协议为rtp/tcp，该传输参数包括通道标识。
205.在这种情况下，媒体采集设备将采集到的视频信号和多路音频信号进行编码之后，可以使用rtp格式对编码后的视频信号和多路音频信号进行打包，得到多个rtp数据包，然后使用tcp(transmission control protocol，传输控制协议)将该多个rtp数据包，通过该通道标识所指示的传输通道发送给媒体接收设备。媒体接收设备使用tcp，在该通道标识所指示的传输通道上接收该多个rtp数据包。
206.第二种情况，该传输协议为rtp/udp，该传输参数包括端口号。
207.在这种情况下，媒体采集设备将采集到的视频信号和多路音频信号进行编码之后，可以使用rtp格式对编码后的视频信号和多路音频信号进行打包，得到多个rtp数据包，然后使用udp(user datagram protocol，用户数据报协议)将该多个rtp数据包，通过该端口号所指示的传输端口发送给媒体接收设备。媒体接收设备使用udp，在该端口号所指示的传输端口上接收该多个rtp数据包。
208.可选的，在传输多路媒体信号的数据包时，每个数据包中可以携带所属媒体信号的ssrc。而且，媒体采集设备可以周期性地向媒体接收设备发送rtcp报文，该rtcp报文中携带ntp时间戳、rtp时间戳以及ssrc。媒体接收设备可以将该多路媒体信号对应的数据包中携带的ssrc与该rtcp报文中携带的ssrc进行匹配，以确定与该rtcp报文中携带的ssrc相同的数据包。然后，基于该rtcp报文中的ntp时间戳和rtp时间戳，以及确定的数据包中的rtp时间戳实现音视频同步。该ntp时间戳为媒体采集设备发送rtcp报文的绝对时间，该rtp时间戳与确定的数据包中的rtp时间戳具有相同的单位和随机初始值。
209.需要说明的是，该rtcp报文可以为sr(sender report，发送端报告)报文。该ntp时间戳和rtp时间戳可以按照rfc3550标准填充在rtcp报文中。
210.s105、该媒体接收设备基于该多路媒体信号的pt，从获取到的数据包中确定视频数据包和音频数据包，以及基于该多路音频信号中每路音频信号对应的传输参数，从该音频数据包中确定该多路音频信号中每路音频信号的数据包。
211.对于获取到的每个数据包，媒体接收设备对该数据包进行解析，以获取该数据包中携带的pt。将该数据包中携带的pt与s102中获取到的每路媒体信号的pt进行匹配。若该数据包中携带的pt与s102中获取到的视频信号的pt相同，则确定该数据包为视频数据包。若该数据包中携带的pt与s102中获取到的多路音频信号中任何一路音频信号的pt相同，则确定该数据包为音频数据包。
212.由于本技术实施例中存在多路音频信号，因此在确定音频数据包之后，还需要确定每个音频数据包具体属于哪一路音频信号。针对该过程，本技术实施例提供了以下两种可实现的方式：
213.第一种实现方式，该媒体接收设备与该媒体采集设备通过tcp通信，该传输参数包括通道标识，该音频数据包携带所属的音频信号对应的通道标识。在基于获取到的传输参数确定该多路音频信号对应的通道标识不同的情况下，按照该音频数据包中携带的通道标识，确定该多路音频信号中每路音频信号的数据包。在基于获取到的传输参数确定该多路音频信号中至少两路音频信号对应的通道标识相同的情况下，基于该多路音频信号中每路音频信号对应的pt和ssrc，从该音频数据包中确定该多路音频信号中每路音频信号对应的数据包。
214.在基于获取到的传输参数确定该多路音频信号对应的通道标识不同的情况下，由于每路音频信号的通道标识唯一，且通道标识和音频信号的编号之间存在映射关系，因此按照该音频数据包中携带的通道标识以及编号与通道标识之间的映射关系，能够确定出该多路音频信号中每路音频信号的数据包。
215.在基于获取到的传输参数确定该多路音频信号中至少两路音频信号对应的通道标识相同的情况下，由于每路音频信号的通道标识不再唯一，无法通过通道标识确定音频信号数据包所属的音频信号。但是，基于上文描述，媒体信号对应的数据包中可以携带pt和ssrc，而每路音频信号的pt ssrc的组合是唯一的，因此可以基于编号、pt与ssrc之间的映射关系以及音频数据包中携带的pt和ssrc，从该音频数据包中确定该多路音频信号中每路音频信号对应的数据包。
216.下面举例说明该多路音频信号对应的通道标识不同和相同的情况。
217.例如，根据步骤s103中setup消息以及200ok消息生成的编号与通道标识之间的映射关系如下表1所示。
218.表1
[0219][0220][0221]
也即是，编号为1的音频信号的通道标识为0
‑
1，0为rtp的通道标识，1为rtcp的通道标识。编号为2的音频信号的通道标识为2
‑
3，2为rtp的通道标识，3为rtcp的通道标识。编号为3的音频信号的通道标识为4
‑
5，4为rtp的通道标识，5为rtcp的通道标识。
[0222]
由于这三路音频信号的通道标识不同，因此媒体接收设备可以确定对后续接收到的音频数据包按照通道标识进行区分。由于数据包使用rtp协议封装，该数据包中包含rtp的通道标识。媒体接收设备从音频数据包中获取该rtp的通道标识，若获取到该rtp的通道标识为0，则基于上述表1确定该音频数据包属于编号为1的音频信号。若获取到该rtp的通道标识为2，则基于上述表1确定该音频数据包属于编号为2的音频信号。若获取到该rtp的通道标识为4，则基于上述表1确定该音频数据包属于编号为3的音频信号。
[0223]
若根据setup消息以及200ok消息确定编号为1的音频信号的rtp的通道标识、编号为2的音频信号的rtp的通道标识和编号为3的音频信号的rtp的通道标识中至少两路音频信号的rtp的通道标识相同，则媒体接收设备可以确定对后续接收到的音频数据包按照pt ssrc的组合进行区分。
[0224]
例如，根据上述步骤s102中媒体采集设备向媒体接收设备发送的描述信息响应消息生成的编号、pt与ssrc之间映射关系如下表2所示。
[0225]
表2
[0226]
编号ptssrc
101234520345673867890..................
[0227]
也即是，编号为1的音频信号的pt和ssrc分别为0和12345。编号为2的音频信号的pt和ssrc分别为0和34567。编号为3的音频信号的pt和ssrc分别为8和67890。
[0228]
由于数据包使用rtp协议封装，该数据包中包含pt和ssrc。媒体接收设备从音频数据包中获取pt和ssrc，若获取到pt和ssrc分别为0和12345，则基于上述表2确定该音频数据包属于编号为1的音频信号。若获取到pt和ssrc分别为0和34567，则基于上述表2确定该音频数据包属于编号为2的音频信号。若获取到pt和ssrc分别为8和67890，则基于上述表2确定该音频数据包属于编号为3的音频信号。
[0229]
第二种实现方式，该媒体接收设备与该媒体采集设备通过udp通信，该传输参数包括端口号，该音频数据包携带所属的音频信号对应的端口号。在基于获取到的传输参数确定该多路音频信号对应的端口号不同的情况下，按照该音频数据包中携带的端口号，确定该多路音频信号中每路音频信号对应的数据包。在基于获取到的传输参数确定该多路音频信号中至少两路音频信号对应的端口号相同的情况下，基于该多路音频信号中每路音频信号对应的pt和ssrc，从该音频数据包中确定该多路音频信号中每路音频信号对应的数据包。
[0230]
在基于获取到的传输参数确定该多路音频信号对应的端口号不同的情况下，由于每路音频信号的端口号唯一，且端口号和音频信号的编号之间存在映射关系，因此按照该音频数据包中携带的端口号以及编号与端口号之间的映射关系，能够确定出该多路音频信号中每路音频信号的数据包。
[0231]
在基于获取到的传输参数确定该多路音频信号中至少两路音频信号对应的端口号相同的情况下，由于每路音频信号的端口号不再唯一，无法通过端口号确定音频信号数据包所属的音频信号。但是，基于上文描述，媒体信号对应的数据包中可以携带pt和ssrc，而每路音频信号的pt ssrc的组合是唯一的，因此可以基于编号、pt与ssrc之间的映射关系以及音频数据包中携带的pt和ssrc，从该音频数据包中确定该多路音频信号中每路音频信号对应的数据包。
[0232]
下面举例说明该多路音频信号对应的端口号不同和相同的情况。
[0233]
例如，根据步骤s103中setup消息以及200ok消息生成的编号与端口号之间的映射关系如下表3所示，且该端口号包括客户端口号和服务端口号。
[0234]
表3
[0235]
[0236][0237]
也即是，编号为1的音频信号的客户端口号为58000
‑
58001，服务端口号为8360
‑
8361，58000为rtp的客户端口号，58001为rtcp的客户端口号，8360为rtp的服务端口号，8361为rtcp的服务端口号。编号为2的音频信号的客户端口号为58002
‑
58003，服务端口号为8362
‑
8363，58002为rtp的客户端口号，58003为rtcp的客户端口号，8362为rtp的服务端口号，8363rtcp的服务端口号。编号为3的音频信号的客户端口号为58004
‑
58005，服务端口号为8364
‑
83615，58004为客rtp的服务端口号，58005为rtcp的客户端口号，8364为rtp的服务端口号，8365为rtcp的服务端口号。
[0238]
由于这三路音频信号的端口号不同，因此媒体接收设备可以确定对后续接收到的音频数据包按照端口号进行区分。由于音频数据包使用rtp协议封装，该音频数据包中包含rtp的客户端口号，以及rtp的服务端口号。媒体接收设备从音频数据包中获取该rtp的客户端口号，以及rtp的服务端口号，若获取到rtp的客户端口号为58000，rtp的服务端口号为8360，则基于上述表3确定该音频数据包属于编号为1的音频信号。若获取到rtp的客户端口号为58002，rtp的服务端口号为8362，则基于上述表3确定该音频数据包属于编号为2的音频信号。若获取到rtp的客户端口号为58004，rtp的服务端口号为8364，则基于上述表3确定该音频数据包属于编号为3的音频信号。
[0239]
若根据setup消息以及200ok消息确定编号为1的音频信号、编号为2的音频信号以及编号为3的音频信号中至少两路音频信号的rtp的客户端口号相同，且rtp的服务端口号也相同，此时由于rtp的客户端口号 rtp的服务端口号到媒体信号的映射不唯一，无法通过音频数据包中携带的传输参数以及编号与端口号之间的映射关系确定音频数据包对应的媒体信号的编号，此时可以基于音频数据包中携带的pt和ssrc，以及编号、pt与ssrc之间的映射关系，从该音频数据包中确定该多路音频信号中每路音频信号对应的数据包，具体确定过程可以参考上述第一种实现方式中的相关内容，此处不再赘述。
[0240]
由于媒体接收设备先基于pt确定出视频数据包和音频数据包，再基于传输参数从多个音频数据包中确定出每一路音频信号对应的数据包，通过这种方式可以使得媒体接收设备确定出多媒体信号中每一路媒体信号对应的数据包，从而便于后续的存储或播放。
[0241]
可选的，在上述两种实现方式中，在基于获取到的传输参数确定该多路音频信号对应的传输通道不同，或者端口号不同的情况下，通过pt ssrc的组合来确定每路音频信号对应的数据包。但是基于上文描述，每路媒体信号的ssrc是不同的，即每路媒体信号的ssrc是全局唯一的，所以，也可以直接基于数据包中携带的ssrc来确定多路音频信号中每路音频信号对应的数据包。
[0242]
作为一种示例，可以基于编号与ssrc之间的映射关系，以及音频数据包中携带的ssrc，从该音频数据包中确定该多路音频信号中每路音频信号对应的数据包。
[0243]
例如，根据上述步骤s102中媒体采集设备向媒体接收设备发送的描述信息响应消息生成的编号与ssrc之间映射关系如下表4所示。
[0244]
表4
[0245]
编号ssrc112345
234567367890............
[0246]
根据上述表4中编号与ssrc之间的映射关系可知，编号为1的音频信号的ssrc为12345。编号为2的音频信号的ssrc为34567。编号为3的音频信号的ssrc为67890。由于数据包使用rtp协议封装，该数据包中包含ssrc。媒体接收设备从音频数据包中获取ssrc，若获取到的ssrc为12345，则基于上述表4确定该数据包属于编号为1的音频信号。若获取到的ssrc为34567，则基于上述表4确定该数据包属于编号为2的音频信号。若获取到的ssrc为67890，则基于上述表4确定该数据包属于编号为3的音频信号。
[0247]
s106、该媒体接收设备对确定后的每一路视频数据包和每一路音频数据包进行播放或存储。
[0248]
在媒体接收设备为客户端的情况下，该客户端播放该视频信号以及该多路音频信号。而且，该客户端播放界面上还可以显示多个拾音器的描述信息，该多个拾音器是指用于采集该多路音频信号的拾音器。客户端基于该多个拾音器的描述信息接收音频信号切换指令，该音频信号切换指令携带目标音频信号的编号，该目标音频信号为该多路音频信号中的一路。客户端将当前播放的音频信号切换至该目标音频信号。
[0249]
由于媒体采集设备向客户端提供了每一路音频信号对应的拾音器的描述信息，所以，客户端在播放界面显示该多个拾音器的描述信息之后，用户能够基于该多个拾音器的描述信息，确定每个拾音器用于采集哪个方位的音频信号。这样，便于用户根据该多个拾音器的描述信息切换至感兴趣的音频信号。
[0250]
可选的，基于上述s104步骤中的描述，媒体采集设备可以周期性地向媒体接收设备发送rtcp报文。所以，在客户端播放视频信号以及该多路音频信号时，可以从接收到的rtcp报文中获取ssrc，从而匹配每个rtcp报文对应的媒体信号的数据包。之后，从接收到的rtcp报文中获取ntp(network time protocol，网络时间协议)时间戳和rtp时间戳，并根据该ntp时间戳和rtp时间戳，以及rtcp报文匹配的媒体信号的数据包中的rtp时间戳实现音视频同步播放。
[0251]
在媒体接收设备为外部存储器的情况下，该外部存储器存储该视频数据包和音频数据包，或将视频数据包和音频数据包转封装为其他格式后进行存储。
[0252]
例如，该视频数据包和音频数据包为rtp格式的数据包，而该外部存储器只支持对ps或mp4格式的数据包进行存储，则外部存储器需要先将该rtp格式的数据包转封装为ps或mp4格式的数据包后再进行存储。
[0253]
当转封装为ps格式的数据包时，每个ps格式的数据包中携带流标识，该流标识用于标识多路媒体信号中的每一路媒体信号。ps格式支持不同编码格式的音频信号、相同编码格式不同音频参数的音频信号以及相同编码格式相同音频参数的音频信号。在ps格式的数据包中，可通过psm(program stream map，节目流映射表)对每路音频信号或视频信号的参数进行描述。例如，在每个视频i帧前面构造视频psm，该视频psm包括日期、精确到毫秒的时间信息、时间戳以及编码格式；音频信号的psm包括日期、精确到毫秒的时间信息、时间戳、编码格式、采样率、码率、声道数以及拾音器的描述信息。
[0254]
当转封装为mp4格式的数据包时，每个mp4格式的数据包中可以携带该数据包对应
的媒体信号的编号以及对应的拾音器的描述信息；mp4格式支持对多路视频信号的数据包进行转封装，也支持对多路音频信号的数据包进行转封装，mp4格式的数据包中可以携带每路媒体信号的编号以及对应的拾音器的描述信息。
[0255]
例如，mp4格式下可以通过moov下的trak字段描述该数据包对应的媒体信号的编号，可以通过moov
‑
>trak
‑
>mdia
‑
>hdlr
‑
>name字段描述每路音频信号对应的拾音器的描述信息。
[0256]
进一步地，外部存储器也可以向客户端发送外部存储器中存储的视频数据包和音频数据包，客户端对接收到的视频数据包和音频数据包进行播放，客户端的播放过程可以参照上文描述，此处不再赘述。
[0257]
本技术实施例通过媒体接收设备从媒体采集设备获取多路媒体信号的描述信息，基于该描述信息获取每路媒体信号的编号、传输参数、pt以及ssrc，然后建立每路媒体信号的编号、传输参数、pt和ssrc之间的映射关系，在媒体接收设备接收到多媒体信号的数据包后，基于传输参数或pt ssrc确定该数据包属于哪一路媒体信号，使得媒体接收设备能够正确区分出每一路媒体信号的数据包，解决了多路媒体信号的传输问题。进一步地，本技术实施例分别介绍了不同传输协议类型下多路媒体信号的数据包的确定方法，使得媒体接收设备不管使用哪种传输协议类型，都能够利用本技术实施例提供的方法正确区分多路媒体信号的数据包。最后，由于媒体采集设备向客户端提供了每一路音频信号对应的拾音器的描述信息，所以，客户端在播放界面显示该多个拾音器的描述信息之后，用户能够基于该多个拾音器的描述信息，确定每个拾音器用于采集哪个方位的音频信号。这样，便于用户根据该多个拾音器的描述信息切换至感兴趣的音频信号。综上，本技术实施例实现了多路媒体信号的正确传输，并使得用户在观看多媒体信号时可以自由切换至感兴趣的音频信号。
[0258]
图4是本技术实施例提供的一种音视频监控装置的结构示意图，该音视频监控装置可以由软件、硬件或者两者的结合实现成为媒体接收设备的部分或者全部，媒体接收设备可以为图1所示的媒体接收设备。请参考图4，该装置包括：描述信息获取模块401、传输参数获取模块402、数据包获取模块403和确定模块404。
[0259]
描述信息获取模块401，用于从媒体采集设备获取多路媒体信号中每路媒体信号的描述信息，该描述信息包括编号和pt，该多路媒体信号包括单路视频信号和多路音频信号，该多路音频信号采用不同的拾音器来采集；
[0260]
传输参数获取模块402，用于基于该多路媒体信号的编号，从该媒体采集设备获取该多路音频信号中每路音频信号对应的传输参数，该传输参数用于指示对应音频信号的传输通道或者传输端口；
[0261]
数据包获取模块403，用于从该媒体采集设备获取该多路媒体信号的数据包；
[0262]
确定模块404，用于基于该多路媒体信号的pt，从获取到的数据包中确定视频数据包和音频数据包，以及从该音频数据包中确定该多路音频信号中每路音频信号的数据包。
[0263]
可选的，该媒体接收设备与该媒体采集设备通过传输控制协议tcp通信，该传输参数包括通道标识，该音频数据包携带所属的音频信号对应的通道标识，该确定模块404具体用于：
[0264]
在基于该多路音频信号对应的传输参数确定该多路音频信号对应的通道标识不同的情况下，按照该音频数据包中携带的通道标识，确定该多路音频信号中每路音频信号
的数据包。
[0265]
可选的，该描述信息还包括同步信源ssrc。该确定模块404具体用于：
[0266]
基于该多路音频信号对应的传输参数确定该多路音频信号中至少两路音频信号对应的通道标识相同的情况下，基于该多路音频信号中每路音频信号对应的pt和ssrc，从该音频数据包中确定该多路音频信号中每路音频信号对应的数据包。
[0267]
可选的，该媒体接收设备与该媒体采集设备通过用户数据报协议udp通信，该传输参数包括端口号，该音频数据包携带所属的音频信号对应的端口号，该确定模块404具体用于：
[0268]
在基于该多路音频信号对应的传输参数确定该多路音频信号对应的端口号不同的情况下，按照该音频数据包中携带的端口号，确定该多路音频信号中每路音频信号对应的数据包。
[0269]
可选的，该描述信息还包括ssrc，该确定模块404具体用于：
[0270]
在基于该多路音频信号对应的传输参数确定该多路音频信号中至少两路音频信号对应的端口号相同的情况下，基于该多路音频信号中每路音频信号对应的pt和ssrc，从该音频数据包中确定该多路音频信号中每路音频信号对应的数据包。
[0271]
可选的，该媒体接收设备为客户端，该装置还包括：
[0272]
播放模块，用于播放该视频信号以及该多路音频信号；
[0273]
显示模块，用于显示多个拾音器的描述信息，该多个拾音器是指用于采集该多路音频信号的拾音器；
[0274]
接收模块，用于基于该多个拾音器的描述信息接收音频信号切换指令，该音频信号切换指令携带目标音频信号的编号，该目标音频信号为该多路音频信号中的一路；
[0275]
切换模块，用于将当前播放的音频信号切换至该目标音频信号。
[0276]
本技术实施例通过媒体接收设备从媒体采集设备获取多路媒体信号的描述信息，基于该描述信息获取每路媒体信号的编号、传输参数、pt以及ssrc，然后建立每路媒体信号的编号、传输参数、pt和ssrc之间的映射关系，在媒体接收设备接收到多媒体信号的数据包后，基于传输参数或pt ssrc确定该数据包属于哪一路媒体信号，使得媒体接收设备能够正确区分出每一路媒体信号的数据包，解决了多路媒体信号的传输问题。
[0277]
需要说明的是：上述实施例提供的音视频监控装置在进行音视频监控时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的音视频监控装置与音视频监控方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0278]
图5是本技术实施例提供的另一种音视频监控装置的结构示意图，该音视频监控装置可以由软件、硬件或者两者的结合实现成为媒体采集设备的部分或者全部，媒体采集设备可以为图1所示的媒体采集设备。请参考图5，该装置包括：第一描述信息提供模块501、传输参数提供模块502和数据包发送模块503。
[0279]
第一描述信息提供模块501，用于向媒体接收设备提供多路媒体信号中每路媒体信号的描述信息，该描述信息包括编号和有效载荷类型pt，该多路媒体信号包括单路视频信号和多路音频信号，该多路音频信号采用不同的拾音器来采集；
[0280]
传输参数提供模块502，用于向该媒体接收设备提供该多路音频信号中每路音频信号对应的传输参数，该传输参数用于指示对应音频信号的传输通道或者传输端口；
[0281]
数据包发送模块503，用于向该媒体接收设备发送该多路媒体信号的数据包。
[0282]
可选的，该描述信息还包括同步信源ssrc；
[0283]
该装置还包括：
[0284]
分配模块，用于为该多路音频信号中的每路音频信号分配一个同步信源ssrc。
[0285]
可选的，该描述信息是采用会话描述协议sdp传输。
[0286]
可选的，该装置还包括：
[0287]
第二描述信息提供模块，用于向该媒体接收设备提供该多路音频信号中每路音频信号对应的拾音器的描述信息。
[0288]
本技术实施例通过媒体接收设备从媒体采集设备获取多路媒体信号的描述信息，基于该描述信息获取每路媒体信号的编号、传输参数、pt以及ssrc，然后建立每路媒体信号的编号、传输参数、pt和ssrc之间的映射关系，在媒体接收设备接收到多媒体信号的数据包后，基于传输参数或pt ssrc确定该数据包属于哪一路媒体信号，使得媒体接收设备能够正确区分出每一路媒体信号的数据包，解决了多路媒体信号的传输问题。
[0289]
需要说明的是：上述实施例提供的音视频监控装置在进行音视频监控时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的音视频监控装置与音视频监控方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0290]
图6是本技术实施例提供的一种客户端600的结构框图。该客户端600可以是便携式移动客户端，比如：智能手机、平板电脑、mp3播放器(moving picture experts group audio layer iii，动态影像专家压缩标准音频层面3)、mp4(moving picture experts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。客户端600还可能被称为用户设备、便携式客户端、膝上型客户端、台式客户端等其他名称。
[0291]
通常，客户端600包括有：处理器601和存储器602。
[0292]
处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
[0293]
存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个
或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器601所执行以实现本技术中方法实施例提供的音视频监控方法。
[0294]
在一些实施例中，客户端600还可选包括有：外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地，外围设备包括：射频电路604、触摸显示屏605、摄像头606、音频电路607、定位组件608和电源609中的至少一种。
[0295]
外围设备接口603可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
[0296]
射频电路604用于接收和发射rf(radio frequency，射频)信号，也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路604包括：天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它客户端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity，无线保真)网络。在一些实施例中，射频电路604还可以包括nfc(near field communication，近距离无线通信)有关的电路，本技术实施例对此不加以限定。
[0297]
显示屏605用于显示ui(user interface，用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时，显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时，显示屏605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏605可以为一个，设置客户端600的前面板；在另一些实施例中，显示屏605可以为至少两个，分别设置在客户端600的不同表面或呈折叠设计；在再一些实施例中，显示屏605可以是柔性显示屏，设置在客户端600的弯曲表面上或折叠面上。甚至，显示屏605还可以设置成非矩形的不规则图形，也即异形屏。显示屏605可以采用lcd(liquid crystal display，液晶显示屏)、oled(organic light
‑
emitting diode,有机发光二极管)等材质制备。
[0298]
摄像头组件606用于采集图像或视频。可选地，摄像头组件606包括前置摄像头和后置摄像头。通常，前置摄像头设置在客户端的前面板，后置摄像头设置在客户端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
[0299]
音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器601进行处理，或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在客户端600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路607还可以包括耳机插孔。
[0300]
定位组件608用于定位客户端600的当前地理位置，以实现导航或lbs(location based service，基于位置的服务)。定位组件608可以是基于美国的gps(global positioning system，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
[0301]
电源609用于为客户端600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
[0302]
本领域技术人员可以理解，图6中示出的结构并不构成对客户端600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
[0303]
在一些实施例中，还提供了一种计算机可读存储介质，该存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中音视频监控方法的步骤。例如，所述计算机可读存储介质可以是rom、ram、cd
‑
rom、磁带、软盘和光数据存储设备等。
[0304]
值得注意的是，本技术实施例提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。
[0305]
应当理解的是，实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。所述计算机指令可以存储在上述计算机可读存储介质中。
[0306]
也即是，在一些实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述所述的音视频监控方法的步骤。
[0307]
应当理解的是，本文提及的“至少一个”是指一个或多个，“多个”是指两个或两个以上。在本技术实施例的描述中，除非另有说明，“/”表示或的意思，例如，a/b可以表示a或b；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，为了便于清楚描述本技术实施例的技术方案，在本技术的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
[0308]
以上所述为本技术提供的实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。