一种二维码识别绑定与视频交互的装置及其方法与流程

1.本发明属于基于二维码的交互技术，特指一种二维码识别绑定与视频交互的装置及其方法。


背景技术：

2.如图1所示，现有的视频监控的视频通话功能主要通过监控系统的管理端和监控系统软件以及相配的具备拾音功能的麦克风，放音器(喇叭)等构成。现有的视频监控的视频通话操作是在监控系统的管理端通过监控系统软件和麦克风并通过软件操作连线远端某个具备拾音和放音功能的视频监控摄像机来实现。该方法只具备系统管理端单方主动发起会话的功能，而远端摄像机是被呼叫端。操作由于必须要通过限定的软件和网络，所以现有的常规的视频监控视频通话方法不方便。因此，现有的视频监控的视频通话功能存在如下缺点：(1)大多数只支持语音通话，建立通话的操作大多数在服务管理端的软件上进行；(2)大多数不支持跨系统、跨网络、跨平台实现通话；(3)用户操作较为不简便，用户需要在特定的软硬件环境下进行操作才能建立通话，需要用户具备一定的专业知识。
3.如图2所示，现有的视频监控厂家均有提供通过智能终端(手机)的app扫码绑定智能摄像机后实现远程监看和对讲的功能。通过私有协议来对智能摄像机进行设备编号并在设备出厂时将此设备编号和服务器链接地址通过二维码的方式张贴在智能摄像机上，智能摄像机经用户购买后联网成功，通过私有协议将和厂商的云视频监看对讲系统进行注册登录，此时该智能摄像机在厂商的云视频监看对讲系统为在线且未绑定状态。用户通过厂商的app扫码并将该设备绑定到该用户的app账号，此时用户将可以通过厂商app可以访问智能摄像机从而进行远程监看或远程对讲。但是，现有的视频监控厂家均有提供通过手机上的app扫码绑定智能摄像机后实现远程监看和对讲的功能存在如下缺点：(1)不支持跨平台和跨网络，局限于部分视频监控厂商自身的应用软件和专有网络内才能实现；(2)用户的操作依然不够简便，对于缺乏专业知识的用户依然存在使用操作方面的难度。


技术实现要素：

4.为克服现有技术的不足及存在的问题，本发明提供一种二维码识别绑定与视频交互方法。
5.为实现上述目的，本发明采用如下技术方案：
6.一种二维码识别绑定和视频交互的装置，包括通信连接的用户前端、多协议的webrtc音视频通讯系统和音视频设备终端，多协议的webrtc音视频通讯系统包括通信连接的用户管理系统、通讯调度系统、信令与会话系统，信令与会话系统包括通信连接的多协议sip信令模块、拉流模块、合流模块和流媒体分发模块，音视频设备终端包括设备二维码。
7.作为优选，所述用户前端用于通过支持webrtc的网页浏览器扫码识别设备二维码，解析设备二维码得到访问链接和音视频设备终端编码，解析访问链接得到通过支持webrtc的网页浏览器打开的注册/登录页面，通过注册/登录页面获取注册/登录请求，验证
注册/登录请求，若验证注册/登录请求通过时则得到绑定请求，根据绑定请求确认是否绑定音视频设备终端，若是则生成确定绑定请求，根据确定绑定请求时则生成查询请求、音视频设备终端编码和用户编码，根据查询请求、音视频设备终端编码和用户编码将音视频设备终端编码对应的音视频设备终端和用户编码对应的用户前端进行关联绑定，通过支持webrtc的网页浏览器发起页面通话请求，根据页面通话请求得到音视频会话资源请求，根据音视频会话资源请求后得到调度拉流服务资源指令和分配合流服务资源指令，根据调度拉流服务资源指令和分配合流服务资源指令启动拉流模块和合流模块，根据拉流模块调取基于webrtc协议的用户音视频流和基于gb28181/onvif协议的终端音视频流，根据合流模块将用户音视频流和终端音视频流并按照固定的画面布局合成音视频合流，基于webrtc协议播放音视频合流。
8.作为优选，所述多协议的webrtc音视频通讯系统用于将音视频设备终端编码对应的音视频设备终端和用户编码对应的用户前端进行关联绑定。
9.作为优选，所述用户管理系统用于解析设备二维码得到访问链接和音视频设备终端编码，根据访问链接打开注册/登录页面，通过注册/登录页面获取注册/登录请求，验证注册/登录请求，若验证注册/登录请求通过时则得到绑定请求，根据绑定请求确认是否绑定音视频设备终端，若是则生成确定绑定请求，根据确定绑定请求生成查询请求并将查询请求、音视频设备终端编码和用户编码发送至多协议的webrtc音视频通讯系统。
10.作为优选，所述信令与会话系统用于根据页面通话请求得到音视频会话资源请求，根据音视频会话资源请求得到调度拉流服务资源指令和分配合流服务资源指令，根据调度拉流服务资源指令和分配合流服务资源指令启动拉流模块和合流模块。
11.作为优选，所述拉流模块用于向用户前端和音视频设备终端分别发送前端拉流请求和终端拉流请求，合流模块用于获取用户音视频流和终端音视频流并按照固定的画面布局合成音视频合流，流媒体分发模块用于获取音视频合流并基于gb28181/onvif协议将音视频合流向音视频设备终端吐流和基于webrtc协议将音视频合流向用户前端吐流。
12.作为优选，所述音视频设备终端用于获取基于gb28181/onvif协议的终端音视频流，根据用户音视频流和终端音视频流并按照固定的画面布局合成音视频合流，基于gb28181/onvif协议播放音视频合流。
13.一种二维码识别绑定与视频交互方法，采用上述的一种二维码识别绑定和视频交互的装置，包括如下步骤：
14.步骤1：用户前端通过支持webrtc的网页浏览器扫码识别设备二维码，将设备二维码和用户编码发送至用户管理系统；
15.步骤2：用户管理系统解析设备二维码得到访问链接和音视频设备终端编码，将访问链接回传用户前端；
16.步骤3：用户前端解析访问链接得到通过支持webrtc的网页浏览器打开的注册/登录页面，用户前端通过注册/登录页面获取注册/登录请求并发送至用户管理系统；
17.步骤4：用户管理系统验证注册/登录请求，若用户管理系统验证注册/登录请求通过时则得到绑定请求回传至用户前端；
18.步骤5：用户前端确认是否绑定音视频设备终端，若是则生成确定绑定请求并发送至用户管理系统；
19.步骤6：用户管理系统接收到确定绑定请求时则生成查询请求并将查询请求、音视频设备终端编码和用户编码发送至多协议的webrtc音视频通讯系统；
20.步骤7：多协议的webrtc音视频通讯系统将音视频设备终端编码对应的音视频设备终端和用户编码对应的用户前端进行关联绑定；
21.步骤8：用户前端通过支持webrtc的网页浏览器发送页面通话请求至信令与会话系统；
22.步骤9：信令与会话系统接收到页面通话请求后得到音视频会话资源请求并发送至信令与会话系统；
23.步骤10：信令与会话系统接收到音视频会话资源请求后得到调度拉流服务资源指令和分配合流服务资源指令；
24.步骤11：信令与会话系统根据调度拉流服务资源指令和分配合流服务资源指令启动拉流模块和合流模块，拉流模块向用户前端和音视频设备终端分别发送前端拉流请求和终端拉流请求，用户前端接收到前端拉流请求后向拉流模块发送基于webrtc协议的用户音视频流，音视频设备终端接收到终端拉流请求后向拉流模块发送基于gb28181/onvif协议的终端音视频流，合流模块获取用户音视频流和终端音视频流并按照固定的画面布局合成音视频合流，流媒体分发模块获取音视频合流并基于gb28181/onvif协议将音视频合流向音视频设备终端吐流，基于webrtc协议将音视频合流向用户前端吐流。
25.作为优选，所述步骤7，具体包括：
26.多协议的webrtc音视频通讯系统接收到查询请求则判断音视频设备终端是否处于在线状态，若是则进行将音视频终端编码对应的音视频终端和用户编码对应的用户前端进行关联绑定，若否则初始化系统。
27.作为优选，所述音视频设备终端定期发送心跳周期至多协议的webrtc音视频通讯系统，多协议的webrtc音视频通讯系统根据心跳周期判定音视频设备终端是否处于在线状态。
28.本发明相比现有技术突出且有益的技术效果是：
29.在本发明中，采用支持webrtc的网页浏览器快速扫码注册和绑定，无需预先下载应用app，而且基于多协议的webrtc音视频通讯系统实现音视频设备终端自动注册连线，因此本二维码识别绑定与视频交互方法具有即开即用、自动化程度高、降低用户使用门槛、提升用户的使用效率、操作足够简便等优点。
30.在本发明中，采用支持webrtc的网页浏览器和支持gb28181/onvif协议的音视频设备终端实现音视频交互，由于webrtc本身就只是个客户端库，无需在用户前端上进行任何安装，直接使用网页浏览器扫码实现快速注册和绑定，区别与现有技术中需要下载专门应用app才能进行注册和绑定，从而实现以webrtc的网页浏览器为通讯交互主体实现和基于gb28181/onvif协议音视频设备终端的音视频交互，实现跨平台、跨终端的音视频交互，因此本二维码识别绑定与视频交互方法具有即开即用、自动化程度高、降低用户使用门槛、提升用户的使用效率、操作足够简便等优点。
附图说明
31.图1是常规视频监控的视频通话的步骤流程示意图；
32.图2是现有视频监控厂商的扫码查看视频监控和远程通话的步骤流程示意图；
33.图3是本发明的装置的框架示意图；
34.图4是本发明的步骤流程示意图；
35.图5是本发明中扫码绑定时的泳道时序示意图；
36.图6是本发明中音视频交互时的泳道时序示意图；
37.图7是本发明中通话结束时的泳道时序示意图。
具体实施方式
38.为了便于本领域技术人员的理解，下面结合附图和具体实施例对本发明作进一步描述。
39.本实施例提供了一种二维码识别绑定和视频交互的装置，包括通信连接的用户前端、多协议的webrtc音视频通讯系统和音视频设备终端，多协议的webrtc音视频通讯系统包括通信连接的用户管理系统、通讯调度系统、信令与会话系统，信令与会话系统包括通信连接的多协议sip信令模块、拉流模块、合流模块和流媒体分发模块，音视频设备终端包括设备二维码。
40.所述用户前端用于通过支持webrtc的网页浏览器扫码识别设备二维码，解析设备二维码得到访问链接和音视频设备终端编码，解析访问链接得到通过支持webrtc的网页浏览器打开的注册/登录页面，通过注册/登录页面获取注册/登录请求，验证注册/登录请求，若验证注册/登录请求通过时则得到绑定请求，根据绑定请求确认是否绑定音视频设备终端，若是则生成确定绑定请求，根据确定绑定请求时则生成查询请求、音视频设备终端编码和用户编码，根据查询请求、音视频设备终端编码和用户编码将音视频设备终端编码对应的音视频设备终端和用户编码对应的用户前端进行关联绑定，通过支持webrtc的网页浏览器发起页面通话请求，根据页面通话请求得到音视频会话资源请求，根据音视频会话资源请求后得到调度拉流服务资源指令和分配合流服务资源指令，根据调度拉流服务资源指令和分配合流服务资源指令启动拉流模块和合流模块，根据拉流模块调取基于webrtc协议的用户音视频流和基于gb28181/onvif协议的终端音视频流，根据合流模块将用户音视频流和终端音视频流并按照固定的画面布局合成音视频合流，基于webrtc协议播放音视频合流。
41.所述多协议的webrtc音视频通讯系统用于将音视频设备终端编码对应的音视频设备终端和用户编码对应的用户前端进行关联绑定。
42.所述用户管理系统用于解析设备二维码得到访问链接和音视频设备终端编码，根据访问链接打开注册/登录页面，通过注册/登录页面获取注册/登录请求，验证注册/登录请求，若验证注册/登录请求通过时则得到绑定请求，根据绑定请求确认是否绑定音视频设备终端，若是则生成确定绑定请求，根据确定绑定请求生成查询请求并将查询请求、音视频设备终端编码和用户编码发送至多协议的webrtc音视频通讯系统。
43.所述信令与会话系统用于根据页面通话请求得到音视频会话资源请求，根据音视频会话资源请求得到调度拉流服务资源指令和分配合流服务资源指令，根据调度拉流服务资源指令和分配合流服务资源指令启动拉流模块和合流模块。
44.所述拉流模块用于向用户前端和音视频设备终端分别发送前端拉流请求和终端
拉流请求，合流模块用于获取用户音视频流和终端音视频流并按照固定的画面布局合成音视频合流，流媒体分发模块用于获取音视频合流并基于gb28181/onvif协议将音视频合流向音视频设备终端吐流和基于webrtc协议将音视频合流向用户前端吐流。
45.所述音视频设备终端用于获取基于gb28181/onvif协议的终端音视频流，根据用户音视频流和终端音视频流并按照固定的画面布局合成音视频合流，基于gb28181/onvif协议播放音视频合流。
46.需要说明的是，本实施例提供的一种二维码识别绑定与视频交互方法通过多协议的webrtc音视频通讯系统在用户前端上对音视频设备终端的扫码绑定和音视频交互。用户前端、webrtc音视频通讯系统和音视频设备终端两两之间可通过互联网进行通信交互。用户管理系统、通讯调度系统、信令与会话系统两两之间也可通过互联网进行通信交互。多协议sip信令模块、拉流模块、合流模块和流媒体分发模块两两之间也可通过互联网进行通信交互。
47.用户前端是一种具备支持webrtc的网页浏览器、二维码扫描识别、音视频通话功能的智能终端，用户前端通过本二维码识别绑定与视频交互方法实现对音视频设备终端的识别绑定与音视频交互。用户前端可以是手机，在用户前端上可打开支持webrtc的网页浏览器，在支持webrtc的网页浏览器上，用户可输入注册/登录请求，进而在多协议的webrtc音视频通讯系统上完成用户注册/登录；还可完成确认是否绑定音视频设备终端，进而通过多协议的webrtc音视频通讯系统将对应的音视频设备终端和用户编码对应的用户前端进行关联绑定；还可完成是否发送页面通话请求，进而实现关联绑定的音视频设备终端和用户前端的音视频交互。
48.其中，webrtc(网页即时通信)用于实现基于浏览器的音视频通话功能，webrtc是一个客户端库，无需在用户前端上进行任何安装，只要在用户前端自带的浏览器上就可以实现音视频通话。现有的搭载安卓系统或苹果系统的手机的浏览器上，均已经支持webrtc。例如搭载苹果系统的手机浏览器已支持vp9，火狐浏览器增加了重传以及transport-wide congestion control，不仅支持webrtc，还提供了4k、hdr图像和环绕声体验，改善用户的音视频通话体验。
49.多协议的webrtc音视频通讯系统是一种可实时进行音视频交互的通讯系统，支持webrtc协议和gb28181/onvif协议。其包括用户管理系统、通讯调度系统、信令与会话系统，信令与会话系统包括多协议sip信令模块、拉流模块、合流模块和流媒体分发模块，通过多协议的webrtc音视频通讯系统实现了用户前端和设备终端之间的交互服务。
50.其中，onvif协议是网络摄像机的国际标准协议之一，gb/t28181是网络摄像机的国家标准。onvif(open network video interface forum，开放型网络视频接口论坛)以公开、开放的原则共同制定开放性行业标准。onvif规范中设备管理和控制部分所定义的接口均以web services的形式提供。onvif规范涵盖了完全的xml及wsdl的定义。每一个支持onvif规范的终端设备均须提供与功能相应的web service。服务端与客户端的数据交互采用soap协议。onvif中的其他部分比如音视频流则通过rtp/rtsp进行。2012年6月1日，公安部颁布《安全防范视频监控联网系统信息传输、交换、控制技术要求》(gb/t28181)监控联网技术标准正式启用。国标gb28181传输协议负责将gb28181设备/平台推送的ps流转成es流，然后提供rtsp、rtmp、flv、hls多种格式进行分发，实现web浏览器、手机浏览器、微信、pc客
户端等各种终端无插件播放。采用gb28181/onvif协议是当前主流网络摄像机的标配平台接入协议，并且都支持以rtsp的流媒体协议实现音视频交互。
51.音视频设备终端包括设备二维码，设备二维码包含访问链接和基于gb28181/onvif协议的音视频设备终端编码等信息，基于gb28181/onvif协议的音视频设备终端编码用于向多协议的webrtc音视频通讯系统请求实现音视频设备终端的音视频交互。本音视频设备终端支持gb28181/onvif协议、支持音频输入输出和支持rtsp/http协议，通过基于gb28181/onvif协议和多协议的webrtc音视频通讯系统进行连线并实现和用户前端进行音视频交互。设备二维码可张贴在音视频设备终端的外表面，音视频设备终端可以是网络摄像机(ipc)。
52.另一方面，本实施例还提供了一种二维码识别绑定与视频交互方法，采用上述的一种二维码识别绑定与视频交互的装置，包括如下步骤：
53.步骤1：用户前端通过支持webrtc的网页浏览器扫码识别设备二维码，将设备二维码和用户编码发送至用户管理系统；
54.上述步骤中，用户通过支持webrtc的网页浏览器对设备二维码进行扫码操作获得设备二维码，设备二维码包含基于gb28181/onvif协议的音视频设备终端编码。用户前端在正常联网下，将设备二维码和用户编码发送至用户管理系统，用户编码可预先设置在用户前端中。如图4所示，为本发明的步骤流程示意图，图中s4表示的是用户通过支持webrtc的网页浏览器对设备二维码进行扫码操作，s5表示的是用户前端将设备二维码和用户编码发送至用户管理系统的操作。
55.步骤2：用户管理系统解析设备二维码得到访问链接和音视频设备终端编码，将访问链接回传用户前端；
56.上述步骤中，访问链接用于注册/登录用户账户，音视频设备终端编码用于查询指定的音视频设备终端。
57.步骤3：用户前端解析访问链接得到通过支持webrtc的网页浏览器打开的注册/登录页面，用户前端通过注册/登录页面获取注册/登录请求并发送至用户管理系统；
58.上述步骤中，支持webrtc的网页浏览器打开的注册/登录页面，用户可在注册/登录页面完成注册/登录用户请求的操作。注册/登录请求包括有用户账户，以便于保存用户的个人信息、习惯和观看记录等。图4中的s6表示的是用户前端解析访问链接得到通过支持webrtc的网页浏览器打开的注册/登录页面，s7表示的是用户前端将注册/登录请求发送至用户管理系统的操作。
59.步骤4：用户管理系统验证注册/登录请求，若用户管理系统验证注册/登录请求通过时则得到绑定请求回传至用户前端；
60.上述步骤中，注册/登录请求包括用户账户，用户管理系统验证注册/登录请求包括对用户账户进行验证。在对用户账户进行验证的过程中，用户管理系统预存有账户，用户管理系统判断注册/登录账户是否为预存的账户，若是则调取预存的账户对应的账户信息发送至用户前端，并且将音视频设备终端的当前设备状态信息发送至用户前端；若否则将注册/登录账户新建账户并存储在用户管理系统中，并将新建的账户信息发送至用户前端，还将音视频设备终端的当前设备状态信息发送至用户前端。
61.步骤5：用户前端确认是否绑定音视频设备终端，若是则生成确定绑定请求并发送
至用户管理系统；
62.上述步骤中，绑定请求用于让用户在用户前端上确认是否进行关联绑定，绑定请求可在用户前端的浏览器上可视化展示，例如，以弹窗的形式展示在用户前端的浏览器上。用户可在用户前端的浏览器上通过点击的方式选择是否进行关联绑定。若用户选择进行关联绑定时，则发送绑定请求至用户管理系统。若用户拒绝进行关联绑定时，则结束基于webrtc的网页浏览器扫码识别绑定的进程。
63.步骤6：用户管理系统接收到确定绑定请求时则生成查询请求并将查询请求、音视频设备终端编码和用户编码发送至多协议的webrtc音视频通讯系统；
64.上述步骤中，查询请求用于查询音视频设备终端编码关联的音视频设备终端是否处于在线状态。若音视频设备终端编码关联的音视频设备终端处于在线状态，则多协议的webrtc音视频通讯系统将音视频设备终端编码对应的音视频设备终端和用户编码对应的用户前端进行关联绑定。图4中的s8表示的是用户将查询请求、音视频设备终端编码和用户编码发送至通讯调度系统的操作。
65.步骤7：多协议的webrtc音视频通讯系统将音视频设备终端编码对应的音视频设备终端和用户编码对应的用户前端进行关联绑定，于是完成了扫码关联绑定；
66.上述步骤中，音视频设备终端编码对应的音视频设备终端和用户编码对应的用户前端完成关联绑定后，在用户前端的浏览器上可视化展示应用页面，应用页面上可视化展示设备列表，用户通过设备列表可查看音视频设备终端的设备信息，以及通过用户前端的浏览器可对音视频设备终端发起音视频交互。
67.步骤8：用户前端通过支持webrtc的网页浏览器发送页面通话请求至信令与会话系统；
68.上述步骤中，用户通过用户前端的浏览器发送页面通话请求到信令与会话系统的多协议sip信令模块。页面通话请求用于向多协议sip信令模块发起音视频交互。图4中s11表示的是用户前端和多协议sip信令模块保持音视频会话的操作。
69.步骤9：信令与会话系统接收到页面通话请求后得到音视频会话资源请求；
70.上述步骤中，多协议sip信令模块将音视频会话资源请求发送至拉流模块，音视频会话资源请求用于向拉流模块发起音视频流的调度，从而启动用户前端和音视频设备终端之间的音视频交互。图4中的s12表示多协议sip信令模块将音视频会话资源请求发送至拉流模块的操作。
71.步骤10：信令与会话系统根据音视频会话资源请求得到调度拉流服务资源指令和分配合流服务资源指令；
72.上述步骤中，调度拉流服务资源指令用于启动拉流模块，分配合流服务资源指令用于启动合流模块。
73.步骤11：信令与会话系统根据调度拉流服务资源指令和分配合流服务资源指令启动拉流模块和合流模块，拉流模块向用户前端和音视频设备终端分别发送前端拉流请求和终端拉流请求，用户前端接收到前端拉流请求后向拉流模块发送基于webrtc协议的用户音视频流，音视频设备终端接收到终端拉流请求后向拉流模块发送基于gb28181/onvif协议的终端音视频流，合流模块获取用户音视频流和终端音视频流并按照固定的画面布局合成音视频合流，流媒体分发模块获取音视频合流并基于gb28181/onvif协议将音视频合流向
音视频设备终端吐流，基于webrtc协议将音视频合流向用户前端吐流；
74.上述步骤中，音视频合流为可同时播放用户音视频流和终端音视频流的音频流。按照固定的画面布局合成音视频合流指的是音视频设备终端的音视频流和用户前端的音视频流按照一定比例布局在同一应用页面上的音频流，固定的画面布局可预先设置在信令与会话系统中。图4中s13表示的是拉流模块通过用于前端浏览器的webrtc实时拉取用户前端上的用户音视频流的操作，s16表示的是拉流模块和音视频设备终端建立基于gb28181/onvif协议的会话并且拉流模块实时拉取音视频设备终端的终端音视频流的操作。s14表示的是拉流模块将拉取得到的用户音视频流和终端音视频流发送至合流模块上的操作，此时同一时段的用户音视频流和终端音视频流可带有相同会话标签，以保证音频同步。s15表示的是合流模块将音视频合流发送至流媒体分发模块的操作。s17表示的是流媒体分发模块将带会话标签的基于webrtc协议的音视频合流推送至用户前端的操作，s18表示的是流媒体分发模块将带会话标签的基于gb28181/onvif协议的音视频合流推送至音视频终端设备的操作，从而实现音视频交互。
75.所述步骤7，具体包括：
76.多协议的webrtc音视频通讯系统接收到查询请求则判断音视频设备终端是否处于在线状态，若是则进行将音视频终端编码对应的音视频终端和用户编码对应的用户前端进行关联绑定，若否则初始化系统；
77.上述步骤中，音视频设备终端具有两种状态，两种状态分别为处于在线状态和不处于在线状态。若关联的音视频设备终端不处于在线状态时，则多协议的webrtc音视频通讯系统反馈给用户前端不在线通知，初始化系统，进而结束本次进程。多协议的webrtc音视频通讯系统可实时监测音视频设备终端的在线状态。如图4所示，s9表示的是通讯调度系统判定音视频设备终端不在线后反馈给用户前端不在线通知的操作，s10表示的是通讯调度系统根据查询请求到多协议sip信令模块查询音视频设备终端状态的操作。
78.所述音视频设备终端定期发送心跳周期至多协议的webrtc音视频通讯系统，多协议的webrtc音视频通讯系统根据心跳周期判定音视频设备终端是否处于在线状态。
79.如图5所示，为本发明中的扫码绑定时的泳道时序图，若音视频设备终端处于在线状态时，则音视频设备终端通过gb28181/onvif协议发送连接请求(即图5中的20)至信令与会话系统自动连接，信令与会话系统通过定期记录gb28181/onvif协议下的音视频设备终端编码(即图5中的21)与音视频设备终端的在线状态(即图5中的22)，音视频设备终端定期通过心跳周期(即图5中的23)向多协议的webrtc音视频通讯系统报告自身的在线状态。
80.若用户前端通过支持webrtc的浏览器对张贴在音视频终端设备表面的设备二维码进行扫码识别(即图5中的24)时，设备二维码包含有访问链接和基于gb28181/onvif协议的音视频设备终端编码等信息(即图5中的25)，则用户前端的浏览器打开用户注册/登录页面(即图5中的26)然后用户可在该页面上进行注册/登录操作(即图5中的27)，用户完成注册或登录操作后，用户前端向用户管理系统发送注册/登录请求(即图5中的28)，用于管理系统完成注册/登录处理(即图5中的29)并反馈至浏览器提示注册/登录成功和跳转至应用主页(即图5中的30)，应用主页提示有是否绑定设备的弹窗(即图中31)，用户在弹窗上点击确定绑定设备后用户前端向用户管理系统发起请求绑定音视频设备终端的请求(即图5中的32)，用户管理系统接收到该请求后将向信令与会话系统进行查询音视频终端设备是否
处于在线状态(即图5中的的33)，信令与会话系统处理查询请求(即图5中的34)并反馈给用户管理系统查询结果(即图5中的35)，用户管理系统在应用页面上更新音视频设备终端状态信息(即图5中的36)并通过在应用页面上提示用户确定绑定的弹窗(图5中的37)让用户确定绑定，用户进行确定后将将确定绑定请求(即图5中的38)发送至用户管理系统，用户管理系统通过音视频设备终端编码对应的音视频设备终端和用户编码对应的用户前端进行关联绑定(即图中的39)，从而完成了二维码扫码识别绑定。
81.用户前端和音视频设备终端完成关联绑定后，用户可在应用页面的设备列表上看到对应的音视频设备终端，并可以查看该音视频设备终端的在先状态等设备信息。此时，用户可以在设备列表上发起音视频通话，具体包括建立通话和结束通话两个阶段：
82.如图6所示，为本发明中音视频交互时建立通话的泳道时序图，在建立通话的过程中，用户通过用户前端上支持webrtc的浏览器向信令与会话系统发起页面通话请求(即图6中的40)，信令与会话系统收到页面通话请求后通过音视频会话资源请求(即图6中的41)向通讯调度系统请求资源，通讯调度系统通过分配拉流服务资源和分配合流服务资源(即图6中的42)并将调度拉流服务资源和分配合流服务资源指令(即图6中的43)发送给信令与会话系统，信令与会话系统收到调度拉流服务资源和分配合流服务资源指令后立即启动拉流模块和合流模块，并马上通过gb28181/onvif协议向音视频设备终端拉流(即图6中的44)和通过webrtc协议向用户前端拉流(即图6中的45)，此时用户前端通过收到的拉流请求进行通过gb28181/onvif协议向信令与会话系统吐流(即图6中的46)，音视频设备终端通过收到的拉流请求进行通过webrtc协议向信令与会话系统吐流(即图6中的47)，信令与会话系统收到用户音视频流和终端音视频流后进行音视频合流编码(即图6中的48)得到音视频合流，使得用户音视频流和终端音视频流按照固定的画面布局合成在一起，合成后的音视频合流再通过gb28181/onvif协议向音视频设备终端吐流，合成后的音视频合流再通过webrtc协议向用户前端吐流，从而完成用户前端和音视频设备终端之间的音视频通话。
83.如图7所示，为本发明中通话结束时的泳道时序图。音视频通话正常进行时，若用户需要结束音视频通话时，用户可在用户前端或音视频设备终端上发起结束通话请求(即图7中的51)，并通过信令与会话系统将解散会话请求(即图7中的52)发送至通讯调度系统，通讯调度系统将回收拉流服务资源和分配合流服务资源请求(即图7中的53)反馈给信令与会话系统，信令与会话系统向音视频设备终端发送webrtc协议下的结束会话请求(即图7中的54)，还向用户前端发送gb28181/onvif协议下的结束会话请求(即图7中的55)，然后用户前端和音视频设备前端将分别停止上传用户音视频流和终端音视频流，并且同时关闭音视频合流的播放，从而通话结束。
84.上述实施例仅为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。