1.本发明属于移动通信
技术领域：
：，尤其涉及一种基于多终端协同的视频应用用户体验提升方法和系统。
背景技术：
：：2.近年来，移动通信网络与互联网技术获得了飞速发展。随着5g时代的到来，网络的带宽获得了大幅提升，这促进了网络业务的发展，视频业务尤其如此。视频应用的智能化是提升用户体验的一个重要手段。在一些典型的应用场景里，智能化识别视频内容已经被广泛应用，例如，在家庭摄像头的场景中，移动对象检测和陌生人预警技术已经得到实现。在教育领域中，智能视频识别可以实现智慧教育，创新教学管理。在交通领域中，设置在交通路口的摄像头可以提取车牌，车型等汽车信息和乘客数量以及一些其他的乘客信息回传给数据中心进行监控。3.然而，在一些典型的视频应用场景中，用户追求的是视频服务的质量和体验。以视频通话为例，由于受到单个摄像头终端的限制，导致用户在通话过程中，必须保持与终端的距离，这就限制了人们在通话过程中的活动。在单摄像头终端视频应用场景中，移动对象识别的相关技术已较为成熟。然而，单终端本身存在技术瓶颈，如：不能从单个摄像头中观测到整个目标区域、不能对运动目标进行连续的跟踪、难以解决复杂场景下产生的遮挡等问题，使得单摄像头终端视频应用不能覆盖全部场景。4.有鉴于此，有必要设计一种基于多终端协同的视频应用系统和方法，来提升用户在通话过程中的体验效果，解决上述问题。技术实现要素：5.本发明的目的是提升用户在视频通话中的体验效果，通过n路摄像头同时为用户提供服务，采用人脸识别技术和自适应多流传输技术，从而在通信时延和画面服务质量两方面提升用户在移动过程中的视频通话体验。6.为实现以上目的，本发明提供了一种基于多终端协同的视频应用用户体验提升方法，包括以下步骤：7.步骤s1、主摄像头终端向n-1路从摄像头群发目标人脸图片；8.步骤s2、主摄像头终端和视频服务器建立连接，将自身的视频流通过wifi、5g、internet链路自适应多流传输到视频服务器端，作为起始阶段的默认连接；n路摄像头终端同时对目标人脸进行人脸识别，将识别所得到的相似度通过mqtt协议发布到策略服务器；9.步骤s3、策略服务器通过mqtt协议不断订阅n路摄像头终端发布的人脸识别相似度结果，并对识别结果进行对比；得到相似度最大的一路摄像头终端编号，并将该编号发送给主摄像头终端；10.步骤s4、主摄像头终端开启线程接收策略服务器下发的当前相似度最高的摄像头终端编号，并依据编号选择是否切换视频流传输。11.本发明的进一步改进在于，步骤s1还包括以下步骤：12.步骤s1.1、主摄像头终端每隔1秒广播本机信息，信息主要包括ip地址和标志字符串“master”；然后处于监听状态，并设置监听的从摄像头终端数量为n-1；13.步骤s1.2、n-1路从摄像头终端收到广播信息后，确认广播消息中是否含有标志字符串“master”；如果含有标志字符串“master”，则判定是多终端协同业务的发起，进而向主摄像头终端回复自身的ip地址、接入方式以及标志字符串“video_x”；14.步骤s1.3、主摄像头终端收到n-1路从摄像头终端的回复后，对ip地址进行存储，并和n-1路从摄像头终端建立tcp连接；主摄像头终端每隔一预定时间对目标人脸进行图片提取，将图片数据写入共享内存；主摄像头终端作为tcp连接的客户端，创建从共享内存读取图片的线程，创建发送图片帧线程；由于创建的双线程涉及图片数据的同步，在进行图片数据的读取和发送之前进行互斥锁上锁；经过一设定时间后结束，即结束目标人脸图片的发送；15.步骤s1.4、n-1路从摄像头终端作为和主摄像头终端建立tcp连接的服务器端，接收主摄像头发送的图片数据并进行格式转换，保存在本地。16.本发明的进一步改进在于，所述步骤s1.3中的设定时间为10秒。17.本发明的进一步改进在于，步骤s4还包括以下步骤：18.步骤s4.1、主摄像头终端保存前一次识别相似度最高的一路摄像头终端编号，并与当前识别相似度最高的一路视频编号进行比较；19.步骤s4.2、若两次摄像头终端编号不同，则通知视频服务器断开之前建立的连接，重新建立连接；当相似度最高的编号在从摄像头终端中，则主摄像头终端拉取从摄像头终端的视频流并转发到视频服务器；20.步骤s4.3、若两次摄像头终端编号相同，则保持与视频服务器之前建立的连接。21.本发明的进一步改进在于，步骤s2还包括以下步骤：22.步骤a1、主摄像头终端和视频服务器建立多条tcp连接，视频服务器监听的端口分别为1000、1200、1400；当主摄像头终端默认通过wifi链路传输时，主摄像头终端使用iptables-tmangle对发往视频服务器1200、1400端口的数据包分别打上不同的标签，匹配到规则的数据包分别添加到路由表8和9中，将路由表8和9分别默认使用5g传输和internet传输；23.步骤a2、主摄像头终端将拉取的视频流数据分发到和视频服务器之间的多路子流传输；默认情况下仅通过wifi链路传输，在传输的过程中，创建线程监视当前的wifi链路传输的质量；当wifi链路的传输质量不佳时，添加5g链路传输，当线程监测wifi链路满足正常传输条件时，将数据包分配策略重新改为仅在wifi链路传输。24.本发明的进一步改进在于，数据包在两条链路分配的比例设为1:1。25.本发明的进一步改进在于，在步骤s2中，n路摄像头终端同时以1次/秒的频率对目标人脸进行人脸识别。26.本发明的进一步改进在于，所述预定时间为1秒，即主摄像头终端每隔1秒对目标人脸进行图片提取。27.本发明的进一步改进在于，所述视频服务器由n-1路从摄像头终端构成。28.为实现以上发明目的，本发明还提供了一种基于多终端协同的视频应用用户体验提升系统，该系统可实施如前述任一项所述的方法。29.本发明的有益效果如下：本发明通过采用n路摄像头同时为用户提供服务、人脸识别技术和自适应多流传输技术，从而在通信时延和画面服务质量两方面提升用户在移动过程中的视频通话体验。附图说明30.图1是本发明提供的一种基于多终端协同的视频应用用户体验提升系统及方法架构图。31.图2是本发明提供的终端设备发现示意图。32.图3是本发明提供的主摄像头群发识别目标图片流程图。33.图4是本发明提供的主摄像头切换传输视频流流程图。34.图5是本发明提供的异构网络自适应多流传输流程图。具体实施方式35.为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。36.需要强调的是，在描述本发明过程中，各种公式和约束条件分别使用前后一致的标号进行区分，但也不排除使用不同的标号标志相同的公式和/或约束条件，这样设置的目的是为了更清楚的说明本发明特征所在。37.如图1所示，本发明提供了一种基于多终端协同的视频应用用户体验提升系统及方法。该系统包括n路摄像头终端设备、视频服务器和策略服务器，n路摄像头终端设备由一路主摄像头和n-1路从摄像头构成。n路摄像头采用有线或无线(例如：wifi)接入，其中主摄像头支持5g、internet公网接入，并作为和视频服务器交互的主要设备。主摄像头终端将目标人脸图片发送给n-1路从摄像头，各路从摄像头终端获取到目标人脸图片后，启动人脸识别。每隔1秒将将识别结果上传至策略服务器，策略服务器根据每次识别的结果下发指令至主摄像头。主摄像头拉取最佳体验效果的摄像头视频流，并通过wifi、5g、internet链路自适应多流传输，使得多路摄像头可以在人的移动过程中完成自适应传输切换。38.如图2至图5所示，本发明提供的一种基于多终端协同的视频应用用户体验提升方法主要包括以下步骤：39.步骤s1、主摄像头终端向n-1路从摄像头群发目标人脸图片；步骤s1还包括n-1路从摄像头终端设备发现过程以及主摄像头终端设备发送目标图片过程。40.步骤s2、主摄像头终端和视频服务器建立连接，将自身的视频流通过wifi、5g、internet链路自适应多流传输到视频服务器端，作为起始阶段的默认连接；n路摄像头终端同时对目标人脸进行人脸识别，将识别所得到的相似度通过mqtt协议发布到策略服务器。41.步骤s3、策略服务器通过mqtt协议不断订阅n路摄像头终端发布的人脸识别相似度结果，并对识别结果进行对比；得到相似度最大的一路摄像头终端编号，并将该编号发送给主摄像头终端。42.步骤s4、主摄像头终端开启线程接收策略服务器下发的当前相似度最高的摄像头终端编号，并依据编号选择是否切换视频流传输。43.以下将结合附图对本发明的方法进行详细阐述。44.本发明所述的n-1路从摄像头终端设备发现过程如图2所示：45.步骤s1.1、主摄像头每隔1秒广播本机信息，信息主要包括ip地址和标志字符串“master”。然后处于监听状态，并设置监听的从摄像头数量为n-1。46.步骤s1.2、n-1路从摄像头收到广播信息后，确认广播消息中是否含有标志字符串“master”。如果含有标志字符串“master”，则判定是多终端协同业务的发起，进而向主摄像头回复自身的ip地址、接入方式,以及标志字符串“video_x”。47.本发明的主摄像头设备发送目标图片过程如图3所示：48.步骤s1.3、主摄像头收到n-1路从摄像头的回复后，对ip地址进行存储，并和n-1路从摄像头建立tcp连接；主摄像头每隔1秒对目标人脸进行图片提取，将图片数据写入共享内存；主摄像头作为tcp连接的客户端，创建从共享内存读取图片的线程1，同时创建发送图片帧线程2；由于创建的双线程涉及图片数据的同步，在进行图片数据的读取和发送之前进行互斥锁上锁；10秒后结束，结束目标人脸图片的发送；49.步骤s1.4、n-1路从摄像头作为和主摄像头建立tcp连接的服务器端，接收主摄像头发送的图片数据并进行格式转换，保存在本地。50.本发明的视频流自适应传输切换过程即步骤s4所涉及的具体步骤如图4所示：51.步骤s4.1、主摄像头保存前一次识别相似度最高的一路摄像头编号，并与当前识别相似度最高的一路视频编号进行比较；52.步骤s4.2、若两次摄像头编号不同，则通知视频服务器断开之前建立的连接，重新建立连接；当相似度最高的编号在从摄像头中，主摄像头拉取从摄像头的视频流并转发到视频服务器；53.步骤s4.3、若两次摄像头编号相同，则保持与视频服务器之前建立的连接。54.在步骤s2中，本发明所述主摄像头和视频服务器之间建立wifi、5g、internet多条传输通道进行自适应多流传输过程如图5所示，具体步骤如下：55.步骤a1、主摄像头和视频服务器建立多条tcp连接，视频服务器监听的端口分别为1000、1200、1400；当主摄像头默认通过wifi链路传输时，主摄像头使用iptables-tmangle对发往视频服务器1200、1400端口的数据包分别打上不同的标签，匹配到规则的数据包分别添加到路由表8和9中，将路由表8默认使用5g传输，路由表9默认使用internet传输；56.步骤a2、主摄像头将拉取的视频流数据分发到和视频服务器之间的多路子流传输；默认情况下仅通过wifi链路传输，在传输的过程中，创建线程监视当前的wifi链路传输的质量；当wifi链路的传输质量不佳时，添加5g链路传输，将数据包在两条链路分配的比例设为1:1；当线程监测wifi链路满足正常传输条件时，将数据包分配策略重新改为仅在wifi链路传输。57.以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。当前第1页12当前第1页12
技术领域：
：，尤其涉及一种基于多终端协同的视频应用用户体验提升方法和系统。
背景技术：
：：2.近年来，移动通信网络与互联网技术获得了飞速发展。随着5g时代的到来，网络的带宽获得了大幅提升，这促进了网络业务的发展，视频业务尤其如此。视频应用的智能化是提升用户体验的一个重要手段。在一些典型的应用场景里，智能化识别视频内容已经被广泛应用，例如，在家庭摄像头的场景中，移动对象检测和陌生人预警技术已经得到实现。在教育领域中，智能视频识别可以实现智慧教育，创新教学管理。在交通领域中，设置在交通路口的摄像头可以提取车牌，车型等汽车信息和乘客数量以及一些其他的乘客信息回传给数据中心进行监控。3.然而，在一些典型的视频应用场景中，用户追求的是视频服务的质量和体验。以视频通话为例，由于受到单个摄像头终端的限制，导致用户在通话过程中，必须保持与终端的距离，这就限制了人们在通话过程中的活动。在单摄像头终端视频应用场景中，移动对象识别的相关技术已较为成熟。然而，单终端本身存在技术瓶颈，如：不能从单个摄像头中观测到整个目标区域、不能对运动目标进行连续的跟踪、难以解决复杂场景下产生的遮挡等问题，使得单摄像头终端视频应用不能覆盖全部场景。4.有鉴于此，有必要设计一种基于多终端协同的视频应用系统和方法，来提升用户在通话过程中的体验效果，解决上述问题。技术实现要素：5.本发明的目的是提升用户在视频通话中的体验效果，通过n路摄像头同时为用户提供服务，采用人脸识别技术和自适应多流传输技术，从而在通信时延和画面服务质量两方面提升用户在移动过程中的视频通话体验。6.为实现以上目的，本发明提供了一种基于多终端协同的视频应用用户体验提升方法，包括以下步骤：7.步骤s1、主摄像头终端向n-1路从摄像头群发目标人脸图片；8.步骤s2、主摄像头终端和视频服务器建立连接，将自身的视频流通过wifi、5g、internet链路自适应多流传输到视频服务器端，作为起始阶段的默认连接；n路摄像头终端同时对目标人脸进行人脸识别，将识别所得到的相似度通过mqtt协议发布到策略服务器；9.步骤s3、策略服务器通过mqtt协议不断订阅n路摄像头终端发布的人脸识别相似度结果，并对识别结果进行对比；得到相似度最大的一路摄像头终端编号，并将该编号发送给主摄像头终端；10.步骤s4、主摄像头终端开启线程接收策略服务器下发的当前相似度最高的摄像头终端编号，并依据编号选择是否切换视频流传输。11.本发明的进一步改进在于，步骤s1还包括以下步骤：12.步骤s1.1、主摄像头终端每隔1秒广播本机信息，信息主要包括ip地址和标志字符串“master”；然后处于监听状态，并设置监听的从摄像头终端数量为n-1；13.步骤s1.2、n-1路从摄像头终端收到广播信息后，确认广播消息中是否含有标志字符串“master”；如果含有标志字符串“master”，则判定是多终端协同业务的发起，进而向主摄像头终端回复自身的ip地址、接入方式以及标志字符串“video_x”；14.步骤s1.3、主摄像头终端收到n-1路从摄像头终端的回复后，对ip地址进行存储，并和n-1路从摄像头终端建立tcp连接；主摄像头终端每隔一预定时间对目标人脸进行图片提取，将图片数据写入共享内存；主摄像头终端作为tcp连接的客户端，创建从共享内存读取图片的线程，创建发送图片帧线程；由于创建的双线程涉及图片数据的同步，在进行图片数据的读取和发送之前进行互斥锁上锁；经过一设定时间后结束，即结束目标人脸图片的发送；15.步骤s1.4、n-1路从摄像头终端作为和主摄像头终端建立tcp连接的服务器端，接收主摄像头发送的图片数据并进行格式转换，保存在本地。16.本发明的进一步改进在于，所述步骤s1.3中的设定时间为10秒。17.本发明的进一步改进在于，步骤s4还包括以下步骤：18.步骤s4.1、主摄像头终端保存前一次识别相似度最高的一路摄像头终端编号，并与当前识别相似度最高的一路视频编号进行比较；19.步骤s4.2、若两次摄像头终端编号不同，则通知视频服务器断开之前建立的连接，重新建立连接；当相似度最高的编号在从摄像头终端中，则主摄像头终端拉取从摄像头终端的视频流并转发到视频服务器；20.步骤s4.3、若两次摄像头终端编号相同，则保持与视频服务器之前建立的连接。21.本发明的进一步改进在于，步骤s2还包括以下步骤：22.步骤a1、主摄像头终端和视频服务器建立多条tcp连接，视频服务器监听的端口分别为1000、1200、1400；当主摄像头终端默认通过wifi链路传输时，主摄像头终端使用iptables-tmangle对发往视频服务器1200、1400端口的数据包分别打上不同的标签，匹配到规则的数据包分别添加到路由表8和9中，将路由表8和9分别默认使用5g传输和internet传输；23.步骤a2、主摄像头终端将拉取的视频流数据分发到和视频服务器之间的多路子流传输；默认情况下仅通过wifi链路传输，在传输的过程中，创建线程监视当前的wifi链路传输的质量；当wifi链路的传输质量不佳时，添加5g链路传输，当线程监测wifi链路满足正常传输条件时，将数据包分配策略重新改为仅在wifi链路传输。24.本发明的进一步改进在于，数据包在两条链路分配的比例设为1:1。25.本发明的进一步改进在于，在步骤s2中，n路摄像头终端同时以1次/秒的频率对目标人脸进行人脸识别。26.本发明的进一步改进在于，所述预定时间为1秒，即主摄像头终端每隔1秒对目标人脸进行图片提取。27.本发明的进一步改进在于，所述视频服务器由n-1路从摄像头终端构成。28.为实现以上发明目的，本发明还提供了一种基于多终端协同的视频应用用户体验提升系统，该系统可实施如前述任一项所述的方法。29.本发明的有益效果如下：本发明通过采用n路摄像头同时为用户提供服务、人脸识别技术和自适应多流传输技术，从而在通信时延和画面服务质量两方面提升用户在移动过程中的视频通话体验。附图说明30.图1是本发明提供的一种基于多终端协同的视频应用用户体验提升系统及方法架构图。31.图2是本发明提供的终端设备发现示意图。32.图3是本发明提供的主摄像头群发识别目标图片流程图。33.图4是本发明提供的主摄像头切换传输视频流流程图。34.图5是本发明提供的异构网络自适应多流传输流程图。具体实施方式35.为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。36.需要强调的是，在描述本发明过程中，各种公式和约束条件分别使用前后一致的标号进行区分，但也不排除使用不同的标号标志相同的公式和/或约束条件，这样设置的目的是为了更清楚的说明本发明特征所在。37.如图1所示，本发明提供了一种基于多终端协同的视频应用用户体验提升系统及方法。该系统包括n路摄像头终端设备、视频服务器和策略服务器，n路摄像头终端设备由一路主摄像头和n-1路从摄像头构成。n路摄像头采用有线或无线(例如：wifi)接入，其中主摄像头支持5g、internet公网接入，并作为和视频服务器交互的主要设备。主摄像头终端将目标人脸图片发送给n-1路从摄像头，各路从摄像头终端获取到目标人脸图片后，启动人脸识别。每隔1秒将将识别结果上传至策略服务器，策略服务器根据每次识别的结果下发指令至主摄像头。主摄像头拉取最佳体验效果的摄像头视频流，并通过wifi、5g、internet链路自适应多流传输，使得多路摄像头可以在人的移动过程中完成自适应传输切换。38.如图2至图5所示，本发明提供的一种基于多终端协同的视频应用用户体验提升方法主要包括以下步骤：39.步骤s1、主摄像头终端向n-1路从摄像头群发目标人脸图片；步骤s1还包括n-1路从摄像头终端设备发现过程以及主摄像头终端设备发送目标图片过程。40.步骤s2、主摄像头终端和视频服务器建立连接，将自身的视频流通过wifi、5g、internet链路自适应多流传输到视频服务器端，作为起始阶段的默认连接；n路摄像头终端同时对目标人脸进行人脸识别，将识别所得到的相似度通过mqtt协议发布到策略服务器。41.步骤s3、策略服务器通过mqtt协议不断订阅n路摄像头终端发布的人脸识别相似度结果，并对识别结果进行对比；得到相似度最大的一路摄像头终端编号，并将该编号发送给主摄像头终端。42.步骤s4、主摄像头终端开启线程接收策略服务器下发的当前相似度最高的摄像头终端编号，并依据编号选择是否切换视频流传输。43.以下将结合附图对本发明的方法进行详细阐述。44.本发明所述的n-1路从摄像头终端设备发现过程如图2所示：45.步骤s1.1、主摄像头每隔1秒广播本机信息，信息主要包括ip地址和标志字符串“master”。然后处于监听状态，并设置监听的从摄像头数量为n-1。46.步骤s1.2、n-1路从摄像头收到广播信息后，确认广播消息中是否含有标志字符串“master”。如果含有标志字符串“master”，则判定是多终端协同业务的发起，进而向主摄像头回复自身的ip地址、接入方式,以及标志字符串“video_x”。47.本发明的主摄像头设备发送目标图片过程如图3所示：48.步骤s1.3、主摄像头收到n-1路从摄像头的回复后，对ip地址进行存储，并和n-1路从摄像头建立tcp连接；主摄像头每隔1秒对目标人脸进行图片提取，将图片数据写入共享内存；主摄像头作为tcp连接的客户端，创建从共享内存读取图片的线程1，同时创建发送图片帧线程2；由于创建的双线程涉及图片数据的同步，在进行图片数据的读取和发送之前进行互斥锁上锁；10秒后结束，结束目标人脸图片的发送；49.步骤s1.4、n-1路从摄像头作为和主摄像头建立tcp连接的服务器端，接收主摄像头发送的图片数据并进行格式转换，保存在本地。50.本发明的视频流自适应传输切换过程即步骤s4所涉及的具体步骤如图4所示：51.步骤s4.1、主摄像头保存前一次识别相似度最高的一路摄像头编号，并与当前识别相似度最高的一路视频编号进行比较；52.步骤s4.2、若两次摄像头编号不同，则通知视频服务器断开之前建立的连接，重新建立连接；当相似度最高的编号在从摄像头中，主摄像头拉取从摄像头的视频流并转发到视频服务器；53.步骤s4.3、若两次摄像头编号相同，则保持与视频服务器之前建立的连接。54.在步骤s2中，本发明所述主摄像头和视频服务器之间建立wifi、5g、internet多条传输通道进行自适应多流传输过程如图5所示，具体步骤如下：55.步骤a1、主摄像头和视频服务器建立多条tcp连接，视频服务器监听的端口分别为1000、1200、1400；当主摄像头默认通过wifi链路传输时，主摄像头使用iptables-tmangle对发往视频服务器1200、1400端口的数据包分别打上不同的标签，匹配到规则的数据包分别添加到路由表8和9中，将路由表8默认使用5g传输，路由表9默认使用internet传输；56.步骤a2、主摄像头将拉取的视频流数据分发到和视频服务器之间的多路子流传输；默认情况下仅通过wifi链路传输，在传输的过程中，创建线程监视当前的wifi链路传输的质量；当wifi链路的传输质量不佳时，添加5g链路传输，将数据包在两条链路分配的比例设为1:1；当线程监测wifi链路满足正常传输条件时，将数据包分配策略重新改为仅在wifi链路传输。57.以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。