基于可感知质量优化的音视频传输系统的制作方法

1.本发明涉及数据传输技术领域，尤其涉及基于可感知质量优化的音视频传输系统。


背景技术：

2.在当今数字化时代，音视频传输技术在各个领域扮演着至关重要的角色，如视频会议、实时直播、网络游戏和多媒体应用等。随着高清、4k甚至8k视频的普及以及音频的多样化，对音视频传输系统的性能和质量要求也日益提高。然而，在实际应用中，音视频传输中面临着一系列挑战，如带宽受限、丢包、延迟、质量下降等问题。
3.传统的音视频传输系统通常采用固定策略，无法根据具体场景和数据类型进行自适应调整，导致在不同网络环境和数据质量下，传输效果表现不一，无法保证用户体验的稳定性和良好性能。目前一些已公开的技术尝试通过使用单一的传输策略来应对不同类型的数据，或者使用预设的策略进行传输。然而，这些方法存在局限性，无法满足不同数据类型和网络环境的要求，导致传输效率和质量仍然受到限制。
4.例如，某些现有技术将音频和视频数据视为统一的数据类型，采用相同的传输策略进行传输。这种方法无法充分利用音频和视频数据的特点，导致在音频通信和视频传输中都可能出现问题。此外，现有技术中的传输策略往往是固定的，无法根据网络条件和数据特性进行灵活调整。当网络带宽受限或数据包丢失时，传输质量和用户体验将受到严重影响。
5.另外，某些现有技术中也没有有效的评估机制来监测传输数据的质量。在传输过程中，缺乏实时的质量评估和反馈机制，导致无法及时发现并解决传输中的问题。缺乏准确的质量评估，也无法确定合适的传输策略和调整方法，使得音视频传输系统的性能和质量不能得到有效提升。
6.除此之外，一些现有技术可能没有充分考虑多媒体数据的多样性和特殊性。例如，在视频数据中，不同帧的重要性不同，i帧包含全部信息，p/b帧依赖于前面的i/p帧，而音频数据中的声音波动频率也会因内容的不同而变化。然而，某些技术可能忽略了这些差异性，导致在传输过程中对不同数据类型没有采取适当的处理措施，从而无法最大程度地保证传输的稳定性和质量。


技术实现要素：

7.有鉴于此，本发明的主要目的在于提供智能基于可感知质量优化的音视频传输系统，本发明通过预发送数据制定反馈调整传输策略，实现动态自适应传输，提高传输质量和用户体验。
8.为达到上述目的，本发明的技术方案是这样实现的：基于可感知质量优化的音视频传输系统，所述系统包括：分析器、策略选择器、发送器、接收器、评估器和反馈调整器；所述分析器，配置用于获取待发送数据，对待发送数据进行分析，以判断待发送数据的数据类
型，并复制待发送数据中的帧数据，得到预发送数据；所述数据类型包括：音频数据和视频数据；所述策略选择器，配置用于根据待发送数据的数据类型，以及预先设置的初始策略，制定数据传输初始策略；所述发送器，配置用于根据制定的数据传输初始策略，将预发送数据和数据传输初始策略均发送至接收器；所述接收器，配置用于接收预发送数据和数据传输初始策略；所述评估器，配置用于对接收到的预发送数据的质量进行评估，得到评估结果；所述反馈调整器，配置用于依据评估结果，在数据传输初始策略的基础上，进行反馈调整，制定反馈调整传输策略，将反馈调整传输策略发送至策略选择器，以替换策略选择器中的数据传输初始策略，并发送控制命令至分析器，以提示分析器开始发送待发送数据；所述分析器将待发送数据经策略选择器，发送至发送器；所述发送器将待发送数据依据制定的反馈调整传输策略发送至接收器。
9.进一步的，所述数据传输策略和反馈调整传输策略均包括：传输协议、传输速率、丢包处理方式、缓冲处理方式、错误恢复方式、带宽分配方式、多播方式和帧优先级调度方式；所述传输协议包括：tcp或udp；所述传输速率包括：固定速率或自适应速率；所述丢包处理方式包括：重传或忽略；所述缓冲处理方式包括：短缓冲或长缓冲；所述错误恢复方式包括：前向纠错或自适应重传；所述带宽分配方式包括：平均分配或按需分配；所述多播方式包括：单播或多播；所述帧优先级调度方式包括：i帧优先或p/b帧优先。
10.进一步的，当所述待发送数据的数据类型为视频数据时，所述发送器首先将预发送数据中的音频部分和视频部分进行分离，针对音频部分和视频部分制定不同的数据传输初始策略；音频部分的数据传输初始策略包括：传输协议为tcp；传输速率为固定速率；丢包处理方式为忽略；缓冲处理方式为长缓冲；错误恢复方式为前向纠错；带宽分配方式为按需分配；多播方式为多播；帧优先级调度方式为p/b帧优先；视频部分的数据传输初始策略包括：传输协议为udp；传输速率为自适应速率；丢包处理方式为重传；缓冲处理方式为长缓冲；错误恢复方式为自适应重传；带宽分配方式为按需分配；多播方式为单播；帧优先级调度方式为i帧优先；当所述待发送数据的数据类型为音频数据时，预发送数据的数据传输初始策略包括：传输协议为tcp；传输速率为固定速率；丢包处理方式为忽略；缓冲处理方式为短缓冲；错误恢复方式为前向纠错；带宽分配方式为平均分配；多播方式为多播；帧优先级调度方式为p/b帧优先。
11.进一步的，在复制待发送数据中的帧数据时，满足以下约束条件：；且，；其中，为待发送数据的总帧数。
12.进一步的，评估器对接收到的预发送数据的质量进行评估，得到评估结果的方法包括：当待发送数据得到数据类型为音频数据时，评估器则对预发送数据进行质量评估，得到评估结果；当待发送数据为视频数据时，评估器首先将预发送数据中分离的音频数据进行质量评估，得到音频评估结果，再将预发送数据中分离的视频数据进行质量评估，得到视频评估结果，基于音频评估结果和视频评估结果，再计算得到评估结果。
13.进一步的，评估器对预发送数据进行质量评估，得到评估结果或评估器首先将预发送数据中分离的音频数据进行质量评估，得到音频评估结果的方法包括：将音频数据分
割为8个等长的段，对于每个段，分别计算其局部极值点数量、波形曲线长度和平均波动强度；其中，为下标，取值为整数，取值范围为1到8；设定三个第一判断阈值，分别为，使用如下规则，进行第一评估判断，得到8个第一评估值：如果且，则；如果或，则；其中，为第一评估值；基于第一评估值，得到评估结果或音频评估结果为：。
14.进一步的，所述局部极值点数量，使用如下公式进行计算：
15.其中，函数在是局部极值时返回1，否则返回0；为将音频数据分割为8个等长的段得到的段，第个段的第个样本；为每个段的长度；所述波形曲线长度；所述波形曲线长度，使用如下公式进行计算：
16.所述平均波动强度，使用如下公式进行计算：；其中，为第个段的第个样本。
17.进一步的，将预发送数据中分离的视频数据进行质量评估，得到视频评估结果的方法包括：将视频数据分割为8个部分，对于每个部分，随机选取一帧图像，分别计算其图像对比度、图像清晰度和颜色一致性；其中，为下标，取值为整数，取值范围为1到8；构建特征向量，然后计算其时间序列自相关函数；其中，为序号，取值为整数，取值范围为1到8；设定两个第二判断阈值，分别为和；使用如下公式，进行第二评估判断，得到8个第二评估值：；其中，为第二评估值；基于第二评估值，得到视频评估结果为：。
18.进一步的，所述图像对比度使用如下公式计算得到：；
其中是第个部分随机选取的一帧的图像的像素的灰度强度值，是一个小常数防止分母为零；所述图像清晰度度，使用如下公式计算得到：；其中，为随机选取的一帧的图像的像素的横坐标变量；为随机选取的一帧的图像的像素的纵坐标变量；所述颜色一致性，使用如下公式计算得到：；其中是第个部分随机选取的一帧的图像的颜色通道的平均值；是第个部分随机选取的一帧的图像的颜色通道的平均值。
19.使用如下公式计算时间序列自相关函数：；其中，是特征向量的平均值。
20.进一步的，所述基于音频评估结果和视频评估结果，再计算得到评估结果的方法包括：使用如下公式计算得到评估结果：；其中，&为与运算；反馈调整器，依据评估结果，在数据传输初始策略的基础上，进行反馈调整，制定反馈调整传输策略的方法包括：设定数据传输初始策略的矩阵为：；其中，当传输协议为tcp时，；当传输协议为udp时，；当传输速率为固定速率时；传输速率为自适应速率时，；当丢包处理方式为重传时，，丢包处理方式为忽略时，；当缓冲处理方式为短缓冲时，，当缓冲处理方式为长缓冲时，；当错误恢复方式为前向纠错时，，当错误恢复方式为自适应重传时，；当带宽分配方式为平均分配时，，当带宽分配方式为按需分配时，；当多播方式为单播时，，当多播方式为多播时，；当帧优先级调度方式为i帧优先
时，，当帧优先级调度方式为p/b帧优先时，；将数据传输初始策略的矩阵与评估结果进行矩阵抑或运算，得到反馈调整传输策略的矩阵，进一步得到反馈调整传输策略。
21.采用上述技术方案，本发明具备以下有益效果：首先，本发明采用了分析器对待发送数据进行分类和分离，根据音频和视频数据的不同特点，分别制定不同的数据传输初始策略。这样的分类机制使得音频数据和视频数据可以根据其特性分别采取最优传输策略，充分发挥各自的优势。通过针对音频部分和视频部分制定不同的传输策略，可以有效降低传输延迟，提高传输质量，避免音视频数据因为共享相同传输策略而产生冲突，从而提高音视频传输的整体效率和质量。
22.本发明引入了评估器对接收到的预发送数据进行质量评估，包括对音频数据和视频数据的评估。通过实时对接收数据的质量进行评估，及时发现传输过程中可能存在的问题，如丢包、延迟、质量下降等。评估器的存在使得系统可以根据实际传输情况，及时调整传输策略，以最优的传输质量满足用户需求。这样的评估机制有效保障了音视频传输的实时性和稳定性，提高了传输效果和用户体验。
23.本发明中的反馈调整器根据评估器的实时评估结果，在数据传输初始策略的基础上，进行动态的反馈调整。通过实时监控传输质量，及时调整传输策略，从而能够更好地适应网络环境的变化和数据类型的差异，提高传输效率和质量。反馈调整器的存在使得系统能够根据实际情况动态优化传输策略，最大程度地减少传输中的延迟和数据丢失，提高传输稳定性和可靠性。
24.本发明中采用了多指标评估机制，包括局部极值点数量、波形曲线长度、平均波动强度、图像对比度、图像清晰度和颜色一致性等指标。这些指标充分考虑了音频和视频数据的多样性和特殊性，能够更加准确地评估数据的质量和性能。多指标评估机制使得系统能够综合考虑不同方面的因素，更全面地评估传输效果，提高了评估的准确性和有效性。
25.本发明中的自适应传输框架能够实现实时的数据传输策略调整，而不是采用固定的传输策略。这样的自适应机制使得系统能够灵活应对不同网络环境和数据质量下的传输需求，实现动态优化传输，提高传输效率和质量。自适应传输框架使得音视频传输系统能够在不同情况下自动选择最优传输策略，从而最大程度地满足用户对传输质量和性能的要求。
26.综上所述，本发明通过预发送数据来制定反馈调整传输策略，实现了动态的自适应传输，从而优化音视频传输质量，提高用户体验。预发送数据作为待发送数据的一部分，在传输前先行发送，为传输过程中的评估和调整提供了基础。通过实时的评估和反馈机制，系统能够动态优化传输策略，适应不同网络环境和数据特性，实现最优的音视频传输效果。
附图说明
27.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：图1为本发明实施例提供的智能基于可感知质量优化的音视频传输系统的系统结构示意图。
具体实施方式
28.下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。
29.实施例1：基于可感知质量优化的音视频传输系统，所述系统包括：分析器、策略选择器、发送器、接收器、评估器和反馈调整器；所述分析器，配置用于获取待发送数据，对待发送数据进行分析，以判断待发送数据的数据类型，并复制待发送数据中的帧数据，得到预发送数据；所述数据类型包括：音频数据和视频数据；所述策略选择器，配置用于根据待发送数据的数据类型，以及预先设置的初始策略，制定数据传输初始策略；所述发送器，配置用于根据制定的数据传输初始策略，将预发送数据和数据传输初始策略均发送至接收器；所述接收器，配置用于接收预发送数据和数据传输初始策略；所述评估器，配置用于对接收到的预发送数据的质量进行评估，得到评估结果；所述反馈调整器，配置用于依据评估结果，在数据传输初始策略的基础上，进行反馈调整，制定反馈调整传输策略，将反馈调整传输策略发送至策略选择器，以替换策略选择器中的数据传输初始策略，并发送控制命令至分析器，以提示分析器开始发送待发送数据；所述分析器将待发送数据经策略选择器，发送至发送器；所述发送器将待发送数据依据制定的反馈调整传输策略发送至接收器。
30.具体的，系统以用户感知的音视频质量为优化目标，而不是简单地追求传输的带宽或数据传输速度。通过对接收到的预发送数据进行质量评估，并根据评估结果进行反馈调整传输策略，系统能够在有限带宽下，优先保障音视频数据的质量，提供更好的用户体验。
31.实施例2：在上一实施例的基础上，所述数据传输策略和反馈调整传输策略均包括：传输协议、传输速率、丢包处理方式、缓冲处理方式、错误恢复方式、带宽分配方式、多播方式和帧优先级调度方式；所述传输协议包括：tcp或udp；所述传输速率包括：固定速率或自适应速率；所述丢包处理方式包括：重传或忽略；所述缓冲处理方式包括：短缓冲或长缓冲；所述错误恢复方式包括：前向纠错或自适应重传；所述带宽分配方式包括：平均分配或按需分配；所述多播方式包括：单播或多播；所述帧优先级调度方式包括：i帧优先或p/b帧优先。
32.具体的，传输协议：用于定义数据在网络中的传输规则和通信方式。常见的传输协议包括tcp（传输控制协议）和udp（用户数据报协议）。tcp：tcp提供可靠的数据传输，它通过确认和重传机制确保数据的可靠性。但是，tcp会引入较大的传输延迟和额外的数据开销，适用于对数据可靠性要求较高的场景。udp：udp提供无连接的传输服务，没有确认和重传机制，因此传输效率较高。但udp并不保证数据的可靠性，适用于对实时性要求较高的音视频传输场景。
33.传输速率：指数据在网络中传输的速率，可以是固定速率或自适应速率。固定速率：数据以固定的速率进行传输。适用于网络带宽稳定且可预测的情况。自适应速率：数据传输速率根据网络情况动态调整，以适应网络带宽的波动。自适应速率能够更好地应对网络抖动和拥塞，提供更稳定的传输效果。
34.丢包处理方式：处理数据包在传输过程中可能发生的丢失情况。重传：对于丢失的数据包，发送端会进行重传，确保接收端收到完整的数据。这种方式可以保证数据的可靠性，但会增加传输延迟。忽略：对于丢失的数据包，直接忽略不进行重传。适用于对实时性要求较高的音视频传输，但会导致丢失部分数据，降低传输质量。
35.缓冲处理方式：数据在接收端进行缓冲处理，以平衡发送端和接收端之间的传输速率差异。短缓冲：使用较小的缓冲区，在传输延迟较低的情况下可以更快地显示数据，但可能出现缓冲不足的情况，导致数据丢失或卡顿。长缓冲：使用较大的缓冲区，可以更好地处理传输延迟较大的情况，确保数据的完整性和稳定性，但会增加接收端的缓冲时间。
36.错误恢复方式：处理数据传输中可能出现的错误，确保数据的完整性和准确性。前向纠错：发送端对数据进行冗余编码，接收端可以通过冗余信息纠正少量的错误，提高数据的可靠性。自适应重传：在发生错误时，发送端根据接收端的反馈信息进行重传，确保数据的正确传输。
37.带宽分配方式：针对多个数据流在网络中共享带宽，确定数据流的带宽分配方式。平均分配：将可用带宽平均分配给多个数据流，确保公平性，但可能导致某些数据流无法满足实时传输需求。按需分配：根据数据流的实时传输需求和重要性，动态分配带宽，优先保障重要数据流的传输需求。
38.多播方式：数据在网络中的传输方式。单播：数据以点对点的方式传输，适用于一对一的数据传输场景。多播：数据以一对多的方式传输，可以同时传输给多个接收端，适用于一对多的数据分发场景。
39.帧优先级调度方式：对音视频数据中不同类型的帧进行优先级调度，以保证关键帧（i帧）的传输优先。i帧优先：关键帧具有更高的传输优先级，确保接收端能够及时解码，保证视频传输的连续性。p/b帧优先：非关键帧（p/b帧）具有更高的传输优先级，适用于网络带宽受限的情况，可以减少传输开销。
40.通过以上策略的组合和调整，该音视频传输系统能够根据不同的网络环境和用户需求，优化传输效果，提供更好的音视频传输体验。不同组合和调整方式之间的选择，可以根据具体场景和要求来确定，这使得该系统在不同应用场景下具有灵活性和适应性实施例3：在上一实施例的基础上，当所述待发送数据的数据类型为视频数据时，所述发送器首先将预发送数据中的音频部分和视频部分进行分离，针对音频部分和视频部分制定不同的数据传输初始策略；音频部分的数据传输初始策略包括：传输协议为tcp；传输速率为固定速率；丢包处理方式为忽略；缓冲处理方式为长缓冲；错误恢复方式为前向纠错；带宽分配方式为按需分配；多播方式为多播；帧优先级调度方式为p/b帧优先；视频部分的数据传输初始策略包括：传输协议为udp；传输速率为自适应速率；丢包处理方式为重传；缓冲处理方式为长缓冲；错误恢复方式为自适应重传；带宽分配方式为按需分配；多播方式为单播；帧优先级调度方式为i帧优先；当所述待发送数据的数据类型为音频数据时，预发送数据的数据传输初始策略包括：传输协议为tcp；传输速率为固定速率；丢包处理方式为忽略；缓冲处理方式为短缓冲；错误恢复方式为前向纠错；带宽分配方式为平均分配；多播方式为多播；帧优先级调度方式为p/b帧优先。
41.具体的，音频数据特点和传输需求：实时性要求较高：音频数据通常用于语音通话、音乐播放等场景，要求实时传输，以确保接收端能够即时播放音频内容，避免通话时的延迟或不同步问题。数据量相对较小：相比于视频数据，音频数据的数据量较小，传输的负载相对较轻。丢失容忍度较高：少量的音频数据丢失在人耳中可能并不明显，因此对于音频数据，实时性往往比可靠性更为重要，容忍部分数据丢失是可接受的。
42.视频数据特点和传输需求：实时性要求较高：视频数据通常用于视频会议、实时监
控等场景，要求实时传输，以确保接收端能够即时显示视频内容，避免画面延迟或不同步问题。数据量较大：视频数据的数据量相对较大，包含大量的图像信息，传输的负载较重。对数据完整性要求高：视频数据的每一帧都有依赖关系，关键帧（i帧）为其他帧（p/b帧）的基础，因此对于视频数据，数据的完整性非常重要，需要确保每一帧都能正确传输。
43.因为音频数据和视频数据在应用场景和传输需求上有明显的差异。由于音频数据实时性要求高，且数据量相对较小，因此在传输时可以采用忽略丢包、使用较小的缓冲、以及使用前向纠错等策略来优先保障实时性，而对于少量丢失的音频数据，通常不会对听感产生明显影响。
44.相比之下，视频数据的实时性同样重要，但对数据的完整性要求更高，不能容忍帧的丢失，因为帧之间有依赖关系。此外，视频数据的数据量较大，因此需要更高效的传输策略，例如使用udp协议来降低传输延迟，采用自适应速率以动态调整传输速率，使用重传来保证数据的完整传输。
45.音频部分的数据传输初始策略：传输协议：tcp原理和作用：使用tcp作为传输协议，可以确保音频数据的可靠传输，避免音频数据包的丢失，提供更好的音频质量和稳定性。
46.传输速率：固定速率原理和作用：采用固定速率传输，可以确保音频数据按照固定速率发送，保持稳定的传输速度，适用于实时音频数据的传输。
47.丢包处理方式：忽略原理和作用：对于音频数据，实时性较重要，少量数据丢失对音频质量影响相对较小，因此采用忽略方式，避免因重传带来的延迟。
48.缓冲处理方式：长缓冲原理和作用：采用长缓冲可以平衡发送端和接收端之间的传输速率差异，确保接收端能够稳定接收音频数据，减少音频卡顿现象。
49.错误恢复方式：前向纠错原理和作用：前向纠错可以通过冗余信息对部分错误进行修正，提高音频数据传输的可靠性，减少音频数据的错误和损失。
50.带宽分配方式：按需分配原理和作用：按需分配带宽，可以根据实时音频数据的传输需求和重要性，动态分配带宽资源，确保音频数据的优先传输。
51.多播方式：多播原理和作用：采用多播方式可以将音频数据一次性传输给多个接收端，减少网络传输开销，提高传输效率。
52.帧优先级调度方式：p/b帧优先原理和作用：对于音频数据而言，关键帧的概念并不适用，因此优先传输p/b帧可以降低传输开销，提高音频数据的传输效率。
53.视频部分的数据传输初始策略：传输协议：udp
原理和作用：使用udp作为传输协议，可以降低传输延迟，适用于实时性要求较高的视频数据传输。
54.传输速率：自适应速率原理和作用：采用自适应速率可以根据网络情况动态调整传输速率，保证视频数据的连续和稳定传输。
55.丢包处理方式：重传原理和作用：对于视频数据，保证数据的完整性非常重要，因此采用重传方式，确保视频数据包的准确传输。
56.缓冲处理方式：长缓冲原理和作用：长缓冲可以处理传输延迟较大的情况，确保接收端能够稳定接收视频数据，提高视频播放的流畅性。
57.错误恢复方式：自适应重传原理和作用：自适应重传可以根据错误情况和网络状况动态调整重传策略，提高视频数据传输的可靠性和效率。
58.带宽分配方式：按需分配原理和作用：按需分配带宽，根据视频数据的实时传输需求和重要性，动态分配带宽资源，确保视频数据的优先传输。
59.多播方式：单播原理和作用：视频数据通常需要针对每个接收端单独传输，采用单播方式可以确保每个接收端都能够获得完整的视频数据。
60.帧优先级调度方式：i帧优先原理和作用：对于视频数据而言，i帧是关键帧，其他帧（p/b帧）的解码都依赖于i帧。因此优先传输i帧可以保证视频传输的连续性和稳定性。
61.实施例4：在上一实施例的基础上，在复制待发送数据中的帧数据时，满足以下约束条件：；且，；其中，为待发送数据的总帧数。
62.具体的，这个约束条件是对预发送数据复制的帧数进行限制的。约束条件要求预发送数据复制的帧数占待发送数据总帧数的百分比在10%到50%之间。这样的约束条件可以确保预发送数据中包含足够的信息，以便在接收端对音视频数据进行解码和还原，同时避免复制过多的数据导致传输开销过大。
63.复制过多的帧数据会导致传输的数据量增加，增加网络传输的开销。通过约束条件限制复制帧数的百分比在合理范围内，可以减少传输开销，提高传输效率。
64.实施例5：在上一实施例的基础上，评估器对接收到的预发送数据的质量进行评估，得到评估结果的方法包括：当待发送数据得到数据类型为音频数据时，评估器则对预发送数据进行质量评估，得到评估结果；当待发送数据为视频数据时，评估器首先将预发送数据中分离的音频数据进行质量评估，得到音频评估结果，再将预发送数据中分离的视频数
据进行质量评估，得到视频评估结果，基于音频评估结果和视频评估结果，再计算得到评估结果。
65.具体的，分离音频数据和视频数据，并对它们进行单独的质量评估，是因为音频数据和视频数据在传输过程中具有不同的特点和要求，需要采用不同的质量评估方法来确保其传输质量。音频数据：音频数据通常是连续的声音信号，对实时性要求较高，需要保持音频数据的连续性和稳定性，以避免通话时的延迟或不同步问题。音频数据的质量评估通常涉及音频信号的失真、噪声、声音清晰度等方面。
66.视频数据：视频数据包含连续的图像帧，对实时性要求同样较高，需要保持视频数据的连续性和流畅性，以避免画面卡顿或不连续的现象。视频数据的质量评估通常涉及图像的清晰度、失真、运动流畅性等方面。
67.实施例6：在上一实施例的基础上，评估器对预发送数据进行质量评估，得到评估结果或评估器首先将预发送数据中分离的音频数据进行质量评估，得到音频评估结果的方法包括：将音频数据分割为8个等长的段，对于每个段，分别计算其局部极值点数量、波形曲线长度和平均波动强度；其中，为下标，取值为整数，取值范围为1到8；设定三个第一判断阈值，分别为，使用如下规则，进行第一评估判断，得到8个第一评估值：如果且，则；如果或，则；其中，为第一评估值；基于第一评估值，得到评估结果或音频评估结果为：。
68.具体的，局部极值点数量：在音频数据中，波形通常会包含一系列的极值点，即局部最大值或最小值。局部极值点的数量反映了音频波形的起伏和变化情况。应用：当音频波形的局部极值点数量较多时，表明音频数据在这个子段内有较多的波动，可能存在较多的音频变化，对应于复杂的音频场景或较丰富的声音内容。波形曲线长度：波形曲线长度是在音频波形上连接连续折线段的长度之和。波形曲线长度反映了音频波形的平滑性和稳定性。应用：当音频波形的曲线长度较长时，表明音频数据在这个子段内波动较剧烈，可能存在噪声或其他干扰，对应于较不稳定的音频信号。平均波动强度：平均波动强度衡量了音频波形在一个子段内的振幅变化情况，即波形的振幅起伏程度。应用：当音频波形的平均波动强度较大时，表明音频数据在这个子段内波动较大，振幅变化较剧烈，可能存在噪声、失真或其他质量问题。判断阈值：设定三个判断阈值，用于对音频数据的局部极值点数量、波形曲线长度和平均波动强度进行判断。阈值的设定可以根据实际场景和数据特点进行调整，以适应不同的音频质量要求。判断阈值的设定对于评估结果的准确性至关重要，合理的阈值可以准确地判断音频数据的质量，并提供有效的反馈信息。通过对音频数据分割为子段并计算局部特征，再根据设定的判断阈值进行判断，评估器可以得到每个子段的第一评估值，进而形成整体评估结果。该评估结果可以提供有关音频数据质量的信息，以优化音频数据的传输策略，提供更好的音频传输体验。该评估方法充分利用了音频波形的局部特征，对音频数据的质量进行综合评估，为音视频传输系统提供重要的参考依据。
69.实施例7：在上一实施例的基础上，所述局部极值点数量，使用如下公式进行计算：；其中，函数在是局部极值时返回1，否则返回0；为将音频数据分割为8个等长的段得到的段，第个段的第个样本；为每个段的长度；在这个公式中，使用了函数来判断每个样本是否是局部极值点。函数返回1表示样本是局部极值点，否则返回0。具体判断规则如下：如果大于其相邻的两个样本和，则是局部极大值，返回1。如果小于其相邻的两个样本和，则是局部极小值，返回1。否则不是局部极值点，返回0。最后，将该段内所有局部极值点的数量相加，得到，表示第个段内的局部极值点数量。
70.所述波形曲线长度，使用如下公式进行计算：；这个公式通过计算每个样本与前一个样本的差值的绝对值，然后将所有差值绝对值相加，得到。这相当于对音频数据的波形曲线进行采样，测量相邻样本之间的变化幅度，从而获得波形曲线的长度。
71.所述平均波动强度，使用如下公式进行计算：；这个公式首先计算该段内所有样本与平均值的差值的绝对值，然后将所有差值绝对值相加，最后除以该段内的样本数量，得到平均波动强度。这相当于测量音频数据波形在该段内的平均振幅波动程度，反映了音频数据的稳定性和振幅变化情况。
72.其中，为第个段的第个样本。
73.实施例8：在上一实施例的基础上，将预发送数据中分离的视频数据进行质量评估，得到视频评估结果的方法包括：将视频数据分割为8个部分，对于每个部分，随机选取一帧图像，分别计算其图像对比度、图像清晰度和颜色一致性；其中，为下标，取值为整数，取值范围为1到8；构建特征向量，然后计算其时间序列自相关函数；其中，为序号，取值为整数，取值范围为1到8；设定两个第二判断阈值，分别为和；使用如下公式，进行第二评估判断，得到8个第二评估值：；其中，为第二评估值；基于第二评估值，得到视频评估结果为：。
74.具体的，这种视频数据质量评估方法采用了对视频帧图像的图像对比度、图像清晰度和颜色一致性进行分析。通过计算特征向量中的指标和时间序列自相关函数
，可以从时域角度对视频帧图像的质量进行评估。设定了两个判断阈值和，通过比较图像清晰度和图像对比度与阈值的大小，判断视频帧图像的质量。
75.整体评估结果是一个包含8个二进制值的向量，每个值表示对应部分的评估结果。该评估结果可以用于衡量视频数据的质量，进一步用于整体评估和反馈调整传输策略，以优化视频数据的传输效果，提供更好的视频传输体验。该评估方法充分利用了视频帧图像的特征和时间序列相关性，对视频数据的质量进行综合评估，为音视频传输系统提供重要的参考依据。
76.实施例9：在上一实施例的基础上，所述图像对比度使用如下公式计算得到：；其中是第个部分随机选取的一帧的图像的像素的灰度强度值，是一个小常数防止分母为零；表示第个部分随机选取的一帧图像的像素的灰度强度值。公式中的分子表示该帧图像像素强度值的最大值与最小值之差，分母表示最大值与最小值之和再加上一个小常数，以防止分母为零。通过这样的计算，可以得到该帧图像的对比度。
77.所述图像清晰度，使用如下公式计算得到：；其中，为随机选取的一帧的图像的像素的横坐标变量；为随机选取的一帧的图像的像素的纵坐标变量；这里使用了图像的梯度信息来表示图像清晰度。对于随机选取的一帧图像，分别计算其在水平方向和垂直方向的梯度（即偏导数的绝对值），然后将两个方向的梯度绝对值之和作为图像的清晰度。
78.所述颜色一致性，使用如下公式计算得到：；其中是第个部分随机选取的一帧的图像的颜色通道的平均值；是第个部分随机选取的一帧的图像的颜色通道的平均值。
79.这里对于随机选取的一帧图像，分别计算每个颜色通道的平均值。然后计算该部分的颜色通道的平均值与所有部分的颜色通道平均值之间的差值的平方和，得到颜色一致性。
80.使用如下公式计算时间序列自相关函数：；其中，是特征向量的平均值。对于特征向量，先计算其与整体特征向量的平均值的差值。然后对每个相隔的特征向量和进行乘积，并将所有乘积结果相加并
除以8，得到时间序列自相关函数。
81.实施例10：在上一实施例的基础上，所述基于音频评估结果和视频评估结果，再计算得到评估结果的方法包括：使用如下公式计算得到评估结果：；其中，&为与运算；反馈调整器，依据评估结果，在数据传输初始策略的基础上，进行反馈调整，制定反馈调整传输策略的方法包括：设定数据传输初始策略的矩阵为：；其中，当传输协议为tcp时，；当传输协议为udp时，；当传输速率为固定速率时；传输速率为自适应速率时，；当丢包处理方式为重传时，，丢包处理方式为忽略时，；当缓冲处理方式为短缓冲时，，当缓冲处理方式为长缓冲时，；当错误恢复方式为前向纠错时，，当错误恢复方式为自适应重传时，；当带宽分配方式为平均分配时，，当带宽分配方式为按需分配时，；当多播方式为单播时，，当多播方式为多播时，；当帧优先级调度方式为i帧优先时，，当帧优先级调度方式为p/b帧优先时，；将数据传输初始策略的矩阵与评估结果进行矩阵抑或运算，得到反馈调整传输策略的矩阵，进一步得到反馈调整传输策略。
82.具体的，评估结果的计算涉及两个部分的评估结果：音频评估结果和视频评估结果。这两个评估结果分别是包含8个二进制值的向量，每个值表示对应部分的评估结果。例如，可能为，可能为。
83.为了得到最终的评估结果，采用了与运算（抑或运算）。对应的步骤如下：将和逐位进行抑或运算。例如，对于第一位，，其中表示抑或运算。依次对每个位置进行抑或运算，得到最终的评估结果。例如，。这样，通过与运算，音频和视频的评估结果被组合在一起，形成了最终的评估结果。该评估结果将影响后续反馈调整传输策略的制定。
84.反馈调整传输策略的制定涉及数据传输初始策略的矩阵和评估结果。是一个包含8个元素的向量，每个元素表示对应策略的状态，可以是0或1。例如，。
85.为了得到反馈调整传输策略的矩阵，采用了与运算（抑或运算）。对应的步骤如下：将数据传输初始策略的矩阵和评估结果逐位进行抑或运算。例如，对于第一位，
。依次对每个位置进行抑或运算，得到反馈调整传输策略的矩阵。例如，。这样，通过与运算，根据评估结果对数据传输初始策略进行调整，得到了最终的反馈调整传输策略的矩阵。该策略矩阵将包含一系列0和1的值，代表不同传输策略的状态。这样的调整可以根据实际传输情况，自动优化数据传输过程，提供更好的音视频传输质量和体验。通过评估器和反馈调整器的协作，系统可以根据传输数据类型和质量，动态地调整传输策略，以提供更优化的音视频传输效果。
86.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。