基于可感知质量优化的音视频传输系统的制作方法

技术特征：
1.基于可感知质量优化的音视频传输系统，其特征在于，所述系统包括：分析器、策略选择器、发送器、接收器、评估器和反馈调整器；所述分析器，配置用于获取待发送数据，对待发送数据进行分析，以判断待发送数据的数据类型，并复制待发送数据中的帧数据，得到预发送数据；所述数据类型包括：音频数据和视频数据；所述策略选择器，配置用于根据待发送数据的数据类型，以及预先设置的初始策略，制定数据传输初始策略；所述发送器，配置用于根据制定的数据传输初始策略，将预发送数据和数据传输初始策略均发送至接收器；所述接收器，配置用于接收预发送数据和数据传输初始策略；所述评估器，配置用于对接收到的预发送数据的质量进行评估，得到评估结果；所述反馈调整器，配置用于依据评估结果，在数据传输初始策略的基础上，进行反馈调整，制定反馈调整传输策略，将反馈调整传输策略发送至策略选择器，以替换策略选择器中的数据传输初始策略，并发送控制命令至分析器，以提示分析器开始发送待发送数据；所述分析器将待发送数据经策略选择器，发送至发送器；所述发送器将待发送数据依据制定的反馈调整传输策略发送至接收器。2.如权利要求1所述的基于可感知质量优化的音视频传输系统，其特征在于，所述数据传输策略和反馈调整传输策略均包括：传输协议、传输速率、丢包处理方式、缓冲处理方式、错误恢复方式、带宽分配方式、多播方式和帧优先级调度方式；所述传输协议包括：tcp或udp；所述传输速率包括：固定速率或自适应速率；所述丢包处理方式包括：重传或忽略；所述缓冲处理方式包括：短缓冲或长缓冲；所述错误恢复方式包括：前向纠错或自适应重传；所述带宽分配方式包括：平均分配或按需分配；所述多播方式包括：单播或多播；所述帧优先级调度方式包括：i帧优先或p/b帧优先。3.如权利要求2所述的基于可感知质量优化的音视频传输系统，其特征在于，当所述待发送数据的数据类型为视频数据时，所述发送器首先将预发送数据中的音频部分和视频部分进行分离，针对音频部分和视频部分制定不同的数据传输初始策略；音频部分的数据传输初始策略包括：传输协议为tcp；传输速率为固定速率；丢包处理方式为忽略；缓冲处理方式为长缓冲；错误恢复方式为前向纠错；带宽分配方式为按需分配；多播方式为多播；帧优先级调度方式为p/b帧优先；视频部分的数据传输初始策略包括：传输协议为udp；传输速率为自适应速率；丢包处理方式为重传；缓冲处理方式为长缓冲；错误恢复方式为自适应重传；带宽分配方式为按需分配；多播方式为单播；帧优先级调度方式为i帧优先；当所述待发送数据的数据类型为音频数据时，预发送数据的数据传输初始策略包括：传输协议为tcp；传输速率为固定速率；丢包处理方式为忽略；缓冲处理方式为短缓冲；错误恢复方式为前向纠错；带宽分配方式为平均分配；多播方式为多播；帧优先级调度方式为p/b帧优先。4.如权利要求3所述的基于可感知质量优化的音视频传输系统，其特征在于，在复制待发送数据中的帧数据时，满足以下约束条件：；且，；其中，为待发送数据的总帧数。5.如权利要求4所述的基于可感知质量优化的音视频传输系统，其特征在于，评估器对接收到的预发送数据的质量进行评估，得到评估结果的方法包括：当待发送数据得到数据类型为音频数据时，评估器则对预发送数据进行质量评估，得到评估结果；当待发送数据为
视频数据时，评估器首先将预发送数据中分离的音频数据进行质量评估，得到音频评估结果，再将预发送数据中分离的视频数据进行质量评估，得到视频评估结果，基于音频评估结果和视频评估结果，再计算得到评估结果。6.如权利要求5所述的基于可感知质量优化的音视频传输系统，其特征在于，评估器对预发送数据进行质量评估，得到评估结果或评估器首先将预发送数据中分离的音频数据进行质量评估，得到音频评估结果的方法包括：将音频数据分割为8个等长的段，对于每个段，分别计算其局部极值点数量、波形曲线长度和平均波动强度；其中，为下标，取值为整数，取值范围为1到8；设定三个第一判断阈值，分别为，使用如下规则，进行第一评估判断，得到8个第一评估值：如果且，则；如果或，则；其中，为第一评估值；基于第一评估值，得到评估结果或音频评估结果为：。7.如权利要求6所述的基于可感知质量优化的音视频传输系统，其特征在于，所述局部极值点数量，使用如下公式进行计算：；其中，函数在是局部极值时返回1，否则返回0；为将音频数据分割为8个等长的段得到的段，第个段的第个样本；为每个段的长度；所述波形曲线长度，使用如下公式进行计算：；所述平均波动强度，使用如下公式进行计算：；其中，为第个段的第个样本。8.如权利要求7所述的基于可感知质量优化的音视频传输系统，其特征在于，将预发送数据中分离的视频数据进行质量评估，得到视频评估结果的方法包括：将视频数据分割为8个部分，对于每个部分，随机选取一帧图像，分别计算其图像对比度、图像清晰度和颜色一致性；其中，为下标，取值为整数，取值范围为1到8；构建特征向量，然后计算其时间序列自相关函数；其中，为序号，取值为整数，取值范围为1到8；设定两个第二判断阈值，分别为和；使用如下公式，进行第二评估判断，得到8个第二评估值：；
其中，为第二评估值；基于第二评估值，得到视频评估结果为：。9.如权利要求8所述的基于可感知质量优化的音视频传输系统，其特征在于，所述图像对比度使用如下公式计算得到：；其中是第个部分随机选取的一帧的图像的像素的灰度强度值，是一个小常数防止分母为零；所述图像清晰度，使用如下公式计算得到：；其中，为随机选取的一帧的图像的像素的横坐标变量；为随机选取的一帧的图像的像素的纵坐标变量；所述颜色一致性，使用如下公式计算得到：；其中是第个部分随机选取的一帧的图像的颜色通道的平均值；是第个部分随机选取的一帧的图像的颜色通道的平均值；使用如下公式计算时间序列自相关函数：；其中，是特征向量的平均值。10.如权利要求8所述的基于可感知质量优化的音视频传输系统，其特征在于，所述基于音频评估结果和视频评估结果，再计算得到评估结果的方法包括：使用如下公式计算得到评估结果：；其中，&为与运算；反馈调整器，依据评估结果，在数据传输初始策略的基础上，进行反馈调整，制定反馈调整传输策略的方法包括：设定数据传输初始策略的矩阵为：；其中，当传输协议为tcp时，；当传输协议为udp时，；当传输速率为固定速率时；传输速率为自适应速率时，；当丢包处理方式为重传时，，丢包处理方式为忽略时，；当缓冲处理方式为短缓冲时，，当缓冲处理方式为长缓冲时，；当错误恢复方式为前向纠错时，，当错误恢复方式为自适应重传时，；当带宽分
配方式为平均分配时，，当带宽分配方式为按需分配时，；当多播方式为单播时，，当多播方式为多播时，；当帧优先级调度方式为i帧优先时，，当帧优先级调度方式为p/b帧优先时，；将数据传输初始策略的矩阵与评估结果进行矩阵抑或运算，得到反馈调整传输策略的矩阵，进一步得到反馈调整传输策略。

技术总结
本发明的目的是提供基于可感知质量优化的音视频传输系统，涉及数据传输技术领域，所述系统包括：分析器、策略选择器、发送器、接收器、评估器和反馈调整器；所述分析器，配置用于对待发送数据进行分析，以判断待发送数据的数据类型，得到预发送数据；所述策略选择器，配置用于根据待发送数据的数据类型，制定数据传输初始策略；所述发送器，将预发送数据和数据传输初始策略均发送至接收器；所述接收器，配置用于接收预发送数据和数据传输初始策略；所述评估器，配置用于对接收到的预发送数据的质量进行评估，得到评估结果。本发明通过预发送数据制定反馈调整传输策略，实现动态自适应传输，提高传输质量和用户体验。提高传输质量和用户体验。提高传输质量和用户体验。


技术研发人员：刘崇硕 雷鸣 林树洽 左海福
受保护的技术使用者：深圳市优森美科技开发有限公司
技术研发日：2023.09.18
技术公布日：2023/10/25