一种基于海思嵌入式平台的教学录播导播系统和方法与流程

技术特征：
1.一种基于海思嵌入式平台的教学录播导播系统，其特征在于，所述教学录播导播系统包括学生摄像头、教师摄像头、视频输入模块、视频处理子系统、第一通道、第二通道和第三通道、神经网络推理引擎模块、视频图形子系统和视频输出模块；所述学生摄像头和教师摄像头分别获取学生座位区和教师教学区的实时图像数据，将获取的学生座位区和教师教学区的实时图像数据经视频输入模块发送至视频处理子系统；所述视频处理子系统对学生座位区和教师教学区的实时图像数据进行预处理，对预处理后的实时图像数据进行缩放处理，将生成的学生座位区和教师教学区的实时缩略图像数据经第一通道发送至神经网络推理引擎模块，将预处理后的学生座位区和教师教学区的实时图像数据经第二通道和第三通道发送至视频图形子系统；所述神经网络推理引擎模块对学生座位区和教师教学区的实时缩略图像数据进行处理，识别图像中是否存在目标行为对象以及目标行为对象的目标框信息，输出识别结果至视频图形子系统，由视频图形子系统根据识别结果输出相应的视频图像至视频输出模块；具体地，如果学生座位区和教师教学区的实时缩略图像数据中均不存在目标行为对象，视频图形子系统根据预设播放规则输出第三通道的学生座位区或者教师教学区的实时图像数据至视频输出模块；如果学生座位区或者教师教学区的实时缩略图像数据中存在目标行为对象，视频图形子系统计算得到所有目标框的最小公共外接矩形，将第二通道中的学生座位区或者教师教学区的实时图像数据的最小公共外接矩形中的图像截取后放大至原始图像像素，发送至视频输出模块。2.根据权利要求1所述的基于海思嵌入式平台的教学录播导播系统，其特征在于，所述视频输出模块与显示器连接，将接收到的图像通过显示器以显示。3.根据权利要求1所述的基于海思嵌入式平台的教学录播导播系统，其特征在于，所述教学录播导播系统还包括视频编码模块，视频编码模块的输入端与视频图形子系统的输出端连接，用于将视频图形子系统的输出结果编码后存储至指定磁盘。4.根据权利要求1所述的基于海思嵌入式平台的教学录播导播系统，其特征在于，所述视频输入模块包括两个物理通道，用于分别接收学生座位区和教师教学区的实时图像数据，视频输入模块通过hi_mpi_vi_enable_chn、hi_mpi_set_chn_attr媒体处理接口启用以及配置两个物理通道，采用hi_mpi_sys_bind媒体处理接口完成两个物理通道对视频处理子系统的两个处理组的绑定；视频处理子系统的两个处理组用于分别处理学生座位区和教师教学区的实时图像数据。5.根据权利要求1所述的基于海思嵌入式平台的教学录播导播系统，其特征在于，所述视频处理子系统用于对学生座位区和教师教学区的实时图像数据进行包括去噪、去隔行、裁剪、帧率控制在内的预处理。6.根据权利要求1所述的基于海思嵌入式平台的教学录播导播系统，其特征在于，所述神经网络推理引擎模块通过hi_mpi_svp_nnie_load_model接口加载wk模型文件，通过hi_mpi_vpss_get_chn_frame接口获取输入帧，使用hi_mpi_svp_nnie_forward接口将抓取到的帧输入到模型文件中，得到相应图像经过前向推理后的结果，再使用hi_mpi_svp_nnie_nms、hi_mpi_svp_nnie_filter接口完成过滤、排序、非极大值抑制操作，得到画面中教师以及特定行为学生的位置。7.根据权利要求6所述的基于海思嵌入式平台的教学录播导播系统，其特征在于，所述
模型文件基于端到端的pp-yoloe深度学习模型改进得到；所述神经网络推理引擎模块包括依次连接的主干网络、颈部网络和头部预测网络；所述主干网络由3个堆叠的卷积层与4个csprepresstage所组成，用于提取输入图像的深层特征图；所述颈部网络将提取的图像特征以不同的尺寸进行输出，以检测不同尺寸的目标；所述颈部网络由5个csprepresstage组成，先自顶向下进行上采样，使得底层特征图包含更强的目标语义信息，再自底向上进行下采样，使得顶层特征图包含更强的位置信息，最后将两个特征横向连接进行融合，使得最终输出的特征图包含强语义信息和强位置信息；所述头部预测网络用于采用高效任务对齐head算法来匹配颈部网络输出的不同尺寸的图像特征的分类和边界框回归两项任务，生成目标边界框和预测类别信息。8.根据权利要求7所述的基于海思嵌入式平台的教学录播导播系统，其特征在于，所述模型文件的损失函数为：式中，α,β和γ分别是分类分支、目标框交并比、回归分支损失函数的权重，介于0和1之间；作为正样本的真实标签，为归一化后的值，其最大值为每个实例中的最大iou；loss
vfl
，loss
giou
和loss
dfl
作为分类分支，边界框iou和回归分支的优化目标，loss
vfl
和loss
giou
分别为：为：式中，p是预测的iou相关分类概率，q是目标iou得分，对于负样本，q为0，θ是用于平衡正负样本的权重，p
μ
是用于调制每个样本的权重；c是同时包含a和b的最小边界框。9.根据权利要求1所述的基于海思嵌入式平台的教学录播导播系统，其特征在于，所述教师摄像头固定于教室后面墙壁居中位置；所述学生摄像头固定于教室前面墙壁居中位置、或黑板上方居中位置；所述显示器固定于讲台上。10.一种基于海思嵌入式平台的教学录播导播方法，其特征在于，所述教学录播导播方法基于权利要求1-9任一项所述的教学录播导播系统实现；所述教学录播导播方法包括以下步骤：s1，采用学生摄像头和教师摄像头分别获取学生座位区和教师教学区的实时图像数据，将获取的学生座位区和教师教学区的实时图像数据经视频输入模块发送至视频处理子系统；s2，对学生座位区和教师教学区的实时图像数据进行预处理，对预处理后的实时图像数据进行缩放处理，将生成的学生座位区和教师教学区的实时缩略图像数据经第一通道发送至神经网络推理引擎模块，将预处理后的学生座位区和教师教学区的实时图像数据经第二通道和第三通道发送至视频图形子系统；s3，对学生座位区和教师教学区的实时缩略图像数据进行处理，识别图像中是否存在
目标行为对象以及目标行为对象的目标框信息，输出识别结果至视频图形子系统，由视频图形子系统根据识别结果输出相应的视频图像至视频输出模块；具体地，如果学生座位区和教师教学区的实时缩略图像数据中均不存在目标行为对象，视频图形子系统根据预设播放规则输出第三通道的学生座位区或者教师教学区的实时图像数据至视频输出模块；如果学生座位区或者教师教学区的实时缩略图像数据中存在目标行为对象，视频图形子系统计算得到所有目标框的最小公共外接矩形，将第二通道中的学生座位区或者教师教学区的实时图像数据的最小公共外接矩形中的图像截取后放大至原始图像像素，发送至视频输出模块。

技术总结
本发明公开了一种基于海思嵌入式平台的教学录播导播系统，包括学生摄像头、教师摄像头、视频输入模块、视频处理子系统、第一通道、第二通道和第三通道、神经网络推理引擎模块、视频图形子系统和视频输出模块；如果学生座位区或者教师教学区的实时缩略图像数据中存在目标行为对象，视频图形子系统计算得到所有目标框的最小公共外接矩形，将第二通道中的学生座位区或者教师教学区的实时图像数据的最小公共外接矩形中的图像截取后放大至原始图像像素，发送至视频输出模块。本发明具有鲁棒性强、适用的范围广、检测速度快、精度高、安装部署简单、系统成本低等优点。系统成本低等优点。系统成本低等优点。


技术研发人员：张俊华 黄可征 王鹏 袁庆丰
受保护的技术使用者：南京逸智网络空间技术创新研究院有限公司
技术研发日：2022.09.05
技术公布日：2022/12/8