基于实时全真视频的多媒体信息生成方法、设备、存储介质、程序产品与流程

摘要: 本技术涉及互联网视频处理与人工智能,尤其涉及一种基于实时全真视频的多媒体信息生成方法、设备、存储介质、程序产品背景技术:1、随着虚拟现实(vr)、增强现实(ar...
基于实时全真视频的多媒体信息生成方法、设备、存储介质、程序产品与流程

本技术涉及互联网视频处理与人工智能,尤其涉及一种基于实时全真视频的多媒体信息生成方法、设备、存储介质、程序产品

背景技术:

1、随着虚拟现实(vr)、增强现实(ar)及自由视角视频技术的快速发展,以3d全景视频为代表的沉浸式媒体内容正在成为主流。通过在场景周围部署多台摄像机进行环绕同步拍摄,并利用拼接与编码技术,可以向用户提供360度无死角的沉浸式观赛、观影体验。

2、在全景视频中投放多媒体信息是重要的商业模式。现有技术通常对完整的360度全景视频画面进行整体分析,寻找适合放置多媒体信息的静态或单一纹理区域,然后将多媒体信息素材与视频内容进行叠加编码后推送。

3、然而,上述现有技术存在以下明显缺陷:

4、处理速度慢,难以满足实时性要求。对整幅全景视频进行全画幅分析与叠加编码需要巨大的计算资源。在直播等实时流场景下,这种处理方式会导致显著的多媒体信息投放延迟,无法及时响应直播内容的动态变化,甚至造成画面卡顿。

5、多媒体信息展示效果差。所有用户观看的多媒体信息内容完全相同,无法根据每个用户的个人属性、历史兴趣、实时观看行为等差异进行精准推送。这种千人一面的多媒体信息模式大大降低了多媒体信息的点击率与转化效果。

6、源利用率低。在分块传输的全景视频架构中,现有方案未能与用户的真实关注区域有效结合,经常出现用户未观看的高清分块被浪费地加载,而用户实际关注的区域却未能获得最高画质或多媒体信息内容。

7、因此,如何在保证全景视频直播实时性的前提下,实现面向每个用户的、低延迟的、精准的个性化多媒体信息投放,是当前亟待解决的技术问题。

技术实现思路

1、本技术实施例提供一种基于实时全真视频的多媒体信息生成方法、电子设备、计算机存储介质及计算机程序产品,以解决现有全景视频多媒体信息投放中存在的处理延迟高、缺乏个性化、资源利用率低的技术问题。

2、本技术实施例的技术方案是这样实现的:

3、本技术实施例提供一种基于实时全真视频的多媒体信息生成方法,包括:

4、获取目标用户的用户信息,所述用户信息包括离线信息与在线信息;

5、基于所述用户信息,构建所述目标用户的用户画像向量;

6、基于所述用户画像向量,预测所述目标用户的未来关注区域,并生成对应的预测热力图;

7、根据所述预测热力图,从全景视频的多个高清分块中确定待叠多媒体信息的一个或多个目标高清分块;

8、对所述目标高清分块进行多媒体信息匹配,确定待投放的多媒体信息的内容,并计算所述多媒体信息的内容在所述目标高清分块中的目标投放位置;

9、根据所述目标投放位置,将所述多媒体信息内容实时叠加编码至所述目标高清分块中,生成多媒体信息分块;

10、将所述多媒体信息分块推送至所述目标用户的客户端进行解码及展示。

11、作为一种实现方式,所述离线信息包括所述目标用户的基本信息与历史行为数据;所述在线信息包括所述目标用户的当前关注点与当前播放行为数据;对应地,

12、所述构建所述目标用户的用户画像向量,包括:

13、为所述离线信息中的各元素分配第一权重,为所述在线信息中的各元素分配第二权重;

14、通过特征转换函数分别对所述离线信息与所述在线信息进行特征转换;

15、基于所述第一权重、所述第二权重及特征转换后的结果,生成所述用户画像向量。

16、作为一种实现方式,所述预测所述目标用户的未来关注区域,并生成对应的预测热力图,包括:

17、获取所述目标用户的多模态行为序列,所述多模态行为序列包括:头部姿态序列、视频播放进度变化量、播放行为事件流及当前虚拟视野热力图状态;

18、将所述多模态行为序列输入至预先构建的注意力迁移长短期记忆网络(longshort-termmemory,lstm)网络中;

19、通过所述注意力迁移lstm网络的门控机制与记忆单元更新,预测下一时刻的虚拟视野热力图,作为所述预测热力图;

20、其中,所述预测热力图的空间维度与全景视频的低清流画面一致,热力值表征对应空间区域被关注的概率。

21、作为一种实现方式,所述根据所述预测热力图,从全景视频的多个高清分块中确定待叠多媒体信息的一个或多个目标高清分块,包括:

22、采用热点聚类算法对所述预测热力图进行聚类,提取出一个或多个注意力集中区域;

23、将每个所述注意力集中区域映射至对应的一个或多个高清分块,得到候选分块集合;

24、根据所述注意力集中区域的热点强度对所述候选分块集合中的各高清分块进行排序;

25、选取排序靠前的k个高清分块作为所述目标高清分块,其中k为预设正整数。

26、作为一种实现方式,所述确定待投放的多媒体信息的内容,并计算所述多媒体信息的内容在所述目标高清分块中的目标投放位置,包括:

27、根据所述用户画像向量与多媒体信息库中各多媒体信息的特征向量,计算用户历史兴趣匹配度得分;

28、根据所述目标用户的当前关注点与所述各多媒体信息的内容特征,计算当前关注点关联性得分;

29、根据所述目标用户的当前行为数据,计算行为评估得分;

30、对所述用户历史兴趣匹配度得分、当前关注点关联性得分及行为评估得分进行加权求和,得到综合评估得分;

31、选取综合评估得分最高的多媒体信息作为所述待投放的多媒体信息内容;

32、获取所述目标高清分块对应的编码队列,并确定首帧帧号;

33、根据所述目标高清分块的帧率及预估的多媒体信息匹配耗时,计算开始匹配处理的起始帧号;

34、提取所述起始帧的特征点集合与所述待投放的多媒体信息内容的特征点集合;

35、基于所述起始帧的特征点分布密度、空间位置关系以及所述多媒体信息内容的特征点,计算所述目标投放位置的坐标;

36、动态更新所述预估的多媒体信息匹配耗时,并根据更新后的耗时及后续匹配过程的实际耗时,拟合求解高清帧权重与多媒体信息权重,以优化后续起始帧号的计算。

37、作为一种实现方式,所述根据所述目标投放位置,将所述多媒体信息内容实时叠加编码至所述目标高清分块中,生成多媒体信息分块,包括:

38、对所述目标高清分块进行解码,得到其包含的宏块集合;

39、获取所述多媒体信息内容的像素矩阵;

40、在编码过程中,根据所述目标投放位置,将所述多媒体信息内容的像素矩阵按照预设的叠加系数,插入至所述宏块集合中的对应宏块中,完成实时叠加编码。

41、作为一种实现方式,所述方法还包括:

42、对全景视频帧进行语义分割,识别高关注度区域与低关注度区域;

43、根据语义密度,在所述高关注度区域采用细粒度的分块划分,在所述低关注度区域采用粗粒度的分块划分,生成分块配置表;

44、根据所述目标用户的用户行为画像与所述预测热力图,动态调整分块的优先级与权重,实现个性化分块重排;

45、利用时空一致性约束对相邻帧的分块变化进行平滑处理。

46、本技术实施例提供的电子设备,包括:处理器和存储器,该存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,执行上述的基于实时全真视频的多媒体信息生成方法。

47、本技术实施例提供的计算机可读存储介质,用于存储计算机程序,所述计算机程序使得计算机执行上述的基于实时全真视频的多媒体信息生成方法。

48、本技术实施例提供的计算机程序产品,包括计算机程序指令,该计算机程序指令使得计算机执行上述的基于实时全真视频的多媒体信息生成方法。

49、本技术实施例具有以下有益效果:在多媒体信息推送流程中创新性地引入了用户画像向量构建与实时关注区域预测步骤,通过注意力迁移lstm网络对用户未来数秒内的视觉焦点进行精准预测,并仅对预测出的目标高清分块进行多媒体信息匹配与叠加编码。这避免了传统方案中对整幅全景视频进行全面分析的高昂计算成本,大幅降低了处理延时,能够满足直播场景下的实时性要求,本技术显著提升了个性化匹配的准确度。

50、本技术综合考虑了用户的离线历史兴趣与在线实时行为,采用多维特征如颜色、纹理、语义等的相似度计算与加权评分机制,为每个用户从多媒体信息库中动态筛选出最匹配的多媒体信息内容。不同用户观看同一视频时,可以各自看到针对其个人兴趣定制的差异化多媒体信息,极大提升了多媒体信息的相关性与吸引力。本技术的基于动态耗时预测与特征点匹配的多媒体信息投放位置计算算法,该算法能够根据历史匹配耗时、高清帧特征点数量、多媒体信息特征点数量,动态预测并调整开始匹配处理的起始帧号,并通过多轮数据拟合求解最佳权重,有效解决了多媒体信息位置计算耗时波动导致的直播卡顿问题,保证了原有视频流的流畅输出。通过虚拟视野热力图与热点聚类,仅对用户最可能关注的前几个高清分块进行多媒体信息叠加编码与预加载,避免了传统方案中大量无用高清分块的传输与处理。通过语义感知分块机制能够根据画面内容的重要性动态调整分块粒度,使有限的带宽与计算资源优先服务于高价值内容。