视觉素材的处理方法、装置和系统、计算机终端

技术特征：
1.一种视觉素材的处理方法，其特征在于，包括：接收视觉素材集合，其中，所述视觉素材均包含了与待推荐的产品关联的产品特征；将所述视觉素材集合中的视觉素材以素材序列的方式组成候选镜头集合；基于产品特征的语义和视觉素材的感知说服力，从所述候选镜头集合中筛选得到多个目标镜头；基于排序因素对所述多个目标镜头进行镜头排序，生成用于推荐所述产品的视频，其中，所述排序因素包括如下至少之一：所述目标镜头之间的语义距离，所述目标镜头中所述产品的显著区域比率和所述目标镜头之间的相似度；输出所述视频。2.根据权利要求1所述的方法，其特征在于，将所述视觉素材集合中的视觉素材以素材序列的方式组成候选镜头集合，包括：采用场景检测模型来分析所述视觉素材集合中的视觉素材，获取所述视觉素材集合中的视觉素材的场景类别，其中，采用卷积神经网络模型训练样本素材生成所述场景检测模型；基于所述视觉素材集合中的视觉素材的场景类别，对所述视觉素材集合进行递归聚类，聚类得到不同类别的多个素材序列；获取以所述素材序列的方式组成的所述候选镜头集合。3.根据权利要求2所述的方法，其特征在于，所述素材序列中包含的视觉素材具有相同的场景类型，且视觉素材的视觉外观相似度超过阀值；不同素材序列之间的场景类型不同。4.根据权利要求3所述的方法，其特征在于，获取以所述素材序列的方式组成的所述候选镜头集合，包括：从所述素材序列中随机选择序列中的第一个视觉素材；从备选素材中选择与所述第一个视觉素材相似度最高的下一个视觉素材，作为相邻素材放置于所述第一个视觉素材所在的素材序列中，且与所述第一个视觉素材的播放位置相邻；对所述素材序列中的每个视觉素材执行迭代选择出相邻的下一个视觉素材，输出所述候选镜头集合。5.根据权利要求1所述的方法，其特征在于，基于产品特征的语义和视觉素材的感知说服力，从所述候选镜头集合中筛选得到多个目标镜头，包括：获取所述候选镜头集合中候选镜头中包含的多个视觉素材；基于每个视觉素材中产品特征的语义，获取所述每个视觉素材之间的语义距离；基于冯特曲线对所述每个视觉素材进行处理，获取所述每个视觉素材的感知说服力；基于所述每个视觉素材之间的语义距离，所述每个视觉素材的感知说服力，以及所述每个视觉素材的场景类别，筛选得到所述多个目标镜头。6.根据权利要求5所述的方法，其特征在于，基于所述每个视觉素材之间的语义距离，所述每个视觉素材的感知说服力，以及所述每个视觉素材的场景类别，筛选得到所述多个目标镜头，包括：获取所述每个视觉素材之间的语义距离，所述每个视觉素材的感知说服力，以及所述每个视觉素材的场景类别的加权和，得到所述候选镜头集合中每个镜头的分数；
采用次模排序的方式每次从所述候选镜头集合中选择一个分数最高的镜头，筛选得到所述多个目标镜头。7.根据权利要求1所述的方法，其特征在于，基于排序因素对所述多个目标镜头进行镜头排序，生成用于推荐所述产品的视频，包括：基于所述排序因素对所述多个目标镜头进行镜头排序，生成目标序列；按照所述目标序列排序后的镜头，生成所述用于推荐所述产品的视频。8.根据权利要求7所述的方法，其特征在于，不同的排序因素具有不同的权重值，所述权重值用于确定镜头排序的结果。9.一种视觉素材的处理装置，其特征在于，包括：接收模块，用于接收视觉素材集合，其中，所述视觉素材均包含了与待推荐的产品关联的产品特征；组合模块，用于将所述视觉素材集合中的视觉素材以素材序列的方式组成候选镜头集合；筛选模块，用于基于产品特征的语义和视觉素材的感知说服力，从所述候选镜头集合中筛选得到多个目标镜头；排序模块，用于基于排序因素对所述多个目标镜头进行镜头排序，生成用于推荐所述产品的视频，其中，所述排序因素包括如下至少之一：所述目标镜头之间的语义距离，所述目标镜头中所述产品的显著区域比率和所述目标镜头之间的相似度；输出模块，用于输出所述视频。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至8中任意一项所述的视觉素材的处理方法。11.一种计算机终端，其特征在于，包括：存储器和处理器，所述处理器用于运行所述存储器中存储的程序，其中，所述程序运行时执行权利要求1至8中任意一项所述的视觉素材的处理方法。12.一种视觉素材的处理系统，其特征在于，包括：处理器；以及存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：接收视觉素材集合，其中，所述视觉素材均包含了与待推荐的产品关联的产品特征；将所述视觉素材集合中的视觉素材以素材序列的方式组成候选镜头集合；基于产品特征的语义和视觉素材的感知说服力，从所述候选镜头集合中筛选得到多个目标镜头；对所述多个目标镜头进行镜头排序，生成用于推荐所述产品的视频；输出所述视频。

技术总结
本申请公开了一种视觉素材的处理方法、装置和系统、计算机终端。其中，该方法包括：接收视觉素材集合，其中，视觉素材均包含了与待推荐的产品关联的产品特征；将视觉素材集合中的视觉素材以素材序列的方式组成候选镜头集合；基于产品特征的语义和视觉素材的感知说服力，从候选镜头集合中筛选得到多个目标镜头；基于排序因素对多个目标镜头进行镜头排序，生成用于推荐产品的视频，其中，排序因素包括如下至少之一：目标镜头之间的语义距离，目标镜头中产品的显著区域比率和目标镜头之间的相似度；输出视频。本申请解决了相关技术中视觉素材通过人力手动处理，导致成本较高且耗时较长的技术问题。术问题。术问题。


技术研发人员：刘畅 董义 申志奇 于涵 高占宁 王攀 任沛然 谢宣松
受保护的技术使用者：南洋理工大学
技术研发日：2020.12.24
技术公布日：2022/6/28