预测模型的训练方法及装置和目标视频剪辑方法及装置与流程

1.本公开涉及计算机技术领域，更具体地说，涉及一种预测模型的训练方法及装置和目标视频剪辑方法及装置。


背景技术：

2.在一段视频中往往存在精彩的部分以及平淡的部分，对于观众而言，由于时间的限制，经常希望只观看视频中精彩的部分而忽略平淡的部分；对于视频制作方而言，经常希望将视频中的精彩部分剪辑出来上传至各视频平台，以维持并吸引更多观众的关注。然而，现在的视频剪辑工作仍由人工完成，费时费力。


技术实现要素：

3.本公开提供一种预测模型的训练方法及装置和目标视频剪辑方法及装置，以至少解决上述相关技术中的问题，也可不解决任何上述问题。
4.根据本公开实施例的第一方面，提供一种积极用户行为预测模型的训练方法，包括：获取训练数据集，其中，所述训练数据集包括多个视频片段，每个视频片段被划分为多个时间段，每个时间段具有统计出的在该时间段发生的真实积极用户行为数据；将第一时间段的真实积极用户行为数据输入所述积极用户行为预测模型，得到第二时间段的预测积极用户行为数据，其中，第二时间段是第一时间段的下一时间段；根据第二时间段的预测积极用户行为数据以及第二时间段的真实积极用户行为数据，计算损失函数的值；通过根据所述损失函数的值调整所述积极用户行为预测模型的模型参数，对所述积极用户行为预测模型进行训练。
5.可选地，所述将第一时间段的真实积极用户行为数据输入所述积极用户行为预测模型，得到第二时间段的预测积极用户行为数据，包括：从所述多个视频片段中随机选取一个视频片段；从随机选取的视频片段中确定第一时间段，将第一时间段的真实积极用户行为数据作为第一输入值，并将所述第一时间段的前一时间段对应的预测积极用户行为数据作为第二输入值；将第一输入值以及第二输入值输入所述积极用户行为预测模型，得到第二时间段的预测积极用户行为数据。
6.可选地，所述损失函数的值可被表示为：
[0007][0008]
其中，loss表示所述损失函数的值；m表示每个所述视频片段的多个时间段的数量；yi表示第二时间段的真实积极用户行为数据；表示第二时间段的预测积极用户行为数据。
[0009]
可选地，所述积极用户行为数据包括以下项中的至少一项：弹幕量、人气值、礼物数量、关注量、点赞量和弹幕关键字的出现次数。
[0010]
根据本公开实施例的第二方面，提供一种目标视频剪辑方法，包括：获取待剪辑的原始视频，其中，所述原始视频被划分为多个时间段，每个时间段具有统计出的在该时间段发生的真实积极用户行为数据；针对所述多个时间段中除最后时间段之外的每个时间段，执行以下操作：将当前时间段的真实积极用户行为数据输入到积极用户行为预测模型，得到在所述当前时间段之后的下一时间段的预测积极用户行为数据，基于所述下一时间段的所述预测积极用户行为数据以及所述下一时间段的真实积极用户行为数据，判断所述下一时间段的所述真实积极用户行为数据是否异常，在确定所述下一时间段的所述真实积极用户行为数据异常的情况下，将所述下一时间段的视频内容剪辑到目标视频内容。
[0011]
可选地，所述积极用户行为预测模型是根据本公开实施例的第一方面中任意一项训练方法训练得到的。
[0012]
可选地，所述积极用户行为数据包括以下项中的至少一项：弹幕量、人气值、礼物数量、关注量、点赞量和弹幕关键字的出现次数。
[0013]
可选地，所述基于所述下一时间段的所述预测积极用户行为数据以及所述下一时间段的真实积极用户行为数据，判断所述下一时间段的所述真实积极用户行为数据是否异常，包括：基于所述下一时间段的所述预测积极用户行为数据以及所述下一时间段的真实积极用户行为数据确定异常得分；在所述异常得分高于预设阈值时，确定所述下一时间段的所述真实积极用户行为数据异常。
[0014]
可选地，所述基于所述下一时间段的所述预测积极用户行为数据以及所述下一时间段的真实积极用户行为数据确定异常得分，包括：基于所述下一时间段的所述真实积极用户行为数据高出所述下一时间段的所述预测积极用户行为数据的程度，确定异常得分，其中，所述程度越大，异常得分越高。
[0015]
可选地，剪辑到目标视频内容中的视频内容有n段，n为大于等于1的自然数；在所述将所述下一时间段的视频内容剪辑到目标视频内容后，还包括：当所述下一时间段的视频内容的时间段与目标视频内容中除所述下一时间段的视频内容外的其他段视频内容的时间段出现交集时，将时间段出现交集的视频内容合并。
[0016]
可选地，在得到所述目标视频内容之后，包括：将所述目标视频内容作为所述原始视频的预览视频或节选视频进行展示。
[0017]
根据本公开实施例的第三方面，提供一种积极用户行为预测模型的训练装置，包括：获取单元，被配置为：获取训练数据集，其中，所述训练数据集包括多个视频片段，每个视频片段被划分为多个时间段，每个时间段具有统计出的在该时间段发生的真实积极用户行为数据；预测单元，被配置为：将第一时间段的真实积极用户行为数据输入所述积极用户行为预测模型，得到第二时间段的预测积极用户行为数据，其中，第二时间段是第一时间段的下一时间段；计算单元，被配置为：根据第二时间段的预测积极用户行为数据以及第二时间段的真实积极用户行为数据，计算损失函数的值；调参单元，被配置为：通过根据所述损失函数的值调整所述积极用户行为预测模型的模型参数，对所述积极用户行为预测模型进行训练。
[0018]
可选地，所述计算单元可被配置为：从所述多个视频片段中随机选取一个视频片段；从随机选取的视频片段中确定第一时间段，将第一时间段的真实积极用户行为数据作为第一输入值，并将所述第一时间段的前一时间段对应的预测积极用户行为数据作为第二
输入值；将第一输入值以及第二输入值输入所述积极用户行为预测模型，得到第二时间段的预测积极用户行为数据。
[0019]
可选地，所述损失函数的值被表示为：
[0020][0021]
其中，loss表示所述损失函数的值；m表示每个所述视频片段的多个时间段的数量；yi表示第二时间段的真实积极用户行为数据；表示第二时间段的预测积极用户行为数据。
[0022]
可选地，所述积极用户行为数据包括以下项中的至少一项：弹幕量、人气值、礼物数量、关注量、点赞量和弹幕关键字的出现次数。
[0023]
根据本公开实施例的第四方面，提供一种目标视频剪辑装置，包括：获取单元、预测单元、判断单元和剪辑单元，获取单元可被配置为获取待剪辑的原始视频，其中，所述原始视频被划分为多个时间段，每个时间段具有统计出的在该时间段发生的真实积极用户行为数据；针对所述多个时间段中除最后时间段之外的每个时间段，预测单元可被配置为将当前时间段的真实积极用户行为数据输入到积极用户行为预测模型，得到在所述当前时间段之后的下一时间段的预测积极用户行为数据，判断单元可被配置为基于所述下一时间段的所述预测积极用户行为数据以及所述下一时间段的真实积极用户行为数据，判断所述下一时间段的所述真实积极用户行为数据是否异常，剪辑单元可被配置为在确定所述下一时间段的所述真实积极用户行为数据异常的情况下，将所述下一时间段的视频内容剪辑到目标视频内容。
[0024]
可选地，所述积极用户行为预测模型是根据本公开实施例的第一方面中任意一项训练方法训练得到的。
[0025]
可选地，所述积极用户行为数据包括以下项中的至少一项：弹幕量、人气值、礼物数量、关注量、点赞量和弹幕关键字的出现次数。
[0026]
可选地，所述判断单元可被配置为：基于所述下一时间段的所述预测积极用户行为数据以及所述下一时间段的真实积极用户行为数据确定异常得分；在所述异常得分高于预设阈值时，确定所述下一时间段的所述真实积极用户行为数据异常。
[0027]
可选地，所述判断单元还可被配置为：基于所述下一时间段的所述真实积极用户行为数据高出所述下一时间段的所述预测积极用户行为数据的程度，确定异常得分，其中，所述程度越大，异常得分越高。
[0028]
可选地，剪辑到目标视频内容中的视频有n段，n为大于等于1的自然数；所述剪辑单元可被配置为：当所述下一时间段的视频内容的时间段与目标视频内容中除所述下一时间段的视频内容外的其他段视频内容的时间段出现交集时，将时间段出现交集的视频内容合并。
[0029]
可选地，所述目标视频剪辑装置还包括展示单元，所述展示单元可被配置为：在得到所述目标视频内容之后，将所述目标视频内容作为所述原始视频的预览视频或节选视频进行展示。
[0030]
根据本公开实施例的第五方面，提供一种电子设备，包括：至少一个处理器；至少
一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的积极用户行为预测模型的训练方法或目标视频剪辑方法。
[0031]
根据本公开实施例的第六方面，提供一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的积极用户行为预测模型的训练方法或目标视频剪辑方法。
[0032]
根据本公开实施例的第七方面，提供一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被至少一个处理器执行时实现根据本公开的积极用户行为预测模型的训练方法或目标视频剪辑方法。
[0033]
本公开的实施例提供的技术方案至少带来以下有益效果：
[0034]
根据本公开的积极用户行为预测模型的训练方法及装置和目标视频剪辑方法及装置，根据原始视频(例如，直播视频等)中的积极用户行为数据(例如，弹幕量、人气值、礼物数量、关注量、点赞量和弹幕关键字的出现次数等)来预测原始视频中的精彩片段，进而将原始视频中的预测的精彩片段自动剪辑出来，无需人工筛选和剪辑，剪辑效率偏高，且后续投入成本也较低。
[0035]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0036]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
[0037]
图1是示出根据本公开的示例性实施例的积极用户行为预测模型的训练方法的流程图。
[0038]
图2是示出根据本公开的示例性实施例的目标视频剪辑方法的流程图。
[0039]
图3是示出根据本公开的另一示例性实施例的目标视频剪辑方法的流程图。
[0040]
图4是示出根据本公开的示例性实施例的积极用户行为预测模型的训练装置的框图。
[0041]
图5是示出根据本公开的示例性实施例的目标视频剪辑装置的框图。
[0042]
图6是根据本公开的示例性实施例的电子设备600的框图。
具体实施方式
[0043]
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
[0044]
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0045]
在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括a和b之中的至少一个”即包括如下三种并列的情况：(1)包括a；(2)包括b；(3)包括a和b。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。
[0046]
在一段视频中往往存在精彩的部分以及平淡的部分，对于观众而言，由于时间的限制，经常希望只观看视频中精彩的部分而忽略平淡的部分；对于视频制作方而言，经常希望将视频中的精彩部分剪辑出来上传至各视频平台，以维持并吸引更多观众的关注。例如，将一场直播中的数段长达数分钟的精彩片段剪辑出来上传至各视频平台，可以让未观看本场直播的粉丝用户了解到其关注的主播的最新热点动态，同时可以吸引非粉丝用户关注本场直播以及本场直播的主播。
[0047]
一种剪辑直播视频中精彩片段的方案是手动筛选直播视频中的精彩片段并剪辑下来，但此方案需要有专人观看全场直播，挑选精彩片段。大主播往往有自己的团队或观众自发进行工作，但是中小主播往往没有团队也没有观众，靠自己过于费时费力。因此，人工筛选并剪辑精彩片段的方法的剪辑效率偏低，并且投入成本也偏高。有鉴于此，本公开提出一种积极用户行为预测模型的训练方法及装置和目标视频剪辑方法及装置，具体地说，根据原始视频(例如，直播视频等)中的积极用户行为数据(例如，弹幕量、人气值、礼物数量、关注量、点赞量和弹幕关键字的出现次数等)来预测原始视频中的精彩片段，进而将原始视频中的预测的精彩片段自动剪辑出来，无需人工筛选和剪辑，剪辑效率偏高，且后续投入成本也较低。下面，将参照图1至图5具体描述根据本公开的示例性实施例的积极用户行为预测模型的训练方法及装置和目标视频剪辑方法及装置。
[0048]
图1是示出根据本公开的示例性实施例的积极用户行为预测模型的训练方法的流程图。首先需要说明的是，本公开的积极用户行为预测模型是多变量时间序列异常检测模型，例如，但不限于，可以是lstm模型(long short-term memory，长短期记忆神经网络模型)及其变体gru模型(gated recurrent unit，门控循环单元)等，本公开对此不做限制。
[0049]
参照图1，在步骤101，获取训练数据集，其中，训练数据集包括多个视频片段，每个视频片段被划分为多个时间段，每个时间段具有统计出的在该时间段发生的真实积极用户行为数据。
[0050]
根据本公开的示例性实施例，视频片段可以是直播结束生成的回放视频、电视剧剧集、番剧剧集或者电影影像等，本公开对此不作限制。每个视频片段都是由有限个时刻构成，在每个时刻都对应有真实积极用户行为数据，可以通过积极用户行为预测模型来定位真实积极用户行为数据的波动区间，从而筛选出视频片段中的高于正常分布达预定阈值以上的真实积极用户行为数据的时间段。
[0051]
根据本公开的示例性实施例，真实积极用户行为数据例如，但不限于，可以是弹幕量、人气值、礼物数量、关注量、点赞量和弹幕关键字的出现次数中的至少一项。具体来讲，观众在观看视频的过程中，可以通过发送弹幕、赠送礼物、关注以及点赞等行为表达对视频内容的喜恶以及评价，当视频内容中出现精彩片段时，通常弹幕量、人气值、礼物数量、关注量以及点赞量等会大幅增加，因此可以通过视频片段中不同时间段内的真实积极用户行为数据变化量来定位视频中的精彩片段。而作为一种辅助的手段，还可以统计不同时间段内
的弹幕关键字出现的次数来进一步确定视频的精彩程度，例如，在一种可能只能发弹幕的视频类型中，当某时间段弹幕量剧增时，为了确定弹幕内容是与精彩内容相关，还可以设置统计弹幕关键字出现的次数，例如，但不限于，“666”、“牛”、“秀”等，则可以认为该时间段弹幕量的激增是由正向的精彩视频内容引发。
[0052]
根据本公开的示例性实施例，可以将每个视频片段按照一定的规则划分为多个时间段，例如可以根据设置的滑动窗口的大小或者根据最大时间戳长度来确定每个时间段的长度，本公开对此不做限制。在每个时间段都具有预先统计出的在该时间段发生的真实积极用户行为数据，例如，在t δt的时间段内，统计出的弹幕量、礼物数和人气值分别为a、b和c。
[0053]
在步骤102，将第一时间段的真实积极用户行为数据输入积极用户行为预测模型，得到第二时间段的预测积极用户行为数据，其中，第二时间段是第一时间段的下一时间段。
[0054]
根据本公开的示例性实施例，可以从多个视频片段中随机选取一个视频片段，然后从随机选取的视频片段中确定第一时间段，例如，但不限于，可以从选取的视频片段中按照滑动窗口的大小随机确定第一时间段，或者从视频片段的起始时刻开始按照滑动窗口的大小确定第一时间段，本公开对此不作限制。
[0055]
根据本公开的示例性实施例，输入积极用户行为预测模型的是第一时间段的真实积极用户行为数据组成的特征向量。例如，在一场直播视频中，特征向量可以是弹幕量、礼物数量和人气值组成的三维向量，而在一集电视剧剧集中，特征向量可以是弹幕量和人气值组成的二维数据向量，需要明确的是，可以根据实际视频片段中的真实积极用户行为数据来决定特征向量的维度，而不应对特征向量的维度作限制。在将特征向量输入积极用户行为预测模型以后，可以先进行数据归一化和数据清洗，以方便后续积极用户行为预测模型的训练和去除训练数据中的异常点。在一些实施例中，数据归一化例如可以是最大-最小归一化方法、数据清洗例如可以是谱残差的方法等，本公开对此不做限制。在进行数据化归一和数据清洗以后，可以再进行1-dconvolution(一维卷积)，获取第一时间段的真实积极用户行为数据的高维特征以尽量降低特征向量的随机噪声，从而降低积极用户行为预测模型的过拟合程度。之后，还可加入图注意力网络(graph attention)来学习多个时间段的特征向量的时序和特征依赖关系，以获得更贴近实际情况的模型输出。
[0056]
根据本公开的示例性实施例，可将第一时间段的真实积极用户行为数据作为第一输入值，并将第一时间段的前一时间段对应的预测积极用户行为数据作为第二输入值；将第一输入值以及第二输入值输入积极用户行为预测模型，可以得到第二时间段的预测积极用户行为数据。以此类推，可以将第二时间段的下一时间段的真实积极用户行为数据以及第二时间段的预测积极用户行为数据，得到第二时间段的下一时间段的预测积极用户行为数据，直到选择的视频片段的数据全部被输入积极用户行为预测模型。
[0057]
在步骤103，根据第二时间段的预测积极用户行为数据以及第二时间段的真实积极用户行为数据，计算损失函数的值。
[0058]
根据本公开的示例性实施例，损失函数的值例如，但不限于，可被表示为：
[0059]
[0060]
其中，loss表示损失函数的值；m表示每个视频片段的多个时间段的数量；yi表示第二时间段的真实积极用户行为数据；表示第二时间段的预测积极用户行为数据。
[0061]
在步骤104，通过根据损失函数的值调整积极用户行为预测模型的模型参数，对积极用户行为预测模型进行训练。
[0062]
根据本公开的示例性实施例，积极用户行为预测模型的输出值与真实值之间的偏离程度可以通过损失函数衡量，因此可以通过损失函数的值来反向调整积极用户行为模型的模型参数，使损失函数的值愈来愈趋近于理想的参考值，从而训练出积极用户行为预测模型。在这里，每个视频片段上划分的每个时间段都可通过积极用户行为预测模型得到其下一个时间段的预测积极用户行为数据，因此在一个视频片段中，可根据多个时间段的预测积极用户行为数据和真实积极用户行为数据得到的损失函数的值来调整积极用户行为预测模型的模型参数。通过将训练数据集中的每个视频片段都输入积极用户行为预测模型，积极用户行为预测模型的模型参数将多次迭代，最终训练出预期的积极用户行为预测模型。
[0063]
另外，需要说明的是，在本模型的训练过程中，采用的多段视频可以是同一种类型的多段视频，例如，都是直播后产生的回放视频，或者都是电影影像等。这是因为视频的类型不同，积极用户行为数据的整体量级以及种类等也不相同，如果交叉训练，可能需要耗费的时间和精力更多。
[0064]
图2是示出根据本公开的示例性实施例的目标视频剪辑方法的流程图。
[0065]
参考图2，在步骤2100，获取待剪辑的原始视频，其中，原始视频被划分为多个时间段，每个时间段具有统计出的在该时间段发生的真实积极用户行为数据。
[0066]
根据本公开的示例性实施例，原始视频可以是直播结束生成的回放视频、电视剧剧集、番剧剧集或者电影影像等，本公开对此不作限制。真实积极用户行为数据例如，但不限于，可以是弹幕量、人气值、礼物数量、关注量、点赞量和弹幕关键字的出现次数中的至少一项。具体来讲，观众在观看视频的过程中，可以通过发送弹幕、赠送礼物、关注以及点赞等行为表达对视频内容的喜恶以及评价，当视频内容中出现精彩片段时，通常弹幕量、人气值、礼物数量、关注量以及点赞量等会大幅增加，因此可以通过原始视频中不同时间段内的真实积极用户行为数据变化量来定位原始视频中的精彩片段。而作为一种辅助的手段，还可以统计不同时间段内的弹幕关键字出现的次数来进一步确定原始视频的精彩程度，例如，在一种可能只能发弹幕的视频类型中，当某时间段弹幕量剧增时，为了确定弹幕内容是与精彩的视频内容相关，还可以设置统计弹幕关键字出现的次数，例如，但不限于，“666”、“牛”、“秀”等，则可以认为该时间段弹幕量的激增是由正向的精彩视频内容引发。
[0067]
根据本公开的示例性实施例，可以将每个原始视频按照一定的规则划分为多个时间段，例如可以根据设置的滑动窗口的大小或者根据最大时间戳长度来确定每个时间段的长度，本公开对此不做限制。在每个时间段都具有预先统计出的在该时间段发生的真实积极用户行为数据，例如，在t δt的时间段内，统计出的弹幕量、礼物数和人气值分别为a、b和c。
[0068]
在步骤2200，针对多个时间段中除最后时间段之外的每个时间段，执行步骤2210～2230。
[0069]
在步骤2210中，将当前时间段的真实积极用户行为数据输入到积极用户行为预测
模型，得到在当前时间段之后的下一时间段的预测积极用户行为数据。
[0070]
根据本公开的示例性实施例，积极用户行为预测模型可以是常见的多变量异常检测模型，例如，但不限于，lstm模型(long short-term memory，长短期记忆神经网络模型)及其变体gru模型(gated recurrent unit，门控循环单元)等，该积极用户行为预测模型可以通过根据本公开前述提供的训练方法得到。在一些实施例中，还可以通过professor forcing的训练方法来得到该积极用户行为预测模型，本公开对此不做限制。
[0071]
在步骤2220中，基于下一时间段的预测积极用户行为数据以及该下一时间段的真实积极用户行为数据，判断该下一时间段的真实积极用户行为数据是否异常。
[0072]
根据本公开的示例性实施例，可在基于该下一时间段的预测积极用户行为数据以及该下一时间段的真实积极用户行为数据确定异常得分，在异常得分高于预定阈值时，确定该下一时间段的真实积极用户行为数据异常，并输出该下一时间段的时间戳(即，起始时间和结束时间)。具体来讲，可以基于该下一时间段的真实积极用户行为数据高出该下一时间段的预测积极用户行为数据的程度，确定异常得分，其中，程度越大，异常得分越高。在一些实施例中，预定阈值可以是根据经验手动设定，或者可以使用pot(peak over treshold)方法自动判断，本公开对此不做限制。
[0073]
在步骤2230中，在确定下一时间段的真实积极用户行为数据异常的情况下，将下一时间段的视频内容剪辑到目标视频内容。
[0074]
根据本公开的示例性实施例，剪辑到目标视频内容中的视频内容有n段，n为大于等于1的自然数。当该下一时间段的视频内容的时间段与目标视频内容中除该下一时间段的视频内容外的其他段视频内容的时间段出现交集时，可以将时间段出现交集的视频内容合并。例如，获得多个异常时间段之后，可能会有重叠的如:1-5秒、2-6秒，则可以将这两个合并成1-6秒，并以此类推，得到最终的目标视频内容。在这里，目标视频内容即为原始视频中的精彩片段的集合。
[0075]
根据本公开的示例性实施例，在得到目标视频内容后，可将该目标视频内容作为原始视频的预览视频或节选视频进行展示。例如，图3是示出根据本公开的另一示例性实施例的目标视频剪辑方法的流程图。参照图3，图3的步骤3100～3200(3200包括3210～3230)与图2的步骤2100～2200(2200包括2210～2230)相同，为了说明书的简洁，在此不再赘述。在执行完步骤3200得到目标视频内容之后，可继续执行步骤3300，将该目标视频内容作为原始视频的预览视频或节选视频进行展示。在一些实施例中，可将该目标视频作为原始视频的预览视频(例如，可以是整段目标视频或者是整段目标视频中的部分片段)推送到客户端，以吸引更多观众访问该原始视频的创作者的主页，达到引流的目的；或者，也可将该目标视频内容作为原始视频的节选视频推送到客户端，因此，对于部分观众来说，如果时间不够充裕，可以直接观看该节选视频。图4是示出根据本公开的示例性实施例的积极用户行为模型的训练装置的框图。
[0076]
参考图4，积极用户行为预测模型的训练装置400包括获取单元401、预测单元402、计算单元403以及调参单元404。
[0077]
获取单元401可获取训练数据集，其中，所述训练数据集包括多个视频片段，每个视频片段被划分为多个时间段，每个时间段具有统计出的在该时间段发生的真实积极用户行为数据。
[0078]
根据本公开的示例性实施例，真实积极用户行为数据例如，但不限于，可以是弹幕量、人气值、礼物数量、关注量、点赞量和弹幕关键字的出现次数中的至少一项。具体来讲，观众在观看视频的过程中，可以通过发送弹幕、赠送礼物、关注以及点赞等行为表达对视频内容的喜恶以及评价，当视频内容中出现精彩片段时，通常弹幕量、人气值、礼物数量、关注量以及点赞量等会大幅增加，因此可以通过视频片段中不同时间段内的真实积极用户行为数据变化量来定位视频中的精彩片段。而作为一种辅助的手段，还可以统计不同时间段内的弹幕关键字出现的次数来进一步确定视频的精彩程度，例如，在一种可能只能发弹幕的视频类型中，当某时间段弹幕量剧增时，为了确定弹幕内容是与精彩内容相关，还可以设置统计弹幕关键字出现的次数，例如，但不限于，“666”、“牛”、“秀”等，则可以认为该时间段弹幕量的激增是由正向的精彩视频内容引发。
[0079]
预测单元402可将第一时间段的真实积极用户行为数据输入积极用户行为预测模型，得到第二时间段的预测积极用户行为数据，其中，第二时间段是第一时间段的下一时间段。
[0080]
根据本公开的示例性实施例，预测单元402可从多个视频片段中随机选取一个视频片段；从随机选取的视频片段中确定第一时间段，将第一时间段的真实积极用户行为数据作为第一输入值，并将该第一时间段的前一时间段对应的预测积极用户行为数据作为第二输入值；将第一输入值以及第二输入值输入积极用户行为预测模型，得到第二时间段的预测积极用户行为数据。
[0081]
计算单元403可根据第二时间段的预测积极用户行为数据以及第二时间段的真实积极用户行为数据，计算损失函数的值。
[0082]
根据本公开的示例性实施例，损失函数的值可根据公式(1)得到。
[0083]
调参单元404可通过根据损失函数的值调整积极用户行为预测模型的模型参数，对积极用户行为预测模型进行训练。
[0084]
图5示出根据本公开的示例性实施例的目标视频剪辑装置的框图。
[0085]
参考图5，目标视频剪辑装置500包括获取单元501、预测单元502、判断单元503以及剪辑单元504。
[0086]
获取单元501可获取待剪辑的原始视频，其中，所述原始视频被划分为多个时间段，每个时间段具有统计出的在该时间段发生的真实积极用户行为数据。
[0087]
根据本公开的示例性实施例，积极用户行为数据包括，但不限于，以下项中的至少一项：弹幕量、人气值、礼物数量、关注量、点赞量和弹幕关键字的出现次数。
[0088]
针对多个时间段中除最后时间段之外的每个时间段，预测单元502可将当前时间段的真实积极用户行为数据输入到积极用户行为预测模型，得到在该当前时间段之后的下一时间段的预测积极用户行为数据。
[0089]
根据本公开的示例性实施例，积极用户行为预测模型可以是常见的多变量异常检测模型，例如，但不限于，lstm模型(long short-term memory，长短期记忆神经网络模型)及其变体gru模型(gated recurrent unit，门控循环单元)等，而积极用户行为预测模型可以是根据本公开实施例的训练方法训练得到的。
[0090]
判断单元503可基于该下一时间段的预测积极用户行为数据以及该下一时间段的真实积极用户行为数据，判断该下一时间段的真实积极用户行为数据是否异常。
[0091]
根据本公开的示例性实施例，判断单元503可基于该下一时间段的预测积极用户行为数据以及该下一时间段的真实积极用户行为数据确定异常得分，并在所述异常得分高于预设阈值时，确定该下一时间段的真实积极用户行为数据异常。具体来讲，可以基于该下一时间段的真实积极用户行为数据高出该下一时间段的预测积极用户行为数据的程度，确定异常得分，其中，程度越大，异常得分越高。
[0092]
剪辑单元504可在确定该下一时间段的真实积极用户行为数据异常的情况下，将该下一时间段的视频内容剪辑到目标视频内容。
[0093]
根据本公开的示例性实施例，剪辑到目标视频内容中的视频有n段，n为大于等于1的自然数；剪辑单元504还在当该下一时间段的视频内容的时间段与目标视频内容中除该下一时间段的视频内容外的其他段视频内容的时间段出现交集时，将时间段出现交集的视频内容合并。
[0094]
根据本公开的示例性实施例，目标视频剪辑装置500还可包括展示单元505(图5中未示出)，展示单元505可在得到目标视频内容后，将该目标视频内容作为原始视频的预览视频或节选视频进行展示。在一些实施例中，可将该目标视频作为原始视频的预览视频(例如，可以是整段目标视频或者是整段目标视频中的部分片段)推送到客户端，以吸引更多观众访问该原始视频的创作者的主页，达到引流的目的；或者，也可将该目标视频内容作为原始视频的节选视频推送到客户端，因此，对于部分观众来说，如果时间不够充裕，可以直接观看该节选视频。图6是示出根据本公开的示例性实施例的电子设备600的框图。
[0095]
参照图6，电子设备600包括至少一个存储器601和至少一个处理器602，所述至少一个存储器601中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器602执行时，执行根据本公开的示例性实施例的积极用户行为模型的训练方法或目标视频剪辑方法。
[0096]
作为示例，电子设备600可以是pc计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备600并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备600还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。
[0097]
在电子设备600中，处理器602可包括中央处理器(cpu)、图形处理器(gpu)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
[0098]
处理器602可运行存储在存储器601中的指令或代码，其中，存储器601还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。
[0099]
存储器601可与处理器602集成为一体，例如，将ram或闪存布置在集成电路微处理器等之内。此外，存储器601可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器601和处理器602可在操作上进行耦合，或者可例如通过i/o端口、网络连接等互相通信，使得处理器602能够读取存储在存储器中的文件。
[0100]
此外，电子设备600还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备600的所有组件可经由总线和/或网络而彼此连
接。
[0101]
根据本公开的示例性实施例，还可提供一种存储指令的计算机可读存储介质，其中，当指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开的积极用户行为模型的训练方法或目标视频剪辑方法。这里的计算机可读存储介质的示例包括：只读存储器(rom)、随机存取可编程只读存储器(prom)、电可擦除可编程只读存储器(eeprom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、非易失性存储器、cd-rom、cd-r、cd r、cd-rw、cd rw、dvd-rom、dvd-r、dvd r、dvd-rw、dvd rw、dvd-ram、bd-rom、bd-r、bd-r lth、bd-re、蓝光或光盘存储器、硬盘驱动器(hdd)、固态硬盘(ssd)、卡式存储器(诸如，多媒体卡、安全数字(sd)卡或极速数字(xd)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
[0102]
根据本公开的示例性实施例，还可提供一种计算机程序产品，该计算机程序产品中的指令可由计算机设备的处理器执行以完成根据本公开的示例性实施例的积极用户行为模型的训练方法或目标视频剪辑方法。
[0103]
根据本公开的积极用户行为预测模型的训练方法及装置和目标视频剪辑方法及装置，根据原始视频(例如，直播视频等)中的积极用户行为数据(例如，弹幕量、人气值、礼物数量、关注量、点赞量和弹幕关键字的出现次数等)来预测原始视频中的精彩片段，进而将原始视频中的预测的精彩片段自动剪辑出来，无需人工筛选和剪辑，剪辑效率偏高，且后续投入成本也较低。
[0104]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0105]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。