一种直播盗播检测方法、装置、设备及存储介质与流程

摘要: 本发明涉及盗播检测,特别涉及一种直播盗播检测方法、装置、设备及存储介质。背景技术:1、在直播内容生态中,影视剧、体育赛事、演唱会等高价值版权内容被直播间实时盗播...
一种直播盗播检测方法、装置、设备及存储介质与流程

本发明涉及盗播检测,特别涉及一种直播盗播检测方法、装置、设备及存储介质。

背景技术:

1、在直播内容生态中,影视剧、体育赛事、演唱会等高价值版权内容被直播间实时盗播的情况日益突出:主播或以摄像设备对着播放屏幕进行摄屏转播,或直接截取版权信号源推流至直播平台。此类侵权行为具有强实时性——侵权损害在直播进行过程中即时发生、随观看人数持续累积,且直播结束后流内容即消失,事后难以固定证据。

2、现有视频同源检测领域中,待测视频完整上传并转码落盘后进入检测任务队列,调度器按队列顺序取出任务并对全片执行抽帧与指纹提取,将全片指纹序列与母本指纹库进行全库比对,比对完成后输出同源判定结论。母本库采用单层平铺索引组织,所有母本指纹处于同一检索平面,每次查询均在全库范围内执行。然而,该方案的处理对象被假设为完整静态文件,检测流程须等待视频完结后才能启动,端到端时延由视频时长、队列深度和全片比对耗时叠加构成,对于持续两小时以上的赛事盗播直播,检测结论产出时直播往往已经结束,无法支撑直播进行期间的实时处置;此外,单层平铺索引导致单次查询代价恒定为全库规模,无法利用“正在热播的剧集和正在进行的赛事被盗播概率远高于历史冷门内容”这一分布先验,在母本库规模持续增长时查询时延不断恶化;同时,该方案不保存任何中间比对状态,每个窗口均需重复执行全库检索与全序列对齐,计算开销随窗口数线性重复,且判定稳定性不足。

3、综上所述,如何在直播进行过程中实现低延迟的盗播检测与证据固定是目前亟待解决的技术问题。

技术实现思路

1、有鉴于此,本发明的目的在于提供一种直播盗播检测方法、装置、设备及存储介质,能够在直播进行过程中实现低延迟的盗播检测与证据固定。其具体方案如下:

2、第一方面,本技术提供了一种直播盗播检测方法,包括:

3、基于预设滑动窗口对待测直播流进行连续切片,并提取各窗口内切片数据对应的待测音视频联合特征;

4、在预先构建的直播母本库的各数据层中,按照各数据层的检索优先级检索与所述待测音视频联合特征相匹配的目标音视频联合特征,并将所述目标音视频联合特征对应的直播母本确定为候选母本;所述数据层的检索优先级与所述数据层中存储的音视频联合特征对应的直播母本的盗播概率成正比,所述直播母本为预设官方直播数据;

5、创建所述待测直播流与所述候选母本对应的状态机,并基于所述待测直播流的各所述切片数据与所述候选母本的匹配状态更新所述状态机;所述状态机包括试探状态、跟踪状态、确认状态和丢失状态;

6、若连续预设数量的所述切片数据均与所述候选母本匹配,且与各所述切片数据匹配的候选母本片段的时间戳在预设容差范围内单调递增,则更新所述状态机为确认状态,并生成所述待测直播流对应的盗播证据包和盗播告警信息。

7、可选的,所述提取各窗口内切片数据对应的待测音视频联合特征,包括:

8、针对任一所述切片数据,从所述切片数据中确定块状伪影超过预设阈值的第一视频帧、满足预设卡顿条件的第二视频帧,并将所述第一视频帧和所述第二视频帧从所述切片数据中剔除,得到剔除后的切片数据;

9、对各所述剔除后的切片数据执行摄屏畸变检测;所述摄屏畸变检测包括通过频域周期纹理识别摩尔纹,以及通过边缘直线检测识别屏幕边框及梯形透视畸变;

10、若检测到摄屏畸变,则将所述剔除后的切片数据校正为正视图,并提取校正后的切片数据对应的所述待测音视频联合特征;

11、若未检测到摄屏畸变,则直接提取所述剔除后的切片数据对应的所述待测音视频联合特征。

12、可选的,所述数据层包括第一数据层、第二数据层及第三数据层,所述第一数据层的检索优先级高于所述第二数据层,所述第二数据层的检索优先级高于所述第三数据层;

13、相应的,所述直播盗播检测方法,还包括:

14、根据所述直播母本的播出排期数据、平台热度数据和历史盗播命中数据,计算所述直播母本的热度评分,并基于所述热度评分确定所述直播母本的所述盗播概率;

15、基于所述盗播概率确定所述直播母本对应的目标数据层,将所述直播母本对应的音视频联合特征存储至对应的所述目标数据层中;

16、在所述直播母本开播前的预设时长内,将所述直播母本的音视频联合特征迁移至所述第一数据层;

17、获取实时直播母本,并对所述实时直播母本进行切片得到母本切片;

18、生成所述母本切片对应的音视频联合特征,并记录所述母本切片的时间戳,将所述母本切片的所述音视频联合特征和所述时间戳,增量存储至所述第一数据层。

19、可选的,所述在预先构建的直播母本库的各数据层中,按照各数据层的检索优先级检索与所述待测音视频联合特征相匹配的目标音视频联合特征,包括:

20、在所述第一数据层中检索与所述待测音视频联合特征相匹配的所述目标音视频联合特征;

21、若在所述第一数据层中未检索到所述目标音视频联合特征,则在所述第二数据层中检索所述目标音视频联合特征;

22、若在所述第一数据层和所述第二数据层均未检索到所述目标音视频联合特征,则以预设抽样频率在所述第三数据层中检索所述目标音视频联合特征。

23、可选的,所述基于所述待测直播流的各所述切片数据与所述候选母本的匹配状态更新所述状态机,包括:

24、初始化所述状态机为试探状态,若连续第一预设数量的所述切片数据均与同一所述候选母本匹配,则将所述状态机更新为跟踪状态;

25、当所述状态机为跟踪状态时,若连续第二预设数量的所述切片数据均与同一所述候选母本匹配,且与各所述切片数据匹配的候选母本片段的时间戳在所述预设容差范围内单调递增、相邻切片数据匹配的候选母本片段的时间戳之差与实际时间差的误差在预设范围内,则将所述状态机更新为确认状态;

26、当所述状态机为确认状态时,若连续第三预设数量的所述切片数据与所述候选母本不匹配,则将所述状态机更新为丢失状态。

27、可选的,所述直播盗播检测方法,还包括:

28、确定所述候选母本中与所述切片数据匹配的候选母本片段的尾部位置;

29、针对待检测的当前切片数据,基于所述尾部位置对应的时间戳与预设滑动窗口的步长之和确定所述候选母本中的预测位置,以所述预测位置为中心、以预设邻域半径确定搜索区间;

30、当所述状态机未处于丢失状态时,在所述搜索区间内检索与当前切片数据匹配的目标候选母本片段,并基于所述目标候选母本片段更新尾部位置;

31、当所述状态机处于丢失状态时,将所述预设邻域半径扩大为预设倍数得到扩大后的搜索区间,若在所述扩大后的搜索区间内检索到与当前切片数据相匹配的目标候选母本片段,则将所述状态机重新更新为确认状态,并基于所述目标候选母本片段更新尾部位置。

32、可选的,所述生成所述待测直播流对应的盗播证据包,包括:

33、在所述状态机更新为确认状态之后,提取所述待测直播流中已检测的切片数据,并从所述已检测的切片数据中确定盗播起始时刻;

34、根据位于所述盗播起始时刻之后的各切片数据生成所述盗播证据包;

35、相应的,所述生成所述盗播证据包过程中,还包括:

36、确定所述盗播起始时刻对应的首个切片数据,并计算所述首个切片数据的哈希值作为当前证据链值;

37、将下一切片数据确定为当前切片数据,并基于当前证据链值和当前切片数据的哈希值确定当前切片数据对应的新的当前证据链值,跳转至所述将下一切片数据确定为当前切片数据的步骤,直至当前切片数据的时间戳为所述状态机更新为确认状态时对应的时间戳,将各所述切片数据对应的当前证据链值按时间顺序存入所述盗播证据包。

38、第二方面,本技术提供了一种直播盗播检测装置,包括:

39、特征提取模块,用于基于预设滑动窗口对待测直播流进行连续切片,并提取各窗口内切片数据对应的待测音视频联合特征;

40、候选母本确定模块,用于在预先构建的直播母本库的各数据层中,按照各数据层的检索优先级检索与所述待测音视频联合特征相匹配的目标音视频联合特征,并将所述目标音视频联合特征对应的直播母本确定为候选母本;所述数据层的检索优先级与所述数据层中存储的音视频联合特征对应的直播母本的盗播概率成正比,所述直播母本为预设官方直播数据;

41、状态机更新模块,用于创建所述待测直播流与所述候选母本对应的状态机,并基于所述待测直播流的各所述切片数据与所述候选母本的匹配状态更新所述状态机;所述状态机包括试探状态、跟踪状态、确认状态和丢失状态;

42、告警信息生成模块,用于若连续预设数量的所述切片数据均与所述候选母本匹配,且与各所述切片数据匹配的候选母本片段的时间戳在预设容差范围内单调递增,则更新所述状态机为确认状态,并生成所述待测直播流对应的盗播证据包和盗播告警信息。

43、第三方面,本技术提供了一种电子设备,包括:

44、存储器,用于保存计算机程序;

45、处理器,用于执行所述计算机程序,以实现前述的直播盗播检测方法。

46、第四方面,本技术提供了一种计算机可读存储介质,用于保存计算机程序;其中,所述计算机程序被处理器执行时实现前述的直播盗播检测方法。

47、本技术中,首先基于预设滑动窗口对待测直播流进行连续切片,并提取各窗口内切片数据对应的待测音视频联合特征;之后在预先构建的直播母本库的各数据层中,按照各数据层的检索优先级检索与所述待测音视频联合特征相匹配的目标音视频联合特征,并将所述目标音视频联合特征对应的直播母本确定为候选母本;所述数据层的检索优先级与所述数据层中存储的音视频联合特征对应的直播母本的盗播概率成正比,所述直播母本为预设官方直播数据;接着创建所述待测直播流与所述候选母本对应的状态机,并基于所述待测直播流的各所述切片数据与所述候选母本的匹配状态更新所述状态机;所述状态机包括试探状态、跟踪状态、确认状态和丢失状态;若连续预设数量的所述切片数据均与所述候选母本匹配,且与各所述切片数据匹配的候选母本片段的时间戳在预设容差范围内单调递增,则更新所述状态机为确认状态,并生成所述待测直播流对应的盗播证据包和盗播告警信息。由上可见,本技术中由于采用滑动窗流式切片随直播推进同步检测,避免了等待视频完结后再启动的时延,使得端到端检测延迟被压缩至滑动窗步长与逐级查询时延之和的量级;同时通过按盗播概率组织的分级索引,绝大多数查询在内存驻留的高优先级数据层中即可命中返回,单次查询的期望代价不再取决于全库规模;而状态机在连续多窗口命中且时间戳单调递增时才确认同源,利用盗播行为的时序连续性有效抑制了单窗口巧合相似导致的误报,提升了判定的稳定性和可靠性。这样一来,本技术能够在直播进行过程中实现分钟级延迟的同源检测与证据固定。