一种直播风控方法和装置与流程

1.本发明涉及计算机技术领域，尤其涉及一种直播风控方法和装置。


背景技术：

2.直播作为一种新型的互动社交方式，随着互联网技术的发展，其用户、信息传播速度和商业价值等都呈现爆发式增长趋势。
3.现有技术的直播风险控制通常包括主播风控和观众风控，主播风控通过平台管理员抽检或者直播间观众举报的方式获得风险内容，并对风险内容进行处理；观众风控通过直播间管理员实时审核的方式获得风险内容，并对风险内容进行处理。
4.由于平台管理员抽检、观众举报、管理员实时审核的人工模式需要消耗大量的人力物力，而直播相关数据呈爆发式增长，交互消息峰值甚至高达1000万条/s以上。因此，人工模式进行直播的风险控制效率低下、审核成本过高，并且由于人工与直播数据的量级差别巨大，导致违规内容的漏检率极高，进一步可能导致平台存在下架风险。


技术实现要素：

5.有鉴于此，本发明实施例提供一种直播风控方法和装置，能够实现风险的精准识别及管控，并基于实时数据调整检测及管控措施，提升风险检测及管控能力、降低人工成本，防止违规内容的漏检，保证平台的正常运营。
6.为实现上述目的，根据本发明实施例的一个方面，提供了一种直播风控方法，包括：
7.实时监控直播数据；
8.根据所述直播数据以及所述直播数据的来源所对应的用户数据，确定所述直播数据和/或所述用户数据的风险值；
9.当所述风险值满足预设风险条件时，根据预设的风控策略，对所述直播数据和/或所述用户数据进行风控处理。
10.可选地，所述直播数据包括以下任意一个或多个：第一用户发送的互动消息、向所述第一用户推送的音频流、向所述第一用户推送的视频流以及向所述第一用户推送的与虚拟资源相关的任务。
11.可选地，当所述直播数据包括所述互动消息、所述音频流和/或所述视频流时，所述用户数据包括目标用户画像；所述根据所述直播数据以及所述直播数据的来源所对应的用户数据，确定所述直播数据的风险值，包括：
12.根据所述直播数据和所述目标用户画像，利用风险预测模型，确定所述直播数据对应的风险值。
13.可选地，当所述直播数据包括所述互动消息时，所述用户数据包括产生所述互动消息的第一用户的第一用户画像，所述目标用户画像为所述第一用户的第一用户画像；所述根据所述直播数据和所述目标用户画像，利用风险预测模型，确定所述直播数据对应的
风险值，包括：
14.确定所述互动消息中是否存在敏感词汇，如果是，对所述敏感词汇进行过滤，并将过滤后的互动消息和所述第一用户画像作为第一风险预测模型的输入，并将所述第一风险预测模型的输出作为所述直播数据对应的风险值。
15.可选地，所述预设风险条件包括第一风险阈值；所述当所述风险值满足预设风险条件时，包括：
16.当所述风险值大于所述第一风险阈值时，确定所述风险值满足所述预设风险条件；当所述风险值不大于所述第一风险阈值时，展示所述过滤后的互动消息；
17.所述对所述直播数据进行风控处理，包括：
18.拦截所述互动消息。
19.可选地，当所述直播数据包括所述音频流时，所述用户数据包括产生所述音频流的第二用户的第二用户画像，所述目标用户画像为所述第二用户的第二用户画像；所述根据所述直播数据和所述目标用户画像，利用风险预测模型，确定所述直播数据对应的风险值，包括：
20.将所述音频流转换成文本，将所述文本和所述第二用户画像作为第二风险预测模型的输入，并将所述第二风险预测模型的输出作为所述直播数据对应的风险值。
21.可选地，当所述直播数据包括所述视频流时，所述用户数据包括产生所述视频流的第二用户的第二用户画像，所述目标用户画像为所述第二用户的第二用户画像；所述根据所述直播数据和所述目标用户画像，利用风险预测模型，确定所述直播数据对应的风险值，包括：
22.对所述视频流进行抽帧，得到所述视频流对应的多张直播图像；
23.将所述直播图像和所述第二用户画像作为第三风险预测模型的输入，并将所述第三风险预测模型的输出作为所述直播数据对应的风险值。
24.可选地，当所述直播数据还包括所述互动消息时，所述对所述视频流进行抽帧，包括：
25.根据所述互动消息的频次以及预设的抽帧频次，确定目标抽帧频次，并根据所述目标抽帧频次对所述视频流进行抽帧。
26.可选地，所述确定目标抽帧频次，包括：
27.获取第一用户针对所述视频流的负面反馈数据；
28.根据所述负面反馈数据的频次、所述互动消息的频次以及预设的抽帧频次，确定所述目标抽帧频次，所述目标抽帧频次与所述负面反馈数据的频次正相关。
29.可选地，当所述直播数据包括所述与虚拟资源相关的任务时，所述用户数据包括所述第一用户的第一用户画像；所述根据所述直播数据以及所述直播数据的来源所对应的用户数据，确定所述用户数据的风险值，包括：
30.获取所述第一用户针对所述任务的实时行为数据；
31.根据所述实时行为数据和所述第一用户画像，确定所述第一用户对应的风险值。
32.可选地，所述风控策略包括：多种风险等级与多种风控措施的对应关系，所述风控措施包括以下任意一种或多种：中断所述直播数据、降低所述用户数据指示的账号等级、拦截所述互动消息、将所述用户数据指示的账号加入黑名单、注销所述用户数据指示的账号、
拒绝执行所述任务的请求、拦截针对所述任务的行为数据。
33.可选地，所述根据预设的风控策略，对所述直播数据和/或所述用户数据进行风控处理，包括：
34.确定所述风险值对应的目标风险等级；
35.执行所述目标风险等级、以及低于所述目标风险等级的其他风险等级所对应的风控措施，以实现所述风控处理。
36.根据本发明实施例的再一个方面，提供了一种直播风控装置，包括：
37.监控模块，用于实时监控直播数据；
38.风险计算模块，用于根据所述直播数据以及所述直播数据的来源所对应的用户数据，确定所述直播数据和/或所述用户数据的风险值；
39.风险处理模块，用于当所述风险值满足预设风险条件时，根据预设的风控策略，对所述直播数据和/或所述用户数据进行风控处理。
40.根据本发明实施例的另一个方面，提供了一种直播风控电子设备，包括：
41.一个或多个处理器；
42.存储装置，用于存储一个或多个程序，
43.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明提供的直播风控方法。
44.根据本发明实施例的还一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明提供的直播风控方法。
45.上述发明中的一个实施例具有如下优点或有益效果：因为采用基于规则与模型的自动直播风控系统，对于音频、视频、弹幕消息、营销活动等分别采取不同的风控措施，包括：将音频转换的本文、视频转换的图像、弹幕消息，通过基于神经网路算法的风险预测模型，结合用户画像确定音频、视频的风险值并进行账号和内容风控处理；设置账号、流量异常过滤的规则，确定用户风险值并进行账号风控处理的技术手段，所以克服了人工审核模式效率低下、审核成本过高，违规内容的漏检率极高，可能导致平台存在下架风险的技术问题，进而达到能够实现风险的精准识别及管控，并基于实时数据调整检测及管控措施，提升风险检测及管控能力、降低人工成本，防止违规内容的漏检，保证平台的正常运营的技术效果。
46.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
47.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
48.图1是适于应用于本发明实施例的直播风控方法或直播风控装置的示例性系统架构图；
49.图2是根据本发明实施例的直播风控方法的主要流程的示意图；
50.图3是根据本发明实施例的直播风控方法的详细流程的示意图；
51.图4是根据本发明实施例的直播风控装置的主要模块的示意图；
52.图5是根据本发明实施例的直播风控系统的示意图；
53.图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
54.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
55.神经网络算法：artificial neural networks，ann，即人工神经网络，是由众多神经元可调的连接权值连接而成，基于ann算法建立的模型具有大规模并行处理、分布式信息存储、良好的自组织自学习能力等特点。
56.bp算法：back propagation算法，即误差反向传播算法，是人工神经网络中一种监督式的学习算法，在理论上可以逼近任意函数，基本的结构由非线性变化单元组成，具有很强的非线性映射能力；而且网络的中间层数、各层的处理单元数及网络的学习系数等参数可根据具体情况设定，灵活性极大，在优化、信号处理与模式识别、智能控制、故障诊断等许多领域都有着广泛的应用前景。
57.图1示出了适于应用于本发明实施例的直播风控方法或直播风控装置的示例性系统架构图，如图1所示，本发明实施例的直播风控方法或直播风控装置的示例性系统架构包括：
58.如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
59.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如直播类应用、购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
60.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
61.服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的直播类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的弹幕消息请求等数据进行分析等处理，并将处理结果(例如允许或拒绝发送弹幕消息)反馈给终端设备101、102、103。
62.需要说明的是，本发明实施例所提供的直播风控方法一般由服务器105执行，相应地，直播风控装置一般设置于服务器105中。
63.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
64.图2是根据本发明实施例的直播风控方法的主要流程的示意图，如图2所示，本发明的直播风控方法包括：
65.步骤s201，实时监控直播数据。
66.直播的模式多种多样，比如直播带货、游戏直播、直播抽奖、直播发布会等，涉及面
广泛，故而直播的推广普及可以为平台带来巨大的经济潜力。但是，直播的快速发展也为平台带来了一定的运营风险，尤其是观众数较大的直播流，违规信息的传播速度也比传统的信息传播方式更快，产生的危害与风险也较大。本发明为了能够精准识别风险并进行管控，通过实时监控的方式，及时确定直播数据和/或用户数据的风险值并进行风控处理，可以防止违规内容的漏检，保证平台的正常运营。直播的用户可以包括第一用户和第二用户，例如，第一用户为观众，第二用户为主播。直播的数据包括直播数据和用户数据，直播数据可以包括第一用户发送的互动消息、向第一用户推送的音频流、向第一用户推送的视频流和向第一用户推送的与虚拟资源相关的任务等；用户数据可以包括用户的账号、画像等，例如第一用户画像、第二用户画像。在进行直播风控时，实时监控直播数据。
67.步骤s202，根据所述直播数据以及所述直播数据的来源所对应的用户数据，确定所述直播数据和/或所述用户数据的风险值。
68.当直播数据包括第一用户发送的互动消息、向第一用户推送的音频流、向第一用户推送的视频流时，根据实时监控的直播数据确定直播数据的来源，基于直播数据以及直播数据的来源所对应的用户数据，利用对应的风险预测模型，确定直播数据的风险值。例如：
69.当直播数据包括第一用户发送的互动消息时，将第一用户发送的互动消息和第一用户画像输入第一风险预测模型，并将第一风险预测模型的输出作为第一用户发送的互动消息的风险值；
70.当直播数据包括向第一用户推送的音频流时，将向第一用户推送的音频流和第二用户画像输入第二风险预测模型，并将第二风险预测模型的输出作为向第一用户推送的音频流的风险值；
71.当直播数据包括向第一用户推送的视频流时，将向第一用户推送的视频流和第二用户画像输入第三风险预测模型，并将第三风险预测模型的输出作为向第一用户推送的视频流的风险值。
72.当直播数据包括向第一用户推送的与虚拟资源相关的任务时，根据实时监控的直播数据确定用户的实时行为数据，基于第一用户的实时行为数据和第一用户画像确定第一用户的风险值。
73.步骤s203，当所述风险值满足预设风险条件时，根据预设的风控策略，对所述直播数据和/或所述用户数据进行风控处理。
74.根据直播数据以及直播数据的来源所对应的用户数据，确定直播数据和/或用户数据的风险值后，判断风险值是否满足预设风险条件，如果是，根据预设的风控策略，对直播数据和/或用户数据进行风控处理。其中，预设风险条件可以是风险阈值，预设的风控策略可以包括多种风险等级与多种风控措施的对应关系。
75.如果风险值满足预设的风险阈值，根据风险阈值对应的风险等级，采取风控措施对直播数据和/或用户数据进行风控处理，可以中断直播流、调整用户账号等级、拦截用户发送的消息等。
76.在本发明实施例中，通过实时监控直播数据；根据所述直播数据以及所述直播数据的来源所对应的用户数据，确定所述直播数据和/或所述用户数据的风险值；当所述风险值满足预设风险条件时，根据预设的风控策略，对所述直播数据和/或所述用户数据进行风
控处理等步骤，能够实现风险的精准识别及管控，并基于实时数据调整检测及管控措施，提升风险检测及管控能力、降低人工成本，防止违规内容的漏检，保证平台的正常运营。
77.图3是根据本发明实施例的直播风控方法的详细流程的示意图，如图3所示，本发明的直播风控方法包括：
78.步骤s301，实时监控直播数据。
79.一个热门主播同时在线的观众可能高达百万人以上，单日累计观看人次可能超过5000万，直播模式使得信息的实时传播速度空前提升，但是，负面内容、违规直播内容、黄赌毒内容及相关广告等违禁信息也会快速传播，给直播运营平台带来极大的运营风险。
80.为了防止直播的负面影响，需要对直播进行实时风控，实时监控直播中产生的各种数据，直播中产生的各种数据可以包括直播数据和用户数据，通过实时监控直播数据，可以根据不同的直播数据类型采取不同的风控措施。
81.步骤s302，构建第一用户画像。
82.本发明的直播风控方法基于观众历史直播的属性数据和行为数据、实时直播的属性数据和行为数据识别直播数据是否存在风险，因此，在确定直播数据的风险值之前，构建第一用户为观众的第一用户画像。第一用户在观看直播的过程中，可能产生多种用户数据，包括用户属性数据和用户行为数据，用户属性数据包括：注册信息(id等)、登录ip地址、登录设备等数据；用户行为数据包括：注册、登录、浏览、分享、下单、评论、点赞、收藏、举报、异常行为等数据。根据第一用户的用户属性数据和用户行为数据，对用户数据进行数据清洗等处理，提取处理后的用户数据的用户属性特征和用户行为特征，将提取出的用户属性特征和用户行为特征输入用户画像模型，用户画像模型输出第一用户的风险标签，构建第一用户的风险用户画像，作为第一用户画像。
83.风险标签可以包括：低风险、中风险和高风险，第一用户画像可以是第一用户的用户数据的风险权重矩阵。通过用户画像可以为历史数据中存在异常行为的账号打标，如果历史出现异常行为，则其对应的用户画像表明其账号可能存在高风险，可以预先对高风险标签的账号进行处理。
84.示例性地，用户画像模型可以是基于神经网络算法的神经网络模型，输入可以为第一用户的历史数据，包括注册时间、注册信息、登录时间、登录ip地址、登录设备、下单、异常行为数据；其中，异常行为可以包括：机器注册、机器登录、脚本操作等行为。进一步地，神经网络算法可以是bp算法。
85.步骤s303，构建第二用户画像。
86.本发明的直播风控方法基于主播历史直播的属性数据和行为数据、实时直播的属性数据和行为数据识别直播数据是否存在风险，因此，在确定直播数据的风险值之前，构建第二用户为主播的第二用户画像。
87.第二用户在发起直播的过程中，可能产生多种用户数据，包括用户属性数据和用户行为数据，用户属性数据包括：注册信息、登录信息、粉丝数量、主播类型等数据；用户行为数据包括：注册、登录、互动、举报、异常行为等数据。根据第二用户的用户属性数据和用户行为数据，将用户属性数据和用户行为数据输入用户画像模型，输出第二用户的风险标签，构建第二用户的风险用户画像，作为第二用户画像。
88.风险标签可以包括：低风险、中风险和高风险，第二用户画像可以是第二用户的用
户数据的风险权重矩阵。
89.示例性地，用户画像模型可以是基于神经网络算法的神经网络模型，输入可以为第二用户的历史数据，包括注册时间、注册信息、登录时间、登录ip地址、登录设备、下单、异常行为数据；其中，异常行为可以包括：发表违禁言论、展出违禁画面、投递违禁链接、粉丝异常互动、被举报等行为。进一步地，神经网络算法可以是bp算法。
90.步骤s304，判断直播数据的类型。
91.监控直播数据过程中，根据接收到的直播数据判断直播数据的类型。直播数据的来源可能是发起直播活动的主播，也可能是观看直播的观众，观众可以和主播实时互动。直播数据可以包括第一用户发送的互动消息、第二用户向第一用户推送的音频流、第二用户向第一用户推送的视频流和向第一用户推送的与虚拟资源相关的任务等；其中，第一用户为观众，第二用户为主播。
92.示例性地，根据接收到的直播数据判断直播数据的类型，如果直播数据是第一用户发送的互动消息，转至步骤s305；如果直播数据是第二用户向第一用户推送的音频流，转至步骤s308；如果直播数据是第二用户向第一用户推送的视频流，转至步骤s311；如果直播数据是向第一用户推送的与虚拟资源相关的任务，转至步骤s314。
93.步骤s305，第一用户发送的互动消息及其来源的预处理。
94.当直播数据是第一用户发送的互动消息时，通过对第一用户发送的互动消息及其来源进行预处理，提高风控处理效率，包括：
95.a1：根据步骤s302构建的第一用户画像，判断第一用户的账号是否是高风险账号，如果是，转至步骤s316；如果否，转至步骤a2。
96.a2：判断第一用户的账号是否是黑名单账号，如果是，转至步骤s316；如果否，转至步骤a3。
97.a3：判断第一用户的账号登录渠道是否异常，如果是，转至步骤s316；如果否，转至步骤a4。
98.a4：判断第一用户的互动消息的发送是否是通过自动化脚本伪造消息协议进行，如果是，转至步骤s316；如果否，转至步骤a5。其中，第一用户的消息发送会使用消息收发双方订立的协议进行通信，协议内容包括用户的身份、设备等信息，黑产账号可能通过伪造身份、设备等信息登录，会对直播平台产生极大风险，因此，通过判断第一用户的互动消息的发送是否是通过自动化脚本伪造消息协议进行，可以进一步采取风控措施，降低平台风险。
99.a5：根据预置的敏感词库，判断第一用户的互动消息中是否存在敏感词，如果是，对敏感词进行过滤处理后转至步骤s306；如果否，转至步骤s306。
100.通过判断高风险账号、黑名单账号、登录渠道等，并基于敏感词规则识别并过滤敏感词，能够实时识别风险特征明显的账号，进而进一步进行风控处理。
101.示例性地，第一用户发送的互动消息可以是第一用户实时发送的弹幕消息、行为消息、评论消息等；其中，行为消息例如可以是：用户进入直播间、用户退出直播间等。
102.步骤s306，确定第一用户发送的互动消息的风险值。
103.对第一用户发送的互动消息进行预处理后，将第一用户发送的互动消息和第一用户画像输入第一风险预测模型，第一风险预测模型输出风险值，根据第一风险预测模型的输出，确定第一用户发送的互动消息的风险值；其中，互动消息可以为文本。
104.示例性地，第一风险预测模型可以是基于神经网络算法的神经网络模型，通过第一风险预测模型对可能存在风险的实时互动消息进行识别，对于基于敏感词规则可能无法识别的内容，例如，变形字、英文拼音混排、穿插特殊符号等类型的消息，可以进行有效识别，进一步提高平台的风险识别能力，防止高风险信息的漏检。进一步地，神经网络算法可以是bp算法。
105.示例性地，风险值可以是由0到1之间的任意数值，风险值越接近1，代表第一用户发送的互动消息的风险越高。
106.步骤s307，判断第一用户发送的互动消息的风险值是否满足预设风险条件。
107.预设风险条件包括第一风险阈值，根据步骤s306确定第一用户发送的互动消息的风险值后，判断第一用户发送的互动消息的风险值是否大于第一风险阈值，如果是，表示第一用户发送的互动消息的风险值满足预设风险条件，转至步骤s316；如果否，表示第一用户发送的互动消息的风险值不满足预设风险条件，则允许第一用户发送互动消息至第二用户、其他一个或多个第一用户等。
108.示例性地，对于经过敏感词过滤处理的互动消息，如果第一用户发送的互动消息的风险值不满足预设风险条件，可以将敏感词经过特殊处理后，发送互动消息。
109.示例性地，用户画像的正向标签越多，风险阈值可能越高。
110.步骤s308，第二用户向第一用户推送的音频流的预处理。
111.当直播数据是第二用户向第一用户推送的音频流时，通过对第二用户向第一用户推送的音频流进行预处理，提高风控处理效率，包括：
112.将第二用户向第一用户推送的音频流转换为文本；
113.将转换后的文本进行数据清洗，包括删除文本中的重复文字、异常字符(空格、乱码等)、冗余数据、失效数据等信息；纠正错别字、错误标点符号等明显可识别的错误信息；填充缺失信息等，以便于保证数据的完整性和一致性，满足后续流程的质量要求。
114.示例性地，可以对转换后的文本进行敏感词过滤处理，从而提高风控处理效率。
115.步骤s309，确定第二用户向第一用户推送的音频流的风险值。
116.对第二用户向第一用户推送的音频流进行预处理后，将预处理后的文本和第二用户画像输入第二风险预测模型，第二风险预测模型输出风险值，根据第二风险预测模型的输出，确定第二用户向第一用户推送的音频流的风险值。
117.示例性地，第二风险预测模型可以是基于神经网络算法的神经网络模型，第二风险预测模型可以与第一风险预测模型相同，风险预测模型可以对文本进行相似度计算，从而确定文本的风险值。进一步地，神经网络算法可以是bp算法。
118.示例性地，风险值可以是由0到1之间的任意数值，风险值越接近1，代表第二用户向第一用户推送的音频流的风险越高。
119.步骤s310，判断第二用户向第一用户推送的音频流的风险值是否满足预设风险条件。
120.预设风险条件包括第二风险阈值，根据步骤s309确定第二用户向第一用户推送的音频流的风险值后，判断第二用户向第一用户推送的音频流的风险值是否大于第二风险阈值，如果是，表示第二用户向第一用户推送的音频流的风险值满足预设风险条件，转至步骤s316；如果否，表示第二用户向第一用户推送的音频流的风险值不满足预设风险条件，则允
许第二用户向第一用户推送音频流。
121.示例性地，用户画像的正向标签越多，风险阈值可能越高。
122.示例性地，以赌博与色情类内容为例，音频内容常常带有明显的语言特征，如言语挑逗、诱导充值、诱导加群等，通过将语音转换为文本进行识别，可以快速判断出可能存在的风险信息，并给出风险提示。
123.步骤s311，第二用户向第一用户推送的视频流的预处理。
124.当直播数据是第二用户向第一用户推送的视频流时，通过对第二用户向第一用户推送的视频流进行预处理，提高风控处理效率，包括：
125.预设从视频流中抽取图像数据的抽帧频次，作为预设抽帧频次；其中，预设抽帧频次可以为每分钟一次；
126.在第二用户发起视频流的过程中，实时获取第一用户发送的互动消息，根据第一用户发送的互动消息，确定第一用户发送互动消息的频次、多个第一用户之间发送的互动消息的相似度；
127.将第一用户发送互动消息的频次、互动消息的相似度、第二用户画像输入图像抽帧模型，图像抽帧模型输出抽帧样本值；其中，抽帧样本值可以是由0到1之间的任意数值，抽帧样本值越接近1，相应的抽帧频次越高，抽帧样本值越接近0，相应的抽帧频次越低，例如，互动消息可以是弹幕消息，如果直播的弹幕量波动明显，表明该直播的风险可能越高，抽帧样本值可能越高；
128.在第二用户发起视频流的过程中，实时获取第一用户的负面反馈数据，根据第一用户的负面反馈数据的频次调整抽帧频次；其中，负面反馈数据可以是举报数据等，负面反馈数据的频次越高，相应的抽帧频次越高，负面反馈数据的频次越低，相应的抽帧频次越低；
129.在预设抽帧频次的基础上，根据抽帧样本值、第一用户的负面反馈数据确定目标抽帧频次；其中，目标抽帧频次与第一用户的负面反馈数据的频次正相关；
130.根据目标抽帧频次对第二用户向第一用户推送的视频流进行抽帧，并将抽取的图像数据转换为直播图像，以满足第三风险预测模型的输入要求，例如，调整图像的分辨率、裁剪图像尺寸、转换图像格式等。
131.通过给予用户画像、实时举报数据的抽帧视频的动态调整，可以提高违规内容的风险识别准确率。
132.示例性地，图像抽帧模型包括多个，例如，toc类直播图像抽帧模型和tob类直播图像抽帧模型，两种模型分别训练后，用于确定视频流的抽帧频次。其中，toc类直播是指to client直播，通过直播增加品牌曝光度进行销售；tob类直播是指to business直播，通过直播挖掘支持企业持续销售。toc直播可以是“网红&明星&场景 直播平台”的模式，tob可以是“优质内容 在线客服”的模式。
133.步骤s312，确定第二用户向第一用户推送的视频流的风险值。
134.对第二用户向第一用户推送的视频流进行预处理后，将预处理后的直播图像和第二用户画像输入第三风险预测模型，第三风险预测模型输出风险值，根据第三风险预测模型的输出，确定第二用户向第一用户推送的视频流的风险值。
135.示例性地，第三风险预测模型可以是基于神经网络算法的神经网络模型，风险预
测模型可以对图像进行相似度计算，从而确定图像的风险值。进一步地，神经网络算法可以是bp算法。
136.示例性地，风险值可以是由0到1之间的任意数值，风险值越接近1，代表第二用户向第一用户推送的视频流的风险越高。
137.步骤s313，判断第二用户向第一用户推送的视频流的风险值是否满足预设风险条件。
138.预设风险条件包括第三风险阈值，根据步骤s312确定第二用户向第一用户推送的视频流的风险值后，判断第二用户向第一用户推送的视频流的风险值是否大于第三风险阈值，如果是，表示第二用户向第一用户推送的视频流的风险值满足预设风险条件，转至步骤s316；如果否，表示第二用户向第一用户推送的视频流的风险值不满足预设风险条件，则允许第二用户向第一用户推送视频流。
139.示例性地，用户画像的正向标签越多，风险阈值可能越高。
140.步骤s314，直播数据是向第一用户推送的与虚拟资源相关的任务时，确定第一用户的风险值。
141.当直播数据是向第一用户推送的与虚拟资源相关的任务时，设置向第一用户推送的与虚拟资源相关的任务、以及可以执行任务的相关用户需要满足的参与条件。
142.通过对第一用户的条件进行判断，确定第一用户的风险值，包括：
143.b1：判断第一用户的账号是否是黑名单账号，如果是，转至步骤s316；如果否，转至步骤b2。
144.b2：根据步骤s302构建的第一用户画像，判断第一用户的账号是否是高风险账号，如果是，转至步骤s316；如果否，转至步骤b3。
145.b3：判断判断第一用户是否满足可以执行任务的参与条件，如果是，转至步骤b4；如果否，转至步骤s316。
146.b4：获取第一用户针对与虚拟资源相关的任务的实时行为数据，根据实时行为数据和第一用户画像，确定第一用户对应的风险值，转至步骤s315。其中，实时行为数据可以是实时的流量数据，实时的流量波动明显，表明该用户的风险可能越高，对应的风险值也越高。
147.通过判断黑名单账号、高风险账号、参与条件、实时行为数据等，能够实时识别风险特征明显的账号，进而进一步进行风控处理。
148.示例性地，向第一用户推送的与虚拟资源相关的任务可以是直播营销活动中向第一用户推送的领券、抽奖、抢购等活动，可以执行任务的相关用户需要满足的参与条件可以是第一用户参加历史直播营销活动的活跃度、互动频次、下单频次等需满足的条件。
149.步骤s315，判断第一用户的风险值是否满足预设风险条件。
150.预设风险条件包括第四风险阈值，根据步骤s314确定第一用户的风险值后，判断第一用户的风险值是否大于第四风险阈值，如果是，表示第一用户的风险值满足预设风险条件，转至步骤s316；如果否，表示第一用户的风险值不满足预设风险条件，则允许第一用户执行向其推送的与虚拟资源相关的任务。
151.示例性地，用户画像的正向标签越多，风险阈值可能越高。
152.步骤s316，根据预设的风控策略，对直播数据和/或用户数据进行风控处理。
153.预设的风控策略包括多种风险等级与多种风控措施的对应关系，风险等级可以包括：低风险、中风险和高风险，风控措施可以包括：中断直播数据、调整用户数据指示的账号等级、拦截互动消息、将用户数据指示的账号加入黑名单、注销用户数据指示的账号、拒绝执行任务的请求、拦截针对任务的行为数据等。低风险等级可以：调整用户数据指示的账号等级等；中风险等级可以：调整用户数据指示的账号等级、拦截互动消息、拦截针对任务的行为数据等；高风险等级可以：中断直播数据、拦截互动消息、将用户数据指示的账号加入黑名单、注销用户数据指示的账号、拒绝执行任务的请求等。
154.示例性地，如果用户账号是高风险账号，则拦截互动消息；并且，将用户数据指示的账号加入黑名单，和/或，注销用户数据指示的账号，和/或，拒绝执行任务的请求。
155.如果用户账号是黑名单账号，则拦截互动消息；并且，可以注销用户数据指示的账号。
156.如果用户账号登录渠道异常，则拦截互动消息；并且，可以降低用户账号等级，和/或，注销用户数据指示的账号。
157.如果第一用户通过自动化脚本伪造消息协议发送互动消息，则拦截互动消息；并且，可以降低第一用户指示的账号等级，和/或，将第一用户指示的账号加入黑名单，和/或，注销第一用户指示的账号。
158.如果第一用户发送的互动消息的风险值满足预设风险条件，则返回拒绝发送的状态至第一用户；并且，拦截互动消息。另外，可以降低第一用户指示的账号等级，和/或，将第一用户指示的账号加入黑名单，和/或，注销第一用户指示的账号。
159.如果第二用户向第一用户推送的音频流的风险值满足预设风险条件或者第二用户向第一用户推送的视频流的风险值满足预设风险条件，则向第二用户推送风险提示，如果第二用户多次触发预设风险条件，则中断直播数据，和/或，将第二用户指示的账号加入黑名单，和/或，和/或，注销第二用户指示的账号。
160.如果第一用户无法满足可以执行任务的参与条件，则拒绝第一用户执行任务的请求；并且，调整第一用户指示的账号等级，和/或，拦截第一用户针对任务的行为数据。
161.如果第一用户的风险值满足预设风险条件，则调整第一用户指示的账号等级，和/或，将第一用户指示的账号加入黑名单，和/或，注销第一用户指示的账号，和/或，拒绝第一用户执行任务的请求，和/或，拦截第一用户针对任务的行为数据。
162.通过针对风险内容的自动风险提示并采取逐步增强的风控措施，明显减少了人力审核与巡检成本的投入，展示了完善的风控自运营能力。通过基于用户画像的用户账号风险识别，实时识别风险账号，减少恶意账号的参与度，提高了对用户账号的风控能力，能够直接屏蔽处理风险账号。
163.通过对营销活动异常流量行为的实时干预，例如常见的明显低于市价的商品抢购，传统的营销规则无法识别到抢购脚本和其它恶意请求，可能导致商品被黑产脚本账号抢购，正常用户无法购买，可以及时处理流量特征异常的活动请求，降低了直播风险。
164.示例性地，拒绝执行任务的请求可以是：将任务对应的按钮设置为无法触发(例如，“加购”按钮呈灰色)，使得第一用户无法触发任务；拦截对任务的行为数据可以是：任务对应的按钮可以触发，但第一用户触发后无法获得相应数据(例如，“加购”按钮正常，但用户触发后无反应)。
165.示例性地，可以设置每个风控措施对应的风控时长，经过预定的风控时长后可以解除相应的风控措施。例如，经过预定的风控时长后将用户账号解封，从黑名单中删除。
166.示例性地，如果第一用户发送的互动消息的风险值满足预设风险条件，则返回拒绝发送的状态至第一用户；并且，拦截互动消息。另外，可以降低第一用户指示的账号等级，和/或，将第一用户指示的账号加入黑名单，和/或，注销第一用户指示的账号。
167.步骤s317，风险数据后处理。
168.在判断直播数据和/或用户数据存在风险时，实时记录风险事件，并保存相应的风险数据，基于保存的风险数据更新用户画像模型的样本数据，对用户画像进行更新；并根据更新后的用户画像、更新后的风险预测模型的样本数据，对风险预测模型进行更新，实现实时且精准的风险识别。
169.示例性地，根据更新后的用户画像、更新后的图像抽帧模型的样本数据，对图像抽帧模型进行更新。
170.相较于传统的平台管理员抽检、观众举报、管理员实时审核的人工审核模式，需要消耗大量人力，并且由于数据量巨大，人工审核无法覆盖全部直播数据，审核成本高、漏检数量大、处理速度低下等明显问题，而且容易被自动化脚本、羊毛党等恶意破坏，干扰正常的营销活动，无法面对未知风险，平台风险隐患极大，在本发明实施例中，通过观众、主播、平台等多维度的直播风控方法，可以建立自动化的直播风控管理，极大地降低人力成本，并且基于模型与用户画像、实时数据采样的结合，能够及时监控直播过程并识别直播风险，降低违规内容的漏检率，提前预防可能的风险行为并针对性地进行风控处理，可以有效地解决直播中的风险问题，具有极高的推广价值。
171.在本发明实施例中，通过实时监控直播数据；构建第一用户画像；构建第二用户画像；判断直播数据的类型；第一用户发送的互动消息及其来源的预处理；确定第一用户发送的互动消息的风险值；判断第一用户发送的互动消息的风险值是否满足预设风险条件；第二用户向第一用户推送的音频流的预处理；确定第二用户向第一用户推送的音频流的风险值；判断第二用户向第一用户推送的音频流的风险值是否满足预设风险条件；第二用户向第一用户推送的视频流的预处理；确定第二用户向第一用户推送的视频流的风险值；判断第二用户向第一用户推送的视频流的风险值是否满足预设风险条件；直播数据是向第一用户推送的与虚拟资源相关的任务时，确定第一用户的风险值；判断第一用户的风险值是否满足预设风险条件；根据预设的风控策略，对直播数据和/或用户数据进行风控处理；风险数据后处理等步骤，能够实现风险的精准识别及管控，并基于实时数据调整检测及管控措施，提升风险检测及管控能力、降低人工成本，防止违规内容的漏检，保证平台的正常运营。
172.图4是根据本发明实施例的直播风控装置的主要模块的示意图，如图4所示，本发明的直播风控装置400包括：
173.监控模块401，用于实时监控直播数据。
174.直播的用户可以包括第一用户和第二用户，例如，第一用户为观众，第二用户为主播。直播的数据包括直播数据和用户数据，直播数据可以包括第一用户发送的互动消息、向第一用户推送的音频流、向第一用户推送的视频流和向第一用户推送的与虚拟资源相关的任务等；用户数据可以包括用户的账号、画像等，例如第一用户画像、第二用户画像。在进行直播风控时，所述监控模块401实时监控直播数据。
175.风险计算模块402，用于根据所述直播数据以及所述直播数据的来源所对应的用户数据，确定所述直播数据和/或所述用户数据的风险值。
176.当直播数据包括第一用户发送的互动消息、向第一用户推送的音频流、向第一用户推送的视频流时，根据所述监控模块401实时监控的直播数据确定直播数据的来源，所述风险计算模块402基于直播数据以及直播数据的来源所对应的用户数据，利用对应的风险预测模型，确定直播数据的风险值。例如：
177.当直播数据包括第一用户发送的互动消息时，所述风险计算模块402将第一用户发送的互动消息和第一用户画像输入第一风险预测模型，并将第一风险预测模型的输出作为第一用户发送的互动消息的风险值；
178.当直播数据包括向第一用户推送的音频流时，所述风险计算模块402将向第一用户推送的音频流和第二用户画像输入第二风险预测模型，并将第二风险预测模型的输出作为向第一用户推送的音频流的风险值；
179.当直播数据包括向第一用户推送的视频流时，所述风险计算模块402将向第一用户推送的视频流和第二用户画像输入第三风险预测模型，并将第三风险预测模型的输出作为向第一用户推送的视频流的风险值。
180.当直播数据包括向第一用户推送的与虚拟资源相关的任务时，所述风险计算模块402根据实时监控的直播数据确定用户的实时行为数据，基于第一用户的实时行为数据和第一用户画像确定第一用户的风险值。
181.风险处理模块403，用于当所述风险值满足预设风险条件时，根据预设的风控策略，对所述直播数据和/或所述用户数据进行风控处理。
182.所述风险计算模块402根据直播数据以及直播数据的来源所对应的用户数据，确定直播数据和/或用户数据的风险值后，风险处理模块403判断风险值是否满足预设风险条件，如果是，风险处理模块403根据预设的风控策略，对直播数据和/或用户数据进行风控处理。其中，预设风险条件可以是风险阈值，预设的风控策略可以包括多种风险等级与多种风控措施的对应关系。
183.如果风险值满足预设的风险阈值，风险处理模块403根据风险阈值对应的风险等级，采取风控措施对直播数据和/或用户数据进行风控处理，可以中断直播流、调整用户账号等级、拦截用户发送的消息等。
184.在本发明实施例中，通过监控模块、风险计算模块和风险处理模块等模块，能够实现风险的精准识别及管控，并基于实时数据调整检测及管控措施，提升风险检测及管控能力、降低人工成本，防止违规内容的漏检，保证平台的正常运营。
185.图5是根据本发明实施例的直播风控系统的示意图，如图5所示，本发明的直播风控系统包括：
186.直播应用、直播网关、直播风控和基础能力四部分。
187.直播应用包括直播音频系统、直播视频系统、直播弹幕系统、直播营销系统等。
188.直播网关提供统一的直播风控系统网关，实现请求鉴权、用户认证、数据埋点、协议适配等网关能力。
189.直播风控包括风控流程控制引擎、风控模型引擎、风控规则引擎等。其中，风控模型引擎提供了用户画像模型、风险预测模型和图像抽帧模型等，用户画像模型用以对直播
的用户账号的风险进行打标，风险预测模型用以对文本、图像的风险内容进行识别，图像抽帧模型用以确定直播视频的抽帧频次；规则引擎提供了黑白名单、风险账号、消息协议敏感词等的实时过滤规则；流程控制引擎用于对直播的账号、内容等的风控流程进行编排与控制，可以对于不符合规则的账号和内容直接进行拦截。
190.基础服务提供了文件存储、数据缓存、音频转文本、视频转图像等基础能力，为直播风控系统提供基础的技术支持。
191.图6是适于用来实现本发明实施例的终端设备的计算机系统的结构示意图，如图6所示，本发明实施例的终端设备的计算机系统600包括：
192.中央处理单元(cpu)601，其可以根据存储在只读存储器(rom)602中的程序或者从存储部分608加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。在ram603中，还存储有系统600操作所需的各种程序和数据。cpu601、rom602以及ram603通过总线604彼此相连。输入/输出(i/o)接口606也连接至总线604。
193.以下部件连接至i/o接口606：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口606。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
194.特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(cpu)601执行时，执行本发明的系统中限定的上述功能。
195.需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
196.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
197.描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括监控模块、风险计算模块和风险处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，风险处理模块还可以被描述为“根据预设的风控策略对直播数据和/或用户数据进行风控处理的模块”。
198.作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：实时监控直播数据；根据所述直播数据以及所述直播数据的来源所对应的用户数据，确定所述直播数据和/或所述用户数据的风险值；当所述风险值满足预设风险条件时，根据预设的风控策略，对所述直播数据和/或所述用户数据进行风控处理。
199.根据本发明实施例的技术方案，能够实现风险的精准识别及管控，并基于实时数据调整检测及管控措施，提升风险检测及管控能力、降低人工成本，防止违规内容的漏检，保证平台的正常运营。
200.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。