一种负反馈数据采集方法、装置及系统与流程

1.本技术实施例涉及数据处理技术，尤其涉及一种负反馈数据采集方法、装置及系统。


背景技术：

2.随着人工智能(artificial intelligence，ai)技术的快速发展，人工智能技术被广泛的应用于各个领域，由于ai能力是数据驱动的，当应用场景跟训练数据分布一致时效果较好，反之效果较差。
3.在线上的生产环境中，可能会遇到一些ai效果不好的场景，在相关技术中，一般采取的方案是在ai运行过程中，采集运行异常或者跟性能相关的一些数据(比如崩溃状态上报或者耗时log)，并上报这些数据，但通过这些数据难以识别ai能力运作的好坏，从而难以系统化驱动ai能力迭代改进。


技术实现要素：

4.本技术提供一种负反馈数据采集方法、装置及系统，以解决现有技术中上报的数据难以识别ai能力运作的好坏的问题。
5.第一方面，本技术实施例提供了一种负反馈数据采集系统，所述系统包括：反馈后台以及客户端，所述客户端包括人工智能ai sdk组件以及数据上报sdk组件；
6.所述反馈后台用于向所述ai sdk组件发送负反馈触发条件信息，以及，接收所述数据上报sdk组件发送的第一负反馈数据；
7.所述ai sdk组件用于在线上运行时，若检测到符合所述负反馈触发条件信息的目标对象，则向所述数据上报sdk组件发送负反馈数据获取请求；
8.所述数据上报sdk组件用于根据所述负反馈数据获取请求，采集所述目标对象对应的原始对象数据作为第一负反馈数据，并将所述第一负反馈数据反馈至所述反馈后台中。
9.第二方面，本技术实施例还提供了一种负反馈数据采集方法，所述方法应用于ai sdk组件中，所述ai sdk组件与反馈后台与数据上报sdk组件组成负反馈数据采集链路；所述方法包括：
10.接收反馈后台发送的负反馈触发条件信息；
11.在线上运行时，若检测到符合所述负反馈触发条件信息的目标对象，则向所述数据上报sdk组件发送负反馈数据获取请求，以触发所述数据上报sdk组件采集所述目标对象对应的原始对象数据，并将所述原始对象数据作为第一负反馈数据上报至所述反馈后台。
12.第三方面，本技术实施例还提供了一种负反馈数据采集装置，所述装置位于ai sdk组件中，所述ai sdk组件与反馈后台与数据上报sdk组件组成负反馈数据采集链路；所述装置包括：
13.负反馈条件接收模块，用于接收反馈后台发送的负反馈触发条件信息；
14.负反馈条件检测模块，用于在线上运行时，若检测到符合所述负反馈触发条件信息的目标对象，则向所述数据上报sdk组件发送负反馈数据获取请求，以触发所述数据上报sdk组件采集所述目标对象对应的原始对象数据，并将所述原始对象数据作为第一负反馈数据上报至所述反馈后台。
15.第四方面，本技术实施例还提供了一种电子设备，所述电子设备包括：
16.一个或多个处理器；
17.存储装置，用于存储一个或多个程序，
18.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的方法。
19.第五方面，本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的方法。
20.本技术所提供的技术方案，具有如下有益效果：
21.本实施例提出一种自动化的负反馈数据采集系统，在ai sdk组件中接入负反馈数据收集的ai能力，当ai sdk组件在线上运行时，根据接收到的反馈后台下发的负反馈触发条件信息，可以在线上真实环境中检测出符合负反馈触发条件信息的目标对象，并根据该目标对象向数据上报sdk组件发送负反馈数据获取请求，以触发数据上报sdk组件采集该目标对象对应的原始对象数据作为第一负反馈数据，并向反馈后台上报该第一负反馈数据，这些第一负反馈数据经过定向数据标注并加入ai训练后，对同样场景能够有更好的效果和表现，能够提升ai模型的效果及泛化能力，形式自动化、系统化ai能力提升的迭代闭环，从而提升生产效率。
附图说明
22.图1是本技术实施例一提供的一种负反馈数据采集系统实施例的结构示意图；
23.图2是本技术实施例二提供的一种负反馈数据采集方法实施例的流程图；
24.图3是本技术实施例三提供的一种负反馈数据采集装置实施例的结构框图；
25.图4是本技术实施例四提供的一种电子设备的结构示意图。
具体实施方式
26.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本技术，而非对本技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本技术相关的部分而非全部结构。
27.实施例一
28.图1为本技术实施例一提供的一种负反馈数据采集系统实施例的结构示意图，该负反馈数据采集系统包括反馈后台10以及客户端20，而客户端20进一步可以包括ai(artificial intelligence，人工智能)sdk(software development kit，软件开发工具包)组件201以及数据上报sdk组件202。反馈后台10、ai sdk组件201以及数据上报sdk组件202可以组成本实施例的负反馈链路，通过该负反馈链路可以实现负反馈数据的采集。
29.所述反馈后台10用于向所述ai sdk组件201发送负反馈触发条件信息，以及，接收所述数据上报sdk组件202发送的第一负反馈数据。
30.所述ai sdk组件201用于在线上运行时，若检测到符合所述负反馈触发条件信息的目标对象，则向所述数据上报sdk组件202发送负反馈数据获取请求；
31.所述数据上报sdk组件202用于根据所述负反馈数据获取请求，采集所述目标对象对应的原始对象数据作为第一负反馈数据，并将所述第一负反馈数据反馈至所述反馈后台10中。
32.在该实施例中，当已具备负反馈判断机制的ai能力接入到ai sdk组件201并部署到线上环境以后，ai sdk组件201通过接收反馈后台10下发的负反馈触发条件信息，监控各处理对象的处理情况，如果有处理对象触发该负反馈触发条件信息对应的负反馈触发条件，则将该处理对象作为目标对象，并根据目标对象生成负反馈数据获取请求，然后将该负反馈数据获取请求发送至数据上报sdk组件202。数据上报sdk组件202在接收到负反馈数据获取请求以后，会采集该目标对象对应的原始对象数据作为第一负反馈数据，并将该第一负反馈数据反馈至所述反馈后台10中。
33.需要说明的是，反馈后台10可以动态对负反馈触发条件信息进行更新，并下发最新的负反馈触发条件信息。
34.在一种实施例中，反馈后台10还用于：将所述第一负反馈数据发送至模型训练服务器，所述模型训练服务器用于对所述第一负反馈数据进行标注，并将标注后的第一负反馈数据作为训练样本，更新所述ai sdk组件对应的ai模型，并将更新后的ai模型下发至所述ai sdk组件。
35.在该实施例中，ai sdk组件201的ai能力可以通过ai模型来实现，在ai sdk组件201中可以包括一个或多个用于实现不同功能的ai模型，ai模型可以为深度神经网络模型，例如，ai模型可以包括人脸检测模型、人像分割模型、肢体识别模型、语音识别模型等。
36.当反馈后台10接收到第一负反馈数据以后，可以将这些第一负反馈数据反馈至用于训练上述ai模型的模型训练服务器，这些第一负反馈数据在模型训练服务器中经过定向数据标注并加入ai训练后，可以实现对对应的ai模型的更新，更新后的ai模型再由模型训练服务器下发至客户端，可以提升ai模型对对应场景的效果及泛化能力，形式自动化、系统化ai能力提升的迭代闭环。
37.在实际中，反馈后台下发的负反馈触发条件信息可以根据实际需求设定，示例性地可以包括如下的一种或结合：临界置信值、采集频率或需要进行负反馈上报的用户列表。其中，临界置信值用于判断处理对象是否在临界点，是否触发负反馈条件；采集频率用于指示在设定时间段内需要进行负反馈判断的频率；需要进行负反馈上报的用户列表用于指示哪些用户需要进行负反馈上报，哪些用户不需要进行负反馈上报。
38.在一种实施方式中，ai sdk组件201具体用于：在线上采用ai模型进行模型推理时，获取所述ai模型输出的推理结果置信值；判断所述推理结果置信值是否在所述临界置信值的设定范围内；若是，则将该推理结果置信值对应的处理对象确定为符合所述负反馈触发条件信息的目标对象，以及，根据所述目标对象的标识生成负反馈数据获取请求。
39.在该实施例中，在ai sdk组件201采用ai模型进行模型推理时，除了会输出推理结果以外，还可以输出推理结果置信值，然后ai sdk组件201会将各推理结果置信值与临界置信值进行比较，判断各推理结果置信值是否在临界置信值的设定范围内，若否，则不触发负反馈条件；若是，则表示该推理结果置信值处于临界点，触发负反馈条件，此时，则可以将该
推理结果置信值对应的处理对象确定为符合负反馈触发条件信息的目标对象，然后，ai sdk组件201可以根据该目标对象的标识生成负反馈数据获取请求发送至数据上报sdk组件202，以触发数据上报sdk组件202的数据采集。
40.例如，假设当前场景为人脸检测场景，ai模型输出当前图像的人脸数目、位置及每个预测人脸对应的置信值。假设临界置信值设为0.9，如果当前图像至少有一张预测人脸的置信值在0.85与0.95之间，则ai sdk组件201可以判定当前图像处于临界点，触发负反馈条件，然后可以根据当前图像的标识生成负反馈数据获取请求发送至数据上报sdk组件202，以触发源数据采集需求到数据上报sdk组件202。
41.又如，假设当前场景为人像分割场景，ai模型输出当前图像的人像遮罩，该人像遮罩中每个像素的值介于0(背景)与1(人像前景)之间，表示该像素是人像前景的置信值。在人像分割的情况，可以计算遮罩的熵entropy，entropy越大通常表示分割效果越差(即越多像素的置信值不在0或1附近)。如果entropy大于下发的临界置信值，则ai sdk组件201可以判定当前图像处于临界点，触发负反馈条件，然后可以根据当前图像的标识生成负反馈数据获取请求发送至数据上报sdk组件202，以触发源数据采集需求到数据上报sdk组件202。
42.在其他实施例中，如果负反馈触发条件信息包括需要进行负反馈上报的用户列表，则在进行上述的负反馈条件判断前，客户端10可以首先根据该用户列表判断登录当前客户端的账户是否在该用户列表中，如果在则将临界置信值发送至ai sdk组件201中，以触发后续的负反馈条件判断流程，否则结束流程。
43.在一种实施方式中，数据上报sdk组件202具体用于在接收到所述负反馈数据获取请求以后，获取当前的环境信息，并根据所述环境信息判断执行或忽略所述负反馈数据获取请求。
44.在该实施例中，对于接收到的负反馈数据获取请求，数据上报sdk组件202可以根据当前的环境信息选择执行或忽略该负反馈数据获取请求。示例性地，环境信息可以包括当前的硬件负载信息和/或网络情况信息。例如，如果当前的网络带宽不是很好，则数据上报sdk组件202可以选择只获取并上报部分第一负反馈数据，而不需要将每个第一负反馈数据都上报。又如，如果当前的cpu或存储容量不足，而由于频繁的存储可能会导致应用卡死，则数据上报sdk组件202也可以选择只获取并上报部分第一负反馈数据。
45.在其他实施例中，在数据上报sdk组件202决定是否处理负反馈数据获取请求时，还可以考虑反馈后台10下发的采集频率，如果收到ai sdk组件201下发的比较密集的请求，则可以选择只处理部分请求。
46.当数据上报sdk组件202决定执行当前收到的请求时，则可以根据请求中的标识获取该目标对象对应的原始对象数据，并将该原始对象数据作为第一负反馈数据。其中，目标对象通常为经过预处理后的对象，而原始对象数据则为预处理前的源数据。
47.在一种实施方式中，ai sdk组件201还用于：采集在线上运行过程中出现的异常数据作为第二负反馈数据，并将所述第二负反馈数据发送至所述数据上报sdk组件，以由所述数据上报sdk组件202将所述第二负反馈数据反馈至所述反馈后台。
48.在该实施例中，ai sdk组件201除了可以进行负反馈条件判断以外，还可以采集在线上运行过程中出现的异常数据，例如，崩溃数据或者耗时的日志数据等，作为第二负反馈数据，然后将第二负反馈数据经由数据上报sdk组件202上报至反馈后台10中。
49.本实施例提出一种自动化的负反馈数据采集系统，在ai sdk组件中接入负反馈数据收集的ai能力，当ai sdk组件在线上运行时，根据接收到的反馈后台下发的负反馈触发条件信息，可以在线上真实环境中检测出符合负反馈触发条件信息的目标对象，并根据该目标对象向数据上报sdk组件发送负反馈数据获取请求，以触发数据上报sdk组件采集该目标对象对应的原始对象数据作为第一负反馈数据，并向反馈后台上报该第一负反馈数据，这些第一负反馈数据经过定向数据标注并加入ai训练后，对同样场景能够有更好的效果和表现，能够提升ai模型的效果及泛化能力，形式自动化、系统化ai能力提升的迭代闭环，从而提升生产效率。
50.实施例二
51.图2为本技术实施例二提供的一种负反馈数据采集方法实施例的流程图，本实施例由实施例一中的ai sdk组件201执行，具体可以包括如下步骤：
52.步骤210，接收反馈后台发送的负反馈触发条件信息。
53.步骤220，在线上运行时，若检测到符合所述负反馈触发条件信息的目标对象，则向所述数据上报sdk组件发送负反馈数据获取请求，以触发所述数据上报sdk组件采集所述目标对象对应的原始对象数据，并将所述原始对象数据作为第一负反馈数据上报至所述反馈后台。
54.在一种实施方式中，所述负反馈触发条件信息包括临界置信值，步骤220进一步可以包括如下步骤：
55.步骤220-1，在线上采用ai模型进行模型推理时，获取所述ai模型输出的推理结果置信值。
56.步骤220-2，判断所述推理结果置信值是否在所述临界置信值的设定范围内。
57.步骤220-3，若是，则将该推理结果置信值对应的处理对象确定为符合所述负反馈触发条件信息的目标对象，以及，根据所述目标对象的标识生成负反馈数据获取请求。
58.在一种实施方式中，本实施例还可以包括如下步骤：
59.采集在线上运行过程中出现的异常数据作为第二负反馈数据，并将所述第二负反馈数据发送至所述数据上报sdk组件，以由所述数据上报sdk组件将所述第二负反馈数据反馈至所述反馈后台。
60.在本实施例中，在ai sdk组件中接入负反馈数据收集的ai能力，当ai sdk组件在线上运行时，根据接收到的反馈后台下发的负反馈触发条件信息，可以在线上真实环境中检测出符合负反馈触发条件信息的目标对象，并根据该目标对象向数据上报sdk组件发送负反馈数据获取请求，以触发数据上报sdk组件采集该目标对象对应的原始对象数据作为第一负反馈数据，并向反馈后台上报该第一负反馈数据，这些第一负反馈数据经过定向数据标注并加入ai训练后，对同样场景能够有更好的效果和表现，能够提升ai模型的效果及泛化能力，形式自动化、系统化ai能力提升的迭代闭环，从而提升生产效率。
61.实施例三
62.图3为本技术实施例三提供的一种负反馈数据采集装置实施例的结构框图，所述装置位于ai sdk组件中，所述ai sdk组件与反馈后台与数据上报sdk组件组成负反馈数据采集链路；所述装置可以包括如下模块：
63.负反馈条件接收模块310，用于接收反馈后台发送的负反馈触发条件信息；
64.负反馈条件检测模块320，用于在线上运行时，若检测到符合所述负反馈触发条件信息的目标对象，则向所述数据上报sdk组件发送负反馈数据获取请求，以触发所述数据上报sdk组件采集所述目标对象对应的原始对象数据，并将所述原始对象数据作为第一负反馈数据上报至所述反馈后台。
65.本技术实施例所提供的一种负反馈数据采集装置可执行本技术实施例二所提供的负反馈数据采集方法，具备执行方法相应的功能模块和有益效果。
66.实施例四
67.图4为本技术实施例四提供的一种电子设备的结构示意图，如图4所示，该电子设备包括处理器410、存储器420、输入装置430和输出装置440；电子设备中处理器410的数量可以是一个或多个，图4中以一个处理器410为例；电子设备中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接，图4中以通过总线连接为例。
68.存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本技术实施例中的上述实施例对应的程序指令/模块。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的方法实施例中提到的方法。
69.存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
70.输入装置430可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
71.实施例五
72.本技术实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行上述方法实施例中的方法。
73.当然，本技术实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本技术任意实施例所提供的方法中的相关操作。
74.通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本技术可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。
75.值得注意的是，上述装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单
元的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。
76.注意，上述仅为本技术的较佳实施例及所运用技术原理。本领域技术人员会理解，本技术不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本技术的保护范围。因此，虽然通过以上实施例对本技术进行了较为详细的说明，但是本技术不仅仅限于以上实施例，在不脱离本技术构思的情况下，还可以包括更多其他等效实施例，而本技术的范围由所附的权利要求范围决定。