一种基于深度数据挖掘和人工智能的用户行为分析系统的制作方法

1.本发明涉及用户行为分析的技术领域，尤其是涉及一种基于深度数据挖掘和人工智能的用户行为分析系统。


背景技术：

2.随着人工智能技术的成熟，智能服务系统进入人们的视野。智能服务系统在客户来到银行网点时能够第一时间识别客户，能够对客户进行操作引导；但在人性化方面，例如客户去银行办理业务，需要取号然后进行排队，在排队过程中可能因各种因素而导致烦躁、不耐烦，而可能产生后续的过激行为或者与服务人员争吵，而银行系统缺乏对该些客户的监管和及时疏导，因此有待改进。


技术实现要素：

3.为了及时对排队人员的行为和情绪进行响应并安抚，本技术提供一种基于深度数据挖掘和人工智能的用户行为分析系统。
4.本技术的上述发明目的一是通过以下技术方案得以实现的：一种基于深度数据挖掘和人工智能的用户行为分析系统，包括：取号机，所述取号机用于供人员取号，所述取号机上设有取号摄像模组用于获取取号人员的人脸图像，所述取号机还用于将人脸图像和取号号码进行关联；叫号显示屏，所述叫号显示屏显示预设数量个取号号码的序列，且叫号显示屏上序列中最后一个为正在柜台办理服务的取号号码；大厅摄像模组，用于获取等候大厅内的视频流数据；服务终端，所述服务终端配备于大厅服务人员；处理模块，包括：行为分析单元，用于对视频流数据进行分析得到大厅内每位人员的行为状态；检测单元，用于检测每位人员的行为状态是否与行为库中的预设行为状态相同；待验号码生成单元，用于在存在有人员的行为状态是否与行为库中的预设行为状态相同的情况下，获取该人员的取号号码并作为待验号码；处理信息获取单元，用于获取当前叫号显示屏上的预设数量个取号号码的处理信息，所述处理信息包括每个取号号码的处理时长和号码类型；成立判定单元，用于根据处理信息分析所述待验号码对应的行为状态是否成立；指令发送单元，用于在所述行为状态成立的情况下，发送安抚指令给服务终端，所述安抚指令携带有所述待验号码以及对应的人脸图像。
5.通过采用上述技术方案，人员前往银行进行开户、存款、贷款、支付结算等服务活动时，先通过取号机取号，取号机上的取号摄像模组获取人员的人脸图像并和人员所取的取号号码相关联，然后人员可前往大厅内的休息区域或者在大厅内等待叫号到柜台处办理服务，并可通过叫号显示屏查看以被叫过好的部分取号号码和现在正在办理服务的取号号
码，大厅摄像模组实时拍摄大厅内的视频流数据，并发送给处理模块，处理模块的行为分析单元对视频流数据进行分析得到每位人员的行为状态，例如用手机拍大腿、锤击、叹气、哈欠等，检测单元检测每位人员的行为状态是否是行为库中的预设行为状态，在相同时待验号码生成单元获取该人员的取号号码，然后通过处理信息分析该取号号码对应的行为状态是否成立，在成立时则表明该取号号码对应的人员存在不耐烦、情绪暴躁、愤忿等情况，则发送安抚指令给服务终端，服务终端所配备于的服务人员接收到安抚指令后对相应人员进行安抚。
6.本技术在一较佳示例中可以进一步配置为：所述行为分析单元包括：当前帧获取子单元，用于按照预设周期获取当前帧图像；子视频流获取子单元，用于基于当前帧图像获取在当前帧图像之前的预设帧数的视频帧图像作为子视频流数据；分析推理子单元，用于将每段子视频流数据输入预先训练好的分析模型，推理得到行为状态。
7.通过采用上述技术方案，每隔一定周期从视频流数据中截取部分子视频流数据进行分析，一方面能够降低计算压力，另一方面也能够保证用户动作的连续性，通过模型推理的方式进行分析，随着训练样本的增加，推理则越准确。
8.本技术在一较佳示例中可以进一步配置为：所述预设周期为1min。
9.通过采用上述技术方案，每隔1min从视频流数据中截取部分子视频流数据进行分析，较为符合实际，也不至于无法捕捉到人员的行为。
10.本技术在一较佳示例中可以进一步配置为：获取该人员的取号号码并作为待验号码，包括：根据该人员的人脸图像匹配对应的取号号码作为待验号码。
11.通过采用上述技术方案，采用对子视频流数据中的图像中被标记为行为状态的人脸图像与初始取号时的人脸图像进行对比，进而可以匹配得到对应的取号号码。
12.本技术在一较佳示例中可以进一步配置为：所述根据处理信息分析所述待验号码对应的行为状态是否成立，包括：根据处理信息分析得到行为原因，所述行为原因包括处理速度原因和插队原因，以及无原因；在行为原因为处理速度原因和/或插队原因的情况下，判定所述待验号码对应的行为状态成立。
13.通过采用上述技术方案，成立则表明人员的行为状态确实与插队原因或处理速度原因相关，则继续进行后续处理。
14.本技术在一较佳示例中可以进一步配置为：所述根据处理信息分析所述待验号码对应的行为状态是否成立，还包括：在行为原因为无原因的情况下，判定所述待验号码对应的行为状态不成立。
15.通过采用上述技术方案，不成立则表明人员的行为状态大概率与插队原因或处理速度原因不相关。
16.本技术在一较佳示例中可以进一步配置为：还包括：策略生成单元，在所述行为原因为处理速度原因和/或插队原因的情况下，根据行
为原因匹配对应的安抚策略。
17.通过采用上述技术方案，匹配对应的安抚策略对服务人员的安抚工作进行指导，以更为贴合人员实际情绪。
18.本技术在一较佳示例中可以进一步配置为：所述预设数量设置为5。
19.综上所述，本技术包括以下至少一种有益技术效果：1、人员前往银行进行开户、存款、贷款、支付结算等服务活动时，先通过取号机取号，取号机上的取号摄像模组获取人员的人脸图像并和人员所取的取号号码相关联，然后人员可前往大厅内的休息区域或者在大厅内等待叫号到柜台处办理服务，并可通过叫号显示屏查看以被叫过好的部分取号号码和现在正在办理服务的取号号码，大厅摄像模组实时拍摄大厅内的视频流数据，并发送给处理模块，处理模块的行为分析单元对视频流数据进行分析得到每位人员的行为状态，例如用手机拍大腿、锤击、叹气、哈欠等，检测单元检测每位人员的行为状态是否是行为库中的预设行为状态，在相同时待验号码生成单元获取该人员的取号号码，然后通过处理信息分析该取号号码对应的行为状态是否成立，在成立时则表明该取号号码对应的人员存在不耐烦、情绪暴躁、愤忿等情况，则发送安抚指令给服务终端，服务终端所配备于的服务人员接收到安抚指令后对相应人员进行安抚；2、每隔一定周期从视频流数据中截取部分子视频流数据进行分析，一方面能够降低计算压力，另一方面也能够保证用户动作的连续性，通过模型推理的方式进行分析，随着训练样本的增加，推理则越准确；3、成立则表明人员的行为状态确实与插队原因或处理速度原因相关，则继续进行后续处理。
附图说明
20.图1是本技术一实施例中基于深度数据挖掘和人工智能的用户行为分析系统的各模块连接示意图；图2是本技术另一实施例中基于深度数据挖掘和人工智能的用户行为分析系统的各模块连接示意图。
具体实施方式
21.以下结合附图对本技术的示范性实施例做出说明，其中包括本技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
22.需要说明的是，本发明中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。
23.另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
24.图1是本技术一实施例中基于深度数据挖掘和人工智能的用户行为分析系统的各模块连接示意图，如图1所示，该基于深度数据挖掘和人工智能的用户行为分析系统，包括用于供人员取号的取号机、叫号显示屏、大厅摄像模组、用于配备于大厅服务人员的服务终端和处理模块，取号机、叫号显示屏、用于获取等候大厅内的视频流数据的大厅摄像模组、服务终端和处理模块之间通讯连接，具体地，优选用无线通讯的方式，例如lora技术、【wifi/ ieee 802.11】协议、【zigbee/802.15.4】协议、【thread /ieee 802.15.4】、【z-wave】协议等实现通讯。
25.取号机上设有取号摄像模组，取号摄像模组用于获取取号人员的人脸图像，例如，人员到达取号机处输入信息进行取号，在出号时获取取号机的显示屏前方区域的人脸图像，即实现取号人员的人脸图像获取，然后取号机将该人脸图像和该人员所取的取号号码进行关联；叫号显示屏悬挂于大厅高处，可以是安装于大厅顶梁柱上以实现公示作用，叫号显示屏显示预设数量个取号号码的序列，在一实施例中，预设数量设置为5，即叫号显示屏按照银行叫号系统的序列显示5个取号号码，且其中前四个取号号码为已处理完毕的人员的取号号码，显示的序列中最后一个为正在柜台办理服务的取号号码；大厅摄像模组安装于大厅一墙面高处，以能够拍摄到大厅内最大范围为准，大厅摄像模组拍摄到大厅内的视频流数据并发送给处理模块；处理模块包括：行为分析单元、检测单元、待验号码生成单元、处理信息获取单元、成立判定单元和指令发送单元，行为分析单元用于对视频流数据进行分析得到大厅内每位人员的行为状态；具体地，参照图2，行为分析单元包括：当前帧获取子单元，子视频流获取子单元和分析推理子单元；其中，当前帧获取子单元用于按照预设周期获取当前帧图像，上述的大厅摄像模组持续将拍摄到的视频流数据发送给处理模块，而当前帧获取子单元则按照预设周期例如1min一次获取当前帧图像，当前帧图像是指当前时间戳对应的一帧图像。然后子视频流获取子单元基于当前帧图像获取在当前帧图像之前的预设帧数的视频帧图像作为子视频流数据；预设帧数是预先设定的，例如可以设定为20帧。
26.然后分析推理子单元将每段子视频流数据输入预先训练好的分析模型，推理得到行为状态。具体地，分析模型通过以下方式训练得到：对图像样本训练集中的每个图像样本进行标注处理，以标注出每个图像样本的行为状态，行为状态与图像样本中的全部或部分信息相关联；以及通过经过标注处理的图像样本训练集，对神经网络进行训练，以得到分析模型。其中，每个图像样本均包括多帧图像，行为状态可以用手机拍大腿、锤击、叹气、哈欠等等，通过人为标注的方式实现样本标记，例如，通过截取视频流数据中的反映手机拍大腿动作的视频片段作为图像样本，然后标记手机拍大腿的行为状态；通过截取视频流数据中的反映锤击动作的视频片段作为图像样本，然后标记锤击的行为状态；又，通过截取视频流数据中的仅仅是正常坐态而没有行为的视频片段作为图像样本，然后标记无行为状态；通过该些标记后的样本数据进行训练，得到对应的分析模型。
27.检测单元用于检测每位人员的行为状态是否与行为库中的预设行为状态相同；具体地，行为库是预先存储的用于存储预设行为状态的库，该行为库所存储的预设行为状态
可以包括手机拍大腿、锤击、叹气、哈欠等，预设行为状态反应人员的不满、烦躁、不耐烦行为和心态，在上述分析模型分析出子视频流数据中的行为状态后，通过行为库中的预设行为状态进行比对，当子视频流数据中的行为状态能够在行为库中匹配到，则说明该人员有可能存在不满、烦躁、不耐烦行为和心态；待验号码生成单元用于在存在有人员的行为状态是否与行为库中的预设行为状态相同的情况下，获取该人员的取号号码并作为待验号码；具体地，通过根据该人员的人脸图像匹配对应的取号号码作为待验号码。
28.处理信息获取单元用于获取当前叫号显示屏上的预设数量个取号号码的处理信息，处理信息包括每个取号号码的处理时长和号码类型；接上例，叫号显示屏上显示5个取号号码，则处理信息获取单元获取该5个取号号码的处理时长和号码类型，处理时长可以通过统计叫号的相邻间隔时间得到，而号码类型通常会分为多种不同的业务标号，例如以中国银行的号码类型来说，n号是最基本的个人业务，k号是公司业务，c是贵宾客户，b是理财客户，a是最高级的私行客户，r是大堂经理的卡刷的号，其中，c是资产达到20万可以作为的贵宾客户， b是资产达到200万可以作为的理财客户，a是资产约达到700万最高级可以作为的私行客户，例如某一取号号码为c001，则代表该人员是资产达到20万的贵宾客户，在排队时可以直接作为待处理的人员序列中第一位；而相应的，n开头的取号号码会延后一位，n、k、c、b、a、r的优先级均不同，一般来说，n的优先级最低，而优先级较高的人员的取号号码会使优先级较低的人员的取号号码在排队序列中延后一位。
29.成立判定单元用于根据处理信息分析待验号码对应的行为状态是否成立；具体地，根据处理信息分析待验号码对应的行为状态是否成立，包括：根据处理信息分析得到行为原因，行为原因包括处理速度原因和插队原因，以及无原因；在行为原因为处理速度原因和/或插队原因的情况下，判定待验号码对应的行为状态成立。
30.根据处理信息分析待验号码对应的行为状态是否成立，还包括：在行为原因为无原因的情况下，判定待验号码对应的行为状态不成立。
31.其中，根据处理信息分析得到行为原因是通过对取号号码的处理时长和号码类型判断得到的，例如，当5个取号号码的处理时长超过预设时长例如90分钟，则判定为处理速度原因；若5个取号号码中存在至少2个优先级高于该人脸图像对应的取号号码的优先级，则判定为插队原因。若二者均有，则判定为行为原因为处理速度原因和插队原因；若二者均没有，则判定为无原因。
32.成立则表明人员的行为状态确实与插队原因或处理速度原因相关，则继续进行后续处理。
33.在行为状态成立的情况下，指令发送单元发送安抚指令给服务终端，安抚指令携带有待验号码以及对应的人脸图像。
34.在一实施例中，处理模块还包括策略生成单元，在行为原因为处理速度原因和/或插队原因的情况下，策略生成单元根据行为原因匹配对应的安抚策略。具体地，系统预先存储有行为原因和安抚策略的映射表，通过行为原因可以直接查询匹配到对应的安抚策略，安抚策略可以包括安抚语气、语句、表情等信息，实现对服务人员的指导，以更为贴合人员
实际情绪。
35.此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用asic（专用集成电路）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
36.这些计算程序（也称作程序、软件、软件应用、或者代码）包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置（例如，磁盘、光盘、存储器、可编程逻辑装置（pld）），包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
37.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，crt（阴极射线管）或者lcd（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
38.可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（lan）、广域网（wan）和互联网。
39.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本技术公开的技术方案所期望的结果，本文在此不进行限制。
40.上述具体实施方式，并不构成对本技术保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本技术的精神和原则之内所作的修改、等同替换和改进等，均应包含在本技术保护范围之内。