一种SIM身份多模态感知营业厅多端协同主动服务方法与流程

本发明涉及数字身份认证、多模态感知及营业厅智能服务，尤其涉及一种sim身份多模态感知营业厅多端协同主动服务方法及装置。

背景技术：

1、随着通信运营商营业厅数字化转型的不断深入，营业厅内已逐步部署多种智能服务终端，包括双足服务机器人、桌面服务终端、ai自助写卡机以及佩戴电子工牌的服务人员等，形成了面向客户自助查询、业务办理及sim卡写入等功能的综合服务能力体系。上述终端构成了运营商ai营业厅产品体系的核心服务节点，为客户提供多元化的业务办理渠道。

2、目前，与上述技术背景相关的现有技术方案主要包括以下几类：

3、第一类为基于多任务方言识别的智能设备语音交互方案，该方案通过多任务方言识别模型实现智能设备的语音交互，涵盖方言识别与语音意图理解两个并行任务。然而，该类方案需由客户主动发起语音指令方可触发交互流程，属于被动服务模式，无法在客户进入营业厅时即完成身份感知与需求预判。

4、第二类为音频与视频融合的交互方案，其通过注意力机制实现音频数据和视频数据的多模态特征融合处理。该类方案主要面向多媒体内容处理场景，尚未涉及营业厅多终端协同服务调度及客户身份感知的融合应用。

5、第三类为基于语音指令与声纹认证的蓝牙配对方案，其利用语音指令和声纹认证实现蓝牙设备的配对连接认证，解决了单一场景下的设备认证问题。然而，该方案仅覆盖设备配对环节，缺乏跨终端服务协同和会话交接的能力。

6、第四类为基于智能卡的电子卡应用方案，其基于javacard规范及国密算法在智能卡安全芯片内构建应用模块，通过nfc方式实现非接触式核验与数据记录。该类方案与上述场景在智能卡身份载体及nfc近场通信方面存在一定的技术相似性，但其应用场景集中于单一业务核验，未涉及多终端协同调度与多模态感知融合。

7、第五类为传统营业厅客户识别方案，主要依赖客户主动出示证件、扫码或接受人工询问等方式完成身份确认，识别效率较低且需客户主动配合，难以实现无感化入场识别。第六类为sim数字身份的线上应用方案，运营商认证平台的sim数字身份认证能力目前仅应用于线上场景，尚未延伸至线下营业厅的客户身份感知与服务调度领域，sim数字身份的线下近场感知与多终端协同服务之间存在明显的技术断层。

8、综上所述，现有营业厅智能服务方案存在以下主要技术缺陷：其一，服务流程以被动响应为主，智能终端无法在客户到达前预先识别身份及服务需求，客户需自行寻找终端或排队等候，未能实现“入场即识别”的无感体验；其二，各智能终端之间缺乏有效的协同机制，双足机器人、桌面服务终端及ai自助写卡机等设备各自独立运行，无法根据客户的多环节服务需求进行跨终端任务调度与流程编排，客户在办理多项业务时需在不同终端间反复切换，每次切换均需重新进行身份认证与信息录入，服务连续性不足；其三，sim数字身份认证能力局限于线上应用，运营商独有的sim卡安全元件身份载体尚未在线下营业厅场景中实现感知与调度应用。

9、因此，亟需提供一种基于sim数字身份线下近场感知与多模态行为感知数据融合的多终端协同主动服务方法，以实现客户入场即识别、需求精准预测、终端智能调度及跨终端无感交接的全流程主动服务。

技术实现思路

1、本发明的主要目的在于提供一种sim身份多模态感知营业厅多端协同主动服务方法。

2、本发明的另一个目的在于提出一种sim身份多模态感知营业厅多端协同主动服务装置。

3、本发明的第三个目的在于提出一种电子设备。

4、本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

5、为达上述目的，本发明第一方面实施例提出了一种sim身份多模态感知营业厅多端协同主动服务方法，包括：

6、通过部署在营业厅入口的近场通信模块检测客户移动终端中sim卡安全元件存储的加密身份标识符，并与同步获取的设备标识进行绑定校验，校验通过后生成临时会话标识符；

7、将所述临时会话标识符和所述加密身份标识符发送至营服智能体，所述营服智能体调用认证平台的数字身份认证接口完成身份验证，并在身份验证通过后获取所述客户的业务画像数据；

8、采集所述客户在营业厅内的多模态行为感知数据，所述多模态行为感知数据包括视觉轨迹数据、语音意图数据和驻留位置数据；

9、基于所述业务画像数据确定各模态的注意力权重，利用所述注意力权重对多模态行为感知数据与业务画像数据进行动态加权融合，生成客户服务需求预测结果，并根据预测结果结合各智能终端的负载信息和位置信息选取主服务终端；

10、根据客户服务需求预测结果生成服务交接路径，按照服务交接路径依次对路径上的各智能终端执行界面预配置，并向主服务终端发送主动引导指令，使主服务终端接近客户并输出引导话术，完成对客户服务需求的响应，实现跨终端的无感服务交接。

11、可选的，通过部署在营业厅入口的近场通信模块检测客户移动终端中sim卡安全元件存储的加密身份标识符，并与同步获取的设备标识进行绑定校验，校验通过后生成临时会话标识符，包括：

12、通过部署于营业厅入口区域的nfc感应阵列，读取客户移动终端中sim卡安全元件内isd-p域存储的加密身份标识符，所述加密身份标识符遵循globalplatform规范；

13、通过部署于相同区域的蓝牙信标阵列，同步获取所述客户移动终端的ble mac地址作为设备标识；

14、将所述加密身份标识符与所述设备标识发送至本地校验模块，验证两者的对应关系是否存在于预注册白名单中；

15、在校验通过后，生成临时会话标识符，所述临时会话标识符在客户离开nfc感应范围后经过预设时长自动失效。

16、可选的，将所述临时会话标识符和所述加密身份标识符发送至营服智能体，所述营服智能体调用认证平台的数字身份认证接口完成身份验证，并在身份验证通过后获取所述客户的业务画像数据，包括：

17、将所述临时会话标识符和所述加密身份标识符通过附加tls/ssl加密的https安全通道发送至营服智能体；

18、通过restful api调用认证平台的sim数字身份认证接口，向认证平台提交所述加密身份标识符；

19、基于sim卡安全元件与运营商核心网之间的双向鉴权完成身份验证，获取认证平台返回的认证结果及对应的客户手机号；

20、在身份验证通过后，从业务画像数据库获取所述客户的业务画像数据，所述业务画像数据包括历史业务办理记录、当前待办业务、合约状态及偏好信息。

21、可选的，采集所述客户在营业厅内的多模态行为感知数据，包括：

22、通过部署于营业厅内的高清摄像阵列采集客户影像，基于人体姿态识别算法提取客户骨架信息，结合轨迹追踪算法获取客户的行走轨迹和面部表情作为视觉轨迹数据；

23、通过定向麦克风阵列采集所述客户的语音片段，基于意图分类模型对语音片段进行关键词提取和意图分类，将语音片段转化为意图标签作为语音意图数据；

24、通过室内定位传感器获取客户在营业厅内的实时坐标作为驻留位置数据。

25、可选的，基于所述业务画像数据确定各模态的注意力权重，利用所述注意力权重对多模态行为感知数据与业务画像数据进行动态加权融合，生成客户服务需求预测结果，包括：

26、将视觉轨迹数据、语音意图数据、驻留位置数据和业务画像数据分别转换为特征向量形式；

27、基于所述业务画像数据的特征向量，通过归一化指数函数计算各模态的注意力权重，其中，当业务画像指示客户具有明确业务目标时，提高语音意图和业务画像的注意力权重，当客户为首次到访或业务目标不明确时，提高视觉轨迹和驻留位置的注意力权重；

28、将各模态特征向量按其对应的注意力权重进行加权求和，生成融合特征向量；

29、将融合特征向量输入分类网络，输出客户服务需求预测结果及其置信度。

30、可选的，根据预测结果结合各智能终端的负载信息和位置信息选取主服务终端，包括：

31、根据所述客户服务需求预测结果所包含的业务类型，匹配具备对应服务能力标签的候选终端集合；

32、获取各智能终端的当前负载率和地理位置坐标；

33、基于各终端的负载率计算负载均衡评分，基于各终端与客户之间的距离计算距离评分；

34、按照预设的负载均衡权重和距离权重，对候选终端集合中的各终端进行加权综合评分，选取评分最优的终端作为主服务终端。

35、可选的，根据客户服务需求预测结果生成服务交接路径，按照服务交接路径依次对路径上的各智能终端执行界面预配置，并向主服务终端发送主动引导指令，使主服务终端接近客户并输出引导话术，完成对客户服务需求的响应，包括：

36、在所述客户服务需求预测结果涉及多个业务环节时，按照各业务环节的先后顺序生成服务交接路径；

37、按照所述服务交接路径，在客户到达前依次对路径上的各智能终端执行交互界面预配置，预配置的内容根据该终端的设备类型和所承接的业务环节确定；

38、当所述主服务终端为可移动机器人时，向所述主服务终端发送包含客户实时位置和引导目标的主动引导指令；

39、基于室内导航算法规划行走路径，实时接收更新的客户位置坐标并动态调整路径，控制所述主服务终端主动接近客户；

40、在到达客户附近后，通过语音交互模块输出个性化引导话术，将客户引导至服务交接路径上的目标终端位置；

41、在客户到达目标终端后，通过客户移动终端完成二次身份确认，建立服务交互会话；

42、在服务交接时，将会话状态、已办理业务数据和待办业务列表封装为会话交接包，通过统一消息总线转发至下一服务终端，使下一终端基于会话交接包恢复服务交互界面，实现无感服务交接。

43、为达上述目的，本发明第二方面实施例提出了一种sim身份多模态感知营业厅多端协同主动服务装置，包括：

44、近场感知检测单元，用于通过部署在营业厅入口的近场通信模块检测客户移动终端中sim卡安全元件存储的加密身份标识符，并与同步获取的设备标识进行绑定校验，校验通过后生成临时会话标识符；

45、身份认证画像单元，用于将所述临时会话标识符和所述加密身份标识符发送至营服智能体，所述营服智能体调用认证平台的数字身份认证接口完成身份验证，并在身份验证通过后获取所述客户的业务画像数据；

46、多模感知采集单元，用于采集所述客户在营业厅内的多模态行为感知数据，所述多模态行为感知数据包括视觉轨迹数据、语音意图数据和驻留位置数据；

47、融合调度分配单元，用于基于所述业务画像数据确定各模态的注意力权重，利用所述注意力权重对多模态行为感知数据与业务画像数据进行动态加权融合，生成客户服务需求预测结果，并根据预测结果结合各智能终端的负载信息和位置信息选取主服务终端；

48、协同服务执行单元，用于根据客户服务需求预测结果生成服务交接路径，按照服务交接路径依次对路径上的各智能终端执行界面预配置，并向主服务终端发送主动引导指令，使主服务终端接近客户并输出引导话术，完成对客户服务需求的响应，实现跨终端的无感服务交接。

49、关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

50、为达上述目的，本技术第三方面实施例提出了一种电子设备，包括：处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如第一方面实施例所述的一种sim身份多模态感知营业厅多端协同主动服务方法。

51、为达上述目的，本技术第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所述的一种sim身份多模态感知营业厅多端协同主动服务方法。

52、本发明实施例具有以下有益效果：

53、1.将sim数字身份认证能力从线上拓展至线下营业厅场景，通过近场通信实现客户入场即完成无感身份识别。

54、2.构建基于注意力机制的多模态融合预测方法，以业务画像特征为权重分配依据，对视觉轨迹、语音意图、驻留位置及业务画像四类数据进行自适应加权融合，提升需求预测准确率。

55、3.建立多终端协同服务调度机制，基于终端状态矩阵综合优化选取主服务终端并生成服务交接路径；通过会话交接包封装与恢复，配合sim动态认证令牌的二次确认，实现跨终端无缝服务传递，消除客户重复认证和信息录入的流程断裂感。

56、4.同时配置可移动机器人主动引导机制，将传统被动服务模式转变为主动智能引导模式。本发明实现了“入场即识别、需求即预测、终端即调度、服务即交接”的全流程主动服务。