一种基于AI数字人的未来社区数字孪生管理系统的制作方法

一种基于ai数字人的未来社区数字孪生管理系统
技术领域
1.本发明涉及未来社区管理技术领域，更具体地说，涉及一种基于ai数字人的未来社区数字孪生管理系统。


背景技术：

2.目前国内在社区，小区的管理系统有2种，一种是较为平常的物业工单系统，一种是通过数据面板和简单的二三维地图交互组合的数据监控运维系统。第一种情况的系统一般设计使用在物业管理室或中控室，在一些智慧小区会有多种c端应用配合系统运行。目前小区居民大部分时间还是通过物业电话上报情况，人工输入系统相关的工单事件。第二种情况较多出现在目前智慧社区、未来社区的空间内，系统运行于中控室和社区公共的休闲空间大屏上。通过pc端系统投屏，社区内物联设备的实时信息可对接到系统进行展示，操作系统和检索信息的方式与平常的gui系统一致。
3.大部分情况下，设备有故障或离线会主动触发告警功能，通知中控室的管理人员进行处理，但有很多突发情况下管理人员难以从数据的微小变化预测紧急事件，或处于中控室外的人员难以及时了解情况，短信或电话的通知不能可视化的综合了解社区内特定空间、特定物模型、特定人员的细节需求或求助，且自然语言的理解通过多层系统的传递容易产生信息维度的丢失。


技术实现要素：

4.1．要解决的技术问题针对现有技术中存在的问题，本发明的目的在于提供一种基于ai数字人的未来社区数字孪生管理系统，它不仅可以满足近场及远场紧急救助上报的需求，不需要用户近距离接触数字孪生大屏设备，还可以增加社区系统信息检索的效率。
5.2．技术方案为解决上述问题，本发明采用如下的技术方案。
6.一种基于ai数字人的未来社区数字孪生管理系统，包括ai数字人以及运行于未来社区中控室大屏上的数字孪生运营模块、数字人引擎模块和云处理模块；数字孪生运营模块与数字人引擎模块信号连接；数字人引擎模块与云处理模块信号连接；数字孪生运营模块将业务指令通过数字人引擎模块上传至云处理模块；云处理模块将业务反馈通过数字人引擎模块上传至数字孪生运营模块；数字孪生运营模块包括数据面板模块、ai数字人参数配置模块、可视化3d引擎模块和开放接口模块；数据面板模块通过web数据图表综合展示未来社区各场景的人、空间、设备和事务数据；ai数字人参数配置模块通过低代码的参数调节面板调整ai数字人的基础配置；数据人参数配置模块可内嵌在可视化3d引擎模块内使用；
可视化3d引擎模块用于提供数字孪生场景空间渲染以及高清晰度和高仿真性的物理渲染；开放接口模块用于整合可视化3d引擎模块的交互能力生成前端web页面的开放调用接口，开放调用接口和数据面板模块共同组合提供的上层调用接口包含在开放接口模块中；数字人引擎模块包括肢体引擎模块、面部表情引擎模块、ai视觉引擎模块、技能配置引擎模块和知识图谱引擎模块；肢体引擎模块用于管理ai数字人肢体动作参数；面部表情引擎模块用于管理ai数字人面部表情；ai视觉引擎模块用于人脸识别、表情识别、物体检测和语义分割；技能配置引擎模块用于提供ai数字人的对话策略和对话能力；技能配置引擎模块包括对话式系统、faq系统、结构化文档、非结构化文档；知识图谱引擎模块为数字人引擎模块的知识数据库；云处理模块包括物联网lot中台、nlp算法训练中台和消息调度中台；物联网lot中台用于管控未来社区内的物联设备；消息调度中台为消息通信中台，用于物联、上层应用和系统指令的消息传递分发；nlp算法训练中台用于为技能配置引擎模块提供nlp核心算法。
7.进一步的，业务反馈包括但不限于数据计算、算法预测结果输出和音频合成驱动。
8.进一步的，肢体引擎模块中内置20个预置肢体动画骨骼，可拓展定制动画骨骼和动捕设备的骨骼动画数据，兼容fbx、bvh格式。
9.进一步的，面部表情引擎模块可兼容以下两种输入方式：（1）、语音文件驱动面部特征点运动模式；语音文件驱动通过语音sequence2sequence算法解析输出语言学通用音子，音子对应通用的表情运动特征，以口型为主，通过归类计算灵活调用适合的口型，满足逼真实时的对话任务；（2）、真人面部动捕数据导入对应运动模式；真人数据输入驱动表情适合用于特定的应用场景，提取真人音频数据的fbank特征、结合deepspeech模块的音频特征提高算法泛化性，开发标准的面部控制器系统，满足有社区ip或特殊人物ip定制的需求。
10.进一步的，ai视觉引擎模块支持以下数据输入终端设备：（1）、大屏配套使用的智能设备，智能设备包括但不限于人脸相机、ipad、ar眼镜；ai数字人可通过前端设备激活人脸识别，主动发出身份确认的语音问候，同时进行历史数据的调用，人物使用历史日志可以作为知识图谱的历史语料训练数据，深度支撑本轮交互。
11.（2）、园区安全摄像头；园区安全摄像头用于大范围户外物体的视觉识别工作，主要提供实时海量的多模态训练基础，同时在nlp算法的支撑下实现ai数字人的搜索引擎与推荐对话功能，实时准确的对未来社区内的数字化元素进行检索和搜索。
12.进一步的，知识图谱领域包括开放领域和专业领域，面向未来社区的多个场景数据，构建多个图谱数据库，以bert大模型预训练图数据库的关系数据，聚类多元组实体关系和语义关系。
13.进一步的，ai数字人的sdk可集成于未来社区全屋智能的智能硬件中，基于家庭投影生成技术提供服务ai数字人；ai数字人终端载体兼容智能镜面和墙壁投影。
14.3．有益效果相比于现有技术，本发明的优点在于：（一）本方案不仅可以满足近场及远场紧急救助上报的需求，不需要用户近距离接触数字孪生大屏设备，还可以增加社区系统信息检索的效率。
15.（二）通过集语音、视觉、数据分析等多模态能力于一体的ai数字人，实现高度拟人化特征（高模皮肤特征、实时表情反馈），可高度支撑真人交互，同时数字人知识图谱引擎支撑智慧社区、家居领域的海量问答需求和知识索引任务，大大增加了社区综合管理系统的知识抽取和信息检索的效率。
16.（三）数字人协助预测人流疏散和精准帮助场内救助人员进行定位救助。
17.（四）数字人可根据物联设备上报的数据整合分析，图文视频信息进行语义理解，输出数据异常并主动上报，主动发起对话，主动引用数据报表和视频理解数据辅助中控室管理员迅速作出处理。
18.（五）在社区人员培训阶段，数字人可处理大信息量的数据教学任务，以高清晰度的拟人形象教学，传达智慧社区内庞大的知识和数字孪生系统的复杂业务操作，可替代一次性的人工教学流程，不受时间空间的约束。
附图说明
19.图1为本发明的模块图；图2为本发明的数字人交互信号传输图；图3为本发明的紧急事件发生时数字人协同救助的信号图；图4为本发明的紧急事件救助模块框图；图5为本发明的紧急事件救助流程图。
具体实施方式
20.实施例：请参阅图1-5的一种基于ai数字人的未来社区数字孪生管理系统，该系统可统一处理未来社区九大场景（邻里场景、教育场景、健康场景、创业场景、建筑场景、交通场景、低碳场景、服务场景、治理场景）的业务和数据事件，它包括ai数字人以及运行于未来社区中控室大屏上的数字孪生运营模块、数字人引擎模块和云处理模块。
21.中控室大屏可展示的信息包括但不限于以下几种：1、孪生3d设备物联状态展示；2、系统视角与坐标数据更新；3、数字人视频信息解读、异常报告。
22.数字孪生运营模块与数字人引擎模块信号连接；数字人引擎模块与云处理模块信号连接；数字孪生运营模块将业务指令（业务指令指的是某个应用场景的单一处理操作）通过数字人引擎模块上传至云处理模块，数字孪生运营模块将业务指令上传至数字人引擎模块主要通过开放接口模块实现；云处理模块将业务反馈通过数字人引擎模块上传至数字孪生运营模块。
23.数字孪生运营模块包括数据面板模块、ai数字人参数配置模块、可视化3d引擎模块和开放接口模块。
24.数据面板模块通过web数据图表综合展示未来社区各场景的人、空间、设备和事务
数据。
25.ai数字人参数配置模块通过低代码的参数调节面板调整ai数字人的基础配置（声音、形象、动作等）；数据人参数配置模块可内嵌在可视化3d引擎模块内使用。
26.可视化3d引擎模块用于提供数字孪生场景空间渲染以及高清晰度和高仿真性的物理渲染；可视化3d引擎模块作为整个管理系统的数字底板，搭配数据面板模块联动展示。
27.开放接口模块用于整合可视化3d引擎模块的交互能力生成前端web页面的开放调用接口，开放调用接口和数据面板模块共同组合提供的上层调用接口包含在开放接口模块中。
28.数字人引擎模块包括肢体引擎模块、面部表情引擎模块、ai视觉引擎模块、技能配置引擎模块和知识图谱引擎模块。
29.肢体引擎模块用于管理ai数字人肢体动作参数；肢体引擎模块中内置20个预置肢体动画骨骼，可拓展定制动画骨骼和动捕设备的骨骼动画数据，兼容fbx、bvh格式。
30.面部表情引擎模块用于管理ai数字人面部表情；面部表情引擎模块可兼容以下两种输入方式：（1）、语音文件驱动面部特征点运动模式；语音文件驱动通过语音sequence2sequence算法解析输出语言学通用音子，音子对应通用的表情运动特征，以口型为主，通过归类计算灵活调用适合的口型，满足逼真实时的对话任务；（2）、真人面部动捕数据导入对应运动模式；真人数据输入驱动表情（整体面部）适合用于特定的应用场景，提取真人音频数据的fbank特征、结合deepspeech模块的音频特征提高算法泛化性，开发标准的面部控制器系统，满足有社区ip或特殊人物ip定制的需求。
31.ai视觉引擎模块用于人脸识别、表情识别、物体检测和语义分割；ai视觉引擎模块支持以下数据输入终端设备：（1）、大屏配套使用的智能设备（智能设备提供人机交互阶段需要的深度交互功能），智能设备包括但不限于人脸相机、ipad、ar眼镜；ai数字人可通过前端设备激活人脸识别，主动发出身份确认的语音问候，同时进行历史数据的调用，人物使用历史日志可以作为知识图谱的历史语料训练数据，深度支撑本轮交互。
32.（2）、园区安全摄像头；园区安全摄像头用于大范围户外物体的视觉识别工作，主要提供实时海量的多模态训练基础，同时在nlp算法的支撑下实现ai数字人的搜索引擎与推荐对话功能，实时准确的对未来社区内的数字化元素进行检索和搜索；可大大提升业务端的管理人员查找数字孪生管理系统内数据和实体元素的效率。
33.技能配置引擎模块用于提供ai数字人的对话策略和对话能力；技能配置引擎模块包括对话式系统、faq系统、结构化文档、非结构化文档；知识图谱引擎模块为数字人引擎模块的知识数据库；知识图谱领域包括开放领域和专业领域，面向未来社区的多个场景数据，构建多个图谱数据库，以bert大模型预训练图数据库的关系数据，聚类多元组实体关系和语义关系。
34.云处理模块包括物联网lot中台、nlp算法训练中台和消息调度中台；物联网lot中台用于管控未来社区内的物联设备，物联数据接入后综合监控，同时物联网lot中台可实现物联数据和物联设备的中心调控。
35.物联设备例如摄像头可向知识图谱引擎模块传输设备物联状态和摄像头视频数
据流。
36.消息调度中台为（数字孪生管理系统的）消息通信中台，用于物联、上层应用和系统指令的消息传递分发；nlp算法训练中台用于为技能配置引擎模块提供nlp核心算法。
37.业务反馈包括但不限于数据计算、算法预测结果输出和音频合成驱动。
38.ai数字人的sdk可集成于未来社区全屋智能的智能硬件中，基于家庭投影生成技术提供服务ai数字人；ai数字人终端载体兼容智能镜面（人类表情、日常肢体互动均可驱动数字人智能镜面设备）和墙壁投影。
39.ai数字人内具有数字人对讲应用，中控室管理人员可通过语音传入数字人内的数字人对讲应用而唤醒数字人；ai数字人模型可分布式存储于社区各个数字人智能设备中，部分对话技能可离线配置于设备中，实现数字孪生社区服务场景与人机交互的快速融合。
40.全屋智能场景：可通过ai语音指令（如：今日锻炼建议），ai语义经过算法解码为意图传递到lot中台，家庭网关调用物联网通信链路，物联音箱播放系统、适合运动的灯光模式、镜面数字人运动指南均接受启动指令开启。
41.本发明的数字孪生管理系统还可适用于紧急事件（老人急病、紧急火灾、紧急呼救），用户（待救护人员）语音向ai数字人呼救，ai数字人在收到语音呼救后被迅速唤醒，通过物业终端应用向中控室上报呼救信息，同时数字人自动启动镜面摄像功能，传输室内视频数据、点云数据、生物特征、红外数据至中控室，协助中控室数据分析，可提供待救护人员高效的位置信息、生命特征、生命威胁状态数据。
42.中控室将数据传达至一线救援人员佩戴的具有雷达设备的ar可视化头盔上，雷达设备可精准生成现场的点云，配备gps定位，精准叠加空间建模信息，展示建筑通道和导航路线，数字人计算出最短的救助路径，救援员可语音输入特定指令，如
ꢀ“
最近救助目标”，可视化ar导航根据现场物联传感数据、语音求救信息、空间点信息，综合判断提供以下信息：1 、数字人展示最近的救助目标（目标人员可以以低精度数字人形式展示）；2 、导航救助过程的最短路径，通过数字孪生场景向救援人员展示；3 、周边实时信息监控：附近易燃易爆预警、温度过高预警、co浓度等；4 、可通过待救护人员室内数字人设备远程获取室内情况（摄像头、红外摄像头、点云扫描仪）。