基于多模交互的交通票务处理装置、系统及方法与流程

技术特征：
1.基于多模交互的交通票务处理装置，其特征在于：包括信号采集模块、处理模块和引导模块；所述信号采集模块包括语音采集单元和图像采集单元；所述处理模块包括识别单元、解析单元和预设深度学习模型；所述识别单元包括人脸检测器、解码器；所述识别单元基于多模信号运行识别算法得到对应语音内容的文本，所述多模信号包括语音和用户图像；所述预设深度学习模型包括序列标注模型、长短期记忆网络模型、2d卷积神经网络模型；所述解析单元基于语义理解算法从所述文本中获取票务处理所需内容；所述引导模块根据所述票务处理所需内容得到票务处理结果并将其反馈给用户。2.根据权利要求1所述的基于多模交互的交通票务处理装置，其特征在于：所述用户图像是指用户唇部图片；所述识别算法包括多模唇语识别算法。3.根据权利要求1所述的基于多模交互的交通票务处理装置，其特征在于：所述人脸检测器是带人脸关键点检测的人脸检测算法模型，根据人脸关键点抠取唇部图片；唇部图片的特征抽取模型是所述2d卷积神经网络模型；结合唇部图片特征和语音特征输入到所述长短期记忆网络模型；所述语义理解算法包括基于所述长短期记忆网络模型的自然语言处理算法。4.根据权利要求1所述的基于多模交互的交通票务处理装置，其特征在于：所述引导模块包括导航地图软件；所述引导模块基于所述解析单元获取的目的地，调用所述导航地图软件接口，输出目的站，并根据所述目的站进行计算输出相关票务信息；所述相关票务信息包括票价、线路、票数或取票位置中的一个或几个。5.根据权利要求1
‑
4任意一项所述的基于多模交互的交通票务处理装置，其特征在于：所述语音采集单元包括麦克风阵列和回声消除芯片。6.根据权利要求1
‑
4任意一项所述的基于多模交互的交通票务处理装置，其特征在于：所述图像采集单元包括双目摄像头，用于同一时间捕获两帧图像；所述识别单元运行双目测距算法计算当前图像所包含用户的相对远近关系，所述用户图像是指当前图像中最靠前的用户的图像。7.根据权利要求1
‑
4任意一项所述的基于多模交互的交通票务处理装置，其特征在于：还包括交易模块，用于完成票价的电子支付。8.根据权利要求7所述的基于多模交互的交通票务处理装置，其特征在于：所述交易模块包括网络通信单元，所述网络通信单元用于将所述人脸检测器获取的面部特征数据上传至服务器，进行人脸支付认证。9.交通票务处理系统，其特征在于：包括若干权利要求1
‑
8任意一项所述的交通票务处理装置和若干自动出票装置，所述交通票务处理装置与所述自动出票装置通信连接。10.根据权利要求9所述的交通票务处理系统，其特征在于：所述交通票务处理装置与所述自动出票装置通过局域网通信连接；一台所述自动出票装置对应连接多台所述交通票务处理装置。11.交通票务处理方法，其特征在于：包括：
步骤s1.信息采集模块录入用户语音及图像数据；步骤s2.识别单元提取多模信号，运行识别算法得到对应语音内容的文本；步骤s3.基于语义理解算法从所述文本中获取票务处理所需内容；步骤s4.根据所述票务处理所需内容得到票务处理结果并将其反馈给用户。12.根据权利要求11所述的交通票务处理方法，其特征在于：所述步骤s1中，所述录入用户语音及图像数据，由用户人为触发。13.根据权利要求11所述的交通票务处理方法，其特征在于：所述步骤s2中，识别单元提取多模信号包括：人脸检测算法检测人脸，并得到人脸landmark点；提取一段时间内的多帧唇部图片，卷积神经网络模型判断用户是否有唇动，若唇动则连续提取对应的音频mfcc特征直至检测到无唇动。14.根据权利要求13所述的交通票务处理方法，其特征在于：所述“提取一段时间内的多帧唇部图片”之前，所述识别单元运行双目测距算法进行计算得到用户的位置信息，所述唇部图片是指当前图像中最靠前的用户的唇部图片。15.根据权利要求13所述的交通票务处理方法，其特征在于：所述步骤s2中，“运行识别算法得到对应语音内容的文本”具体是运行多模唇语识别算法，将唇部图片输入到2d卷积神经网络模型得到唇部图片特征，再将所述唇部图片特征、所述音频mfcc特征输入长短期记忆网络模型，经解码器解码输出对应语音内容的文本。16.根据权利要求11所述的交通票务处理方法，其特征在于：所述步骤s3中，包括将所述对应语音内容的文本输入到长短期记忆网络模型或文本卷积模型进行意图识别，若是请求买票意图，则将文本输入到序列标注模型抽取出目的地、票数内容，如所述对应语音内容的文本不属于买票意图则提示用户选择重新输入语音或中止当前票务处理。17.根据权利要求11所述的交通票务处理方法，其特征在于：所述步骤s4中，包括调用导航地图软件接口，基于步骤s3中得到的目的地，搜索得到最合适的目的站。18.根据权利要求11
‑
17任意一项所述的交通票务处理方法，其特征在于：所述步骤s4中，包括引导用户进行支付和取票。

技术总结
本发明提供基于多模交互的交通票务处理装置，包括信号采集模块、处理模块和引导模块；所述信号采集模块包括语音采集单元和图像采集单元；所述处理模块包括识别单元、解析单元、若干预设深度学习模型；所述识别单元包括人脸检测器、解码器；所述多模信号包括语音和用户图像。能够进行多模交互，有效抑制背景噪音干扰，更准确的识别语音获取用户的出行需求，票务处理效率高，更便捷。本发明提供的交通票务处理系统因采用本发明的交通票务处理装置而具有相应优势。本发明提供的交通票务处理方法，对人工依赖少、利于缩短票务处理时间、提高用户出行体验。用户出行体验。用户出行体验。


技术研发人员：黄羿衡 倪勇
受保护的技术使用者：江苏苏云信息科技有限公司
技术研发日：2021.06.11
技术公布日：2021/9/6