人机交互系统、方法及智能机器人与流程

技术特征：
1.一种人机交互系统，其特征在于，所述人机交互系统包括图像采集模块、模型加速模块、模型推理模块和交互功能模块；所述图像采集模块，用于基于预设的初始化策略，对智能机器人的摄像头进行参数初始化，并控制所述摄像头采集与所述智能机器人进行交互时的用户人脸图像；所述模型加速模块，用于对预设的人脸识别模型进行模型转换，得到tensorrt模型，并基于所述tensorrt模型，创建模型运行引擎；所述模型推理模块，用于基于所述模型运行引擎，对所述用户人脸图像进行识别推理，得到推理结果；所述交互功能模块，用于根据所述推理结果，向用户反馈交互动作信息。2.如权利要求1所述的人机交互系统，其特征在于，所述模型加速模块，具体包括：转换单元，用于对所述人脸识别模型进行层间融合和精度校准，得到所述tensorrt模型；序列化单元，用于对所述tensorrt模型进行序列化，得到优化文件，并将所述优化文件存储至预设存储空间；创建单元，用于读取所述预设存储空间中的优化文件，并对所述优化文件进行反序列化，以及根据反序列化后的所述优化文件，创建所述模型运行引擎。3.如权利要求1所述的人机交互系统，其特征在于，所述模型推理模块，具体包括：检测单元，用于对所述用户人脸图像进行人脸特征提取，得到第一人脸特征，并根据所述第一人脸特征，检测所述用户人脸图像中的人脸区域和人脸关键点；对齐单元，用于利用普氏分析法，对所述用户人脸图像中的人脸区域进行角度矫正，以及对所述用户人脸图像中的人脸关键点进行对齐变换，得到目标人脸图像；确定单元，用于对所述目标人脸图像进行人脸特征提取，得到第二人脸特征，并根据所述第二人脸特征，确定所述用户人脸图像对应的所述推理结果。4.如权利要求3所述的人机交互系统，其特征在于，所述检测单元，具体包括：第一提取子单元，用于对所述用户人脸图像进行整体特征提取，得到整体特征；第二提取子单元，用于根据所述整体特征提取所述用户人脸图像的多尺度特征，得到多尺度特征图；输出子单元，用于利用预设的ssh算法，根据所述多尺度特征图，输出所述用户人脸图像中的人脸区域和人脸关键点。5.如权利要求3所述的人机交互系统，其特征在于，所述对齐单元，具体包括：第一确定子单元，用于利用最小二乘法，确定所述用户人脸图像中的人脸区域与预设标准区域之间的人脸倾斜角度；旋转子单元，用于根据所述人脸倾斜角度，对所述用户人脸图像中的人脸区域进行旋转变换；对齐子单元，用于对旋转变换后的所述用户人脸图像中的人脸关键点进行对齐变换，得到所述目标人脸图像。6.如权利要求3所述的人机交互系统，其特征在于，所述确定单元，具体包括：增强子单元，用于对所述目标人脸图像进行水平翻转，并对翻转前和翻转后的两张所述目标人脸图像进行拼接，得到目标拼接图像；
第三提取子单元，用于对所述目标拼接图像进行人脸特征提取，得到所述第二人脸特征；查询子单元，用于遍历预设的人脸数据库，查询与所述第二人脸特征的相似度最高，且相似度大于预设阈值的目标特征id；第二确定子单元，用于根据所述目标特征id，确定所述用户人脸图像对应的推理结果。7.如权利要求1所述的人机交互系统，其特征在于，所述交互功能模块，具体包括：运动控制单元，用于根据所述推理结果中的用户位置信息，控制所述智能机器人运动至靠近用户的目标位置；语音单元，用于将预设语音信息与所述推理结果中的用户身份信息进行结合，得到目标语音信息，向用户播报所述目标语音信息；表情控制单元，用于根据所述推理结果中的用户表情信息，模拟用户表情。8.一种人机交互方法，其特征在于，应用于智能机器人，方法包括：基于预设的初始化策略，对摄像头进行参数初始化，并控制所述摄像头采集与所述智能机器人进行交互时的用户人脸图像；对预设的人脸识别模型进行模型转换，得到tensorrt模型，并基于所述tensorrt模型，创建模型运行引擎；基于所述模型运行引擎，对所述用户人脸图像进行识别推理，得到推理结果；根据所述推理结果，向用户反馈交互动作信息。9.如权利要求8所述的人机交互方法，其特征在于，所述对预设的人脸识别模型进行模型转换，得到tensorrt模型，并基于所述tensorrt模型，创建模型运行引擎，包括：对所述人脸识别模型进行层间融合和精度校准，得到所述tensorrt模型；对所述tensorrt模型进行序列化，得到优化文件，并将所述优化文件存储至预设存储空间；读取所述预设存储空间中的优化文件，并对所述优化文件进行反序列化，以及根据反序列化后的所述优化文件，创建所述模型运行引擎。10.一种智能机器人，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器执行所述计算机程序时实现如权利要求8或9所述的人机交互方法。

技术总结
本申请公开了一种人机交互系统、方法及智能机器人，人机交互系统包括图像采集模块、模型加速模块、模型推理模块和交互功能模块；图像采集模块，用于基于预设的初始化策略，对智能机器人的摄像头进行参数初始化，并控制摄像头采集与智能机器人进行交互时的用户人脸图像；模型加速模块，用于对预设的人脸识别模型进行模型转换，得到TensorRT模型，并基于TensorRT模型，创建模型运行引擎；模型推理模块，用于基于模型运行引擎，对用户人脸图像进行识别推理，得到推理结果；交互功能模块，用于根据推理结果，向用户反馈交互动作信息。本实施例能够保证人脸识别结果的准确度，提高人脸识别速度以及降低硬件成本。识别速度以及降低硬件成本。识别速度以及降低硬件成本。


技术研发人员：刘娜 袁野 张赛 王中磐 吴国栋
受保护的技术使用者：中原动力智能机器人有限公司
技术研发日：2021.11.12
技术公布日：2022/3/15