一种仿生机器人表情控制方法、系统、设备及存储介质与流程
本发明实施例涉及仿生机器人,尤其涉及一种仿生机器人表情控制方法、系统、设备及存储介质。
背景技术:
1、日常经验告诉我们,机器人与人在面对面交流时,若既能持续“看着”对方,又能实时模仿或者回应对方的表情,那么交流的自然感与亲和力会显著提升。为此,需要对开发出的仿生机器人此类能力进行实现和检测,以使其具有更好的功能。
2、基于上述目的,人们在对仿生机器人头进行开发时会关注机器人头是否同时具备以下两种能力:其一是注视跟随,即根据检测到的人脸位置而转动眼球,使目光始终大致地朝向交流对象;其二是表情镜像,即检测对方面部的眼睑、眉毛、脸颊动作,经重定向映射(把对方脸上的动作按对应关系换算成机器人自身关节角度)驱动机器人的对应面部关节,实现表情克隆,进而对仿生机器人实现表情控制,为后续仿生机器人能够在交流过程中作出相关表情打好基础。
3、现有技术中已出现多种关于仿生机器人眼部运动及表情再现相关的方案。例如公开号为cn101618280b的专利文件公开了一种具有人机交互功能的仿人头像机器人装置及行为控制方法,其在每个眼球中嵌入小型ccd传感器形成机器人的双目视觉,并设置眼球运动单元、眼睑传动机构以及面部表情和口形驱动机构,再基于人工情感模型进行控制。然而,该现有技术的视觉跟踪与表情再现是按照相互独立的通道设计的,当眼球转动、眼睑闭合等执行动作遮挡眼内相机自身视野时,其表情再现能力受到影响,会显得非常不自然。再例如,公开号为us11185990b2的专利文件公开了一种机器人学习并再现人类面部表情的方法,其通过表皮电传感器测量人脸肌肉信号、经非负矩阵分解得到面部运动单元,并以迭代学习修正舵机控制系数使机器人表情逼近人类表情。该现有技术虽然关注表情复现精度本身,但其感知器件独立于表情执行机构安装,表情动作不影响感知输入,未涉及表情执行与视觉感知共用同一眼内相机时的耦合问题,使注视交互过程中机器人脸的拟人感差,外观拟真度有限。
4、总而言之,现有技术在面对上述仿生机器人表情控制困境时,特别是注视跟随所需的眼球转动与表情镜像所需的眼睑动作会遮挡二者共同依赖的眼内相机视野这一特殊过程时,都表现得手足无措。特别是对于追求高拟人度的仿生机器人头,相机安装于可转动眼球的内部并在相机前方覆盖仿生硅胶眼皮,在做眨眼、眯眼、睁眼等动作时,由于眼球转角过大时镜头被眼眶边缘的硅胶皮肤挡住、眼睑闭合幅度过大时仿生眼皮直接盖住镜头,使得这一短暂地表情展示过程非常地不自然,出现眼球往复抖动频次升高、人脸跟踪失败率升高等状况。
技术实现思路
1、本发明实施例提供一种仿生机器人表情控制方法、系统、设备及存储介质,针对上述技术缺陷,采取全新的设计思路,可以同时实现注释跟随和表情重现(或镜像),使得仿生机器人在交互过程中表情自然、使用感受极佳。
2、本发明实施例提供的仿生机器人表情控制方法,包括以下步骤:
3、s1、获取双目相机的图像帧;
4、s2、根据所述图像帧,生成目标人脸框并提取目标人脸表情特征;
5、s3、根据所述目标人脸框,生成所述目标人脸框中心相对图像中心的归一化偏差e(ex,ey),其中ex表示水平自由度、ey表示垂直自由度;
6、s4、根据下述比例控制律公式对双目的垂直自由度与水平自由度的目标角度进行增量更新:
7、δθ=kp·e
8、其中:e即s3中的归一化偏差e(ex,ey),kp为预设的比例增益,δθ为本帧叠加到对应自由度目标角度上的转角增量;
9、s5、根据所述转角增量和所述目标人脸表情特征,将目标角度夹紧至预先标定的视野安全行程内并生成舵机控制信号,所述舵机控制信号用于生成机器人表情。
10、可选地,步骤s2中提取所述目标人脸表情特征的方法为:人脸关键点检测法。
11、可选地,步骤s5中所述视野安全形成通过如下步骤进行预定:
12、s501、自中性位起逐步增大眼球转角,观测眼内相机画面中仿生眼皮或硅胶皮肤的遮挡情况;
13、s502、将遮挡出现之前的眼球最大转角作为行程边界,对所述视野安全行程进行标定。
14、可选地,步骤s5中、特别是步骤s502之后还包括:
15、s503、对所述眼球的眼睑闭合动作进行协调限制,即在注视跟随处于激活状态时,将重定向映射得到的上眼睑与下眼睑的闭合幅度限制为不超过预设的可视闭合上限,所述可视闭合上限由标定确定、取眼睑闭合开始遮挡眼内相机视野时的闭合幅度,超出部分予以截断。
16、可选地,步骤s5中、特别是步骤s503之后还包括:
17、s504、当连续未检测到人脸的时长超过预设的宽限时长时,控制所述目标角度自失脸时刻起向部分回中目标缓动;
18、其中,所述部分回中目标为中性位加上失脸时刻角度与中性位之差乘以预设的保留系数;所述保留系数为0至1之间的比例值,表示回中后仍保留的原偏转朝向的份额。
19、可选地,步骤s5之后还包括:
20、s6、对所述舵机控制信号进行安全限位校验,并将通过安全限位校验的所述舵机控制信号发出至各个舵机。
21、可选地,步骤s6中还包括:将未通过安全限位校验的所述舵机控制信号予以丢弃。
22、本发明实施例还提供一种仿生机器人表情控制系统,包括:
23、图像采集模块,用于采集并获取安装于可转动眼球内部的双目相机输出的图像帧;
24、人脸检测模块,用于对所述图像帧进行人脸检测以得到目标人脸框;
25、注视跟随模块,用于计算所述目标人脸框的中心相对其所在图像的中心的归一化偏差,按比例控制律公式增量更新眼球的垂直自由度与水平自由度的目标角度,并夹紧至预先标定的视野安全行程之内;
26、表情镜像模块,用于由同一所述图像帧提取目标人脸表情特征,将所述表情特征经重定向映射为面部关节的目标角度并生成舵机控制信号,对会遮挡所述双目相机视野的眼睑闭合动作的幅度施加协调限制;
27、失脸回中模块,用于在连续未检测到人脸的时长超过预设的宽限时长时,控制眼球的目标角度向部分回中目标缓动;
28、命令下发模块,用于将所述舵机控制信号下发至控制箱以驱动眼球舵机、眼睑舵机以及其余面部舵机执行机器人表情生成。
29、本发明实施例还提供一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现前述任一项所述的表情控制方法。
30、本发明实施例还提供一种计算机刻度存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现前述任一项所述的表情控制方法。
31、与现有技术相比,本发明实施例取得的有益效果是:
32、(1)消除自遮挡:通过将眼球目标角度被夹紧于标定的视野安全行程,镜像眼睑闭合幅度受协调控制。实践证明,注视跟随与表情镜像运行期间眼内相机视野可用率接近100%,从结构上杜绝了“自己动作挡自己视野”导致的输入中断。
33、(2)跟随收敛快且无偏心摆动:采用闭环增量比例控制,利用“相机随眼球一同转动”这一客观物理特性,通过只朝缩小偏差的方向轻转,使人脸在3至5帧内被推回画面中央附近,基本消除了绝对映射方案的偏心停驻与持续摆动等现有技术缺陷。
34、(3)抑制循环抖动:人脸再现时只需小幅修正即可重新锁定,“偏转→遮挡→复位→再偏转”的循环抖动由持续振荡降为至多一次缓动。
35、(4)多人场景稳定锁定:双目两幅独立检测、取更高置信度者为目标,旁边有他人经过时仍锁定主要交流对象,目标跳变率显著降低。
36、(5)跟随与镜像共用同一相机与人脸检测前端,无需增加任何传感器,算力开销仅一次检测,两种功能在同一控制周期内协同完成。
37、(6)仿生机器人在交互过程中表情自然,用户使用感受极佳。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com