一种基于语音和热成像动作捕捉技术的交互系统的制作方法

1.本发明涉及交互系统技术领域，具体涉及一种基于语音和热成像动作捕捉技术的交互系统。


背景技术：

2.动作捕捉是运动物体的关键部位设置跟踪器，技术涉及尺寸测量、物理空间里物体的定位及方位测定等方面可以由计算机直接理解处理的数据，在运动物体的关键部位设置跟踪器，由motion capture系统捕捉跟踪器位置，再经过计算机处理后得到三维空间坐标的数据。当数据被计算机识别后，可以应用在动画制作，步态分析，生物力学，人机工程等领域。
3.常规的交互系统一般是由语音、按键等方式完成的，按键能表达的指令种类有限，而语音指令则对具有语言障碍的用户存在较大的阻碍，使得现有的交互系统对于语言障碍人群的使用存在较大的使用门槛，动作捕捉技术则由于其本身传感器设备等造价高昂、不便于推广使用而无法应用在交互系统之中。


技术实现要素：

4.针对现有技术所存在的上述缺点，本发明的第一目的在于提供一种基于语音和热成像动作捕捉技术的交互系统，解决上述背景技术中的问题。
5.为实现上述目的，本发明提供了如下技术方案：
6.一种基于语音和热成像动作捕捉技术的交互系统，包括动作捕捉模块、语音识别系统、语音播报模块和指令执行模块；
7.所述动作捕捉模块包括穿戴式热源设备、红外热源捕捉摄像头、热源接电图像识别模块、二维图像转换模块、动作分析识别模块、平面图像匹配模块和平面图像指令数据库；
8.所述穿戴式热源设备用以跟随动作捕捉对象的肢体移动进行动作捕捉对象的肢体移动跟随标记，所述红外热源捕捉摄像头用以捕捉动作捕捉对象的身体热成像以及穿戴式热源设备的热成像，所述热源节点图像识别模块用以识别穿戴式热源设备在红外热源捕捉摄像头作用下捕捉的热成像与动作捕捉对象在红外热源捕捉摄像头作用下捕捉的热成像，并且所述热源节点图像识别模块将穿戴式热源设备的热成像特征与动作捕捉对象的热成像特征进行识别和结合标记，所述二维图像转换模块用以将热源节点图像识别模块所识别到并且进行标记的图像转换成简化二维图像数据，所述动作分析识别模块用以对简化二维图像数据进行动作特征分析和标记，所述平面图像匹配模块用以接收来自动作分析识别模块分析和标记后的简化二维图像数据，并且调取平面图像指令数据库中的动作指令数据，同时将分析和标记后的简化二维图像数据与动作指令数据进行匹配，所述平面图像指令数据库用以存储和传输动作指令数据；
9.所述语音识别系统包括用以识别环境中的语音信息并进行采集的语音采集识别
模块、用以识别语音采集识别模块采集到的语音信息中的语言种类并转换成文字数据的语音数据分析模块、用以接收语音数据分析模块转换的文字数据并且调取语音指令数据库中的语音指令数据进行对比的语音指令匹配模块和用以存储语音指令数据的语音指令数据库。
10.通过采用上述技术方案：使得本发明可以对交互对象的语音指令和动作指令进行采集和分析，并且在数据库中进行匹配，然后再进行指令执行，为不方便进行语音识别的用户提供了便利性的交互方式。
11.本发明进一步设置为：所述穿戴式热源设备上的热源根据人体关节节点分布，且热源温度高于人体温度。
12.通过采用上述技术方案：使得穿戴式热源设备可以对人体关节节点进行标记，提高肢体动作识别的精度。
13.本发明进一步设置为：所述红外热源捕捉摄像头设置在交互场所内，且其摄像头部分正对动作捕捉对象设置。
14.通过采用上述技术方案：降低了红外热源捕捉摄像头所捕捉的图像因角度变差导致动作变形，从而导致动作识别失误的几率。
15.本发明进一步设置为：所述热源节点图像识别模块对结合标记的穿戴式热源设备的热成像和动作捕捉对象的热成像进行节点编号，节点编号的位置以穿戴式热源设备的热成像中心为基点，并进行追踪标记。
16.通过采用上述技术方案：通过对各个热源节点进行标记，降低平面图像节点因随其移动而出现节点重叠导致的图像节点信息混乱，进而出现动作信息识别错误的情况出现的概率。
17.本发明进一步设置为：所述平面图像匹配模块在对标记后的简化二维图像数据和动作指令数据进行匹配时，匹配度依据肢体偏离角度进行判断，当肢体偏离角度大于25
°
时判定为匹配失败。
18.通过采用上述技术方案：限定匹配时的判断依据，使得用户在匹配失败时可以根据该判断依据进行调整。
19.本发明进一步设置为：所述动作捕捉模块与语音识别系统分别具备独立开关，且所述动作捕捉模块与语音识别系统可同时处于开启状态。
20.通过采用上述技术方案：使得本发明可以同时开启动作捕捉和语音识别，方便两者互相配合进行指令下达。
21.本发明进一步设置为：所述语音播报模块通知匹配失败时重新进行动作捕捉和语音识别。
22.有益效果
23.采用本发明提供的技术方案，与已知的公有技术相比，具有如下有益效果：
24.通过本发明提供的一种基于语音和热成像动作捕捉技术的交互系统，可以为使用者同时提供稳定且高效的动作指令下达和语音指令下达的操作，极大地方便了语言障碍用户的交互便捷性，扩大了智能设备的适用人群范围，本发明设计的动作捕捉模块通过多次对热成像数据进行整合与修正，使得在动作图像数据在对比时可以与数据库中的数据更加贴合，提高了验证成功的概率，同时本发明通过热成像进行动作捕捉的设计使得本发明在
进行动作捕捉时可以规避常规图像动作捕捉时受环境影响大的缺点，并且本发明涉及到的设备更加简单，降低了成本。
附图说明
25.图1为本发明提供的一种基于语音和热成像动作捕捉技术的交互系统的示意图。
26.图2为本发明对比例1所提供的一种基于语音和热成像动作捕捉技术的交互系统的示意图。
27.图3为本发明对比例2所提供的一种基于语音和热成像动作捕捉技术的交互系统的示意图。
具体实施方式
28.为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.下面结合实施例对本发明作进一步的描述。
30.实施例1
31.参考图1所示，一种基于语音和热成像动作捕捉技术的交互系统，包括动作捕捉模块、语音识别系统、语音播报模块和指令执行模块，动作捕捉模块包括穿戴式热源设备、红外热源捕捉摄像头、热源接电图像识别模块、二维图像转换模块、动作分析识别模块、平面图像匹配模块和平面图像指令数据库；
32.穿戴式热源设备用以跟随动作捕捉对象的肢体移动进行动作捕捉对象的肢体移动跟随标记；
33.红外热源捕捉摄像头用以捕捉动作捕捉对象的身体热成像以及穿戴式热源设备的热成像，穿戴式热源设备上的热源根据人体关节节点分布，且热源温度高于人体温度，穿戴式热源设备由穿戴部分和发热器件组成，穿戴部分可以根据不同的使用需求设计成上衣、裤子、手套、连体衣等形式，发热器件可以产生60-70摄氏度温度，并且其外部包裹隔温组件，并参考人体关节节点，安装在穿戴部分的外侧上；
34.热源节点图像识别模块用以识别穿戴式热源设备在红外热源捕捉摄像头作用下捕捉的热成像与动作捕捉对象在红外热源捕捉摄像头作用下捕捉的热成像，并且热源节点图像识别模块将穿戴式热源设备的热成像特征与动作捕捉对象的热成像特征进行识别和结合标记，热源节点图像识别模块对结合标记的穿戴式热源设备的热成像和动作捕捉对象的热成像进行节点编号，节点编号的位置以穿戴式热源设备的热成像中心为基点，并进行追踪标记，同时追踪标记热源的热成像中心点时，以其所在的动作捕捉对象的热成像位置的周围图像特征进行对比参考；
35.二维图像转换模块用以将热源节点图像识别模块所识别到并且进行标记的图像转换成简化二维图像数据，简化二维图像以热源节点为连接点，根据人体骨骼特征进行节点连线，构成简单的二维线型动作图像；
36.动作分析识别模块用以对简化二维图像数据进行动作特征分析和标记，平面图像
匹配模块用以接收来自动作分析识别模块分析和标记后的简化二维图像数据，并且调取平面图像指令数据库中的动作指令数据，同时将分析和标记后的简化二维图像数据与动作指令数据进行匹配，平面图像匹配模块在对标记后的简化二维图像数据和动作指令数据进行匹配时，匹配度依据肢体偏离角度进行判断，当肢体偏离角度大于25
°
时判定为匹配失败；
37.平面图像指令数据库用以存储和传输动作指令数据；
38.语音识别系统包括用以识别环境中的语音信息并进行采集的语音采集识别模块、用以识别语音采集识别模块采集到的语音信息中的语言种类并转换成文字数据的语音数据分析模块、用以接收语音数据分析模块转换的文字数据并且调取语音指令数据库中的语音指令数据进行对比的语音指令匹配模块和用以存储语音指令数据的语音指令数据库；
39.动作捕捉模块与语音识别系统分别具备独立开关，且动作捕捉模块与语音识别系统可同时处于开启状态；语音播报模块通知匹配失败时重新进行动作捕捉和语音识别。
40.在本发明运行的过程中，使用者首先穿戴好穿戴式热源设备，然后开启动作捕捉模块和语音识别系统，可同时进行动作捕捉和语音识别，在识别的过程中，红外热换捕捉摄像头捕捉使用者的热成像与穿戴式热源设备上发热器件的热成像，将使用者的热成像和发热其间的热成像传输至热源节点图像识别模块，并对使用者的热成像和发热其间的热成像进行识别标记，热源节点图像识别模块对结合标记的穿戴式热源设备的热成像和动作捕捉对象的热成像进行节点编号，节点编号的位置以穿戴式热源设备的热成像中心为基点，并进行追踪标记，同时追踪标记热源的热成像中心点时，以其所在的动作捕捉对象的热成像位置的周围图像特征进行对比参考；然后二维图像转换模块将热源节点图像识别模块所识别到并且进行标记的图像转换成简化二维图像数据，简化二维图像以热源节点为连接点，根据人体骨骼特征进行节点连线，构成简单的二维线型动作图像，动作分析识别模块用以对简化二维图像数据进行动作特征分析和标记，然后平面图像匹配模块接收来自动作分析识别模块分析和标记后的简化二维图像数据，并且调取平面图像指令数据库中的动作指令数据，同时将分析和标记后的简化二维图像数据与动作指令数据进行匹配，平面图像匹配模块在对标记后的简化二维图像数据和动作指令数据进行匹配时，匹配度依据肢体偏离角度进行判断，当肢体偏离角度大于25
°
时判定为匹配失败，匹配失败时则通过语音播报模块进行匹配结果失败的通报，匹配成功时则通过指令执行模块进行指令执行；
41.在进行语音识别时，首先通过语音采集识别模块对使用者的语音进行采集和识别，然后将识别后的语音数据传输给语音数据分析模块进行分析，然后再通过语音指令匹配模块将语音信息与语音指令数据库中的语音指令进行匹配，匹配失败时则通过语音播报模块进行匹配结果失败的通报，匹配成功时则通过指令执行模块进行指令执行。
42.对比例1
43.参考图2所示，一种基于语音和热成像动作捕捉技术的交互系统，包括动作捕捉模块、语音识别系统、语音播报模块和指令执行模块，动作捕捉模块包括穿戴式热源设备、红外热源捕捉摄像头、热源接电图像识别模块、动作分析识别模块、平面图像匹配模块和平面图像指令数据库；
44.穿戴式热源设备用以跟随动作捕捉对象的肢体移动进行动作捕捉对象的肢体移动跟随标记；
45.红外热源捕捉摄像头用以捕捉动作捕捉对象的身体热成像以及穿戴式热源设备
的热成像，穿戴式热源设备上的热源根据人体关节节点分布，且热源温度高于人体温度，穿戴式热源设备由穿戴部分和发热器件组成，穿戴部分可以根据不同的使用需求设计成上衣、裤子、手套、连体衣等形式，发热器件可以产生60-70摄氏度温度，并且其外部包裹隔温组件，并参考人体关节节点，安装在穿戴部分的外侧上；
46.热源节点图像识别模块用以识别穿戴式热源设备在红外热源捕捉摄像头作用下捕捉的热成像与动作捕捉对象在红外热源捕捉摄像头作用下捕捉的热成像，并且热源节点图像识别模块将穿戴式热源设备的热成像特征与动作捕捉对象的热成像特征进行识别和结合标记，热源节点图像识别模块对结合标记的穿戴式热源设备的热成像和动作捕捉对象的热成像进行节点编号，节点编号的位置以穿戴式热源设备的热成像中心为基点，并进行追踪标记，同时追踪标记热源的热成像中心点时，以其所在的动作捕捉对象的热成像位置的周围图像特征进行对比参考；
47.二维图像转换模块用以将热源节点图像识别模块所识别到并且进行标记的图像转换成简化二维图像数据，简化二维图像以热源节点为连接点，根据人体骨骼特征进行节点连线，构成简单的二维线型动作图像；
48.动作分析识别模块用以对热源节点图像识别模块所识别到并且进行标记的图像进行动作特征分析和标记，并且调取平面图像指令数据库中的动作指令数据，同时将分析和标记后的热源节点图像识别模块所识别到并且进行标记的图像与动作指令数据进行匹配；
49.平面图像指令数据库用以存储和传输动作指令数据；
50.语音识别系统包括用以识别环境中的语音信息并进行采集的语音采集识别模块、用以识别语音采集识别模块采集到的语音信息中的语言种类并转换成文字数据的语音数据分析模块、用以接收语音数据分析模块转换的文字数据并且调取语音指令数据库中的语音指令数据进行对比的语音指令匹配模块和用以存储语音指令数据的语音指令数据库；
51.动作捕捉模块与语音识别系统分别具备独立开关，且动作捕捉模块与语音识别系统可同时处于开启状态；语音播报模块通知匹配失败时重新进行动作捕捉和语音识别。
52.对比例2
53.参考图3，一种基于语音和热成像动作捕捉技术的交互系统，包括动作捕捉模块、语音识别系统、语音播报模块和指令执行模块，动作捕捉模块包括穿戴式热源设备、红外热源捕捉摄像头、热源接电图像识别模块、二维图像转换模块、动作分析识别模块、平面图像匹配模块和平面图像指令数据库；
54.穿戴式热源设备用以跟随动作捕捉对象的肢体移动进行动作捕捉对象的肢体移动跟随标记；
55.红外热源捕捉摄像头用以捕捉动作捕捉对象的身体热成像以及穿戴式热源设备的热成像，穿戴式热源设备上的热源根据人体关节节点分布，且热源温度高于人体温度，穿戴式热源设备由穿戴部分和发热器件组成，穿戴部分可以根据不同的使用需求设计成上衣、裤子、手套、连体衣等形式，发热器件可以产生60-70摄氏度温度，并且其外部包裹隔温组件，并参考人体关节节点，安装在穿戴部分的外侧上；
56.二维图像转换模块用以将红外热源捕捉摄像头捕捉到的图像转换成简化二维图像数据，简化二维图像以热源节点为连接点，根据人体骨骼特征进行节点连线，构成简单的
二维线型动作图像；
57.动作分析识别模块用以对简化二维图像数据进行动作特征分析和标记，平面图像匹配模块用以接收来自动作分析识别模块分析和标记后的简化二维图像数据，并且调取平面图像指令数据库中的动作指令数据，同时将分析和标记后的简化二维图像数据与动作指令数据进行匹配，平面图像匹配模块在对标记后的简化二维图像数据和动作指令数据进行匹配时，匹配度依据肢体偏离角度进行判断，当肢体偏离角度大于25
°
时判定为匹配失败；
58.平面图像指令数据库用以存储和传输动作指令数据；
59.语音识别系统包括用以识别环境中的语音信息并进行采集的语音采集识别模块、用以识别语音采集识别模块采集到的语音信息中的语言种类并转换成文字数据的语音数据分析模块、用以接收语音数据分析模块转换的文字数据并且调取语音指令数据库中的语音指令数据进行对比的语音指令匹配模块和用以存储语音指令数据的语音指令数据库；
60.动作捕捉模块与语音识别系统分别具备独立开关，且动作捕捉模块与语音识别系统可同时处于开启状态；语音播报模块通知匹配失败时重新进行动作捕捉和语音识别。
61.性能测试
62.分别取等量的实施例1和对比例1～3所提供的一种基于语音和热成像动作捕捉技术的交互系统的动作分析准确性结果对比：
[0063] 准确性实施例199.9％对比例180％对比例260％
[0064]
通过分析上述各表中的相关数据可知，通过本发明提供的一种基于语音和热成像动作捕捉技术的交互系统，可以为使用者同时提供稳定且高效的动作指令下达和语音指令下达的操作，极大地方便了语言障碍用户的交互便捷性，扩大了智能设备的适用人群范围。
[0065]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。