用于腕背侧手指运动检测的光电成像装置及其应用方法

1.本发明属于光电传感器生物测试仪器的技术领域。更具体地，本发明涉及一种用于腕背侧手指运动检测的光电成像装置。本发明还涉及该光电成像装置及其应用方法。


背景技术：

2.近年来，关于人机交互的研究发展迅速，其人机交互的重要主题便是手势识别。而手势识别主要基于视觉传感器和运动传感器，虽然这两种方法是目前手势识别领域的研究热点，但是它们距离广泛应用仍然存在着各种各样的应用局限性：
3.首先，对于基于视觉传感器的手指动作识别方法来说，虽然诸如使用kinect传感器来获取的深度数据实现手势识别等方法已经取得了一定的成果，然而它们普遍高度依赖于光线和背景等外部环境，存在对周围环境要求高、算法复杂度较高以及成本较高等缺点，限制了其在移动应用中的潜在用途。此外，用户被限制在其与成像设备之间没有遮蔽物的范围内，使得其应用场景存在局限性。
4.其次，基于运动传感器的穿戴式手指动作识别设备，其长久以来一直被广泛研究，例如数据手套等。尽管数据手套的使用可以轻松收集手指动作时候的相关数据，但是这些设备不仅不方便携带，并且会在使用的过程中完全占用用户的手部。
5.此外，目前应用于手指动作识别的另一种热门穿戴式传感器是表面肌电(surface electromyography，semg)传感器，该方法通过表面肌电传感器记录肌肉运动时候皮肤表面的生物电变化信号可以实现手势识别，但是该方法对于佩戴的方式、位置等具有诸多要求，使得用户的体验感较差。
6.综上所述，尽管现有的手指动作识别方法已经取得了一定的研究成果，但仍存在诸如佩戴要求过多、应用场景受限、占用手部操作等局限性。
7.传统的穿戴式手势识别会因为人体晃动带来传感器与腕背侧被测位置的偏差从而影响手势识别的准确性。
8.为了进一步解放用户的手部操作，研究人员提出是否可以通过检测腕部运动来识别手指动作。虽然研究表明腕内侧的动作检测比较灵敏，但该位置往往是腕表的连接扣，不方便集成。


技术实现要素：

9.本发明提供一种用于腕背侧手指运动检测的光电成像装置，其目的是实现在算法层面矫正装置移位带来的误差。
10.为了实现上述目的，本发明采取的技术方案为：
11.本发明的用于腕背侧手指运动检测的光电成像装置，设置多波长led阵列、光阑结构和光电传感器；所述的多波长led阵列分布在光阑结构的四周；所述的光电传感器的中心为感光区域；所述的光阑结构为长方体；并在光阑结构上设有多个光阑锥形孔，所述的光阑锥形孔的小端孔口朝向光电传感器的方向，并集中于光电传感器的感光区域。
12.所述的光阑锥形孔呈多行多列分布；在所述的光阑锥形孔的分布中，不同行的光阑锥形孔以孔半径为间距交错排列。
13.每行所述的光阑锥形孔中，首列与末列的光阑锥形孔的孔径大于中间列的光阑锥形孔的孔径。
14.所述的多波长led阵列包括多个绿色led与多个红外led，并等间距、交错地紧密环绕在光阑结构的周围。
15.所述的光电传感器采用非成像式、多单元、矩阵式的光电传感器。
16.所述的光电成像装置设置基座，所述的基座覆盖在光电传感器上，使得光阑结构通过基座与光电传感器紧密贴合。
17.在所述的基座设有镂空结构，所述的镂空结构用于设置光电传感器管脚和光电传感器的感光区域。
18.为了实现与上述技术方案相同的发明目的，本发明还提供了以上所述的用于腕背侧手指运动检测的光电成像装置的应用方法，其包括以下步骤：
19.步骤1、设备开启，光电传感器接受带有手势信息的光信号并以图像的形式发送到信号处理机；
20.步骤2、选择：进行手势识别，还是进行生理参数检测；如果进行手势识别，则进行下一步骤；如果进行生理参数检测，则进入步骤7；
21.步骤3、在手指运动检测过程中，信号处理机对图像进行解码，对其中的多个光斑区域取像素点的均值的方法提取特征，并发送到上位机；
22.步骤4、上位机对接收到的数据滤波并进行端点检测；通过端点检测方式，检测手指运动信号的起点；
23.步骤5、上位机判断：当前roi的均值是否大于设定的阈值；如果是，则进入下一步骤；如果否，则返回上一步骤；
24.步骤6、上位机检测到手指运动的起点后持续保存0.5秒的信号，并用深度学习的方法对手势信号进行分类，从而达到手指动作识别的目的；手势识别结束；
25.步骤7、信号处理机对光斑中的特定区域进行检测与追踪；
26.步骤8、信号处理机计算光斑中的特定区域的均值，发送到上位机；
27.步骤9、上位机对一段时间内的数据进行去噪、滤波，并根据去噪、滤波后数据计算出生理参数；生理参数检测结束。
28.在所述的步骤9中，所述的生理参数包括心率、血压、血氧饱和度。
29.本发明采用上述技术方案，其使用的光电传感器为多单元、矩阵式的，可以在算法层面矫正装置移位带来的误差；具有用途广的优点，可以用于对心率，脉搏等生理参数进行测量；在测量生理参数时可以动态配准指定区域；并且相对于传统手势识别装置具有佩戴舒适、非接触式采集手指动作、受环境影响少以及采集信号量大等优点。
附图说明
30.附图所示内容及图中的标记简要说明如下：
31.图1是本发明的整体结构示意图；
32.图2是本发明的正视图；
33.图3是本发明中的光阑结构与led阵列的分布示意图；
34.图4是本发明中的光电传感器与基座的分布示意图；
35.图5是本发明的算法流程框图。
36.图中标记为：
37.1、光电传感器，2、基座，3、多波长led阵列，4、光阑结构，5、光阑锥形孔，6、光电传感器管脚，7、感光区域。
具体实施方式
38.下面对照附图，通过对实施例的描述，对本发明的具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。
39.如图1至图4所表达的本发明的结构，为一种用于腕背侧手指运动检测的光电成像装置。本发明的构思是在腕表的表盘位置能够进行手指动作的检测，而且这样也符合人们的佩戴习惯和审美观念。相较于腕内侧，腕部背侧肌肉、肌腱的运动比较微弱，因而人们希望在腕背侧的传感器具有更优异的性能。
40.为了解决现有技术存在的问题并克服其缺陷，实现在算法层面矫正装置移位带来的误差的发明目的，本发明采取的技术方案为：
41.如图1至图4所示，本发明的用于腕背侧手指运动检测的光电成像装置，设置多波长led阵列3、光阑结构4和光电传感器1；所述的多波长led阵列3分布在光阑结构4的四周；所述的光电传感器1的中心为感光区域7；所述的光阑结构4为长方体；并在光阑结构4上设有多个光阑锥形孔5，所述的光阑锥形孔5的小端孔口朝向光电传感器1的方向，并集中于光电传感器1的感光区域7。
42.光阑结构4通过圆锥孔将反射光进行导向分流；多波长led阵列3向腕背发射多波长光信号；光电传感器1用于采集腕背侧带有手指运动信息的反射光信号。
43.光阑锥形孔5为圆锥孔。
44.所述的光阑锥形孔5呈多行多列分布；在所述的光阑锥形孔5的分布中，不同行的光阑锥形孔5以孔半径为间距交错排列。
45.每行所述的光阑锥形孔5中，首列与末列的光阑锥形孔5的孔径大于中间列的光阑锥形孔5的孔径。
46.所述的光阑结构4的整体形状是一个被多个光阑锥形孔5连通上表面与下表面的长方体。其中光阑锥形孔5的小头连接长方体上表面，大头连接长方体下表面。所述的光阑锥形孔5的分布为多行多列，且在工艺许可要求下、保证最大开口率。
47.在光阑锥形孔5的分布中，不同行的光阑锥形孔5以孔半径为间距交错排列。首列与末列的光阑锥形孔5的孔径相对中间列的光阑锥形孔5的孔径更大。
48.所述的多波长led阵列3包括多个绿色led与多个红外led，并等间距、交错地紧密环绕在光阑结构4的周围。为了使结构更加紧凑，多波长led阵列3紧密环绕在光阑结构4的外侧。
49.多波长led阵列3朝手腕背侧垂直地发射绿光与红外光。两种光在腕背侧皮肤及其内部不同层组织被吸收与反射。其中血管的形变会更明显地影响其对绿光的吸收，从而影
响光电传感器1接收到的信号。同样地，相比于绿光，红外光对皮肤地穿透性更强，可以更多地照射到肌肉组织，肌肉组织的形变会影响光电传感器1接收到的光信号。
50.经过实验证明，不同的手指动作都会导致皮肤组织产生不同的形变，从而反射给传感器不同特征的光信息。所以，光电传感器1可以凭此对带有手指动作信号的光信号进行分类，从而达到手势识别的目的。
51.所述的光电传感器1采用非成像式、多单元、矩阵式的无镜头的光电传感器。本发明采用的传感器是二维的，可以获取空间中的信息，从而在算法层面进行传感器与腕背的配准。
52.所述的光电成像装置设置基座2，基座2用于连接光电传感器1与光阑结构4；所述的基座2覆盖在光电传感器1上，使得光阑结构4通过基座2与光电传感器1紧密贴合。
53.光阑结构4的上表面贴在光电传感器的感光区域7与基座2上，下表面贴在皮肤上。所以，手腕背侧组织中不同区域的反射光会通过离该区域最近的圆锥孔进入光电传感器对应的感光区域7并形成一个圆形的光斑。
54.这样，光电传感器1所采集到的图像中的一个光斑就代表了一个通道的信号。因为血管，肌腱有多排，并在腕背侧横向散布较广(称中指的方向为纵向)，所以相比于纵向，在手腕背侧中横向能够获得更多的手指运动信息。所以，为了增强设备在横向上的分辨率，光阑结构4需为长方体，且锥形孔不同行之间以孔半径为单位错开；同时，因为首列与末列的锥形孔相比中间列的孔有更大的倾斜角度(如图3所示)，这样光在孔内的传播会有很大的损失，所以，首列与末列的孔的孔径应更大。
55.在所述的基座2设有镂空结构，所述的镂空结构用于设置光电传感器管脚6和光电传感器1的感光区域7。
56.所述的基座2的镂空部分可以掩盖光电传感器突起的管脚，从而使光阑结构通过基座与传感器紧密贴合。
57.常见的光电传感器表面并不平整(如图4所示)，表面上有很多如图4所示的管脚。所以在表面覆盖上一个基座2来掩盖住凸起的管脚，从而使其能与图3中光阑结构4紧密贴合。
58.上述技术方案使用的光电传感器为多单元、矩阵式的，可以在算法层面矫正装置移位带来的误差，因此，上述技术方案更具有用途广的优点，可以用于对心率，脉搏等生理参数进行测量；在测量生理参数时，可以动态配准指定区域；并且相对于传统手势识别装置具有佩戴舒适、非接触式采集手指动作、受环境影响少以及采集信号量大等优点。
59.如图5所示，为了实现与上述技术方案相同的发明目的，本发明还提供了以上所述的用于腕背侧手指运动检测的光电成像装置的应用方法，其包括以下步骤：
60.步骤1、设备开启，光电传感器1接受带有手势信息的光信号并以图像的形式发送到信号处理机；
61.步骤2、选择：进行手势识别，还是进行生理参数检测；如果进行手势识别，则进行下一步骤；如果进行生理参数检测，则进入步骤7；
62.步骤3、在手指运动检测过程中，信号处理机对图像进行解码，对其中的多个光斑区域取像素点的均值的方法提取特征，并发送到上位机；
63.步骤4、上位机对接收到的数据滤波并进行端点检测；通过端点检测方式，检测手
指运动信号的起点；
64.步骤5、上位机判断：当前roi的均值是否大于设定的阈值；如果是，则进入下一步骤；如果否，则返回上一步骤；
65.步骤6、上位机检测到手指运动的起点后持续保存0.5秒的信号，并用深度学习的方法对手势信号进行分类，从而达到手指动作识别的目的；手势识别结束；
66.步骤7、信号处理机对光斑中的特定区域进行检测与追踪；
67.步骤8、信号处理机计算光斑中的特定区域的均值，发送到上位机；
68.步骤9、上位机对一段时间内的数据进行去噪、滤波，并根据去噪、滤波后数据计算出生理参数；生理参数检测结束。
69.在整个装置使用过程中，如图5所示，步骤1中，光电传感器1接受带有手势信息的光信号以图像的形式发送到信号处理机。
70.在手指运动检测过程中，如步骤3所示，信号处理机对图像进行解码并以取光斑区域均值的方法提取特征。
71.在步骤4中，上位机通过端点检测检测手指运动信号的起点。
72.因为一般手指运动持续时间小于等于0.5秒，所以在步骤6中上位机检测到手指运动的起点后持续保存0.5秒的信号，并用深度学习的方法对手势信号进行分类，从而达到手指动作识别的目的。
73.在所述的步骤9中，所述的生理参数包括心率、血压、血氧饱和度等。
74.本发明的一个附加功能是在自动配准的情况下对生理参数的测量。如步骤7所示，信号处理机采用图像目标检测追踪算法持续的采集指定区域的数据。其技术效果是，可以有效避免人体抖动带来的测量生理参数的误差。在步骤9中上位机根据这些数据计算出如心率、血氧饱和等生理参数。
75.上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。