一种智能穿衣镜及手部跟踪显示的方法与流程

1.本发明涉及智能家电技术领域，尤指一种智能穿衣镜及手部跟踪显示的方法。


背景技术：

2.智能穿衣镜是一种可以实现虚拟试衣的镜子，用户无需将实际的衣服穿在身上，只需要站在智能穿衣镜前，即可实现试衣效果，减少了用户实际换衣服的麻烦。
3.在用户试完一件衣服想要试穿下一件衣服时，需要用户进行点击智能穿衣镜上显示的“下一件”按钮才能实现换衣；然而，若智能穿衣镜应用在商场中时，可能会出现多人触碰或点击智能穿衣镜的显示界面，如此难免会出现细菌病毒的传输，不利于用户的身体健康。


技术实现要素：

4.本发明实施例提供了一种智能穿衣镜及手部跟踪显示的方法，使得用户在使用智能穿衣镜时，无需直接接触智能穿衣镜，只需要隔空操作即使实现对智能穿衣镜的控制；并且，智能穿衣镜可以实现手部跟踪，将用户的手部映射成智能穿衣镜上显示的鼠标，增加用户对智能穿衣镜控制的灵活性。
5.第一方面，本发明实施例提供了一种智能穿衣镜，包括：
6.图像采集器；
7.显示器；
8.处理器，被配置为：
9.确定所述图像采集器采集到的当前图像中的目标人体框；
10.在所述智能穿衣镜的手部跟踪功能开启时，根据所述目标人体框中手部的移动，控制所述显示器中显示的鼠标进行移动；其中，在所述手部的移动过程中，所述手部与所述显示器无接触。
11.第二方面，本发明实施例提供了一种手部跟踪显示的方法，包括：
12.确定获取到的当前图像中的目标人体框；
13.在手部跟踪功能开启时，根据所述目标人体框中手部的移动，控制鼠标进行移动；其中，在所述手部的移动过程中，所述手部与用于显示所述鼠标的设备无接触。
14.本发明有益效果如下：
15.本发明实施例提供的一种智能穿衣镜及手部跟踪显示的方法，在智能穿衣镜的手部跟踪功能开启时，通过根据目标人体框中手部的移动，控制显示器显示的鼠标进行移动，可以将用户的手部映射成显示器上显示的鼠标，通过用户手部的移动控制鼠标的移动，使得用户可以对显示界面进行随意控制，大大增加了用户对智能穿衣镜控制的灵活性；同时，由于在手部的移动过程中，用户的手部与显示器无接触，使得在无需直接接触显示器的情况下，依然可以实现用户对显示界面的控制，实现了用户的隔空操作，避免了因多人接触同一显示器而出现的细菌病毒的传播，使得智能穿衣镜使用起来更加方便、卫生、安全。
附图说明
16.图1为本发明实施例中提供的一种智能穿衣镜的结构示意图；
17.图2为本发明实施例中提供的图像中的人体框的示意图；
18.图3为本发明实施例中提供的显示器的尺寸和图像尺寸的示意图；
19.图4为本发明实施例中提供的具体实施例的流程图；
20.图5为本发明实施例中提供的一种手部跟踪显示的方法的流程图。
具体实施方式
21.下面将结合附图，对本发明实施例提供的一种智能穿衣镜及手部跟踪显示的方法的具体实施方式进行详细地说明。需要说明的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
22.本发明实施例提供了一种智能穿衣镜，如图1所示，可以包括：
23.图像采集器101；
24.显示器102；
25.处理器103，被配置为：
26.确定图像采集器101采集到的当前图像中的目标人体框；
27.在智能穿衣镜的手部跟踪功能开启时，根据目标人体框中手部的移动，控制显示器102显示的鼠标进行移动；其中，在手部的移动过程中，手部与显示器102无接触。
28.如此，在智能穿衣镜的手部跟踪功能开启时，通过根据目标人体框中手部的移动，控制显示器显示的鼠标进行移动，可以将用户的手部映射成显示器上显示的鼠标，通过用户手部的移动控制鼠标的移动，使得用户可以对显示界面进行随意控制，大大增加了用户对智能穿衣镜控制的灵活性。
29.同时，由于在手部的移动过程中，用户的手部与显示器无接触，使得在无需直接接触显示器的情况下，依然可以实现用户对显示界面的控制，实现了用户的隔空操作，避免了因多人接触同一显示器而出现的细菌病毒的传播，使得智能穿衣镜使用起来更加方便、卫生、安全。
30.需要说明的是，可选地，在本发明实施例中，在用户通过手部控制智能穿衣镜时，用户的手部可以无需与智能穿衣镜的显示器进行直接接触，用户可以通过隔空操作控制显示器上显示的鼠标，在实现对显示器进行随意操控的同时，实现无接触控制，从而避免交叉感染。
31.可选地，为了确定出目标人体框，在本发明实施例中，处理器，被配置为：
32.对当前图像进行人体检测，确定出至少一个人体框；
33.计算每个人体框与预设位置框之间的交并比；
34.筛选出大于第一预设值的交并比对应的人体框；
35.将筛选出的人体框中，交并比最大的人体框确定为目标人体框。
36.其中，从图像中确定出的人体框，可以如图2所示，每个人体框中可以包括一个人，且每个人体框上标出的数字表示人体框的编号。
37.说明一点，如果从当前图像中仅确定出一个人体框，且该人体框对应的交并比小
于第一预设值时，则可以确定当前图像中不存在目标人体框，此时则可以无需再继续对当前图像进行处理，即丢弃该当前图像，继续获取下一张图像并进行相应处理。
38.具体地，每个人体框与预设位置框的交并比，可以采用如下公式计算：
39.iou＝(a∩b)/(a∪b)；
40.其中，iou可以表示交并比，a可以表示人体框，b可以表示预设位置框。
41.具体地，第一预设值可以根据实际需要进行设置，例如但不限于设置为0.5、0.6或0.7等，在此并不限定。
42.具体地，可以将智能穿衣镜正前方区域作为用户的最佳站立位置，在此位置进行试衣时，可以具有较好的试衣效果；因此，可以将智能穿衣镜正前方区域对应在智能穿衣镜中的位置，设置为预设位置框的位置。
43.如此，通过上述过程即可确定出目标人体框，即找到全部人体框中与预设位置框最接近的人体框，将其作为智能穿衣镜的使用者对应的人体框，即目标人体框；换句话说，从站立在智能穿衣镜前的多个人中可以找到谁是实际的操控者、使用者。
44.具体地，在本发明实施例中，在对当前图像进行人体检测时，可以但不限于采用yolov5算法，其中yolov5算法为兼顾处理速度和性能的目标检测算法，模型小，运算速度快，较适合智能穿衣镜这种检测目标大的场景。
45.并且，在对当前图像进行人体检测后，得到的结果包括：人体框的位置、以及人体框的尺寸，便于后续将手部移动映射呈显示器中的鼠标移动。
46.当然，在具体实施时，在进行人体检测时，除了可以采用yolov5算法之外，还可以采用其他可以用于实现人体检测功能的算法或模型，在此并不限定。
47.可选地，为了能够根据目标人体框中手部的移动，控制显示器显示的鼠标进行移动，在本发明实施例中，处理器，被配置为：
48.对目标人体框中的手部进行检测，确定出手部在当前图像中的位置；
49.确定手部在当前图像中位置与在上一张图像中位置之间的矢量；
50.根据预设的灵敏度、确定出的矢量、预先确定出的显示器的显示尺寸、以及图像采集器采集到的图像尺寸，确定当前图像中的手部映射到显示器中的目标位置，并控制鼠标移动至目标位置。
51.具体地，在对目标人体框中的手部进行检测时，可以采用yolov5算法，当然，还可以采用其他可以实现手部检测的算法，在此并不限定。
52.其中，在对手部进行检测时，确定出的手部在当前图像中的位置可以为：手部在当前图像中的像素坐标，以便于后续计算矢量。
53.具体地，在计算矢量时，可以采用本领域技术人员所熟知的任何可以实现的方式，在此并不限定。
54.如此，通过计算出的矢量，可以确定出手部移动的方向和幅度；再基于灵敏度、矢量、显示尺寸、以及采集到的图像尺寸，将手部移动映射成鼠标的移动，实现手部对鼠标的控制，即实现手部对显示器的控制。
55.具体地，灵敏度可以理解为：用户手部移动一定距离时反应在显示器上不同尺度的距离。
56.例如，某个用户不想胳膊进行大幅度动作，那么灵敏度可以设置的高一点，使得用
户小幅的手部移动即可实现显示器上鼠标较远的运动。
57.具体地，在本发明实施例中，可以对灵敏度的取值范围进行设置，具体设置过程如下：
58.结合图3所示，(a)图为显示器的示意图，(b)图为采集到的图像中的显示器和目标人体框的关系示意图，要求目标人体框中用户手部的活动区域需要覆盖显示器的显示区域，以便于用户能够控制显示器的每个位置，其中，图3中的(b)图区域1表示目标人体框，区域2表示采集到的图像中显示器。
59.并且，结合图3所示，假设：采集到的图像中显示器的底边a1与目标人体框的底边a2平行且交叠，同时目标人体框的底边a2需要位于采集到的图像中显示器的底边a1的中心，也即目标人体框的底边a2的中心点q1，与采集到的图像中显示器的底边a1的中心点q2重合。
60.对于灵敏度而言，可以满足以下关系式：
61.w’＝(1/α)*w；0.3wp《w’《1.2wp；
62.h’＝(1/α)*h；0.3hp《h’《1.2hp；
63.其中，α表示灵敏度，w’表示采集到的图像中显示器的宽度，h’表示采集到的图像中显示器的长度，w表示显示器的实际宽度，h表示显示器的实际长度，wp表示采集到的图像中目标人体框的宽度，hp表示采集到的图像中目标人体框的长度。
64.说明一点，上述内容中提及的宽度即为沿着图3中的m1方向上的长度，上述内容中提及的长度即为沿着图3中的m2方向上的长度，且m1方向与m2方向垂直。
65.经过对上述关系式进行变换之后，可以得到：
66.w/(0.3wp)《α《w/(1.2wp)；
67.h/(0.3hp)《α《h/(1.2hp)；
68.进而可以得到：max(w/0.3wp,h/0.3hp)《α《min(w/1.2wp,h/1.2hp)(关系式1)。
69.也就是说，在对灵敏度进行设置时，满足上述关系式1的要求即可，具体设置为多少可以根据实际需要进行设置。
70.可选地，在本发明实施例中，处理器，被配置为：
71.采用以下公式确定当前图像中的手部映射到显示器中的目标位置：
72.x＝(xc*w)/(α*wc)；
73.y＝(yc*h)/(α*hc)；
74.其中，x表示目标位置的横坐标，y表示目标位置的纵坐标，α表示灵敏度，w表示显示器的宽度，h表示显示器的长度，wc表示图像采集器采集到的图像的宽度，hc表示图像采集器采集到的图像的长度，xc表示矢量在x坐标上的分量，yc表示矢量在y坐标上的分量。
75.也就是说，通过手部检测得到的手部在当前图像中的位置，是基于采集到的图像进行识别的，其矢量计算是在(wc，hc)坐标系下进行的，所以需要将(wc，hc)下手部移动后的矢量(xc，yc)映射到(w’，h’)中，进而反映在(w，h)坐标系中，并呈现出来，从而实现将手部移动映射成显示器中的鼠标移动。
76.在具体实施时，在手部跟踪功能已开启时，不仅需要对目标人体框进行手部检测，还需要进行手势检测，通过手部检测可以确定手部移动的方向和距离以便于映射成鼠标的移动，通过手势检测可以确定出特定手势进而使得当前显示界面进行相应地响应，实现特
定手势对显示界面的控制。
77.说明一点，可选地，在手部跟踪功能已开启，且到达特定手势检测周期时：
78.手势检测与手部检测可以同时进行，以便于提高手部控制鼠标移动的效率；
79.或者，手势检测与手部检测也可以不同时进行，即先进行手势检测，在检测出的手势不是关闭手部跟踪功能的第二特定手势时，再进行手部检测；如果检测出的手势为第二特定手势，则可以直接关闭手部跟踪功能，此时无需再进行手部检测，以减少处理器的运算量，减少不必要的操作。
80.因此，可选地，为了实现手势检测，在本发明实施例中，处理器，还被配置为：
81.在手部跟踪功能开启，且在判断出到达特定手势检测周期时，对目标人体框中的手势进行识别处理；
82.根据识别出的手势，控制当前手部跟踪界面进行响应。
83.其中，在对手势进行识别处理时，可以采用resnet18算法来实现，当然还可以采用其他本领域技术人员所熟知的可以实现手势检测的算法，在此并不限定。
84.如此，通过对手势进行识别，可以确定出目标人体框中用户做出的特定手势，进而可以根据该特定手势，控制当前手部跟踪界面进行响应，实现通过特定手势对智能穿衣镜的控制。
85.可选地，为了实现根据识别出的手势，控制当前手部跟踪界面进行响应，在本发明实施例中，处理器，被配置为：
86.在判断出识别出的手势为开启手部跟踪功能的第一特定手势时，控制当前手部跟踪界面对第一特定手势无响应；
87.或，在判断出识别出的手势为关闭手部跟踪功能的第二特定手势时，关闭手部跟踪功能，且控制显示器停止显示鼠标；
88.或，在判断出识别出的手势为当前手部跟踪界面对应的除第二特定手势和第一特定手势之外的其他特定手势时，根据预设的特定手势和响应结果之前的对应关系，控制当前手部跟踪界面响应识别出的手势。
89.其中，特定手势与响应结果之间的对应关系，可以根据不同场景的需要等因素进行设置，在此并不限定。
90.例如，对于当前手部跟踪界面，预先设置了对应的特定手势，假设当前手部跟踪界面对应的特定手势包括：开启手部跟踪功能的第一特定手势、关闭手部跟踪功能的第二特定手势、点击按钮对应的第三特定手势；
91.在识别出的手势为第一特定手势时，由于当前已经处于手部跟踪界面，表示已经开启了手部跟踪功能，所以此时无需再对第一特定手势进行响应；
92.或，在识别出的手势为第二特定手势时，可能是用户想要关闭手部跟踪功能，所以关闭手部跟踪功能即可，同时消除显示器上显示的鼠标，在这之后，即使手部发生移动，因显示器上不再显示鼠标，所以手部移动不会再映射到显示器上；
93.或，在识别出的手势为第三特定手势时，可能对应的场景为：用户想要试穿下一件衣服时，用户通过手部移动先将显示器上显示的鼠标移动至“下一件”按钮处，接着用户通过做出第三特定手势表示想要点击“下一件”按钮，此时处理器可以控制当前手部跟踪界面显示下一件衣服，以便于用户进行试穿。
94.如此，通过识别出的手势，可以对当前手部跟踪界面进行控制，实现手部跟踪界面对特定手势的响应，从而实现基于动态手势的隔空控制智能穿衣镜。
95.可选地，在本发明实施例中，处理器，被配置为：
96.在手部跟踪功能未开启，且判断出到达特定手势检测周期时，对目标人体框中的手势进行识别处理；
97.在判断出识别出的手势为开启手部跟踪功能的第一特定手势时，开启手部跟踪功能，且在显示器的特定位置显示鼠标，将特定位置确定为鼠标的起始位置。
98.也就是说，在手部跟踪功能开启的同时，可以唤醒显示器上的鼠标，以便于后续通过用户手部的移动控制鼠标的移动，实现手部对智能穿衣镜的隔空操作。
99.具体地，在本发明实施例中，特定位置为显示器的中心点。
100.也就是说，可以在显示器的中心点唤醒鼠标，并将显示器的中心点作为鼠标的起点，在手部发生移动时，鼠标可以从显示器的中心点开始移动。
101.当然，在实际情况中，特定位置并不限于设置为显示器的中心点，还可以设置为其他位置，可以根据实际需要进行设置，在此并不限定。
102.具体地，在本发明实施例中，在手部跟踪功能未开启，且判断出到达特定手势检测周期时，处理器还被配置为：
103.若判断出识别出的手势不是开启手部跟踪功能的第一特定手势时，则根据预先设置的特定手势与响应结果之间的对应关系，控制显示器当前的显示界面响应识别出的手势。
104.可选地，在本发明实施例中，图像采集器，被配置为：按照预设的采集周期采集图像；
105.其中，采集周期小于特定手势检测周期。
106.也就是说，对于图像采集器而言，在采集图像时，可以按照采集周期进行采集，即每到达采集周期，图像采集器即可采集一张图像。
107.并且，采集周期可以设置的小一点，例如但不限于100ms，以便于在手部跟踪功能开启时，每采集一张图像且确定出该张图像中的目标人体框时，可以根据该张图像目标人体框中的手部位置确定显示器中鼠标的位置，提高鼠标移动与手部移动的时效性，减少滞后性。
108.同时，在设置特定手势检测周期时，可以设置的比采集周期大一点，例如但不限于1s，也即每隔几张图像就进行一次手势检测，在实现特定手势对显示器界面控制的同时，有利于降低运算量，降低处理器的制作成本。
109.下面结合具体实施例，对本发明实施例提供的上述智能穿衣镜的工作过程进行说明。
110.结合图4所示；其中，每采集到一张图像均需要执行以下过程。
111.s401、获取当前图像；
112.s402、确定当前图像中的目标人体框；
113.s403、判断当前智能穿衣镜的手部跟踪功能是否已开启；若否，执行s404；若是，则执行s405；
114.s404、在判断出到达特定手势检测周期时，对当前图像的目标人体框中的手势进
行识别，若判断出目标人体框中的手势为开启手部跟踪功能的第一特定手势，则开启手部跟踪功能，并在显示器的特定位置唤醒鼠标，并将该特定位置作为鼠标的起始位置；若判断出目标人体框中的手势不是第一特定手势，则根据识别出的手势、以及预先设置的特定手势与响应结果之间的对应关系，控制显示器进行对应地响应；结束流程；
115.s405、判断是否到达特定手势检测周期；若是，执行s406；若否，执行s407；
116.s406、对当前图像的目标人体框中的手势进行识别，并判断目标人体框中的手势是否为开启手部跟踪功能的第一特定手势；若是，对第一特定手势无响应，并执行s407；若否，则执行s408；
117.s407、对当前图像的目标人体框中的手部进行检测，根据目标人体框中手部的移动，控制显示器中显示的鼠标进行移动；结束流程；
118.s408、判断目标人体框中的手势是否为关闭手部跟踪功能的第二特定手势；若是，则关闭手部跟踪功能，并结束流程；若否，则执行s409；
119.s409、根据识别出的手势、以及预先设置的特定手势与响应结果之间的对应关系，控制显示器进行对应地响应；回到s407。
120.基于同一发明构思，本发明实施例提供了一种手部跟踪显示的方法，该方法的实现原理与前述一种智能穿衣镜的实现原理类似，该方法的具体实施方式可以参见前述智能穿衣镜的具体实施例，重复之处不再赘述。
121.具体地，本发明实施例提供的一种手部跟踪显示的方法，如图5所示，可以包括：
122.s501、确定获取到的当前图像中的目标人体框；
123.s502、在手部跟踪功能开启时，根据目标人体框中手部的移动，控制鼠标进行移动；其中，在手部的移动过程中，手部与用于显示鼠标的设备无接触。
124.可选地，在本发明实施例中，还包括：
125.在手部跟踪功能开启，且在判断出到达特定手势检测周期时，对目标人体框中的手势进行识别处理；
126.根据识别出的手势，控制当前手部跟踪界面进行响应。
127.可选地，在本发明实施例中，还包括：
128.在手部跟踪功能未开启，且判断出到达特定手势检测周期时，对目标人体框中的手势进行识别处理；
129.在判断出识别出的手势为开启手部跟踪功能的第一特定手势时，开启手部跟踪功能，且在显示器的特定位置显示鼠标，将特定位置确定为鼠标的起始位置。
130.可选地，在本发明实施例中，根据目标人体框中手部的移动，控制鼠标进行移动，具体包括：
131.对目标人体框中的手部进行检测，确定出手部在当前图像中的位置；
132.确定手部在当前图像中位置与在上一张图像中位置之间的矢量；
133.根据预设的灵敏度、确定出的矢量、预先确定出的显示器的显示尺寸、以及图像采集器采集到的图像尺寸，确定当前图像中的手部映射到显示器中的目标位置，并控制鼠标移动至目标位置。
134.可选地，在本发明实施例中，确定获取到的当前图像中的目标人体框，具体包括：
135.对当前图像进行人体检测，确定出至少一个人体框；
136.计算每个人体框与预设位置框之间的交并比；
137.筛选出大于第一预设值的交并比对应的人体框；
138.将筛选出的人体框中，交并比最大的人体框确定为目标人体框。
139.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。