一种基于人体特征参数的互动区域自动调节方法及设备与流程

1.本发明涉及多媒体控制技术领域，特别涉及一种基于人体特征参数的互动区域自动调节方法及设备。


背景技术：

2.随着图像识别技术，物体检测定位技术的发展，基于投影或者触摸显示屏的多媒体交互系统得到了广泛的应用。
3.在现有的多媒体交互系统的操作过程中发现，由于不同的用户身高比例不同，而图像显示区域往往仅能在相对固定的范围内移动，在现有技术中往往是通过人为操控投影仪或者触摸屏高度，改变投影或显示图像的高度以适应不同用户的身高。
4.更为具体地，如图1所示，c区域为投影图像区域，d区域为可互动区域，可互动区域为投影图像或者显示图像中，面积小于等于投影图像或显示图像且可响应用户操作的用户界面区域。用户需要根据提示移动自己的位置，并用手敲击对应的苹果图标。在图1中可以看出，由于身高和臂长的原因，即使用户可以自由移动，用户也仅能在正常情况下碰触到底部三排的苹果图标，不能直接敲击可互动区域内所有的苹果图标。
5.在图1中，由于可互动区域在投影图像区域的范围一般都是固定的，现有技术中一般是人为的调整投影设备或触摸设备的高度，以实现可互动区域与不同用户的适配。
6.多媒体交互系统的调整方式如图2所示，在图2的a中，水平放置的投影仪可通过调整投影角度改变投影图像区域的高度，进而改变可互动区域的高度；在图2的b中，垂直悬挂的投影仪可以通过调整投影仪的竖直高度，来改变投影图像区域的高度，进而改变可互动区域的高度；在图2的c中，水平放置于支撑支架上的触摸屏，可通过活动支架调整触摸屏高度，从而调整交互区域高度。但以上实现方式均是通过用户人为调整，人为判断位置是否合适，设备或系统不能根据用户自动调节，当用户使用或者用户年龄较小时，互动区域高度调节就会变得困难。
7.在专利文献中，如专利申请公告号为cn113552996a，名称为一种根据人体姿态自动调节界面布局的方法及触控屏设备，通过计算机程序地设置可实时或定时地将触控屏上的工具栏移动至适合用户操作的位置，但在该专利文献中，针对的是用户操作区域位于显示区域上的情况，当用户身高较矮，同时臂长较短时，如儿童操作时，视野范围和操作范围均位于触控屏显示画面的下方，此时该方案由于仅通过软件调控将不能正确地将工具栏调整至适合用户操作的位置，具有一定的局限性。


技术实现要素：

8.为克服现有技术中多媒体交互系统不能根据用户高度自动调整互动区域显示的问题，本发明提出一种基于人体特征参数的互动区域自动调节方法及设备。其具体技术方案如下：一种基于人体特征参数的互动区域自动调节方法，由可显示可互动区域的多媒体
设备执行，包括以下步骤，a1,获取人体特征参数，确定对应的人体的可操作高度；a2,显示包含有可互动区域的显示画面，获取所述可互动区域上边沿的第一调整范围，获取所述显示画面下边沿的第二调整范围；a3,根据所述可操作高度、所述第一调整范围和所述第二调整范围，确定调整方案，并根据所述调整方案调整可互动区域至可操作高度以下。
9.进一步地，在a3中，比较所述可操作高度、所述第一调整范围和所述第二调整范围，若所述可操作高度位于所述第一调整范围内，则自动控制电动机械调整多媒体设备，使显示画面整体向下移动并使所述可互动区域位于可操作高度以下；若所述可操作高度位于所述第一调整范围以下且位于所述第二调整范围以上，则自动控制电动机械调整多媒体设备和/或控制所述可互动区域竖直移动和/或缩小至可操作高度以下；若所述可操作高度位于所述第一调整范围以下且位于所述第二调整范围内，则先自动控制电动机械调整多媒体设备然后控制互动区域竖直移动和/或缩小至可操作高度以下。
10.进一步地，所述自动控制电动机械调整机构，为一电控系统，可以根据系统设定的目标位置，自动调节投影仪的投射角度，或者投影仪的高度，从而改变可互动区域上边沿的位置。
11.进一步地，所述第一调整范围为可互动区域上边沿随所述多媒体设备机械运动而达到的最大竖直高度范围；所述第二调整范围为显示画面下边沿随所述多媒体设备机械运动而达到的最大竖直高度范围。
12.进一步地，所述多媒体设备为投影设备，所述方法包括以下步骤，b1,获取由图像采集装置采集的包含有完整用户身体的拍摄图像；依据所述拍摄图像，按照算法获取人体特征参数，并确定对应的人体可操作高度；b2，投射包含有可互动区域的投影画面，调整投影高度或投射角度，计算可互动区域上边沿的第一调整范围，并记录投影画面下边沿的第二调整范围；b3，根据所述可操作高度、所述第一调整范围和所述第二调整范围，确定对应的调整方案，并根据所述调整方案调整可互动区域至可操作高度以下。
13.进一步地，在b1中，所述投影设备根据所述拍摄图像，按照openpose算法检测人体肩膀高度和手臂长度，并以肩膀高度加手臂竖直长度作为对应的人体的可操作高度。
14.进一步地，在b1中，所述投影设备根据人脸检测算法，检测在拍摄图像中用户人脸的关键信息，记录人眼平均位置,人下颌平均位置，并通过计算获得用户在拍摄区域的可操作高度。
15.进一步地，在b1中，所述投影设备投射带有编码信息的图像，从而确定拍摄图像中投影图像内的相对位置关系，并根据所述算法，检测拍摄图像中的人体特征参数，确定人体特征参数在拍摄图像中的位置，然后根据该位置确定在对应的在投影图像内的相对位置，从而确定人体的可操作高度在投影图像内的相对位置。
16.进一步地，还包括b0，所述投影设备投射投影图像，系统控制电控系统，改变投影设备的投影角度或投影高度，并记录不同投影角度或不同投影高度下对应的可互动区域上边沿位置和显示画面下边沿位置。
17.进一步地，所述多媒体设备为触控屏设备，所述方法包括以下步骤：c1，获取由红外光栅或触控传感器或超声身高测量装置反馈的人体特征参数，确定对应的人体的可操作高度；c2, 显示包含有可互动区域的显示画面，获取该可互动区域上边沿的第一调整范围，并记录显示画面下边沿的第二调整范围；c3,根据所述可操作区域高度、所述第一调整范围
和所述第二调整范围，确定调整方案，并根据所述调整方案调整可互动区域至可操作高度以下。
18.进一步地，所述多媒体设备为触控屏设备，所述方法包括以下步骤：d1，获取身份识别装置反馈的用户信息，调取对应的人体的可操作高度；d2, 显示包含有可互动区域的显示画面，获取该可互动区域上边沿的第一调整范围，并记录显示画面下边沿的第二调整范围；d3,根据所述可操作高度、所述第一调整范围和所述第二调整范围，确定调整方案，并根据所述调整方案调整可互动区域至可操作高度以下。
19.进一步地，所述自动控制机械调整机构，为一电控系统，可以根据系统设定的目标位置，调节触控屏的高度，从而改变可互动区域上边沿的位置。
20.进一步地，还包括a0，所述多媒体设备将可互动区域放大至显示画面整个区域，并通过机械调整使得显示画面或投影画面位于最高处，然后再进行用户互动区域的调整。
21.一种设备，包括控制器和存储器，所述存储器上存储有计算机程序，所述控制器用于执行所述计算机程序，以实现上述的基于人体特征参数的互动本发明的有益效果是：本发明针对不同身高的用户，采集用户人体特征参数，根据人体特征参数确定不同用户的可操作高度，根据可操作高度同第一调整范围和第二调整范围的比较，确定多媒体设备机械和软件相互配合的调整方案，尽可能地保证了不同身高用户在使用同一互动多媒体时，均能够便捷地操作可互动图像，避免了由于身高臂长的差异，带来的操作困难性。
附图说明
22.图1是现有技术投影互动示意图。
23.图2是现有技术投影仪调节示意图。
24.图3是本发明方法的流程示意图。
25.图4是本发明第一调整范围和第二调整范围示意图。
26.图5是本发明人体姿态估计算法示意图。
27.图6是本发明人体高度换算示意图。
28.图7是本发明人脸检测算法示意图。
29.图8是本发明触摸屏互动示意图。
30.图9是本发明触摸屏调节示意图。
31.图10是本发明触摸屏录入人体特征参数示意图。
32.图11是本发明预处理过程示意图。
33.以上附图中的标记解释如下：a—拍摄区域;b—投影区域;c—投影图像;d—可互动区域;e—触控显示屏区域;h0—可操作高度；h1—可互动区域上边沿的最低高度;h2—可互动区域上边沿初始高度;
h3—显示画面下边沿的最低高度;h4—显示画面下边沿初始高度;y1—人眼位置;y2—人下颌位置。
具体实施方式
34.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
35.基于背景技术中提出的问题，本发明提出一种通过检测人体特征参数，通过对该信息的处理，自动的调整互动区域的位置使其与用户身高相匹配，并在多媒体交互系统中应用，极大的方便了不同身高用户的使用。一种基于人体特征参数的互动区域自动调节方法，如图3所示，由可显示可互动区域的多媒体设备执行，包括以下步骤，a1,获取人体特征参数，确定对应的人体的可操作高度；a2,显示包含有可互动区域的显示画面，获取所述可互动区域上边沿的第一调整范围，获取所述显示画面下边沿的第二调整范围；a3,根据所述可操作高度、所述第一调整范围和所述第二调整范围，确定调整方案，并根据所述调整方案调整可互动区域至可操作高度以下。
36.本发明的方法运用于多媒体互动装置中，多媒体互动装置主要包括竖直交互式的投影装置和竖直交互式的触控屏装置，在本发明中，a1和a2没有特定顺序，可以先确定人体可操作高度，也可以先确定第一调整范围和第二调整范围。下面以投影设备和触控屏设备的实施例分别进行具体讲解。
37.实施例一，包括投影设备和图像采集设备。投影设备投射带有位置编码信息的图案，用户站立于投影图像前，图像采集设备采集包含完整人体以及位置编码信息的拍摄图像，并将该拍摄图像传递至投影设备。投影设备根据拍摄图像识别人体特征参数，人体特征参数包括但不限于人脸、肩高、臂长、人眼高度、人下颌等。并根据人体特征参数确定用户可操作区域的上边沿高度（在图像中的位置），记作人体对应的可操作高度位置h0。
38.如图4所示，投影设备投射带有可互动区域的显示画面，并通过自动控制机械调整，记录可互动区域的第一调整范围和显示画面的第二调整范围。第一调整范围是指可互动区域上边沿按初始比例仅通过投影设备机械调整引起的竖直向下可移动范围；第二调整范围是指显示画面下边沿仅通过投影设备机械调整引起的竖直向下可移动范围。在图4中，h2是可互动区域上边沿初始高度，h1是可互动区域上边沿的最低高度，h4是显示画面下边沿初始高度，h3是显示画面下边沿的最低高度。第一调整范围是h1至h2，第二调整范围是h3至h4 。在本发明中，主要讨论h2≥h1》h4≥h3的情况，当h1《h4 时，即机械调整幅度过大的情况下，系统可直接自动控制调整机械结构高度再调整可互动区域至人体可操作高度以下。
39.在确定了人体可操作高度、第一调整范围和第二调整范围后，投影设备对人体可操作高度进行判定，当h0大于h2时，初始比例的可互动区域整体位于人体可操作高度以下，此时不进行调整；当h0小于h2且大于h1时，人体可操作高度位于第一调整范围内，此时通过
自动控制投影设备机械调整即可实现可互动区域调整至人体可操作高度以下；当h0小于h1且大于h4时,人体可操作高度位于第一调整范围以下且位于显示画面下边沿以上，此时通过自动控制投影设备机械调整显示画面高度或者通过调整可互动区域向下移动或按比例缩小即可使得可互动区域位于人体可操作高度以下；当h0小于h4且大于h3时，人体可操作高度位于第二调整范围内，此时通过自动控制投影设备机械调整和软件调整相结合，先机械移动使得显示画面整体向下，再将可互动区域在投影区域内向下移动或按比例缩小即可使得可互动区域位于人体可操作高度以下；当h0小于h3时，投影设备无法通过自身结构或程序调整可互动区域至人体可操作高度以下，此时提示用户使用垫块或其他外置装置增加用户可操作高度。
40.实施例二，与实施例一相似，区别在于，实施例二中采用不能自动机械调整的投影设备，在本实施例中，第一调整范围即为h2（h1和h2重合），第二调整范围即为h4（h4和h3重合）。当h0大于h2时，初始比例的可互动区域整体位于人体可操作高度以下，此时不进行调整；当h0小于h2且大于h4时，通过投影设备调整可互动区域在投影区域内向下移动或按比例缩小即可使得可互动区域位于人体可操作高度以下；当h0小于h4时，投影设备无法通过自身结构或程序调整可互动区域至人体可操作高度以下，此时提示用户使用垫块或其他外置装置增加用户可操作高度。
41.另外需要说明的是，在实施例一和实施例二中，人体可操作高度、第一调整范围和第二调整范围均是在拍摄图像内的相对高度，即在拍摄图像中的相对位置的高度与实际高度一一对应；但是人体可操作高度，在投影区域中的相对位置是不知道的，这里通过包含位置编码信息的投影图像及拍摄图像中的人体可操作高度，确定对应的人体可操作高度在投影区域中的相对位置。
42.在确定人体可操作高度时，可采用openpose算法，如图5所示，用户站立在投影区域前位于拍摄区域内，投影设备投射预设的黑白块相间网格图，通过人体姿态估计算法，检测该拍摄图像下用户的躯干四肢，从而确定用户手能碰到的最高位置点，记作h0 。h0表示在该拍摄图像中人体可操作的最大高度。
43.在图6中，投影设备投射预设的黑白块相间网格图，拍摄设备拍摄带有黑白块相间网格图的拍摄图像，投影设备通过拍摄图像内各个黑白块相间的网格图确定人体可操作高度在投影图像区域中的相对位置。对于非固定的投影仪，如投影仪前后移动，投影区域会发生改变，该方法均能自动确定，人体可操作高度在投影区域中的相对位置，该方法不受投影距离调整的影响。在图6中，a区域为拍摄区域，b区域为投影区域，c区域为投影图像。采用等腰直角三角形的黑白块相间网格图，其中幕布不同高度下对应不同的横向黑白块网格，标记了不同的投影区域内的相对垂直位置。这里黑白网格图案主要用于标记投影区域内不同的相对位置，可以根据需要设置图样。投影设备首先根据拍摄图像确定人体特征参数对应在拍摄图像中的位置高度，再根据相对高度与黑白块相间网格图标记的坐标确定人体可操作高度在投射图像中的相对位置。
44.在确定人体可操作高度时，也可采用人脸检测算法，如图7所示，用户正面朝向拍摄设备并站立在投影区域前，投影设备通过人脸检测算法，检测在拍摄图像中用户人脸的关键信息，通过人脸关键点信息，记录人眼位置y1,人下颌位置y2，并通过计算获得用户手能碰到的最高位置点，记作h0 ，其中h0 = y2 （y1
‑ꢀ
y2）*3，该高度计算方式，通过测试时具
体调整确定。
45.实施例三，多媒体交互设备采用触控屏设备。在本实施例中，如图7所示，由触控屏设备如液晶触控屏或led触控屏执行，用户的可操作高度通过触控传感器采集，一般支持多点触控屏幕或者通过红外光栅采集用户的特征参数信息。具体包括以下步骤：步骤一、获取人体特征参数，确定对应的人体可操作高度。
46.在图8中，e区域为触控设备的触控显示屏区域，d区域为触控显示屏区域内可相应用户操作的可互动区域。d区域面积小于或等于e区域面积。在本实施例中，用户通过红外光栅或者触控传感器录入人体特征参数。具体地，触控设备可采集用户竖直抬手能触碰到触控屏幕的最高位置，记作h0。更为具体地，触控设备上有预设的多点触控模式，如图10所示，当用户手掌三指同时放在触控屏幕上进行划动时，触控设备将三指划动的高度平均值或者最高值为h0。
47.步骤二，显示包含有可互动区域的显示画面，获取该可互动区域上边沿的第一调整范围，并记录显示画面下边沿的第二调整范围。
48.如图9所示，对于水平位置固定的触控显示屏，显示屏高度为80cm，根据初始设置可以获取显示画面下边沿的最低高度h3=70cm,机械调整后下边沿的初始高度h4为110cm。当位于最大高度时，可互动区域的上边沿初始高度h2 为160cm，则通过机械调整，可互动区域上边沿的最低高度h1为120cm。
49.步骤三，根据所述可操作高度、所述第一调整范围和所述第二调整范围，确定调整方案，并根据所述调整方案调整可互动区域至可操作高度以下。具体调整方案与实施例一类似，在此不再赘述。
50.在图9中，当用户使用时，假设触控屏下边沿的初始位置为110cm，用户用手碰触显示屏的中点，系统容易计算出该点在整个显示屏中的相对垂直位置， 该点距离上边沿50%,距离下边沿50%,则可换算为人体可操作高度h0为110 80*1/2=150cm，由于h0大于h1且小于h2，则控制显示屏向下移动160-150=10cm。当另一用户使用时，系统获取该用户对应的人体可操作高度h0为100cm，此时，h0小于h4且大于h3，此时先控制显示屏移动到最低点，再控制可互动区域竖直移动或按比例缩小至h0以下。
51.实施例四，对于竖直高度固定的触控屏，同第二实施例，第一调整范围即为h2（h1和h2重合），第二调整范围即为h4（h4和h3重合）。在本实施例中，触控设备上有预设的多点触控模式，如图10所示，当用户手掌三指同时放在触控屏幕上进行划动时，触控设备将三指划动的高度平均值或者最高值为h0 。在本实施例中，触控设备在获取多点触控信息时，首先进行模式判断，当三点被同时触控时，即进行人体特征参数采集模式，触控设备采集三个触控点的位置坐标，并计算人体可操作高度h0，然后自动调整互动区域至h0 以下。
52.需要注意的是，虽然第二实施例中采用三点触控模式，但其他常见的触控操作方式也可用于本发明中，如超过三秒的连续点击、五指同时触控、轻触、点按、滑动、摇晃等常见触控方式。在实施例三和实施例四中，采用触控屏直接录入身高的情况下，均需配置外置的身高输入装置，以避免用户无法碰触触摸屏的场景。
53.实施例五，对于投影设备或触控设备固定的应用场景中，例如教室，本发明提供一种更为经济实用的方案，系统配置有一身高输入装置，如小型数字键盘，直接获取用户输入的身高，如果用户身高为170cm，则系统将人体可操作高度h0=170*k，k为身高和臂长相关的
换算系数，并对应控制可互动区域移动至h0以下。
54.更进一步地，系统识别用户人脸，用户输入身高信息，系统将人脸和身高信息相匹配，在用户操作时，根据用户人脸直接调取对应的可操作高度h0。然后根据调控方案将可互动区域调整至h0以下。
55.实施例六，在基于实施例五的基础上，本实施例通过超声身高测量装置代替身高输入装置，在多媒体交互设备的正上方固定一超声身高测量装置，用户使用时直接站立在该目标位置下方，系统自动测量用户身高，并反馈给多媒体交互系统，后续操作同其余实施例。
56.对于实施例一至实施例六，均可增加基于id身份识别的装置，如指纹识别、人脸识别或视频卡片识别等，便于用户在第二次使用时，可以根据用户信息直接调取储存的可操作高度。
57.在实施例一和实施例二中，为便于投影设备的快速调整，可在本发明中增加预处理过程，如图11所示，投影设备将原始图像按预设比例投影在幕布区域上，产生投影图像，通过改变投影仪的投影角度或者投影仪的垂直高度，以此确定投影仪的可互动区域的在幕布区域内可调整的最高高度hmax和最低高度hmin 。hmin 和hmax之间的幕布区域即为预设比例的投影图像在幕布区域上的可调整区域。
58.在确定hmin 和hmax之后，可在hmin 和hmax范围内逐渐调整投影仪的投影角度或垂直高度，使得系统自动记录hmax和hmin之间对应的投影角度或垂直高度，此种方式可在实现投影仪的快速精准调控，当系统确定调整目标高度后，系统即可确定该高度位置对应的投影角度或垂直高度参数，然后自动控制电控系统调节机械装置到目标位置。需要说明的是，该设置为非必需步骤，即使没有预先记录，系统也可以通过反复调整，检测迭代，最终确定投影图像在可调整区域内对应的投影角度或垂直高度。
59.在实施例一至实施例六中，对于可自动控制机械调整高度的情况下，显示画面的优选方案是将可互动区域放大至显示画面整个区域，并将投影或显示画面调整至系统支持的最高处位置，当用户使用时再按以上步骤，依次进行对应的调整；当另一用户使用时，将可互动区域的面积复位至整个显示画面，并将投影或显示画面调整至系统支持的最高处位置，然后再进行对应调整。这样可以保证最终调整的可互动区域位置是在满足用户可以进行互动的条件下，该可互动区域是最大的。
60.一种设备，包括控制器和存储器，所述存储器上存储有计算机程序，所述控制器用于执行所述计算机程序，以实现上述的基于人体特征参数的互动区域自动调节方法。
61.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。