一种多元素桌面投影互动实现方法及装置与流程

1.本发明属于投影互动技术领域，具体涉及一种多元素桌面投影互动实现方法及装置。


背景技术：

2.桌面互动投影系统为融合当今世界最高科技的广告和娱乐互动系统；互动影音系统提供一种不同寻常并激动人心的广告与娱乐交相辉映的效果系统，适用于所有公共室内场所，特别是休闲、购物、娱乐及教育场所，互动投影系统的运作原理首先是通过捕捉设备对目标影像进行捕捉拍摄，然后由影像分析系统分析，从而产生被捕捉物体的动作，该动作数据结合实时影像互动系统，使参与者与屏幕之间产生紧密结合的互动效果；
3.目前的桌面投影互动，其信号来源主要为以下三种类别：1)基于红外摄像头检测画面变化：基于红外摄像头在不用特制餐具的条件下，只能检测画面中有变化，有移动物体的位置，作为互动信号输入，而当物体不动时，追踪信号就会消失。在使用特制餐具的条件下，才可以识别追踪特制餐具。但都不能实现像素级的精细投影互动，比如探入画面中的手部的任意轮廓位置使投影画面中的一只蝴蝶避开飞走；
4.2)基于深度摄像头检测深度画面变化：无法固定追踪一个物体的连续运动位置信号；无法实现像素级的精细投影互动，且深度摄像头必须安装在桌面垂直正上方；
5.3)基于图像深度学习；可以识别特定的图片或物体，但不适用于桌面投影互动中，因为一方面投影互动整体光线环境偏暗，不利于ai模型匹配识别，另一方面投影互动过程中，物体或图片上的光线经常会发生大的改变，这些因素都导致这类方法目前还不适用于桌面投影互动的信号处理。


技术实现要素：

6.为了解决上述技术问题，本发明提供了一种多元素桌面投影互动实现方法及装置，基于kinect2.0深度摄像头，深度摄像头安装与桌面正上方，可覆盖桌面，安装位置可正视，可斜视；本发明互动元素增多，大幅度提高现有桌面投影互动的信号丰富性；
7.为了达到上述技术目的，本发明是通过以下技术方案实现的：一种多元素桌面投影互动实现装置，包括：桌面、投影机、计算机、深度摄像头；
8.所述深度摄像头位于桌面正上方或斜上方；投影机位于桌面上方，使得投影在桌面的画面无形变。
9.本发明的另一目的在于提供一种多元素桌面投影互动实现方法，包括以下步骤：
10.s1：对齐深度图图像信号和桌面投影画面；
11.s2：投影画面中的任一像素位置能准确找到其对应的深度图位置，以实现像素级精细互动；
12.s3：桌面上不同物体的追踪识别；
13.优选的，所述s1中深度图图像信号和桌面投影画面对齐具体方法包括：
14.s1.1：确定投影画面有效区域范围，对齐投影画面和桌面；
15.s1.2：对齐深度图数据和投影画面的水平线位置，以此确定六点拉伸的中间两个点水平位置；
16.s1.3：六点拉伸计算对齐深度图数据和投影画面，具体为：基于s1.2确定的深度图水平线位置，将深度图画面分为上半区和下半区，共用水平线上的两个点，两个区域分别进行四点拉伸校正，配合放在桌面上定位点物体，拉伸对齐各个定位点的深度图位置和桌面实际放置位置；
17.s1.4：存储桌面空置时的深度数据，用于和实时深度数据比对，即可判断投影桌面任意位置是否有深度变化，即是否有物品放入；
18.优选的，所述s2的具体方法为：通过六点拉伸反向计算，精确计算出屏幕像素点在深度图像像素点的对应位置：将投影画面以桌面水平中线分为上半区和下半区，共用水平线上的两个点，两个区域分别进行四点拉伸计算，配合s1.3的计算方法检验反向计算结果正确性；
19.优选的，所述四点拉伸计算具体为：从屏幕位置映射到深度图位置，先按上下分区算深度图上的纵轴位置，再按深度图纵轴位置所属深度图上下分区算深度图横轴位置；
20.优选的，所述s3不同物体的追踪识别的具体方法为：
21.s3.1：优化实时信号检测的运行性能：kinect2.0深度摄像头总像素数量为512x424共217088个像素，实时互动中，每帧实时比对每个像素的深度数据变化，运行性能消耗极大；针对这一点，本发明采取间隔加滚动采样位置的方法；
22.s3.2：不同圆形物体的识别和稳定追踪；
23.优选的，所述间隔加滚动采样位置方法：即间隔5个像素位置读取一个像素处理，同时逐帧滚动变化数据抽取的位置，上一帧读1，6，11，16
…
，下一帧读2，7，12，17
…
,以此类推；
24.优选的，所述不同圆形物体的识别方法具体为：多特征参数竞争性计分，监测特征主要为一定圆环形范围内平均深度值差值，符合条件的像素点动态增加计分，超出圆环范围，或和设定平均深度差值不符的像素点动态减分，累计计分超过设定阈值，将判断为某一种圆形物体；
25.优选的，所述不同圆形物体识别后的抗手持干扰方法具体为：像素按位置分配不同权重纳入圆形位置更新，圆内权重更高，圆外接近圆形位置的像素权重较低；同时识别到桌面中心位置到圆位置延长线上的像素点，其位置数据反向计入圆位置。
26.本发明的有益效果是：本发明适用于各种餐饮，教育，娱乐场所，提供了更精准更细腻的桌面投影互动信号处理方法，便于安装使用，能促进商业活动吸引人气，促进消费，增加儿童投影互动类产品的新颖性，增加认知效率，提升互动体验感等等；
27.本发明可满足有大量丰富细节的桌面投影互动产品的设计和实现；现有的桌面投影互动，大部分以纯视频效果播放为主，交互设计点少而简略，而本发明能大幅度提高现有桌面投影互动的信号丰富性，除了现有的特制物体识别追踪，我们还可以手持非特制圆形物体互动，可实现任何桌面物体(不严重反光和透光)深度数据的像素级互动；有利于开发者实现各种互动效果更丰富，可操作性更强的桌面投影互动产品。
附图说明
28.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
29.图1是本发明的设备按照位置示意图；
30.图2是本发明的不同圆形物体识别示意图；
31.图3是本发明的不同圆形物体追踪示意图。
具体实施方式
32.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
33.实施例1
34.参阅图1所示，一种多元素桌面投影互动实现装置，包括：桌面、投影机、计算机、深度摄像头；
35.所述深度摄像头位于桌面正上方或斜上方；投影机位于桌面上方，使得投影在桌面的画面无形变。
36.实施例2
37.一种多元素桌面投影互动实现方法，包括以下步骤：
38.s1：对齐深度图图像信号和桌面投影画面；
39.s2：投影画面中的任一像素位置能准确找到其对应的深度图位置，以实现像素级精细互动；
40.s3：桌面上不同物体的追踪识别；
41.优选的，所述s1中深度图图像信号和桌面投影画面对齐具体方法包括：
42.s1.1：确定投影画面有效区域范围，对齐投影画面和桌面；
43.s1.2：对齐深度图数据和投影画面的水平线位置，以此确定六点拉伸的中间两个点水平位置；
44.s1.3：六点拉伸计算对齐深度图数据和投影画面，具体为：基于s1.2确定的深度图水平线位置，将深度图画面分为上半区和下半区，共用水平线上的两个点，两个区域分别进行四点拉伸校正，配合放在桌面上定位点物体，拉伸对齐各个定位点的深度图位置和桌面实际放置位置；
45.s1.4：存储桌面空置时的深度数据，用于和实时深度数据比对，即可判断投影桌面任意位置是否有深度变化，即是否有物品放入；
46.优选的，所述s2的具体方法为：通过六点拉伸反向计算，精确计算出屏幕像素点在深度图像像素点的对应位置：将投影画面以桌面水平中线分为上半区和下半区，共用水平线上的两个点，两个区域分别进行四点拉伸计算，配合s1.3的计算方法检验反向计算结果正确性；
47.优选的，所述四点拉伸计算具体为：从屏幕位置映射到深度图位置，先按上下分区算深度图上的纵轴位置，再按深度图纵轴位置所属深度图上下分区算深度图横轴位置；
48.优选的，所述s3不同物体的追踪识别的具体方法为：
49.s3.1：优化实时信号检测的运行性能：kinect2.0深度摄像头总像素数量为512x424共217088个像素，实时互动中，每帧实时比对每个像素的深度数据变化，运行性能消耗极大；针对这一点，本发明采取间隔加滚动采样位置的方法；
50.s3.2：不同圆形物体的识别和稳定追踪，本发明的方法中包含对圆形物体的特殊识别方法，且能抗手部干扰，即在其被识别后，可手持该物体移动，不影响其识别位置和连续追踪；被识别的圆形物体只要不严重反光或透光即可，不需要特殊制作；
51.优选的，所述间隔加滚动采样位置方法：即间隔5个像素位置读取一个像素处理，同时逐帧滚动变化数据抽取的位置，上一帧读1，6，11，16
…
，下一帧读2，7，12，17
…
,以此类推；
52.优选的，所述不同圆形物体的识别方法具体为：多特征参数竞争性计分，监测特征主要为一定圆环形范围内平均深度值差值，符合条件的像素点动态增加计分，超出圆环范围，或和设定平均深度差值不符的像素点动态减分，累计计分超过设定阈值，将判断为某一种圆形物体；
53.优选的，所述不同圆形物体识别后的抗手持干扰方法具体为：像素按位置分配不同权重纳入圆形位置更新，圆内权重更高，圆外接近圆形位置的像素权重较低；同时识别到桌面中心位置到圆位置延长线上的像素点，其位置数据反向计入圆位置。
54.在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
55.以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。