用于使用检测到的图像特征进行投影仪对准的系统和方法与流程

1.本技术文件涉及校准投影仪以消除图像失真的方法，并且特别地涉及用于使用投影到表面上的检测到的图像特征来校准投影仪对准的实时方法和设备。


背景技术：

2.对投影仪系统进行操作的一项挑战是在源图像(例如视频流)与屏幕上显示的图像之间保持校准(例如几何对准(梯形失真校正)、亮度均衡等)。手动校准通常是耗时的，并且需要在执行校准时投影系统处于“离线”状态。为了至少部分解决该挑战，基于相机的投影仪对准系统已经设计成用于比手动校准尽可能更快且更准确地对投影系统进行自动校准。尽管这种基于相机的投影仪对准系统产生比手动调整尽可能更快的校准，但是投影系统必须继续是离线的以便对执行自动校准所需的校准图案进行投影。在此期间，无法显示视频内容，并且相反，通过投影仪(结构光)来显示校准图案。图案的几何形状可以通过对所投影的图像进行拍摄的相机来测量。例如，经由斑点检测可以容易地找到诸如黑色背景上的白色方形之类的测试图案的精确相机图像传感器坐标，斑点检测是计算机视觉中用于检测数字图像中的与周围区域相比在诸如亮度或颜色之类的特性上不同的区域所使用的方法。通过在相机坐标和投影仪坐标两者中了解每个斑点的坐标，可以确定两个空间之间的映射以达到校准。
3.除了需要投影系统在校准期间离线操作的缺点外，还难以在不使系统离线的情况下自动确定系统何时需要重新对准。
4.从现有技术已知以下内容：us9667932b2-自动校正投影图像中的梯形失真和其他不需要的伪影；us2016196667a1-用于跟踪的系统和方法；jp2017059903a-投影系统、投影装置、信息处理装置及程序；wo2018225531a1-图像处理装置及方法；us8355601b2-实时几何感知投影和快速重新校准；us20170308242a1-投影对准；us8398246b2-实时投影管理。


技术实现要素：

5.本技术文件的方面是提供一种用于生成相机-投影仪对应关系点的方法和设备，其主要应用是基于相机的投影仪图像的对准和连续修复。该方法实时工作，以对输入视频在被投影时“运行”中的图像特征进行检测。因此，输入视频可以用作由相机检测到的对准图案，以在投影图像中找到与输入视频中的相同特征匹配的特征，以用于校准投影仪对准。相机和投影仪的操作是同步的，以确保相机拍摄包含要定位在所捕获的相机图像中的图像特征的适当的视频帧。
6.在一个实施方式中，第一处理器对视频输入的单个帧中的特征进行检测，并且第二处理器对由相机所检测到的相对应投影图像中的特征进行检测。第二处理器对所选视频帧和所捕获的图像中的所关注的特征进行匹配，并且该信息可以用于校正投影仪对准。可以使用斑点检测或角点检测来比较图像。与现有技术的“离线”校准方法不同，视频帧可以在不中断视频内容的显示的情况下连续地(例如每帧)或间歇性地(例如每10帧)处理。
7.上述方面可以通过用于对视频图像的对准进行校准的系统来实现，所述视频图像来自图像生成器且被投影在显示器表面上，该系统包括：视频特征检测器，该视频特征检测器用于定位并生成从图像生成器输出的视频帧中的所关注的视频特征的列表；图像检测装置，该图像检测装置用于对视频帧的被投影在显示器表面上的图像进行捕获；图像特征检测器，该图像特征检测器用于定位并生成投影帧中的所关注的投影图像特征的列表；以及校准控制器，该校准控制器用于对来自所关注的视频特征的列表和投影图像特征的列表的相同特征进行接收和匹配，并且校准控制器作为响应生成几何校正信号以便于投影视频图像的对准。
8.根据另一方面，提供了对视频图像的对准进行校准的方法，所述视频图像来自图像生成器且被投影在显示器表面上，该方法包括：对从图像生成器输出的视频帧中的所关注的特征进行定位；对视频帧的被投影在显示器表面上的图像进行捕获；对从图像生成器输出的视频帧中的所关注的特征的坐标进行接收；对视频帧的被投影在显示器表面上的所捕获的图像中的相同的所关注的特征进行定位；以及对从图像生成器输出的视频帧中的所关注的特征以及视频帧的被投影在显示器表面上的所捕获的图像中的相同的所关注的特征的坐标进行匹配，并且对所述坐标进行传输以便于投影视频图像的对准。
9.在又一方面中，提供了投影系统，该投影系统包括：用于生成视频帧的图像生成器；用于将所述视频帧作为图像投影在显示器表面上的投影仪；视频特征检测器，该视频特征检测器用于对从图像生成器输出的选定的视频帧中的所关注的特征进行定位；图像检测装置，该图像检测装置用于对选定的视频帧的被投影在显示器表面上的图像进行捕获；图像特征检测器，该图像特征检测器用于定位并生成投影帧中的所关注的投影图像特征的列表；以及校准控制器，该校准控制器用于对来自所关注的视频特征的列表和投影图像特征的列表的相同特征进行接收和匹配，并且校准控制器作为响应生成几何校正信号以便于投影视频图像的对准。
10.参照形成本发明的部分的附图，通过如下文中更充分地描述和要求保护的构型和操作的细节，这些方面和优点与其他方面和优点随后将是明显的，其中，相同的数字始终指代相同的部分。
附图说明
11.图1示出了根据现有技术的基于相机的投影仪对准系统的示例。
12.图2是示出了根据实施方式的用于实时投影仪对准校准的系统的细节的框图。
13.图3是示出了根据实施方式的操作图2的系统的方法的流程图。
具体实施方式
14.图1示出了根据现有技术的基于相机的投影仪对准系统的示例。该系统包括用于将来自图像生成器11的可见图像和来自校准控制器12的校准图案投影在显示器13上的投影系统10。尽管校准控制器12被示出为作为投影系统10外部的独立部件，但是校准控制器12的全部或部分可以集成到投影系统10或图像生成器11中。
15.校准控制器12触发至少一种校准图案的生成(经由控制器12、图像生成器11或投影系统10)，以用于投影到显示器13上。例如，可以使用现有的相机设备来检测校准图案。例
如，可以使用标准的基于ccd的相机18。
16.可以将检测到的校准图案传输回校准控制器12，以用于使用已知技术来执行投影系统10的校准和/或重新校准。例如，可以经由斑点检测而容易地找到诸如黑色背景上的白色方形之类的测试图案的精确相机-图像传感器坐标。通过在相机坐标和投影仪坐标两者中了解每个斑点的坐标，可以确定映射以达到校准。例如，诸如来自christie digital systems canada,inc.的matrix
tm
系列投影仪之类的具有扭曲能力的投影系统可以通过几何校正和边缘融合算法执行校准。替代性地，可以通过图像生成器11处的图像校正来执行校准。
17.如上所讨论的，在使用图1的系统进行校准期间，不能显示视频内容，并且相反，通过投影系统10来显示技术块图案(结构光)。
18.根据本发明的方面，用于实时投影仪对准校准的系统在图2中示出，该系统根据图3中示出的方法操作。
19.用于实时投影仪对准校准的系统包括具有投影仪20a的投影系统20，投影仪20a用于将来自从图像生成器21输出的解码视频输入流22(例如全运动视频)的可见图像投影到诸如屏幕之类的显示器表面23上。如在图1的现有技术系统中，具有图像检测装置28a的图像检测系统28对显示器表面23上的投影视频的可见图像进行检测，图像检测装置28a可以是指向显示器表面23的基于ccd的标准相机。
20.投影系统20的视频特征检测器20b接收解码的未加密视频输入流22并且生成视频特征的列表，如下文更详细讨论的。投影图像特征检测器28b从图像检测装置28a接收图像并且生成投影图像特征的列表，如下文更详细讨论的。校准控制器25响应于接收到视频和投影图像特征的列表来向投影仪20a生成几何校正信号。校准控制器25可以是能够进行图像处理的小型外部计算装置(例如，类似于christie 投影系统中的硬件、或nvidia jetson 或具有gpu的完整pc。)
21.尽管检测器20a和检测器28a被示出为分别集成到投影系统20a和图像检测系统28中(例如，使用fpga电路)，但是可以设想的是，检测器可以是投影系统20和图像检测系统28外部的独立部件。在优选实施方式中，检测器20a和检测器28a分别集成到投影系统20a和图像检测系统28中，使得可以检测和处理视频特征，而无需将未压缩和未加密的视频传输到任何外部部件，并且使得投影图像特征的图像处理靠近于图像检测装置28a执行。
22.因此，视频特征检测器20b对视频特征进行检测并且优选地仅向校准控制器25传输特征的列表(例如，在图像中找到的“角部”的x、y坐标及所述角部的取向的列表)，而不是整个图像。这通过不在视频图像渠道之外传输未加密的视频来保持复制保护限制。类似地，根据优选实施方式，投影图像特征的列表被发送到校准控制器25，这比将整个未处理的图像传输到校准控制器25需要更少的带宽。参考图3，结合图2的系统，在步骤30处，投影系统20将来自解码视频输入流22的可见图像投影到显示器表面23上。
23.在步骤31处，位于视频输入路径中并且可以对来自图像生成器21的数字图像进行访问的视频特征检测器20b对来自解码视频流的选择的视频帧中的所关注的特征26进行定位。例如，视频特征检测器20b可以使用图像处理算法(比如sift、surf、harris角点检测等)来对来自所选视频帧的视觉特征26自动地进行定位和表征。特征26在图像内就(x，y)坐标而言具有精确的位置以及有助于将特征26与图像中其他特征区分开来的其他图像量(例
如，斑点大小、偏心率、取向等)，从而便于特征26与由图像检测装置28捕获的图像中的类似图像特征相匹配，以用于确定投影仪-相机对应点，如下所讨论的。
24.在步骤32处，视频特征检测器20b将定位特征26的视频特征列表(即坐标)27(而不是视频图像内容的像素)传输到校准控制器25，校准控制器25可以是投影系统20的一部分，或者校准控制器25可以位于“上游”并且与投影系统分离。
25.在步骤33处，图像检测装置28a捕获显示器表面23上显示的图像。例如，图像检测装置28a可以通过来自投影系统20的信号而触发，从而与由视频特征检测器20b处理的所选视频帧同步，其中，在先前视频帧或后续视频帧之间没有串扰，以便仅包含选定的所关注的视频帧的干净图像。
26.在步骤34处，校准控制器25使用由视频特征检测器20b所使用的相同特征检测算法，以对由图像特征检测器28b所检测的图像特征列表中的所关注的特征26(即，由视频特征检测器20b所定位的相同特征)进行定位。因为应用了相同的算法，所以将以与由视频特征检测器20b直接从视频输入流22所检测的特征相同的方式来检测和表征相同的特征。
27.然后，在步骤35处，校准控制器25匹配来自视频输入流22的所选择的视频帧之间的特征26以及由图像检测装置28所捕获的图像中的相同特征26，以确定就对应的投影仪坐标x
proj
和相机坐标x
camera
而言所表示的对应关系。用于此目的的示例性特征匹配算法是开源计算机视觉库中在线可用的opencv特征匹配。
28.最后，在步骤37处，几何校正信号被传输到投影仪20a(或替代性地传输到图像生成器21)以用于使用已知技术进行校准控制。例如，诸如来自christie digital systems canada,inc.的matrix
tm
系列投影仪之类的具有扭曲能力的投影系统可以通过几何校正和边缘融合算法来执行校准。替代性地，可以通过图像生成器21处的图像校正来执行校准。如果在对来自解码视频输入流22的可见图像进行投影时，投影系统20正在应用图像扭曲，则投影系统20可以将图像的改变(扭曲)坐标从视频特征检测器20b传递到校准控制器25，以说明投影系统20在将图像信号传输到投影系统20的内部数字微镜(dmd)之前对图像信号执行的任何扭曲。
29.根据以上描述，投影系统20(或者替代性地图像生成器21)可以利用由图3的方法和图2的系统所产生的相机-投影仪对应关系来执行数字图像扭曲，以将图像放置在显示器表面23的期望位置中。
30.如上所讨论的，图3的校准方法是在单个帧视频的正常处理过程中执行的，而没有视频的正常显示方面的任何中断。还可以设想的是，图3中阐述的过程可以被重复(即，步骤36处的“是”)以用于生成连续图像特征对应关系(例如，每10个视频帧)，或者每当必须进行连续修复过程时重复图3中阐述的过程，或者以受其他因素限制的速率重复图3中阐述的过程，该速率诸如可以将新扭曲发送到投影系统20的速率(该速率可以不是实时的)。
31.应该指出的是，在输入视频流22中没有可检测的特征(例如晴朗的蓝天或纯色的图像等)的情况下，可以延迟连续修复，直到视频流包括可检测的特征26。
32.在定位图像检测装置28时，还应注意确保输入视频流与相机图像之间的特征可以是匹配的(例如，应避免将混淆特征匹配机制的设定，诸如将相机定位成太远离显示器表面23，或者在相机的视野中引入视觉干扰)。
33.尽管已经图示和描述了特别的实施方式，但是对于本领域技术人员来说明显的
是，可以进行各种改变和修改并且各种改变和修改旨在落入本公开的范围内。此外，尽管本发明已在本文中针对特别的目的在特别的环境中的特别的实施方案的上下文中被描述，但是本领域的普通技术人员将认识到本发明的用途不限于此，并且本发明可以出于任何数量的目的在任何数量的环境中有益地实施。因此，应考虑到如本文所述的本公开的全部广度和精神来解释以下阐述的权利要求。