图像处理设备、图像处理方法和程序与流程

1.本公开涉及一种图像处理设备、图像处理方法和程序。


背景技术：

2.提出了一种用于从通过对书写者正在书写媒介上书写的状态进行成像而获得的运动图像数据中提取书写媒介上的书写部分的技术(例如，参见专利文献1)。这样的图像处理需要更高的精度。
3.引用列表
4.专利文献
5.专利文献1：wo 2018/163977 a


技术实现要素：

6.技术问题
7.本公开提供了一种即使在可移动的书写媒介上执行书写的情况下也能够以高精度执行图像处理的图像处理设备、图像处理方法和程序。
8.问题的解决方案
9.根据本公开的图像处理设备包括：移动检测单元，所述移动检测单元基于通过对能移动的书写媒介和正在所述书写媒介上书写的书写者进行成像而获得的运动图像数据来检测所述书写媒介的移动；以及书写部分检测单元，所述书写部分检测单元检测所述书写媒介上的书写部分，其中，所述书写部分检测单元在检测到所述书写媒介的移动的情况下，执行与所述书写媒介的移动相对应的处理。
10.发明的有益效果
11.按照根据本公开的图像处理设备、图像处理方法和程序，即使在可移动的书写媒介上执行书写的情况下，也可以以高精度执行图像处理。
附图说明
12.图1是示出根据本公开的第一实施例的图像处理系统的配置的示例的图。
13.图2是示出根据本公开的第一实施例的图像处理设备的功能配置的示例的框图。
14.图3是示出根据本公开的第一实施例的图像处理设备的硬件配置的示例的框图。
15.图4是将由根据本公开的第一实施例的图像处理设备进行的板面(board surface)的移动检测结果与运动图像数据一起示出的图。
16.图5是说明由根据本公开的第一实施例的图像处理设备来区分书写部分和非书写部分的方法的图。
17.图6是将由根据本公开的第一实施例的图像处理设备进行的书写部分的检测结果与运动图像数据一起示出的图。
18.图7是示出由根据本公开的第一实施例的图像处理设备进行的图像处理过程的示
例的流程图。
19.图8是将由根据本公开的第一实施例的第一变型的图像处理设备进行的板面的移动检测结果与运动图像数据一起示出的图。
20.图9是将由根据本公开的第一实施例的第二变型的图像处理设备进行的板面的移动检测结果与运动图像数据一起示出的图。
21.图10是示出根据本公开的第二实施例的图像处理设备的功能配置的示例的框图。
22.图11是将由根据本公开的第二实施例的图像处理设备进行的书写数据和合成运动图像数据的生成结果与运动图像数据一起示出的图。
23.图12是示出由根据本公开的第二实施例的图像处理设备进行的图像处理过程的示例的流程图。
24.图13是示出根据本公开的第三实施例的图像处理设备的功能配置的示例的框图。
25.图14是将由根据本公开的第三实施例的图像处理设备进行的书写日志的生成结果与运动图像数据一起示出的图。
26.图15是示出由根据本公开的第三实施例的图像处理设备进行的图像处理过程的示例的流程图。
具体实施方式
27.在下文中，将参考附图详细描述本公开的实施例。注意，在以下实施例中，相同的部分由相同的参考标记来表示，以便可以省略冗余描述。
28.[第一实施例]
[0029]
将参考附图描述第一实施例。
[0030]
(信息处理系统的配置示例)
[0031]
图1是示出根据本公开的第一实施例的图像处理系统1的配置示例的图。如图1中所示，第一实施例的图像处理系统1包括图像处理设备10、成像设备20、输入/输出设备30和记录设备40。
[0032]
成像设备20是对使用诸如黑板、白板或电子黑板之类的书写媒介的讲座、培训、研讨会、会议等进行记录的摄像机等。在图1的示例中，成像设备20对书写者300在白板200上书写的同时正在进行解释的状态进行成像。
[0033]
这里，书写者300是进行讲座、培训、研讨会、会议等的讲师、教师、演讲者等。
[0034]
作为书写媒介组的白板200包括作为书写媒介的多个板面210a、210b、210c和210d。此外，白板200本身例如固定到建筑物等的墙面，但是被配置为可滑动白板，其中垂直布置的板面(即板面210a和板面210b，或板面210c和板面210d)由于升高和降低而彼此可替换。书写者300可以在升高或降低垂直布置的板面210a和210b或板面210c和210d的同时在各个板面210b到210d上书写或擦除所书写的内容。
[0035]
然而，白板200可以是这样的类型，其中水平布置的板面(即板面210a和板面210c，或板面210b和板面210d)由于横向滑动而彼此可替换。此外，一次移动的板面210a到210d的数量可以是一个、三个或更多个。
[0036]
除了白色以外，板面210a到210d还可以具有黑色、绿色或其他颜色。可以在板面210a到210d上书写字符、图表、图形等。书写颜色也可以是任何颜色，只要其可以在板面
210a到210d上被识别即可，并且可以使用多种颜色。
[0037]
在下文中，当不在各个板面210a、210b、210c和210d之间进行区分时，它们可以简单地被称为板面210。
[0038]
成像设备20被设定在可以同时对书写者300和白板200进行成像的位置和视角处。成像设备20生成通过对书写者300和白板200进行成像而获得的运动图像数据，并且将所生成的移动图像数据输出到图像处理设备10。
[0039]
图像处理设备10执行从由成像设备20生成的运动图像数据中提取书写部分的处理。此时，图像处理设备10执行与板面210的升高和降低运动相应的处理。
[0040]
输入/输出设备30被配置为使得用户可以向图像处理设备10输入指令等。此外，例如，输入/输出设备30从图像处理设备10获取书写部分的提取结果，并且将提取结果呈现给用户等。
[0041]
记录设备40记录由图像处理设备10处理的运动图像数据、书写部分的提取结果等。
[0042]
(图像处理设备的配置示例)
[0043]
图2是示出根据本公开的第一实施例的图像处理设备10的功能配置的示例的框图。
[0044]
如图2中所示，图像处理设备10连接到一个或多个成像设备20、输入/输出设备30和记录设备40。图像处理设备10可以直接连接到成像设备20、输入/输出设备30和记录设备40，或者可以经由网络来连接。
[0045]
图像处理设备10接收从一个或多个成像设备20输出的运动图像数据，并且执行白板200的各个板面210a到210d的移动检测和其他处理。
[0046]
为了实现这样的功能，图像处理设备10包括例如运动图像输入单元11、控制信息输入单元12、移动检测单元13、书写部分检测单元14和输出单元16作为功能配置。
[0047]
运动图像输入单元11接收从一个或多个成像设备20输出的至少一个运动图像数据作为视频信号，并且将视频信号传递给移动检测单元13和书写部分检测单元14。
[0048]
控制信息输入单元12接收控制信息作为规则信号，并且将控制信息传递给移动检测单元13和书写部分检测单元14，该控制信息是从用户输入到输入/输出设备30的指令等。
[0049]
移动检测单元13从运动图像输入单元11接收运动图像数据，从各个板面210a到210d的框检测直线部分，并且根据直线部分的运动来检测各个板面210b到210d有无移动、移动的方向和速度等。此时，移动检测单元13参考从控制信息输入单元12接收到的控制信息。移动检测单元13将各个板面210a到210d的移动检测结果传递给书写部分检测单元14。
[0050]
书写部分检测单元14从自运动图像输入单元11接收到的运动图像数据中检测由书写者300在板面210a到210d上书写的书写部分。此时，书写部分检测单元14基于从移动检测单元13接收到的各个板面210a到210d的移动检测结果，对于每个板面210a到210d执行与移动检测结果相应的处理。此时，书写部分检测单元14参考从控制信息输入单元12接收到的控制信息。书写部分检测单元14将板面210a到210d上的书写部分的检测结果传递给输出单元16。
[0051]
输出单元16将由书写部分检测单元14进行的书写部分的检测结果输出到连接到图像处理设备10的一个或多个输入/输出设备30和一个或多个记录设备40。输出单元16可
以直接将由成像设备20成像的运动图像数据输出到记录设备40。
[0052]
用户可以利用输入/输出设备30检查从图像处理设备10输出的书写部分的检测结果。用户可以能够利用输出/输入设备30查看运动图像数据。此外，用户可以从输入/输出设备30输入控制信息。然而，输入/输出设备30可以不是独立的设备，并且图像处理设备10可以具有输入/输出设备30的功能。
[0053]
可以由用户输入的控制信息包括例如用于板面210a到210d的移动确定的信息、基于移动确定结果的处理和控制的内容、对运动图像数据的处理的内容、用于板面210a到210d的移动检测的补充信息等。
[0054]
用于板面210a到210d的移动确定的信息包括例如关于要从板面210a到210d的框检测的直线部分的信息。基于移动确定结果的处理和控制的内容包括使得处理和控制的内容在移动已被检测到的板面210和移动未被检测到的版面210之间不同。
[0055]
用于板面210a到210d的移动检测的补充信息包括例如各个板面210a到210d的移动方向以及板面210a到210d的数量、配置、布置、颜色等。
[0056]
存储设备40记录从图像处理设备10获取的书写部分的检测结果。然而，存储设备40可以不是独立的设备，并且图像处理设备10可以具有存储设备40的功能。
[0057]
图3是示出根据本公开的第一实施例的图像处理设备10的硬件配置的示例的框图。
[0058]
如图3中所示，图像处理设备10被配置为计算机，该计算机包括例如中央处理单元(cpu)110、只读存储器(rom)120、随机存取存储器(ram)130和输入/输出(i/o)端口140作为硬件配置。
[0059]
cpu 110例如读取存储在rom 120中的与图像处理有关的程序，将该程序部署在ram 130上，并且根据该程序进行操作。结果，cpu 110可以实现作为图像处理设备10的各种功能。
[0060]
i/o端口140连接到作为图像处理设备10的外部设备的成像设备20、输入/输出设备30和记录设备40，以及向这些外部设备发送并且从这些外部设备接收各种数据和信息，例如运动图像数据、书写部分的检测结果和控制信息。
[0061]
(板面的移动检测操作的示例)
[0062]
接下来，将参考图4描述由第一实施例的图像处理设备10进行的板面210a到210d的移动检测操作。
[0063]
图4是将由根据本公开的第一实施例的图像处理设备10进行的板面210a到210d的移动检测结果与运动图像数据一起示出的图。图4示出了在时间t1、t2和t3中的每个时间的运动图像数据的帧以及该帧中的板面210a到210d的检测结果。这里，一帧是指构成运动图像数据的静止图像的一次拍摄(shot)。
[0064]
在图4中的时间t1，图像处理设备10的移动检测单元13通过检测各个板面210a到210d的框的直线部分261来检测板面210b到210d。
[0065]
例如，通过执行基于运动图像数据中的亮度值的差异的边缘提取、运动图像数据的二值化等，以及对所获得的数据执行霍夫变换等，可以检测板面210a到210d的框的直线部分261。
[0066]
然而，除了板面210a到210d的框之外，例如，还可以将包括在板面210a到210d上的
书写部分中的直线等检测为直线部分。通过参考来自输入/输出设备30的控制信息，移动检测单元13可以基于各个板面210a到210d的框的直线部分261的长度、检测到各个板面210a到210d的框的直线部分261的位置等来确定检测到的直线部分是否是板面210b到210d的框。
[0067]
例如，在检测到的直线部分是书写部分的直线的情况下，例如，因为检测到的直线部分短于板面210a到210d的框，或者在板面210a到210d的框的位置内被检测到，所以可以确定检测到的直线部分不是板面210a到210d的框的直线部分261。
[0068]
然后，当检测到各个板面210a到210d的直线部分261时，移动检测单元13从该点开始跟踪检测到的板面210b到210d的直线部分261。
[0069]
在图4中的时间t2，垂直布置的板面210a和210b正在被书写者300等升高和降低。移动检测单元13例如通过获取与前一帧中的直线部分261的检测结果的差异来跟踪直线部分261。移动检测单元13基于当前帧中的直线部分261的检测结果与前一帧中的检测结果存在差异的事实来检测到直线部分261正在移动，并且检测到移动已经结束。
[0070]
在图4中的时间t3，板面210a和210b的升高和降低结束，并且板面210a和210b的位置彼此替换，其中，板面210a布置在上方，而板面210b布置在下方。移动检测单元13连续跟踪各个板面210a到210d的直线部分261。
[0071]
(书写部分的检测操作的示例)
[0072]
接下来，将参考图5和图6描述由第一实施例的图像处理设备10进行的板面210上的书写部分的检测操作。图5是说明由根据本公开的第一实施例的图像处理设备10来区分书写部分和非书写部分的方法的图。
[0073]
如图5的(a)中所示，在板面210上书写的书写部分250被记录在运动图像数据中。例如，如图5的(b)中所示，站在板面210前方的书写者300等也被记录在运动图像数据中，使得书写者300等与板面210重叠。图像处理设备10的书写部分检测单元14将书写部分250与以这种方式出现在板面210上的书写者300等区分开来，并且检测书写部分250。
[0074]
在执行书写部分250的检测操作时，书写部分检测单元14参考由移动检测单元13检测到的板面210a到210d的移动检测结果，并且根据移动检测结果使得书写部分250的检测操作在板面210a到210d中的每个之间不同。
[0075]
在移动检测单元13没有检测到经受书写部分250的检测操作的预定板面210的移动的情况下，书写部分检测单元14尝试检测板面210上的书写部分250。
[0076]
例如，使用参考帧来执行由书写部分检测单元14进行的书写部分250的检测操作。参考帧被书写部分检测单元14在每个预定操作处更新，并且是用作后续操作的参考的帧。例如，初始参考帧可以是在开始书写之前以及在板面210a到210d由于升高和降低移动而彼此替换之前捕获板面210a到210d的帧。
[0077]
书写部分检测单元14获取当前帧和参考帧之间的每个像素的差异，提取具有很大差异的像素(即，与参考帧中的状态相比具有很大变化的像素)，并且检测这样的像素连续存在的集合部分。
[0078]
这样的集合部分可以包括例如由书写者300添加的书写部分250、在板面210前方执行某些动作的书写者300等等。为了区分它们，书写部分检测单元14执行下面描述的形状评估、提取时间评估和静止时间评估。
[0079]
首先，书写部分检测单元14对于每个检测到的单个集合部分设定外四边形和内四边形，该外四边形是包括整个集合部分的最小四边形，该内四边形是适合集合部分的最大四边形。此外，书写部分检测单元14根据内四边形相对于所设定的外四边形的大小来计算形状的评估值α。形状的评估值α被设定为使得：内四边形相对于外四边形的大小越小，该值越高。
[0080]
如图5的(a)中所示，在由书写部分检测单元14检测到的集合部分是书写部分250的情况下，由于书写部分250主要由线段的组合构成，因此与外四边形po相比，内四边形pi相对较小。因此，形状的评估价值α高。
[0081]
如图5的(b)中所示，在由书写部分检测单元14检测到的集合部分是书写者300的情况下，由于书写者300由具有共同体积(collective volume)的部分(例如头部和躯干)构成，因此与外四边形qo相比，内四边形qi相对较大。因此，形状的评估价值α低。
[0082]
接下来，对于每个检测到的集合部分，书写部分检测单元14检查集合部分中包括的像素中继续发生变化的时间。也就是说，对于集合部分中包括的至少一些或所有像素，书写部分检测单元14计算当前帧或当前帧之前的多个帧与参考帧之间的差异。
[0083]
此外，书写部分检测单元14累积与参考帧相比具有很大差异的帧，并且将所累积的帧当中的连续帧的数量设定为提取时间的评估值β，该提取时间是在集合部分中包括的像素中连续地提取到变化的时间。也就是说，随着连续帧的数量越大并且变化的提取时间越长，提取时间的评估值β越高。
[0084]
在由书写部分检测单元14检测到的集合部分是书写部分250的情况下，在每次添加书写时，具有很大差异的帧继续被连续地累积，并且因此提取时间的评估值β高。
[0085]
在由书写部分检测单元14检测到的集合部分是在板面210前方移动的书写者300等的情况下，当书写者300已经通过了板面210前方时，具有很大差异的帧不再被累积。因此，连续帧的数量小，并且提取时间的评估值β低。然而，如果书写者300在板面210前方停止移动，则即使集合部分是书写者300，提取时间的评估值β也可能变高。
[0086]
接下来，对于每个检测到的集合部分，书写部分检测单元14检查集合部分中包括的像素中没有变化的时间。也就是说，对于集合部分中包括的至少一些或所有像素，书写部分检测单元14计算当前帧和当前帧之前的多个帧当中的一个帧与紧接在该帧之前的另一个帧之间的差异。
[0087]
此外，书写部分检测单元14累积与紧挨的前一帧相比具有很大差异的帧，并且将该差异的倒数设定为静止时间的评估值γ，该静止时间是集合部分中包括的像素中没有出现变化的时间。也就是说，随着与紧挨的前一帧相比具有很小差异的帧的数量越大并且每个像素的静止时间越长，静止时间的评估值γ越高。
[0088]
在由书写部分检测单元14检测到的集合部分是书写部分250的情况下，由于在书写一次的书写部分中通常不发生运动，因此与紧挨的前一帧的差异为0或非常小，并且因此静止时间的评估值γ高。
[0089]
在由书写部分检测单元14检测到的集合部分是在板面210前方移动或执行诸如手势之类的动作的书写者300等的情况下，与紧挨的前一帧的差异很大，并且因此静止时间的评估值γ低。
[0090]
书写部分检测单元14将如上所述地计算的评估值α、β和γ中的每个代入到评估函
数e(α,β,γ)中以获得解，并且将评估函数e(α,β,γ)的解大于阈值thr的集合部分检测为书写部分。
[0091]
然后，对于每个检测到的书写部分，书写部分检测单元14确定是将书写部分的每个像素值写入到并且保持在当前帧的对应像素位置处，还是删除像素值而不将像素值写入到当前帧的对应像素位置。
[0092]
例如，在当前帧中检测到的书写部分的像素位置与前一帧中作为书写部分保持的像素位置一致的情况下，书写部分检测单元14删除书写部分的每个像素值，而不将像素值写入到当前帧的对应像素位置。原因如下。
[0093]
为了在预定帧中被检测为书写部分，评估函数e(α,β,γ)的解需要大于阈值thr，并且这样的状态意味着在像素位置处发生了很大变化。如果在当前帧中的先前作为书写部分保持的像素位置处再次发生这样的很大变化，则认为这样的状态意味着先前书写的部分已被书写者300等在当前帧中擦除。
[0094]
出于上述原因，书写部分检测单元14从当前帧中删除在与先前被检测为书写部分的像素位置相同的位置处检测到的书写部分。
[0095]
对于在当前帧中检测到的其他书写部分，书写部分检测单元14写入并且保持当前帧中的书写部分的每个像素值。替选地，书写部分检测单元14可以仅保持书写部分中包括的每个像素的像素位置的信息，而不是将书写部分的像素值写入到当前帧的对应像素位置。
[0096]
书写部分检测单元14将已经反映了书写部分的每个像素值的保持结果和删除结果的当前帧设定为新参考帧。例如，对于板面210a到210d中的每个，执行参考帧的这样的更新。
[0097]
在如本实施例的白板200中那样同时移动和替换多个板面210a到210d的类型的情况下，可以对于一次移动的每一对板面(即，一对板面210a和210b或一对板面210c和210d)更新参考帧。
[0098]
书写部分检测单元14在对于当前帧的下一帧执行书写部分的检测时，使用新更新后的参考帧。
[0099]
利用这样的处理，书写部分检测单元14可以根据板面210a到210d的移动确定结果执行不同的处理。图6中示出了其具体示例。
[0100]
图6是将由根据本公开的第一实施例的图像处理设备10进行的书写部分的检测结果与运动图像数据一起示出的图。图6示出了在时间t1、t2和t3中的每个时间的运动图像数据的帧和该帧中的书写部分的检测结果。这里，在时间t1、t2和t3的运动图像数据与上述图4中的在时间t1、t2和t3的运动图像数据相同。
[0101]
在图6中的时间t1，书写部分检测单元14对于板面210a到210d中的每个检测书写部分250。在时间t1，在板面210a到210d中的任何一个上都没有发生移动。在这种情况下，书写部分检测单元14对于所有板面210a到210d检测书写部分250。
[0102]
在图6中的时间t2，在垂直布置的板面210a和210b中发生移动。在这种情况下，书写部分检测单元14根据各个板面210a到210d的移动检测结果，使书写部分250的检测处理不同。
[0103]
更具体地，书写部分检测单元14在时间t2的运动图像数据的帧中、在与由移动检
测单元13未检测到移动的板面210c和210d相对应的区域中检测书写部分250，以根据需要保持和删除检测到的书写部分250的每个像素值。
[0104]
另一方面，书写部分检测单元14在时间t2的运动图像数据的帧中、在与由移动检测单元13检测到移动的板面210a和210b相对应的区域中没有检测到书写部分250。另外，书写部分检测单元14从当前帧中删除前一帧中的作为板面210a和210b的书写部分250保持的每个像素值。此外，书写部分检测单元14删除此时的板面210a和210b的参考帧。
[0105]
如上所述，如果在任何板面210中发生移动，则该区域中包括的每个像素都发生很多变化。因此，如果通过参考在板面210的移动发生之前的参考帧来获取在板面210的移动之后的帧中的差异，则即使在除书写部分250之外的部分中也检测到很大的差异，这使得难以正确地分离书写部分250和非书写部分。通过在检测到板面210的移动时的定时删除与板面210相对应的参考帧，可以抑制上述错误检测。
[0106]
通过该处理，作为在时间t2的书写部分250的检测结果，获得如下状态，其中，与板面210a和210b相对应的左侧区域不具有书写部分250，而与板面210c和210d相对应的右侧区域具有书写部分250。维持书写部分250的检测结果的这样的状态，直到板面210a和210b的移动结束。
[0107]
当板面210a和210b的升高和降低在图6中的时间t3结束时，书写部分检测单元14再次对于板面210a到210d中的每个开始书写部分250的检测。此外，书写部分检测单元14将此时的帧新登记为参考帧。
[0108]
(图像处理设备的处理示例)
[0109]
接下来，将参考图7描述由第一实施例的图像处理设备10进行的图像处理的示例。图7是示出由根据本公开的第一实施例的图像处理设备10进行的图像处理过程的示例的流程图。
[0110]
在图7中的流程图中，一个循环(cycle)对应于对于构成运动图像数据的一个预定帧的处理，并且当对于一个帧的处理完成时，顺序地重复对于后续帧的循环。
[0111]
如上所述，在执行图像处理时，图像处理设备10将例如在开始书写之前以及在板面210a到210d由于升高和降低移动而彼此替换之前对该板面210a到210d进行捕获的参考帧登记为初始参考帧。换句话说，该处理也可以被视为图7的步骤s114中的处理。
[0112]
也就是说，由于由移动检测单元13进行的板面210a到210d的移动检测(步骤s101)没有检测到板面210b到210d中的任何一个的移动(步骤s102：否)，并且由于由图像处理设备10进行的处理的初始阶段而没有参考帧(步骤s106：否)，书写部分检测单元14将此时的运动图像数据的帧登记为参考帧(步骤s114)。
[0113]
然后，例如，处理在下一帧中再次返回到开始，移动检测单元13通过检测和跟踪板面210a到210d的直线部分来执行板面210a到210d的移动检测(步骤s101)，并且书写部分检测单元14参考移动检测单元13是否检测到板面210a到210d中的任何一个的移动(步骤s102)。
[0114]
在由图像处理设备10进行的处理的初始阶段，因为在布置在下方的板面210a和210c上没有书写任何内容，或者仍然有足够的空间来添加书写，所以认为书写者300等不会移动板面210a到210d。
[0115]
因此，例如，在移动检测单元13没有检测到板面210a到210d中的任何一个的移动
的情况下(步骤s102：否)，书写部分检测单元14确定是否存在已经登记或更新的参考帧(步骤s106)。
[0116]
在存在参考帧的情况下(步骤s106：是)，书写部分检测单元14提取在参考帧和当前帧之间具有很大差异的像素聚集的集合部分(步骤s107)。此时，除了书写部分之外，所提取的集合部分还可能包括非书写部分，例如执行某些动作的书写者300等。
[0117]
书写部分检测单元14通过比较对于每个集合部分的外四边形和内四边形来计算形状的评估值α(步骤s108)。例如，形状的评估值α趋向于在书写部分中比在非书写部分(例如作为集合部分提取的书写者300)中更高。
[0118]
对于每个集合部分，书写部分检测单元14根据当前帧和当前帧之前的多个帧当中的与参考帧具有很大差异的连续帧的数量来计算提取时间的评估值β(步骤s109)。此时的提取时间表示在预定的集合部分中连续地提取到变化的时间，以及提取时间的评估值β趋向于在书写部分中比在非书写部分中更高。
[0119]
对于每个集合部分，书写部分检测单元14根据当前帧和当前帧之前的多个帧当中的与紧接在一帧之前的另一帧具有很大差异的该帧的差的倒数来计算静止时间的评估值γ(步骤s110)。此时的静止时间表示在集合部分中包括的像素中没有出现变化的时间，以及静止时间的评估值γ趋向于在书写部分中比在非书写部分中更高。
[0120]
书写部分检测单元14对于每个集合部分获得评估函数e(α,β,γ)的解，并且将评估函数e(α,β,γ)的解大于阈值thr的集合部分确定为书写部分(步骤s111)。
[0121]
书写部分检测单元14确定是保持还是删除被确定为书写部分的各个集合部分(步骤s112)。例如，在经受当前处理的帧中检测到的书写部分的像素位置与前一帧中保持的书写部分的像素位置一致的情况下，书写部分检测单元14删除集合部分而不保持它，从而确定当前检测结果表示先前书写的书写部分已被书写者300擦除。
[0122]
书写部分检测单元14在经受当前处理的帧中反映被确定为书写部分的各个集合部分的保持和删除结果，并且使用该帧作为新的参考帧来更新参考帧(步骤s113)。
[0123]
如上所述，由于在图像处理设备10的处理开始之后的一段时间内仅在下方布置的板面210a和210c上执行书写，因此认为不会发生板面210a到210d的移动，并且在顺序地更新参考帧的同时重复步骤s106到s113中的处理。
[0124]
然后，利用书写部分来填充下板面210a和210c，并且在预定的定时替换板面210a到210d之一。
[0125]
因此，例如，当移动检测单元13检测到板面210a到210d中的任何一个的移动时(步骤s102：是)，书写部分检测单元14在已经发生移动的板面210和没有发生移动的板面210之间对处理进行分支(步骤s103)。
[0126]
也就是说，在预定帧中的从现在起要处理的区域是与已经发生当前移动的板面210相对应的区域的情况下(步骤s103：是)，书写部分检测单元14删除在前一帧中的与已经发生当前移动的板面210相对应的区域中保持的书写部分(步骤s104)。
[0127]
书写部分检测单元14删除对于已经发生当前移动的板面210的参考帧(步骤s105)。
[0128]
另一方面，在预定帧中的从现在起要处理的区域不是与已经发生当前移动的板面210相对应的区域的情况下(步骤s103：否)，书写部分检测单元14执行如上所述的步骤s106
到s113中的处理。
[0129]
如上所述，书写部分检测单元14执行步骤s103到s113中的分支处理，使得在与已经发生移动的板面210相对应的区域中将直到此时为止的数据重置一次，并且在与没有发生移动的板面210相对应的区域中维持直到此时为止的数据。
[0130]
之后，例如，当处理在下一帧中再次返回到开始时，在板面210a到210d中的任何一个中没有发生移动的情况下(步骤s102：否)，或者在已经发生当前移动的板面210中没有发生移动的情况下(步骤s103：否)，对于已经发生当前移动的板面210，不存在参考帧(步骤s105：否)，并且因此，对于已经发生当前移动的板面210，再次注册参考帧(步s114)。
[0131]
然后，由第一实施例的图像处理设备10进行的图像处理结束。
[0132]
(总结)
[0133]
近年来，在包括教育现场在内的各种场景中，用于录制讲座、培训、研讨会和会议等的机会越来越多。
[0134]
在这样的记录中，通常记录讲师、教师、演讲者等现场通过在白板、黑板、电子黑板等上实际书写来进行解释，而不是使用很容易作为数字数据进行分发的演示材料等进行解释。
[0135]
因此，提出了用于对包括白板、黑板、电子黑板等的记录视频执行各种图像分析和图像处理的技术。
[0136]
b图像处理设备10，如果在基于运动图像数据的帧之间的变化来分离书写部分和非书写部分时检测到板面210的移动，则执行与板面210的移动相对应的处理。结果，即使在可移动的板面210上执行书写的情况下，也可以以高精度执行图像处理。
[0137]
根据第一实施例的图像处理设备10，如果已经检测到板面210的移动，则删除板面210上的书写部分的检测结果。结果，抑制了帧之间的变化由于板面210的移动而扩散到整个板面210或运动图像数据的整个画面，从而可以准确地区分书写部分和非书写部分。
[0138]
根据第一实施例的图像处理设备10，如果已经检测到板面210的移动，则删除已经检测到移动的板面210上的书写部分的检测结果，并且保持未检测到移动的板面210上的书写部分的检测结果。结果，可以更准确地区分由于板面210的移动而引起的帧之间的变化和由于书写的添加等而引起的帧之间的变化。
[0139]
根据第一实施例的图像处理设备10，通过检测板面210的框的直线部分并且检测直线部分的移动来检测板面210的移动。结果，例如，可以在不需要大量数据分析等的情况下，容易地以高精度检测到板面210的移动。此外，由于直接检测板面210本身，因此例如，即使在其上没有执行书写的板面210的情况下，也可以检测板面210的移动。
[0140]
根据第一实施例的图像处理设备10，例如，基于直线部分的长度来区分包括在书写部分中的直线和板面210的框。可以基于从输入/输出设备30输入的控制信息和包括诸如板面210的移动的方向、数量、配置、布置和颜色之类的信息的补充信息来确定板面210的框的直线部分的长度。因此，可以抑制错误检测。
[0141]
根据第一实施例的图像处理设备10，如上所述以高精度提取的书写部分的检测结果可以用于各种目的。
[0142]
在上述第一实施例中，白板200包括多个板面210a和210c。然而，书写者在其上执行书写的白板等可以仅包括一个板面。
[0143]
在上述第一实施例中，白板200例如固定到建筑物的墙面等。然而，书写者在其上执行书写的白板等可以是允许其自身自由地移动的配备有脚轮的白板等。
[0144]
在上述第一实施例中，除了白板200之外，还使用黑板、电子黑板等。然而，可以将片状纸媒介(例如附着到白板200、建筑物的墙面、黑板等的海报纸)用作书写目标。
[0145]
在这种情况下，可以将纸媒介附着到配备有脚轮的白板等，以实现可移动配置。替选地，可以堆叠并且附着多个纸媒介，并且可以被配置为使得每当在一个纸媒介上的书写完成时逐个翻转。即使在这样的配置的情况下，在上述第一实施例中，也可以响应于每当翻转填充有书写部分的纸媒介并且出现下一个新的纸媒介时在视频中发生的很大变化，继续正确地检测纸媒介上的书写部分。
[0146]
在上述第一实施例中，将根据板面210的移动的书写部分的检测结果输出到记录设备40。然而，图像处理设备可以将从成像设备接收到的运动图像数据和板面210的移动检测结果相互关联地输出到记录设备。
[0147]
(第一变型)
[0148]
接下来，将参考图8描述第一实施例的第一变型的图像处理设备。在第一变型的图像处理设备中，检测板面210a到210d的移动的方法不同于上述第一实施例的方法。
[0149]
第一变型的图像处理设备的移动检测单元通过在构成运动图像数据的预定帧中估计整个画面的光流来检测板面210a到210d的移动。例如，在光流中，基于亮度梯度检测到的物体的运动由向量来表示，并且根据向量的方向和大小来估计物体的运动。
[0150]
在使用光流来检测预定板面210的移动的情况下，基于亮度梯度来检测随着预定板面210的移动而移动的书写部分。由于板面210的移动通常在板面210被书写部分填充到一定程度后执行，因此也可以通过以这种方式检测板面210上的书写部分的移动来检测板面210的移动。
[0151]
然而，此时，也可以检测在板面210前方执行某些动作的书写者300。因此，第一变型的移动检测单元将由向量表示的光流分组到每个向量组中，该向量组中聚集了预定数量的向量。此外，第一变型的移动检测单元根据分组后的向量组的大小来确定检测到的移动是否是全局的。
[0152]
例如，在分组后的向量组是基本上整个板面210上的书写部分的情况下，向量组具有预定的总体大小(collective size)，并且因此检测到的移动应该是全局的。
[0153]
另一方面，在分组后的向量组是站在板面210前方的书写者300等的情况下，向量组很小，并且因此检测到的移动应该是局部的。
[0154]
综上所述，第一变型的移动检测单元可以识别移动板面210和执行某些动作的书写者300，并且可以正确地检测板面210的移动。
[0155]
在多个板面210由于上述白板200中的升高和降低而同时移动的情况下，或者在多个板面由于横向滑动而同时在水平方向上移动的情况下，第一变型的移动检测单元可以基于对具有相反向量的全局光流的检测来检测板面210的移动。
[0156]
图8是将由根据本公开的第一实施例的第一变型的图像处理设备进行的板面210a到210d的移动检测结果与运动图像数据一起示出的图。
[0157]
图8将在时间t1、t2和t3中的每个时间的运动图像数据的帧和该帧中的板面210a到210d的移动检测结果与用于参考的书写部分的检测结果一起示出。在时间t1、t2和t3的
运动图像数据与上述图4和图6中的在时间t1、t2和t3的运动图像数据相同。
[0158]
在图8中的时间t1，在板面210a到210d上执行书写，但是在板面210a到210d中的任何一个上都没有发生移动；因此，第一变型的移动检测单元没有使用光流来检测板面210a到210d的移动。
[0159]
由于未检测到板面210a到210d的移动，因此第一变型的书写部分检测单元检测所有板面210a至210d的书写部分250。然后，获得在时间t1的书写部分250的检测结果。
[0160]
在图8中的时间t2，当垂直布置的板面210a和210b由于升高和降低而移动时，第一变型的移动检测单元根据运动图像数据中记录的书写部分的实际移动来检测具有垂直相反方向上的向量的光流262，并且因为光流是全局的，所以确定板面210a和210b的移动已经发生。
[0161]
由于已经检测到板面210a和210b的移动，所以第一变型的书写部分检测单元删除板面210b和210a的书写部分250的检测结果，并且保持维持静止的板面210c和210d的书写部分250b的检测结果。然后，获得在时间t2的书写部分20的检测结果。
[0162]
在图8中的时间t3，运动图像数据包括再次处于静止状态的所有板面210a到210d以及在板面210a到210d前方移动的书写者300。因此，第一变型的移动检测单元检测由于书写者300的移动而引起的光流262s。
[0163]
然而，光流262s不是全局的，并且移动方向是横向方向，这不同于垂直移动的板面210a到210d的方向。因此，第一变型的移动检测单元确定光流262s不是板面210a和210b的移动。
[0164]
由于板面210a和210b的移动在时间t3结束，因此第一变型的书写部分检测单元再次检测所有板面210a到210d的书写部分250。然后，获得在时间t3的书写部分250的检测结果。
[0165]
如上所述，也可以通过使用光流对板面210a到210d的移动检测来获得与上述第一实施例的情况相同的书写部分250的检测结果。
[0166]
根据第一变型的图像处理设备，对于与板面210的移动相关联的书写部分的移动，通过估计光流来检测板面210移动。因此，例如，可以容易地检测板面210的移动，而不需要大量的数据分析等。此外，例如，使用光流使得甚至可以检测小于一个像素的精细运动和慢速运动。此外，即使在板面的框在图像上没有作为清晰的边缘出现的情况下以及在板面弯曲的情况下，也可以检测到板面的移动。
[0167]
根据第一变型的图像处理设备，光流被分组，并且基于分组后的区域的大小和移动方向在书写者300的移动和板面210的移动之间进行区分。可以基于从输入/输出设备30输入的控制信息和包括诸如板面210的移动的方向、数量、配置、布置和颜色之类的信息的补充信息来确定板面210大小、移动方向等。因此，可以抑制错误检测。
[0168]
(第二变型)
[0169]
接下来，将参考图9描述第一实施例的第二变型的图像处理设备。在第二变型的图像处理设备中，检测板面210a到210d的移动的方法不同于上述第一实施例的方法。
[0170]
第二变型的图像处理设备的移动检测单元在构成运动图像数据的预定帧中使用通用物体识别来检测板面210a到210d的移动。例如，在通用物体识别中，视频中包括的物体通过通用名称来识别，并且通过跟踪所识别的物体的位置来检测物体的运动。例如，为了使
得通过通用名称来识别物体，使用诸如机器学习之类的方法。
[0171]
在使用通用物体识别来检测板面210a到210d的移动的情况下，可以分别移动的板面210a到210d各自通过诸如“白板”之类的通用名称来识别，并且基于其位置在帧之间的变化来跟踪该位置。然而，第二变型的移动检测单元可以通过跟踪被识别为“白板”的物体的重心(即板面210a到210d的重心)、而不是位置来检测“白板”的移动。
[0172]
此时，优选的是，例如，除板面210a到210d之外，还通过使得通过诸如“人”之类的通用名称来识别书写者300等而学习可以包括在运动图像数据中的物体。
[0173]
图9是将由根据本公开的第一实施例的第二变型的图像处理设备进行的板面210a到210d的移动检测结果与运动图像数据一起示出的图。
[0174]
图9将在时间t1、t2和t3中的每个时间的运动图像数据的帧和该帧中的板面210a到210d的移动检测结果与用于参考的书写部分的检测结果一起示出。在时间t1、t2和t3的运动图像数据与上述图4和图6中的在时间t1、t2和t3的运动图像数据相同。
[0175]
在图9中的时间t1，第二变型的移动检测单元将包括在运动图像数据中的板面210a到210d中的每个识别为“白板”263，并且类似地将包括在运动图像数据中的书写者300识别为“人”263s。此后，第二变型的移动检测单元开始跟踪“白板”263和“人”263s的位置。
[0176]
由于在时间t1没有检测到被识别为“白板”263的板面210a到210d的移动，因此第二变型的书写部分检测单元检测所有板面210a到210d的书写部分250。然后，获得在时间t1的书写部分250的检测结果。
[0177]
当垂直布置的板面210a和210b在图9中的时间t2由于升高和降低而移动时，第二变型的移动检测单元根据与板面210a和210b相对应的“白板”263的位置的变化来确定板面210a和210b的移动已经发生。
[0178]
由于已经检测到板面210a和210b的移动，因此第二变型的书写部分检测单元删除板面210a和210b的书写部分250的检测结果，并且保持维持静止的板面210c和210d的书写部分250m的检测结果。然后，获得在时间t2的书写部分250的检测结果。
[0179]
在图9中的时间t3，运动图像数据包括再次处于静止状态的所有板面210a到210d以及在板面210a到210d前方移动的书写者300。因此，第二变型的移动检测单元确定作为书写者300的“人”263s的移动已经发生，并且作为板面210a到210d的“白板”263的移动已经结束。
[0180]
由于板面210a和210b的移动已经结束，所以第二变型的书写部分检测单元再次检测所有板面210a到210d的书写部分250。然后，获得在时间t3的书写部分250的检测结果。
[0181]
如上所述，也可以通过使用通用物体识别对板面210a到210d的移动检测来获得与上述第一实施例的情况相同的书写部分250的检测结果。
[0182]
根据第二变型的图像处理设备，通过通用物体识别来识别板面210a到210d，并且通过跟踪板面210a到210d的位置或重心来检测板面210a到210d的移动。结果，可以以高精度检测板面210a到210d的移动。
[0183]
根据第二变型的图像处理设备，通过还使用通用物体识别来识别书写者300，在书写者300的移动和板面210a到210d的移动之间进行区分。结果，可以抑制错误检测。
[0184]
(第三变型)
[0185]
接下来，将描述第一实施例的第三变型的图像处理设备。第三变型的图像处理设
备与上述第一实施例的不同之处在于，图像处理设备具有跟踪移动的平板面(plate surface)的功能。
[0186]
如上所述，第三变型的图像处理设备的移动检测单元使用板面的框的直线检测、板面上的书写部分的光流检测、板面的通用物体识别等来检测预定板面的移动。
[0187]
此外，在已经检测到移动的板面继续移动到运动图像数据的帧之外的情况下，第三变型的移动检测单元使用用于控制成像设备20的控制信号来改变成像设备20的视角。
[0188]
更具体地，第三变型的移动检测单元使得成像设备20以更宽的视角执行成像。在成像设备20具有例如光学或电子放大功能和缩小功能的情况下，可以进行这样的控制。如上所述，将成像器件20的视角变宽使得能够进行更宽范围的成像，并且使得能够在帧中再次捕获到已经移动到运动图像数据的帧之外的板面。
[0189]
替选地，第三变型的移动检测单元使得成像设备20在水平方向和垂直方向中的至少一个方向上移动视角。例如，在成像设备20具有机械摇摄和俯仰功能的情况下，可以进行这样的控制。可以基于紧接在板面移动到框之外以前由第三变型的移动检测单元检测到的板面的移动方向来确定视角的移动(摇摄/俯仰)方向。如上所述，移动成像设备20的视角使得视角能够指向板面的移动方向，并且使得能够在帧中再次捕获到已经移动到运动图像数据的帧之外的板面。
[0190]
替选地，第三变型的移动检测单元使得成像设备20在水平方向和垂直方向中的至少一个方向上移动视角的同时，以更宽的视角执行成像。这使得能够在帧中再次捕获到已经移动到运动图像数据的帧之外的板面，并且使得能够以更合适的视角对板面进行成像。
[0191]
例如，第三变型的移动检测单元的配置适合应用于以下情况：因为上述白板200的预定板面210上的书写部分被放大以用于显示，所以变得难以在帧内捕获整个白板200。
[0192]
此外，第三变型的移动检测单元的配置适合应用于移动的方向和范围不规则且相对较宽的情况，例如在配备有脚轮的白板等中。
[0193]
根据第三变型的图像处理设备，在板面已经移动到运动图像数据的帧之外的情况下，改变成像设备20的视角。结果，可以继续在运动图像数据的帧内捕获板面，并且继续检测板面上的书写部分。
[0194]
[第二实施例]
[0195]
将参考附图描述第二实施例。在第二实施例中，将描述具有将检测到的书写部分叠加到由成像设备20成像的运动图像数据上的功能的图像处理设备，作为使用如在上述第一实施例或第一到第三变型中获得的书写部分的检测结果的示例。这样的叠加处理提高了书写部分的可视性。
[0196]
(图像处理设备的配置示例)
[0197]
图10是示出根据本公开的第二实施例的图像处理设备10a的功能配置的示例的框图。
[0198]
如图10中所示，图像处理设备10a连接到一个或多个成像设备20、输入/输出设备30和记录设备40，并且构成第二实施例的图像处理系统2的一部分。第二实施例的图像处理设备10a也是包括例如cpu、rom、ram和i/o端口的计算机。
[0199]
此外，除了作为与上述第一实施例的功能配置相同的功能配置的运动图像输入单元11、控制信息输入单元12、移动检测单元13、书写部分检测单元14和输出单元16之外，第
二实施例的图像处理设备10还包括数据生成单元15a。
[0200]
然而，代替使用直线检测来检测板面210a到210d的移动的移动检测单元13，图像处理设备10a可以包括上述第一实施例的第一变型或第二变型的移动检测单元，该移动检测单元使用光流、通用物体识别等来检测板面210a到210d的移动。
[0201]
数据生成单元15a基于从书写部分检测单元14获取的书写部分的检测结果来生成书写数据。此外，数据生成单元15a将所生成的书写数据叠加在从运动图像输入单元11接收到的运动图像数据上，以生成合成运动图像数据。通过一系列处理，数据生成单元15a参考从控制信息输入单元12接收到的控制信息。
[0202]
输出单元16将由数据生成单元15a生成的合成运动图像数据输出到连接到图像处理设备10a的一个或多个输入/输出设备30和一个或多个记录设备40。结果，用户可以利用输入/输出设备30来查看合成运动图像数据。
[0203]
(数据生成操作的示例)
[0204]
接下来，将参考图11描述由根据第二实施例的图像处理设备10a进行的书写数据和合成运动图像数据的生成操作。
[0205]
图11是将由根据本公开的第二实施例的图像处理设备10a进行的书写数据和合成运动图像数据的生成结果与运动图像数据一起示出的图。图11示出了在时间t1、t2和t3中的每个时间的运动图像数据的帧、以及该帧中的书写数据的生成结果和合成运动图像数据的生成结果。
[0206]
在时间t1、t2和t3的运动图像数据与上述第一实施例的图4和图6中的在时间t1、t2和t3的运动图像信息相同，并且因此假设获得与上述第一实施例的图4和图6相同的板面210a到210d的移动检测结果和相同的书写数据的生成结果。
[0207]
在图11中的时间t1，图像处理设备10a的数据生成单元15a提取由书写部分检测单元14进行的书写部分250的检测结果，并且生成书写数据。由于在时间t1在板面210a到210d中的任何一个上没有发生移动，因此数据生成单元15a生成包括所有板面210a到210d上的书写部分250的书写数据。此外，数据生成单元15a将所生成的书写数据叠加在时间t1的运动图像数据上，以生成合成运动图像数据。
[0208]
在时间t1的运动图像数据包括处于静止状态的板面210a到210d和站在板面210a到210d前方的书写者300。此外，在时间t1的书写数据包括如上所述的在各个板面210a到210d上书写的书写部分250。将书写数据叠加在运动图像数据上，以便与运动图像数据中出现的实际书写部分重叠。
[0209]
结果，在时间t1的合成运动图像数据中，在保持书写者300和书写部分之间的位置关系的同时，将被书写者300隐藏的书写部分叠加在书写者300的视频上，从而提高书写部分250的可视性。
[0210]
类似地，在图11中的时间t2，数据生成单元15a提取由书写部分检测单元14进行的书写部分250的检测结果，以生成书写数据。
[0211]
在时间t2，在垂直布置的板面210a和210b中发生移动。因此，数据生成单元15a从与没有检测到移动的板面210c和210d相对应的区域中提取由书写部分检测单元14保持的书写部分250的每个像素值的数据，并且将该数据反映在要生成的书写数据中。
[0212]
此外，由于书写部分检测单元14从与检测到移动的板面210a和210b相对应的区域
中删除了书写部分250，因此数据生成单元15a将状态原样反映在书写数据中。
[0213]
结果，在时间t2的书写数据中，与板面210a和210b相对应的左侧区域不具有书写部分250，而与板面210c和210d相对应的右侧区域具有书写部分250。这样的书写数据的状态被保持，直到板面210a和210b的移动结束。
[0214]
数据生成单元15a将如上所述生成的书写数据叠加在时间t2的运动图像数据上，以生成合成运动图像数据。
[0215]
在时间t2的运动图像数据包括正在移动的板面210a和210b、保持静止的板面210c和210d、以及站在板面210a到210d前方的书写者300。此外，如上所述，在时间t2的书写数据不包括书写在正在移动的板面210a和210b上的书写部分，而仅包括书写在板面210c和210d上的书写部分250。
[0216]
因此，当将在时间t2的书写数据叠加在时间t2的运动图像数据上时，在时间t2的合成运动图像数据中，书写部分没有被叠加在板面210a和210b上，并且运动图像数据中出现的书写部分按原样显示。因此，位于站在板面210a和210b前方的书写者300后面的书写部分仍然被书写者300隐藏。
[0217]
另一方面，在板面210c和210d上，书写数据中包括的书写部分250被叠加在书写者300的视频上。
[0218]
同样，在图11中的时间t3，数据生成单元15a提取由书写部分检测单元14进行的书写部分250的检测结果，以生成书写数据。由于板面210a和210b的升高和降低在时间t3结束，因此数据生成单元15a再次生成包括所有板面210a到210d的书写部分250的书写数据。此外，数据生成单元15a将所生成的书写数据叠加在时间t3的运动图像数据上，以生成合成运动图像数据。
[0219]
在时间t3的运动图像数据包括再次处于静止状态的所有板面210a到210d以及站在板面210a到210d前方的书写者300。此外，如上所述，在时间t3的书写数据包括所有板面210a到210d上的书写部分250。
[0220]
因此，当将在时间t3的书写数据叠加在时间t3的运动图像数据上时，在时间t3的合成运动图像数据中将书写部分250叠加在所有板面210a到210d上。结果，将被书写者300隐藏的书写部分叠加在书写者300的视频上，从而提高书写部分250的可视性。
[0221]
(图像处理设备的处理示例)
[0222]
接下来，将参考图12描述由第二实施例的图像处理设备10a进行的图像处理的示例。图12是示出由根据本公开的第二实施例的图像处理设备10a进行的图像处理过程的示例的流程图。
[0223]
在图12中的流程图中，步骤s101到s114中的处理与上述第一实施例的图8中的步骤s101至s114中的处理相同。
[0224]
即，在由移动检测单元13进行的板面210a到210d的移动检测(步骤s101)没有检测到板面210中的全部或一部分的移动(步骤s102或步骤s103：否)、并且在由图像处理设备10a进行的处理的初始阶段中登记第一参考帧之前或者紧接在因为在前一帧中发生了板面210a到210d的移动而删除参考帧之后没有参考帧(步骤s106：否)的情况下，书写部分检测单元14将此时的运动图像数据的帧登记为参考帧(步骤s114)。然后，例如，在下一帧中，处理再次返回到开始。
[0225]
在上述情况(步骤s102或步骤s103：否)下存在参考帧的情况下(步骤s106：是)，书写部分检测单元14检测书写部分，并且将被确定为书写部分的各个集合部分的保持和删除结果反映在要处理的帧中，以更新参考帧(步骤s107至s113)。
[0226]
数据生成单元15a基于由书写部分检测单元14进行的步骤s107到s113中的处理来生成书写数据(步骤s115)。
[0227]
数据生成单元15a将所生成的书写数据叠加在经受当前处理的运动图像数据的帧上(步骤s116)。然后，例如，在下一帧中，处理再次返回到开始。
[0228]
在检测到板面210a到210d中的任何一个的移动(步骤s102：是)、并且从现在起要处理的区域是与发生了当前移动的板面210相对应的区域(步骤s103：是)的情况下，书写部分检测单元14删除前一帧中与发生了当前移动的板面210相对应的区域中保持的书写部分和发生了当前移动的板面210的参考帧(步骤s104至s105)。
[0229]
基于由书写部分检测单元14进行的步骤s104至s105中的处理和步骤s107至s113中的处理，合成运动图像生成单元15生成书写数据，该书写数据在与发生了移动的板面210相对应的区域中不具有书写部分，并且在与未发生移动的板面210相对应的区域中具有书写部分(步骤s115)。
[0230]
合成运动图像生成单元15将所生成的书写数据叠加在经受当前处理的运动图像数据的帧上(步骤s116)。
[0231]
然后，由第二实施例的图像处理设备10a进行的图像处理结束。
[0232]
(总结)
[0233]
根据第二实施例的图像处理设备10a，基于书写部分的检测结果来生成书写数据，并且通过将书写数据叠加在运动图像数据上来生成合成运动图像数据。结果，在查看所记录的内容(例如讲义和会议纪要)的情况下，可以增强书写部分的可视性。
[0234]
[第三实施例]
[0235]
将参考附图描述第三实施例。在第三实施例中，将描述具有生成书写日志的功能的图像处理设备，作为使用如上述第一实施例或第一到第三变型中获得的书写部分的检测结果的另一示例。
[0236]
(图像处理设备的配置示例)
[0237]
图13是示出根据本公开的第三实施例的图像处理设备10b的功能配置的示例的框图。
[0238]
如图13中所示，图像处理设备10b连接到一个或多个成像设备20、输入/输出设备30和记录设备40，并且被配置为第三实施例的图像处理系统3的一部分。第三实施例的图像处理设备10b也是包括例如cpu、rom、ram和i/o端口的计算机。
[0239]
此外，除了作为与上述第一实施例的图像处理设备10的功能配置相同的功能配置的运动图像输入单元11、控制信息输入单元12、移动检测单元13、书写部分检测单元14和输出单元16之外，图像处理设备10b还包括书写日志生成单元15b。
[0240]
然而，代替使用直线检测来检测板面210a到210d的移动的移动检测单元13，图像处理设备10b可以包括上述第一实施例的第一变型或第二变型的移动检测单元，该移动检测单元使用光流、通用物体识别等来检测板面210a到210d的移动。
[0241]
书写日志生成单元15b从移动检测单元13获取板面210a到210d的移动检测结果，
获取紧接在检测到板面210a到210d中的至少一个的移动的定时之前的帧中的由书写部分检测单元14进行的书写部分的检测结果，并且将检测结果存储为书写日志。书写日志生成单元15b将以此方式生成的书写日志添加到从运动图像输入单元11获取的运动图像数据，并且将书写日志传递到输出单元16。结果，用户可以利用输入/输出设备30来查看添加了书写日志的运动图像数据。
[0242]
(书写日志的生成操作的示例)
[0243]
接下来，将参考图14描述由第三实施例的图像处理设备10b进行的书写日志的生成操作。
[0244]
图14是将由根据本公开的第三实施例的图像处理设备10b进行的书写日志的生成结果与运动图像数据一起示出的图。图14示出了在时间t1、t2、t3、t4和t5中的每个时间的运动图像数据的帧以及在时间t1、t2、t3、t4和t5当中的预定定时的书写日志的生成结果。
[0245]
在图14中的时间t1，书写者300专门使用板面210a到210d当中的板面210a来书写解释内容等。
[0246]
在图14中的时间t2，书写者300已经完成了在板面210a上的书写，并且正在通过升高和降低板面210a和210b来执行替换。移动检测单元13检测板面210a和210b的移动。
[0247]
当检测到板面210a和210b的移动时，书写日志生成单元15b从书写部分检测单元14获取紧接在移动检测之前的帧中的书写部分250的检测结果。在紧接在检测到板面的210a和210b的移动之前的帧中，由于在板面210a到210d中的任何一个中都没有发生移动，所以书写部分检测单元14检测并且保持书写在板面210a上的书写部分250。
[0248]
书写日志生成单元15b根据从书写部分检测单元14获取的书写部分250的检测结果来生成包括书写在板面210a上的书写部分250a的书写日志170，并且将书写日志与在时间t2的帧相关联。
[0249]
在图14中的时间t3，书写者300正在专门使用板面210b来书写解释内容等。
[0250]
在图14中的时间t4，书写者300已经完成了在板面210b上的书写，并且正在专门使用板面210c来书写解释内容等。
[0251]
在图14中的时间t5，书写者300已经完成了在板面210c上的书写，并且正在通过升高和降低板面210c和210d来执行替换。移动检测单元13检测板面210c和210d的移动。
[0252]
当检测到板面210c和210d的移动时，书写日志生成单元15b从书写部分检测单元14获取紧接在移动检测之前的帧中的书写部分250的检测结果。在紧接在检测到板面210c和210d的移动之前的帧中，由于在板面210a到210d中的任何一个中都没有发生移动，所以书写部分检测单元14检测并且保持书写在板面210a、210b和210c中的每个上的书写部分250。
[0253]
书写日志生成单元15b根据从书写部分检测单元14获取的书写部分250的检测结果来生成包括书写在板面210a、210b和210c中的每个上的书写部分250的书写日志170，并且将书写日志与在时间t5的帧相关联。
[0254]
如上所述，书写日志生成单元15b通过使用由移动检测单元13进行的对各个板面210a到210d的移动检测作为触发，在时间t2和t5生成书写日志170。
[0255]
这里，认为书写者300等移动预定板面210的定时通常是已经完成了在板面210上的书写的定时。因此，在各个板面210a到210d的移动的定时生成的书写日志可以用作其中
记录有板面210a到210d上的书写内容的记录，例如讲义、会议纪要等。
[0256]
(图像处理设备的处理示例)
[0257]
接下来，将参考图15描述由第三实施例的图像处理设备10b进行的图像处理的示例。图15是示出由根据本公开的第三实施例的图像处理设备10b进行的图像处理过程的示例的流程图。
[0258]
在图15中的流程图中，除了新插入的步骤s102b之外，步骤s101到s114中的处理与上述第一实施例的图8中的步骤s101至s114中的处理相同。
[0259]
即，在由移动检测单元13进行的板面210a到210d的移动检测(步骤s101)没有检测到板面210中的全部或一部分的移动(步骤s102或步骤s103：否)、并且在由图像处理设备10a进行的处理的初始阶段中登记第一参考帧之前或者紧接在因为在前一帧中发生了板面210a到210d的移动而删除参考帧之后没有参考帧(步骤s106：否)的情况下，书写部分检测单元14将此时的运动图像数据的帧登记为参考帧(步骤s114)。然后，例如，在下一帧中，处理再次返回到开始。
[0260]
在上述情况(步骤s102或步骤s103：否)下存在参考帧的情况下(步骤s106：是)，书写部分检测单元14检测书写部分，并且将被确定为书写部分的各个集合部分的保持和删除结果反映在要处理的帧中，以更新参考帧(步骤s107至s113)。然后，例如，在下一帧中，处理再次返回到开始。
[0261]
在检测到板面210a到210d中的任何一个的移动(步骤s102：是)、并且从现在起要处理的区域是与发生了当前移动的板面210相对应的区域(步骤s103：是)的情况下，书写部分检测单元14删除保持在前一帧中与发生了当前移动的板面210相对应的区域中的书写部分和发生了当前运动的板面210的参考帧(步骤s104至s105)。
[0262]
另一方面，当检测到板面210a到210d中的任何一个的移动时(步骤s102：是)，书写日志生成单元15b生成书写日志(步骤s102b)。
[0263]
具体地，书写日志生成单元15b获取紧接在检测到板面210a到210d中的任何一个的移动之前的帧中的书写部分的检测结果。此外，书写日志生成单元15b从所获取的书写部分的检测结果中提取书写部分，并且生成书写日志。此外，书写日志生成单元15b将所生成的书写日志与此时的帧相关联地存储。
[0264]
然后，由第三实施例的图像处理设备10b进行的图像处理结束。
[0265]
(总结)
[0266]
根据第三实施例的图像处理设备10b，当移动检测单元13检测到预定板面210的移动时，生成书写日志。结果，可以保留板面210a到210d上的书写内容的记录。
[0267]
在上述第三实施例中，图像处理设备10b具有生成书写日志的功能。然而，具有书写日志生成功能的图像处理设备可以具有通过将书写部分叠加在运动图像数据上来生成复合运动图像数据的功能，如上述第二实施例的图像处理设备10a中那样。在这种情况下，例如，将所生成的书写日志与合成运动图像数据的对应帧相关联地存储。
[0268]
(第一变型)
[0269]
接下来，将描述第三实施例的第一变型的图像处理设备。第一变型的图像处理设备与上述第三实施例的不同之处在于，图像处理设备根据板面210a到210d的移动速度来确定是否生成书写日志。
[0270]
第一变型的图像处理设备的书写日志生成单元从第一变型的移动检测单元获取关于已检测到移动的板面210的移动速度的信息、以及板面210a到210d的移动检测结果。此外，第一变型的书写日志生成单元基于板面210的移动速度的信息来确定是否生成书写日志。
[0271]
例如，在板面210的移动速度小于预定值的情况下，可以防止第一变型的书写日志生成单元生成书写日志。然后，在板面210的移动速度等于或大于预定值的情况下，第一变型的书写日志生成单元可以生成书写日志。
[0272]
用户预先对第一变型的图像处理设备执行如上所述的设定。当在运动图像数据的记录期间移动预定的板面210时，书写者300等可以在认为不需要书写日志的定时缓慢地移动板面210。另一方面，书写者300可以在认为需要书写日志的定时快速地移动板面210。
[0273]
根据第一变型的图像处理设备，当第一变型的移动检测单元检测到板面以预定速度或更大速度移动时，生成书写日志。结果，例如，可以在书写者300所期望的定时生成书写日志，并且可以保留更合适的记录。
[0274]
(第二变型)
[0275]
接下来，将描述第三实施例的第二变型的图像处理设备。第二变型的图像处理设备与上述第三实施例的不同之处在于，图像处理设备根据在板面210上的书写的进度状态来确定是否生成书写日志。
[0276]
当检测到预定板面210的移动时，第二变型的图像处理设备的书写日志生成单元从第二变型的书写部分检测单元获取紧接在移动检测之前的帧和在紧接在移动检测之前的帧之前的多个帧中的书写部分的检测结果。
[0277]
此外，第二变型的书写日志生成单元根据包括紧接在板面210的移动检测之前的帧在内的多个帧中的书写部分的检测结果来确定已经检测到移动的板面210上的书写部分的书写方向。作为书写方向，考虑了例如在书写部分的水平书写等的情况下书写部分从上到下进行的情况，以及例如在书写部分的垂直书写的情况下书写部分从右到左进行的情况。
[0278]
此外，第二变型的书写日志生成单元确定在紧接在板面210的移动检测之前的帧中检测到的书写部分是否在板面210的书写方向上从一端到达另一端。
[0279]
也就是说，例如，在书写方向是从上到下的情况下，确定书写部分是否从板面210的上端到达下端。另一方面，例如，在书写方向是从右到左的情况下，确定书写部分是否从板面210的右端到达左端。
[0280]
例如，可以基于从用户提供的关于板面210的垂直宽度或水平宽度的信息等来确定书写部分是否从板面210的一端到达另一端。
[0281]
在书写部分从板面210的一端到达另一端的情况下，第二变型的书写日志生成单元生成书写日志。在书写部分没有从板面210的一端到达另一端的情况下，第二变型的书写日志生成单元不生成书写日志。
[0282]
这里，在书写部分从板面210的一端到达另一端的情况下，可以认为已经完成了在板面上的书写。另一方面，在书写部分没有从板面210的一端到达另一端的情况下，书写者300仍然可以在板面210上添加书写，并且有可能通过例如拉回已经暂时向上移动的板面210来对书写部分执行附加的书写。
[0283]
因此，通过将书写部分从板面210的一端到达另一端的条件添加到书写日志生成条件，可以在已经完成了在板面210上的书写的更准确的定时生成书写日志。
[0284]
根据第二变型的图像处理设备，当第二变型的移动检测单元检测到板面210的移动并且书写部分从板面210的一端到达另一端时，生成书写日志。结果，可以更可靠地确定已经完成了在预定板面210上的书写的定时，并且在更合适的定时生成书写日志。此外，即使在已经在移动的中途拉回的板面210上执行附加书写的情况下，也可以抑制对于类似书写内容的书写日志的重复生成。
[0285]
本文中描述的效果仅为示例并且不受限制，以及可以提供其他效果。
[0286]
[其他实施例]
[0287]
上述第一至第三实施例及其第一至第三变型的图像处理设备是包括例如cpu、rom、ram和i/o端口的计算机。然而，图像处理设备可以具有包括专用于上述第一至第三实施例及其第一至第三变型中的应用的专用集成电路(asic)的配置。
[0288]
上述第一至第三实施例及其第一至第三变型的图像处理设备包括与成像设备20分离的独立设备配置。然而，图像处理设备的功能可以安装在成像设备上。
[0289]
上述第一至第三实施例及其第一至第三变型的图像处理设备包括其中存储有与图像处理有关的程序的rom。例如，这样的程序可以通过存储在记录介质等中以便由计算机可读来提供。记录介质例如是磁盘、光盘、磁光盘、闪存等。此外，可以在不使用记录介质的情况下经由例如网络来分发上述程序。在这种情况下，该程序可能不一定安装在图像处理设备中。
[0290]
本技术还可以具有以下配置：
[0291]
(1)一种图像处理设备，包括：
[0292]
移动检测单元，所述移动检测单元基于通过对能移动的书写媒介和正在所述书写媒介上书写的书写者进行成像而获得的运动图像数据来检测所述书写媒介的移动；以及
[0293]
书写部分检测单元，所述书写部分检测单元检测所述书写媒介上的书写部分，
[0294]
其中，所述书写部分检测单元
[0295]
在检测到所述书写媒介的移动的情况下，执行与所述书写媒介的移动相对应的处理。
[0296]
(2)根据(1)所述的图像处理设备，
[0297]
其中，所述移动检测单元
[0298]
检测所述书写媒介的框的直线部分，并且通过检测所述直线部分的移动来检测所述书写媒介的移动。
[0299]
(3)根据(2)所述的图像处理设备，
[0300]
其中，所述移动检测单元
[0301]
基于所述直线部分的长度来区分包括在所述书写部分中的直线和所述书写媒介的框。
[0302]
(4)根据(1)所述的图像处理设备，
[0303]
其中，所述移动检测单元
[0304]
通过估计光流来检测所述书写媒介的移动，在所述光流中，与所述书写媒介的移动相关联的所述书写部分的移动由向量来表示。
[0305]
(5)根据(4)的图像处理设备，
[0306]
其中，所述移动检测单元
[0307]
对所述光流进行分组，并且基于分组后的区域的大小和移动方向来区分所述书写者的移动和所述书写媒介的移动。
[0308]
(6)根据(1)所述的图像处理设备，
[0309]
其中，所述移动检测单元
[0310]
通过使用通用物体识别来识别所述书写媒介并且跟踪所述书写媒介的位置或重心来检测所述书写媒介的移动，所述通用物体识别通过通用名称来识别物体。
[0311]
(7)根据(6)的图像处理设备，
[0312]
其中，所述移动检测单元
[0313]
通过还使用所述通用物体识别来识别所述书写者来区分所述书写者的移动和所述书写媒介的移动。
[0314]
(8)根据(1)至(7)中任一项所述的图像处理设备，
[0315]
其中，所述书写部分检测单元
[0316]
在检测到所述书写媒介的移动的情况下，删除所述书写媒介上的所述书写部分的检测结果。
[0317]
(9)根据(8)所述的图像处理设备，
[0318]
其中，所述书写媒介是包括在书写媒介组中的分别能移动的多个书写媒介之一，以及
[0319]
所述移动检测单元
[0320]
分别检测所述多个书写媒介的移动，以及，
[0321]
在检测到所述多个书写媒介中的至少一个书写媒介的移动的情况下，所述书写部分检测单元
[0322]
删除检测到移动的书写媒介上的书写部分的检测结果，并且保持未检测到移动的书写媒介上的书写部分的检测结果。
[0323]
(10)根据(1)至(9)中任一项所述的图像处理设备，
[0324]
其中，所述移动检测单元
[0325]
在所述书写媒介移动到所述运动图像数据的帧之外的情况下，改变对所述运动图像数据进行成像的成像设备的视角。
[0326]
(11)根据(10)所述的图像处理设备，其中，所述移动检测单元
[0327]
在所述成像设备的视角改变的情况下，使得以更宽的视角进行成像。
[0328]
(12)根据(1)至(9)中任一项所述的图像处理设备，还包括
[0329]
数据生成单元，所述数据生成单元基于所述书写部分的检测结果来生成书写数据。
[0330]
(13)根据(12)所述的图像处理设备，
[0331]
其中，所述数据生成单元
[0332]
通过将所述书写数据叠加在所述运动图像数据上来生成合成运动图像数据。
[0333]
(14)根据(1)至(13)中任一项所述的图像处理设备，包括
[0334]
书写日志生成单元，所述书写日志生成单元基于所述移动检测单元的检测结果来
生成书写日志。
[0335]
(15)根据(14)所述的图像处理设备，
[0336]
其中，所述书写日志生成单元
[0337]
在所述移动检测单元检测到所述书写媒介的移动的情况下，生成所述书写日志。
[0338]
(16)根据(14)所述的图像处理设备，
[0339]
其中，所述书写日志生成单元
[0340]
在所述移动检测单元检测到所述书写媒介以预定速度或更大速度移动的情况下，生成所述书写日志。
[0341]
(17)根据(13)所述的图像处理设备，
[0342]
其中，所述书写日志生成单元
[0343]
在所述移动检测单元检测到所述书写媒介的移动并且所述书写部分从所述书写媒介的一端到达另一端的情况下，生成所述书写日志。
[0344]
(18)根据(1)至(17)中任一项所述的图像处理设备，
[0345]
其中，所述移动检测单元
[0346]
基于由用户输入的与所述书写媒介有关的信息来检测所述书写媒介的移动。
[0347]
(19)一种图像处理方法，包括：
[0348]
基于通过对能移动的书写媒介和正在所述书写媒介上书写的书写者进行成像而获得的运动图像数据来检测所述书写媒介的移动；以及
[0349]
检测所述书写媒介上的书写部分，
[0350]
其中，在检测所述书写部分时，在检测到所述书写媒介的移动的情况下，执行与所述书写媒介的移动相对应的处理。
[0351]
(20)一种程序，使计算机执行：
[0352]
基于通过对能移动的书写媒介和正在所述书写媒介上书写的书写者进行成像而获得的运动图像数据来检测所述书写媒介的移动的处理；以及
[0353]
检测所述书写媒介上的书写部分的处理，
[0354]
其中，在检测所述书写部分的处理中，
[0355]
在检测到所述书写媒介的移动的情况下，执行与所述书写媒介的移动相对应的处理。
[0356]
尽管已经描述了本公开的若干实施例，但是这些实施例被呈现为示例，并且不是旨在限制本发明的范围。这些实施例可以以各种其他形式来实现，并且可以在不偏离本发明的要旨的情况下进行各种省略、替换和更改。这些实施例及其变型被包括在本发明的范围和要旨中，并且被包括在权利要求及其等同物中描述的本发明的范围中。
[0357]
参考标记列表
[0358]
1、2 信息处理系统
[0359]
10、10a、10b 信息处理设备
[0360]
13 移动检测单元
[0361]
14 书写部分检测单元
[0362]
15a 数据生成单元
[0363]
15b 书写日志生成单元
[0364]
20 成像设备
[0365]
30 输入/输出设备
[0366]
40 记录设备