图像处理装置、图像处理方法和程序与流程

1.本公开涉及图像处理装置、图像处理方法和程序。


背景技术：

2.近年来，开发了一种提取书写在黑板、白板等上的笔迹并输出所提取笔迹的信息的技术。例如，专利文献1公开了一种拍摄黑板、白板等的图像、从拍摄的图像中提取与板上的笔迹相对应的图像并输出所提取图像的技术。
3.引文列表
4.专利文献
5.专利文献1：日本专利申请公开号2016-30369


技术实现要素：

6.本发明要解决的问题
7.然而，在专利文献1中描述的技术中，由于提取的图像被直接输出为单色图像数据，因此认为图像的可见性不好。此外，即使在提取的图像作为彩色图像被原样输出的情况下，由于在物理空间中直接查看板上的笔迹的情况和在显示器上查看板上的笔迹的情况之间外观可能不同，因此认为图像的可见性不好。
8.通常，以适合于要书写的对象的形式进行板上的书写。因此，在提取板上的笔迹的图像、与要书写的对象不同的背景的图像相组合并输出为输出图像的情况下，认为输出图像中的板上的笔迹图像的可见性不好。
9.因此，本公开的一个目的是提供能够强调作为在书写对象上书写的书写内容的图像的书写内容图像的可见性的图像处理装置、图像处理方法和程序。
10.针对问题的技术方案
11.为了解决上述问题，根据本公开的一个实施例的图像处理装置包括确定单元，该确定单元被配置为基于检测到的书写对象的颜色信息来确定从作为在书写对象上书写的书写内容的图像的书写内容图像生成的输出图像的颜色信息。
附图说明
12.图1是用于说明根据本公开的实施例的图像处理装置100和输入设备200的概述的图。
13.图2是用于说明根据本实施例的系统1的功能配置的示例的图。
14.图3是用于说明由根据本实施例的获取单元11获取的图像的示例的图。
15.图4是用于说明根据本实施例的提取单元12的提取处理的示例的图。
16.图5是用于说明根据本实施例的提取单元12对书写对象区域的提取处理的示例的图。
17.图6是用于说明根据本实施例的提取单元12对书写对象区域的提取处理的结果的
示例的图。
18.图7是用于说明根据本实施例的校正单元13的校正方法的示例的图。
19.图8是用于说明根据本实施例的校正单元13的校正方法的示例的图。
20.图9是用于说明根据本实施例的校正单元13的校正方法的示例的图。
21.图10是用于说明根据本实施例的校正单元13的与50度到70度的色调角相对应的色调中的通过二次曲线的校正示例的图。
22.图11是用于说明根据本实施例的校正单元13使用过滤器执行校正处理的具体示例的图。
23.图12是用于说明与根据本实施例的校正单元13对书写内容图像22的轮廓的校正处理相关的示例的图。
24.图13是示出书写内容4的细点的示例的图。
25.图14是示出抑制颜色强调的方法的示例的图。
26.图15是示出功能的示例的图。
27.图16是示出功能的示例的图。
28.图17是示出功能的示例的图。
29.图18是用于说明根据本实施例的输出设备300的输出示例的图。
30.图19是用于说明根据本实施例的系统1的操作流程的示例的图。
31.图20是示出应用示例2中的区域分割示例的图。
32.图21是示出应用示例3中的局部区域的示例的图。
33.图22是用于说明根据应用示例3的系统1的操作流程的示例的图。
34.图23是用于说明根据应用示例4的系统1的功能配置的示例的图。
35.图24是示出根据应用示例5的书写内容像素的退缩的示例的图。
36.图25是用于说明根据本实施例的校正单元13对书写对象图像21的基于指示书写者是否正在执行书写的动作检测信息的校正处理的示例的图。
37.图26是用于说明根据本实施例的校正单元13对书写对象图像21的基于指示书写者是否正在执行书写的动作检测信息的校正处理的示例的图。
38.图27是用于说明根据本实施例的校正单元15基于书写者3和书写对象2之间的位置关系对书写内容图像的校正处理的图。
39.图28是示出包括根据本公开实施例的系统1的信息处理装置的硬件配置示例的框图。
具体实施方式
40.下文中，将基于附图详细描述本公开的实施例。注意，在以下每个实施例中，相同的部分由相同的附图标记表示，并且将省略冗余描述。
41.此外，将按照以下项目顺序描述本公开。
42.(第一实施例)
43.1-1.背景
44.1-2.总体配置示例
45.1-3.功能配置示例
46.2.操作示例
47.3.应用示例
48.3-1.应用示例1
49.3-2.应用示例2
50.3-3.应用示例3
51.3-4.应用示例4
52.3-5.应用示例5
53.3-6.应用示例6
54.3-7.应用示例7
55.4.硬件配置示例
56.5.总结
57.《1.实施例》
58.《《1-1.背景》》
59.首先，将描述本公开的实施例的背景。
60.近年来，开发了一种技术，其中从通过对黑板、白板等(以下称为书写对象2)进行成像而获得的图像中，提取书写在书写对象2上的板上笔迹(以下称为书写内容4)，并将提取的书写内容4输出为图像。在授课、会议等的场景中，将书写内容4的图像(以下称为书写内容图像22)输出到显示器等，以便例如位于远程位置处的参与者可以容易地确认书写内容。
61.顺便提一下，在拍摄的书写内容4作为书写内容图像22被原样输出的情况下，认为书写内容图像22的可见性不好。原因是，例如，在物理空间中直接查看书写内容的情况和在显示器上查看书写内容图像22的情况之间外观可能不同。
62.此外，对于每种类型的书写对象2，在书写时经常使用的颜色通常可能不同。因此，认为由于用于书写的颜色和输出图像的背景颜色的组合，包括在输出图像中的书写内容图像22的可见性不好。
63.根据本公开实施例的技术想法具有通过关注上述要点而构思的方面，并且使得能够校正书写内容图像的形式，以增强书写内容图像的可见性。下文中，将依次详细描述根据本公开实施例的配置示例和操作示例。
64.《《1-2.总体配置示例》》
65.随后，将参考图1描述根据本公开的实施例的图像处理装置100和输入设备200的概述。
66.图1是用于说明根据本公开的实施例的图像处理装置100和输入设备200的概述的图。图1示出了图像处理装置100和连接到图像处理装置100的输入设备200。
67.书写对象2是书写诸如点、线、字符、句子、数学表达式、符号、图片、图形或图像之类的视觉信息(书写内容4)的物体。书写对象2是黑板、白板、电子纸、触摸板等。
68.书写者3对书写对象2执行操作。例如，书写者3在书写对象2上书写书写内容4。
69.书写内容4是书写在书写对象2上的视觉信息。如上所述，通过粉笔(choke)、标记器、触笔(stylus)、手指等将书写内容4书写在书写对象2上。注意，书写内容4可以具有各种颜色。例如，在书写对象2是黑板的情况下，书写内容4是白色、红色、黄色等。
70.输入设备200是接收关于安装了输入设备200的物理空间的信息的设备。输入设备200包括例如成像设备和语音输入设备。成像设备包括包含成像透镜、光圈、变焦透镜、聚焦透镜等的透镜系统、使透镜系统执行聚焦操作或变焦操作的驱动系统、对由透镜系统获得的成像光进行光电转换以生成成像信号的固态成像元件阵列等。语音输入设备包括诸如收集周围声音的麦克风之类的信号处理电路、放大和处理由麦克风获得的语音信号的麦克风放大器电路、a/d转换器以及噪声消除器。输入设备200在成像时输出作为数字信号的图像数据和语音数据。
71.输入设备200可以对物理空间中的作为成像对象的物体进行成像。注意，输入设备200可以拍摄作为成像对象的在其上在物理空间中书写书写内容4的书写对象2的图像，并将成像时间和通过成像获得的图像(以下称为拍摄图像20)相互关联地输出到图像处理装置100。拍摄的图像20可以包括除书写对象2和书写内容4之外的其他东西。在这种情况下，输入设备200将其中除书写对象2和书写内容4之外的图像也被拍摄的拍摄图像输出到图像处理装置100。
72.此外，作为输入设备200的功能可以被包括在书写对象2中。例如，输入设备200和书写对象2也被实现为电子黑板。作为电子黑板的输入设备200可以通过扫描书写对象2的状态来获取与上述拍摄图像20相对应的图像。在这种情况下，输入设备200获取其上书写了书写内容4的书写对象2的图像，并将该图像提供给图像处理装置100。在将图像提供给图像处理装置100之后，可以类似于拍摄图像20地处理该图像。注意，由被实现为电子黑板的输入设备200和书写对象2获取的图像可以仅包括书写对象2和书写内容4。
73.图像处理装置100是从由输入设备200输入的拍摄图像20中提取书写内容图像22并校正提取的书写内容图像22的形式的设备。图像处理装置100将包括校正的书写内容图像22的图像(以下称为输出图像25)输出到稍后描述的输出设备300(图1中未示出)。
74.这里，书写内容图像22的形式例如指书写内容图像22的颜色、宽度、轮廓等。稍后将描述由图像处理装置100对书写内容图像22的颜色、宽度和轮廓的校正的细节。注意，图像处理装置100可以有线方式或无线方式连接到输入设备200。
75.《《1-3.功能配置示例》》
76.以下，将描述根据本实施例的系统1的功能配置的示例。图2是用于说明根据本实施例的系统1的功能配置的示例的图。如图2所示，系统1包括图像处理装置100、输入设备200和输出设备300。
77.[1-3-1.输入设备200]
[0078]
输入设备200接收拍摄图像20以将拍摄图像20输出到图像处理装置100。
[0079]
[1-3-2.图像处理装置100]
[0080]
图像处理装置100是控制系统1的整个操作的装置。图像处理装置100由诸如个人计算机(pc)、智能电话或平板终端之类的任何设备实现。
[0081]
图像处理装置100从由输入设备200输入的拍摄图像中提取书写内容图像22，并且图像处理装置100校正提取的书写内容图像22的形式，并生成包括校正的书写内容图像22并具有预定颜色作为背景的输出图像25。
[0082]
如图2所示，图像处理装置100包括获取单元11、提取单元12、校正单元13、输出单元14、检测单元15和确定单元16。
[0083]
(1-3-2-1.获取单元11)
[0084]
获取单元11具有从输入设备200获取拍摄图像20的功能。拍摄图像20可以包括除书写书写内容4的书写对象2之外的其他对象。
[0085]
这里，将参考图3描述由根据本实施例的获取单元11获取的拍摄图像20的示例。图3是用于说明由根据本实施例的获取单元11获取的拍摄图像20的示例的图。图3示出了拍摄图像20a。拍摄图像20a包括书写对象图像21a、书写内容图像22a和书写者图像23a。
[0086]
在图3的示例中，除书写对象图像21a和书写内容图像22a之外，拍摄图像20a还包括书写者图像23a和其他区域。
[0087]
这里，如上所述，书写对象图像21是指拍摄到拍摄图像20中的书写对象2的区域(图像)。此外，书写内容图像22是指拍摄到拍摄图像20中的书写内容4的区域(图像)。
[0088]
注意，在拍摄图像20中，书写内容图像22的大小可以等于或大于预定比率。作为拍摄图像20，可以使用经过白平衡校正的图像。在输入设备200是电子黑板的情况下，通过获取单元11可以容易地获取仅包括书写对象图像21和书写内容图像22的图像。另一方面，即使在输入设备200是电子黑板的情况下，获取单元11也可以从输入设备200获取通过成像设备对电子黑板进行成像而获得的拍摄图像20。
[0089]
(1-3-2-2.提取单元12)
[0090]
提取单元12从拍摄图像20中提取书写内容图像22。具体地，提取单元12提取独立于书写对象图像21等的书写内容图像22。即，提取单元12生成仅包括书写内容图像22的图像数据。提取书写内容图像22的方法的示例包括二值化处理、边缘检测等。
[0091]
图4是用于说明根据本实施例的提取单元12的提取处理的示例的图。图4示出了提取处理后的拍摄图像20b。提取处理后的拍摄图像20b包括书写内容图像22b。书写对象图像21被移除并且是余白(margin)21b。如图4所示，可以提取书写内容图像22b。这里，在图4所示的示例中，书写内容图像22b是白色的。
[0092]
然而，可能存在通过提取单元12的二值化处理等难以仅提取书写内容图像22的情况。例如，如图3所示，拍摄图像20可以包括除书写对象图像21和书写内容图像22之外的书写者图像23和其他区域，并且例如，在执行二值化处理的情况下，提取除书写内容图像22以外的区域。为了仅提取书写内容图像22，需要首先从拍摄图像20中移除书写者图像23和其他区域。
[0093]
提取单元12执行书写对象区域的提取处理，以移除其他区域。此外，提取单元12执行书写者图像23的分离处理，以移除书写者图像23。以下，将描述书写对象区域的提取处理和书写者图像23的分离处理的细节。
[0094]
(1-3-2-2-1.书写对象区域提取处理)
[0095]
首先，将描述提取书写对象区域的处理。具体地，提取书写对象区域的处理是指提取通过指定拍摄图像20中的多个点(例如，四个点)而指定的区域作为书写对象区域的处理。这里，书写对象区域是指通过从拍摄图像20中移除其他区域而获得的图像。
[0096]
以下，将参考图5进行描述。图5是用于说明根据本实施例的提取单元12对书写对象区域的提取处理的示例的图。图5示出了拍摄图像20c和在提取书写对象区域后的拍摄图像20d。
[0097]
这里，除书写对象图像21c和书写内容图像22c之外，拍摄图像20c还包括书写者图
像23c和其他区域。提取单元12基于书写对象图像21c，基于指定为包围书写对象2的区域的多个点，生成在提取书写对象区域之后的拍摄图像20d。在提取书写对象区域后的拍摄图像20d包括书写对象图像21c、书写内容图像22c和书写者的部分23d。
[0098]
(1-3-2-2-2.书写者图像23和书写内容图像22的分离处理)
[0099]
接下来，将描述书写者图像23和书写内容图像22的分离处理。
[0100]
通过提取上述书写对象区域之后的拍摄图像20d的提取处理而提取的在提取书写对象区域之后的拍摄图像20d包括书写者图像的部分23d。为了在提取书写对象区域之后从拍摄图像20d中提取书写内容图像22，提取单元12需要从提取书写对象区域之后的拍摄图像20d中移除书写者图像的部分23d。
[0101]
具体地，书写者图像23和书写内容图像22的分离处理例如是指从在提取书写对象区域之后的拍摄图像20中对书写者图像的部分23的形状进行模式识别，并排除识别出的书写者图像23。
[0102]
提取单元12对书写者图像23和书写内容图像22执行分离处理，并对执行后的图像执行二值化处理，从而生成如图6所示的包括书写对象图像21e和书写内容图像22c的在提取处理之后的拍摄图像20e。
[0103]
这样，通过对书写对象区域执行提取处理和对书写者图像23执行分离处理，可以正确执行书写内容图像22的提取处理。注意，在上述描述中，描述了其中首先执行书写对象区域的提取处理的示例，但是可以首先执行书写者图像23的分离处理。
[0104]
(1-3-2-3.校正单元13)
[0105]
校正单元13校正由提取单元12提取的书写内容图像22的形式。具体地，校正单元13校正由提取单元12提取的书写内容图像22的形式，以提高输出图像25中书写内容图像22的可见性。
[0106]
注意，校正单元13对书写内容图像22的颜色的校正意味着校正书写内容图像22的颜色的三个属性。例如，颜色的三个属性的示例包括色调、饱和度和亮度。校正单元13校正书写内容图像22的颜色的色调、饱和度或亮度中的至少一个。注意，在目的是提高可见性的情况下，校正单元13可以执行对饱和度或亮度中的一者或两者的校正。
[0107]
当然，即使在使用不同于颜色的三个属性的标度(scale)的情况下，也可以执行校正单元13的颜色校正处理。例如，在校正yuv数据的颜色的情况下，校正单元13可以将yuv数据转换为hsv数据，并执行饱和度或亮度中的一者或两者的校正。
[0108]
以下，仅作为示例，将描述校正单元13校正饱和度或亮度中的一者或两者的情况。
[0109]
校正单元13基于书写对象图像21的类型和输出图像25的背景色的组合来确定颜色校正处理方法，并通过确定的校正处理方法执行书写内容图像22的颜色的校正处理。
[0110]
这里，输出图像25的背景是指由输出设备300输出的图像的背景。仅作为示例，书写对象图像21可以原样用作背景。这样，作为背景色，可以设置与书写对象2对应的颜色在同一系统中的颜色，或者可以设置不同系统中的颜色。例如，在书写对象2是黑板的情况下，除了与书写对象2相对应的深绿色或黑色之外的其他颜色，即，任何颜色(例如白色等)可以被设置为背景色。此外，背景的颜色可以在输出图像25的每个帧中固定，或者可以针对每个输出图像25被设置为不同的颜色。
[0111]
注意，在输出图像25的背景色被假定为固定颜色的情况下，校正单元13可以仅基
于书写对象图像21的类型来确定颜色校正处理方法。
[0112]
接下来，将描述颜色校正处理方法的确定。这里，颜色校正处理方法的确定例如是指用于校正书写内容图像22的饱和度和亮度的过滤器的确定。这里，过滤器是指当输入饱和度或亮度时，输出与输入的饱和度或亮度相对应的饱和度或亮度的关系。
[0113]
注意，可以独立地确定用于校正饱和度的过滤器和用于校正亮度的过滤器中的每一个。校正单元13使用过滤器校正与由提取单元12提取的书写内容图像22的每种颜色相对应的饱和度和亮度。
[0114]
校正单元13可以针对饱和度和亮度中的每一个确定与书写对象图像21的类型和输出图像25的背景色的组合相对应的过滤器。具体地，校正单元13可以基于书写对象2的颜色的亮度和背景色的亮度之间的差来校正书写内容图像22的颜色的亮度。更具体地，在书写对象2的颜色的亮度和背景颜色的亮度之间的差等于或大于预定值的情况下，校正单元13可以执行校正，以便反转书写内容图像22的颜色的亮度。即，校正单元13可以校正书写内容图像22的颜色的亮度，使得书写内容图像22的多个颜色之间的亮度关系与校正前的多个颜色之间的亮度关系相反。
[0115]
例如，在书写对象图像21是黑板并且输出图像25的背景色是白色的情况下，校正单元13可以确定将白色书写内容图像22校正为黑色的过滤器。这是因为，在白色书写内容图像22与白色背景组合的情况下，书写内容图像22的可见性降低。此外，在书写内容图像22与白色背景组合的情况下，在书写内容图像22的颜色为黑色的情况下可见性高。
[0116]
此时，可以如下识别背景的颜色。仅作为示例，在将书写对象图像的颜色设置为背景颜色的情况下，可以通过对拍摄图像20的每一帧的图像识别，将书写对象图像的颜色识别为来自书写对象图像21的背景的颜色。此外，可以通过用户输入知道书写对象图像的颜色。此外，在通过用户设置将书写对象图像的颜色或另一种颜色指定为背景色的情况下，可以将指定的颜色识别为背景色。
[0117]
此外，在书写内容图像22具有多个颜色的情况下，校正单元13可以确定其中书写内容图像22的多个颜色之间的饱和度或亮度差大于校正前的书写内容图像22的多个颜色之间的亮度差的过滤器。具体地，校正单元13可以确定过滤器，使得在书写内容图像22的颜色的饱和度和亮度中，高于其他颜色的饱和度和亮度的饱和度和亮度更高，低于其他颜色的饱和度和亮度的饱和度和亮度更低。
[0118]
下面将参考图7至9描述如上所述的过滤器的具体示例。图7至9是用于说明根据本实施例的校正单元13的校正方法的示例的图。下面描述的过滤器的具体示例可用于饱和度和亮度校正两者。
[0119]
图7示出了示出输入和输出之间的关系的图g1。这里所示的“输入”是由提取单元12提取的书写内容图像22的颜色的饱和度或亮度。此外，此处示出的“输出”是对应于每个“输入”的校正后的饱和度或亮度。在图7所示的图g1中，对于等于或大于预定值的饱和度或亮度，“输出”的饱和度或亮度高于“输入”的饱和度或亮度。此外，另一方面，如图7所示，对于等于或小于预定值的饱和度或亮度，“输出”的饱和度或亮度低于“输入”的饱和度或亮度。
[0120]
注意，图g1的曲线由例如等式(1)表示。
[0121]
outputnorm＝1/{1 e(s-input)*γ}
···
(1)
[0122]
在等式(1)中，s表示水平轴方向上的偏移量，γ表示系数，input和output分别表示输入和输出。
[0123]
此外，图8示出了示出与图7中不同的输入和输出之间的关系的图g2。与图g1不同，图g2的其中“输出”高于“输入”的饱和度或亮度的范围宽。例如，在如图g2所示通过过滤器校正饱和度的情况下，对于除无彩色(achromatic)颜色和接近无彩色颜色的颜色以外的颜色的饱和度，由提取单元12提取的书写内容图像22的饱和度变高。
[0124]
此外，可能存在反转饱和度或亮度的过滤器。这里，饱和度和亮度的反转意味着，在每种颜色中，执行校正以降低高于其他颜色的饱和度和亮度的饱和度和亮度，并且执行校正以增加低于其他颜色的饱和度和亮度的饱和度和亮度。
[0125]
图9示出了示出输入和输出之间的关系的图g3。图g3的输出结果与图g1的输出结果相反。具体而言，对于大于或等于预定值的饱和度或亮度，“输出”的饱和度或亮度低于“输入”的，而对于小于或等于预定值的饱和度或亮度，“输出”的饱和度或亮度高于“输入”的。
[0126]
请注意，图g3的曲线由例如等式(2)表示。
[0127]
outputinv＝1/{1 e(input-s)*γ}
···
(2)
[0128]
在等式(2)中，与等式(1)一样，s表示水平轴方向上的偏移量，γ表示系数，input和output分别表示输入和输出。
[0129]
注意，等式(1)和(2)只是示例，可以使用使用其他表达式的过滤器。
[0130]
例如，在校正作为书写在黑板上的书写内容4的图像的书写内容图像22并且生成背景色为白色的输出图像25的情况下，使用图g3中所示的过滤器。通常，在黑板上书写时，书写者3经常使用白色粉笔书写白色书写内容4。在从对应于白色书写内容4的书写内容图像22和白色背景生成输出图像25的情况下，可能难以区分书写内容图像22和白色背景。因此，例如，在书写对象2的类型是黑板并且背景的颜色是白色的情况下，校正单元13可以使用图g3中所示的过滤器来校正书写内容图像22的颜色，以便反转白色书写内容图像22的亮度。
[0131]
校正单元13可以使用如上述图7至9所示的过滤器校正书写内容图像22的颜色的饱和度和亮度。
[0132]
注意，校正单元13可以使用除增加饱和度差和亮度差的图7到9所示的过滤器之外的过滤器。换句话说，校正单元13可以使用不增加饱和度差或亮度差的过滤器。例如，校正单元13可以使用在不改变输入饱和度或亮度的情况下按原样输出输入饱和度或亮度的过滤器、反转输入饱和度或亮度以输出反转的饱和度或亮度的过滤器等。
[0133]
这里，将考虑其中书写对象图像21是黑板、书写内容图像22具有黄色并且生成背景为白色的输出图像25的情况。书写在黑板上的黄色书写内容图像22的亮度高于书写在黑板上的书写内容图像22的其他颜色的亮度，并且黄色可用于比其他颜色的书写内容图像22更强调黄色书写内容图像22。然而，在书写对象图像21是黑板并且生成背景为白色的输出图像25的情况下，使用反转亮度的过滤器，并且具有高亮度的黄色书写内容图像22在校正后具有低亮度。因此，可能出现难以区分校正后的黄色书写内容图像22和校正后的白色书写内容图像22的情况。
[0134]
在假设出现这种情况的情况下，校正单元13可以例如在通过过滤器校正之后进一
步执行校正，以使得黄色书写内容图像22的亮度增加。
[0135]
与上述情况类似的情况也可以发生在除黄色色调以外的色调的颜色的书写内容图像22中。因此，校正单元13可以根据书写对象图像21的类型和背景信息的组合来校正预定色调的颜色。具体地，校正单元13可以执行校正，使得书写内容图像22的颜色之中的其中与输出图像25的背景色的亮度差等于或小于预定值的色调的颜色的亮度与其他色调的颜色的亮度相比变化较大。具体地，在校正后的书写内容图像22的颜色亮度与背景的颜色亮度之间的关系中出现与最小亮度和最大亮度之间的差的10％或更小对应的亮度差的情况下，校正单元13可以校正书写内容图像22的亮度，使得亮度差为20％或更大。例如，在最小亮度为0并且最大亮度为255的情况下，当亮度差为25或更小时，校正单元13可以校正书写内容图像22的亮度，使得亮度差为51或更大。
[0136]
在根据亮度差的校正中，校正单元13可以在根据书写对象图像21的类型和背景信息的组合使用过滤器的校正中改变与预定色调相对应的亮度的输出。下文中，将参考图10描述示例。图10是用于说明根据本实施例的校正单元13在与50度到70度的色调角相对应的色调中通过二次曲线的校正的示例的图。图10示出了图g4。在图g4中，示出了对应于每个色调的系数的值。这里，系数是等式(1)和(2)中的系数γ。在图10中，描述了与50度到70度的色调角相对应的色调中的校正的示例，但当然，可以对其他范围中的色调执行类似的校正。
[0137]
注意，在上述描述中，描述了根据与输出图像25的背景颜色的亮度差的亮度校正，但是，以另一种方式，可以在考虑到照明对书写内容4的影响的情况下执行类似的亮度校正。例如，在书写内容4被照明设备照明的情况下，由于照明的影响，在预定色调的颜色中，与书写内容4相对应的书写内容图像22可以以与书写内容4的原始颜色不同的颜色出现。在校正单元13校正具有不同于原始颜色的颜色的书写内容图像22的颜色的情况下，可能出现由于书写者3最初预期的颜色差而导致的差异化没有被执行的情况。因此，在预期出现该情况等的情况下，校正单元13可以校正预定色调的颜色的亮度，并强调校正色调的颜色的书写内容图像22与其他颜色的书写内容图像22之间的差异。
[0138]
这样，校正单元13可以根据书写对象图像21的类型适当地输出书写内容图像22。根据该功能，可以增强输出图像25中的书写内容图像22的可见性，并消除与书写对象图像21相关的照明的影响。
[0139]
接下来，将参考图11描述上述校正单元13使用过滤器执行校正处理的具体示例。图11是用于说明校正单元13使用过滤器执行校正处理的具体示例的图。
[0140]
在图11的上侧，示出了由提取单元12进行提取处理后的拍摄图像20f。拍摄图像20f包括书写对象图像21f，以及作为书写内容图像22f的白色字符22w、颜色r的线22r、颜色b的线22b和颜色y的线22y。这里，书写对象图像21的类型是黑板。校正单元13校正拍摄图像20f以生成背景色为白色的输出图像25g。例如，颜色r为红色，颜色b为蓝色，颜色y为黄色。
[0141]
在图11的下侧，示出了由校正单元13校正的输出图像25g。输出图像25g包括白色背景图像24g、校正黑色字符22wg、校正颜色r的线22rg、校正颜色b的线22bg和校正颜色y的线22yg。这里，通过校正颜色r的线22r、颜色b的线22b和颜色y的线22y的亮度分别获得颜色r的线22rg、颜色b的线22bg和颜色y的线22yg。
[0142]
以此方式，可以根据输出图像25的背景颜色来校正书写内容图像22以增强可见性。
[0143]
注意，过滤器的确定和校正的对象不限于上述示例。例如，在上述描述中，基于书写对象2的类型和输出图像25的背景颜色来确定转换书写内容图像22的颜色的过滤器，但是，以另一种方式，例如，可以为拍摄图像20的每个部分的部位确定过滤器。
[0144]
此外，除了校正书写内容图像22的颜色之外，校正单元13还可以校正书写内容图像22的轮廓。书写内容图像22的轮廓的校正例如是指强调书写内容图像22的轮廓并擦除除书写内容图像22的轮廓以外的部分等的处理。下文中，将参考图12描述由校正单元13对书写内容图像22的轮廓的校正处理的示例。图12是用于说明与根据本实施例的校正单元13对书写内容图像22的轮廓的校正处理相关的示例的图。
[0145]
在图12的上侧，示出了在提取单元13的提取处理之后的拍摄图像20h。拍摄图像20h包括书写对象图像21h和书写内容图像22h。这里，校正单元13可以校正书写内容图像22h的轮廓。在图12的下侧，示出了包括由校正单元13校正的书写内容图像22i的输出图像25i。输出图像25i包括背景图像24i。通过校正书写内容图像22h的颜色和轮廓来获得书写内容图像22i。
[0146]
注意，校正单元13可以校正书写内容图像22的一部分的轮廓，并且可以不校正书写内容图像22的其他部分的轮廓。例如，在使用过滤器执行饱和度和亮度校正处理之后，校正单元13可以校正在执行校正处理之后的书写内容图像22中预定色调的颜色的书写内容图像22的轮廓，并且可以不校正除预定色调的颜色以外的颜色的书写内容图像22的轮廓。此外，例如，校正单元13可以校正书写内容图像22中通过字符识别等识别为字符的书写内容图像22的轮廓。针对其执行校正单元13的轮廓校正的对象不限于这样的示例。
[0147]
以此方式，校正单元13可以执行校正，以强调书写内容图像22的轮廓。根据这样的功能，可以表示其轮廓被校正的书写内容图像22具有不同于其他书写内容图像22的含义。
[0148]
(1-3-2-4.输出单元14)
[0149]
输出单元14执行控制以输出包括由校正单元13校正的书写内容图像22的输出图像25。具体地，输出单元14通过将其形式已由校正单元13校正的书写内容图像22叠加在背景图像上来生成输出图像25。仅作为这种背景图像的示例，输出单元14可以通过将其形式已由校正单元13校正的书写内容图像22叠加在拍摄图像20的书写对象图像21上来生成输出图像25。注意，背景图像可以是通过用户设置等指定的任何颜色的图像。以这种方式生成的输出图像25由后面描述的输出设备300输出。输出单元14可以使稍后描述的输出设备300实时输出输出图像25。此外，输出单元14可以将输出图像25累积在缓冲器或存储装置(未示出)中，并使输出设备300在任何定时输出累积的输出图像25。
[0150]
(1-3-2-5.颜色校正问题的侧视角)
[0151]
作为侧视角，存在这样一个方面：在通过校正单元13校正书写内容图像22的颜色的情况下，在输出图像25中增强书写内容图像22的可见性。
[0152]
尽管具有这样的方面，但在校正单元13的颜色校正中强调书写内容图像22的饱和度和亮度。因此，存在这样一个方面：由于颜色校正，不仅强调包括在书写内容图像22中的书写内容4的颜色，而且强调书写对象2的颜色。例如，在书写对象2是黑板的情况下，当使用粉笔等执行书写时，在书写内容中出现粉笔的细点等。因此，在书写内容图像22中，不仅反映粉笔的颜色，而且还反映与粉笔的细点相对应的部分处黑板的板面的颜色。
[0153]
图13是示出书写内容4的细点的示例的图。作为示例，图13示出了在作为书写对象
2的示例的黑板上使用白色粉笔进行书写的示例。此外，图13示出了作为使用白色粉笔执行书写的书写内容4的示例的字符串“abcd”中的摘录的字符“a”。此外，在图13中，进一步提取并放大了字符“a”的左下端部分及其周围22a，并且其放大视图由附图标记22a1表示。注意，在图13中，黑板的颜色用阴影表示，粉笔的颜色用白色表示。
[0154]
如图13中的附图标记22a1所示，除了用于书写字符“a”的左下端的粉笔以外，书写内容4的一部分还可能包括粉笔的细点c1到c6。在包括粉笔的细点c1至c6的书写内容图像22中，不仅对粉笔的饱和度和亮度，而且对粉笔的细点c1至c6执行颜色强调。结果，如图13中的附图标记22a2所示，粉笔的细点c1至c6，即与黑板的板面相对应的绿色的饱和度和亮度被强调为粉笔的细点c1至c6。如上所述，其中强调饱和度和亮度的粉笔的细点c1到c6作为一个因素妨碍了书写内容4的可见性。例如，由于位于字符“a”内的粉笔的细点c1至c6变得清晰的影响，因此字符“a”的轮廓看起来不清晰，因此字符“a”看起来是黑板的颜色(例如绿色)或者模糊或暗淡。
[0155]
这里，尽管图13仅作为示例示出了其中书写对象2是黑板的示例，但即使在书写对象2是白板的情况下，也可能出现标记的墨水的细点或不均匀，因此书写内容4的可见性也可能类似地受到妨碍。此外，在书写对象2是白板的情况下，由于没有正确设置用于成像的成像设备的白平衡的事实，不适可能进一步增加。例如，在白板以淡黄色状态被成像的情况下，存在书写内容4呈现淡黄色的情况。
[0156]
(1-3-2-6.问题解决方法的侧视角)
[0157]
因此，在本公开的实施例中，基于从拍摄图像20检测到的书写对象2的颜色信息来确定从书写内容图像22生成的输出图像25的颜色信息。作为侧视角，本公开的实施例具有颜色强调抑制功能，该功能抑制作为书写内容图像22中包括的像素的书写内容像素中的具有与书写对象2的颜色附近对应的颜色的书写内容像素的饱和度或亮度的强调。
[0158]
仅作为示例，用于强调在书写对象2的色调的统计值(例如平均值)附近的书写内容像素的饱和度或亮度的系数被确定为比用于强调不在书写对象2的色调的统计值附近的书写内容像素的饱和度或亮度的系数小的系数。
[0159]
图14是示出抑制颜色强调的方法的示例的图。图14示出了图13所示的放大图22a1，以及在应用了根据本公开实施例的颜色强调抑制功能的情况下，作为附图标记22a3的颜色强调结果。在应用根据本公开实施例的颜色强调抑制功能的情况下，如图14所示，强调粉笔的饱和度或亮度，同时抑制与书写对象2的颜色附近相对应的粉笔的细点c1到c6的饱和度或亮度的强调。因此，如图14中的附图标记22a3所示，其中抑制了饱和度和亮度的强调的粉笔的细点c11到c16抑制了书写内容4的可见性的恶化。例如，作为抑制字符“a”的轮廓模糊的结果，可以防止字符“a”表现为黑板的颜色(例如绿色)或模糊或暗淡。
[0160]
因此，根据按照本公开实施例的颜色强调抑制功能，可以抑制由于颜色强调导致的书写内容4的可见性的恶化。
[0161]
以下，将描述实现根据本公开的实施例的颜色强调抑制功能的功能单元，例如，检测单元15和确定单元16。
[0162]
(1-3-2-7.检测单元15)
[0163]
检测单元15从书写对象图像21检测书写对象2的颜色信息。作为实施例，将描述在书写对象2是黑板的情况下的处理作为示例。在这种情况下，书写内容4可能具有比书写对
象2更浅的颜色。因此，检测单元15将过滤器应用于书写对象图像21，该过滤器将要处理的像素的像素值(例如，色调、饱和度和亮度)替换为位于距要处理的像素预定范围内的周边像素中的亮度为最小值的周边像素的像素值。仅作为示例，书写对象图像21中包括的每个像素被设置为要按照与光栅扫描等类似的顺序进行过滤器处理的像素。此外，要替换其像素值的周边像素的范围可以是任何范围。例如，要处理的像素中的四个相邻像素或八个相邻像素(左、右、上和下)可以被包括在周边像素中，或者位于从要处理的像素开始的直至预定数量的像素的像素可以被包括在周边像素中。通过将这样的过滤器应用于书写对象图像21，作为侧视角，通过过滤器提取具有比与粉笔等相对应的颜色(例如白色或黄色)更暗的颜色(例如黑板的板面的颜色)的像素的像素值，并将其替换为要处理的像素的像素值。结果，获得其中从书写对象图像21中移除了书写内容4的书写对象图像21。然后，检测单元15计算包括在从中移除了书写内容4的书写对象图像21中的像素的统计值，例如平均值、众数值(mode value)、中值等。结果，检测到书写对象2的颜色信息。
[0164]
注意，这里，仅作为示例，已经举例说明了将要处理的像素的像素值替换为位于距要处理的像素预定范围内的周边像素中的亮度为最小值的周边像素的像素值的过滤器，但是其他过滤器可以应用于拍摄图像20。例如，可以对书写对象图像21应用过滤器，该过滤器将要处理的像素的像素值替换为位于距要处理的像素预定范围内的周边像素中的具有众数值亮度的周边像素的像素值的统计值。
[0165]
此外，这里，仅将书写对象2是黑板的情况描述为示例，但即使在书写对象2不是黑板的情况下，也可以类似地检测书写对象2的颜色信息。作为另一示例，在书写对象2是白板的情况下，仅需要将用位于距要处理的像素预定范围内的周边像素中的亮度为最大值的周边像素的像素值替换要处理的像素的像素值的过滤器应用于书写对象图像21。
[0166]
(1-3-2-8.确定单元16)
[0167]
确定单元16基于检测单元15检测到的书写对象2的颜色信息，确定要乘以校正单元13用于对书写内容图像22进行颜色强调的系数的颜色强调抑制系数。以下，从与颜色强调抑制系数区分标签的侧视角来看，用于校正单元13以强调书写内容像素的饱和度或亮度的系数被称为“颜色强调系数”。
[0168]
例如，确定单元16将要乘以具有接近书写对象2的色调的统计值的色调的书写内容像素的颜色强调系数的颜色强调抑制系数设置为小于具有不接近书写对象2的色调的统计值的色调的书写内容像素的颜色强调抑制系数的值。以此方式，通过将具有接近于书写对象2的色调的统计值的色调的书写内容像素的颜色强调系数乘以较小值的颜色强调抑制系数，抑制对具有接近于书写对象2的色调的统计值的色调的书写内容像素的颜色强调。
[0169]
更具体地说，确定单元16可以设置这样的功能，其中基于由检测单元15检测到的书写对象2的颜色信息来定义色调和颜色强调抑制系数之间的对应关系。
[0170]
图15至17是示出函数示例的图。图15示出了一个示例，其中设定函数f1，其中将与距书写对象2的色调的统计值预定范围内(例如，在
±
α内)的色调相对应的颜色强调抑制系数的值设置为0，并且将与该范围外的色调相对应的颜色强调抑制系数的值设置为1。
[0171]
此外，图16示出了其中设置了函数f2的示例，其中，颜色强调抑制系数的值随着色调远离书写对象2的色调的统计值而单调非线性地增大。例如，在函数f2中，可以将颜色强调抑制系数的最小值设置为小到0，并且可以将颜色强调抑制系数的最大值设置为大到1。
注意，尽管图16示出了其中颜色强调抑制系数的值单调非线性增大的函数f2，但是可以将其中颜色强调抑制系数的值线性增大的函数设置为函数f2。
[0172]
此外，图17示出了其中函数f3的示例，其中与色调增加相对应的颜色强调抑制系数的增量和与色调减少相对应的颜色强调抑制系数的增量在从书写对象2的色调的统计值彼此远离的两个方向上彼此不同，其中，所述两个方向包括色调增加的方向和色调减少的方向。此外，在函数f3中，与色调增加方向上的色调减少相对应的颜色强调抑制系数的单调增加的增量被设置为大于与色调减少方向上的色调增加相对应的颜色强调抑制系数的单调增加的增量。
[0173]
可以根据视觉特性设置包括色调增加方向和色调减少方向的两个方向之间的颜色强调抑制系数的单调增加的增量的大小关系。仅作为示例，视觉特征包括与其他颜色相比，肤色灵敏度高，而蓝色灵敏度低的方面。由此，可以将与包括色调增加方向和色调减少方向的两个方向中的包含和肤色对应的色调的一个方向对应的颜色强调抑制系数的单调增加的增量设定为小于与另一方向对应的颜色强调抑制系数的单调增加的增量。或者，可以将与包括色调增加方向和色调减少方向的两个方向中的包含和蓝色对应的色调的一个方向对应的颜色强调抑制系数的单调增加的增量设定为大于与另一方向对应的颜色强调抑制系数的单调增加的增量。
[0174]
注意，尽管图17示出了颜色强调抑制系数线性增加的示例，但是颜色强调抑制系数可以非线性增加。此外，可以将与包括色调增加方向和色调减少方向的两个方向中的包含和肤色对应的色调的一个方向对应的颜色强调抑制系数的单调增加的增量设定为大于与另一方向对应的颜色强调抑制系数的单调增加的增量。或者，可以将与包括色调增加方向和色调减少方向的两个方向中的包含和蓝色对应的色调的一个方向对应的颜色强调抑制系数的单调增加的增量设定为小于与另一方向对应的颜色强调抑制系数的单调增加的增量。
[0175]
此外，在图15到17中，已经举例说明了确定色调和颜色强调抑制系数之间的对应关系的函数，但是颜色强调抑制系数可以不一定根据该函数来确定。例如，不用说，可以使用定义色调和颜色强调抑制系数之间的对应关系的查找表等来代替函数。
[0176]
根据函数f1到f3，为每个书写内容像素确定与书写内容像素的色调相对应的颜色强调抑制系数。通过将颜色校正系数，即上述“γ”乘以以此方式为每个书写内容像素确定的颜色强调抑制系数，可以将上述颜色强调抑制功能合并到校正单元13的颜色强调中。
[0177]
根据这些函数f1到f3，可以将小于具有不接近于书写对象2的色调的统计值的色调的书写内容像素的颜色强调抑制系数的值设置为具有接近于书写对象2的色调的统计值的色调的书写内容像素的颜色强调抑制系数。此外，根据函数f2和函数f3，由于与以书写对象2的色调的统计值为起点的色调增加方向和色调减少方向相对应的颜色强调抑制系数的单调增加的增量比函数f1的增量平滑，因此可以抑制伴随陡峭的颜色强调强度而出现的闪烁现象。此外，根据函数f3，与函数f1和f2相比，在眼睛低敏感度的色调降低的方向或眼睛低敏感度的色调增加的方向上的颜色强调抑制系数的单调增加的增量被设置为大，或者在眼睛高敏感度的色调降低的方向或眼睛高敏感度的色调的方向上的颜色强调抑制系数的单调增加的增量被设置为低，因此，可以更有效地抑制伴随快速的颜色强调强度而出现的闪烁现象。
[0178]
注意，这里，仅作为示例，描述了根据色调确定颜色强调抑制系数的示例，但是可以使用饱和度或亮度中的至少一个来确定颜色强调抑制系数。
[0179]
[1-3-3.输出设备300]
[0180]
输出设备300是在图像处理装置100的控制下输出信息的设备。输出设备300由诸如crt显示设备、液晶显示设备、等离子显示设备、el显示设备、激光投影仪、led投影仪和灯之类的显示设备实现。
[0181]
输出设备300从输出单元14接收输出图像25以输出输出图像25。输出设备300可以以流格式将输出图像25输出为运动图像。换句话说，输出设备300可以实时输出输出图像25。
[0182]
输出设备300可以在从输出单元14接收输出图像25的定时输出输出图像25。另一方面，输出设备300可以存储从输出单元14接收到的输出图像25，以便在稍后的定时将其输出。注意，输出设备300可以接收存储在图像处理装置100的内部或外部缓冲器或存储装置中的输出图像25，以将输出图像25输出为静止图像或运动图像。
[0183]
如上所述，输出设备300由各种显示设备实现。输出设备300可以包括多个显示设备。这里，将参考图18描述输出设备300的具体示例。图18是用于说明根据本实施例的输出设备300的输出示例的图。图18示出了输入设备200和输出设备300a、300b和300c。
[0184]
如图18所示，输出设备300可以是诸如输出设备300a和300b之类的显示设备。输出设备300可以是诸如输出设备300c之类的平板终端。输出设备300a、300b和300c各自输出输出图像25p。注意，与输出设备300c一样，其他终端可以连接到图像处理装置100以访问输出图像25p。当然，输出设备300对输出图像25的输出不限于上述示例。
[0185]
这样，通过各种显示设备输出输出图像25，可以根据个人情况确认输出图像25。
[0186]
《2.操作示例》
[0187]
接下来，将描述根据本实施例的系统1的操作流程的示例。图19是用于说明根据本实施例的系统1的操作流程的示例的图。仅作为示例，可以在获取拍摄图像20的情况下开始图19所示的处理。
[0188]
如图19所示，获取单元11获取其中由输入设备200拍摄书写对象图像21的拍摄图像20(s1101)。随后，提取单元12从拍摄图像20中提取书写内容图像22(步骤s1102)。此外，检测单元15从拍摄图像20检测书写对象2的颜色信息(步骤s1103)。
[0189]
此后，确定单元16和校正单元13按照与作为在步骤s1102中提取的书写内容图像22中包括的像素的书写内容像素的数量相对应的次数重复以下步骤s1104和以下步骤s1105。
[0190]
即，确定单元16基于在步骤s1103中检测到的书写对象2的颜色信息，确定要乘以用于校正单元13以对书写内容图像22进行颜色强调的系数的颜色强调抑制系数(步骤s1104)。然后，校正单元13根据通过将用于书写内容图像22的形式中的颜色校正的颜色强调计数乘以在步骤s1104中确定的颜色强调抑制系数而获得的颜色强调系数来执行校正(步骤s1105)。
[0191]
此后，输出单元14生成输出图像25，其中由校正单元13校正的形式的书写内容图像22被叠加在拍摄图像20的书写对象图像21上，以将其输出到输出设备300(步骤s1106)，并结束处理。
[0192]
注意，图19所示的步骤s1102和s1103的执行顺序不限于所示的示例。例如，可以在步骤s1102中的处理之前执行步骤s1103中的处理，或者可以并行执行步骤s1102和s1103中的处理。
[0193]
《3.应用示例》
[0194]
上述实施例是示例，并且各种应用是可能的。
[0195]
《《3-1.应用示例1》》
[0196]
在上述实施例中，仅作为示例，描述了通过对拍摄图像20应用过滤器来计算书写内容4已从中移除的书写对象图像21中包括的像素的统计值的示例，但检测书写对象2的颜色信息的方法不限于此。作为另一示例，检测单元15可以通过在书写对象图像21中包括的像素中排除与提取单元12提取的书写内容图像相对应的像素来计算剩余像素的统计值，来检测书写对象2的颜色信息。
[0197]
《《3-2.应用示例2》》
[0198]
在上述实施例中，仅作为示例，描述了其中基于从整个书写对象图像21检测到的书写对象2的颜色信息来确定书写内容像素的颜色强调抑制系数的示例，但本发明不限于此。
[0199]
图20是示出应用示例2中的区域分割示例的图。图20示出了其中作为示例将书写对象图像21j分割为三个区域e1到e3的示例。在这种情况下，检测单元15通过计算书写对象图像21j的每个区域e1到e3中包括的像素中的除书写内容像素之外的像素的色调的统计值，来检测区域e1到e3中的每个区域的书写对象2的颜色信息。然后，确定单元16可以设置确定属于书写对象图像21j的每个区域e1到e3的书写内容像素的颜色强调抑制系数的函数。结果，可以减少书写内容4的细点的影响以及阳光或照明的影响。
[0200]
这里，图20示出了将书写对象图像21j分割为区域e1到e3的三个区域的示例，但区域分割方法不限于此。例如，随着书写对象2的尺寸增大，书写内容4的细点的影响显著地出现在书写内容图像中，并且阳光和照明的影响也增大。由此，可以根据书写对象图像21计算每单位面积的书写对象2的像素密度，并且可以根据像素密度设置分割数。例如，当每单位面积的书写对象2的像素密度增加时，可以设置较小数量的分割，或者当每单位面积的书写对象2的像素密度减少时，可以设置较大数量的分割。注意，尽管图20示出了其中书写对象图像21j被分割为左部分和右部分的示例，但是书写对象图像可以被分割为上部分和下部分，或者被分割为上部分、下部分、左部分和右部分。
[0201]
《《3-3.应用示例3》》
[0202]
在上述应用示例2之后，检测单元15可以基于包括书写内容像素及其周边像素的局部区域的色调的统计值，为每个书写内容像素设置不同的函数。图21是示出应用示例3中的局部区域的示例的图。作为示例，图21示出了在黑板上使用白色粉笔进行书写的示例，黑板是书写对象2的示例。此外，图21示出了字符串“abcd”，作为使用白色粉笔执行书写的书写内容4的示例。在图21所示的示例中，针对与字符串“abcd”相对应的书写内容像素pi，计算包括书写内容像素pi及其周边像素的预定大小的局部区域lpi的色调的统计值。基于以此方式计算的局部区域lpi的色调的统计值，确定单元16设置确定书写内容像素pi的颜色强调抑制系数的函数。结果，即使在阳光或照明在书写对象2的各个位置被不同地应用的情况下，也可以抑制与粉笔或标记的细点相对应的书写对象2的背景的颜色强调。
[0203]
图22是用于说明根据应用示例3的系统1的操作流程的示例的图。如图19所示的处理那样，也可以在获取拍摄图像20的情况下开始图22所示的处理。
[0204]
如图22所示，获取单元11获取其中由输入设备200拍摄书写对象图像21的拍摄图像20(s1101)。随后，提取单元12从拍摄图像20中提取书写内容图像22(步骤s1102)。
[0205]
此后，检测单元15、确定单元16和校正单元13按照与作为在步骤s1105中提取的书写内容图像22中包括的像素的书写内容像素的数量相对应的次数，重复以下步骤s1102至以下步骤s1103。
[0206]
即，检测单元15检测包括书写内容像素及其周边像素的局部区域的颜色信息(步骤s2101)。然后，确定单元16基于在步骤s2101中检测到的局部区域的颜色信息，确定要乘以用于校正单元13以对书写内容图像22进行颜色强调的系数的颜色强调抑制系数(步骤s1104)。然后，校正单元13根据通过将用于书写内容图像22的形式中的颜色校正的颜色强调计数乘以在步骤s1104中确定的颜色强调抑制系数而获得的颜色强调系数来执行校正(步骤s1105)。
[0207]
此后，输出单元14生成输出图像25，其中由校正单元13校正的形式的书写内容图像22被叠加在拍摄图像20的书写对象图像21上，以将其输出到输出设备300(步骤s1106)，并结束处理。
[0208]
《《3-4.应用示例4》》
[0209]
在上述实施例中，仅作为示例描述了基于书写对象2的颜色信息抑制输出图像25中包括的书写内容图像22的颜色强调的颜色强调抑制功能，但是，可以安装基于书写对象2的颜色信息来确定叠加了书写内容图像22的背景图像的颜色信息的背景确定功能。注意，不言而喻，可以单独或组合执行颜色强调抑制功能和背景确定功能中的每一个。
[0210]
图23是用于说明根据应用示例4的系统1的功能配置的示例的图。图23示出了组合实现颜色强调抑制功能和背景确定功能的情况下的功能配置示例。图23所示的图像处理装置110与图2所示的图像处理装置100的不同之处在于，其包括第一确定单元16和第二确定单元17。
[0211]
其中，第一确定单元16具有类似于图2所示的确定单元16的功能。此外，第二确定单元17基于书写对象2的颜色信息确定叠加了书写内容图像22的背景图像的颜色信息。仅作为示例，第二确定单元17确定与书写对象2的色调的统计值相对应的颜色作为背景图像的颜色。此外，在书写对象2的色调的统计值对应于黑板的颜色的情况下，第二确定单元17还可以确定黑板的颜色，例如，“黑色”、“深绿色”等，作为背景图像的颜色。此外，在书写对象2的色调的统计值对应于白板的颜色的情况下，第二确定单元17还可以将白板的颜色(例如，“白色”等)确定为背景图像的颜色。
[0212]
《《3-5.应用示例5》》
[0213]
在上述实施例中，仅作为示例，描述了对所有书写内容像素执行颜色强调的示例，但可以不一定对所有书写内容像素执行颜色强调。图24是示出根据应用示例5的书写内容像素的退缩的示例的图。在图24中，仅作为示例，将字符“a”图示为书写内容4的示例。例如，如图24所示，通过对字符“a”应用形态过滤器，可以将字符“a”退缩为稍细的字符“a”。以这种方式获得的退缩书写内容像素可以对应于笔迹芯(lead)的部分。然后，可以通过缩小到与书写内容像素中的退缩后的书写内容像素不对应的书写内容像素来执行颜色强调抑制
系数的确定和基于颜色强调抑制系数的颜色强调。
[0214]
《《3-6.应用示例6》》
[0215]
如上所述，校正单元13基于关于书写对象图像21的信息和输出图像25的背景颜色来校正书写内容图像22。此外，校正单元13可以基于从拍摄图像20检测到的书写者的状态来校正书写内容图像22。以下，将描述校正单元13基于书写者的状态的校正处理。
[0216]
首先，书写者的状态可以是书写者的运动信息。校正单元13可以基于书写者的运动信息进一步校正书写内容图像22的形式。这里，运动信息例如是指指示书写者是否正在对书写对象图像21执行书写的动作检测信息等。此时，可以从拍摄图像20中检测到书写者正在书写对象图像21上执行书写。
[0217]
请注意，书写者的运动是通过执行书写者的动作识别来检测的。具体地，通过在静止图像或运动图像的每一帧中执行动作识别，可以捕捉书写者执行运动的定时。
[0218]
以下，将参考图25和26描述由校正单元13基于指示书写者是否正在对书写对象图像21执行书写的动作检测信息进行的校正处理。图25和26是用于说明根据本实施例的校正单元13基于指示书写者是否正在对书写对象图像21进行书写的动作检测信息的校正处理的示例的图。
[0219]
在检测到不在对书写对象图像21执行书写的书写者的情况下，如上所述，校正单元13基于书写对象2的类型和输出图像25的背景色的组合来校正书写内容图像22的颜色。另一方面，在检测到正在对书写对象2执行书写的书写者的情况下，它执行与在书写对象图像21上检测到不在对书写对象2执行书写的书写者的情况不同的校正。
[0220]
图25示出了由获取单元11获取的拍摄图像20j。拍摄图像20j包括指示书写者不在对书写对象图像21j执行书写的书写者图像23j。此外，图25示出了输出图像25k。在输出图像25k中，示出了背景图像24k和校正的书写内容图像22k。注意，在图25的示例中，书写内容图像22k类似于书写内容图像22j。
[0221]
图26示出了由获取单元11获取的拍摄图像20l。拍摄图像20l包括书写对象图像21l、书写内容图像22j和书写者图像23l。这里，书写者图像23l是正在执行书写的书写者的图像。
[0222]
这里，校正单元13检测到书写者3正在执行书写，并校正书写内容图像22j的颜色和宽度。图26示出了输出图像25m。输出图像25m包括背景图像24m和校正的书写内容图像22m。这里，与书写内容图像22j相比，书写内容图像22m的颜色发生变化，并且具有比书写内容图像22j更宽的宽度。
[0223]
如图25和26所示，例如，校正单元13可以校正书写内容图像22，使得当书写者3正在执行书写时，观看输出图像25的人可以理解书写者3正在执行书写。
[0224]
注意，在上面，参考图25和26，描述了一个示例，其中，在检测单元12检测到书写者3正在执行书写的情况下，校正单元13执行校正以加宽(扩展)书写内容图像22的宽度。然而，另一方面，在检测单元12检测到书写者3正在执行书写的情况下，校正单元13可以执行缩小(减小)书写内容图像22的宽度的处理，或者可以执行书写内容图像22的轮廓的校正，例如，空化书写内容图像22并仅留下轮廓部分的校正。
[0225]
这样，仅通过确认完成了书写的状态的静止图像或运动图像，就足以掌握书写内容图像22。根据这样的功能，在希望稍后确认书写内容图像22的情况等下，可以避免观看者
的麻烦。
[0226]
《《3-7.应用示例7》》
[0227]
此外，与书写者3的状态相关的信息可以是指示书写者3和书写对象图像21之间的位置关系的位置关系信息。校正单元15可以基于位置关系信息进一步校正书写内容图像22。这里，书写者3和书写对象图像21之间的位置关系是指书写者3相对于书写对象图像21的位置等。位置关系信息可以包括与书写者3和书写对象图像21之间的位置关系相对应的时间，以及与书写内容图像22之间的位置关系相对应的书写内容图像22。
[0228]
注意，位置关系信息的获取由包括测距设备的系统1实现。这里，测距设备是包括例如距离测量传感器并且能够获取距离测量传感器和对象之间的距离的设备。
[0229]
以下，将参考图27描述由校正单元15基于书写者3和书写对象图像21之间的位置关系对书写内容图像22的校正处理。图27是用于说明根据本实施例由校正单元15基于书写者3和书写对象图像21之间的位置关系对书写内容图像22的校正处理的图。
[0230]
图27示出授课的状态。图27示出了书写对象2a、书写者3a、书写内容的部分4a、学生5、输出设备300和多个测距设备400。输出设备300输出的输出图像25可以被安装为仅对书写者3可见。这里，书写者3站在隐藏书写内容4的地方。因此，学生5只能看到书写内容的部分4a。这里，校正单元15可以基于书写者3和书写对象图像21之间的位置关系来校正书写内容图像22的颜色。
[0231]
将描述图27的示例。多个测距设备400获取每个测距设备400与书写者3之间的距离。此时，检测书写者相对于书写对象图像21的位置。
[0232]
这里，在从书写对象图像21检测到的书写者的位置是书写内容图像22被隐藏预定时间的位置的情况下，校正单元15可以校正书写内容图像22，以便通知书写者3书写内容图像22被隐藏。
[0233]
具体地，在将书写者3和书写内容图像22之间的位置关系的变化在预定时间内等于或小于预定量指示为位置关系信息的情况下，校正单元15可以校正与位置关系相对应的书写内容图像22。例如，在书写者3的位置的变化在预定时间内等于或小于预定量的情况下，校正单元15可以将书写内容图像22的颜色(例如，隐藏的书写内容图像22的颜色或隐藏的书写内容图像22的附近的颜色)校正为预定颜色，以便通知书写者3存在于靠近书写者3的位置的书写对象2的位置处的书写内容图像22被隐藏。
[0234]
在图27的示例的情况下，在书写者3的位置的变化在预定时间内等于或小于预定量的情况下，校正单元15将被书写者3隐藏的书写内容4a或书写内容图像22的颜色校正为预定颜色。在图27的示例的情况下，输出设备300输出校正的书写内容图像22，并将其通知给书写者3。
[0235]
以这种方式，可以通知书写者学生无法看到书写内容图像22，因为书写内容图像22被隐藏。根据这样的功能，书写者可以采取行动，让学生可以接收更舒适的授课。
[0236]
注意，可以使用除距离测量设备400以外的成像设备来获取指示书写者3和书写对象2之间的位置关系的信息。例如，可以使用输入设备200作为成像设备。此外，在书写对象2是电子黑板的情况下，书写对象2可以直接输出输出图像25。
[0237]
《4.硬件配置示例》
[0238]
接下来，将描述根据本公开的实施例的图像处理装置100、输入设备200和输出设
备300的硬件配置示例。图28是示出根据本公开的实施例的图像处理装置100、输入设备200和输出设备300的硬件配置示例的框图。参考图28，图像处理装置100、输入设备200和输出设备300包括例如处理器871、rom 872、ram 873、主机总线874、桥接器875、外部总线876、接口877、输入设备878、输出设备879、存储装置880、驱动器881、连接端口882和通信装置883。注意，这里所示的硬件配置是示例，可以省略一些组件。此外，可以进一步包括除这里所示的组件以外的组件。
[0239]
(处理器871)
[0240]
处理器871用作例如算术处理设备或控制设备，并且基于记录在rom 872、ram 873、存储装置880或可移除记录介质901中的各种程序来控制每个组件或其部分的整体操作。
[0241]
(rom872、ram873)
[0242]
rom 872是存储由处理器871读取的程序、用于计算的数据等的单元。ram 873临时或永久地存储例如由处理器871读取的程序、在执行程序时适当改变的各种参数等。
[0243]
注意，上述获取单元11、提取单元12、校正单元13、输出单元14、检测单元15、确定单元16、输入设备200、输出设备300等的功能通过处理器871、rom 872、ram 873和软件的协作来实现。
[0244]
(主机总线874、桥接器875、外部总线876、接口877)
[0245]
处理器871、rom 872和ram 873经由例如能够进行高速数据传输的主机总线874相互连接。另一方面，主机总线874例如经由桥接器875连接到具有相对低数据传输速度的外部总线876。此外，外部总线876通过接口877连接到各种组件。
[0246]
(输入设备878)
[0247]
例如，作为输入设备878，使用鼠标、键盘、触摸面板、按钮、开关、杆等。此外，作为输入设备878，可以使用能够使用红外线或其他无线电波发送控制信号的遥控器(以下称为遥控器)。此外，输入设备878包括诸如麦克风之类的语音输入设备。
[0248]
(输出设备879)
[0249]
输出设备879是能够视觉或听觉地通知用户所获取的信息的设备，例如，诸如阴极射线管(crt)、lcd或有机el之类的显示设备、诸如扬声器或耳机之类的音频输出设备、打印机、移动电话、传真机等。此外，根据本公开的输出设备879包括能够输出触觉刺激的各种振动设备。输出设备879的功能由输出设备300实现。
[0250]
(存储装置880)
[0251]
存储装置880是用于存储各种数据的设备。作为存储装置880，例如，使用诸如硬盘驱动器(hdd)、半导体存储设备、光存储设备、磁光存储设备等之类的磁存储设备。
[0252]
(驱动器881)
[0253]
驱动器881例如是读取记录在可移除记录介质901(例如磁盘、光盘、磁光盘或半导体存储器)上的信息或将信息写入可移除记录介质901的设备。
[0254]
(可移除记录介质901)
[0255]
可移除记录介质901例如是dvd介质、蓝光(注册商标)介质、hd dvd介质、各种半导体存储介质等。当然，可移除记录介质901可以是例如安装有非接触式ic芯片的ic卡、电子设备等。
[0256]
(连接端口882)
[0257]
连接端口882是用于连接外部连接设备902的端口，例如，通用串行总线(usb)端口、ieee 1394端口、小型计算机系统接口(scsi)、rs-232c端口、光音频端子等。
[0258]
(外部连接设备902)
[0259]
外部连接设备902例如是打印机、便携式音乐播放器、数字相机、数字摄像机、ic记录器等。
[0260]
(通信装置883)
[0261]
通信装置883是用于连接到网络的通信设备，并且例如是用于有线或无线lan、蓝牙(注册商标)或无线usb(wusb)的通信卡、用于光通信的路由器、用于非对称数字用户线(adsl)的路由器、用于各种通信的调制解调器等。通过使用通信装置883，实现了图像处理装置100与作为输出设备300的终端设备的无线通信。
[0262]
《5.总结》
[0263]
上文参考图1至28描述了本公开的实施例。如上所述，根据本公开实施例的图像处理装置100基于从拍摄图像20检测到的书写对象2的颜色信息来确定从书写内容图像22生成的输出图像25的颜色信息。作为侧视角，根据本公开实施例的图像处理装置100具有颜色强调抑制功能，该功能抑制作为书写内容图像22中包括的像素的书写内容像素中的具有与书写对象2的颜色附近对应的颜色的书写内容像素的饱和度或亮度的强调。因此，根据按照本公开实施例的图像处理装置100，可以抑制由于颜色强调导致的书写内容4的可见性的恶化。
[0264]
尽管已经参考附图详细描述了本公开的优选实施例，但本公开的技术范围不限于这些示例。显而易见，在本公开技术领域具有普通知识的人可以在权利要求书中描述的技术思想的范围内设想各种改变或修改，并且自然理解，这些也属于本公开的技术范围。
[0265]
此外，本说明书中描述的效果仅仅是说明性或示范性的，而不是限制性的。也就是说，与上述效果一起，或代替上述效果，根据本公开的技术可以表现出从本说明书的描述中对本领域技术人员显而易见的其他效果。
[0266]
此外，使用本说明书中的流程图和序列图描述的处理可以不一定按图示顺序执行。一些处理步骤可以并行执行。此外，可以采用额外的处理步骤，并且可以省略一些处理步骤。
[0267]
注意，本技术还可以具有以下配置。
[0268]
(1)一种图像处理装置，包括
[0269]
确定单元，被配置为基于检测到的书写对象的颜色信息，确定从作为书写在书写对象上的书写内容的图像的书写内容图像生成的输出图像的颜色信息。
[0270]
(2)根据(1)的图像处理装置，其中
[0271]
书写对象的颜色信息是通过对作为书写对象的图像的书写对象图像应用预定过滤器而从书写对象图像中移除了书写内容的书写对象图像中包括的像素的统计值。
[0272]
(3)根据(2)的图像处理装置，其中
[0273]
过滤器将要处理的像素的像素值替换为位于距要处理的像素预定范围内的周边像素中的具有最小值的亮度的周边像素的像素值。
[0274]
(4)根据(2)的图像处理装置，其中
[0275]
过滤器将要处理的像素的像素值替换为位于距要处理的像素预定范围内的周边像素中的具有众数值的亮度的周边像素的像素值的统计值。
[0276]
(5)根据(2)的图像处理装置，其中
[0277]
过滤器将要处理的像素的像素值替换为位于距要处理的像素预定范围内的周边像素中的具有最大值的亮度的周边像素的像素值。
[0278]
(6)根据(1)的图像处理装置，其中
[0279]
书写对象的颜色信息是被包括在作为书写对象的图像的书写对象图像中的像素中的除与书写内容图像相对应的像素以外的像素的统计值。
[0280]
(7)根据(1)至(6)中任一项所述的图像处理装置，其中
[0281]
针对书写对象的每个区域检测书写对象的颜色信息。
[0282]
(8)根据(1)的图像处理装置，其中
[0283]
基于包括作为书写内容图像中包括的像素的书写内容像素和书写内容像素的周边像素的局部区域的色调的统计值，对于每个书写内容像素检测书写对象的颜色信息。
[0284]
(9)根据(1)至(8)中任一项所述的图像处理装置，其中
[0285]
确定单元基于书写对象的颜色信息确定要乘以作为书写内容图像中包括的像素的书写内容像素的颜色强调系数的颜色强调抑制系数。
[0286]
(10)根据(9)的图像处理装置，其中
[0287]
确定单元将要乘以具有接近书写对象的色调统计值的色调的书写内容像素的颜色强调系数的颜色强调抑制系数设置为小于具有不接近书写对象的色调统计值的色调的书写内容像素的颜色强调抑制系数的值。
[0288]
(11)根据(10)的图像处理装置，其中
[0289]
确定单元针对每个书写内容像素根据函数确定与书写内容像素具有的色调相对应的颜色强调抑制系数，在所述函数中，与距书写对象的色调统计值预定范围内的色调相对应的颜色强调抑制系数的值被设置为0，并且与所述范围外的色调相对应的颜色强调抑制系数的值被设置为1。
[0290]
(12)根据(10)的图像处理装置，其中
[0291]
确定单元针对每个书写内容像素根据函数确定与书写内容像素具有的色调相对应的颜色强调抑制系数，在所述函数中，颜色强调抑制系数的值随着色调远离书写对象的色调的统计值而单调非线性地增大。
[0292]
(13)根据(10)的图像处理装置，其中
[0293]
确定单元针对每个书写内容像素根据函数确定与书写内容像素具有的色调相对应的颜色强调抑制系数，在所述函数中，与色调增加相对应的颜色强调抑制系数的增量和与色调减少相对应的颜色强调抑制系数的增量在从书写对象的色调的统计值起彼此远离的两个方向上彼此不同，所述两个方向包括色调增加的方向和色调减少的方向。
[0294]
(14)根据(13)的图像处理装置，其中
[0295]
根据视觉特性设置包括色调增加方向和色调减少方向的所述两个方向之间的颜色强调抑制系数的单调增加的增量的大小关系。
[0296]
(15)根据(14)的图像处理装置，其中
[0297]
在与包括色调增加方向和色调减少方向的所述两个方向中的包含对应于肤色的
色调的一个方向相对应的颜色强调抑制系数的单调增加的增量被设置为小于与另一方向相对应的颜色强调抑制系数的单调增加的增量。
[0298]
(16)根据(14)的图像处理装置，其中
[0299]
在与包括色调增加方向和色调减少方向的所述两个方向中的包含对应于蓝色的色调的一个方向相对应的颜色强调抑制系数的单调增加的增量被设置为大于与另一方向相对应的颜色强调抑制系数的单调增加的增量。
[0300]
(17)根据(1)至(16)中任一项所述的图像处理装置，其中
[0301]
确定单元基于书写对象的颜色信息确定叠加了书写内容图像的背景图像的颜色信息。
[0302]
(18)根据(17)的图像处理装置，其中
[0303]
确定单元将与书写对象的色调的统计值相对应的颜色确定为背景图像的颜色。
[0304]
(19)一种由计算机执行的图像处理方法，所述方法包括
[0305]
基于检测到的书写对象的颜色信息，确定从作为书写在书写对象上的书写内容的图像的书写内容图像生成的输出图像的颜色信息。
[0306]
(20)一种使计算机执行以下处理的程序：
[0307]
基于检测到的书写对象的颜色信息，确定从作为书写在书写对象上的书写内容的图像的书写内容图像生成的输出图像的颜色信息。
[0308]
参考标志列表
[0309]
100 图像处理装置
[0310]
11
ꢀꢀ
采集单元
[0311]
12
ꢀꢀ
提取单元
[0312]
13
ꢀꢀ
校正单元
[0313]
14
ꢀꢀ
输出单元
[0314]
15
ꢀꢀ
检测单元
[0315]
16
ꢀꢀ
确定单元
[0316]
200 输入设备
[0317]
300 输出设备
[0318]
400 测距设备