拍摄控制装置、拍摄控制方法及程序与流程

1.本发明涉及拍摄控制装置、拍摄控制方法以及程序。


背景技术：

2.在专利文献1中记载了如下技术：生成将与图像数据的动态范围对应的第一灰度变换曲线调整为第二灰度变换曲线，使用第二灰度变换曲线进行图像数据的灰度变换，该第二灰度变换曲线是图像数据的亮部和暗部的亮度变化在视觉上相等的曲线。在专利文献2中记载了一种信号变换装置，该信号变换装置具有：变换部，其包含具有混合对数型伽玛特性的控制函数；以及计算部，其计算参数值，该参数值用于调整对事先设定的亮部区域的输入信号进行变换的控制函数的系数。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2019-071568号公报；
6.专利文献2：日本特开2019-101241号公报。


技术实现要素：

7.hdr(high dynamic range，高动态范围)与sdr(standard dynamic range，标准动态范围)相比，过度曝光被抑制，画质高。在hlg(hybrid log gamma，混合对数型伽玛)方式的hdr中，期望进一步抑制过度曝光等，从而使得画质更高。
8.本发明是鉴于上述情况而完成的，提供更高画质的拍摄控制装置、拍摄控制方法以及程序。
9.为了解决上述课题并达成目的，本发明的拍摄控制装置包括：拍摄数据获取部，获取拍摄数据；框设定部，对所述拍摄数据获取部获取的所述拍摄数据，设定图像上的规定的框；亮度值获取部，获取构成所述框设定部设定的所述框的范围内的拍摄数据的像素的亮度值；代表值计算部，根据所述亮度值获取部获取的所述亮度值来计算代表值；以及变换部，对所述拍摄数据获取部获取的所述拍摄数据进行伽玛变换；所述变换部基于所述代表值计算部计算出的所述代表值设定亮度值的上限值来对所述拍摄数据进行归一化，并且通过与亮度值的上限值对应的混合对数型伽玛传递函数对进行归一化后的所述拍摄数据进行伽玛变换。
10.本发明的拍摄控制方法包括：拍摄数据获取步骤，获取拍摄数据；框设定步骤，对通过所述拍摄数据获取步骤获取的所述拍摄数据，设定图像上的规定的框；亮度值获取步骤，获取构成通过所述框设定步骤设定的所述框的范围内的拍摄数据的像素的亮度值；代表值计算步骤，根据通过所述亮度值获取步骤获取的所述亮度值来计算代表值；以及变换步骤，对通过所述拍摄数据获取步骤获取的所述拍摄数据进行伽玛变换；在所述变换步骤中，基于通过所述代表值计算步骤计算出的所述代表值设定亮度值的上限值来对所述拍摄数据进行归一化，并且通过混合对数型伽玛传递函数对归一化后的所述拍摄数据进行伽玛
变换。
11.根据本发明的实施例，可以实现更高画质。
附图说明
12.图1是示出本实施方式中的车辆用记录装置的构成示例的框图。
13.图2是示出本实施方式中的拍摄数据的纵横划分的网格组的说明图。
14.图3是示出本实施方式中的通常时的拍摄数据中设定的框的一例的说明图。
15.图4是示出本实施方式中的白天的拍摄数据中设定的框的一例的说明图。
16.图5是示出本实施方式中的夜间的拍摄数据中设定的框的一例的说明图。
17.图6是示出本实施方式中的整体较暗的拍摄数据中设定的框的一例的说明图。
18.图7是说明峰值亮度为12的情况下的hlg曲线的图。
19.图8是说明峰值亮度为48的情况下的hlg曲线的图。
20.图9是示出归一化后的场景亮度与归一化后的电信号的信号电平的相关关系的图。
21.图10是示出本实施方式的拍摄控制装置中的处理流程的流程图。
具体实施方式
22.在下文中，将参照附图详细描述根据本发明的拍摄控制设备、拍摄控制方法和程序的实施例。另外，本发明并不限于以下的实施方式。拍摄系统使用与拍摄数据的亮度值相关的代表值所对应的hlg曲线变换为影像信号并输出。在以下的实施方式中，作为拍摄系统的一例，对车辆用记录装置10进行说明。
23.(实施方式)
24.(车辆用记录装置10的构成)
25.图1为示出本实施方式中的车辆用记录装置10的构成示例的框图。车辆用记录装置10例如是所谓的行车记录仪。车辆用记录装置10除了载置于车辆的装置之外，也可以是可移动式的能够在车辆中利用的装置。车辆用记录装置10包括相机(拍摄部)20和拍摄控制装置40。
26.相机20被配置为：拍摄车辆的行进方向或与行进方向相反的方向中的至少任一个。在本实施方式中，将相机20作为拍摄车辆的行进方向的相机进行说明。在本实施方式中，相机20使用朝向车辆的前方的一个方向的单个相机进行说明，但也可以是多个相机组。相机20例如配置在车辆的车厢内前方中的能够拍摄车辆的前方的位置。在本实施方式中，相机20在车辆的辅助电源接通的期间始终拍摄影像。相机20将拍摄到的拍摄数据(图像数据)输出到拍摄控制装置40的拍摄数据获取部41。
27.(拍摄控制装置40的构成)
28.拍摄控制装置40例如是由cpu(central processing unit，中央处理单元)等构成的运算处理装置(控制装置)。拍摄控制装置40将所存储的程序加载到存储器中，执行程序中包含的命令。在拍摄控制装置40中包含未图示的内部存储器，内部存储器用于拍摄控制装置40中的数据的暂时存储等。拍摄控制装置40包括拍摄数据获取部41、框设定部42、亮度值获取部43、代表值计算部44以及变换部45。
29.拍摄数据获取部41获取对车辆的周边进行拍摄而得到的拍摄数据。更具体而言，拍摄数据获取部41获取相机20输出的拍摄数据。在此，拍摄数据是指在时间上依次输出由规定数量的水平和垂直方向的像素构成的图像的数据。
30.框设定部42在拍摄数据获取部41获取的对车辆的周边进行拍摄而得到的拍摄数据中，设定用于选择并提取图像(画面)上的一部分像素的规定的框(获取范围)，以使其适合成为获取亮度值的范围。框的位置、形状以及大小被设定为适合作为在拍摄数据中获取亮度值的范围。更具体而言，框设定部42在构成来自相机20的拍摄数据的图像上，设定规定的位置、形状以及大小的框，该相机20被配置为拍摄车辆的行进方向或与行进方向相反的方向中的至少任一个。换句话说，设置用于选择并提取图像的像素中的一部分像素的框。框的位置、形状以及大小被设定为适合作为在拍摄数据中获取亮度值的范围。在本实施方式中，将框作为在水平和垂直方向上呈矩形的长方形来进行说明，但并不限定于此，也可以是圆形或椭圆形，还可以是将它们组合而成的形状。在本实施方式中，对设定1个框的情况进行说明，但并不限定于此，也可以设定多个框。
31.框设定部42所设定的框也可以包括拍摄数据中的拍摄了车辆的行进方向或与行进方向相反的方向中的至少任一方向的路面的范围。框以包含拍摄路面的范围的方式被设定图像上的位置、形状以及大小。在该情况下，框设定部42只要在包含比拍摄数据的中央部靠下侧的范围内设定框即可。在拍摄数据中拍摄路面的范围所占的面积为规定比例以上，并且路面的色彩的变化少，因此，适合作为设定获取亮度值的框的范围。
32.优选的是，框设定部42所设定的框除了路面以外，还包含拍摄了例如天空、大海、河流那样的周边景色的范围。框以除了路面以外还包含周边的景色的方式被设定图像上的位置、形状以及大小。通过包含周边的景色，从而包含路面以外的部分的亮度值。由此，获取更适当的亮度值。
33.框设定部42也可以具有图像识别部421。图像识别部421为了设定框的位置、形状以及大小而识别拍摄数据。更具体而言，图像识别部421例如识别拍摄数据中的车辆的行进方向或与行进方向相反的方向中的至少任一方向的路面。图像识别部421也可以对拍摄数据进行图像处理，例如将在比拍摄数据的中央部靠下侧的位置色彩为黑色或灰色的部分识别为路面。图像识别部421也可以将拍摄数据中的图像上的规定的范围、例如比中央部靠下侧的部分识别为路面。
34.图像识别部421例如也可以对拍摄数据进行图像处理，识别太阳的有无以及太阳的位置。图像识别部421也可以对拍摄数据进行图像处理，在拍摄数据整体明亮、在比中央部靠上侧的位置局部地存在比周边明亮的部分时，识别为太阳。并且，图像识别部421也可以根据识别出的太阳的有无以及太阳的位置，识别拍摄时的时间段以及天气。
35.图像识别部421例如也可以对拍摄数据进行图像处理，识别由本车辆或其他车辆的前照灯照射的部分。图像识别部421也可以对拍摄数据进行图像处理，在拍摄数据整体较暗、仅在比中央部靠下侧的位置存在比周边明亮的部分时，识别为被前照灯照射的部分。图像识别部421也可以在保存于拍摄数据的拍摄时刻为夜间、且仅在比中央部靠下侧的位置存在比周边亮的部分时，识别为被前照灯照射的部分。
36.图像识别部421例如也可以对拍摄数据进行图像处理来识别天空。图像识别部421也可以对拍摄数据进行图像处理，例如将比拍摄数据的中央部靠上侧的色彩为蓝色、白色
或灰色的部分识别为天空。图像识别部421也可以将拍摄数据中的规定的范围、例如比中央部靠上侧的部分识别为天空。此外，例如，图像识别部421可以基于存储在拍摄数据中的拍摄时刻的信息来识别夜空。
37.图像识别部421例如也可以对拍摄数据进行图像处理来识别大海及河流。图像识别部421也可以对拍摄数据进行图像处理，例如将在比拍摄数据的中央部靠下侧的位置色彩为蓝色的部分识别为大海或河流。
38.图像识别部421例如也可以对拍摄数据进行图像处理，识别隧道等周边的景色。
39.框设定部42也可以基于图像识别部421的识别结果，在拍摄数据的图像上设定规定的位置、形状以及大小的框。
40.使用图2至图6，对由框设定部21设定的框进行说明。图2是示出本实施方式中的拍摄数据的纵横划分的网格组的说明图。如图2所示，框设定部42也可以将拍摄数据作为一例划分为纵6
×
横9的网格组，以设定任意的位置、形状以及大小的框。
41.图3是示出本实施方式的通常时的拍摄数据中设定的框的一例的说明图。通常时是指例如晴天的白天。如图3所示，框设定部42在通常时，在拍摄数据中，以比其他情况更多地包含路面的方式在比画面中央部靠下侧的范围设定框。框相对于拍摄数据例如设定为上下50％、左右60％左右的大小的长方形状。
42.图4是示出本实施方式的白天的拍摄数据中设定的框的一例的说明图。白天根据时间段、天气或拍摄方向，有时会映入直射日光等强烈的光，在拍摄数据中产生局部明亮的部分。局部明亮是指例如亮度的最大值的80％(例如如果是8比特，则是最大值254中的80％即205)以上的值的像素。框设定部42基于图像识别部421的识别结果，避开拍摄数据的局部明亮的部分来设定框的位置。框设定部42在框内有明亮的像素时，使框的位置朝向与框内的明亮的像素的位置相反的方向移动。框设定部42例如将拍摄数据上下左右分割为4份，在右上有明亮的像素时，使框的位置向左下移动。框设定部42也可以避开拍摄数据的局部明亮的部分而改变框的大小来进行设定。框设定部42在无法避开明亮的像素而移动框的位置的情况下，也可以缩小框的大小。
43.图5是示出本实施方式的夜间的拍摄数据中设定的框的一例的说明图。夜间由于本车辆的前照灯而行进方向变亮，前照灯的光未到达的周边的暗的部分变暗。在框设定部42以包含被前照灯照射的范围的方式设定框的情况下，前照灯的光未到达的周边的暗的部分变暗。框设定部42也可以基于图像识别部421的识别结果，以包含周边的暗的部分或夜空的部分的方式设定框的位置。框设定部42也可以基于图像识别部421的识别结果，以包含周边的暗的部分或夜空的部分的方式，改变框的大小来进行设定。拍摄数据为夜间能够通过拍摄时刻、由图像识别部421识别前照灯的开/关来判定。
44.图6是示出本实施方式的整体较暗的拍摄数据中设定的框的一例的说明图。例如在如隧道等那样整体较暗的情况下，为了从较大的范围获取亮度值，也可以扩大框的大小。拍摄数据整体较暗的情况能够根据框内的像素的亮度平均值、具有规定值以上或规定值以下的亮度值的像素的数量等来判断。
45.亮度值获取部43获取框的范围内的拍摄数据的亮度值。更具体而言，亮度值获取部43获取包含在框的范围内的每个像素的亮度值。
46.代表值计算部44根据由亮度值获取部43获取的亮度值来计算代表值。例如，代表
值是从框的范围内的拍摄数据获取的亮度值的中央值。代表值不限于亮度值的中央值，也可以是亮度值的最频值或亮度值的各种平均值等。
47.变换部45对拍摄数据获取部41获取的拍摄数据进行伽玛变换。更具体而言，变换部45基于代表值计算部44计算出的代表值，设定作为亮度值的上限值的峰值亮度，对拍摄数据进行归一化，通过与峰值亮度对应的混合对数型伽玛传递函数对归一化后的拍摄数据进行伽玛变换。例如代表值越小，峰值亮度可以设定得越大。
48.在本实施方式中，峰值亮度被设定在12以上且48以下的范围内。峰值亮度越大，hdr的动态范围越大。
49.使用图7～图9，对表示与峰值亮度对应的混合对数型伽玛传递函数的hlg曲线进行说明。图7是说明峰值亮度为12时的hlg曲线的图。在图7中，横轴表示以sdr中的基准白色的亮度水平成为1的方式归一化后的场景亮度e，纵轴表示与横轴对应的电信号的信号电平e
′
。混合对数型伽玛传递函数被调整为：sdr中的白色为基准的亮度为1，此时的hdr的信号为0.5。
50.图8是说明峰值亮度为48时的hlg曲线的图。在图8中也与图7同样地，横轴表示以sdr中的基准白色的亮度水平成为1的方式归一化后的场景亮度e，纵轴表示与横轴对应的电信号的信号电平e
′
。
51.图9是示出归一化后的场景亮度e与归一化后的电信号的信号电平e
′
的相关关系的图。在图9中，横轴表示e/maxe，纵轴表示e
′
/maxe
′
。在图9中，图示了将图7、图8的横轴和纵轴归一化为0以上且1以下的范围的hlg曲线。虽然在图9中未图示，但对于峰值亮度为12以上且48以下的各值，同样地得到归一化后的hlg曲线。这样，变换部45在伽玛变换中使用的hlg曲线根据峰值亮度而描绘不同的曲线。
52.变换部45使用归一化后的hlg曲线中的、与代表值计算部44计算出的代表值对应的hlg曲线，将拍摄数据变换为图像信号并输出。更具体而言，变换部45通过式1所示的混合对数型伽玛传递函数将归一化后的图像信号变换为图像信号。e是场景亮度，以基准白色水平进行了归一化。e
′
是信号电平。γ是与基准白色水平对应的信号电平，γ＝0.5。a、b、c是常数，按每个hlg曲线确定。例如，a＝0.17883277，b＝0.28466892，c＝0.55991073。
53.(式1)
[0054][0055]
(拍摄控制装置40中的信息处理)
[0056]
接着，使用图10，对拍摄控制装置40中的处理的流程进行说明。图10是示出本实施方式的拍摄控制装置40中的处理流程的流程图。在本实施方式中，在车辆用记录装置10处于起动状态时，相机20始终进行拍摄，始终执行图10所示的处理。图10所示的处理可以按每1帧执行，也可以按每几帧或以规定时间间隔等执行。
[0057]
首先，拍摄控制装置40通过拍摄数据获取部41获取相机20输出的拍摄数据(步骤s1)。拍摄控制装置40在步骤s1之后，处理转移到步骤s2。
[0058]
在步骤s1的处理后，拍摄控制装置40通过框设定部42对拍摄数据设定规定的框(步骤s2)。拍摄控制装置40通过框设定部42在来自相机20的拍摄数据中设定规定的位置、形状以及大小的框。框的位置、形状以及大小被设定为适合作为在拍摄数据中获取亮度值
的范围。拍摄控制装置40在步骤s2之后，处理转移到步骤s3。
[0059]
在步骤s2的处理后，拍摄控制装置40通过亮度值获取部43获取框的范围内的拍摄数据的亮度值(步骤s3)。拍摄控制装置40在步骤s3之后，处理转移到步骤s4。
[0060]
在步骤s3的处理后，拍摄控制装置40通过代表值计算部44，根据亮度值获取部43获取的亮度值计算代表值(步骤s4)。拍摄控制装置40通过代表值计算部44，例如将从框的范围内的拍摄数据获取的亮度值的亮度值的中央值计算为代表值。拍摄控制装置40在步骤s4之后，处理转移到步骤s5。
[0061]
在步骤s4的处理后，拍摄控制装置40通过变换部45，基于代表值设定亮度的上限值而将拍摄数据归一化(步骤s5)。拍摄控制装置40在步骤s5之后，处理转移到步骤s6。
[0062]
在步骤s5的处理后，拍摄控制装置40通过变换部45，使用与在步骤s5中设定的峰值亮度对应的混合对数型伽玛传递函数，对归一化后的拍摄数据进行伽玛变换并输出(步骤s6)。拍摄控制装置40在步骤s6之后结束处理。
[0063]
(效果)
[0064]
如上所述，在本实施方式中，基于与拍摄数据的亮度值相关的代表值，使用与拍摄数据的峰值亮度相应的混合对数型伽玛传递函数，对拍摄数据进行伽玛变换并输出图像信号。根据本实施方式，能够使用与拍摄数据对应的混合对数型伽玛传递函数来变换拍摄数据。根据本实施方式，能够与拍摄数据相匹配地设定动态范围。根据本实施方式，与以往的hdr图像相比，能够进一步抑制hlg方式的hdr图像中的过度曝光。根据本实施方式，能够使输出数据成为高画质。
[0065]
根据本实施方式，能够基于图像识别部421的识别结果，设定适合于每个拍摄数据的框。根据本实施方式，能够更恰当地计算代表值，因此能够使输出数据成为高画质。
[0066]
在本实施方式中，对来自相机20的拍摄数据中的任一者，设定规定的位置、形状以及大小的框，该相机20被配置为对车辆的行进方向或与行进方向相反的方向中的至少任一个进行拍摄。根据本实施方式，能够识别来自相机20的拍摄数据，对拍摄数据设定优选的框，该相机20被配置为对车辆的行进方向或与行进方向相反的方向中的至少任一个进行拍摄。
[0067]
在本实施方式中，框设定部42所设定的框包括拍摄数据中的车辆的行进方向或与行进方向相反的方向中的至少任一方向的路面。根据本实施方式，能够根据拍摄数据来识别路面，并在拍摄数据中设定包含路面的框。根据本实施方式，能够输出适于行车记录仪的高画质的输出数据。
[0068]
在本实施方式中，根据拍摄数据，识别太阳的有无以及太阳的位置、被前照灯照射的部分、天空、大海以及河流、周边的景色来设定框。根据本实施方式，能够根据拍摄数据来设定恰当的框。根据本实施方式，能够根据拍摄数据输出高画质的输出数据。
[0069]
(其他)
[0070]
图示的车辆用记录装置10的各构成要素是功能概念性的要素，物理上也可以不一定如图示那样构成。即，各装置的具体方式不限于图示的方式，也可以根据各装置实施的处理负担、使用状况等，将其全部或一部分以任意的单位在功能上或物理上分散或合并。
[0071]
车辆用记录装置10的构成例如作为软件，通过在车辆用记录装置10内使车辆用记录装置10动作的方法、或者被加载到存储器并使车辆用记录装置10动作的计算机所执行的
程序等来实现。在上述实施方式中，作为通过这些硬件或软件的协作而实现的功能块进行了说明。即，关于这些功能块，能够仅通过硬件、仅通过软件、或者通过它们的组合以各种形式实现。
[0072]
上述记载的构成要素包括本领域技术人员能够容易想到的要素、实质上相同的要素。并且，上述记载的构成能够适当组合。另外，在不脱离本发明的主旨的范围内能够进行构成的各种省略、置换或变更。
[0073]
在上述中，作为拍摄系统，说明了在行车记录仪等车辆用记录装置10中应用本发明的例子，但并不限定于此。拍摄系统还可以应用于例如摄像机、智能手机、广播器材等。
[0074]
根据本发明的实施例的拍摄控制设备、拍摄控制方法和程序可以用于例如行车记录仪、摄像机、智能手机或广播器材。
[0075]
符号说明
[0076]
10
ꢀꢀ
车辆记录装置(拍摄系统)
[0077]
20
ꢀꢀ
相机(拍摄部)
[0078]
40
ꢀꢀ
拍摄控制装置
[0079]
41
ꢀꢀ
拍摄数据获取部
[0080]
42
ꢀꢀ
框设定部
[0081]
421 图像识别部
[0082]
43
ꢀꢀ
亮度值获取部
[0083]
44
ꢀꢀ
代表值计算部
[0084]
45
ꢀꢀ
变换部