传感器装置和信号处理方法与流程

1.本技术涉及一种传感器装置、一种参数设置方法和一种信号处理方法，具体涉及具有处理由阵列传感器获得的图像信号的功能的传感器装置的技术领域。


背景技术：

2.为了使用包括通常被称为成像元件的阵列的阵列传感器实现对象检测，已知使用阵列传感器捕获图像，将捕获图像的图像信号传输到阵列传感器外部的处理器，并在外部处理器侧执行对象检测计算处理。
3.下面识别的非专利文献1公开了一种与用于从图像进行面部识别的面部识别处理相关的技术。
4.此外，下面指出的专利文献1公开了一种技术，该技术包括在由图像传感器捕获的图像的区域内设置关注区域。
5.此外，下面确定的专利文献2公开了一种根据监控区域的移动来改变操作频率的技术。
6.现有技术文献
7.专利文献
8.专利文献1：jp 2014-225868a
9.专利文献2：jp 2007-318262a
10.非专利文献
11.非专利文献1：yoshihiko kawai,face recognition technique for tv program video,nhk science&technology research laboratories/no.164/2017.8p23-p30


技术实现要素：

12.本发明要解决的技术问题
13.已经调整了包括图像传感器的阵列传感器的图像质量，以便产生观众所看到的美丽图片。然而，当与像图像识别的情况一样，进行确定的主体由计算机构成时，出现了这样的问题：即使在从观看者的角度来看以漂亮的图像质量捕获的图像的情况下，成像目标的类别(分类或流派)识别的准确度也会降低。
14.在这种情况下，考虑到例如使用图像识别的对象检测的处理，优选地，实现适合于对象检测目的的图像处理，而不是创建美丽的图片。
15.此外，优选地，在实现对象检测等目的的同时减小处理、存储和传送的负荷。
16.因此，本公开提出了一种技术，该技术能够通过图像识别或其他目的获得适合于对象检测目的的图像信号，并且还能够减小处理负荷等。
17.问题的解决方案
18.根据第一公开技术的传感器装置涉及一种传感器装置，该传感器装置包括：阵列传感器，包括一维或二维布置的多个可见光或不可见光成像元件；图像处理单元，对通过使
用阵列传感器的图像捕获而获得的图像信号执行图像处理；以及阈值设置单元，针对与由阵列传感器执行的图像捕获相关联的图像捕获处理、或由图像处理单元执行的图像处理所使用的所有或一些参数，来设置用于参数设置的阈值，以实现使用基于阈值设置的参数的处理。
19.阈值被设置为基于该阈值来确定参数。
20.与图像捕获处理相关联的参数的示例包括阵列传感器的曝光时间、来自阵列传感器的读出定时和帧速率。
21.与图像处理相关的参数的示例包括图像的分辨率和颜色等级的数量。
22.根据上述第一公开技术的传感器装置可以被配置为使阈值设置单元设置与从图像信号检测到的对象的类别相对应的阈值。
23.具体地，图像处理单元对由阵列传感器获得的图像信号执行图像处理。在这种情况下，用于设置图像处理参数的阈值基于图像信号中检测到的对象的类别来设置。
24.注意，从图像信号中检测到的对象是指出于从图像中识别的目的而可能成为检测目标的对象。任何对象都可以被指定为本文所指的检测目标的对象。例如，目标对象可以是任何对象，例如，人、动物、移动体(例如，汽车、自行车和飞机)、自然对象(例如，蔬菜和植物)、工业产品/零件、建筑物、机构、山、海、河、星星、太阳和云。
25.类别是指使用图像识别来识别的对象的分类。例如，类别将待检测的对象分为几类，例如，“人”、“车”、“飞机”、“船”、“卡车”、“标志”、“鸟”、“猫”、“狗”、“鹿”、“青蛙”和“马”。
26.随后，根据例如“人”、“车”和“标志”的类别来设置被认为合适的阈值。
27.根据上述第一公开技术的传感器装置可以被配置为使得阈值设置单元基于对图像信号执行的学习处理来设置阈值。
28.例如，通过在传感器装置侧执行作为局部学习的学习处理来获得阈值。
29.根据上述第一公开技术的传感器装置可以被配置为使阈值设置单元设置阈值，使得获得预定比率，作为对象检测的置信度。
30.例如，在从传感器装置输出的图像信号中检测到对象(例如，检测到人)的情况下，阈值被设置为满足该检测的检测准确度所需的水平。
31.根据上述第一公开技术的传感器装置可以被配置为使阈值设置单元设置在具有与图像处理单元的外壳相同的外壳的装置中。
32.例如，阈值设置单元设置在用作传感器装置的单元中，或者设置在包括传感器装置的终端设备或成像设备中。
33.根据第二公开技术的传感器装置涉及一种传感器装置，包括：阵列传感器，包括一维或二维布置的多个检测元件；信号处理单元，获取由阵列传感器获得的检测信号，并对该检测信号执行信号处理；以及计算单元，从由阵列传感器获得的检测信号中检测对象，并且向信号处理单元给出基于对象的检测而生成的区域信息的指令，作为与从阵列传感器获得的检测信号的获取相关联、或与检测信号的信号处理相关联的区域信息。计算单元基于与先前区域信息相关联的信息来设置从阵列传感器获取的检测信号的有源区域，并且使用有源区域的检测信号来检测对象。
34.因此，用于生成区域信息的对象检测是基于与被指定为有源区域的区域而不是阵列传感器的整个区域相关联的信息来实现的。
35.注意，与区域信息相关联的信息是指与基于其生成区域信息的对象检测区域相关联的信息、或者区域信息本身。
36.根据上述第二公开技术的传感器装置可以被配置为使计算单元设置有源区域，使得在先前的预定周期中生成的多条区域信息均包含通过基于所生成的相应区域信息的对象检测而检测的检测区域。
37.换言之，在为生成区域信息而执行对象检测的情况下，有源区域被定义为检测目标对象出现的区域。
38.根据上述第二公开技术的传感器装置可以被配置为使得信号处理单元包括从阵列传感器的检测元件选择性地获取检测信号的获取单元，并且获取单元获取基于从计算单元接收的区域信息选择的检测元件的检测信号，作为一帧检测信号。在获取单元已经基于区域信息选择了检测元件的状态下，在通过对象检测从阵列传感器获取的检测信号中没有检测到目标对象的情况下，计算单元指示获取单元在后续帧中从阵列传感器获取有源区域的检测信号。
39.具体地，当没有从仅获取了与一些检测元件相关联的信息的帧中检测到目标对象时，计算单元使用获取单元将检测信号获取恢复到从有源区域获取检测信号的状态。
40.根据上述第二公开技术的传感器装置可以被配置为使得在从阵列传感器获得的检测信号中被指定为关键帧的目标帧中从有源区域的检测信号中检测对象，并且基于对象的检测来生成区域信息。
41.具体地，计算单元根据预定选择算法选择与关键帧对应的帧，以执行有源区域设置的处理。
42.根据上述第二公开技术的传感器装置可以被配置为使计算单元识别从阵列传感器获得的检测信号中检测到的对象的类别，并且使用模板生成与对象相对应的区域信息，该区域信息指示与所识别的类别相对应的检测信号的获取区域，并且计算单元包括阈值设置单元，该阈值设置单元设置用于由信号处理单元执行的信号处理或使用阵列传感器获取检测信号的所有或一些参数的阈值，并且基于该阈值设置用于对由模板指示的获取区域执行的处理的参数。
43.阈值被设置为基于阈值来改变对由模板指示的获取区域执行的处理的参数。
44.根据第三公开技术的传感器装置包括：阵列传感器，包括一维或二维布置的多个检测元件；信号处理单元，获取由阵列传感器获得的检测信号，并对检测信号执行信号处理；以及阈值设置单元，根据针对从由阵列传感器获得的检测信号中检测到的对象而识别出的类别，来设置帧速率的阈值，使得根据针对从由阵列传感器获得的检测信号中检测到的对象而识别出的类别，来执行使用基于阈值而设置的帧速率的处理。
45.对应于该类别的阈值被设置为基于该阈值改变帧速率。
46.根据上述第三公开技术的传感器装置可以被配置为使得阈值设置单元将阈值设置为保持从图像跟踪对象的帧速率。
47.根据从传感器装置输出的图像信号，在对象检测中，可以保持对象跟踪的帧速率对于每个类别不同。因此，根据类别保持对象跟踪。
48.根据上述第三公开技术的传感器装置可以被配置为根据对象检测的结果，基于第一模式或第二模式的帧速率的设置值来执行控制，并且由阈值设置单元设置的帧速率的设
置值用作第一模式和第二模式中的一者的帧速率的设置值。
49.例如，阵列传感器的读出间隔等的值被存储为设置值，以给出帧速率的指令。在一种模式中，帧速率是根据阈值设置的速率。
50.根据上述第一、第二和第三公开技术的传感器装置可以包括输出单元，该输出单元将经过图像处理单元的图像处理的图像信号输出到外部装置。
51.具体地，使用基于类别识别选择的参数进行图像处理的图像信号被发送并输出到外部装置。例如，假设外部装置是检测对象的外部处理器、或者是云中的处理器。
52.此外，根据上述第一、第二和第三公开技术的传感器装置可以被配置为使得输出单元还发送与要输出的图像信号的类别标识相关联的信息。
53.与类别标识相关联的信息(例如，所识别的类别和对象的数量(对象的数量))与输出图像信号一起输出。
54.此外，根据上述第一、第二和第三公开技术的传感器装置可以被配置为使得图像处理单元执行颜色校正、伽马校正、颜色灰度处理、增益处理、轮廓强调处理、数据压缩处理、帧速率转换、分辨率转换、纵横比转换、对比度调整处理、清晰度调整处理、灰度级调整处理或采样率改变处理中的至少一个，作为图像信号的图像处理。
55.具体地，图像处理单元改变颜色、亮度、色调、清晰度、数据大小(分辨率或帧速率)等。
56.根据上述第一公开技术的图像处理方法涉及一种由传感器装置执行的信号处理方法，包括：阵列传感器，包括一维或二维布置的多个可见光或不可见光成像元件；以及图像处理单元，对通过使用阵列传感器的图像捕获获得的图像信号执行图像处理。信号处理方法包括：针对与由阵列传感器执行的图像捕获相关联的图像捕获处理、或由图像处理单元执行的图像处理所使用的所有或一些参数，来设置用于参数设置的阈值，以实现使用基于阈值而改变的参数的处理。
57.例如，可以通过使用阈值设置(改变)参数来输出指示用于对象检测等的处理的最小必要质量等的图像信号。
58.根据上述第二公开技术的图像处理方法涉及一种由传感器装置执行的信号处理方法，包括：阵列传感器，包括一维或二维布置的多个检测元件；以及信号处理单元，获取由阵列传感器获得的检测信号，并对检测信号执行信号处理。信号处理方法包括：从由阵列传感器获得的检测信号中检测对象，并且向信号处理单元给出基于对对象的检测生成区域信息的指令，作为与从阵列传感器获得检测信号的获取相关联、或者与对检测信号的信号处理相关联的区域信息；执行基于先前的区域信息来设置从阵列传感器获取的检测信号的有源区域的处理；并且使用有源区域的检测信号作为由阵列传感器获得的检测信号，来检测对象。
59.在这种情况下，不需要对图像的整个帧执行用于设置区域信息的对象检测处理。
60.根据第三公开技术的图像处理方法涉及一种由传感器装置执行的信号处理方法，包括：阵列传感器，包括一维或二维布置的多个检测元件；以及信号处理单元，获取由阵列传感器获得的检测信号，并对检测信号执行信号处理。信号处理方法包括：根据针对从由阵列传感器获得的检测信号中检测到的对象而识别出的类别，来设置帧速率的阈值，使得根据针对从由阵列传感器获得的检测信号中检测到的对象而识别出的类别，来执行使用基于
阈值而设置的帧速率的处理。
61.通过使用阈值设置(改变)帧速率来应用适合于检测目标类别的帧速率。
附图说明
62.图1是适用于本技术的第一至第五和第七实施例的传感器装置的框图；
63.图2是描绘图像识别准确度与图像质量之间的关系的说明图；
64.图3是根据第一实施例的分类图像适配处理的概要的说明图；
65.图4是根据第一实施例的图像质量参数集的说明图；
66.图5是根据第一实施例的分类图像适配处理的流程图；
67.图6是根据第一实施例的对象检测处理的说明图；
68.图7是根据第二实施例的区域裁剪框架的说明图；
69.图8是根据第二实施例的区域裁剪分析的概要的说明图；
70.图9是根据第二实施例的区域裁剪分析的流程图；
71.图10是根据第二实施例的从边界框计算关注区域(roi)的说明图；
72.图11是根据第二实施例的roi的另一示例的说明图；
73.图12是根据第三实施例的高级roi的说明图；
74.图13是根据第三实施例的高级roi的说明图；
75.图14是根据第三实施例的使用高级roi的区域裁剪分析的流程图；
76.图15是根据第四实施例的智能压缩的说明图；
77.图16是根据第四实施例的智能压缩的流程图；
78.图17是根据第五实施例的主动采样的说明图；
79.图18是根据第五实施例的主动采样的流程图；
80.图19是根据第六实施例的图像适配处理的阈值设置的说明图；
81.图20是根据第六实施例的根据类别的阈值设置的说明图；
82.图21是适用于第六至第九实施例的传感器装置的框图；
83.图22是根据第六实施例的根据阈值进行参数设置的处理的流程图；
84.图23是根据第六实施例的阈值设置的说明图；
85.图24是根据第六实施例的阈值计算的流程图；
86.图25是适用于第六至第九实施例的另一配置的框图；
87.图26是适用于第六至第九实施例的又一配置的框图；
88.图27是根据第七实施例的有源区域裁剪的说明图；
89.图28是根据第七实施例的有源区域裁剪的另一说明图；
90.图29是根据第七实施例的有源区域裁剪的流程图；
91.图30是根据第七实施例的关键帧有效面积计算的流程图；
92.图31是根据第八实施例的高级roi(高级roi：aroi)的阈值设置的说明图；
93.图32是根据第八实施例的使用高级roi的区域裁剪分析的流程图；
94.图33是根据第九实施例的主动采样的说明图；
95.图34是根据第九实施例的主动采样的另一说明图；
96.图35是根据第九实施例的主动采样的流程图；
97.图36是描绘车辆控制系统的示意性配置的示例的框图；
98.图37是帮助解释车外信息检测部和成像部的安装位置的示例的图。
具体实施方式
99.下文将按照以下顺序描述实施例。
100.《1.传感器装置的配置》
101.《2.第一实施例：分类图像适配》
102.《3.第二实施例：区域裁剪》
103.《4.第三个实施例：使用aroi的区域裁剪》
104.《5.第四实施例：智能压缩》
105.《6.第五实施例：主动采样》
106.《7.第六实施例：通过阈值设置的图像适配》
107.《8.第七实施例：有源区域裁剪》
108.《9.第八实施例：使用阈值设置和aroi的区域裁剪》
109.《10.第九实施例：通过阈值设置进行主动采样》
110.《11.移动体的应用示例》
111.《12.总结和修改》
112.注意，在以下实施例中通过示例描述传感器装置1，该传感器装置1具有成像元件阵列并且用作图像传感器，用于输出图像信号，作为检测信号。具体地，假设实施例的传感器装置1具有通过图像分析实现的对象检测功能，并且构成被称为智能阵列传感器的装置。
113.《1.传感器装置的配置》
114.图1描绘了传感器装置1的配置示例。注意，图1还描绘了处理器11和外部传感器12，处理器和外部传感器中的每个都用作与传感器装置1建立数据通信的外部装置。假设处理器11是可通信地连接到传感器装置1的任何类型的处理器。
115.传感器装置1包括作为硬件的图像传感器装置、例如动态随机存取存储器(dram)的存储区域以及构成人工智能(ai)功能处理器的组成部分。在这种情况下，这三个部分形成例如三层层压结构的结构，一层具有通常被称为水平安装的配置，二层(例如，包含dram和ai功能处理器的同一层)层压结构构成集成装置。
116.如图1所示，传感器装置1包括阵列传感器2、模数转换器(adc)/像素选择器3、缓冲器4、逻辑单元5、存储器6、接口单元7和计算单元8。
117.adc/像素选择器3、缓冲器4和逻辑单元5构成信号处理单元30的示例，该信号处理单元执行信号处理，以将有阵列传感器2获得的检测信号输出到外部。
118.阵列传感器2包括构成检测元件的可见光或非可见光成像元件。多个成像元件一维或二维布置。例如，阵列传感器2包括大量在行方向和列方向上二维布置的成像元件，并且被配置为通过由每个成像元件执行的光电转换来输出二维图像信号。
119.虽然在以下描述中假设阵列传感器2作为图像传感器输出二维图像信号，但是包括在传感器装置1中的阵列传感器2可以具有其他配置，例如，包括声波检测元件阵列的传感器阵列模块以及包括触觉信息检测元件阵列的传感器阵列模块。
120.adc/像素选择器3将由阵列传感器2光电转换的电信号转换成数字数据，并以数字
数据的形式输出图像信号。
121.此外，具有选择阵列传感器2的像素(成像元件)的功能的adc/像素选择器3也能够仅读取由阵列传感器2选择的像素的光电转换信号，将读取的信号转换成数字数据，并输出转换后的信号。
122.因此，adc/像素选择器3通常输出构成一帧图像的所有有效像素的光电转换信号的数字数据，但是也能够仅输出所选像素的光电转换信号的数字数据。
123.adc/像素选择器3以帧为单位读取图像信号。每一帧的图像信号暂时存储在缓冲器4中，并且在适当的时间被读取并提供给由逻辑单元5执行的处理。
124.逻辑单元5对每帧的输入图像信号执行各种类型的必要信号处理(图像处理)。
125.例如，假设逻辑单元5通过执行例如颜色校正、伽马校正、颜色灰度处理、增益处理、轮廓强调处理、对比度调整处理、清晰度调整处理和灰度级调整处理的处理来实现图像质量调整。
126.还假设逻辑单元5执行用于改变数据大小的处理，例如，数据压缩处理、分辨率转换、帧速率转换、纵横比转换和采样率改变。
127.针对由逻辑单元5执行的每个处理设置参数，以便用于相应的处理。例如，设置值包括颜色和亮度的校正系数、增益值、压缩率、帧速率、分辨率、处理目标区域和采样率。逻辑单元5使用针对相应处理设置的参数来执行必要的处理。根据本实施例，在一些情况下，计算单元8如下所述设置这些参数。
128.由逻辑单元5处理的图像信号存储在存储器6中。
129.存储在存储器6中的图像信号在必要的时间通过接口单元7发送和输出到处理器11和其他装置。
130.注意，假设存储器6由dram、静态随机存取存储器(sram)、磁阻随机存取存储器(mram)等构成。
131.注意，mram是使用磁性存储数据的存储器。包括隧道磁阻(tmr)元件而不是磁芯的mram是已知的。tmr元件包括一层厚度极小的几个原子的薄绝缘层，并且夹在磁体之间，并且根据磁体层的磁化方向改变电阻。即使在断电之后，tmr元件的磁化方向也不改变，从而构成非易失性存储器。随着小型化的增加，需要提高写入电流。因此，为了存储器单元的小型化，已知采用使用自旋注入磁化反转系统(stt：自旋扭矩转移)的stt-mram，其不使用磁场而是使用每个都具有均衡自旋的电子流来实现写入。
132.不用说，存储器6的具体示例不仅包括这些示例，还包括其他类型的存储元件。
133.传感器装置1外部的处理器11对从传感器装置1发送的图像信号执行图像分析和图像识别处理，以执行必要的对象检测等。
134.处理器11还能够参考由外部传感器12获得的检测信息。
135.注意，可以通过有线或无线方式将处理器11连接到传感器装置1。
136.可以将本文描述的处理器11设置在与传感器装置1相同的外壳中。例如，假设处理器11是包括在成像装置或包含传感器装置1的终端设备中的处理器。
137.可替代地，处理器11可以设置在与传感器装置1分离的装置上。例如，处理器11可以是包括在信息处理装置、终端设备、图像编辑装置、监控装置、通信装置等中的内置装置，该内置装置经由电缆、无线通信等连接到成像装置或包含传感器装置1的终端设备。
138.此外，处理器11可以例如是包括在云计算系统中的处理器，并且可以被配置为与传感器装置1或包括内置传感器装置1的设备建立网络通信。
139.例如，计算单元8例如由一个ai处理器构成。此外，如所示出的，计算单元8包括关键帧选择单元81、对象区域识别单元82、类别识别单元83和参数选择单元84，每个都作为可执行的计算功能。注意，这些计算功能可以由多个处理器构成。
140.关键帧选择单元81根据预定算法或指令执行用于选择形成视频的图像信号帧中的关键帧的处理。
141.此外，在一些情况下，关键帧选择单元81还执行用于切换与帧速率相关联的模式(第五实施例中的空闲模式和正常模式)的处理。
142.对象区域识别单元82执行从由阵列传感器2光电转换并由adc/像素选择器3读取的图像信号的帧中检测与检测候选相对应的对象区域的处理、以及识别检测目标的对象的图像(帧)中的对象(边界框)周围的区域的处理。
143.从图像信号中检测到的对象是指为了从图像中识别而成为检测目标的对象。哪个对象将被指定为检测目标根据传感器装置1或处理器11的检测目的、处理能力、应用类型等而不同。任何对象都可以被指定为本文所指的检测目标的对象。检测目标对象的示例包括动物、移动体(例如，汽车、自行车和飞机)、自然对象(例如，蔬菜和植物)、工业产品或部件、建筑物、机构、山、海、河、星、太阳和云。这些示例仅仅是部分示例，并且任何对象可以对应于检测目标对象。
144.此外，如将在第二实施例中描述的，对象区域识别单元82基于边界框执行用于计算作为指示要被指定为处理目标的区域(关注区域(roi))的区域信息的关注区域的处理、基于roi的对adc/像素选择器3的控制以及一些情况下的其他处理。
145.类别识别单元83对由对象区域识别单元82检测到的对象进行分类。
146.本文的类别是指使用图像识别的所识别对象的类别。例如，要检测的对象被分成类，例如，“人”、“车”、“飞机”、“船”、“卡车”、“鸟”、“猫”、“狗”、“鹿”、“青蛙”和“马”。
147.如将在第一实施例中描述的，参数选择单元84存储用于各个类别的信号处理的参数，并且使用由类别识别单元83识别的检测对象的类别、边界框等来选择一个或多个对应的参数。此后，参数选择单元84为逻辑单元5设置一个或多个参数。
148.此外，如在第三实施例中，参数选择单元84基于根据边界框计算roi的类别，存储预先为每个类别计算的高级roi(高级roi：aroi)的模板，并且在一些情况下，执行用于选择模板的处理。
149.此外，在第五实施例中，参数选择单元84存储空闲模式和正常模式的设置值，并且基于对象检测来执行选择设置值的处理，并且在一些情况下，控制信号处理单元30。
150.由计算单元8执行的这些功能是通常在阵列传感器中不执行的处理。根据本实施例，在阵列传感器内执行对象检测、类别识别和基于这些的控制。以这种方式，适于检测目的的图像信号被提供给处理器11，并且实现了不降低检测性能的数据量减少。
151.注意，接口单元7将图像信号输出到处理器11，并且还能够将与计算单元8检测到的对象相关联的信息、类别信息、检测到的对象的数量、与选择的参数相关联的信息等作为元数据与图像信号一起输出，或者独立于图像信号输出。此外，例如，接口单元7也能够仅输出类别信息。
152.此外，例如，也可以采用处理器11侧向接口单元7给出必要信息的指令，以允许从接口单元7输出对应于该指令的信息。
153.《2.第一实施例：分类图像适配》
154.分类图像适配的处理将被描述为可由具有图1的配置的传感器装置1执行的第一实施例的处理。
155.根据图像质量调整，图像识别的准确度是可变的。例如，通过图像质量控制来提高通过深度学习实现的图像识别的准确度。
156.此外，众所周知，图像识别所需的图像质量(即提高对象检测准确度的图像质量)不必与观看者的美丽图像的质量一致。
157.例如，图2的a描绘了观看者的高质量图像的示例，而图2的b被假设为由于例如灰度数量的减少而对于观看者的感觉具有稍微低的图像质量的图像。
158.然而，根据使用神经网络分析图2的a中的图像的对象检测结果，花被错误地确定为鱼(鱼)，而图2的b中的图像中的花被正确地确定为花(花)。
159.从该示例显而易见，优选地，使图像质量调整不同于基于观看者的美感的图像质量调整，以提高图像识别的准确度。
160.此外，这种适于对象检测的图像质量不是由统一参数调整的图像质量，而是针对与检测目标相对应的每个对象不同的图像质量。例如，对于人的检测和汽车的检测中的每一者，期望的图像质量调整状态都不同。换言之，对于每个检测目标，用于图像质量调整的期望参数的值不同。
161.因此，在分类图像适配处理中，为可以被指定为目标的每类对象存储适当的参数(图像质量调整值)。随后，对由阵列传感器2捕获的图像执行对象检测和被检测对象的类别识别，并且根据所识别的类别选择针对逻辑单元5参数并设置参数。然后，逻辑单元5针对对应的图像执行基于所选参数的处理。
162.图3描绘了上述分类图像适配处理的概要。注意，图3表示从图1的配置中提取的用于解释概要的部分。
163.根据传感器装置1，使用成像光学系统40将成像的对象光聚焦在阵列传感器2上，以捕获图像。如此获得的图像信号g由逻辑单元5处理，并且还被提供给计算单元8。
164.计算单元8执行用于检测与候选相对应的对象并使用对象区域识别单元82识别对象的区域的处理。对象区域识别单元82还计算必要对象区域的边界框。
165.此外，计算单元8使用类别识别单元83对检测到的对象执行类别识别。在检测到多个对象或多种类型的对象的情况下，识别每个对象和类型的类别，以将对象和类型分成类别。例如，在该图的情况下，以定义“车辆”类别中的一个对象、“人”类别中的五个对象和“交通灯”类别中的一个对象的方式，执行类别识别和分类。
166.这样获得的类别信息和边界框信息被提供给参数选择单元84。参数选择单元84使用类别信息等从存储的参数集pr1、pr2和其他参数集中选择一个参数集。例如，该图描绘了已经选择了参数集pr4的状态。
167.注意，参数集是指被存储并用于逻辑单元5的处理的多个参数值的一个集合(例如，增益设置值、颜色校正系数、灰度数、压缩率和帧速率)。
168.为逻辑单元5设置所选择的参数集pr4。逻辑单元5使用参数集pr4中指示的各个参
数对图像信号g执行各种类型的信号处理。
169.阵列传感器响应于来自处理器11的请求，输出所有或任何一个输出数据(例如，图像信号、类别、对象数量以及目标类别的存在或不存在)。
170.此外，处理器11能够向传感器装置1发送各种类型的指令。
171.如上所述，根据传感器装置1，计算单元8具有基于对象检测的类别识别的功能(对象分类功能)，并且执行分类图像质量适配(适于基于对象检测的目标类别的参数选择)，其根据来自类别识别单元的输出，自适应地为逻辑单元5设置参数。
172.对于参数集，通过预学习预先生成适当的参数(图像质量设置值)，并使用深度学习针对每个类别进行存储。
173.例如，为了生成“人类”类别的参数集，使用人类的大量图像作为学习数据sd，来执行深度学习，以生成考虑到人类的识别而具有最高图像识别率的参数集pr1，如图4的a所示。
174.对于其他各个类别，使用深度学习类似地生成均具有最高图像识别率的参数集pr2、pr3和其他参数集。
175.此后，如图4的b所示，以可由参数选择单元84选择的方式存储所生成的参数集pr1、pr2、pr3和与各个类别相对应的其他参数集。
176.图5描绘了由传感器装置1执行的分类图像适配处理的具体示例。参照图6依次进行描述。
177.图5示出了在步骤s100中开始从阵列传感器2以一帧为单位输出图像信号之后，由传感器装置1(主要由计算单元8)执行的处理。
178.在图5中，由计算单元8执行的处理是通过图1所示的关键帧选择单元81、对象区域识别单元82、类别识别单元83和参数选择单元84的相应功能执行的处理。注意，该定义适用于下面描述的图9、图14、图16和图18。
179.在步骤s101中，计算单元8(关键帧选择单元81)执行用于在与关键帧选择算法相对应的定时选择关键帧的处理。
180.传感器装置1通过从作为阵列传感器2的像素阵列输出信号的以帧为单位的图像信号中选择关键帧、然后执行图像识别，来识别图像捕获目标的类别。基于关键帧选择算法实现关键帧的选择。以这种方式，选择静止图像(某一帧)。
181.本文将给出关键帧选择算法的一个示例。
182.最初，可采用的方法是针对指定时间的每个间隔选择一帧。例如，每隔30秒将一帧指定为关键帧。不用说，30秒的间隔只是一个示例。
183.此外，也可以在由来自传感器装置1的外部(例如，处理器11)的命令指定的定时选择关键帧。例如，假设根据来自安装有传感器装置1的装置或设备的指令来选择关键帧。例如，在传感器装置1安装在汽车上的情况下，在停车场停车之后开始行驶的时间选择关键帧。
184.此外，关键帧选择方法可以根据情况而变化。例如，在传感器装置1安装在汽车上的情况下，关键帧的间隔对于停止状态、正常行驶状态和高速行驶状态中的每一个而言都是变化的。
185.在选择关键帧之后，计算单元8(对象区域识别单元82)在步骤s102中检测候选对
象在关键帧中的位置。
186.具体地，计算单元8在关键帧的图像中搜索待检测对象的候选，并获得一个或多个候选位置(图像中的位置坐标)。
187.例如，假设图6的a中描绘的输入图像被指定为关键帧。计算单元8在该图像中检测看起来像要检测的对象的部分。例如，图6的b和6的c中的每个区域被指定为看起来像检测对象的部分。这些区域是对象的候选区域。
188.在图5的步骤s103中，计算单元8(类别识别单元83)对检测到的对象进行分类。具体地，计算单元8将对象的每个候选的类别识别为用于分类的类别。
189.如上所述，本文的每个类别是指使用图像识别的被识别对象的类别。
190.例如，实现例如“人”和“花”的类别识别，如图6的d和6的e所示。
191.在图5的步骤s104中，计算单元8检查作为类别识别的结果获得的类别中是否存在目标类别。
192.目标类别是从类别中特别选择并由处理器11设置的类别。例如，在目标类别被设置为“人”的情况下，假设当识别出人时，传感器装置1开始指定的处理。
193.此外，优选地，允许指定多个目标类别。
194.例如，在“人”和“花”已经被指定为目标类别的状态下，在步骤s103中识别的类别中存在“人”或“花”的情况下，计算单元8将处理流程从步骤s104前进到步骤s105。
195.另一方面，在目标类别不存在的情况下，计算单元8返回到步骤s101，以选择下一个关键帧。
196.在通过目标类别的存在，流程进行到步骤s105的情况下，计算单元8(对象区域识别单元82)计算围绕被分成类别的对象区域的正确位置坐标(边界框)。
197.图6的f和6的g均描绘了边界框20。边界框20由定义x轴上的区域范围的最小坐标值xmin和最大坐标值xmax以及定义y轴上的区域范围的最小坐标值ymin和最大坐标值ymax来指定。
198.在图5的步骤s106中，计算单元8(参数选择单元84)基于对象的类别和数量以及边界框20的面积来选择参数集。
199.例如，在存在一个目标类别的情况下，选择与该类别相对应的参数集。
200.在多种类型的目标类中的对象出现在屏幕中的情况下，可以采用以下示例。
201.例如，可以选择一个参数集，该参数集与在各个类别当中包含最多对象的类别相对应。
202.可替代地，在多种类型的目标类别中的对象出现在屏幕中的情况下，可以选择与包含具有边界框20的最大面积的对象的类别相对应的参数集。
203.可替代地，在多种类型的目标类别中的对象出现在屏幕中的情况下，可以选择与包含具有为每个类别计算的边界框20的面积总和最大的对象的类别相对应的参数集。
204.可替代地，在多种类型的目标类别中的对象出现在屏幕中的情况下，可以选择与具有最高优先级的类别相对应的参数集，基于每个类别的对象数量和各个边界框20的区域的总和(或最大值)来指定该最高优先级。
205.不用说，其他参数集选择方法也是可以采用的。在任一方法中，如果选择了屏幕中的主要对象，或者选择了与要优先检测的对象的类别相对应的参数集，这就足够了。
206.在步骤s107中，计算单元8(参数选择单元84)执行用于为逻辑单元5设置所选参数集的处理。
207.通过该处理，随后允许逻辑单元5使用为依次输入的各个帧的图像信号设置的参数集来执行各种类型的图像处理。
208.处理后的图像信号、设置的参数、与识别的类别相关联的信息等被临时存储在dram 6中。
209.在步骤s108中，响应于来自处理器11的请求，传感器装置1输出图像信号(静止图像或动态图像)、类别识别信息(例如，类别、对象的数量以及目标类别的存在与否)、所使用的参数集和其他信息中的所有或至少任一个。
210.具体地，根据来自处理器11的请求，经由接口单元7读取和发送临时存储在dram 6中的任何一个信息。
211.注意，步骤s108中的该处理可以在计算单元8的控制下执行，或者可以响应于处理器11经由接口单元7对dram 6的访问而执行。在计算单元8不控制接口单元7的情况下，在完成步骤s107之后，由计算单元8执行的处理返回到步骤s101。
212.通过前述处理，根据作为包含在图像中的对象的目标类别的存在，被设置参数的图像信号被提供给处理器11。这些图像信号是已经对其执行了适于检测相应目标类别的对象的图像处理的图像信号。
213.此外，如果与检测到的类别(目标类别)或对象数量相关联的信息也被提供给处理器11，则该信息可用作由处理器11执行的对象检测处理的有效信息。
214.通过这些方式，处理器11可以实现高准确度的对象检测。
215.注意，还可以采用这样的使用方法：在传感器装置1内执行简化的类别设置，并且在传感器装置1外执行详细的识别。例如，也可以采用不使用传感器装置1而是使用处理器11来执行直到面部识别和车牌识别的处理的处理。
216.此外，虽然假设图5中的处理示例在步骤s102中检测每个看起来像对象的部分(图6的b和6的c)，并且在步骤s103中执行类别识别(图6的d和6的e)，然后在步骤s105中设置边界框20(图6的f和6的g)。然而，并不要求采用这些处理。例如，可以采用以下处理。当在步骤s102的阶段检测到每个看起来像对象的部分时，设置边界框20。此后，在步骤s103中执行类别识别。如果存在目标类别，则流程从步骤s104前进到步骤s106。
217.《3.第二实施例：区域裁剪》
218.区域裁剪将被描述为允许由具有图1的配置的传感器装置1执行的第二实施例的处理。
219.对于由阵列传感器2检测到的图像信号，通常认为将与每帧的所有像素相关联的信息传输到处理器11并执行图像识别。
220.然而，当与所有帧的所有像素相关联的信息被传送到处理器11，以使用处理器11执行对象检测时，传送信息量显著增加，特别是随着阵列传感器2捕获的图像的清晰度的增加。在这种情况下，还需要传输时间。此外，在云传输的情况下，通信量的增加显著影响通信的成本和时间。此外，施加在处理器11和云上的存储容量的负载也增加。此外，分析处理负荷和处理时间进一步增加。此外，对象检测性能可能会恶化。
221.因此，第二实施例试图以以下方式提高处理效率。当在某一帧的图像中识别出必
要的对象时，在下一帧和该下一帧之后的帧中的每一帧中，在相应对象的近似区域的像素级获取和传送图像信号，并消除与其他区域中的像素相关联的信息的存在。
222.图7描绘了概要。
223.图7的a描绘了特定帧f1的图像。在“人”被设置为要检测的对象的情况下，在帧f1的图像中检测人的区域。随后，检测到人的每个区域被指定为与关注区域(roi)相对应的关注区域21。
224.在帧f1之后的帧f2、f3和直到fn中，仅从阵列传感器2读取被指定为roi 21的区域内的像素。该图像与仅包含与roi 21的部分相关联的信息的图像相对应，如图7的b所示。
225.此后，计算单元8基于包含上述部分像素信息的图像信号执行分析，或者图像被传送到处理器11并由处理器11分析。
226.具体地，如图8的a中示意性描绘的，以每n帧一个的速率出现的特定帧f1被指定为包含与阵列传感器2获得的图像信号中的所有有效像素相关联的信息的图像。随后，使用计算单元8扫描整个屏幕，以检测目标对象的存在或不存在以及位置。此后，设置roi 21。
227.在获取下一帧f2时，获取图像信号，其中，只有被指定为目标区域的roi 21中的像素被ad转换，如图8的b所示。注意，由网格分隔的每个正方形表示一个像素。
228.如上所述，例如，通过每n帧仅在一帧中扫描整个屏幕来检测目标对象，并且如图8的c所示，在后续帧f2、f3、f4等的每一帧中，仅针对在先前的帧中检测到的目标对象的检测区域执行图像分析。
229.该处理减少了分析数据量和通信数据量，而不降低作为应用目标的对象检测的准确度，从而减少了传感器装置1的功耗，并提高了与安装传感器装置1的整个系统的对象检测相关联的图像分析的速度。
230.图9描绘了由传感器装置1的计算单元8执行的区域裁剪分析的处理示例。参照图10依次进行描述。
231.计算单元8(关键帧选择单元81)在步骤s201中确定当前时间是否是对象检测关键帧记录定时。
232.本文的对象检测关键帧记录定时是指用于获取与用于对象检测的阵列传感器2的整个有效像素区域相关联的信息的时间。
233.对象检测关键帧记录定时可以根据从传感器装置1的外部(例如处理器11)发出的命令来确定。例如，假设根据60秒的指令，以60秒的间隔确定对象检测关键帧记录定时。
234.在对象检测关键帧记录定时时，计算单元8将流程前进到步骤s202，以获取阵列传感器2的整个有效像素区域的经ad转换的图像数据。例如，计算单元8使adc/像素选择器3输出从阵列传感器2接收的一帧中的整个有效像素区域的图像信号。
235.计算单元8(对象区域识别单元82)在步骤s203中检测获取的图像中的候选对象的位置。
236.例如，当帧f1被指定为对象检测关键帧时，如图10的a所示，在帧f1的图像内检测对象的候选区域23。在这种情况下，包含“人”或“树”的图像的每个区域被指定为候选区域23。
237.在图9的步骤s204中，计算单元8(类别识别单元83)将检测到的对象分类为候选。
238.例如，计算单元8将候选区域23中的每一类对象识别为“人”、“树”等，如图10的b所
示。
239.在图9的步骤s205中，计算单元8检查作为类别识别的结果获得的类别中是否存在目标类别。
240.例如，在“人”被指定为目标类别的情况下，认为存在目标类别，作为如图10的b所示的已识别类别。在这种情况下，计算单元8将流程从图9中的步骤s205前进到步骤s206。
241.另一方面，在目标类别不存在的情况下，计算单元8将流程返回到步骤s201，以等待下一个对象检测关键帧记录定时。
242.在图9中的步骤s206中，计算单元8(对象区域识别单元82计算在围绕被分成指定为目标类别的类别的对象的区域的正确位置坐标处的边界框20。
243.例如，图10的c描绘了与目标类别相对应的人的图像的边界框20的示例。具体地，边界框20作为与目标类别相对应的对象的更准确的区域被计算。
244.在图9的步骤s207中，计算单元8(对象区域识别单元82)基于边界框20计算roi。
245.图10的d描绘了roi 21和边界框20。在扩展边界框20(ax
×
by)的水平和垂直尺寸(x
×
y)之后，计算roi 21。对于水平尺寸和垂直尺寸，可以独立设置扩展a和b的比例。扩展率可以是固定的或者由传感器装置1的外部(例如，处理器11)指定。
246.计算单元8(对象区域识别单元82)将如此计算的roi通知给adc/像素选择器3。
247.响应于该通知，adc/像素选择器3仅执行与阵列传感器2中的roi 21的像素相对应的模数转换，并输出转换后的像素。
248.在图9的步骤s208中，计算单元8获取包含仅与roi 21中的像素相关联的信息的下一帧的图像数据。此后，计算单元8对获取的帧执行步骤s203和s204中的处理。
249.图10的e示意性地描绘了在整个有效像素中仅roi 21中的像素的ad转换(在每个图中由网格分隔的每个正方形表示一个像素)。
250.如图10的f所示，该ad转换允许计算单元8获取帧f2的图像，该帧f2具有仅与对应于roi 21的部分相关联的信息。
251.此后，计算单元8检测帧f2的图像中候选对象的位置，并在图9的步骤s203和s204中对对象进行分类。例如，在图10的f的情况下，检测到人。因此，流程进行到步骤s206和s207，以计算新的边界框20，并基于边界框20计算新的roi 21。在图10的f中，新获得的roi表示为“roi 21(新)”。
252.注意，通过边界框20的扩展来生成roi 21，以处理对应于成像对象的对象的移动(或者成像装置的成像对象方向的改变)。
253.例如，图10的e中的帧f2中的人的位置从图10的a中的帧f1中的人的位置向右改变。然而，在roi 21被设置为宽区域的状态下，即使仅从roi 21内的像素移动，在帧f2中获取目标人的图像的可能性也增加。
254.如上所述，通过扩展边界框20，以在下一帧中也检测目标对象，来获得roi 21，但是也可以将水平和垂直尺寸(x
×
y)扩展时的扩展比例a和b设置为与帧速率相对应的比例。
255.例如，帧间隔的时间以低帧速率增加。在这种情况下，例如人等对象的移动量增加。因此，可以扩展比高帧速率情况下更大的roi 21的尺寸。
256.此外，还针对每一帧重新计算roi 21(生成新的roi 21(新))，以处理与成像对象相对应的对象的移动(或者成像装置的成像对象方向的改变)。
257.由于人的运动，在roi 21内从图10的f的图像向右偏移的位置检测到人。因此，通过计算围绕人区域的新边界框20来获得roi 21，以按照由roi 21(新)指示的人运动的方式更新roi。
258.在步骤s207中，计算单元8向adc/像素选择器3通知新的roi 21(新)。结果，只有下一帧的新roi 21(new)内的像素被ad转换(见图10的g)。
259.此外，计算单元8在步骤s208中类似地仅获取与roi 21(新)内的像素相关联的信息的图像信号，并且执行步骤s203和后续步骤中的处理。
260.重复执行该处理，直到在步骤s205中确定不存在目标类别。因此，例如，即使当人的位置如图10的h部分的帧fn中指示的那样移动时，也可以基于在未示出的先前的帧f(n-1)中计算的roi 21，通过根据与成像对象相对应的人来更新roi 21的位置，来获取包含与人的区域相关联的信息的帧fn的图像信号。
261.如果检测到的人移出了框架，变得难以检测，则就难以获得目标类别。因此，计算单元8将流程从步骤s205返回到步骤s201，以等待下一个对象检测关键帧记录定时。
262.根据如上所述执行的区域裁剪分析处理，在对象检测关键帧记录定时，所有有效像素的数据包含在关键帧的图像信号中，但是只有对象检测所需的像素包含在后续帧中。以这种方式，图像信号的数据量的显著减少和适于检测目标对象的图像的形成都是可以实现的。此外，通过减少阵列传感器2要读取的像素数量，也可以实现功耗的降低。
263.另外，在图9的处理示例的情况下，为每个对象设置roi 21，每个对象与一个目标类别相对应，并且roi 21的与每个对象相对应的区域是从阵列传感器2读取的目标。在这种情况下，目标仅限于在对象检测关键帧中检测到的对象。例如，即使当在帧f2和f3的时间出现新对象(例如，人)，作为成像对象时，也有可能没有获取这个人的图像。
264.例如，当使用目的是以特定时间间隔跟踪和分析在对象检测关键帧中找到的对象时，这种情况不会导致问题。然而，在应用于监视系统等以监视作为成像对象出现的所有人的情况下，优选地，出现在除了对象检测关键帧之外的帧中的对象也被指定为检测目标。
265.因此，例如，即使当继续检测目标类别的对象时(即，即使在步骤s205中继续确定为“是”的情况下)，也可以总是以预定的时间间隔将流程返回到步骤s202，以获取所有有效像素的图像信号。
266.还优选地，处理器11等指定用于获取所有有效像素的图像信号的时间间隔。
267.可替代地，也可以与roi 21分开地持续指定图像的外围部分，作为ad转换目标的区域。在这种情况下，当新对象作为成像对象进入帧时，检测到新对象并给出roi 21。
268.上述是通过扩展边界框20产生roi 21的矩形区域的情况。然而，roi21不限于矩形区域。
269.例如，可以使用语义分割，即像素级的对象区域检测，从目标类别的对象的区域计算roi 21。
270.图11描绘了基于语义分割的roi 21。这是通过扩展与对象(例如，人)相对应的像素区域来设置具有非矩形形状的roi 21的示例。
271.例如，在例如具有突起的卡车和骑自行车的人的情况下，存在具有矩形形状的roi 21具有缺失部分或过大的情况。通过根据像素级的对象位置形成非矩形roi 21，可以提高产生实现数据量减少和必要信息获取的roi 21的可能性。
272.注意，通过执行第二实施例的区域裁剪和上述第一实施例中的分类图像适配处理的组合，可以更有效地获得数据量减少和检测准确度提高的效果。
273.《4.第三实施例：使用aroi的区域裁剪》
274.使用高级roi(也表示为“aroi”)的区域裁剪将被描述为可由具有图1的配置的传感器装置1执行的第三实施例的处理。
275.aroi是使用针对每个类别定义的模板设置的roi。
276.阵列传感器2(图像传感器)通过光电转换消耗最高的功率。因此，优选地，尽可能减少光电转换的像素，以实现功耗降低。
277.此外，使用阵列传感器2获得的图像信号是出于图像分析的目的而生成的，因此不会被观看者看到。因此，这些图像信号不需要是可识别的，也不需要为观看者形成美丽的图像。换言之，重要的是形成实现准确目标检测的图像。
278.例如，在上述第二实施例中，为检测到的对象识别类别。然而，对于这种类别识别，只需要将对应于该类别的最小必要区域设置为roi。因此，设置了在图12和13的每一个中描绘的aroi 22。
279.图12描绘了使用与用于人的图像区域的类别“人”相对应的模板生成的aroi 22。图中的每个网格表示一个像素。假设每个暗像素表示由aroi指定的像素。
280.例如，与类别“人”相对应的模板是将面部部分定义为需要高密度像素的部分以及将身体部分定义为需要低密度像素来覆盖整体的部分的模板。
281.此外，图13描绘了使用与类别“汽车”相对应的模板生成的aroi 22。这个示例适用于汽车的后部图像。例如，号码牌所在的部分被定义为需要高密度像素的部分，而其他部分被定义为需要低密度像素覆盖整体的部分。
282.在实际情况中，可以将类别“人”划分为“面向侧面的人”、“面向前面的人”、“坐着的人”等来进一步划分模板，将类别“汽车”划分为“侧面图像”、“正面图像”、“后方图像”等来进一步划分模板。
283.以这种方式，根据类别选择模板，并且根据实际帧内的区域大小放大或缩小所选择的模板，以生成aroi 22。
284.图14描绘了使用aroi 22的处理示例。
285.注意，从步骤s201到s206的处理类似于图9中的相应处理，因此不重复解释。
286.在步骤s206中，计算单元8(对象区域识别单元82)在目标类别的对象存在于在对象检测关键帧记录定时获得的所有有效像素的图像信号中的情况下计算边界框20。
287.随后，计算单元8(参数选择单元84)在步骤s210选择预先基于类别计算并存储的aroi模板。
288.例如，在“人”是目标类别的状态下，在图像内存在人的情况下，选择“人”的模板。
289.在步骤s211中，计算单元8(对象区域识别单元82)基于边界框20计算aroi 22。
290.例如，根据边界框20的大小调整大小后的模板被指定为aroi 22。
291.此后，计算单元8(对象区域识别单元82)向adc/像素选择器3通知如此计算的aroi 22(aroi的图案和区域)。
292.响应于该通知，adc/像素选择器3仅执行与阵列传感器2中的aroi22的像素相对应的ad转换，并输出转换后的像素。
293.在步骤s212中，计算单元8获取包含仅与aroi 22内的像素相关联的信息的下一帧的图像数据。此后，计算单元8对获取的帧执行步骤s203和s204中的处理。
294.以下处理的流程类似于参考图9解释的相应处理的流程。
295.通过使用如上所述根据类别设置的模板生成aroi 22，即使光电转换的像素显著减少，也可以获得根据类别实现准确对象检测的信息。
296.注意，如在第二实施例中描述的，以特定时间间隔恒定地设置对象检测关键帧记录定时的点以及图像的外围部分恒定地被指定为ad转换目标的区域的点也适用于第三实施例。
297.此外，通过执行使用如上所述的aroi 22的第三实施例的区域裁剪和第一实施例中的分类图像适配处理的组合，可以更有效地获得数据量减少和检测准确度提高的效果。
298.《5.第四实施例：智能压缩》
299.智能压缩的处理将被描述为可由具有图1的配置的传感器装置1执行的第四实施例的处理。
300.智能压缩是指定检测目标对象，以低压缩率压缩目标对象，以高压缩率压缩目标对象以外的对象的处理。
301.图15描述了一个具体的示例。
302.图15的a描绘了在从一个特定帧的图像中将类别“汽车”作为目标类别进行检测的情况下，针对每个汽车生成roi 21的状态。
303.图15的b是图像信号在roi 21的每个区域中以低压缩率压缩并且在其他区域中以高压缩率压缩的状态。
304.以这种方式，在不降低与对象检测应用的目标相对应的对象的检测准确度的情况下，实现了分析数据量的减少和通信数据量的减少。
305.此外，试图降低传感器装置1的功耗，并提高与安装传感器装置1的整个系统的对象检测相关联的图像分析速度。
306.图16描绘了智能压缩的处理示例。
307.注意，从步骤s201到s206的处理类似于图9中的相应处理。然而，与上述区域裁剪的情况相比，存在一些不同点。因此，也将涉及对应于这些点的处理。
308.计算单元8(关键帧选择单元81)在步骤s201中确定当前时间是否是对象检测关键帧记录定时。
309.在对象检测关键帧记录定时时，计算单元8将流程前进到步骤s202，以获取阵列传感器2的整个有效像素区域的经ad转换的图像数据。
310.然而，在智能压缩的情况下，adc/像素选择器3针对每一帧从阵列传感器2读取(ad转换)所有像素的信号。
311.计算单元8(对象区域识别单元82)检测与在步骤s201中获取的图像中的候选对象相对应的位置。在随后的步骤s204中，计算单元8(类别识别单元83)将检测到的对象分类为候选。
312.在步骤s205中，计算单元8检查作为类别识别的结果获得的类别中是否存在目标类别。
313.在步骤s206中，计算单元8(对象区域识别单元82)在目标类别的对象存在于在对
象检测关键帧记录定时获得的所有有效像素的图像信号中的情况下计算边界框20。
314.在步骤s220中，计算单元8(对象区域识别单元82)基于边界框20计算roi 21。在这种情况下，例如，也可以通过扩展边界框20来定义roi21。
315.计算单元8(对象区域识别单元82)将如此计算的roi 21通知给逻辑单元5。
316.响应于该通知，逻辑单元5在步骤s221中对从阵列传感器2读取的图像信号在与roi 21相对应的像素区域中以低压缩率执行压缩处理，并且在其他像素区域中以高压缩率执行压缩处理。
317.然后，经过压缩处理的图像信号被写入dram 6，并经由接口单元7传送到处理器11。
318.由roi 21指定的必要区域已经在处理器11侧以低压缩率被压缩。因此，通过存在足够的信息，可以实现准确的对象检测。
319.至于由计算单元8执行的处理，流程在完成步骤s220之后返回到步骤s203。此后，计算单元8在下一帧中检测候选对象的位置，并在步骤s204中识别检测到的对象的类别。
320.根据本文的第四实施例，在每帧中从阵列传感器2读取所有有效像素。因此，即使在步骤s220和s211之后流程返回到步骤s203的情况下，在步骤s203中也允许计算单元8扫描所有有效像素的范围并检测候选对象。通过扫描所有有效像素的范围并检测候选对象，可以持续处理关键帧记录定时期间目标类别的新对象的出现。
321.然而，在这种情况下，如果计算单元8仅在关注区域22内的区域中检测到候选对象，则可以减少施加在计算单元8上的处理负荷。
322.计算单元8在步骤s206和s220中根据目标类别的存在的确认来更新roi 21。
323.因此，由逻辑单元5以低压缩率压缩的区域也根据对象在每个帧中的位置进行更新。
324.如果在步骤s205中确定不存在目标类别，则由计算单元8执行的处理流程返回到步骤s202，以等待对象检测关键帧记录定时。
325.图16中呈现的上述处理实现了智能压缩处理，该智能压缩处理在分析所必需的部分中以低压缩率压缩，即在每个都包含目标类别的对象的部分的roi 21内，并且在另一部分中以高压缩率压缩。
326.注意，对象检测关键帧记录定时以特定时间间隔恒定设置的点以及如第二实施例中描述的生成基于语义分割的roi的点也适用于本文描述的第四实施例。
327.此外，通过执行上述第四实施例的智能压缩处理和第一实施例中的分类图像适配处理的组合，可以更有效地获得数据量减少和检测准确度提高的效果。
328.《6.第五实施例：主动采样》
329.主动采样将被描述为可由具有图1的配置的传感器装置1执行的第五实施例的处理。
330.主动采样是指根据目标对象的存在与否动态改变帧速率的处理。该处理被认为是根据目标对象的存在或不存在来实现数据体在时间轴方向上的压缩。此外，该处理实现了传感器装置1的功耗的降低。
331.将参照图17描述主动采样的概要。
332.本文假设在“人”被指定为目标类别的假设下，从捕获的图像中检测到人。例如，假
设使用监控相机从建筑物内部通过入口捕获外部图像的情况。
333.图17的a描绘了捕获的图像不包含人的状态。在这种情况下，帧速率被设置为低速率，例如，1帧每秒(fps)。
334.图17的b描绘了在捕获的图像中检测到人的状态。在这种情况下，帧速率被设置为高速率，例如，100fps。
335.换言之，帧速率受特定检测目标的限制而动态改变，以便在不需要时(在没有检测到人的时间)降低帧速率，并且在需要时(在检测到人的时间)提高帧速率，以获得大的信息量。
336.图18描绘了主动采样的处理示例。
337.例如，在步骤s301中，计算单元8(关键帧选择单元81)根据预先存储在计算单元8中的空闲模式的设置来为adc/像素选择器3设置视频捕获。
338.计算单元8中的参数选择单元84被配置为存储例如空闲模式的设置和正常模式的设置。
339.主动采样包括空闲模式和正常模式的设置。空闲模式是在确定捕获的屏幕包含目标类别的对象之前选择的模式。
340.在这种空闲模式下，以低于正常模式的帧速率执行视频捕获。
341.可以采用的是，空闲模式响应于来自传感器装置1外部的命令而开始。可替代地，空闲模式可以响应于从传感器装置1的外部发出的空闲模式数据获取时间的间隔的命令。例如，在60秒的指令的情况下，以60秒的间隔设置对象检测关键帧记录定时。
342.正常模式是正常的视频捕获模式。例如，正常模式响应于从传感器装置1的外部发出的正常模式数据获取时间的间隔的命令。
343.视频捕获通常以比空闲模式更高的帧速率执行。例如，在0.01秒的指令的情况下，正常模式变成以0.01秒(100fps)的间隔进行图像捕获的模式。
344.因此，如果空闲模式被设置为1fsp，则响应于在步骤s301中从计算单元8向adc/像素选择器3发出的空闲模式指令，以1秒的间隔执行视频捕获。
345.注意，空闲模式和正常模式的设置不必需要存储在计算单元8中，而是可以存储在计算单元8的外部存储器中。
346.不用说，空闲模式和正常模式的帧速率只是示例。
347.此外，优选地，空闲模式和正常模式的设置值可从例如处理器11的外部装置重写。
348.计算单元8(对象区域识别单元82)在步骤s302中检测获取的图像中的候选对象的位置。
349.在步骤s303中，计算单元8(类别识别单元83)将检测到的对象分类为候选。
350.在步骤s304中，计算单元8检查作为类别识别的结果获得的类别中是否存在目标类别。
351.如果不存在目标类别，则计算单元8执行步骤s301、s302和s303中的处理。具体地，获取空闲模式下的下一帧的图像，并且类似地执行候选对象的位置检测和类别识别。在这种情况下，例如，假设以1fps实现图像捕获，在一秒钟后对图像执行这些处理。
352.例如，在“人”已经被指定为目标类别的状态下，“人”作为识别的类别存在的情况下，计算单元8将处理流程从步骤s304前进到步骤s305。
353.计算单元8(关键帧选择单元81)根据正常模式的存储设置针对adc/像素选择器3设置视频捕获，并给出正常模式下的图像捕获的指令。
354.因此，如果正常模式被设置为100fsp，则例如以0.01秒的间隔执行视频捕获。
355.以这种方式，计算单元8在模式已经切换到正常模式的状态下执行步骤s302和s303中的处理。
356.只要目标类别出现在捕获的图像中，正常模式就会继续。然而，当不再存在目标类别时，流程返回到步骤s301，以切换到空闲模式。
357.上述处理作为主动采样来执行。以这种方式，通过降低帧速率来实现数据量压缩，特别是在没有目标类别的周期，并且因此降低了功耗。
358.根据该示例，计算单元8指示adc/像素选择器3改变帧速率，以实现帧速率改变。然而，计算单元8可以指示逻辑单元5改变帧速率。
359.例如，从阵列传感器2的读出总是以100fps执行。在空闲模式的情况下，计算单元8指示逻辑单元5执行帧细化。以这种方式，可以实现与传输到处理器11相关联的数据量的减少。
360.注意，通过将前述主动采样处理与第二、第三和第四实施例相结合，可以在不降低检测准确度的情况下产生更有效的数据量减少效果。
361.此外，通过组合第一实施例的主动采样处理和分类图像适配处理，可以实现检测准确度的提高以及有效的数据量减少。
362.《7.第六实施例：通过阈值设置的图像适配》
363.图像适配的处理将被描述为第六实施例的处理。本文描述的示例是进一步将与阈值设置相对应的参数变化的思想添加到第一实施例的分类图像适配的处理中的示例。
364.本文提到的参数的示例被假设为由逻辑单元5用于图像处理的参数。例如，设置(调整或改变)用于逻辑单元5的图像处理的参数，使得可以满足为传感器装置1设置的阈值。
365.此外，这些参数也被假设为用于图像捕获处理的参数，例如，由adc/像素选择器3读出的信号以及由阵列传感器2执行的曝光操作。例如，设置(调整或改变)由adc/像素选择器3或阵列传感器2执行的图像捕获处理的操作的控制参数等，使得可以满足输入到传感器装置1的阈值。
366.根据上述第一实施例，逻辑单元5使用的参数根据类别标识来选择。然而，可以基于阈值来设置(调整或改变)所选择的参数。
367.可替代地，参数不限于在类别标识上选择的参数。只要参数被逻辑单元5、adc/像素选择器3或阵列传感器2使用，就可以基于阈值来设置参数。
368.下面呈现与图像捕获处理和图像处理相关联的参数的具体示例，并且如上所述基于阈值自动设置。
369.例如，与图像处理相关联的参数是在下文中以示例的方式呈现的参数。
[0370]-图像的纵横比
[0371]-分辨率
[0372]-颜色等级数(颜色数或位数)
[0373]-对比度调整值
[0374]-清晰度调整值
[0375]-灰度调整值
[0376]-伽马校正值
[0377]-采样率转换比
[0378]
图像的纵横比和分辨率的参数也反映在roi 21中。
[0379]
色阶的数量、对比度调整值、清晰度调整值、灰度级调整值、伽马校正值和分辨率是与图像质量相关联的参数。
[0380]
采样率转换比是时间分辨率的一个参数。
[0381]
此外，与图像捕获处理相关联的参数包括以下内容。
[0382]-采样率
[0383]-分辨率(例如，在adc/像素选择器3读取期间设置的分辨率)
[0384]-阵列传感器2的快门速度(曝光时间)
[0385]
不用说，基于阈值自动设置的参数包括除上述示例之外的参数。
[0386]
根据阈值的这些参数被设置用于数据量减少、处理速度提高、功耗降低等目的，同时在例如由处理器11基于使用深度神经网络(dnn：deep neural network)的学习来执行对象检测的情况下，确保对象检测的输出的实际准确度。
[0387]
因此，参数被设置为使得即使在通过例如分辨率和颜色数量的参数的改变而实现的图像捕获数据量的减少之后，也保持目标检测的必要准确度水平。
[0388]
将参考图19描述基于阈值的参数设置的思想。
[0389]
例如，假设通过使用传感器装置1对人进行图像捕获而输出的图像是包含与阵列传感器2的所有像素(所有有效像素)相关联的信息的全色图像数据，并且例如以60fps(每秒帧数)的帧速率输出。
[0390]
此外，假设通过使用处理器11等从该图像数据进行对象检测，以作为0.98的置信度cr的98％的比率实现了对人的正确检测。置信度是正确确定和检测对象的置信度。
[0391]
另一方面，通过输出具有稍微降低的分辨率、稍微减少的颜色等级数量和30fps的帧速率的图像数据，假设以0.92的置信度cr实现检测。
[0392]
此外，通过输出具有进一步降低的分辨率、进一步减少的颜色等级数量和15fps的帧速率的图像数据，假设以0.81的置信度cr实现检测。
[0393]
此外，通过输出分辨率显著降低、色阶数量显著减少、帧速率为10fps的图像数据，假设以0.58的置信度cr实现检测。
[0394]
这些只是为了解释而给出的示例。以这种方式，置信度根据与图像捕获或图像质量相关联的参数的变化而变化，例如，对应于分析目标的分辨率、颜色数量和时间分辨率图像数据。换言之，图像分析和对象检测的准确度会发生变化。
[0395]
同时，优选地，对象检测的置信度是最高的可能比率。然而，在实际情况中不一定能获得最高的比率。
[0396]
例如，假设从如图7的a所示的在公园中捕获的鸟瞰图像中检测到大致数量的人。在这种情况下，如此高的准确度是不必要的。例如，在期望几个人、大约10个人、大约20个人等的粗略检测结果的情况下，仅大约0.6的置信度cr可能就足够了。
[0397]
另一方面，在期望使用犯罪预防相机等来精确监控人的进入等的情况下，可能需
要大约0.95的置信度cr。
[0398]
此外，0.70的置信度cr在白天可能足够，但是在夜间可能需要大约0.9的置信度。
[0399]
因此，对于各种因素中的每一种，例如，检测的目的、目标、装置/应用程序的类型、季节和地区，作为对象检测的准确度所需的置信度cr是不同的。
[0400]
此外，置信度根据处理器11的分析能力和学习水平而变化，并且还根据检测目标和类别而变化。
[0401]
考虑到这些，例如，通过基于所需的适当置信度确定阈值，并根据阈值改变参数，可以输出匹配例如对象检测的请求的图像信号。
[0402]
本文假设在图19的示例中需要0.80或更高的置信度。
[0403]
在这种情况下，计算实现0.80或更高的阈值的参数作为置信度cr，并将其设置为由逻辑单元5等使用的参数。具体地，设置了高于阈值但将数据量减少到相对较小的参数。
[0404]
例如，如所示出的，设置例如分辨率、色阶数量和实现0.81的置信度cr的帧速率的参数。
[0405]
在这种情况下，可以实现数据量的显著减少，并且与设置实现0.98的置信度cr的参数并输出图像信号的情况相比，可以保持必要的对象检测准确度。
[0406]
注意，“阈值”可以被认为是用于期望的置信度所需的值。然而，从针对参数调整计算阈值的角度来看，“阈值”可以是用于获得所需“阈值”的置信度的参数值。
[0407]
具体地，从技术观点来看，以下处理方法[1]和[2]被假设为用于“设置参数的阈值，并且使用基于阈值设置的参数来执行处理”的处理。
[0408]
[1]计算指标值的阈值，例如，适合于使用模式或使用环境的置信度，并且设置实际用作参数值的参数，该参数值用于获得超过指标值的阈值的指标值。换言之，从对象检测的索引值的角度来设置参数的阈值。
[0409]
[2]计算用于获得例如置信度的指数值所需的值的参数的阈值，并且基于该阈值计算实际使用的参数。换言之，参数的阈值是从参数本身的值的角度来设置的。
[0410]
根据本实施例，例如，通过以上述[1]或[2]中描述的方式基于置信度设置阈值，实际上使用了适于使得图像数据量减少到最小可能量的参数。实时计算这些参数(例如，在图像捕获期间有规律地)，以动态改变参数。
[0411]
例如，根据传感器装置1的使用应用、目标类别和图像捕获环境，使用dnn处理来计算适当的阈值或对应于这些阈值的参数，并且进行参数改变。以这种方式，实现了适合于应用等的速度提高、功耗降低和准确度提高。
[0412]
具体地，根据在第六实施例中解释的示例中的参数调整，定义与对象检测的置信度相对应的阈值，并且计算最接近但不低于阈值的参数的设置值。
[0413]
此外，为每个类别设置阈值和对应于阈值的参数是合适的。
[0414]
图20的a描绘了被分类为“人脸”类别的图像，而图20的b描绘了被分类为“路标(road sign)”类别的图像。
[0415]
图20的a描绘了人脸的以下情况。在图像信号指示8比特rgb数据16777216种颜色和1.5mb的数据量的情况下，获得0.99的置信度cr。在指示8比特灰度256种颜色和540kb数据量的图像信号的情况下，获得0.75的置信度cr。在指示白-黑两种颜色的图像信号和180kb的数据量的情况下，获得0.58的置信度cr。
[0416]
在这种情况下，例如，假设人脸的置信度cr的阈值被设置为0.74，则右图像是不合适的。因此，中心图像中的参数适合于参数设置。
[0417]
图20的b描述了路标的以下内容。在图像信号指示8比特rgb数据16777216种颜色和1.4mb的数据量的情况下，获得0.99的置信度cr。在指示8比特灰度256种颜色和520kb数据量的图像信号的情况下，获得0.95的置信度cr。在指示白-黑两种颜色的图像信号和110kb的数据量的情况下，获得0.88的置信度cr。
[0418]
在这种情况下，例如，假设道路标志的置信度cr的阈值被设置为0.85，则所有图像都是合适的。右侧图像的参数适合参数设置。
[0419]
如上所述，例如，对于每个对象类别，图像信号质量的检测准确度与所需准确度不同。因此，根据类别执行阈值设置和参数改变是合适的。
[0420]
下文将描述第六实施例的具体示例。
[0421]
首先，图21描绘了传感器装置1的配置示例。注意，与图1中对应的组成元件相同的组成元件被赋予相同的附图标记，并且不重复相同的解释。
[0422]
图21中的配置与图1中的配置的不同之处在于，阈值设置单元85被设置为包含在例如由ai处理器构成的计算单元8中的计算功能。
[0423]
阈值设置单元85用作dnn引擎，并且执行用于设置以下项中的一项的所有或一些参数的阈值的处理：由逻辑单元5执行的图像处理、以及与由阵列传感器2执行的图像捕获相关联的图像捕获处理(由阵列传感器2和adc/像素选择器3执行的处理)。
[0424]
此外，阈值设置单元85使逻辑单元5、阵列传感器2和adc/像素选择器3中的所有或一些能够使用基于阈值改变的参数来执行处理。
[0425]
具体地，例如，阈值设置单元85基于阈值改变用于逻辑单元5的图像处理的参数，并且为逻辑单元5设置改变后的参数。
[0426]
可替代地，例如，阈值设置单元85基于阈值改变用于图像捕获处理(例如，由阵列传感器2执行的曝光操作、由adc/像素选择器3执行的读出处理和ad转换处理)的参数，并且为阵列传感器2和adc/像素选择器3设置改变后的参数。
[0427]
图22呈现了由如此配置的传感器装置1的计算单元8执行的处理示例。图22呈现了将阈值设置单元85执行的前述处理添加到图5的分类图像适配的处理的示例。与图5中的相应处理相同的图22中的处理被赋予相同的步骤编号，并且省略重复的解释。
[0428]
在本文的图22中，作为由阈值设置单元85执行的处理的步骤s150和s151被添加到图5的处理中。
[0429]
在步骤s150中，计算单元8确定当前时间是否是阈值计算定时。如果当前时间是阈值计算定时，则流程进行到步骤s151。如果当前时间不是阈值计算定时，则流程进行到步骤s101。
[0430]
阈值计算定时的示例包括如下。
[0431]
a.每隔预定时间间隔：例如，从图像捕获开始以一小时为间隔
[0432]
b.每个预定的设定时间：例如，每天凌晨0：00
[0433]
c.目标类别出现的每预定次数：例如，目标类别出现的每1000次
[0434]
d.目标类别的图像捕获的每个预定周期：例如，目标类别的图像捕获每过去五小时
[0435]
e.从外部命令的时间：例如，来自包含传感器装置1的装置/设备(例如，处理器11)的指令。
[0436]
例如，在步骤s150中确定这些类型的定时等。当当前时间被确定为阈值计算定时时，计算单元8在步骤s151中根据阈值计算策略来计算阈值。具体地，确定阈值，并设置与阈值相对应的参数。
[0437]
阈值计算策略(阈值)根据理解与图像捕获处理和图像处理相关联的参数的类型或方式被分成几个策略，并且在计算阈值时被注意，并且对于每个应用是不同的。以下是阈值计算策略的示例。
[0438]-使用置信度下降曲线的拐点
[0439]
数据大小随着分辨率的降低而减小。在这种情况下，计算成本降低的优点也是可以实现的。然而，相反，置信度会降低。
[0440]
在图23的a中，横轴表示分辨率，而纵轴表示置信度。
[0441]
如所示出，在相当于或低于特定分辨率(拐点)的低分辨率下，置信度显著降低。因此，例如，当改变分辨率时，获得表示置信度和分辨率之间的关系的曲线的拐点。考虑拐点或拐点附近的点作为阈值来设置降低分辨率的参数。
[0442]-使用置信度的最大值
[0443]
根据对象检测分类的类别，置信度不必随着颜色数量的增加而增加。对于每个目标类别，存在实现最高置信度的最佳颜色数量。
[0444]
在图23的b中，横轴表示颜色等级的数量，而纵轴表示置信度。
[0445]
在如所示出的观察到置信度峰值的情况下，基于该最大值计算阈值。例如，最大值(置信度与色阶数量之间的关系曲线的峰值)被认为是阈值，或者最大值附近的预定范围(例如，通过将置信度降低预定百分比而获得的值)被认为是阈值。随后，根据阈值设置颜色等级数量的参数。
[0446]-使用电池剩余量
[0447]
基于电池剩余量获得能够在n时间周期内进行图像捕获的参数设置，并且从获得的设置中选择并设置产生变得最高(或变得等于或高于预定速率)的置信度的参数。
[0448]
例如，可以根据电池剩余量来降低阈值，例如，置信度，以便获得最长的可能图像捕获时间，并根据置信度来设置参数。
[0449]-使用时间分辨率保持对象跟踪
[0450]
本文中的对象跟踪是指在图像信号的连续帧中沿帧的正向跟踪和识别特定的检测对象(对象)。
[0451]
通常，随着图像信号的时间分辨率降低，目标跟踪所需的计算成本增加。
[0452]
基于指示保持对象跟踪的参数的阈值，确定时间分辨率和其他参数，优先考虑该对象跟踪的计算成本降低。
[0453]
例如，采用上述示例的任何一种策略，并且使用预定算法来计算阈值。图24描绘了由计算单元8执行的阈值计算处理的示例。
[0454]
由图24中的计算单元8执行的该处理是由图21中描绘的对象区域识别单元82、类别识别单元83和阈值设置单元85的相应功能执行的处理。
[0455]
在步骤s160中，计算单元8从阵列传感器2获取以一帧为单位的图像信号。
[0456]
在步骤s161中，计算单元8(对象区域识别单元82)检测获取的帧中的候选对象的位置。
[0457]
具体地，计算单元8在帧的图像中搜索要检测的对象的候选，以获得一个或多个候选位置(图像中的位置坐标)。
[0458]
在步骤s162中，计算单元8(类别识别单元83)对检测到的对象进行分类。具体地，计算单元8为用于所分类的对象的每个候选识别类别。
[0459]
在步骤s163中，计算单元8检查作为类别识别的结果获得的类别中是否存在目标类别。
[0460]
例如，如上所述，目标类别是由处理器11设置的类别。具体地，被处理器11指定为对象检测目标的类别被假设为目标类别。
[0461]
如果不存在目标类别，则计算单元8将流程返回到步骤s160，以获取下一帧的图像数据。
[0462]
在存在目标类别的情况下，计算单元8将处理从步骤s163前进到步骤s164。
[0463]
在流程进行到步骤s164的情况下，计算单元8(对象区域识别单元82)计算围绕被分成类别的对象区域的正确位置坐标(边界框20)。参考了图6的f和6的g以及关于边界框20的其他图的描述适用于本文的边界框20。
[0464]
在步骤s165中，计算单元8(阈值设置单元85)计算阈值和参数，同时根据预先设置的阈值计算策略改变用于由边界框20包围的目标类别的图像捕获处理或图像处理的参数。
[0465]
在步骤s166中，计算单元8(阈值设置单元85)将指示在步骤s165中计算的阈值、参数、目标类别和阈值计算策略的信息彼此关联地记录。
[0466]
例如，计算单元8将信息记录在计算单元8内的记录区域中，将信息记录在存储器6的预定区域中，或者将信息传送到处理器11并将信息记录在处理器11中。
[0467]
以这种方式，设置与目标类别相对应的阈值和参数。
[0468]
例如，在图22的步骤s151中，以上述方式设置阈值和参数。因此，与某个目标类别相关联的参数集对于每个阈值计算定时都改变。
[0469]
当目标类别是人时，例如，与人相对应的参数集的所有或一些根据阈值改变。
[0470]
图22中的步骤s101至s107类似于图5中的相应步骤。因此，在这种情况下，选择与目标类别相对应的参数集。在随后的步骤s107中，为逻辑单元5设置参数集。
[0471]
此时已经为逻辑单元5设置的参数集是适用于目标类别的参数集，并且是基于由步骤s151中的前述处理计算的阈值而改变的参数集。
[0472]
如上所述，计算单元8(阈值设置单元85)给出必要处理的指令，例如，用于将参数传送到逻辑单元5的指令和用于改变参数的指令，以便改变逻辑单元5所使用的参数。
[0473]
以这种方式，与图像处理或图像捕获处理相关联的参数被改变为基于阈值将图像数据量减少到最小可能量的值。
[0474]
因此，从接口单元7输出的图像信号具有保持处理器11所需的对象检测的必要准确度的图像质量等，并且还具有小的数据量。
[0475]
虽然图22的处理示例是将基于阈值设置的参数改变的思想添加到图5的分类图像适配的处理的示例，但是图22的处理示例不需要与分类图像适配的处理相结合。
[0476]
例如，也可以采用仅包括步骤s150、s151、s107和s108的处理示例(图22中去除了
步骤s101至s107的处理示例)。
[0477]
具体地，在步骤s151中，基于阈值计算来设置用于逻辑单元5的图像处理的参数，或者用于阵列传感器2或adc/像素选择器3的图像捕获处理的参数。
[0478]
此外，在步骤s107的时间，为逻辑单元5、阵列传感器2或adc/像素选择器3设置根据阈值设置的参数。
[0479]
换言之，计算单元8(阈值设置单元85)将根据阈值设置的参数传送到逻辑单元5、阵列传感器2和adc/像素选择器3的一些或所有，或者向这些单元的一些或所有给出参数改变指令。
[0480]
在这种情况下，例如，基于阈值计算，而不是基于使用对应于每个类别的参数集的思想，实现了依次改变例如逻辑单元5、阵列传感器2和adc/像素选择器3的默认参数集的这种处理。
[0481]
包括阈值设置单元85的配置不限于图21中的配置，而是可以是例如图25和图26中描绘的配置示例。
[0482]
图25描绘了终端设备100的配置示例，其中，计算单元8与传感器装置1分开提供。注意，例如信息处理终端和成像装置终端等各种类型的装置适用于终端设备100。
[0483]
计算单元8作为与传感器装置1分离的芯片设置在终端设备100中，并且经由接口单元7与传感器装置1通信。
[0484]
此外，计算单元8包括构成用于阈值设置的dnn引擎的阈值设置单元85。
[0485]
在这种情况下，图25的计算单元8也能够执行与图22中的上述情况类似的处理。
[0486]
注意，图25中描绘的配置示例也适用于对应于第一至第五实施例的图1的配置示例。计算单元8可以是与传感器装置1分离的单元。
[0487]
图26的配置示例是构成用于阈值设置的dnn引擎的阈值计算单元85由独立于传感器装置1和计算单元8设置的处理器等构成的情况下的示例。
[0488]
例如，终端设备100具有包括传感器装置1(包含计算单元8)、处理器11、外部传感器12和阈值设置单元85的配置。
[0489]
在这种情况下，阈值设置单元85类似地可经由接口单元7与传感器装置1通信，并且能够与计算单元8协作执行与图22的处理类似的处理。
[0490]
此外，虽然未示出，但是在如图25所示的传感器装置1和计算单元8彼此分离的配置中，阈值设置单元85也可以由单独的处理器等构成。
[0491]
注意，类似于阈值设置单元85，可采用关键帧选择单元81、对象区域识别单元82、类别识别单元83、参数选择单元84等被设置在传感器装置1或计算单元8外部的配置。这一点适用于图1所示配置的修改。
[0492]
《8.第七实施例：有源区域裁剪》
[0493]
在第七实施例中描述使用上述第二实施例的roi实现进一步有效处理的示例。
[0494]
注意，下文描述第七实施例的处理适用于图1、图21、图25和图26中描绘的配置中的任何一个。
[0495]
根据上述第二实施例中描述的示例，如图7和图8所示，为对应于检测目标的对象设置roi 21，并且仅从阵列传感器2读取指定为roi 21的区域内的像素。
[0496]
本文要注意的是，在某些情况下，被指定为roi 21的区域集中在图像内的特定区
域上。
[0497]
图27的a描绘了例如由设置在建筑物内部的监控相机捕获的图像的示例。假设为作为检测目标的人设置roi 21。该图指示图像中边界框20的位置。基于预先在预定周期内设置的边界框20来指定roi 21。
[0498]
在这种情况下，例如，先前的预定周期内的边界框20(和roi 20)的设置位置位于图像中地板附近的区域中。
[0499]
换言之，用于在天花板周围的图像区域中检测人的检测处理是不必要的，因为人没有出现在图像中天花板附近的区域中。
[0500]
因此，例如，如图27的b所示，与检测目标相对应的“人”出现的区域(即边界框20先前已经在预定周期中设置的区域)，被指定为有源区域ra，而与检测目标相对应的“人”没有出现的区域(即边界框20先前没有在预定周期中设置的区域)被指定为非有源区域da。
[0501]
图28的a描绘了由监控相机捕获的图像的示例，该监控相机监控例如作为高速公路上的检测目标的汽车，并且指示预先在预定周期中设置的边界框20的位置。
[0502]
在这种情况下，汽车出现在路面附近。因此，可以类似于图27的b中的那些来设置有源区域ra和非有源区域da。
[0503]
如在图27的b和图28的b中描绘的示例中，设置有源区域ra，并且从由阵列传感器2捕获的像素中的有源区域ra的检测信号中检测对象。此后，类似于第二实施例，将基于对象的检测而生成的指定roi 21作为与检测信号的获取或检测信号的信号处理相关联的区域的指令提供给信号处理单元30。
[0504]
具体地，通过不是通过全屏扫描而是基于与对象检测相关联的历史信息执行的部分光电转换，从对象检测关键帧检测对象。
[0505]
注意，本文的对象检测关键帧是指在第二实施例中从用于对象检测的阵列传感器2的所有有效像素区域获取信息的帧。第七实施例中的处理是仅从关键帧中的有源区域ra的像素区域获取信息的处理。
[0506]
图29描绘了由计算单元8执行的处理示例。注意，与图9中的对应处理相同的处理被赋予相同的步骤编号。
[0507]
在步骤s250中，计算单元8确定当前时间是否是关键帧的有源区域计算定时。如果当前时间是计算定时，则流程进行到步骤s161。如果当前时间不是计算定时，则流程进行到步骤s201。
[0508]
例如，以下可用作关键帧的有源区域ra的计算定时。
[0509]
a.每隔预定时间间隔：例如，从图像捕获开始每隔一小时
[0510]
b.每个预定的设定时间：例如，每天凌晨0：00
[0511]
c.目标类别出现的每预定次数：例如，目标类别出现每1000次
[0512]
d.目标类别的图像捕获的每个预定周期：例如，目标类别的图像捕获每过去五小时
[0513]
e.从外部命令的时间：例如，来自包含传感器装置1的装置/设备(例如，处理器11)的指令。
[0514]
在基于当前时间是计算定时的确定流程前进到步骤s161的情况下，计算单元8计算关键帧的有源区域ra。
[0515]
图30描绘了计算关键帧的有源区域ra的计算处理示例。
[0516]
在步骤s271中，计算单元8(对象区域识别单元82)计算阵列传感器2的外观区域中的像素，其中，目标类别的边界框20在先前的预定周期中出现。
[0517]
在这种情况下，已经出现的每个边界框20中的所有像素与相应出现区域中的像素相对应。优选地，设置包括已经出现的所有边界框20的范围，并且将该范围中的所有像素指定为出现区域的像素。
[0518]
可替代地，包括已经出现的所有边界框20的范围可以在外围方向上扩展，并且扩展范围中的所有像素可以被指定为出现区域的像素。
[0519]
包含如此计算的边界框20的所有外观区域的像素范围被指定为有源区域ra。
[0520]
在步骤s272中，计算单元8(对象区域识别单元82)将计算出的像素区域与类别名称一起记录为关键帧的有源区域ra。例如，计算单元8将像素区域记录在计算单元8内的记录区域中、将像素区域记录在存储器6中的预定区域中、或者将像素区域传送到处理器11并将像素区域记录在处理器11中。
[0521]
以这种方式，设置与目标类别相对应的有源区域ra。
[0522]
在图29的步骤s201中，计算单元8(关键帧选择单元81)在步骤s201中确定当前时间是否是对象检测关键帧记录定时。
[0523]
类似于第二实施例(图9)，本文的对象检测关键帧记录定时是指用于从用于对象检测的阵列传感器2获取信息的定时。
[0524]
对象检测关键帧记录定时可以根据从传感器装置1的外部(例如处理器11的)发出的命令来确定。例如，假设根据60秒的指令，以60秒的间隔确定对象检测关键帧记录定时。
[0525]
在对象检测关键帧记录定时时，计算单元8将流程前进到步骤s252，以获取阵列传感器2的有源区域ra中的像素的经ad转换的图像数据。例如，计算单元8使adc/像素选择器3输出从阵列传感器2接收的一帧中的有源区域ra的图像信号。
[0526]
计算单元8(对象区域识别单元82)在步骤s203中检测获取的图像中的候选对象的位置。从该步骤s203到步骤s208的处理类似于图9中的相应处理。
[0527]
根据上述图29中的处理，步骤s203中的对象检测可以不在一帧的整个有效像素区域中执行，而是仅在有源区域ra中执行。此外，有源区域ra是可以检测到目标类别的对象的区域。换言之，除了有源区域ra之外的区域是基本上没有目标类别的对象可检测的区域。
[0528]
因此，通过减少从对象检测关键帧读取的像素数和减少检测范围，可以实现处理效率的提高、功耗的降低等。
[0529]
虽然在上述示例中基于边界框20的历史来设置有源区域ra，但是可以基于roi 21的历史来设置有源区域ra。在这种情况下，还可以添加每帧可移动的roi的像素位置的历史(参考图10解释的roi 21(新))。
[0530]
《9.第八实施例：使用阈值设置和aroi的区域裁剪》
[0531]
在第八实施例中描述在第三实施例中使用aroi 22进一步提高区域裁剪效率的处理示例。注意，本文描述的第八实施例的处理适用于图21、图25和图26中描绘的配置中的任何一个。
[0532]
第八实施例在使用模板使用aroi 22的情况下，基于设置的阈值设置与要检测的目标相对应的对象(类别)或部分的参数。具体地，采用第六实施例中的阈值的思想。阈值是
基于由dnn计算的对象检测准确率来确定的，以设置参数。
[0533]
例如，根据基于置信度设置的阈值来确定aroi 22内关注区域的分辨率分布。
[0534]
图31示意性地描绘了一个示例。本文考虑的将是人被指定为目标类别的情况以及面部被指定为目标类别的情况。
[0535]
假设关系(第一分辨率)》(第二分辨率)》(第三分辨率)成立。
[0536]
假设人脸检测的置信度cr在第一分辨率下为0.95，在第二分辨率下为0.86，在第三分辨率下为0.66。
[0537]
假设用于人体检测的置信度cr在第一分辨率下为0.98，在第二分辨率下为0.81，在第三分辨率下为0.65。
[0538]
在用于面部检测的阈值thf为0.85的情况下，选择第二分辨率作为参数，以适于将图像数据量减少到最小可能量，并且对模板内的像素执行图像处理。
[0539]
此外，在用于人体检测的阈值thp为0.80的情况下，选择第二分辨率作为参数，以适于将图像数据量减少到最小可能量，并对模板内的像素执行图像处理。
[0540]
在这些情况下，第二种解决方案同时适用于这两种情况。然而，根据情况，假设在面部检测的情况下，第一分辨率被设置在设置为0.94的阈值thf下，或者针对人体检测，第三分辨率被设置在设置为0.60的阈值thp下。
[0541]
换言之，在使用aroi 22的情况下，为每个目标类别设置阈值，以便为aroi 22内的像素设置图像处理、读取处理等的参数。
[0542]
图32描绘了由计算单元8执行的处理示例。
[0543]
图32中的步骤s250和s251类似于图29中的步骤s250和s251。计算单元8在关键帧的有源区域ra的检测时间计算有源区域ra(图30中的处理)。
[0544]
步骤s260和s261类似于图22中的步骤s150和s151。具体地，在步骤s260中，计算单元8(阈值设置单元85)确定当前时间是否是阈值计算定时。如果当前时间是阈值计算定时，则在步骤s261中，计算单元8(阈值设置单元85)计算阈值(图24中的处理)。
[0545]
在这种情况下，计算单元8(对象区域识别单元82)执行步骤s160至s164中的处理，作为与上述类似的图24中的阈值计算处理。此后，在步骤s165中，计算单元8(阈值设置单元85)基于从对应于作为模板的aroi图案的像素区域的数据获得的置信度来计算阈值，同时改变由边界框20包围的目标类别的分辨率，并且基于计算的阈值来设置参数。
[0546]
在这种情况下，根据阈值设置作为对应于类别的模板的aroi模式的参数。例如，设置aroi图案的区域的分辨率。
[0547]
在步骤s166中，计算单元8(阈值设置单元85)将指示阈值、目标类别、aroi模式和必要参数以及阈值策略的信息彼此关联地记录。例如，计算单元8将信息记录在计算单元8内的记录区域中，将信息记录在存储器6的预定区域中，或者将信息传送到处理器11并将信息记录在处理器11中。
[0548]
在图32的步骤s201中，计算单元8确定当前时间是否是对象检测关键帧记录定时。当确定当前时间是对象检测关键帧记录定时时，计算单元8使流程前进到步骤s252，以获取阵列传感器2的有源区域ra中的像素的经ad转换的图像数据。例如，计算单元8使adc/像素选择器3输出从阵列传感器2接收的一帧中的有源区域ra的图像信号。
[0549]
计算单元8(对象区域识别单元82)在步骤s203中检测获取的图像中的候选对象的
位置。本文的步骤s203至s206类似于图9中的相应步骤。
[0550]
在步骤s206中计算边界框20之后，计算单元8(参数选择单元84)在步骤s262中选择基于阈值计算并记录的aroi图案。
[0551]
在步骤s211中，计算单元8(对象区域识别单元82)基于边界框20计算实际aroi 22。具体地，获得对应于所选aroi图案的实际像素区域。例如，根据边界框20的大小调整大小的模板被指定为aroi 22。
[0552]
此后，计算单元8(对象区域识别单元82)向adc/像素选择器3通知如此计算的aroi 22(aroi的图案和区域)。
[0553]
响应于该通知，adc/像素选择器3仅执行与阵列传感器2中的aroi22的像素相对应的ad转换，并输出转换后的像素。
[0554]
在步骤s212中，计算单元8获取包含仅与aroi 22内的像素相关联的信息的下一帧的图像数据。此后，计算单元8对获取的帧执行步骤s203和s204中的处理。
[0555]
如上所述，例如，也为aroi 22设置与置信度相对应的参数，以设置例如分辨率等参数。以这种方式，可以提高图像捕获处理和图像处理的效率，同时保持对象检测准确度。
[0556]
《10.第九实施例：通过阈值设置进行主动采样》
[0557]
在第九实施例中描述一个示例，该示例将用于基于由dnn计算的对象检测准确率来确定时间分辨率的方法添加到在第五实施例中解释的主动采样方法。
[0558]
具体地，执行基于每单位时间目标类别的平均移动量动态改变帧速率的处理。
[0559]
注意，本文描述的第九实施例的处理适用于图21、图25和图26中描绘的配置中的任何一个。
[0560]
在上述第五实施例中，准备了正常模式和空闲模式，并且选择空闲模式，在在捕获图像中没有检测到目标类别存在的周期期间设置低帧速率。此外，当确认存在目标类别时，选择正常模式，以提高帧速率并增加信息量。
[0561]
除了前述处理之外，第九实施例还根据目标类别设置正常模式下的帧速率。
[0562]
图32的a描绘了在传感器装置1包含在捕获公路图像的监控相机中的情况下的图像的示例。该图包含被指定为目标类别的汽车和边界框20。虚线箭头表示某辆车的移动方向。
[0563]
图32的b将图像捕获的汽车的移动量呈现为连续帧的图像中边界框20的位置(像素位置)的变化。许多汽车都考虑了这个移动量。假设平均移动量是1152像素/秒。
[0564]
在这种情况下，假设用于保持对象跟踪(在连续帧图像中跟踪目标对象)的计算采样率是46fps。
[0565]
接下来参考的图33的a描绘了图像的示例，其中，传感器装置1包含在设置在建筑物内部的监控相机中。该图包含每个被指定为目标类别的人以及与人相对应的边界框20。虚线箭头表示某个人的移动方向。
[0566]
图32的b将图像捕获的人的移动量呈现为连续帧的图像中边界框20的位置(像素位置)的变化。对许多人中的每一个人检查这个移动量。假设平均移动量是192像素/秒。
[0567]
在这种情况下，假设用于保持对象跟踪的计算帧速率是5fps。
[0568]
例如，在汽车被指定为目标类别的情况下用于保持对象跟踪的帧速率不同于在人被指定为目标类别的情况下用于保持对象跟踪的帧速率。
[0569]
因此，通过获得用于根据目标类别使用dnn保持对象跟踪的帧速率，然后获得帧速率的阈值(允许的帧速率下限)，可以保持用于检测目标对象以及跟踪目标对象的对象检测的准确度，同时将数据量减少到最小可能量。
[0570]
注意，根据阵列传感器2的读出定时的设置和adc/像素选择器3的采样率的设置来确定帧速率。
[0571]
图35描绘了由计算单元8执行的处理示例。
[0572]
步骤s350和s351类似于图22中的步骤s150和s151。具体地，在步骤s350中，计算单元8(阈值设置单元85)确定当前时间是否是阈值计算定时。如果当前时间是阈值计算定时，则在步骤s351中，计算单元8(阈值设置单元85)计算阈值(图24中的处理)。
[0573]
作为这种情况下的图24中的阈值计算处理，计算单元8(对象区域识别单元82)类似于上述，在步骤s160至s164中执行处理。随后，计算单元8(阈值设置单元85)在步骤s165中计算用于在改变由边界框20包围的目标类别的帧速率的同时保持对象跟踪的阈值(作为阈值的帧速率)。
[0574]
此后，计算单元8(阈值设置单元85)在步骤s166中将指示在步骤s165中计算的阈值、目标类别和用于阈值计算的阈值计算策略的信息相互关联地记录。例如，计算单元8将信息记录在计算单元8内的记录区域中，将信息记录在存储器6的预定区域中、或者将信息传送到处理器11并将信息记录在处理器11中。
[0575]
以这种方式，例如，设置基于与目标类别相对应的阈值的参数，即用于保持对象跟踪的帧速率的最低可能值。
[0576]
图35中的步骤s301至s106类似于图18中的相应步骤。
[0577]
例如，在步骤s301中，计算单元8(关键帧选择单元81)根据预先存储在计算单元8中的空闲模式的设置，将视频捕获设置输入到adc/像素选择器3。
[0578]
因此，如果空闲模式被设置为1fsp，则例如以1秒的间隔执行视频捕获。
[0579]
计算单元8(对象区域识别单元82)在步骤s302中检测获取的图像中的候选对象的位置。
[0580]
在步骤s303中，计算单元8(类别识别单元83)将检测到的对象分类为候选。
[0581]
在步骤s304中，计算单元8检查作为类别识别的结果获得的类别中是否存在目标类别。
[0582]
如果目标类别不存在，则计算单元8与步骤s350和s351一起重复步骤s301、s302和s303中的处理。
[0583]
当阈值计算定时在此期间到来时，执行步骤s351中的处理。
[0584]
在步骤s304中存在目标类别的情况下，计算单元8将处理从步骤s304前进到步骤s352。
[0585]
计算单元8(关键帧选择单元81)将步骤s351中的处理中存储的参数指定为正常模式设置中的参数，为adc/像素选择器3设置视频捕获，并给出正常模式下的图像捕获指令。
[0586]
例如，在将人指定为目标类别的情况下，在如图34的c所示的对象跟踪保持在5fps的状态下将帧速率设置为5fps的情况下，将正常模式下的帧速率设置为5fsp。
[0587]
以这种方式，计算单元8在模式已经切换到正常模式的状态下执行步骤s302和s303中的处理。
[0588]
只要在捕获的图像中存在目标类别，正常模式就会继续。然而，当不再存在目标类别时，流程在步骤s350和s351之后返回到步骤s301，以切换到空闲模式。
[0589]
执行上述处理，作为主动采样。以这种方式，通过降低帧速率来实现数据量压缩，特别是在没有目标类别的周期，并且因此降低了功耗。
[0590]
此外，即使在正常模式下，也以根据目标类别适配的帧速率执行该处理。因此，取决于类别，帧速率被降低到相当低的帧速率(例如，上述5fps)。因此，即使在正常模式下，也可以实现数据量压缩和功耗降低。
[0591]
根据该示例，计算单元8指示adc/像素选择器3改变帧速率，以实现帧速率改变。然而，计算单元8可以指示逻辑单元5改变帧速率。
[0592]
例如，以100fps持续进行从阵列传感器2读出。然而，指示逻辑单元5根据在空闲模式或正常模式下设置的参数来执行帧细化。以这种方式，可以实现与传输到处理器11相关联的数据量的减少。
[0593]
《11.移动体的应用示例》
[0594]
根据本公开的技术适用于各种类型的产品。例如，根据本公开的技术可以以安装在任何类型的移动体上的装置的形式实现，例如，汽车、电动汽车、混合电动汽车、摩托车、自行车、个人移动装置、飞机、无人机、船只和机器人。
[0595]
图36是描绘作为可应用根据本公开实施例的技术的移动体控制系统的示例的车辆控制系统的示意性配置的示例的框图。
[0596]
车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图36所示的示例中，车辆控制系统12000包括驾驶系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040和集成控制单元12050。此外，微型计算机12051、声音/图像输出部12052和车载网络接口(i/f)12053被示为集成控制单元12050的功能配置。
[0597]
驾驶系统控制单元12010根据各种程序控制与车辆驾驶系统相关的装置的操作。例如，驾驶系统控制单元12010用作用于生成车辆驱动力的驱动力生成装置的控制装置(例如，内燃机、驱动马达等)、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆转向角的转向机构、用于产生车辆制动力的制动装置等。
[0598]
车身系统控制单元12020根据各种程序控制提供给车身的各种装置的操作。例如，车身系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动车窗装置或各种灯(例如，头灯、倒车灯、刹车灯、转向灯、雾灯等)的控制装置。在这种情况下，作为按键的替代，从移动装置发送的无线电波或各种开关的信号可以被输入到车身系统控制单元12020。车身系统控制单元12020接收这些输入无线电波或信号，并控制车辆的门锁装置、电动车窗装置、灯等。
[0599]
车外信息检测单元12030检测关于包括车辆控制系统12000的车辆外部的信息。例如，车外信息检测单元12030与成像部12031连接。车外信息检测单元12030使成像部12031对车辆外部的图像进行成像，并接收成像的图像。基于接收到的图像，车外信息检测单元12030可以执行检测例如人、车辆、障碍物、标志、路面上的字符等对象的处理或者检测与其的距离的处理。
[0600]
成像部12031是光学传感器，该光学传感器接收光，并且输出对应于光的接收光量
的电信号。成像部12031可以输出作为图像的电信号，或者可以输出作为关于测量距离的信息的电信号。此外，由成像部12031接收的光可以是可见光，或者可以是例如红外线等不可见光。
[0601]
车内信息检测单元12040检测关于车辆内部的信息。车内信息检测单元12040例如与检测驾驶员状态的驾驶员状态检测部12041连接。驾驶员状态检测部12041例如包括对驾驶员进行成像的相机。基于从驾驶员状态检测部12041输入的检测信息，车内信息检测单元12040可以计算驾驶员的疲劳程度或驾驶员的集中程度，或者可以确定驾驶员是否正在打瞌睡。
[0602]
微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆内部或外部的信息来计算驱动力生成装置、转向机构或制动装置的控制目标值，并且向驾驶系统控制单元12010输出控制命令。例如，微型计算机12051可以执行旨在实现高级驾驶员辅助系统(adas)的功能的协作控制，这些功能包括车辆的碰撞避免或震动减轻、基于跟随距离的跟随驾驶、车辆速度保持驾驶、车辆碰撞警告、车辆偏离车道警告等。
[0603]
此外，微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆外部或内部的信息，通过控制驱动力生成装置、转向机构、制动装置等来执行旨在自动驾驶的协作控制，这使得车辆自主行驶而不依赖于驾驶员的操作等。
[0604]
此外，微型计算机12051可以基于由车外信息检测单元12030获得的关于车辆外部的信息，向车身系统控制单元12020输出控制命令。例如，微型计算机12051可以例如根据由车外信息检测单元12030检测到的前方车辆或迎面而来车辆的位置，通过控制前照灯，以从远光变为近光，来执行旨在防止眩光的协同控制。
[0605]
声音/图像输出部12052将声音和图像中的至少一个的输出信号发送到能够视觉或听觉地向车辆乘员或车辆外部通知信息的输出装置。在图36的示例中，音频扬声器12061、显示部12062和仪表板12063被示为输出装置。显示部12062可以例如包括车载显示器和平视显示器中的至少一个。
[0606]
图37是描绘成像部12031的安装位置的示例的图。
[0607]
在图37中，成像部12031包括成像部12101、12102、12103、12104和12105。
[0608]
成像部12101、12102、12103、12104和12105例如设置在车辆12100的前鼻、侧视镜、后保险杠和后门上的位置以及车辆内部的挡风玻璃上部的位置。设置在前鼻的成像部12101和设置在车辆内部的挡风玻璃上部的成像部12105主要获得车辆12100前方的图像。设置在侧视镜上的成像部12102和12103主要获得车辆12100侧面的图像。设置在后保险杠或后门上的成像部12104主要获得车辆12100后部的图像。设置在车辆内部挡风玻璃上部的成像部12105主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。
[0609]
顺便提及，图37描绘了成像部12101至12104的拍摄范围的示例。成像范围12111表示提供给前鼻的成像部12101的成像范围。成像范围12112和12113分别表示提供给侧视镜的成像部12102和12103的成像范围。成像范围12114表示提供给后保险杠或后门的成像部12104的成像范围。例如，通过叠加由成像部12101至12104成像的图像数据，获得从上方观看的车辆12100的鸟瞰图像。
[0610]
成像部12101至12104中的至少一个可以具有获得距离信息的功能。例如，成像部12101至12104中的至少一个可以是由多个成像元件构成的立体相机，或者可以是具有用于
相位差检测的像素的成像元件。
[0611]
例如，微型计算机12051可以基于从成像部12101至12104获得的距离信息来确定到成像范围12111至12114内的每个三维对象的距离以及距离的时间变化(相对于车辆12100的相对速度)，从而提取特别是存在于车辆12100的行驶路径上并且在与车辆12100基本相同的方向上以预定速度(例如，等于或大于0km/小时)行驶的最近的三维对象，作为前方车辆。此外，微型计算机12051可以预先设定保持在前方车辆前方的跟随距离，并执行自动制动控制(包括跟随停止控制)、自动加速控制(包括跟随启动控制)等。因此，可以执行用于自动驾驶的协作控制，该协作控制使得车辆自主行驶，而不依赖于驾驶员等的操作。
[0612]
例如，微型计算机12051可以基于从成像部12101至12104获得的距离信息，将三维对象上的三维对象数据分类为两轮车辆、标准尺寸车辆、大型车辆、行人、电线杆和其他三维对象的三维对象数据，提取分类的三维对象数据，并将提取的三维对象数据用于自动避开障碍物。例如，微型计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员能够视觉识别的障碍物和车辆12100的驾驶员难以视觉识别的障碍物。然后，微型计算机12051确定指示与每个障碍物碰撞风险的碰撞风险。在碰撞风险等于或高于设定值并且因此存在碰撞可能性的情况下，微型计算机12051经由音频扬声器12061或显示部12062向驾驶员输出警告，并且经由驾驶系统控制单元12010执行强制减速或避让转向。微型计算机12051由此可以辅助驾驶，以避免碰撞。
[0613]
成像部12101至12104中的至少一个可以是检测红外线的红外相机。微型计算机12051例如可以通过确定在成像部12101至12104的成像图像中是否存在行人来识别行人。例如，通过提取作为红外相机的成像部12101至12104的成像图像中的特征点的处理和通过对表示对象轮廓的一系列特征点执行模式匹配处理来确定是否是行人的处理，来执行行人的这种识别。当微型计算机12051确定在成像部12101至12104的成像图像中存在行人，并且因此识别出行人时，声音/图像输出部12052控制显示部12062，使得显示用于强调的方形轮廓线，以便叠加在识别出的行人上。声音/图像输出部12052还可以控制显示部12062，使得表示行人的图标等显示在期望的位置。
[0614]
上面已经描述了根据本公开的技术适用的车辆控制系统的一个示例。例如，根据本公开的技术适用于上述配置中的成像部12031。具体地，本公开的传感器装置1应用于安装在成像部12031上的图像传感器，以执行分割图像适配、区域裁剪、智能压缩和主动采样中的一部分或所有。以这种方式，可以实现适合于车辆外部的信息检测的图像处理、通过适当减少信息量来减少处理负荷而不降低检测准确度等。
[0615]
《12.总结和修改》
[0616]
根据上述实施例，产生了以下有益效果。
[0617]
如第一和第六实施例中所描述，传感器装置1包括：阵列传感器2，包括一维或二维布置的多个可见光或不可见光成像元件；逻辑单元5(图像处理单元)，使用与通过使用阵列传感器2的图像捕获获得的图像信号的指令相对应的参数来执行图像处理；以及计算单元8。计算单元8识别从通过使用阵列传感器2的图像捕获获得的图像信号中检测到的对象的类别，基于所识别的类别选择用于图像处理的参数，并且使用所选择的参数执行逻辑单元5的处理设置。
[0618]
具体地，逻辑单元5对由阵列传感器2获得的图像信号执行图像处理。在这种情况
下，基于图像信号中检测到的对象的类别识别来设置用于图像处理的参数。
[0619]
在从图像中检测对象的情况下，对于观看者来说的具有高质量的图像不一定是具有高识别准确度的图像。此外，对于要识别的对象的每个类别，优选的图像质量不同。具体地，考虑到视觉识别，经历基于实现高图像质量的正常参数设置的图像处理的图像不一定具有适合于对象检测的图像质量。此外，优选的图像处理参数对于待识别的对象的每个类别而言是不同的。
[0620]
因此，预先为每个类别保留参数集，并且根据捕获图像中检测到的对象的类别标识来选择要使用的参数集。以这种方式，实现了适于检测目标对象的图像处理。以这种方式经历图像处理的图像实现了对象检测准确度的提高。
[0621]
此外，适合于对象检测的图像质量调整不同于为观众产生美丽图像的图像质量调整。因此，例如，不使用用于产生具有优先级的美丽图像的扩散滤波器等。因此，要设置的参数通常是减少处理负荷的参数。
[0622]
此外，数据量通常根据对应于类别的参数(例如，与灰度变化或压缩相关联的参数)而减少。在这种情况下，可以避免由处理器11侧的重计算负载引起的处理延迟以及整个系统的功耗增加。
[0623]
各个实施例的传感器装置1包括接口单元7(输出单元)，该接口单元将经过使用逻辑单元5(图像处理单元)的图像处理的图像信号输出到外部装置。
[0624]
传感器装置1使用内部提供的逻辑单元5执行对应于对象类别的图像处理，并将处理后的图像发送和输出到处理器11(图5中的步骤s108)。以这种方式，消除了由处理器11进行图像质量调整以改善对象检测的必要性。因此，在降低处理器11的处理负荷的同时，可以实现高准确度的对象检测。
[0625]
此外，考虑到观看者的视觉识别，基于类别识别选择的参数集不一定是用于获得最大图像质量的参数集。处理的图像的数据量根据情况而减少。具体地，输出图像，该图像不一定对于观看者具有最大的图像质量，但是具有适合于由处理器识别的对象的图像质量。因此，在某些情况下，可以减少要传输的图像信号的数据量。
[0626]
因此，可以降低通信成本，而不会降低对象检测的准确度。在云中执行计算的情况下引起的传输延迟也可以提高。
[0627]
根据以上描述，实施例的接口单元7(输出单元)还传输与要输出的图像信号的类别标识相关联的信息(图5中的步骤s108)。
[0628]
以这种方式，对应于输出目的地的处理器11、云中的人工智能处理器等能够在识别类别之后检测对象，因此实现更准确的对象检测。
[0629]
根据第一和第六实施例中的以上描述，计算单元8在图像信号的一帧中执行用于检测与作为检测目标的对象的候选相对应的对象区域的对象区域识别处理、用于识别由对象区域识别处理检测的对象区域中的对象的类别的类别识别处理、以及用于基于类别识别处理的识别结果选择参数并将处理设置输入到逻辑单元5的参数选择处理(参见图1和图5)。
[0630]
具体地，计算单元8包括用于执行对象区域识别处理的对象区域识别单元82、用于执行类别识别处理的类别识别单元83以及用于执行参数选择处理的参数选择单元84。这种配置实现了从图像信号的一帧中检测候选对象、类别识别以及基于类别识别的参数选择。
[0631]
根据第一和第六实施例中的以上描述，计算单元8在图像信号的一帧中执行用于检测与作为检测目标的对象的候选相对应的对象区域的对象区域识别处理、用于识别由对象区域识别处理检测的对象区域中的对象的类别的类别识别处理、用于确定目标类别是否存在于由类别识别处理识别的类别中的处理以及用于在目标类别存在的情况下基于目标类别的识别结果选择参数并将处理设置输入到逻辑单元5的参数选择处理(参见图1、5和22)。
[0632]
通过确定目标类别的存在，可以有效地执行基于作为图像识别目标的对象类别的参数选择。换言之，通过消除基于非目标对象的检测的参数选择，处理效率增加，并且在不执行无用的参数选择的情况下，就不会设置不适当的参数。因此，提高了目标对象的图像识别准确度。
[0633]
根据第一和第六实施例，可以设置多个目标类别。在一帧中存在多个目标类别中的对象的情况下，基于所选择的一个目标类别来执行参数选择处理(参见图5和22中的步骤s106)。
[0634]
通过允许设置多个目标类别，可以处理对应于多个类别的目标对象的图像识别。
[0635]
此外，例如，在多个目标类别中的对象存在于一帧中的情况下，选择主导或主要目标类别。以这种方式，通过基于一个目标类选择参数来提供适当的参数集。
[0636]
此外，根据上述第一和第六实施例(图5和22中的步骤s105和s106)，为对应于目标类别的对象区域计算对象周围的边界框20。在存在多个目标类别的情况下，基于边界框20的区域选择一个目标类别。
[0637]
在存在多个目标类别中的对象的情况下，使用边界框20指定各个对象的区域，并且获得一帧中各个目标类别中的对象的主要区域，以确定要优先处理的目标类别。以这种方式，可以实现更合适的参数选择。
[0638]
根据上述第一和第六实施例，计算单元8基于所识别的类别选择包括多个参数并且为每个类别设置的参数集。具体地，存储由逻辑单元执行的各种类型的处理的一组参数。为逻辑单元选择和设置该参数集(参见图4、5和22中的步骤s107)。
[0639]
以这种方式，适于目标类别(目标类别)的多个参数可设置为适于由逻辑单元5执行的各种类型的处理的参数。
[0640]
根据上面呈现的第一实施例，参数集是通过使用每个类别的对应对象的图像进行深度学习而获得的多个参数的集合。
[0641]
例如，通过使用人类图像作为学习数据的深度学习，来获得用于实现人类识别的高图像识别率的图像处理参数，并且所获得的参数集被指定为对应于称为“人类”的类别的参数集(参见图4)。
[0642]
以这种方式，可以为每个类别准备适当的参数集，并且通过选择适当的参数集可以实现适合于目标图像识别的参数选择。
[0643]
根据上述第一和第六实施例，计算单元8识别通过使用阵列传感器2进行图像捕获而获得的图像信号中被指定为关键帧的帧的类别，并且基于所识别的类别来选择用于图像处理的参数(参见图5和22中的步骤s101和s102)。
[0644]
不是对所有帧，而是仅对关键帧执行这种类别识别。因此，施加在计算单元8上的处理负荷不会过度增加。此外，可以通过基于适当的选择算法选择关键帧来保持适当的参
数选择状态。
[0645]
根据上述第一和第六实施例，关键帧是以预定时间间隔获得的帧。
[0646]
以这种方式，定期进行参数选择。例如，每三十秒有一帧被指定为关键帧。在这种情况下，由计算单元8执行的处理不会变得过于繁重，并且可以保持适当的参数设置。
[0647]
此外，优选地，根据各种类型的情况来设置关键帧的间隔，例如，图像识别的目标对象、传感器装置1的使用环境、使用目的以及包含传感器装置1的装置类型。
[0648]
此外，还描述了指定在基于来自外部装置的命令的时间获得的帧的示例。
[0649]
例如，响应于来自对应于图像输出目的地的处理器11等的指令来设置关键帧。以这种方式，关键帧选择和参数选择可以根据由对应于与图像信号或类别识别相关联的信息的输出目的地的装置执行的识别处理的目的等来实现。例如，根据包含传感器装置1的设备的类型、目的等来设置关键帧。
[0650]
在这种情况下，假设包含传感器装置1的装置是车载设备，例如，在汽车开始行驶的时间，关键帧的间隔可以减小。
[0651]
各个实施例的逻辑单元5执行例如颜色校正、伽马校正、颜色灰度处理、增益处理、轮廓强调处理、数据压缩处理、帧速率转换、分辨率转换、纵横比转换、对比度调整处理、清晰度调整处理、灰度级调整处理或采样率改变处理等处理，作为图像信号的图像处理。
[0652]
以这种方式，实现了图像质量调整和数据量转换。在这种情况下，通过为前述处理设置参数来执行适合于要识别的对象类别的图像质量调整和数据大小调整(例如，分辨率和帧速率)。结果，获得了适于目标类别的对象检测的图像和数据大小，并且减少了图像质量和数据量的不必要的增加。这些有助于降低通信成本、提高处理速度、提高对象检测准确度等。
[0653]
根据上述各个实施例，接口单元7(输出单元)响应于来自外部装置的请求，输出指示经受逻辑单元5的图像处理的图像信号的信息、识别的类别信息、检测到的对象的数量以及目标类别的存在或不存在的任何或所有项目。这是在第一至第五实施例中执行的常见操作。
[0654]
具体地，接口单元7响应于来自处理器11、云中的处理器等的请求，输出指示经受逻辑单元5的图像处理的图像信号的信息项中的处理器11所需的信息、指示由计算单元8识别的类别的信息、对象的数量以及目标类别的存在或不存在。以这种方式，避免了不必要的信息传输。因此，也实现了通信量的减少和功耗的降低。
[0655]
此外，可提供对应于由处理器11等执行的处理的信息。
[0656]
虽然在各个实施例中图像信号是目标，但是假设阵列传感器2由声波检测元件阵列或触觉传感器元件阵列构成。在这种情况下，接口单元7响应于来自外部装置的请求，输出这些检测信号(由逻辑单元5处理后的检测信号)。
[0657]
如第二、第三、第四、第七和第八实施例中所描述，传感器装置1包括阵列传感器2和信号处理单元30，阵列传感器包括一维或二维布置的多个检测元件，信号处理单元获取由阵列传感器2获得的检测信号，并对检测信号执行信号处理。计算单元8从由阵列传感器2获得的检测信号中检测对象，并且向信号处理单元30给出基于对象的检测生成区域信息(roi21或aroi 22)的指令，作为与从阵列传感器2获得的检测信号的获取相关联或者与检测信号的信号处理相关联的区域信息。
[0658]
具体地，信号处理单元30对阵列传感器2获得的检测信号执行信号处理，并且处理后的检测信号从接口单元7输出。在这种情况下，基于对象检测来设置与从阵列传感器2获取检测信号或由信号处理单元30实现的信号处理相关联的区域信息。
[0659]
如实施例中那样，对于从图像中检测对象，不总是需要与各个帧的所有像素相关联的信息。例如，在检测到人的情况下，仅需要指示帧内包含人的区域的检测信息。因此，计算单元8基于对象检测生成roi 21或aroi22，以实现由信号处理单元30执行的处理，即，使用adc/像素选择器3从阵列传感器2获取检测信号、以及由逻辑单元5基于roi 21或aroi 22执行的压缩处理。
[0660]
以这种方式，可以实现处理目标的数据量的减少和处理速度的提高，并且还可以获得不降低检测准确度的图像信号。
[0661]
注意，不仅可以对图像信号执行对象检测，还可以对以声波检测信号或触觉检测信号的形式从阵列传感器获得的检测信号执行对象检测，以向信号处理单元给出基于对象的检测而生成的区域信息的指令，作为与从阵列传感器获得的检测信号的获取相关联或者与检测信号的信号处理相关联的区域信息。
[0662]
以这种方式，可以实现处理目标的数据量的减少和处理速度的提高，并且即使在使用声波传感器阵列或接触传感器阵列的情况下，也可以获得获取检测信号而不降低检测准确度的效果。
[0663]
在第二、第三、第四、第七和第八实施例的情况下，接口单元7(输出单元)将经过信号处理单元30的信号处理的检测信号输出到外部装置。
[0664]
通过使用roi 21或aroi 22仅对部分像素进行ad转换而获得的图像信号或者使用roi 21以针对每个区域改变的压缩率压缩的图像信号被输出到处理器11等。因此，要传输的数据量大大减少。结果，实现了通信成本的降低和传输时间的减少。此外，包含对象检测所需的信息。因此，处理器11等的对象检测准确度不会降低。此外，通过减少数据量，减轻了施加在处理器11上的处理负荷。
[0665]
此外，可以避免由处理器11侧的重计算负载引起的处理延迟以及整个系统的功耗增加。
[0666]
根据各个实施例，信号处理单元30包括adc/像素选择器3(获取单元)，其从阵列传感器2的检测元件选择性地获取检测信号。
[0667]
此外，根据第二、第三、第七和第八实施例，adc/像素选择器3获取基于从计算单元8接收的roi 21或aroi 22选择的检测元件的检测信号，作为一帧检测信号(见图9、图14、图29和图32)。
[0668]
adc/像素选择器3在已经检测到对象的下一帧中，仅对由roi 21或aroi 22指定的范围内的光电转换信号进行ad转换并获取光电转换信号。以这种方式，可以显著减少一帧的数据量。此外，通过基于对象检测设置roi 21或aroi 22，可以适当地获得与对象检测所需的像素相关联的信息。
[0669]
根据上述第二、第三、第七和第八实施例，在adc/像素选择器3(获取单元)不使用区域信息(roi 21或aroi 22)选择检测元件的状态下，计算单元8从阵列传感器2获取的检测信号中检测对象，并且向信号处理单元30给出使用adc/像素选择器3基于对象的检测生成指定roi 21或aroi 22的指令，作为用于从阵列传感器2获取下一帧中的检测信号的区域
信息(参见图9、图14、图29和图32)。
[0670]
通过从包含一帧中所有有效像素的图像信号中检测对象，可以在捕获的图像中准确地检测待检测对象。此外，通过基于检测到的对象生成roi21或aroi 22，并将roi 21或aroi 22提供给adc/像素选择器3，可以从下一帧获取仅与对象检测所需的像素相关联的信息。因此，在减少数据量的同时，可以获得适当的检测信息(与必要像素相关联的信息)。
[0671]
根据上述第二、第三、第七和第八实施例，在adc/像素选择器3已经使用roi 21或aroi 22选择了检测元件的状态下，计算单元8从阵列传感器2获取的检测信号中检测对象，并且向信号处理单元30给出使用adc/像素选择器3基于对象的检测重新生成区域信息的指令，作为用于从阵列传感器2获取下一帧中的检测信号的区域信息(参见图9、图14、图29和图32以及图10中的步骤s203)。
[0672]
通过也从包含仅与部分像素相关联的信息的图像信号帧中检测对象，可以根据对象位置的变化来校正roi 21或aroi 22。以这种方式，由adc/像素选择器3获取的区域根据对象(例如，人)在下一帧图像中的移动而改变。换言之，即使目标对象的位置在每一帧的图像内变化，也可以在每一帧的变化之后的位置选择和读取像素。因此，即使随着帧的进展，在减少数据量的同时实现适当的检测信息(像素信息)的状态也可以继续。
[0673]
根据第二、第三、第七和第八实施例，在adc/像素选择器3已经使用roi 21或aroi 22选择了检测元件的状态下，计算单元8从阵列传感器2获取的检测信号中检测对象。在没有检测到目标对象的情况下，计算单元8给出在adc/像素选择器3没有使用roi 21或aroi 22选择检测元件的状态下从阵列传感器2获取下一帧中的检测信号的指令(参见图9、图14、图29和图32中的步骤s205、s201和s202)。
[0674]
具体地，当在仅包含与来自阵列传感器2的部分检测元件相关联的信息的帧中不再检测到目标对象时，计算单元8将获取单元对检测信号的获取返回到正常状态。
[0675]
以这种方式，状态返回到从包含一帧中的所有有效像素的图像信号中检测到对象的状态，并且对于整个捕获图像，目标对象的检测也是可实现的。换言之，可以实现用于监控整个图像的状态。
[0676]
根据上述第二、第三、第四、第七和第八实施例，计算单元8计算包围使用阵列传感器2从检测信号中检测到的对象的区域的边界框20，并且基于边界框20生成作为区域信息的roi 21或aroi 22(参见图9、图14、图16、图29和图32)。
[0677]
可以通过使用对象检测来生成边界框20，并且基于所生成的边界框20来生成roi 21或aroi 22，来产生对应于图像中目标对象的位置的roi21或aroi 22。以这种方式，可以选择下一帧中合适的读出像素。
[0678]
根据第二、第四、第七和第八实施例，计算单元8通过扩展边界框20来生成roi 21(参见图9、图16、图29和图32)。
[0679]
边界框20围绕当前帧中的对象区域。但是，对象的位置可能会在后续帧中发生变化。因此，通过扩展边界框20来生成roi 21。
[0680]
以这种方式，从下一帧获取的信息(经ad转换的像素的信号)更有可能包含对象。换言之，可以尽可能长时间地继续读出包含必要信息的像素。
[0681]
根据上述第二实施例的描述，计算单元8以检测元素为单位确定检测对象的区域，并基于该确定生成区域信息(参见图11)。
[0682]
具体地，基于语义分割生成roi 21。在这种情况下，还生成具有除矩形以外的形状的roi 21。
[0683]
根据对象的不同，矩形剪裁可能会丢失信息。例如，具有突起的卡车、骑自行车的人等在剪裁为矩形时可能具有突出部分。如果roi 21被成形为覆盖突出部分，则roi 21的尺寸无用地增加。结果，数据减少效果降低。因此，必要的区域在像素级是可选择的。以这种方式，通过最小的数据量可以获得必要的信息。
[0684]
本文描述的基于语义分割的roi 21在第四实施例中设置低压缩率的区域的情况下也是有用的。
[0685]
根据第二、第三、第四、第七和第八实施例，计算单元8在从阵列传感器2获得的检测信号中的对象检测关键帧记录定时检测帧(关键帧)中的对象，并基于对象检测生成区域信息(参见图9、图14、图16、图29和图32中的步骤s201)。
[0686]
不是对所有帧执行，而是仅对关键帧执行该对象检测。因此，施加在计算单元8上的处理负荷不会过度增加。此外，通过基于适当的选择算法选择关键帧，可以保持用于实现适当的对象检测的状态。
[0687]
在这种情况下，关键帧也是针对每个预定时间间隔获得的帧，或者是在基于来自外部设备的命令的时间获得的帧。
[0688]
例如，通过根据包含传感器装置1的设备的类型、目的等设置关键帧，可以实现在设备或应用程序所需的时间从帧中的所有像素进行对象检测，并减少后续帧中的数据量。
[0689]
根据第二、第三、第四、第七和第八实施例，计算单元8识别从阵列传感器2获得的检测信号中检测到的对象的类别，确定所识别的类别是否是目标类别，并且生成与目标类别的对象相对应的区域信息(roi 21或aroi 22)(参见图9、图14、图16、图29和图32中的步骤s204和s205)。
[0690]
可以通过基于用于定义目标类别的对象区域的目标类别的存在的确定来生成roi 21或aroi 22，来创建用于获取与检测目标的对象相关联的信息的准确区域信息。
[0691]
根据上述第三和第八实施例，计算单元8识别从阵列传感器2获得的检测信号中检测到的对象的类别，并且使用与识别的类别相对应的模板来生成与对象相对应的区域信息(aroi 22)(参见图14中的s210和s211以及图32中的s262和s211)。
[0692]
通过使用对应于类别的模板，可以生成适用于每个类别不同的重要区域的aroi 22。
[0693]
特别是在阵列传感器2由成像元件构成的情况下，光电转换消耗最大量的功率。在这种情况下，希望尽可能减少光电转换的像素。通过根据模板减少光电转换的像素，可以在不影响检测准确度的情况下实现有效数据量的减少。特别是在图像的情况下，重要的不是为观看者生成美丽的图像，而是生成由处理器11准确识别对象的图像。通过使用模板指定要光电转换并转换成数字数据的像素而生成的图像是适合于通过小数据量实现的有效对象检测的图像。
[0694]
此外，模板指示为每个类别获取检测信号的获取区域。
[0695]
例如，假设模板指示在阵列传感器的检测元件中要从中获取检测信息的检测元件，用于例如“人”和“车”等每个类别(见图12和图13)。
[0696]
通过使用指示对应于类别要读取的像素的模板，可以实现从阵列传感器2读出每
个类别的适当信息。具体地，如图12和图13的示例中那样，通过增加部件(面部或号码牌部分)中的密度，可以针对每个类别集中获取对应于特别需要的部分的信息。
[0697]
根据上述第四实施例，信号处理单元30使用逻辑单元5执行用于压缩从阵列传感器2接收的检测信号的压缩处理。逻辑单元5基于从计算单元8接收的区域信息，以对于每个区域不同的压缩率执行压缩处理(参见图16)。
[0698]
以这种方式，信号处理单元30(逻辑单元5)通过为帧中的重要区域和不太重要的区域设置不同的压缩率来实现不减少重要信息的数据压缩。
[0699]
此外，逻辑单元5在由区域信息指定的区域中以低压缩率执行压缩处理，并且在另一区域中以高压缩率执行压缩处理(参见图16)。
[0700]
信号处理单元30(逻辑单元5)在由roi 21指定的区域中以低压缩率执行压缩处理，并且在已经检测到对象的下一帧和后续帧中的其他区域中以高压缩率减少数据量。根据对象检测生成roi 21。因此，由roi 21指示的区域也是由处理器11执行的对象检测的重要区域。为该区域设置低压缩率，以避免信息减少。以这种方式，防止了检测准确度的降低。另一方面，除了由roi 21指示的区域之外的区域是对对象检测影响不大的区域。因此，该区域以高压缩率压缩，以有效地减少数据量。
[0701]
如第五和第九实施例中所描述，传感器装置1包括：阵列传感器2，包括一维或二维布置的多个检测元件；信号处理单元30，获取由阵列传感器2获得的检测信号，并对检测信号执行信号处理；以及计算单元8，从由阵列传感器2获得的检测信号中检测对象，并且基于对象的检测给出改变从阵列传感器2接收的检测信号的帧速率的指令。
[0702]
如实施例中那样，对于从图像中检测对象，不总是需要高帧速率的图像信号。例如，为了检测人，即使帧速率低，在不包含人的帧中也不会引起问题。相反，帧速率在人类出现的一段时间内提高。在这种情况下，信息量增加，因此允许对象(人)的检测以及根据检测可识别的信息增加。
[0703]
具体地，通过根据对象的检测改变帧速率，在需要数据时自适应地增加数据量，在不需要数据时减少数据量。因此，可以减少处理数据量或传输数据量，而不会降低对象检测性能。
[0704]
注意，可以基于来自阵列传感器获得的检测信号的对象检测，给出改变从阵列传感器接收的检测信号的帧速率的指令，不仅通过图像信号的形式，而且通过声波检测信号、触觉检测信号等的形式。以这种方式，即使在使用声波传感器阵列或接触传感器阵列的情况下，数据量在需要数据时自适应地增加，而在不需要数据时减少。因此，可以产生减少处理数据量或传输数据量而不降低对象检测性能的效果。
[0705]
在阵列传感器是成像元件阵列的情况下，帧是指图像的帧。即使在声波检测元件或触觉传感器元件的情况下，该帧也具有相同的含义，并且指示在一个读取周期中从阵列传感器的多个检测元件读取的数据单元，而与阵列传感器的类型无关。帧速率对应于该帧单位时间内的密度。
[0706]
在第五和第九实施例的情况下，将经过信号处理单元30的信号处理的检测信号输出到外部装置的接口单元7(输出单元)被配置为向处理器11等输出其帧速率基于对象检测的结果而改变的检测信号。
[0707]
因此，要传输的数据量大大减少。结果，实现了通信成本的降低和传输时间的减
少。此外，包含目标对象检测所需的信息。因此，处理器11等的对象检测的准确度不会降低。此外，施加在处理器11上的处理负荷也通过数据量的减少而减少。
[0708]
此外，可以避免由处理器11侧的重计算负载引起的处理延迟以及整个系统的功耗增加。
[0709]
根据第五和第九实施例，计算单元8至少存储第一模式(空闲模式)的帧速率的设置值和第二模式(正常模式)的帧速率的设置值，并且根据对象检测的结果基于第一模式或第二模式的设置值执行控制(参见图18和图35)。
[0710]
以这种方式，作为主动采样的控制可以通过简单的处理来实现，该处理根据对象检测的结果，即目标类别的对象的存在或不存在，来选择设置值。
[0711]
优选地，在第五和第九实施例中，第一模式的帧速率的设置值和第二模式的帧速率的设置值中的一个或两个可以从外部装置重写。例如，根据外部处理器的使用应用、处理能力、应用的使用目的等，设置值可变。
[0712]
根据处理器11的目的或处理器11的应用的帧速率设置可以通过重写来自处理器11等的设置值来实现。
[0713]
根据上述第五和第九实施例中的示例，计算单元8通过给出来自阵列传感器2的检测信号的读出间隔的指令来改变帧速率(见图18和图35)。
[0714]
例如，计算单元8(关键帧选择单元81)指示阵列传感器2和adc/像素选择器3在空闲模式与正常模式之间切换，以改变由阵列传感器2和adc/像素选择器3执行的图像信号读出的间隔，用于帧速率切换。
[0715]
在这种情况下，由阵列传感器2实现的光电转换和读出本身的间隔在空闲模式下增加，以降低帧速率。阵列传感器2消耗大量功率，用于光电转换。因此，阵列传感器2的读出间隔的增加对于降低功耗相当有效。
[0716]
根据第五和第九实施例的描述，计算单元8可以指示信号处理单元30(逻辑单元5)改变帧速率，以实现帧速率改变。
[0717]
具体地，通过信号处理处理中的帧速率转换来执行帧速率的切换。
[0718]
帧速率转换可以由逻辑单元5实现。例如，可以通过执行帧细化来降低帧速率。在这种情况下，在阵列传感器2持续以高帧速率执行读出的状态下，不会产生阵列传感器2的功耗降低的效果。然而，即使在这种情况下，也可以产生减少传送到处理器11的数据量的效果。
[0719]
根据上述第五和第九实施例，计算单元8识别从阵列传感器2获得的检测信号中检测到的对象的类别，确定所识别的类别是否是目标类别，并根据确定结果给出帧速率改变的指令(参见图18中的s304、s305和s301，以及图35中的s304、s352和s301)。
[0720]
确定目标类别的存在，并且通过基于目标类别的对象的存在选择正常模式来提高帧速率。在没有检测到目标类别的对象的情况下，通过选择空闲模式来降低帧速率。以这种方式，根据对应于检测目标的对象的存在，可以实现准确的检测。
[0721]
例如，对于例如监视人等使用目的，通过基于检测到人作为目标类别提高帧速率，来实现详细监视，而对于其他目的，选择空闲模式，来实现功耗的减少或数据量的减少。
[0722]
根据各个实施例，阵列传感器2的检测元件由成像元件构成。具体地，由阵列传感器2产生的检测信号是通过图像捕获(光电转换)产生的图像信号。
[0723]
因此，在使用捕获图像的对象检测中，可实现在保持对象检测准确度的情况下适当减少数据量，并且通过减少数据量来减少处理负荷和减少传输成本等。
[0724]
根据实施例，假设传感器装置1具有集成型感测模块配置，其具有构成计算单元8的ai芯片或dram芯片。
[0725]
另一方面，可以采用这样的示例，其具有构成计算单元8的ai芯片或dram芯片设置在阵列传感器2外部的配置。在这种情况下，外部提供的计算单元执行各个实施例中描述的读出和信号处理控制。
[0726]
此外，可采用将构成计算单元8的阵列传感器2和ai芯片统一起来并使用外部dram芯片的示例。
[0727]
根据第六实施例，提供了阈值设置单元85，其为用于由逻辑单元5(图像处理单元)执行的图像处理或者与由阵列传感器2执行的图像捕获相关联的图像捕获处理的所有或一些参数设置阈值，以实现使用基于阈值设置的参数的处理。
[0728]
例如，可以通过使用阈值设置(改变)参数来输出具有用于对象检测等处理的最小必要质量等(例如，最小必要分辨率)的图像信号。因此，在减少要输出的图像信号的数据量的同时，可以避免后续阶段(例如，对象检测)中的处理的性能、准确度等的降低。
[0729]
此外，可以相应地降低功耗和提高处理速度。
[0730]
此外，根据第六实施例中描述的图22的处理示例，计算单元8识别通过图像捕获从阵列传感器2获得的图像信号中检测到的对象的类别，基于识别的类别选择用于图像处理的参数集，使用选择的参数执行逻辑单元5的处理设置，并且根据阈值设置(调整)选择的参数。因此，根据阈值进一步调整和设置包括在适用于每个类别的参数集中的部分或所有参数。因此，在适应类别之后，数据量被进一步调整到必要和足够的量，同时保持检测准确度，例如，对象检测。通过进一步调整适合于该类别的参数集，可以进一步减少数据量。因此，可以进一步促进功耗的降低和处理速度的提高。
[0731]
然而，可以采用除了图22中描绘的示例之外的配置。所有或一些设定参数可以简单地基于阈值而改变，而不考虑类别。在这种情况下，可以实现图像信号的数据量的减少、功耗的减少和处理速度的提高，同时保持对象检测等所需的性能和准确度。
[0732]
根据第六实施例，阈值设置单元85设置对应于从图像信号中检测到的对象的类别的阈值。例如，根据例如“人”、“车”和“标志”等类别来设置被认为是适当的阈值。
[0733]
用于目标检测等目的的图像所需的分辨率和检测准确度之间的关系对于每个类别而不同。因此，根据类别设置阈值，并且改变从逻辑单元5输出的图像信号的分辨率等。以这种方式，基于最小必要分辨率等的输出可以根据类别来实现。具体地，数据减少、功耗减少、处理速度增加等是可实现的，同时根据类别优化例如分辨率等参数，并将对象检测准确度等保持在所需水平。
[0734]
根据第六实施例，阈值设置单元85基于对图像信号执行的学习处理来设置阈值。例如，通过在传感器装置1侧执行作为局部学习的学习处理来获得阈值。通过对图像信号执行学习来确定阈值和对应于阈值的参数的理想值。以这种方式，可以根据图像捕获环境、捕获的图像内容、检测目标对象等自适应地实现参数设置。
[0735]
此外，可以通过在传感器装置1或包括传感器装置1的终端设备100内执行该局部学习，来计算适合于传感器装置1所需的图像准确度的阈值。
[0736]
此外，要输出的图像信号的分辨率等的优化是通过使用每个类别的局部学习来设置阈值来进一步适应类别的参数设置来实现的。
[0737]
根据第六实施例，阈值设置单元85设置阈值，使得获得预定比率，作为置信度(对象检测的置信度)。
[0738]
对于检测的每个目的、目标、装置/应用程序类型、季节、地区等，从图像中检测对象的准确度所需的置信度是不同的。
[0739]
例如，在仅需要80％置信度的情况下，如果根据阈值设置参数，以获得80％或更高的置信度就足够了。此外，在需要95％或更高置信度的情况下，如果基于提高的阈值设置参数就足够了。
[0740]
因此，通过基于对象检测所需的置信度来设置阈值(和设置参数)，根据阈值设置处理的执行，可以实现图像信号的期望质量以及相应的数据减少、功耗降低、处理速度提高等，作为适应。
[0741]
根据上述第六实施例，阈值设置单元85设置在具有与逻辑单元5相同的外壳的装置中(见图21、图25和图26)。例如，阈值设置单元85设置在用作传感器装置1的单元中，或者设置在包括传感器装置1的终端设备100中。此外，阈值设置单元85通过执行局部学习来设置阈值和对应于阈值的参数。这意味着学习适合于作为传感器装置1和终端设备100的设备的状态，来设置阈值。以这种方式，实现传感器装置1或终端设备100所需的输出的适当阈值设置是可实现的。
[0742]
根据第七和第八实施例，计算单元8基于与先前区域信息相关联的信息(基于其生成区域信息的对象检测区域边界框20，或者每个都是区域信息本身的roi 21或aroi 22)来设置从阵列传感器2获取的检测信号的有源区域ra(图29和图32中的s251)。
[0743]
另外，计算单元8从有源区域ra中的检测信号中检测对象，并且向信号处理单元30给出基于对象的检测而生成的roi 21或aroi 22的指令，作为与从阵列传感器2获得的检测信号的获取相关联或者与检测信号的信号处理相关联的区域信息。
[0744]
以这种方式，用于设置roi 21或aroi 22的对象检测的处理负荷显著降低。具体地，步骤s203的处理减少。因此，可以实现处理负载降低、速度提高和功耗降低的效果。
[0745]
根据第七和第八实施例，计算单元8设置有源区域ra，使得有源区域ra包含对象检测的检测区域，基于该检测区域生成先前的roi 21或aroi 22，即边界框20。
[0746]
在一些情况下，通过继续处理，在图像中产生根本不包含边界框20的区域。该区域可以被指定为目标对象不可检测的非有源区域da，而另一区域可以被指定为有源区域ra，即对象可被检测的区域。
[0747]
可以基于多个先前的边界框20容易且适当地设置有源区域ra。此外，可以设置适合于图像捕获环境、图像捕获方向等的有源区域ra。
[0748]
根据第七和第八实施例，在adc/像素选择器3已经使用roi 21或aroi 22选择了检测元件的状态下，计算单元8从阵列传感器2获取的检测信号中检测对象，并且在没有检测到目标对象的情况下，指示adc/像素选择器3从阵列传感器获取下一帧中的有源区域的检测信号(参见图29和图32中的s205、s201和s252)。
[0749]
具体地，当在仅从阵列传感器2获取了与部分检测元件相关联的信息的帧中不再检测到目标对象时，计算单元8将获取单元对检测信号的获取返回到正常状态。
[0750]
以这种方式，状态返回到在一帧中从有源区域的图像信号中检测到对象的状态，并且在捕获图像的必要范围内再次可以实现目标对象的检测。因此，实际上产生了用于监控整个图像的状态。
[0751]
根据第七和第八实施例，计算单元8基于从阵列传感器2获得的检测信号的关键帧中的有源区域ra的检测信号的对象检测来生成区域信息(参见图29和图32中的s201和s252)。
[0752]
不是对所有帧执行，而是仅对关键帧执行这种类别识别。因此，施加在计算单元8上的处理负荷不会过度增加。此外，通过基于适当的选择算法选择关键帧，可以保持用于实现适当的对象检测的状态。
[0753]
在这种情况下，也可以将针对每个预定时间间隔获得的帧指定为关键帧，或者在基于来自例如处理器11等外部的命令的时间指定为关键帧。
[0754]
根据第八实施例，计算单元8识别从阵列传感器2获得的检测信号中检测到的对象的类别，并且使用与识别的类别相对应的模板来生成与对象相对应的区域信息(aroi 22)。在这种情况下使用aroi 22，其中，基于阈值计算并记录例如分辨率等参数(参见图32中的s262和s211)。
[0755]
例如，通过使用阈值设置(改变)由aroi 22指示的获取区域中的参数，可以输出用于对象检测等的处理的具有最小必要质量等(例如，最小必要分辨率)的图像信号。
[0756]
此外，通过使用模板指定要光电转换并转换成数字数据的像素而生成的图像是适合于通过小数据量实现的有效对象检测的图像。
[0757]
因此，通过使用模板并使用阈值设置例如分辨率等参数，可以避免后续处理(例如，对象检测)的处理的性能、准确度等的降低，同时减少要输出的图像信号的数据量。此外，可以相应地降低功耗和提高处理速度。
[0758]
此外，模板指示获取区域，为该获取区域获取每个类别的检测信号，例如，“人”和“车”。因此，也可以针对每个类别集中获取与特别必要的部分相关联的信息。
[0759]
根据第九实施例，提供了阈值设置单元85，该阈值设置单元根据从阵列传感器2获得的检测信号中检测到的对象所识别的类别来设置帧速率的阈值，从而执行使用基于该阈值设置的帧速率的处理(参见图35)。
[0760]
通过使用阈值设置(改变)帧速率，可以应用适合于检测目标的类别的帧速率。具体地，通过降低帧速率，同时防止降低检测目标类别中的对象检测的性能，可以实现图像信号的数据量的减少、功耗的降低和处理速度的提高。
[0761]
根据第九实施例，阈值设置单元85将阈值设置为保持来自图像的对象跟踪的帧速率。
[0762]
以这种方式，可以实现根据类别的数据减少、功耗减少、处理速度增加等，同时保持与从图像进行的对象跟踪一起执行的对象检测的准确度。
[0763]
根据第九实施例，计算单元8使用由阈值设置单元85设置的帧速率，作为用于提高帧速率的第二模式(正常模式)中的帧速率。以这种方式，在帧速率增加的情况下，使用根据类别相对降低的帧速率。
[0764]
第一、第二、第三、第四、第五、第六、第七、第八和第九实施例可以适当地组合。
[0765]
这些组合可以增加各个实施例的效果。具体地，可以进一步增加图像信号的数据
量的减少、功耗的降低、处理速度的提高等效果，同时保持例如从图像检测对象等处理的准确度。
[0766]
注意，要产生的有利效果不限于仅通过示例呈现的本说明书中描述的有利效果。此外，可以提供其他有利的效果。
[0767]
注意，本技术可以采用以下配置。
[0768]
(1)一种传感器装置，包括：
[0769]
阵列传感器，包括一维或二维布置的多个可见光或不可见光成像元件；
[0770]
图像处理单元，对通过使用阵列传感器的图像捕获获得的图像信号执行图像处理；以及
[0771]
阈值设置单元，针对与由阵列传感器执行的图像捕获相关联的图像捕获处理、或由图像处理单元执行的图像处理所使用的所有或一些参数，来设置用于参数设置的阈值，以实现使用基于阈值的参数设置的处理。
[0772]
(2)根据上述(1)的传感器装置，
[0773]
其中，阈值设置单元设置与从图像信号中检测到的对象的类别相对应的阈值。
[0774]
(3)根据上述(1)或(2)的传感器装置，
[0775]
其中，阈值设置单元基于对图像信号执行的学习处理来设置阈值。
[0776]
(4)根据上述(1)至(3)中任一项的传感器装置，
[0777]
其中，阈值设置单元设置阈值，从而获得一预定比率作为对象检测的置信度的。
[0778]
(5)根据上述(1)至(4)中任一项的传感器装置，
[0779]
其中，阈值设置单元设置在具有与图像处理单元的外壳相同的外壳的装置中。
[0780]
(6)一种传感器装置，包括：
[0781]
阵列传感器，包括一维或二维布置的多个检测元件；
[0782]
信号处理单元，获取由阵列传感器获得的检测信号，并对检测信号执行信号处理；以及
[0783]
计算单元，从由阵列传感器获得的检测信号中检测对象，并且向信号处理单元给出基于对对象的检测生成区域信息的指令，作为与从阵列传感器获得检测信号的获取相关联、或者与对检测信号的信号处理相关联的区域信息，
[0784]
其中，计算单元基于与先前的区域信息相关联的信息来设置从阵列传感器获取的检测信号的有源区域，并且使用有源区域的检测信号来检测对象。
[0785]
(7)根据上述(6)的传感器装置，
[0786]
其中，计算单元针对在过去的预定周期中生成的多条区域信息设置有源区域，使得有源区域包含基于区域信息的对象检测中的检测区域。
[0787]
(8)根据上述(6)或(7)的传感器装置，
[0788]
其中，信号处理单元包括从阵列传感器的检测元件选择性地获取检测信号的获取单元，
[0789]
获取单元获取基于从计算单元接收的区域信息选择的检测元件的检测信号，作为一帧检测信号，并且，
[0790]
在获取单元已经基于区域信息选择检测元件的状态下、通过对象检测没有从获取自阵列传感器的检测信号中检测到目标对象的情况下，计算单元指示获取单元在后续帧中
从阵列传感器获取有源区域的检测信号。
[0791]
(9)根据上述(6)至(8)中任一项的传感器装置，
[0792]
其中，计算单元在从阵列传感器获得的检测信号中，从被指定为关键帧的目标帧中的有源区域的检测信号中检测对象，并且基于对对象的检测来生成区域信息。
[0793]
(10)根据上述(6)至(9)中任一项的传感器装置，
[0794]
其中，计算单元识别从阵列传感器获得的检测信号中检测到的对象的类别，并且使用模板生成与对象相对应的区域信息，模板指示与所识别的类别相对应的检测信号的获取区域，并且
[0795]
计算单元包括阈值设置单元，阈值设置单元设置由信号处理单元执行的信号处理、或使用阵列传感器对检测信号的获取所使用的所有或一些参数的阈值，并且基于阈值设置用于对由模板指示的获取区域执行的处理的参数。
[0796]
(11)一种传感器装置，包括：
[0797]
阵列传感器，包括一维或二维布置的多个检测元件；
[0798]
信号处理单元，获取由阵列传感器获得的检测信号，并对检测信号执行信号处理；以及
[0799]
阈值设置单元，根据针对从由阵列传感器获得的检测信号中检测到的对象而识别出的类别，来设置帧速率的阈值，使得根据针对从由阵列传感器获得的检测信号中检测到的对象而识别出的类别，来执行使用基于阈值而设置的帧速率的处理。
[0800]
(12)根据上述(11)的传感器装置，
[0801]
其中，阈值设置单元将阈值设置成保持从图像进行对象跟踪的帧速率。
[0802]
(13)根据上述(11)或(12)的传感器装置，
[0803]
其中，根据对象检测的结果，基于第一模式或第二模式的帧速率的设置值来执行控制，并且
[0804]
由阈值设置单元设置的帧速率的设置值用作第一模式和第二模式中的一者的帧速率的设置值。
[0805]
(14)根据上述(1)至(13)中任一项的传感器装置，还包括：
[0806]
输出单元，输出单元将经过图像处理单元的图像处理的图像信号输出到外部装置。
[0807]
(15)根据上述(14)的传感器装置，
[0808]
其中，输出单元还发送与要输出的图像信号的类别标识相关联的信息。
[0809]
(16)根据上述(1)至(15)中任一项的传感器装置，
[0810]
其中，图像处理单元执行颜色校正、伽马校正、颜色灰度处理、增益处理、轮廓强调处理、数据压缩处理、帧速率转换、分辨率转换、纵横比转换、对比度调整处理、清晰度调整处理、灰度级调整处理或采样率改变处理中的至少一者，作为图像信号的图像处理。
[0811]
(17)一种由传感器装置执行的信号处理方法，包括：
[0812]
阵列传感器，包括一维或二维布置的多个可见光或不可见光成像元件，以及
[0813]
图像处理单元，对通过使用阵列传感器的图像捕获获得的图像信号执行图像处理，
[0814]
信号处理方法包括：
[0815]
针对与由阵列传感器执行的图像捕获相关联的图像捕获处理、或由图像处理单元执行的图像处理所使用的所有或一些参数，来设置用于参数设置的阈值，以实现使用基于阈值而改变的参数的处理。
[0816]
(18)一种由传感器装置执行的信号处理方法，包括：
[0817]
阵列传感器，包括一维或二维布置的多个检测元件，以及
[0818]
信号处理单元，获取由阵列传感器获得的检测信号，并对检测信号执行信号处理，
[0819]
信号处理方法包括：
[0820]
执行以下处理：从由阵列传感器获得的检测信号中检测对象，并且向信号处理单元给出基于对对象的检测生成区域信息的指令，作为与从阵列传感器获得检测信号的获取相关联、或者与对检测信号的信号处理相关联的区域信息；
[0821]
执行基于先前的区域信息来设置从阵列传感器获取的检测信号的有源区域的处理；并且
[0822]
使用有源区域的检测信号作为由阵列传感器获得的检测信号，来检测对象。
[0823]
(19)一种由传感器装置执行的信号处理方法，包括：
[0824]
阵列传感器，包括一维或二维布置的多个检测元件，并且
[0825]
信号处理单元，获取由阵列传感器获得的检测信号，并对检测信号执行信号处理，
[0826]
信号处理方法包括：
[0827]
根据针对从由阵列传感器获得的检测信号中检测到的对象而识别出的类别，来设置帧速率的阈值，使得根据针对从由阵列传感器获得的检测信号中检测到的对象而识别出的类别，来执行使用基于阈值而设置的帧速率的处理。
[0828]
[附图标记列表]
[0829]
1：传感器装置
[0830]
2：阵列传感器
[0831]
3：adc/像素选择器
[0832]
4：缓冲器
[0833]
5：逻辑单元
[0834]
6：存储器
[0835]
7：接口单元
[0836]
8：计算单元
[0837]
11：处理器
[0838]
12：外部传感器
[0839]
20：边界框
[0840]
21：roi
[0841]
22：高级roi(aroi)
[0842]
23：候选区域
[0843]
30：信号处理单元
[0844]
81：关键帧选择单元
[0845]
82：对象区域识别单元
[0846]
83：类别识别单元
[0847]
84：参数选择单元
[0848]
85：阈值设置单元
[0849]
100：终端设备。