检测结果分析装置、检测结果分析方法和检测结果分析程序与流程

1.本技术涉及对使用神经网络构成的物体检测模型的检测结果进行分析的技术。


背景技术：

2.进行如下这样的动作：对从图像数据中检测对象物体的物体检测模型的检测结果进行分析，确定在物体检测模型中缺少的学习数据(参照专利文献1)。
3.进行如下这样的动作：在对检测结果进行分析时，将作为物体检测模型的判断依据的部位可视化。作为将作为判断依据的部位可视化的技术，具有gradcam(gradient-weighted class activation mapping：加权梯度的类激活映射)。
4.物体检测模型具有2阶段类型的模型和1阶段类型的模型。2阶段类型的模型是如下模型：在缩小表示被认为是对象物体的范围的roi(region of interest：感兴趣区)后，确定对象物体。1阶段类型的模型是如下模型：使用被称作锚框的特定尺寸的边界框的集合，确定物体以及物体的位置。
5.现有技术文献
6.专利文献
7.专利文献1：日本特开2019-192082号公报


技术实现要素：

8.发明要解决的课题
9.关于2阶段类型的模型，据说缩小roi后的池化层适于基于gradcam的可视化。与此相对，关于1阶段类型的模型，适于基于gradcam的可视化的层根据对象物体的种类和检测到的对象物体的大小这样的条件而不同。
10.另外，关于2阶段类型的模型，缩小roi后的池化层也不一定最适于基于gradcam的可视化。
11.本技术的目的在于，能够确定适于将作为物体检测模型的判断依据的部位可视化的层。
12.用于解决课题的手段
13.本技术的检测结果分析装置具有：
14.评价值计算部，其将检测图像数据中包含的对象物体的、使用神经网络构成的物体检测模型中的多个层分别作为对象层，根据热图和被检测到所述对象物体的检测区域，计算所述对象层的评价值，其中，所述热图表示根据对象层的输出结果而得到的所述图像数据中的每个像素的活性度；以及
15.层选择部，其根据由所述评价值计算部计算出的所述评价值，从所述多个层选择至少一部分层。
16.所述评价值计算部根据所述热图表示的所述活性度在所述检测区域的内侧与外侧的比率，计算所述评价值。
17.所述评价值计算部根据所述检测区域的内侧的所述活性度的合计值相对于所述检测区域的外侧的所述活性度的合计值的比例，计算所述评价值。
18.所述评价值计算部在所述活性度比活性阈值高的情况下，将所述活性度转换成与所述活性阈值对应的转换活性度，在所述活性度为活性阈值以下的情况下，将所述活性度转换成与比所述活性阈值低1档的活性阈值对应的转换活性度，在此基础上，计算所述评价值。
19.所述层选择部选择所述评价值比评价阈值高的层中的基准个数的层。
20.所述检测结果分析装置还具有合成部，该合成部对与由所述层选择部选择出的层有关的所述热图进行合成，生成合成图。
21.所述合成部将所述图像数据的各像素作为对象像素，将与选择出的所述一部分层分别有关的所述热图表示的所述对象像素的活性度中的最高的活性度，设定为所述合成图中的所述对象像素的活性度，由此生成所述合成图。
22.在本技术的检测结果分析方法中，
23.评价值计算部将检测图像数据中包含的对象物体的、使用神经网络构成的物体检测模型中的多个层分别作为对象层，根据热图和被检测到所述对象物体的检测区域，计算所述对象层的评价值，其中，所述热图表示根据对象层的输出结果而得到的所述图像数据中的每个像素的活性度，
24.层选择部根据所述评价值，从所述多个层选择至少一部分层。
25.本技术的检测结果分析程序使计算机作为进行以下处理的检测结果分析装置发挥功能：
26.评价值计算处理，将检测图像数据中包含的对象物体的、使用神经网络构成的物体检测模型中的多个层分别作为对象层，根据热图和被检测到所述对象物体的检测区域，计算所述对象层的评价值，其中，所述热图表示根据对象层的输出结果而得到的所述图像数据中的每个像素的活性度；以及
27.层选择处理，根据通过所述评价值计算处理计算出的所述评价值，从所述多个层选择至少一部分层。
28.发明效果
29.在本技术中，根据表示图像数据中的每个像素的活性度的热图和被检测到对象物体的检测区域，计算层的评价值，根据评价值从多个层选择至少一部分层。由此，能够确定适于可视化的层。
附图说明
30.图1是实施方式1的检测结果分析装置10的结构图。
31.图2是示出实施方式1的检测结果分析装置10的整体动作的流程图。
32.图3是实施方式1的评价值计算处理的流程图。
33.图4是实施方式1的评价值计算处理的说明图。
34.图5是实施方式1的层选择处理和合成处理的说明图。
35.图6是实施方式1的合成处理的说明图。
36.图7是实施方式1的基于合成图34的分析的例子的说明图。
37.图8是关于优选基准个数为2个以上的情况的说明图。
38.图9是关于优选基准个数为2个以上的情况的说明图。
39.图10是变形例1的检测结果分析装置10的结构图。
40.图11是实施方式2的评价值计算处理的流程图。
41.图12是实施方式2的二值化处理的说明图。
42.图13是实施方式2的二值化的效果的说明图。
43.图14是变形例3的三值化处理的说明图。
44.图15是变形例3的n值化处理的说明图。
具体实施方式
45.实施方式1
46.***结构的说明***
47.参照图1，说明实施方式1的检测结果分析装置10的结构。
48.检测结果分析装置10是确定适于将作为物体检测模型的判断依据的部位可视化的层的计算机。
49.检测结果分析装置10具有处理器11、内存12、存储器13、通信接口14这些硬件。处理器11经由信号线而与其他硬件连接，控制这些其他硬件。
50.处理器11是进行处理的ic(integrated circuit：集成电路)。作为具体例，处理器11是cpu(central processing unit：中央处理单元)、dsp(digital signal processor：数字信号处理器)、gpu(graphics processing unit：图形处理单元)。
51.内存12是临时存储数据的存储装置。作为具体例，内存12是sram(static random access memory：静态随机存取存储器)、dram(dynamic random access memory：动态随机存取存储器)。
52.存储器13是保管数据的存储装置。作为具体例，存储器13是hdd(hard disk drive：硬盘驱动器)。此外，存储器13也可以是sd(注册商标，secure digital：安全数字)存储卡、cf(compactflash：压缩闪存，注册商标)、nand闪存、软盘、光盘、压缩盘、蓝光(注册商标)盘、dvd(digital versatile disk：数字多功能盘)这些可移动记录介质。
53.通信接口14是用于与外部装置进行通信的接口。作为具体例，通信接口14是ethernet(注册商标)、usb(universal serial bus：通用串行总线)、hdmi(注册商标，high-definition multimedia interface：高清晰度多媒体接口)的端口。
54.作为功能结构要素，检测结果分析装置10具有图像取得部21、评价值计算部22、层选择部23和合成部24。检测结果分析装置10的各功能结构要素的功能由软件实现。
55.存储器13中存储有实现检测结果分析装置10的各功能结构要素的功能的程序。该程序被处理器11读入到内存12并由处理器11执行。由此，实现检测结果分析装置10的各功能结构要素的功能。
56.在图1中，仅示出1个处理器11。但是，处理器11也可以是多个，多个处理器11也可以协作地执行实现各功能的程序。
57.***动作的说明***
58.参照图2～图6，说明实施方式1的检测结果分析装置10的动作。
59.实施方式1的检测结果分析装置10的动作过程相当于实施方式1的检测结果分析方法。此外，实现实施方式1的检测结果分析装置10的动作的程序相当于实施方式1的检测结果分析程序。
60.参照图2，说明实施方式1的检测结果分析装置10的整体动作。
61.物体检测模型是检测图像数据中包含的对象物体的模型。物体检测模型是使用神经网络构成的模型。由于是使用神经网络构成的，因此，物体检测模型由多个层构成。
62.(图2的步骤s11：图像取得处理)
63.图像取得部21取得作为处理对象的图像数据31。
64.具体而言，图像取得部21通过读入由检测结果分析装置10的使用者设定于存储器13中的图像数据31，取得图像数据31。
65.(图2的步骤s12：评价值计算处理)
66.评价值计算部22将构成物体检测模型的多个层分别作为对象层，计算对象层的评价值。
67.这时，评价值计算部22根据热图33和从在步骤s11中取得的图像数据31中检测到对象物体的检测区域32，计算评价值，热图33表示根据对象层的输出结果而得到的图像数据31中的每个像素的活性度。
68.参照图3，说明实施方式1的评价值计算处理。
69.(图3的步骤s21：物体检测处理)
70.评价值计算部22将在步骤s11中取得的图像数据31作为输入，通过物体检测模型，检测对象物体。这里，对象物体的种类可以是事先指定的，也可以由使用者指定。在图4中，示出指定瓶子作为对象物体的种类的情况。
71.(图3的步骤s22：检测区域确定处理)
72.评价值计算部22确定通过在步骤s21中检测对象物体而确定的、检测到对象物体的区域即检测区域32。
73.(图3的步骤s23：热图生成处理)
74.评价值计算部22将构成物体检测模型的多个层分别作为对象层，生成热图33。
75.具体而言，评价值计算部22根据在步骤s21中检测对象物体时得到的对象层的输出结果，生成与对象层有关的热图33。热图33表示在步骤s11中取得的图像数据31中的每个像素的活性度。这里，设越是活性度高的像素，则热图33示出越大的值。
76.构成物体检测模型的多个层中的作为对象层的层仅是构成物体检测模型的层中的卷积层和池化层这样的能够生成热图33的层。具体而言，能够生成热图33的层是指能够计算纵横分别具有2个像素以上的多个通道的梯度的层。
77.在实施方式1中，设将能够生成热图33的全部层分别设定为对象层。但是，也可以仅将能够生成热图33的全部层中的一部分层设定为对象层。例如，也可以仅将能够生成热图33的全部层中的某个层以后的层设定为对象层。
78.另外，越是构成物体检测模型的多个层中的后面处理的层，作为处理对象的图像数据的像素数量越少。但是，评价值计算部22扩展对象层的输出结果，生成表示图像数据31的每个像素的活性度的热图33。
79.例如，在某个层中，有时像素数量成为在步骤s11中取得的图像数据31的1/4。在该
情况下，1个像素表示图像数据31的4个像素，因此，评价值计算部22假设1个像素表示图像数据31的4个像素而生成热图33。
80.此外，即使是多个层中的后面处理的层，有时输出结果的图像数据的像素数量也根据物体检测模型而增加。输出结果的像素数量有可能因层而发生变动，但在任何情况下，只要以与图像数据31的像素数量一致的方式将输出结果的像素数量放大或缩小即可。
81.(图3的步骤s24：评价处理)
82.评价值计算部22将生成了热图33的多个层分别作为对象层，关于对象层，根据在步骤s23中生成的热图33和在步骤s22中确定的检测区域32，计算评价值。
83.具体而言，评价值计算部22根据与对象层有关的热图表示的活性度在检测区域32的内侧与外侧的比率，计算评价值。在实施方式1中，评价值计算部22计算检测区域32的内侧的活性度的合计值相对于检测区域32的外侧的活性度的合计值的比例作为评价值。
84.在图4中，设越是带有较深的阴影线的像素，活性度越高。在图4中，在检测区域32的内侧存在多个带有较深的阴影线的像素，在检测区域32的外侧存在少量带有较浅的阴影线的像素。因此，与检测区域32的外侧的活性度的合计值相比，检测区域32的内侧的活性度的合计值为较大的值，评价值为1以上的值。
85.这里，计算检测区域32的内侧的活性度的合计值相对于检测区域32的外侧的活性度的合计值的比例作为评价值。不限于此，例如也可以计算检测区域32的内侧的活性度的合计值相对于图像数据31全体的活性度的合计值的比例作为评价值。
86.(图2的步骤s13：层选择处理)
87.层选择部23根据在步骤s12中计算出的评价值，从构成物体检测模型的多个层选择至少一部分层。
88.具体而言，层选择部23选择评价值比评价阈值高的层中的基准个数的层。因此，在存在基准个数以上的评价值比评价阈值高的层的情况下，选择基准个数的层。另一方面，在仅存在小于基准个数的评价值比评价阈值高的层的情况下，选择评价值比评价阈值高的全部层。
89.评价阈值是根据是对对象物体的检测有怎样程度的贡献的层才会设为分析对象等而事先设定的值。基准个数是根据构成物体检测模型的层的数量等而事先设定的值。
90.在图5中，从层conv0到层conv17_1的层中的得到了比评价阈值1.0高的评价值的层是层conv11、层conv13、层conv14_1、层conv14_2这4个层。另外，在图5中，层conv11的评价值被表示为inf。inf示出如下情况：活性化后的像素全部位于检测区域32的内部，评价值为无限大。
91.在图5中，假设基准个数为5，选择了层conv11、层conv13、层conv14_1、层conv14_2这4个层的全部。
92.(图2的步骤s14：合成处理)
93.合成部24对与在步骤s13中选择出的层有关的热图33进行合成，生成合成图34。
94.具体而言，合成部24通过将图像数据31的各像素作为对象像素，将与在步骤s13中选择出的多个层分别有关的热图表示的对象像素的活性度中的最高的活性度，设定为合成图34中的对象像素的活性度，生成合成图34。
95.例如，如图6所示，关于某个像素p
i，j
，设与选择出的层有关的热图表示的活性度分
别为15、239、76。在该情况下，合成图34中的与像素p
i，j
有关的活性度为15、239、76中的最高的239。
96.在图5中，对与层conv11、层conv13、层conv14_1、层conv14_2这4个层有关的热图33进行合成，生成合成图34。因此，合成图34的各像素表示的活性度表示层conv11、层conv13、层conv14_1、层conv14_2中的最高的活性度。
97.***实施方式1的效果***
98.如上所述，实施方式1的检测结果分析装置10关于各层，根据热图33和检测区域32计算评价值，并根据评价值选择层。由此，能够确定适于可视化的层。
99.关于某个层，检测区域32的内侧的活性度的合计值较大是指：该层的结果对对象物体的检测做出了贡献的可能性较高。特别地，关于某个层，检测区域32的内侧的活性度的合计值相对于检测区域32的外侧的活性度的合计值的比例较高是指：该层的结果被强烈地反映到对象物体的检测结果中。另外，检测区域32的内侧的活性度的合计值相对于检测区域32的外侧的活性度的合计值的比例是在实施方式1中被用作评价值的指标。
100.因此，选择评价值较高的层是指：选择适于将作为物体检测模型的判断依据的部位可视化的层。
101.实施方式1的检测结果分析装置10选择适于可视化的层，生成合成图34。因此，能够生成适当地表示作为物体检测模型的判断依据的部位的合成图34。其结果是，关于物体检测模型，能够进行适当的分析。
102.参照图7，说明实施方式1的基于合成图34的分析的例子。
103.在图7中，对象物体的种类是自行车。在图7中，自行车整体未被确定为检测区域32，从自行车的前轮到链轮附近被确定为检测区域32。即，是不能说通过物体检测模型适当地检测到自行车的状态。
104.在合成图34中，踏板、曲柄、车架的一部分和前轮的一部分作为判断依据。而且，可知关于车把、鞍座、后轮，不怎么被用作判断依据。因此，根据该结果，例如考虑将与不怎么被用作判断依据的车把、鞍座、后轮有关的学习数据提供给物体检测模型，使其进行学习。
105.在实施方式1中，在图2的步骤s13中，选择评价值比评价阈值高的层中的基准个数的层。这里，基准个数也可以为1。但是，基准个数优选为2以上。
106.在基准个数为1的情况下，合成部24将与选择出的层有关的热图33直接作为合成图34输出即可。
107.参照图8和图9，说明基准个数优选为2以上的情况。
108.在图8中，对象物体的种类是摩托车。在图8中，设层conv7、层conv9、层conv12、层conv13、层conv14_1、层conv14_2、层conv15_1得到了比评价阈值1.0高的评价值。而且，在图8中，假设基准个数为5，选择层conv9、层conv12、层conv14_1、层conv14_2、层conv15_1，生成合成图34。其结果是，根据合成图34可知，摩托车的前轮以及前轮的周边和车把的一部分是作为判断依据的部位。在摩托车的情况下，可知露出的车轮作为判断依据的情况较多，根据合成图34，通过物体检测模型适当地进行了判定。
109.这里，评价值最高的层是层conv9。因此，在基准个数为1的情况下，即在仅选择评价值最高的层的情况下，仅选择层conv9。于是，根据合成图34，车把的一部分看起来是作为判断依据的部位。这样，仅着眼于狭窄区域那样的层的评价值变得最高，有可能仅选择了不
能说适当地表示作为判断依据的部位的层。
110.在图9中，对象物体的种类是自行车。图9的图像数据31包含2台自行车。
111.在图9中，评价值最高的层是层conv15_1。因此，在基准个数为1的情况下，即在仅选择评价值最高的层的情况下，仅选择层conv15_1。但是，在层conv15_1中，仅对位于近前的自行车的附近进行活性化，未对位于里面的自行车的附近进行活性化。因此，这样，在具有多个对象物体的情况下，仅着眼于一部分的对象物体那样的层的评价值变得最高，有可能仅选择了不能说适当地表示作为判断依据的部位的层。
112.***其他结构***
113.《变形例1》
114.在实施方式1中，各功能结构要素由软件实现。但是，作为变形例1，各功能结构要素也可以由硬件实现。关于该变形例1，说明与实施方式1不同的方面。
115.参照图10，说明变形例1的检测结果分析装置10的结构。
116.在各功能结构要素由硬件实现的情况下，检测结果分析装置10具有电子电路15来替代处理器11、内存12和存储器13。电子电路15是实现各功能结构要素、内存12和存储器13的功能的专用电路。
117.作为电子电路15，假设是单一电路、复合电路、程序化的处理器、并行程序化的处理器、逻辑ic、ga(gate array：门阵列)、asic(application specific integrated circuit：专用集成电路)、fpga(field-programmable gate array：现场可编程门阵列)。
118.可以由1个电子电路15实现各功能结构要素，也可以将各功能结构要素分散到多个电子电路15中实现。
119.《变形例2》
120.作为变形例2，也可以是一部分的各功能结构要素由硬件实现，其他的各功能结构要素由软件实现。
121.将处理器11、内存12、存储器13和电子电路15称作处理电路。即，各功能结构要素的功能由处理电路实现。
122.实施方式2
123.实施方式2与实施方式1的不同点在于，在对热图33表示的各像素的活性度进行n值化后，计算评价值。这里，n是2以上的整数。在实施方式2中，对该不同点进行说明，省略对相同点的说明。
124.***动作的说明***
125.参照图11和图12，说明实施方式2的检测结果分析装置10的动作。
126.实施方式2的检测结果分析装置10的动作过程相当于实施方式2的检测结果分析方法。此外，实现实施方式2的检测结果分析装置10的动作的程序相当于实施方式2的检测结果分析程序。
127.参照图11，说明实施方式2的评价值计算处理。
128.步骤s31～步骤s33的处理与图3的步骤s21～步骤s23的处理相同。
129.(图11的步骤s34：n值化处理)
130.评价值计算部22对在步骤s33中生成的各层的热图33进行n值化。在实施方式2中，评价值计算部22对各层的热图33进行二值化。
131.具体而言，评价值计算部22将热图33中的各像素作为对象像素，在对象像素的活性度比活性阈值高的情况下，将对象像素的活性度转换成1，在对象像素的活性度为活性阈值以下的情况下，将对象像素的活性度转换成0。其结果是，如图12所示，在热图33中带有较深的阴影线的像素的活性度为1，其他像素的活性度为0。在图12中，用白色表示活性度为1的像素，用黑色表示活性度为0的像素。
132.(图11的步骤s35：评价处理)
133.评价值计算部22使用在步骤s34中转换后的活性度，计算检测区域32的内侧的活性度的合计值相对于检测区域32的外侧的活性度的合计值的比例作为评价值。
134.在图12中，检测区域32的外侧的活性度为1的像素是864个，检测区域32的内侧的活性度为1的像素是2944个。因此，评价值为2944/864≒3.4。
135.***实施方式2的效果***
136.如上所述，实施方式2的检测结果分析装置10在对热图33中的各像素的活性度进行二值化后，计算评价值。通过对活性度进行二值化，重要层的评价值变高，不重要层的评价值变低。由此，能够更加适当地确定适于可视化的层。
137.在实施方式2中，作为二值化的例示，在活性度比活性阈值高的情况下，将转换活性度设为1，在活性度为活性阈值以下的情况下，将转换活性度设为0。每个活性阈值的转换活性度能够设定成任意的数量。
138.例如，如图13所示，在未进行二值化的情况下，是多个层的评价值稍微超过评价阈值1.0的状态。与此相对，在进行了二值化的情况下，关于一部分评价值稍微超过评价阈值的层，评价值变低，评价值小于评价阈值1.0。另一方面，原本评价值比较高的层的评价值变得更高。其结果是，评价值超过评价阈值1.0的层的数量变少。
139.***其他结构***
140.《变形例3》
141.在实施方式2中，是对热图33进行二值化。但是，不限于二值化，也可以进行n值化。
142.例如，在三值化的情况下，评价值计算部22使用阈值x和阈值y这2个阈值作为活性阈值。在该情况下，如图14所示，关于活性度为阈值x以下的像素，将转换活性度设定为0。关于活性度比阈值x高且为阈值y以下的像素，将转换活性度设定为0.5。关于活性度比阈值y高的像素，将转换活性度设定为1。
143.这样，在n值化的情况下，设定n-1的活性阈值，设定每个活性阈值的转换活性度。关于n值化处理，按照用i(0《i《n)～i-1对活性度进行划分的每个范围来确定转换活性度。在活性度比n-1的活性阈值高的情况下，转换成与n-1的活性阈值对应的转换活性度，在活性度为n-1的活性阈值以下且比n-2的活性阈值高的情况下，转换成与n-2的活性阈值对应的转换活性度。
144.为了使计算简单，例如将与比n-1高的活性阈值对应的转换活性度设为1，将与活性度为n-n 1(＝1)以下的活性阈值对应的转换活性度转换成0，关于n-2～2，将转换活性度转换成1～0之间的值，进行n值化。通过将转换活性度的下限值设定为0，能够使计算简单。另外，转换活性度的上限值不限于1。也可以设为其他值。
145.此外，也可以使用使阈值偏移后的relu函数进行n值化。
146.具体而言，如图15所示，关于活性度为评价阈值x以下的像素，将活性度设定为0。
关于活性度比评价阈值x高的像素，维持活性度的值。
147.《变形例4》
148.各实施方式中的检测结果分析装置10也可以应用于在无人搬运车(agv：automated guided vehicle)中使用的物体检测模型。在采用图像识别方式作为引导方式的无人搬运车中，读取描绘于地板、顶棚的记号，由此掌握本车的位置。通过将各实施方式的检测结果分析装置10应用于在无人搬运车中使用的物体检测模型，能够提高在无人搬运车中使用的物体检测模型的精度。其结果是，可以提供能够实现更高精度的移动的无人搬运车。
149.以上，对本发明的实施方式和变形例进行了说明。也可以组合实施这些实施方式以及变形例中的若干个。此外，也可以部分地实施任意1个或若干个。另外，本发明不限于以上的实施方式和变形例，能够根据需要进行各种变更。
150.标号说明
151.10：检测结果分析装置；11：处理器；12：内存；13：存储器；14：通信接口；15：电子电路；21：图像取得部；22：评价值计算部；23：层选择部；24：合成部；31：图像数据；32：检测区域；33：热图；34：合成图。