识别信息赋予装置、识别信息赋予方法以及程序与流程

1.本公开涉及对机器学习中使用的数据赋予识别信息的识别信息赋予装置、识别信息赋予方法以及程序。


背景技术：

2.近年来，机器学习被利用于各种领域。在机器学习中，学习数据的数量很重要，通过以大量的学习数据进行学习，从而能够得到精度高的结果。此时，需要预先进行与数据相关联的信息的赋予。上述那样的操作被称为注解(annotation)，例如，在照片数据中出现人物的情况下，照片数据中的人物存在的区域的位置信息、“人物”这一类别等的信息等被赋予。
3.由于学习数据的数量庞大，因此注解的操作若通过手工进行则需要大量的劳力和时间。在专利文献1中，记载了减轻基于手工的操作的技术。在专利文献1中，记载了如下技术：首先通过手工操作来生成基准数据，利用该基准数据来生成学习数据。
4.在先技术文献
5.专利文献
6.专利文献1：日本特开2018
‑
200531号公报


技术实现要素：

7.‑
发明要解决的课题
‑
8.本公开提供能够容易制作学习数据的识别信息赋予装置、识别信息赋予方法以及程序。
9.‑
解决课题的手段
‑
10.本公开的识别信息赋予装置具备：获取部，获取多个图像数据；赋予部，使用学习完毕的学习模型，对从多个图像数据选择出的图像数据赋予识别信息；和更新部，使用被赋予了识别信息的图像数据，更新学习模型，赋予部使用被更新的学习模型，对获取部获取到的剩余的图像数据赋予识别信息。
11.这些概括性并且确定的方式也可以通过系统、方法以及计算机程序及这些的组合来实现。
12.‑
发明效果
‑
13.通过本公开的识别信息赋予装置、识别信息赋予方法以及程序，在生成机器学习的学习数据时，能够自动简单地赋予识别信息并生成学习数据。
附图说明
14.图1是对包含本公开所涉及的识别信息赋予装置的移动路线分析系统的结构进行说明的框图。
15.图2是对本公开所涉及的识别信息赋予装置利用的图像数据的结构进行说明的概
念图。
16.图3是对本公开所涉及的识别信息赋予装置的结构进行说明的框图。
17.图4是对图3的识别信息赋予装置中的识别信息的赋予进行说明的概念图。
18.图5是通过图3的识别信息赋予装置来设为识别信息的赋予的对象的图像数据的一个例子。
19.图6是对图5的图像数据赋予的识别信息的一个例子。
20.图7是对图5的图像数据赋予的识别信息的另一个例子。
21.图8是与图4对应地，对识别信息的修正进行说明的概念图。
22.图9是对本公开所涉及的识别信息赋予方法进行说明的流程图。
23.图10是对变形例所涉及的识别信息赋予装置的结构进行说明的框图。
24.图11是对图10的识别信息赋予装置中的识别信息的赋予以及修正进行说明的概念图。
25.图12是对图3的识别信息赋予装置中的识别信息的赋予以及修正的变形例进行说明的概念图。
具体实施方式
26.[作为本公开的基础的认识]
[0027]
近年来，机器学习的利用在较广的领域中普及。此外，通过高速gpu(graphics processing unit)服务器等的运算装置的进步，图像数据的处理速度的提高也正在进行。由此，通过对利用了机器学习的动态图像数据进行利用的信息的分析等，仅人类难以分析的内容也能够详细分析。例如，在对工厂、仓库、店铺、办公室等各种场所中的人、物的运动进行解析并对其进行分析时，也通过利用机器学习，利用大量的数据，能够进行仅仅通过基于人类的分析难以进行的高精度的分析。
[0028]
然而，在这样利用机器学习的情况下，学习数据的生成、学习模型的构建也大大左右结果。因此，在学习数据生成时，识别信息的赋予即注解很重要。但是，该识别信息的赋予依然需要大量的劳力和时间。
[0029]
本公开提供一种自动并且简易地进行针对生成机器学习的学习数据时所需的数据的识别信息的赋予的识别信息赋予装置、识别信息赋予方法以及程序。由此，能够生成能够得到精度高的结果的学习数据。
[0030]
[实施方式]
[0031]
以下，适当参照附图来对本公开中的实施方式进行说明。但是，在详细的说明中，也可能省略与现有技术以及实质相同的结构有关的说明之中不必要的部分。这是为了使说明简单。此外，以下的说明以及附图是为了本领域技术人员充分理解本公开而公开的，并不意图限定权利要求书的主题。
[0032]
本公开所涉及的识别信息赋予装置、识别信息赋予方法以及程序在机器学习的学习数据的生成时自动赋予识别信息。以下，以识别信息赋予装置将为了移动路线分析而利用的学习数据扩展的一个例子进行说明。此外，在以下的说明中，识别信息赋予装置中的识别信息的赋予的对象是包含人物、购物车的图像数据，以赋予与人物、购物车有关的识别信息的例子来进行说明。
[0033]
在本公开中，所谓“识别信息”，是指对作为机器学习的学习用数据的图像数据赋予的标签、元数据等的信息。此外，所谓“识别信息的赋予”，是指标签、元数据向图像数据的赋予，与“注解”同义。
[0034]
此外，在本公开中，所谓“移动路线”，是指人、物移动的路径、轨迹，所谓“移动路线分析”，是指记录人、物的移动路线，作为统计数据而分析以及输出。
[0035]
<移动路线分析系统>
[0036]
如图1所示那样，本公开所涉及的识别信息赋予装置1例如被利用于分析人物等的运动的移动路线分析系统100。移动路线分析系统100除了识别信息赋予装置1，还具有摄影装置2、传感器3、姿势探测装置4、操作推断装置5、数据整合/移动路线生成装置6。
[0037]
摄影装置2是对作为移动路线分析的对象的空间进行拍摄的相机。该摄影装置2未必是拍摄动态图像的装置，但由于移动路线分析系统100对人物等的运动进行分析，因此需要能够拍摄连续的多个帧的图像。在图1中，仅表示一台摄影装置2，但由于优选拍摄作为对象的空间整体，因此移动路线分析系统100也可以具备多台摄影装置2。例如，在拍摄图2所示的空间s时，能够具备分别拍摄第1区域a1、第2区域a2、第3区域a3以及第4区域a4的4台摄影装置2。此外，在移动路线分析系统100中，能够将利用这些多个摄影装置2同时拍摄的图像数据合成为一张图像数据而利用。另外，在以下的说明中，在一个定时拍摄的图像数据说明为一张，或者说明为已经合成的图像数据，对合成处理省略说明。
[0038]
传感器3例如是利用红外线、超声波来探测人物的存在的人感传感器。此外，传感器3也可以是输入声音来探测人物等的运动的声音传感器。此外，传感器3也可以对从人物、购物车、物体等中具备的发射器发射的电波进行接收。另外，在图1中，仅图示了一台传感器3，但移动路线分析系统100也可以具备多台传感器3，此外，也可以具备多个种类的传感器。在移动路线分析中，通过利用基于传感器3的探测结果，相比于仅根据图像数据来探测人物的情况，能够提高人物探测的精度。例如，能够为了判断将从传感器3得到的位置信息与图像数据一起活用并对图像数据赋予识别信息的对象是否为购物车而使用。具体地说，这是由于在购物车作为传感器3而设置发射器的情况下，通过该传感器3的电波，能够准确地图像数据中该购物车包含于哪里。
[0039]
识别信息赋予装置1对通过摄影装置2而拍摄的图像数据赋予识别信息。使用图3至图9，对识别信息赋予装置1的具体结构以及识别信息赋予装置1中的处理等进行后述。
[0040]
姿势探测装置4使用通过摄影装置2而拍摄的图像数据以及传感器3的探测数据，对作为移动路线分析系统100的移动路线分析的对象的空间中存在的人物的姿势进行探测。姿势探测装置4例如探测人物是站着还是坐着等。具体地说，在识别信息中，包含是“坐着”状态或者“站着”状态的哪一个时，能够利用姿势探测装置4的结果。针对姿势探测装置4的具体结构、处理，省略说明。
[0041]
操作推断装置5使用通过摄影装置2而拍摄的图像数据以及传感器3的探测数据，推断作为移动路线分析系统100的移动路线分析的对象的空间中存在的人物进行的操作。操作推断装置5例如推断人物是停止、还是走路、还是跑步、还是搬运物体等。具体地说，在识别信息中，包含操作种类时，能够利用操作推断装置5的结果。针对操作推断装置5的具体结构、处理，省略说明。
[0042]
数据整合/移动路线生成装置6使用通过识别信息赋予装置1而被赋予识别信息而
生成的图像数据、姿势探测装置4中的姿势的探测数据、操作推断装置5中的操作的推断数据，生成对象的空间中的人物等的移动路线分析数据。通过使用生成的移动路线分析数据，能够有效地进行对象的空间中的物体的配置、操作内容的改善。
[0043]
<识别信息赋予装置>
[0044]
如图3所示，识别信息赋予装置1是具备控制部10、存储部20、通信接口(i/f)21、输入部22以及输出部23等的信息处理装置。
[0045]
控制部10是承担识别信息赋予装置1整体的控制的控制器。例如，控制部10通过读取并执行存储部20中存储的识别信息赋予程序p，来实现作为获取部11、赋予部12、修正部14以及更新部13的处理。此外，控制部10并不限定于通过硬件与软件的配合来实现规定的功能，也可以是实现规定的功能的专门设计的硬件电路。即，控制部10能够通过cpu、mpu、gpu、fpga、dsp、asic等各种处理器来实现。
[0046]
存储部20是记录各种信息的记录介质。存储部20例如是ram、rom、闪存存储器、ssd(solid state device)、硬盘、其他存储设备或者将其适当组合而实现的。存储部20中，除了控制部10执行的识别信息赋予程序p，还保存识别信息中使用的信息、为了识别信息赋予而获取的各种信息等。例如，存储部20对学习模型200、图像数据210、传感器数据220以及识别信息230进行存储。
[0047]
通信i/f21是用于能够进行与外部的装置(未图示)的数据通信的接口电路(模块)。输入部22是利用于操作、数据的输入的操作按钮、键盘、鼠标、触摸面板、麦克风等的输入单元。输出部23是利用于处理结果、数据的输出的显示器、扬声器等的输出单元。
[0048]
另外，识别信息赋予装置1也可以通过多个信息处理装置而实现。此外，存储部20中存储的数据的一部分也可以是被存储于外部的存储装置、从外部的存储装置读取并使用的结构。例如，识别信息赋予装置1能够使用学习模型200即可，也可以是能够从外部的服务器装置等读取并利用的结构。
[0049]
获取部11对通过摄影装置2而拍摄的多个图像数据210进行获取(图4的(1))。此外，获取部11对通过传感器3而检测的传感器数据220进行获取。进一步地，获取部11使存储部20存储获取到的图像数据210以及传感器数据220。此时，例如，通过分别包含图像数据210的摄影时间和传感器数据220的检测时间，从而图像数据210与传感器数据220被建立关联。
[0050]
获取部11获取的多个图像数据210例如是动态图像数据、连续拍摄的多个帧的静止图像数据等具有连续性的数据。即，图像数据210包含连续拍摄的多个帧的数据。例如，获取部11如图5所示，在配置有多个商品货架310的店铺内，获取店员或顾客等的人物320、购物车330存在的图像数据210。此外，此时，图像数据210例如也可以与作为传感器数据220而通过设置于购物车330的传感器3探测的数据建立关联，或者也可以与通过设置于商品货架310的传感器3而探测的数据建立关联。
[0051]
赋予部12使用预先生成的学习模型200，对从多个图像数据210选择的一部分的图像数据赋予识别信息。例如，作为识别信息，是图像数据210中被提取对象的“坐标”、被提取为对象的区域的x轴方向的长度即“宽度”和y轴方向的长度即“高度”、确定对象的种类的“类别”等被建立关联的信息。另外，由于图像数据210中可能包含多个对象，因此也可能从一张图像数据210提取多个区域，赋予多个识别信息。此外，赋予部12将该识别信息与图像
数据210建立关联并存储于存储部20。
[0052]
例如，作为赋予部12从多个图像数据210选择赋予识别信息的图像数据210的方法，举例“方法1：以一定间隔选择的方法”、“方法2：随机选择的方法”、“方法3：使用图像处理来计算各图像数据210的特征量并选择特征之差较大的图像数据210的方法”等。例如，在方法1的情况下，处理的运算简易，相比于其他方法，能够缩短处理时间。此外，在方法3的情况下，由于外观不同的图像，因此学习数据的变化，能够对应多个变化的图像。
[0053]
具体地说，在方法1的情况下，赋予部12从存储于存储部20的图像数据210，将一部分的图像数据210选择为“第1注解用”(图4的(2))，将剩余的图像数据210作为“第2注解用”(图4的(3))。假设存在10万帧的图像数据210的情况下，例如，通过每200帧选择1帧的图像数据，则合计能够选择500帧的图像数据。
[0054]
此外，赋予部12利用预先制作的学习模型200，执行“第1注解处理”，对选择的各图像数据210赋予识别信息(图4的(4))。然后，若通过更新部13，使用通过第1注解处理而被赋予了识别信息的图像数据210来更新学习模型200(图4的(5))，则赋予部12作为“第2注解处理”，通过更新的学习模型200，对第1注解处理中未被赋予识别信息的第2注解用的图像数据210赋予识别信息(图4的(6))。另外，然后，通过更新部13，利用被赋予了识别信息的第2注解用的图像数据210，更新学习模型200(图4的(7))。
[0055]
在此，赋予部12使用的学习模型200优选是通过与图像数据210具有关联性、类似性的图像数据而生成的模型。即，存储部20中存储与图像的特征信息建立关联的多个学习模型200，赋予部12选择并利用赋予识别信息的对象的图像数据210的特征信息和与规定范围的特征信息建立关联的学习模型200。由此，设为现有的学习模型200，能够对图像数据210赋予识别信息。
[0056]
例如，与图像数据210建立关联的特征信息是图像数据210的摄影条件。所谓“摄影条件”，是“摄影场所”、“摄影场所的目的”、“摄影场所的类别”、“摄影装置2的安装位置”、“图像数据210中包含的人物的特征”等的信息。在此，图像数据210的“摄影条件”例如在获取部11开始图像数据210的获取时，经由输入部22，通过操作员而被输入。赋予部12这样利用与图像数据的摄影条件相同的摄影条件所建立关联的学习模型200。另外，所谓相同，不是完全相同那样严密，例如，也可以包含上位概念相同或者类似。此外，也可以利用建立关联的多个摄影条件的组合相同、类似的学习模型200。
[0057]
具体地说，所谓“摄影场所”相同的例子，是指使用在与图像数据210相同的场所拍摄的图像数据而生成的学习模型200的例子。假设利用于移动路线分析的情况下，例如，摄影场所相同的情况下，通过使用利用在相同的场所拍摄的图像数据而生成的学习模型200，能够提高移动路线分析的精度。
[0058]
此外，所谓“摄影场所的目的”相同的例子，是指使用利用在与图像数据210相同的目的的场所拍摄的图像数据而生成的学习模型200的例子。假设图像数据210是在工厂被拍摄的情况下，例如，是使用根据在相同的制造产品的工厂拍摄的图像数据而生成的学习模型200的例子。假设利用于移动路线分析的情况下，例如，在摄影场所的目的相同的情况下，在相同目的的场所，人们以类似的移动路线移动的情况也较多，因此通过使用利用在相同目的的场所拍摄的图像数据而生成的学习模型200，能够提高移动路线分析的精度。
[0059]
此外，所谓“摄影场所的类别”相同的例子，是指使用利用在与图像数据210同系列
的店铺、处理的商品相同的店铺拍摄的图像数据而生成的学习模型200的例子。假设图像数据210是在便利店被拍摄的情况下，例如，是使用根据在其他的便利店拍摄的图像数据而生成的学习模型200的例子。假设利用于移动路线分析的情况下，例如，在摄影场所的类别相同的情况下，在相同的类别的场所，人们以类似的移动路线移动的情况也较多，因此通过使用利用在相同的类别的场所拍摄的图像数据而生成的学习模型200，能够提高移动路线分析的精度。
[0060]
此外，所谓“摄影装置2的安装位置”相同的例子，是指使用利用设置于相同的高度的图像数据而生成的学习模型的例子。例如，能够对摄影位置的安装位置组合其他的相同的条件。例如，通过将摄影装置2的安装位置与场所的摄影场所的目的、类别的条件组合，能够提高基于赋予部12的识别信息的赋予的精度。
[0061]
此外，所谓“图像数据210中包含的人物的特征”相同的例子，是指使用根据包含与图像数据210中包含的人物的特征类似的人物的图像数据而生成的学习模型200的例子。假设图像数据210是在女性顾客较多的店铺被拍摄的情况下，使用根据在女性顾客较多的店铺被拍摄的图像数据而生成的学习模型200的例子。此时，能够对人物的特征组合其他的相同的条件。例如，通过将人物的特征与场所的摄影场所的目的、类别的条件组合，能够提高基于赋予部12的识别信息的赋予的精度。假设在利用于移动路线分析的情况下，例如，在图像数据210中包含的人物的特征相同的情况下，人物的移动路线类似的情况也较多，因此通过使用利用图像数据210中包含的人物的特征相同的图像数据而生成的学习模型200，能够提高移动路线分析的精度。
[0062]
此外，例如，与图像数据210建立关联的特征信息也可以是图像数据210的“颜色直方图”。赋予部12利用图像数据210的颜色直方图和与学习模型200建立关联的颜色直方图之差为规定范围的学习模型200。在此，作为颜色直方图，使用将色相以及饱和度的值量化并对其直方图进行比较的距离函数。例如，与学习模型200建立关联的颜色直方图是通过学习模型200的生成中使用的图像数据的平均而得到的。该“颜色直方图”例如能够通过控制部10来从图像数据210求取并存储于存储部20。此外，不需要对连续的全部图像数据210求取，例如，能够将对某个图像数据210求取的颜色直方图与包含该图像数据210的规定帧建立关联并进行利用。进一步地，也可以不是直方图本身而根据颜色直方图的倾向来设定颜色直方图的类别，使用与根据图像数据210的颜色直方图而确定的类别建立关联的学习模型200。
[0063]
另外，也可以通过“颜色直方图”和上述的“摄影条件”的组合来选择使用的学习模型200。例如，也可以使用摄影场所的类别相同、颜色直方图之差为规定范围内的学习模型200。此外，例如，也可以使用摄影场所的目的以及人物的特征相同、颜色直方图之差为规定范围内的学习模型200。由此，能够提高基于赋予部12的识别信息的赋予的精度。
[0064]
例如，赋予部12如图6所示，对图5所示的图像赋予多个识别信息。具体地说，从图像数据210选择识别对象的区域，赋予选择的区域中包含的识别对象的识别信息。在图5所示的例子中，是赋予部12对人物320的区域(虚线的矩形)赋予“人物”的识别信息、对购物车330的区域(单点划线的矩形)赋予“购物车”的识别信息的例子。另外，在图6所示的例子中，通过虚线的矩形来表示人物320的区域，通过单点划线的矩形来表示购物车的区域，但这是用于附图上容易区分的一个例子。此外，可能如图6的“人物”和“购物车”的区域重叠的例子
那样，在识别对象接近的情况下，多个识别对象的区域重叠。
[0065]
此外，赋予部12也可以如图7所示那样，能够对人物赋予更加详细的识别信息。具体地说，在图7所示的例子中，对人物赋予“男性/店员”、“女性/顾客”、“孩子/顾客”、“男性/顾客”等更加具体的识别信息。
[0066]
更新部13使用被赋予了识别信息的图像数据210来更新学习模型200。具体地说，更新部13使用通过“第1注解处理”而被赋予了识别信息的图像数据210，执行学习，更新学习模型200。然后，赋予部12使用被更新的学习模型200来执行“第2注解处理”，对剩余的图像数据210赋予识别信息。
[0067]
修正部14接受将包含通过赋予部12而赋予的识别信息的图像数据210显示于输出部23来修正识别信息的请求，根据请求来修正识别信息。即，学习模型200也可能不是专门为通过摄影装置2而拍摄的图像数据210生成的，因此通过根据需要来利用修正部14进行修正，能够提高学习模型200的精度，也能够提高移动路线分析系统100中的移动路线分析的分析精度。
[0068]
例如，如图7中上述那样，对图像数据210赋予了识别信息的情况下，例如，在本来是“男性顾客”而误识别为“男性店员”的情况、本来是“男性店员”而误识别为“购物车”的情况下，接受被错误赋予的识别信息的修正的请求。
[0069]
另外，更新部13使用通过修正部14而修正了识别信息的图像数据210来更新学习模型200。因此，更新部13更新学习模型200的定时是：修正部14对操作员确认有无修正并确认为不需要修正的定时(图4的(5))、从修正部14请求了更新的定时(图8的(5
‑
4))、或者通过修正部14而识别信息的修正结束的定时(图8的(5
‑
6))。
[0070]
图8对应于图4的附图，对针对通过第1注解处理而被赋予了识别信息的图像数据修正识别信息的情况(图8的单点划线部分)具体进行说明。具体地说，修正部14将被赋予了识别信息的图像数据210的至少一部分选择为修正用数据(图8的(5
‑
1))，将剩余的图像数据210设为再注解用数据(图8的(5
‑
2))，将修正用图像数据显示于输出部23，对操作员确认有无修正。例如，通过赋予部12中的第1注解处理的执行，对500帧的图像数据210赋予了识别信息的情况下，修正部14例如能够将操作员从其中任意选择的任意的图像数据210选择为修正对象。此外，作为其他的方法，假设在对500帧的图像数据210赋予了识别信息的情况下，修正部14例如通过每20帧提取1帧的图像数据，能够将25帧的图像数据选择为修正对象。
[0071]
另外，除了操作员任意地选择修正对象的图像数据210的方法，修正部14也可以选择修正对象的图像数据210。所谓修正部14选择修正对象的图像数据210的方法，例如，举例“以一定间隔选择的方法”、“随机选择的方法”、“使用图像处理而计算各图像数据210的特征量并选择特征之差较大的图像数据210的方法”等。
[0072]
若经由输入部22而被输入来自操作员的修正的请求，则修正部14根据被输入的请求来修正识别信息，更新存储部20的图像数据210(图8的(5
‑
3))。此外，修正部14针对修正用的图像数据210，对更新部13请求基于与修正的识别信息建立关联的图像数据210的学习模型200的更新(图8(5
‑
4))。若通过更新部13而更新学习模型200，则修正部14通过更新后的学习模型200，针对利用修正部14而结束识别信息230的修正的图像数据210，对赋予部12请求再次的注解处理，赋予新的识别信息从而修正识别信息(图8的(5
‑
5))。然后，修正部14
对更新部13请求基于与修正的识别信息建立关联的图像数据210的学习模型200的更新(图8(5
‑
6))。
[0073]
另外，在图8中，表示如下例子，即识别信息赋予装置1在修正识别信息时，分为通过操作员而修正识别信息的修正用数据、通过基于赋予部12的注解处理而修正识别信息的注解用数据而进行处理，也可以针对第1注解用图像的全部，通过操作员的输入来修正识别信息230。
[0074]
修正部14在将包含识别信息的图像数据210显示于输出部23时，能够将通过赋予部12而赋予的识别信息和通过修正部14而修正的识别信息区分显示。此外，修正部14能够多次修正识别信息，在将包含识别信息的图像数据210显示于显示部时，能够将过去通过修正部14而修正的识别信息和本次新修正的识别信息区分显示。具体地说，可以通过不同颜色来表示区域，或者通过不同方式(虚线、单点划线、二重线、波线等)来表示区域。此外，通过不同颜色、方式(字体、文字尺寸、下划线等)来表示作为识别信息的文字。这样，修正部14通过利用不同方式来显示在不同定时赋予的识别信息，例如在操作员选择识别信息的修正对象的图像数据210的情况下，也能够判断修正对象的选择是否最合适。
[0075]
这样，识别信息赋予装置1能够根据获取的图像数据210来利用现有的学习模型200并赋予识别信息，此外，更新学习模型200并生成作为目的的学习模型。由此，不需要基于操作员的手工操作的识别信息的赋予，从而能够实现识别信息的赋予的操作的简易化并提高赋予的识别信息的精度。
[0076]
<识别信息赋予方法>
[0077]
接下来，使用图9所示的流程图，对通过识别信息赋予装置1而执行的识别信息赋予方法进行说明。
[0078]
识别信息赋予装置1获取通过摄影装置2而拍摄的图像数据210(s1)。该图像数据210是具有连续性的多个帧的图像数据210。
[0079]
识别信息赋予装置1从步骤s1中获取的图像数据210选择第1注解用的图像数据210(s2)。步骤s1中获取的图像数据之中、步骤s2中未选择的图像数据210为第2注解用的图像数据210。
[0080]
识别信息赋予装置1执行第1注解处理，对使用存储部20中存储的学习模型200而在步骤s2中选择的图像数据210，赋予识别信息(s3)。
[0081]
识别信息赋予装置1从步骤s3中被赋予了识别信息的图像数据210选择修正用的图像数据(s4)。
[0082]
识别信息赋予装置1将步骤s4中选择的图像数据210与识别信息一起显示于输出部23，确认是否需要修正(s5)。
[0083]
在需要修正的情况下(s5中为是)，在识别信息赋予装置1中，通过输入部22来输入识别信息的修正内容(s6)。
[0084]
识别信息赋予装置1根据步骤s6中输入的内容，修正图像数据210的识别信息(s7)。
[0085]
识别信息赋予装置1使用步骤s7中识别信息被修正的图像数据210来执行学习处理，更新学习模型200(s8)。
[0086]
识别信息赋予装置1使用步骤s8中更新的学习模型200，执行再次的第1注解处理，
针对步骤s7中未修正识别信息的图像数据210赋予识别信息，从而修正识别信息(s9)。
[0087]
识别信息赋予装置1使用步骤s9中识别信息被修正的图像数据210来执行学习处理，更新学习模型200(s10)。在此，例如，也可以将学习中未使用的评价用的图像即评价用数据预先存储于存储部20，反复步骤s4～s10的处理直到使用了该评价用数据的探测率为规定的阈值以上。
[0088]
另外，假设在判断为步骤s3中赋予的识别信息不需要修正的情况下(s5中为否)，在识别信息赋予装置1中，使用步骤s3中被赋予了识别信息的图像数据210来执行学习处理，更新学习模型200(s11)。
[0089]
识别信息赋予装置1使用步骤s10或者步骤s11中更新的学习模型200，执行第2注解处理，对第2注解用的图像数据210赋予识别信息(s12)。
[0090]
识别信息赋予装置1使用步骤s12中被赋予识别信息的图像数据210来执行学习处理，更新学习模型200(s13)。
[0091]
这样，识别信息赋予装置1能够根据获取的图像数据210，利用现有的学习模型200来赋予识别信息，此外，更新学习模型200来生成作为目的的学习模型。由此，不需要基于操作员的手工操作的识别信息的赋予，从而能够实现识别信息的赋予的操作的简易化并提高赋予的识别信息的精度。
[0092]
[效果以及补充]
[0093]
如以上那样，作为本技术中公开的技术示例，说明了上述实施方式。但是，本公开中的技术并不局限于此，也能够应用于适当进行了变更、置换、附加、省略等的实施方式。因此，以下示例其他实施方式。
[0094]
《变形例》
[0095]
(1)运动矢量的应用
[0096]
如图10所示，也可以在识别信息赋予装置1a中还具备选择部15。例如，选择部15从由多个图像数据选择的图像数据检测存在运动的被摄体，选择存在运动的被摄体的区域。
[0097]
例如，选择部15选择第1注解用图像数据(图11的(2a))。此外，选择部15将除此以外的图像作为第2注解用图像(图11的(3a))。此外，选择部15根据选择的2帧求取运动矢量(图4a)。运动矢量是比较从作为基准的一个帧向另一个帧的像素信息并将其差表现为矢量，也被称为流矢量。通过确定该运动矢量，能够确定图像数据中存在运动的被摄体。具体地说，选择部15将包含被检测到运动矢量的部分的区域例如选择为矩形的区域。此外，选择部15将确定被选择的区域的“坐标”、“宽度”以及“高度”等作为识别信息230而与图像数据210建立关联并存储于存储部20。
[0098]
修正部14从作为识别信息230而与区域建立关联的图像数据210，选择对识别信息230追加对象的“类别”的追加的图像数据210(图11的(5a
‑
1))。此外，修正部14将未选择的图像数据210设为注解用数据(图11的(5a
‑
2))。修正部14将作为识别信息230的区域与图像数据210一起显示，根据接受修正识别信息的请求的请求来修正识别信息230(图11(5a
‑
3))。具体地说，对识别信息230追加“类别”。然后，修正部14对更新部13请求基于与被修正的识别信息建立关联的图像数据210的学习模型200的更新(图11的(5a
‑
4))。该学习模型200也与上述的情况同样地，优选将与图像数据210相同或者类似的图像数据作为学习数据而学习。
[0099]
若通过更新部13来更新学习模型200，则修正部14通过更新后的学习模型200，针对通过修正部14而识别信息230的修正未结束的图像数据210，对赋予部12请求注解处理，赋予新的识别信息230从而修正识别信息230(图8的(5a
‑
5))。然后，修正部14对更新部13请求基于与修正的识别信息230建立关联的图像数据210的学习模型的更新(图11(5a
‑
6))。接下来，赋予部12作为“第2注解处理”，通过更新的学习模型200，对第1注解处理中未赋予识别信息的第2注解用的图像数据210赋予识别信息(图11的(6))。然后，通过更新部13，通过被赋予识别信息的第2注解用的图像数据210，更新学习模型200(图11的(7))。
[0100]
另外，在图11中，表示如下例子，即识别信息赋予装置1a在修正识别信息时，分为通过操作员而追加识别信息的追加用数据和通过基于赋予部12的注解处理而修正识别信息的注解用数据来进行处理，但也可以针对第1注解用图像的全部，通过操作员的输入来追加识别信息230。
[0101]
因此，即使在假设难以利用现有的学习模型200来进行基于第1注解处理的识别信息的赋予的情况下，也能够检测运动矢量并确定对象的区域，使用该区域来进行识别信息的赋予，因此能够将操作员的识别信息的赋予的操作，提高被赋予的识别信息的精度。
[0102]
(2)仅对包含类别进行注解
[0103]
此外，在上述的例子中，说明了对错误赋予的识别信息230进行修正的例子，但并不局限于此，在将上位的识别信息230修正为下位的识别信息230的情况也同样。具体地说，也可以在第1注解处理中，赋予上位类别的识别信息230，通过识别信息的修正的处理来修正为下位的识别信息230，由此使用更新的学习模型200执行第2注解处理。例如，首先，也可以通过学习模型200来赋予作为上位类别的“人物”这一识别信息，将其修正为作为下位类别的“男性”、“女性”、“大人”、“孩子”等的识别信息。
[0104]
例如，如图12所示，若从获取的图像数据210选择第1注解用的图像数据210、第2注解用的图像数据210，则赋予部12通过学习模型200，赋予识别信息(图12的(4b))。在此，被赋予的识别信息230包含上位类别。然后，修正部14从第1注解用的图像数据210选择修正用的图像数据210(图12的(5b
‑
1))，将剩余的设为第2注解用的图像数据(图12的(5b
‑
2))。此外，修正部14根据从操作员输入的请求来修正识别信息，更新存储部20的图像数据210(图12的(5b
‑
3))。在此，被修正的识别信息230包含下位类别。此外，修正部14针对修正用的图像数据210，对更新部13请求基于与修正的识别信息建立关联的图像数据210的学习模型200的更新(图12(5b
‑
4))。
[0105]
若通过更新部13来更新学习模型200，则修正部14通过更新后的学习模型200，针对通过修正部14而识别信息230的修正未结束的图像数据210，对赋予部12请求再次的注解处理，通过赋予新的识别信息来修正识别信息(图12的(5b
‑
5))。在此，修正的识别信息230包含下位类别。然后，修正部14对更新部13请求基于与修正的识别信息建立关联的图像数据210的学习模型200的更新(图12(5b
‑
6))。接下来，赋予部12作为“第2注解处理”，通过更新的学习模型200，对第1注解处理中未赋予识别信息的第2注解用的图像数据210赋予识别信息(图12的(6))。然后，通过更新部13，利用被赋予了识别信息的第2注解用的图像数据210，学习模型200被更新(图12的(7))。
[0106]
另外，在图12中，表示如下例子，即识别信息赋予装置1在修正识别信息时，分为通过操作员而修正识别信息的修正用数据和通过基于赋予部12的注解处理而修正识别信息
的注解用数据来进行处理，但也可以针对第1注解用图像的全部，通过操作员的输入来修正识别信息230。
[0107]
在多个类别的注解时，通过自动注解包含类别的基础上对其进行修正，并最终注解，从而提高操作效率。
[0108]
《实施方式的概要》
[0109]
(1)本公开的识别信息赋予装置具备：获取部，获取多个图像数据；赋予部，使用学习完毕的学习模型，对从多个图像数据选择的图像数据，赋予识别信息；和更新部，使用被赋予了识别信息的图像数据，更新学习模型，赋予部使用被更新的学习模型，对获取部获取的剩余的图像数据赋予识别信息。
[0110]
由此，能够从获取的图像数据，利用现有的学习模型，赋予识别信息，此外，更新学习模型，生成作为目的的学习模型，不需要基于操作员的手工操作的识别信息的赋予，从而能够实现识别信息的赋予的操作的简易化并提高赋予的识别信息的精度。
[0111]
(2)在(1)的识别信息赋予装置中，也可以识别信息赋予装置还具备：修正部，将图像数据和通过赋予部而对该图像数据赋予的识别信息显示于显示部，接受修正识别信息的请求，根据该请求来修正识别信息，更新部使用通过修正部而修正了识别信息的图像数据，更新学习模型。
[0112]
由此，能够根据需要，修正通过现有的学习模型而赋予的识别信息，从而能够提高识别信息的精度。
[0113]
(3)在(2)的识别信息赋予装置中，也可以修正部在将图像数据以及识别信息显示于显示部时，将通过赋予部而赋予的识别信息和通过修正部而修正的识别信息区分显示。
[0114]
由此，能够评价识别信息的修正操作，能够提高修正操作的精度。
[0115]
(4)在(2)的识别信息赋予装置中，也可以修正部能够多次修正识别信息，在将图像数据以及识别信息显示于显示部时，将过去通过修正部而修正的识别信息和本次新修正的识别信息区分显示。
[0116]
由此，能够评价识别信息的修正操作，能够提高修正操作的精度。
[0117]
(5)在(1)的识别信息赋予装置中，也可以赋予部能够利用包含图像的特征信息的多个学习模型，对包含获取部获取的图像数据的特征信息和规定范围的特征信息的学习模型进行利用。
[0118]
由此，能够从现有的多个学习模型中选择最合适的学习模型并进行利用，能够提高识别信息的赋予的精度。
[0119]
(6)在(5)的识别信息赋予装置中，也可以特征信息包含图像数据的摄影条件，赋予部对与图像数据的摄影条件相同的摄影条件所建立关联的学习模型进行利用。
[0120]
由此，能够从现有的多个学习模型中选择最合适的学习模型并进行利用，能够提高识别信息的赋予的精度。
[0121]
(7)在(5)的识别信息赋予装置中，也可以特征信息包含图像数据的颜色直方图，赋予部对与图像数据的颜色直方图的差为规定范围的颜色直方图所建立关联的学习模型进行利用。
[0122]
由此，能够从现有的多个学习模型中选择最合适的学习模型并进行利用，能够提高识别信息的赋予的精度。
[0123]
(8)在(2)的识别信息赋予装置中，也可以识别信息赋予装置还具备：选择部，从由多个图像数据选择的图像数据检测存在运动的被摄体，选择该被摄体的区域，修正部将图像数据和对图像数据由选择部选择的区域显示为识别信息，接受修正该识别信息的请求，根据该请求来修正识别信息。
[0124]
由此，能够从获取的图像数据选择存在运动的区域，将基于操作员的手工操作的识别信息的赋予简易化。
[0125]
(9)在(1)的识别信息赋予装置中，也可以多个图像数据是具有连续性的图像数据。
[0126]
由此，能够从获取的具有连续性的图像数据，利用现有的学习模型来赋予识别信息，此外，能够更新学习模型并生成作为目的的学习模型。
[0127]
(10)本公开的识别信息赋予方法包含：获取多个图像数据的步骤；使用学习完毕的学习模型，对从多个图像数据选择的图像数据赋予识别信息的步骤；使用被赋予了识别信息的图像数据，更新学习模型的步骤；和使用更新的学习模型，对获取的剩余的图像数据赋予识别信息的步骤。
[0128]
由此，能够从获取的图像数据，利用现有的学习模型，赋予识别信息，此外，能够更新学习模型来生成作为目的的学习模型，不需要基于操作员的手工操作的识别信息的赋予，从而能够实现识别信息的赋予的操作的简易化并提高赋予的识别信息的精度
[0129]
(11)本公开的程序使计算机执行(10)的方法。
[0130]
由此，能够从获取的图像数据，利用现有的学习模型，赋予识别信息，此外，能够更新学习模型并生成作为目的的学习模型，不需要基于操作员的手工操作的识别信息的赋予，从而能够实现识别信息的赋予的操作的简易化并提高赋予的识别信息的精度。
[0131]
本公开的全部权利要求所述的识别信息赋予装置以及识别信息赋予方法可通过与硬件资源、例如处理器、存储器以及程序的配合等而实现。
[0132]
产业上的可利用性
[0133]
本公开的识别信息赋予装置以及识别信息赋予方法在机器学习的教师数据的制作中有用。
[0134]
‑
符号说明
‑
[0135]
1、1a 识别信息赋予装置
[0136]
10 控制部
[0137]
11 获取部
[0138]
12 赋予部
[0139]
13 更新部
[0140]
14 修正部
[0141]
20 存储部
[0142]
200 学习模型
[0143]
210 图像数据
[0144]
220 传感器数据
[0145]
230 识别信息
[0146]
p 识别信息赋予程序
[0147]
21 通信i/f
[0148]
22 输入部
[0149]
23 输出部(显示部)。