用于使用图像识别模型的标识符信息推断的电子装置、方法、程序和系统与流程

1.本发明涉及用于使用图像识别模型的标识符信息推断的电子装置、方法、程序和系统。


背景技术：

2.近年来，随着信息网络的发展，通过使用智能电话上的聊天应用、sns应用等来在朋友之间共享信息是很常见的。对于这样的信息共享的要发送到另一用户的内容不仅可以包括文本消息，而且还可以包括用户所拍摄的诸如照片或屏幕截图等的图像(专利文献1)。接收到该消息、图像等的另一用户用感想消息等进行回复，由此用户可以享受与彼此的通信。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2018-073070


技术实现要素：

6.发明要解决的问题
7.通常还使用诸如在智能电话上执行的游戏所用的应用等的应用。信息共享所用的现有sns或通信应用与游戏等所用的应用之间的关系保持沿从游戏等向sns的传出(outbound)方向上的关系，具体为向外输出游戏等中的信息的关系，诸如通过使用另一应用与另一用户共享游戏等中的屏幕截图的关系等。尚未实现将经由sns获得的图像或由照相机获取到的图像发送到应用中的角色等的属性信息的传入(inbound)方向机制。
8.用于解决问题的方案
9.本发明是有鉴于上述问题而做出的，并且具有以下特征。具体地，根据一个实施例，本发明提供一种电子装置，包括：操作接受单元，其能够接受来自用户的操作；存储单元，用于存储多个图像识别模型，所述多个图像识别模型中的各图像识别模型由该图像识别模型特有的学习内容来定义，利用所述多个图像识别模型中的各图像识别模型、能够通过使用所述学习内容来推断至少一个标识符信息，并且所述多个图像识别模型中的各图像识别模型与该图像识别模型特有的属性信息关联；目的地属性信息辨识单元，用于基于所述操作接受单元所接受的操作，从所述存储单元中所存储的属性信息中，将至少一个属性信息辨识为图像信息的目的地；图像识别模型选择单元，用于从所述存储单元中所存储的多个图像识别模型中，选择与所述目的地属性信息辨识单元所辨识的属性信息关联的图像识别模型；以及标识符信息推断单元，用于将所述图像信息输入到所述图像识别模型选择单元所选择的图像识别模型，并且基于所述学习内容从所述图像信息推断标识符信息。
10.此外，定义所述存储单元中所存储的多个图像识别模型的学习内容各自能够由相应的图像识别模型特有的教师数据来定义，并且该特有的教师数据能够由图像信息和用作
辨识信息的标签的对的集合来定义。
11.此外，所述存储单元可以存储与多个标识符信息分别相对应的多个响应内容，以将所述响应内容与所述多个图像识别模型关联，以及还可以包括响应内容执行单元，所述响应内容执行单元用于基于所述标识符信息推断单元所推断的标识符信息，从所述存储单元中所存储的多个响应内容中辨识与所述标识符信息相对应的响应内容，并且执行所述响应内容。
12.还包括显示单元，所述显示单元用于向用户显示信息，所述存储单元可以存储与所述属性信息中的各属性信息相对应的文本信息和图标图像信息至少之一，以及所述目的地属性信息辨识单元可以在所述显示单元上显示所述存储单元中所存储的文本信息和图标图像信息至少之一，并且在用户通过所述操作接受单元指定所显示的文本信息和图标图像信息至少之一的情况下，可以从所述存储单元中所存储的属性信息中将至少一个属性信息辨识为所述图像信息的目的地。
13.根据一个实施例，本发明提供一种方法，其由至少一个计算机执行，并且使得所述计算机执行：存储步骤，用于存储多个图像识别模型，所述多个图像识别模型中的各图像识别模型由该图像识别模型特有的学习内容来定义，利用所述多个图像识别模型中的各图像识别模型、能够通过使用所述学习内容来推断至少一个标识符信息，并且所述多个图像识别模型中的各图像识别模型与该图像识别模型特有的属性信息关联；操作接受步骤，用于接受来自用户的操作；目的地属性信息辨识步骤，用于基于在所述操作接受步骤中接受的操作，从所存储的属性信息中将至少一个属性信息辨识为图像信息的目的地；图像识别模型选择步骤，用于从所存储的多个图像识别模型中，选择与在所述目的地属性信息辨识步骤中辨识的属性信息关联的图像识别模型；以及标识符信息推断步骤，用于将所述图像信息输入到在所述图像识别模型选择步骤中选择的图像识别模型，并且基于所述学习内容从所述图像信息推断标识符信息。
14.所述至少一个计算机可以是用户终端。
15.所述至少一个计算机可以包括用户终端和服务器。
16.根据一个实施例，本发明提供一种程序，其可以使得至少一个计算机执行上述方法。
17.根据一个实施例，本发明提供一种系统，其包括用户终端和服务器，所述用户终端包括：操作接受单元，其能够接受来自用户的操作；以及目的地属性信息辨识单元，用于基于所述操作接受单元所接受的操作，将至少一个属性信息辨识为图像信息的目的地，以及所述服务器包括：存储单元，用于存储多个图像识别模型，所述多个图像识别模型中的各图像识别模型由该图像识别模型特有的学习内容来定义，利用所述多个图像识别模型中的各图像识别模型、能够通过使用所述学习内容来推断至少一个标识符信息，并且所述多个图像识别模型中的各图像识别模型与该图像识别模型特有的属性信息关联；图像识别模型选择单元，用于从所述存储单元中所存储的多个图像识别模型中，选择与所述目的地属性信息辨识单元所辨识的属性信息关联的图像识别模型；以及标识符信息推断单元，用于将所述图像信息输入到所述图像识别模型选择单元所选择的图像识别模型，并且基于所述学习内容从所述图像信息推断标识符信息。
18.发明的效果
19.根据本发明，采用如下的配置：属性信息和图像识别模型项彼此关联，并且当选择用作目的地的属性信息时，选择与该属性信息关联的图像识别模型并将该图像识别模型用于图像识别；因此，即使在针对大量属性信息识别出大量图像内容的情况下，也可以通过使用针对各个属性信息所学习的图像识别模型的推断处理来识别目标图像内容，即使在使用少量数据的情况下也可以实现高推断性能，并且可以通过将各个图像识别模型作为相对较小的神经网络实现来实现高响应性能。
附图说明
20.图1是根据本发明的一个实施例的系统的结构图。
21.图2是根据本发明实施例的服务器和电子装置的硬件结构图。
22.图3是根据本发明实施例的服务器和电子装置的功能框图。
23.图4是示出根据本发明实施例的信息处理的流程图。
24.图5a是示出根据本发明实施例的画面显示示例的图。
25.图5b是示出根据本发明实施例的画面显示示例的图。
26.图5c是示出根据本发明实施例的画面显示示例的图。
27.图5d是示出根据本发明实施例的画面显示示例的图。
28.图6是根据本发明的一个实施例的服务器和电子装置的功能框图。
具体实施方式
29.以下将参考附图来说明根据本发明实施例的系统1。在本说明书中，为了便于说明，存在省略了比所需更详细的说明的情况。例如，存在省略了对已经众所周知的事项的详细说明和对基本上相同的结构的重复说明的情况。
30.第一实施例
31.图1示出根据本发明实施例的系统1的总体结构的示例。如图1所示，系统1包括用作用户终端的多个电子装置10、以及服务器20。电子装置10和服务器20连接到诸如因特网等的网络2，由此能够彼此通信。
32.图2是示出根据本发明实施例的电子装置10和服务器20各自的硬件结构的框图。电子装置10包括处理器11、显示装置12、输入装置13、存储装置14和通信装置15。这些各个构成装置经由总线16连接。注意，在总线16和各个构成装置之间根据需要插入接口。在本实施例中，电子装置10是智能电话。可选地，电子装置10可以是诸如配备有接触型输入装置的计算机(例如平板计算机或触摸板)等的终端，只要该终端包括上述结构即可。
33.类似地，服务器20包括处理器21、显示装置22、输入装置23、存储装置24和通信装置25。这些各个构成装置经由总线26连接。注意，在总线26和各个构成装置之间根据需要插入接口。在本实施例中，服务器20由计算机实现。
34.处理器11和21分别控制电子装置10和服务器20处的总体操作，并且例如是cpu。注意，诸如mpu等的电子电路也可用作处理器11和21。处理器11和21通过分别加载并执行存储装置14和24中所存储的程序和数据来执行各种处理。
35.显示装置12和22分别根据处理器11和21的控制向电子装置10的用户和服务器20的用户显示应用画面等。显示装置12和22优选是液晶显示器，或者可以是使用有机el的显
示器或者等离子体显示器等。
36.输入装置13和23是用于接受从用户向电子装置10和服务器20的输入的用户接口，并且例如是触摸屏、触摸板、键盘或鼠标。在本实施例中，由于电子装置10是智能电话，因此电子装置10包括触摸屏作为输入装置13，并且该触摸屏也用作显示装置12，由此显示装置12和输入装置13具有一体化结构。显示装置12和输入装置13可以具有布置在不同位置的单独形式。由于服务器20是计算机，因此假定服务器20包括键盘和鼠标作为输入装置，并且包括液晶显示器作为显示装置。
37.存储装置14和24是包括在一般的智能电话和计算机中的存储装置，诸如磁存储装置、以及使用作为易失性存储器的ram和作为非易失性存储器的闪速存储器(诸如emmc、ufs或ssd等)的存储装置等。存储装置14和24可以包括外部存储器。例如，存储装置14存储应用，并且存储装置24存储服务器所用的应用。这些应用包括用于执行应用的事件的程序和在执行程序时要参考的各种数据。
38.通信装置15和25可以经由网络2(在图2中未示出)向其他装置发送数据和从其他装置接收数据。例如，通信装置15和25进行移动通信或者诸如使用无线lan的通信等的无线通信，以连接到网络2。电子装置10使用通信装置15以经由网络与服务器20进行通信。通信装置15和25可以进行使用以太网(ethernet，注册商标)线缆等的有线通信。
39.图3示出根据本发明实施例的电子装置10和服务器20的功能框图的示例。电子装置10包括控制单元101、显示单元102、操作接受单元103、存储单元104、通信单元105、图像信息指定单元106、目的地属性信息辨识单元107、图像识别模型选择单元108、标识符信息推断单元109和响应内容执行单元110。服务器20包括控制单元201、显示单元202、操作接受单元203、存储单元204和通信单元205。存储单元104和204分别存储多个图像识别模型150-1至150-n和多个图像识别模型250-1至250-m。
40.在本实施例中，在处理器11和21执行程序时实现这些功能。例如，所执行的程序是存储装置14和24中所存储的程序。由于如上所述、通过加载程序来实现各种功能，因此一个部件(功能)的一部分或全部可以包括在另一部分中。可选地，这些功能可以借助于硬件通过配置各自实现各个功能的一部分或全部的电子电路等来实现。
41.电子装置10的控制单元101在执行本实施例的应用的功能时，执行控制处理。显示单元102显示用于控制应用的功能的应用画面，并且显示与应用的功能和用户操作相对应的应用画面。操作接受部103接受来自电子装置10的用户的输入。在本实施例中，使用包括显示单元102和操作接受单元103的触摸屏，并且通过触摸检测功能来实现操作接受单元。
42.存储单元104存储控制单元101所执行的信息处理所需的信息。此外，存储单元104存储用户可以使用的两个或更多个属性信息。属性信息是表示用作图像的目的地的属性的信息，并且例如可以是标识游戏应用中的角色或虚拟个性的信息。
43.在本实施例中，假定将属性设置为游戏中的角色、并且将属性信息设置为角色标识信息。在同一角色根据稀有度的差异或服装的差异而具有多个变化的情况下，可以向该角色指派不同的角色标识信息作为属性信息。存储单元104存储用户所拥有的角色的角色标识符作为属性信息。此外，存储单元104存储与各个属性信息相关联的图像识别模型150-1至150-n。这里，存储了与用户所拥有的n个角色的角色标识符关联的图像识别模型。各个图像识别模型是神经网络(nn)模型，该nn模型由该模型特有的学习内容来定义，并且利用
该nn模型，可以通过使用学习内容来推断至少一个标识符信息。
44.标识符信息是表示图像内容的信息，并且可以由系统设计人员预先设计。在本说明书中，用作从使用相应学习内容的图像识别模型输出的推断结果的标识符信息可被称为类(class)。用来定义教师数据的标识符信息可被称为标签(label)，其中该教师数据用于定义学习内容。此外，与表示基于所推断的标识符信息所要执行的响应内容的脚本数据关联的标识符信息也可被称为标签。
45.目的地属性信息辨识单元107基于由操作接受单元103接受的用户的输入操作，从存储单元104中所存储的属性信息中将至少一个属性信息辨识为图像信息的目的地。图像信息指定单元106基于由操作接受单元103接受的用户的输入操作来指定要发送到目的地的图像信息。图像信息不限于与静止图像有关的图像信息，并且可以是与运动图像有关的图像信息。
46.图像识别模型选择单元108从存储单元104中所存储的多个图像识别模型中选择与由目的地属性信息辨识单元107辨识的属性信息关联的图像识别模型。标识符信息推断单元109将由图像信息指定单元106指定的图像信息输入到由图像识别模型选择单元108选择的图像识别模型150中，并且基于学习内容来从图像信息推断标识符信息。基于由标识符信息推断单元109推断的标识符信息，响应内容执行单元110从存储单元104中所存储的多个响应内容中辨识与该标识符信息相对应的响应内容，并且执行该响应内容。
47.服务器20的控制单元201进行在电子装置10处执行的应用所用的处理。在一个示例中，当在电子装置10处执行应用时，控制单元201定期地或根据需要向电子装置10发送数据和从电子装置10接收数据，以在电子装置10处实现应用的功能。显示单元202根据需要在显示装置22上显示服务器管理员所用的管理画面。
48.存储单元204存储由控制单元201执行的信息处理所需的信息。此外，存储单元204存储在应用中可用的所有属性信息，并且存储与各个属性信息相关联的图像识别模型250-1至250-m。在本实施例中，在服务器20处，对于作为在游戏应用中可用的所有角色的m个角色，准备各个模型特有的教师数据，并且生成图像识别模型250-1至250-m并将这些图像识别模型250-1至250-m存储在存储单元204中。然后，将这些图像识别模型中的与电子装置10的用户所拥有的角色相对应的图像识别模型发送到电子装置10并存储在存储单元104中。
49.接着，以下将参考图4来说明本实施例的系统的信息处理操作400。在本实施例中，假定：系统是游戏系统，使用智能电话作为电子装置10，在电子装置10处在智能电话所用的os上执行游戏应用作为应用，并且在服务器20处在服务器所用的os上执行服务器所用的游戏应用。在该游戏中，准备多个角色作为游戏媒介，并且用户例如通过抽选处理来获得角色。然后，假定通过使用所获得的多个角色来使游戏继续进行。这里，将说明如下的示例情况：用户将在游戏外部获取到的图像发送到用户所拥有的角色，并且根据所推断的该图像的图像内容来执行针对各角色所确定的响应处理。向角色发送可以包括用于与角色共享的另一概念。
50.在本实施例中，将图像识别模型建模为如下的函数，其中在推断时，将位图图像作为图像信息输入到该函数，并且该函数输出用作与该位图图像的图像内容相对应的类的标识符信息。这里，图像内容意味着可以由神经网络进行分类的任意特征，诸如在图像中拍摄到的对象、背景、或者对象的组合等。
51.例如，当图像内容是作为水果的苹果时，该系统输出如“苹果、90％”那样的标识符信息(类)及其概率作为推断。然后，作为所推断的标识符信息，可以仅输出概率最高的标识符的标识符信息，或者输出超过预定阈值的所有标识符信息。
52.在信息处理操作400中，首先，准备各个角色特有的学习内容，利用这些特有的学习内容定义图像识别模型并将该图像识别模型存储在服务器的存储单元204中，并且在电子装置10处下载与用户所拥有的角色相关联的图像识别模型并将该图像识别模型存储在存储单元104中(s401)。因此，可以准备针对各个角色个性化的神经网络模型。
53.在本实施例中，学习内容由各图像识别模型特有的教师数据来定义，并且该特有的教师数据由用作标签的图像信息和标识符信息的对的集合来定义。在式(1)中示出教师数据dc的数据结构的示例。
54.{式1}
55.dc＝[label1,bitmapi,label2，bitmapz,...，labeln，bitmapn]
…
(1)
[0056]
这里，labeli是由第i个图像表示的图像内容的标签字符串，并且bitmapi是第i个图像的位图数据。也就是说，在本发明中，教师数据是图像及其标签的对的集合。为了通过深度学习求解多类分类问题，可以通过将多个标签与一个位图图像关联来进行学习，并且将标签和位图定义为关系n
×
m。接着，可以如下定义作为由dc定义的所有标签的集合的lc。
[0057]
{式2}
[0058]
lc＝[label1，label2，...，label
p
]
…
(2)
[0059]
这里，labeli是第i个标签字符串且具有在集合lc中独特的识别性，并且p与由dc指定的标签的种类的数量相对应。可以如下定义与角色c相对应的演出场景sc。
[0060]
{式3}
[0061]
sc＝[label
t
，script1，label2，script2，...，labelq，scriptq]
…
(3)
[0062]
这里，labeli是第i个种类的标签字符串，并且scripti是在输入第i个标签时系统所要再现的演出的脚本数据。注意，在本发明中，代替使用仅一个标签，例如，与同时拍摄苹果和太阳镜的情况一样，也可以通过组合多个标签来写图像内容。因此，这里，标签的数量的最大值q可以大于标签的种类的数量p。
[0063]
接着，示出用于生成针对各角色个性化的神经网络模型的方法。作为用于进行使用dnn的学习的函数的学习函数是如下的函数，该函数接收与特定角色c相对应的教师数据学习数据桶dc，并且输出用于对图像内容进行多类分类的模型mc，并且可被如下定义：
[0064]
{式4}
[0065]
learn(dc)
→
mc…
(4)
[0066]
该学习函数可被实现为用于生成图像识别nn模型的通常已知的方法、或者用于输入训练数据作为经学习的模型的微调的方法。例如，可以使用alexnet或vgg1作为用于生成图像识别nn模型的方法，并且可以使用inception-v3作为用于输入训练数据作为经学习的模型的微调的方法。如在例如krizhevsky,alex，ilya sutskever,and geoffrey e.hinton.“imagenet classification with deep convolutional neural networks.”advances in neural information processing systems.2012；lecun，y，bengio，y&hinton，g，“deep learning,”nature，vol.521，no.7553，pp.436-444.2015；toru ogawa，atsushi otsubo，rei narita，yusuke matsui，toshihiko yamasaki，kiyoharu aizawa，“object detection for comics using manga109annotations,”arxiv：1803.08670，2018，szegedy,c.，vanhoucke，v.，ioffe，s.，shlens，j.，&wojna，z.(2016)；以及rethinking the inception architecture for computer vision.2016ieee conference oncomputer visionand pattern recognition(cvpr)，2818-2826中所述，这些方法是本领域技术人员众所周知的。
[0067]
通过这种方式，准备针对各角色个性化的学习内容，并且准备个性化的神经网络模型，由此使得可以根据角色的个性来决定要辨识的图像内容。例如，在游戏场景的设置中、角色a喜欢苹果和汽车并且角色b不喜欢蜘蛛和青蛙的情况下，准备包括苹果和汽车作为图像内容的图像作为角色a的教师数据，并且准备包括蜘蛛和青蛙作为图像内容的图像作为角色b的教师数据。然后，通过使用这些教师数据来分别生成角色a和b的图像识别模型。因此，当将图像信息输入到角色a的图像识别模型时，辨识出苹果和汽车，并且当将图像信息输入到角色b的图像识别模型时，辨识出蜘蛛和青蛙，由此可以辨识针对角色唯一决定的图像内容。然后，可以根据所辨识的图像内容来执行个性化的场景脚本。
[0068]
已知有使用神经网络模型的一般图像识别模型，并且可以对用通用名词标记图像中的对象(诸如小汽车、公共汽车、手提包和人等)的高级标记问题求解。这种一般图像识别模型可用在自主驾驶和高级监视照相机中。尽管一般图像识别是优秀的技术，但难以进行专用于应用的定制，例如，难以根据游戏内容对标签目标进行精细分类或者仅对特定的标识牌作出反应，并且需要准备极大量的数据以利用现有方法准备与大量应用相对应的大量学习模型，由此在各个种类的实际使用的可延展性方面存在问题。此外，由于识别出大量一般对象，因此不总是容易使诸如用户终端等的电子装置高速响应，并且难以仅通过添加少量数据来修改和扩展图像识别功能。
[0069]
与此相比，如在本实施例中那样，由于针对各角色个性化的神经网络模型可以辨识仅特定图像内容就足够了，因此容易根据角色定制标签目标，并且可以实现相对较小的神经网络模型，由此推断期间的响应性能高，并且仅通过添加少量数据就可以扩展图像识别功能。
[0070]
即使在游戏中存在大量角色的情况下，也仅需要将用户所拥有的角色的图像识别模型下载到电子装置10，并且在更新时，可以仅更新和下载更新后的图像识别模型。
[0071]
在电子装置102处，在存储了用户所拥有的角色的图像识别模型之后，在显示单元102上显示用于指定使用应用要发送的图像信息的画面500。然后，图像信息指定单元106基于由操作接受单元103接受的用户输入操作来指定用作传输目标的图像信息(s402)。例如，如图5a所示，在画面上显示多个照片缩略图501，并且用户触摸使用应用要发送的图像的缩略图501，然后触摸“用应用发送”按钮502，由此指定用作传输目标的图像信息。也可以指定两个或多于两个图像信息作为要发送的图像信息。
[0072]
接着，根据用户操作来辨识用于发送所指定的图像信息的应用。例如，如图5b所示，显示在s402中指定的图像信息的图像512，显示可供传输使用的应用的图标514，并且用户触摸这些图标其中之一，由此选择这些应用中的相应应用，并且触摸“选择”按钮516，从而选择传输所使用的应用。这里，假定选择用于执行本发明的游戏应用。
[0073]
在本实施例中，尽管将用于指定图像信息的处理和用于选择传输所使用的应用的处理作为智能电话上的os的功能来执行，但也可以将这两个处理作为本发明的游戏应用的
一些功能来执行。例如，在启动游戏应用之后，启动用于向角色发送图像信息的功能，由此使得可以显示用于指定图像信息的画面500。
[0074]
当想要向角色发送图像的用户选择本实施例所用的游戏应用作为传输所使用的应用时，启动游戏应用，并且在显示单元102上显示用于选择用作目的地属性信息的角色标识信息的画面。然后，目的地属性信息辨识单元107基于由操作接受单元接受的用户操作，将用作属性信息的至少一个角色标识信息辨识为图像信息的目的地(s404)。例如，如图5c所示，显示被指定为传输目标的图像522，将目的地角色的选择按钮显示为包括表示角色名称的文本信息524的按钮，并且用户触摸这些按钮其中之一，由此选择相应的角色，并且触摸选择按钮526，由此辨识用作目的地属性信息标识信息的角色标识信息。除了表示角色名称的文本信息之外或者代替角色名称，还可以显示表示角色的图标图像信息。只要可以辨识角色标识信息，也可以使用诸如使用由用户输入的文本信息的方法等的另一方法。
[0075]
接着，图像识别模型选择单元108从存储单元104中所存储的多个图像识别模型150-1至150-n中选择与作为属性信息的所辨识的角色标识信息关联的图像识别模型(s406)。
[0076]
标识符信息推断单元109将由图像信息指定单元106指定的图像信息输入到由图像识别模型选择单元108选择的图像识别模型，以基于学习内容从该图像信息推断标识符信息(s408)。
[0077]
例如，在输入图像信息d和用作目的地的角色标识信息c的情况下，可以如下定义作为标签推断的函数的infer：
[0078]
{式5}
[0079]
infer(mc,d)
→
[label_score1，label_score2,...，label_score
p
]
…
(5)
[0080]
这里，label_scorei是与第i个标签相对应的图像内容在位图中的存在概率。然后，在本实施例中，假设存在与存在概率最高的标签相对应的图像内容，标识符信息推断单元109输出用作图像内容的标识符信息的标签作为所推断的标识符信息。还可以输出包括得分超过预定阈值的所有标签的标签组。
[0081]
由于输入到图像识别模型的图像522包括苹果而不包括汽车作为图像内容，因此输出高的值作为label_score1，并且输出低的值作为label_score2，由此输出与苹果相对应的label1作为推断结果。
[0082]
然后，基于从标识符信息推断单元109输出的标识符信息，响应内容执行单元110从存储单元104中所存储的多个响应内容中辨识与该标识符信息相对应的响应内容，并且执行该响应内容(s410)。
[0083]
在本实施例中，存储单元104以由式3表示的数据结构的形式存储演出场景sc以与角色标识符信息关联。响应内容执行单元110辨识与由目的地属性信息辨识单元107辨识的角色标识信息关联的角色场景sc，并且辨识角色场景的集合中的与用作由标识符信息推断单元109推断的标识符信息的标签关联的脚本数据。然后，响应内容执行单元110基于所辨识的脚本数据来执行响应内容。例如，如图5d所示，可以在显示单元102上显示与辨识为目的地的角色标识信息相对应的角色的图像530，并且显示与作为所输入的图像的图像内容的苹果有关的消息作为响应消息540。
[0084]
与游戏中的角色的传统通信被限制为轻击角色、然后显示对该操作的响应的通
信。通过使用本实施例，例如，当用户将在现实世界中获取到的图像发送到角色时，上演角色对该图像的图像内容的反应，由此自然的通信成为可能，仿佛照片或运动图像与角色共享一样，并且可以增加角色的真实感。结果，可以增加游戏中的沉浸感和与现实的融合感。
[0085]
在本实施例中要发送的图像信息不依赖于特定照相机装置，并且不仅照相机所获取到的图像、而且经由游戏应用的sns帐户分发的图像、用户以拼贴的形式创建的图像、等等都可以被用作要发送的目标。因此，可以实现角色对在真实事件处获取到的图像作出反应的演出和角色对经由sns帐户分发的图像作出反应的演出。
[0086]
基于脚本数据的响应内容不限于基于消息的响应，并且可以是任何类型的响应内容，只要其对所输入的图像信息做出响应即可。例如，还可以播放角色的运动图像或者开始与角色的战斗事件。还可以拍摄在真实事件场所张贴的海报并将其图像发送到属性信息，由此开始用于在游戏中执行事件的处理。
[0087]
如本实施例那样，采用如下的配置：属性信息和图像识别模型项彼此关联，并且当选择用作目的地的属性信息时，选择与所选择的属性信息关联的图像识别模型并将该图像识别模型用于图像识别；因此，即使在例如在游戏应用中数百个或更多个角色识别数万个或更多个图像内容的情况下，也可以通过使用针对各个角色所学习的图像识别模型的仅一次推断处理来识别目标图像内容，由此可以实现高响应性能。
[0088]
例如，可以使用于识别图像的学习模型具有数百千字节的大小，并且可以在预先将该学习模型与属性信息关联的状态下将该学习模型容易地下载到电子装置，由此可以在电子装置处执行图像识别处理。因此，无需将图像信息发送到服务器，由此可以适当地保护个人信息并且同时实现服务器上的负载的减少。此外，即使在更新图像识别模型的情况下，也仅需将更新后的图像识别模型再次下载到电子装置，由此实现高可扩展性。
[0089]
第二实施例
[0090]
本实施例与第一实施例的不同之处在于，电子装置10未将图像识别模型存储在存储单元104中，并且代替电子装置10的图像识别模型选择单元108和标识符信息推断单元109，服务器20包括图像识别模型选择单元208和标识符信息推断单元209。以下将主要说明与第一实施例的不同之处。
[0091]
在本实施例中，在服务器20处，尽管准备各个角色特有的学习内容、并且利用这些特有的学习内容来定义图像识别模型，并将这些图像识别模型存储在存储单元204中(s401)，但这些图像识别模型未被下载到电子装置10。
[0092]
然后，通过与第一实施例中的处理类似的处理，在电子装置10处，指定要发送到属性信息的图像信息(s402)，并且辨识目的地属性信息(s404)。然后，通过使用通信单元105向服务器20发送包括所指定的图像信息和所辨识的目的地属性信息的标识符信息推断请求。服务器20的图像识别模型选择单元208基于所接收到的标识符信息推断请求中所包括的目的地属性信息来选择图像信息被输入至的图像识别模型250(s406)。标识符信息推断单元209将标识符信息推断请求中所包括的图像信息输入到所选择的图像识别模型250以执行标识符信息推断处理(s408)。标识符信息推断单元209输出与图像信息的图像内容相对应的标识符信息，并且服务器20的通信单元205将该标识符信息发送到电子装置10。电子装置10的通信单元105接收从服务器20发送来的标识符信息，并且基于与该标识符信息关联的脚本数据来执行响应内容(s410)。
[0093]
通过使用本实施例，电子装置10无需存储图像识别模型且无需执行标识符信息推断处理；因此，即使在电子装置10的存储容量或处理容量极小的情况下，也可以以高响应性能执行处理。
[0094]
此外，代替在电子装置10处辨识与标识符信息相对应的脚本数据，可以在服务器20处辨识脚本数据，并且可以基于所发送的脚本数据来执行响应内容。此外，例如，在基于浏览器的游戏应用的情况下，可以在服务器20处执行响应处理，并且可以仅在电子装置10处显示所执行的演出。
[0095]
上述的处理或操作可以自由地修改，只要在处理或操作中没有出现矛盾即可。此外，上述各个实施例仅仅是用于说明本发明的示例，并且本发明不限于这些实施例。可以在未背离本发明的主旨的情况下以各种形式体现本发明。此外，在这些实施例中描述的有利效果仅仅是从本发明导出的最优选有利效果，并且来自本发明的有利效果不限于在这些实施例中描述的有利效果。
[0096]
附图标记说明
[0097]
1:系统
[0098]
2:网络
[0099]
10:电子装置
[0100]
11:处理器
[0101]
12:显示装置
[0102]
13:输入装置
[0103]
14:存储装置
[0104]
15:通信装置
[0105]
16:总线
[0106]
20:服务器
[0107]
21:处理器
[0108]
22:显示装置
[0109]
23:输入装置
[0110]
24:存储装置
[0111]
25:通信装置
[0112]
26:总线
[0113]
101:控制单元
[0114]
102:显示单元
[0115]
103:操作接受单元
[0116]
104:存储单元
[0117]
105:通信单元
[0118]
106:图像信息指定单元
[0119]
107:目的地属性信息辨识单元
[0120]
108:图像识别模型选择单元
[0121]
109:标识符信息推断单元
[0122]
110:响应内容执行单元
[0123]
150:图像识别模型
[0124]
201:控制单元
[0125]
202:显示单元
[0126]
203:操作接受单元
[0127]
204:存储单元
[0128]
205:通信单元
[0129]
208:图像识别模型选择单元
[0130]
209:标识符信息推断单元
[0131]
250:图像识别模型