显示控制设备、控制方法和程序与流程

1.本发明涉及显示与产品有关的信息的显示设备的控制。


背景技术：

2.在产品的展示地点(诸如展示货架)设置指示产品价格等的货架标签。然后，已开发了使用电子介质(电子货架标签等)而非纸质介质作为这种货架标签的技术。
3.专利文献1公开了一种电子货架标签系统，其在电子货架标签(其中沿着展示货架的水平方向设置显示屏的纵向方向)上显示与在货架上设置的产品有关的信息。在专利文献1中，店员等手动输入展示货架上产品的布局，并根据输入进行展示的模拟。然后，根据模拟结果，针对要在展示货架上展示的多种产品中的每种产品确定信息显示的布局。
4.现有技术文献
5.专利文献
6.[专利文献1]日本专利申请no.2014-193218
[0007]
[专利文献2]国际专利公开no.wo 2016/052382


技术实现要素：

[0008]
技术问题
[0009]
在专利文献1的电子货架标签系统中，店员等要手动输入产品的布局。因此，店员等人的工作量大。
[0010]
考虑到上述问题而构思本发明，其目的之一是提供一种技术，用于减少在显示设备上显示与产品有关的信息所需的工作量。
[0011]
问题的解决方案
[0012]
根据本发明的显示控制设备包括：(1)第一获取单元，其获取对象图像。对象图像包括在产品的展示地点处设置的显示设备以及在展示地点处展示的产品。显示控制设备还包括：(2)第二获取单元，其识别包括在对象图像中的产品并且获取相关信息，相关信息是与产品相关的信息；(3)显示位置确定单元，其基于对象图像内的产品与显示设备之间的相对位置关系，来确定在显示设备中显示表示产品的相关信息的相关显示的显示位置；以及(4)显示控制单元，其在显示设备上的显示位置处显示产品的相关显示。
[0013]
根据本发明的控制方法通过计算机来执行。控制方法包括获取对象图像的第一获取步骤。对象图像包括在产品的展示地点处设置的显示设备以及在展示地点处展示的产品。控制方法还包括：(2)识别包括在对象图像中的产品并且获取相关信息的第二获取步骤，相关信息是与产品相关的信息；(3)基于对象图像内的产品与显示设备之间的相对位置关系，来确定在显示设备中显示表示产品的相关信息的相关显示的显示位置的显示位置确定步骤；以及(4)在显示设备上的显示位置处显示产品的相关显示的显示控制步骤。
[0014]
根据本发明的程序使得计算机执行根据本发明的控制方法。
[0015]
发明的有利效果
[0016]
本发明提供一种技术，用于减少在显示设备上显示与产品有关的信息所需的工作量。
附图说明
[0017]
图1是概念性示出根据示例性实施例1的显示控制设备的操作的示意图。
[0018]
图2是示出显示控制设备的功能配置的方框图。
[0019]
图3是示出用于实现显示控制设备的计算机的示意图。
[0020]
图4是示出根据示例性实施例1的显示控制设备执行的处理流程的流程图。
[0021]
图5是示出显示控制设备的使用环境的示意图。
[0022]
图6是示出其中使用长条式显示器的场景的示意图。
[0023]
图7是示出对象图像上的显示与产品之间的相对位置关系的第一示意图。
[0024]
图8是示出对象图像上的显示与产品之间的相对位置关系的第二示意图。
[0025]
图9是示出产品的面数等于或大于2的情况的示意图。
[0026]
图10是示出在显示设备上显示产品的显示的情况的示意图，该显示设备设置在展示产品的货架板上。
[0027]
图11是示出在一个货架板上设置多个显示设备的情况的示意图。
[0028]
图12是示出在水平方向上相互不同的位置处设置在垂直方向上长的多个显示设备的情况的示意图。
[0029]
图13是示出在一个侧壁上设置多个显示设备的情况的示意图。
[0030]
图14是示出根据产品的展示状态确定显示设备的大小的情况的示意图。
具体实施方式
[0031]
下面使用附图描述本发明的示例性实施例。注意，在所有附图中，向相似的组件分配相似的附图标记，并因此省略其描述。此外，除非另外特别描述，否则在每个方框图中，每个方框表示基于功能的配置而非基于硬件的配置。在以下描述中，除非另外特别描述，否则将各种预定值(阈值等)预先存储在可以利用值从功能配置单元访问的存储设备中。
[0032]
[示例性实施例1]
[0033]
《概述》
[0034]
图1是概念性示出根据示例性实施例1的显示控制设备2000的操作的示意图。在此，使用图1描述的显示控制设备2000的操作是为了便于理解显示控制设备2000的例示，并不限制显示控制设备2000的操作。下面描述显示控制设备2000的操作的细节和变化。
[0035]
显示控制设备2000在设置于展示地点40的显示设备30上显示与在展示地点40处展示的产品20有关的信息。与产品20有关的信息例如是产品20的名称或价格或产品20的广告等。下面更具体地描述显示控制设备2000的操作。
[0036]
显示控制设备2000获取对象图像10。对象图像10由拍摄展示地点40的相机生成。对象图像10包括在展示地点40上展示的产品20以及在展示地点40处设置的显示设备30。
[0037]
显示控制设备2000进行关于对象图像10的图像分析，从而识别包括在对象图像10中的每个产品20。此外，关于产品20的每个产品，显示控制设备2000从相关信息存储设备50获取产品20的相关信息54。相关信息存储设备50相互关联地存储产品20的识别信息52和相
关信息54。识别信息52是产品20可由其识别的任何信息。例如，可将日本商品编号(jan)代码用作识别信息52。相关信息54指示应当在显示设备30上显示的与产品20有关的信息。
[0038]
显示控制设备2000进行关于对象图像10的图像分析，从而确定在显示设备30上应当显示产品20的相关信息54的位置。基于对象图像10内的产品20与显示设备30之间的相对位置关系，确定应当显示产品20的相关信息54的显示位置。
[0039]
显示控制设备2000通过使用产品20的相关信息54生成表示其内容的显示32。例如，显示32是表示产品20的相关信息54的内容的图像。然后，显示控制设备2000在关于产品20确定的显示设备30上的显示位置处显示产品20的显示32。
[0040]
例如，在图1中的示例中，对象图像10包括产品20-1和产品20-2。显示控制设备2000进行对象图像10的图像分析，从而识别产品20-1和产品20-2。显示控制设备2000获取关于每个产品20-1和20-2的相关信息54。
[0041]
显示控制设备2000基于对象图像10内的产品20-1与显示设备30之间的位置关系，确定应当显示产品20-1的相关信息54的显示位置。类似地，显示控制设备2000基于对象图像10内的产品20-2与显示设备30之间的位置关系，确定应当显示产品20-2的相关信息54的显示位置。
[0042]
显示控制设备2000生成表示产品20-1的相关信息54的显示32-1，并在关于产品20-1确定的显示位置处显示所述显示32-1。类似地，显示控制设备2000生成表示产品20-2的相关信息54的显示32-2，并在关于产品20-2确定的显示位置处显示所述显示32-2。
[0043]
《代表性有利效果》
[0044]
根据本示例性实施例的显示控制设备2000对包括产品20和显示设备30的对象图像10进行图像分析，作为结果，进行与产品20有关的信息(相关信息54)的获取，在显示设备30上应当显示表示相关信息54的显示32的位置的确定，以及显示32在该位置处的显示。因此，显示控制设备2000的用户(店员等)不需要在展示地点40手动输入产品20的布局。因此，与专利文献1的发明相比，优点是在显示上显示与产品有关的信息所需的工作量少。
[0045]
下面更详细地描述显示控制设备2000。
[0046]
《功能配置示例》
[0047]
图2是示出显示控制设备2000的功能配置的方框图。显示控制设备2000包括第一获取单元2020、第二获取单元2040、显示位置确定单元2060和显示控制单元2080。第一获取单元2020获取对象图像10。第二获取单元2040对对象图像10进行图像处理，从而识别包括在对象图像10中的产品20。此外，第二获取单元2040获取关于所识别的产品20的相关信息54。显示位置确定单元2060基于对象图像10中的产品20与显示设备30之间的相对位置关系，确定在显示设备30上应当显示产品20的相关信息54的显示位置。显示控制单元2080在显示设备30上确定的显示位置处显示表示产品20的相关信息54的显示32。
[0048]
《显示控制设备2000的硬件配置示例》
[0049]
显示控制设备2000的每个功能配置单元可通过实现每个功能配置单元的硬件(例如：硬接线电子电路等)来实现，也可通过硬件与软件的组合(例如：电子电路与控制它的程序的组合等)来实现。下面进一步描述通过硬件与软件的组合实现显示控制设备2000的每个功能配置单元的情况。
[0050]
图3是示出用于实现显示控制设备2000的计算机1000的示意图。计算机1000是任
何计算机。例如，计算机1000是诸如个人计算机(pc)或服务器机器的固定计算机。此外，例如，计算机1000是诸如智能手机或平板电脑终端的便携式计算机。
[0051]
计算机1000可以是设计用于实现显示控制设备2000的专用计算机，也可以是通用计算机。在后一种情况下，例如通过在计算机1000中安装预定应用，在计算机1000中实现显示控制设备2000的每个功能。通过用于实现显示控制设备2000的功能配置单元的程序来配置上述应用。
[0052]
计算机1000包括总线1020、处理器1040、存储器1060、存储装置1080、输入/输出接口1100和网络接口1120。总线1020是处理器1040、存储器1060、存储装置1080、输入/输出接口1100和网络接口1120通过其相互收发数据的数据传输路径。但是，相互连接处理器1040等的方法并不限于总线连接。
[0053]
处理器1040是诸如中央处理单元(cpu)、图形处理单元(gpu)和现场可编程门阵列(fpga)的各种处理器。存储器1060是通过使用随机存取存储器(ram)等实现的主存储设备。存储装置1080是通过使用硬盘、固态驱动器(ssd)、存储卡、只读存储器(rom)等实现的辅助存储设备。
[0054]
输入/输出接口1100是用于将计算机1000和输入/输出设备相互连接的接口。例如，诸如键盘的输入设备和诸如显示设备的输出设备连接到输入/输出接口1100。
[0055]
网络接口1120是用于将计算机1000连接到通信网络的接口。通信网络例如是局域网(lan)或广域网(wan)。
[0056]
存储装置1080存储实现显示控制设备2000的每个功能配置单元的程序(实现上述应用的程序模块)。处理器1040将每个程序读取到存储器1060，执行所读取的程序，从而实现显示控制设备2000的每个功能配置单元。
[0057]
《处理流程》
[0058]
图4是示出根据示例性实施例1的显示控制设备2000执行的处理流程的流程图。第一获取单元2020获取对象图像10(s102)。第二获取单元2040识别包括在对象图像10中的每个产品20(s104)。s106至s118是关于每个被识别产品20执行的循环处理a。在s106中，第二获取单元2040确定是否已经以所有被识别产品20为对象执行了循环处理a。当以所有被识别产品20为对象执行了循环处理a时，图4中的处理结束。当存在尚未针对循环处理a的产品20时，显示控制设备2000选择其中一个产品20。在此选择的产品20称为产品i。然后，图4中的处理进行到s108。
[0059]
显示位置确定单元2060基于对象图像10中的产品i与显示设备30之间的相对位置关系来确定在显示设备30上显示产品i的显示32的显示位置(s108)。第二获取单元2040获取产品i的相关信息54(s110)。显示位置确定单元2060生成表示产品i的相关信息54的内容的显示32(s112)。显示位置确定单元2060在确定的显示位置处显示产品i的显示32(s114)。因为s116是循环处理a的终点，所以图4中的处理进行到s106。
[0060]
注意，由显示控制设备2000执行的处理流程并不限于图4所示的处理。例如，在关于所有产品20进行了显示位置的确定以及显示32的生成之后，可以统一进行在显示设备30上显示每个产品20的相关信息54的处理(s116)。
[0061]
《使用环境示例》
[0062]
为了便于理解显示控制设备2000，更具体地例示显示控制设备2000的使用环境。
本文所述显示控制设备2000的使用环境只是一个例示，且显示控制设备2000的使用环境并不限于本文给出的示例。
[0063]
图5是示出显示控制设备2000的使用环境的示意图。在图5中，显示控制设备2000由服务器机器70实现。此外，除了识别信息52和相关信息54之外，相关信息存储设备50还指示图像特征56。图像特征56是表示图像上产品20的特征值的一段数据，用于识别包括在对象图像10中的产品20。但是，可将图像特征56存储在与相关信息存储设备50分离的存储设备中。
[0064]
相机80是设置在商店中的相机，并拍摄展示地点40。例如，相机80定期进行展示地点40的拍摄，并将生成的对象图像10发送到服务器机器70。相机80可以是生成静态图像的静态相机，也可以是生成运动图像的摄像机。在后一种情况下，对象图像10是构成运动图像的视频帧中的一个。
[0065]
服务器机器70计算关于包括在所接收的对象图像10中的每个产品20的图像特征，在图像特征与存储在相关信息存储设备50中的图像特征56之间进行匹配，从而识别每个产品20。此外，服务器机器70从相关信息存储设备50获取关于每个产品20的相关信息54。
[0066]
服务器机器70关于每个产品20确定在显示设备30上应当显示产品20的相关信息54的显示位置。然后，服务器机器70在每个确定的显示位置处显示关于每个产品20生成的显示32。
[0067]
通过从设置在商店中的相机80接收对象图像10，并根据对象图像10的内容来设置显示设备30的显示，使得显示设备30的显示根据店员在展示地点40展示产品20或者店员或客户移动展示产品20而适当地改变。因此，可以容易地保持在显示设备30的适当位置显示适当信息的状态。
[0068]
注意，如上所述，使用图5来描述的使用环境只是例示，显示控制设备2000在各种其他环境中都可以使用。例如，生成对象图像10的相机可以是移动相机(诸如在便携终端中设置的相机)而非在商店中固定放置的相机。在这种情况下，例如，店员使用便携终端中设置的相机来拍摄展示地点40，并且生成的对象图像10从便携终端发送到服务器机器70。
[0069]
此外，显示控制设备2000不一定要通过服务器机器来实现，例如也可作为上述设置了相机的便携式终端来实现。在这种情况下，通过生成对象图像10的便携终端来控制显示设备30的显示。
[0070]
《关于显示设备30》
[0071]
显示设备30是可以放置在展示地点40的任何显示设备。例如，显示设备30为长条形状(例如矩形形状)，其中纵向或横向上的长度相比另一个更长。具有这种形状的显示设备也称为长条式显示器。
[0072]
图6是示出其中使用长条式显示器的场景的示意图。在图6的(a)中，使用在横向(水平方向)上长的显示设备30。显示设备30在水平方向上显示布置于展示地点40的多个产品20的每个产品的显示32。
[0073]
另一方面，在图6的(b)中，使用在纵向(垂直方向)上长的显示设备30。显示设备30在垂直方向上显示布置于展示地点40的多个产品20的每个产品的显示32。
[0074]
《获取对象图像10：s102》
[0075]
第一获取单元2020获取对象图像10(s102)。第一获取单元2020获取对象图像10的
方法不限。例如，第一获取单元2020通过接收已经生成对象图像10的相机80发送的对象图像10来获取对象图像10。此外，例如，第一获取单元2020可通过访问存储对象图像10的存储设备来获取对象图像10。存储设备可以设置在相机80内部，也可以设置在相机80外部。
[0076]
当通过访问存储设备来获取对象图像10时，第一获取单元2020通过任何方法识别尚未获取的新对象图像10存储在存储设备中的事实，并获取对象图像10。例如，第一获取单元2020通过定期访问存储设备来识别新对象图像10的存在，并获取对象图像10。此外，例如，通过接收表示新对象图像10存储在存储设备中的通知，第一获取单元2020可以识别新对象图像10的存在。例如，将通知从存储对象图像10的相机80发送给存储设备。
[0077]
《识别产品20：s104》
[0078]
第二获取单元2040识别包括在对象图像10中的每个产品20(s104)。本文所述产品20的识别意味着从对象图像10中检测表示产品的图像区域，并确定产品的识别信息(jan代码等)。注意，可将现有技术用于进行包括在图像中的产品的识别的技术。
[0079]
《确定显示32的显示位置：s108》
[0080]
显示位置确定单元2060基于对象图像10中的每个产品20与显示设备30之间的相对位置关系来确定在显示设备30中显示产品20的显示32的显示位置(s108)。在此，在显示设备30中显示32的显示位置由显示32的标准位置(例如中心位置)在显示设备30的坐标系(以下称为显示坐标系)中的坐标表示。因此，显示位置确定单元2060确定显示32的标准位置在显示坐标系中的坐标。例如，显示坐标系是这样的坐标系，其中，平面视图中的显示设备30的左上端是原点、向右的方向是x方向、向下的方向是y方向。此外，一个像素在x方向和y方向上的长度分别是x方向和y方向上的单位长度。
[0081]
如上所述，例如，可将具有水平方向上的长度比垂直方向上的长度更长(以下，显示设备30在水平方向上长)的形状的显示设备30用作显示设备30，或者可将具有垂直方向上的长度比水平方向上的长度更长(以下，显示设备30在垂直方向上长)的形状的显示设备30用作显示设备30。下面分别针对这两种情况来描述确定显示32的显示位置的方法。
[0082]
《《显示设备30在水平方向上长的情况》》
[0083]
显示位置确定单元2060基于对象图像10中的产品20与显示设备30之间的相对位置关系来确定显示32的标准位置在显示坐标系中的x坐标。注意，在这种情况下，确定显示32的标准位置的y坐标的方式不限(例如，关于垂直方向，在显示设备30的中心显示显示32)。
[0084]
例如，在真实情况下，使得显示32的标准位置与产品20在水平方向上的标准位置相对应。为此，关于显示设备30上与产品20在水平方向上的标准位置相对应的位置，显示位置确定单元2060基于对象图像10上的产品20与显示设备30之间的位置关系来计算在显示坐标系上的x坐标。然后，将所计算的x坐标确定为显示32的标准位置的x坐标。
[0085]
图7是示出对象图像10上的显示32与产品20之间的相对位置关系的第一示意图。位置p是显示32的标准位置，位置q是产品20的标准位置。显示32的标准位置p在水平方向上对应于产品20的标准位置q。在对象图像10中，在水平方向上从显示设备30的左端到产品20的标准位置q的距离为d1。此外，在对象图像10中，显示设备30的宽度为w。
[0086]
在此，假设在显示坐标系中，显示设备30的宽度为a(即，在横向上的像素数量为a)。在这种情况下，在显示设备30上与产品20在水平方向上的标准位置q相对应的位置处，
显示坐标系上的x坐标变为(d1/w)*a。因此，显示位置确定单元2060将显示32的标准位置p的x坐标设置为(d1/w)*a。在真实情况下，这使得在显示32在水平方向上的中心位置与产品20在水平方向上的中心位置相对应。
[0087]
注意，对于显示32的标准位置和产品20的标准位置而言，可以预先确定其位置关系，并且这些标准位置不一定要在水平方向上对应。例如，预先确定显示32的标准位置和产品20的标准位置在水平方向上的偏移量。显示位置确定单元2060确定显示32的标准位置的x坐标，使得显示32的标准位置从产品20的标准位置移动偏移量。
[0088]
《《显示设备30在垂直方向上更长的情况》》
[0089]
显示位置确定单元2060基于产品20与显示设备30之间的相对位置关系来确定显示32的标准位置在显示坐标系中的y坐标。注意，在这种情况下，确定显示32的标准位置的x坐标的方式不限(例如，关于水平方向，在显示设备30的中心显示显示32)。
[0090]
例如，在真实情况下，使得显示32在垂直方向上的标准位置与产品20在垂直方向上的标准位置相对应。为此，关于显示设备30上与产品20在垂直方向上的标准位置相对应的位置，显示位置确定单元2060基于对象图像10上的产品20与显示设备30之间的位置关系来计算在显示坐标系上的y坐标。然后，将所计算的y坐标确定为显示32的标准位置的y坐标。
[0091]
图8是示出显示32与产品20之间在对象图像10上的相对位置关系的第二示意图。位置p是显示32的标准位置，位置q是产品20的标准位置。显示32的标准位置p在垂直方向上对应于产品20的标准位置q。在对象图像10中，在垂直方向上从显示设备30的上端到产品20的中心位置的距离为d2。此外，在对象图像10中，显示设备30的宽度为h。
[0092]
在此，假设在显示坐标系中，显示设备30的高度为b(即，在垂直方向上的像素数量为b)。在这种情况下，在显示设备30上与产品20在垂直方向上的中心位置相对应的位置处，显示坐标系上的y坐标变为(d2/h)*b。因此，显示位置确定单元2060将显示32的显示位置p的y坐标设置为(d/w)*b。在真实情况下，这使得显示32在垂直方向上的中心位置与产品20在水平方向上的中心位置相对应。
[0093]
注意，对于显示32的标准位置和产品20的标准位置而言，可以预先确定其位置关系，并且这些标准位置并非必须在垂直方向上对应。例如，针对显示32的标准位置和产品20的标准位置，预先确定垂直方向上的偏移量。显示位置确定单元2060确定显示32的标准位置的y坐标，使得显示32的标准位置从产品20的标准位置移动偏移量。
[0094]
《展示多个同类产品20的情况》
[0095]
可通过能够从前面看到的方式来展示多个同类产品20。这也可以表示为“产品20的面数等于或大于2的情况”。图9是示出产品20的面数等于或大于2的情况的示意图。在图9中，产品a和b中的每个的面数都是三个。
[0096]
在这种情况下，例如，显示位置确定单元2060关于同类产品20的每个产品显示每个显示32。例如，在图9的(a)中，在从前视图中可以看到的三个产品a的每个产品下显示所述显示32。产品b的情况也是如此。
[0097]
此外，例如，显示位置确定单元2060可以关于同类产品20统一显示仅一个显示32。例如，在图9的(b)中，在从前视图中可以看到的三个产品a的中心显示一个显示32。产品b的情况也是如此。
[0098]
在此，当通过这种方式关于多个同类产品20显示一个显示32时，例如，显示位置确定单元2060将多个产品20作为一个产品20进行统一处理。在这种情况下，例如，将由多个同类产品20占据的区域的位置(诸如中心位置、左端位置或右端位置)用作产品20的标准位置。此外，例如，可将多个同类产品20中的一个的中心位置等处理为产品20的标准位置。
[0099]
《有多个显示设备30的情况》
[0100]
存在对象图像10包括多个显示设备30的情况。例如，存在这样的情况，其中展示地点40是有多个货架板的展示货架，且显示设备30放在每个货架板上。
[0101]
当对象图像10中有多个显示设备30时，显示位置确定单元2060关于每个产品20，确定显示设备30被使得显示产品20的显示32。换言之，显示位置确定单元2060进行产品20与显示设备30的关联。然后，显示位置确定单元2060基于产品20与相关联的显示设备30之间的相对位置关系，关于每个产品20确定产品20的显示32的显示位置。产品20的显示32的显示位置是与产品20相关联的显示设备30上的位置。
[0102]
下面具体描述将产品20与显示设备30相关联的方法(确定显示设备30被使得显示产品20的显示32的方法)。
[0103]
《《显示设备30在水平方向上长的情况》》
[0104]
《《《垂直方向上的位置不同的情况》》》
[0105]
这种情况是，对象图像10包括在水平方向上长的多个显示设备30，并且在垂直方向上其位置不同。具体而言，这种情况是，展示地点40是具有多个货架板的展示货架，且显示设备30设置在两个或多个货架板上。在这种情况下，显示位置确定单元2060基于产品20与显示设备30之间在垂直方向上的相对位置关系和初步确定的规则，将产品20与显示设备30相关联。用于将产品20与显示设备30相关联的规则被预先存储在可从显示位置确定单元2060访问的存储设备中。
[0106]
例如，确定规则“显示设备30与放置显示设备30的货架板上展示的每个产品20相关联”。在该规则中，在显示设备30上，显示就放在显示设备30上面的每个产品20的显示32。
[0107]
图10是示出在显示设备30上显示产品20的显示32的情况的示意图，该显示设备30设置在展示产品20的货架板42上。在该示例中，将显示设备30-1和30-2分别设置在两个货架板42-1和42-2上。此外，在货架板42-2上展示产品20。
[0108]
在此，根据上述规则，产品20与放置在展示产品20的货架板42-2上的显示设备30-2相关联。因此，在显示设备30-2上显示所述显示32。
[0109]
根据规则进行产品20与显示设备30的关联的具体方法不限。例如，显示位置确定单元2060关于包括在对象图像10中的每个显示设备30，确定每个显示设备30设置在哪个货架板上(例如，在对象图像10中从顶部开始，货架板在哪个位置)。类似地，显示位置确定单元2060关于包括在对象图像10中的每个产品20，确定每个产品20在哪个货架板上展示(例如，在对象图像10中从顶部开始，展示产品20的货架板在哪个位置)。然后，显示位置确定单元2060将放在同一货架板上的产品20与显示设备30相关联。
[0110]
作为另一个规则，例如，确定规则“显示设备30与相比放置显示设备30的货架板低一个货架板的货架板上展示的每个产品20相关联”。在该规则中，在显示设备30上，显示就放在显示设备30下面的每个产品20的显示32。
[0111]
根据规则进行产品20与显示设备30的关联的具体方法不限。例如，通过上述方法，
显示位置确定单元2060关于包括在对象图像10中的每个显示设备30，确定每个显示设备30放在哪个货架板上。类似地，显示位置确定单元2060关于每个产品20，确定每个产品20放在哪个货架板上。然后，显示位置确定单元2060将显示设备30与相比设置显示设备30的货架板低一个货架板的货架板上展示的每个产品20相关联。
[0112]
《《《水平方向上的位置不同的情况》》》
[0113]
这种情况是，对象图像10包括在水平方向上长的多个显示设备30，并且在水平方向上其位置不同。例如，这种情况是，多个显示设备30在一个货架板42中沿水平方向布置和放置。在这种情况下，显示位置确定单元2060基于产品20与显示设备30之间在水平方向上的位置关系和初步确定的规则，将产品20与显示设备30相关联。例如，将规则“在多个显示设备30当中，产品20放置在显示设备30的左右端之间的显示设备30与产品20相关联”确定为初步规则。
[0114]
图11是示出在一个货架板42上设置多个显示设备30的情况的示意图。在该示例中，在展示产品20的货架板42上设置显示设备30-1和30-2。
[0115]
在此，产品20放置在显示设备30-1的左右端之间。另一方面，产品20并非放置在显示设备30-2的左右端之间。因此，显示位置确定单元2060将产品20与显示设备30-1相关联。因此，在显示设备30-1上显示所述显示32。
[0116]
《《显示设备30在垂直方向上长的情况》》
[0117]
《《《水平方向上的位置不同的情况》》》
[0118]
这种情况是，对象图像10包括在垂直方向上长的多个显示设备30，并且在水平方向上其位置不同。具体而言，这种情况是，在展示地点40有多个侧壁(隔板或立柱)，并且在每个侧壁中放置显示设备30。
[0119]
在这种情况下，显示位置确定单元2060基于产品20与显示设备30之间在水平方向上的位置关系和初步确定的规则，将产品20与显示设备30相关联。例如，确定规则“产品20与放在产品20左侧且关于水平方向最靠近产品20的显示设备30相关联”。在这种情况下，例如，显示位置确定单元2060关于包括在对象图像10中的每个显示设备30和每个产品20，确定其在水平方向上的位置(例如，中心位置)。然后，显示位置确定单元2060将产品20与相比于产品20更靠近左侧的显示设备30当中在水平方向上距离产品20最近的显示设备30相关联。注意，在上述规则中，“左侧”可以是“右侧”。
[0120]
图12是示出在水平方向上相互不同的位置处设置在垂直方向上长的多个显示设备30的情况的示意图。图12包括货架板42-1和42-2以及侧壁44-1至44-3。侧壁44-1至44-3分别设置有显示设备30-1至30-3。在货架板42-2上展示产品20。
[0121]
在此，假设根据上述规则“产品20与放在产品20左侧且关于水平方向最靠近产品20的显示设备30相关联”，显示设备30与产品20相关联。此时，在图12中，放在产品20左侧且在水平方向上距离产品20最近的显示设备30是显示设备30-2。因此，显示位置确定单元2060将产品20与显示设备30-2相关联。因此，在显示设备30-2上显示所述显示32。
[0122]
《《《在垂直方向上有多个显示设备30的情况》》》
[0123]
这种情况是，对象图像10包括在垂直方向上长的多个显示设备30，并且在垂直方向上其位置不同。具体而言，这种情况是，在展示货架的一个侧壁44中沿垂直方向布置和放置多个显示设备30。
[0124]
在这种情况下，显示位置确定单元2060基于产品20与显示设备30之间在垂直方向上的位置关系和初步确定的规则，进行产品20与显示设备30的关联。例如，将规则“在多个显示设备30当中，产品20放置在显示设备30的上下端之间的显示设备30与产品20相关联”确定为初步规则。
[0125]
图13是示出在一个侧壁44上设置多个显示设备30的情况的示意图。侧壁44设置有两个显示设备30，显示设备30-1和30-2。此外，设置货架板42-1和42-2，并且在货架板42-2上展示产品20。
[0126]
在此，产品20并非放置在显示设备30-1的上下端之间，而是放置在显示设备30-2的上下端之间。因此，显示位置确定单元2060将产品20与显示设备30-2相关联。因此，在显示设备30-2上显示所述显示32。
[0127]
《获取相关信息54：s110》
[0128]
第二获取单元2040获取产品20的相关信息54(s108)。具体而言，第二获取单元2040从相关信息存储设备50获取与产品20的识别信息52相关联的相关信息54。
[0129]
相关信息54是与产品20有关的信息，并在显示设备30上显示。例如，相关信息54包括产品20的名称或价格。例如，在图1中，关于每个产品20-1和20-2在显示设备30上显示产品名称和价格。
[0130]
指示产品20的名称或价格的相关信息54的数据格式不限。例如，相关信息54通过文本数据指示产品20的名称或价格。此外，例如，相关信息54可通过图像数据指示产品20的名称或价格。
[0131]
相关信息54可以是表示与产品20有关的广告的信息。在这种情况下，在显示设备30上显示产品20的广告。在此，与产品20有关的广告可以是与产品20本身有关的广告，也可以是其他广告。在后一种情况下，与产品20有关的广告例如是属于产品20相同系列的另一个产品的广告、与产品20的制造商有关的广告等。
[0132]
在这种情况下，相关信息54的数据格式也不限。例如，相关信息54通过文本数据指示产品20的广告。此外，例如，相关信息54通过一个图像或多个时间序列图像(例如，运动图像文件)指示产品20的广告。在后一种情况下，表示产品20的广告的时序图像在显示设备30上依次显示。
[0133]
《生成显示32：s112》
[0134]
显示控制单元2080通过使用针对产品20获取的相关信息54来生成针对产品20的显示32(s112)。例如，显示控制单元2080通过将获取的相关信息54的内容应用于预先准备的模板来生成显示32。模板预先存储在可从显示控制单元2080访问的存储设备中。
[0135]
模板是确定包括在相关信息54中的信息的显示形式的信息。例如，当相关信息54表示产品的名称和价格时，在模板中确定产品的每个名称和价格的放置、尺寸比等。
[0136]
模板的具体实现方法不限。例如，将模板定义为html元素。当产品的名称和价格用作相关信息54时，例如可将表示产品的名称和价格的字符串或图像嵌入其中的html元素准备为模板。也就是说，在html元素中分别准备嵌入产品名称的部分和嵌入产品价格的部分。
[0137]
显示控制单元2080将相关信息54指示的产品20的每个名称和价格嵌入到准备为模板的html元素的相关部分中。通过html的渲染引擎来渲染嵌入产品20的名称和价格的html元素，从而生成显示32。
[0138]
这同样适用于将产品20的广告用作相关信息54的情况。也就是说，将其中可以嵌入表示产品20的广告的文本或图像的html元素准备为模板，显示控制单元2080将相关信息54的内容嵌入到html元素中，从而生成显示32。
[0139]
在此，当产品20的特定广告不存在时，可以使用单独准备的广告(以下称为默认广告)。默认广告存储在可从第二获取单元2040访问的存储设备中。例如，当与产品20有关的相关信息54不存在时，或者当与产品20有关的相关信息54指示不存在与产品20有关的广告时，第二获取单元2040获取上述默认广告，并使用默认广告生成显示32。例如，默认广告是与商店有关的广告，诸如商店中所有产品通用的折扣、积分返还等广告，或者与商店赞助商相关的广告。
[0140]
注意，模板不一定要定义为html元素，也可以通过其他方法的任何方法来定义。
[0141]
此外，显示控制单元2080并非必须使用模板来生成显示32。例如，假设相关信息54通过图像指示与产品20有关的信息。在这种情况下，显示控制单元2080可以不经修改地将相关信息54用作显示32。
[0142]
此外，例如，相关信息54不仅可包括与产品20有关的信息的内容，还可包括内容的显示形式。具体而言，可以考虑包括其中嵌入产品20的名称和价格的html元素等，作为相关信息54。通过这种方式，通过在相关信息54中包括与显示形式有关的信息，可以针对每个产品20确定与产品20有关的信息的显示形式。
[0143]
《《关于显示32的大小》》
[0144]
在此，显示32的大小可以固定地确定，也可以根据产品20的展示状态确定。在后一种情况下，例如，显示控制单元2080基于展示地点40中的每个产品20所占据的区域的大小来确定产品20的显示32的大小。
[0145]
图14是示出根据产品20的展示状态确定显示设备30的大小的情况的示意图。在图14的(a)中，显示控制单元2080将显示32的宽度设置为与同类产品20所占据的区域的宽度相同的宽度。在图14的(b)中，显示控制单元2080将显示32的高度设置为与同类产品20所占据的区域(阶段)的高度相同的高度。
[0146]
在此，可以根据显示32的大小准备多个上述模板。在这种情况下，当生成显示32时，显示控制单元2080使用与根据产品20的展示状态确定的显示32的大小相对应的模板。这样根据大小以适当的显示形式生成显示32。例如，在与显示32的尺寸相对较小的情况(例如，宽度或高度小于预定值的情况)相对应的模板中生成交替显示产品名称和价格的显示32，并且在与显示32的尺寸相对较大的情况(例如，宽度或高度等于或大于预定值的情况)相对应的模板中生成一起显示产品名称和价格两者的显示32。此外，例如，在与显示32的尺寸相对较小的情况相对应的模板中生成只包括产品名称和价格的显示32，并且在与显示32的尺寸相对较大的情况相对应的模板中生成除了产品名称和价格之外还包括其他信息(例如广告等)的显示32。
[0147]
《显示32的显示：s114》
[0148]
显示控制单元2080在关于产品20确定的显示设备30上的显示位置处显示每个产品20的显示32(s114)。在此，为了实际控制通过图像分析从对象图像10检测到的显示设备30，显示控制单元2080需要能够从真实情况下的一个或多个显示设备30当中确定要控制的显示设备30。也就是说，显示控制单元2080需要确定显示设备30的识别信息。例如，假设显
示控制单元2080向显示设备30发送控制信息(例如，包括显示32及其显示位置的信息)，从而使得显示设备30显示所述显示32。在这种情况下，显示控制单元2080需要将目的地的地址(mac地址等)识别为显示设备30的识别信息。
[0149]
关于从对象图像10检测到的显示设备30，确定其识别信息的方法很多。例如，可将指示每个显示设备30的识别信息和放置位置的信息(以下称为显示放置信息)预先存储在存储设备中，并通过使用该信息来确定每个显示设备30的识别信息。
[0150]
作为更具体的示例，假设为每个展示货架准备拍摄展示货架的相机。在这种情况下，与相机的识别信息相关联，将放置在展示货架上由相机拍摄的每个显示设备30的显示放置信息预先存储在存储设备中。显示控制单元2080确定第一获取单元2020获取的生成对象图像10的相机的识别信息，并获取与该识别信息相关联的显示放置信息。显示控制单元2080通过将对象图像10中的每个显示设备30的位置与所获取的每个显示放置信息指示的显示设备30的放置位置进行比较，来确定与包括在对象图像10中的每个显示设备30相关联的显示放置信息。由此，确定包括在对象图像10中的每个显示设备30的识别信息。
[0151]
注意，可将相机(例如ptz相机)配置为能够改变其视场角度。在这种情况下，显示控制单元2080可通过使用对象图像10以及在拍摄对象图像10时的相机参数(平移值、倾斜值、缩放值等)，识别相机在生成对象图像10的时刻的拍摄范围(即，在对象图像10中包括展示货架的哪一部分)。显示控制单元2080通过使用显示放置信息和通过使用相机参数确定的相机的拍摄范围来确定包括在对象图像10中的每个显示设备30的识别信息。
[0152]
此外，例如，每个显示设备30可以设置有显示自己的识别信息的功能。在这种情况下，显示控制设备2000获取在显示识别信息的状态下拍摄每个显示设备30的对象图像10，进行对象图像10的图像分析，从而确定在每个显示设备30上显示的识别信息。因此，显示控制设备2000可以识别包括在对象图像10中的每个显示设备30的识别信息。注意，例如，可将专利文献2中公开的技术用于“使得显示设备显示识别信息，分析包括显示设备的图像，从而识别显示设备的识别信息”的技术。
[0153]
也可将上述示例性实施例的一部分或全部描述为以下补充说明，但是不限于此。
[0154]
1.一种显示控制设备，包括：
[0155]
第一获取单元，其获取对象图像，
[0156]
对象图像包括在产品的展示地点处设置的显示设备以及在展示地点处展示的产品；
[0157]
第二获取单元，其识别包括在所述对象图像中的产品并且获取相关信息，相关信息是与产品相关的信息；
[0158]
显示位置确定单元，其基于对象图像内的产品与显示设备之间的相对位置关系，来确定在显示设备中显示表示产品的相关信息的相关显示的显示位置；以及
[0159]
显示控制单元，其在显示设备上的确定的显示位置处显示产品的相关显示。
[0160]
2.根据补充说明1所述的显示控制设备，其中，
[0161]
对象图像包括多个显示设备，
[0162]
显示位置确定单元基于对象图像内的产品与每个显示设备之间的位置关系，来确定被使得显示产品的相关显示的显示设备以及相关显示在显示设备上的显示位置，并且
[0163]
显示控制单元在确定的显示设备的确定的显示位置显示产品的相关显示。
[0164]
3.根据补充说明2所述的显示控制设备，其中，
[0165]
在一个货架板或一个侧壁上设置多个显示设备。
[0166]
4.根据补充说明1至3中的任一项所述的显示控制设备，其中，
[0167]
相关信息包括产品的名称和价格，或包括与产品有关的广告。
[0168]
5.根据补充说明1至4中的任一项所述的显示控制设备，其中，
[0169]
显示控制单元基于对象图像中的产品占据的区域的大小来确定产品的相关显示的大小。
[0170]
6.根据补充说明1至5中的任一项所述的显示控制设备，其中，
[0171]
显示控制单元获取确定相关显示的显示形式的模板，并通过使用相关信息和模板来生成表示相关信息的相关显示。
[0172]
7.根据补充说明6所述的显示控制设备，其中，
[0173]
准备根据对象图像中的产品占据的区域的大小的多个模板，以及
[0174]
显示控制单元通过使用与对象图像中的产品占据的区域的大小相对应的模板来生成产品的相关显示。
[0175]
8.一种通过计算机来执行的控制方法，包括：
[0176]
获取对象图像的第一获取步骤，对象图像包括在产品的展示地点处设置的显示设备以及在展示地点处展示的产品；
[0177]
识别包括在对象图像中的产品并且获取相关信息的第二获取步骤，相关信息是与产品相关的信息；
[0178]
基于对象图像内的产品与显示设备之间的相对位置关系，来确定在显示设备中显示表示产品的相关信息的相关显示的显示位置的显示位置确定步骤；以及
[0179]
在显示设备上的显示位置处显示产品的相关显示的显示控制步骤。
[0180]
9.根据补充说明8所述的控制方法，其中，
[0181]
对象图像包括多个显示设备，
[0182]
控制方法进一步包括：
[0183]
在显示位置确定步骤中，基于对象图像内的产品与每个显示设备之间的位置关系，来确定被使得显示产品的相关显示的显示设备以及相关显示在显示设备上的显示位置；以及
[0184]
在显示控制步骤中，在确定的显示设备的确定的显示位置处显示产品的相关显示。
[0185]
10.根据补充说明9所述的控制方法，其中，
[0186]
在一个货架板或一个侧壁上设置多个显示设备。
[0187]
11.根据补充说明8至10中的任一项所述的控制方法，其中，
[0188]
相关信息包括产品的名称和价格，或包括与产品有关的广告。
[0189]
12.根据补充说明8至11中的任一项所述的控制方法，进一步包括：
[0190]
在显示控制步骤中，基于对象图像中的产品占据的区域的大小来确定产品的相关显示的大小。
[0191]
13.根据补充说明8至12中的任一项所述的控制方法，进一步包括：
[0192]
在显示控制步骤中，获取确定相关显示的显示形式的模板，并通过使用相关信息
和模板来生成表示相关信息的相关显示。
[0193]
14.根据补充说明13所述的控制方法，其中，
[0194]
准备根据对象图像中的产品占据的区域的大小的多个模板，
[0195]
控制方法进一步包括：
[0196]
在显示控制步骤中，通过使用与对象图像中的产品占据的区域的大小相对应的模板来生成产品的相关显示。
[0197]
15.一种程序，使得计算机执行补充说明8至14中的任一项所述的控制方法。
[0198]
下面给出另一个参考实施例的示例。
[0199]
16.一种通过实现显示控制设备的计算机来执行的控制方法，控制方法包括：
[0200]
通过显示控制设备，
[0201]
获取对象图像，对象图像包括在产品的展示地点处设置的显示设备以及在展示地点处展示的产品，
[0202]
控制方法进一步包括：
[0203]
通过显示控制设备，
[0204]
识别包括在对象图像中的产品并且获取相关信息，相关信息是与产品相关的信息；
[0205]
基于对象图像内的产品与显示设备之间的相对位置关系来确定在显示设备中显示表示产品的相关信息的相关显示的显示位置；以及
[0206]
在显示设备上的显示位置处显示产品的相关显示。
[0207]
17.根据补充说明16所述的控制方法，其中，
[0208]
对象图像包括多个显示设备，
[0209]
控制方法进一步包括：
[0210]
通过显示控制设备，
[0211]
基于对象图像内的产品与每个显示设备之间的位置关系来确定被使得显示产品的相关显示的显示设备以及相关显示在显示设备上的显示位置；以及
[0212]
在确定的显示设备的确定的显示位置处显示产品的相关显示。
[0213]
18.根据补充说明17所述的控制方法，其中，
[0214]
在一个货架板或一个侧壁上设置多个显示设备。
[0215]
19.根据补充说明16至18中的任一项所述的控制方法，其中，
[0216]
相关信息包括产品的名称和价格，或包括与产品有关的广告。
[0217]
20.根据补充说明16至19中的任一项所述的控制方法，进一步包括：
[0218]
通过显示控制设备，
[0219]
基于对象图像中的产品占据的区域的大小来确定产品的相关显示的大小，以及显示具有确定的大小的相关显示。
[0220]
21.根据补充说明16至20中的任一项所述的控制方法，进一步包括：
[0221]
通过显示控制设备，
[0222]
获取确定相关显示的显示形式的模板，并通过使用相关信息和模板来生成表示相关信息的相关显示，以及显示生成的相关显示。
[0223]
22.根据补充说明21所述的控制方法，其中，
[0224]
准备根据对象图像中的产品占据的区域的大小的多个模板，
[0225]
控制方法进一步包括：
[0226]
通过显示控制设备，
[0227]
通过使用与对象图像中的产品占据的区域的大小相对应的模板来生成产品的相关显示，以及显示生成的相关显示。
[0228]
23.一种程序，使得计算机执行：
[0229]
获取对象图像的步骤，对象图像包括在产品的展示地点处设置的显示设备以及在展示地点处展示的产品，以及
[0230]
使得计算机执行：
[0231]
识别包括在对象图像中的产品并且获取相关信息的步骤，相关信息是与产品相关的信息；
[0232]
基于对象图像内的产品与显示设备之间的相对位置关系来确定在显示设备中显示表示产品的相关信息的相关显示的显示位置的步骤；以及
[0233]
在显示设备上的显示位置处显示产品的相关显示的步骤。
[0234]
24.根据补充说明23所述的程序，其中，
[0235]
对象图像包括多个显示设备，
[0236]
程序使得计算机执行：
[0237]
基于对象图像内的产品与每个显示设备之间的位置关系来确定被使得显示产品的相关显示的显示设备以及相关显示在显示设备上的显示位置的步骤，以及
[0238]
在确定的显示设备的确定的显示位置处显示产品的相关显示的步骤。
[0239]
25.根据补充说明24所述的程序，其中，
[0240]
在一个货架板或一个侧壁上设置多个显示设备。
[0241]
26.根据补充说明23至25中的任一项所述的程序，其中，
[0242]
相关信息包括产品的名称和价格，或包括与产品有关的广告。
[0243]
27.根据补充说明23至26中的任一项所述的程序，使得计算机执行：
[0244]
基于对象图像中的产品占据的区域的大小来确定产品的相关显示的大小，以及显示具有确定的大小的相关显示的步骤。
[0245]
28.根据补充说明23至27中的任一项所述的程序，使得计算机执行：
[0246]
获取确定相关显示的显示形式的模板，并通过使用相关信息和模板来生成表示相关信息的相关显示，以及显示生成的相关显示的步骤。
[0247]
29.根据补充说明28所述的程序，其中，
[0248]
准备根据对象图像中的产品占据的区域的大小的多个模板，
[0249]
程序使得计算机执行：
[0250]
通过使用与对象图像中的产品占据的区域的大小相对应的模板来生成产品的相关显示，以及显示生成的相关显示的步骤。
[0251]
本技术基于2019年12月11日提交的日本专利申请no.2019-223559并要求其优先权，通过引用将其公开内容全部合并于此。
[0252]
附图标记列表
[0253]
10
ꢀꢀꢀꢀꢀꢀꢀ
对象图像
[0254]
20
ꢀꢀꢀꢀꢀꢀꢀ
产品
[0255]
30
ꢀꢀꢀꢀꢀꢀꢀ
显示设备
[0256]
32
ꢀꢀꢀꢀꢀꢀꢀ
显示
[0257]
40
ꢀꢀꢀꢀꢀꢀꢀ
展示地点
[0258]
42
ꢀꢀꢀꢀꢀꢀꢀ
货架板
[0259]
44
ꢀꢀꢀꢀꢀꢀꢀ
侧壁
[0260]
50
ꢀꢀꢀꢀꢀꢀꢀ
相关信息存储设备
[0261]
52
ꢀꢀꢀꢀꢀꢀꢀ
识别信息
[0262]
54
ꢀꢀꢀꢀꢀꢀꢀ
相关信息
[0263]
56
ꢀꢀꢀꢀꢀꢀꢀ
图像特征
[0264]
70
ꢀꢀꢀꢀꢀꢀꢀ
服务器机器
[0265]
80
ꢀꢀꢀꢀꢀꢀꢀ
相机
[0266]
1000
ꢀꢀꢀꢀꢀ
计算机
[0267]
1020
ꢀꢀꢀꢀꢀ
总线
[0268]
1040
ꢀꢀꢀꢀꢀ
处理器
[0269]
1060
ꢀꢀꢀꢀꢀ
存储器
[0270]
1080
ꢀꢀꢀꢀꢀ
存储装置
[0271]
1100
ꢀꢀꢀꢀꢀ
输入/输出接口
[0272]
1120
ꢀꢀꢀꢀꢀ
网络接口
[0273]
2000
ꢀꢀꢀꢀꢀ
显示控制设备
[0274]
2020
ꢀꢀꢀꢀꢀ
第一获取单元
[0275]
2040
ꢀꢀꢀꢀꢀ
第二获取单元
[0276]
2060
ꢀꢀꢀꢀꢀ
显示位置确定单元
[0277]
2080
ꢀꢀꢀꢀꢀ
显示控制单元