信息处理系统及方法与流程

1.本发明涉及一种信息处理系统及方法。


背景技术：

2.在专利文献1中记载了一种技术，在演唱会等实时传送视频的服务中，通过热图使收看视频的用户的高涨程度可视化，并提示给会场的演员等。
3.专利文献2中记载了一种根据作为声音和/或影像而记录的会议数据来计算会议的高涨程度的技术。
4.以往技术文献
5.专利文献
6.专利文献1：国际公开第2016/009865号
7.专利文献2：日本特开2016-12216号公报


技术实现要素：

8.本发明的技术所涉及的一个实施方式提供一种能够容易地掌握规定的区域内的人物的状况的信息处理系统及方法。
9.用于解决技术课题的手段
10.(1)一种信息处理系统具备：第1摄影部，拍摄表演者；第2摄影部，拍摄规定的区域内的人物；第1识别部，根据由第1摄影部拍摄到的图像来识别场景；第2识别部，根据由第2摄影部拍摄到的图像来识别人物的表情；计算部，根据场景的识别结果及人物的表情的识别结果来计算与场景对应的人物的状况指数；热图制作部，制作将人物的状况指数与区域内的人物的位置建立对应关联表示的热图；及输出部，输出热图。
11.(2)根据(1)所述的信息处理系统，其还具备：设定部，根据表演者所具有的传播力来设定群数；及集群部，根据所设定的群数对热图进行集群，输出部输出集群后的热图。
12.(3)根据(2)所述的信息处理系统，其中，集群部以状况指数为阈值以上的人物的数据为对象，对热图进行集群。
13.(4)根据(2)或(3)所述的信息处理系统，其还具备推定部，该推定部根据由第1摄影部拍摄到的图像，推定表演者所具有的传播力。
14.(5)根据(2)至(4)中任一项所述的信息处理系统，其中，传播力包含表演者所具有的技能及余力中的至少一者。
15.(6)根据(1)至(5)中任一项所述的信息处理系统，其还具备转换处理部，该转换处理部将热图的图像转换为视点与第2摄影部不同的图像。
16.(7)根据(1)至(6)中任一项所述的信息处理系统，其还具备反转处理部，该反转处理部使热图的颜色或浓淡反转。
17.(8)根据(1)至(7)中任一项所述的信息处理系统，其还具备显示部，该显示部显示从输出部输出的热图。
18.(9)根据(1)至(7)中任一项所述的信息处理系统，其还具备投影部，该投影部将从输出部输出的热图投影到区域。
19.(10)根据(9)所述的信息处理系统，其中，投影部通过投影映射将热图投影到区域。
20.(11)一种信息处理方法，其包括：拍摄表演者的步骤；拍摄规定的区域内的人物的步骤；根据拍摄表演者的图像来识别场景的步骤；根据拍摄区域内的人物的图像来识别人物的表情的步骤；根据场景的识别结果及人物的表情的识别结果来计算与场景对应的人物的状况指数的步骤；制作将人物的状况指数与区域内的人物的位置建立对应关联表示的热图的步骤；及输出热图的步骤。
21.(12)根据(11)所述的信息处理方法，其还包括：根据表演者所具有的传播力的信息来设定群数的步骤；及根据所设定的群数，对热图进行集群的步骤，在输出热图的步骤中，输出集群后的热图。
附图说明
22.图1是表示信息处理系统的概略结构的图。
23.图2是表示信息处理装置的硬件结构的一例的框图。
24.图3是信息处理装置实现的功能的框图。
25.图4是基于脸部检测部的脸部检测的概念图。
26.图5是基于表情识别部的脸部的表情的识别的概念图。
27.图6是表示表情识别的结果的一例的图。
28.图7是表示高涨程度与热图上的显示的关系的图。
29.图8是表示由观众摄影装置拍摄到的图像的一例的图。
30.图9是表示所制作的热图的一例的图。
31.图10是表示热图与观众的位置关系的图。
32.图11是表示信息处理的步骤的流程图。
33.图12是信息处理装置实现的功能的框图。
34.图13是集群处理的概念图。
35.图14是集群处理的概念图。
36.图15是集群处理的概念图。
37.图16是表示信息处理的步骤的流程图。
38.图17是基于集群处理的热图的变化的概念图。
39.图18是信息处理装置实现的功能的框图。
40.图19是信息处理装置实现的功能的框图。
41.图20是信息处理装置实现的功能的框图。
42.图21是表示热图的图像的转换的一例的图。
43.图22是信息处理装置实现的功能的框图。
44.图23是表示热图的图像的反转处理的一例的图。
45.图24是表示信息处理系统的概略结构的图。
具体实施方式
46.以下，按照附图对本发明的优选的实施方式进行详细说明。
47.[第1实施方式]
[0048]
面向人数众多的观众进行表演的表演者一边确认观众的状况，一边控制自身进行的表演内容。表演者掌握观众的状况的能力很大程度上取决于经验。并且，即使是经验丰富的表演者，若观众的数量过度增加，则难以准确地掌握整体。在本实施方式中，提供一种能够容易地掌握观众的状况的信息处理系统及方法。
[0049]
[系统结构]
[0050]
图1是表示本实施方式的信息处理系统的概略结构的图。
[0051]
如该图所示，本实施方式的信息处理系统10构成为具备表演者摄影装置100、观众摄影装置200、信息处理装置300及显示装置400等。
[0052]
[表演者摄影装置]
[0053]
表演者摄影装置100拍摄表演者1。表演者1是指进行表演的人物。另外，这里的表演并不限定于歌唱、演技及演奏等艺术性的表现行为，也广泛地包括演说及演讲等行为。即，表示对观众进行某种表现行为。
[0054]
表演者摄影装置100是第1摄影部的一例。表演者摄影装置100至少由1台相机构成。相机由所谓的摄像机(组成具备视频摄影功能(拍摄时序列的图像的功能)的数码相机等)构成，以预先确定的帧速率连续拍摄表演者。
[0055]
由表演者摄影装置100拍摄到的图像用于识别场景。即，用于识别表演者1进行的表演是什么场景。因此，表演者摄影装置100以适合使其用途的方式构成，且设置。进行场景识别所需的图像的必要条件根据表演的内容、规模等而不同。因此，构成表演者摄影装置100的相机根据表演的内容、规模等适当选择，且设置在最佳位置。
[0056]
[观众摄影装置]
[0057]
观众摄影装置200拍摄观众2。观众摄影装置200从一定位置拍摄观众2所在的观众区域3，并拍摄观众。观众2是观赏(观看、收看、听讲等)表演者1的表演的人物。观众2所在的观众区域3是规定的区域的一例。观众2是规定的区域内的人物的一例。
[0058]
观众摄影装置200是第2摄影部的一例。观众摄影装置200至少由1台相机构成。在不能够由1台相机拍摄观众区域3的情况下，由多台相机构成观众摄影装置200。在该情况下，将观众区域3分割为多个区域，由多台相机分担拍摄各区域。另外，也能够构成为由多台相机拍摄相同区域。例如，能够构成为由多台相机从不同的方向拍摄相同区域的观众2。相机由所谓的摄像机构成，连续拍摄作为对象的区域内的观众2。摄影以与表演者摄影装置100相同的帧速率进行，且同步进行。此时的同步并不表示帧单位的完全同步。
[0059]
由观众摄影装置200拍摄到的图像用于识别观众的表情。因此，构成观众摄影装置200的相机设置在能够拍摄作为摄影对象的区域内的观众2的脸部的位置，且具有能够根据所拍摄的图像识别观众的表情的性能。即，具备根据所拍摄的图像识别观众的表情所需且充分的分辨性能。
[0060]
[信息处理装置]
[0061]
信息处理装置300输入由表演者摄影装置100拍摄到的表演者的图像及由观众摄影装置200拍摄到的观众的图像，制作表示观众2的高涨状况的热图，并输出到显示装置
400。
[0062]
图2是表示信息处理装置的硬件结构的一例的框图。
[0063]
信息处理装置300由具备cpu(central processing unit：中央处理单元)301、rom(read only memory：只读存储器)302、ram(random access memory：随机存取存储器)303、hdd(hard disk drive：硬盘驱动器)304、操作部(例如，键盘、鼠标、触摸面板等)305、显示部(例如，液晶显示器等)306、输入接口(interface，i/f)307及输出接口308等的计算机构成。由表演者摄影装置100拍摄到的表演者的图像数据及由观众摄影装置200拍摄到的观众的图像数据经由输入接口307输入到信息处理装置300。由信息处理装置300制作的热图经由输出接口308输出到显示装置400。
[0064]
图3是信息处理装置实现的功能的框图。
[0065]
如该图所示，信息处理装置300具有第1图像输入部311、第2图像输入部312、场景识别部313、脸部检测部314、表情识别部315、高涨程度计算部316、热图制作部317及热图输出部318的功能。各功能通过作为处理器的cpu执行规定的程序来实现。
[0066]
第1图像输入部311接受由表演者摄影装置100拍摄到的图像的输入。由表演者摄影装置100拍摄到的图像是拍摄表演者1的图像。由表演者摄影装置100拍摄到的图像经由输入接口307输入到信息处理装置300。
[0067]
第2图像输入部312接受由观众摄影装置200拍摄到的图像的输入。由观众摄影装置200拍摄到的图像是拍摄观众区域3的图像，是拍摄到观众2的图像。由观众摄影装置200拍摄到的图像经由输入接口307输入到信息处理装置300。图像的输入与第1图像输入部311同步进行。
[0068]
场景识别部313是第1识别部的一例。场景识别部313根据拍摄表演者1的图像来识别表演者1进行的表演的场景。场景识别部313在预先确定的类别的范围内识别场景。例如，预先确定使观众发笑的场景、使观众严肃的场景、使观众兴奋的场景、并且使观众愤怒的场景等能够识别的场景，在该确定的范围内识别场景。场景的识别能够采用公知的技术。例如，能够采用使用通过机器学习、深度学习等生成的图像识别模型来识别场景的方法。以预先确定的时间间隔进行场景的识别。例如，是所输入的图像的帧的时间间隔。
[0069]
脸部检测部314从拍摄观众2的图像中检测观众2的脸部。图4是基于脸部检测部的脸部检测的概念图。脸部检测部314从拍摄观众2的图像i2中检测各个观众2的脸部，且确定所检测到的各个脸部的位置。脸部检测能够采用公知的技术。脸部的位置由图像内的坐标位置(x、y)确定。具体而言，在包围检测到的脸部的框f的情况下，由中心的坐标位置(xf、yf)确定。图像内的坐标位置与实际的观众的位置相对应。脸部检测例如通过从图像的左上向右下依次扫描来进行。并且，所检测到的脸部按照检测顺序编号。以预先确定的时间间隔进行脸部检测。例如，是所输入的图像的帧的时间间隔。
[0070]
表情识别部315是第2识别部的一例。图5是基于表情识别部的脸部的表情的识别的概念图。表情识别部315根据由脸部检测部314检测到的观众2的脸部的图像if来识别观众2的脸部的表情。表情的识别是指判别表情的种类。表情的种类由表示情绪的词来表示。因此，表情的识别是指通过表示情绪的词来确定表情的种类。表情的确定可以是基于表示单一的情绪的词的确定，也可以是基于表示情绪的词的组合的确定。在组合表示情绪的词的情况下，也可以对表示各情绪的词进行加权。在本实施方式中，将脸部的表情分类为“笑”、“愤怒”、“悲伤”这3种。作为表情识别结果，输出将各表情各自的程度(也称为表情相似度)数值化的分数(表情分数)。例如，以最大值为100输出表情分数。另外，表情分数可以以各表情各自的程度的合计成为100的方式输出。
[0071]
表情的识别能够采用公知的技术。例如，与场景的识别同样地，能够采用使用通过机器学习、深度学习等生成的图像识别模型来识别表情的方法。
[0072]
图6是表示表情识别的结果的一例的图。如该图所示，通过由表情识别部315进行表情识别，对每个观众求出表情分数。另外，各观众的位置由脸部检测部314根据图像内的坐标位置来确定。
[0073]
高涨程度计算部316根据场景识别部313及表情识别部315的识别结果来计算与场景对应的各观众的高涨程度。高涨程度计算部316是计算部的一例。高涨程度用数值表示各观众的高涨程度(高涨的程度)。高涨程度是状况指数的一例。高涨程度使用预先确定的运算式，根据表情分数计算。例如，在将笑的表情分数设为s1，将愤怒的表情分数设为s2，将悲伤的表情分数设为s3的情况下，运算式fn由fn＝a
×
s1 b
×
s3 c
×
s4定义。a、b、c是按每个场景确定的系数(权重)，a是针对笑的表情的系数，b是针对愤怒的表情的系数，c是针对悲伤的表情的系数。例如，假设对某个场景确定的笑、愤怒、悲伤的各系数a、b、c为a＝0.9、b＝0.05、c＝0.05。并且，假设某个观众的表情分数为笑：100，愤怒：20，悲伤：10。在该情况下，使用上述运算式，该场景中的该观众的高涨程度成为fn＝0.9
×
s1 0.05
×
s3 0.05
×
s4＝0.9
×
100 0.05
×
20 0.05
×
10＝91.5。并且，假设某个观众的表情分数为笑：30，愤怒：20，悲伤：20。在该情况下，使用上述运算式，该场景中的该观众的高涨程度成为fn＝0.9
×
30 0.05
×
20 0.05
×
20＝29。系数a、b、c的信息按每个场景存储在rom302、ram303或hdd304中。
[0074]
热图制作部317根据由高涨程度计算部316计算出的各观众的高涨程度的信息来制作热图。通过将各观众的高涨程度与各观众的位置建立对应关联表示来制作热图。高涨程度用颜色或浓淡来表示。
[0075]
图7是表示高涨程度与热图上的显示的关系的图。该图示出用浓淡表现高涨程度时的例子。在可计算的范围内，高涨程度被划分为多个类别。对被划分的每个类别确定显示的浓度。该图示出用1到100的数值计算高涨程度时的例子，且示出分成10个类别显示时的例子。并且，示出显示的浓度随着高涨程度变高而变高时的例子。
[0076]
在此，对由热图制作部317制作的热图的一例进行说明。在此，考虑某个表演者在某个活动会场在多数观众面前进行表演的情况。例如，是一位歌手在演唱会会场演唱的情况。
[0077]
图8是表示由观众摄影装置拍摄到的图像的一例的图。
[0078]
在该图中，符号2是观众，符号3是观众区域。观众2在设置在观众区域3的观众席上观赏表演者进行的表演。
[0079]
图9是表示所制作的热图的一例的图。并且，图10是表示热图与观众的位置关系的图。
[0080]
如该图所示，通过使用颜色或特定的颜色的浓淡将各观众2的高涨程度与各观众2的位置建立对应关联表示来制作热图hm。通过用热图hm表示各观众2的高涨程度，能够在视觉上表现会场整体的高涨程度。由此，能够容易地掌握观众2的状态。
[0081]
热图输出部318是输出部的一例。热图输出部318将由热图制作部317制作的热图
hm输出到显示装置400。
[0082]
[显示装置]
[0083]
显示装置400是显示部的一例。显示装置400显示从信息处理装置300输出的热图。显示装置400例如由液晶显示器(liquid crystal display)、等离子显示器、有机el显示器(organic electroluminescence display，orga nic light emitting diode display)、场致发射显示器(field emission display)、电子纸等平板显示器、或投影仪和屏幕(或者屏幕等同物)构成。显示装置400设置在表演者1能够视觉辨认的位置。
[0084]
[作用]
[0085]
图11是表示基于本实施方式的信息处理系统的信息处理的步骤(信息处理方法)的流程图。
[0086]
首先，由表演者摄影装置100拍摄表演者1(步骤s11)。与此并行地，由观众摄影装置200拍摄观众区域3，拍摄观众区域3内的观众2(步骤s13)。
[0087]
接着，根据由表演者摄影装置100拍摄到的表演者1的图像识别表演者1进行的表演的场景(步骤s12)。并且，从由观众摄影装置200拍摄到的观众区域3的图像中检测各观众2的脸部(步骤s14)，识别所检测到的脸部的表情(步骤s15)。
[0088]
接着，根据场景的识别结果及表情的识别结果来计算与场景对应的各观众2的高涨程度(步骤s16)。即，使用与场景及表情对应的转换式，各观众2的表情分数转换为高涨程度，求出各观众2的高涨程度。
[0089]
接着，根据所求出的各观众2的高涨程度的信息来制作热图(步骤s17)。通过将各观众2所具有的高涨程度与各观众2的位置建立对应关联表示来制作热图(参考图9)。
[0090]
接着，所制作的热图输出到显示装置400，显示在画面上(步骤s18)。表演者1通过视觉辨认显示在该显示装置400上的热图，能够掌握观众区域3中的观众的高涨状况。由此，能够容易地确定应该进行的表演的内容。即，例如在高涨存在不均匀的情况下，以在会场整体不存在不均匀的方式进行表演。并且，在高涨低的情况下，变更表演内容使其高涨。如此，能够根据热图容易地控制表演的内容。
[0091]
[第2实施方式]
[0092]
在本实施方式的信息处理系统中，输出集群的热图。除了输出集群的热图这一点以外，与上述第1实施方式的信息处理系统相同。因此，以下，仅对集群进行说明。
[0093]
图12是本实施方式的信息处理装置实现的功能的框图。
[0094]
如该图所示，本实施方式的信息处理装置300还具备传播力推定部321、群数设定部322及集群部323。
[0095]
传播力推定部321根据由表演者摄影装置100(第1摄影部)拍摄到的表演者的图像，推定表演者所具有的传播力。在本说明书中，“传播力”是指与高涨相关的能力。传播力由表演者所具有的技能及余力等定义。在本实施方式中，由表演者所具有的余力定义传播力，根据表演者的图像推定余力，从而推定传播力。余力根据表演者的疲劳度来推定。具体而言，识别表演者的表情，根据该表情判定疲劳度，并推定余力。根据图像识别表情的技术及根据表情判定疲劳度的技术能够采用公知的技术。例如，能够使用通过机器学习、深度学习等生成的图像识别模型来进行表情的识别及疲劳度的判定。疲劳度例如用数值表示，根据表示该疲劳度的数值求出余力(传播力)。例如，使用规定的转换式，疲劳度转换为余力
(传播力)。在该情况下，疲劳度越高，则余力转换为越低的数值，疲劳度越低，则余力转换为越高的数值。可以以预先确定的时间间隔进行传播力的推定处理。
[0096]
群数设定部322根据由传播力推定部321推定的传播力的信息来设定集群时的群数。设定的群数与传播力的关系例如以表格等形式规定，并存储在rom302、ram303或hdd304中。群数设定部322参考表格等，根据由传播力推定部321推定的传播力确定(设定)群数。
[0097]
群数被设定为传播力越高，则越多。即，设定为表示与高涨相关的余力的传播力越高，则群数越多。这表示越有余力，则越具有控制表演的能力。即，表示即使在高涨存在偏差的状况下，也具有使其均匀的能力。并且，表示即使在不够高涨的状况下，也具有使其高涨的能力。
[0098]
集群部323根据由群数设定部322设定的群数，对热图进行集群。具体而言，以所设定的群数对热图的数据进行集群，制作按每个群区分颜色或浓淡而显示的热图(集群热图)。热图的数据是将各观众的高涨程度与各观众的位置建立对应关联表示的数据。集群能够采用公知的方法。例如，能够采用基于k-means法(k平均法)的集群处理。
[0099]
图13到图15是集群处理的概念图。
[0100]
图13是表示热图的数据的一例的图。在该图中，各圆表示区域内的各观众的位置。各观众的位置(圆的位置)由坐标位置(x、y)确定。并且，各圆中的数值示出各圆的观众所具有的高涨程度。
[0101]
首先，从热图的数据中省略高涨程度小于阈值的观众的数据。在将高涨程度的阈值设为100的情况下，省略高涨程度小于100的观众的数据。在图14中，用空心的圆表示省略的观众的数据，用涂成灰色的圆表示其他观众的数据。
[0102]
接着，以高涨程度为阈值以上的观众的数据为对象，以所设定的群数对热图的数据进行集群(集群处理)。具体而言，将(x，y)坐标的距离作为k-me ans法的距离进行集群。在该情况下，(x、y)坐标的距离由{(x_i-x)2 (y_i-y)2}
0.5
定义。
[0103]
接着，计算每个群的高涨程度的平均。根据所计算出的高涨程度的平均值，按每个群区分颜色或浓淡而显示。由此，如图15所示，制作集群后的热图(集群热图)。
[0104]
集群处理也能够采用以下方法。将k-means的距离用(x，y)坐标和高涨程度的加权相加值定义，用k-means法集群。在该情况下，k-means的距离由w1
×
{(x_i-x)2 (y_i-y)2}
0.5
w2
×
|h_i-h|定义。
[0105]
热图输出部318将由集群部集群后的热图输出到显示装置400。即，将按每个群区分颜色或浓淡而显示的热图(集群热图)输出到显示装置400。
[0106]
图16是表示基于本实施方式的信息处理系统的信息处理的步骤(信息处理方法)的流程图。
[0107]
首先，由表演者摄影装置100拍摄表演者1(步骤s21)。与此并行地，由观众摄影装置200拍摄观众区域3，拍摄观众区域3内的观众2(步骤s23)。
[0108]
接着，根据由表演者摄影装置100拍摄到的表演者1的图像识别表演者1进行的表演的场景(步骤s22)。并且，从由观众摄影装置200拍摄到的观众区域3的图像中检测各观众2的脸部(步骤s24)，识别所检测到的脸部的表情(步骤s25)。此外，根据由表演者摄影装置100拍摄到的表演者1的图像推定表演者1的传播力(步骤s28)，根据所推定的传播力来设定群数(步骤s29)。在本实施方式中，推定与高涨相关的余力作为传播力，根据所推定的余力
来设定群数。
[0109]
接着，根据场景的识别结果及表情的识别结果来计算与场景对应的各观众2的高涨程度(步骤s26)。接着，根据所计算出的各观众2的高涨程度的信息来制作热图(步骤s27)。
[0110]
接着，按照所设定的群数对热图进行集群(步骤s30)。由此，制作按每个群区分颜色或浓淡而显示的热图(集群热图)。
[0111]
图17是基于集群处理的热图的变化的概念图。该图示出将群数设为2时的例子。(a)是集群前的热图hm，(b)是集群后的热图(集群热图)chm。如该图所示，集群后，按每个群显示颜色或浓淡。
[0112]
所制作的集群热图输出并显示在显示装置400上(步骤s18)。表演者1通过视觉辨认显示在该显示装置400上的集群热图，能够掌握观众区域3中的观众的高涨状况。由于集群热图按每个群显示颜色或浓淡，因此能够直观地掌握观众的状况。并且，由于根据表演者1所具有的传播力(在此，与高涨相关的余力)设定群数，因此表演内容的控制也变得容易。即，例如，在没有余力的情况下，以较少的群数进行集群，因此能够容易地确定应该进行的表演的内容。
[0113]
另外，在上述实施方式中，将表演者所具有的余力作为传播力，但也能够将表演者所具有的技能用作传播力。并且，也能够将余力和技能这两者用作传播力。
[0114]
[第3实施方式]
[0115]
在本实施方式的信息处理系统中，在对热图进行集群并输出的情况下，根据用户(例如，表演者)设定的传播力来设定群数。除了根据用户设定的传播力来设定群数这一点以外，与上述第2实施方式的信息处理系统相同。因此，以下，仅对不同点进行说明。
[0116]
图18是本实施方式的信息处理装置实现的功能的框图。
[0117]
如该图所示，本实施方式的信息处理装置300设置有传播力输入部324。传播力输入部324接受传播力的输入。如上所述，传播力由表演者所具有的技能及余力等定义。传播力输入部324接受来自操作部305的传播力的输入。例如，对于技能，预先规定多个级别，选择其中一个来输入传播力。同样地，对于余力，也预先规定多个级别，选择其中一个来输入。输入到传播力输入部324的传播力的信息添加到群数设定部322。
[0118]
群数设定部322根据所输入的传播力的信息来设定群数。在传播力由技能和余力这两者定义的情况下，根据两者的信息来设定群数。
[0119]
集群部323根据由群数设定部322设定的群数，对热图进行集群处理。
[0120]
在本实施方式的信息处理系统中，由于根据表演者的传播力对热图进行集群来提示，因此也容易地确定应该进行的表演的内容。
[0121]
[第4实施方式]
[0122]
在本实施方式的信息处理系统中，在对热图进行集群并输出的情况下，根据用户(例如，表演者)设定的传播力及根据拍摄表演者的图像推定的传播力来设定群数。
[0123]
图19是本实施方式的信息处理装置实现的功能的框图。
[0124]
如该图所示，本实施方式的信息处理装置300设置有传播力推定部321及传播力输入部324。
[0125]
传播力推定部321根据拍摄表演者的图像来推定表演者所具有的第1传播力。在本
实施方式中，将表演者所具有的余力推定为第1传播力。
[0126]
传播力输入部324接受来自用户(例如，表演者)的第2传播力的输入。在本实施方式中，将表演者所具有的技能作为第2传播力，接受其输入。
[0127]
由传播力推定部321推定的第1传播力(余力)的信息及输入到传播力输入部324的第2传播力(技能)的信息添加到群数设定部322。
[0128]
群数设定部322根据第1传播力(余力)及第2传播力(技能)的信息来设定群数。
[0129]
集群部323根据由群数设定部322设定的群数，对热图进行集群处理。
[0130]
在本实施方式的信息处理系统中，由于根据表演者的传播力对热图进行集群来提示，因此也容易地确定应该进行的表演的内容。
[0131]
另外，在本实施方式中，构成为由传播力推定部321推定余力，由传播力输入部324输入技能，但也可以构成为由传播力推定部321推定技能，由传播力输入部324输入余力。
[0132]
[第5实施方式]
[0133]
如上所述，通过将各观众的高涨程度与各观众的位置建立对应关联显示来制作热图。各观众的位置根据由观众摄影装置200拍摄到的图像来确定。由观众摄影装置200拍摄到的图像的视点与表演者的视点不同。在本实施方式的信息处理系统中，将热图的图像转换为不同的视点的图像来提示。即，转换为表演者的视点的图像(接近表演者的视点的图像)来提示。
[0134]
图20是本实施方式的信息处理装置实现的功能的框图。
[0135]
如该图所示，本实施方式的信息处理装置300还具备图像处理部331。除了具备图像处理部331这一点以外，与上述第1实施方式的信息处理装置相同。因此，以下，仅对图像处理部331所涉及的事项进行说明。
[0136]
图像处理部331是转换处理部的一例。图像处理部331对由热图制作部317制作的热图的图像进行处理，生成改变视点的热图。具体而言，对由热图制作部317制作的热图的图像实施射影转换处理，转换为表演者的视点的图像。另外，难以使其与表演者的视点的图像完全一致。因此，在此转换为接近表演者的视点的图像。具体而言，转换为站在舞台上的确定位置时的表演者的视点的图像。
[0137]
图21是表示热图的图像的转换的一例的图。该图(a)表示转换处理前的热图hm0，该图(b)表示转换处理后的热图hm1。
[0138]
如此，通过根据表演者的视点的图像提示热图，能够更容易地掌握状况。
[0139]
另外，显示的切换能够构成为根据来自用户(例如，表演者)的指示进行。在该情况下，例如，通过操作部305的指示输入，进行显示的切换。
[0140]
并且，本处理也能够对集群的热图(集群热图)进行。
[0141]
[第6实施方式]
[0142]
在本实施方式的信息处理系统中，根据来自用户(例如，表演者)的指示，使热图反转并提示。即，例如，在用颜色显示热图的情况下，使颜色反转并提示。并且，例如，在用特定的颜色的浓淡来显示热图的情况下，使该颜色的浓淡反转并提示。
[0143]
图22是本实施方式的信息处理装置实现的功能的框图。
[0144]
如该图所示，本实施方式的信息处理装置300还具备图像处理部331。除了具备图像处理部331这一点以外，与上述第1实施方式的信息处理装置相同。因此，以下，仅对图像
处理部331所涉及的事项进行说明。
[0145]
图像处理部331是反转处理部的一例。图像处理部331根据来自操作部305的反转指示的输入，对热图的图像进行处理，生成使颜色或颜色的浓淡反转的热图。
[0146]
图23是表示热图的图像的反转处理的一例的图。该图示出根据特定的颜色的浓淡制作热图时的例子。该图(a)表示反转处理前的热图hm0，该图(b)表示反转处理后的热图hm2。如该图所示，通过反转处理，浓淡反转而显示。
[0147]
如此，通过能够切换显示，能够根据目的来提示最佳热图。例如，在使未高涨的观众高涨等情况下，以通常的方式显示热图。另一方面，在使高涨的观众更高涨等情况下，显示反转的热图。由此，能够更容易地进行表演的内容的控制。
[0148]
另外，本处理也能够对集群的热图(集群热图)进行。
[0149]
[第7实施方式]
[0150]
图24是表示本实施方式的信息处理系统的概略结构的图。
[0151]
如该图所示，本实施方式的信息处理系统10设置有投影装置500来代替显示装置400。除了设置有投影装置500来代替显示装置400这一点以外，与上述第1实施方式的信息处理系统相同。因此，以下，仅对投影装置500所涉及的结构进行说明。
[0152]
投影装置500是投影部的一例。投影装置500由至少1台投影机(投影仪)构成，并且将从热图输出部318输出的热图(包括集群热图)投影到观众2的观众区域3。在无法由1台投影机投影观众2的观众区域3的情况下，组合多台投影机来构成。在该情况下，将观众2的观众区域3分割为多个区域，由多台投影机分担各区域进行投影。
[0153]
根据本实施方式的信息处理系统，由于热图投影到观众2的观众区域3，因此看一眼就能够掌握观众的高涨状态。并且，由于无需确认显示装置，因此表演者能够专注于表演。并且，观众也注意到自身的高涨程度。
[0154]
另外，通常，观众2的观众区域3不平坦，因此投影优选采用投影映射的方法。
[0155]
[其他实施方式]
[0156]
[关于场景识别]
[0157]
在上述实施方式中，构成为根据拍摄表演者的图像来识别表演的场景，但也能够利用其他信息来识别表演的场景。例如，也能够构成为利用声音或声音及图像的信息来识别场景。在该情况下，还具备收集伴随表演的声音的收音部。
[0158]
[关于高涨程度]
[0159]
在上述实施方式中，构成为根据观众的表情来计算高涨程度，但也可以也利用其他信息来计算高涨程度。例如，也可以利用各观众发出的声音的信息、身体摇晃的信息、体温的信息等来计算高涨程度。在该情况下，设置有收集各观众发出的声音的收音部、检测各观众的身体的摇晃的传感器、检测各观众的体温的传感器等。并且，设置有输入这些信息的输入部。
[0160]
[关于传播力的推定]
[0161]
在上述实施方式中，构成为根据拍摄表演者的图像来推定表演者所具有的传播力，但也能够利用其他信息来推定传播力。例如，也能够构成为根据表演者发出的声音(音量、音质等)来推定传播力。并且，也能够构成为根据表演者发出的声音和表演的图像这两者来推定传播力。在该情况下，例如，表演者摄影装置100拍摄带有声音的视频。
[0162]
并且，也能够构成为根据观众的状况来推定表演者技能。即，由于观众的高涨程度也根据技能而不同，因此能够根据观众的高涨程度来推定表演者所具有的技能。在该情况下，例如能够构成为，根据由高涨程度计算部316计算的各观众的高涨程度的信息或由热图制作部317制作的热图来推定表演者的技能。
[0163]
并且，一般而言，与高涨相关的能力很大程度上取决于表演者的经验。因此，也能够在传播力中包含表演者的经验值(经验年数、活动等的实施次数)。
[0164]
[关于热图的显示]
[0165]
也能够构成为，在安装在表演者的身上使用的显示装置(所谓的可穿戴设备)上显示热图。例如，也能够构成为在手表型、眼镜型的显示装置上显示热图。
[0166]
并且，能够构成为也向观众提示热图。例如，也能够构成为向观众持有的移动终端(例如，智能手机等)传送热图的信息。
[0167]
[关于信息处理装置]
[0168]
信息处理装置的一部分或全部功能能够由各种处理器(processor)实现。各种处理器包括执行程序而作为各种处理部发挥功能的通用的处理器即cp u(central processing unit：中央处理单元)、fpga(field programmable gate array：现场可编程门阵列)等在制造后能够变更电路结构的处理器即可编程逻辑器件(programmable logic device：pld)、asic(application specific integrated circuit：专用集成电路)等具有为了执行特定的处理而进行专用设计的电路结构的处理器即专用电路等。程序的含义与软件的含义相同。
[0169]
一个处理部可以由这些各种处理器中的一个构成，也可以由同种或异种的两个以上的处理器构成。例如，一个处理部也可以由多个fpga或者cpu和fpg a的组合构成。并且，也可以由一个处理器构成多个处理部。作为由一个处理器构成多个处理部的例子，第1，有如下方式：如以客户端或服务器等计算机为代表那样，由一个以上的cpu和软件的组合构成一个处理器，该处理器作为多个处理部发挥功能。第2，有如下方式：如以片上系统(system on chip：soc)等为代表那样，使用由一个ic(integrated circuit，集成电路)芯片实现包括多个处理部的系统整体的功能的处理器。如此，各种处理部使用一个以上的上述各种处理器作为硬件结构而构成。
[0170]
符号说明
[0171]
1-表演者，2-观众，3-观众区域，10-信息处理系统，100-表演者摄影装置，200-观众摄影装置，300-信息处理装置，301-cpu，302-rom，303-ram，304-hdd，305-操作部，307-输入接口，308-输出接口，311-第1图像输入部，312-第2图像输入部，313-场景识别部，314-脸部检测部，315-表情识别部，316-高涨程度计算部，317-热图制作部，318-热图输出部，321-传播力推定部，322-群数设定部，323-集群部，324-传播力输入部，331-图像处理部，400-显示装置，500-投影装置，f-包围检测到的脸部的框，hm-热图，hm0-热图，hm1-转换处理后的热图，hm2-反转处理后的热图，i2-拍摄观众的图像，if-观众的脸部的图像，s11～s18-基于信息处理系统的信息处理的步骤，s21～s31-基于信息处理系统的信息处理的步骤。