现场数据传送方法、现场数据传送系统、其传送装置、现场数据播放装置及其播放方法与流程

1.本发明的一个实施方式涉及现场(live)数据传送方法、现场数据传送系统、现场数据传送装置、现场数据播放装置及现场数据播放方法。


背景技术：

2.在专利文献1中公开了一种在用于对体育比赛进行观战的终端中，能够使得用户有效地品味如同身处体育场那样的比赛的狂热的比赛观战方法。
3.专利文献1的比赛观战方法是从各用户的终端发送表示用户的反应(reaction)的反应信息。各用户的终端对基于反应信息的图标信息进行显示。
4.专利文献1：日本特开2019－024157号公报


技术实现要素：

5.专利文献1的系统仅显示图标信息，不是在对现场数据进行传送的情况下还将现场会场的临场感提供给传送目标的会场的系统。
6.本发明的一个实施方式的目的在于，提供一种在对现场数据进行传送的情况下还能够将现场会场的临场感提供给传送目标的会场的现场数据传送方法、现场数据传送系统、现场数据传送装置、现场数据播放装置及现场数据播放方法。
7.现场数据传送方法将与在第1会场的第1场所发生的第1声源的声音及该第1声源的位置信息相关的第1声源信息、及与在所述第1会场的第2场所发生的第2声源相关的第2声源信息，作为传送数据进行传送，对所述传送数据进行再现，将实施了基于所述第1声源的位置信息的定位处理的所述第1声源的声音、及所述第2声源的声音提供给第2会场。
8.发明的效果
9.现场数据传送方法在对现场数据进行传送的情况下，能够将现场会场的临场感还提供给传送目标的会场。
附图说明
10.图1是表示现场数据(live data)传送系统1的结构的框图。
11.图2是第1会场10的平面示意图。
12.图3是第2会场20的平面示意图。
13.图4是表示混频器11的结构的框图。
14.图5是表示传送装置12的结构的框图。
15.图6是表示传送装置12的动作的流程图。
16.图7是表示播放装置22的结构的框图。
17.图8是表示播放装置22的动作的流程图。
18.图9是表示变形例1涉及的现场数据传送系统1a的结构的框图。
19.图10是变形例1涉及的现场数据传送系统1a的第2会场20的平面概略图。
20.图11是表示变形例2涉及的现场数据传送系统1b的结构的框图。
21.图12是表示av接收器32的结构的框图。
22.图13是表示变形例3涉及的现场数据传送系统1c的结构的框图。
23.图14是表示终端42的结构的框图。
24.图15是表示变形例4涉及的现场数据传送系统1d的结构的框图。
25.图16是表示在各会场的播放装置显示的现场影像700的一个例子的图。
26.图17是表示由播放装置进行的信号处理的应用例的框图。
27.图18是表示从声源70在壁面反射而抵达收音点75的声音的路径的示意图。
具体实施方式
28.图1是表示现场数据传送系统1的结构的框图。现场数据传送系统1由在第1会场10及第2会场20分别设置的多个音响设备及信息处理装置构成。
29.图2是第1会场10的平面示意图，图3是第2会场20的平面示意图。在本例子中，第1会场10是表演者进行表演(performance)的现场会场。第2会场20是远程的听众对表演者的表演进行视听的公共观看会场。
30.在第1会场10设置有混频器11、传送装置12、多个传声器13a～
31.13f、多个扬声器14a～14g、多个追踪器15a～15c、及照相机16。在第2会场20设置有混频器21、播放装置22、显示器23、及多个扬声器24a～24f。传送装置12及播放装置22经由因特网5而连接。此外，传声器的数量、扬声器的数量、及追踪器的数量等不限于在本实施方式中示出的数量。另外，传声器及扬声器的设置方式也不限于在本实施方式中示出的例子。
32.混频器11与传送装置12、多个传声器13a～13f、多个扬声器14a～14g、及多个追踪器15a～15c连接。混频器11、多个传声器13a～13f、及多个扬声器14a～14g经由网络线缆或音频线缆而连接。多个追踪器15a～15c经由无线通信而与混频器11连接。混频器11及传送装置12经由网络线缆而连接。另外，传送装置12经由影像线缆而与照相机16连接。照相机16对包含表演者的现场影像进行拍摄。
33.多个扬声器14a～扬声器14g沿第1会场10的壁面而设置。该例子的第1会场10俯视观察时为矩形形状。在第1会场10的前方配置有舞台。在舞台，表演者进行歌唱或演奏等表演。扬声器14a设置于舞台的左侧，扬声器14b设置于舞台的中央，扬声器14c设置于舞台的右侧。扬声器14d设置于第1会场10的前后中央的左侧，扬声器14e设置于第1会场10的前后中央的右侧。扬声器14f设置于第1会场10的后方左侧，扬声器14g设置于第1会场10的后方的右侧。
34.传声器13a设置于舞台的左侧，传声器13b设置于舞台的中央，传声器13c设置于舞台的右侧。传声器13d设置于第1会场10的前后中央的左侧，传声器13e设置于第1会场10的后方中央。传声器13f设置于第1会场10的前后中央的右侧。
35.混频器11从传声器13a～13f接收声音信号。另外，混频器11向扬声器14a～14g输出声音信号。在本实施方式中，作为与混频器11连接的音响设备的一个例子而示出扬声器及传声器，但实际上多个音响设备与混频器11连接。混频器11从传声器等多个音响设备接
收声音信号，实施混频等信号处理并向扬声器等多个音响设备输出声音信号。
36.传声器13a～13f取得各个表演者的歌唱音或演奏音，作为在第1会场10发生的声音。或者，传声器13a～13f取得第1会场10的环境音。在图2的例子中，传声器13a～13c取得表演者的声音，传声器13d～13f取得环境音。环境音包含听众的声援、鼓掌、呼喊、欢呼声、合唱、或喧闹等声音。但是，表演者的声音可以线路输入。线路输入是指，不是由传声器对从乐器等声源输出的声音进行拾音而输入的，而是从与声源连接的音频线缆等输入声音信号。表演者的声音优选以sn比高的声音取得，不包含其他声音。
37.扬声器14a～扬声器14g将表演者的声音输出至第1会场10。另外，扬声器14a～扬声器14g也可以输出用于对第1会场10的声场进行控制的初始反射音或后部回响音。
38.第2会场20的混频器21与播放装置22、及多个扬声器24a～24f连接。这些音响设备经由网络线缆或音频线缆而连接。另外，播放装置22经由影像线缆而与显示器23连接。
39.多个扬声器24a～扬声器24f沿第2会场20的壁面而设置。本例子的第2会场20俯视观察时是矩形形状。在第2会场20的前方配置有显示器23。在显示器23对在第1会场10中拍摄到的现场影像进行显示。扬声器24a设置于显示器23的左侧，扬声器24b设置于显示器23的右侧。扬声器24c设置于第2会场20的前后中央的左侧，扬声器24d设置于第2会场20的前后中央的右侧。扬声器24e设置于第2会场20的后方左侧，扬声器24f设置于第2会场20的后方的右侧。
40.混频器21向扬声器24a～24f输出声音信号。混频器21从播放装置22接收声音信号，实施混频等信号处理并向扬声器等多个音响设备输出声音信号。
41.扬声器24a～扬声器24f将表演者的声音输出至第2会场20。另外，扬声器24a～扬声器24f输出用于重现第1会场10的声场的初始反射音或后部回响音。另外，扬声器24a～扬声器24f将第1会场10的听众的欢呼声等环境音输出至第2会场20。
42.图4是表示混频器11的结构的框图。此外，混频器21由于具有与混频器11相同的结构及功能，因此，在图4中作为代表情况而示出混频器11的结构。混频器11具有显示器101、用户i/f 102、音频i/o(input/output)103、信号处理部(dsp)104、网络i/f 105、cpu 106、闪存107及ram 108。
43.cpu 106是对混频器11的动作进行控制的控制部。cpu 106将在作为存储介质的闪存107存储的规定的程序读取至ram 108并执行，由此进行各种动作。
44.此外，cpu 106读取的程序无需存储于本装置内的闪存107。例如，程序也可以存储于服务器等外部装置的存储介质。在该情况下，cpu 106从该服务器每次将程序读取至ram 108而执行即可。
45.信号处理部104由用于进行各种信号处理的dsp构成。信号处理部104对经由音频i/o 103或网络i/f 105而从传声器等音响设备输入的声音信号，实施混频处理及滤波处理等信号处理。信号处理部104将信号处理后的音频信号经由音频i/o 103或网络i/f 105而输出至扬声器等音响设备。
46.另外，信号处理部104也可以进行声像移动(panning)处理、初始反射音生成处理、及后部回响音生成处理。声像移动处理是以使得声像定位于表演者的位置的方式对向多个扬声器14a～14g分配的声音信号的音量进行控制的处理。为了进行声像移动处理，cpu106经由追踪器15a～15c而取得表演者的位置信息。位置信息是表示将第1会场10的某个位置
作为基准的2维或3维的坐标的信息。追踪器15a～15c例如是对bluetooth(注册商标)等的电波进行收发的标签。在表演者或乐器安装有追踪器15a～15c。在第1会场10预先设置有至少3个信标。各个信标基于从发送电波起至接收到该电波为止的时间差，对与追踪器15a～15c之间的距离进行测量。cpu106通过预先取得信标的位置信息，对至少3个信标至标签的距离分别进行测定，从而能够唯一地求出追踪器15a～15c的位置。
47.cpu 106以该方式经由追踪器15a～15c而取得各表演者的位置信息、即在第1会场10发生的声音的位置信息。cpu 106基于取得的位置信息、扬声器14a～扬声器14g的位置，以使得声像定位于表演者的位置的方式决定向扬声器14a～扬声器14g输出的各个声音信号的音量。信号处理部104按照cpu 106的控制对向扬声器14a～扬声器14g输出的各个声音信号的音量进行控制。例如，信号处理部104增大向靠近表演者的位置的扬声器输出的声音信号的音量，减小向远离表演者的位置的扬声器输出的声音信号的音量。由此，信号处理部104能够使表演者的演奏音、歌唱音的声像定位于规定的位置。
48.初始反射音生成处理及后部回响音生成处理是通过fir滤波器将脉冲响应卷积于表演者的声音的处理。信号处理部104例如将在预先规定的会场(第1会场10以外的会场)取得的脉冲响应卷积于表演者的声音。由此，信号处理部104对第1会场10的声场进行控制。或者，信号处理部104也可以将由在第1会场10的顶棚、壁面附近设置的传声器取得的声音进一步反馈给扬声器14a～扬声器14g，由此对第1会场10的声场进行控制。
49.信号处理部104将表演者的声音及表演者的位置信息输出至传送装置12。传送装置12从混频器11取得表演者的声音及表演者的位置信息。
50.另外，传送装置12从照相机16取得影像信号。照相机16对各表演者或第1会场10的整体等进行拍摄，将现场影像所涉及的影像信号输出至传送装置12。
51.并且，传送装置12取得第1会场10的空间的回声信息。空间的回声信息是用于生成间接音的信息。间接音是声源的声音在会场内进行反射而到达听众的声音，至少包含初始反射音及后部回响音。空间的回声信息例如包含表示第1会场10的空间的大小、形状、壁面的材质的信息、及后部回响音所涉及的脉冲响应。表示空间的大小、形状、壁面的材质的信息是用于生成初始反射音的信息。用于生成初始反射音的信息也可以是脉冲响应。脉冲响应例如是在第1会场10中预先测定的。另外，空间的回声信息也可以是与表演者的位置相应地发生变化的信息。与表演者的位置相应地发生变化的信息例如是在第1会场10中针对每个表演者的位置而预先测定出的脉冲响应。传送装置12例如取得第1会场10的在舞台正面发生表演者的声音的情况下的第1脉冲响应、在舞台左侧发生表演者的声音的情况下的第2脉冲响应、及在舞台的右侧发生了表演者的声音的情况下的第3脉冲响应。但是，脉冲响应不限于3个。另外，脉冲响应无需在第1会场10中实际进行测定，例如，可以根据第1会场10的空间的大小、形状、及壁面的材质等通过模拟而求出。
52.此外，初始反射音是声音的到来方向固定的反射音，后部回响音是声音的到来方向不固定的反射音。后部回响音与初始反射音相比，因表演者的声音的位置的变化引起的变化小。因此，空间的回声信息可以是由与表演者的位置相应地发生变化的初始反射音的脉冲响应、和不依赖于表演者的位置而恒定的后部回响音的脉冲响应构成的形态。
53.另外，信号处理部104也可以取得环境音所涉及的环境信息并向传送装置12输出。环境音是如上述那样由传声器13d～13f取得的声音，包含背景噪音、听众的声援、鼓掌、呼
喊、欢呼声、合唱、或喧闹等声音。但是，环境音也可以由舞台的传声器13a～13c取得。信号处理部104将环境音所涉及的声音信号作为环境信息而输出至传送装置12。此外，环境信息也可以包含环境音的位置信息。环境音中的听众各自的“加油”等声援、表演者的个人姓名的呼喊、或“好极了”等感叹词等是不会被听众淹没而能够作为单独的听众的声而识别出的声音。信号处理部104也可以取得这些单独的声音的位置信息。环境音的位置信息例如可以根据由传声器13d～13f取得的声音而求出。信号处理部104在通过语音识别等处理而识别出上述的单独的声音的情况下，求出传声器13d～13f的声音信号的相关性，求出由传声器13d～13f分别拾音到单独的声音的定时之差。信号处理部104能够基于由传声器13d～13f进行了拾音的定时之差，唯一地求出发生声音的第1会场10内的位置。另外，环境音的位置信息也可以视为各传声器13d～13f的位置信息。
54.传送装置12将与在第1会场10发生的声音相关的声源信息、及空间的回声信息作为传送数据进行编码并传送。声源信息至少包含表演者的声音，也可以包含表演者的声音的位置信息。另外，传送装置12可以将环境音所涉及的环境信息包含于传送数据而进行传送。传送装置12也可以将表演者的影像所涉及的影像信号包含于传送数据而进行传送。
55.或者，传送装置12也可以至少将与表演者的声音及表演者的位置信息相关的声源信息、及与环境音相关的环境信息作为传送数据进行传送。
56.图5是表示传送装置12的结构的框图。图6是表示传送装置12的动作的流程图。
57.传送装置12由通常的个人计算机等信息处理装置构成。传送装置12具有显示器201、用户i/f 202、cpu 203、ram 204、网络i/f 205、闪存206、及通用通信i/f 207。
58.cpu 203将在作为存储介质的闪存206存储的程序读取至ram 204，由此实现规定的功能。此外，cpu 203读取的程序也无需存储于本装置内的闪存206。例如，程序也可以存储于服务器等外部装置的存储介质。在该情况下，cpu 203从该服务器每次将程序读取至ram 204而执行即可。
59.cpu 203经由网络i/f 205从混频器11取得表演者的声音及表演者的位置信息(声源信息)(s11)。另外，cpu 203取得第1会场10的空间的回声信息(s12)。并且，cpu 203取得环境音所涉及的环境信息(s13)。另外，cpu 203也可以经由通用通信i/f 207从照相机16取得影像信号。
60.cpu 203将与表演者的声音及声音的位置信息(声源信息)相关的数据、与空间的回声信息相关的数据、与环境信息相关的数据、及与影像信号相关的数据，作为传送数据进行编码并传送(s14)。
61.播放装置22经由因特网5从传送装置12接收传送数据。播放装置22对传送数据进行再现(rendering)，将与表演者的声音及空间的回声相关的声音提供给第2会场20。或者，播放装置22将表演者的声音及环境信息所包含的环境音提供给第2会场20。播放装置22也可以将与环境信息相对应的空间的回声所涉及的声音提供给第2会场20。
62.图7是表示播放装置22的结构的框图。图8是表示播放装置22的动作的流程图。
63.播放装置22由通常的个人计算机等信息处理装置构成。播放装置22具有显示器301、用户i/f 302、cpu 303、ram 304、网络i/f 305、闪存306及影像i/f 307。
64.cpu 303将在作为存储介质的闪存306存储的程序读取至ram 304，由此实现规定的功能。此外，cpu 303所读取的程序也无需存储于本装置内的闪存306。例如，程序也可以
存储于服务器等外部装置的存储介质。在该情况下，cpu 303从该服务器每次将程序读取至ram 304而执行即可。
65.cpu 303经由网络i/f 305从传送装置12接收传送数据(s21)。cpu 303将传送数据解码为声源信息、空间的回声信息、环境信息、及影像信号等(s22)，对声源信息、空间的回声信息、环境信息、及影像信号等进行再现。
66.cpu 303作为声源信息的再现的一个例子而使混频器21进行表演者的声音的声像移动处理(s23)。声像移动处理是如上述那样使表演者的声音定位于表演者的位置的处理。cpu 303以使得表演者的声音定位于由声源信息所包含的位置信息表示的位置的方式，决定向扬声器24a～24f分配的声音信号的音量。cpu 303将表演者的声音所涉及的声音信号、及表示该表演者的声音所涉及的声音信号向扬声器24a～24f的输出量的信息，输出至混频器21，由此使混频器21进行声像移动处理。
67.由此，第2会场20的听众能够感知到如同从表演者的位置发出声音那样。第2会场20的听众例如在第2会场20也能够从前方右侧听到位于第1会场10的舞台右侧的表演者的声音。另外，cpu 303也可以对影像信号进行再现，经由影像i/f 307而在显示器23对现场影像进行显示。由此，第2会场20的听众一边观看在显示器23显示的表演者的影像一边聆听进行了声像移动处理后的表演者的声音。由此，第2会场20的听众由于视觉信息和听觉信息一致，因此能够获得针对现场表演的沉浸感。
68.并且，cpu 303作为空间的回声信息的再现的一个例子而使混频器21进行间接音的生成处理(s24)。间接音的生成处理包含初始反射音生成处理及后部回响音生成处理。初始反射音是基于声源信息所包含的表演者的声音、和空间的回声信息所包含的表示第1会场10的空间的大小、形状、壁面的材质等的信息而生成的。cpu 303基于空间的大小及形状而决定初始反射音的到来定时，基于壁面的材质而决定初始反射音的电平。更具体而言，cpu 303基于空间的大小及形状的信息而求出声源的声音进行反射的壁面的坐标。而且，cpu 303基于声源的位置、壁面的位置、及收音点的位置，求出相对于声源的位置以壁面作为镜面而存在的虚拟的声源(虚声源)的位置。cpu 303基于虚声源的位置至收音点的距离，求出该虚声源的延迟量。另外，cpu 303基于壁面的材质的信息，求出该虚声源的电平。材质的信息与壁面反射时的能量损耗相对应。因此，cpu 303针对声源的声音信号考虑了该能量损耗而求出虚声源的电平。cpu 303通过反复进行这样的处理，从而能够通过计算而求出空间的回声所涉及的声音的延迟量及电平。cpu 303将计算出的延迟量及电平输出至混频器21。混频器21将这些延迟量及与电平相应的电平抽头系数卷积于表演者的声音。由此，混频器21将第1会场10的空间的回声重现于第2会场20。另外，在空间的回声信息包含有初始反射音的脉冲响应的情况下，cpu 303使混频器11执行通过fir滤波器而将脉冲响应卷积于表演者的声音的处理。cpu 303将传送数据所包含的空间的回声信息(脉冲响应)输出至混频器21。混频器21将从播放装置22接收到的空间的回声信息(脉冲响应)卷积于表演者的声音。由此，混频器21将第1会场10的空间的回声在第2会场20进行重现。
69.并且，在空间的回声信息与表演者的位置相应地发生变化的情况下，播放装置22基于声源信息所包含的位置信息，将与表演者的位置相对应的空间的回声信息输出至混频器21。例如，在处于第1会场10的舞台正面的表演者移动至舞台左侧的情况下，向表演者的声音卷积的脉冲响应从第1脉冲响应变更为第2脉冲响应。或者，在基于空间的大小及形状
的信息而对虚声源进行重现的情况下，与移动后的表演者的位置相应地重新计算延迟量及电平。由此，与表演者的位置相应的适当的空间的回声在第2会场20中也得到重现。
70.另外，播放装置22也可以基于环境信息及空间的回声信息，使混频器21生成与环境音相对应的空间的回声音。即，空间的回声所涉及的声音也可以包含与表演者的声音(第1声源的声音)相对应的第1回声音、与环境音(第2声源的声音)相对应的第2回声音。由此，混频器21将第1会场10的环境音的回声在第2会场20进行重现。另外，在环境信息包含有位置信息的情况下，播放装置22也可以基于环境信息所包含的位置信息，将与环境音的位置相对应的空间的回声信息输出至混频器11。混频器21基于环境音的位置对环境音的回声音进行重现。例如，在处于第1会场10的左侧后方的观众移动至右侧后方的情况下，对向该观众的欢呼声卷积的脉冲响应进行变更。或者，在基于空间的大小及形状的信息对虚声源进行重现的情况下，与移动后的观众的位置相应地重新计算延迟量及电平。如上所述，空间的回声信息包含与表演者的声音(第1声源)的位置相应地发生变化的第1回声信息、与环境音(第2声源)的位置相应地发生变化的第2回声信息，再现也可以包含基于第1回声信息而生成第1回声音的处理、基于第2回声信息而生成第2回声音的处理。
71.另外，后部回响音是声音的到来方向不固定的反射音。后部回响音与初始反射音相比，因声音的位置的变化引起的变化小。因此，播放装置22可以仅对与表演者的位置相应地发生变化的初始反射音的脉冲响应进行变更，将后部回响音的脉冲响应固定。
72.此外，播放装置22可以省略间接音的生成处理，直接利用第2会场20的回声。另外，间接音的生成处理可以仅是初始反射音生成处理。后部回响音也可以直接利用第2会场20的回声。或者，混频器21也可以通过将由在第2会场20的顶棚、壁面附近设置的未图示的传声器取得的声音进一步反馈给扬声器24a～扬声器24f，从而对第2会场20的控制进行加强。
73.而且，播放装置22的cpu 303基于环境信息而进行环境音的播放处理(s25)。环境信息包含背景噪音、听众的声援、鼓掌、呼喊、欢呼声、合唱、或喧闹等声音的声音信号。cpu 303将这些声音信号输出至混频器21。混频器21将从播放装置22接收到的声音信号向扬声器24a～24f输出。
74.cpu 303在环境信息包含有环境音的位置信息的情况下，使混频器21进行通过声像移动处理实现的环境音的定位处理。在该情况下，cpu 303以使得环境音定位于环境信息所包含的位置信息的位置的方式，决定向扬声器24a～24f分配的声音信号的音量。cpu 303通过将环境音的声音信号、及表示该环境音所涉及的声音信号向扬声器24a～24f的输出量的信息输出至混频器21，从而使混频器21进行声像移动处理。另外，在环境音的位置信息是各传声器13d～13f的位置信息的情况下也相同。cpu 303以使得环境音定位于传声器的位置的方式，决定向扬声器24a～24f分配的声音信号的音量。各传声器13d～13f对背景噪音、鼓掌、合唱、或“哇”等欢呼声、喧闹等多个环境音(第2声源)进行拾音。各个声源的声音包含规定的延迟量及电平而到达传声器。即，背景噪音、鼓掌、合唱、或“哇”等欢呼声、喧闹等也作为独立的声源而包含规定的延迟量及电平(用于使声源定位的信息)地到达传声器。cpu 303通过以使得由传声器拾音的声音定位于该传声器的位置的方式进行声像移动处理，从而能够简易地对独立的声源的定位进行重现。
75.此外，cpu 303也可以对无法作为单独听众的声音而识别的、多个听众同时发出的声音进行如下处理，即，通过使混频器21进行混响等效果处理，从而感知空间的扩展。例如，
背景噪音、鼓掌、合唱、或“哇”等欢呼声、喧闹等是响彻现场会场整体的声音。cpu 303使混频器21进行对这些声音感知到空间扩展的效果处理。
76.播放装置22也可以将基于以上这样的环境信息的环境音提供给第2会场20。由此，第2会场20的听众能够如同在第1会场10视听现场表演那样的、视听到更有临场感的现场表演。
77.以如上方式，本实施方式的现场数据传送系统1将在第1会场10发生的声音所涉及的声源信息、及空间的回声信息作为传送数据进行传送，对传送数据进行再现而将声源信息所涉及的声音、及空间的回声所涉及的声音提供给第2会场20。由此，能够将现场会场的临场感也提供给传送目标的会场。
78.另外，现场数据传送系统1将与在第1会场10的某个第1场所(例如舞台)发生的第1声源的声音(例如表演者的声音)及该第1声源的位置信息相关的第1声源信息、及与在第1会场10的第2场所(例如听众所在场所)发生的第2声源(例如环境音)相关的第2声源信息作为传送数据进行传送，对传送数据进行再现而将实施了基于第1声源的位置信息的定位处理的第1声源的声音、及第2声源的声音提供给第2会场。由此，能够将现场会场的临场感也提供给传送目标的会场。
79.接着，图9是表示变形例1涉及的现场数据传送系统1a的结构的框图。图10是变形例1涉及的现场数据传送系统1a的第2会场20的平面概略图。与图1及图3共通的结构标注相同的标号，省略说明。
80.在现场数据传送系统1a的第2会场20设置有多个传声器25a～25c。传声器25a朝向第2会场20的舞台80而设置于前后中央的左侧，传声器25b设置于第2会场20的后方中央。传声器25c设置于第2会场20的前后中央的右侧。
81.传声器25a～25c取得第2会场20的环境音。混频器21将环境音的声音信号作为环境信息而输出至播放装置22。此外，环境信息也可以包含环境音的位置信息。环境音的位置信息可以如上述那样例如根据由传声器25a～25c取得的声音而求出。
82.播放装置22将与在第2会场20发生的环境音相关的环境信息作为第3声源而发送至其他会场。例如，播放装置22将在第2会场20发生的环境音反馈给第1会场10。由此，第1会场10的舞台的表演者能够听到第1会场10的听众以外的声、鼓掌、欢呼声等，能够在洋溢着临场感的环境下进行现场表演。另外，处于第1会场10的听众也能够听到其他会场的听众的声、鼓掌、欢呼声等，能够在洋溢着临场感的环境下对现场表演进行视听。
83.另外，进一步地，如果其他会场的播放装置对传送数据进行再现而将第1会场的声音提供给该其他会场，并且，将在第2会场20发生的环境音提供给该其他会场，则该其他会场的听众也能够听到多个听众的声、鼓掌、欢呼声等，能够在洋溢着临场感的环境下对现场表演进行视听。
84.接着，图11是表示变形例2涉及的现场数据传送系统1b的结构的框图。与图1共通的结构标注相同的标号，省略说明。
85.在现场数据传送系统1b中，传送装置12经由因特网5与第3会场20a的av接收器32连接。av接收器32与显示器33、多个扬声器34a～34f、及传声器35连接。第3会场20a例如是某个听众个人的住宅。av接收器32是播放装置的一个例子。av接收器32的利用者为以远程方式对第1会场10的现场表演进行视听的听众。
86.图12是表示av接收器32的结构的框图。av接收器32具有显示器401、用户i/f 402、音频i/o(input/output)403、信号处理部(dsp)404、网络i/f 405、cpu 406、闪存407、ram 408、及影像i/f 409。
87.cpu 406是对av接收器32的动作进行控制的控制部。cpu 406将在作为存储介质的闪存407存储的规定的程序读取至ram 408并执行，由此进行各种动作。
88.此外，cpu 406所读取的程序也无需存储于本装置内的闪存407。例如，程序也可以存储于服务器等外部装置的存储介质。在该情况下，cpu 406从该服务器每次将程序读取至ram 408而执行即可。
89.信号处理部404由用于进行各种信号处理的dsp构成。信号处理部404对经由音频i/o 403或网络i/f 405而输入的声音信号实施信号处理。信号处理部404将信号处理后的音频信号经由音频i/o 403或网络i/f 405而输出至扬声器等音响设备。
90.av接收器32进行与由混频器21及播放装置22进行的处理相同的处理。cpu 406经由网络i/f 405而从传送装置12接收传送数据。cpu 406对传送数据进行再现，将表演者的声音及空间的回声所涉及的声音提供给第3会场20a。或者，cpu 406对传送数据进行再现，将在第1会场10发生的环境音提供给第3会场20a。或者，cpu 406也可以对传送数据进行再现，经由影像i/f 307将现场影像显示于显示器33。
91.信号处理部404进行表演者的声音的声像移动处理。另外，信号处理部404进行间接音的生成处理。或者，信号处理部404也可以进行环境音的声像移动处理。
92.由此，av接收器32可以将第1会场10的临场感也提供给第3会场20a。
93.另外，av接收器32经由传声器35而取得第3会场20a的环境音(听众的声援、鼓掌、或呼喊等声音)。av接收器32将第3会场20a的环境音发送至其他装置。例如，av接收器32将第3会场20a的环境音反馈给第1会场10。
94.这样，如果将来自多个听众的声音反馈给第1会场10，则第1会场10的舞台的表演者能够听到第1会场10的听众以外的多个听众的声援、鼓掌、欢呼声等，能够在洋溢着临场感的环境下进行现场表演。另外，处于第1会场10的听众也能够听到远程的多个听众的声援、鼓掌、欢呼声等，能够在洋溢着临场感的环境下对现场表演进行视听。
95.或者，av接收器32也可以在显示器401显示“声援”、“鼓掌”、“呼喊”及“喧闹”等图标图像，经由用户i/f 402而从听众接收针对这些图标图像的选择操作，由此接收听众的反应。也可以是av接收器32如果接收到这些反应的选择操作，则生成与各个反应相对应的声音信号，作为环境信息而发送至其他装置。
96.或者，av接收器32也可以将表示听众的声援、鼓掌、或呼喊等环境音的种类的信息作为环境信息而发送。在该情况下，接收侧的装置(例如传送装置12及混频器11)基于环境信息而生成相对应的声音信号，将听众的声援、鼓掌、或呼喊等声音向会场内提供。这样，环境信息不是环境音的声音信号，而是表示应当生成的声音的信息，可以进行将预先录音的环境音等由传送装置12及混频器11进行播放的处理。
97.另外，第1会场10的环境信息也可以不是在第1会场10发生的环境音，而是预先录音的环境音。在该情况下，传送装置12将表示应当生成的声音的信息作为环境信息而传送。播放装置22或av接收器32基于环境信息而对相对应的环境音进行播放。另外，也可以是，环境信息中的背景噪音及喧闹等是录音好的声音，其他环境音(例如听众的声援、鼓掌、呼喊
等)是在第1会场10发生的声音。
98.另外，av接收器32也可以经由用户i/f 402而接收听众的位置信息。av接收器32在显示器401或显示器33对模仿出第1会场10的平面图或斜视图等的图像进行显示，经由用户i/f 402而从听众接收位置信息(例如，参照图16)。位置信息是对第1会场10内的任意位置进行指定的信息。av接收器32将接收到的听众的位置信息发送至第1会场10。第1会场的传送装置12及混频器11进行基于从av接收器32接收到的第3会场20a的环境音及听众的位置信息而使第3会场20a的环境音定位于所指定的位置的处理。
99.另外，av接收器32也可以基于从利用者接收到的位置信息对声像移动处理的内容进行变更。例如，如果听众指定了第1会场10的舞台紧跟前的位置，则av接收器32将表演者的声音的定位位置设定于听众紧跟前的位置而进行声像移动处理。由此，第3会场20a的听众能够获得如同位于第1会场10的舞台紧跟前那样的临场感。
100.第3会场20a的听众的声音可以不向第1会场10发送，而向第2会场20发送，还可以向其他会场发送。例如，第3会场20a的听众的声音可以仅向朋友的住宅(第4会场)发送。第4会场的听众能够一边听取第3会场20a的听众的声音一边对第1会场10的现场表演进行视听。另外，第4会场的未图示的播放装置也可以将第4会场的听众的声音向第3会场20a发送。在该情况下，第3会场20a的听众能够一边听取第4会场的听众的声音一边对第1会场10的现场表演进行视听。由此，第3会场20a的听众和第4会场的听众能够一边相互对话一边视听第1会场10的现场表演。
101.图13是表示变形例3涉及的现场数据传送系统1c的结构的框图。与图1共通的结构标注相同的标号，省略说明。
102.在现场数据传送系统1c中，传送装置12经由因特网5而与第5会场20b的终端42连接。终端42与耳机43连接。第5会场20b例如是某个听众个人的住宅。但是，在终端42为移动型的情况下，第5会场20b也可以是如咖啡店内、汽车内、或公共交通设备内等各种场所。在该情况下，所有场所都能成为第5会场20b。终端42是播放装置的一个例子。终端42的利用者成为以远程方式对第1会场10的现场表演进行视听的听众。在该情况下，终端42也对传送数据进行再现，经由耳机43将声源信息所涉及的声音、及空间的回声所涉及的声音提供给第2会场(在该例子中，第5会场20b)。
103.图14是表示终端42的结构的框图。终端42是个人计算机、智能手机或平板计算机等信息处理装置。终端42具有显示器501、用户i/f 502、cpu 503、ram 504、网络i/f 505、闪存506、音频i/o(input/output)507及传声器508。
104.cpu 503是对终端42的动作进行控制的控制部。cpu 503将在作为存储介质的闪存506存储的规定的程序读取至ram 504并执行，由此进行各种动作。
105.此外，cpu 503所读取的程序也无需存储于本装置内的闪存506。例如，程序也可以存储于服务器等外部装置的存储介质。在该情况下，cpu 503从该服务器每次将程序读取至ram 504而执行即可。
106.cpu 503对经由网络i/f 505而输入的声音信号实施信号处理。cpu 503将信号处理后的音频信号经由音频i/o 507而输出至耳机43。
107.cpu 503经由网络i/f 505而从传送装置12接收传送数据。cpu 503对传送数据进行再现，将与表演者的声音及空间的回声相关的声音提供给第5会场20b的听众。
108.具体而言，cpu 503对与表演者的声音相关的声音信号卷积头部传递函数(以下，称为hrtf。)，以使得该表演者的声音定位于表演者的位置的方式进行声像定位处理(双耳化处理)。hrtf与规定位置和听众的耳朵之间的传递函数相对应。hrtf是表现出从某个位置的声源分别到达左右耳朵的声音的大小、到达时间、及频率特性等的传递函数。cpu 503基于表演者的位置而对表演者的声音的声音信号卷积hrtf。由此，表演者的声音定位于与位置信息相应的位置。
109.另外，cpu 503通过对表演者的声音的声音信号卷积与空间的回声信息相对应的hrtf的双耳化处理，进行间接音的生成处理。cpu 503通过对从与空间的回声信息所包含的各个初始反射音相对应的虚拟声源的位置分别到达左右耳朵的hrtf进行卷积，从而使初始反射音及后部回响音定位。但是，后部回响音是声音的到来方向不固定的反射音。因此，cpu 503也可以不对后部回响音进行定位处理，而进行混响等效果处理。此外，cpu 503也可以进行将听众使用的耳机43的音响特性的逆特性重现的数字滤波处理(耳机逆特性处理)。
110.另外，cpu 503对传送数据中的环境信息进行再现，将在第1会场10发生的环境音提供给第5会场20b的听众。cpu 503在环境信息包含有环境音的位置信息的情况下，进行基于hrtf的定位处理，对声音的到来方向不固定的声音进行效果处理。
111.另外，cpu 503也可以对传送数据中的影像信号进行再现，在显示器501对现场影像进行显示。
112.由此，终端42还能够将第1会场10的临场感提供给第5会场20b的听众。
113.另外，终端42经由传声器508而取得第5会场20b的听众的声音。终端42将听众的声音发送至其他装置。例如，终端42将听众的声音反馈给第1会场10。或者，终端42也可以在显示器501对“声援”、“鼓掌”、“呼喊”及“喧闹”等的图标图像进行显示，经由用户i/f 502而从听众接收针对这些图标图像的选择操作，接收反应。终端42生成与接收到的反应相对应的声音，将生成的声音作为环境信息而发送至其他装置。或者，终端42也可以将表示听众的声援、鼓掌、或呼喊等环境音的种类的信息作为环境信息进行发送。在该情况下，接收侧的装置(例如，传送装置12及混频器11)基于环境信息而生成相对应的声音信号，将听众的声援、鼓掌、或呼喊等声音向会场内提供。
114.另外，终端42也可以经由用户i/f 502而接收听众的位置信息。终端42将接收到的听众的位置信息发送至第1会场10。第1会场的传送装置12及混频器11进行基于从av接收器32接收到的第3会场20a的听众的声音及位置信息使听众的声音定位于所指定的位置的处理。
115.另外，终端42也可以基于从利用者接收到的位置信息而对hrtf进行变更。例如，如果听众指定了第1会场10的舞台紧跟前的位置，则终端42将表演者的声音的定位位置设定于听众紧跟前的位置，对使得表演者的声音定位于该位置的hrtf进行卷积。由此，第5会场20b的听众能够获得如同位于第1会场10的舞台紧跟前那样的临场感。
116.第5会场20b的听众的声音可以不向第1会场10发送，而向第2会场20发送，还可以向其他会场发送。与上述相同地，第5会场20b的听众的声音可以仅向朋友的住宅(第4会场)发送。由此，第5会场20b的听众和第4会场的听众能够一边相互对话一边视听第1会场10的现场表演。
117.另外，在本实施方式的现场数据传送系统中，多个用户还能够指定相同的位置。例
如，多个用户可以分别指定第1会场10的舞台紧跟前的位置。在该情况下，各个听众能够获得如同处于舞台紧跟前的位置那样的临场感。由此，针对1个位置(会场的座椅)，多个听众能够以相同的临场感对表演者的表演进行视听。在该情况下，现场运营者能够提供超过实际空间的可容纳观众数的服务。
118.图15是表示变形例4涉及的现场数据传送系统1d的结构的框图。与图1共通的结构标注相同的标号，省略说明。
119.现场数据传送系统1d还具有服务器50及终端55。终端55设置于第6会场10a。服务器50是传送装置的一个例子，服务器50的硬件结构与传送装置12相同。终端55的硬件结构与图14所示的终端42的结构相同。
120.第6会场10a是以远程方式进行演奏等表演的表演者的住宅等。处于第6会场10a的表演者与第1会场的演奏或歌唱相匹配地进行演奏或歌唱等表演。终端55将第6会场10a的表演者的声音发送至服务器50。另外，终端55也可以通过未图示的照相机对第6会场10a的表演者进行拍摄，将影像信号发送至服务器50。
121.服务器50对包含第1会场10的表演者的声音、第6会场10a的表演者的声音、第1会场10的空间的回声信息、第1会场10的环境信息、第1会场10的现场影像、及第6会场10a的表演者的影像的传送数据进行传送。
122.在该情况下，播放装置22对传送数据进行再现，将第1会场10的表演者的声音、第6会场10a的表演者的声音、第1会场10的空间的回声、第1会场10的环境音、第1会场10的现场影像、第6会场10a的表演者的影像提供给第2会场20。例如，播放装置22在第1会场10的现场影像叠加地显示第6会场10a的表演者的影像。
123.第6会场10a的表演者的声音可以不进行定位处理，也可以定位于与在显示器显示的影像相匹配的位置。例如，在第6会场10a的表演者显示于现场影像内的右侧的情况下，第6会场10a的表演者的声音定位于右侧。
124.另外，第6会场10a的表演者、或传送数据的传送者也可以指定表演者的位置。在该情况下，传送数据中包含第6会场10a的表演者的位置信息。播放装置22基于第6会场10a的表演者的位置信息对第6会场10a的表演者的声音进行定位。
125.第6会场10a的表演者的影像不限于由照相机拍摄到的影像。例如，可以将2维图像或由3d建模构成的虚拟角色图像(虚拟影像)作为第6会场10a的表演者的影像进行传送。
126.此外，在传送数据也可以包含有录音数据。另外，在传送数据也可以包含有录像数据。例如，传送装置可以对包含第1会场10的表演者的声音、录音数据、第1会场10的空间的回声信息、第1会场10的环境信息、第1会场10的现场影像、及录像数据的传送数据进行传送。在该情况下，播放装置对传送数据进行再现，将第1会场10的表演者的声音、录音数据所涉及的声音、第1会场10的空间的回声、第1会场10的环境音、第1会场10的现场影像、及录像数据所涉及的影像提供给其他会场。播放装置22在第1会场10的现场影像叠加地显示与录像数据相对应的表演者的影像。
127.另外，传送装置也可以在对录音数据所涉及的声音进行录音时，对乐器的类别进行判断。在该情况下，传送装置在传送数据中包含表示判别为录音数据的乐器的类别的信息而进行传送。播放装置基于表示乐器的类别的信息而生成相对应的乐器的影像。播放装置也可以在第1会场10的现场影像叠加地显示该乐器的影像。
128.另外，传送数据无需在第1会场10的现场影像叠加第6会场10a的表演者的影像。例如，传送数据也可以将第1会场10及第6会场10a的各个表演者的影像、背景影像作为单独的数据进行传送。在该情况下，传送数据包含表示各影像的显示位置的信息。播放装置基于表示显示位置的信息对各表演者的影像进行再现。
129.另外，背景影像不限于第1会场10等实际进行现场表演的会场的影像。背景影像也可以是与进行现场表演的会场不同的会场的影像。
130.并且，传送数据所包含的空间的回声信息也无需与第1会场10的空间的回声相对应。例如，空间的回声信息也可以是用于对与背景影像相对应的会场的空间的回声虚拟地进行重现的虚拟空间信息(表示各会场的空间的大小、形状、壁面的材质等的信息、或者表示各会场的传递函数的脉冲响应)。各会场的脉冲响应可以预先测定，也可以根据各会场的空间的大小、形状、及壁面的材质等而通过模拟来求出。
131.并且，环境信息还可以变更为与背景影像相应的内容。例如，在大会场的背景影像的情况下，环境信息包含多个听众的声援、鼓掌、欢呼声等声音。另外，户外会场包含与屋内会场不同的背景噪音。另外，环境音的回声也与上述空间的回声信息相应地发生变化。另外，环境信息也可以包含表示观众的数量的信息、表示拥挤程度(人的密集度)的信息。播放装置基于表示观众的数量的信息使听众的声援、鼓掌、欢呼声等声音的数量增减。另外，播放装置基于表示拥挤程度的信息使听众的声援、鼓掌、欢呼声等的音量增减。
132.或者，环境信息也可以根据表演者而变更。例如，在女性粉丝多的表演者进行现场表演的情况下，环境信息所包含的听众的声援、呼喊、欢呼声等声音变更为女性的声音。环境信息可以包含这些听众的声音的声音信号，也可以包含表示男女比或年龄比等观众的属性的信息。播放装置基于表示该属性的信息对听众的声援、鼓掌、欢呼声等的音质进行变更。
133.另外，各会场的听众也可以指定背景影像及空间的回声信息。各会场的听众使用播放装置的用户i/f而指定背景影像及空间的回声信息。
134.图16是表示由各会场的播放装置显示的现场影像700的一个例子的图。现场影像700由对第1会场10或其他会场进行拍摄得到的影像、或与各会场相对应的虚拟影像(计算机图形)等构成。现场影像700显示于播放装置的显示器。在现场影像700显示会场的背景、舞台、包含乐器的表演者、及会场内的听众的影像等。会场的背景、舞台、包含乐器的表演者、及会场内的听众的影像可以是全部实际拍摄到的影像，也可以是虚拟影像。另外，也可以是仅背景影像是实际拍摄的影像，其他影像是虚拟影像。另外，在现场影像700显示有用于对空间进行指定的图标图像751及图标图像752。图标图像751是用于对某个会场即舞台a(stage a)(例如，第1会场10)的空间进行指定的图像，图标图像752是用于对其他会场即舞台b(stage b)(例如，其他演奏厅等)的空间进行指定的图像。并且，在现场影像700显示有用于对听众的位置进行指定的听众图像753。
135.利用播放装置的听众通过使用播放装置的用户i/f对图标图像751或图标图像752的任一者进行指定而指定希望的空间。传送装置将与所指定的空间相对应的背景影像及空间的回声信息包含于传送数据而进行传送。或者，传送装置也可以将多个背景影像及空间的回声信息包含于传送数据而进行传送。在该情况下，播放装置对接收到的传送数据中与由听众指定的空间相对应的背景影像及空间的回声信息进行再现。
136.在图16的例子中，指定图标图像751。播放装置对与图标图像751的stage a相对应的背景影像(例如，第1会场10的影像)进行显示，对与所指定的stage a相对应的空间的回声涉及的声音进行播放。如果听众对图标图像752进行指定，则播放装置切换为与图标图像752相对应的其他空间即stage b的背景影像而进行显示，基于与stage b相对应的虚拟空间信息对相对应的其他空间的回声所涉及的声音进行播放。
137.由此，各播放装置的听众能够获得如同在希望的空间对现场表演进行视听那样的临场感。
138.另外，各播放装置的听众能够通过使现场影像700内的听众图像753移动而对会场内的希望的位置进行指定。播放装置进行基于由利用者指定的位置的定位处理。例如，如果听众使听众图像753移动至舞台紧跟前的位置，则播放装置将表演者的声音的定位位置设定于听众紧跟前的位置，进行使得表演者的声音定位于该位置的定位处理。由此，各播放装置的听众能够获得如处于舞台紧跟前那样的临场感。
139.另外，如上所述，如果声源的位置及听众的位置(收音点的位置)改变，则空间的回声所涉及的声音也变化。播放装置在空间发生了变化的情况、声源的位置发生了变化的情况、或收音点的位置发生了变化的情况下，也能够通过计算而求出初始反射音。因此，即使在实际的空间中不进行脉冲响应等的测定，播放装置也能够基于虚拟空间信息而求出空间的回声所涉及的声音。因而，播放装置能够高精度地实现在还包含实际空间在内的空间中产生的回声。
140.例如，混频器11可以作为传送装置起作用，混频器21也可以作为播放装置起作用。另外，播放装置无需设置于各会场。例如，图15所示的服务器50也可以对传送数据进行再现，将信号处理后的声音信号传送至各会场的终端等。在该情况下，服务器50作为播放装置起作用。
141.声源信息也可以包含表示表演者的姿态(例如，表演者的左右的朝向)的信息。播放装置也可以基于表演者的姿态信息而进行音量或频率特性的调整处理。例如，播放装置进行以表演者的朝向正对面的情况作为基准，左右的朝向越大则使音量越降低的处理。另外，播放装置也可以进行左右的朝向越大则高频带与低频带相比更大幅衰减的处理。由此，与表演者的姿态相应地声音发生变化，因此听众能够对更有临场感的现场表演进行视听。
142.接着，图17是表示由播放装置进行的信号处理的应用例的框图。在本例子中，使用图13所示的终端42及耳机43而进行再现。播放装置(在图13的例子中，终端42)在功能上具有乐器模型处理部551、放大器模型处理部552、扬声器模型处理部553、空间模型处理部554、双耳化处理部555、及耳机逆特性处理部556。
143.乐器模型处理部551、放大器模型处理部552、及扬声器模型处理部553进行对演奏音所涉及的声音信号赋予音响设备的音响特性的信号处理。用于进行该信号处理的第1数字信号处理模型例如包含于传送装置12所传送的声源信息。第1数字信号处理模型分别是模拟了乐器的音响特性、放大器的音响特性、及扬声器的音响特性的数字滤波器。第1数字信号处理模型由乐器的制造者、放大器的制造者、及扬声器的制造者通过模拟等而预先制作。乐器模型处理部551、放大器模型处理部552、及扬声器模型处理部553分别进行模拟了乐器的音响特性、放大器的音响特性、及扬声器的音响特性的数字滤波处理。此外，在乐器为合成器(synthesizer)等电子乐器的情况下，乐器模型处理部551取代声音信号而输入音
符事件数据(表示应当发音的声音的发音定时、音高等的信息)，生成具有合成器等电子乐器的音响特性的声音信号。
144.由此，播放装置能够对任意乐器等的音响特性进行重现。例如，在图16中，对虚拟影像(计算机图形)的现场影像700进行显示。这里，利用播放装置的听众也可以使用播放装置的用户i/f而变更为其他虚拟乐器的影像。在听众将显示于现场影像700的乐器变更为其他乐器的影像时，播放装置的乐器模型处理部551进行与第1数字信号处理模型相应的信号处理，该第1数字信号处理模型与变更后的乐器相对应。由此，播放装置输出对在现场影像700显示的乐器的音响特性进行了重现的声音。
145.相同地，利用播放装置的听众也可以使用播放装置的用户i/f将放大器的种类及扬声器的种类变更为不同的种类。放大器模型处理部552及扬声器模型处理部553进行模拟了变更后的种类的放大器的音响特性及扬声器的音响特性的数字滤波处理。此外，扬声器模型处理部553也可以对扬声器的每个方向的音响特性进行模拟。在该情况下，利用播放装置的听众也可以使用播放装置的用户i/f对扬声器的朝向进行变更。扬声器模型处理部553与变更后的扬声器的朝向相应地进行数字滤波处理。
146.空间模型处理部554是重现了现场会场的房间的音响特性(例如，上述空间的回声)的第2数字信号处理模型。第2数字信号处理模型例如也可以在实际的现场会场中使用测试音等而取得。或者，第2数字信号处理模型也可以如上述那样根据虚拟空间信息(表示各会场的空间的大小、形状、及壁面的材质等的信息)，通过计算而求出虚声源的延迟量及电平。
147.如果声源的位置及听众的位置(收音点的位置)改变，则空间的回声所涉及的声音也发生变化。播放装置在空间发生了变化的情况、声源的位置发生了变化的情况、及收音点的位置发生了变化的情况下，也能够通过计算而求出虚声源的延迟量及电平。因此，即使在实际的空间中不进行脉冲响应等测定，播放装置也能够基于虚拟空间信息而求出空间的回声所涉及的声音。因而，播放装置能够高精度地实现在还包含实际空间在内的空间中产生的回声。
148.此外，虚拟空间信息也可以包含柱等构造物(音响上的障碍物)的位置及材质的信息。播放装置在声源的定位及间接音的生成处理中，在从声源到达的直接音及间接音的路径存在障碍物的情况下，对因该障碍物引起的反射、遮挡、及衍射的现象进行重现。
149.图18是表示从声源70在壁面反射而抵达收音点75的声音的路径的示意图。图18所示的声源70也可以是演奏音(第1声源)或环境音(第2声源)的任一者。播放装置基于声源70的位置、壁面的位置、及收音点75的位置，求出相对于声源70的位置以壁面作为镜面而存在的虚声源70a的位置。而且，播放装置基于虚声源70a至收音点75的距离，求出该虚声源70a的延迟量。另外，播放装置基于壁面的材质的信息，求出该虚声源70a的电平。并且，播放装置在如图18所示那样在虚声源70a的位置至收音点75的路径存在障碍物77的情况下，求出通过该障碍物77的衍射而产生的频率特性。衍射例如使得高频带的声音衰减。因此，播放装置在如图18所示那样在虚声源70a的位置至收音点75的路径存在障碍物77的情况下，进行使高频带的电平降低的均衡处理。通过衍射产生的频率特性也可以包含于虚拟空间信息。
150.另外，播放装置也可以在障碍物77的左右的位置设定新的第2虚声源77a及第3虚声源77b。第2虚声源77a及第3虚声源77b与通过衍射产生的新的声源相对应。第2虚声源77a
及第3虚声源77b是分别针对虚声源70a的声音赋予了通过衍射而产生的频率特性的声音。播放装置基于第2虚声源77a及第3虚声源77b的位置及收音点75的位置，重新计算延迟量及电平。由此，能够对障碍物77的衍射现象进行重现。
151.播放装置也可以对虚声源70a的声音在障碍物77反射并进一步反射至壁面而到达收音点75的声音的延迟量及电平进行计算。另外，播放装置也可以在判断为由障碍物77将虚声源70a遮挡的情况下将虚声源70a消除。决定是否遮挡的信息也可以包含于虚拟空间信息。
152.播放装置通过进行以上的处理，从而进行表现出音响设备的音响特性的第1数字信号处理及表现出房间的音响特性的第2数字信号处理，生成声源的声音及空间的回声所涉及的声音。
153.而且，双耳化处理部555对声音信号卷积头部传递函数(以下，称为hrtf。)，进行声源及各种的间接音的声像定位处理。耳机逆特性处理部556进行将听众所使用的耳机的音响特性的逆特性重现的数字滤波处理。
154.通过以上的处理，用户能够获得如同在希望的空间及希望的音响设备对现场表演进行视听那样的临场感。
155.此外，播放装置无需具有图17所示的乐器模型处理部551、放大器模型处理部552、扬声器模型处理部553、空间模型处理部554的全部。播放装置使用至少1个数字信号处理模型而执行信号处理即可。另外，播放装置可以进行对某1个声音信号(例如，某个表演者的声音)使用1个数字信号处理模型的信号处理，也可以进行对多个声音信号分别使用1个数字信号处理模型的信号处理。播放装置可以进行对某1个声音信号(例如，某个表演者的声音)使用多个数字信号处理模型的信号处理，也可以进行对多个声音信号使用多个数字信号处理模型的信号处理。播放装置也可以进行对环境音使用数字信号处理模型的信号处理。
156.本实施方式的说明在所有方面都是例示，且不是限制性的内容。本发明的范围不是由上述的实施方式而是由权利要求书表示。并且，本发明的范围包含与权利要求书等同的含义以及范围内的全部变更。
157.标号的说明
158.1、1a、1b、1c、1d
…
现场数据传送系统
[0159]5…
因特网
[0160]
10
…
第1会场
[0161]
10a
…
第6会场
[0162]
11
…
混频器
[0163]
12
…
传送装置
[0164]
13a～13f
…
传声器
[0165]
14a～14g
…
扬声器
[0166]
15a～15c
…
追踪器
[0167]
16
…
照相机
[0168]
20
…
第2会场
[0169]
20a
…
第3会场
[0170]
20b
…
第5会场
[0171]
21
…
混频器
[0172]
22
…
播放装置
[0173]
23
…
显示器
[0174]
24a～24f
…
扬声器
[0175]
25a～25c
…
传声器
[0176]
32
…
av接收器
[0177]
33
…
显示器
[0178]
34a
…
扬声器
[0179]
35
…
传声器
[0180]
42
…
终端
[0181]
43
…
耳机
[0182]
50
…
服务器
[0183]
55
…
终端
[0184]
101
…
显示器
[0185]
102
…
用户i/f
[0186]
103
…
音频i/o
[0187]
104
…
信号处理部
[0188]
105
…
网络i/f
[0189]
106
…
cpu
[0190]
107
…
闪存
[0191]
108
…
ram
[0192]
201
…
显示器
[0193]
202
…
用户i/f
[0194]
203
…
cpu
[0195]
204
…
ram
[0196]
205
…
网络i/f
[0197]
206
…
闪存
[0198]
207
…
通用通信i/f
[0199]
301
…
显示器
[0200]
302
…
用户i/f
[0201]
303
…
cpu
[0202]
304
…
ram
[0203]
305
…
网络i/f
[0204]
306
…
闪存
[0205]
307
…
影像i/f
[0206]
401
…
显示器
[0207]
402
…
用户i/f
[0208]
403
…
音频i/o
[0209]
404
…
信号处理部
[0210]
405
…
网络i/f
[0211]
406
…
cpu
[0212]
407
…
闪存
[0213]
408
…
ram
[0214]
409
…
影像i/f
[0215]
501
…
显示器
[0216]
503
…
cpu
[0217]
504
…
ram
[0218]
505
…
网络i/f
[0219]
506
…
闪存
[0220]
507
…
音频i/o
[0221]
508
…
传声器
[0222]
700
…
现场影像