1.本技术涉及信号处理装置和方法、声学再现装置和程序,并且更特别地,涉及能够实现更真实的声学呈现的信号处理装置和方法、声学再现装置和程序。
背景技术:
2.近年来,已经提出了许多与使用通过全球定位系统(gps)等测量的用户位置的应用相关的技术。
3.例如,已经提出一种技术,在该技术中,由用户在用户去的地点拍摄的图像或由用户输入的评论与用户位置的历史一起被提供给服务器,并且服务器生成用于将由用户跟随的课程介绍给另一用户的课程信息(例如,参见专利文献1)。
4.此外,例如,还提出了不断测量用户的位置并且当用户来到特定位置时呈现预定的双耳语音的应用。
5.引用列表
6.专利文献
7.专利文献1:日本专利号6229655
技术实现要素:
8.本发明要解决的问题
9.同时,在当用户处于特定位置时执行诸如再现预定语音的声学呈现的情况下,执行声学呈现的每个地方具有不同的特性,诸如混响,因此真实性可能受损。
10.鉴于这种情况提出本技术,并且其目的是实现更真实的声学呈现。
11.问题的解决方案
12.根据本技术的第一方面的信号处理装置包括声传递特性卷积处理单元,该声传递特性卷积处理单元对与空间中的每个位置相关联的声传递特性中的根据虚拟声源的呈现目的地的当前位置的声传递特性和该虚拟声源的虚拟声源数据进行卷积。
13.根据本技术的第一方面的信号处理方法或程序包括如下步骤:将与空间中的每个位置相关联的声传递特性中的根据虚拟声源的呈现目的地的当前位置的声传递特性与虚拟声源的虚拟声源数据进行卷积。
14.在本技术的第一方面中,与空间中的每个位置相关联的声传递特性中的根据虚拟声源的呈现目的地的当前位置的声传递特性和虚拟声源的虚拟声源数据被卷积。
15.根据本技术的第二方面的声学再现装置包括:接收单元,从外部装置接收通过将与空间中的每个位置相关联的声传递特性中的根据虚拟声源的呈现目的地的当前位置的声传递特性和所述虚拟声源的虚拟声源数据进行卷积获得的音频数据,;以及再现单元,其基于由上述接收单元接收的音频数据再现声音。
16.在本技术的第二方面中,从外部装置接收音频数据,并且对基于由接收单元接收的音频数据的声音进行再现,其中,通过对与空间中的每个位置相关联的声传递特性中的
根据虚拟声源的呈现目的地的当前位置的声传递特性和虚拟声源的虚拟声源数据进行卷积来获得音频数据。
附图说明
17.图1是描述在目标区域中的每个位置处的声传递特性的示意图。
18.图2是描述以电影院为目标区域的声学呈现的示意图。
19.图3是描述以包括道路的空间区域作为目标区域的声学呈现的示意图。
20.图4是描述目标区域中的声学事件的布置的示意图。
21.图5是示出表示声学事件的事件图像的显示示例的示意图。
22.图6是描述rir保持模式的示意图。
23.图7是示出声学再现系统的配置示例的示意图。
24.图8是描述显示处理和位置信息提供处理的流程图。
25.图9是描述再现处理、rir提供处理和声学事件提供处理的流程图。
26.图10是示出声学再现系统的配置示例的示意图。
27.图11是描述再现处理、rir提供处理和声学事件提供处理的流程图。
28.图12是示出计算机的配置示例的示意图。
具体实施方式
29.下面将参考附图解释应用本技术的实施方式。
30.《第一实施方式》
31.《关于本技术》
32.本技术使得在根据用户的位置为用户执行基于虚拟声源数据的声学呈现的情况下,可以通过将与用户的位置对应的声传递特性和虚拟声源数据进行卷积来实现具有更高真实性的声学呈现。
33.例如,在本技术中,对于预定目标区域中的多个位置中的每个,提前准备用于添加诸如每个位置周围的混响等的声音特性的房间脉冲响应(rir)作为声传递特性。
34.然后,在云、预定服务器等上彼此关联地管理指示相应位置的传递特性位置信息和相应位置处的声传递特性。
35.这里,准备声传递特性的目标区域可以是整个世界、诸如涩谷(shibuya)的特定区域、或诸如特定电影院或主题公园的局部区域。
36.此外,可针对三维空间中的多个位置中的每个准备声传递特性,或者可针对二维目标区域中的多个位置中的每个准备声传递特性。此外,可针对多个目标区域中的每个准备声传递特性。
37.此外,传递特性位置信息可以是表示在诸如三维正交坐标系的各种坐标系上的位置的坐标信息,或者可以是包括表示地球表面上的任意位置的纬度和经度的经纬度度信息。
38.在例如图1所示的特定区域如车站周围为目标区域的情况下,可以从目标区域中的必要位置按顺序记录声传递特性。
39.在该示例中,在当前的时间点,在目标区域中的总共五个位置a11至a15处准备声
传递特性。如果从这样的状态按需要顺序记录每个位置处的声传递特性,则可以最终使用整个目标区域的每个位置处的声传递特性。
40.如果如上所述的目标区域中的每个位置的声传递特性由云等管理,则各个用户可以从云等获取并使用在期望的位置处的声传递特性。在这种情况下,例如,由用户等携带的终端设备等可根据需要基于指示用户的位置的信息获取并使用声传递特性,而无需保持声传递特性。
41.注意,以下将描述声传递特性是rir的情况作为示例,但是声传递特性不限于rir,并且可以是任何声传递特性,只要包括特定位置的区域(空间)中的声传递特性可以添加即可。
42.此外,在本技术中,可以仅将声传递特性与虚拟声源数据进行卷积,或者不仅可以将声传递特性而且可以将头部传递函数与虚拟声源数据进行卷积。通过将头部传递函数与虚拟声源数据进行卷积,可以向用户执行更真实的声学呈现。
43.在这种情况下,头部传递函数可以是为每个用户准备的用户特定传递函数,或者可以是从已知数据库等获得的平均值传递函数。例如,在用户不能使用特定于用户的头部传递函数的情况下,用户可以使用平均头部传递函数。这些用户特定的头部传递函数和平均头部传递函数可被保持在用户等携带的终端设备、服务器、云等中。
44.作为使用如上所述每个位置的声传递特性的方法,可以想到各种示例。
45.具体地,例如,如图2中所示,以电影院作为目标区域,为电影院中的每个座位准备rir,由此可以实现更真实的声学呈现。
46.例如,假设用户坐在电影院中座位号为“g31”的座位上并且在佩戴一对耳孔开口型耳机的状态下观看电影。
47.在这种情况下,例如,用户登录专用网页等,由此指定用户自己座位的位置的位置信息,此处,与座位号“g31”相关联的rir。
48.然后,当开始电影放映时,例如,与用户的座位号“g31”对应的rir和头部传递函数与电影的特定声源的音频数据进行卷积,并且基于因此获得的音频数据通过耳机再现特定声源的声音。此外,同时,电影的其他语音通过安装在电影院中的扬声器再现,并且该语音也被用户听到。
49.在这种情况下,通过头部传递函数的卷积,可以将特定声源的声音定位到电影院中的期望位置。此外,通过rir的卷积,诸如特定声源位置与实际电影院中的用户位置之间的混响特性的特性也可被添加到特定声源的声音。
50.因此,可以实现高度真实的声音呈现,仿佛特定声源的声音从实际电影院中的预定位置来到用户。注意,如上所述,可以使用用户特定的头部传递函数,或者可以使用平均头部传递函数。
51.类似地,例如,可以以整个主题公园作为目标区域为多个位置中的每个位置准备rir,并且当用户在预定位置时向用户呈现特定角色的语音。
52.在这种情况下,例如,用户佩戴一对耳孔开口型耳机,并且通过耳机再现特定角色的语音。
53.具体地,例如,将针对用户所处的位置准备的rir卷积成特定角色的语音的音频数据,并且基于作为结果获得的音频数据再现特定角色的语音。
54.这样做使得能够实现高度逼真的声学呈现,好像特定角色实际上存在于用户周围。注意,同样在这种情况下,也可以执行头部传递函数的卷积。
55.此外,例如,如图3所示,在用户u11在道路上行驶的车辆v11前面的情况下,本技术的使用使得可以通过向作为行人的用户u11呈现车辆v11的虚拟发动机声音或喇叭声音来改善安全性。
56.在车联网时代,通过卫星定位系统能够高度精确地获得指示车辆v11和用户u11的位置的信息。
57.另外,在车辆v11为电动汽车的情况下,在车辆v11的实际的发动机声音、行驶声音小的情况下,用户u11不容易注意到用户后方的车辆v11的存在。
58.然后,例如,当对于包括道路的空间区域作为目标区域的目标区域的多个位置中的每个准备rir时,可以向用户u11呈现车辆v11的虚拟发动机声音或者喇叭声。
59.在这种情况下,例如,用户u11携带能够获取指示用户的位置的信息的移动终端,并且佩戴以有线或无线方式连接至移动终端的一对耳孔开口型耳机。
60.此外,例如,预定服务器保持用于再现虚拟发动机声音或虚拟喇叭声音的音频数据。
61.例如,服务器与车辆v11进行通信,获得指示车辆v11的位置的信息,并且与用户u11的移动终端进行通信,以获取指示移动终端的位置的信息。
62.然后,例如,在车辆v11接近用户u11的情况下,即,从车辆v11到用户u11的距离变得等于或小于预定阈值的情况下,从云等获取针对车辆v11或用户u11的位置准备的rir。
63.此外,服务器将保存的虚拟引擎声音和虚拟喇叭声音的音频数据与所获取的rir进行卷积,并且将所产生的音频数据提供给用户u11的移动终端。此时,也适当地执行头部传递函数的卷积。
64.通过将从服务器提供的音频数据提供给耳机,并且基于音频数据进行控制以再现声音,用户u11的移动终端可以向用户u11呈现车辆v11的虚拟发动机声音和虚拟喇叭声音。
65.在这种情况下,通过执行rir和头部传递函数的卷积,不仅可以在从用户u11观看的车辆v11实际存在的方向上定位虚拟发动机声音和虚拟喇叭声音,而且可以呈现声音,好像声音实际上是从车辆v11发出的。
66.因此,用户u11能够容易地掌握从用户u观察到的车辆v11存在于用户u的后方的方向和距用户u的位置有多远。具体地,根据用户u11和车辆v11的位置使用rir能够将从车辆v11到用户u11的距离感添加到虚拟发动机声音和虚拟喇叭声音中。
67.注意,用户u11的移动终端可以从服务器获取rir和音频数据,并且执行rir和头部传递函数的卷积。
68.此外,例如,在rir是具有距离作为自变量的函数的情况下,可以根据用户u11和车辆v11之间的距离获得rir,并且可以实现具有更高真实性的声学呈现。
69.此外,例如,服务器可以向车辆v11提供指示用户u11的位置的信息。由此,车辆v11能够掌握用户u11的存在,即使在例如车辆v11处于自动驾驶中、或者夜间视野较暗等的情况下,也能够避免事故的发生。
70.此外,作为每个位置的声传递特性的另一使用示例,还可想到将城市区域作为目标区域将声学事件,即,虚拟声源,布置在城市区域中的期望位置处。
71.例如,如图4所示,诸如广告语音的任意声学事件ad11可布置在作为目标区域的城市区域中的预定位置处。
72.在该示例中,例如,在管理声学事件的服务器中,包括声学事件ad11和指示这些声学事件的布置位置的信息的一个或多个声学事件被彼此关联地管理。
73.然后,例如,当用户来到声学事件ad11的布置位置时,向用户呈现诸如“今天三倍积分”的广告语音作为声学事件ad11。
74.此时,将声学事件ad11的音频数据和为声学事件ad11的布置位置准备的rir进行卷积。
75.通过这样做,可以向用户执行高度真实的声学呈现,好像声学事件ad11的声音实际上在用户周围的位置处生成。
76.可通过例如用户佩戴的一对耳孔开口型耳机来执行将声学事件ad11呈现给用户。
77.在这种情况下,例如,耳机本身或者以有线或无线方式连接至耳机的终端设备仅需要从服务器获取rir卷积之后的音频数据,或者仅需要从服务器或云获取rir或音频数据并且执行卷积。
78.此外,如参考图4所描述的,在声学事件被布置在作为目标区域的城市区域中的情况下,声学事件的布置位置可以被可视化并呈现给用户。
79.具体地,例如,如图5所示,通过控制在目标区域的地图上显示表示声学事件的事件图像m11,可以使得用户能够立即掌握声学事件的位置。
80.在图5的实例中,在地图上布置声学事件的位置处显示表示声学事件的事件图像m11。
81.这里,在事件图像m11的图的右侧部分描绘引起声学事件的语音波形,在事件图像m11的图的左侧部分描绘具有与声学事件的类型对应的形状的图形。
82.由此,通过控制在用户的移动终端等上显示诸如地图的显示图像,在该显示图像上布置事件图像m11以使得可以掌握声学事件的类型等,用户可以立即掌握关于什么声学事件存在于目标区域中的哪个位置。
83.注意,在事件图像m11中,例如,还可以显示关于声学事件的文本消息,诸如介绍声学事件的文本消息、指示声学事件的类型的文本、声学事件被安排在该位置的周期等。
84.此外,指示在用户的当前位置周围存在的声学事件(虚拟声源)的布置位置等的信息不限于在图5中示出的地图信息,并且可以是诸如指示布置位置的文本信息或用于读出布置位置的语音信息的任何信息。
85.因此,例如,事件图像m11可作为增强现实(ar)图像叠加并显示在环境图像上,该环境图像的主题是移动终端的周围,该环境图像由用户携带的移动终端拍摄。
86.此外,在多个声学事件被布置在作为目标区域的城市区域中的情况下,期望呈现的声学事件因用户而异。
87.因此,例如,用户能够事先访问管理声学事件的呈现的服务器的网页等,且指定(设定)用户希望呈现的声学事件的类型等。
88.在这种情况下,即使当用户存在于声学事件的布置位置时,如果该声学事件不是用户期望呈现的声学事件,则不向用户呈现该声学事件。
89.此外,目标区域中的每个位置处的rir可以以任何形式保持,并且例如,通过压缩
rir的数据的维度,可以减小用于保持rir的记录区域。
90.例如,为了对目标区域中的每个位置保持严格的rir,如图6中的q11所示,需要为诸如声学事件的虚拟声源vs11的布置位置和虚拟声源vs11的声音的收听位置(用户位置)的每个组合,即,测量rir的麦克风sp11的布置位置,准备rir。
91.在该示例中,假设通过由麦克风sp11收集从对应于虚拟声源vs11的扬声器输出的声音,来测量从虚拟声源vs11到麦克风sp11的rir。
92.这里,在其中布置虚拟声源vs11和麦克风sp11的目标区域中的位置由三维正交坐标表示。
93.具体地,假设虚拟声源vs11的设置位置是位置rs=(xs,ys,zs),并且麦克风sp11的设置位置是位置rr=(xr,yr,zr)。
94.在这种情况下,严格地说,必须针对位置rs和位置rr的每个组合来测量和保持rir。位置rs和位置rr的组合由六维参数(坐标)表示,因此,用于保持rir的记录区域也变大。
95.另一方面,例如,如q12所示,如果以从麦克风sp11到虚拟声源vs11的距离r作为自变量的函数来保持rir,则该阶数可以被压缩到一个维度。
96.rir是脉冲响应,其中,垂直轴是电平并且水平轴是时间,例如,如在w11的一部分中所示。这种rir包括由b11表示的部分,即,直达声音的分量,和由b12表示的部分,即,早期反射和后面混响的分量。
97.直达声音的分量和早期反射和后面混响的分量的电平平衡(幅度比)以及每个分量的电平本身根据距离r而改变。因此,如果rir由以距离r作为自变量的函数来表示,则可以减小用于将rir保持在目标区域中的每个位置处的记录区域。
98.《声学再现系统的配置实例》
99.接下来,将描述应用本技术的声学再现系统。
100.例如,如图7所示,声学再现系统包括信号处理装置11、再现装置12、声学事件提供服务器13和rir服务器14。
101.在声学再现系统中,信号处理装置11、声学事件提供服务器13及rir服务器14经由例如互联网等网络互连。
102.信号处理装置11包括例如由用户携带的诸如智能电话或平板电脑的移动终端装置。
103.此外,例如,再现装置12是包括一对耳孔开口型耳机、耳机等的声学再现装置,并且被佩戴在用户的头部(更具体地,用户的耳朵)上。再现装置12以有线或无线方式连接到信号处理装置11。
104.信号处理装置11用作再现控制装置,其从声学事件提供服务器13接收声学事件的虚拟声源数据(即,布置在目标区域中的虚拟声源)的供应,并控制再现装置12中的虚拟声源的声音的再现。
105.这里,虚拟声源数据是用于再现声学事件的声音的音频数据,即,虚拟声源。
106.信号处理装置11包括通信单元31、当前位置获取单元32、显示单元33、记录单元34、输入单元35、控制单元36、相对方向计算单元37、rir卷积处理单元38、hrir卷积处理单元39、以及再现控制单元40。
107.通信单元31经由网络与声学事件提供服务器13和rir服务器14通信,接收从通信
伙伴发送的数据并将该数据提供至控制单元36,并且将从控制单元36提供的数据发送至通信伙伴。
108.这里,通信单元31用作根据用作虚拟声源(声学事件)的呈现目的地的信号处理装置11的当前位置获取rir和虚拟声源数据的获取单元。
109.当前位置获取单元32包括例如gps模块等,测量信号处理装置11的当前位置(即,用户的当前位置),并且将指示测量结果的当前位置信息提供至控制单元36。
110.显示单元33包括诸如有机电致发光(el)显示器的任意显示装置,并且在控制单元36的控制下显示各种图像。
111.记录单元34包括非易失性存储器,并且记录从控制单元36提供的数据并将所记录的数据提供至控制单元36和相对方向计算单元37。
112.例如,对于从用户观看的虚拟声源的每个方向,记录单元34记录用于将来自虚拟声源的传递特性添加至用户的耳朵(鼓膜)的数据,即,用于在虚拟声源的位置处定位声音图像的头部传递函数。该头部传递函数可以是用户特定的传递函数或平均传递函数。
113.应注意,头部传递函数可以在时域中以头部相关脉冲响应(hrir)的形式记录,或者可以在频域中以头部传递函数(hrtf)的形式记录,但是下面将继续假设hrir记录在记录单元34中的描述。
114.例如,输入单元35包括叠加在显示单元33上的触摸屏、按钮、开关等,并且将与用户的操作对应的信号提供给控制单元36。控制单元36控制信号处理装置11的整个操作。
115.相对方向计算单元37从记录单元34中读取与从再现装置12中提供的头部旋转信息以及从控制单元36中提供的当前位置信息和虚拟声源位置信息对应的hrir,并且将hrir提供给hrir卷积处理单元39。
116.这里,头部旋转信息是表示再现装置12的方向的角度信息,即,佩戴再现装置12的用户的头部的方向(头部的旋转方向),并且包括,例如,表示用户的头部的方向的滚动角、俯仰角、以及偏航角。
117.此外,虚拟声源位置信息是指示基于从声学事件提供服务器13提供的虚拟声源数据的虚拟声源的布置位置的信息。
118.rir卷积处理单元38执行rir和从控制单元36提供的虚拟声源数据的卷积,并将卷积的虚拟声源数据(即,通过卷积获得的音频数据)提供给hrir卷积处理单元39。
119.通过对从rir卷积处理单元38中提供的虚拟声源数据和从相对方向计算单元37中提供的hrir进行卷积,hrir卷积处理单元39生成并向再现控制单元40提供驱动数据,用于驱动再现装置12以再现虚拟声源的声音。
120.应注意,rir和hrir的卷积(即,声传递特性和头部传递函数)与虚拟声源数据可在时域中执行或可在频域中执行。此外,rir可在相对于虚拟声源数据卷积hrir之后被卷积。
121.基于从hrir卷积处理单元39提供的驱动数据,再现控制单元40驱动再现装置12以再现虚拟声源的声音,即,声学事件。
122.在信号处理装置11中,例如,控制单元36至再现控制单元40由一个或多个处理器实现。
123.此外,再现装置12包括旋转检测单元51和再现单元52。
124.旋转检测单元51包括例如陀螺仪传感器等,检测再现装置12(即,佩戴再现装置12
的用户的头部)的旋转,并且将表示检测结果的头部旋转信息提供给相对方向计算单元37。
125.再现单元52包括被称为驾驶员等的扬声器单元,并且基于从再现控制单元40提供的驱动数据再现虚拟声源的声音。
126.应注意,在用作声学再现装置的再现装置12和作为将用于再现虚拟声源的声音的驱动数据(音频数据)提供给声学再现装置(再现装置12)的外部装置的信号处理装置11无线连接的情况下,再现装置12设置有接收单元。在这种情况下,再现装置12的接收单元接收并且从信号处理装置11发送的驱动数据并且将其提供给再现单元52。此外,更具体地,即使在再现装置12和信号处理装置11通过有线连接的情况下,接收(获取)从信号处理装置11输出的驱动数据的再现装置12的输入接口(未示出)等也用作接收单元。
127.声学事件提供服务器13包括通信单元71、控制单元72和记录单元73。
128.通信单元71经由网络与信号处理装置11等通信。即,通信单元71将从控制单元72提供的数据发送至通信伙伴,或者接收从通信伙伴发送的数据并且将该数据提供至控制单元72。
129.控制单元72控制声学事件提供服务器13的整个操作。记录单元73记录各种数据并且适当地将记录数据供应至控制单元72。
130.例如,对于每个虚拟声源,记录单元73彼此关联地记录指示虚拟声源的布置位置的虚拟声源位置信息、虚拟声源数据和虚拟声源元数据。
131.这里,虚拟声源元数据是关于虚拟声源数据的元数据,例如,虚拟声源数据的分布目标的年龄和性别、声学事件(虚拟声源)的类别和声学事件的再现语言。
132.例如,如果虚拟声源元数据包括指示分发目标的年龄和性别的信息,则声学事件的提供(分发)可以由年龄和性别限制。
133.此外,例如,如果虚拟声源元数据包括指示声学事件的类别的信息,则用户可以指定类别并且选择要提供给用户的声学事件。
134.此外,例如,如果虚拟声源元数据包括指示声学事件的再现语言的信息,则在虚拟声源数据是旅游指南的语音数据等的情况下,可以针对每种再现语言准备虚拟声源数据,并且可以实现多语言支持。即,可以针对同一位置处的不同用户以不同的再现语言呈现声学事件。
135.此外,例如,如果虚拟声源元数据包括允许分配虚拟声源数据(声学事件)的用户的用户id,则虚拟声源数据的注册器(创建器)可以选择作为分配目标的用户。
136.此外,例如,记录单元73为预先注册的用户彼此关联地记录表示该用户的用户id和与该用户相关的用户相关信息。
137.例如,用户相关信息包括用户的年龄和性别、指示用户期望被分发的声学事件的类别的信息、指示用户期望的声学事件的再现语言的信息等。
138.rir服务器14包括通信单元81、控制单元82和记录单元83。
139.通信单元81经由网络与信号处理装置11等通信。即,通信单元81将从控制单元82提供的数据发送至通信伙伴,或者接收从通信伙伴发送的数据并且将该数据提供至控制单元82。
140.控制单元82控制rir服务器14的整个操作。记录单元83记录各种数据并且适当地将记录数据供应至控制单元82。
141.例如,记录单元83对于每个目标区域记录指示与rir相关联的目标区域中的多个位置中的每的传递特性位置信息作为声传递特性。即,在rir服务器14中,为目标区域中的每个位置准备声传递特性(rir)。
142.要注意的是,rir可以以任何形式记录,例如,记录为函数,距离r为参数,如参考图6所述。
143.此外,在图7中示出的实例中,已经描述了通过一个装置配置声学事件提供服务器13和rir服务器14的实例。然而,声学事件提供服务器13和rir服务器14可由存在于云上的多个设备来配置。
144.此外,声学事件提供服务器13和rir服务器14可由一个设备实施。此外,信号处理装置11的一些功能可设置在再现装置12中。
145.《显示处理和位置信息提供处理的描述》
146.接下来,将描述在图7中示出的声学再现系统的操作。
147.例如,在声学再现系统中,在佩戴再现装置12并携带信号处理装置11的用户在目标区域中的情况下,当用户来到声学事件(虚拟声源)的布置位置时,用户(即,信号处理装置11)被提供声学事件。
148.当在任意地点时,用户可以使信号处理装置11显示指示关于什么声学事件被布置在目标区域中和声学事件是哪里的显示图像。
149.例如,当输入单元35由用户操作并且指示显示图像的显示时,信号处理装置11开始显示处理,并且响应于显示处理,声学事件提供服务器13执行位置信息提供处理。
150.在下文中,将参考图8的流程图描述由信号处理装置11进行的显示处理和由声学事件提供服务器13进行的位置信息提供处理。
151.在步骤s11中,信号处理装置11的控制单元36从当前位置获取单元32获取当前位置信息并且将当前位置信息提供至通信单元31。
152.在步骤s12中,通信单元31将从控制单元36提供的当前位置信息发送到声学事件提供服务器13,并且请求虚拟声源位置信息的发送。
153.然后,在步骤s21中,声学事件提供服务器13的通信单元71接收从信号处理装置11发送的当前位置信息,并且将当前位置信息提供给控制单元72。
154.在步骤s22中,基于从通信单元71提供的当前位置信息和记录在记录单元73中的每个虚拟声源的虚拟声源位置信息,控制单元72从记录单元73读取距用户的当前位置的距离等于或小于预定值的所有虚拟声源的虚拟声源位置信息。然后,控制单元72将读取的虚拟声源位置信息提供给通信单元71。
155.注意,例如,可以仅读取满足用户的呈现条件的虚拟声源的虚拟声源位置信息,诸如属于由用户指定的类别的虚拟声源(声学事件)的虚拟声源位置信息。
156.此外,这里,将描述布置在用户的当前位置附近的声学事件的布置位置被显示为显示图像的实例,但是可将布置在与用户的当前位置不同的任意位置附近的声学事件的布置位置显示为显示图像。
157.在这种情况下,在步骤s12中,不需要发送当前位置信息,而仅需要发送表示用户指定的任意位置的位置信息等。
158.在步骤s23中,通信单元71将从控制单元72提供的虚拟声源位置信息发送到信号
处理装置11,并且位置信息提供处理结束。
159.注意,在步骤s23中,指示虚拟声源的类型的信息、虚拟声源的虚拟声源元数据等可以与虚拟声源位置信息一起发送。
160.此外,在信号处理装置11中,在步骤s13中,通信单元31接收从声学事件提供服务器13发送的虚拟声源位置信息,并将虚拟声源位置信息提供给控制单元36。因此,获取布置在用户附近的虚拟声源(声学事件)的虚拟声源位置信息。
161.在步骤s14中,基于从通信单元31提供的虚拟声源位置信息,控制单元36在用户(信号处理装置11)的当前位置附近的地图上生成显示图像,在该显示图像上表示声学事件的标记叠加在由虚拟声源位置信息指示的位置上。
162.因此,例如,图5中所示的图像(即,指示声学事件的布置位置的地图信息)被生成为显示图像。
163.在步骤s15中,控制单元36将生成的显示图像提供给显示单元33以进行显示,并且显示处理结束。
164.如上所述,信号处理装置11将当前位置信息发送到声学事件提供服务器13,获取虚拟声源位置信息,并控制显示指示声学事件的位置的显示图像。此外,声学事件提供服务器13响应于来自信号处理装置11的请求发送虚拟声源位置信息。
165.通过这样做,用户可以容易地掌握哪种类型的声学事件(虚拟声源)被布置在用户周围的哪个位置。
166.因此,例如,用户观看在步骤s15中显示的显示图像,并且当存在感兴趣的声学事件时,用户可以移动至呈现声学事件的位置。
167.《再现处理、rir提供处理和声学事件提供处理的描述》
168.此外,当用户激活用于接收信号处理装置11中的声学事件的提供的应用等时,执行图9中所示的处理,并且适当地提供声学事件。
169.在下文中,将参考图9的流程图描述由信号处理装置11进行的再现处理、由rir服务器14进行的rir提供处理、以及由声学事件提供服务器13进行的声学事件提供处理。
170.当应用被激活时,信号处理装置11开始再现处理并且执行步骤s51的处理。
171.即,在步骤s51中,控制部36从当前位置取得部32取得当前位置信息。此外,控制单元36从记录单元34获得用于识别用户的用户id,并且将当前位置信息和用户id提供至通信单元31。
172.在步骤s52中,通信单元31向rir服务器14发送从控制单元36供应的当前位置信息,并请求发送rir。
173.此外,通信单元31将从控制单元36提供的当前位置信息和用户id发送到声学事件提供服务器13,并且请求虚拟声源数据的发送。
174.当以这种方式发送当前位置信息时,在rir服务器14中开始rir提供处理。
175.即,在步骤s91中,通信单元81接收从信号处理装置11发送的当前位置信息,并且将当前位置信息提供给控制单元82。
176.在步骤s92中,基于从通信单元81提供的当前位置信息,控制单元82从记录单元83读取rir,并且将rir提供给通信单元81。
177.例如,控制单元82从记录单元83读取rir,在该rir中,用户的当前位置与传递特性
位置信息所指示的位置之间的距离在包括当前位置信息所指示的用户的当前位置的目标区域的rir中是最小的。
178.这是因为,在目标区域中的每个位置处的rir中,由传递特性位置信息指示的位置最接近用户的当前位置的rir用于在用户的当前位置处添加声音特性,诸如实际混响等。
179.要注意的是,在不存在rir(其中,在由传递特性位置信息指示的位置与用户的当前位置之间的距离等于或小于预定阈值)的情况下,确定在用户的当前位置处不存在rir,并且可省略将rir发送给信号处理装置11。此外,例如,如参考图6所描述的,在rir被记录为以距离r作为自变量的函数的情况下,从传递特性位置信息和当前位置信息中获得的距离r被代入函数中,并且获得rir。
180.在步骤s93中,通信单元81向信号处理装置11发送从控制单元82提供的rir,并且rir提供处理结束。
181.此外,当在步骤s52中将当前位置信息和用户id发送到声学事件提供服务器13时,声学事件提供服务器13开始声学事件提供处理。
182.即,在步骤s121中,通信单元71接收从信号处理装置11发送的当前位置信息和用户id并且将其提供至控制单元72。
183.在步骤s122中,基于从通信单元71提供的当前位置信息和用户id,控制单元72确定是否存在声学事件(虚拟声源),即,将被提供给用户id指示的用户的虚拟声源数据。
184.例如,控制单元72基于当前位置信息以及与记录单元73中记录的用户id相关联的用户相关信息、虚拟声源位置信息和虚拟声源元数据,执行关于是否存在要提供给用户的声学事件的确定处理。
185.具体地,例如,基于当前位置信息和虚拟声源位置信息,控制单元72搜索布置在距当前位置信息指示的用户的当前位置的距离等于或小于预定阈值的位置处的虚拟声源(声学事件)作为提供候选的声学事件。
186.此外,基于与用户id相关联的用户相关信息和供应候选的声学事件的虚拟声源元数据,控制单元72从供应候选的声学事件中选择要提供给用户的声学事件。
187.具体地,作为要提供给用户的声学事件,例如,选择其中由用户相关信息指示的用户的年龄和性别是由虚拟声源元数据指示的分发目标的年龄和性别的提供候选的声学事件。
188.此外,作为要提供给用户的声学事件,例如,选择供应候选的声学事件,其中,由虚拟声源元数据指示的类别与由用户相关信息指示的期望分发的类别相同。
189.此外,作为要提供给用户的声学事件,例如,选择供应候选的声学事件,其中,由虚拟声源元数据指示的再现语言与由用户相关信息指示的期望的再现语言相同。
190.注意,在用户相关信息没有被记录在记录单元73中的情况下或者在声学事件被提供给在声学事件的布置位置附近的所有用户的情况下,上述提供候选的所有声学事件被选择为要提供给用户的声学事件。
191.以此方式,执行关于是否存在待提供的声学事件的确定处理并且根据确定结果提供声学事件可称为确定用户是否满足声学事件的呈现条件并在用户满足呈现条件的情况下提供声学事件。
192.在步骤s122中确定不存在要提供给用户的声学事件的情况下,不提供声学事件,
并且声学事件提供处理结束。在这种情况下,指示不存在将被提供的声学事件的通知可从声学事件提供服务器13发送到信号处理装置11。
193.另一方面,在步骤s122中确定存在要提供给用户的声学事件的情况下,此后,处理进行至步骤s123。
194.在步骤s123中,控制单元72从记录单元73读取并在步骤s122中的处理中指定的将提供给用户的声学事件(虚拟声源)的虚拟声源数据和虚拟声源位置信息提供给通信单元71。
195.在步骤s124中,通信单元71向信号处理装置11发送从控制单元72提供的虚拟声源数据和虚拟声源位置信息,并且声学事件提供处理结束。
196.此外,在执行步骤s52的处理之后,信号处理装置11执行步骤s53的处理。
197.在步骤s53中,通信单元31通过步骤s93中的处理将从rir服务器14发送的rir接收并供应至控制单元36。此外,控制单元36将从通信单元31提供的rir提供给rir卷积处理单元38。
198.因此,通信单元31将指示信号处理装置11的当前位置的信息供应(发送)到rir服务器14作为指示声学事件(虚拟声源)的呈现目的地的当前位置的当前位置信息,从而根据信号处理装置11的当前位置获取rir。
199.注意,信号处理装置11可以从rir服务器14预先获取(下载)和记录目标区域的每个位置的rir。
200.此外,信号处理装置11可以经由声学事件提供服务器13从rir服务器14获取rir。
201.在这种情况下,声学事件提供服务器13的通信单元71将在步骤s121中接收的当前位置信息发送到rir服务器14。然后,rir服务器14执行与步骤s91至s93中的处理类似的处理,读取的rir由通信单元81发送到声学事件提供服务器13并由通信单元71接收。
202.然后,声学事件提供服务器13通过通信单元71将从rir服务器14接收的rir发送到信号处理装置11,并且在步骤s53中,通信单元31接收从声学事件提供服务器13发送的rir。
203.在步骤s54中,控制单元36确定是否已经从声学事件提供服务器13发送声学事件的虚拟声源数据。
204.在步骤s54中确定还未发送虚拟声源数据的情况下,不存在要呈现给用户的声学事件,因此,再现处理结束。
205.另一方面,在步骤s54中确定已经发送虚拟声源数据的情况下,在步骤s55中,通信单元31接收从声学事件提供服务器13发送的虚拟声源数据和虚拟声源位置信息并将其提供给控制单元36。
206.控制单元36将从通信单元31提供的虚拟声源数据提供给rir卷积处理单元38,并且将从通信单元31提供的虚拟声源位置信息和在步骤s51中获取的当前位置信息提供给相对方向计算单元37。
207.通过步骤s55中的处理,通信单元31将指示作为声学事件(虚拟声源)的呈现目的地的信号处理装置11的当前位置的当前位置信息提供给声学事件提供服务器13,从而根据当前位置获取虚拟声源数据和虚拟声源位置信息。
208.注意,这里,将描述直接从声学事件提供服务器13接收虚拟声源数据的实例,但是可从rir服务器14接收虚拟声源数据。
209.在这样的情况下,rir服务器14的通信单元81从信号处理装置11接收当前位置信息和用户id,并且进一步将当前位置信息和用户id发送到声学事件提供服务器13。
210.然后,声学事件提供服务器13执行与上述步骤s121至s124中的处理类似的处理,并且将虚拟声源数据和虚拟声源位置信息从声学事件提供服务器13发送到rir服务器14,并且由rir服务器14的通信单元81接收。
211.然后,rir服务器14通过通信单元81将从声学事件提供服务器13接收的虚拟声源数据和虚拟声源位置信息发送到信号处理装置11,并且在步骤s55,通信单元31接收从rir服务器14发送的虚拟声源数据和虚拟声源位置信息。
212.在步骤s56中,相对方向计算单元37基于从控制单元36供应的虚拟声源位置信息和当前位置信息以及从再现装置12的旋转检测单元51供应的头部旋转信息,计算从用户观看的虚拟声源(声学事件)的布置位置的相对方向。
213.在步骤s57中,相对方向计算单元37从记录单元34中读取与在步骤s56中计算的相对方向对应的hrir并提供给hrir卷积处理单元39。
214.因此,相对方向计算单元37基于虚拟声源位置信息、当前位置信息和头旋转信息选择合适的hrir,并且从记录单元34中读取所选择的hrir,并且将所选择的hrir提供给hrir卷积处理单元39。
215.在步骤s58中,rir卷积处理单元38卷积从控制单元36中供应的rir和虚拟声源数据,并且将所获得的虚拟声源数据作为结果供应给hrir卷积处理单元39。因此,用户实际存在的位置中的诸如混响等的特性被添加到虚拟声源数据。
216.在步骤s59中,hrir卷积处理单元39对从rir卷积处理单元38提供的虚拟声源数据和从相对方向计算单元37提供的hrir进行卷积,并且将所获得的驱动数据作为结果提供给再现控制单元40。
217.因此,获得用于在从用户观看的声学事件的相对方向上定位虚拟声源(声学事件)的声音图像的驱动数据,即,双耳语音的驱动数据。
218.在步骤s60中,再现控制单元40将从hrir卷积处理单元39提供的驱动数据提供给再现装置12的再现单元52以驱动再现单元52,从而基于驱动数据再现声学事件。
219.当以这种方式再现声学事件时,再现处理结束。
220.如上所述,信号处理装置11根据用户的当前位置信息获取虚拟声源数据和rir,相对于虚拟声源数据卷积rir和hrir,并且基于获得的驱动数据进行控制以再现声学事件(虚拟声源)。
221.以这种方式,通过根据用户的当前位置获取rir以生成驱动数据,可以实现更真实的声学呈现。
222.《第二实施方式》
223.《声学再现系统的配置实例》
224.注意,虽然上面已经描述了信号处理装置11获取rir并且生成驱动数据的实例,但是rir服务器14或者声学事件提供服务器13可以生成驱动数据。
225.例如,在声学事件提供服务器13生成驱动数据的情况下,如图10所示配置声学再现系统。要注意的是,在图10中,与在图7的情况下的部分对应的部分由相同的参考符号表示,并且适当地省略其描述。
226.在图10中示出的声学再现系统包括信号处理装置11、再现装置12、声学事件提供服务器13和rir服务器14,并且信号处理装置11、声学事件提供服务器13和rir服务器14经由网络互连。
227.在该实例中,信号处理装置11包括通信单元31、当前位置获取单元32、显示单元33、记录单元34、输入单元35、控制单元36以及再现控制单元40。
228.即,在图10中示出的信号处理装置11的配置与在图7中的信号处理装置11的配置不同之处在于,不提供与hrir卷积处理单元39相对的相对方向计算单元37,并且在其他方面,与在图7中的信号处理装置11的配置相同。
229.而且,在图10中所示的实例中,再现装置12和rir服务器14的配置与在图7的情况下的配置相同。
230.要注意的是,同样在图10中所示的实例中,与上述的第一实施方式的情况一样,作为声学再现装置的再现装置12可设置有接收单元,该接收单元接收由作为外部装置的信号处理装置11发送的驱动数据并且将该驱动数据提供给再现单元52。
231.此外,例如,信号处理装置11和再现装置12可被集成到一个声学再现装置中,并且在这种情况下,通信单元31用作接收由作为外部装置的声学事件提供服务器13发送的驱动数据的接收单元。
232.此外,在图10中所示的实例中,声学事件提供服务器13包括通信单元71、控制单元72和记录单元73,并且相对方向计算单元37、rir卷积处理单元38和hrir卷积处理单元39由控制单元72实现。
233.也就是说,控制单元72具有相对方向计算单元37、rir卷积处理单元38和hrir卷积处理单元39。
234.记录单元73彼此关联地记录虚拟声源位置信息、虚拟声源数据和虚拟声源元数据,并且彼此关联地记录用户id和用户相关信息。此外,记录单元73记录从用户观看的虚拟声源的每个方向的hrir。
235.此外,在此实例中,声学事件提供服务器13的通信单元71充当获取单元,其从信号处理装置11获取当前位置信息且从rir服务器14获取对应于信号处理装置11的当前位置的rir。
236.《再现处理、rir提供处理和声学事件提供处理的描述》
237.接下来,将描述在图10中示出的声学再现系统的操作。
238.例如,在图10中示出的声学再现系统中,在信号处理装置11和声学事件提供服务器13之间执行参考图8描述的显示处理和位置信息提供处理,并且显示图像。
239.此外,例如,信号处理装置11、声学事件提供服务器13和rir服务器14执行在图11中示出的处理,以再现声学事件。
240.在下文中,将参考图11的流程图描述由信号处理装置11进行的再现处理、由rir服务器14进行的rir提供处理、以及由声学事件提供服务器13进行的声学事件提供处理。
241.当信号处理装置11开始再现处理时,控制单元36在步骤s201中从当前位置获取单元32获取当前位置信息。
242.此外,控制单元36从记录单元34中读取用户的用户id,并且从再现装置12的旋转检测单元51中获取头部旋转信息。
243.控制单元36将由此获得的当前位置信息、用户id和头部旋转信息提供给通信单元31。
244.在步骤s202中,通信单元31将从控制单元36提供的当前位置信息、用户id和头部旋转信息发送到声学事件提供服务器13。
245.然后,声学事件提供服务器13开始声学事件提供处理,并且执行步骤s231的处理。
246.即,在步骤s231中,通信单元71接收(获取)从信号处理装置11发送的当前位置信息、用户id以及头部旋转信息并且将其供应至控制单元72。
247.因此,通信单元71从信号处理装置11获取表示作为声学事件(虚拟声源)的呈现目的地的信号处理装置11的当前位置的当前位置信息、表示呈现目的地的用户的用户id、以及表示用户的头部的旋转方向的头部旋转信息。
248.在步骤s232中,控制单元72基于从通信单元71提供的当前位置信息和用户id,确定是否存在要提供给用户的由用户id表示的声学事件。在步骤s232中,执行与图9中的步骤s122中的处理相似的处理。
249.在步骤s232中确定不存在要提供给用户的声学事件的情况下,不提供声学事件,并且声学事件提供处理结束。在这种情况下,指示不存在将被提供的声学事件的通知可从声学事件提供服务器13发送到信号处理装置11。
250.另一方面,在步骤s232中确定存在要提供给用户的声学事件的情况下,在步骤s233中,控制单元72从记录单元73中读取要提供给用户的声学事件的虚拟声源数据和虚拟声源位置信息。
251.此外,控制单元72将在步骤s231中接收的当前位置信息提供给通信单元71,并且指示发送至rir服务器14。
252.在步骤s234中,通信单元71将从控制单元72提供的当前位置信息发送至rir服务器14。
253.然后,rir服务器14执行步骤s271至s273的处理,并且向声学事件提供服务器13发送与当前位置信息相对应的rir。即,作为rir提供处理,rir服务器14执行步骤s271至s273的处理。
254.要注意的是,在步骤s271到s273中的处理与在图9中的步骤s91到s93中的处理相似,因此,不对其进行描述。
255.在步骤s235中,通信单元71接收从rir服务器14发送的rir并将其供应至控制单元72。
256.因此,通信单元71向rir服务器14提供(传送)当前位置信息,从而根据当前位置信息指示的当前位置从rir服务器14获取rir。
257.注意,这里,将描述声学事件提供服务器13从rir服务器14获取rir的实例,但是信号处理装置11可以获取rir。
258.在这种情况下,例如,在步骤s202中,信号处理装置11向rir服务器14发送当前位置信息,此后,通信单元31接收从rir服务器14发送的rir。此外,通信单元31以这种方式向声学事件提供服务器13发送从rir服务器14接收的rir。
259.当执行步骤s235的处理并且接收到rir时,之后执行步骤s236至s239的处理以生成驱动数据。
260.应注意,步骤s236至s239中的处理类似于图9中的步骤s56至s59中的处理,因此将省略其描述。
261.然而,在步骤s236中,相对方向计算单元37基于在步骤s231中接收的当前位置信息和头部转动信息以及在步骤s233中读取的虚拟声源位置信息计算相对方向。
262.此外,在步骤s237,控制单元72从记录单元73读取与相对方向对应的hrir。此外,在步骤s238中,rir卷积处理单元38对在步骤s233中读取的虚拟声源数据和在步骤s235中接收的rir进行卷积。
263.当以这种方式生成驱动数据时,控制单元72将生成的驱动数据提供给通信单元71。
264.在步骤s240中,通信单元71将从控制单元72供应的驱动数据发送至信号处理装置11,并且声学事件提供处理结束。因此,驱动数据从通信单元71被供应至作为声学事件(虚拟声源)的呈现目的地的信号处理装置11。
265.此外,信号处理装置11在步骤s202之后执行步骤s203的处理。
266.即,在步骤s203中,控制单元36确定是否已经从声学事件提供服务器13发送了驱动数据。
267.在步骤s203中确定尚未发送驱动数据的情况下,不存在要呈现给用户的声学事件,因此,再现处理结束。
268.另一方面,在步骤s203中确定已经发送驱动数据的情况下,通信单元31在步骤s204中接收从声学事件提供服务器13发送的驱动数据,并且将从声学事件提供服务器13发送的驱动数据提供给控制单元36。此外,控制单元36将从通信单元31提供的驱动数据提供给再现控制单元40。
269.在步骤s205中,再现控制单元40将从控制单元36提供的驱动数据提供给再现装置12的再现单元52,以驱动再现单元52基于驱动数据再现声学事件。
270.当以这种方式再现声学事件时,再现处理结束。
271.如上所述,声学事件提供服务器13从信号处理装置11接收当前位置信息和头部旋转信息,并且从rir服务器14获取rir以生成驱动数据。此外,信号处理装置11从声学事件提供服务器13接收驱动数据,并且使声学事件再现。
272.而且,在声学事件提供服务器13以这种方式生成驱动数据的情况下,可以实现与在图7中所示的声学再现系统的情况下相似的更真实的声学呈现。
273.《其他变形例》
274.应注意,虽然图10示出了声学事件提供服务器13生成驱动数据的实例,但是rir服务器14可生成驱动数据。
275.在这种情况下,rir服务器14的控制单元82设置有hrir卷积处理单元39的相对方向计算单元37。
276.然后,rir服务器14的通信单元81从信号处理装置11获取(接收)当前位置信息和用户id,向声学事件提供服务器13发送(提供)当前位置信息和用户id,并从声学事件提供服务器13获取虚拟声源数据。
277.此外,云上的不同于声学事件提供服务器13和rir服务器14的另一服务器可从信号处理装置11、声学事件提供服务器13和rir服务器14获取当前位置信息、rir和虚拟声源
数据以产生驱动数据。
278.同时,在准备目标区域的每个位置处的rir时,基于由用户等上传的图像,例如,可估计在图像的成像位置处的rir。
279.在这种情况下,例如,用户等将指示目标区域中的预定位置的位置信息和在预定位置处成像的成像图像彼此相关联地从信号处理装置11等发送(上传)并控制至预定服务器。
280.这里,例如,与位置信息相关联的成像图像被张贴在由预定服务器管理的社交网络服务(sns)、网页等上。
281.rir服务器14通过通信单元81访问预定服务器,并获取拍摄图像和与拍摄图像相关联的位置信息并将其提供给控制单元82。
282.然后,控制单元82对拍摄图像执行分析处理,并且估计拍摄图像的位置处的rir。
283.此处,例如,通过分析处理估计构成包括成像图像的成像位置、真实空间的尺寸等的诸如市区或房间的真实空间的材料,并且基于估计结果估计rir。具体地,例如,在成像图像的成像位置在房间中的情况下,估计构成房间的墙壁或地板的材料、房间的大小等,并且根据估计结果估计rir。
284.当以这种方式估计rir时,控制单元82将与用于估计rir的拍摄图像相关联的位置信息设置为原样的传递特性位置信息,并且使记录单元83记录所获得的rir和彼此相关联的传递特性位置信息。
285.此外,例如,在目标区域是电影院等的情况下,用户到由电影院的管理员等管理的声学事件提供服务器13的登录信息(具体地,诸如用户的座位或电影院的位置的信息)可用作当前位置信息。
286.此外,例如,在诸如主题公园的商业设施包括在目标区域中并且为商业设施准备rir的情况下,当可以获得指示用户已经通过商业设施的闸门的信息时,该信息可用于获取当前位置信息。即,例如,在确认用户已经通过商业设施的闸门的情况下,换言之,在确认用户在商业设施中的情况下,商业设施的位置可以被设置为用户的当前位置。
287.《计算机的配置实例》
288.同时,上述一系列处理可以由硬件执行或者可以由软件执行。在一系列处理由软件执行的情况下,将构成软件的程序安装到计算机中。这里,计算机包括并入专用硬件中的计算机和例如能够通过安装各种程序来执行各种功能的通用个人计算机。
289.图12是示出通过程序执行上述一系列处理的计算机的硬件的配置实例的框图。
290.在计算机中,中央处理单元(cpu)501、只读存储器(rom)502和随机存取存储器(ram)503通过总线504互连。
291.此外,输入/输出接口505连接至总线504。输入单元506、输出单元507、记录单元508、通信单元509和驱动器510连接至输入/输出接口505。
292.输入单元506包括键盘、鼠标、麦克风、成像元件等。输出单元507包括显示器、扬声器等。记录单元508包括硬盘、非易失性存储器等。通信单元509包括网络接口等。驱动器510驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除记录介质511。
293.当cpu 501经由输入/输出接口505和总线504将记录在记录单元508中的程序加载到例如ram 503并且执行该程序时,如上所述配置的计算机执行上述一系列处理。
294.例如,由计算机(cpu 501)执行的程序可以记录并提供在作为封装介质的可移除记录介质511中。此外,可以经由诸如局域网、互联网和数字卫星广播的有线或无线传输介质提供程序。
295.通过将可移除记录介质511安装到驱动器510,计算机可经由输入/输出接口505将程序安装到记录单元508中。此外,程序可以经由有线或无线传输介质由通信单元509接收并且安装在记录单元508中。除此之外,程序可以提前安装在rom 502或记录单元508中。
296.注意,由计算机执行的程序可以是其中处理按照本说明书中解释的顺序按时间序列执行的程序,或者可以是其中处理并行或在必要定时(诸如当进行呼叫时)执行的程序。
297.此外,本技术的实施方式不限于上述实施方式,并且在不背离本技术的主旨的情况下,可以在范围内进行各种修改。
298.例如,本技术可以具有云计算的配置,其中,经由网络由多个装置共享一个功能并且协作地处理一个功能。
299.此外,在上述流程图中解释的每个步骤可以由一个装置执行或者由多个装置以共享方式执行。
300.此外,在一个步骤包括多个处理的情况下,包含在该一个步骤中的多个处理可以由一个装置执行或者由多个装置以共享方式执行。
301.此外,本技术可具有以下配置。
302.(1)一种信号处理装置,包括:
303.声传递特性卷积处理单元,对与空间中的每个位置相关联的声传递特性中的根据虚拟声源的呈现目的地的当前位置的声传递特性和所述虚拟声源的虚拟声源数据进行卷积。
304.(2)根据(1)所述的信号处理装置,进一步包括:
305.获取单元,通过提供指示所述信号处理装置的位置的信息作为指示所述当前位置的当前位置信息,以获取根据所述当前位置的所述声传递特性。
306.(3)根据(2)所述的信号处理装置,其中,
307.获取单元基于当前位置信息获取根据当前位置的虚拟声源数据。
308.(4)根据(3)所述的信号处理装置,进一步包括:
309.控制单元,控制显示指示出现在所述当前位置周围的所述虚拟声源的布置位置的信息。
310.(5)根据(4)所述的信号处理装置,其中,
311.指示布置位置的信息是地图信息。
312.(6)根据(1)所述的信号处理装置,进一步包括:
313.获取单元,获取指示当前位置的当前位置信息。
314.(7)根据(6)所述的信号处理装置,其中,
315.所述获取单元从服务器获取所述声传递特性。
316.(8)根据(6)或(7)所述的信号处理装置,其中,
317.所述获取单元基于所述当前位置信息获取根据所述当前位置的所述声传递特性。
318.(9)根据(6)所述的信号处理装置,其中,
319.所述获取单元从服务器获取所述虚拟声源数据。
320.(10)根据(6)至(9)中任一项所述的信号处理装置,其中,
321.获取单元基于当前位置信息获取根据当前位置的虚拟声源数据。
322.(11)根据(6)至(10)中任一项所述的信号处理装置,其中,
323.所述获取单元将通过所述声传递特性和所述虚拟声源数据的卷积获得的音频数据提供给所述呈现目的地。
324.(12)根据(11)所述的信号处理装置,其中,
325.在所述呈现目的地的用户满足呈现条件的情况下,所述获取单元将所述音频数据提供给所述呈现目的地。
326.(13)根据(1)至(12)中任一项所述的信号处理装置,进一步包括:
327.头部传递函数卷积处理单元,对通过声传递特性和虚拟声源数据的卷积获得的音频数据和根据虚拟声源的布置位置的头部传递函数进行卷积。
328.(14)根据(13)所述的信号处理装置,其中,
329.所述头部传递函数卷积处理单元对所述音频数据和基于所述虚拟声源的所述布置位置、所述呈现目的地的所述当前位置、以及所述呈现目的地的用户的头部的旋转方向选择的所述头部传递函数进行卷积。
330.(15)一种信号处理方法,包括:
331.通过信号处理装置,
332.对与空间中的每个位置相关联的声传递特性中的根据虚拟声源的呈现目的地的当前位置的声传递特性和所述虚拟声源的虚拟声源数据进行卷积。
333.(16)一种使计算机执行处理的程序,所述处理包括以下步骤:
334.对与空间中的每个位置相关联的声传递特性中的根据虚拟声源的呈现目的地的当前位置的声传递特性和所述虚拟声源的虚拟声源数据进行卷积。
335.(17)一种声学再现装置,包括:
336.接收单元,从外部装置接收音频数据,其中,通过对与空间中的每个位置相关联的声传递特性中的根据虚拟声源的呈现目的地的当前位置的声传递特性和虚拟声源的虚拟声源数据进行卷积来获得音频数据;和
337.再现单元,其基于由所述接收单元接收的所述音频数据再现声音。
338.附图标号列表
339.11 信号处理装置
340.12 再现装置
341.13 声学事件提供服务器
342.14 rir服务器
343.31 通信单元
344.32 当前位置获取单元
345.33 显示单元
346.34 记录单元
347.36 控制单元
348.37 相对方向计算单元
349.38 rir卷积处理单元
350.39 hrir卷积处理单元
351.40 再现控制单元。
再多了解一些
本文用于企业家、创业者技术爱好者查询,结果仅供参考。