发送装置、发送方法、接收装置和接收方法与流程

1.本技术涉及发送装置、发送方法、接收装置和接收方法。


背景技术：

2.通过ieee 1394的串行数字接口标准，通常实现了音频信号和midi(乐器数字接口)信号的稳定同时传输。例如，专利文献1描述了ieee1394和midi信号。
3.由于高清晰度多媒体接口(hdmi)的出现，使用ieee 1394的产品的生产已停止，并且基于计算机的通用串行总线(usb)已被用于同时传输音频信号和midi信号。此外，hdmi不支持同时传输音频信号和midi信号。
4.此外，作为数字音频接口，通过iec 60958发送线性pcm信号被广泛使用。此外，在iec 60958的协议上发送压缩的音频信号的iec 61937也被广泛使用，并且用于各种音频编解码器发送。
5.这些通过将iec 60958协议映射为以下格式而在商业上用于实际产品中：称为索尼飞利浦数字接口(spdif)的同轴端子和光学输出端子；作为包括视频的多媒体接口的高清晰度多媒体接口(hdmi)；移动高清晰度链接(mhl)；以及显示端口(display port)。
6.引用列表
7.专利文献
8.专利文献1：日本专利申请特许公开第9-116593号


技术实现要素：

9.本发明要解决的问题
10.在使用计算机的情况下，延迟和最大数据量在很大程度上取决于要使用的计算机的性能、设备驱动器和软件。出于该原因，在使用计算机的情况下，存在实时性受损或发生数据丢失的问题。存在对可以稳定且可靠地使用的实时接口的需求。
11.本技术的目的是提供支持音频信号和midi信号的同时传输的新接口。
12.问题的解决方案
13.本技术的概念在于，一种发送装置，该发送装置包括：
14.发送单元，其经由预定传输路径向接收侧发送以预定单位连续的信号，其中，
15.以预定单位连续的信号包括：包括音频信号的第一预定单位的信号以及包括midi信号的第二预定单位的信号。
16.在本技术中，以预定单位连续的信号由发送单元经由预定传输路径被发送至接收侧。例如，预定单位可以是子帧单位。此外，例如，预定传输路径可以是同轴线缆、光缆、以太网(iec 61883-6)线缆、hdmi线缆、mhl线缆或显示端口线缆。
17.在以预定单位连续的信号中，包括有包括音频信号的第一预定单位的信号和包括midi信号的第二预定单位的信号。例如，音频信号可以是构成立体声2通道音频信号的线性pcm信号。在这种情况下，可以稳定地执行立体声2通道音频信号和midi信号的同时传输。
18.例如，midi信号可以包括预定长度的分组数据，并且预定长度的分组数据可以被划分成多个段，并且通过被包括在多段第二预定单位的信号中来发送。在这种情况下，例如，预定长度的分组数据可以是32位、64位、96位或128位的分组数据，并且被划分成每段16位的多个段。通过如上所述的那样划分和发送数据，即使在构成midi信号的分组数据的数据长度超过预定单位的信号中的数据有效载荷区域的情况下也可以进行发送。
19.此外，在这种情况下，例如，在包括midi信号的第二预定单位的信号中，midi信号可以插入在低位侧，并且识别信息可以插入在高位侧，识别信息识别插入在低位侧的midi信号至少是开始的划分数据还是连续的划分数据。如上所述的那样插入识别信息，由此接收侧可以识别包括在第二预定单位的信号中的midi信号是开始的划分数据还是连续的划分数据，并且可以正确地重新配置和接收分组。
20.然后，在这种情况下，例如，识别信息可以被设置成使得即使在包括低位侧的midi信号和高位侧的识别信息的预定位数的数据被再现为音频数据时，音量也小于或等于预定值。因此，即使数据被错误地再现为音频数据，也可以避免损坏音频放大器和扬声器。
21.此外，例如，可以从第二预定单位的信号的数据有效载荷区域中的任意位位置插入构成midi信号的分组数据，并且在不能将所有分组数据插入到数据有效载荷区域中的情况下，从下一个第二预定单位的信号的数据有效载荷区域中的第一位位置插入分组数据的剩余部分，并发送构成midi信号的分组数据。在这种情况下，可以根据midi信号的生成定时将分组数据插入到第二预定单位的信号的数据有效载荷区域中。
22.此外，例如，可以将构成midi信号的一个字节的分组数据插入到第二预定单位的信号中的两个字节的数据有效载荷区域的一个字节区域中并发送所述一个字节的分组数据。在这种情况下，由于构成midi信号的分组数据是沿字节对齐插入的，因此可以简化接收侧的处理。
23.此外，例如，构成midi信号的一个字节的分组数据可以被插入到第二预定单位的信号中的两个字节的数据有效载荷区域的一个字节区域中，并且一个字节的另一区域可以被设置为扩展的字节区域并被发送。在这种情况下，使用扩展的字节区域，可以执行唯一的扩展，例如，速度的高分辨率、通道数量的增加等。
24.此外，例如，第二预定单位的信号可以包括midi信号的多个通道。因此，可以虚拟地发送多个系统的midi信号，并且可以增加通道的数量。
25.如上所述，在本技术中，包括音频信号的第一预定单位的信号和包括midi信号的第二预定单位的信号被包括在传输的以预定单位连续的信号中。出于该原因，可以稳定地执行音频信号和midi信号的同时传输。
26.注意，在本技术中，例如，还可以包括信息添加单元，该信息添加单元向以预定单位连续的信号添加识别信息，该识别信息识别信号包含包括音频信号的第一预定单位的信号以及包括midi信号的第二预定单位的信号。在这种情况下，例如，信息添加单元可以通过使用为预定数量的预定单位中的每一个配置的每个块的预定位区域来添加识别信息。如上所述的那样添加识别信息，由此接收侧可以容易地识别出以预定单位连续的信号包括包含音频信号的第一预定单位的信号以及包含midi信号的第二预定单位的信号。
27.此外，本技术的另一概念在于，
28.一种接收装置，该接收装置包括：
29.接收单元，其经由预定传输路径从发送侧接收以预定单位连续的信号，其中，
30.以预定单位连续的信号包括：包括音频信号的第一预定单位的信号以及包括midi信号的第二预定单位的信号。
31.在本技术中，由接收单元经由预定传输路径从发送侧接收预定单位的连续信号。在以预定单位连续的信号中，包括有包括音频信号的第一预定单位的信号和包括midi信号的第二预定单位的信号。例如，音频信号可以是构成立体声2通道音频信号的线性pcm信号。在这种情况下，可以同时且稳定地接收立体声2通道音频信号和midi信号。
32.如上所述，在本技术中，包括音频信号的第一预定单位的信号和包括midi信号的第二预定单位的信号被包括在接收到的以预定单位连续的信号中。出于该原因，可以稳定地执行音频信号和midi信号的同时接收。
33.注意，在本技术中，例如，还可以包括使用音频信号和midi信号执行处理的处理单元。在这种情况下，可以使用稳定且同时接收到的音频信号和midi信号来执行处理。在这种情况下，例如，处理单元可以将音频信号与通过使用midi声源从midi信号中获得的音频信号合成，以获得输出音频信号。
附图说明
34.图1是示出作为第一实施方式的发送/接收系统的配置示例的框图。
35.图2是示出在midi 2.0中要插入到通用midi数据分组中的消息的示例的图。
36.图3是示出midi 2.0中的音符打开(note on)消息的配置示例的图。
37.图4是示出iec 60958标准中的帧配置的图。
38.图5是示出iec 60958标准中的子帧配置的图。
39.图6是示出在同时包括作为线性pcm信号的立体声2通道音频信号和midi信号的情况下的spdif信号的帧配置的示例的图。
40.图7是示出包括midi信号的子帧的配置示例的图。
41.图8是示出发送midi 2.0的一个音符打开消息(note on message)的情况的示例的图。
42.图9是示意性地示出在同时传输线性pcm信号和midi信号的情况下的通道状态的格式的图。
43.图10是示出在同时传输线性pcm信号和midi 1.0的midi信号的情况下的插入到子帧中的方法的示例的图。
44.图11是示出在同时传输线性pcm信号和midi 1.0的midi信号的情况下的插入到子帧中的方法的示例的图。
45.图12是用于说明存在多个通道的midi信号与线性pcm信号同时传输的情况的图。
46.图13是示出iec 61937-1接口格式的图。
47.图14是示出在仅传输midi信号的情况下的spdif信号的帧配置的示例的图。
48.图15是示意性地示出在仅传输midi信号的情况下的通道状态的格式的图。
49.图16是示出作为第二实施方式的声学系统的配置示例的框图。
50.图17是示出作为第三实施方式的av系统的配置示例的框图。
51.图18是示出电视接收器的hdmi接收单元和音频放大器的hdmi发送单元的配置示
例的框图。
52.图19是示出电视接收器的高速总线接口的配置示例的图。
53.图20是示出音频放大器的高速总线接口的配置示例的图。
54.图21是示出作为第四实施方式的游戏系统的配置示例的框图。
具体实施方式
55.以下是用于实施本发明的模式的描述(该模式将在下文中被称为“实施方式”)。注意，将按以下顺序进行说明。
56.1.第一实施方式
57.2.第二实施方式
58.3.第三实施方式
59.4.第四实施方式
60.5.修改例
61.《1.第一实施方式》
62.[发送/接收系统的配置示例]
[0063]
图1示出了作为第一实施方式的发送/接收系统10的配置示例。发送/接收系统10包括发送装置101和接收装置102。发送装置101和接收装置102经由包括同轴线缆、光缆等的传输路径103彼此连接。传输路径103构成iec 60958传输路径。
[0064]
发送装置101包括索尼飞利浦数字接口(spdif)发送电路110。spdif发送电路110是用于发送iec 60958标准数字音频传输信号(下文中，适当地称为“spdif信号”)的电路，并且是符合iec 60958标准的发送电路。
[0065]
spdif发送电路110生成同时包括线性pcm信号和乐器数字接口(midi)信号的spdif信号，并通过传输路径103将spdif信号发送至接收装置102。作为线性pcm信号，诸如单通道、2通道、5.1通道、7.1通道、10.2通道和22.2通道信号的音频信号都是可设想的，但此处考虑的是立体声2通道音频信号。此外，作为midi信号，考虑作为midi 2.0提出的midi信号。
[0066]
接收装置102包括spdif接收电路120。spdif接收电路120是用于接收spdif信号(iec 60958标准数字音频传输信号)的电路，并且是符合iec 60958标准的接收电路。spdif接收电路120接收通过传输路径103从发送装置101发送的spdif信号，并且提取和输出包括在spdif信号中的线性pcm信号和midi信号。
[0067]“midi 2.0中的消息”[0068]
在midi 2.0中，限定了分别具有多个数据分组长度的通用midi数据分组。数据分组长度包括32位、64位、96位、128位等。如图2所示的那样，建议插入到通用midi数据分组中的消息。
[0069]
未公开“实用消息”的限定。在midi 1.0中，“系统实时消息”是连接至系统的所有单元的有效消息，仅包括状态字节，并不包括数据字节，并且可以在其他消息的字节之间发送。在midi 1.0中，“系统公共消息”是连接至系统的所有单元的有效信息。
[0070]
在midi 1.0中，“系统专有消息”是可以在状态字节之后发送任何数量的数据字节的消息。“midi 1.0通道语音消息”是将midi 1.0中的多达三个字节的“通道语音消息”映射
到midi 2.0中的四个字节的“通用midi分组”的消息。
[0071]
未公开“数据消息(包括系统专有消息)”的限定。“midi 2.0通道语音信息”是midi 2.0中新提供的信息，并具有扩展的数据分辨率。未公开“数据消息”的限定。
[0072]
例如，关于消息中的音符打开消息(midi 2.0音符打开消息)，已经提出了图3所示的格式。音符打开消息的分组长度为64位(8字节)。
[0073]“mt”的4位字段是在midi 2.0中新提供的，指示消息类型，并且此处mt＝4。4位字段“组”是在midi 2.0中新提供的，并且指示组。组中的每一个都是独立的，并且每个组具有16个midi通道。因此，一个系统的midi信号可以具有多达256个通道。
[0074]“通道”的4位感觉指示midi通道。一个物理midi信号线被midi通道消息中包括的4位通道号划分成16个逻辑通道。未公开“r”的1位字段的限定。“音符编号”的7位字段指示键盘编号。该编号采用从0至127的值，并且在88键钢琴中间的“do”的编号是60。
[0075]“属性类型”的8位字段是在midi 2.0中新提供的，并且“属性类型”的8位字段指示附加的数据类型。作为这种类型，可设想发音(articulation)、调音细节等。“速度”的16位字段指示敲击键盘的强度，并且用于在声音之间产生强度上的差异。“属性”的16位字段是在midi2.0中新提供的，并且指示由“属性类型”限定的类型的附加数据的值。
[0076]“spdif信号”[0077]
将描述由spdif发送电路110生成的spdif信号(iec 60958标准数字音频传输信号)。
[0078]
首先，将描述iec 60958标准的概述。图4示出了iec 60958标准中的帧配置。每个帧包括两个子帧。在立体声2通道音频的情况下，左通道信号包括在子帧的第一个子帧中，而右通道信号包括在子帧的第二个子帧中。
[0079]
在子帧的头部处提供前导码，给出“m”作为左通道信号的前导码，并且给出“w”作为右通道信号的前导码。然而，将表示块的开始的“b”赋予位于每192个帧的头部处的前导码。即，一个块包括192个帧。块是构成稍后要描述的通道状态的单位。
[0080]
图5示出了iec 60958标准中的子帧配置。子帧包括从第0到第31个时隙共32个时隙。第0至第3个时隙指示前导码(同步前导码)。如上所述，前导码指示“m”、“w”或“b”中的任何一个以表示左右通道之间的区别以及块的开始位置。
[0081]
第4至第27个时隙表示主数据字段，并且在采用24位编码范围的情况下，时隙全部表示音频数据。此外，在采用20位代码范围的情况下，第8至第27个时隙表示音频数据(音频样本词)。在后一种情况下，第4到第7个时隙可以用作附加信息(辅助样本位)。所示的示例指示后一种情况。
[0082]
第28个时隙是主数据字段的有效性标志(validity flag)。第29个时隙表示一位用户数据(user data)。通过在帧上累加第29个时隙，可以配置一系列用户数据。以8位信息单元(iu)为单位配置用户数据的消息，并且一个消息包括3至129个信息单元。
[0083]
信息单元之间可能存在零到八位的“0”。信息单元的头部由起始位“1”来识别。消息中的前七个信息单元被保留，并且用户可以在第八个及后续的信息单元中设置任何信息。消息被八位或更多位的“0”划分。
[0084]
第30个时隙表示一位通道状态(channel status)。可以通过在帧上累加每个块的第30个时隙来配置一系列通道状态。注意，块的头部位置如上所述由“b”的前导码(第0到第
3个时隙)指示。
[0085]
第31个时隙是奇偶校验位(parity bit)。给出这个奇偶校验位使得第4到第31个时隙中包括的“0”和“1”的数目是偶数。
[0086]
在该实施方式中，如上所述，spdif信号同时包括作为线性pcm信号的立体声2通道音频信号和midi信号。图6示出了在这种情况下的spdif信号的帧配置的示例。spdif信号是以子帧为单位连续的信号。1个块由192个帧构成，并且连续地包括多个块。
[0087]
偶数帧子帧是插入音频信号的子帧(第一子帧)。子帧中的第一个子帧包括左通道音频信号，并且子帧中的第二个子帧包括右通道音频信号。此外，奇数帧子帧用作插入midi信号的子帧(第二子帧)。即，spdif信号包括有包括音频信号的第一子帧的信号和包括midi信号的第二子帧的信号。
[0088]
图7示出了包括midi信号的第二子帧的配置。在这种情况下，第4至第27个时隙的主数据字段被划分成高8位区域和低16位区域。midi信号被插入到低16位区域中，并且识别信息被插入到高8位中。
[0089]
如上所述，插入midi 2.0消息的通用midi分组的分组长度是32位、64位、96位、128位等。出于该原因，分组数据被划分成每段16位的多个段，并且每段划分的数据经受字节对齐，并且被插入到多个第二子帧中的主数据字段的低16位区域(第4位至第19位的区域)中。
[0090]
插入到第二子帧中的主数据字段的高8位区域(第20位至第27位区域)中的识别信息指示插入到低16位区域中的midi信号至少是开始的划分数据还是连续的划分数据。例如，64位长的分组数据被划分成每段16位的四段，并且头部处的划分数据是开始的划分数据，并且其他三段划分数据是连续的划分数据。
[0091]
如上所述的那样插入识别信息，由此接收侧可以通过检查高8位区域的识别信息来适当地识别插入到低16位区域中的midi信号是开始的划分数据还是连续的划分数据，并且接收侧可以正确地重新配置和接收分组。
[0092]
此处，8位识别信息被设置成使得音量(音量水平)即使在包括高位侧的8位识别信息和低位侧的16位midi信号的24位数据被再现为音频数据时，也小于或等于预定值。因此，即使当数据在接收侧被错误地再现为音频数据时，也可以避免损坏音频放大器和扬声器。
[0093]
例如，8位识别信息是第20位和第21位中的两位，并且指示上述划分数据信息——其指示开始或连续。即，当插入到低16位区域中的midi信号为开始的划分数据时，将插入到高8位区域中的识别信息设置为“10000000”，并且它指示midi信号是开始的划分数据。
[0094]
此外，当插入到低16位区域中的midi信号为连续的划分数据时，将插入到高8位区域中的识别信息设置为“01000000”，并且它指示midi信号为连续(继续)的划分数据。此外，当未将midi信号插入到低16位区域中时，将插入到高8位区域中的识别信息设置为“00000000”，并且指示不存在midi信号的空闲状态。
[0095]
在这种情况下，在包括高位侧的8位识别信息和低位侧的16位midi信号的24位数据是音频数据的情况下，从2sb至6sb的5个位是“0”，除了msb是符号位，使得即使在数据被错误再现的情况下，音量也小于或等于-32db，并且不会损坏音频放大器和扬声器。
[0096]
注意，插入到高8位区域中的识别信息的值的组合不限于上述示例，并且其他组合也是可能的。例如，“10000001”、“01000001”和“00000001”的组合也具有等效的功能和效果。此外，当分组长度长并且“01000001”连续时，为了指示数据传输本身的连续性，新引入
并切换“11000001”，由此可以指示连续性。即，识别信号的顺序为“10000001”、“01000001”、“11000001”、“01000001”和“11000001”。
[0097]
图8示出了发送上述一个midi 2.0音符打开消息(参见图3)的情况的示例。在这种情况下，音符打开消息的数据分组(通用midi分组)的分组长度为64位，并且该数据分组被划分成每段16位的四段，并且被插入到四个第二子帧中。
[0098]
图8(a)示出了帧配置。1个块由192个帧构成，并且连续地包括多个块。图8(b)示出了每个帧包括两个子帧。图8(c)示出了子帧配置(参见图7)。
[0099]
例如，在从帧1插入通过划分音符打开消息的数据分组获得的四段划分的数据的情况下，将四段划分数据插入到帧1的子帧的第一个子帧和第二个子帧中以及帧3的子帧的第一个子帧和第二个子帧中。
[0100]
图8(d)示出了帧1的子帧中的第一个子帧中的第4至第27个时隙的主数据字段的状态。构成开始的划分数据的“mt”、“组”、“1001”以及“通道”的各个字段的数据从msb侧被依次插入到低16位区域(第4位至第19位的区域)中。此外，在高8位区域(第20位至第27位的区域)中插入指示被插入到低16位区域中的midi信号是开始的划分数据的识别信息“1000 0000”。
[0101]
图8(e)示出了帧1的子帧中的第二个子帧中的第4至第27个时隙的主数据字段的状态。构成连续的第一划分数据的“r”、“音符编号”和“属性类型”的相应字段的数据从msb侧被依次插入到低16位区域(第4位至第19位的区域)中。此外，在高8位区域(第20位至第27位的区域)中插入指示被插入到低16位区域中的midi信号是连续(继续)的划分数据的识别信息“0100 0000”。
[0102]
图8(f)示出了帧3的子帧中的第一个子帧中的第4至第27个时隙的主数据字段的状态。构成连续的第二划分数据的“速度”的字段的数据从msb侧被依次插入到低16位区域(第4位至第19位的区域)中。此外，在高8位区域(第20位至第27位的区域)中插入指示被插入到低16位区域中的midi信号是连续(继续)的划分数据的识别信息“01000000”。
[0103]
图8(g)示出了帧3的子帧中的第二个子帧中的第4至第27个时隙的主数据字段的状态。构成连续的第三划分数据的“属性”的字段的数据从msb侧被依次插入到低16位区域(第4位至第19位的区域)中。此外，在高8位区域(第20位至第27位的区域)中插入指示被插入到低16位区域中的midi信号是连续(继续)的划分数据的识别信息“01000000”。
[0104]
图8(h)示出了帧5的子帧中的第一个子帧中的第4至第27个时隙的主数据字段的状态。低16位区域(第4至第19位的区域)不用于midi信号的插入。此外，将指示在低16位区域中不存在midi信号的空闲状态的识别信息“0000 0000”被插入到高8位区域(第20位至第27位的区域)中。
[0105]
注意，虽然未详细描述，但其他midi 2.0消息的分组(通用midi分组)也被类似地划分成要插入midi信号的子帧(第二子帧)并被插入。
[0106]
图9示意性地示出了在如上所述的那样同时传输线性pcm信号和midi信号的情况下的通道状态的格式。如上所述，通过为每个块累加子帧中的第30个时隙来获得通道状态。整个通道状态包括第0至第23个字节。
[0107]
第0位a＝“0”指示通道状态供消费者使用。此外，第一位b＝“0”指示用于线性pcm的传输。此外，对于从第三位到第五位的三个位，例如设置“001”，其指示用于多通道线性
pcm的传输。
[0108]
从第49位到第52位的四个位是指示“多通道配置类型”的字段。这四个位被设置为例如“1110”，以作为指示同时传输midi 2.0的midi信号和线性pcm信号的识别信息。此外，当四个位为“1110”时，从第53位到第60位的以下八个位是有效的。这八个位是指示“配置值”的字段。这八个位被设置为“10000000”，例如，以指示立体声2通道音频信号和midi 2.0的midi信号的同时传输。
[0109]“midi 1.0的midi信号的传输”[0110]
在以上描述中，已经描述了同时传输线性pcm信号和midi 2.0的midi信号的示例。类似地，也可设想到同时传输线性pcm信号和midi1.0的midi信号。
[0111]
图10(a)是用于说明作为插入midi 1.0的midi信号的方法的“比特流方法”的图。在该方法中，要发送midi信号的子帧(第二子帧)的第4至第27个时隙的主数据字段划分成高8位(一个字节)区域和低16位(两个字节)区域。在高8位区域中插入固定数据，例如“00000000”。
[0112]
按位顺序插入在低16位“midi 1.0数据有效载荷”区域中插入midi 1.0的midi信号。在这种情况下，从某个子帧(第二子帧)的低16位区域中的任意位位置插入构成midi信号的分组数据，并且在不能插入所有分组数据的情况下，从下一个子帧(第二个子帧)的低16位区域中的第一位位置(第4位)起插入剩余的分组数据。在接收侧，信号的比特流跨子帧连接在一起，并且检测到midi 1.0的midi信号。
[0113]
midi 1.0的midi信号逻辑上具有8位，但通过添加一个起始位(逻辑0)和一个停止位(逻辑1)以总共10位传输。如上所述，从子帧(第二子帧)的低16位“midi 1.0数据有效载荷”区域中的任意位位置插入10位数据。对于任意位位置之前的区域中的每个位位置，插入逻辑1的数据以指示不存在数据的空闲状态。
[0114]
在“比特流方法”中，可以根据midi信号的生成定时将分组数据插入到要发送midi信号的子帧(第二子帧)的低16位“midi 1.0数据有效载荷”区域中。然而，在这种情况下，接收侧的处理是逐位的，并且处理可能是复杂的。
[0115]
图10(b)是用于说明作为插入midi 1.0的midi信号的方法的“字节对齐方法”的图。在该方法中，将要传输midi信号的子帧(第二子帧)的第4到27个时隙的主数据字段划分成高8位(一个字节)区域、中间8位(一个字节)区域和一个低8位(一个字节)区域。在高8位区域和低8位区域中插入固定数据，例如“00000000”。
[0116]
midi 1.0的midi信号固定插入到中间8位区域中。在这种情况下，不添加一个起始位(逻辑0)和一个停止位(逻辑1)。注意，也可设想midi 1.0的midi信号不被插入到中间8位区域而是被插入到低8位区域中。
[0117]
在midi 1.0的midi信号的情况下，由于对每个字节处理有效数据，因此在midi信号的字节位置如上所述的那样固定的情况下，可以容易地简化接收侧的处理。在这种情况下，未插入midi 1.0的midi信号的空闲状态可以由v(有效性标志)位来指示。此外，代替插入midi 1.0的midi信号，可以新提供并插入专有结束(eox)消息或特定消息以指示未插入midi 1.0的midi信号的空闲状态。
[0118]
图11(a)是用于说明作为插入midi 1.0的midi信号的方法的“数据扩展方法”的图。在该方法中，将要传输midi信号的子帧(第二子帧)的第4到27个时隙的主数据字段划分
成高8位(一个字节)区域、中间8位(一个字节)区域和一个低8位(一个字节)区域。在高8位区域中插入固定数据，例如“00000000”。
[0119]
midi 1.0的midi信号固定插入到中间8位区域中。此外，低8位区域被用作扩展的字节(extended byte)。使用扩展的字节能够实现唯一的扩展，例如速度的高分辨率、通道数量的增加等。例如，关于通道数量的增加，可以使用扩展的字节来指示子通道。即，在midi 1.0的情况下，可以通过包括在midi信号中的通道识别的通道数量是16个；然而，通过使用扩展的字节来识别每个通道的子通道，可以更精细地指定通道数量。在这种情况下，执行诸如“第n个通道的第m个子通道”的通道指定。
[0120]
即使在“数据扩展方法”的情况下，与上述“字节对齐方法”类似地，也可以指示未插入midi 1.0的midi信号的空闲状态。注意，也可设想到将插入midi 1.0的midi信号的8位区域和扩展的字节的8位区域进行反转。
[0121]
注意，在midi 1.0的midi信号的字节中，其msb用于识别状态字节(status byte)和数据字节(data byte)，使得分辨率实际上是七位。出于该原因，在图11(a)中，数据长度被示为总共15位，包括7位midi信号和8位扩展。
[0122]
然而，考虑到与midi 1.0的兼容性，也可设想将用于扩展的有效数据长度设置为七位。在这种情况下，数据长度是总共14位，包括7位midi信号和7位扩展。图11(b)和图11(c)示出了该情况。图11(b)示出了midi信号的字节是状态字节的情况，并且图11(c)示出了midi信号的字节是数据字节的情况。例如，通过将扩展的有效数据长度设置为如上所述的七位，期望由软件进行的处理是容易的。
[0123]
注意，在操作多个上述“比特流方法”、“字节对齐方法”和“数据扩展方法”作为插入midi 1.0的midi信号的方法的情况下，可以通过例如上述通道状态的第53位至第60位的区域中的“配置值”(参见图9)来识别方法。
[0124]
此外，在通过上述方法中的每一个将midi 1.0的midi信号插入到子帧(第二子帧)中的情况下，主数据字段的24位区域的高8位是“00000000”。出于该原因，即使将24位数据错误地再现为音频数据，音量也低，并且可以避免损坏音频放大器和扬声器。
[0125]“多个通道的midi信号”[0126]
注意，与线性pcm信号同时传输的midi信号的通道不限于一个通道，并且可以是多个通道。这样的多个midi信号通道对应于多个虚拟midi线缆。例如，尽管midi 1.0的一个通道中的通道数量是16，但是可以通过提供多个通道来增加通道数量。
[0127]
图12示出了在这种情况下的spdif信号的帧配置的示例。该示例指示要与线性pcm信号同时传输的midi信号具有a和b两个通道的情况。
[0128]
在这种情况下，在偶数帧中，左通道音频信号包括在子帧中的第一个子帧(第一子帧)中，并且右通道音频信号包括在子帧中的第二个子帧(第一子帧)中。此外，在奇数帧中，子帧中的第一个子帧(第二子帧)包括通道a的midi信号，并且子帧中的第二个子帧(第二子帧)包括通道b的midi信号。
[0129]
注意，同样在提供多个midi信号通道的情况下，可以通过例如上述通道状态的从第53位至第60位区域中的“配置值”来识别方法(参见图9)。
[0130]
如上所述，在图1所示的发送/接收系统10中，包括音频信号(线性pcm信号)的子帧(第一子帧)的信号以及包括midi信号的子帧(第二子帧)的信号被包括在从发送装置101向
接收装置102发送的以子帧为单位连续的信号(spdif信号)中。因此，可以在无延迟的情况下稳定地执行音频信号和midi信号的同时传输。
[0131]
注意，由于线性pcm信号和midi信号彼此异步，因此在线性pcm信号的采样定时处将midi信号放置在传输路径上时发生抖动。如果抖动在可接受的范围内，则可以忽略该抖动，但是也可设想到例如通过使用时间戳的抖动抑制系统来抑制该抖动。
[0132]
例如，在原始midi 1.0的传输速度为31.25kbps并且线性pcm信号的采样频率为48khz的情况下，在31.25kbps的定时处累积在spdif发送电路110的缓冲器中的midi信号在48khz的定时处发送至传输路径，并且发生抖动。例如，在以48khz生成midi信号的情况下，不发生抖动。
[0133]
此外，在以上描述中，已经描述了要与midi信号同时传输的音频信号是线性pcm信号的示例。还可设想到要与midi信号同时传输的音频信号不是线性pcm信号而是压缩音频信号的情况。在这种情况下，代替处理上述线性pcm信号的iec 60958i的接口格式，使用处理压缩音频信号的iec 61937-1接口格式。
[0134]
图13示出了iec 61937-1接口格式。图13(a)示出了帧配置。1个块由192个帧构成，并且连续地包括多个块。图13(b)示出了每个帧包括两个子帧。
[0135]
在子帧的头部处提供前导码，并且在块的头部处向子帧的前导码赋予表示块的开始的“b”。然后，“w”和“m”被交替地赋予各个后续子帧的头部处的前导码。
[0136]
图13(c)示出了子帧配置。在spdif信号包括预定数量的压缩音频信号的通道的情况下，压缩音频信号的比特流被划分并依次插入到各个子帧的第12至第27个时隙中。即，每个子帧的第4至第27个时隙的24位音频数据区域的高16位用于压缩音频信号的传输。
[0137]“仅midi信号的传输”[0138]
此外，在以上描述中，已经描述了同时传输音频信号和midi信号的示例；然而，可设想到仅传输midi信号。在这种情况下，例如可以使用处理上述压缩音频信号的iec 61937-1接口格式。
[0139]
在这种情况下，midi信号被插入到要插入midi信号的子帧中，并且被传输。例如，在传输midi 2.0的midi信号的情况下的子帧的配置可以具有如上述图7所示的配置。此外，在传输midi 1.0的midi信号的情况下，可以通过例如上述“比特流方法”、“字节对齐方法”和“数据扩展方法”中的任何一种来插入midi信号(参见图10和图11)。
[0140]
此外，即使在如上所述的那样仅传输midi信号的情况下，midi信号的通道也不限于一个通道，并且可以使用多个通道。
[0141]
图14示出了仅传输midi信号的情况下的spdif信号的帧配置的示例。该示例示出了传输midi 2.0的一个64位数据分组例如一个音符打开消息(参见图3)的情况。在这种情况下，分组数据被划分成每段16位的四个段，被插入到四个连续的子帧中，并被传输。在图示的示例中，划分的数据被插入到帧1和帧2的四个子帧中。
[0142]
图15示意性地示出了在如上所述的那样仅传输midi信号的情况下的通道状态的格式。如上所述，通过为每个块累加子帧中的第30个时隙来获得通道状态。整个通道状态包括第0至第23个字节。
[0143]
第0位a＝“0”指示通道状态供消费者使用。此外，第一位b＝“1”指示用于压缩的数字音频信号的传输。
[0144]
从第49位到第52位的四个位是指示“多通道配置类型”的字段。这四位被设置为“1110”，例如，被设置成指示midi信号的传输的识别信息。此外，当四个位为“1110”时，从第53位到第60位的以下八个位是有效的。这八个位是指示“配置值”的字段。
[0145]
此处，“0000000”指示midi 2.0的midi信号的传输。此外，“01000000”指示根据“比特流方法”对midi 1.0的midi信号的传输(参见图10(a))。此外，“11000000”指示根据“字节对齐方法”对midi 1.0的midi信号的传输(参见图10(b))。此外，“00100000”指示根据“数据扩展方法”对midi 1.0的midi信号的传输(参见图11(a))。此外，“10100000”指示两个通道a和b的midi信号的传输。
[0146]
注意，在以上描述中，已经描述了处理压缩音频信号的iec 61937-1接口格式可以用于仅传输midi信号的情况。尽管省略了详细描述，但是也可设想到使用处理上述线性pcm信号的iec 60958i的接口格式。
[0147]“能力查询(midi ci)”[0148]
midi ci是具有如下机制的双向通信，在该机制中，装置预先执行相互协商，并且可以执行装置可以应对的范围内的传送速率改变(协议)、新消息系统中的发送和接收(配置文件)、连接的装置之间的音色库信息交换(属性)等。
[0149]
映射spdif或其协议的传输路径是双向连接的，由此启用midi ci。替选地，在与接口并行存在诸如以太网和hdmi cec的双向通信路径的情况下，也可以通过使用这些双向通信路径来实现midi ci的功能。
[0150]
还可以通过扩展midi ci的规范来执行midi 1.0与midi 2.0的协议之间的切换、以及使用midi 1.0对扩展协议的支持确认和切换。当然，也允许由用户进行的手动设置。
[0151]
《2.第二实施方式》
[0152]
[声学系统的配置示例]
[0153]
图16示出了作为第二实施方式的声学系统20的配置示例。声学系统20包括具有麦克风输入的midi键盘201和midi声源模块202。具有麦克风输入的midi键盘201和midi声源模块202经由包括同轴线缆、光缆等的传输路径203彼此连接。传输路径203构成iec 60958传输路径。
[0154]
具有麦克风输入的midi键盘201包括a/d转换器210、键盘单元211和spdif发送电路212。a/d转换器210将通过由麦克风204收集声音获得的模拟音频信号转换成线性pcm信号并且将线性pcm信号发送至spdif发送电路212。键盘单元211包括midi检测器(未示出)，生成具有演奏的midi信号(midi 2.0或midi 1.0的midi信号)，并将midi信号发送至spdif发送电路212。
[0155]
与上述发送/接收系统10的发送装置101中的spdif发送电路110类似地，spdif发送电路212是用于发送spdif信号(iec 60958标准数字音频传输信号)的电路，并且是符合iec 60958标准的发送电路。
[0156]
类似于spdif发送电路110，spdif发送电路212生成同时包括来自a/d转换器210的线性pcm信号和来自键盘单元211的midi信号的spdif信号，并通过传输路径203将spdif信号发送至midi声源模块202。
[0157]
midi声源模块202包括spdif接收电路220、midi声源单元221、音频混合器222和显示单元223。类似于如上所述的发送/接收/接收系统10的接收装置102中的spdif接收电路
120，spdif接收电路220是用于接收spdif信号的电路并且是符合iec 60958标准的接收电路。
[0158]
spdif接收电路220通过传输路径203接收从具有麦克风输入的midi键盘201发送的spdif信号，并且提取并输出包括在spdif信号中的线性pcm信号和midi信号。此外，spdif接收电路220输出指示是否存在midi信号的状态信息。该状态信息被发送至显示单元223，并且在显示单元223上显示是否存在midi信号。
[0159]
midi声源单元221接收从spdif接收电路220输出的midi信号，通过midi声源将midi信号转换成音乐数据，并且输出与音乐数据对应的线性pcm信号。音频混合器222合成从spdif接收电路220输出的线性pcm信号以及从midi声源单元221输出的线性pcm信号，并且输出合成的线性pcm信号。
[0160]
如上所述的那样合成的线性pcm信号通过放大器205发送至扬声器系统206。因此，从扬声器系统206获得基于线性pcm信号的声学输出。
[0161]
在声学系统20中，在键盘单元211为钢琴的键盘单元，并且麦克风204收集钢琴的演奏声音的情况下，在midi声源模块202中，将伴随钢琴演奏的弦乐器声音的线性pcm信号从midi声源单元221输出，并且可以再现通过合成弦乐器的声音和钢琴的声音获得的声音。此外，在声学系统20中，在麦克风204收集与由键盘单元211执行的伴奏同步的歌唱语音的情况下，midi声源模块202可以再现通过合成伴奏声音和歌唱语音获得的声音。
[0162]
如上所述，在图16所示的声学系统20中，从具有麦克风输入的midi键盘201发送至midi声源模块202的spdif信号(以子帧为单位连续的信号)包括线性pcm信号和midi信号。因此，可以在无延迟的情况下稳定地执行线性pcm信号(音频信号)和midi信号的同时传输，并且可以令人满意地执行合成的声音的生成和再现。
[0163]
《3.第三实施方式》
[0164]
[电视系统的配置示例]
[0165]
图17示出了作为第三实施方式的av系统30的配置示例。av系统30包括电视接收器301和音频放大器302。
[0166]
用于电视广播的接收天线309、midi文件存储单元307、因特网304、midi键盘305和麦克风306连接至电视接收器301。此外，扬声器系统308连接至音频放大器302。
[0167]
电视接收器301和音频放大器302经由hdmi线缆303相互连接。注意，“hdmi”是注册商标。电视接收器301设置有hdmi端子311，构成通信单元的hdmi接收单元(hdmi rx)312和高速总线接口313连接至该hdmi端子311。音频放大器302设置有hdmi端子351，构成通信单元的hdmi发送单元(hdmi tx)352和高速总线接口353连接至该hdmi端子351。hdmi线缆303的一端连接至电视接收器301的hdmi端子311，并且hdmi线缆303的另一端连接至音频放大器302的hdmi端子351。
[0168]
[电视接收器的配置]
[0169]
电视接收器301包括hdmi接收单元312、高速总线接口313和spdif发送电路314。此外，电视接收器301包括系统控制器315、用户接口316、数字广播接收电路317、内容再现电路318、音频合成电路319、a/d转换器320、以太网接口321和显示器322。注意，“以太网”和“以太网”是注册商标。此外，在所示的示例中，为了简化描述，适当地省略了图像系统的每个部分。
[0170]
系统控制器315控制电视接收器301的每个单元的操作。用户接口316连接至系统控制器315。用户接口316构成供用户执行各种操作的操作单元，并且包括例如遥控器、触摸面板、鼠标、键盘、利用摄像装置检测指令输入的手势输入单元、用于通过语音执行指令输入的语音输入单元等。
[0171]
数字广播接收电路317处理从接收天线309输入的电视广播信号以获得广播内容的视频信号和线性pcm信号，并还获得midi文件。以太网接口321经由因特网304与外部服务器通信。以太网接口321从外部服务器获取网络内容，并获得视频信号和线性pcm信号，以及另外的网络内容的midi文件。
[0172]
midi文件存储单元307包括例如诸如usb存储器的可移除存储器，并且存储midi文件。例如，midi文件存储单元307还可以存储通过以太网接口321或数字广播接收电路317预先获得的midi文件。
[0173]
内容再现电路318基于由数字广播接收电路317或以太网接口321获得的midi文件或从midi文件存储单元307读取的midi文件来输出midi信号。此外，内容再现电路318从midi文件中提取歌词和乐谱的信息，并且将该信息发送至显示器322。因此，将歌词和乐谱显示在显示器322上。
[0174]
a/d转换器320将通过麦克风306收集声音获得的模拟音频信号转换成线性pcm信号。音频合成电路319接收由数字广播接收电路317获得的线性pcm信号、由以太网接口321获得的线性pcm信号以及由a/d转换器320获得的另外的线性pcm信号，并选择性地合成并且输出信号。音频合成电路319中的选择和合成由系统控制器315根据用户的操作进行控制。
[0175]
hdmi接收单元312通过符合hdmi的通信接收通过hdmi线缆303提供给hdmi端子311的图像和音频数据。高速总线接口313是使用构成hdmi线缆303的备用线和热插拔检测(hpd)线配置的双向通信路径的接口。注意，稍后将描述hdmi接收单元312和高速总线接口313的细节。
[0176]
与上述发送/接收系统10的发送装置101中的spdif发送电路110类似地，spdif发送电路314是用于发送spdif信号(iec 60958标准数字音频传输信号)的电路，并且是符合iec 60958标准的发送电路。
[0177]
类似于spdif发送电路110，spdif发送电路314生成同时包括线性pcm信号和midi信号的spdif信号，并通过高速总线接口313将spdif信号发送至音频放大器302。此处，spdif信号中包括的线性pcm信号是从音频合成电路319输出的线性pcm信号。此外，spdif信号中包括的midi信号是通过将从内容再现电路318输出的midi信号与从midi键盘305输出的midi信号合成获得的midi信号。
[0178]“音频放大器的配置”[0179]
音频放大器302包括hdmi发送单元352、高速总线接口353和spdif接收电路354。此外，音频放大器302包括系统控制器355、midi声源单元356、音频混合器357、放大器358、显示单元359和以太网接口360。
[0180]
系统控制器355控制音频放大器302的每个单元的操作。hdmi发送单元352通过符合hdmi的通信将图像和音频数据从hdmi端子351发送至hdmi线缆303。高速总线接口353是使用构成hdmi线缆303的备用线和热插拔检测(hpd)线配置的双向通信路径的接口。以太网接口360经由因特网与外部服务器通信。注意，稍后将描述hdmi发送单元352和高速总线接
口353的细节。
[0181]
类似于如上所述的发送/接收/接收系统10的接收装置102中的spdif接收电路120，spdif接收电路354是用于接收spdif信号的电路并且是符合iec 60958标准的接收电路。
[0182]
spdif接收电路354通过高速总线接口353从电视接收器301接收spdif信号，并且提取并输出spdif信号中包含的线性pcm信号和midi信号。此外，spdif接收电路354输出指示是否存在midi信号的状态信息。该状态信息被发送至显示单元359，并且在显示单元359上显示是否存在midi信号。
[0183]
midi声源单元356接收从spdif接收电路354输出的midi信号，通过midi声源将midi信号转换成音乐数据，并且输出与音乐数据对应的线性pcm信号。音频混合器357合成从spdif接收电路354输出的线性pcm信号以及从midi声源单元356输出的线性pcm信号，并且输出合成的线性pcm信号。
[0184]
放大器358放大由音频混合器357获得的线性apcm信号并将放大的信号提供给扬声器系统308。因此，从扬声器系统308获得基于线性pcm信号的声学输出。
[0185]“hdmi发送单元/接收单元的配置示例”[0186]
图18示出了图17的av系统30中的电视接收器301的hdmi接收单元312和音频放大器302的hdmi发送单元352的配置示例。
[0187]
hdmi发送单元352在有效图像间隔(在下文中，适当地被称为“活动视频间隔”)中通过多个通道沿一个方向将用于一个画面的图像数据的基带(未压缩)差分信号发送至hdmi接收单元312，该有效图像间隔通过从某个垂直同步信号到下一个垂直同步信号的间隔(在下文中，适当地称为“视频场”)去除水平消隐时段和垂直消隐时段而获得的间隔。此外，在水平消隐时段和垂直消隐时段中，hdmi发送单元352通过多个通道沿一个方向将与伴随图像数据的音频数据、控制分组(controlpacket)、其他辅助数据等对应的差分信号发送至hdmi接收单元312。
[0188]
hdmi发送单元352包括源信号处理单元71和hdmi发送器72。基带未压缩图像(视频)和音频(audio)数据被提供给源信号处理单元71。源信号处理单元71对提供的图像和音频数据执行必要的处理，并将经处理的数据提供给hdmi发送器72。此外，源信号处理单元71根据需要与hdmi发送器72交换控制信息、用于通知状态的信息(控制/状态)等。
[0189]
hdmi发送器72将从源信号处理单元71提供的图像数据转换成对应的差分信号，并且通过作为多个通道的三个tmds通道#0、#1和#2沿一个方向将差分信号发送至经由hdmi线缆303连接的hdmi接收单元312。
[0190]
此外，将伴随从发送器72和源信号处理单元71提供的未压缩图像数据的音频数据、控制分组和其他辅助数据以及诸如垂直同步信号(vsync)和水平同步信号(hsync)的控制数据转换成对应的差分信号，并且通过三个tmds通道#0、#1和#2沿一个方向发送至经由hdmi线缆303连接的hdmi接收单元312。
[0191]
此外，发送器72通过tmds时钟通道将与通过三个tmds通道#0、#1和#2发送的图像数据同步的像素时钟发送至经由hdmi线缆303连接的hdmi接收单元312。
[0192]
hdmi接收单元312接收在活动视频间隔中通过多个通道从hdmi发送单元352沿一个方向发送的与图像数据对应的差分信号，并且接收在水平消隐时段和垂直消隐时段中通
过多个通道从hdmi发送单元352发送的与辅助数据和控制数据对应的差分信号。
[0193]
hdmi接收单元312包括hdmi接收器81和宿信号处理单元82。hdmi接收器81类似地与通过tmds时钟通道从hdmi发送单元352发送的像素时钟同步地，通过tmds通道#0、#1和#2接收与图像数据的差分信号和从经由hdmi线缆303连接的hdmi发送单元352沿一个方向发送的与辅助数据和控制数据对应的差分信号。此外，hdmi接收器81将差分信号转换成对应的图像数据、辅助数据和控制数据，并根据需要将数据提供给宿信号处理单元82。
[0194]
宿信号处理单元82对从hdmi接收器81提供的数据执行必要的处理并输出该数据。此外，宿信号处理单元82根据需要与hdmi接收器81交换控制信息、用于通知状态的信息(控制/状态)等。
[0195]
除了用于与像素时钟同步地沿一个方向从hdmi发送单元352向hdmi接收单元312连续地发送图像数据、辅助数据和控制数据的三个tmds通道#0、#1和#2以及作为发送像素时钟的传输通道的tmds时钟通道之外，hdmi传输通道还包括显示数据通道(ddc)83，以及另外称为cec线84的传输通道。
[0196]
ddc 83包括在hdmi线缆303中包括的两条线(信号线)(未示出)，并且被源装置用于从经由hdmi线缆303连接的宿装置读取增强型扩展显示识别(e-edid)。即，宿装置包括edidrom 85。源装置经由ddc83从经由hdmi线缆303连接的宿装置读取存储在edidrom 85中的e-edid，并且基于e-edid来识别宿装置的设置和性能。
[0197]
cec线84包括在hdmi线缆303中包括的一条线(未示出)，并且用于执行源装置与宿装置之间的控制数据的双向通信。
[0198]
此外，hdmi线缆303包括连接至被称为热插拔检测(hpd)的引脚的线86。源装置可以通过使用线86来检测宿装置的连接。此外，hdmi线缆303包括用于从源装置向宿装置供电的线87。此外，hdmi线缆303包括备用线88。
[0199]“高速总线接口的配置示例”[0200]
图19示出了图17的av系统30中的电视接收器301的高速总线接口313的配置示例。以太网接口321通过使用构成hdmi线缆303的多条线中的包括备用线和hpd线的成对线的传输路径来执行局域网(lan)通信，即，以太网信号的发送和接收。spdif发送电路314通过使用包括如上所述的该成对线的传输路径来发送spdif信号。
[0201]
电视接收器301包括lan信号发送电路441、终端电阻器442、ac耦合电容器443和444、lan信号接收电路445、减法电路446、加法电路449和450以及放大器451。这些部件构成高速总线接口313。此外，电视接收器301包括构成插拔连接发送电路460的扼流线圈461、电阻器462和电阻器463。
[0202]
ac耦合电容器443、终端电阻器442和ac耦合电容器444的串联电路连接在hdmi端子311的14引脚端子521与19引脚端子522之间。此外，电阻器462和电阻器463的串联电路连接在电源线( 5.0v)与地线之间。然后，电阻器462与电阻器463之间的连接点经由扼流线圈461连接至19引脚端子522和ac耦合电容器444之间的连接点q4。
[0203]
ac耦合电容器443与终端电阻器442之间的连接点p3连接至加法电路449的输出侧，并连接至lan信号接收电路445的正输入侧。此外，ac耦合电容器443与终端电阻器442之间的连接点p4连接至加法电路450的输出侧并连接至lan信号接收电路445的负输入侧。
[0204]
加法电路449的一个输入侧连接至lan信号发送电路441的正输出侧，并且从spdif
发送电路314输出的spdif信号经由放大器451提供给加法电路449的另一输入侧。此外，加法电路450的一个输入侧连接至lan信号发送电路441的负输出侧，并且将从spdif发送电路314输出的spdif信号经由放大器451提供给加法电路450的另一输入侧。
[0205]
将发送信号(发送数据)sg417从以太网接口321提供给lan信号发送电路441的输入侧。此外，将lan信号接收电路445的输出信号sg418提供给减法电路446的正端子，并且将发送信号sg417提供给减法电路446的负端子。在减法电路446中，从lan信号接收电路445的输出信号sg418中减去发送信号sg417，并且获得接收信号(接收数据)sg419。在经由备用线和hpd线发送lan信号(以太网信号)作为差分信号的情况下，接收信号sg419是lan信号。接收信号sg419被提供给以太网接口321。
[0206]
图20示出了图17的av系统30中的音频放大器302的高速总线接口353的配置示例。以太网接口360通过使用构成hdmi线缆303的多条线中的包括备用线和hpd线的成对线的传输路径来执行局域网(lan)通信，即以太网信号的发送和接收。spdif接收电路354通过使用包括上述该成对线的传输路径来接收spdif信号。
[0207]
音频放大器302包括lan信号发送电路411、终端电阻器412、ac耦合电容器413和414、lan信号接收电路415、减法电路416、加法电路419和放大器420。这些部件构成高速总线接口353。此外，音频放大器302包括构成插拔连接检测电路430的下拉电阻器431、电阻器432、电容器433和比较器434。此处，电阻器432和电容器433构成低通滤波器。
[0208]
ac耦合电容器413、终端电阻器412和ac耦合电容器414的串联电路连接在hdmi端子351的14引脚端子511与19引脚端子512之间。ac耦合电容器413与终端电阻器412之间的连接点p1连接至lan信号发送电路411的正输出侧，并连接至lan信号接收电路415的正输入侧。
[0209]
ac耦合电容器414与终端电阻器412的连接点p2连接至lan信号发送电路411的负输出侧，并且连接至lan信号接收电路415的负输入侧。将发送信号(发送数据)sg411从以太网接口360提供给lan信号发送电路411的输入侧。
[0210]
将lan信号接收电路415的输出信号sg412提供给减法电路416的正端子，并且将发送信号(发送数据)sg411提供给减法电路416的负端子。在减法电路416中，从lan信号接收电路415的输出信号sg412减去发送信号sg411，并且获得接收信号sg413。在经由备用线和hpd线发送lan信号(以太网信号)作为差分信号的情况下，接收信号sg413是lan信号。接收信号sg413被提供给以太网接口360。
[0211]
ac耦合电容器414与19引脚端子512之间的连接点q2经由下拉电阻器431连接至地线，并且经由电阻器432和电容器433的串联电路连接至地线。然后，将在电阻器432与电容器433之间的连接点处获得的低通滤波器的输出信号提供给比较器434的一个输入端子。在比较器434中，将低通滤波器的输出信号与提供给另一输入端子的参考电压vref2( 1.4v)进行比较。将比较器434的输出信号sg415提供给音频放大器302的控制单元(cpu)(未示出)。
[0212]
此外，ac耦合电容器413与终端电阻器412之间的连接点p1连接至加法电路419的一个输入端子。此外，ac耦合电容器414与端接电阻器412之间的连接点p2连接至加法电路419的另一输入端子。加法电路419的输出信号经由放大器420提供给spdif接收电路354。在经由备用线和hpd线发送spdif信号作为同相信号的情况下，加法电路419的输出信号是
spdif信号。
[0213]
在图17中示出了av系统30中。例如，将考虑从电视接收器301侧的内容再现电路318输出与卡拉ok的背景演奏对应的midi信号的情况。在这种情况下，基于从内容再现电路318提供的信息，将歌词和乐谱显示在显示器322上。在这种状态下，假设用户朝向麦克风306唱歌并通过在插曲部分中使用midi键盘305执行即兴演奏。
[0214]
在这种情况下，在spdif发送电路314中，生成包括根据用户的演唱的线性pcm信号和midi信号(通过将与背景演奏对应的midi信号与和使用midi键盘305进行的即兴演奏对应的midi信号合成而获得的midi信号)的spdif信号，并且将spdif信号通过高速总线接口313发送至音频放大器302。
[0215]
在这种情况下，在音频放大器302侧，在spdif接收电路354中，通过高速总线接口353从电视接收器301接收spdif信号，并且将包括在spdif中的线性pcm信号和midi信号分离和提取。然后，在midi声源单元356中，基于midi信号获得与背景演奏和即兴演奏的演奏声音对应的线性pcm信号。
[0216]
在音频混合器357中，将与背景演奏和即兴演奏的演奏声音对应的线性pcm信号和由spdif接收电路354提取的与用户的歌唱声音对应的线性pcm信号合成。然后，合成的线性pcm信号由放大器358放大并提供给扬声器系统308。因此，从扬声器系统308获得再现声音，在该再现声音中背景演奏和即兴演奏的演奏声音和用户的歌唱声音被合成。
[0217]
如上所述，在图17所示的av系统30中，从电视接收器301发送至音频放大器302的spdif信号(以子帧为单位连续的信号)包括线性pcm信号(音频信号)和midi信号。因此，可以在无延迟的情况下稳定地执行线性pcm信号和midi信号从电视接收器301到音频放大器302的同时传输，并且可以在音频放大器302中令人满意地执行合成声音的生成和再现。
[0218]
《4.第四实施方式》
[0219]
[游戏系统的配置示例]
[0220]
图21示出了作为第四实施方式的游戏系统60的配置示例。游戏系统60是对游戏内容进行解码并在感测游戏用户的移动的同时进行游戏的系统。
[0221]
除了乐器声源的控制之外，midi信号还应用于混合器控制、照明控制、机器控制等。例如，可以远程控制音量调节器(fader)的值。即，可以在任意的定时处执行特定值的发送和接收，并且可以用于各种传感器的值的发送、热感呈现装置的温度设定等。此外，可以在振动致动器中合成为具有低频率的声音。
[0222]
游戏系统60包括头戴式显示器601和游戏控制台602。麦克风604连接至头戴式显示器601。此外，因特网605连接至游戏控制台602。
[0223]
头戴式显示器601和游戏控制台602经由hdmi线缆603相互连接。头戴式显示器601设置有hdmi端子611，构成通信单元的hdmi接收单元(hdmi rx)612和高速总线接口613连接至该hdmi端子611。游戏控制台602设置有hdmi端子651，构成通信单元的hdmi发送单元(hdmi tx)652和高速总线接口653连接至该hdmi端子651。hdmi线缆603的一端连接至头戴式显示器601的hdmi端子611，并且其另一端连接至游戏控制台602的hdmi端子651。
[0224]“头戴式显示器的配置”[0225]
头戴式显示器601包括hdmi接收单元612、高速总线接口613和spdif发送电路614。此外，头戴式显示器601包括系统控制器615、a/d转换器616、左眼显示器617、右眼显示器
618和立体声耳机619。此外，头戴式显示器601包括：传感器单元620，其包括陀螺仪传感器、加速度传感器、心率传感器、体温传感器、压力传感器等；以及受控单元621，其包括振动致动器、热感呈现装置、力感呈现装置等。
[0226]
系统控制器615控制头戴式显示器601的每个单元的操作。类似于上述av系统30的电视接收器301中的高速总线接口313，高速总线接口613是使用构成hdmi线缆603的备用线和热插拔检测(hpd)线配置的双向通信路径的接口。
[0227]
a/d转换器616将通过由麦克风604收集声音获得的与游戏用户(头戴式显示器601的佩戴者)的话语有关的模拟音频信号转换成线性pcm信号，并将线性pcm信号发送至spdif发送电路614。
[0228]
与上述发送/接收系统10的发送装置101中的spdif发送电路110类似地，spdif发送电路614是用于发送spdif信号(iec 60958标准数字音频传输信号)的电路，并且是符合iec 60958标准的发送电路。
[0229]
类似于spdif发送电路110，spdif发送电路614生成同时包括线性pcm信号和midi信号的spdif信号，并通过高速总线接口613将spdif信号发送至游戏控制台602。此处，spdif信号中包括的线性pcm信号是通过a/d转换器616获得的与游戏用户的话语有关的线性pcm信号。此外，spdif信号中包括的midi信号是由传感器单元620获得的具有各种传感器的检测信号的midi信号。
[0230]
类似于上述av系统30的电视接收器301中的hdmi接收单元312，hdmi接收单元612通过符合hdmi的通信接收通过hdmi线缆603提供给hdmi端子611的图像和音频数据。此处，hdmi接收单元612接收从游戏控制台602发送的3d视频音频信号和midi信号。
[0231]
在这种情况下，包括立体声2通道音频信号(作为音频信号的线性pcm信号)和midi信号的spdif信号(参见图6)被映射到音频样本分组并将其发送。在hdmi接收单元612中，从spdif信号中提取作为控制信息的立体声2通道音频信号和midi信号。
[0232]
将由hdmi接收单元612获得的左眼视频信号发送至左眼显示器617，并且将左眼图像显示在左眼显示器617上。此外，将由hdmi接收单元612获得的右眼视频信号发送至右眼显示器618，并且将右眼图像显示在右眼显示器618上。用户可以从左眼图像和右眼图像感知与游戏内容有关的立体图像。此外，将由hdmi接收单元612获得的立体声2通道音频信号发送至立体声耳机619，并且再现与游戏内容有关的立体声。
[0233]
此外，作为由hdmi接收单元601获得的控制信息的midi信号被发送至受控单元621。在受控单元621中，基于midi信号来控制致动器和装置。因此，赋予游戏用户与游戏内容有关的振动、热感、力感等。
[0234]“游戏控制台的配置”[0235]
游戏控制台602包括hdmi发送单元652、高速总线接口653和spdif接收电路654。此外，游戏控制台602包括游戏控制处理单元655和以太网接口单元656。
[0236]
类似于上述av系统30的音频放大器302中的高速总线接口353，高速总线接口653是使用构成hdmi线缆603的备用线和热插拔检测(hpd)线配置的双向通信路径的接口。以太网接口656经由因特网605与外部服务器(云服务器)通信。例如，以太网接口656从提供游戏服务的云服务器流式传输游戏内容。
[0237]
类似于如上所述的发送/接收/接收系统10的接收装置102中的spdif接收电路
120，spdif接收电路654是用于接收spdif信号的电路并且是符合iec 60958标准的接收电路。
[0238]
spdif接收电路654通过高速总线接口653从电视接收器301接收spdif信号，并且提取并输出spdif信号中包含的线性pcm信号和midi信号。在该实施方式中，线性pcm信号是如上所述的与游戏用户的话语有关的线性pcm信号。此外，midi信号是具有如上所述的各种传感器的检测信号的midi信号。
[0239]
游戏控制处理单元655包括cpu、dsp、gpu等。游戏控制处理单元655对游戏内容进行解码，并且通过参考由spdif接收电路354获得的midi信号和线性pcm信号，生成3d视频音频信号和midi信号。此处，3d视频音频信号包括左眼视频信号、右眼视频信号和立体声2通道音频信号(线性pcm信号)。此外，midi信号是具有用于向游戏用户赋予与游戏内容有关的振动、热感、力感等的控制信号的midi信号。
[0240]
类似于上述av系统30的音频放大器302中的hdmi发送单元352，hdmi发送单元652通过符合hdmi的通信将图像和音频数据从hdmi端子651发送至hdmi线缆603。此处，发送由如上所述的游戏控制处理单元655生成的3d视频音频信号和midi信号。在这种情况下，生成包括立体声2通道音频信号(作为音频信号的线性pcm信号)和midi信号的spdif信号(参见图6)，并且将spdif信号映射到音频采样分组并将其发送。
[0241]
如上所述，在图21所示的游戏系统60中，从头戴式显示器601发送至游戏控制台602的spdif信号(以子帧为单位连续的信号)包括与游戏用户的话语有关的线性pcm信号和具有各种传感器的检测信号的midi信号。因此，可以在无延迟的情况下稳定地执行从头戴式显示器601到游戏控制台602的线性pcm信号和midi信号的同时传输，并且可以在游戏控制台602中令人满意地执行游戏控制处理单元655中的处理。
[0242]
此外，在图21所示的游戏系统60中，从游戏控制台602发送至头戴式显示器601的spdif信号(以子帧为单位连续的信号)包括由游戏控制处理单元655生成的立体声2通道音频信号(作为音频信号的线性pcm信号)和具有用于向游戏用户赋予与游戏内容有关的振动、热感、力感等的控制信号的midi信号。因此，可以在无延迟的情况下稳定地执行从游戏控制台602到头戴式显示器601的线性pcm信号和midi信号的同时传输，并且可以在头戴式显示器601中在无延迟的情况下在同步状态下令人满意地执行赋予游戏用户的音频再现声音以及赋予游戏用户的振动、热感、力感等。
[0243]
《5.修改例》
[0244]
注意，在上述实施方式中，已经描述了以下示例：同轴线缆或光缆，以及另外的hdmi arc或hdmi传输路径被用作iec 60958传输路径；然而，使用另一iec 60958传输路径的配置也是可设想的。例如，还可设想到iec 61883-6传输路径、mhl传输路径、显示端口传输路径(dp传输路径)等用作iec 60958传输路径的示例。同样在这些情况下，将spdif信号(iec 60958信号)映射到音频样本分组(音频样本分组)并沿与视频传输相同的前向方向传输。
[0245]
此外，已经参照附图详细地描述了本公开内容的优选实施方式，但是本公开内容的技术范围不限于这样的示例。明显的是，具有本公开内容的技术领域的普通知识的人员可以在权利要求中描述的技术思想的范围内构思各种修改示例或校正示例，并且应当理解，修改示例或校正示例也属于本公开内容的技术范围。
[0246]
此外，本说明书中描述的效果仅是说明性或示例性的，而不是限制性的。即，连同以上所描述的效果一起或者替换以上所描述的效果，根据本公开内容的技术可以展现出根据本说明书的描述对于本领域技术人员而言明显的其他效果。
[0247]
此外，该技术还可以具有如下配置。
[0248]
(1)一种发送装置，包括：
[0249]
发送单元，其经由预定的传输路径向接收侧发送以预定单位连续的信号，其中，
[0250]
以所述预定单位连续的信号包括：包括音频信号的第一预定单位的信号以及包括midi信号的第二预定单位的信号。
[0251]
(2)根据(1)所述的发送装置，其中，
[0252]
所述预定单位为子帧单位。
[0253]
(3)根据(1)或(2)所述的发送装置，其中，
[0254]
所述音频信号是构成立体声2通道音频信号的线性pcm信号。
[0255]
(4)根据(1)至(3)中任一项所述的生成装置，其中，
[0256]
所述midi信号包括预定长度的分组数据，并且
[0257]
所述预定长度的分组数据被划分成多个，并且通过被包括在多个所述第二预定单位的信号中来发送。
[0258]
(5)根据(4)所述的发送装置，其中，
[0259]
所述预定长度的分组数据为32位、64位、96位或128位的分组数据，并且被划分成每个16位的多个。
[0260]
(6)根据(4)或(5)所述的发送装置，其中，
[0261]
在包括所述midi信号的所述第二预定单位的信号中，所述midi信号插入在低位侧，并且识别信息插入在高位侧，所述识别信息识别插入在所述低位侧的所述midi信号至少是开始的划分数据还是连续的划分数据。
[0262]
(7)根据(6)所述的发送装置，其中，
[0263]
所述识别信息被设置成使得即使在包括所述低位侧的所述midi信号和所述高位侧的识别信息的预定位数的数据被再现为音频数据时，音量也小于或等于预定值。
[0264]
(8)根据(1)至(3)中任一项所述的生成装置，其中，
[0265]
从所述第二预定单位的信号的数据有效载荷区域中的任意位位置插入构成所述midi信号的分组数据，并且在不能将所有所述分组数据插入到所述数据有效载荷区域中的情况下，从下一个第二预定单位的信号的数据有效载荷区域中的第一位位置插入所述分组数据的剩余部分，并发送构成所述midi信号的所述分组数据。
[0266]
(9)根据(1)至(3)中任一项所述的生成装置，其中，
[0267]
构成所述midi信号的一个字节的分组数据被插入到所述第二预定单位的信号中的两个字节的数据有效载荷区域的一个字节区域中并被发送。
[0268]
(10)根据(1)至(3)中任一项所述的生成装置，其中，
[0269]
构成所述midi信号的一个字节的分组数据被插入到所述第二预定单位的信号中的两个字节的数据有效载荷区域的一个字节的区域中，并且另一一个字节的区域被设置为扩展字节区域并被发送。
[0270]
(11)根据(1)至(10)中任一项所述的生成装置，其中，
[0271]
所述第二预定单位的信号包括多个通道的所述midi信号。
[0272]
(12)根据(1)至(11)中任一项所述的发送装置，还包括：
[0273]
信息添加单元，其向以所述预定单位连续的信号添加识别信息，所述识别信息识别所述信号包含包括音频信号的第一预定单位的信号以及包括midi信号的第二预定单位的信号。
[0274]
(13)根据(12)所述的发送装置，其中，
[0275]
所述信息添加单元通过使用为预定数量的所述预定单位中的每一个配置的每个块的预定位区域来添加所述识别信息。
[0276]
(14)根据(1)至(13)中任一项所述的生成装置，其中，
[0277]
所述预定传输路径是同轴线缆、光缆、以太网(iec 61883-6)线缆、hdmi线缆、mhl线缆或显示端口线缆。
[0278]
(15)一种发送方法，包括：
[0279]
经由预定传输路径向接收侧发送以预定单位连续的信号的过程，其中，
[0280]
以所述预定单位连续的信号包括：包括音频信号的第一预定单位的信号以及包括midi信号的第二预定单位的信号。
[0281]
(16)一种接收装置，包括：
[0282]
接收单元，其经由预定传输路径从发送侧接收以预定单位连续的信号，其中，
[0283]
以所述预定单位连续的信号包括：包括音频信号的第一预定单位的信号以及包括midi信号的第二预定单位的信号。
[0284]
(17)根据(16)所述的接收装置，其中，
[0285]
所述音频信号是构成立体声2通道音频信号的线性pcm信号。
[0286]
(18)根据(16)或(17)所述的接收装置，还包括：
[0287]
处理单元，其使用所述音频信号和所述midi信号来执行处理。
[0288]
(19)根据(18)所述的接收装置，其中，
[0289]
所述处理单元将所述音频信号与通过使用midi声源从所述midi信号中获得的音频信号合成，以获得输出音频信号。
[0290]
(20)一种接收方法，包括：
[0291]
经由预定传输路径从发送侧接收以预定单位连续的信号的过程，其中，
[0292]
以所述预定单位连续的信号包括：包括音频信号的第一预定单位的信号以及包括midi信号的第二预定单位的信号。
[0293]
附图标记列表
[0294]
10 发送/接收系统
[0295]
101 发送装置
[0296]
102 接收装置
[0297]
103 传输路径
[0298]
110 spdif发送电路
[0299]
120 spdif接收电路
[0300]
20 声学系统
[0301]
201 具有麦克风输入的midi键盘
[0302]
202 midi声源模块
[0303]
203 传输路径
[0304]
204 麦克风
[0305]
205 放大器
[0306]
206 扬声器系统
[0307]
210 a/d转换器
[0308]
211 键盘单元
[0309]
212 spdif发送电路
[0310]
220 spdif接收电路
[0311]
221 midi声源单元
[0312]
222 音频混合器
[0313]
223 显示单元
[0314]
30 av系统
[0315]
301 电视接收器
[0316]
302 音频放大器
[0317]
303 hdmi线缆
[0318]
304 因特网
[0319]
305 midi线缆
[0320]
306 麦克风
[0321]
307 midi文件存储单元
[0322]
308 扬声器系统
[0323]
309 接收天线
[0324]
311 hdmi端子
[0325]
312 hdmi接收单元
[0326]
313 高速度总线接口
[0327]
314 spdif发送电路
[0328]
315 系统控制器
[0329]
316 用户接口
[0330]
317 数字广播接收电路
[0331]
318 内容再现电路
[0332]
319 音频合成电路
[0333]
320 a/d转换器
[0334]
321 以太网接口
[0335]
322 显示器
[0336]
351 hdmi端子
[0337]
352 hdmi发送单元
[0338]
353 高速度总线接口
[0339]
354 spdif接收电路
[0340]
355 系统控制器
[0341]
356 midi声源单元
[0342]
357 音频混合器
[0343]
358 放大器
[0344]
359 显示单元
[0345]
360 以太网接口
[0346]
60 游戏系统
[0347]
601 头戴式显示器
[0348]
602 游戏控制台
[0349]
603 hdmi线缆
[0350]
604 麦克风
[0351]
605 因特网
[0352]
611 hdmi端子
[0353]
612 hdmi接收单元
[0354]
613 高速度总线接口
[0355]
614 spdif发送电路
[0356]
615 系统控制器
[0357]
616 a/d转换器
[0358]
617 左眼显示器
[0359]
618 右眼显示器
[0360]
619 立体声耳机
[0361]
620 传感器单元
[0362]
621 受控单元
[0363]
651 hdmi端子
[0364]
652 hdmi发送单元
[0365]
653 高速总线接口
[0366]
654 spdif接收电路
[0367]
655 游戏控制处理单元
[0368]
656 以太网接口