操作设备的制作方法

1.本发明涉及具有麦克风的操作设备和音频信号处理方法。


背景技术：

2.一些接收用户操作输入的操作设备包括收集诸如用户语音的声音的麦克风。在一些情况下，这种操作设备对麦克风收集的音频信号执行噪声去除处理，以便去除噪声。


技术实现要素：

3.[技术问题]
[0004]
要经受噪声去除处理的噪声可以包括从操作设备本身产生的噪声，诸如由用户在操作设备中包括的操作构件上执行的操作产生的操作声音，或者由操作设备中内置的振动机构或其他机构的操作产生的机械声音。还没有进行充分的研究来确定如何消除由操作设备本身产生的这种噪音。
[0005]
鉴于上述情况，做出了本发明。本发明的目的是提供一种操作设备和音频信号处理方法，其能够从麦克风收集的音频信号中有效地去除由操作设备本身产生的噪声。
[0006]
[问题的解决方案]
[0007]
根据本发明的操作设备包括交互构件、麦克风、控制电路和音频信号处理电路。交互构件用于与用户交互。控制电路周期性地获取指示交互构件的动作状态的扫描数据。音频信号处理电路执行从麦克风收集的收集的音频信号中去除噪声的噪声去除处理。控制电路周期性地将先前获取的扫描数据传输到音频信号处理电路。音频信号处理电路通过使用从控制电路传输的扫描数据来执行噪声去除处理。
[0008]
根据本发明的音频信号处理方法由包括交互构件、麦克风、控制电路和音频信号处理电路的操作设备执行。交互构件用于与用户交互。音频信号处理电路执行从麦克风收集的收集的音频信号中去除噪声的噪声去除处理。该音频信号处理方法包括使控制电路周期性地获取指示交互构件的动作状态的扫描数据的步骤，使控制电路周期性地将先前获取的扫描数据传输到音频信号处理电路的步骤，以及通过使用从控制电路传输的扫描数据使音频信号处理电路执行噪声去除处理的步骤。
附图说明
[0009]
图1是图示包括根据本发明实施例的操作设备的音频信号处理系统的总体配置的图。
[0010]
图2是图示根据本发明实施例的操作设备的示例性外观的图。
[0011]
图3是图示在控制电路和音频信号处理电路之间传输和接收的数据的示例的图。
[0012]
图4是图示噪声生成信息的示例的图。
[0013]
图5是图示设备噪声和在倾斜操作构件上执行的用户操作之间的关系的图。
[0014]
图6是图示由根据本发明第二实施例的操作设备执行的处理的示例的图。
具体实施方式
[0015]
现在将参照附图详细描述本发明的实施例。
[0016]
[第一实施例]
[0017]
图1是图示包括根据本发明第一实施例的操作设备10的音频信号处理系统1的总体配置的图。图2是图示操作设备10的示例性外观的图。如图1和2所示，音频信号处理系统1包括操作设备10和信息处理装置50。在第一实施例中，假设操作设备10和信息处理装置50通过基于例如蓝牙(注册商标)标准的无线通信来传输和接收数据。尽管这里假设通过无线通信传输和接收数据，但是这不是限制性的，并且操作设备10和信息处理装置50可以可替换地基于例如通用串行总线(usb)标准彼此连接用于有线通信。
[0018]
操作设备10例如是用于家用视频游戏控制台的控制器等，并且包括控制电路11、音频信号处理电路12、扬声器13、耳机端子14、麦克风15、多个操作构件16、振动机构17和力觉呈现机构18。
[0019]
控制电路11是微处理器等，并且被配置为执行控制操作设备10的各个部分的处理。更具体地，根据从信息处理装置50接收的控制命令，控制电路11输出用于操作例如振动机构17和力觉呈现机构18的控制信号。此外，控制电路11周期性地扫描每个操作构件16的状态，以识别由用户执行的操作，并将指示所识别的操作的操作信号传输到信息处理装置50。
[0020]
此外，控制电路11从信息处理装置50接收再现音频信号，并将接收到的再现音频信号传输到音频信号处理电路12。此外，控制电路11从音频信号处理电路12接收收集的音频信号，并将接收的收集的音频信号传输到信息处理装置50。为了允许这种音频信号的传输和接收，控制电路11和音频信号处理电路12基于诸如ic间声音(i2s)的接口标准相互连接以进行数据通信。
[0021]
音频信号处理电路12是数字信号处理器等，并且被配置为对数字音频信号执行各种信号处理。更具体地，音频信号处理电路12使扬声器13或连接到耳机端子14的耳机发出从控制电路11接收的再现音频信号。此外，音频信号处理电路12对由麦克风15收集的收集的音频信号执行必要的音频信号处理，并将所得到的音频信号传输到控制电路11。特别地，在本实施例中，音频信号处理电路12通过使用从控制电路11接收的信息对收集的音频信号执行噪声去除处理。稍后将详细描述噪声去除过程。
[0022]
扬声器13基于从音频信号处理电路12输出的再现音频信号再现声音。耳机可以连接到耳机端子14。在耳机连接到耳机端子14的情况下，音频信号处理电路12能够基于来自耳机而不是扬声器13的再现音频信号来再现声音。
[0023]
麦克风15收集操作设备10周围的声音，例如操作设备10的用户发出的声音。应当注意，麦克风15可以是由多个麦克风元件形成的麦克风阵列。
[0024]
多个操作构件16是用于与用户交互的一种构件，并且被配置为接收来自用户的操作输入。操作构件16可以包括各种构件。在本实施例中，假设操作构件16包括多个按钮16a、能够检测压下量的多个触发按钮16b、以及为了操作目的由用户倾斜的多个倾斜操作构件16c。
[0025]
按钮16a是用户为了操作目的而按下的构件。触发按钮16b是类似于按钮16a的构件，因为它们由用户按下用于操作目的。然而，触发按钮16b被配置为使得按压量(操作量)
可以被测量为数值。因此，即使当例如用户保持少量按压触发按钮16b或者快速地一直按压触发按钮16b时，也可以识别所执行的按压操作的细节。
[0026]
倾斜操作构件16c是从操作设备10的表面突出的构件，并且被配置成由用户为了操作目的而在任何方向上倾斜360度。控制电路11检测倾斜操作构件16c的倾斜方向和程度。换句话说，倾斜操作构件16c也以这样的方式配置，使得倾斜量可以作为用户的操作量来测量。此外，用户能够通过移动倾斜操作构件16c来执行用于指定方向的操作输入。
[0027]
振动机构17是用于与用户交互的构件之一。更具体地，振动机构17是用于产生振动的装置，并且可以是诸如音圈马达的各种装置。当振动机构17根据来自控制电路11的指令产生振动时，所产生的振动被传递到抓握操作设备10的用户的手。应当注意，操作设备10可以包括多个振动机构17。在这种情况下，包括在操作设备10中的多个振动机构17可以是不同类型的。
[0028]
力觉呈现机构18是用于与用户交互的构件之一。更具体地，力觉呈现机构18是例如当用户在操作构件16上执行操作时向用户呈现力觉的设备。在本实施例中，力觉呈现机构18连接到触发按钮16b，并且假设在用户执行按压触发按钮16b的操作的情况下，力觉呈现机构18呈现朝向与按压触发按钮16b的方向相反的方向的力觉。
[0029]
此外，在本实施例中，假设根据来自控制电路11的指令，力觉呈现机构18能够基于触发按钮16b的操作量(按压量)来控制力觉的呈现。换句话说，力觉呈现机构18可以相应地进行控制，以便例如仅当触发按钮16b的操作量在给定值范围内时向用户呈现力觉，或者在触发按钮16b的操作量超过给定阈值的情况下终止正在进行的力觉呈现。
[0030]
信息处理装置50例如是家用视频游戏控制台、个人计算机等，并且被配置为通过使用从操作设备10接收的操作信号或音频信号来执行各种处理。此外，信息处理装置50向操作设备10传输用于操作振动机构17或力觉呈现机构18的控制命令和用于例如从扬声器13发出声音的再现音频信号。
[0031]
现在将描述对由麦克风15收集的收集的音频信号执行的噪声去除处理。如前所述，音频信号处理电路12对由麦克风15收集的收集的音频信号执行噪声去除处理，并将已经经历噪声去除处理的收集的音频信号传输到控制电路11。收集的音频信号进一步由控制电路11传输到信息处理装置50，并用于各种处理。
[0032]
收集的音频信号可能包括由操作设备10自身产生的噪声。更具体地，用于与用户交互的每个构件，例如操作构件16、振动机构17和力觉呈现机构18，可能在它们与用户交互时产生噪声。这种噪声可以包括由用户在操作构件16上执行的操作产生的噪声(例如，当按钮16a被按下时产生的声音)和由诸如振动机构17和力觉呈现机构18的各种机构的操作产生的噪声。由操作设备10自身产生的这种噪声在下文中被称为设备噪声。
[0033]
在假设操作设备10产生设备噪声的情况下，控制电路11能够通过使用例如操作构件16的扫描结果或输出到各种机构的控制信号来掌握情况。因此，在本实施例中，控制电路11确定用于与用户交互的每个成员的动作状态是否满足给定的确定标准，基于确定的结果输出噪声生成信息，并将噪声生成信息传输到音频信号处理电路12。给定的确定标准是关于设备噪声是否被假设为由充当噪声源的上述构件产生的条件。稍后将描述这种确定标准的具体示例。控制电路11确定是否满足每个预定的确定标准。在确定满足任何一个确定标准的情况下，控制电路11向音频信号处理电路12传输指示满足一个确定标准的噪声生成信
息。此外，在不满足确定标准的情况下，控制电路11可以传输指示不满足确定标准的噪声生成信息。如上所述进行控制使得可以向音频信号处理电路12通知设备噪声产生的定时和设备噪声的类型。通过使用从控制电路11接收的噪声生成信息，音频信号处理电路12基于假设产生的设备噪声来执行噪声去除处理。这进一步提高了噪声去除的精度。
[0034]
图3是示意性图示在控制电路11和音频信号处理电路12之间传输和接收的数据的时序图。图3的上部图示了同步信号。在基于同步信号的定时，在控制电路11和音频信号处理电路12之间交换音频数据。同步信号的周期可以基于传输和接收的音频信号的采样率来决定。
[0035]
图3的中间部分图示了从音频信号处理电路12传输到控制电路11的音频数据的内容。如图3所示，音频信号处理电路12向控制电路11传输已经经历了包括噪声去除处理的各种音频信号处理的所收集的音频信号的数据。这里，假设收集的音频信号是双声道立体声音频数据，并且根据同步信号交替传输声道1上收集的音频信号和声道2上收集的音频信号。
[0036]
图3的下部图示了从控制电路11传输到音频信号处理电路12的数据内容。如图3所示，控制电路11向音频信号处理电路12传输从信息处理装置50接收的再现音频信号的数据。这里，假设再现音频信号是单声道单声音频数据。因此，要传输的再现音频信号的数据量比收集的音频信号的情况少一个通道。因此，假设控制电路11使用产生的未被占用的信道来传输包括上述噪声生成信息的数据。更具体地，控制电路11交替地传输单声道再现音频信号和噪声生成信息。如上所述实施控制使得有可能通过使用诸如i2s的用于音频信号传输的通信标准来周期性地向音频信号处理电路12通知噪声生成信息，而无需提供单独的通信信道。
[0037]
应当注意，控制电路11不需要以等于同步信号的重复周期的时间间隔来更新噪声生成信息的内容。控制电路11可以以更长的时间间隔更新噪声生成信息的内容，并且在噪声生成信息的内容被更新的定时传输噪声生成信息。此外，控制电路11可以仅在噪声生成信息的内容由于更新而改变的情况下传输噪声生成信息的内容，并且可以在噪声生成信息的内容没有改变的情况下抑制传输噪声生成信息。在这种情况下，音频信号处理电路12在接收新的噪声生成信息之前，基于先前接收的噪声生成信息的内容执行噪声去除处理。此外，控制电路11不需要以等于同步信号的重复周期的时间间隔同时传输全部噪声生成信息。相反，控制电路11可以将噪声生成信息划分成给定大小的段，并一个接一个地传输所得的段。
[0038]
现在将描述噪声生成信息的详细内容和用于决定噪声生成信息的内容的确定标准的具体示例。图4图示了从控制电路11输出并传送到音频信号处理电路12的噪声生成信息中包括的信息的具体示例。如图4所示，噪声生成信息可以包括基于对各个操作构件16的操作输入的操作状态信息。此外，噪声生成信息可以包括基于包括在操作设备16中的各种机构中的每一个的动作状态的动作状态信息。
[0039]
操作状态信息指示关于用户是否执行了操作输入的确定结果。操作状态信息可以包括指示哪个操作构件16被操作的信息。此外，操作状态信息可以包括基于关于在特定操作构件16上执行的操作的确定结果的信息。
[0040]
更具体地，操作状态信息可以包括按钮操作信息。按钮操作信息指示检测到用户
对按钮16a的按压。按钮操作信息可以包括指示多个按钮16a中的哪一个被按下的信息。原因是由麦克风15收集的设备噪声的幅度和频率被假设为根据按钮16a的类型和位置而变化。
[0041]
从按钮16a产生的设备噪声可能在按钮16a被按下的时刻产生。可以想象，在用户按下按钮16a时或者在用户从按钮16a上松开他/她的手指时，不产生设备噪声。因此，在检测到用户按下保持未按下的按钮16a的情况下，控制电路11可以向音频信号处理电路12通知指示检测到按下的按钮16a的按钮操作信息，并且随后即使在检测到按钮16a保持按下的情况下，也可以避免向音频信号处理电路12通知按钮操作信息。
[0042]
操作状态信息可以包括触发按钮操作信息。触发按钮操作信息指示设备噪声是由用户在触发按钮16b上执行的操作产生的。这里，在用户在触发按钮16b上执行的操作量满足给定确定标准的情况下，控制电路11可以向音频信号处理电路12通知指示满足给定确定标准的噪声生成信息。
[0043]
与按钮操作信息的情况一样，假设特别是在触发按钮16b的可移动部分被完全按下的时刻产生设备噪声。当触发按钮16b的可移动部分被按下最大量时，触发按钮16b与操作设备10中的限制构件碰撞，以防止可移动部分被进一步按下。在这种碰撞的时刻，产生碰撞声。因此，控制电路11可以确定触发按钮16b的操作量是否已经达到最大值或者已经超过最大值附近的给定阈值，并且在满足这种确定标准的时刻，可以向音频信号处理电路12通知指示满足这种确定标准的触发按钮操作信息。
[0044]
此外，操作状态信息可以包括倾斜操作构件操作信息。倾斜操作构件操作信息指示设备噪声是由用户在倾斜操作构件16c上执行的操作产生的。倾斜操作构件操作信息还可以指示在倾斜操作构件16c上执行的用户操作量满足给定的确定标准。
[0045]
特别地，在本实施例中，在倾斜操作构件16c在特定方向上倾斜到最大的情况下，倾斜操作构件16c被假定为与限制构件碰撞以防止进一步的操作并产生装置噪音。因此，在确定倾斜操作构件16c被操作以到达它们可能与限制构件碰撞的区域的情况下，控制电路11传输指示倾斜操作构件16c被操作以到达这样的区域的倾斜操作构件操作信息。
[0046]
如前所述，在本实施例中，倾斜操作构件16c可以被操作成在任何方向上倾斜360度。用户当前操作的倾斜操作构件16c的位置由二维位置坐标识别。图5是图示设备噪声和在倾斜操作构件16c上执行的操作之间的关系的图。图5表示二维位置坐标可以取的值的范围。二维位置坐标的坐标空间的中心o表示没有被用户操作的倾斜操作构件16c的位置(中间位置)。因此，检测位置距中心o的方向和距离指示由用户倾斜的倾斜操作构件16c的倾斜方向和程度。
[0047]
这里，倾斜操作构件16c的移动范围(操作范围)被形状为圆形并且围绕倾斜操作构件16c设置的限制构件限制。因此，要检测的位置坐标被限制在图5中圆圈c所示的范围内。在倾斜操作构件16c的检测位置沿着圆c的圆周的情况下，这意味着倾斜操作构件16c倾斜到最大程度并且与限制构件接触。由倾斜操作构件16c产生的设备噪声主要是当倾斜到最大程度的倾斜操作构件16c与限制构件碰撞时产生的碰撞声。因此，仅在假定产生碰撞声的情况下，控制电路11可以向音频信号处理电路12传输指示假定倾斜操作构件16c产生碰撞声的倾斜操作构件操作信息。
[0048]
更具体地，在例如确定倾斜操作构件16c的检测位置在图5中阴影的外周区域a内
的情况下，控制电路11应该向音频信号处理电路12通知这种确定。原因在于，尽管当倾斜操作构件16c位于外周区域a内时，倾斜操作构件16c可能与限制构件碰撞并产生设备噪声，但是在倾斜操作构件16c位于外周区域a之外(位于中心o附近)的情况下，在操作构件16c和限制构件之间没有碰撞的可能性，因此，不需要考虑由碰撞产生的设备噪声。外周区域a是距中心o的距离大于阈值dth的区域。换句话说，在本示例中，在倾斜操作构件16c的操作量大于阈值dth的情况下，控制电路11传输指示可能产生噪声的倾斜操作构件操作信息。在满足这些条件的定时传输倾斜操作构件操作信息，因此音频信号处理电路12能够对在由于碰撞而产生设备噪声的精确定时收集的所收集的音频信号执行适合于设备噪声的噪声去除处理。
[0049]
此外，在除了上述关于操作量的确定标准之外，操作速度满足给定的确定标准的情况下，控制电路11可以传输指示可能产生噪声的信息。在用户缓慢操作倾斜操作构件16c的情况下，即使倾斜操作构件16c的操作量超过阈值dth，也不太可能由于与限制构件的碰撞而产生显著的噪声。此外，在倾斜操作构件16c与限制构件碰撞并停止之后，由于碰撞而产生的噪音不会发生。因此，例如，在操作速度不高于阈值vth的情况下，控制电路11可以抑制传输指示可能产生噪声的倾斜操作构件操作信息，并且可以仅在检测到操作量超过阈值dth而操作速度超过阈值vth的情况下传输倾斜操作构件操作信息。这使得可以基于实际噪声生成来执行噪声去除处理。
[0050]
应当注意，在操作量超过阈值dth并且操作速度没有超过阈值vth的情况下，可能产生不同于碰撞声的噪声，例如当倾斜操作构件16c摩擦限制构件时产生的刮擦声。因此，控制电路11可以向音频信号处理电路12通知指示这种状态的倾斜操作构件操作信息。在这种情况下，音频信号处理电路12根据音频信号处理电路12已经被通知的倾斜操作构件操作信息的内容，执行不同类型的噪声去除处理。这使得可以执行更有效的噪声去除处理。
[0051]
这里，倾斜操作构件16c的操作速度可以通过识别在最近的预定时间段期间倾斜操作构件16c的位置的移动量来计算。例如，控制电路11基于通过先前进行的多次采样发现的位置变化，计算最近预定时段期间的移动量作为操作速度。这使得可以确定运行速度是否超过阈值vth。
[0052]
此外，基于操作方向(倾斜操作构件16c的位置的移动方向)，控制电路11可以改变要通知的倾斜操作构件操作信息的内容。例如，即使操作量超过阈值dth并且倾斜操作构件16c位于限制构件附近，在倾斜操作构件16c的位置朝向中心o移动的情况下，倾斜操作构件16c也不会被认为与限制构件碰撞或摩擦而产生噪声。因此，控制电路11可以仅在确定倾斜操作构件16c的最近移动方向朝向圆周方向(朝向限制构件的方向)的情况下，传输指示可能产生噪声的倾斜操作构件操作信息。
[0053]
现在将描述动作状态信息的具体例子。动作状态信息可以包括振动机构动作信息。振动机构动作信息指示振动机构17的动作状态的确定结果。当振动机构17工作时，其工作声音被认为是作为设备噪声产生的。因此，当开始输出用于操作振动机构17的控制信号时，控制电路11向音频信号处理电路12传输指示振动机构17在这种控制信号输出的定时开始操作的振动机构动作信息。此外，在振动机构17的操作停止的时刻，控制电路11传输指示振动机构17的操作停止的振动机构动作信息。
[0054]
应当注意，在操作设备10中内置多个振动机构17的情况下，振动机构动作信息可
以包括指示哪个振动机构17正在操作的信息。此外，振动机构动作信息可以包括指示振动细节的信息，诸如控制电路11使振动机构17产生的振动的强度和频率。原因在于，例如，包括在所收集的音频信号中的设备噪声的幅度和频率被假设为根据用于振动产生的振动机构17的类型、振动机构17在操作设备10中的位置以及要产生的振动的细节而变化。
[0055]
此外，动作状态信息可以包括力觉呈现机构动作信息。力觉呈现机构动作信息指示力觉呈现机构18的动作状态的确定结果。如前所述，在本实施例中，力觉呈现机构18响应于用户在触发按钮16b上执行的操作来呈现力觉。因此，即使当控制电路11从信息处理装置50接收到用于控制力觉呈现机构18的操作的指令时，力觉呈现机构18也不会立即开始呈现力觉。相反，在用户在触发按钮16b上执行的操作满足给定操作条件的情况下，力觉呈现机构18开始操作以呈现力觉。因此，作为对触发按钮16b上执行的用户操作的扫描结果，在确定满足用于操作力觉呈现机构18的条件之后，在控制电路11实际上使力觉呈现机构18呈现力觉的时刻，控制电路11向音频信号处理电路12传输指示力觉呈现机构18呈现力觉的力觉呈现机构动作信息。此外，在力觉呈现机构18的力觉呈现被终止的情况下，控制电路11传输指示力觉呈现机构18的力觉呈现被终止的力觉呈现机构动作信息。此外，控制电路11可以在力觉呈现机制操作中包括要呈现的力觉的细节(例如，力觉的强度)。
[0056]
音频信号处理电路12接收包括上述内容的噪声生成信息，并基于该内容改变要应用于所收集的音频信号的噪声去除处理的细节。更具体地，当没有接收到指示设备噪声产生的噪声生成信息时，音频信号处理电路12执行与设备噪声无关的正常噪声去除处理。在音频信号处理电路12已经接收到指示按钮16a的按下的噪声生成信息的情况下，音频信号处理电路12对在这种噪声生成信息接收的定时获取的收集的音频信号执行噪声去除处理，以降低将由按钮16a产生的噪声。类似地，在音频信号处理电路12已经接收到指示触发按钮16b的最大按压的噪声生成信息的情况下，音频信号处理电路12执行降低将由触发按钮16b产生的噪声的噪声去除处理。此外，在音频信号处理电路12已经接收到指示倾斜操作构件16c的最大倾斜的噪声生成信息的情况下，音频信号处理电路12执行噪声去除处理，该噪声去除处理减小由倾斜操作构件16c和限制构件之间的碰撞产生的噪声。
[0057]
此外，在音频信号处理电路12已经接收到指示振动机构17正在操作的噪声生成信息的情况下，音频信号处理电路12执行降低将由振动机构17产生的噪声的噪声去除处理。在音频信号处理电路12已经接收到指示力觉呈现机构18正在操作的噪声生成信息的情况下，音频信号处理电路12执行降低力觉呈现机构18产生的噪声的噪声去除处理。如上所述，通过使用在假设发生设备噪声产生的时刻从控制电路11传输的噪声生成信息，音频信号处理电路12能够实时执行适合于要产生的设备噪声的噪声去除处理。
[0058]
如上所述，根据本实施例的操作设备10能够有效地去除将由操作设备10自身产生的设备噪声。
[0059]
应当注意，本发明的实施例不限于上述实施例。例如，前面的描述假设操作设备10是用于家用视频游戏控制台的控制器。然而，操作设备10不限于这种控制器，而是可以替代地是包括麦克风和由用户操作的操作构件的各种设备。
[0060]
此外，前面的描述假设操作设备10包括三种类型的操作构件16，即，按钮16a、触发按钮16b和倾斜操作构件16c。然而，操作设备10可以另外包括触摸板和各种其他操作构件16。在这些操作构件16在被用户操作时可能产生噪声的情况下，以类似于先前描述的方式，
控制电路11向音频信号处理电路12传输指示接收到在操作构件16上执行的操作的操作构件操作信息。此外，除了振动机构17和力觉呈现机构18之外，操作设备10可以包括可能产生噪声的各种机构。在这种情况下，同样，在控制电路11操作这种附加机构的情况下，控制电路11向音频信号处理电路12传输指示这种附加机构的状态的动作状态信息。这使得音频信号处理电路12能够执行适当的噪声去除处理。
[0061]
[第二实施例]
[0062]
在根据本发明第一实施例的上述操作设备10被确定为处于可能发生噪声产生的操作状态的情况下，假设控制电路11输出指示这种操作状态的噪声生成信息，并且向音频信号处理电路12通知噪声生成信息。换句话说，假设控制电路11执行确定操作设备10是否处于可能发生噪声产生的操作状态的噪声产生确定过程。然而，本发明的实施例不限于这样的实施例。现在将通过解释由音频信号处理电路12执行噪声生成确定处理的模式来描述根据本发明第二实施例的操作设备。应当注意，在整个音频信号处理系统的硬件配置方面，第二实施例可以类似于已经参考图1和图2描述的第一实施例。因此，第二实施例中的各种系统组件由与第一实施例中相同的附图标记表示。
[0063]
在第二实施例中，控制电路11周期性地扫描操作设备10的每个构件的操作状态，并且周期性地将指示扫描结果的信息(扫描数据)传输到信息处理装置50。此外，控制电路11也在预定的定时将扫描数据传输到音频信号处理电路12。基于从控制电路11接收的扫描数据，音频信号处理电路12确定操作设备10是否处于可能发生噪声产生的状态，并且基于确定的结果输出噪声生成信息。换句话说，在第二实施例中，音频信号处理电路12执行由根据前述实施例的控制电路11执行的噪声产生确定处理，并且输出指示噪声产生确定处理的结果的噪声生成信息。随后，与第一实施例的情况一样，根据从音频信号处理电路12输出的噪声生成信息，音频信号处理电路12改变要由其自身执行的噪声去除处理的细节。换句话说，在第二实施例中，音频信号处理电路12行使噪声去除部分的功能和输出部分的功能。
[0064]
现在将参考图6的时序图描述根据第二实施例的控制电路11和音频信号处理电路12执行的处理的具体示例。
[0065]
在本实施例中，控制电路11在每次经过预定时间t1时扫描每个操作构件16的状态，并且将结果数据作为一条扫描数据记录在控制电路11中内置的缓冲存储器中。时间t1是执行扫描过程的时间间隔。扫描数据包括指示用于与用户交互的每个成员的动作状态的数据，该成员包括在操作设备10中。更具体地，扫描数据包括指示用户在每个操作构件16上执行的操作的操作信息，诸如指示按钮16a是否被按下、触发按钮16b被按下的程度以及倾斜操作构件16c的倾斜方向和程度的操作信息。此外，扫描数据可以包括指示要由控制电路11控制的每个构件的动作状态的信息，例如振动机构17和力觉呈现机构18。
[0066]
控制电路11使缓冲存储器不仅记录最新的扫描数据，而且记录通过最后n次扫描处理获得的n条扫描数据。当在记录n条扫描数据的同时执行扫描处理时，控制电路11不仅在缓冲存储器中记录最新的扫描数据，而且从缓冲存储器中删除最早的扫描数据。
[0067]
在每次经过预定时间t2时，控制电路11向信息处理装置50传输最新的扫描数据。时间t2是扫描数据被传输到信息处理装置50的时间间隔，并且优选地等于或长于时间t1。通过参考从操作设备10中的控制电路11接收的扫描数据，信息处理装置50能够掌握操作设备10的状态，并且基于用户的操作和操作设备10中的每个部分的动作状态来执行处理。
[0068]
应当注意，在时间t2长于时间t1的情况下，由控制电路11周期性记录的所有扫描数据并不总是被传输到信息处理装置50。在一些情况下，取决于记录的定时，一些扫描数据没有被传输到信息处理装置50。然而，控制电路11总是传输最新的扫描数据(即，最近获取的扫描数据)。因此，信息处理装置50能够基于操作设备10的最新状态执行处理。
[0069]
同时，响应于来自音频信号处理电路12的请求，控制电路11同时向音频信号处理电路12提供记录在控制电路11中内置的缓冲存储器中的多条扫描数据。更具体地，在基于从音频信号处理电路12接收的传输请求确定的定时，控制电路11将多条扫描数据写入音频信号处理电路12中的缓冲存储器。稍后将详细描述传输请求。在本示例中，要写入音频信号处理电路12的扫描数据是在作为最后写入的目标的扫描数据之后获取的整个扫描数据。例如，可以通过基于串行外围接口(spi)标准的通信来实现从控制电路11到音频信号处理电路12的这种写入。
[0070]
音频信号处理电路12连续执行收集的音频信号获取处理，通过使用模数(ad)转换器将麦克风15收集的模拟音频信号转换为数字音频信号，并获取转换结果作为收集的音频信号数据。然后，在每次经过预定时间t3时，音频信号处理电路12对先前获取的具有时间长度t3的收集的音频信号数据执行回声消除处理。时间t3是执行回声消除处理的时间间隔。
[0071]
此外，在每次经过预定时间t4时，音频信号处理电路12对已经执行了回声消除处理的收集的音频信号数据执行噪声去除处理。时间t4是执行噪声去除处理的时间间隔。这里，假设时间长度t4是时间长度t3的两倍，并且音频信号处理电路12对已经经历了两次先前回声消除处理的收集的音频信号数据执行单次噪声去除处理。尽管这里假设时间t4比时间t3长，但是时间t4和时间t3可以在长度上相等。
[0072]
此外，在执行噪声去除处理的定时，音频信号处理电路12另外请求控制电路11传输下一扫描数据。在本实施例中，假设通过在输出到通用输入/输出(gpio)信号线(以下称为控制信号线)的电压的高(h)和低(l)电平之间切换来做出该传输请求。换句话说，音频信号处理电路12通过在每次经过预定时间t4时执行噪声去除处理并在噪声去除处理期间改变控制信号线的输出电压，向控制电路11发出扫描数据传输请求。在检测到控制信号线的输出电压的变化时，控制电路11将迄今为止获取的未传输扫描数据写入音频信号处理电路12中的缓冲存储器，如前所述。因此，控制电路11以时间t4的间隔周期性地执行将扫描数据写入音频信号处理电路12的写入处理。
[0073]
在本实施例中，假设音频信号处理电路12保留要写入扫描数据的两个存储区域，并且控制电路11交替地将扫描数据写入这两个存储区域。这确保了从控制电路11传输的最后两条扫描数据被恒定地记录在音频信号处理电路12中。更具体地，假设在音频信号处理电路12中保留了两个存储区域，即缓冲器b1和缓冲器b2。当控制信号线的输出电压从l变为h时，控制电路11将扫描数据写入缓冲器b1，并且当控制信号线的输出电压从h变为l时，将扫描数据写入缓冲器b2。在这种情况下，记录在写入目的地的缓冲器中的旧扫描数据被重写并删除。在上述配置中，通过改变单个控制信号线的输出电压，音频信号处理电路12不仅能够请求控制电路11写入新的扫描数据，还能够指定控制电路11使用的下一个写入目的地缓冲器。
[0074]
如前所述，控制电路11同时向音频信号处理电路12传输在最后一次扫描数据传输之后获取的多条扫描数据。这里，作为具体示例，假设时间t1(执行扫描处理的时间间隔)是
1ms，并且时间t4(执行噪声去除处理的时间间隔)是10.66ms。时间长度t4等于以24khz的采样率对256个音频信号样本进行采样所需的时间长度。在本示例中，在时间t4流逝期间，扫描过程被执行十次或十一次。因此，控制电路11同时向音频信号处理电路12传输十条或十一条扫描数据。结果，十或十一条扫描数据被存储在音频信号处理电路12内的缓冲器b1和b2的每一个中。
[0075]
当执行噪声去除处理时，音频信号处理电路12响应于作为最后执行的噪声去除处理的结果而发出的传输请求，使用已经由控制电路11写入的扫描数据。更具体地，首先，音频信号处理电路12从缓冲器b1和缓冲器b2中除了当前被指定为写入目的地的缓冲器(即，从在最后噪声去除处理时被指定为写入目的地的缓冲器)之外的缓冲器读取由控制电路11最后写入的十条或十一条扫描数据。
[0076]
随后，基于读取的扫描数据，音频信号处理电路12执行确定操作设备10是否处于假设发生噪声产生的动作状态的噪声产生确定处理，并且输出确定结果作为噪声生成信息。然后，基于由输出的噪声生成信息确定的细节，音频信号处理电路12执行噪声去除处理。上述噪声产生确定过程可以类似于第一实施例中由控制电路11执行的过程。此外，基于噪声生成信息的噪声去除处理可以类似于第一实施例中由音频信号处理电路12执行的处理。
[0077]
更具体地，音频信号处理电路12例如比较包括在两条时间上连续的扫描数据中的操作信息的内容，以便确定未按下的按钮16a是否已经开始被按下。在某一时刻的扫描数据指示某一按钮16a未被按下，但是在下一时刻获取的扫描数据指示按钮16a被按下的情况下，确定在获取扫描数据的时刻按钮16a被按下。在这种情况下，在该时刻按下按钮16a可能会产生噪声。因此，当在与获取读取扫描数据的时间段相对应的时间段执行噪声去除处理时，音频信号处理电路12执行噪声去除处理，该噪声去除处理能够通过使用例如适合于按下按钮16a所产生的噪声的滤波器来去除噪声。
[0078]
此外，在获取的扫描数据指示触发按钮16b的操作量超过了预定阈值dth的情况下，假设音频信号处理电路12输出指示触发按钮16b的操作量超过了预定阈值dth的噪声生成信息，并且基于输出的噪声生成信息执行噪声去除处理。类似地，在获取的扫描数据指示倾斜操作构件16c被操作以到达图5所示的外周区域a的情况下，音频信号处理电路12确定噪声可能由倾斜操作构件16c生成，并且根据基于该确定生成的输出来执行噪声去除处理。此外，在所获取的扫描数据指示振动机构17或力觉呈现机构18正在动作的情况下，音频信号处理电路12可以基于所获取的扫描数据执行噪声去除处理。
[0079]
下面描述在特定时间点tx按下按钮16a的情况下由控制电路11和音频信号处理电路12执行的处理流程。应当注意，在图6中，阴影部分表示对紧接在时间点tx之后获取的扫描数据和在包括时间点tx的时间段期间获取的收集的音频信号数据执行的处理。然而，缓冲器b1的阴影部分表示用于处理的扫描数据被记录在缓冲器b1中的时段。
[0080]
当在时间点tx按下按钮16a时，在按钮16a被按下之后立即执行的扫描处理p1中产生指示按钮16a被按下的扫描数据。
[0081]
同时，如前所述，音频信号处理电路12连续执行收集的音频信号获取过程。这里，假设在经过时间t3之后，每次以24khz的采样速率获取128个音频信号数据样本时，音频信号处理电路12对所收集的音频信号数据执行回声消除处理。然而，音频信号处理电路12不
立即对最近获取的收集的音频信号数据执行回声消除处理，而是以等于时间t4(即，等于执行稍后描述的噪声去除处理的一个时间间隔)的延迟来执行回声消除处理。换句话说，在每次经过时间t3时，音频信号处理电路12对先前在相当于时间t4的时段期间获取的收集的音频信号数据执行回声消除处理。
[0082]
因此，在时间点t1和时间点t2之间的时段(该时段包括时间点tx)期间执行收集的音频信号收集处理p2之后，音频信号处理电路12对先前在比上述时段早时间t4的时段期间收集的收集的音频信号数据执行回声消除处理p3。当回声消除处理p3在时间t3终止时，音频信号处理电路12然后对已经作为回声消除处理的目标两次的收集的音频信号数据执行噪声去除处理p4。在这种情况下，音频信号处理电路12通过使用存储在缓冲器b2中的扫描数据来执行噪声产生确定处理，并且根据噪声产生确定处理的结果来改变噪声去除处理的细节。此外，在噪声去除处理p4期间，音频信号处理电路12请求控制电路11通过将控制信号线的输出电压从l变为h来传输扫描数据。响应于这样的请求，控制电路11执行将扫描数据写入作为写入目的地的缓冲器b1的写入处理p5。执行该处理以将十条扫描数据写入音频信号处理电路12中的缓冲器b1，所述十条扫描数据是通过包括扫描处理p1的十次最近执行的扫描处理会话获得的。
[0083]
随后，音频信号处理电路12在从时间点t2经过时间t3时到达的时间点t4执行下一个回声消除处理p6，并且还在从时间点t4经过时间t3时到达的时间点t5执行回声消除处理p7。对由收集的音频信号获取处理p2获取的收集的音频信号数据执行该回声消除处理p7。
[0084]
当回声消除处理p7在时间点t6终止时，音频信号处理电路12然后对已经经历了回声消除处理p6和p7的收集的音频信号数据执行噪声去除处理p8。在这种情况下，音频信号处理电路12参考存储在缓冲器b1中的十条扫描数据，执行噪声产生确定处理，并且根据噪声产生确定处理的结果改变噪声去除处理的细节。换句话说，对在比噪声去除处理p8的开始点至少早时间t4的定时之前获取的收集的音频信号数据执行噪声去除处理p8，并且噪声去除处理p8包括通过使用在与收集的音频信号数据被获取的时段相对应的时段期间获取的扫描数据执行的噪声产生确定处理。
[0085]
如前所述，在执行噪声去除处理p8的时间点存储在缓冲器b1中的扫描数据包括在按钮16a被按下的时间点tx之后立即获取的扫描数据。因此，在噪声去除处理p8中，音频信号处理电路12执行适合于假设由按钮16a的按压产生的噪声的噪声去除处理。如上所述，音频信号处理电路12在每次经过时间t4时请求控制电路11传输下一扫描数据，并通过使用最后传输的扫描数据来执行噪声产生确定处理。然后，音频信号处理电路12对在至少比时间t4早的时间点获取的收集的音频信号数据执行噪声去除处理。因此，可以对在假设产生噪声的时刻获取的收集的音频信号数据执行适合于假设产生的噪声的噪声去除处理。
[0086]
如上所述，根据本实施例的操作设备10被配置为使得作为用于音频信号处理的电路的音频信号处理电路12通过使用从控制电路11提供的扫描数据来执行噪声生成信息输出处理。由于采用了这种配置，控制电路11仅需要将生成的要传输到信息处理装置50的扫描数据(包括描述用户在每个操作构件16上执行的操作的操作信息的数据)也提供给音频信号处理电路12。这消除了双重生成要提供给信息处理装置50和音频信号处理电路12的数据的必要性。
[0087]
应当注意，上面已经描述的执行每个处理的时间间隔以及控制电路11和音频信号
处理电路12之间的数据交换接口仅仅是说明性的而不是限制性的，并且可以与上面描述的不同。
[0088]
[参考符号列表]
[0089]
1:音频信号处理系统
[0090]
10:操作设备
[0091]
11:控制电路
[0092]
12:音频信号处理电路
[0093]
13:扬声器
[0094]
14:耳机端子
[0095]
15:麦克风
[0096]
16:操作构件
[0097]
16a:按钮
[0098]
16b:触发按钮
[0099]
16c:倾斜操作构件
[0100]
17:振动机构
[0101]
18:力觉呈现机制
[0102]
50:信息处理装置。