用于自动化环境的多角色设备的制作方法

用于自动化环境的多角色设备
1.相关申请的交叉引用本技术要求madonna等人于2019年2月14日针对“multi
‑
role devices for automation environments”提交的美国临时专利申请序列号62/805,456的权益，该申请特此通过引用并入。
2.并入的专利和申请2011年4月19日发布的并且标题为“programming environment and metadata management for programmable multimedia controller”的美国专利号7,930,644被转让给本技术的共同受让人，并特此通过引用并入。2012年7月3日发布的并且标题为“location
‑
based sharing of multimedia control resources”的美国专利号8,213,463被转让给本技术的共同受让人，并特此通过引用并入。2012年10月23日发布的并且标题为
“ꢀ
virtual room
‑
based light fixture and device control”的美国专利号 8,296,669被转让给本技术的共同受让人，并特此通过引用并入。2014年2月25日发布的并且标题为“apparatus and method for mixing graphics with video images”的美国专利号8,659,704被转让给本技术的共同受让人，并特此通过引用并入。2015年10月6日发布的并且标题为“programmable multimedia controller with programmable services”的美国专利号9,153,125被转让给本技术的共同受让人，并特此通过引用并入。2018年9月6日提交的并且标题为“small screen virtual room
‑
based user interface”的共同待决申请序列号16/123,731被转让给本技术的共同受让人，并特此通过引用并入。2019年1月22日提交的并且标题为“device mounting system”的共同待决申请序列号16/254,245被转让给本技术的共同受让人，并特此通过引用并入。
发明领域
3.本发明总体上涉及自动化领域，并且更具体地，涉及增强各种设备的能力以使得它们能够在自动化环境中执行多个角色。
4.背景信息对住宅和商业环境自动化的需求已经导致“智能”门铃、恒温器、照明、安全系统、音频、视频和许多其他设备的市场急剧扩大。这些设备由相当多数量的制造商提供，出于竞争或性能原因，这些制造商采用了一般彼此不兼容的不同控制协议。因此，一个制造商提供的“智能”恒温器不按照广泛采用的标准操作，并且经常将不与不同制造商提供的“智能”照明互操作。除了其他缺点之外，这种互操作性的缺乏限制终端用户在为特定自动化环境选择设备方面的选择。另一个缺点是妨碍终端用户在具有单个控制设备（例如，远程控制部、智能电话或平板计算机）的环境中有效地控制所有设备。
5.作为结果，终端用户经常被迫要么选择一个制造商——即使该制造商没有提供终端用户感兴趣的所有“智能”设备，要么以增加的成本以及互操作性的缺乏选择多个制造商。


技术实现要素：

6.根据本发明的一个方面，一种自动化控制设备（诸如主机或中枢）被提供有增强的功能性，使得它成为多角色自动化控制设备。多角色自动化控制设备能够控制扩展种类的“智能”设备或其本地控制协议一般不兼容的其他设备。多角色自动化控制设备可以使用多种底层设备来实现，所述底层设备包括主机、中枢、音棒、“智能”恒温器、“智能”放大器、音频扬声器或其他设备。
7.根据本发明的另一个方面，一种自动化控制中枢被提供有增强的功能性，使得它成为多角色自动化控制中枢。利用自动化控制中枢中可用的高性能图形处理，多角色自动化控制中枢被提供有增强的屏幕显示。增强的屏幕显示提供了用户界面，用于对与自动化控制中枢能够用其本地功能性进行控制相比扩展种类的设备进行自动化控制。增强的屏幕显示还可以提供高级视频显示管理，除其他之外还包括窗口化、平铺和画中画。增强的屏幕显示还可以支持自动化环境的基本上所有方面的配置以及实时控制和状态。更具体地，增强的屏幕显示可以提供对服务、喜好、场景、自动化和调度的访问和控制。
8.此外，具有增强的屏幕显示的多个自动化控制中枢可以汇集在一起作为共享资源，所述共享资源将这样的屏幕显示分发给大量tv或视频监视器。这样的分发可以通过在专用于tv hdmi的ip之上传输或流式传输来实现。
9.根据本发明的另一方面，一种包括有线网络连接性的可安装在天花板或墙壁的扬声器被提供有包括无线网络连接性的附加功能性。作为结果，每个扬声器成为多角色扬声器，其既充当音频输出设备又充当无线网络接入点。此外，如上面提及的，多角色扬声器可以执行第三角色，即自动化控制设备。
10.根据本发明的另一方面，一种自动化控制中枢被提供有avb网络连接性，并且成为多角色自动化控制中枢。通过avb网络，多角色自动化控制中枢将音乐分发到联网的扬声器、音棒或其他设备。
附图说明
11.下面的发明描述参考了附图，其中：图1是根据本发明一个方面的包括多角色自动化主机的自动化环境的框图；图2是可以用作图1中所示的多角色自动化主机的基础的音棒的框图；图3是图示了由图1中所示的多角色自动化主机和其他设备执行的较高层消息传递的示例的消息流程图；图4是图示了由图1中所示的多角色自动化主机和其他设备执行的较低层消息传递的示例的消息流程图；图5是根据本发明一个方面的自动化环境的框图，该自动化环境包括提供增强的屏幕显示的多角色自动化中枢；图6a
‑
6d是由图5中所示的多角色自动化中枢产生的增强的屏幕显示的示例性截屏；图7是图示了由具有图5中所示的增强的屏幕显示的多角色自动化中枢执行的较高层消息传递的示例的消息流程图；图7a是自动化环境的框图，其中多个被汇集成为共享资源；
图7b是图示了图7a中各种设备间的通信的消息流程图；图8是根据本发明一个方面的多角色扬声器的框图；和图9是根据本发明一个方面的多角色放大器的框图。
12.说明性实施例的详细描述图1示出了包括多角色自动化主机104的自动化环境100。第一网络云102由多角色自动化主机104可访问。多角色自动化主机104包括系统配置（未示出），该系统配置（未示出）进而包括与由多角色自动化主机104控制的每个简档化设备108a
…
108b相关联的部件或设备简档（未示出）。一般而言，设备简档是描述相关联设备的输入、输出和可用命令集的文件或其他数据结构。通过内部存储装置、网络云102或另一外部源，多角色自动化主机104必须具有对相关联设备简档的访问权，以便控制给定设备。
13.适合用于多角色自动化主机104的系统配置、部件简档以及硬件和软件的示例可以在上面通过引用并入的美国专利号9,153,125中找到。
14.用户可以通过对运行与多角色自动化主机104兼容的主机控制应用120的用户设备116a进行操作来与多角色自动化主机104交互并有效地控制多角色自动化主机104。用户设备116a可以用智能电话、平板计算机或能够运行主机控制应用120并具有适当的网络连接性以与多角色自动化主机104通信的其他设备来实现。替代地，用户可以使用与多角色自动化主机104兼容的用户遥控器（remote）118a与多角色自动化主机104交互并有效地控制多角色自动化主机104。多角色自动化主机104例如可以基于智能主机型号shc
‑
s2
‑
00、环绕声音棒、“智能”多稳态恒温器、“智能”音频扬声器（如下面结合图8所述）、“智能”放大器（如下面结合图9所述）或由马萨诸塞州海恩尼斯的savant systems 有限责任公司提供的其他设备。
15.由自动化中枢112可访问第二网络云110。与能够控制任何简档化设备的多角色自动化主机104不同，自动化中枢112常规地仅能够控制已经被认证为符合控制协议的设备114a
‑
114c（即，已经被认证为符合自动化中枢112的制造商指定的控制协议的设备）。
16.用户可以通过对运行与自动化中枢112兼容的中枢控制应用122的用户设备116b进行操作来与自动化中枢112交互并有效地控制自动化中枢112。用户设备116b可以用智能电话、平板计算机或能够运行中枢控制应用122并具有适当的网络连接性以与自动化中枢112通信的其他设备来实现。替代地，用户可以使用与自动化中枢112兼容的用户遥控器118b与自动化中枢112交互并有效地控制自动化中枢112。例如，自动化中枢112可以基于运行homekit
®
的 apple tv
®
、homepod
™
或ipad
®ꢀ
，所有这些都由加利福尼亚州库比蒂诺的苹果公司提供。
17.多角色自动化主机104包括自动化桥106。在一个实施例中，从苹果公司可获得的sdk可以用于创建自动化桥106，并将其嵌入多角色自动化主机104中。如下面更详细描述的，自动化桥106部分地起作用来使用与认证的符合控制协议的设备114a
‑
114c所使用的相同的制造商指定的控制协议来与自动化中枢112（双向）通信。自动化桥106还起作用来将从自动化中枢112接收的控制协议消息转换成适当的形式，以供多角色自动化主机104处理（并且反之亦然）。有利的是，通过这样的通信和协议转化，并且取决于设备的类型，简档化设备108a
…
108b以及用户遥控器118a被暴露给自动化中枢112。也就是说，简档化设备108a
…
108b和用户遥控器118a即使没有被认证为符合自动化中枢112使用的控制协议，也
借助于多角色自动化主机104而变得对自动化中枢112可见并且由自动化中枢112可控制。
18.图2示出了可以用于实现多角色自动化主机104（图1）的电动环绕声音棒200的框图。微处理器202与音频数字信号处理器（dsp）204双向通信耦合。音频dsp 204也耦合到toslink 214。音频dsp 204耦合到数模转换器（未示出），该数模转换器（未示出）的输出耦合到放大器206，该放大器206的输出耦合到各种音频扬声器208。
19.微处理器202还与wisa模块210以及wifi双频带模块212双向通信耦合。此外，微处理器202耦合到lan/avb端口216、麦克风218、控制端口220，控制端口220可以包括rs232控制端口、红外（ir）控制端口或其他控制端口。ac/dc电源224向音棒200提供电力。
20.图3示出了消息流程图，其图示了使简档化设备108a
…
108b和用户遥控器118a（图1）对自动化中枢112可见并由自动化中枢112可控制所需的较高层消息传递的示例。运行在用户设备116a上的主机控制应用120发起与多角色自动化主机104的发现协议300。主机控制应用120接着发送主机供应消息302。作为响应，多角色自动化主机104继续查询304其配置，以标识具有将由自动化中枢112支持/控制的适当类型的（一个或多个）任何（简档化）设备。假设标识了至少一个适当类型的简档化设备，多角色自动化主机104通过桥106向自动化中枢112传输将桥接设备添加到中枢消息306。
21.随后，主机控制应用120向多角色自动化主机104发出控制设备消息308，多角色自动化主机104通过对消息308所指向的简档化设备施加控制310来响应。相比之下，当中枢控制应用122发出指向简档化设备的控制设备消息312时，自动化中枢112通过向多角色自动化主机104转发控制请求消息314来响应。进而，多角色自动化主机104通过对消息312所指向的简档化设备施加控制316来响应。
22.图4示出了消息流程图，其图示了当中枢控制应用122和自动化中枢112对如上所述已经通过多角色自动化主机104变得可见的简档化设备108a施加控制时发生的较低层消息传递的示例。在该示例中，自动化中枢112表示运行homekit
®
的apple tv
®
、homepod
™
或ipad
®ꢀ
。中枢控制应用122向自动化中枢112发出hmactionset执行消息400，自动化中枢112进而向多角色自动化主机104发出设备特性写入消息402。设备特性写入消息402可以操作以例如将灯调暗。
23.作为响应，多角色自动化主机104定位与消息402所指向的设备相对应的简档404，并且然后向设备108a发送简档化命令406。简档化命令406实质上与消息402相当，但是由多角色自动化主机104以设备108a预期和理解的形式准备。在接收和执行简档化命令406之后，设备108a向多角色自动化主机104发送命令响应408，多角色自动化主机104进而向自动化中枢112发送特性更新消息410。
24.现在转向图5，示出了自动化环境500。一般而言，图5中所示的每个部件或设备可以包括与图1中所示并在上面描述的对应部件或设备相当的结构和功能，只有一个例外。多角色自动化中枢512在其作为中枢的角色中以与上面描述的自动化中枢112（图1）基本上相当的方式起作用。然而，多角色自动化中枢512在附加角色中为电视524产生增强的屏幕显示（eosd）。
25.在优选实施例中，如上面提及的，自动化中枢112可以基于运行homekit
®
的apple tv
®
。虽然apple tv
®
包括允许用户选择播放音频/视频或者打开/关闭附接的tv的有限屏幕显示，但该有限屏幕显示不能够控制其他设备。然而，apple tv
®
确实包括高性能图形处
理能力。
26.根据本发明的一个方面，一种在苹果公司的tvos
®
上运行的应用被提供，并利用内置于apple tv
®
的高性能图形处理来产生如图6a
‑
6d中所示的eosd 600。通过将apple tv
®
置于锁定模式，apple tv
®
将自动启动产生eosd 600的应用。
27.如图6a中所示，eosd 600可以被格式化为旋转图标、图形、图像、视频或其他内容的三个水平带。例如，带602显示对应于家庭的各个房间或区域的一系列“场景”。当用户选择特定的“场景”（通过使用用户设备516a或516b或用户遥控器518a或518b（图5）与eosd 600交互）来居中并选择对应的图像时，在多角色自动化主机504或多角色自动化中枢512的控制下的照明、设备、阴影、媒体或任何其他资源的先前定义的条件或状态将被设置在选择的房间或区域中。
28.eosd 600的带604显示对应于各种系统和服务的图标。当用户选择居中的“安全”图标时，eosd 600转变到图6b中所示的屏幕，其中带608显示来自几个闭路安全相机的实况馈送。类似地，如图6c中所示，当用户选择居中的“照明”图标时，eosd 600转变到图6d中所示的屏幕，其中带610显示个体房间或灯的当前照明条件的真实图像连同垂直滑动条控件。在美国专利号8,296,669和共同待决申请序列号16/123,731中描述了用于生成和显示当前照明条件的这样的真实图像的示例性技术，这两个专利在上面通过引入并入。
29.eosd 600还可以提供高级视频显示管理，除其他之外还包括窗口化、平铺和画中画。关于用于生成eosd 600的硬件和软件的细节可以在上面通过引用并入的专利和待决专利申请中找到。
30.图7示出了消息流程图，其图示了当具有eosd 600的多角色自动化中枢512与多角色自动化主机504交互时发生的较低层消息传递的示例。主机控制应用520向多角色自动化主机504发出控制简档化设备消息700。因为消息700指向简档化设备，所以多角色自动化主机504继续执行简档化设备命令702。
31.随后，主机控制应用520发出控制认证设备消息704。因为消息704没有指向简档化设备，所以多角色自动化主机504经由桥506向多角色自动化中枢512发出转发请求消息706。多角色自动化中枢512进而向自动化中枢112发出控制请求消息708，自动化中枢112继续执行认证设备命令710。
32.根据本发明的一个方面，提供了一种在苹果公司的tvos
®
上运行的应用，并提供了将apple tv
®
变换成多角色自动化主机的必要功能性。由专用遥控器可控制的其他设备也可以适合用作多角色自动化主机。一般而言，该应用体现所有必要的自动化主机功能性，包括识别和控制简档化设备的能力。由于apple tv
®
的本地功能性，这种类型的多角色自动化主机能够在没有附加的中枢或其他中间设备的情况下有效地控制简档化设备和认证设备的混合。此外，这种类型的多角色自动化主机的能力可以通过添加avb网络连接性来进一步增强。在apple tv
®
多角色自动化主机的情况下，这样的连接性准许以数字形式将音乐直接分发到支持avb的扬声器、音棒或其他设备。
33.根据本发明的另一个方面，多个apple tv可以汇集在一起成为用于多个tv的共享资源。如图7a中所示，自动化环境700包括一组tv 712a
‑
712c，其中每个耦合到视频交换机714。多角色自动化主机716耦合到视频交换机714，多个apple tv 718a和718b以及具有增强osd 726a和726b的多个中枢（其基本上类似于上述具有增强osd 512（图5）的中枢）也是
如此。
34.一般而言，响应于来自多角色自动化主机716的命令，视频交换机714起作用来设立和拆除tv 712a
‑
712c中的各个tv和apple tv 718a
‑
718b中的各个apple tv或具有增强的osd 726a
‑
726b的中枢之间的视频信号连接或路径。多角色自动化主机716还可以命令视频交换机714在单个apple tv 718a
‑
718b和多个tv 712a
‑
712c之间设立视频信号连接。类似地，多角色自动化主机716还可以命令视频交换机714在具有增强的osd 726a
‑
726b的单个中枢和多个tv 712a
‑
712c之间设立视频信号连接。
35.图7b是图示了在tv 712a
‑
712c之一上显示增强的osd所需的图7a中各种设备间的通信的消息流程图。通信开始于用户（未示出）按下用户遥控器724上的按钮，这引起向多角色自动化主机716传输对区x的osd请求消息728。多角色自动化主机716首先通过出列菜单令牌y来响应，这实际上使特定的apple tv 718a
‑
718b（与令牌相关联）专用于请求的osd会话。接下来，多角色自动化主机716将激活osd消息732传输到菜单资源y 762（即，与令牌y相关联的特定apple tv）。这之后是从多角色自动化主机716到菜单资源y的视频传输器758的开始流1消息734，这之后进而是到区x使用的当前传输器764的具有调整大小的视频的开始流1消息736。
36.接下来，多角色自动化主机716向区x视频接收器760发送消息738，区x视频接收器760设立画中画并分配适当的传输器。此时，增强的osd出现在画中画740中。用户osd导航消息742然后从用户遥控器724传输到菜单资源y 762。这之后是来自用户遥控器724的取消或选择消息744。如果传输了取消消息744，则从菜单资源y向多角色自动化主机716传输osd停用消息746。这之后是菜单令牌y被返回到队列748，因为osd会话已经结束。
37.随后，从多角色主机716传输消息750，以恢复原始传输器的全屏视频。这之后是到当前传输器764的停止流1消息752、到菜单资源y的视频传输器758的停止流1消息以及全屏视频的恢复756。
38.此外，类似于上述增强的osd示例，apple tv 718a
‑
718b上可用的其他服务可以与多个tv 712a
‑
712c共享。因此，通过将apple tv置于锁定模式并通过ip传输所选视频，利用视频交换机714设立适当的视频连接，诸如网飞、天气之类的服务或许多其他服务可以与多个tv 712a
‑
712c共享。
39.根据本发明的另一个方面，可安装在天花板或墙壁的扬声器（诸如在共同待决申请序列号16/254,245中公开的并在上面通过引用并入的扬声器）、或书架或其他扬声器被提供了增强的功能性并成为多角色扬声器。先前公开的扬声器包括lan/avb端口，通过该lan/avb端口接收数字音频和以太网供电（power over ethernet，poe）两者。如图8中所示，多角色扬声器800包括耦合到微处理器804的lan/avb端口802。麦克风806耦合到微处理器804，数字信号处理器（dsp）808也是如此。放大器810耦合到dsp 808以及扬声器812。多角色扬声器800还包括wisa模块814和wifi双频带模块816，两者都提供无线连接性。通过其wisa模块814或lan/avb端口802，多角色扬声器800可以以如下两种形式分发数字音频：16位、44.1khz形式（在airplay 2中使用）或者较高保真度的24位、96khz 形式。
40.通过其wifi双频带模块816，多角色扬声器800提供对airplay 2的支持以及用作无线接入点。为了提供全屋音频，扬声器通常遍布大多数房间或房屋的其他区域分布。通过为这样的扬声器提供无线网络连接性使得它们成为多角色扬声器，没有单独无线接入点的
必要性即实现鲁棒的无线网络覆盖。通过其wisa模块814，多角色扬声器800可以与wisa扬声器820配对以提供立体声。配对的wisa扬声器820包括耦合到wisa模块830和dsp 824的微控制器822。dsp 824耦合到放大器826，放大器826进而耦合到扬声器828。一般而言，配对的wisa扬声器820经由wisa模块830从多角色扬声器800接收数字音频。
41.在自动化环境100（图1）内，多角色扬声器800能够以如下四种角色的任何组合进行服务：音频扬声器；多角色自动化主机104（图1）；无线接入点；以及与wisa扬声器820配对。
42.图9示出了多角色放大器900，其包括耦合到dsp 904的微处理器902，dsp 904进而耦合到放大器906。微处理器902分别耦合到lan/avb端口908、模拟输入910、toslink输入912和控制端口914，控制端口914可以包括rs232、ir或其他控制端口。ac/dc电源916向多角色放大器900提供电力。多角色放大器900提供rca前置放大器输出920，并可以用于驱动外部无源扬声器918。
43.在自动化环境100（图1）内，多角色放大器900能够既用作音频放大器又用作多角色自动化主机104（图1）。
44.前面的描述已经针对本发明的具体实施例。然而，将清楚的是，在实现所描述的实施例的一些或全部优点的情况下，可以对它们进行其他变型和修改。例如，明确设想到本发明的教导可以被实现为软件，包括具有在计算机、硬件、固件或其组合上执行的程序指令的计算机可读介质。因此，该描述将仅作为举例理解，并且不以其他方式限制本发明的范围。因此，所附权利要求书的目的是要覆盖如落入本发明的真实精神和范围内的所有这样的变型和修改。