空调控制系统以及空调控制方法与流程

1.一种控制空调装置的空调控制系统及其空调控制方法。


背景技术：

2.在专利文献1(日本特开2012
‑
184899号公报)中，通过基于所谓的规则库的空调运转来进行空调改善，接近目标温度分布。


技术实现要素：

3.发明所要解决的课题
4.在基于规则库的空调运转中，接近目标温度分布为止的时间很长。
5.用于解决课题的手段
6.第一观点的空调控制系统是用于对在对象空间中进行空调运转的空调装置进行控制的系统。空调控制系统具备检测部和服务器。检测部检测对象空间的温度分布。服务器基于检测部检测出的温度分布，使用通过深度强化学习进行了学习的学习器，以使对象空间的温度分布接近目标温度分布的方式控制空调装置。
7.学习器通过深度强化学习，进行使对象空间的温度分布高效地接近目标温度分布的学习。由此，能够使对象空间高效地在短时间内接近目标温度分布。
8.第二观点的空调控制系统是第一观点的系统，检测部具有检测对象空间的热图像的红外线传感器。检测部基于红外线传感器检测出的热图像，检测对象空间的温度分布。
9.第三观点的空调控制系统是第一观点或第二观点的系统，基于服务器对空调装置进行控制后的对象空间的温度分布，进行学习器的更新。红外线传感器重新检测服务器对空调装置进行控制后的对象空间的热图像。检测部基于新的热图像，检测对象空间的新的温度分布。服务器使用更新后的学习器，以使新的温度分布接近目标温度分布的方式控制空调装置。
10.第四观点的空调控制系统在第一观点至第三观点中的任一观点的基础上，目标温度分布是均匀化后的温度分布、或者包含规定的温度不均的温度分布。学习器基于对对象空间的温度分布和目标温度分布进行统计处理而得到的值，通过深度强化学习进行了学习。
11.第五观点的空调控制系统在第一观点至第四观点中的任一观点的基础上，服务器对空调装置进行控制，以使对象空间的地面以及壁面的温度分布接近目标温度分布。
12.第六观点的空调控制系统在第一观点至第五观点中的任一观点的基础上，红外线传感器内置于空调装置，或者配置于对象空间。
13.第七观点的空调控制系统在第一观点至第六观点中的任一观点的基础上，服务器在空调装置所进行的空调运转中至少通过对运转模式、设定温度、风向以及风量中的任意一者进行控制，使对象空间的温度分布接近目标温度分布。
14.第八观点的空调控制方法是在对象空间中进行空调运转的空调装置的控制方法。
空调控制方法具备以下步骤：检测对象空间的热图像；基于热图像来检测对象空间的温度分布；以及基于温度分布，使用通过深度强化学习进行了学习的学习器，以使对象空间的温度分布接近目标温度分布的方式控制空调装置。
附图说明
15.图1是空调控制系统的概略图。
16.图2是表示空调控制系统的结构的框图。
17.图3是存储器数据库的示意图。
18.图4是表示空调控制系统的功能部的结构的框图。
19.图5是表示空调控制系统整体的处理的流程图。
20.图6是表示空调控制系统的功能部的处理的流程图。
具体实施方式
21.以下，对本公开的一实施方式的空调控制系统1进行说明。另外，以下的实施方式是具体例，并不限定技术范围，能够在不脱离主旨的范围内适当变更。
22.(1)整体结构
23.如图1所示，空调控制系统1具备空调装置100、检测部200以及服务器300。
24.空调装置100的室内机以及检测部200设置于办公室、民宅等的空调装置100进行空调运转的对象空间α。空调运转是制冷、制热、除湿等。对象空间α包含墙壁α1、地面α2、障碍物α3等。服务器300设置于对象空间α外的管理室等。
25.空调装置100与检测部200经由无线或有线的网络n连接。空调装置100与服务器300经由无线或有线的网络n连接。
26.(2)详细结构
27.(2
‑
1)空调装置100
28.图2所示的空调装置100在对象空间α中进行空调运转。空调装置100主要具备控制部101、压缩机102、百叶窗103和风扇104。该空调装置100的各结构可以配置于设置于对象空间α内的室内机和设置于对象空间α外的室外机中的任一者。另外，空调装置100可以具备这些结构以外的结构。
29.控制部101基于控制指示，对空调装置100进行的空调运转进行控制。控制指示经由网络n从服务器300接收。控制指示包含变更运转模式、设定温度、风向以及风量等的要求等。控制部101基于该控制指示，例如进行以下等控制：通过控制压缩机102的输出等来变更设定温度；通过改变百叶窗103的方向来变更风向；以及通过控制风扇104的输出来变更风量。
30.(2
‑
2)检测部200
31.在本实施方式中，如图1所示，检测部200内置于空调装置100，安装于空调装置100的前表面。另外，检测部200也可以安装于对象空间α内的墙壁α1、天花板等。
32.检测部200基于热图像来检测对象空间α的温度分布。检测部200具有红外线传感器201。红外线传感器201取得二维的热图像。红外线传感器201例如具有呈二维矩阵状排列的像素群，是能够一次取得多个二维的热图像的构造。除了该构造以外，例如红外线传感器
201也可以是以下构造：具有排列成一维状的像素群(线传感器)，一维地扫描像素群而取得二维的热图像；或者具有1个以上的像素，二维地扫描1个以上的像素而取得二维的热图像。在此，并不对红外线传感器201的结构进行限定。
33.越是对象空间α内的温度越高的部分(像素)，热图像的浓度越被显示得越高。由此，能够取得对象空间α的温度分布，判定对象空间α的温度分布。另外，关于热图像的显示，并不限于此。
34.这里所说的温度分布以及目标温度分布是基于统计处理后的值而得到的。具体而言，例如，对象空间α被均匀化的温度分布当然不需要与对象空间α的墙壁α1、地面α2、障碍物α3等为完全相同的温度。
35.(2
‑
3)服务器300
36.服务器300将作为具有输入层、多个中间层和输出层的神经网络的dnn(deep neural network：深度神经网络)作为学习器进行保持。服务器300基于从输入层输入了输入信息时从输出层输出的信息，决定对空调装置100发送的控制指示。服务器300通过经由网络n对空调装置100发送控制指示来控制空调装置100。
37.图1和图2所示的服务器300作为1台装置图示出，但服务器300优选对应于云计算。因此，服务器300的硬件结构不必需收纳在1个壳体中，或者作为一组装置而配备。例如，服务器300通过根据负载动态地连接、切断硬件性质的服务器300的资源而构成。
38.服务器300包含处理器301、存储器302和辅助存储307。上述构成要素通过总线彼此连接。存储器302和辅助存储307是存储装置的示例。
39.处理器301参照存储器302，执行各种计算处理。存储器302存储有经验取得程序303、空调控制程序304、神经网络程序305、学习程序306。服务器300中包含的学习器通过执行这些各种程序来学习、更新。本实施方式中的学习器通过深度强化学习来学习控制指示，该控制指示用于通过尽量简易的空调控制来实现对象空间α的温度分布的目标温度分布。目标温度分布是由使用空调装置100的用户或管理服务器300的管理者预先设定的温度分布。目标温度分布例如是均匀的温度分布或包含温度不均的温度分布。
40.经验取得程序303是用于取得通过服务器300对空调装置100进行控制指示而得到的经验的程序。经验例如在空调装置100基于检测部200取得的对象空间α的温度分布(状态)、控制指示(行动)、回报、控制指示进行空调运转后，由检测部200取得的对象空间α的温度分布(结果)来表示。经验取得程序303取得的经验存储在存储器数据库308中。
41.空调控制程序304是决定对空调装置100的空调运转进行控制的控制指示的程序。控制指示根据空调装置100的能力、规格、学习的目的而定义。例如，作为学习的目的，为了学习器学习向空调装置100发送用于使对象空间α接近均匀化的温度分布的控制指示，控制指示是变更运转模式、设定温度、风向以及风量等。这些控制指示根据空调装置100的能力和规格来决定范围。
42.在本实施方式中，对于神经网络程序305而言，对象空间α的温度分布是输入，对空调装置100发送的控制指示的q值(行动评价值)是输出。神经网络是决定评价值的评价模型(或者评价函数)，该参数由学习程序306随时更新。以下公开的空调控制系统1是通过深度强化学习来学习的系统，行为评价模型由深度神经网络表示。神经网络程序305能够编辑，根据应用系统定制。例如，在本实施方式中，神经网络程序305首先通过卷积和池化对检测
部200检测出的温度分布进行处理并提取特征量。进而，将提取出的特征量与lstm(long short
‑
term memory：长短期记忆)结合，考虑时间序列的影响，作为q值输出。
43.学习程序306进行神经网络的参数的更新和优化。学习程序306例如通过advantage学习对神经网络的参数进行优化。由此，神经网络能够更准确地推定给定状态下的各行为的q值，服务器300能够决定更智能的控制指示。
44.辅助存储307存储存储器数据库308和神经网络数据库309。
45.图3表示本实施方式的存储器数据库308的示意图。存储器数据库308具有有限的容量。容量由工程师等预先确定。当存储器数据库308已满时，删除存储器数据库308中的最初的经验，形成用于新的经验的空闲空间。存储器数据库308具有索引318、状态328、行动338、回报348、结果358的栏。此外，存储器数据库308只要能够存储经验的信息，则可以具有任何构造。
46.索引318示出整数，表示存储在存储器数据库308中的经验的顺序。索引318表示存储在存储器数据库308中的任意经验是否是最旧且在存储器数据库308已满而存储新的经验的情况下删除的经验。
47.状态328是与对象空间α相关的信息，包含从热图像取得的温度分布的信息。状态328例如可以包含与空调装置100所具有的各种传感器取得的对象空间α相关的值。
48.行动338示出正数值，是服务器300能够向空调装置100发送的控制指示，表示行动id的各数字表示特定的一个行动。
49.回报348表示定义回报的数值，该回报能够在空调装置100基于服务器300发送的控制指示进行空调运转而对象空间α的状态转变后得到。例如，在对空调装置100进行了变更百叶窗103的方向的控制指示的情况下，作为结果，在远离目标温度分布时，得到的回报为负值。另一方面，在进行了前述的指示的情况下，作为结果，在接近目标温度分布时，得到的回报为正值。针对各状态的各行为的回报被预先设定。
50.结果358是在状态下采取行动(空调装置100基于控制指示进行的空调运转)后的转变状态。关于该结果，定义了所执行的控制指示是否能够得到回报。
51.神经网络数据库309包含神经网络中的节点间的链路的权重和偏置。使用权重和偏置，节点向其他节点传递信息。神经网络数据库309通过利用advantage学习来优化权重和偏置，能够更准确地推定神经网络针对各行为的q值。
52.图4是表示实施方式1的服务器300的功能部的框图。
53.经验取得部313通过处理器301执行经验取得程序303来实现。经验取得部313获知如下内容：服务器300发送怎样的控制指示，通过空调装置100进行空调运转而对象空间α的环境如何变化。状态、行动、回报以及结果作为经验而汇总，并发送至存储器数据库308。经验取得部313为了使对象空间α的状态接近目标温度分布而从空调控制部314接收向空调装置100发送的控制指示。
54.空调控制部314决定向空调装置100发送的控制指示。空调控制部314通过处理器301执行空调控制程序304来实现。空调控制部314将检测部200取得的对象空间α的温度分布作为状态，从经验取得部313接收，将该状态发送到神经网络部315，取得针对能够取得的各行动的q值。
55.空调控制部314在行动的决定中有时使用q值信息有时不使用q值信息。空调控制
部314具有被称为依普西隆(ε)的参数，基于此，决定应该利用q值还是应该搜索随机的行为(ε
‑
greedy法)。参数ε由开发者预先设定为固定值，或者与训练时间成比例地从1减少到0。空气控制部314随机选择数字与ε值进行比较，判定选择q值利用和随机的行动搜索中的哪一者。空调控制部314将所决定的行动发送至经验取得部313。另外，决定行动的方法不限于此。
56.学习部316优化神经网络参数，使得神经网络在将输入设为对象空间α的当前状态的情况下能够更准确地推定针对各行为的q值。学习部316通过处理器301执行学习程序306来实现。
57.(3)空调控制系统1的处理
58.图5是表示本实施方式的空调控制系统1整体的处理流程的流程图。
59.首先，在步骤401中，红外线传感器201取得对象空间α的热图像。
60.在步骤402中，检测部200基于红外线传感器201取得的热图像，检测对象空间α的温度分布。检测出的温度分布经由网络n发送到服务器300。
61.在步骤403中，服务器300也基于接收到的温度分布，决定向空调装置100发送的控制指示。这里，服务器300使用学习器来决定能够通过尽可能简单的控制实现目标温度分布的控制指示。服务器300将所决定的控制指示向空调装置100发送。
62.在步骤404中，空调装置100的控制部101基于接收到的控制指示对空调装置100的各部进行控制，以进行空调运转。
63.在步骤405中，检测部200检测通过空调装置100进行空调运转而转变的状态的对象空间α的温度分布。检测出的温度分布被发送到服务器300。
64.在步骤406中，服务器300的学习器被更新。
65.在步骤407中，服务器300基于在步骤405中取得的温度分布，判定对象空间α的温度分布是否达成了目标温度分布。
66.在步骤407中判定为未达成目标温度分布的情况下(407：否)，返回到步骤403，再次执行各处理直到达到目标温度分布为止。另一方面，在步骤407中判定为达到目标温度分布的情况下(407：是)，结束处理。以上，空调控制系统1的处理结束。
67.在此，空调控制系统1可以确定开始处理的开始条件和结束处理的结束条件。具体而言，在温度分布或空调装置100所具有的各种传感器所取得的对象空间α的状态符合开始条件的情况下开始处理，在温度分布或空调装置100所具有的各种传感器所取得的对象空间α的状态符合开始条件的情况下，即使在未达成目标温度分布的情况下也结束处理。例如，开始条件能够设定为安装于空调装置100的温度传感器感测到的吸入温度为19度以下、且检测部200取得的热图像的像素平均为35以下时，结束条件能够设定为安装于空调装置100的温度传感器感测到的吸入温度为29度以上、且红外线传感器201取得的热图像的像素平均为150以上时等。
68.(4)服务器300的功能部的处理
69.接着，对服务器300的功能部进行的处理进行说明。图6是表示本实施方式的服务器300的功能部的处理流程的流程图。各处理由处理器301执行。
70.首先，在步骤501中，服务器300的经验取得部313将从检测部200接收到的对象空间α的温度分布作为对象空间α的状态发送至空调控制部314。
71.在步骤502中，空调控制部314从经验取得部313接收温度分布作为对象空间α的状态，并将该状态转送到神经网络部315。
72.在步骤503中，神经网络部315将对象空间α的状态作为输入，使用神经网络数据库309中的参数，输出针对各行为的q值。
73.在步骤504中，神经网络部315将针对各个行为的q值的列表返回给空调控制部314。
74.在步骤505中，空调控制部314从神经网络部315接收q值，决定q值最高的行为。空调控制部314所决定的行动被发送至经验取得部313。
75.在步骤506中，经验取得部313从空调控制部314接受行动，将接受到的行动作为控制指示发送到空调装置100。
76.在空调装置100基于控制指示进行了空调运转之后，在步骤507中，经验取得部313决定结果和回报，并将取得的信息整合。具体而言，将原来的状态、空调装置100所采取的行动、回报以及新的状态(结果)包含在一个经验中。经验取得部313将整合后的信息发送到存储器数据库308。
77.在步骤508中，学习部316基于存储在存储器数据库308中的经验，在神经网络数据库309中，将神经网络的权重和偏置更新为新的权重和偏置。由此，使神经网络优化并更新。另外，学习部316进行更新的定时并不限于此，也可以在全部处理结束之后进行。
78.在步骤509中，经验取得部313判断结果是否达到了目标温度分布。在步骤509中判定为结果未达到目标温度分布的情况下(509：否)，返回到步骤501，再次执行经验取得处理直到达到目标温度分布为止。另一方面，在步骤509中判定为结果达到了目标温度分布的情况下(509：是)，结束服务器300的功能部进行的处理。
79.此外，本发明不限定于上述实施例，包含各种变形例。例如，上述实施例是为了容易理解地说明本发明而进行的详细说明，并非限定为必须具备所说明的全部结构。此外，也能够将某个实施例的结构的一部分替换为其它实施例的结构，此外，还能够对某个实施例的结构添加其它实施例的结构。此外，对于各实施例的结构的一部分，能够进行追加、删除、置换其他结构。
80.此外，上述各结构、功能、处理部等的一部分或全部，例如可以通过由集成电路进行设计等而用硬件实现。此外，上述各结构、功能等，也可以通过处理器解释、执行实现各功能的程序而由软件实现。实现各功能的程序、表、文件等信息能够放置在存储器、硬盘、ssd(solid state drive：固态驱动器)等记录装置、或者ic卡、sd卡等记录介质中。
81.此外，控制线和信息线示出了认为在说明书上必要的部分，在产品上未必示出所有的控制线和信息线。实际上也可以认为几乎所有的结构相互连接。
82.(5)特征
83.(5
‑
1)
84.空调控制系统1是用于对在对象空间α中进行空调运转的空调装置100进行控制的系统。空调控制系统1具备检测部200和服务器300。检测部200内置于空调装置100或配置于对象空间α，具有红外线传感器201。检测部200基于红外线传感器201检测出的热图像，检测对象空间α的温度分布。服务器300基于检测部200检测出的温度分布，使用通过深度强化学习进行了学习的学习器，以使对象空间α的温度分布接近目标温度分布的方式控制空调装
置100。
85.另外，空调控制系统1基于服务器300对空调装置100进行控制后的对象空间α的温度分布，进行学习器的更新。红外线传感器201重新检测服务器300对空调装置100进行控制后的对象空间α的热图像。检测部200基于新的热图像，检测对象空间α的新的温度分布。服务器300使用更新后的学习器，以使新的温度分布接近目标温度分布的方式控制空调装置100。
86.由此，服务器300使用学习器进行决定，该学习器通过深度强化学习随时学习使对象空间α温度分布接近目标温度分布的控制指示，因此能够有效地在短时间内实现目标温度分布。
87.另外，服务器300能够根据空调装置100基于控制指示进行的空调运转后的对象空间α的温度分布(结果)，进行学习器的更新，使用更新后的学习器来进行新的空调控制。由此，能够更高效地在短时间内实现目标温度分布。
88.(5
‑
2)
89.在空调控制系统1中预先设定的目标温度分布是均匀化后的温度分布、或者包含规定的温度不均的温度分布。学习器基于对对象空间α的温度分布和目标温度分布进行统计处理而得到的值，通过深度强化学习进行了学习。
90.另外，空调控制系统1的服务器300对空调装置100进行控制，以使对象空间α的地面以及壁面的温度分布接近目标温度分布。
91.服务器300通过向空调装置100发送用于使对象空间α的地面以及壁面的温度分布接近目标温度分布的控制指示，能够使对象空间α的温度分布高效地接近统计处理后的目标温度分布。
92.(5
‑
3)
93.空调控制系统1的服务器300在空调装置100进行的空调运转中，至少通过对运转模式、设定温度、风向以及风量中的任一者进行控制，使对象空间α的温度分布接近目标温度分布。
94.服务器300的学习器以通过尽可能简单的控制指示来实现目标温度分布的方式进行学习。服务器300通过向空调装置100发送包含上述控制中的任一个的控制指示，使对象空间α接近目标温度分布。
95.(5
‑
4)
96.空调控制方法是在对象空间α中进行空调运转的空调装置100的控制方法。空调控制方法具备：取得步骤401，取得对象空间α的热图像；检测步骤402，基于热图像检测对象空间(α)的温度分布；以及控制步骤404，基于温度分布，使用通过深度强化学习进行了学习的学习器，以使对象空间(α)的温度分布接近目标温度分布的方式控制空调装置100。
97.(6)
98.以上，对本发明的实施方式进行了说明，但应当理解，能够在不脱离权利要求书所记载的本公开的主旨以及范围的情况下进行方式、详细内容的各种变更。
99.标号说明
100.1：空调控制系统；100：空调装置；200：检测部；201：红外线传感器；300：服务器；401：取得步骤；402：检测步骤；404：控制步骤；α：对象空间；α1：地面；α2：壁面。
101.现有技术文献
102.专利文献
103.专利文献1：日本特开2012
‑
184899号公报。