空调系统、机器学习装置及机器学习方法与流程

1.本公开涉及空调系统、机器学习装置及机器学习方法。


背景技术：

2.现有技术中，具有室外空气调节装置和空气(室内空气)调节装置的空调系统是熟知的，其中，室外空气调节装置通过对室外空气进行加热或冷却并将其供给至目标空间可进行目标空间的空气调节(调和)，空气调节装置通过对目标空间的空气进行加热或冷却并将其输送至目标空间可进行目标空间的空气调节。
3.一般而言，上述空调系统要求既可实现节能性又可实现舒适性。另一方面，例如下述专利文件1中公开了一种基于室外空气温度、室外空气湿度及室内负荷率来确定蒸发温度的目标值和供气温度的目标值的组合的模型(对各装置的运行能力(operating capacity)进行确定的模型)。
4.[引证文件]
[0005]
[专利文件]
[0006]
[专利文件1](日本)特开2018－173264号公报


技术实现要素：

[0007]
[要解决的技术问题]
[0008]
然而，实际上为了藉由上述模型而实现各装置的运行能力的最优化，在安装空调系统后，需要对各种运行(工作)条件下的数据进行实际测量以建立能够反映出各装置的特性的模型，所以安装后的作业负荷较高。
[0009]
本公开的目的在于，提供一种可对室外空气调节装置和空气(室内空气)调节装置的运行能力进行最优化的空调系统、机器学习装置及机器学习方法。
[0010]
[技术方案]
[0011]
本公开的第1方面的空调系统具有：
[0012]
室外空气调节装置，具有室外空气调节单元和对流经所述室外空气调节单元的热媒的状态进行调整的热媒调整部，通过吸入室外空气并将其作为自所述室外空气调节单元的供气而进行供给，执行目标空间的空气调节；
[0013]
空气调节装置，具有多个室内单元和对流经所述室内单元的冷媒的状态进行调整的冷媒调整部，通过由所述室内单元对所述目标空间内的空气即室内空气进行冷却或加热并将其供给至所述目标空间，执行所述目标空间的空气调节；及
[0014]
机器学习装置，对所述室外空气调节装置的运行能力和所述空气调节装置的运行能力中的至少一者进行学习，
[0015]
所述空调系统还具有：
[0016]
状态变量获取部，获取包括所述室外空气的状况、所述室内空气的状况、所述室外空气调节装置的运行状况、所述空气调节装置的运行状况、以及所述目标空间的设定温度
或设定湿度的状态变量；
[0017]
学习部，以使所述状态变量与所述室外空气调节装置的运行能力和所述空气调节装置的运行能力中的至少一者相关联的方式进行学习；及
[0018]
奖励计算部，计算与所述室外空气调节装置和所述空气调节装置的能耗的合计相关的奖励，
[0019]
其中，所述学习部使用所述奖励进行学习。
[0020]
根据本公开的第1方面，能够提供一种可对室外空气调节装置和空气调节装置的运行能力进行最优化的空调系统。
[0021]
此外，本公开的第2方面为第1方面所述的空调系统，其中，
[0022]
所述室外空气调节装置包括：第1风扇，吸入所述室外空气并将所述供气输送至所述目标空间；及外部换热器，使由所述第1风扇吸入的所述室外空气和所述热媒进行热交换，
[0023]
所述室外空气调节装置的运行能力包括所述供气的温度的目标值、所述第1风扇的风量的目标值、流入所述外部换热器的所述热媒的温度的目标值、以及所述外部换热器中的所述热媒的蒸发温度或焓(enthalpy)的目标值。
[0024]
另外，本公开的第3方面为第2方面所述的空调系统，其中，
[0025]
所述空气调节装置的所述室内单元包括：第2风扇，吸入所述室内空气并将其输送至所述目标空间；及空调热交换器，使由所述第2风扇吸入的所述室内空气和所述冷媒进行热交换，
[0026]
所述空气调节装置的运行能力包括所述空气调节装置的蒸发温度的目标值。
[0027]
此外，本公开的第4方面为第3方面所述的空调系统，其中，
[0028]
所述室外空气的状况包括所述室外空气的温度或所述室外空气的湿度，
[0029]
所述室内空气的状况包括所述室内空气的温度或所述室内空气的湿度，
[0030]
所述室外空气调节装置的运行状况包括表示所述室外空气调节装置正在运行或停止的信息、表示所述室外空气调节装置为冷房模式或暖房模式的信息、所述室外空气调节装置的所述第1风扇的风量、所述热媒的流量、所述热媒的温度、所述热媒的压力、以及所述供气的温度的设定值中的任意一者，
[0031]
所述空气调节装置的运行状况包括表示所述空气调节装置正在运行或停止的信息、表示所述空气调节装置为冷房模式或暖房模式的信息、所述空气调节装置的所述第2风扇的风量、所述冷媒的流量、所述冷媒的温度、所述冷媒的压力、以及所述空气调节装置的蒸发温度的设定值中的任意一者。
[0032]
另外，本公开的第5方面为第1方面所述的空调系统，其中，
[0033]
所述室外空气调节装置的能耗包括所述室外空气调节装置所具有的冷却(chiller)单元、所述热媒调整部、以及所述室外空气调节单元各自的能耗，
[0034]
所述空气调节装置的能耗包括所述多个室内单元和所述冷媒调整部各自的能耗。
[0035]
此外，本公开的第6方面为第5方面所述的空调系统，其中，
[0036]
所述能耗包括电力消耗、二氧化碳排放量、以及能量成本中的任意一者。
[0037]
另外，本公开的第7方面为第1方面所述的空调系统，其中，
[0038]
所述学习部按照对应于从所述室外空气调节装置的运行能力和所述空气调节装
置的运行能力中的至少一者被改变开始至所述能耗的合计变化为止的时间的周期进行学习。
[0039]
另外，本公开的第8方面的机器学习装置为，在具有室外空气调节装置和空气调节装置的空调系统中，对所述室外空气调节装置的运行能力和所述空气调节装置的运行能力中的至少一者进行学习的机器学习装置，其中，
[0040]
所述室外空气调节装置具有室外空气调节单元和对流经所述室外空气调节单元的热媒的状态进行调整的热媒调整部，通过吸入室外空气并将其作为自所述室外空气调节单元的供气而进行供给，执行目标空间的空气调节，
[0041]
所述空气调节装置具有多个室内单元和对流经所述室内单元的冷媒的状态进行调整的冷媒调整部，通过由所述室内单元对所述目标空间内的空气即室内空气进行冷却或加热并将其供给至所述目标空间，执行所述目标空间的空气调节，
[0042]
所述机器学习装置具有：
[0043]
状态变量获取部，获取包括所述室外空气的状况、所述室内空气的状况、所述室外空气调节装置的运行状况、所述空气调节装置的运行状况、以及所述目标空间的设定温度或设定湿度的状态变量；
[0044]
学习部，以使所述状态变量与所述室外空气调节装置的运行能力和所述空气调节装置的运行能力中的至少一者相关联的方式进行学习；及
[0045]
奖励计算部，计算与所述室外空气调节装置和所述空气调节装置的能耗的合计相关的奖励，
[0046]
其中，所述学习部使用所述奖励进行学习。
[0047]
根据本公开的第8方面，能够提供一种可对室外空气调节装置和空气调节装置的运行能力进行最优化的机器学习装置。
[0048]
此外，本公开的第9方面的机器学习方法为，在具有室外空气调节装置和空气调节装置的空调系统中，对所述室外空气调节装置的运行能力和所述空气调节装置的运行能力中的至少一者进行学习的机器学习方法，其中，
[0049]
所述室外空气调节装置具有室外空气调节单元和对流经所述室外空气调节单元的热媒的状态进行调整的热媒调整部，通过吸入室外空气并将其作为自所述室外空气调节单元的供气而进行供给，执行目标空间的空气调节，
[0050]
所述空气调节装置具有多个室内单元和对流经所述室内单元的冷媒的状态进行调整的冷媒调整部，通过由所述室内单元对所述目标空间内的空气即室内空气进行冷却或加热并将其供给至所述目标空间，执行所述目标空间的空气调节，
[0051]
所述机器学习方法具有：
[0052]
状态变量获取步骤，获取包括所述室外空气的状况、所述室内空气的状况、所述室外空气调节装置的运行状况、所述空气调节装置的运行状况、以及所述目标空间的设定温度或设定湿度的状态变量；
[0053]
学习步骤，以使所述状态变量与所述室外空气调节装置的运行能力和所述空气调节装置的运行能力中的至少一者相关联的方式进行学习；及
[0054]
奖励计算步骤，计算与所述室外空气调节装置和所述空气调节装置的能耗的合计相关的奖励，
[0055]
其中，所述学习步骤中使用所述奖励进行学习。
[0056]
根据本公开的第9方面，能够提供一种可对室外空气调节装置和空气调节装置的运行能力进行最优化的机器学习方法。
附图说明
[0057]
[图1]图1是空调系统的系统构成的一例的示意图。
[0058]
[图2]图2是室外空气调节机的构成例的示意图。
[0059]
[图3]图3是目标空间内的供气管道和室内单元的设置例的示意图。
[0060]
[图4]图4是空气调节机的构成例的示意图。
[0061]
[图5]图5是机器学习装置和与机器学习装置连接的各部分的示意图。
[0062]
[图6]图6是机器学习装置的硬件结构的一例的示意图。
[0063]
[图7]图7是机器学习装置的功能构成的一例的示意图。
[0064]
[图8]图8是状态变量保存部中保存的状态变量的一例的示意图。
[0065]
[图9]图9是表示机器学习装置所执行的强化学习处理的流程的流程图。
具体实施方式
[0066]
下面参照附图对各实施方式进行说明。需要说明的是，本说明书和附图中对实质上具有相同功能构成的构成要素赋予了相同的符号，由此对重复的说明进行了省略。
[0067]
[第1实施方式]
[0068]
＜空调系统的系统构成＞
[0069]
首先，对第1实施方式的空调系统的系统构成进行说明。图1是空调系统的系统构成的一例的示意图。空调系统100是在房屋、建筑物、工厂、公共设施等建筑物中包含的目标空间sp内实现空气调节的系统。第1实施方式中，空调系统100应用于包括多个目标空间sp(sp1、sp2、sp3)的建筑物bl。
[0070]
如图1所示，空调系统100具有
[0071]
·
作为“室外空气调节装置”的一例的室外空气调节机10(空调(air handling)单元和冷却(chiller)单元)；
[0072]
·
作为“空气调节装置”的一例的空气调节机50(室内单元和室外单元)；
[0073]
·
遥控器(遥控)80；及
[0074]
·
机器学习装置90。
[0075]
空调系统100通过由室外空气调节机10吸入室外空气并对其进行调节然后将其供给至目标空间sp，可执行目标空间sp内的冷房、暖房、换气、除湿、加湿等的空气调节。室外空气是指目标空间sp外的空气，第1实施方式中为室外的空气。
[0076]
此外，空调系统100通过由空气调节机50吸入室内空气并对其进行调节然后将其供给至目标空间sp，可执行目标空间sp内的冷房、暖房、除湿等的空气调节。室内空气为目标空间sp内的空气。
[0077]
空调系统100中，根据输入至遥控器80的命令，可对室外空气调节机10和空气调节机50的空气调节进行控制。具体而言，空调系统100中，根据输入至遥控器80的命令、当时的负荷状况等，机器学习装置90对室外空气调节机10和空气调节机50的运行能力(至少任意
一者，但这里为两者，后面会详细介绍)进行设定。之后，室外空气调节机10和空气调节机50进行工作，以实现由机器学习装置90设定的运行能力。需要说明的是，这里所指的命令包括与启动/停止、运行类别、设定温度、设定湿度、设定风量等相关的命令。此外，负荷状况包括室外空气的状况即室外空气的温度、室外空气的湿度、室内空气的状况即室内空气的温度、室内空气的湿度等。
[0078]
＜室外空气调节机的细节＞
[0079]
接下来，使用图2和图3对室外空气调节机10的细节进行说明。图2是室外空气调节机的构成例的示意图。此外，图3是目标空间内的供气管道和室内单元的设置例的示意图。
[0080]
(1)室外空气调节机整体的说明
[0081]
首先，对室外空气调节机10的整体进行说明。一般而言，室外空气调节机中，室外空气和热媒之间的热交换方式有两种，即，热媒不发生相变的方式(集中方式(central method))和热媒蒸发或冷凝的(发生相变的)方式。图2等的室外空气调节机10可采用任一方式配置，但这里采用集中方式配置，主要具有冷却单元20、空调单元(air handling unit)30、供气管道45、以及外部调节机控制部49。运行期间，室外空气调节机10将室外空气oa吸入空调单元30内，并对其进行冷却或加热、或者、除湿或加湿，然后经由供气管道45将其作为供气sa而供给至目标空间sp。
[0082]
室外空气调节机10中，热媒回路c1和外部调节机冷媒回路c2彼此独立构成。
[0083]
热媒回路c1是供与室外空气oa进行热交换的热媒(这里为水(冷却水))进行循环的回路。热媒回路c1横跨冷却单元20和空调单元30而构成。热媒回路c1主要通过由第1配管p1对空调单元30内配置的室外空气热交换器33与冷却单元20内配置的热媒热交换器22和热媒泵pa进行连接而构成。室外空气调节机10的运行期间，通过将热媒泵pa控制为运行状态，热媒可沿预定方向(图2的两点划线箭头d1所示的方向)在热媒回路c1中流动。热媒回路c1中的热媒的流量主要藉由热媒泵pa的转数而调整。
[0084]
外部调节机冷媒回路c2是供热媒回路c1内的热媒的冷却源或成为加热源的冷媒进行循环的回路。外部调节机冷媒回路c2被配置在冷却单元20内。外部调节机冷媒回路c2主要通过由第2配管p2对冷却单元20内配置的冷媒压缩机21、热媒热交换器22、冷媒膨胀阀23、冷媒热交换器24、以及流路切换阀25进行连接而构成。室外空气调节机10的运行期间，外部调节机冷媒回路c2中，冷媒压缩机21被控制为运行状态，同时冷媒膨胀阀23的开度也被进行控制。据此，冷媒可沿预定方向(正向循环运行时为图2的两点划线箭头d2所示的方向，逆向循环运行时为与d2相反的方向)在外部调节机冷媒回路c2中流动。
[0085]
(2)冷却单元的细节
[0086]
接着，对构成室外空气调节机10的冷却单元20的细节进行说明。冷却单元20通过在外部调节机冷媒回路c2内执行冷媒循环，可进行热媒回路c1内的热媒的冷却或加热。冷却单元20主要具有冷媒压缩机21、热媒热交换器22、冷媒膨胀阀23、冷媒热交换器24、流路切换阀25、冷却风扇26、以及热媒泵pa。
[0087]
冷媒压缩机21是将冷媒循环中的低压的冷媒压缩至高压的机器。这里，作为冷媒压缩机21，采用了内置有压缩机马达的封闭式结构的压缩机。冷媒压缩机21内容纳有例如涡旋(scroll)式和容积式压缩元件，压缩元件被压缩机马达旋转驱动。压缩机马达的工作频率由逆变器控制，据此，可进行冷媒压缩机21的容量控制。即，冷媒压缩机21的容量是可
变的。
[0088]
热媒热交换器22是使热媒回路c1内的热媒和外部调节机冷媒回路c2内的低压冷媒进行热交换并对热媒进行冷却的热交换器。热媒热交换器22中，形成有与热媒回路c1连通的热媒流路和与外部调节机冷媒回路c2连通的冷媒流路，热媒热交换器22被构成为可使热媒流路内的热媒和冷媒流路内的冷媒进行热交换。热媒热交换器22在正向循环运行(冷房运行和除湿运行)时作为低压冷媒的蒸发器而发挥功能，在逆向循环运行(暖房运行)时作为高压冷媒的冷凝器或散热器而发挥功能。
[0089]
冷媒膨胀阀23是作为冷媒的减压单元或流量调整单元而发挥功能的阀门。第1实施方式中，冷媒膨胀阀23是可进行开度控制的电动膨胀阀。
[0090]
冷媒热交换器24是使外部调节机冷媒回路c2内的冷媒和经过的空气进行热交换的热交换器。冷媒热交换器24具有与外部调节机冷媒回路c2连通的传热管和传热鳍。冷媒热交换器24可使经过传热管和传热鳍的周围的空气(由冷却风扇26生成的空气流)和流经传热管的冷媒进行热交换。冷媒热交换器24在正向循环运行时作为高压冷媒的冷凝器或散热器而发挥功能，在逆向循环运行时作为低压冷媒的蒸发器而发挥功能。
[0091]
流路切换阀25可对外部调节机冷媒回路c2的流动进行切换。流路切换阀25具有4个连接口，分别连接至冷媒压缩机21的吸入配管、排出配管、热媒热交换器22的冷媒流路的气侧(gas side)、及冷媒热交换器24的气侧。
[0092]
具体而言，流路切换阀25可在第1状态和第2状态之间进行切换。第1状态为使热媒热交换器22的冷媒流路的气侧和冷媒压缩机21的吸入配管连通并使冷媒压缩机21的排出配管和冷媒热交换器24的气侧连通的状态(参见图2的流路切换阀25的实线)。第2状态为使冷媒压缩机21的排出配管和热媒热交换器22的冷媒流路的气侧连通并使冷媒热交换器24的气侧和冷媒压缩机21的吸入配管连通的状态(参见图2的流路切换阀25的虚线)。流路切换阀25在正向循环运行(冷房运行和除湿运行)时被控制为处于第1状态，在逆向循环运行(暖房运行等)时被控制为处于第2状态。
[0093]
冷却风扇26是用于生成流入冷却单元20内并经过冷媒热交换器24从而流出至冷却单元20外的空气流的送风机。由冷却风扇26生成的空气流在正向循环运行时是冷媒热交换器24内的冷媒的冷却源，在逆向循环运行时是冷媒热交换器24内的冷媒的加热源。冷却风扇26包括风扇马达，可藉由逆变器控制风扇马达，以对转数进行调整。即，冷却风扇26的风量是可变的。
[0094]
热媒泵pa(热媒调整部)配置于热媒回路c1。室外空气调节机10的运行期间，热媒泵pa对热媒进行吸引并使其排出。热媒泵pa包括驱动源即马达，可藉由逆变器控制马达，以对转数进行调整。即，热媒泵pa的排出流量是可变的。
[0095]
(3)空调单元(室外空气调节单元)的细节
[0096]
接下来，对构成室外空气调节机10的空调单元30的细节进行说明。空调单元30可进行室外空气oa的冷却、除湿、加热、以及/或者加湿。空调单元30主要具有室外空气热交换器33、加湿器35、以及供气风扇38。
[0097]
室外空气热交换器33(外部换热器)是作为室外空气oa的冷却器而发挥功能的热交换器。室外空气热交换器33配置于热媒回路c1。室外空气热交换器33具有与热媒回路c1连通的传热管和传热鳍。室外空气热交换器33中，经过传热管和传热鳍的周围的室外空气
oa和流经传热管的热媒进行热交换。
[0098]
加湿器35是用于对经过室外空气热交换器33的室外空气oa进行加湿的机器。对加湿器35的方式和型号并无特别限定，但这里采用了一般常用的自然蒸发式加湿器。
[0099]
供气风扇38(第1风扇)是将室外空气oa吸入空调单元30内并将其输送至供气管道45的送风机。对供气风扇38的型号并无特别限定，但第1实施方式中，作为供气风扇38采用了叶片式风扇(sirocco fan)。这里，空调单元30中形成了供室外空气oa流动的室外空气流路fp(参见图2中的虚线箭头“fp”)，供气风扇38变为运行状态后，室外空气oa沿室外空气流路fp进行流动。供气风扇38包括风扇马达，可藉由逆变器控制风扇马达，以对转数进行调整。即，供气风扇38的风量是可变的。
[0100]
空调单元30中，从室外空气流路fp的上风侧朝向下风侧依次配置有室外空气热交换器33、加湿器35、以及供气风扇38。室外空气流路fp的下风侧的端部与供气管道45连接。
[0101]
此外，空调单元30中还配置有各种传感器。作为空调单元30中配置的各种传感器，例如可列举出对被吸入空调单元30内的室外空气oa的温度进行检测的室外空气温度传感器301和对湿度进行检测的室外空气湿度传感器302。此外，例如还可列举出对被输送至供气管道45(即，目标空间sp)的供气sa的温度(供气温度)进行检测的供气温度传感器303。
[0102]
(4)供气管道的细节
[0103]
接着，对构成室外空气调节机10的供气管道45的细节进行说明。供气管道45是形成室外空气oa的流路的部件。供气管道45的一端与空调单元30连接，据此，藉由供气风扇38的驱动，室外空气oa可流入供气管道45。供气管道45的另一端进行了多个分支(分叉)，各分支与目标空间sp连通。
[0104]
如图3所示，供气管道45的另一端(各分支)与目标空间sp的天花板cl上形成的吸气孔h1连接。
[0105]
(5)外部调节机控制部的细节
[0106]
接下来，对构成室外空气调节机10的外部调节机控制部49的细节进行说明。外部调节机控制部49是对室外空气调节机10所含的各部分的动作进行控制的功能部。外部调节机控制部49由cpu、存储器、各种电装品等构成。外部调节机控制部49经由配线与室外空气调节机10所含的各机器连接。此外，外部调节机控制部49还经由通信线路与遥控器80和机器学习装置90电连接。
[0107]
第1实施方式中，外部调节机控制部49通过冷却单元20和空调单元30内分别配置的各微机和各电装品的彼此之间的电连接而构成。
[0108]
外部调节机控制部49根据设定温度和负荷状况对供气温度的目标值(目标供气温度tsa)进行设定(但是，第1实施方式中，供气温度的目标值由机器学习装置90设定)。外部调节机控制部49根据目标供气温度tsa对各部分的动作(例如，冷媒压缩机21的容量、冷媒膨胀阀23的开度、热媒泵pa的转数、加湿器35的启动/停止、供气风扇38的转数等)进行适当的调整。据此，可对室外空气调节机10的运行能力进行适当的改变。
[0109]
需要说明的是，这里所说的室外空气调节机10的“运行能力”主要是指冷却(除湿)能力和加热能力。具体而言，室外空气调节机10的运行能力可直接地基于流经外部换热器的热媒的状态(流量、温度、压力、焓等)以及/或者第1风扇的风量等进行确定，也可间接地基于预定的目标值(例如，供气温度的目标值等)进行确定。
[0110]
外部调节机控制部49在不实施室外空气oa的潜热处理或显热处理地对其进行供给以进行冷房运行的情况(即，进行室外空气冷房运行的情况)下，可使冷却单元20的各部分的运行休止或停止。
[0111]
(6)室外空气调节机的运行期间内的热媒、冷媒、冷却水、以及空气的流动
[0112]
接下来，对室外空气调节机10的运行期间内的热媒、冷媒、冷却水、以及空气的流动进行说明。室外空气调节机10的运行期间，一般而言，热媒泵pa进行驱动，据此热媒可在热媒回路c1内进行循环。另外，冷媒压缩机21进行驱动，由此冷媒可在外部调节机冷媒回路c2内进行循环。
[0113]
室外空气调节机10的运行期间，热媒回路c1中，热媒通过热媒热交换器22所执行的与流经外部调节机冷媒回路c2的冷媒之间的热交换而被冷却或加热。具体而言，正向循环运行时热媒被冷却，逆向循环运行时热媒被加热。热媒热交换器22中被冷却或加热后的热媒流入室外空气热交换器33，与被吸入空调单元30的室外空气oa进行热交换，由此可被加热或冷却。具体而言，正向循环运行时热媒被加热，逆向循环运行时热媒被冷却。经过了室外空气热交换器33的热媒可再次流入热媒热交换器22。
[0114]
室外空气调节机10的运行期间，外部调节机冷媒回路c2中，冷媒被冷媒压缩机21压缩，以作为高压冷媒而被排出。从冷媒压缩机21排出的高压冷媒在正向循环运行时藉由冷媒热交换器24与由冷却风扇26生成的空气流进行热交换，据此可进行冷凝或散热。此外，从冷媒压缩机21排出的高压冷媒在逆向循环运行时藉由热媒热交换器22与热媒回路c1内的热媒进行热交换，由此可进行冷凝或散热。就在冷媒热交换器24和热媒热交换器22中的一者内进行了冷凝或散热的冷媒而言，在冷媒膨胀阀23中被减压变为低压冷媒后，流入另一个热交换器，通过与热媒或空气流进行热交换，可蒸发或被加热。之后，冷媒可被再次吸入冷媒压缩机21。
[0115]
室外空气热交换器33中的室外空气oa与热媒进行热交换。具体而言，冷房运行时，室外空气oa被冷却(或被除湿)，暖房运行时，室外空气oa被加热。经过了室外空气热交换器33的室外空气oa被输送至供气管道45(目标空间sp)。在加湿器35处于运行状态的情况下，就室外空气热交换器33中藉由与热媒进行热交换而被加热了的空气而言，被加湿器35进行加湿后，可再被输送至供气管道45。
[0116]
＜空气调节机的细节＞
[0117]
接下来，基于图4对空气调节机50(空气调节装置)的细节进行说明。图4是空气调节机的构成例的示意图。
[0118]
(1)空气调节机整体的说明
[0119]
首先，对空气调节机50的整体进行说明。空气调节机50包含冷媒回路rc，通过在冷媒回路rc中使冷媒循环并进行蒸气压缩方式的冷冻循环，可实现目标空间sp的冷房、除湿、暖房等的空气调节。空气调节机50具有多个运行模式，由此可进行基于运行模式的运行。具体而言，空气调节机50具有进行冷房运行的冷房模式、进行除湿运行的除湿模式、进行暖房运行的暖房模式等，据此可进行基于各运行模式的运行。
[0120]
空气调节机50主要具有作为热源单元而发挥功能的1台室外单元60、作为利用单元而发挥功能的多台(这里为3台)室内单元70、以及空调机控制部79。空气调节机50中，室外单元60和各室内单元70经由液侧(liquid side)冷媒联络管lp1和气侧冷媒联络管gp1连
接，据此形成了冷媒回路rc。需要说明的是，对封入冷媒回路rc的冷媒并无特别限定，但例如可将r32、r410a等的hfc制冷剂封入冷媒回路rc。
[0121]
(2)室外单元的细节
[0122]
接下来，对构成空气调节机50的室外单元60(冷媒调整部)的细节进行说明。室外单元60配置于目标空间sp外。第1实施方式中，室外单元60安装在室外。
[0123]
室外单元60经由液侧冷媒联络管lp1和气侧冷媒联络管gp1与室内单元70连接，并构成冷媒回路rc的一部分。室外单元60主要具有压缩机61、四路切换阀62、室外热交换器63、以及室外风扇68。
[0124]
此外，室外单元60具有多个冷媒配管rp(第1冷媒配管rp1～第5冷媒配管rp5)。第1冷媒配管rp1对气侧冷媒联络管gp1和四路切换阀62进行连接。第2冷媒配管rp2对四路切换阀62和压缩机61的吸入侧进行连接。第3冷媒配管rp3对压缩机61的排出侧和四路切换阀62进行连接。第4冷媒配管rp4对四路切换阀62和室外热交换器63的气侧出入口进行连接。第5冷媒配管rp5对室外热交换器63的液侧出入口和液侧冷媒联络管lp1进行连接。
[0125]
压缩机61是将冷冻循环内的低压的冷媒压缩至高压的机器。这里，作为压缩机61，采用了内置有压缩机马达m61的封闭式结构的压缩机。压缩机61内容纳有回转式、涡旋式等的容积式压缩元件(未图示)，藉由压缩机马达m61，压缩元件可被旋转驱动。压缩机马达m61的工作频率由逆变器控制，据此，可进行压缩机61的容量控制。即，压缩机61的容量是可变的。
[0126]
四路切换阀62是用于对冷媒回路rc内的冷媒的流动方向进行切换的流路切换单元。四路切换阀62的各状态可根据具体状况而被进行控制。四路切换阀62在正向循环运行(冷房运行和除湿运行)时对第1冷媒配管rp1和第2冷媒配管rp2进行连接，同时对第3冷媒配管rp3和第4冷媒配管rp4进行连接。据此，四路切换阀62可被控制为处于第1状态(参见图4的四路切换阀62的实线)。此外，四路切换阀62在逆向循环运行(暖房运行)时对第1冷媒配管rp1和第3冷媒配管rp3进行连接，同时对第2冷媒配管rp2和第4冷媒配管rp4进行连接。据此，四路切换阀62可被控制为处于第2状态(参见图4的四路切换阀62的虚线)。
[0127]
室外热交换器63是使所经过的空气流(由室外风扇68生成的室外空气流)和冷媒进行热交换的热交换器。室外热交换器63在正向循环运行时作为冷媒的冷凝器或散热器而发挥功能。室外热交换器63在逆向循环运行时作为冷媒的蒸发器而发挥功能。
[0128]
室外风扇68是生成室外空气流的送风机。室外空气流是流入室外单元60内并经过室外热交换器63从而流出至室外单元60外的室外空气oa的流动。室外空气流在正向循环运行时是室外热交换器63内的冷媒的冷却源，在逆向循环运行时是室外热交换器63内的冷媒的加热源。室外风扇68包含风扇马达，可藉由逆变器控制风扇马达，以对转数进行调整。即，室外风扇68的风量是可变的。
[0129]
此外，室外单元60中还配置有各种传感器。作为室外单元60中配置的各种传感器，例如可列举出对被吸入压缩机61的冷媒的压力进行检测的吸入压力传感器、对从压缩机61排出的冷媒的压力进行检测的排出压力传感器等(未图示)。
[0130]
(3)室内单元的细节
[0131]
接下来，对构成空气调节机50的室内单元70的细节进行说明。室内单元70配置于目标空间sp。第1实施方式中，各室内单元70分别与目标空间sp相关联，并被设置于各目标
空间sp。第1实施方式中，各室内单元70是设置在目标空间sp的天花板cl上的天花板嵌入式空调室内机(例如，参见图3)。各室内单元70在目标空间sp内被设置为吸入口和排风口从天花板cl上露出。
[0132]
如图4所示，室内单元70经由液侧冷媒联络管lp1和气侧冷媒联络管gp1与室外单元60连接，并构成冷媒回路rc的一部分。第1实施方式中，1台室外单元60与3台室内单元70进行了连接。各室内单元70彼此并列配置。
[0133]
各室内单元70具有膨胀阀71和室内热交换器72。此外，各室内单元70还具有对室内热交换器72的液侧出入口和液侧冷媒联络管lp1进行连接的第6冷媒配管rp6以及对室内热交换器72的气侧出入口和气侧冷媒联络管gp1进行连接的第7冷媒配管rp7。
[0134]
膨胀阀71是作为冷媒的减压单元或流量调整单元而发挥功能的阀门。第1实施方式中，膨胀阀71是开度可控制的电动膨胀阀，并被配置于第6冷媒配管rp6(具体而言，配置在室内热交换器72和液侧冷媒联络管lp1之间)。
[0135]
室内热交换器72(空调热交换器)是使所经过的空气流(由室内风扇75生成的室内空气流)和冷媒进行热交换的热交换器。室内热交换器72在正向循环运行时作为冷媒的蒸发器而发挥功能。室外热交换器63在逆向循环运行时作为冷媒的冷凝器或散热器而发挥功能。
[0136]
室内风扇75(第2风扇)是生成室内空气流的送风机。室内空气流是流入室内单元70内并经过室内热交换器72从而流出至室内单元70外的室内空气ia(参见图3)的流动。室内空气流在正向循环运行时为室内热交换器72内的冷媒的加热源，在逆向循环运行时为室内热交换器72内的冷媒的冷却源。室内风扇75包含风扇马达，可藉由逆变器控制风扇马达，以对转数进行调整。即，室内风扇75的风量是可变的。
[0137]
此外，室内单元70内还配置有各种传感器。作为室内单元70内配置的各种传感器，例如可列举出对被吸入室内单元70内的室内空气流(室内空气ia)的温度进行检测的室内温度传感器701和对湿度进行检测的室内湿度传感器702。此外，例如还可列举出对二氧化碳浓度进行检测的二氧化碳浓度传感器703和对室内热交换器72中的冷媒的温度进行检测的冷媒温度传感器704。冷媒温度传感器704配置于室内热交换器72，可对正向循环运行时的冷媒的蒸发温度进行检测。
[0138]
(4)空调机控制部的详细
[0139]
接下来，对构成空气调节机50的空调机控制部79的细节进行说明。空调机控制部79是对空气调节机50所含的各部分的动作进行控制的功能部。空调机控制部79由cpu、存储器、各种电装品等构成。空调机控制部79经由配线与空气调节机50所含的各机器连接。此外，空调机控制部79与室内单元70中配置的各种传感器电连接。另外，空调机控制部79与共同的目标空间sp内设置的遥控器80连接，并可与其进行通信。此外，空调机控制部79经由通信线路与遥控器80和机器学习装置90电连接。
[0140]
第1实施方式中，空调机控制部79藉由室外单元60和各室内单元70中分别配置的各微机和各电装品的彼此的电连接而构成。
[0141]
空调机控制部79基于设定温度和负荷状况对各室内单元70中的蒸发温度的目标值(目标蒸发温度te)进行设定(但是，第1实施方式中，蒸发温度的目标值由机器学习装置90设定)。空调机控制部79基于目标蒸发温度te对压缩机61的容量、室外风扇68的风量等进
行适当的调整。据此，可对空气调节机50的运行能力进行适当的改变。
[0142]
需要说明的是，这里所说的空气调节机50的“运行能力”主要是指冷却(除湿)能力和加热能力。具体而言，空气调节机50的运行能力可直接地根据流经空调热交换器的冷媒的状态(流量、温度、压力、焓等)以及/或者第2风扇的风量等进行确定，也可间接地根据预定的目标值(例如，冷媒的蒸发温度的目标值等)进行确定。
[0143]
(5)冷媒回路中的冷媒的流动
[0144]
接着，对正向循环运行时和逆向循环运行时的空气调节机50的运行期间内的冷媒回路中的冷媒的流动进行说明。
[0145]
(5－1)正向循环运行时
[0146]
空气调节机50中，正向循环运行(冷房运行
·
除湿运行)时，四路切换阀62被控制为处于第1状态。据此，冷媒回路rc中填充的冷媒主要按照压缩机61、室外热交换器63、运行期间内的室内单元70的膨胀阀71、以及运行期间内的室内单元70的室内热交换器72的顺序进行循环(冷媒按照正向循环进行循环)。
[0147]
正向循环运行开始后，执行基于各室内单元70所要求的冷却负荷(具体而言，目标蒸发温度te)的容量(能力)控制。具体而言，冷媒回路rc内，冷媒被吸入压缩机61，压缩后被排出。需要说明的是，可对压缩机61的转数进行适当的调整。从压缩机61排出的气态冷媒经由第3冷媒配管rp3、四路切换阀62、以及第4冷媒配管rp4流入室外热交换器63的气侧出入口。
[0148]
流入室外热交换器63的气侧出入口的气态冷媒通过与由室外风扇68供给的室外空气oa进行热交换而散热和冷凝，变为过冷却状态的液态冷媒后，从室外热交换器63的液侧出入口流出。从室外热交换器63的液侧出入口流出的液态冷媒经过第5冷媒配管rp5和液侧冷媒联络管lp1流入正在运行的室内单元70。
[0149]
流入室内单元70的冷媒在第6冷媒配管rp6内流动，流入膨胀阀71被减压后，流入室内热交换器72的液侧出入口。需要说明的是，可对膨胀阀71的开度进行适当的调整。流入室内热交换器72的液侧出入口的冷媒通过与由室内风扇75供给的室内空气ia进行热交换而蒸发，变为过热状态的气态冷媒后，从室内热交换器72的气侧出入口流出。
[0150]
从室内热交换器72的气侧出入口流出的气态冷媒经由第7冷媒配管rp7、气侧冷媒联络管gp1、第1冷媒配管rp1、四路切换阀62、及第2冷媒配管rp2可被再次吸入压缩机61。
[0151]
(5－2)逆向循环运行时
[0152]
空气调节机50中，逆向循环运行(暖房运行)时，四路切换阀62被控制为处于第2状态。据此，冷媒回路rc中填充的冷媒主要按照压缩机61、运行期间内的室内单元70的室内热交换器72、运行期间内的室内单元70的膨胀阀71、及室外热交换器63的顺序进行循环(冷媒按照逆向循环进行循环)。
[0153]
逆向循环运行开始后，执行基于各室内单元70所要求的暖房负荷的容量(能力)控制。具体而言，冷媒回路rc内，冷媒被吸入压缩机61，压缩后被排出。需要说明的是，可对压缩机61的转数进行适当的调整。从压缩机61排出的气态冷媒经由第2冷媒配管rp2、四路切换阀62、及第1冷媒配管rp1流入正在运行的室内单元70，并在第7冷媒配管rp7内流动，然后流入室内热交换器72的气侧出入口。
[0154]
流入室内热交换器72的气侧出入口的气态冷媒通过与由室内风扇75供给的室内
interface)等的引导程序等进行保存。
[0166]
ram603是dram(dynamic random access memory)、sram(static random access memory)等的挥发性存储器。ram603作为主存储装置而发挥功能，可提供辅助存储装置604中安装的各种程序被cpu601执行时所展开的工作区域。
[0167]
辅助存储装置604可对各种程序、各种程序被执行时所需的信息等进行保存。
[0168]
显示装置605是对机器学习装置90的内部状态进行显示的显示装置。操作装置606是例如机器学习装置90的管理者用于向机器学习装置90执行各种操作的操作装置。i/f装置607是与外部调节机控制部49和空调机控制部79连接，并在外部调节机控制部49和空调机控制部79之间进行信号的发送和接收的连接装置。
[0169]
(3)机器学习装置的功能构成
[0170]
接下来，对机器学习装置90的功能构成进行说明。图7是机器学习装置的功能构成的一例的示意图。如上所述，机器学习装置90中安装有机器学习程序，通过执行该程序，机器学习装置90可作为能耗获取部710、奖励计算部720、状态变量获取部730、以及强化学习部740而发挥功能。
[0171]
能耗获取部710获取用于对室外空气调节机10和空气调节机50的能耗进行确定的信息。需要说明的是，用于对能耗进行确定的信息包括室外空气调节机10和空气调节机50的电力消耗。此外，用于对能耗进行确定的信息可包括制冷系数(cop：coefficient of performance)。另外，用于对能耗进行确定的信息可包括co2排放量(二氧化碳排放量)、能量成本(电费和燃气费)等。
[0172]
此外，能耗获取部710获取的用于对室外空气调节机10的能耗进行确定的信息包括
[0173]
·
用于对室外空气调节机10所具有的冷却单元20的能耗进行确定的信息；
[0174]
·
用于对室外空气调节机10所具有的空调单元30的能耗进行确定的信息；及
[0175]
·
用于对室外空气调节机10所具有的热媒泵pa的能耗进行确定的信息。
[0176]
另外，能耗获取部710获取的用于对空气调节机50的能耗进行确定的信息包括
[0177]
·
用于对空气调节机50所具有的室外单元60的能耗进行确定的信息；及
[0178]
·
用于对空气调节机50所具有的室内单元70的能耗进行确定的信息。
[0179]
能耗获取部710将获取到的用于对室外空气调节机10的能耗进行确定的信息和获取到的用于对空气调节机50的能耗进行确定的信息加在一起，并将合计值通知给奖励计算部720。
[0180]
奖励计算部720计算与从能耗获取部710通知的合计值相关的奖励，并将计算结果通知给强化学习部740。
[0181]
状态变量获取部730从室外空气调节机10和空气调节机50获取状态变量。状态变量获取部730获取的状态变量包括运行条件信息、负荷信息、运行设定值信息等。
[0182]
运行条件信息是指表示空调系统100运行时的室外空气的状况和室内空气的状况的信息。具体而言，状态变量获取部730获取
[0183]
·
作为表示室外空气的状况的信息的室外空气温度或室外空气湿度；及
[0184]
·
作为表示室内空气的状况的室内空气温度或室内空气湿度。
[0185]
负荷信息是指表示室外空气调节机10的运行状况和空气调节机50的运行状况的
信息。具体而言，状态变量获取部730获取作为表示室外空气调节机10的运行状况的
[0186]
·
表示室外空气调节机10正在运行或停止的信息；
[0187]
·
表示室外空气调节机10为冷房模式或暖房模式的信息；
[0188]
·
室外空气调节机10的第1风扇的风量；
[0189]
·
室外空气调节机10的热媒的流量；
[0190]
·
室外空气调节机10的热媒的温度；
[0191]
·
室外空气调节机10的热媒的压力；及
[0192]
·
室外空气调节机10的供气温度的设定值，
[0193]
并获取作为表示空气调节机50的运行状况的信息的
[0194]
·
表示空气调节机50正在运行或停止的信息；
[0195]
·
表示空气调节机50为冷房模式或暖房模式的信息；
[0196]
·
空气调节机50的第2风扇的风量；
[0197]
·
空气调节机50的冷媒的流量；
[0198]
·
空气调节机50的冷媒的温度；
[0199]
·
空气调节机50的冷媒的压力；及
[0200]
·
空气调节机50的蒸发温度的设定值。
[0201]
运行设定值信息是指表示使空调系统100运行时所设定的设定值的信息。具体而言，状态变量获取部730获取作为运行设定值信息的
[0202]
·
室内设定温度；及
[0203]
·
室内设定湿度。
[0204]
状态变量获取部730将从室外空气调节机10和空气调节机50获取到的这些状态变量与时间信息相关联地保存至状态变量保存部750。
[0205]
强化学习部740是学习部的一例，具有负荷协调控制模型741，以使从奖励计算部720通知的奖励变为最大的方式对负荷协调控制模型741的模型参数进行改变。据此，强化学习部740可针对使状态变量与室外空气调节机10的运行能力和空气调节机50的运行能力中的至少一者进行关联的负荷协调控制模型741进行强化学习。这样，强化学习部740针对负荷协调控制模型741进行强化学习，以降低用于对室外空气调节机10的能耗进行确定的信息和用于对空气调节机50的能耗进行确定的信息的相加后的合计值。据此，负荷协调控制模型741可输出室外空气调节机10的运行能力和空气调节机50的运行能力中的至少一者。
[0206]
这里，设定为至少一者的原因在于，包含
[0207]
·
使用由负荷协调控制模型741输出的室外空气调节机10的运行能力和空气调节机50的运行能力分别对室外空气调节机10和空气调节机50进行控制的情况；
[0208]
·
使用由负荷协调控制模型741输出的室外空气调节机10的运行能力对室外空气调节机10进行控制，并使用由强化学习部740根据预先设定的组合从室外空气调节机10的运行能力推导出的运行能力对空气调节机50进行控制的情况；或者
[0209]
·
使用由负荷协调控制模型741输出的空气调节机50的运行能力对空气调节机50进行控制，并使用由强化学习部74根据预先设定的组合从空气调节机50的运行能力推导出的运行能力对室外空气调节机10进行控制的情况。
[0210]
需要说明的是，室外空气调节机10的运行能力包括
[0211]
·
室外空气调节机10的供气温度的目标值；
[0212]
·
室外空气调节机10的风量的目标值；
[0213]
·
室外空气调节机10的热媒的温度的目标值；
[0214]
·
室外空气调节机10的蒸发温度的目标值；及
[0215]
·
室外空气调节机10的焓的目标值。
[0216]
此外，空气调节机50的运行能力包括
[0217]
·
空气调节机的蒸发温度的目标值。
[0218]
需要说明的是，奖励计算部720中，按照强化学习部740的学习周期对奖励进行计算。具体而言，奖励计算部720中，根据从前次的强化学习开始至本次的强化学习为止的期间内的能耗的合计值来计算奖励。这里需要说明的是，强化学习部740的学习周期例如为，与从室外空气调节机10的运行能力或空气调节机50的运行能力被改变开始至能耗的合计值发生变化为止所需的时间相对应的周期。
[0219]
此外，强化学习部740中，使负荷协调控制模型741进行执行时，先读取从前次的强化学习开始至本次的强化学习为止的期间内的状态变量，并计算读取出的状态变量的平均值，然后再将其输入负荷协调控制模型741。
[0220]
通过使负荷协调控制模型741进行执行而输出的运行能力(在仅输出一个运行能力的情况下，为该输出的运行能力和根据该输出的运行能力所推导出的运行能力)由强化学习部740发送至该发送的对象。具体而言，室外空气调节机10的运行能力由强化学习部740发送至外部调节机控制部49，空气调节机50的运行能力由强化学习部740发送至空调机控制部79。据此，室外空气调节机10可采用实现发送来的运行能力的方式进行工作，空气调节机50也可采用实现发送来的运行能力的方式进行工作。
[0221]
(4)状态变量的细节
[0222]
接着，对状态变量保存部750中保存的状态变量的细节进行说明。图8是状态变量保存部中保存的状态变量的一例的示意图。如图8所示，状态变量保存部750中保存的状态变量包括作为信息的项目的“时间”、“运行条件信息”、“负荷信息”、以及“运行设定值信息”。此外，“运行条件信息”、“负荷信息”、以及“运行设定值信息”中还分别按照每个项目对由状态变量获取部730获取的信息进行了保存。
[0223]
需要说明的是，图8的例子示出了学习周期为15分钟至30分钟的情况，“运行条件信息”、“负荷信息”、以及“运行设定值信息”中包含的各信息按照每15分钟至30分钟被计算了平均值。
[0224]
(5)强化学习处理的流程
[0225]
接下来，对机器学习装置90所执行的强化学习处理的流程进行说明。图9是表示机器学习装置所执行的强化学习处理的流程的流程图。
[0226]
步骤s901中，状态变量获取部730从室外空气调节机10和空气调节机50获取状态变量。
[0227]
步骤s902中，能耗获取部710将获取到的用于对室外空气调节机10的能耗进行确定的信息和获取到的用于对空气调节机50的能耗进行确定的信息相加，以计算合计值。
[0228]
步骤s903中，强化学习部740判定是否经过了预定的学习周期。步骤s903中，在判
定为没有经过预定的学习周期的情况(步骤s903中no(否)的情况)下，返回步骤s901。
[0229]
另一方面，步骤s903中，在判定为经过了预定的学习周期的情况(步骤s903中yes(是)的情况)下，进入步骤s904。
[0230]
步骤s904中，奖励计算部720根据预定的学习周期的期间内所累积的合计值，对奖励进行计算。
[0231]
步骤s905中，奖励计算部720判定计算出的奖励是否为预定的阈值以上。步骤s905中，在判断为不是预定的阈值以上的情况(步骤s905中no的情况)下，进入步骤s906。
[0232]
步骤s906中，强化学习部740采用使计算出的奖励变为最大的方式针对负荷协调控制模型741进行强化学习。
[0233]
步骤s907中，强化学习部740通过将现在的状态变量输入负荷协调控制模型741，以使负荷协调控制模型741进行执行。据此，负荷协调控制模型741可输出室外空气调节机10的运行能力和空气调节机50的运行能力中的至少任意一者。需要说明的是，强化学习部740中，在由负荷协调控制模型741仅输出任意一个运行能力的情况下，可根据预定的组合推导出另一个的运行能力。
[0234]
步骤s908中，强化学习部740将室外空气调节机10的运行能力发送给外部调节机控制部49，并将所输出的空气调节机50的运行能力发送给空调机控制部79。之后，返回步骤s901。
[0235]
另一方面，步骤s905中，在判定为是预定的阈值以上的情况(步骤s905中yes的情况)下，结束强化学习处理。
[0236]
＜总结＞
[0237]
由上面的说明可知，第1实施方式的空调系统具有
[0238]
·
室外空气调节机，具有空调单元和对流经空调单元的热媒的状态进行调整的热媒泵，通过吸入室外空气并将其作为自空调单元的供气而进行供给，执行目标空间的空气调节；
[0239]
·
空气调节机，具有多个室内单元和对流经室内单元的冷媒的状态进行调整的室外单元，通过由室内单元对目标空间内的空气即室内空气进行冷却或加热并将其供给至目标空间，执行目标空间的空气调节；及
[0240]
·
机器学习装置，对室外空气调节机和空气调节机的运行能力中的至少一者进行学习。
[0241]
此外，第1实施方式的机器学习装置
[0242]
·
获取包含室外空气的状况、室内空气的状况、室外空气调节机的运行状况、空气调节机的运行状况、以及目标空间的设定温度或设定湿度的状态变量；
[0243]
·
以使状态变量与室外空气调节机和空气调节机的运行能力中的至少一者相关联的方式进行学习；
[0244]
·
计算与室外空气调节机和空气调节机的能耗的合计相关的奖励；及
[0245]
·
当以使状态变量与室外空气调节机和空气调节机的运行能力中的至少一者相关联的方式进行学习时，使用计算出的奖励。
[0246]
这样，根据第1实施方式，由于是使用空调系统安装后实测的数据来构建负荷协调控制模型，所以可建立能够反映出所安装的机器的特性的高精度的模型。此外，根据第1实
施方式，由于该负荷协调控制模型是藉由强化学习而自动构建的，所以可降低用于启动空调系统的安装后的作业负荷。另外，根据第1实施方式，通过使用所构建的负荷协调控制模型来对室外空气调节机和空气调节机的运行能力进行设定，可减少室外空气调节机和空气调节机的能耗的合计值。
[0247]
换言之，根据第1实施方式，能够提供可对室外空气调节机和空气调节机的运行能力进行最优化的空调系统、机器学习装置、及机器学习方法。
[0248]
[其它实施方式]
[0249]
上述第1实施方式中，作为室外空气调节机10，例示了热媒回路c1和外部调节机冷媒回路c2彼此独立构成的冷却式室外空气调节机。然而，室外空气调节机10并不限定于冷却式室外空气调节机，也可为不具有热媒回路c1的、外部调节机冷媒回路c2与室外空气热交换器33连接的直膨式室外空气调节机。
[0250]
此外，上述第1实施方式中描述了，在由负荷协调控制模型741仅输出任意一个的运行能力的情况下，强化学习部740可基于预定的组合对另一个的运行能力进行推导。然而，强化学习部740也可被构成为，仅发送由负荷协调控制模型741输出的任意一个的运行能力。具体而言，在由负荷协调控制模型741输出室外空气调节机10的运行能力的情况下，可使用该运行能力对室外空气调节机10进行控制，并使空气调节机50随之变化。或者，在由负荷协调控制模型741输出空气调节机50的运行能力的情况下，可使用该运行能力对空气调节机50进行控制，并使室外空气调节机10随之变化。
[0251]
另外，上述第1实施方式中，尽管没有特别言及执行机器学习时所使用的模型(负荷协调控制模型)的细节，但可采用进行机器学习时所使用的任意种类的模型。具体而言，可采用nn(neural network)模型、随机森林模型、svm(support vector machine)模型等的任意种类的模型。
[0252]
此外，上述第1实施方式中，尽管没有对改变模型参数的情况下的改变方法的细节进行特别的言及，但模型参数的改变方法可根据模型的种类而定。
[0253]
以上尽管对实施方式进行了说明，但只要不脱离权利要求书的主旨和范围，还可对其进行各种各样的变更和变形。
[0254]
本技术主张基于2019年4月26日申请的日本国专利申请第2019－086786号和2020年4月17日申请的日本国专利申请第2020－073804号的优先权，并以引用的方式将这些日本国专利申请的内容全部援引于本技术。
[0255]
[附图标记说明]
[0256]
100：空调系统
[0257]
10：室外空气调节机
[0258]
20：冷却单元
[0259]
30：空调单元
[0260]
45：供气管道
[0261]
49：外部调节机控制部
[0262]
50：空气调节机
[0263]
60：室外单元
[0264]
70：室内单元
[0265]
79：空调机控制部
[0266]
80：遥控器
[0267]
90：机器学习装置
[0268]
710：能耗获取部
[0269]
720：奖励计算部
[0270]
730：状态变量获取部
[0271]
740：强化学习部
[0272]
741：负荷协调控制模型。