决定空调机的预冷运转或预热运转的运转条件的机械学习装置的制作方法

1.涉及一种机械学习装置，其决定空调机的预冷运转或预热运转的运转条件。


背景技术：

2.在专利文献1(日本特许6270996号公报)中，公开了在空气调节对象的空间中没有用户的时间内控制空调机的不在控制。该不在控制是为了在用户返回到空气调节对象的空间时提高舒适性的目的而进行的。在不在控制中，为了决定使空调机动作的时间的长度以及空调机的负荷处理量，需参照不在时间的长度、具有空气调节对象的空间的建筑物的主体结构性能以及在室开始时的空调负荷。


技术实现要素：

3.发明所要解决的课题
4.在上述的专利文献中，没有提及机械学习。
5.用于解决课题的手段
6.第一观点的机械学习装置决定空调机的预冷运转或预热运转的运转条件。机械学习装置具备取得部和学习部。取得部取得预冷运转或预热运转时的室温数据、设定温度数据以及外部气温数据作为状态变量。学习部基于状态变量、预冷运转或预热运转开始后的室温以及设定温度，学习预冷运转或预热运转的运转条件。
7.根据该结构，预冷运转或预热运转的运转条件通过机械学习而被导出。因此，提高了用户的舒适性或节能效果。
8.第二观点的机械学习装置在第一观点所述的机械学习装置中，预冷运转或预热运转的运转条件包含运转开始时刻。
9.第三观点的机械学习装置在第一观点或第二观点所述的机械学习装置中，空调机具有利用热交换器、利用风扇和压缩机。预冷运转或预热运转的运转条件包含利用热交换器的温度、利用风扇的转速、压缩机的转速中的至少一者。
10.第四观点的机械学习装置在第三观点所述的机械学习装置中，取得部进一步取得以下项目中的至少一者作为所述状态变量：与空调机的热处理量相关的数据；将空调机的利用单元所调节的空间包围的主体的数据；预冷运转或预热运转前的外部气温数据；预冷运转或预热运转前的日照数据；预冷运转或预热运转前的气象数据；以及预冷运转或预热运转时的季节或月份。
11.第五观点的机械学习装置在第四观点所述的机械学习装置中，与空调机的热处理量相关的所述数据包含以下项目中的至少一者：压缩机的所述转速；利用热交换器的所述温度；以及在利用热交换器的进气侧测量的吸入温度。
12.第六观点的机械学习装置在第四观点或第五观点所述的机械学习装置中，主体的数据包含以下项目中的至少一者：主体的历经年数；主体的隔热性；主体的窗口的规格；主
体所构成的房间的尺寸；主体的换气量；主体的朝向；以及与主体所构成的房间相邻的房间的空调机的运转信息。
13.第七观点的机械学习装置在第一观点至第六观点中的任意一观点所述的机械学习装置中，学习部还具有回报设定部。回报设定部基于预冷运转或预热运转开始后的室温及设定温度来决定回报。学习部基于状态变量和回报来学习预冷运转或预热运转的运转条件。
14.第八观点所涉及的机械学习装置在第七观点所述的机械学习装置中，回报设定部还基于直到预冷运转或预热运转开始后的某个时刻为止所需的电力量来决定回报。
15.第九观点的机械学习装置在第八观点的机械学习装置中，预冷运转或预热运转开始后的某个时刻是预冷运转或预热运转结束时。
16.第十观点的机械学习装置在第八观点或第九观点的机械学习装置中，回报设定部在预冷运转或预热运转结束时的室温与设定温度之差较小时使回报增大，或者，在电力量较小时使所述回报增大。
17.第十一观点的机械学习装置在第七观点至第十观点中的任意一观点所述的机械学习装置中，学习部还具有：行为价值函数保持部，其保持行为价值函数；以及行为价值函数更新部，其更新所述行为价值函数。行为价值函数表示对于运转条件被期待接受的回报的期待值。行为价值函数更新部基于实际得到的回报来更新行为价值函数。
附图说明
18.图1是表示机械学习装置100的结构的示意图。
19.图2是表示空调机10的结构的示意图。
20.图3是控制部40的框图。
21.图4是机械学习装置100的框图。
22.图5是表示机械学习装置100的处理的流程图。
具体实施方式
23.(1)整体结构
24.图1表示机械学习装置100。机械学习装置100包含空调机10。空调机10具有热源单元10a以及利用单元10b。空调机10设置于空气调节对象的房间r。
25.机械学习装置100能够进行不在控制。不在控制是指在空气调节对象的空间(房间r)中不存在用户的时间内进行的空调机10的控制。将在不在控制中进行的制冷运转称为预冷运转。将在不在控制中进行的制热运转称为预热运转。
26.(2)详细结构
27.(2
‑
1)空调机10
28.空调机10对房间r的空气进行调节。图2表示空调机10的结构。空调机10具有压缩机11、四通切换阀12、热源热交换器13、热源风扇14、膨胀阀15、利用热交换器16、利用风扇17、控制部40。空调机10还具有外部气温传感器19a、室温传感器19b、热源热交换器温度传感器19c、利用热交换器温度传感器19d、压缩机吸入温度传感器19e、压缩机排出温度传感器19f、未图示的压力传感器等。在制冷运转的情况下，制冷剂沿实线箭头的方向循环。在制
热运转的情况下，制冷剂沿虚线箭头的方向循环。
29.在图2的结构中，连接有1台热源单元10a和1台利用单元10b。取而代之，也可以采用1台热源单元10a与多个利用单元10b连接的结构。控制部40可以搭载于热源单元10a及利用单元10b中的任一者。或者，控制部40可以分别搭载于热源单元10a和利用单元10b双方。
30.(2
‑
2)控制部40
31.图3是控制部40的框图。控制部40例如是微型计算机。控制部40通过执行专用的程序，作为空调机控制部41、在室信息取得部44、运转内容决定部45发挥功能。
32.空调机控制部41控制空调机10。具体而言，如图2所示，空调机控制部41对压缩机11、四通切换阀12、热源风扇14、膨胀阀15、利用风扇17的动作进行控制。并且，空调机控制部41从温度传感器19a～19f取得温度信息。并且，空调机控制部41保持由用户输入的设定温度数据ts。并且，空调机控制部41掌握空调机10的消耗电力。
33.图3所示的在室信息取得部44例如基于人感传感器输出的统计结果取得用户从房间r出去的时刻以及用户返回房间r的时刻的信息。取而代之，在室信息取得部44可以通过手动输入接受用户从房间r出去的时刻以及用户返回到房间r的时刻的信息。
34.运转内容决定部45综合地决定在应执行的预冷运转或预热运转中如何使空调机10运转。
35.(3)运转内容决定部45的详细情况
36.(3
‑
1)结构
37.图4是机械学习装置100的框图。运转内容决定部45具有取得部451及学习部452。
38.作为状态变量，取得部451取得空调机10的温度传感器19a～19f的输出、在室信息取得部44的输出以及其他信号。例如，取得部451根据室温传感器19b、外部气温传感器19a的输出，分别取得室温数据、外部气温数据作为状态变量。取得部451还取得空调机控制部41所保持的设定温度数据ts作为状态变量。进而，取得部451根据在室信息取得部44的输出，取得用户返回房间r为止的时间作为状态变量。作为状态变量，取得部451取得以下项目中的至少一者：
39.‑
与空调机10的热处理量相关的数据(例如，压缩机11的转速、利用热交换器16的温度、在利用热交换器16的吸气侧测定的吸入温度(即室温))；
40.‑
将空调机10的利用单元10b进行空气调节的空间(房间r)包围的主体的数据(例如，主体的历经年数、主体的隔热性、主体的窗口的规格、主体所构成的房间的尺寸、主体的换气量、主体的朝向、与主体所构成的房间r相邻的房间的空调机的运转信息)；
41.‑
预冷运转或预热运转前的外部气温数据；
42.‑
预冷运转或预热运转前的日照数据；
43.‑
预冷运转或预热运转前的气象数据；以及
44.‑
预冷运转或预热运转时的季节或月份。
45.学习部452基于由状态变量构成的训练数据集、预冷运转或预热运转开始后的某个时刻的室温数据以及设定温度数据ts，学习预冷运转或预热运转的运转条件。在此所说的运转条件可以包含预冷运转或预热运转的运转开始时刻。或者，运转条件可以包含利用热交换器16的温度、利用风扇17的转速、压缩机11的转速中的至少一者。
46.学习部452具有回报设定部453、行为价值函数更新部454、行为价值函数保持部
455。回报设定部453在进行预冷运转或预热运转时基于下一值来计算回报。
47.‑
(a)用户返回房间r的时刻的室温与设定温度的差值。
48.‑
(b)直到预冷运转或预热运转开始后的某个时刻(例如预冷运转或预热运转结束时)为止所需的电力量。
49.具体而言，回报设定部453在“(a)差值”较小时赋予较大的回报，在“(a)差值”较大时赋予较小的回报。此外，回报设定部453在“(b)电力量”较小时赋予较大的回报，在“(b)电力量”较大时赋予较小的回报。
50.行为价值函数保持部455保持用于计算预冷运转或预热运转的控制方法的函数(行为价值函数)。在此所说的函数中也包含以表格形式表现的数值(行动价值表)。函数也可以表示对于运转条件被期待接受的所述回报的期待值。
51.行为价值函数更新部454根据由取得部451取得的状态变量以及由回报设定部453计算出的回报，来更新在行为价值函数保持部455中保持的行为价值函数。
52.这样，学习部452基于状态变量和回报来学习预冷运转或预热运转的所述运转条件。学习部452可以实时地更新行为价值函数。进而，为此，学习部452可以通过多层神经网络来运算从取得部451取得的状态变量。此时，优选学习部452进行强化学习。
53.(3
‑
2)运转内容
54.运转内容决定部45决定空调机10的运转内容。在此，空调机10的运转内容可以包含空调机10的运转开始时刻。或者，运转条件可以包含利用热交换器16的温度、利用风扇17的转速、压缩机11的转速中的至少一者。
55.(4)处理
56.图5是表示机械学习装置100的处理的流程图。强化学习的“行动”的初始值有时随机地选择。在步骤s1中，随机地选择空调机10的控制参数。
57.在步骤s2中，取得部451取得状态变量。在此，状态变量包含空调机10的温度传感器19a～19f的至少一部分的输出、在室信息取得部44的输出以及其他的信号。例如，状态变量包含步骤s2的时间点的室温、外部空气温度、空调机10的消耗电力、用户返回房间r为止的时间等。
58.在步骤s3中，回报设定部453在进行某个预冷运转或预热运转时，判断用户返回到房间r的时刻的室温与设定温度的差值的大小是否小于规定值。在判定为差值的大小小于规定值的情况下，在步骤s4中，回报设定部453增加回报。另一方面，在判定为差值的大小为规定值以上的情况下，在步骤s5中，回报设定部453减少回报。
59.在步骤s6中，回报设定部453在进行了某个预冷运转或者预热运转时，在判定为预冷运转或者预热运转所需的电力量的大小小于规定值的情况下，在步骤s7中，回报设定部453增加回报。另一方面，在判定为电力量的大小为规定值以上的情况下，在步骤s8中，回报设定部453减少回报。
60.在步骤s9中，行为价值函数更新部454根据状态变量以及回报，更新用于计算控制参数的函数(行为价值函数)。
61.在步骤s10中，判断是否满足决定条件。决定条件可以是基于用户的命令的输入。取而代之，决定条件也可以是满足规定的关系式这样的条件。在满足决定条件的情况下，处理进入步骤s11。在不满足决定条件的情况下，处理返回到步骤s2。
62.在步骤s11中，行为价值函数更新部454基于函数，决定成为得到最多回报的预冷运转或预热运转的控制参数。
63.(5)特征
64.预冷运转或预热运转的运转条件通过机械学习导出。因此，提高了用户的舒适性或节能效果。
65.(6)变形例
66.‑
(a)用户返回房间r的时刻的室温与设定温度的差值。
67.取而代之，
68.‑
(c)用户返回房间r的时刻与室温实际达到设定温度的时刻的差值时间。
69.也可以用于处理。
70.(7)总结
71.以上，对本发明的实施方式进行了说明，但应当理解为，能够在不脱离权利要求书所记载的本公开的主旨以及范围内进行方式、详细情况的各种变更。
72.标号说明
73.10：空调机；11：压缩机；13：热源热交换器；14：热源风扇；15：膨胀阀；16：利用热交换器；17：利用风扇；19a：外部气温传感器；19b：室温传感器；40：控制部；100：机械学习装置；451：取得部；452：学习部；453：回报设定部；454：行为价值函数更新部；455：行为价值函数保持部；r：房间；ts：设定温度数据。
74.现有技术文献
75.专利文献
76.专利文献1：日本专利6270996号公报。