1.本公开涉及空调控制的学习装置以及推理装置。
背景技术：2.以往，公知有一种在空调对象的空间中的温度发生变化之前控制空调的结构(预空调)。例如，在国际公开第2018/190334号(专利文献1)公开了一种通过除了输入温度之外还输入表示日照量的指标信息并进行学习而控制空调能力来进行预空调的结构。
3.专利文献1：国际公开第2018/190334号
4.在专利文献1公开的结构中，着眼于日照量这一来自外部的能量流入量，但并未考虑设备的发热这一内部的能量产生量。有时在工厂内例如配置有炉或压缩机之类的进行发热的设备。由于空间温度的变化会引起加工精度的变差或因作业人员的身体负荷增大造成的生产率变差，所以要求变化量的抑制。在温度传感器中，需要检测、空调能力控制开始以及向空间温度的反映各阶段，无法避免时滞。存在设备的发热量根据生产计划或生产投入实际情况而变化的情况。在发热量存在变化的情况下，难以应对温度的波动(过冲(over shoot)/下冲(under shoot))产生。并且，由于即便仅测量生产设备的消耗电力量，与品种对应的变化也多样，电力量也根据前后的生产品种而存在差异，所以难以涵盖外部空气温度等因素而通过人工来包罗全部的电力量与空间温度变化量的模式。
技术实现要素：5.本公开是为了解决上述课题而完成的，其目的在于，抑制进行预空调的设备中的加工精度以及作业性的变差。
6.本公开的一个方面所涉及的学习装置学习包括至少1个设备的工厂的空调系统的控制。学习装置具备第1数据取得部和模型生成部。第1数据取得部取得学习用数据，该学习用数据包括表示至少1个设备以及空调系统的状态的第1参数和与空调系统的空调的强度相关的第2参数。模型生成部使用学习用数据来生成根据第1参数推理第2参数的学习完毕模型。第1参数包括至少1个设备的电力量、温度以及湿度、至少1个设备的识别信息、由至少1个设备生产的产品的品种、以及与取得了第1参数的时刻相关的信息。
7.本公开的另一方面所涉及的推理装置输出包括至少1个设备的工厂的空调系统的控制。推理装置具备数据取得部和推理部。数据取得部取得表示至少1个设备以及空调系统的状态的第1参数。推理部使用根据第1参数推理与空调系统的空调的强度相关的第2参数的学习完毕模型来根据由数据取得部取得的第1参数输出第2参数。第1参数包括至少1个设备的电力量、温度以及湿度、至少1个设备的识别信息、由至少1个设备生产的产品的品种、以及与取得了第1参数的时刻相关的信息。
8.根据本公开所涉及的学习装置以及推理装置，通过第1参数包括至少1个设备的电力量、温度以及湿度、至少1个设备的识别信息、由至少1个设备生产的产品的品种、以及与取得了第1参数的时刻相关的信息，能够抑制进行预空调的设备中的加工精度以及作业性
的变差。
附图说明
9.图1是表示具备实施方式所涉及的学习装置以及推理装置的管理服务器、以及由管理服务器控制的空调系统及工厂的构成的一个例子的框图。
10.图2表示工件变成产品之前的多个设备各自的热负荷的相对大小关系。
11.图3是表示图1的学习装置的构成的框图。
12.图4是表示图3的学习装置的学习处理的流程图。
13.图5是表示图1的推理装置的构成的框图。
14.图6是表示图5的推理装置的推理处理的流程图。
15.图7是现有的空调控制涉及的电力/温度的时序图。
16.图8是本公开的空调控制涉及的电力/温度的时序图。
17.图9是表示图1的信息处理系统的硬件结构的框图。
具体实施方式
18.以下，参照附图对本公开的实施方式详细地进行说明。其中，在附图中对相同或者相当部分标注相同的附图标记，原则上不重复其说明。
19.图1是表示具备实施方式所涉及的学习装置100以及推理装置200的管理服务器10、以及由管理服务器10控制的空调系统20及工厂30的构成的一个例子的框图。如图1所示，工厂30包括设备eq1、eq2、eq3、eq4、eq5。工件wrk按照设备eq1～eq4、eq1、eq5的顺序经由作业工序而作为产品prd被出厂。设备eq1～eq5例如分别包括水清洗装置、干燥炉、涂装装置、烧结炉以及检查装置。
20.图2表示工件wrk变成产品prd之前的设备eq1～eq5各自的热负荷的相对大小关系。如图2所示，从工件wrk起完成产品prd的情况下的设备eq1～eq5各自的热产生量大幅度变化。
21.再次参照图1，管理服务器10包括信息处理系统11和数据收集/处理系统12。信息处理系统11包括学习装置100和推理装置200。管理服务器10通过无线通信从温湿度传感器sn1、sn3、sn4、sn11分别取得设备eq1的温度以及湿度、设备eq3的温度以及湿度、设备eq4的温度以及湿度、以及室内机22的温度以及湿度。管理服务器10通过有线通信从温湿度传感器sn2取得设备eq2的温度以及湿度。管理服务器10通过有线通信从温湿度传感器sn10经由空调控制器23取得室外机21的温度以及湿度。管理服务器10取得生产现场的空调控制推断参数prm1(第1参数)。空调控制推断参数prm1包括工厂30所包括的设备(生产设备)的电力量、温湿度、生产设备的识别信息、产品prd的品种、以及与取得了空调控制推断参数prm1的时刻相关的信息。
22.空调系统20包括室外机21、室内机22以及空调控制器23。室外机21被配置于工厂30的外部。室内机22以及空调控制器23被配置于工厂30内。室外机21包括风扇、压缩机以及热交换器。室内机22包括风扇、热交换器以及膨胀阀。空调控制器23包括恒温器。空调控制器23接受来自管理服务器10的空调强度控制参数prm2(第2参数)，来控制室外机21以及室内机22。空调强度控制参数prm2包括恒温器的接通/断开、压缩机的旋转频率、风扇的风力、
制冷剂的蒸发温度以及制冷剂的冷凝温度。
23.图3是表示图1的学习装置100的构成的框图。如图3所示，学习装置100具备数据取得部110(第1数据取得部)和模型生成部120。数据取得部110取得空调控制推断参数prm1以及空调强度控制参数prm2作为学习用数据。
24.模型生成部120使用包括空调控制推断参数prm1以及空调强度控制参数prm2的学习用数据来学习空调强度控制。即，模型生成部120生成根据空调控制推断参数prm1来推理空调强度控制参数prm2的学习完毕模型。对于模型生成部120所使用的学习算法而言，能够使用有教导学习、无教导学习或强化学习等公知的算法。以下，作为一个例子，对应用了强化学习(reinforcement learning)的情况进行说明。在强化学习中，某个环境内的智能体(行动主体)观测当前的状态(环境的参数)，决定应该采取的行动。环境因智能体的行动而动态变化，根据环境的变化来向智能体给予回报。智能体重复上述内容，学习通过一系列的行动可获得回报最多的行动方针。作为强化学习的代表性手法，公知有q学习(q-learning)或者td学习(td-learning)。例如，在q学习的情况下，如以下的式(1)那样表示行动价值函数q(s
t
，a
t
)的一般的更新式。
25.[式1]
[0026][0027]
在式(1)中，s
t
表示时刻t的环境的状态，a
t
表示时刻t的行动。状态因行动a
t
而从s
t
变为s
t+1
。r
t+1
表示因状态的变化而获得的回报，γ表示折扣率，α表示学习系数。其中，γ是0＜γ≤1的范围，α为0＜α≤1的范围。空调强度控制参数prm2成为行动a
t
，生产现场的空调控制推断参数prm1成为状态s
t
。智能体一边重复式(1)所示的行动价值函数q(s
t
，a
t
)的更新，一边学习时刻t的状态s
t
下的最佳的行动a
t
。
[0028]
在时刻t+1的行动价值q(评价值)最高的行动a的q值大于在时刻t执行了的行动a的行动价值q的情况下，由式(1)表示的更新式增大行动价值q。在相反的情况下，该更新式减小行动价值q。换言之，以使时刻t的行动a的行动价值q接近时刻t+1的最佳的行动价值的方式更新行动价值函数q(s，a)。由此，某个环境下的最佳的行动价值依次传播为其以前的环境下的行动价值。
[0029]
如上述那样，在通过强化学习生成学习完毕模型的情况下，模型生成部120具备回报计算部121和函数更新部122。回报计算部121使用空调控制推断参数prm1以及空调强度控制参数prm2来计算回报。回报计算部121使用设定温度与工厂30内的温度的偏离程度(回报基准)来计算回报r。例如，在设定温度与工厂30内的温度的偏离程度比上次减少的情况下，使回报r增大(例如给予“1”的回报)，另一方面，在设定温度与工厂30内的温度的偏离程度比上次增加的情况下，减少回报r(例如给予“－1”的回报)。
[0030]
函数更新部122根据由回报计算部121计算的回报来更新用于决定空调强度控制参数prm2的函数，并输出至学习完毕模型存储部140。例如在q学习的情况下，可使用式(1)所表示的行动价值函数q(s
t
，a
t
)作为用于计算空调强度控制参数prm2的函数。
[0031]
学习装置100反复执行以上那样的学习。学习完毕模型存储部140存储被函数更新部122更新了的行动价值函数q(s
t
，a
t
)亦即学习完毕模型。
[0032]
图4是表示图3的学习装置100的学习处理的流程图。以下将步骤简称为s。如图4所
示，在s101中，数据取得部110取得空调控制推断参数prm1以及空调强度控制参数prm2作为学习用数据。具体而言，数据取得部110设想为在工厂30内存在多个设备，对电力量赋予设备的识别信息以及时间信息，对温度以及湿度赋予测定出该温度以及湿度的位置信息以及时间信息。
[0033]
在s102中，模型生成部120使用空调控制推断参数prm1以及空调强度控制参数prm2来计算回报。具体而言，回报计算部121取得空调控制推断参数prm1以及空调强度控制参数prm2，基于作为预先决定的回报基准的设定温度与工厂30内的温度的偏离程度来判断是使与空调强度控制参数prm2对应的回报增加(s103)还是减少回报(s104)。在偏离程度小于阈值的情况下，在s103中，回报计算部121使回报增大。另一方面，在偏离程度大于该阈值的情况下，在s104中，回报计算部121使回报减少。
[0034]
此外，也可以使用空调系统的消耗电力量相对于目标消耗电力量的偏离程度作为回报基准。该情况下，该偏离程度越大，则越减少回报，该偏离程度越小，则越增加回报。其结果是，能够实现节能。另外，作为回报基准，也可以使用在产品prd的成品率大于基准成品率的情况下使回报增加、在产品prd的成品率小于基准成品率的情况下使回报减少这一基准。其结果是，能够使产品prd的质量提高。
[0035]
在s105中，函数更新部122使用由回报计算部121计算出的回报以及式(1)来更新学习完毕模型存储部140存储的行动价值函数q(s
t
，a
t
)。
[0036]
学习装置100反复执行以上的s101～s105的步骤，存储所生成的行动价值函数q(s
t
，a
t
)作为学习完毕模型。此外，在学习装置100中，构成为将学习完毕模型存储到设置于学习装置100的外部的学习完毕模型存储部140，但也可以将学习完毕模型存储部140形成于学习装置100的内部。
[0037]
图5是表示图1的推理装置200的构成的框图。推理装置200包括数据取得部210和推理部220。数据取得部210取得空调控制推断参数prm1。推理部220利用存储在学习完毕模型存储部140的学习完毕模型来推理空调强度控制参数prm2。即，通过向学习完毕模型输入数据取得部210所取得的生产现场的空调控制推断参数prm1，能够推理适于生产现场的空调控制推断参数prm1的空调强度控制参数prm2。此外，在实施方式中，对使用由图3的模型生成部120学习获得的学习完毕模型来推理空调强度控制参数prm2的结构进行了说明，但也可以使用在其他环境下学习得到的学习完毕模型来输出空调强度控制参数。
[0038]
图6是表示图5的推理装置200的推理处理的流程图。如图6所示，在s201中，数据取得部210取得生产现场的空调控制推断参数prm1。在s202中，推理部220向存储于学习完毕模型存储部140的学习完毕模型输入生产现场的空调控制推断参数prm1，获得空调强度控制参数prm2，在s203中将空调强度控制参数prm2输出至空调系统20。在s204中，空调系统20使用从推理装置200输出的空调强度控制参数prm2来实施空调控制，该空调控制成为在不久的将来缓解所预测的热负荷变化量的强度。由此，对于现有的通过使用温度传感器的空调控制(反馈)而无法避免的与设定温度的偏离或波动(过冲或者下冲)这一图7所示那样的课题，能够提前(前馈)实施可应对根据设备的消耗电力量等推断的热负荷变化的空调控制。其结果是，如图8所示，由于能够使与设定温度的偏离减少，所以能够实现加工精度的降低、质量的降低以及对作业人员的负担减少。
[0039]
此外，在本实施方式中，对推理部使用的学习算法应用了强化学习的情况进行了
说明，但学习算法并不局限于强化学习。关于学习算法，除了能够应用强化学习以外，还能够应用有教导学习、无教导学习或者半有教导学习等。
[0040]
另外，作为在模型生成部120使用的学习算法，还能够使用学习特征量本身的提取的深度学习(deep learning)，可以按照其他公知的方法例如神经网络、遗传编程、功能逻辑编程、或支持向量机等来执行机器学习。
[0041]
此外，学习装置100以及推理装置200例如可以是经由网络与空调系统20连接的与空调系统20独立的装置。另外，学习装置100以及推理装置200也可以内置于空调系统20。并且，学习装置100以及推理装置200也可以存在于云服务器上。
[0042]
另外，模型生成部120可以使用从多个空调系统20取得的学习用数据来学习空调强度控制。其中，模型生成部120可以从在相同的区域使用的多个空调系统20取得学习用数据，也可以利用从在不同的区域独立动作的多个空调系统20收集的学习用数据来学习空调强度控制。另外，还能够在中途将收集学习用数据的空调系统20追加至学习对象、或从学习对象中除去。并且，可以将关于某个空调系统20学习了空调强度控制的学习装置100应用至与其不同的空调系统20，关于该不同的预空调系统重新学习空调强度控制来进行更新。
[0043]
图9是表示图1的信息处理系统11的硬件结构的框图。如图9所示，信息处理系统11包括处理电路51、存储器52(存储部)以及输入输出部53。处理电路51包括执行被储存于存储器52的程序的cpu(central processing unit)。处理电路51也可以包括gpu(graphics processing unit)。信息处理系统11的功能可通过软件、固件、或者软件与固件的组合来实现。软件或固件被记述为程序，储存于存储器52。处理电路51读出存储于存储器52的程序并执行。其中，cpu亦被称为中央处理装置、处理装置、运算装置、微处理器、微型计算机、处理器、或dsp(digital signal processor)。
[0044]
存储器52包括非易失性或者易失性的半导体存储器(例如ram(random access memory)、rom(read only memory)、闪存、eprom(erasable programmable read only memory)、或eeprom(electrically erasable programmable read only memory))、以及磁盘、软盘、光盘、压缩盘(compact disc)、迷你碟(mini disc)或dvd(digital versatile disc)。在存储器52例如保存学习完毕模型、预空调程序以及机器学习程序。
[0045]
输入输出部53接受来自用户的操作，并且将处理结果输出给用户。输入输出部53例如包括鼠标、键盘、触摸面板、显示器以及扬声器。
[0046]
以上，根据实施方式所涉及的学习装置以及推理装置，能够抑制进行预空调的设备中的加工精度以及作业性的变差。
[0047]
应该认为本次公开的实施方式在全部的点上都是例示而非限制性的。本公开的范围不由上述的说明而是技术方案示出，意在包括与技术方案等效的意思以及范围内的全部的变更。
[0048]
附图标记说明：
[0049]
10
…
管理服务器；11
…
信息处理系统；12
…
数据收集/处理系统；20
…
空调系统；21
…
室外机；22
…
室内机；23
…
空调控制器；30
…
工厂；51
…
处理电路；52
…
存储器；53
…
输入输出部；100
…
学习装置；110、210
…
数据取得部；120
…
模型生成部；121
…
回报计算部；122
…
函数更新部；140
…
学习完毕模型存储部；200
…
推理装置；220
…
推理部；eq1～eq5
…
设备；prd
…
产品；sn1～sn4、sn10、sn11
…
温湿度传感器；wrk
…
工件。
技术特征：1.一种学习装置，学习包括至少1个设备的工厂的空调系统的控制，所述学习装置的特征在于，具备：第1数据取得部，取得学习用数据，该学习用数据包括表示所述至少1个设备以及所述空调系统的状态的第1参数和与所述空调系统的空调的强度相关的第2参数；和模型生成部，使用所述学习用数据生成根据所述第1参数来推理所述第2参数的学习完毕模型，所述第1参数包括所述至少1个设备的电力量、温度以及湿度、所述至少1个设备的识别信息、由所述至少1个设备生产的产品的品种、以及与取得了所述第1参数的时刻相关的信息。2.根据权利要求1所述的学习装置，其特征在于，所述学习完毕模型包括将所述第1参数与所述第2参数的评价值建立了关联的函数。3.根据权利要求2所述的学习装置，其特征在于，所述模型生成部根据按照所述第2参数被控制了的所述空调系统涉及的空调之下的所述工厂内的温度与目标温度的偏离程度来更新所述第2参数的评价值。4.根据权利要求2所述的学习装置，其特征在于，所述模型生成部根据按照所述第2参数被控制了的所述空调系统的消耗电力量的变化来更新所述第2参数的评价值。5.根据权利要求2所述的学习装置，其特征在于，所述模型生成部根据在按照所述第2参数被控制了的所述空调系统涉及的空调之下生产出的所述产品的成品率的变化来更新所述第2参数的评价值。6.一种推理装置，其特征在于，具备：第2数据取得部，取得所述第1参数；和推理部，使用由权利要求1～5中任一项所述的学习装置生成的所述学习完毕模型来根据由所述第2数据取得部取得的所述第1参数输出所述第2参数。7.一种推理装置，输出包括至少1个设备的工厂的空调系统的控制，所述推理装置的特征在于，具备：数据取得部，取得表示所述至少1个设备以及所述空调系统的状态的第1参数；和推理部，使用根据所述第1参数推理与所述空调系统的空调的强度相关的第2参数的学习完毕模型来根据由所述数据取得部取得的所述第1参数输出所述第2参数，所述第1参数包括所述至少1个的设备的电力量、温度以及湿度、所述至少1个设备的识别信息、由所述至少1个设备生产的产品的品种、以及与取得了所述第1参数的时刻相关的信息。8.根据权利要求7所述的推理装置，其特征在于，所述学习完毕模型包括将所述第1参数与所述第2参数的评价值建立了关联的函数。
技术总结学习装置(100)学习包括至少1个设备的工厂的空调系统的控制。学习装置(100)具备第1数据取得部(110)和模型生成部(120)。第1数据取得部(110)取得学习用数据，该学习用数据包括表示至少1个设备以及空调系统的状态的第1参数(Prm1)和与空调系统的空调的强度相关的第2参数(Prm2)。模型生成部(120)使用学习用数据生成学习完毕模型，该学习完毕模型根据第1参数(Prm1)来推理第2参数(Prm2)。第1参数(Prm1)包括至少1个设备的电力量、温度以及湿度、至少1个设备的识别信息、由至少1个设备生产的产品的品种、以及与取得了第1参数的时刻相关的信息。息。息。
技术研发人员：京屋贵则
受保护的技术使用者：三菱电机株式会社
技术研发日：2020.03.27
技术公布日：2022/11/1
