JP7570538B2 - 学習装置、空調制御システム、推論装置、空調制御装置、学習済みモデルの生成方法、学習済みモデル及びプログラム - Google Patents

Description

本開示は、学習装置、空調制御システム、推論装置、空調制御装置、学習済みモデルの生成方法、学習済みモデル及びプログラムに関する。

室内空間の環境に応じて空調機を制御する技術が知られている。例えば、特許文献１は、強化学習によって冷凍サイクルの制御を学習する情報処理装置を開示している。ここで、強化学習は、エージェントの行動に起因する環境の変化がエージェントにとって望ましい変化であるか否かをエージェントに与える報酬値によって判定し、報酬値が高くなる行動の方策を学習する技術である。

特許文献１に開示された情報処理装置は、空調機が運転された際における状況とユーザの快適性と空調機の消費電力との組み合わせを含むデータセットを用いて、快適性が高いほど高く、且つ、消費電力が低いほど高い値を報酬とする強化学習を行う。これにより、快適性と省エネ性能とが両立するように、冷凍サイクルの制御値を最適化させる。

特許第６８８５４９７号公報

しかしながら、特許文献１に開示された技術では、空調機が実際に設置された環境における実測値を用いて強化学習を行う。そのため、強化学習が収束するまでに長い時間を要し、強化学習が収束するまでの間は空調機を適切に制御することができないという課題がある。

本開示は、上記のような問題点に鑑みてなされたものであり、強化学習を用いた空調機の制御において、強化学習に要する時間を短縮することを目的とする。

上記目的を達成するために、本開示に係る学習装置は、
空調機に設けられた冷凍サイクルの状態と室内空間の状態とのうちの少なくとも一方が与えられた状況において前記空調機が前記室内空間を空調した場合に予測される前記室内空間の温熱環境をシミュレーションするシミュレーション手段と、
前記シミュレーション手段によりシミュレーションされた前記温熱環境に基づく値を報酬とする強化学習を行うことにより、前記冷凍サイクルの状態と前記室内空間の状態とのうちの少なくとも一方から前記空調機の制御値を推論するための学習済みモデルを生成する強化学習手段と、を備え、
前記シミュレーション手段は、前記温熱環境として、前記室内空間の空気質をシミュレーションし、
前記強化学習手段は、前記強化学習を行うことにより、前記室内空間の状態から前記室内空間を換気するタイミングを推論するための前記学習済みモデルを生成する。

本開示によれば、空調機に設けられた冷凍サイクルの状態と室内空間の状態とのうちの少なくとも一方が与えられた状況において空調機が室内空間を空調した場合に予測される室内空間の温熱環境をシミュレーションし、シミュレーションされた温熱環境に基づく値を報酬とする強化学習を行うことにより、冷凍サイクルの状態と前記室内空間の状態とのうちの少なくとも一方から空調機の制御値を推論するための学習済みモデルを生成する。従って、本開示によれば、強化学習を用いた空調機の制御において、強化学習に要する時間を短縮することができる。

実施の形態１に係る空調制御システムの全体構成を示す図 実施の形態１に係る冷凍サイクルの構成図 実施の形態１に係る室内機の断面構成図 図３に示した室内機が吹出風を下向きに吹き出す様子を示す図 図４に示した場合における室内空間を示す図 図３に示した室内機が吹出風を水平向きに吹き出す様子を示す図 図６に示した場合における室内空間を示す図 実施の形態１において、外気侵入がある室内空間に室内機から吹出風を吹き出す様子を示す図 実施の形態１に係る学習装置の構成を示すブロック図 実施の形態１に係る学習装置における各構成の入出力例を示す図 実施の形態１において、冷凍サイクルのシミュレーションに用いる検査体積を示す図 実施の形態１において、温度分布をシミュレーションするためのＭＡＣ法の流れを示すフローチャート 実施の形態１において、温度分布をシミュレーションするために設定されたメッシュの例を示す図 実施の形態１における訓練データの例を示す図 実施の形態１におけるＱテーブルの例を示す図 実施の形態１におけるニューラルネットワークの例を示す図 実施の形態１において、冷凍サイクルの状態を定義するための説明図 実施の形態１において、冷凍サイクル制御に用いられるＱテーブルを示す図 実施の形態１において、冷凍サイクル制御に用いられるニューラルネットワークを示す図 実施の形態１において、室内空間の状態を定義するための温度測定点と吹出風向を示す図 実施の形態１において、気流制御に用いられるＱテーブルを示す図 実施の形態１において、気流制御に用いるニューラルネットワークを示す図 実施の形態１に係る学習装置により実行される強化学習処理のフローチャート 実施の形態１に係る空調制御装置の構成を示すブロック図 実施の形態１に係る空調制御装置における各構成の入出力例を示す図 実施の形態１において、室内空間の温度分布を計測する様子を示す図 実施の形態２に係る学習装置の構成を示すブロック図 実施の形態２において、複数のユーザから取得された嗜好環境データの例を示す図 実施の形態２において、図２８に示した嗜好環境データから生成された確率モデルを示す図 実施の形態２において、図２９に示した確率モデルから生成された訓練データの例を示す図 実施の形態３に係る学習装置の構成を示すブロック図 実施の形態３に係る学習装置により実行されるモデル修正処理のフローチャート 変形例に係る推論装置の構成を示すブロック図

以下、図面を参照して、本開示の実施の形態について説明する。なお、図中、同一又は相当する部分には、同じ符号を付す。

（実施の形態１）
図１に、実施の形態１に空調システム１１の全体構成を示す。空調システム１１は、強化学習による学習結果を用いて室内空間を空調するシステムである。空調システム１１は、空調機１０と、空調制御システム１２と、を備える。空調制御システム１２は、学習装置３０と、空調制御装置５０と、を備える。

＜空調機１０＞
空調機１０は、空調対象である室内空間を空調する設備である。空調機１０は、例えば、ルームエアコン、パッケージエアコン等である。室内空間は、例えば、住宅、オフィス等の部屋である。空調機１０は、室内空間に設けられる室内機１と、室内空間の外部に設けられる室外機２と、を備える。

＜冷凍サイクル制御の説明＞
図２に示すように、室内機１は、室内熱交換器１ａと、室内ファン１ｂとを、その内部に備える。また、室外機２は、室外熱交換器２ａと、室外ファン２ｂと、圧縮機２ｃと、膨張弁２ｄとを、その内部に備える。室内熱交換器１ａと圧縮機２ｃと室外熱交換器２ａと膨張弁２ｄとは、冷媒が流れる配管１ｅにより環状に接続されている。これにより、冷凍サイクルが構成されている。冷媒は、例えば二酸化炭素、ＨＦＣ（ハイドロフルオロカーボン）等である。

室内熱交換器１ａは、配管１ｅを流れる冷媒と、室内空間の空気である室内空気と、の間で熱交換を行う。室内ファン１ｂは、室内熱交換器１ａの傍に設けられており、室内空気を吸い込んで室内熱交換器１ａに送る。室内ファン１ｂに吸い込まれた室内空気は、室内熱交換器１ａに供給され、配管１ｅを流れる冷媒より供給される冷温熱との間で熱交換された後、室内空間に吹き出される。室内熱交換器１ａで熱交換された空気は、空調空気として室内空間に供給される。これにより、室内空間が空調される。

室外熱交換器２ａは、配管１ｅを流れる冷媒と、室内空間の外部の空気である室外空気と、の間で熱交換を行う。室外ファン２ｂは、室外熱交換器２ａの傍に設けられており、室外空気を吸い込んで室外熱交換器２ａに送る。室外ファン２ｂに吸い込まれた室外空気は、室外熱交換器２ａに供給され、配管１ｅを流れる冷媒により供給される冷温熱との間で熱交換された後、室外に吹き出される。

圧縮機２ｃは、冷媒を圧縮して配管１ｅを循環させる。具体的に説明すると、圧縮機２ｃは、低温且つ低圧の冷媒を圧縮し、高圧及び高温となった冷媒を吐出する。圧縮機２ｃは、圧縮機２ｃを駆動する周波数に応じて運転容量を変化させることができるインバータ回路を備える。運転容量は、圧縮機２ｃが単位当たりに冷媒を送り出す量である。

膨張弁２ｄは、室外熱交換器２ａと室内熱交換器１ａとの間に設置されており、配管１ｅを流れる冷媒を減圧して膨張させる。膨張弁２ｄは、例えば、その開度が可変に制御可能な電子式膨張弁である。膨張弁２ｄの開度を変化させることで、配管１ｅを流れる冷媒の圧力を調整することができる。

配管１ｅを流れる冷媒の温度は、室内ファン１ｂの回転数と、室外ファン２ｂの回転数と、圧縮機２ｃの周波数と、膨張弁２ｄの開度と、によって調整される。配管１ｅを流れる冷媒の温度が調整されることにより、室内熱交換器１ａ及び室外熱交換器２ａの温度が調整される。このような室内ファン１ｂの回転数と、室外ファン２ｂの回転数と、圧縮機２ｃの周波数と、膨張弁２ｄの開度と、のうちの少なくともいずれかによる室内熱交換器１ａ及び室外熱交換器２ａの温度制御を、「冷凍サイクル制御」と呼ぶ。

また、冷凍サイクルは、図示を省略するが、冷媒が流れる方向を切り替える四方弁を備える。四方弁を切り替えることにより、室内熱交換器１ａと室外熱交換器２ａとのそれぞれを蒸発器として運転させるか凝縮器として運転させるかを切り替えることができる。これにより、暖房運転と冷房運転を切り替えることができる。具体的には、冷房運転時には、室内熱交換器１ａが蒸発器として機能し、室外熱交換器２ａが凝縮器として機能する。また、暖房運転時には、室内熱交換器１ａが凝縮器として機能し、室外熱交換器２ａが蒸発器として機能する。

＜気流制御の説明＞
図３に、室内機１の断面構成を示す。図３は、室内機１が壁掛方式のルームエアコンである場合の例を示している。室内機１は、室内熱交換器１ａと室内ファン１ｂとに加えて、室内機１から送風される空調空気の方向を制御する２種類の風向制御板１ｃ，１ｄを備える。風向制御板１ｃは、上下方向に風向を制御する。風向制御板１ｄは、左右方向に風向を制御する。

室内空間の空気は、室内ファン１ｂによって吸込口から室内機１に取り込まれて室内熱交換器１ａに至り、室内熱交換器１ａに設けられたフィン間を通過し、吹出口１ｇから吹き出される。このとき、室内熱交換器１ａを介して、室内空間の空気と配管１ｅを流れる冷媒との間で熱交換が生じ、空気の温度が変化する。暖房運転時は、室内熱交換器１ａに取り込まれる空気の温度よりも冷媒の温度が高いため、吹出口１ｇから温風が送風される。冷房運転時は、室内熱交換器１ａの取り込まれる空気の温度よりも冷媒の温度が低いため、吹出口１ｇから冷風が送風される。

図４に示すように、風向制御板１ｃの角度を下向きに調整すると、室内熱交換器１ａで冷媒と熱交換された空気は、吹出口１ｇから下向きに送風される。この場合、図５に示すように、室内機１からの吹出風は、室内空間３における床付近に送られ、床付近が空調される。これに対して、図６に示すように、風向制御板１ｃの角度を水平向きに調整すると、室内熱交換器１ａで冷媒と熱交換された空気は、吹出口１ｇから水平向きに送風される。この場合、図７に示すように、室内機１からの吹出風は、室内空間３における天井付近に送られ、天井付近が空調される。

このように、風向制御板１ｃの角度調整によって、吹出口１ｇから送風される空気の方向を上下方向に調整することができる。同様に、風向制御板１ｄの角度調整によって、吹出口１ｇから送風される空気の方向を左右方向に調整することができる。

このような風向の制御によって、室内空間３に存在するユーザに直接、温風又は冷風を送風し、温冷感の快適性を高めることができる。例えば、暖房運転時に温風を足元にあてる、冷房運転時に冷風をユーザの顔又は胴にあてるといった方法で、温冷感を高めることができる。また、ユーザが不在の方向には送風を避けるというように、省エネルギーの運転が可能になる。

室内空間３では、窓、扉等の開閉時における換気に伴う熱侵入及び熱漏洩が生じ、室内空間３の温熱環境に影響を与える。空調機１０による気流制御と室外からの熱侵入及び熱漏洩とによって、室内空間３に風速分布及び温度分布が形成される。例えば図８に示すように、開かれた扉に向かって温風を送風した場合、空調機１０から吹き出された温風は、扉から室外に流出し、室内の温度上昇にはつながらない。一方で、室内空間３の中央に向けて温風を送風した場合、扉からの温風の流出を抑制して、室内空間３の温度を上昇させることができる。

このように、吹出風の制御によって送風エリアを指定することで、温度調整につながらない送風を抑制でき、消費電力の低減に貢献する。また、空調機１０の消費電力を低減するためには、ユーザが存在していないエリアには、温風又は冷風を送風しない等の送風エリアの選択が有効である。このような空調機１０から吹き出される空調空気の制御を「気流制御」と呼ぶ。

気流制御では、吹出風の風向、温度及び風量を制御することができる。気流制御によって、室内空間３の寸法、扉の位置等に応じて、室内空間３の温度分布、風速分布及び湿度の時間変化を制御することができる。以上のように、室内空間３の温熱環境は、冷凍サイクル制御と気流制御という２つの制御で調整される。

＜＜学習フェーズ＞＞
図１に戻って、学習装置３０は、機械学習の手法を用いて、室内空間３の温熱環境に対応する空調機１０の最適な制御を学習する装置である。学習装置３０は、パーソナルコンピュータ、スマートフォン、インターネット上のサーバ等の情報処理装置により実現される。図９に示すように、学習装置３０は、制御部３１と、記憶部３２と、入出力Ｉ／Ｆ（インタフェース）３３と、を備える。

制御部３１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備える。ＣＰＵは、中央処理装置、中央演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ等とも呼び、学習装置３０の制御に係る処理及び演算を実行する中央演算処理部として機能する。制御部３１において、ＣＰＵは、ＲＯＭに格納されているプログラム及びデータを読み出し、ＲＡＭをワークエリアとして用いて、学習装置３０を統括制御する。

記憶部３２は、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）等の不揮発性の半導体メモリを備えており、いわゆる二次記憶装置又は補助記憶装置としての役割を担う。記憶部３２は、制御部３１が各種処理を行うために使用するプログラム及びデータを記憶する。また、制御部３１が各種処理を行うことにより生成又は取得するデータを記憶する。

記憶部３２は、シミュレーションモデル５と、訓練データ６と、を記憶する。シミュレーションモデル５は、詳細は後述するように、室内空間３の温熱環境をシミュレーションするためのモデルである。訓練データ６は、これも後述するように、学習装置３０による強化学習において報酬の計算に用いられるデータである。

入出力Ｉ／Ｆ３３は、学習装置３０が外部のモジュールとデータを送受信するためのインタフェースを備える。具体例として、入出力Ｉ／Ｆ３３は、ＬＡＮ（Local Area Network）、ＵＳＢ（Universal Serial Bus）等の通信モジュールと、外部記憶装置の読み取りモジュールと、を備える。

制御部３１は、機能的に、熱負荷推定部３１０と、仕様参照部３２０と、シミュレーション部３３０と、強化学習部３５０と、出力部３６０と、を備える。これらの各機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現される。ソフトウェア及びファームウェアは、プログラムとして記述され、ＲＯＭ又は記憶部３２に格納される。そして、ＣＰＵが、ＲＯＭ又は記憶部３２に記憶されたプログラムを実行することによって、これらの各機能を実現する。以下、図１０を参照して、制御部３１の各機能について説明する。

＜熱負荷推定部３１０＞
熱負荷推定部３１０は、室内空間３の熱負荷に関する情報である室内空間３の断熱係数Ｌ、室内空間３の寸法、及び、外気温度θ_０を推定する。ここで、室内空間３の断熱係数Ｌは、室内空間３と外部空間との間における熱の移動しやすさを示す値である。ある時刻ｔにおける室内空間３の温度θ（ｔ）は、式（１）表されるように、室内空間３の熱容量Ｃと、室内空間３の断熱係数Ｌと、外気温度θ_０と、空調機１０の運転能力Ｑと、室内空間３に存在するユーザが産出する総熱量Ｑ_{ｕｓｅｒｓ}と、を用いた方程式を満たす。

熱負荷推定部３１０は、室内空間３の適宜の場所に設置された画像センサを用いて室内空間３の画像を取得する。そして、熱負荷推定部３１０は、室内空間３の画像に基づいて、室内空間３の寸法を推定する。熱負荷推定部３１０は、画像センサにより検出された室内空間３の寸法から、室内空間３の容積Ｖを計算する。室内空間３の容積Ｖを計算すると、熱負荷推定部３１０は、空気の密度ρ及び比熱Ｃ_ｐを用いて、室内空間３の熱容量Ｃを、“Ｃ＝ρ×Ｃ_ｐ×Ｖ”として計算する。

熱負荷推定部３１０は、画像センサにより、室内空間３に存在するユーザの人数及び動作量を検出する。そして、熱負荷推定部３１０は、ユーザの動作量からユーザ一人当たりの代謝量を推定し、各ユーザの代謝量の総和を計算することで、室内空間３に存在するユーザが産出する総熱量Ｑ_{ｕｓｅｒｓ}を推定する。

熱負荷推定部３１０は、定められた時間毎に温度センサを用いて室内空間３の温度θ（ｔ）を測定し、温度θ（ｔ）の時間変化を測定する。また、熱負荷推定部３１０は、室外機２に設置された温度センサを用いて、或いは、インターネット上に存在する天気予報等の情報を収集することにより、外気温度θ_０を推定する。

このようにして室内空間３の熱容量Ｃ、総熱量Ｑ_{ｕｓｅｒｓ}、温度θ（ｔ）、温度θ（ｔ）の時間変化、及び、外気温度θ_０を推定すると、熱負荷推定部３１０は、これらのデータに対して例えば最小二乗法のようなシステム同定の手法を適用することで、室内空間３の断熱係数Ｌを推定する。熱負荷推定部３１０は、熱負荷推定手段の一例である。

＜仕様参照部３２０＞
仕様参照部３２０は、空調機１０の仕様を参照する。空調機１０の仕様は、空調機１０が有する性能、スペック等を意味する。具体的には、空調機１０の仕様は、空調機１０の運転能力、ＣＯＰ（Cost of Performance）等のような冷凍サイクルの性能と、室内機１の吹出風の送風距離、送風位置の精度等のような気流制御の性能と、を含む。

このような空調機１０の仕様は、空調機１０によって異なる。例えば、冷凍サイクルの性能は、室内熱交換器１ａ、室内ファン１ｂ、室外熱交換器２ａ、室外ファン２ｂ、圧縮機２ｃ、膨張弁２ｄ等のような冷凍サイクルを構成する部品によって決まる。また、気流制御の性能は、室内機１の吹出口１ｇの仕様によって決まる。吹出口１ｇの仕様は、具体的には、室内ファン１ｂの性能と、風向制御板１ｃ，１ｄの大きさ及び風向角度の可動範囲と、を含む。

空調機１０の仕様の情報は、空調機１０により空調される室内空間３の温熱環境をシミュレーションするために必要になる。そこで、空調機１０の製造業者は、空調機１０の製品型番とその製品型番に該当する仕様情報である室内熱交換器１ａ、室外熱交換器２ａ、圧縮機２ｃ、膨張弁２ｄ及び室内機１の吹出口の仕様の情報とを紐づけて、インターネット上のデータベースに保存する。仕様参照部３２０は、仕様参照手段の一例である。

＜シミュレーション部３３０＞
シミュレーション部３３０は、冷凍サイクルの状態と室内空間の状態とのうちの少なくとも一方が与えられた状況において空調機１０が室内空間３を空調した場合に予測される室内空間３の温熱環境をシミュレーションする。シミュレーション部３３０は、空調機１０の制御に用いる学習済みモデル７をシミュレーション環境で生成するためのユニットである。シミュレーション部３３０は、シミュレーション手段の一例である。

シミュレーション部３３０は、数値計算によって室内空間３の温熱環境をシミュレーションするためのシミュレーションモデル５を生成する。具体的には、シミュレーション部３３０は、シミュレーションモデル５として、（Ａ）空調機１０における冷凍サイクルのシミュレーションモデル５ａと、（Ｂ）室内空間３における温度分布のシミュレーションモデル５ｂと、を生成する。

＜（Ａ）冷凍サイクルのシミュレーションモデル５ａ＞
冷凍サイクルのシミュレーションモデル５ａは、数値計算によって、与えられた状態における冷凍サイクルの応答をシミュレーションするモデルである。具体的には、冷凍サイクルのシミュレーションモデル５ａは、冷凍サイクルの制御値に基づいて、室内機１の運転能力と、室内機１から室内空間３に吹き出される吹出風の風量及び温度と、を計算するモデルである。シミュレーション部３３０は、仕様参照部３２０により参照された空調機１０の仕様に基づいて、冷凍サイクルのシミュレーションモデル５ａを生成する。

ここで、冷凍サイクルの制御値は、具体的には、室内ファン１ｂの回転数と、室外ファン２ｂの回転数と、圧縮機２ｃの周波数と、膨張弁２ｄの開度と、室内機１に吸い込まれる室内空気の吸込温度と、により定められる。また、空調機１０の運転能力は、空調機１０による空調の強さを示す指標である。具体的には、シミュレーション部３３０は、空調機１０の運転能力として、凝縮器の温度と、蒸発器の温度と、圧縮機２ｃの周波数と、膨張弁２ｄの開度と、吐出スーパーヒート温度と、を計算する。

なお、凝縮器及び蒸発器は、上述したように、暖房運転時には、それぞれ室内熱交換器１ａ及び室外熱交換器２ａに相当し、冷房運転時には、それぞれ室外熱交換器２ａ及び室内熱交換器１ａに相当する。吐出スーパーヒート温度は、過熱度とも呼ばれ、圧縮機２ｃから吐出された冷媒の温度と運転中の室内熱交換器１ａの温度との差に相当する。

より詳細には、シミュレーション部３３０は、冷凍サイクルのシミュレーションモデル５ａとして、（Ａ１）微分方程式によるモデルと、（Ａ２）システム同定モデルと、のうちのいずれか一方を生成する。シミュレーション部３３０は、冷凍サイクルのシミュレーションモデル５ａとして、これらのどちらを生成しても良い。

（Ａ１）微分方程式によるモデル
微分方程式によるモデルを用いる場合、図１１に示すように、シミュレーション部３３０は、冷媒が流れる配管１ｅを複数の検査体積の単位に分割したモデルを構築する。各検査体積は、断面積Ａ及び長さΔｚのサイズを有する微小体積要素である。

シミュレーション部３３０は、式（２）、式（３）及び式（４）を表される冷媒の流れの支配方程式に従って、各検査体積における冷媒の平均密度ρ、冷媒流量Ｇ、密度平均エンタルピーｈ_ｐ 、流量平均エンタルピーｈ、及び、検査体積の壁面における平均せん断力τ_Ｍを計算する。ここで、式（２）は質量保存式を表し、式（３）はエネルギー保存式を表し、式（４）が運動量保存式を表している。なお、式（２）、式（３）及び式（４）では、平均密度ρ、密度平均エンタルピーｈ_ｐ 、流量平均エンタルピーｈ、及び、平均せん断力τ_Ｍの各文字の上部には、平均を表すバー“￣”を付している。

シミュレーション部３３０は、このような支配方程式を有限差分法又は有限体積法によって離散化し、連立微分方程式を数値積分する。なお、検査体積の分割数は、学習装置３０の演算速度に応じて、シミュレーション時間が長くかかり過ぎない程度の値に設定される。

（Ａ２）システム同定によるモデル
システム同定によるモデルを用いる場合、シミュレーション部３３０は、冷凍サイクルの実測データからシステム同定によって、状態空間モデルを生成する。状態空間モデルは、式（５）及び式（６）により表される。

ここで、Ｙ_ｔは、状態空間モデルの観測変数を表し、時刻ｔにおける凝縮器の温度、蒸発器の温度、及び、吐出スーパーヒート温度を成分として持つベクトルである。ｕ_ｔは、時刻ｔにおける室内ファン１ｂの回転数、室外ファン２ｂの回転数、圧縮機２ｃの周波数、及び、膨張弁２ｄの開度を成分として持つベクトルである。Ｘ_ｔは、時刻ｔにおける内部状態を表す行列である。Ａ，ｂ，Ｃ，ｄは、状態空間モデルのパラメータである行列とベクトル係数である。

シミュレーション部３３０は、このような状態空間モデルを、冷凍サイクルのシミュレーションモデル５ａとして生成する。シミュレーション部３３０は、状態空間モデルの係数の値を決定するために、システム同定を実行する。具体的に説明すると、シミュレーション部３３０は、空調機１０から、凝縮器の温度と、蒸発器の温度と、圧縮機２ｃの周波数と、膨張弁２ｄの開度と、の実測データを取得する。そして、シミュレーション部３３０は、実測データを用いて、状態空間モデルのパラメータとなる行列とベクトル係数を定める。その際、シミュレーション部３３０は、予測誤差法、部分空間法等のようなシステム同定手法を用いる。各Ａ，ｂ，Ｃ，ｄが定まれば、各時刻ｔにおいて、入力ｕ_ｔによって決まる観測変数Ｙ_ｔを計算することができる。

シミュレーション部３３０は、このように生成された冷凍サイクルのシミュレーションモデル５ａを用いて、冷凍サイクルの状態が与えられた状況において空調機１０が室内空間３を空調した場合に予測される室内空間３の温熱環境をシミュレーションする。

＜（Ｂ）温度分布のシミュレーションモデル５ｂ＞
温度分布のシミュレーションモデル５ｂは、数値計算によって、与えられた状態における室内空間３における温度分布をシミュレーションするモデルである。具体的には、温度分布のシミュレーションモデル５ｂは、室内空間３の寸法及び断熱性能と、室内機１から室内空間３に吹き出される吹出風の風量及び風向と、に基づいて、室内空間３における空気の温度分布を計算するモデルである。

シミュレーション部３３０は、室内空間３の寸法及び断熱性能として、熱負荷推定部３１０により推定された寸法及び断熱係数Ｌを用いる。また、シミュレーション部３３０は、仕様参照部３２０により参照された空調機１０の仕様のうちの、吹出口１ｇの仕様の情報を用いる。吹出口１ｇの仕様は、具体的には、室内ファン１ｂの性能、風向制御板１ｃ，１ｄの大きさ、風向制御板１ｃ，１ｄの風向角度の可動範囲等である。このように、シミュレーション部３３０は、熱負荷推定部３１０により推定された室内空間の断熱係数Ｌ及び寸法と、仕様参照部３２０により参照された室内機１の吹出口１ｇの仕様に基づいて、室内空間３における温度分布のシミュレーションモデル５ｂを生成する。

より詳細には、シミュレーション部３３０は、温度分布をシミュレーションするための数値計算の手法の一例として、有限差分法の１つである（Marked And Cell）法を用いる。以下、図１２を参照して、ＭＡＣ法の処理を説明する。

ＭＡＣ法の処理を開始すると、シミュレーション部３３０は、室内空間３における計算単位であるメッシュを作成する（ステップＳ１１）。シミュレーション部３３０は、例えば図１３に示す数値計算モデルを作成する。具体的に説明すると、シミュレーション部３３０は、数値計算モデルとして、室内空間３の寸法値から室内機１を囲む壁形状を作成する。そして、シミュレーション部３３０は、作成した数値計算モデルにメッシュを作成する。

シミュレーションで気流制御の効果を評価するためには、室内空間３に存在するユーザの人体への送風を部位別に計算する必要がある。そのため、メッシュとして、ユーザの人体を部位別に区分することが可能な２０ｃｍ程度の解像度が必要である。具体的に、室内空間３の大きさを幅７．２ｍ、奥行７．２ｍ、高さ方向１．８ｍと仮定する。この室内空間３に２０ｃｍの解像度でメッシュを作成した場合、セル数は、幅３６個、奥行３６個、高さ９個となる。そのため、セルの総数をＮと表すと、Ｎ＝１１６６４個となる。ここで、圧力ｐと３次元の流速ベクトルＶ＝（ｕ，ｖ，ｗ）と温度Ｔとを同一セル上に置いたレギュラー格子を用いる場合、解くべき変数の数は、５×Ｎ個である。

図１２に戻って、メッシュを作成すると、シミュレーション部３３０は、３次元の流速ベクトルＶ＝（ｕ，ｖ，ｗ）の境界条件を定める（ステップＳ１２）。具体的に説明すると、シミュレーション部３３０は、吹出口１ｇから吹き出される吹出風の風量、風向及び温度と、吸込口に吸い込まれる吸込風の風量、風向及び温度と、壁面の伝熱条件と、を設定する。吹出風及び吸込風の風量、風向及び温度の上限と下限は、吹出口１ｇ及び吸込口の仕様によって定められる。壁面の伝熱条件は、壁面の断熱係数によって定められる。

シミュレーションの最中に、吹出風の風向、風量及び温度が時間変化する場合、又は、壁面に設けられた窓及び扉からの開閉条件を変えて換気による伝熱効果が時間変化する場合、その都度、境界条件を変更する必要がある。境界条件の変更には、各セルの変数が保存されたメモリにアクセスする必要がある。メモリアクセスの時間は、ステップＳ１３，Ｓ１４における浮動小数点演算と比較して十分に短いため、ステップＳ１２に必要な時間は無視する。

流速ベクトルＶの境界条件を定めると、シミュレーション部３３０は、圧力ｐのポアソン方程式を解く（ステップＳ１３）。具体的に説明すると、シミュレーション部３３０は、式（７）に示した圧力ｐに関するポアソン方程式を計算する。ここで、Ｄは、“Ｄ＝∂ｕ／∂ｘ＋∂ｖ／∂ｙ＋∂ｗ／∂ｚ”の量をもつ変数である。

全セルにおける圧力ｐの変数の数はＮ個であるため、式（７）は、差分化するとＮ×Ｎの連立方程式となる。シミュレーション部３３０は、この連立方程式を、ＳＯＲ（Successive Over-Relaxation）法等を用いた繰り返し計算により計算する。この連立方程式を解くために１０回の繰り返し計算が必要であり、１回の繰り返し計算に１０×Ｎの浮動小数点演算が必要であると見積もると、ステップＳ１３では、１００×Ｎ回の浮動小数点演算が必要であると見積もられる。

圧力ｐを計算すると、シミュレーション部３３０は、流速ベクトルＶ＝（ｕ，ｖ，ｗ）を更新する（ステップＳ１４）。具体的に説明すると、シミュレーション部３３０は、ステップＳ１４で計算した圧力ｐを用いて、式（８）で示される流速ベクトルＶ＝（ｕ，ｖ，ｗ）の時間発展式と、式（９）で示される温度Ｔの時間発展式と、の時間更新を行う。１個の変数の時間更新するために１０回の浮動小数点演算が必要であると仮定すると、ステップＳ１４では、およそ４０×Ｎ回の浮動小数点演算が必要であると見積もられる。

このように、シミュレーション部３３０は、ステップＳ１２～Ｓ１４において、時刻ｔにおける全セルの圧力ｐと流速ベクトルＶ＝（ｕ，ｖ，ｗ）と温度Ｔとを計算する。その後、シミュレーション部３３０は、時刻ｔが指定された時間に到達したか否かを判定する（ステップＳ１５）。時刻ｔが指定された時間に到達していない場合（ステップＳ１５；ＮＯ）、シミュレーション部３３０は、時刻ｔを時刻ｔ＋Δｔに更新する（ステップＳ１６）。

そして、シミュレーション部３３０は、処理をステップＳ１２に戻し、再びステップＳ１２～Ｓ１４において時刻ｔ＋Δｔにおけるｐ，ｕ，ｖ，ｗ，Ｔを計算する。このように、シミュレーション部３３０は、時刻ｔが指定された時間に到達するまで、ステップＳ１２～Ｓ１４の処理を繰り返し、複数の時刻におけるｐ，ｕ，ｖ，ｗ，Ｔを時間刻みΔｔの単位で計算する。最終的に、指定された時間に到達すると（ステップＳ１５；ＹＥＳ）、シミュレーション部３３０は、図１２に示したＭＡＣ法の処理を終了する。

ステップＳ１２～Ｓ１４において、１回の時刻更新で１４０×Ｎの浮動小数点演算が必要であると見積もられる。ここで、時間刻みΔｔを大きくとりすぎると、計算が収束に至らずに発散する。Δｔの目安として、式（１０）で示されるクーラン数Ｃが１．０以下となる必要があることが知られている。

例えば、空調機１０がルームエアコンである場合、吹出風の風速は、およそ５［ｍ／ｓ］である。セルのサイズを２０［ｃｍ］と仮定すると、クーラン数が１となる時間刻みΔｔは、“Δｔ＝１÷（５÷０．２）＝０．０４［ｓ］”と計算される。ここで、１時間先の室内空間３の温度分布と風速分布とを計算する場合を想定すると、Δｔ＝０．０４［ｓ］の時間刻みで必要な時間の更新数として、９．０×１０^５サイクルが必要となる。この計算における浮動小数点演算の総回数Ｍは、“Ｍ＝（１４０×Ｎ）×（９．０×１０^５）＝１．３×１０^８×Ｎ～１．４×１０^１２”回と計算される。このような計算量であれば、サーバ上におかれた計算機でも、ユーザの所持するスマートフォン、ＰＣ等でも、実行可能である。

シミュレーション部３３０は、このように生成された温度分布のシミュレーションモデル５ｂを用いて、室内空間３の状態が与えられた状況において空調機１０が室内空間３を空調した場合に予測される室内空間３の温熱環境をシミュレーションする。

＜訓練データ６＞
図１０に戻って、記憶部３２に記憶された訓練データ６は、強化学習部３５０による強化学習において報酬の計算に用いられるデータであって、室内空間３の温熱環境の目標値を示すデータである。具体的には、訓練データ６は、目標値として、ユーザが嗜好する温度の時系列パターンを示すデータである。

例えば図１４に示すように、訓練データ６は、１日における各時刻においてユーザが嗜好する温度のデータを有する。また、温度のデータと同様に、訓練データ６は、ユーザが嗜好する湿度の時系列パターンを示すデータを有する。このような訓練データ６は、複数のユーザから収集された実測データに基づいて予め生成されて、記憶部３２に記憶される。

ユーザが熱的に快適であると感じる温熱環境は、個々のユーザによって異なる。温熱環境の快適性は、室内空間３の温度及び湿度と、ユーザの代謝量と、ユーザの着衣量と、といった因子に依存する。ここで、ユーザの代謝量は、ユーザの年齢、性別、運動量等の属性により決められる。また、同一のユーザであっても、これらの因子が時間帯によって異なるため、ユーザが嗜好する温度及び湿度も、時間帯によって異なる。

例えば、昼間はユーザの活動が活発であり、代謝量が高いため、冷房運転においてユーザが低い温度を嗜好する傾向がある。一方で、夜間はユーザが就寝中であるため、冷房運転においてユーザが高い温度を嗜好する傾向がある。昼間は空調機１０の近くで活動しているが、就寝中は空調機１０から離れた位置に居るユーザにとっては、時間帯によって空調機１０に送風してもらいたい位置及び風量が異なる。また、ユーザの生活スタイルによって室内空間３で服装を着替えるタイミングが異なるため、ユーザの着衣量も時間帯によって異なる。

更には、同じ室内空間３であっても、時間帯によって、室内空間３に滞在する人数が異なることもある。ユーザの不在時には、空調機１０の運転能力を下げて運転することが望まれるが、運転能力を下げすぎると、ユーザが室内空間３に戻った時に部屋の温度が高すぎたり、低すぎたりして不都合な場合もある。このように、時間帯又はタイミングによってユーザが嗜好する温度及び湿度が異なる。訓練データ６は、様々な時刻におけるユーザが嗜好する温度及び湿度のデータを有するため、冷凍サイクル及び室内空間３の様々な状態に応じた温熱環境の目標値として用いることができる。

ユーザが嗜好する温度及び湿度の時間変化は、個々のユーザによって異なるが、多くのユーザからデータを収集して調べると、属性が類似したユーザ同士が嗜好する温度及び湿度の時間変化は、類似した傾向を示す。統計的に分析したユーザが嗜好する温度及び湿度の時系列パターンを示す時系列データを用いて、時系列データを追従するように冷凍サイクル制御及び気流制御を行うことができれば、あらゆるユーザが嗜好する温度及び湿度に汎用的に適合した制御を確立することができる。但し、冷凍サイクル及び気流は、非線形性が強いため、ＰＩＤ（Proportional-Integral-Differential）制御、モデル予測制御等のような制御論的な手法で設計することが難しい。そこで、学習装置３０は、強化学習を用いて、最適な制御方法を実データから学習する。

＜強化学習部３５０＞
図１０に戻って、強化学習部３５０は、シミュレーション部３３０によりシミュレーションされた温熱環境に基づく値を報酬とする強化学習を行う。これにより、強化学習部３５０は、冷凍サイクルの状態と室内空間３の状態とのうちの少なくとも一方から、その状態に適した空調機１０の制御値を推論するための学習済みモデル７を生成する。強化学習部３５０は、強化学習手段の一例である。

学習済みモデル７は、強化学習アルゴリズムによって学習されたモデルである。学習済みモデル７は、冷凍サイクルの状態と室内空間３の状態とのうちの少なくとも一方から空調機１０の制御値を推論するよう、空調制御装置５０を動作させるためのモデルであって、後述するように、Ｑテーブル又はニューラルネットワークにより構成される。強化学習部３５０は、学習済みモデル７として、（Ａ）冷凍サイクル制御モデル７ａと、（Ｂ）気流制御モデル７ｂと、を生成する。

冷凍サイクル制御モデル７ａは、冷凍サイクルの状態から冷凍サイクルの制御値を推論するためのモデルであって、冷凍サイクルの状態の入力に対して、冷凍サイクルの制御値を出力する。冷凍サイクルの状態は、具体的には、室内熱交換器１ａの温度と、室外熱交換器２ａの温度と、圧縮機２ｃの周波数と、膨張弁２ｄの開度と、吐出スーパーヒート温度と、により定められる。また、冷凍サイクルの制御値は、具体的には、室内ファン１ｂの回転数と、室外ファン２ｂの回転数と、圧縮機２ｃの周波数と、膨張弁２ｄの開度と、を制御する値である。

気流制御モデル７ｂは、室内空間３の状態から室内空間３における気流の制御値を推論するためのモデルであって、室内空間３の状態の入力に対して、室内空間３における気流の制御値を出力する。室内空間３の状態は、具体的には、室内機１から室内空間３に吹き出される吹出風の風向と、室内空間３の温度分布と、室内空間３におけるユーザの位置と、により定められる。また、気流の制御値は、具体的には、吹出風の風量、風向及び温度を制御する値である。

強化学習部３５０は、冷凍サイクルのシミュレーションモデル５ａと温度分布のシミュレーションモデル５ｂとを用いて、冷凍サイクルと気流の制御を強化学習によって学習し、学習済みモデル７を生成する。その際、強化学習部３５０は、記憶部３２に記憶された訓練データ６を用いて、シミュレーション部３３０によりシミュレーションされた温熱環境に基づく値を報酬とする強化学習を行う。具体的には、強化学習部３５０は、シミュレーション部３３０によりシミュレーションされた温熱環境を示す指標である室内空間３の温度又は湿度を、訓練データ６に定められた目標値と比較し、温度又は湿度が目標値に近いほど高い値を報酬とする強化学習を行う。

より詳細には、強化学習部３５０は、（ｉ）行動の選択、（ｉｉ）報酬の計算、（ｉｉｉ）状態関数の更新という３つのプロセスを実行する。これにより、強化学習部３５０は、制御ロジックとなる状態関数を書き換えることで最適な制御を学習する。以降、時刻ｔにおける状態をｓ_ｔ、行動をａ_ｔ、報酬値をｒ_ｔと表す。また、状態関数は、状態ｓ_ｔと行動ａ_ｔを入力変数とした関数Ｑ（ｓ_ｔ，ａ_ｔ）で記述する。

強化学習部３５０は、（Ａ）冷凍サイクル制御モデル７ａと（Ｂ）気流制御モデル７ｂとのそれぞれを、（Ｉ）Ｑテーブル、又は、（ＩＩ）ニューラルネットワークを用いて生成する。

Ｑテーブルは、ある状態の時にある行動を選択した場合の価値であるＱ値を管理するテーブルである。具体的には図１５に示すように、Ｑテーブルは、各状態ｓ_ｔの時の行動ａ_ｔを選択した場合のＱ値を定めることで、状態関数Ｑ（ｓ_ｔ，ａ_ｔ）を実装する。図１５に示すＱテーブルは、一例として、状態ｓ_ｔとして状態１～状態１２を定めており、行動ａ_ｔとして行動１～行動３を定めており、状態と行動との組み合わせのそれぞれに対してＱ値を定めている。Ｑテーブルを用いる場合、強化学習部３５０は、Ｑ－ｌｅａｒｎｉｎｇ、Ｓａｒｓａ等の強化学習のアルゴリズムを用いる。

ニューラルネットワークは、深層ニューラルネットワーク、ＣＮＮ（Convolutional Neural Network）等である。具体的には図１６に示すように、ニューラルネットワークは、入力層と中間層と出力層とを有する。ニューラルネットワークは、入力層に状態ｓ_ｔに対応する変数を入力すると、出力層に最も価値が高い行動ａ_ｔに対応する変数を出力する。ニューラルネットワークを用いる場合、強化学習部３５０は、ＤＱＮ（Deep Q-Network）等の深層強化学習アルゴリズムを用いる。この場合、強化学習部３５０は、ニューラルネットワークを用いて、状態ｓ_ｔにおいてエージェントの行動ａ_ｔによって起きる環境の変化による価値を保存し、入力された状態ｓ_ｔに対する最も価値の高い行動ａ_ｔを学習する。

（ＡＩ）Ｑテーブルを用いた冷凍サイクル制御モデル７ａの生成
強化学習には、時刻ｔにおける状態ｓ_ｔと行動ａ_ｔの定義が必要である。以下では、時刻ｔにおける状態ｓ_ｔのうち、冷凍サイクルの状態をｓ_ｉ（ｉ＝１，２，…）と表し、時刻ｔにおける行動ａ_ｔのうち、冷凍サイクル制御の行動をａ_ｉ（ｉ＝１，２，…）と表す。強化学習部３５０は、冷凍サイクルの状態ｓ_ｉを、凝縮器の温度Ｔ_ｃと、蒸発器の温度Ｔ_ｅと、圧縮機２ｃの周波数Ｃと、膨張弁２ｄの開度Φと、吐出スーパーヒート温度Ｔ_ＳＨと、により定義する。

具体的に説明すると、強化学習部３５０は、冷凍サイクル制御の状態ｓ_ｉとして、凝縮器の温度Ｔ_ｃと、蒸発器の温度Ｔ_ｅと、圧縮機２ｃの周波数Ｃと、膨張弁２ｄの開度Φと、吐出スーパーヒート温度Ｔ_ＳＨと、の各変数について、上限と下限とを定める。そして、強化学習部３５０は、各変数について、上限から下限まで分割した有限個の小範囲を作り、何番目の小範囲に変数の値が包含されているかにより状態ｓ_ｉを定義する。

より詳細には、強化学習部３５０は、図１７に示すように、冷凍サイクル制御の状態ｓ_ｉを定義する。強化学習部３５０は、凝縮器の温度Ｔ_ｃの取りうる範囲を設定し、下限をＴ_ｃ，０、上限をＴ_{ｃ，ＮＴｃ－１}と定める。そして、強化学習部３５０は、この上限から下限まで範囲をＮ_Ｔｃ個の小範囲に分割し、Ｔ_ｃ，０≦Ｔ_ｃ＜Ｔ_ｃ，１（小範囲１）、Ｔ_ｃ，１≦Ｔ_ｃ＜Ｔ_ｃ，２（小範囲２） 、…Ｔ_{ｃ，ＮＴｃ－２}≦Ｔ_ｃ＜Ｔ_{ｃ，ＮＴｃ－１}（小範囲Ｎ_Ｔｃ）と定める。

強化学習部３５０は、凝縮器の温度Ｔ_ｃがＮ_Ｔｃ個に分割した範囲の下限から数えて何番目の省範囲の中にあるかを調べ、凝縮器の温度Ｔ_ｃが含まれる小範囲の番号をｉ_Ｔｃと定める。同様に、強化学習部３５０は、蒸発器の温度Ｔ_ｅの取りうる範囲をＮ_Ｔｅ個に、圧縮機２ｃの周波数Ｃの取りうる範囲Ｎ_Ｃ個に、膨張弁２ｄの開度Φの取りうる範囲Ｎ_Φ個に、吐出スーパーヒート温度Ｔ_ＳＨの取りうる範囲Ｎ_ＴＳＨ個に分割し、該当する範囲の番号をｉ_Ｔｅ，ｉ_Ｃ，ｉ_Φ，ｉ_ＴＳＨと定める。図１７では、凝縮器の温度Ｔ_ｃはｉ_Ｔｃ番目、蒸発器の温度Ｔ_ｅはｉ_Ｔｅ番目、圧縮機２ｃの周波数Ｔ_Ｃはｉ_Ｃ番目、膨張弁２ｄの開度Ｔ_Φはｉ_Φ番目、吐出スーパーヒート温度Ｔ_ＳＨはｉ_ＴＳＨ番目の小範囲に包含されている。

強化学習部３５０は、このように各変数に対して小範囲の番号を用いて状態ｓ_ｉを定義する。各変数の小範囲の番号の取りうる組み合わせは、全部でＮ_Ｔｃ×Ｎ_Ｔｅ×Ｎ_Ｃ×Ｎ_Φ×Ｎ_ＴＳＨ通りである。強化学習部３５０は、これらの組み合わせに１個ずつ符号をつけて、状態ｓ_ｉ（ｉ＝１，２，…，Ｎ_Ｔｃ×Ｎ_Ｔｅ×Ｎ_Ｃ×Ｎ_Φ×Ｎ_ＴＳＨ）を定義する。具体的には、凝縮器の温度Ｔ_ｃがｉ_Ｔｃ番目、蒸発器の温度Ｔ_ｅがｉ_Ｔｅ番目、圧縮機２ｃの周波数Ｔ_Ｃがｉ_Ｃ番目、膨張弁２ｄの開度Ｔ_Φがｉ_Φ番目、吐出スーパーヒート温度Ｔ_ＳＨがｉ_ＴＳＨ番目の場合は、“ｉ＝ｉ_Ｔｃ＋（ｉ_Ｔｅ－１）×Ｎ_Ｔｃ＋（ｉ_Ｃ－１）×Ｎ_Ｔｃ×Ｎ_Ｔｅ＋（ｉ_Φ－１）×Ｎ_Ｔｃ×Ｎ_Ｔｅ×Ｎ_Ｃ＋（ｉ_ＴＳＨ－１）×Ｎ_Ｔｃ×Ｎ_Ｔｅ×Ｎ_Ｃ×Ｎ_Φ”と符号をつける。

次に、強化学習部３５０は、冷凍サイクルが各状態ｓ_ｉのときの取りうる冷凍サイクル制御の行動ａ_ｉを定義する。具体的には、強化学習部３５０は、冷凍サイクル制御の行動ａ_ｉ（ｉ＝１，２，…，８）を、下記の通りに定義する。

・行動ａ₁ ： 室内ファン１ｂの回転数をΔＦ_{ｉｎｄｏｏｒ}上げる。
・行動ａ₂ ： 室内ファン１ｂの回転数をΔＦ_{ｉｎｄｏｏｒ}下げる。
・行動ａ₃ ： 室外ファン２ｂの回転数をΔＦ_{ｏｕｔｄｏｏｒ}上げる。
・行動ａ₄ ： 室外ファン２ｂの回転数をΔＦ_{ｏｕｔｄｏｏｒ}下げる。
・行動ａ₅ ： 圧縮機２ｃの周波数をΔＦ_{ｃｏｍｐｒｅｓｓｏｒ}上げる。
・行動ａ₆ ： 圧縮機２ｃの周波数をΔＦ_{ｃｏｍｐｒｅｓｓｏｒ}下げる。
・行動ａ₇ ： 膨張弁２ｄの開度をΔΦ上げる。
・行動ａ₈ ： 膨張弁２ｄの開度をΔΦ下げる。

このように、強化学習部３５０は、冷凍サイクル制御の行動ａ_ｉを、室内ファン１ｂの回転数の操作量と、室外ファン２ｂの回転数の操作量と、圧縮機２ｃの周波数の操作量と、膨張弁２ｄの開度の操作量と、により定義する。強化学習部３５０は、このようにして定義した状態ｓ_ｉ（ｉ＝１，２，…，Ｎ_Ｔｃ×Ｎ_Ｔｅ×Ｎ_Ｃ×Ｎ_Φ×Ｎ_ＴＳＨ）と行動ａ_ｉ（ｉ＝１，２，…，８）とを用いて、図１８に示すような冷凍サイクル制御に用いるＱテーブルを生成する。

（ＡＩＩ）ニューラルネットワークを用いた冷凍サイクル制御モデル７ａの生成
ニューラルネットワークを用いて冷凍サイクル制御モデル７ａを生成する場合、冷凍サイクル制御モデル７ａとして、強化学習部３５０は、図１９に示すニューラルネットワークを生成する。

ニューラルネットワークの１列目である入力層の各素子は、時刻ｔにおける冷凍サイクルの状態ｓ_iを表す変数として、凝縮器の温度Ｔ_ｃと、蒸発器の温度Ｔ_ｅと、圧縮機２ｃの周波数Ｃと、膨張弁２ｄの開度Φと、吐出スーパーヒート温度Ｔ_ＳＨと、の入力を受け付ける。このような入力に対して、ニューラルネットワークの最終列である出力層の各素子は、時刻ｔにおける行動ａ_iを表す変数として、室内ファン１ｂの回転数の操作量ΔＦ_{ｉｎｄｏｏｒ}と、室外ファン２ｂの回転数の操作量ΔＦ_{ｏｕｔｄｏｏｒ}と、圧縮機２ｃの周波数の操作量ΔＣと、膨張弁２ｄの開度の操作量ΔΦと、を出力する。

なお、ニューラルネットワークにおける入力値と出力値は、適当な値で正規化されてもよい。また、実際に冷凍サイクルの制御の際は、正規化した値を実行値に戻してもよい。ニューラルネットワークの中間層の総数は、任意のもので良く、強化学習の学習効率を予め調べてチューニングされる。

（ＢＩ）Ｑテーブルを用いた気流制御モデル７ｂの生成
強化学習により気流制御モデル７ｂを生成する場合にも、時刻ｔにおける状態ｓ_ｔと行動ａ_ｔの定義が必要である。以下では、時刻ｔにおける状態ｓ_ｔのうち、室内空間３の状態をｓ_ｊ（ｊ＝１，２，…）と表し、時刻ｔにおける行動ａ_ｔのうち、気流制御の行動をａ_ｊ（ｊ＝１，２，…）と表す。強化学習部３５０は、時刻ｔにおける室内空間３の状態ｓ_ｊを、室内空間３における複数の位置における温度と、室内機１から室内空間３に吹き出される吹出風の吹出角度と、により定義する。

具体的に説明すると、強化学習部３５０は、室内空間３の状態ｓ_ｊとして、図２０に示すように、室内空間３内の３点の測定点Ｓ１，Ｓ２，Ｓ３における温度Ｔ_Ｓ１，Ｔ_Ｓ２，Ｔ_Ｓ３と、室内機１の上下方向の吹出角度θと、を用いる。吹出角度θは、室内機１において風向制御板１ｃ，１ｄを制御するステッピングモータの角度を記録することで、測定することができる。

測定点Ｓ１，Ｓ２，Ｓ３の温度Ｔ_Ｓ１，Ｔ_Ｓ２，Ｔ_Ｓ３を温度が高い方から昇順（１^ｓｔ，２^ｎｄ，３^ｒｄ）と並べると、この順列は３！＝６通りになる。更に、吹出角度θを、θ＜４５°の上吹きの場合とθ≧４５°の下吹きの場合の２通りに分別する。強化学習部３５０は、室内空間３における任意の状態ｓ_ｊを、温度Ｔ_Ｓ１，Ｔ_Ｓ２，Ｔ_Ｓ３の順列における６通りと吹出角度θにおける２通りとの組合せである１２通り（６×２通り）の状態ｓ_１～ｓ_１２のいずれかに対応させる。

次に、強化学習部３５０は、室内空間３における気流が各状態ｓ_ｊのときに取うる気流制御の行動ａ_ｊを定義する。具体的には、強化学習部３５０は、時刻ｔにおいて状態ｓ_ｊでの吹出風向の角度をθ_tと表した場合、時刻ｔ＋１における行動ａ_ｊを、下記の通りに定義する。

・行動ａ_１ ： 吹出角度を上げる。 θ_ｔ＋１＝θ_ｔ＋Δθ
・行動ａ_２ ： 吹出角度を下げる。 θ_ｔ＋１＝θ_ｔ－Δθ
・行動ａ_３ ： 吹出角度を変えない。 θ_ｔ＋１＝θ_ｔ
・行動ａ_４ ： 吹出角度を左に動かす。φ_ｔ＋１＝φ_ｔ＋Δφ
・行動ａ_５ ： 吹出角度を右に動かす。φ_ｔ＋１＝φ_ｔ－Δφ

ここで、Δθは、吹出角度の上下方向への調整角度である。例えば、Δθ＝５°と定める。また、Δφは、吹出角度の左右方向への調整角度である。例えば、Δφ＝５°と定める。強化学習部３５０は、室内空間３の状態ｓ_ｊに対して、このような５通りの行動ａ_１～ａ_５のうちから１つを選択する。

このように、強化学習部３５０は、時刻ｔにおける気流制御の行動ａ_ｊを、室内機１から室内空間３に吹き出される吹出風の風向により定義する。強化学習部３５０は、このようにして定義した状態ｓ_ｊ（ｊ＝１，２，…，１２）と行動ａ_ｊ（ｊ＝１，２，…，５）とを用いて、図２１に示すような気流制御に用いるＱテーブルを生成する。

（ＢＩＩ）ニューラルネットワークを用いた気流制御モデル７ｂの生成
ニューラルネットワークを用いて気流制御モデル７ｂを生成する場合、強化学習部３５０は、気流制御モデル７ｂとして、図２２に示すニューラルネットワークを生成する。具体的に説明すると、ニューラルネットワークの１列目である入力層の各素子は、室内空間３における複数の位置の温度Ｔ_ｉの入力を受け付ける。複数の位置の温度Ｔ_ｉは、例えば、室内空間３の床面における８×８＝６４地点の温度である。このような入力に対して、ニューラルネットワークの最終列である出力層の各素子は、吹出風の風向の調整角度Δθ，ΔΦを出力する。

なお、ニューラルネットワークにおける入力値と出力値は、適当な値で正規化されてもよい。例えば、各温度Ｔ_ｉをその最大値Ｔ_ｍａｘで正規化した値Ｔ_ｉ／Ｔ_ｍａｘを、入力値として用いても良い。また、実際に気流の制御の際は、正規化した値を実行値に戻してもよい。ニューラルネットワークの中間層の総数は、任意のもので良く、強化学習の学習効率を予め調べてチューニングされる。

次に、図２３を参照して、学習装置３０により実行される強化学習処理の流れについて説明する。学習装置３０の制御部３１は、図２３に示す強化学習処理を、空調機１０が室内空間３に設置された後に行う。

強化学習処理を開始すると、シミュレーション部３３０は、シミュレーションモデル５を生成する（ステップＳ２１）。具体的に説明すると、シミュレーション部３３０は、熱負荷推定部３１０により推定された室内空間３の熱負荷と、仕様参照部３２０により参照された空調機１０の仕様と、に基づいて、冷凍サイクルのシミュレーションモデル５ａと温度分布のシミュレーションモデル５ｂとを生成する。

シミュレーションモデル５を生成すると、強化学習部３５０は、時刻ｔにおける状態ｓ_ｔが与えられた状況において行うべき行動ａ_ｔを選択する（ステップＳ２２）。具体的に説明すると、強化学習部３５０は、上述した冷凍サイクル制御の行動ａ_ｉ（ｉ＝１，２，…，８）と気流制御の行動ａ_ｊ（ｉ＝１，２，…，１２）とのうちから１つを選択する。例えば、強化学習部３５０は、冷凍サイクル制御モデル７ａ又は気流制御モデル７ｂに則って、状態ｓ_ｔの入力に対して出力される制御値を行動ａ_ｔとして選択する。より詳細には、強化学習部３５０は、強化学習により更新している最中の冷凍サイクル制御モデル７ａ及び気流制御モデル７ｂに対して状態ｓ_ｔを入力し、この入力に対して冷凍サイクル制御モデル７ａ及び気流制御モデル７ｂから出力される制御値を、行動ａ_ｔとして選択する。なお、強化学習部３５０は、強化学習の開始時には、予め用意された冷凍サイクル制御モデル７ａ、気流制御モデル７ｂ及び状態ｓ_ｔの初期データを用いて、行動ａ_ｔを選択する。

行動ａ_ｔを選択すると、シミュレーション部３３０は、時刻ｔの状態ｓ_ｔにおいて行動ａ_ｔを行った場合における時刻ｔ＋１の状態ｓ_ｔ＋１を、シミュレーションモデル５を用いてシミュレーションする。言い換えると、シミュレーション部３３０は、状態ｓ_ｔが与えられた状況で空調機１０が空調した場合に、時刻ｔから時刻ｔ＋１で冷凍サイクル及び室内空間３の状態がどのように変化するかを予測し、これにより時刻ｔ＋１における室内空間３の温熱環境をシミュレーションする。

第１に、シミュレーション部３３０は、冷凍サイクルのシミュレーションモデル５ａを用いて、冷凍サイクルをシミュレーションする（ステップＳ２３）。具体的に説明すると、シミュレーション部３３０は、室内ファン１ｂの回転数と、室外ファン２ｂの回転数と、圧縮機２ｃの周波数と、膨張弁２ｄの開度と、室内機１に吸い込まれる室内空気の吸込温度と、に基づいて、凝縮器の温度と、蒸発器の温度と、圧縮機２ｃの周波数と、膨張弁２ｄの開度と、吐出スーパーヒート温度とを、シミュレーションモデル５ａを用いて計算する。また、シミュレーション部３３０は、シミュレーションモデル５ａを用いて、室内ファン１ｂの回転数から、室内ファン１ｂから室内空間３に吹き出される吹出風の風量及び温度を計算する。これにより、シミュレーション部３３０は、時刻ｔにおける冷凍サイクルの状態ｓ_ｉにおいて冷凍サイクル制御の行動a_ｉを行った場合に、時刻ｔ＋１における冷凍サイクルの状態ｓ_ｉを計算する。

第２に、シミュレーション部３３０は、温度分布のシミュレーションモデル５ｂを用いて、室内空間３における温度分布をシミュレーションする（ステップＳ２４）。具体的に説明すると、シミュレーション部３３０は、冷凍サイクルのシミュレーションモデル５ａにより計算された吹出風の温度と風量とを吹出口１ｇの境界条件として与えて、温度分布と風速分布をシミュレーションする。これにより、シミュレーション部３３０は、時刻ｔにおける室内空間の状態ｓ_ｊにおいて気流制御の行動a_ｊを行った場合に、時刻ｔ＋１における室内空間の状態ｓ_ｊを計算する。

冷凍サイクル及び温度分布をシミュレーションすると、強化学習部３５０は、報酬値ｒ_ｔを計算する（ステップＳ２５）。具体的に説明すると、強化学習部３５０は、訓練データ６を参照して、各時刻においてユーザの嗜好する温度Ｔ_ｓeｔと湿度Ｔ_{ｓeｔ，ＲＨ}を目標値として与える。そして、強化学習部３５０は、冷凍サイクル制御と気流制御によって得られた室内空間３の温度と湿度とがそれぞれ目標値の温度Ｔ_ｓeｔと湿度Ｔ_{ｓeｔ，ＲＨ}とに近づくほど高い値を、報酬値ｒ_ｔとして設定する。

より詳細には、強化学習部３５０は、訓練データ６において定められる時刻ｔでのユーザの位置（ｘ，ｙ）での風速ｖと温度Ｔとを用いて、体感温度Ｔ’＝Ｔ－４×√ｖを計算する。そして、強化学習部３５０は、報酬値ｒ_ｔとして、式（１１）に示す評価値Ｒを計算する。評価値Ｒは、温熱環境のシミュレーションで得た体感温度Ｔ’とユーザの嗜好する温度Ｔ_ｓeｔの差と、温熱環境のシミュレーションで得た湿度Ｔ_ＲＨとユーザの嗜好する湿度Ｔ_{ｓeｔ，ＲＨ}の差と、の和をとった値である。なお、λ_１とλ_２は、重みづけのための定数である。

報酬値ｒ_ｔを計算すると、強化学習部３５０は、状態関数Ｑ（ｓ_ｔ，ａ_ｔ）を更新する（ステップＳ２６）。これにより、強化学習部３５０は、冷凍サイクル制御モデル７ａと気流制御モデル７ｂを更新する。例えば、学習済みモデル７がＱテーブルを用いて生成されたものである場合、強化学習部３５０は、式（１２）に従ってＱ値を更新する。

これに対して、学習済みモデル７がニューラルネットワークを用いて生成されたものである場合、強化学習部３５０は、式（１３）に従って、ニューラルネットワークの重み係数を更新する。

状態関数Ｑ（ｓ_ｔ，ａ_ｔ）を更新すると、強化学習部３５０は、次の訓練データ６が存在するか否かを判定する（ステップＳ２７）。具体的に説明すると、強化学習部３５０は、訓練データ６により示されるユーザが嗜好する温度及び湿度の時系列パターンのうち、次の時刻のデータが存在するか否かを判定する。

次の訓練データ６が存在する場合（ステップＳ２７；ＹＥＳ）、強化学習部３５０は、処理をステップＳ２２に戻す。そして、強化学習部３５０は、ステップＳ２２において、シミュレーションにより得られた状態ｓ_ｔ＋１が与えられた状況において行うべき行動ａ_ｔ＋１を選択し、選択された行動ａ_ｔ＋１に従ってステップＳ２３～Ｓ２７の処理を実行する。強化学習部３５０は、このようなステップＳ２２～Ｓ２７の処理を、全時間の訓練データ６を使用するまで繰り返す。このように、ステップＳ２１～Ｓ２７の処理を実行することにより、強化学習部３５０は、学習済みモデル７として、冷凍サイクル制御モデル７ａと気流制御モデル７ｂとを生成する。

最終的に、全ての訓練データ６を使用すると（ステップＳ２７；ＮＯ）、図２３に示した強化学習処理は終了する。強化学習部３５０は、このような強化学習処理により生成された冷凍サイクル制御モデル７ａと気流制御モデル７ｂとを、学習済みモデル７として記憶部３２に保存する。

＜出力部３６０＞
図１０に戻って、出力部３６０は、強化学習部３５０により生成された学習済みモデル７を出力する。具体的に説明すると、出力部３６０は、入出力Ｉ／Ｆ３３を介して空調制御装置５０と通信し、記憶部３２に保存された学習済みモデル７を空調制御装置５０に送信する。出力部３６０は、出力手段の一例である。

＜＜活用フェーズ＞＞
次に、学習装置３０により生成された学習済みモデル７を活用する処理について説明する。

図１に示した空調制御装置５０は、学習装置３０により生成された学習済みモデル７を用いて、空調機１０を制御する装置である。空調制御装置５０は、パーソナルコンピュータ、サーバ、タブレット等の情報処理装置により実現される。空調制御装置５０は、図２４に示すように、制御部５１と、記憶部５２と、入出力Ｉ／Ｆ５３と、を備える。

制御部５１は、ＣＰＵ、ＲＯＭ及びＲＡＭを備える。ＣＰＵは、中央処理装置、中央演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ等とも呼び、空調制御装置５０の制御に係る処理及び演算を実行する中央演算処理部として機能する。制御部５１において、ＣＰＵは、ＲＯＭに格納されているプログラム及びデータを読み出し、ＲＡＭをワークエリアとして用いて、空調制御装置５０を統括制御する。

記憶部５２は、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の不揮発性の半導体メモリを備えており、いわゆる二次記憶装置又は補助記憶装置としての役割を担う。記憶部５２は、制御部５１が各種処理を行うために使用するプログラム及びデータを記憶する。また、制御部５１が各種処理を行うことにより生成又は取得するデータを記憶する。

記憶部５２は、学習済みモデル７を記憶する。学習済みモデル７は、学習装置３０において生成された後、入出力Ｉ／Ｆ５３を介して取得されて、記憶部３２に保存される。

入出力Ｉ／Ｆ５３は、空調制御装置５０が外部のモジュールとデータを送受信するためのインタフェースを備える。具体例として、入出力Ｉ／Ｆ５３は、ＬＡＮ、ＵＳＢ等の通信モジュールと、外部記憶装置の読み取りモジュールと、を備える。

制御部５１は、機能的に、データ取得部５１０と、推論部５２０と、空調制御部５３０と、を備える。これらの各機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現される。ソフトウェア及びファームウェアは、プログラムとして記述され、ＲＯＭ又は記憶部５２に格納される。そして、ＣＰＵが、ＲＯＭ又は記憶部５２に記憶されたプログラムを実行することによって、これらの各機能を実現する。以下、図２５を参照して、制御部３１の各機能について説明する。

＜データ取得部５１０＞
データ取得部５１０は、冷凍サイクルの状態と室内空間３の状態とを示す状態データを取得する。空調機１０の適宜の場所には、冷凍サイクルの状態を測定するためのセンサが設置される。また、室内空間３の適宜の場所には、室内空間３の状態を測定するための温度センサ、湿度センサ、熱画像センサ等が設置される。データ取得部５１０は、予め定められたタイミング毎に、これらのセンサと入出力Ｉ／Ｆ５３を介して通信することにより、状態データを取得する。データ取得部５１０は、データ取得手段の一例である。

第１に、データ取得部５１０は、冷凍サイクルの状態を示す状態データとして、室内熱交換器１ａの温度と、室外熱交換器２ａの温度と、圧縮機２ｃの周波数と、膨張弁２ｄの開度と、吐出スーパーヒート温度と、を示すデータを取得する。これらの状態データは、冷凍サイクルの状態を測定するために、空調機１０の冷凍サイクルの各部に設けられたセンサにより測定される。データ取得部５１０は、これらのセンサから冷凍サイクルの状態を示す状態データを取得する。

第２に、データ取得部５１０は、室内空間３の状態を示す状態データとして、室内機１から室内空間３に吹き出される吹出風の風向と、室内空間３の温度分布と、室内空間３におけるユーザの位置と、を示すデータを取得する。吹出風の風向は、室内機１の吹出口１ｇに設置されたセンサにより測定される。室内空間３の温度分布は、温度センサにより室内空間３の複数の測定点の代表温度を検出することにより、又は、熱画像センサにより室内空間３の壁、床等の表面の温度分布を検出することにより、測定される。室内空間３におけるユーザの位置は、熱画像センサにより人体の表面温度を検出することにより、測定される。データ取得部５１０は、これらのセンサから室内空間３の状態を示す状態データを取得する。

例えば図２６に示すように、室内空間３の温度分布は、室内機１に設置された熱画像センサにより測定される。図２６において斜線で示した領域は、室内機１から下向きに吹き出された温風が到達することにより高温となった部分である。データ取得部５１０は、このような温度分布を測定することにより、例えば室内空間３における８×８＝６４点における温度Ｔ_ｉを取得する。

＜推論部５２０＞
推論部５２０は、学習装置３０により生成された学習済みモデル７を用いて、データ取得部５１０により取得された状態データから、空調機１０の制御値を推論する。具体的に説明すると、推論部５２０は、データ取得部５１０により取得された状態データを、学習済みモデル７に入力する。学習済みモデル７は、状態データの入力に対して、その状態データに対応する制御値を出力する。推論部５２０は、学習済みモデル７から出力された制御値を、空調機１０の制御値として推論する。推論部５２０は、推論手段の一例である。

例えば、学習済みモデル７がＱテーブルにより生成されている場合、推論部５２０は、Ｑテーブルを参照する。そして、推論部５２０は、下記の式（１４）に従って、選択可能な複数の行動ａ_ｔのうちから、データ取得部５１０により取得された状態データにより定められる現在の状態ｓ_ｔに対して最もＱ値が高くなる行動ａ_ｔを選択する。推論部５２０は、選択した行動ａ_ｔを、空調機１０の制御値である次の時刻における行動ａ_ｔ＋１として決定する。

より詳細には、上述したように、学習済みモデル７は、冷凍サイクル制御モデル７ａと気流制御モデル７ｂとを含む。推論部５２０は、冷凍サイクル制御モデル７ａと気流制御モデル７ｂとを用いて、空調機１０の制御値を推論する。

第１に、推論部５２０は、データ取得部５１０により取得された状態データのうちの、冷凍サイクルの状態ｓ_ｉを示す状態データを、冷凍サイクル制御モデル７ａに入力する。具体的に説明すると、推論部５２０は、冷凍サイクルの状態を示す状態データとして、室内熱交換器１ａの温度と、室外熱交換器２ａの温度と、圧縮機２ｃの周波数と、膨張弁２ｄの開度と、吐出スーパーヒート温度とを、冷凍サイクル制御モデル７ａに入力する。

冷凍サイクル制御モデル７ａは、冷凍サイクルの状態ｓ_ｉの入力に対して、対応する最適な冷凍サイクル制御の行動ａ_ｉを出力する。具体的には、冷凍サイクル制御モデル７ａは、室内ファン１ｂの回転数と、室外ファン２ｂの回転数と、圧縮機２ｃの周波数と、膨張弁２ｄの開度と、を変化させる変化量を出力する。推論部５２０は、現在の冷凍サイクルの状態において実行すべき冷凍サイクルの制御値として、これらの制御値を推論する。

第２に、推論部５２０は、データ取得部５１０により取得された状態データのうちの、室内空間３の状態ｓ_ｊを示す状態データを、気流制御モデル７ｂに入力する。具体的に説明すると、推論部５２０は、室内空間３の状態を示す状態データとして、室内機１から室内空間３に吹き出される吹出風の風向と、室内空間３の温度分布と、室内空間３におけるユーザの位置とを、気流制御モデル７ｂに入力する。

気流制御モデル７ｂは、室内空間３の状態ｓ_ｊの入力に対して、対応する最適な気流制御の行動ａ_ｊを出力する。具体的には、気流制御モデル７ｂは、これらの入力に対応する制御値として、吹出風の風量、風向及び温度を変化させる変化量を出力する。推論部５２０は、現在の室内空間３の状態において実行すべき気流の制御値として、これらの制御値を推論する。

＜空調制御部５３０＞
空調制御部５３０は、推論部５２０により推論された制御値に従って、空調機１０を制御する。具体的には、空調制御部５３０は、学習済みモデル７から出力された制御値に従って、空調機１０における室内ファン１ｂの回転数と、室外ファン２ｂの回転数と、圧縮機２ｃの周波数と、膨張弁２ｄの開度と、室内機１からの吹出風の風量、風向及び温度と、を変化させる。

空調制御部５３０は、入出力Ｉ／Ｆ５３を介して空調機１０と通信し、空調機１０に対して推論部５２０により推論された制御値を送信する。これにより、空調制御部５３０は、推論された制御値で空調機１０を動作させる。空調制御部５３０は、空調制御手段の一例である。

空調制御装置５０は、このようなデータ取得部５１０による状態データの取得処理と、推論部５２０による学習済みモデル７を用いた推論処理と、空調制御部５３０による空調制御処理とを、予め定められた時間毎に繰り返し実行する。これにより、空調制御装置５０は、冷凍サイクル及び室内空間３の状態が時間変化した場合でも、そのたびに最適と推論される制御値に従って空調機１０を動作させる。その結果として、高い精度で冷凍サイクルと気流とを制御することができ、室内空間３を快適な状態に維持することができる。

以上説明したように、実施の形態１に係る学習装置３０は、空調機１０が室内空間３を空調した場合における室内空間３の温熱環境をシミュレーションし、シミュレーションされた温熱環境に基づく値を報酬とする強化学習を行うことにより、温熱環境から空調機１０の制御値を推論するための学習済みモデル７を生成する。これにより、シミュレーション上に構築した環境で強化学習を行うことができるため、実際に空調機１０が設置された環境で実測値を取得する必要がない。そのため、強化学習に要する時間を短縮することができる。また、強化学習の訓練回数を多く確保することができ、強化学習の速度を速めることができる。

（実施の形態２）
次に、実施の形態２について説明する。実施の形態１と同様の構成及び機能については、適宜説明を省略する。

実施の形態１では、強化学習部３５０は、予め用意された訓練データ６を用いて、室内空間３の状態に応じた最適な冷凍サイクル制御及び気流制御を学習した。これに対して、実施の形態２では、学習装置３０は、訓練データ６を生成する機能を備える。

図２７に、実施の形態２に係る学習装置３０の構成を示す。実施の形態２に係る学習装置３０において、制御部３１は、機能的に、熱負荷推定部３１０と、仕様参照部３２０と、シミュレーション部３３０と、訓練データ生成部３４０と、強化学習部３５０と、出力部３６０と、を備える。訓練データ生成部３４０以外の機能は、実施の形態１と同様であるため、説明を省略する。

訓練データ生成部３４０は、記憶部３２に記憶された嗜好環境データ８を参照して、訓練データ６を生成する。嗜好環境データ８は、複数のユーザから収集された、複数のユーザが嗜好する温熱環境である温度及び湿度の実測データである。訓練データ生成部３４０は、嗜好環境データ８を収集する処理と、収集された嗜好環境データ８に基づいて訓練データ６を生成する処理と、を実行する。訓練データ生成部３４０は、訓練データ生成手段の一例である。

＜嗜好環境データ８の収集＞
訓練データ生成部３４０は、１００人程度のユーザの生活における実測値から、嗜好環境データ８を収集する。具体的には、訓練データ生成部３４０は、複数のユーザに携帯された、スマートウォッチのようなウェアラブル端末を用いて、各ユーザが室内空間３に滞在している際の各ユーザの身体計測値の時系列データを測定する。身体計測値は、体温、運動量、心拍数等である。

また、訓練データ生成部３４０は、室内空間３に設置されたカメラによりユーザを撮影することで、ユーザの運動量と、ユーザと空調機１０との位置関係と、ユーザの服装と、の情報を取得する。そして、訓練データ生成部３４０は、ユーザの運動量からユーザの代謝量を推定し、ユーザと空調機１０との位置関係からユーザに直射する吹出風の風速を推定し、ユーザの服装からユーザの着衣量を推定する。また、訓練データ生成部３４０は、温湿度センサにより測定された室内空間３の温度及び湿度を、身体計測値の時系列データとともに保存する。

訓練データ生成部３４０は、各ユーザの時系列データについて、下記の（１）～（３）の操作を行う。（１）訓練データ生成部３４０は、各ユーザの運動量と室内空間３の温度及び湿度とから、各ユーザの温冷感を示す指標であるＰＭＶ（予想平均温冷申告；Predicted Mean Value）を計算する。ここで、ＰＭＶの計算には、代謝量、着衣量、空気温度、平均放射温度、平均風速及び相対湿度が必要である。これらの情報は、ユーザに携帯されたウェアラブル端末と、カメラにより撮影されたユーザの撮影画像と、温湿度センサと、により取得される。

（２）訓練データ生成部３４０は、ユーザの心拍数からユーザのストレス値を定量化する。そして、訓練データ生成部３４０は、ストレス値の閾値を定めて、ストレス値が閾値を超えた場合に、ユーザが熱的に不快な環境下にいると判定する。

（３）ユーザが熱的に不快な環境下にいると判定した場合、訓練データ生成部３４０は、ユーザのＰＭＶ値を計算し、測定温度及び測定湿度に対してどの程度の差異があれば、ユーザのＰＭＶ値が０となる状態、すなわちユーザが熱的中立である状態になるかを計算する。例えば、訓練データ生成部３４０は、ＰＭＶ値が０よりも低ければ、ユーザが嗜好する温度を、測定温度より高い値に補正する。このように、訓練データ生成部３４０は、ＰＭＶ値が０となる温度及び湿度を、ユーザが嗜好する温度及び湿度と推定する。

このように、訓練データ生成部３４０は、ユーザのＰＭＶ値に基づいて、そのユーザが嗜好する温度及び湿度を推定する。訓練データ生成部３４０は、複数の時刻においてユーザが嗜好する温度及び湿度を推定し、推定した温度及び湿度の時系列パターンを示すデータを、そのユーザの嗜好環境データ８として生成する。

訓練データ生成部３４０は、このような嗜好環境データ８を、１００人程度のユーザのそれぞれに対して生成する。その結果、例えば図２８に示すように、複数のユーザのそれぞれが嗜好する温度及び湿度の時系列パターンを示す嗜好環境データ８を生成する。訓練データ生成部３４０は、生成した嗜好環境データ８を記憶部３２に保存する。

＜訓練データ６の生成＞
嗜好環境データ８を収集すると、訓練データ生成部３４０は、嗜好環境データ８に基づいて訓練データ６を生成する。ここで、大量の訓練データ６があるほど、学習精度の向上につながる。しかしながら、大量の訓練データ６を収集するためには、年齢、性別、体格等といった属性の異なる大量のユーザからデータを収集する必要がある。例えばアンケート形式でユーザのデータを収集するには、膨大な調査費用と時間が発生する。そこで、実施の形態２では、訓練データ生成部３４０は、嗜好環境データ８を用いて、少数の実測データをオリジナルデータとして訓練データ６を生成する。

訓練データ生成部３４０は、収集した嗜好環境データ８に基づいて確率モデルを生成する。具体的に説明すると、訓練データ生成部３４０は、複数のユーザの嗜好環境データ８を、ユーザの年齢、性別、体格、室内空間３の人数等で、類似する属性を持つユーザ毎に分類する。訓練データ生成部３４０は、分類したデータに対してガウス過程（Gaussian Process）を適用することにより、確率モデルを生成する。

以下、ガウス過程を用いて、時刻ｔと嗜好温度（出力：ｙ）との関係を、確率モデルで表す方法を示す。ここで、複数のユーザのうちのｉ番目のユーザであるユーザｉの嗜好環境データ８を、ｙ_ｉ（ｔ）と表す。ｙ_ｉは、ユーザｉの嗜好温度Ｔ_ｉと、ユーザｉの嗜好湿度Ｔ_ＲＨ，ｉと、空調機１０を基準位置としたときのユーザｉの位置座標（ｘ座標ｘ_ｉ，ｙ座標ｙ_ｉ）と、を有するデータである。訓練データ生成部３４０は、ユーザｉについて、時刻ｔ_ｉとｙ_ｉ＝（Ｔ_ｉ，Ｔ_ＲＨ，ｉ，ｘ_ｉ，ｙ_ｉ）とを組み合わせたデータセットＹ_ｉ＝（ｔ_ｉ，ｙ_ｉ）を生成する。

図２９に、図２８に示した複数のユーザの嗜好環境データ８から生成されたガウス過程による確率モデルを示す。図２９に示す確率モデルは、時刻ｔにおけるユーザの嗜好温度Ｔの確率的な存在範囲を示している。ここで、ガウス過程は、正規分布に従う確率過程の重み係数ｗ_ｉと、時間tに関する非線形関数φ_ｉ（ｔ）を用いて、式（１５）のように出力ｙにｘを回帰させる方法である。

式（１６）のように、ｋ（ｘ_ｉ，ｘ_ｊ）＝φ_ｉ（ｘ）φ_ｊ（ｘ）と定義したカーネル関数ｋ（ｘ_ｉ，ｘ_ｊ）の具体的な関数形を決めると、式（１７）のグラム行列Ｋを用いて、出力ｙは、式（１８）のように平均μ（ｘ），分散Ｖ（ｘ）の多次元正規分布として表すことができる。

平均μ（ｘ）及び分散Ｖ（ｘ）は、ｙ_оｂ＝（ｙ_１，ｙ_２，…，ｙ_６）^Ｔと、ｋ（ｘ）＝（ｋ（ｘ，ｘ_１），ｋ（ｘ，ｘ_２），…，ｋ（ｘ，ｘ_６））^Ｔという２つのベクトルと、ｉ行ｊ列要素が（Ｋ_оｂ）_ｉｊ＝（ｋ（ｋ（ｘ_ｉ，ｘ_ｌ）））となる行列Ｋ_оｂを用いて、式（１９）及び式（２０）のように表される。図２９は、平均μ（ｘ）を太線で示しており、分散Ｖ（ｘ）の範囲を斜線で塗っている。

訓練データ生成部３４０は、このようにして生成されたガウス過程の確率モデルから、例えばＭＣＭＣ（マルコフ連鎖モンテカルロ法）のようなサンプリング手法を使って、時系列パターンを出力する。具体的には図３０に示すように、訓練データ生成部３４０は、図２９に示した１つの確率モデルから、複数の時系列パターンを生成する。訓練データ生成部３４０は、１つの確率モデルから生成された複数の時系列パターンを示すデータを訓練データ６として生成し、記憶部３２に保存する。

このように１つの確率モデルから複数の時系列パターンを生成することで、少数のユーザの嗜好する温熱環境の実測データから、多数の時系列パターンを含む訓練データ６を生成することができる。その結果、多くのデータを訓練データ６として用いて強化学習を行うことができるため、学習精度を向上させることができる。

なお、実施の形態２において、訓練データ生成部３４０は、一度生成した訓練データ６を更新しても良い。例えば、訓練データ生成部３４０は、実施の形態１で図２３に示した強化学習処理が実行された後、訓練データ６の更新が必要か否かを判定する。具体的に説明すると、訓練データ生成部３４０は、計算した報酬値が、予め定められた収束判定の基準を満たすか否かを判定する。判定の結果、報酬値が基準を満たさない場合、訓練データ生成部３４０は、訓練データ６の更新が必要であると判定する。

訓練データ６の更新が必要であると判定した場合、訓練データ生成部３４０は、訓練データ６を更新する。具体的に説明すると、訓練データ生成部３４０は、嗜好環境データ８からガウス過程の確率モデルを生成し直し、新たな訓練データ６を生成する。そして、学習装置３０は、更新後の訓練データ６を用いて図２３に示したステップＳ２２～Ｓ２７の処理を繰り返して強化学習を行い、新たな学習済みモデル７を生成する。訓練データ生成部３４０は、このような訓練データの更新処理を、収束判定の基準を満たすまで実行しても良い。

（実施の形態３）
次に、実施の形態３について説明する。実施の形態１，２と同様の構成及び機能については、適宜説明を省略する。

図３１に、実施の形態３に係る学習装置３０の構成を示す。実施の形態３に係る学習装置３０において、制御部３１は、機能的に、熱負荷推定部３１０と、仕様参照部３２０と、シミュレーション部３３０と、強化学習部３５０と、出力部３６０と、モデル修正部３７０と、を備える。モデル修正部３７０以外の機能は、実施の形態１と同様であるため、説明を省略する。

モデル修正部３７０は、強化学習部３５０により生成された学習済みモデル７により推論された制御値に従って空調機１０が室内空間３を空調している際にユーザから受け付けられた空調機１０の操作に基づいて、学習済みモデル７を修正する。モデル修正部３７０は、モデル修正手段の一例である。

実施の形態１で説明したように、学習装置３０において強化学習部３５０により生成された学習済みモデル７は、出力部３６０により空調制御装置５０に出力される。そして、空調制御装置５０は、学習装置３０から取得した学習済みモデル７により推論された制御値に従って、空調機１０に室内空間３を空調させる。

このように空調機１０が学習済みモデル７を用いた制御により室内空間３を空調している最中に、室内空間３に居るユーザが空調機１０に対して何らかの操作を入力した場合、モデル修正部３７０は、ユーザの操作に基づいて、学習済みモデル７により推論された制御値が適切であるか否かを判定する。そして、モデル修正部３７０は、ユーザの操作に基づいて、学習済みモデル７がより高い精度で空調機１０の制御値を推論できるように、学習済みモデル７を修正する。このように、モデル修正部３７０は、学習装置３０で一度生成された学習済みモデル７を、実際に空調制御に使用されている際におけるユーザの操作に基づいて修正する。

以下、図３２を参照して、実施の形態３に係る学習装置３０により実行されるモデル修正処理の流れを説明する。図３２に示すモデル修正処理は、空調機１０が学習済みモデル７に基づく制御により室内空間３を空調している最中に、適宜実行される。

モデル修正処理を開始すると、モデル修正部３７０は、空調機１０における行動ａ_ｔを示す情報を取得する（ステップＳ３１）。具体的に説明すると、モデル修正部３７０は、入出力Ｉ／Ｆ３３を介して空調制御装置５０と通信することにより、空調制御装置５０が空調機１０に送信した制御値を示す情報を取得する。

行動ａ_ｔを示す情報を取得すると、モデル修正部３７０は、ユーザの介入の有無を監視する（ステップＳ３２）。例えば、ユーザは、空調機１０の運転中に、リモコンのような空調機１０の操作部を操作して、設定温度を変更する操作、設定風向を変更する操作、空調機１０の電源をオフする操作等を入力することができる。モデル修正部３７０は、入出力Ｉ／Ｆ３３を介して空調機１０と通信することにより、空調機１０がユーザからこのような操作を受け付けたか否かを判定する。

次に、モデル修正部３７０は、ユーザの介入の有無に応じて、学習済みモデル７を修正するための強化学習に用いる報酬を計算する（ステップＳ３３）。具体的に説明すると、モデル修正部３７０は、以下のルール（ａ）～（ｄ）に従って、正の報酬又は負の報酬を計算する。

（ａ）一定時間内にユーザからの操作が無い場合、モデル修正部３７０は、これまでの制御が適切であったと判定して、正の報酬を与える。
（ｂ）一定時間内にユーザからの操作が有り、且つ、設定温度の変更があった場合、モデル修正部３７０は、冷凍サイクル制御が不適切であったと判定して、負の報酬を与える。
（ｃ）一定時間内にユーザからの操作が有り、且つ、設定風向の変更があった場合、モデル修正部３７０は、気流制御が不適切であったと判定して、負の報酬を与える。
（ｄ）一定時間内にユーザからの操作が有り、且つ、電源をオフした場合、モデル修正部３７０は、空調機１０の制御方法が不適切であったと判定して、設定温度の変更及び設定風向の変更があった場合よりも、大きな負の報酬を与える。

報酬を計算すると、モデル修正部３７０は、計算された報酬に基づいて、状態関数を更新する（ステップＳ３４）。具体的に説明すると、モデル修正部３７０は、実施の形態１と同様に、式（１２）に従ってＱ値を更新する、又は、式（１３）に従ってニューラルネットワークの重み係数を更新する。これにより、モデル修正部３７０は、学習済みモデル７を修正する。

このとき、ユーザからの設定温度を変更する操作があった場合、モデル修正部３７０は、冷凍サイクル制御モデル７ａを修正する。或いは、ユーザからの設定風向を変更する操作があった場合、モデル修正部３７０は、気流制御モデル７ｂを修正する。一方で、ユーザからの操作が無い場合、及び、ユーザから電源オフの操作があった場合、モデル修正部３７０は、冷凍サイクル制御モデル７ａと気流制御モデル７ｂとをどちらも修正する。以上により、図３２に示したモデル修正処理を終了する。

以上のように、実施の形態３に係る学習装置３０は、空調機１０が室内空間３を空調している最中にユーザから受け付けられた操作に基づいて、学習済みモデル７を修正する。このように実環境の運転による環境の変化を使って学習済みモデル７の修正を行うため、学習済みモデル７の精度をより向上させることができる。

（実施の形態４）
次に、実施の形態４について説明する。実施の形態１～３と同様の構成及び機能については、適宜説明を省略する。

上記実施の形態では、学習装置３０は、室内空間３の温熱環境をシミュレーションし、シミュレーションの結果を用いて、強化学習により学習済みモデル７を生成した。そして、学習済みモデル７は、その室内空間３に設置された空調機１０を制御する空調制御装置５０に送信されて使用された。これに対して、実施の形態４では、学習済みモデル７は、空調機１０とは別の空調機であって、室内空間３とは別の空間を空調する空調機を制御する装置に送信されて使用される。

例えば、新規のユーザが空調機を導入した場合において、その空調機に対して、既存のユーザの空調機に使用されている学習済みモデル７を転用する。この場合、転移学習の手法により、新規のユーザの空調機の環境に学習済みモデル７を更新して使用するようにしても良い。このように、１つの環境で生成された学習済みモデル７を他の環境に転用することで、学習済みモデル７を様々な環境で使用することが可能になる。

（実施の形態５）
次に、実施の形態５について説明する。実施の形態１～４と同様の構成及び機能については、適宜説明を省略する。

上記実施の形態では、学習装置３０は、室内空間３の温熱環境として、室内空間３における温度分布をシミュレーションし、学習済みモデル７として、室内空間３の気流を制御する気流制御モデル７ｂを生成した。これに対して、実施の形態５では、学習装置３０は、室内空間３の温熱環境として、室内空間３の空気質をシミュレーションし、室内空間３の状態から室内空間３を換気するタイミングを推論するための学習済みモデル７を生成する。

ここで、空気質は、空気中の二酸化炭素濃度であるＣＯ_２濃度、空気中の微小粒子状物質濃度であるＰＭ（Particulate Matter）濃度、空気中のホルムアルデヒド濃度等である。室内空間３におけるＣＯ_２濃度及びＰＭ濃度は、窓の開閉、換気扇の運転等による換気よって改善することができる。また、室内空間３におけるホルムアルデヒド濃度は、換気又は空気清浄機の運転によって改善することができる。換気又は空気清浄機の運転は、空調機１０からユーザに換気のタイミングを通知することで、ユーザが実施する。換気のタイミングの通知として、空調機１０は、リモコンの表示部、空調機１０本体に設けられた表示部、ユーザの所持するスマートフォン等に換気を促す警告を通知する。

しかしながら、頻繁な換気又は空気清浄は、ユーザを煩わせる。また、頻繁な換気は、室内空間３の温度を変動させるため、室内空間３における温熱環境の快適性を損なう。そこで、実施の形態５に係る学習装置３０は、空気質のシミュレーションモデル５によって室内空間３の空気質をシミュレーションする。そして、学習装置３０は、シミュレーションにより得られた空気質の高さを報酬とする強化学習を行い、最適な換気のタイミングを学習する。

＜空気質シミュレーションモデルによる換気タイミングの学習＞
シミュレーション部３３０は、室内空間３の状態が与えられた状況において空調機１０が室内空間３を空調した場合に予測される室内空間３の温熱環境である空気質をシミュレーションする。実施の形態５において、室内空間３の状態は、室内空間３の換気の実行の有無である。

シミュレーション部３３０は、空気質のシミュレーションモデルを用いて、室内空間３における空気質をシミュレーションする。空気質のシミュレーションモデルは、常微分方程式を用いて生成することができる。ここでは一例として、室内空間３のＣＯ_２濃度を予測する空気質のシミュレーションモデルを説明する。なお、空気中の物質は、ＣＯ_２に限らず、微小粒子状物質であっても、ホルムアルデヒドであっても、シミュレーションモデルの計算方法は同じである。

具体的には、空気質のシミュレーションモデルは、下記の式（２１）のように表される。式（２１）において、Ｖ_ｒｏｏｍ［ｍ^３］は室内空間３の容積を表し、Ｃ_ｒｏｏｍ（ｔ）［ｍ^３／ｍ^３］は室内空間３のＣＯ_２濃度を表し、Ｃ_ｉｎ［ｍ^３／ｍ^３］は室外から室内空間３に流入する空気のＣＯ_２濃度を表し、Ｃ_ｏｕｔ［ｍ^３／ｍ^３］は室内空間３から室外に流出する空気のＣＯ_２濃度を表し、Ｆ［ｍ^３／ｈ］は室内空間３と室外との間で流入出する空気の流量を表し、ｆ_ｉｎ［ｍ^３／ｈ］は室内空間３で発生するＣＯ_２の発生量を表す。

ここで、室外のＣＯ_２濃度は、空調機１０が設置される地域の環境から想定される濃度を設定する。例えば、Ｃ_ｉｎ＝６００［ｐｐｍ］と設定する。また、Ｃ_ｏｕｔは、Ｃ_ｒｏｏｍ（ｔ）と同じであると設定する。

Ｆは、室内空間３の換気が行われたタイミングで変化する。例えば、室内空間３の密室時にはＦ＝５［ｍ^３／ｈ］、室内空間３の開放時にはＦ＝１５［ｍ^３／ｈ］等と設定する。また、室内空間３では、ユーザの呼吸によってＣＯ_２が発生する場合を想定する。例えば、１人のユーザから発生するＣＯ_２濃度を０．０２［ｍ^３／ｈ］と設定し、ユーザの人数分のＣＯ_２を、ｆ_ｉｎ＝０．０２×人数［ｍ^３／ｈ］として設定する。

シミュレーション部３３０は、室内空間３の換気のタイミングで、式（２１）におけるＦの値を切り替える。そして、シミュレーション部３３０は、式（２１）に従って、時間ｔにおけるＣＯ_２濃度Ｃ_ｒｏｏｍ（ｔ）を計算する。室内空間３の換気は、空調機１０からユーザへの通知によって行われる。

強化学習部３５０は、シミュレーション部３３０によりシミュレーションされた温熱環境に基づく値である空気質の高さを報酬とする強化学習を行い、学習済みモデル７を生成する。生成される学習済みモデル７は、室内空間３の状態から、空調機１０の制御値として室内空間３の最適な換気のタイミングを推論するためのモデルである。

具体的に説明すると、強化学習部３５０は、室内空間３における空気質の高さを正の報酬とし、且つ、一定時間内に行った換気の回数を負の報酬とする報酬値を設定する。強化学習部３５０は、室内空間３におけるＣＯ_２濃度が低いほど、空気質の高さが高いと判定する。

強化学習部３５０は、室内空間３の換気の実行の有無を行動条件として、強化学習を行う。言い換えると、実施の形態５における強化学習において、とりうる行動は、室内空間３の換気の実行の有無である。室内空間３を換気する場合、シミュレーション部３３０は、式（２１）におけるＦ＝１５［ｍ^３／ｈ］と設定して、時間ｔにおけるＣＯ_２濃度Ｃ_ｒｏｏｍ（ｔ）を計算する。これに対して、室内空間３を換気しない場合、シミュレーション部３３０は、式（２１）におけるＦ＝５［ｍ^３／ｈ］と設定して、時間ｔにおけるＣＯ_２濃度Ｃ_ｒｏｏｍ（ｔ）を計算する。強化学習部３５０は、計算されたＣＯ_２濃度Ｃ_ｒｏｏｍ（ｔ）が２４時間のうちに室内環境の推奨値の範囲を超えた回数、時間等に応じて、負の報酬値を与える。

強化学習部３５０は、空気質のシミュレーションモデルを用いてこのような強化学習を行い、室内空間３の最適な換気のタイミングを学習する。これにより、強化学習部３５０は、室内空間３の状態から最適な換気のタイミングを推論するための学習済みモデル７を生成する。

このとき、強化学習部３５０は、ユーザの環境に合わせた換気タイミングを学習しても良い。例えば、２４時間のうちに、ユーザが就寝している間は、ユーザが通知に応じて換気することができない。強化学習部３５０は、そのようなユーザが対応不可能な時間帯をシミュレーションに設定し、対応不可能な時間帯に換気のタイミングが到来しないように、強化学習を繰り返しても良い。

空調制御装置５０において、推論部５２０は、学習装置３０により生成された学習済みモデル７を用いて換気のタイミングを推論し、空調制御部５３０は、推論されたタイミングで、ユーザに室内空間３を換気すべきであることを通知する。また、学習済みモデル７は、実機に転移することで、様々な環境で使用することができる。

このように、実施の形態５に係る学習装置３０は、室内空間３の空気質をシミュレーションし、シミュレーションの結果に基づいて、室内空間３の最適な換気のタイミングを学習する。これにより、温熱環境の快適性をなるべく損なわずに空気質の高さを確保することができる。

（実施の形態６）
次に、実施の形態６について説明する。実施の形態１～５と同様の構成及び機能については、適宜説明を省略する。

実施の形態５では、シミュレーション部３３０は、室内空間３の温熱環境として、室内空間３の空気質をシミュレーションした。これに対して、実施の形態６では、シミュレーション部３３０は、室内空間３の温熱環境として、換気による室内空間３の温度分布の変動をシミュレーションする。

＜温度分布シミュレーションモデルを用いた換気タイミングの学習＞
シミュレーション部３３０は、室内空間３の状態が与えられた状況において空調機１０が室内空間３を空調した場合に予測される室内空間３の温熱環境である温度分布の変動をシミュレーションする。実施の形態６において、室内空間３の状態は、実施の形態５と同様に、室内空間３の換気の実行の有無である。

シミュレーション部３３０は、温度分布のシミュレーションモデルを用いて、室内空間３における温度分布の変動をシミュレーションする。具体的に説明すると、シミュレーション部３３０は、前述のＭＡＣ法による温度分布のシミュレーションモデル５ｂに、境界条件として換気に相当する空気の流入出を設定する。これにより、換気による温度分布の変動をシミュレーションすることができる。

より詳細には、シミュレーション部３３０は、室外から室内空間３に流入する空気の温度Ｔ_ｉｎ［ｄｅｇＣ］と、換気により室内空間３と室外との間で流入出する空気の流量Ｆ［ｍ^３／ｈ］と、を設定する。また、シミュレーション部３３０は、温度分布のシミュレーションモデル５ｂに対して、空気が流入する窓の開放部に相当する空気の流入の境界条件と、空気が流出する窓の開放部に相当する空気の流出の境界条件と、を設定する。このような設定のもとで、シミュレーション部３３０は、ＭＡＣ法による温度分布のシミュレーションモデル５ｂを用いて、換気に伴う室内空間３の温度分布の変動をシミュレーションする。

強化学習部３５０は、シミュレーション部３３０によりシミュレーションされた温熱環境に基づく値を報酬とする強化学習を行い、学習済みモデル７を生成する。具体的に説明すると、強化学習部３５０は、各時刻においてユーザの嗜好する温度Ｔ_ｓｅｔを目標値として与え、目標値の温度に近づくほど高い値を、報酬値ｒ_ｔとして設定する。

強化学習部３５０は、実施の形態５と同様に、室内空間３の換気の実行の有無を行動条件として、強化学習を行う。これにより、強化学習部３５０は、室内空間３の状態から最適な換気のタイミングを推論するための学習済みモデル７を生成する。学習済みモデル７は、実施の形態５と同様に、様々な環境で使用することができる。

このように、実施の形態６に係る学習装置３０は、換気による室内空間３の温度分布の変動をシミュレーションし、室内空間３の最適な換気のタイミングを学習する。これにより、温熱環境の快適性をなるべく損なわずに換気を行うことができる。

（変形例）
以上、実施の形態を説明したが、各実施の形態を組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。

例えば、上記実施の形態では、シミュレーション部３３０は、シミュレーションモデル５として、冷凍サイクルのシミュレーションモデル５ａと温度分布のシミュレーションモデル５ｂとを用いて、室内空間３の温熱環境をシミュレーションした。また、強化学習部３５０は、シミュレーションモデル５を用いて、学習済みモデル７として、冷凍サイクル制御モデル７ａと気流制御モデル７ｂとを生成した。しかしながら、シミュレーション部３３０は、冷凍サイクルのシミュレーションモデル５ａと温度分布のシミュレーションモデル５ｂとのどちらか一方のみを用いて、室内空間３の温熱環境をシミュレーションしても良い。また、強化学習部３５０は、学習済みモデル７として、冷凍サイクル制御モデル７ａと気流制御モデル７ｂとのうちのどちらか一方のみを生成しても良い。

上記実施の形態では、冷凍サイクルのシミュレーションモデル５ａは、室内ファン１ｂの回転数と、室外ファン２ｂの回転数と、圧縮機２ｃの周波数と、膨張弁２ｄの開度と、室内機１に吸い込まれる空気の吸込温度と、に基づいて、室内機１の運転能力と、室内機１から室内空間３に吹き出される吹出風の風量及び温度と、を計算するモデルであった。また、温度分布のシミュレーションモデル５ｂは、室内空間３の寸法及び断熱性能と、室内機１から室内空間３に吹き出される吹出風の風量及び風向と、に基づいて、室内空間３の温度分布を計算するモデルであった。しかしながら、シミュレーションモデル５ａ，５ｂは、これらのパラメータの全てを入力又は出力として用いることに限らず、これらのパラメータのうちの少なくとも１つのみを入力又は出力として用いても良いし、これらのパラメータ以外のパラメータを入力又は出力として用いても良い。

上記実施の形態では、冷凍サイクル制御モデル７ａは、室内熱交換器１ａの温度と、室外熱交換器２ａの温度と、圧縮機２ｃの周波数と、膨張弁２ｄの開度と、吐出スーパーヒート温度と、の入力に対して、室内ファン１ｂの回転数と、室外ファン２ｂの回転数と、圧縮機２ｃの周波数と、膨張弁２ｄの開度と、を制御する値を出力した。また、気流制御モデル７ｂは、吹出風の風向と、室内空間３の温度分布と、室内空間３におけるユーザの位置と、の入力に対して、吹出風の風量、風向及び温度を制御する値を出力した。しかしながら、冷凍サイクル制御モデル７ａは、これらのパラメータの全てを入力又は出力として用いることに限らず、これらのパラメータのうちの少なくとも１つのみを入力又は出力として用いても良いし、これらのパラメータ以外のパラメータを入力又は出力として用いても良い。

上記実施の形態では、訓練データ６は、強化学習の目標値として、ユーザが嗜好する温度及び湿度の時系列パターンを示すデータであった。しかしながら、訓練データ６は、温度のみ又は湿度のみを目標値として示すものであっても良いし、温度及び湿度以外のパラメータを目標値として示すものであっても良い。

上記実施の形態では、学習装置３０において、シミュレーション部３３０がシミュレーションモデル５を生成した。しかしながら、シミュレーションモデル５は、学習装置３０の外部の装置において生成されるものであっても良い。また、実施の形態３において説明したモデル修正部３７０の機能は、学習装置３０に限らず、空調制御装置５０に備えられるものであっても良い。

上記実施の形態では、学習装置３０と空調制御装置５０とは別個の装置であったが、同じ装置であっても良い。また、学習装置３０及び空調制御装置５０は、空調機１０の内部に備えられるものであっても良いし、クラウドサーバ上に存在していても良い。例えば、推論部５２０におけるニューラルネットワークの計算は、室内機１又は室外機２のマイコンで実行されても良い。ニューラルネットワークは、メモリとマイコンの演算能力に応じて、設計に適したマイコンで実装可能である。

また、上記実施の形態では、空調制御装置５０が推論部５２０と空調制御部５３０とを備えていたが、推論部５２０と空調制御部５３０とは、別個の装置に備えられても良い。例えば図３３に示す推論装置６０は、データ取得部５１０と推論部５２０とを備えるが、空調制御部５３０を備えない。推論装置６０において、推論部５２０は、学習済みモデル７を用いて、データ取得部５１０により取得された状態データから、空調機１０の制御値を推論する。そして、推論部５２０により推論された制御値は、入出力Ｉ／Ｆ５３を介して、空調制御部５３０を備える外部の装置に出力され、外部の装置において空調制御に用いられる。

上記実施の形態では、学習装置３０の制御部３１において、ＣＰＵがＲＯＭ又は記憶部３２に記憶されたプログラムを実行することによって、熱負荷推定部３１０、仕様参照部３２０、シミュレーション部３３０、訓練データ生成部３４０、強化学習部３５０、出力部３６０及びモデル修正部３７０の各部として機能した。また、空調制御装置５０の制御部５１は、ＣＰＵがＲＯＭ又は記憶部５２に記憶されたプログラムを実行することによって、データ取得部５１０、推論部５２０及び空調制御部５３０の各部として機能した。しかしながら、制御部３１，５１は、専用のハードウェアであってもよい。専用のハードウェアとは、例えば単一回路、複合回路、プログラム化されたプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、又は、これらの組み合わせ等である。制御部３１，５１が専用のハードウェアである場合、各部の機能それぞれを個別のハードウェアで実現してもよいし、各部の機能をまとめて単一のハードウェアで実現してもよい。

また、各部の機能のうち、一部を専用のハードウェアによって実現し、他の一部をソフトウェア又はファームウェアによって実現してもよい。このように、制御部３１，５１は、ハードウェア、ソフトウェア、ファームウェア、又は、これらの組み合わせによって、上述の各機能を実現することができる。

本開示に係る学習装置３０及び空調制御装置５０の動作を規定するプログラムを、パーソナルコンピュータ又は情報端末装置等の既存のコンピュータに適用することで、当該コンピュータを、本開示に係る学習装置３０及び空調制御装置５０として機能させることも可能である。

また、このようなプログラムの配布方法は任意であり、例えば、ＣＤ－ＲＯＭ（Compact Disk ROM）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical Disk）、又は、メモリカード等のコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネット等の通信ネットワークを介して配布してもよい。

本開示は、本開示の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この開示を説明するためのものであり、本開示の範囲を限定するものではない。すなわち、本開示の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして特許請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、この開示の範囲内とみなされる。

この出願は、２０２２年１月５日に出願された特願２０２２－０００５９０号に基づく。本明細書中に特願２０２２－０００５９０号の明細書、請求の範囲、図面全体を参照として取り込むものとする。

１ 室内機、１ａ 室内熱交換器、１ｂ 室内ファン、１ｃ，１ｄ 風向制御板、１ｅ 配管、１ｇ 吹出口、２ 室外機、２ａ 室外熱交換機、２ｂ 室外ファン、２ｃ 圧縮機、２ｄ 膨張弁、３ 室内空間、５，５ａ，５ｂ シミュレーションモデル、６ 訓練データ、７ 学習済みモデル、７ａ 冷凍サイクル制御モデル、７ｂ 気流制御モデル、８ 嗜好環境データ、１０ 空調機、１１ 空調システム、１２ 空調制御システム、３０ 学習装置、３１ 制御部、３２ 記憶部、３３ 入出力Ｉ／Ｆ、５０ 空調制御装置、５１ 制御部、５２ 記憶部、５３ 入出力Ｉ／Ｆ、６０ 推論装置、３１０ 熱負荷推定部、３２０ 仕様参照部、３３０ シミュレーション部、３４０ 訓練データ生成部、３５０ 強化学習部、３６０ 出力部、３７０ モデル修正部、５１０ データ取得部、５２０ 推論部、５３０ 空調制御部

Claims (19)

1. 空調機に設けられた冷凍サイクルの状態と室内空間の状態とのうちの少なくとも一方が与えられた状況において前記空調機が前記室内空間を空調した場合に予測される前記室内空間の温熱環境をシミュレーションするシミュレーション手段と、
   前記シミュレーション手段によりシミュレーションされた前記温熱環境に基づく値を報酬とする強化学習を行うことにより、前記冷凍サイクルの状態と前記室内空間の状態とのうちの少なくとも一方から前記空調機の制御値を推論するための学習済みモデルを生成する強化学習手段と、を備え、
   前記シミュレーション手段は、前記温熱環境として、前記室内空間の空気質をシミュレーションし、
   前記強化学習手段は、前記強化学習を行うことにより、前記室内空間の状態から前記室内空間を換気するタイミングを推論するための前記学習済みモデルを生成する、
   学習装置。
2. 前記シミュレーション手段は、前記空調機の仕様に基づいて生成された、前記冷凍サイクルのシミュレーションモデルを用いて、前記冷凍サイクルの状態が与えられた状況において前記空調機が前記室内空間を空調した場合に予測される前記温熱環境をシミュレーションする、
   請求項１に記載の学習装置。
3. 前記冷凍サイクルのシミュレーションモデルは、前記冷凍サイクルの制御値に基づいて、前記空調機の運転能力と、前記空調機から前記室内空間に吹き出される吹出風の風量及び温度と、を計算するモデルである、
   請求項２に記載の学習装置。
4. 前記強化学習手段は、前記学習済みモデルとして、前記冷凍サイクルを制御する冷凍サイクル制御モデルを生成し、
   前記冷凍サイクル制御モデルは、前記冷凍サイクルの状態から前記冷凍サイクルの制御値を推論するためのモデルである、
   請求項２に記載の学習装置。
5. 前記空調機は、室内熱交換器と、室内ファンと、室外熱交換器と、室外ファンと、圧縮機と、膨張弁と、を有し、
   前記冷凍サイクルの状態は、前記室内熱交換器の温度と、前記室外熱交換器の温度と、前記圧縮機の周波数と、前記膨張弁の開度と、吐出スーパーヒート温度と、のうちの少なくとも１つにより定められ、
   前記冷凍サイクルの制御値は、前記室内ファンの回転数と、前記室外ファンの回転数と、前記圧縮機の周波数と、前記膨張弁の開度と、のうちの少なくとも１つを制御する値である、
   請求項４に記載の学習装置。
6. 前記シミュレーション手段は、前記空調機の仕様と前記室内空間の寸法及び断熱性能とに基づいて生成された、前記室内空間における温度分布のシミュレーションモデルを用いて、前記室内空間の状態が与えられた状況において前記空調機が前記室内空間を空調した場合に予測される前記温熱環境をシミュレーションする、
   請求項１から５のいずれか１項に記載の学習装置。
7. 前記温度分布のシミュレーションモデルは、前記室内空間の寸法及び断熱性能と、前記空調機から前記室内空間に吹き出される吹出風の風量及び風向と、に基づいて、前記温度分布を計算するモデルである、
   請求項６に記載の学習装置。
8. 前記強化学習手段は、前記学習済みモデルとして、前記室内空間における気流を制御する気流制御モデルを生成し、
   前記気流制御モデルは、前記室内空間の状態から前記室内空間における気流の制御値を推論するためのモデルである、
   請求項６に記載の学習装置。
9. 前記室内空間の状態は、前記空調機から前記室内空間に吹き出される吹出風の風向と、前記室内空間の温度分布と、前記室内空間におけるユーザの位置と、のうちの少なくとも１つにより定められ、
   前記気流の制御値は、前記吹出風の風量と風向と温度とのうちの少なくとも１つを制御する値である、
   請求項８に記載の学習装置。
10. 前記温熱環境の目標値を示す訓練データを生成する訓練データ生成手段、を更に備え、
    前記強化学習手段は、前記訓練データ生成手段により生成された前記訓練データを用いて前記強化学習を行うことにより、前記学習済みモデルを生成する、
    請求項１から５のいずれか１項に記載の学習装置。
11. 前記訓練データは、前記目標値として、ユーザが嗜好する温度の時系列パターンを示すデータである、
    請求項１０に記載の学習装置。
12. 前記強化学習手段により生成された前記学習済みモデルにより推論された前記制御値に従って前記空調機が前記室内空間を空調している際にユーザから受け付けられた前記空調機の操作に基づいて、前記学習済みモデルを修正するモデル修正手段、を更に備える、
    請求項１から５のいずれか１項に記載の学習装置。
13. 前記シミュレーション手段は、前記温熱環境として、換気による前記室内空間の温度分布の変動をシミュレーションし、
    前記強化学習手段は、前記強化学習を行うことにより、前記室内空間の状態から前記室内空間を換気するタイミングを推論するための前記学習済みモデルを生成する、
    請求項１から５のいずれか１項に記載の学習装置。
14. 請求項１から５のいずれか１項に記載の学習装置と、前記空調機を制御する空調制御装置と、を備える空調制御システムであって、
    前記空調制御装置は、
    前記空調機に設けられた冷凍サイクルの状態と前記室内空間の状態とのうちの少なくとも一方を示す状態データを取得するデータ取得手段と、
    前記学習装置により生成された前記学習済みモデルを用いて、前記データ取得手段により取得された前記状態データから前記制御値を推論する推論手段と、
    前記推論手段により推論された前記制御値に基づいて、前記空調機を制御する空調制御手段と、を備える、
    空調制御システム。
15. 室内空間の状態を示す状態データを取得するデータ取得手段と、
    前記室内空間の状態から前記室内空間を換気するタイミングを推論するための学習済みモデルを用いて、前記データ取得手段により取得された前記状態データから前記室内空間を換気するタイミングを推論する推論手段と、を備え、
    前記学習済みモデルは、前記室内空間の状態が与えられた状況において空調機が前記室内空間を空調した場合に予測される前記室内空間の空気質をシミュレーションし、シミュレーションされた前記空気質に基づく値を報酬とする強化学習を行うことにより生成されたモデルである、
    推論装置。
16. 室内空間の状態を示す状態データを取得するデータ取得手段と、
    前記室内空間の状態から前記室内空間を換気するタイミングを推論するための学習済みモデルを用いて、前記データ取得手段により取得された前記状態データから前記室内空間を換気するタイミングを推論する推論手段と、
    前記推論手段により推論された前記室内空間を換気するタイミングに基づいて、空調機を制御する空調制御手段と、を備え、
    前記学習済みモデルは、前記室内空間の状態が与えられた状況において前記空調機が前記室内空間を空調した場合に予測される前記室内空間の空気質をシミュレーションし、シミュレーションされた前記空気質に基づく値を報酬とする強化学習を行うことにより生成されたモデルである、
    空調制御装置。
17. 空調機に設けられた冷凍サイクルの状態と室内空間の状態とのうちの少なくとも一方が与えられた状況において前記空調機が前記室内空間を空調した場合に予測される前記室内空間の温熱環境をシミュレーションし、
    シミュレーションされた前記温熱環境に基づく値を報酬とする強化学習を行うことにより、前記冷凍サイクルの状態と前記室内空間の状態とのうちの少なくとも一方から前記空調機の制御値を推論するための学習済みモデルを生成する、
    学習済みモデルの生成方法であって、
    前記温熱環境をシミュレーションするステップでは、前記温熱環境として、前記室内空間の空気質をシミュレーションし、
    前記学習済みモデルを生成するステップでは、前記強化学習を行うことにより、前記室内空間の状態から前記室内空間を換気するタイミングを推論するための前記学習済みモデルを生成する、
    学習済みモデルの生成方法。
18. 空調機を制御する空調制御装置で動作する学習済みモデルであって、
    室内空間の状態が与えられた状況において前記空調機が前記室内空間を空調した場合に予測される前記室内空間の空気質をシミュレーションし、シミュレーションされた前記空気質に基づく値を報酬とする強化学習を行うことにより生成され、
    前記室内空間の状態から前記室内空間を換気するタイミングを推論するよう、
    前記空調制御装置を動作させるための学習済みモデル。
19. コンピュータを、
    空調機に設けられた冷凍サイクルの状態と室内空間の状態とのうちの少なくとも一方が与えられた状況において前記空調機が前記室内空間を空調した場合に予測される前記室内空間の温熱環境をシミュレーションするシミュレーション手段、
    前記シミュレーション手段によりシミュレーションされた前記温熱環境に基づく値を報酬とする強化学習を行うことにより、前記冷凍サイクルの状態と前記室内空間の状態とのうちの少なくとも一方から前記空調機の制御値を推論するための学習済みモデルを生成する強化学習手段、として機能させ、
    前記シミュレーション手段は、前記温熱環境として、前記室内空間の空気質をシミュレーションし、
    前記強化学習手段は、前記強化学習を行うことにより、前記室内空間の状態から前記室内空間を換気するタイミングを推論するための前記学習済みモデルを生成する、
    プログラム。

Images