JP7207290B2 - 車両用制御装置、車両用制御システム、車両用学習装置、および車両用学習方法 - Google Patents

Description

本発明は、車両用制御装置、車両用制御システム、車両用学習装置、および車両用学習方法に関する。

たとえば下記特許文献１には、アクセルペダルの操作量をフィルタ処理した値に基づき、車両に搭載される内燃機関の操作部としてのスロットルバルブを操作する制御装置が記載されている。

特開２０１６－６３２７号公報

ところで、上記フィルタは、アクセルペダルの操作量に応じて車両に搭載される内燃機関のスロットルバルブの操作量を適切な操作量に設定するものである必要があることから、その適合には熟練者が多くの工数をかける必要が生じる。このように、従来は、車両の状態に応じた車両内の電子機器の操作量等の適合には、熟練者が多くの工数をかけていた。

以下、上記課題を解決するための手段およびその作用効果について記載する。
１．実行装置および記憶装置を備え、前記記憶装置には、車両の状態と前記車両内の電子機器の操作に関する変数である行動変数との関係を規定する関係規定データが記憶されており、前記実行装置は、センサの検出値に基づく前記車両の状態を取得する取得処理と、前記取得処理によって取得された前記車両の状態と前記関係規定データとによって定まる前記行動変数の値に基づき前記電子機器を操作する操作処理と、前記取得処理によって取得された前記車両の状態に基づき、前記車両の特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える報酬算出処理と、前記取得処理によって取得された前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、および該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、を実行し、前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものであり、前記取得処理は、前記車両の状態として前記車両の劣化度合いを示す変数である劣化変数を取得する処理を含み、前記報酬算出処理は、前記劣化度合いが大きい場合に小さい場合よりも前記基準を緩める緩和処理を含む車両用制御装置である。

上記構成では、電子機器の操作に伴う報酬を算出することによって、当該操作によってどのような報酬が得られるかを把握することができる。そして、報酬に基づき、強化学習に従った更新写像によって関係規定データを更新することにより、車両の状態と行動変数との関係を車両の走行において適切な関係に設定することができる。したがって、車両の状態と行動変数との関係を車両の走行において適切な関係に設定する際、熟練者に要求される工数を削減できる。

ところで、車両の劣化が進行すると、行動変数の値をいかに選択したとしても小さい報酬のみが与えられるようになるおそれがある。そしてその場合、操作処理に採用された行動変数の値に対して一律小さい報酬が与えられることから、他と比較して期待収益が大きい行動変数の値がなくなり、グリーディ行動を選択できなくなるおそれがある。そこで上記構成では、劣化度合いが大きい場合に報酬を与えるための基準を緩めることにより、全ての行動変数の値に対して一律小さい報酬が与えられる事態が生じることを抑制できる。

２．前記基準は、前記車両の振動および騒音の２つのうちの１つを示す変数である音振変数の値の大きさが音振上限値以下である旨の条件を含み、前記報酬算出処理は、前記音振変数の値の大きさが前記音振上限値以下である場合に前記音振上限値を超える場合よりも大きい報酬を与える処理を含み、前記緩和処理は、前記劣化度合いが大きい場合に小さい場合よりも前記音振上限値を大きい値とする処理を含む上記１記載の車両用制御装置である。

車両の振動や騒音は、車両の劣化に伴って抑制することが困難となるおそれがある。そこで上記構成では、車両の劣化度合いが大きい場合に小さい場合よりも音振上限値を大きい値とすることにより、劣化した車両であっても音振変数の値が音振上限値以下となる行動変数の値を見出す確実性を高めることができる。

３．前記車両は、推力生成装置として内燃機関を備え、前記基準は、前記内燃機関のクランク軸の回転変動の大きさが変動上限値以下である旨の条件を含み、前記緩和処理は、前記劣化度合いが大きい場合に小さい場合よりも前記変動上限値を大きい値とする処理を含む上記１または２記載の車両用制御装置である。

車両の劣化に伴って、内燃機関のクランク軸の回転変動を抑制することが困難となるおそれがある。そこで上記構成では、車両の劣化度合いが大きい場合に小さい場合よりも変動上限値を大きい値とすることにより、劣化した車両であっても回転変動の大きさが変動上限値以下となる行動変数の値を見出す確実性を高めることができる。

４．前記基準は、前記車両に搭載された推力生成装置のエネルギ利用効率が効率下限値以上である旨の条件を含み、前記緩和処理は、前記劣化度合いが大きい場合に小さい場合よりも前記効率下限値を小さい値とする処理を含む上記１～３のいずれか１つに記載の車両用制御装置である。

車両が劣化すると劣化前と比較してエネルギ利用効率が低下するおそれがある。そこで上記構成では、車両の劣化度合いが大きい場合に小さい場合よりも効率下限値を小さい値とすることにより、劣化した車両であっても、エネルギ利用効率が効率下限値以上となる行動変数の値を見出す確実性を高めることができる。

５．上記１または２記載の前記実行装置および前記記憶装置を備え、前記実行装置は、前記車両に搭載される第１実行装置と、車載装置とは別の第２実行装置と、を含み、前記第２実行装置は、前記更新処理を少なくとも実行し、前記第１実行装置は、前記取得処理および前記操作処理を少なくとも実行する車両用制御システムである。

上記構成では、更新処理を第２実行装置によって実行することにより、更新処理を第１実行装置が実行する場合と比較して、第１実行装置の演算負荷を軽減できる。
なお、第２実行装置が車載装置とは別の装置であることは、第２実行装置が車載装置ではないことを意味する。

６．上記５記載の前記第１実行装置を備える車両用制御装置である。
７．上記５記載の前記第２実行装置を備える車両用学習装置である。
８．上記１～４のいずれか１つに記載の前記取得処理、前記操作処理、前記報酬算出処理、および前記更新処理をコンピュータに実行させる車両用学習方法である。

上記方法によれば、上記１と同様の作用効果を奏することができる。

第１の実施形態にかかる制御装置およびその駆動系を示す図。 同実施形態にかかる制御装置が実行する処理の手順を示す流れ図。 同実施形態にかかる制御装置が実行する処理の一部の詳細な手順を示す流れ図。 第２の実施形態にかかる制御装置が実行する処理の手順を示す流れ図。 同実施形態にかかる制御装置が実行する処理の一部の詳細な手順を示す流れ図。 第３の実施形態にかかる車両用制御システムの構成を示す図。 （ａ）および（ｂ）は、車両用制御システムが実行する処理の手順を示す流れ図。

＜第１の実施形態＞
以下、車両用制御装置の第１の実施形態について、図面を参照しつつ説明する。
図１に、本実施形態にかかる車両ＶＣ１の駆動系および制御装置の構成を示す。

図１に示すように、内燃機関１０の吸気通路１２には、上流側から順にスロットルバルブ１４および燃料噴射弁１６が設けられており、吸気通路１２に吸入された空気や燃料噴射弁１６から噴射された燃料は、吸気バルブ１８の開弁に伴って、シリンダ２０およびピストン２２によって区画される燃焼室２４に流入する。燃焼室２４内において、燃料と空気との混合気は、点火装置２６の火花放電に伴って燃焼に供され、燃焼によって生じたエネルギは、ピストン２２を介してクランク軸２８の回転エネルギに変換される。燃焼に供された混合気は、排気バルブ３０の開弁に伴って、排気として排気通路３２に排出される。排気通路３２には、排気を浄化する後処理装置としての触媒３４が設けられている。

クランク軸２８の回転動力は、タイミングチェーン３６を介して吸気側カム軸４０および排気側カム軸４２に伝達される。詳しくは、吸気側カム軸４０には、吸気バルブタイミング可変装置４４を介してクランク軸２８の回転動力が伝達される。

クランク軸２８には、ロックアップクラッチ５２を備えたトルクコンバータ５０を介して、変速装置６０の入力軸６２が機械的に連結可能とされている。変速装置６０は、入力軸６２の回転速度と出力軸６４の回転速度との比である変速比を可変とする装置である。出力軸６４には、駆動輪６６が機械的に連結されている。

制御装置７０は、内燃機関１０を制御対象とし、その制御量であるトルクや排気成分比率等を制御すべく、スロットルバルブ１４、燃料噴射弁１６、点火装置２６および吸気バルブタイミング可変装置４４等の内燃機関１０の操作部を操作する。また、制御装置７０は、トルクコンバータ５０を制御対象とし、ロックアップクラッチ５２の係合状態を制御すべくロックアップクラッチ５２を操作する。また、制御装置７０は、変速装置６０を制御対象とし、その制御量としての変速比を制御すべく変速装置６０を操作する。なお、図１には、スロットルバルブ１４、燃料噴射弁１６、点火装置２６、吸気バルブタイミング可変装置４４、ロックアップクラッチ５２、および変速装置６０のそれぞれの操作信号ＭＳ１～ＭＳ６を記載している。

制御装置７０は、制御量の制御のために、エアフローメータ８０によって検出される吸入空気量Ｇａや、スロットルセンサ８２によって検出されるスロットルバルブ１４の開口度（スロットル開口度ＴＡ）、クランク角センサ８４の出力信号Ｓｃｒ、カム角センサ８５の出力信号Ｓｃａを参照する。また、制御装置７０は、アクセルセンサ８８によって検出されるアクセルペダル８６の踏み込み量（アクセル操作量ＰＡ）や、加速度センサ９０によって検出される車両ＶＣ１の前後方向の加速度Ｇｘを参照する。また、制御装置７０は、マイク９２によって検出されるノイズ強度ＶＮや、振動センサ９４によって検出される振動強度ＶＶ、駆動輪６６の回転を検知する車輪回転センサ９６の出力信号Ｓｗを参照する。

制御装置７０は、ＣＰＵ７２、ＲＯＭ７４、電気的に書き換え可能な不揮発性メモリ（記憶装置７６）、および周辺回路７８を備え、それらがローカルネットワーク７９を介して通信可能とされている。ここで、周辺回路７８は、内部の動作を規定するクロック信号を生成する回路や、電源回路、リセット回路等を含む。

ＲＯＭ７４には、制御プログラム７４ａおよび学習プログラム７４ｂが記憶されている。一方、記憶装置７６には、アクセル操作量ＰＡと、スロットル開口度ＴＡの指令値（スロットル開口度指令値ＴＡ＊）および点火装置２６の遅角量ａｏｐとの関係を規定する関係規定データＤＲが記憶されている。ここで、遅角量ａｏｐは、予め定められた基準点火時期に対する遅角量であり、基準点火時期は、ＭＢＴ点火時期とノック限界点とのうちの遅角側の時期である。ＭＢＴ点火時期は、最大トルクの得られる点火時期（最大トルク点火時期）である。またノック限界点は、ノック限界の高い高オクタン価燃料の使用時に、想定される最良の条件下で、ノッキングを許容できるレベル以内に収めることのできる点火時期の進角限界値である。また、記憶装置７６には、トルク出力写像データＤＴが記憶されている。トルク出力写像データＤＴによって規定されるトルク出力写像は、クランク軸２８の回転速度ＮＥ、充填効率η、および点火時期を入力とし、トルクＴｒｑを出力する写像である。

図２に、本実施形態にかかる制御装置７０が実行する処理の手順を示す。図２に示す処理は、ＲＯＭ７４に記憶された制御プログラム７４ａおよび学習プログラム７４ｂをＣＰＵ７２がたとえば所定周期で繰り返し実行することにより実現される。なお、以下では、先頭に「Ｓ」が付与された数字によって各処理のステップ番号を示す。

図２に示す一連の処理において、ＣＰＵ７２は、まず、状態ｓとして、アクセル操作量ＰＡの６個のサンプリング値「ＰＡ（１），ＰＡ（２），…ＰＡ（６）」からなる時系列データを取得する（Ｓ１０）。ここで、時系列データを構成する各サンプリング値は、互いに異なるタイミングにおいてサンプリングされたものである。本実施形態では、一定のサンプリング周期でサンプリングされる場合の、互いに時系列的に隣り合う６個のサンプリング値によって時系列データを構成する。

次にＣＰＵ７２は、関係規定データＤＲが定める方策πに従い、Ｓ１０の処理によって取得した状態ｓに応じたスロットル開口度指令値ＴＡ＊および遅角量ａｏｐからなる行動ａを設定する（Ｓ１２）。

本実施形態において、関係規定データＤＲは、行動価値関数Ｑおよび方策πを定めるデータである。本実施形態において、行動価値関数Ｑは、状態ｓおよび行動ａの８次元の独立変数に応じた期待収益の値を示すテーブル型式の関数である。また、方策πは、状態ｓが与えられたときに、独立変数が与えられた状態ｓとなる行動価値関数Ｑのうち最大となる行動ａ（グリーディ行動）を優先的に選択しつつも、所定の確率で、それ以外の行動ａを選択する規則を定める。

詳しくは、本実施形態にかかる行動価値関数Ｑの独立変数がとりうる値の数は、状態ｓおよび行動ａのとりうる値の全組み合わせのうちの一部が、人の知見等によって削減されたものである。すなわち、たとえばアクセル操作量ＰＡの時系列データのうち隣接する２つのサンプリング値の１つがアクセル操作量ＰＡの最小値となりもう１つが最大値となるようなことは、人によるアクセルペダル８６の操作からは生じえないとして、行動価値関数Ｑが定義されていない。本実施形態では、人の知見等に基づく次元削減によって、行動価値関数Ｑを定義する状態ｓの取りうる値を、１０の４乗個以下、より望ましくは１０の３乗個以下に制限する。

次にＣＰＵ７２は、設定されたスロットル開口度指令値ＴＡ＊および遅角量ａｏｐに基づき、スロットルバルブ１４に操作信号ＭＳ１を出力してスロットル開口度ＴＡを操作するとともに、点火装置２６に操作信号ＭＳ３を出力して点火時期を操作する（Ｓ１４）。ここで、本実施形態では、スロットル開口度ＴＡをスロットル開口度指令値ＴＡ＊にフィードバック制御することを例示することから、スロットル開口度指令値ＴＡ＊が同一の値であっても、操作信号ＭＳ１が互いに異なる信号となりうるものである。また、たとえば周知のノッキングコントロール（ＫＣＳ）等がなされる場合、点火時期は、基準点火時期を遅角量ａｏｐにて遅角させた値がＫＣＳにてフィードバック補正された値とされる。ここで、基準点火時期は、ＣＰＵ７２により、クランク軸２８の回転速度ＮＥおよび充填効率ηに応じて可変設定される。なお、回転速度ＮＥは、クランク角センサ８４の出力信号Ｓｃｒに基づきＣＰＵ７２によって算出される。また、充填効率ηは、回転速度ＮＥおよび吸入空気量Ｇａに基づきＣＰＵ７２によって算出される。

次にＣＰＵ７２は、内燃機関１０のトルクＴｒｑ、内燃機関１０に対するトルク指令値Ｔｒｑ＊、加速度Ｇｘ、ノイズ強度ＶＮ、振動強度ＶＶ、および回転変動ΔＮＥを取得する（Ｓ１６）。ここで、ＣＰＵ７２は、トルクＴｒｑを、回転速度ＮＥ、充填効率ηおよび点火時期をトルク出力写像に入力することによって算出する。また、ＣＰＵ７２は、トルク指令値Ｔｒｑ＊を、アクセル操作量ＰＡに応じて設定する。また、ＣＰＵ７２は、回転変動ΔＮＥを、たとえば圧縮上死点の出現間隔よりも短い間隔におけるクランク軸２８の回転速度である瞬時回転速度のうちの所定のクランク角度領域内における最大値と最小値との差として算出する。

次にＣＰＵ７２は、過渡フラグＦが「１」であるか否かを判定する（Ｓ１８）。過渡フラグＦは、「１」である場合に過渡運転時であることを示し、「０」である場合に過渡運転時ではないことを示す。ＣＰＵ７２は、過渡フラグＦが「０」であると判定する場合（Ｓ１８：ＮＯ）、アクセル操作量ＰＡの単位時間当たりの変化量ΔＰＡの絶対値が所定量ΔＰＡｔｈ以上であるか否かを判定する（Ｓ２０）。ここで、変化量ΔＰＡは、たとえば、Ｓ２０の処理の実行タイミングにおける最新のアクセル操作量ＰＡと、同タイミングに対して単位時間だけ前におけるアクセル操作量ＰＡとの差とすればよい。

ＣＰＵ７２は、所定量ΔＰＡｔｈ以上であると判定する場合（Ｓ２０：ＹＥＳ）、過渡フラグＦに「１」を代入する（Ｓ２２）。
これに対し、ＣＰＵ７２は、過渡フラグＦが「１」であると判定する場合（Ｓ１８：ＹＥＳ）、Ｓ２２の処理の実行タイミングから所定期間が経過したか否かを判定する（Ｓ２４）。ここで、所定期間は、アクセル操作量ＰＡの単位時間当たりの変化量ΔＰＡの絶対値が所定量ΔＰＡｔｈよりも小さい規定量以下となる状態が所定時間継続するまでの期間とする。ＣＰＵ７２は、所定期間が経過したと判定する場合（Ｓ２４：ＹＥＳ）、過渡フラグＦに「０」を代入する（Ｓ２６）。

ＣＰＵ７２は、Ｓ２２，Ｓ２６の処理が完了する場合、１つのエピソードが終了したとして、強化学習によって関係規定データＤＲを更新する（Ｓ２８）。
図３に、Ｓ２８の処理の詳細を示す。

図３に示す一連の処理において、ＣＰＵ７２は、まず走行距離ＲＬを取得する（Ｓ３０）。走行距離ＲＬは、車輪回転センサ９６の出力信号Ｓｗに基づきＣＰＵ７２により算出される。次にＣＰＵ７２は、直近に終了されたエピソード中の、トルク指令値Ｔｒｑ＊、トルクＴｒｑ，加速度Ｇｘ、ノイズ強度ＶＮ、振動強度ＶＶおよび回転変動ΔＮＥの５つのサンプリング値の組からなる時系列データと、回転速度ＮＥおよび充填効率ηと、状態ｓおよび行動ａの時系列データと、を取得する（Ｓ３２）。ここで、直近のエピソードは、Ｓ２２の処理に続いてＳ３２の処理がなされる場合には、過渡フラグＦが継続して「０」となっていた期間であり、Ｓ２６の処理に続いてＳ３２の処理がなされる場合には、過渡フラグＦが継続して「１」となっていた期間である。

図３には、カッコの中の数字が異なるものが、異なるサンプリングタイミングにおける変数の値であることを示す。たとえば、トルク指令値Ｔｒｑ＊（１）とトルク指令値Ｔｒｑ＊（２）とは、サンプリングタイミングが互いに異なるものである。また、直近のエピソードに属する行動ａの時系列データを、行動集合Ａｊとし、同エピソードに属する状態ｓの時系列データを、状態集合Ｓｊと定義する。

次にＣＰＵ７２は、下記の条件（ア）～条件（オ）の論理積が真であるか否かを判定する（Ｓ３２）。
条件（ア）：直近のエピソードに属する全てのトルクＴｒｑとトルク指令値Ｔｒｑ＊との差の絶対値が規定量ΔＴｒｑ以下である旨の条件である。ここで、ＣＰＵ７２は、エピソードの開始時におけるアクセル操作量ＰＡの単位時間当たりの変化量ΔＰＡによって規定量ΔＴｒｑを可変設定する。すなわち、ＣＰＵ７２は、変化量ΔＰＡの絶対値が大きい場合には過渡時に関するエピソードであるとして、定常時である場合と比較して、規定量ΔＴｒｑを大きい値に設定する。

条件（イ）：直近のエピソードに属する全ての加速度Ｇｘが下限値ＧｘＬ以上であって上限値ＧｘＨ以下である旨の条件である。ここで、ＣＰＵ７２は、エピソードの開始時におけるアクセル操作量ＰＡの変化量ΔＰＡによって下限値ＧｘＬを可変設定する。すなわち、ＣＰＵ７２は、過渡時に関するエピソードであって且つ変化量ΔＰＡが正である場合には、定常時に関するエピソードの場合と比較して、下限値ＧｘＬを大きい値に設定する。また、ＣＰＵ７２は、過渡時に関するエピソードであって且つ変化量ΔＰＡが負である場合には、定常時に関するエピソードの場合と比較して、下限値ＧｘＬを小さい値に設定する。また、ＣＰＵ７２は、エピソードの開始時におけるアクセル操作量ＰＡの単位時間当たりの変化量ΔＰＡによって上限値ＧｘＨを可変設定する。すなわち、ＣＰＵ７２は、過渡時に関するエピソードであって且つ変化量ΔＰＡが正である場合には、定常時に関するエピソードの場合と比較して、上限値ＧｘＨを大きい値に設定する。また、ＣＰＵ７２は、過渡時に関するエピソードであって且つ変化量ΔＰＡが負である場合には、定常時に関するエピソードの場合と比較して、上限値ＧｘＨを小さい値に設定する。

条件（ウ）：直近のエピソードに属する全てのノイズ強度ＶＮが騒音上限値ＶＮｔｈ以下である旨の条件である。ここで、ＣＰＵ７２は、騒音上限値ＶＮｔｈを、車速Ｖおよび走行距離ＲＬに応じて可変設定する。詳しくは、ＣＰＵ７２は、車速Ｖが小さい場合には大きい場合よりもユーザがノイズを気にしやすいことに鑑み、車速Ｖが小さい場合に大きい場合よりも騒音上限値ＶＮｔｈを小さい値に設定する。なお、車速Ｖは、ＣＰＵ７２により車輪回転センサ９６の出力信号Ｓｗに基づき算出される。また、ＣＰＵ７２は、走行距離ＲＬが所定距離以上となる場合、所定距離未満の場合と比較して、騒音上限値ＶＮｔｈを大きい値に設定する。これは、摺動部の摩擦の増大やエンジンマウントの弾性の低下等、車両ＶＣ１の劣化に起因して、劣化前と比較してノイズ強度ＶＮを騒音上限値ＶＮｔｈ以下とすることが困難となりうることに鑑みたものである。なお、所定距離は、たとえば５万キロメートル以上に設定することが望ましく、１０万キロメートル以上とすることがより望ましい。

条件（エ）：直近のエピソードに属する全ての振動強度ＶＶが振動上限値ＶＶｔｈ以下である旨の条件である。ここで、ＣＰＵ７２は、振動上限値ＶＶｔｈを、車速Ｖおよび走行距離ＲＬに応じて可変設定する。詳しくは、ＣＰＵ７２は、車速Ｖが小さい場合には大きい場合よりもユーザが振動を気にしやすいことに鑑み、車速Ｖが小さい場合に大きい場合よりも振動上限値ＶＶｔｈを小さい値に設定する。また、ＣＰＵ７２は、走行距離ＲＬが上記所定距離以上となる場合、所定距離未満の場合と比較して、振動上限値ＶＶｔｈを大きい値に設定する。

条件（オ）：直近のエピソードに属する全ての回転変動ΔＮＥの絶対値が変動上限値Δｔｈ以下である旨の条件である。ここで、ＣＰＵ７２は、変動上限値Δｔｈを、回転速度ＮＥおよび走行距離ＲＬに応じて可変設定する。詳しくは、ＣＰＵ７２は、回転速度ＮＥが小さい場合に大きい場合よりも変動上限値Δｔｈを小さい値に設定する。また、ＣＰＵ７２は、走行距離ＲＬが上記所定距離以上となる場合、所定距離未満の場合と比較して、変動上限値Δｔｈを大きい値に設定する。これは、車両ＶＣ１の劣化に伴って、回転変動ΔＮＥを小さくすることが困難となることに鑑みたものである。ここで、車両ＶＣ１の劣化に伴って回転変動ΔＮＥの絶対値が大きくなる要因としては、上述したものに加えて、たとえば気筒間の空燃比のばらつきが大きくなることなどがある。

ＣＰＵ７２は、論理積が真であると判定する場合（Ｓ３４：ＹＥＳ）、報酬ｒに「１０」を代入する一方（Ｓ３６）、偽であると判定する場合（Ｓ３４：ＮＯ）、報酬ｒに「－１０」を代入する（Ｓ３８）。ＣＰＵ７２は、Ｓ３６，Ｓ３８の処理が完了する場合、図１に示した記憶装置７６に記憶されている関係規定データＤＲを更新する。本実施形態では、εソフト方策オン型モンテカルロ法を用いる。

すなわち、ＣＰＵ７２は、上記Ｓ３２の処理によって読み出した各状態と対応する行動との組によって定まる収益Ｒ（Ｓｊ，Ａｊ）に、それぞれ、報酬ｒを加算する（Ｓ４０）。ここで、「Ｒ（Ｓｊ，Ａｊ）」は、状態集合Ｓｊの要素の１つを状態とし行動集合Ａｊの要素の１つを行動とする収益Ｒを総括した記載である。次に、上記Ｓ３２の処理によって読み出した各状態と対応する行動との組によって定まる収益Ｒ（Ｓｊ，Ａｊ）のそれぞれについて、平均化して対応する行動価値関数Ｑ（Ｓｊ，Ａｊ）に代入する（Ｓ４２）。ここで、平均化は、Ｓ４０の処理がなされた回数に所定数を加えた数によって、Ｓ４０の処理によって算出された収益Ｒを除算する処理とすればよい。なお、収益Ｒの初期値は、対応する行動価値関数Ｑの初期値とすればよい。

次にＣＰＵ７２は、上記Ｓ３２の処理によって読み出した状態について、それぞれ、対応する行動価値関数Ｑ（Ｓｊ，Ａ）のうち、最大値となるときのスロットル開口度指令値ＴＡ＊および遅角量ａｏｐの組である行動を、行動Ａｊ＊に代入する（Ｓ４４）。ここで、「Ａ」は、とりうる任意の行動を示す。なお、行動Ａｊ＊は、上記Ｓ３２の処理によって読み出した状態の種類に応じて各別の値となるものであるが、ここでは、表記を簡素化して、同一の記号にて記載している。

次に、ＣＰＵ７２は、上記Ｓ３２の処理によって読み出した状態のそれぞれについて、対応する方策π（Ａｊ｜Ｓｊ）を更新する（Ｓ４６）。すなわち、行動の総数を、「｜Ａ｜」とすると、Ｓ４４によって選択された行動Ａｊ＊の選択確率を、「（１－ε）＋ε／｜Ａ｜」とする。また、行動Ａｊ＊以外の「｜Ａ｜－１」個の行動の選択確率を、それぞれ「ε／｜Ａ｜」とする。Ｓ４６の処理は、Ｓ４２の処理によって更新された行動価値関数Ｑに基づく処理であることから、これにより、状態ｓと行動ａとの関係を規定する関係規定データＤＲが、収益Ｒを増加させるように更新されることとなる。

なお、ＣＰＵ７２は、Ｓ４６の処理が完了する場合、図３に示す一連の処理を一旦終了する。
図２に戻り、ＣＰＵ７２は、Ｓ２８の処理が完了する場合や、Ｓ２０，Ｓ２４の処理において否定判定する場合には、図２に示す一連の処理を一旦終了する。なお、Ｓ１０～Ｓ２６の処理は、ＣＰＵ７２が制御プログラム７４ａを実行することにより実現され、Ｓ２８の処理は、ＣＰＵ７２が学習プログラム７４ｂを実行することにより実現される。また、車両ＶＣ１の出荷時における関係規定データＤＲは、テストベンチで車両の走行を模擬するなどしつつ図２に示した処理と同様の処理を実行することによってあらかじめ学習がなされたデータとする。

ここで、本実施形態の作用および効果について説明する。
ＣＰＵ７２は、ユーザによるアクセルペダル８６の操作に伴って、アクセル操作量ＰＡの時系列データを取得し、方策πに従って、スロットル開口度指令値ＴＡ＊および遅角量ａｏｐからなる行動ａを設定する。ここでＣＰＵ７２は、基本的には、関係規定データＤＲに規定されている行動価値関数Ｑに基づき期待収益を最大とする行動ａを選択する。ただし、ＣＰＵ７２は、所定の確率εで、期待収益を最大化する行動ａ以外の行動を選択することによって、期待収益を最大化する行動ａの探索を行う。これにより、ユーザによる車両ＶＣ１の運転に伴って、関係規定データＤＲを強化学習によって更新できる。したがって、アクセル操作量ＰＡに応じたスロットル開口度指令値ＴＡ＊および遅角量ａｏｐを、熟練者による工数を過度に大きくすることなく車両ＶＣ１の走行において適切な値に設定することができる。

ところで、車両ＶＣ１が劣化すると、車両ＶＣ１の劣化前には行動ａの選択によって満たすことができた基準を、満たすことができなくなるおそれがある。そして、たとえば、上記条件（ウ）～条件（オ）の全てを満たす行動ａが存在しない場合、いずれの行動ａを選択しても、その行動ａが独立変数に含まれる行動価値関数Ｑは減少補正されることとなる。そしてその場合には、グリーディー行動を探索することができなくなる。

そこで本実施形態では、車両ＶＣ１の走行距離ＲＬが所定距離となる場合、車両ＶＣ１が劣化したとして、条件（ウ）～条件（オ）を緩和する。これにより、条件（ウ）～条件（オ）の全てを満たすことができる行動ａを見出すことが可能となり、ひいては劣化した車両ＶＣ１にとって最適な行動ａを見出すことができる。

ちなみに、車両ＶＣ１の劣化に伴って、行動価値関数Ｑの更新自体を禁止する場合には、劣化前の車両ＶＣ１にとってのグリーディ行動によって劣化後の車両ＶＣ１が制御されることとなる。しかし、劣化前と劣化後とでは、グリーディ行動が必ずしも同じとはならない。たとえばスロットル開口度ＴＡが同一であったとしても、スロットルバルブ１４や吸気通路１２に堆積物が堆積する場合には、吸気通路１２の流路断面積が小さくなることから、吸入空気量Ｇａが小さくなる。そのため、アクセル操作量ＰＡの時系列データに応じて期待収益を最大化するスロットル開口度指令値ＴＡ＊は、スロットルバルブ１４に堆積物が堆積することに起因した吸気通路１２の流路断面積の変化を補償する値であって、堆積物の堆積前とは異なる値である。したがって、劣化した車両ＶＣ１にとって最適な制御を実現するうえでは、劣化した車両ＶＣ１において行動価値関数Ｑを更新することが望ましい。

以上説明した本実施形態によれば、さらに以下に記載する作用効果が得られる。
（１）車両ＶＣ１の劣化度合いを示す変数である劣化変数を、走行距離ＲＬとした。これにより、簡易な演算によって劣化変数の値を算出できる。

（２）行動価値関数Ｑの独立変数にアクセル操作量ＰＡの時系列データを含めた。これにより、アクセル操作量ＰＡに関して単一のサンプリング値のみを独立変数とする場合と比較して、アクセル操作量ＰＡの様々な変化に対して行動ａの値をきめ細かく調整できる。

（３）行動価値関数Ｑの独立変数に、スロットル開口度指令値ＴＡ＊自体を含めた。これにより、たとえば、スロットル開口度指令値ＴＡ＊の挙動をモデル化したモデル式のパラメータ等をスロットル開口度に関する独立変数とする場合と比較して、強化学習による探索の自由度を高めることが容易である。

＜第２の実施形態＞
以下、第２の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。

本実施形態では、アイドル回転速度制御に強化学習を適用する。
図４に、本実施形態にかかる制御装置７０が実行する処理の手順を示す。図４に示す処理は、ＲＯＭ７４に記憶された制御プログラム７４ａおよび学習プログラム７４ｂをＣＰＵ７２がたとえば所定周期で繰り返し実行することにより実現される。

図４に示す一連の処理において、ＣＰＵ７２は、まず、アイドル回転速度制御の実行条件が成立するか否かを判定する（Ｓ５０）。この実行条件は、たとえばアクセル操作量ＰＡがゼロであることと、回転速度ＮＥが所定値以下であることとの論理積が真であるなどの条件とすればよい。

ＣＰＵ７２は、実行条件が成立していると判定する場合（Ｓ５０：ＹＥＳ）、状態ｓとして、回転速度ＮＥおよび目標回転速度ＮＥ＊を取得する（Ｓ１０ａ）。ここで、目標回転速度ＮＥ＊は、ＣＰＵ７２により、たとえば内燃機関１０に要求される軸トルクが大きい場合に小さい場合よりも大きい値に算出されるものとすればよい。

次にＣＰＵ７２は、関係規定データＤＲが定める方策πに従い、Ｓ１０ａの処理によって取得した状態ｓに応じたスロットル開口度指令値ＴＡ＊および吸気位相差ＤＩＮの指令値である吸気位相差指令値ＤＩＮ＊からなる行動ａを設定する（Ｓ１２ａ）。ここで、吸気位相差ＤＩＮは、クランク軸２８の回転角度に対する吸気側カム軸４０の回転角度の差である。

次にＣＰＵ７２は、設定されたスロットル開口度指令値ＴＡ＊および吸気位相差指令値ＤＩＮ＊に基づき、スロットルバルブ１４に操作信号ＭＳ１を出力してスロットル開口度ＴＡを操作するとともに、吸気バルブタイミング可変装置４４に操作信号ＭＳ４を出力して吸気位相差ＤＩＮをフィードバック制御する（Ｓ１４ａ）。なお、吸気位相差ＤＩＮは、ＣＰＵ７２によりクランク角センサ８４の出力信号Ｓｃｒおよびカム角センサ８５の出力信号Ｓｃａに基づき算出される。

次にＣＰＵ７２は、噴射量指令値Ｑ＊を取得する（Ｓ５２）。ここで、噴射量指令値Ｑ＊は、ＣＰＵ７２により、たとえば燃焼室２４内の混合気の空燃比を目標値に制御するうえで必要な燃料量として算出されるものである。

そしてＣＰＵ７２は、Ｓ５０の処理において否定判定される状態から肯定判定される状態に切り替わったタイミングと後述のＳ２８ａの処理が実行されたタイミングとのうちの遅い方から所定期間が経過したか否かを判定する（Ｓ５４）。そしてＣＰＵ７２は、所定期間が経過したと判定する場合（Ｓ５４：ＹＥＳ）、関係規定データＤＲを更新する（Ｓ２８ａ）。

図５に、Ｓ２８ａの処理の詳細を示す。なお、図５において、図３に示した処理に対応する処理については、便宜上、同一のステップ番号を付している。
図５に示す一連の処理において、ＣＰＵ７２は、Ｓ３０の処理を完了すると、所定期間内における噴射量指令値Ｑ＊の時系列データと、状態ｓおよび行動ａの時系列データと、を取得する（Ｓ３２ａ）。次にＣＰＵ７２は、噴射量指令値Ｑ＊の時系列データの積算値ＩｎＱを算出する（Ｓ５６）。

そして、ＣＰＵ７２は、所定期間内における回転速度ＮＥと目標回転速度ＮＥ＊との差の絶対値が所定値Δ以下である旨の条件（カ）が成立するか否かを判定する（Ｓ３４ａ）。ＣＰＵ７２は、条件（カ）が成立すると判定する場合（Ｓ３４ａ：ＹＥＳ）、積算値ＩｎＱが消費量下限値ＩｎＱＬ以下である旨の条件（キ）が成立するか否かを判定する（Ｓ３４ｂ）。ここで、ＣＰＵ７２は、消費量下限値ＩｎＱＬを、目標回転速度ＮＥ＊および走行距離ＲＬに応じて可変設定する。詳しくは、ＣＰＵ７２は、目標回転速度ＮＥ＊が大きい場合に小さい場合よりも消費量下限値ＩｎＱＬを大きい値に設定する。また、ＣＰＵ７２は、走行距離ＲＬが所定距離以上となる場合、所定距離未満の場合と比較して、消費量下限値ＩｎＱＬを大きい値に設定する。ＣＰＵ７２は、条件（キ）が成立すると判定する場合（Ｓ３４ｂ：ＹＥＳ）、Ｓ３６の処理に移行する。

これに対し、ＣＰＵ７２は、消費量下限値ＩｎＱＬよりも大きいと判定する場合（Ｓ３４ｂ：ＮＯ）、積算値ＩｎＱが消費量上限値ＩｎＱＨ以上である旨の条件（ク）が成立するか否かを判定する（Ｓ３４ｃ）。ここで、ＣＰＵ７２は、消費量上限値ＩｎＱＨを、目標回転速度ＮＥ＊および走行距離ＲＬに応じて可変設定する。詳しくは、ＣＰＵ７２は、目標回転速度ＮＥ＊が大きい場合に小さい場合よりも消費量上限値ＩｎＱＨを大きい値に設定する。また、ＣＰＵ７２は、走行距離ＲＬが上記所定距離以上となる場合、所定距離未満の場合と比較して、消費量上限値ＩｎＱＨを大きい値に設定する。ＣＰＵ７２は、条件（ク）が成立すると判定する場合（Ｓ３４ｃ：ＹＥＳ）や、Ｓ３４ａの処理において否定判定する場合には、Ｓ３８の処理に移行する。

ＣＰＵ７２は、Ｓ３６，Ｓ３８の処理を完了する場合や、Ｓ３４ｃの処理において否定判定する場合には、図３と同様に、Ｓ４０～Ｓ４６の処理を実行する。なお、ここでの行動価値関数Ｑは、状態ｓが、回転速度ＮＥおよび目標回転速度ＮＥ＊の組であり、行動ａが、スロットル開口度指令値ＴＡ＊および吸気位相差指令値ＤＩＮ＊である点等が、図３の処理とは異なる。

なお、ＣＰＵ７２は、Ｓ４６の処理が完了する場合、図５に示す一連の処理を一旦終了する。
図４に戻り、ＣＰＵ７２は、Ｓ２８ａの処理が完了する場合や、Ｓ５０，Ｓ５４の処理において否定判定する場合には、図４に示す一連の処理を一旦終了する。なお、Ｓ５０，Ｓ１０ａ，Ｓ１２ａ，Ｓ１４ａ，Ｓ５２，Ｓ５４の処理は、ＣＰＵ７２が制御プログラム７４ａを実行することにより実現され、Ｓ２８ａの処理は、ＣＰＵ７２が学習プログラム７４ｂを実行することにより実現される。また、車両ＶＣ１の出荷時における関係規定データＤＲは、テストベンチで車両の走行を模擬するなどしつつ図４に示した処理と同様の処理を実行することによってあらかじめ学習がなされたデータとする。

ここで、本実施形態の作用および効果について説明する。
ＣＰＵ７２は、アイドル回転速度制御時において、スロットル開口度ＴＡのみならず、吸気位相差ＤＩＮを操作量として、回転速度ＮＥを目標回転速度ＮＥ＊に制御する。これにより、吸気位相差指令値ＤＩＮ＊を固定してアイドル回転速度制御を実行する場合と比較すると、燃料消費量を低減した制御を実行可能となる。ただし、吸気位相差指令値ＤＩＮ＊を操作量に加える場合、適合工数が大きくなる。そこで本実施形態では、強化学習によって学習された関係規定データＤＲを用いてアイドル回転速度制御を実行する。

さらにＣＰＵ７２は、方策πに従って、スロットル開口度指令値ＴＡ＊および吸気位相差指令値ＤＩＮ＊からなる行動ａを設定する。ここでＣＰＵ７２は、基本的には、関係規定データＤＲに規定されている行動価値関数Ｑに基づき期待収益を最大とする行動ａを選択する。ただし、ＣＰＵ７２は、所定の確率「ε－ε／｜Ａ｜」で、期待収益を最大化する行動ａ以外の行動を選択することによって、期待収益を最大化する行動ａの探索を行う。これにより、関係規定データＤＲを、内燃機関１０の個体差や経年変化を反映した適切なデータへと強化学習によって更新できる。

しかも、本実施形態では、車両ＶＣ１の劣化に起因して、摺動部の摩擦の増大等によって、アイドル回転速度制御に要求される燃料消費量が大きくなるおそれがあることに鑑み、車両ＶＣ１の劣化に伴って条件（キ）および条件（ク）を緩和することにより、劣化した車両ＶＣ１にとって最適な行動ａを探索によって見出すことが可能となる。

＜第３の実施形態＞
以下、第３の実施形態について、第２の実施形態との相違点を中心に図面を参照しつつ説明する。

本実施形態では、関係規定データＤＲの更新を、車両ＶＣ１の外で実行する。
図６に、本実施形態において、強化学習を実行する制御システムの構成を示す。なお、図６において、図１に示した部材に対応する部材については、便宜上、同一の符号を付している。

図６に示す車両ＶＣ１内の制御装置７０におけるＲＯＭ７４は、制御プログラム７４ａを記憶しているものの、学習プログラム７４ｂを記憶していない。また、制御装置７０は、通信機７７を備えている。通信機７７は車両ＶＣ１の外部のネットワーク１００を介してデータ解析センター１１０と通信するための機器である。

データ解析センター１１０は、複数の車両ＶＣ１，ＶＣ２，…から送信されるデータを解析する。データ解析センター１１０は、ＣＰＵ１１２、ＲＯＭ１１４、電気的に書き換え可能な不揮発性メモリ（記憶装置１１６）、周辺回路１１８および通信機１１７を備えており、それらがローカルネットワーク１１９によって通信可能とされるものである。ＲＯＭ１１４には、学習プログラム１１４ａが記憶されており、記憶装置１１６には、関係規定データＤＲが記憶されている。

図７に、本実施形態にかかる強化学習の処理手順を示す。図７（ａ）に示す処理は、図６に示すＲＯＭ７４に記憶されている制御プログラム７４ａをＣＰＵ７２が実行することにより実現される。また、図７（ｂ）に示す処理は、ＲＯＭ１１４に記憶されている学習プログラム１１４ａをＣＰＵ１１２が実行することにより実現される。なお、図７において図２に示した処理に対応する処理については、便宜上同一のステップ番号を付している。以下では、強化学習の時系列に沿って、図７に示す処理を説明する。

図７（ａ）に示す一連の処理において、ＣＰＵ７２は、Ｓ１０～Ｓ２６の処理を実行し、Ｓ２２またはＳ２６の処理を完了する場合、通信機７７を操作することによって、関係規定データＤＲの更新処理に必要なデータを送信する（Ｓ６０）。ここで、送信対象とされるデータは、所定期間内におけるＳ１０の処理において設定された状態ｓ、所定期間内におけるＳ１２の処理において設定された行動ａ、ならびに所定期間内におけるＳ１６の処理において取得されたトルク指令値Ｔｒｑ＊、トルクＴｒｑ、加速度Ｇｘ、ノイズ強度ＶＮ、振動強度ＶＶ、および回転変動ΔＮＥを含む。

これに対し、図７（ｂ）に示すように、ＣＰＵ１１２は、送信されたデータを受信し（Ｓ７０）、受信したデータに基づき関係規定データＤＲを更新する（Ｓ２８）。そしてＣＰＵ１１２は、関係規定データＤＲの更新回数が所定回数以上であるか否かを判定し（Ｓ７２）、所定回数以上であると判定する場合（Ｓ７２：ＹＥＳ）、通信機１１７を操作して、Ｓ７０の処理によって受信したデータを送信した車両ＶＣ１に関係規定データＤＲを送信する（Ｓ７４）。なお、ＣＰＵ１１２は、Ｓ７４の処理を完了する場合や、Ｓ７２の処理において否定判定する場合には、図７（ｂ）に示す一連の処理を一旦終了する。

これに対し、図７（ａ）に示すように、ＣＰＵ７２は、更新データがあるか否かを判定し（Ｓ６２）、あると判定する場合（Ｓ６２：ＹＥＳ）、更新された関係規定データＤＲを受信する（Ｓ６４）。そしてＣＰＵは、Ｓ１２の処理において利用する関係規定データＤＲを、受信した関係規定データＤＲに書き換える（Ｓ６６）。なお、ＣＰＵ７２は、Ｓ６６の処理を完了する場合や、Ｓ２０，Ｓ２４，Ｓ６２の処理において否定判定する場合には、図７（ａ）に示す一連の処理を一旦終了する。

このように、本実施形態によれば、関係規定データＤＲの更新処理を車両ＶＣ１の外部で行うことから、制御装置７０の演算負荷を軽減できる。さらに、たとえばＳ７０の処理において、複数の車両ＶＣ１，ＶＣ２からのデータを受信してＳ２８の処理を行うなら、学習に用いるデータ数を容易に大きくすることができる。

＜対応関係＞
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。［１，３］実行装置は、ＣＰＵ７２およびＲＯＭ７４に対応し、記憶装置は、記憶装置７６に対応する。取得処理は、図２および図３におけるＳ１０，Ｓ１６，Ｓ３０の処理や、図４および図５のＳ１０ａ，Ｓ５２，Ｓ３０の処理に対応する。操作処理は、図２のＳ１４の処理や、図４のＳ１４ａの処理に対応する。報酬算出処理は、図３のＳ３４～Ｓ３８の処理や、図５のＳ３４ａ，Ｓ３４ｂ，Ｓ３４ｃ，Ｓ３６，Ｓ３８の処理に対応する。更新処理は、Ｓ４０～Ｓ４６の処理に対応する。更新写像は、学習プログラム７４ｂのうちＳ４０～Ｓ４６の処理を実行する指令によって規定された写像に対応する。緩和処理は、Ｓ３４の処理において、騒音上限値ＶＮｔｈや、振動上限値ＶＶｔｈ、変動上限値Δｔｈが、走行距離ＲＬに応じて可変とされることや、Ｓ３４ｂの処理において消費量下限値ＩｎＱＬが走行距離ＲＬに応じて可変とされること、Ｓ３４ｃの処理において消費量上限値ＩｎＱＨが走行距離ＲＬに応じて可変とされることに対応する。［２］音振変数は、ノイズ強度ＶＮや振動強度ＶＶに対応する。［４］効率下限値は、消費量上限値ＩｎＱＨに対応する。［５～７］第１実行装置は、ＣＰＵ７２およびＲＯＭ７４に対応し、第２実行装置は、ＣＰＵ１１２およびＲＯＭ１１４に対応する。［８］コンピュータは、図１のＣＰＵ７２や、図６のＣＰＵ７２，１１２に対応する。

＜その他の実施形態＞
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

「行動変数について」
・図２の処理では、行動変数としてのスロットルバルブの開口度に関する変数として、スロットル開口度指令値ＴＡ＊を例示したが、これに限らない。たとえば、アクセル操作量ＰＡに対するスロットル開口度指令値ＴＡ＊の応答性を、無駄時間および２次遅れフィルタにて表現し、無駄時間と、２次遅れフィルタを規定する２つの変数との合計３つの変数を、スロットルバルブの開口度に関する変数としてもよい。ただし、その場合、状態変数は、アクセル操作量ＰＡの時系列データに代えて、アクセル操作量ＰＡの単位時間当たりの変化量とすることが望ましい。

・上記実施形態では、行動変数としての点火時期に関する変数として、遅角量ａｏｐを例示したが、これに限らない。たとえば、ＫＣＳによる補正対象とされる点火時期自体であってもよい。

・図２や図７の処理では、行動変数として、スロットルバルブの開口度に関する変数および点火時期に関する変数を例示したが、これに限らない。たとえば、スロットルバルブの開口度に関する変数および点火時期に関する変数に加えて、燃料噴射量を用いてもよい。また、それら３つに関しては、行動変数としてスロットルバルブの開口度に関する変数および燃料噴射量のみを採用したり、点火時期に関する変数および燃料噴射量のみを採用したりしてもよい。さらに、それら３つに関しては、行動変数としてそれらのうちの１つのみを採用してもよい。

・「内燃機関について」の欄に記載したように、圧縮着火式の内燃機関の場合、スロットルバルブの開口度に関する変数に代えて噴射量に関する変数を用い、点火時期に関する変数に代えて噴射時期に関する変数を用いればよい。なお、噴射時期に関する変数に加えて、１燃焼サイクルにおける噴射回数に関する変数や、１燃焼サイクルにおける１つの気筒のための時系列的に隣接した２つの燃料噴射のうちの一方の終了タイミングと他方の開始タイミングとの間の時間間隔に関する変数を加えることが望ましい。

・たとえば変速装置６０が有段変速装置の場合、クラッチの係合状態を油圧によって調整するためのソレノイドバルブの電流値等を行動変数としてもよい。
・たとえば、下記「車両について」の欄に記載したように車両としてハイブリッド車や、電気自動車、燃料電池車を採用する場合、回転電機のトルクや出力を行動変数としてもよい。またたとえば、内燃機関のクランク軸の回転動力によって回転するコンプレッサを備えた車載空調装置を備える場合、コンプレッサの負荷トルクを行動変数に含めてもよい。また、電動式の車載空調装置を備える場合、空調装置の消費電力を行動変数に含めてもよい。

「状態について」
・図２や図７の処理では、アクセル操作量ＰＡの時系列データを、等間隔でサンプリングされた６個の値からなるデータとしたが、これに限らない。互いに異なるサンプリングタイミングにおける２個以上のサンプリング値からなるデータであればよく、この際、３個以上のサンプリング値からなるデータや、サンプリング間隔が等間隔であるデータであることがより望ましい。

・アクセル操作量に関する状態変数としては、アクセル操作量ＰＡの時系列データに限らず、たとえば「行動変数について」の欄に記載したように、アクセル操作量ＰＡの単位時間当たりの変化量等であってもよい。

・たとえば「行動変数について」の欄に記載したように、ソレノイドバルブの電流値を行動変数とする場合、状態に、変速装置の入力軸６２の回転速度や出力軸６４の回転速度、ソレノイドバルブによって調整される油圧を含めればよい。またたとえば「行動変数について」の欄に記載したように、回転電機のトルクや出力を行動変数とする場合、状態に、バッテリの充電率や温度を含めればよい。またたとえば「行動変数について」の欄に記載したように、コンプレッサの負荷トルクや空調装置の消費電力を行動に含める場合、状態に、車室内の温度を含めればよい。

「テーブル形式のデータの次元削減について」
・テーブル形式のデータの次元削減手法としては、上記実施形態において例示したものに限らない。たとえばアクセル操作量ＰＡが最大値となることはまれであることから、アクセル操作量ＰＡが規定量以上となる状態については行動価値関数Ｑを定義せず、アクセル操作量ＰＡが規定量以上となる場合のスロットル開口度指令値ＴＡ＊等は、別途適合してもよい。またたとえば、行動のとりうる値からスロットル開口度指令値ＴＡ＊が規定値以上となるものを除くなどして、次元削減をしてもよい。

・次元削減をすることは必須ではない。たとえば、第３の実施形態において複数の車両からのデータに基づき強化学習を行うのであれば、車両の出荷前には次元削減をした一部のみについて行動価値関数を学習しておくものの、出荷後には、全ての行動を探索によって実行可能としてもよい。これにより、出荷後には出荷前と比較して十分な学習用のデータを確保できることに鑑み、探索としてとりうる行動の数を増やして、より適切な行動を見出すことが可能となる。

「関係規定データについて」
・上記実施形態では、行動価値関数Ｑを、テーブル形式の関数としたが、これに限らない。たとえば、関数近似器を用いてもよい。

・たとえば、行動価値関数Ｑを用いる代わりに、方策πを、状態ｓおよび行動ａを独立変数とし、行動ａをとる確率を従属変数とする関数近似器にて表現し、関数近似器を定めるパラメータを、報酬ｒに応じて更新してもよい。

「操作処理について」
・たとえば「関係規定データについて」の欄に記載したように、行動価値関数を関数近似器とする場合、上記実施形態におけるテーブル型式の関数の独立変数となる行動についての離散的な値の組の全てについて、状態ｓとともに行動価値関数Ｑに入力することによって、行動価値関数Ｑを最大化する行動ａを選択すればよい。

・たとえば「関係規定データについて」の欄に記載したように、方策πを、状態ｓおよび行動ａを独立変数とし、行動ａをとる確率を従属変数とする関数近似器とする場合、方策πによって示される確率に基づき行動ａを特定し、これに基づき操作に採用する行動を選択すればよい。

「更新写像について」
・Ｓ４０～Ｓ４６の処理においては、εソフト方策オン型モンテカルロ法によるものを例示したが、これに限らない。たとえば、方策オフ型モンテカルロ法によるものであってもよい。もっとも、モンテカルロ法にも限らず、たとえば、方策オフ型ＴＤ法を用いたり、またたとえばＳＡＲＳＡ法のように方策オン型ＴＤ法を用いたり、またたとえば、方策オン型の学習として適格度トレース法を用いたりしてもよい。

・たとえば「関係規定データについて」の欄に記載したように、方策πを関数近似器を用いて表現し、これを報酬ｒに基づき直接更新する場合には、方策勾配法等を用いて更新写像を構成すればよい。

・行動価値関数Ｑと方策πとのうちのいずれか一方のみを、報酬ｒによる直接の更新対象とするものに限らない。たとえば、アクター・クリティック法のように、行動価値関数Ｑおよび方策πをそれぞれ更新してもよい。また、アクター・クリティック法においては、これに限らず、たとえば行動価値関数Ｑに代えて価値関数Ｖを更新対象としてもよい。

・方策πを定める「ε」については、固定値に限らず、学習の進行度合いに応じて予め定められた規則に応じて変更してもよい。
「報酬算出処理について」
・図３の処理では、条件（ア）～条件（オ）の論理積が真であるか否かに応じて報酬を与えたが、これに限らない。たとえば、条件（ア）を満たすか否かに応じて報酬を与える処理と、条件（イ）を満たすか否かに応じて報酬を与える処理と、条件（ウ）を満たすか否かに応じて報酬を与える処理と、条件（エ）を満たすか否かに応じて報酬を与える処理と、条件（オ）を満たすか否かに応じて報酬を与える処理と、を実行してもよい。この場合であっても、たとえば条件（ウ）～条件（オ）を満たす行動変数の値が存在しない場合であって条件（ア）および条件（イ）を満たす行動変数の値が複数存在する場合、グリーディ行動を特定できなくなることから、条件（ウ）～条件（オ）の少なくとも１つを緩和することは有効である。また、たとえば、条件（ウ）を満たすか否かに応じて報酬を与える処理と、条件（エ）を満たすか否かに応じて報酬を与える処理と、条件（オ）を満たすか否かに応じて報酬を与える処理と、の３つの処理に関しては、それらのうちのいずれか１つの処理のみを実行したり、２つの処理のみを実行したりしてもよい。

・たとえば条件（ア）を満たす場合に一律同じ報酬を与える代わりに、トルクＴｒｑとトルク指令値Ｔｒｑ＊との差の絶対値が小さい場合に大きい場合よりもより大きい報酬を与える処理としてもよい。またたとえば、条件（ア）を満たさない場合に一律同じ報酬を与える代わりに、トルクＴｒｑとトルク指令値Ｔｒｑ＊との差の絶対値が大きい場合に小さい場合よりもより小さい報酬を与える処理としてもよい。

・たとえば条件（イ）を満たす場合に一律同じ報酬を与える代わりに、加速度Ｇｘの大きさに応じて報酬の大きさを可変とする処理としてもよい。またたとえば、条件（イ）を満たさない場合に一律同じ報酬を与える代わりに、加速度Ｇｘの大きさに応じて報酬の大きさを可変とする処理としてもよい。

・たとえば条件（ウ）を満たす場合に一律同じ報酬を与える代わりに、ノイズ強度ＶＮの大きさに応じて報酬の大きさを可変とする処理としてもよい。またたとえば、条件（ウ）を満たさない場合に一律同じ報酬を与える代わりに、ノイズ強度ＶＮの大きさに応じて報酬の大きさを可変とする処理としてもよい。なお、条件（ウ）を満たす場合に満たさない場合よりも大きい報酬を与える処理は、下記「車両について」の欄に記載したようにハイブリッド車や電気自動車、燃料電池車に適用しても好適である。

・たとえば条件（エ）を満たす場合に一律同じ報酬を与える代わりに、振動強度ＶＶの大きさに応じて報酬の大きさを可変とする処理としてもよい。またたとえば、条件（エ）を満たさない場合に一律同じ報酬を与える代わりに、振動強度ＶＶの大きさに応じて報酬の大きさを可変とする処理としてもよい。なお、条件（エ）を満たす場合に満たさない場合よりも大きい報酬を与える処理を、下記「車両について」の欄に記載したようにハイブリッド車や電気自動車、燃料電池車に適用しても好適である。

・たとえば条件（オ）を満たす場合に一律同じ報酬を与える代わりに、回転変動ΔＮＥの大きさに応じて報酬の大きさを可変とする処理としてもよい。またたとえば、条件（オ）を満たさない場合に一律同じ報酬を与える代わりに、回転変動ΔＮＥの大きさに応じて報酬の大きさを可変とする処理としてもよい。

・図５の処理では、条件（カ）および条件（キ）を満たす場合と、条件（カ）を満たして且つ条件（キ）および条件（ク）を満たさない場合と、条件（カ）を満たさないまたは条件（ク）を満たす場合とで、各別の報酬を与えたがこれに限らない。たとえば、条件（カ）を満たすことと条件（ク）を満たさないこととの論理積が真であるか否かに応じて、Ｓ３６，Ｓ３８のいずれかの処理を実行するようにしてもよい。

・エネルギ利用効率が効率下限値以上である場合に効率下限値を下回る場合よりも大きい報酬を与える処理としては、上記条件（ク）を満たすか否かに応じて報酬を与える処理に限らない。たとえば、車両ＶＣ１が所定の道路を走行する場合の燃料消費量が消費量上限値以下である場合に消費量上限値を超える場合よりも大きい報酬を与える処理であってもよい。また、たとえば下記「車両について」の欄に記載したように、車両の推力生成装置が回転電機である車両の場合、車両ＶＣ１が所定の道路を走行する場合の電力消費量が消費量上限値以下である場合に消費量上限値を超える場合よりも大きい報酬を与える処理であってもよい。

・報酬算出処理としては、報酬ｒを、ドライバビリティに関する基準を満たすか否かに応じて与えるものや、エネルギ利用効率が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理に限らない。たとえば、排気特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理であってもよい。なお、ドライバビリティに関する基準を満たす場合に満たさない場合よりも大きい報酬を与える処理と、エネルギ利用効率が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理と、排気特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理との３つの処理のうちの２つまたは３つを含んでもよい。

・たとえば「行動変数について」の欄に記載したように、変速装置６０のソレノイドバルブの電流値を行動変数とする場合、たとえば報酬算出処理に以下の（ａ）～（ｃ）の３つの処理のうちの少なくとも１つの処理を含めればよい。

（ａ）変速装置による変速比の切り替えに要する時間が所定時間以内である場合に所定時間を超える場合よりも大きい報酬を与える処理である。
（ｂ）変速装置の入力軸６２の回転速度の変化速度の絶対値が入力側所定値以下である場合に入力側所定値を超える場合よりも大きい報酬を与える処理である。

（ｃ）変速装置の出力軸６４の回転速度の変化速度の絶対値が出力側所定値以下である場合に出力側所定値を超える場合よりも大きい報酬を与える処理である。
・たとえば「行動変数について」の欄に記載したように、回転電機のトルクや出力を行動変数とする場合、バッテリの充電率が所定範囲内にある場合にない場合よりも大きい報酬を与える処理や、バッテリの温度が所定範囲内にある場合にない場合よりも大きい報酬を与える処理を含めてもよい。また、たとえば「行動変数について」の欄に記載したように、コンプレッサの負荷トルクや空調装置の消費電力を行動変数に含める場合、車室内の温度が所定範囲内にある場合にない場合よりも大きい報酬を与える処理や、空調装置の消費電力の積算値が所定値以下の場合に所定値を超える場合よりも大きい報酬を与える処理を加えてもよい。

「劣化度合い変数について」
・劣化度合い変数としては、走行距離ＲＬに限らない。たとえば、空燃比センサを備える場合、その検出値の変動量であってもよい。またたとえば、空燃比を開ループ制御およびフィードバック制御をする場合、燃料噴射弁１６による燃料噴射量のフィードバック補正量の大きさであってもよい。

・劣化度合い変数としては、３値以上の値をとりうる変数に限らず、たとえば劣化の有無に応じた２値的な変数であってもよい。これは、たとえば、所定期間にわたってマイナスの報酬のみが付与される場合に、劣化ありとすることで実現できる。

「緩和処理について」
・たとえば「報酬算出処理について」の欄に記載したように、条件（ア）～条件（オ）のそれぞれを満たすか否かに応じて各別に報酬を与える場合、条件（ウ）～条件（オ）のそれぞれを満たすか否かに応じて各別の報酬を与える３つの処理の少なくとも１つの処理において、緩和処理を実行すればよい。これにより、車両ＶＣ１が劣化した場合であっても、上記３つの処理のうちの緩和処理の実行対象となる処理については、大きい報酬を与えられる行動変数の値が存在することになるのであれば、グリーディ行動を特定できる可能性が高まる。

・図５の処理において、消費量下限値ＩｎＱＬについては、緩和処理の対象としなくてもよい。
「車両用制御システムについて」
・図７に示した例では、Ｓ２８の処理の全てをデータ解析センター１１０にて実行したが、これに限らない。たとえば、データ解析センター１１０においては、Ｓ４０～Ｓ４６の処理を実行するものの、報酬の算出処理であるＳ３４～Ｓ３８の処理については実行せず、Ｓ６０の処理において、Ｓ３６，Ｓ３８の処理の結果を送信することとしてもよい。

・車両用制御システムとしては、制御装置７０およびデータ解析センター１１０によって構成されるものに限らない。たとえば、データ解析センター１１０に代えて、ユーザが所持する携帯端末を用い、制御装置７０および携帯端末によって車両用制御システムを構成してもよい。また、たとえば、制御装置７０、携帯端末、およびデータ解析センター１１０によって構成してもよい。これは、たとえば図７の処理において、Ｓ１２の処理を携帯端末が実行することにより実現できる。

「実行装置について」
・実行装置としては、ＣＰＵ７２（１１２）とＲＯＭ７４（１１４）とを備えて、ソフトウェア処理を実行するものに限らない。たとえば、上記実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理するたとえばＡＳＩＣ等の専用のハードウェア回路を備えてもよい。すなわち、実行装置は、以下の（ａ）～（ｃ）のいずれかの構成であればよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶するＲＯＭ等のプログラム格納装置とを備える。（ｂ）上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。

「コンピュータについて」
・コンピュータとしては、図１のＣＰＵ７２や、図６のＣＰＵ７２，１１２に限らない。たとえば、車両ＶＣ１の出荷前の関係規定データＤＲを生成するためのコンピュータと、車両ＶＣ１に搭載されるＣＰＵ７２とであってもよい。その場合、ＣＰＵ７２のみが緩和処理を実行すればよい。これにより、出荷前の関係規定データＤＲを生成するためのコンピュータによって実行される報酬算出処理と比較して、車両ＶＣ１の劣化が検知されることによりＣＰＵ７２によって実行される報酬算出処理の方が基準を緩めることとなる。なお、たとえば車両ＶＣ１の出荷後には、車両の劣化が検知されるまでは関係規定データＤＲを更新しないようにしてもよい。

ちなみに、車両の出荷前の関係規定データＤＲの生成処理においては、車両が存在せず、テストベンチにて内燃機関１０等を稼働させて車両の走行を模擬することによって、車両の状態を疑似的に生成し、センサの検出等によって疑似的に生成された車両の状態を把握しつつ強化学習に用いてもよい。その場合、疑似的に生成された車両の状態を、センサ値に基づく車両の状態とみなす。

「記憶装置について」
・上記実施形態では、関係規定データＤＲが記憶される記憶装置と、学習プログラム７４ｂや制御プログラム７４ａが記憶される記憶装置（ＲＯＭ７４）とを別の記憶装置としたが、これに限らない。

「内燃機関について」
・内燃機関としては、燃料噴射弁として吸気通路１２に燃料を噴射するポート噴射弁を備えるものに限らず、燃焼室２４に燃料を直接噴射する筒内噴射弁を備えるものであってもよく、またたとえば、ポート噴射弁および筒内噴射弁の双方を備えるものであってもよい。

・内燃機関としては、火花点火式内燃機関に限らず、たとえば燃料として軽油などを用いる圧縮着火式内燃機関等であってもよい。
「車両について」
・車両としては、推力生成装置が内燃機関のみである車両に限らず、たとえば内燃機関と回転電機とを備えるいわゆるハイブリッド車両であってもよい。またたとえば、推力生成装置として、内燃機関を備えることなく、回転電機を備えるいわゆる電気自動車や燃料電池車であってもよい。

１０…内燃機関
１２…吸気通路
１４…スロットルバルブ
１６…燃料噴射弁
１８…吸気バルブ
２０…シリンダ
２２…ピストン
２４…燃焼室
２６…点火装置
２８…クランク軸
４０…吸気側カム軸
４２…排気側カム軸
４４…吸気バルブタイミング可変装置
７０…制御装置
１００…ネットワーク
１１０…データ解析センター

Claims (8)

1. 実行装置および記憶装置を備え、
   前記記憶装置には、車両の状態と前記車両内の電子機器の操作に関する変数である行動変数との関係を規定する関係規定データが記憶されており、
   前記実行装置は、
   センサの検出値に基づく前記車両の状態を取得する取得処理と、
   前記取得処理によって取得された前記車両の状態と前記関係規定データとによって定まる前記行動変数の値に基づき前記電子機器を操作する操作処理と、
   前記取得処理によって取得された前記車両の状態に基づき、前記車両の特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える報酬算出処理と、
   前記取得処理によって取得された前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、および該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、を実行し、
   前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものであり、
   前記取得処理は、前記車両の状態として前記車両の劣化度合いを示す変数である劣化変数を取得する処理を含み、
   前記報酬算出処理は、前記劣化度合いが大きい場合に小さい場合よりも前記基準を緩める緩和処理を含む車両用制御装置。
2. 前記基準は、前記車両の振動および騒音の２つのうちの１つを示す変数である音振変数の値の大きさが音振上限値以下である旨の条件を含み、
   前記報酬算出処理は、前記音振変数の値の大きさが前記音振上限値以下である場合に前記音振上限値を超える場合よりも大きい報酬を与える処理を含み、
   前記緩和処理は、前記劣化度合いが大きい場合に小さい場合よりも前記音振上限値を大きい値とする処理を含む請求項１記載の車両用制御装置。
3. 前記車両は、推力生成装置として内燃機関を備え、
   前記基準は、前記内燃機関のクランク軸の回転変動の大きさが変動上限値以下である旨の条件を含み、
   前記緩和処理は、前記劣化度合いが大きい場合に小さい場合よりも前記変動上限値を大きい値とする処理を含む請求項１または２記載の車両用制御装置。
4. 前記基準は、前記車両に搭載された推力生成装置のエネルギ利用効率が効率下限値以上である旨の条件を含み、
   前記緩和処理は、前記劣化度合いが大きい場合に小さい場合よりも前記効率下限値を小さい値とする処理を含む請求項１～３のいずれか１項に記載の車両用制御装置。
5. 請求項１または２記載の前記実行装置および前記記憶装置を備え、
   前記実行装置は、前記車両に搭載される第１実行装置と、車載装置とは別の第２実行装置と、を含み、
   前記第２実行装置は、前記更新処理を少なくとも実行し、
   前記第１実行装置は、前記取得処理および前記操作処理を少なくとも実行する車両用制御システム。
6. 請求項５記載の前記第１実行装置を備える車両用制御装置。
7. 請求項５記載の前記第２実行装置を備える車両用学習装置。
8. 請求項１～４のいずれか１項に記載の前記取得処理、前記操作処理、前記報酬算出処理、および前記更新処理をコンピュータに実行させる車両用学習方法。

Images