JP7204068B2 - 乗員温度推定装置、乗員状態検出装置、乗員温度推定方法、および、乗員温度推定システム - Google Patents

Description

本開示は、乗員温度推定装置、乗員状態検出装置、乗員温度推定方法、および、乗員温度推定システムに関する。

従来、車両において、車室内の乗員の体の部位の温度を推定し、推定した温度を用いて、空調等の種々の制御を行う技術が知られている。なお、ここでいう乗員の体の部位の温度とは、乗員の体の部位の表面温度である。
車室内の乗員の体の部位の温度を推定する技術として、車室内の温度を検出するセンサから取得した赤外線画像等の温度画像を画像処理して、赤外線強度に基づいて上記乗員の体の部位の温度を推定する技術がある（例えば、特許文献１）。

国際公開第２０１９／１８７７１２号

車室内には、乗員の体の部位以外の熱源が存在する。そのため、単純に温度画像における温度に基づいて乗員の体の部位の温度を推定するのでは、乗員の体の部位以外の熱源による温度を乗員の体の部位の温度と誤推定する可能性があるという課題があった。特に、解像度が低い温度画像においては、上述したような誤推定が発生しやすい。

本開示は、上記のような課題を解決するためになされたもので、従来の温度画像に基づく温度推定技術と比べ、温度画像に基づく乗員の体の部位の温度の推定精度を高めることが可能な乗員温度推定装置を提供することを目的とする。

本開示に係る乗員温度推定装置は、車室内を撮像した温度画像であって、画素が温度情報を有する温度画像を取得する温度画像取得部と、温度画像取得部が取得した温度画像の領域のうちの車室内に存在する乗員の体の部位の温度を推定する対象領域の各画素が有する温度情報に基づいて当該各画素を二値化することで、対象領域における温度候補領域を設定する二値化処理部と、対象領域における温度候補領域の画素が有する温度情報に基づいて、当該温度候補領域に対する領域温度を算出する候補領域温度算出部と、対象領域における温度候補領域に対して算出された、当該温度候補領域の画素が有する温度情報が対象領域のうち温度候補領域以外の領域の画素が有する温度情報に対してどれぐらい際立っているかを示す分離度に基づき、温度候補領域のうちから温度領域を決定し、当該温度領域に対する前記領域温度を前記乗員の体の部位の温度と推定する温度推定部を備えたものである。

本開示によれば、従来の温度画像に基づく温度推定技術と比べ、温度画像に基づく乗員の体の部位の温度の推定精度を高めることができる。

実施の形態１に係る乗員温度推定システムの構成例を示す図である。 実施の形態１において、センサが車室内を撮像し、温度画像を得るイメージを模式的に示した図であって、図２Ａは、センサの撮像範囲における車室内の状況のイメージを説明するための図であり、図２Ｂは、図２Ａに示した状況下でセンサが撮像した温度画像のイメージを説明するための図である。 実施の形態１に係る乗員温度推定装置の構成例を示す図である。 実施の形態１において、温度画像取得部が取得した温度画像のイメージの一例を示す図である。 実施の形態１において、対象領域抽出部が、図４に示す温度画像から抽出した対象領域のイメージの一例を示す図である。 実施の形態１にて、二値化処理部が行う１回目の大津の二値化および２回目の大津の二値化のイメージを説明するための図である。 実施の形態１において、二値化処理部が温度候補領域を設定し、設定した温度候補領域に領域ラベルを付与した後のラベル画像の一例のイメージを説明するための図である。 実施の形態１において、候補領域温度算出部が、候補領域設定後温度画像とラベル画像とに基づき、候補領域設定後温度画像における温度候補領域について、当該温度候補領域に対して付与された領域ラベル毎に分類分けするイメージを説明するための図である。 実施の形態１において、候補領域温度算出部が、分類分けした温度領域に対して、領域温度を算出するイメージについて説明するための図である。 実施の形態１において、温度推定部による分離度の算出の一例のイメージを示す図である。 実施の形態１において、信頼度推定部が信頼度を推定する際に用いる機械学習モデルのイメージを説明するための図である。 実施の形態１において、機械学習モデルの入力とする情報について詳細に説明するための図である。 実施の形態１に係る乗員温度推定装置の動作を説明するためのフローチャートである。 実施の形態１において、乗員の状況を考慮して推定した乗員の手および顔の温度が信頼できるか否かを判定するようにした乗員温度推定装置、および、当該乗員温度推定装置を備えた乗員温度推定システムの構成例を示す図である。 図１５Ａ，図１５Ｂは、推定結果判定部が、温度推定部が推定した乗員の顔の温度を採用すると判定する場合と、採用しないと判定する場合の、乗員の状況の一例のイメージについて説明するための図である。 実施の形態１において、乗員の状況を考慮して推定した乗員の手および顔の温度が信頼できるか否かを判定するようにした乗員温度推定装置の動作について説明するためのフローチャートである。 実施の形態１に係る乗員温度推定装置を備えた乗員状態検出装置の構成例を示す図である。 実施の形態１に係る乗員状態検出装置の動作について説明するためのフローチャートである。 図１９Ａ，図１９Ｂは、実施の形態１に係る乗員温度推定装置のハードウェア構成の一例を示す図である。

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、実施の形態１に係る乗員温度推定システム１００の構成例を示す図である。
乗員温度推定システム１００は、車室内を撮像した温度画像に基づき、車室内に存在する乗員の体の部位の温度を推定する。
実施の形態１において、乗員の体の部位の温度は、乗員の体の部位の表面温度である。また、乗員の体の部位は、具体的には、乗員の手または顔である。
また、以下の実施の形態１では、一例として、乗員は、ドライバを想定している。

乗員温度推定システム１００は、センサ１と乗員温度推定装置２を備える。
センサ１は、例えば、赤外線アレイセンサである。
センサ１は、車両に搭載され、車室内を撮像して、温度画像を取得する。センサ１は、車室内の乗員の手および顔を含む領域が撮像可能な位置に設置される。すなわち、センサ１の撮像範囲には、乗員の顔および手を含む領域が含まれる。
実施の形態１において、センサ１が撮像する温度画像は、中程度の解像度を有するものでよい。具体的には、温度画像の画素数は、例えば、１００×１００画素以下程度でよい。そのため、センサ１は、サーモパイル等の比較的安価なセンサを用いることができる。センサ１は、いわゆる「ドライバモニタリングシステム（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ，ＤＭＳ）」と共用のものであってもよい。
センサ１が撮像した温度画像の画素は、温度情報を有する。当該温度情報は、数値であらわされる。

乗員温度推定装置２は、センサ１が撮像した温度画像に基づき、乗員の手または顔の温度を推定する。
以下の実施の形態１では、一例として、乗員温度推定装置２は、温度画像に基づき、乗員の手および顔の温度を推定するものとする。なお、これは一例に過ぎず、乗員温度推定装置２は、乗員の手または顔のうち少なくとも一方の温度を推定するようにしてもよい。また、乗員温度推定装置２が推定する乗員の手の温度は、乗員の片手の温度であってもよいし、乗員の両手の温度であってもよい。

ここで、図２は、実施の形態１において、センサ１が車室内を撮像し、温度画像を得るイメージを模式的に示した図である。
図２Ａは、センサ１の撮像範囲における車室内の状況のイメージを説明するための図であり、図２Ｂは、図２Ａに示した状況下でセンサ１が撮像した温度画像のイメージを説明するための図である。
なお、図２Ａでは、センサ１は、車両を運転しているドライバ２０１を正面から撮像する位置に設置されているものとしているが、センサ１の設置位置はこれに限らない。センサ１は車室内の乗員の手または顔が撮像可能な位置に設置されていればよい。
今、図２Ａに示すように、車室内にはハンドル２０２を握ったドライバ２０１が存在している。センサ１の撮像範囲には、窓２０３も存在する。
図２Ｂに示す温度画像では、各四角は画素を示し、色の濃さで温度の高さを模式的に示している。なお、図２Ｂ上、画素の色が濃いほど、温度が高いことを示している。

乗員温度推定装置２は、図２Ｂに示すような温度画像に基づき、乗員の手および顔の温度を推定する。

実施の形態１において、温度画像の領域のうち、乗員の手および顔の温度を推定する対象となる領域が、それぞれ予め設定されている。以下の実施の形態１において、温度画像上で、乗員の手の温度を推定する対象となる領域を「手対象領域」という。また、温度画像上で、乗員の顔を推定する対象となる領域を「顔対象領域」という。
手対象領域は、予め、センサ１の設置位置および画角に応じて設定される。手対象領域は、例えば、センサ１が撮像する温度画像のうち、標準的な体格のドライバが標準的な位置に着座して運転した場合に当該ドライバの手が撮像されることになると想定して設定された領域である。
顔対象領域は、予め、センサ１の設置位置および画角に応じて設定される。顔対象領域は、例えば、センサ１が撮像する温度画像のうち、標準的な体格のドライバが標準的な位置に着座して運転した場合に当該ドライバの顔が撮像されることになると想定して設定された領域である。実施の形態１では、手対象領域と顔対象領域とをあわせて単に「対象領域」ともいう。なお、対象領域は温度画像であり、対象領域の画素は温度情報を有している。
図２Ｂにおいて、手対象領域は２０４、顔対象領域は２０５で示している。

温度画像において、ドライバ２０１の手が撮像された領域と、ドライバ２０１の顔が撮像された領域は、高温となる。
従って、乗員温度推定装置２は、手対象領域２０４および顔対象領域２０５から、それぞれ高温領域を抽出することで、抽出した高温領域の温度を、ドライバ２０１の手または顔の温度と推定することができる。

しかし、車室内には、ドライバ２０１の手または顔以外の熱源が存在する。温度画像には、これらの、ドライバ２０１の手または顔以外の熱源による高温領域が発生する。
例えば、ドライバ２０１がハンドル２０２を持つ位置を変えた場合、ドライバ２０１が直前まで握っていた部分のハンドル２０２は熱をもっている場合がある。この場合、図２Ｂに示すように、温度画像上の手対象領域２０４には、ドライバ２０１の手による熱源（第１熱源２０４ａ）以外に、ハンドル２０２に残る熱による熱源（第２熱源２０４ｂ）が存在することで、第１熱源２０４ａによる高温領域と第２熱源２０４ｂによる高温領域が発生する。

また、例えば、窓２０３が太陽光等で熱せられ熱くなっている場合、図２Ｂに示すように、温度画像上の顔対象領域２０５には、ドライバ２０１の顔による熱源（第３熱源２０５ａ）以外に、窓２０３の熱による熱源（第４熱源２０５ｂ）が存在することで、第３熱源２０５ａによる高温領域と第４熱源２０５ｂによる高温領域が発生する。
このように、手対象領域内、および、顔対象領域内には、第２熱源２０４ｂまたは第４熱源２０５ｂのような、ノイズとなる熱源が存在することによって、高温領域が発生し得る。

そうすると、仮に、乗員温度推定装置２が、単純に対象領域のうちの高温領域の温度を抽出して乗員の手および顔の温度と推定したのでは、乗員の手ではない誤った箇所の温度を乗員の手の温度として、または、乗員の顔ではない誤った箇所の温度を乗員の顔の温度として、誤推定してしまう可能性がある。
上述したような従来技術では、温度画像上で、乗員の体の部位以外の熱源による高温領域が発生し得ることについて考慮されていないため、乗員の体の部位の温度を誤推定するおそれがあった。
特に、温度画像の解像度が高くない、例えば中程度以下である場合、温度画像上で、乗員の体の部位を見分けることが難しい。そのため、温度画像から単純に対象領域のうちの高温領域の温度を抽出して乗員の体の部位の温度を推定した場合、当該乗員の体の部位の温度を誤推定する可能性が高くなる。

これに対し、実施の形態１に係る乗員温度推定装置２は、温度画像上に乗員の手および顔以外の熱源による高温領域が発生し得ることを考慮して温度画像から乗員の手および顔の温度を推定することで、乗員の手および顔の温度の誤推定を防ぎ、より精度よく、温度画像から乗員の手および顔の温度を推定する。

乗員温度推定装置２について、詳細に説明する。
図３は、実施の形態１に係る乗員温度推定装置２の構成例を示す図である。
乗員温度推定装置２は、温度画像取得部２１、推定処理部２２、信頼度推定部２３、推定結果判定部２４を備える。
推定処理部２２は、二値化処理部２２１、候補領域温度算出部２２２、および、温度推定部２２３を備える。
二値化処理部２２１は、対象領域抽出部２２１１を備える。

温度画像取得部２１は、センサ１から温度画像を取得する。当該温度画像は、上述のとおり、センサ１が車室内を撮像した温度画像であって、画素が温度情報を有する温度画像である。
温度画像取得部２１は、取得した温度画像を推定処理部２２に出力する。

推定処理部２２は、温度画像取得部２１が取得した温度画像に基づき、乗員の手および顔の温度を推定する。

推定処理部２２の二値化処理部２２１は、温度画像取得部２１が取得した温度画像の領域のうちの対象領域、言い換えれば、手対象領域および顔対象領域、の各画素が有する温度情報に基づき、各画素を二値化することで、対象領域のうちの１つ以上の温度候補領域を設定する。温度候補領域は、対象領域内の領域であって、かつ、当該対象領域のうち、その領域に対応する温度を乗員の手の温度、または、乗員の顔の温度であると推定する候補となる領域をいう。
実施の形態１において、二値化処理部２２１が行う、対象領域の各画素が有する温度情報に基づき各画素を二値化することで対象領域内の１つ以上の温度候補領域を設定する処理を、「二値化処理」ともいう。

二値化処理部２２１について詳細に説明する。
まず、二値化処理部２２１の対象領域抽出部２２１１は、温度画像取得部２１が取得した温度画像の領域のうち、対象領域を抽出する。具体的には、対象領域抽出部２２１１は、温度画像の領域のうち、手対象領域および顔対象領域を抽出する。
ここで、図４および図５は、対象領域抽出部２２１１が温度画像の領域のうち対象領域を抽出するイメージの一例について説明するための図である。
図４は、温度画像取得部２１が取得した温度画像のイメージの一例を示し、図５は、対象領域抽出部２２１１が、図４に示す温度画像から抽出した対象領域のイメージの一例を示している。なお、図４および図５では、一例として、対象領域抽出部２２１１が手対象領域を抽出した場合のイメージを示している。対象領域抽出部２２１１は、顔対象領域についても抽出する。
図４に示す温度画像では、各四角は画素を示し、色の濃さで温度の高さを示している。なお、図４上、画素の色が濃いほど、温度が高いことを示している。

二値化処理部２２１は、対象領域抽出部２２１１が抽出した対象領域に対して、二値化処理を行う。
以下、二値化処理部２２１による二値化処理の詳細について、説明する。

まず、二値化処理部２２１は、対象領域抽出部２２１１が抽出した対象領域に基づいて、当該対象領域の画素を高温領域と低温領域にクラス分けした画像（以下「第１の二値画像」という。）を作成する。
具体的には、二値化処理部２２１は、対象領域に対して大津の二値化（１回目の大津の二値化）を行う。大津の二値化は既知の画像処理技術であるため、詳細な説明を省略する。
二値化処理部２２１は、対象領域に対して１回目の大津の二値化を行うことで、対象領域の画素について、対応する温度が閾値（以下「温度判定用閾値」という。）以上であるか否かによって高温領域と低温領域とにクラス分けし、第１の二値画像を作成する。
二値化処理部２２１は、対応する温度が温度判定用閾値以上の画素を高温領域にクラス分けし、対応する温度が温度判定用閾値未満の画素を低温領域にクラス分けする。

ここで、１回目の大津の二値化によってクラス分けされた高温領域および低温領域を、それぞれ、「１回目の高温領域」、「１回目の低温領域」とする。
また、二値化処理部２２１が１回目の大津の二値化を行うことで１回目の高温領域にクラス分けされた画素を「クラス１（１回目）」とする。また、二値化処理部２２１が１回目の大津の二値化を行うことで１回目の低温領域にクラス分けされた画素を「クラス０（１回目）」とする。
二値化処理部２２１は、作成した第１の二値画像において、クラス１（１回目）の画素値を「１」とし、クラス０（１回目）の画素値を「０」とする。

二値化処理部２２１は、さらに、対象領域において、１回目の大津の二値化にて「クラス０（１回目）」にクラス分けされた画素、言い換えれば、１回目の低温領域の画素の領域をマスクし、「クラス１（１回目）」にクラス分けされた画素の領域、言い換えれば、１回目の高温領域に対して、大津の二値化（２回目の大津の二値化）を行う。
二値化処理部２２１は、対象領域のうち１回目の高温領域に対して２回目の大津の二値化を行うことで、１回目の高温領域の画素について、対応する温度が温度判定用閾値以上であるか否かによって高温領域と低温領域とにクラス分けした画像（以下「第２の二値画像」という。）を作成する。なお、１回目の大津の二値化における温度判定用閾値と２回目の大津の二値化における温度判定用閾値は、異なる値である。
具体的には、二値化処理部２２１は、対応する温度が温度判定用閾値以上の画素を２回目の高温領域にクラス分けし、対応する温度が温度判定用閾値未満の画素を２回目の低温領域にクラス分けする。ここで、二値化処理部２２１は、対象領域の画素のうち、マスクした１回目の低温領域の画素も低温領域にクラス分けする。

２回目の大津の二値化によってクラス分けされた高温領域および低温領域を、それぞれ、「２回目の高温領域」、「２回目の低温領域」とする。
また、二値化処理部２２１が２回目の大津の二値化を行うことで２回目の高温領域にクラス分けされた画素を「クラス１（２回目）」とする。また、二値化処理部２２１が２回目の大津の二値化を行うことで２回目の低温領域にクラス分けされた画素を「クラス０（２回目）」とする。
二値化処理部２２１は、作成した第２の二値画像において、クラス１（２回目）の画素値を「１」とし、クラス０（２回目）の画素値を「０」とする。

以上のように、対象領域に対して２回、大津の二値化を行って第２の二値画像を作成すると、二値化処理部２２１は、第２の二値画像において、連続しているクラス１（２回目）の画素、言い換えれば、隣接するクラス１（２回目）の画素をグループ化して、１つの領域を設定する。具体的には、二値化処理部２２１は、クラス１（２回目）の画素のうちのある画素（以下「注目画素」という。）を中心とし、当該注目画素と縦および横にて接する４近傍画素にクラス１（２回目）の画素（以下「連結画素」という。）があれば、当該連結画素を注目画素と連結することでグループ化する。実施の形態１において、注目画素と縦および横にて接する４近傍画素のうちクラス１（２回目）の連結画素を注目画素と連結してグループ化する方法を、「４連結」という。

二値化処理部２２１は、第２の二値画像において、４連結によって注目画素と連結画素とが連結されてできた領域を、温度候補領域とする。温度候補領域は１つ以上設定され得る。
二値化処理部２２１は、設定した温度候補領域に、領域ラベルを付与する。温度候補領域が複数ある場合、二値化処理部２２１は、温度候補領域ごとに異なる領域ラベルを付与する。
実施の形態１において、二値化処理部２２１が温度候補領域を設定し、設定した温度候補領域に領域ラベルを付与した後の第２の二値画像を「ラベル画像」ともいう。

二値化処理部２２１は、ラベル画像上で、２回目の低温領域には、例えば「０」の領域ラベルを付与する。
そして、二値化処理部２２１は、ラベル画像上で設定した温度候補領域に対応する対象領域内の温度候補領域を、対象領域における温度候補領域と設定する。

二値化処理部２２１が行う二値化処理のイメージについて、図面を用いて具体的に説明する。
なお、以下の説明では、一例として、二値化処理部２２１は手対象領域に対して二値化処理を行ったものとして、当該二値化処理の詳細を説明する。二値化処理部２２１は、顔対象領域に対しても、手対象領域に対して行うのと同様の方法で二値化処理を行う。

図６は、実施の形態１にて、二値化処理部２２１が行う１回目の大津の二値化および２回目の大津の二値化のイメージを説明するための図である。
なお、図６は、二値化処理部２２１が、対象領域抽出部２２１１が抽出した手対象領域に対して行う、１回目の大津の二値化および２回目の大津の二値化のイメージを示している。図６は、一例として、二値化処理部２２１は、図５に示した手対象領域に対して大津の二値化を行うものとしている。
二値化処理部２２１は、対象領域抽出部２２１１が抽出した顔対象領域に対しても、手対象領域に対して行う大津の二値化と同様の方法で、大津の二値化を行う。

まず、二値化処理部２２１は、対象領域抽出部２２１１が抽出した手対象領域（図６の６０１参照）に対して、１回目の大津の二値化を行う。
これにより、二値化処理部２２１は、手対象領域の画素について、対応する温度が温度判定用閾値以上であるか否かによって１回目の高温領域と１回目の低温領域にクラス分けし、第１の二値画像を作成する（図６の６０２参照）。
図６の６０２に示す第１の二値画像において、１回目の高温領域にクラス分けされたクラス１（１回目）の画素を「１」、１回目の低温領域にクラス分けされたクラス０（１回目）の画素を「０」であらわしている。

二値化処理部２２１は、さらに、手対象領域において、１回目の低温領域の画素の領域をマスクし、１回目の高温領域（図６の６０３参照）に対して、２回目の大津の二値化を行う。
これにより、二値化処理部２２１は、１回目の大津の二値化を行った後の手対象領域の１回目の高温領域の画素について、対応する温度が温度判定用閾値以上であるか否かによって２回目の高温領域と２回目の低温領域とにクラス分けした第２の二値画像を作成する（図６の６０４参照）。二値化処理部２２１は、マスクした１回目の低温領域の画素も２回目の低温領域にクラス分けする。
図６の６０４に示す第２の二値画像において、２回目の高温領域にクラス分けされたクラス１（２回目）の画素を「１」、２回目の低温領域にクラス分けされたクラス０（２回目）の画素を「０」であらわしている。

二値化処理部２２１は、手対象領域に対して２回大津の二値化を行って第２の二値画像を作成すると、第２の二値画像において、４連結を行い、温度候補領域を設定する。そして、二値化処理部２２１は、設定した温度候補領域に領域ラベルを付与する。

図７は、実施の形態１において、二値化処理部２２１が温度候補領域を設定し、設定した温度候補領域に領域ラベルを付与した後のラベル画像の一例のイメージを説明するための図である。
図７は、二値化処理部２２１が、図６の６０４で示した第２の二値画像において温度候補領域を設定し、当該温度候補領域に領域ラベルを付与した後のラベル画像のイメージとしている。すなわち、二値化処理部２２１は、４連結を行ってクラス１（２回目）の画素をグループ化して設定した温度候補領域に領域ラベルを付与したものとしている。
例えば、二値化処理部２２１は、図７に示すように、３つの温度候補領域を設定し、各温度候補領域に、「１」～「３」の領域ラベルを付与する。例えば、二値化処理部２２１は、図７に示すように、温度候補領域の画素に、当該画素が含まれる温度候補領域に付与した領域ラベルを付与する（図７の７０１参照）。

一方、二値化処理部２２１は、２回目の低温領域には、例えば、「０」の領域ラベルを付与する。
二値化処理部２２１は、ラベル画像上で設定した温度候補領域に対応する、手対象領域内の温度候補領域を、手対象領域における温度候補領域に設定する。
二値化処理部２２１は、以上のように二値化処理を行うと、温度候補領域を設定した後の手対象領域（以下「候補領域設定後温度画像」という。後述の図８の７０２参照）と、ラベル画像を、推定処理部２２の候補領域温度算出部２２２および温度推定部２２３に出力する。

図３の説明に戻る。
候補領域温度算出部２２２は、対象領域における温度候補領域の画素が有する温度情報に基づいて、当該温度候補領域に対する領域温度を算出する。
具体的には、まず、候補領域温度算出部２２２は、二値化処理部２２１から出力された候補領域設定後温度画像とラベル画像とに基づき、候補領域設定後温度画像における温度候補領域について、当該温度候補領域に対して付与された領域ラベル毎の領域に分類分けする。
そして、候補領域温度算出部２２２は、領域ラベル毎に分類分けした温度候補領域に対して、それぞれ、領域温度を算出する。
具体的には、例えば、候補領域温度算出部２２２は、温度候補領域の画素が有する温度情報の中央値を算出し、算出した中央値を、当該温度候補領域の領域温度とする。

候補領域温度算出部２２２が、対象領域における温度候補領域の画素が有する温度情報に基づいて当該温度候補領域に対する領域温度を算出する方法の一例のイメージについて、図面を用いて説明する。
以下の説明では、一例として、候補領域温度算出部２２２は、手対象領域における温度候補領域の画素が有する温度情報に基づいて領域温度を算出するものとするが、候補領域温度算出部２２２は、顔対象領域に対しても、手対象領域に対して行うのと同様の方法で領域温度を算出する。

図８は、実施の形態１において、候補領域温度算出部２２２が、候補領域設定後温度画像とラベル画像とに基づき、候補領域設定後温度画像における温度候補領域について、当該温度候補領域に対して付与された領域ラベル毎の領域に分類分けするイメージを説明するための図である。
なお、図８において、ラベル画像は、図７に示したラベル画像（図７の７０１参照）としている。図８において、候補領域設定後温度画像は、二値化処理部２２１が、ラベル画像上で設定した温度候補領域に基づいて温度候補領域を設定した、候補領域設定後温度画像を示している（図８の７０２参照）。

今、図８に示すように、温度候補領域は３つ設定され、ラベル画像において、各温度候補領域には、それぞれ、領域ラベル「１」、「２」、「３」が付与されている。
候補領域温度算出部２２２は、候補領域設定後温度画像における温度候補領域について、領域ラベル「１」の温度候補領域（図８の８０１参照）、領域ラベル「２」の温度候補領域（図８の８０２参照）、および、領域ラベル「３」の温度候補領域（図８の８０３参照）に分類分けする。

図９は、実施の形態１において、候補領域温度算出部２２２が、分類分けした温度領域に対して、領域温度を算出するイメージについて説明するための図である。
なお、図９は、候補領域温度算出部２２２が、図８で示した領域ラベル「１」の温度候補領域、領域ラベル「２」の温度候補領域、および、領域ラベル「３」の温度候補領域について、それぞれ領域温度を算出するイメージを示している。
候補領域温度算出部２２２は、領域ラベル「１」の温度候補領域の画素が有する温度情報の中央値、領域ラベル「２」の温度候補領域の画素が有する温度情報の中央値、および、領域ラベル「３」の温度候補領域の画素が有する温度情報の中央値を算出する。
図９では、候補領域温度算出部２２２は、領域ラベル「１」の温度候補領域の画素が有する温度情報の中央値は３４．１℃、領域ラベル「２」の温度候補領域の画素が有する温度情報の中央値は３３．６℃、領域ラベル「３」の温度候補領域の画素が有する温度情報の中央値は３３．７℃と算出したとしている。

候補領域温度算出部２２２は、領域ラベル「１」の温度候補領域の領域温度を３４．１℃、領域ラベル「２」の温度候補領域の領域温度を３３．６℃、領域ラベル「３」の温度候補領域の領域温度を３３．７℃とする。

候補領域温度算出部２２２は、温度候補領域と領域温度とを対応付けた情報（以下「領域温度情報」という。）を、推定処理部２２の温度推定部２２３に出力する。

温度推定部２２３は、分離度を算出し、算出した分離度に基づいて、二値化処理部２２１が設定した、対象領域における温度候補領域のうちから１つ温度領域を決定し、当該温度領域に対する領域温度を、乗員の手および顔の温度と推定する。
実施の形態１において、「分離度」は、対象領域における温度候補領域の画素が有する温度情報が、対象領域のうち温度候補領域以外の領域の画素が有する温度情報に対してどれぐらい際立っているかを示す度合いである。

温度推定部２２３は、まず、以下の式（１）に基づいて、分離度を算出する。

分離度（％）＝クラス間分散（σ_ｂ ^２）÷全分散（σ_ｔ ^２）・・・（１）

上記において、クラス１（前景）は、候補領域設定後温度画像の全領域（対象領域）のうち、温度候補領域をいう。また、クラス２（背景）は、候補領域設定後温度画像（対象領域）のうち、温度候補領域以外の領域をいう。
温度推定部２２３は、温度候補領域毎に、分離度を算出する。

以下の説明では、一例として、温度推定部２２３は、手対象領域について、温度候補領域毎に分離度を算出するものとして説明するが、温度推定部２２３は、顔対象領域についても、手対象領域に対して行うのと同様の方法で、分離度を算出する。
ここで、図１０は、実施の形態１において、温度推定部２２３による分離度の算出の一例のイメージを示す図である。
図１０は、二値化処理部２２１から図８に示したような候補領域設定後温度画像（図８の７０２参照）およびラベル画像（図８の７０１参照）が出力された場合に、温度推定部２２３が、領域ラベル「１」～「３」が付与されている温度候補領域毎の分離度を算出するイメージを示している。

まず、温度推定部２２３は、二値化処理部２２１から出力された候補領域設定後温度画像とラベル画像とに基づき、領域ラベルが付与された温度候補領域毎に、クラス１（前景）を作成する（図１０の１００１，１００２，１００３参照）。
具体的には、温度推定部２２３は、候補領域設定後温度画像における温度候補領域について、温度候補領域に対して付与された領域ラベル毎に抽出し、クラス１（前景）を作成する。
なお、候補領域温度算出部２２２が、候補領域設定後温度画像における温度候補領域に対して付与された領域ラベル毎に分類分けを行った際に（図８参照）、クラス１（前景）を作成し、温度推定部２２３に出力するようにしてもよい。

温度推定部２２３は、クラス２（背景）を作成する。
具体的には、温度推定部２２３は、二値化処理部２２１から出力された候補領域設定後温度画像に基づき、温度候補領域以外の領域を抽出し、クラス２（背景）を作成する（図１０の１００４参照）。
そして、温度推定部２２３は、上記式（１）を用いて、温度候補領域毎の分離度を算出する。
図１０では、温度推定部２２３は、領域ラベル「１」が付与された温度候補領域の分離度１０％、領域ラベル「２」が付与された温度候補領域の分離度１４％、領域ラベル「３」が付与された温度候補領域の分離度３５％を算出したものとしている。

温度推定部２２３は、以上のように分離度を算出すると、算出した分離度に基づいて、温度候補領域のうちから１つ温度領域を決定する。
例えば、温度推定部２２３は、算出した分離度が最も大きい温度候補領域を、温度領域と決定する。図１０の例でいうと、温度推定部２２３は、領域ラベル「３」が付与された温度候補領域を、温度領域と決定する。すなわち、温度推定部２２３は、温度候補領域のうち、領域ラベル「３」が付与された温度候補領域を、手の温度をとらえた高温領域であると推定し、領域ラベル「１」および「２」が付与された温度候補領域については、手の温度をとらえた高温領域ではないと推定する。温度推定部２２３は、手の温度をとらえた高温領域ではないとした温度候補領域については、手の温度の推定に使用しないようにする。
そして、温度推定部２２３は、決定した温度領域に対する領域温度を、乗員の手および顔の温度と推定する。
温度推定部２２３は、決定した温度領域に対する領域温度を、候補領域温度算出部２２２から出力された領域温度情報から特定すればよい。
例えば、図１０の例でいうと、温度推定部２２３は、決定した温度領域（領域ラベル「３」が付与された温度候補領域）の領域温度３３．７℃（図９参照）を、乗員の手の温度と推定する。

温度推定部２２３は、推定した乗員の手および顔の温度に関する情報を信頼度推定部２３に出力する。推定した乗員の手および顔の温度に関する情報には、温度推定部２２３が推定した乗員の手および顔の温度の他に、対象領域における温度領域の情報、および、算出した温度領域の分離度が含まれる。

信頼度推定部２３は、温度推定部２２３が推定した乗員の手および顔の温度に関する情報に基づき、温度推定部２２３が推定した乗員の手および顔の温度の信頼度を推定する。
例えば、信頼度推定部２３は、機械学習における学習済みのモデル（以下「機械学習モデル」という。）を用いて信頼度を推定する。

図１１は、実施の形態１において、信頼度推定部２３が信頼度を推定する際に用いる機械学習モデル２３１のイメージを説明するための図である。
機械学習モデル２３１は、温度領域の領域温度と、温度領域の分離度と、対象領域において温度領域に外接する外接矩形の面積と、対象領域における外接矩形の位置情報と、外接矩形の縦の長さと、外接矩形の横の長さを入力とし、信頼度を出力するよう学習済みのモデルである。信頼度は、例えば、０～１の数値であらわされる。
乗員の手に対応する機械学習モデル２３１と乗員の顔に対応する機械学習モデル２３１とが、予め作成されている。機械学習モデル２３１は、例えば、ベイズモデル、または、ニューラルネットワークで構成される。

図１２は、実施の形態１において、機械学習モデル２３１の入力とする情報について詳細に説明するための図である。
図１２は、温度領域が１２０１で示す領域とした場合の、温度領域の領域温度（図１２の１２０２参照）と、分離度（図１２の１２０３参照）と、対象領域（図１２の１２０６参照）における外接矩形（図１２の１２０４参照）の面積（図１２の１２０５参照）と、対象領域における外接矩形の位置情報（図１２の１２０７参照）と、外接矩形の縦の長さ（図１２の１２０８参照）と、外接矩形の横の長さ（図１２の１２０９参照）を示している。

実施の形態１において、外接矩形の位置は、対象領域の左上を原点とした場合の、対象領域上の外接矩形の左上端の点の位置とする。外接矩形の位置は、外接矩形の左上端の点の位置の座標であらわされる。外接矩形の位置情報には、外接矩形の左上端の点のＸ座標およびＹ座標を含む。

機械学習モデル２３１は、予め、例えば、学習装置（図示省略）によって作成されている。
学習装置は、例えば、実験的に車両を走行させた際に撮像された温度画像と、当該車両に搭載されている乗員温度推定装置２が推定した乗員の手および顔の温度を取得する。そして、実験時に取得された温度画像から、領域温度、分離度、外接矩形の面積、外接矩形の位置情報、外接矩形の縦の長さ、および、外接矩形の横の長さを算出する。なお、領域温度は、乗員温度推定装置２が実験時に推定した乗員の手および顔の温度である。また、学習装置は、実験時に取得した乗員の手および顔の温度と、実験時の実際の乗員の手および顔の温度との誤差を、それぞれ算出する。なお、実際の乗員の手および顔の温度は、例えば、管理者等が手入力する。学習装置は、算出した誤差を教師データとする。
学習装置は、取得した、領域温度、分離度、外接矩形の面積、外接矩形の位置情報、外接矩形の縦の長さ、外接矩形の横の長さ、および、上記誤差を学習用データとして、いわゆる教師あり学習にて機械学習モデル２３１を学習させる。

今、信頼度推定部２３は、温度推定部２２３が推定した乗員の手の温度の信頼度を推定するとする。このとき、信頼度推定部２３は、温度推定部２２３が推定した乗員の手の温度、言い換えれば、温度推定部２２３が決定した温度領域の領域温度と、温度推定部２２３が算出した温度領域の分離度と、対象領域において温度領域に外接する外接矩形の面積と、対象領域における外接矩形の位置情報と、外接矩形の縦の長さと、外接矩形の横の長さを、乗員の手の温度の信頼度を推定するための機械学習モデル２３１の入力とし、得られた信頼度を、温度推定部２２３が推定した乗員の手の温度の信頼度とする。

実施の形態１において、信頼度推定部２３は、温度推定部２２３が推定した乗員の手および顔の温度の信頼度を、予め設定された算出ルールに従って推定するようにしてもよい。
算出ルールは、予め設定されている。算出ルールは適宜設定可能ではあるが、上述の、温度領域の領域温度と、温度領域の分離度と、対象領域において温度領域に外接する外接矩形の面積と、対象領域における外接矩形の位置情報と、外接矩形の縦の長さと、外接矩形の横の長さに基づいた算出ルールとする。

算出ルールは、具体的には、例えば、以下の内容とする。

＜算出ルール＞
信頼度は、温度領域の領域温度の評価値（第１評価値）と、温度領域の分離度の評価値（第２評価値）と、対象領域において温度領域に外接する外接矩形の面積の評価値（第３評価値）と、対象領域における外接矩形の位置情報の評価値（第４評価値）と、外接矩形の縦の長さの評価値（第５評価値）と、外接矩形の横の長さ（第６評価値）とを積算した結果とする。

第１評価値～第６評価値は、例えば、以下のとおり算出される。

第１評価値：温度領域の領域温度が閾値（第１閾値）以上のとき「１」、第１閾値未満のとき「０．５」
第２評価値：温度領域の分離度が閾値（第２閾値）以上のとき「１」、第２閾値未満のとき「０．５」
第３評価値：外接矩形の面積が閾値（第３閾値）以上のとき「１」、第３閾値未満のとき「０．５」
第４評価値：外接矩形の位置が予め定められた範囲内にあるとき「１」、予め定められた範囲内にないとき「０．５」
第５評価値：外接矩形の縦の長さが閾値（第５閾値）以上のとき「１」、第５閾値未満のとき「０．５」
第６評価値：外接矩形の横の長さが閾値（第６閾値）以上のとき「１」、第６閾値未満のとき「０．５」

信頼度推定部２３は、推定した信頼度に関する情報を、推定結果判定部２４に出力する。信頼度推定部２３は、温度推定部２２３が推定した手および顔の温度に関する情報を、推定した信頼度と対応付けて、推定結果判定部２４に出力する。

推定結果判定部２４は、信頼度推定部２３が推定した信頼度と、予め設定されている閾値（以下「信頼度判定用閾値」という。）との比較により、温度推定部２２３が推定した乗員の手および顔の温度を採用するか否かを判定する。

推定結果判定部２４は、例えば、信頼度が信頼度判定用閾値以上の場合、温度推定部２２３が推定した乗員の手および顔の温度は信頼できると判定し、当該乗員の手および顔の温度に関する情報を出力する。
なお、信頼度判定用閾値は、乗員の手および乗員の顔に対して、それぞれ、異なる値が設定されていてもよい。
推定結果判定部２４は、例えば、乗員の手の温度、または、乗員の顔の温度のうち、いずれか一方のみが信頼できると判定した場合、信頼できると判定した方の温度に関する情報のみ、出力するようにできる。また、推定結果判定部２４は、例えば、乗員の手の温度、または、乗員の顔の温度のうち、いずれか一方でも信頼できないと判定した場合は、乗員の手および顔の温度のいずれも信頼できないとし、いずれの温度に関する情報も出力しないようにしてもよい。

推定結果判定部２４による、乗員の手および顔の温度に関する情報の出力先は、例えば、後述の覚醒度検出部４および体感温度検出部５（図１７参照）である。なお、これは一例に過ぎず、推定結果判定部２４による、乗員の手および顔の温度に関する情報の出力先は、その他の装置であってもよい。
推定結果判定部２４は、例えば、信頼できると判定した乗員の手または顔の温度に関する情報を、記憶部（図示省略）に記憶させるようにしてもよい。

実施の形態１に係る乗員温度推定装置２の動作について説明する。
図１３は、実施の形態１に係る乗員温度推定装置２の動作を説明するためのフローチャートである。

温度画像取得部２１は、センサ１から温度画像を取得する（ステップＳＴ１３０１）。
温度画像取得部２１は、取得した温度画像を推定処理部２２に出力する。

推定処理部２２の二値化処理部２２１は、ステップＳＴ１３０１にて温度画像取得部２１が取得した温度画像の領域のうちの対象領域、言い換えれば、手対象領域および顔対象領域、の各画素が有する温度情報に基づき、各画素を二値化することで対象領域のうちの１つ以上の温度候補領域を設定する（ステップＳＴ１３０２）。
二値化処理部２２１は、温度候補領域を設定した後の、対象領域の候補領域設定後温度画像と、ラベル画像を、推定処理部２２の候補領域温度算出部２２２および温度推定部２２３に出力する。

候補領域温度算出部２２２は、対象領域における温度候補領域の画素が有する温度情報に基づいて、当該温度候補領域に対する領域温度を算出する（ステップＳＴ１３０３）。
候補領域温度算出部２２２は、温度候補領域と領域温度とを対応付けた領域温度情報を、推定処理部２２の温度推定部２２３に出力する。

温度推定部２２３は、分離度を算出し、算出した分離度に基づいて、ステップＳＴ１３０２にて二値化処理部２２１が設定した温度候補領域のうちから１つ温度領域を決定し、当該温度領域に対する領域温度を、乗員の手および顔の温度と推定する（ステップＳＴ１３０４）。
温度推定部２２３は、推定した乗員の手および顔の温度に関する情報を信頼度推定部２３に出力する。

信頼度推定部２３は、ステップＳＴ１３０４にて温度推定部２２３が推定した乗員の手および顔の温度に関する情報に基づき、温度推定部２２３が推定した乗員の手および顔の温度の信頼度を推定する（ステップＳＴ１３０５）。
信頼度推定部２３は、推定した信頼度に関する情報を、推定結果判定部２４に出力する。信頼度推定部２３は、温度推定部２２３が推定した手および顔の温度に関する情報を、推定した信頼度と対応付けて、推定結果判定部２４に出力する。

推定結果判定部２４は、ステップＳＴ１３０５にて信頼度推定部２３が推定した信頼度と、信頼度判定用閾値との比較により、温度推定部２２３が推定した乗員の手および顔の温度を採用するか否かを判定する（ステップＳＴ１３０６）。
推定結果判定部２４は、温度推定部２２３が推定した乗員の手および顔の温度を採用すると判定した場合、乗員の手および顔の温度に関する情報を出力する。

このように、実施の形態１に係る乗員温度推定装置２は、取得した温度画像の領域のうちの対象領域の各画素が有する温度情報に基づいて当該各画素を二値化することで対象領域における温度候補領域を設定し、当該温度候補領域に対する領域温度を算出する。そして、乗員温度推定装置２は、対象領域における温度候補領域に対して算出された分離度に基づき、温度候補領域のうちから温度領域を決定し、当該温度領域に対する領域温度を乗員の手または顔の温度と推定する。
これにより、乗員温度推定装置２は、従来の温度画像に基づく温度推定技術と比べ、温度画像に基づく乗員の手および顔の温度の推定精度を高めることができる。
また、乗員温度推定装置２は、解像度が中程度以下の温度画像からでも、乗員の手および顔の温度を精度よく推定することができる。従って、乗員温度推定システム１００は、乗員の手および顔の温度の推定に用いるセンサ１を、比較的安価なセンサ１とすることができる。また、乗員温度推定システム１００において、例えば、乗員の手および顔の温度の推定精度をあげるために、高精度のセンサを新たに設置する必要がなく、例えば、ドライバモニタリングシステムで用いているセンサ等、解像度が中程度以下の既存のセンサを流用して、精度よく乗員の手および顔の温度の推定を行うことができる。

また、実施の形態１に係る乗員温度推定装置２は、推定した乗員の手および顔の温度の信頼度を推定し、推定した信頼度と信頼度判定用閾値との比較により、推定した乗員の手および顔の温度を採用するか否かを判定する。
そのため、乗員温度推定装置２は、温度画像に基づく乗員の手および顔の温度の推定精度をより高め、乗員の手および顔の温度の推定結果について、信頼度の低い推定結果を、他の装置等にて使用されないようにすることができる。

以上の実施の形態１において、乗員温度推定装置２は、カメラが撮像したカメラ画像に基づいて判定した乗員の状況を考慮して、推定した乗員の手および顔の温度が信頼できるか否かを判定するようにすることができるので、以下、詳細に説明する。

図１４は、実施の形態１において、乗員の状況を考慮して推定した乗員の手および顔の温度が信頼できるか否かを判定するようにした乗員温度推定装置２ａ、および、当該乗員温度推定装置２ａを備えた乗員温度推定システム１００ａの構成例を示す図である。
図１４において、図１を用いて説明した乗員温度推定システム１００、および、図３を用いて説明した乗員温度推定装置２と同様の構成については同じ符号を付して重複した説明を省略する。

乗員温度推定システム１００ａは、カメラ３を備える。
カメラ３は、例えば、可視光カメラ、または、赤外線カメラであり、車両に搭載される。カメラ３は、車室内を撮像し、カメラ画像を取得する。カメラ３は、車室内の乗員の手または顔の領域が撮像可能な位置に設置される。すなわち、カメラ３の撮像範囲には、乗員の顔または手を含む領域が含まれる。なお、カメラ３とセンサ１の撮像範囲は同じでなくてよい。カメラ３は、いわゆるドライバモニタリングシステムと共用のものであってもよい。
カメラ３はカメラ画像を乗員温度推定装置２ａに出力する。

乗員温度推定装置２ａは、乗員温度推定装置２とは、カメラ画像取得部２５、および、状況検出部２６を備えた点が異なる。

カメラ画像取得部２５は、カメラ３が車室内の乗員を撮像したカメラ画像を取得する。
カメラ画像取得部２５は、取得したカメラ画像を、状況検出部２６に出力する。

状況検出部２６は、カメラ画像取得部２５が取得したカメラ画像に基づいて乗員の状況を検出する。実施の形態１において、状況検出部２６が検出する乗員の状況とは、乗員の手および顔の温度の検出を妨げると想定される状況である。
具体的には、状況検出部２６は、例えば、カメラ画像取得部２５が取得したカメラ画像における乗員の髪の領域、または、乗員の顔向き角度に基づいて、温度画像取得部２１が取得した温度画像における乗員の髪の領域、または、乗員の顔向き角度を検出する。
なお、乗員温度推定装置２ａでは、温度画像取得部２１は、温度画像を推定処理部２２および状況検出部２６に出力する。
状況検出部２６は、既知の画像処理技術を用いて、カメラ画像における乗員の髪の領域、または、乗員の顔向き角度を検出すればよい。
カメラ３の設置位置と画角、および、センサ１の設置位置と画角は予めわかっているので、状況検出部２６は、カメラ画像における乗員の髪の領域、または、カメラ３に対する乗員の顔向き角度を検出すると、温度画像における乗員の髪の領域、または、センサ１に対する乗員の顔向き角度を検出できる。なお、センサ１に対する乗員の顔向き角度が大きいほど、乗員の顔がセンサ１の方を向いていない、言い換えれば、乗員の顔の温度の検出を妨げると想定される状況であることになる。
状況検出部２６は、検出した乗員の状況に関する情報、具体的には、例えば、温度画像における乗員の髪の領域に関する情報、または、乗員の顔向き角度に関する情報を、推定結果判定部２４に出力する。

推定結果判定部２４は、状況検出部２６が検出した乗員の髪の領域が、予め設定された閾値（以下「髪領域判定用閾値」という。）以上である場合、または、状況検出部２６が検出した乗員の顔向き角度が、予め設定された閾値（以下「顔向き角度判定用閾値」という。）以上である場合は、温度推定部２２３が推定した乗員の顔の温度を採用しない。
髪領域判定用閾値には、温度画像にて十分に顔の温度が検出されなくなる程度の領域の大きさが設定される。また、顔向き角度判定用閾値には、温度画像にて十分に顔の温度が検出されなくなる程度の顔向き角度が設定される。

ここで、図１５Ａ，図１５Ｂは、推定結果判定部２４が、温度推定部２２３が推定した乗員の顔の温度を採用すると判定する場合と、採用しないと判定する場合の、乗員の状況の一例のイメージについて説明するための図である。
なお、図１５Ａは、推定結果判定部２４が、温度推定部２２３が推定した乗員の顔の温度を採用すると判定する場合の一例のイメージであり、図１５Ｂは、推定結果判定部２４が、温度推定部２２３が推定した乗員の顔の温度を採用しないと判定する場合の一例のイメージである。
図１５Ａは、カメラ３が撮像したカメラ画像１５０１ａのイメージの一例を示している。説明の便宜上、カメラ３がカメラ画像１５０１ａを撮像した際の車室内の状況と同じ状況でセンサ１が撮像した温度画像１５０２ａを、カメラ画像１５０１ａと重畳して示している。
図１５Ｂは、カメラ３が撮像した、その他のカメラ画像１５０１ｂのイメージの一例を示している。説明の便宜上、カメラ３がカメラ画像１５０１ｂを撮像した車室内の状況と同じ状況でセンサ１が撮像した温度画像１５０２ｂを、カメラ画像１５０１ａと重畳して示している。

図１５Ａに示すカメラ画像１５０１ａでは、乗員は髪の毛が顔にあたっている部分は少ない（図１５Ａの１５０３ａ参照）。温度画像１５０２ａでは、乗員の顔の部分が高温になり顔の温度をとらえていることがわかる。

一方、図１５Ｂに示すカメラ画像１５０１ｂでは、乗員の髪の毛で乗員の顔の大部分が隠れている（図１５Ｂの１５０３ｂ参照）。温度画像１５０２ｂでは、乗員の顔の部分の温度がとらえられていない。

このように、例えば、乗員の髪の毛で乗員の顔の大部分が隠れているような場合、温度画像上では乗員の顔の部分の温度が検出されないので、乗員温度推定装置２では、温度画像に基づいて、乗員の顔の領域を高温領域と判定できない可能性がある。すなわち、乗員温度推定装置２は、乗員の顔の温度を誤推定する可能性がある。
なお、上述の図１５Ａおよび図１５Ｂでは、乗員の髪の毛が顔を覆っている場合の例を示したが、例えば、乗員の顔がセンサ１とは異なる方向に向いている場合も、温度画像において乗員の顔の温度をとらえられない。

そこで、乗員温度推定装置２ａは、状況検出部２６を備えるようにし、推定結果判定部２４は、例えば、状況検出部２６が検出した乗員の髪の領域が髪領域判定用閾値以上である場合は、温度推定部２２３が推定した乗員の手および顔の温度を採用しないようにする。
これにより、乗員温度推定装置２ａは、乗員の顔の温度の誤推定を防ぐことができる。

なお、例えば上述の図１５Ａおよび図１５Ｂでは、温度画像において乗員の顔の温度をとらえられない場合の例を示したが、例えば、乗員の手が衣類等の物体に覆われている場合も、温度画像において乗員の手の温度をとらえられない。この場合、状況検出部２６は、例えば、手が物体に覆われている領域を検出し、推定結果判定部２４は、手が物体に覆われている領域が予め設定された閾値（以下「物体領域判定用閾値」という。）以上である場合は、温度推定部２２３が推定した乗員の手および顔の温度を採用しないようにするようにしてもよい。物体領域判定用閾値には、温度画像にて十分に手の温度が検出されなくなる程度の領域の大きさが設定される。

図１６は、実施の形態１において、乗員の状況を考慮して推定した乗員の手および顔の温度が信頼できるか否かを判定するようにした乗員温度推定装置２ａの動作について説明するためのフローチャートである。

図１６のステップＳＴ１６０１～ステップＳＴ１６０５の具体的な動作は、それぞれ、説明済みの、図１３のステップＳＴ１３０１～ステップＳＴ１３０５の具体的な動作と同様であるため、重複した説明を省略する。

カメラ画像取得部２５は、カメラ３が車室内の乗員を撮像したカメラ画像を取得する（ステップＳＴ１６０６）。
カメラ画像取得部２５は、取得したカメラ画像を、状況検出部２６に出力する。

状況検出部２６は、ステップＳＴ１６０６にてカメラ画像取得部２５が取得したカメラ画像に基づいて乗員の状況を検出する（ステップＳＴ１６０７）。
状況検出部２６は、検出した乗員の状況に関する情報、具体的には、例えば、温度画像における乗員の髪の領域に関する情報、または、乗員の顔向き角度に関する情報を、推定結果判定部２４に出力する。

推定結果判定部２４は、ステップＳＴ１６０７にて状況検出部２６が検出した乗員の髪の領域が、予め設定された髪領域判定用閾値以上である場合、または、状況検出部２６が、検出した乗員の顔向き角度が顔向き角度判定用閾値以上である場合は、温度推定部２２３が推定した乗員の顔の温度を採用しない（ステップＳＴ１６０８）。

以上の説明では、乗員温度推定装置２ａにおいて、推定結果判定部２４が、状況検出部２６が検出した乗員の状況の検出結果によっては、温度推定部２２３が推定した乗員の手および顔の温度を採用しないようにしていた。これに限らず、乗員温度推定装置２ａにおいて、例えば、信頼度推定部２３が、状況検出部２６が検出した乗員の状況の検出結果によっては、温度推定部２２３が推定した乗員の手および顔の温度の信頼度は低いと推定するようにしてもよい。具体的には、例えば、状況検出部２６が検出した乗員の髪の領域が予め設定された髪領域判定用閾値以上である場合、または、状況検出部２６が検出した乗員の顔向き角度が顔向き角度判定用閾値以上である場合、信頼度推定部２３は、温度推定部２２３が推定した乗員の手および顔の温度の信頼度を、信頼度判定用閾値未満の値とする。
信頼度推定部２３が推定した乗員の手および顔の温度の信頼度を、信頼度判定用閾値未満の値とすることで、推定結果判定部２４にて当該温度は信頼できないと判定され、出力されないようにできる。

実施の形態１に係る乗員温度推定装置２が推定した乗員の手および顔の温度に関する情報は、乗員状態検出装置において、乗員の覚醒度の検出、または、乗員の体感温度の検出のために用いられる。
図１７は、実施の形態１に係る乗員温度推定装置２を備えた乗員状態検出装置１０１の構成例を示す図である。
なお、図１７において、乗員状態検出装置１０１が備える乗員温度推定装置２の構成は、図３を用いて説明した乗員温度推定装置２の構成と同様であるため、重複した説明を省略する。
また、図１７では、乗員状態検出装置１０１は、図３を用いて説明した乗員温度推定装置２を備えるものとしているが、乗員状態検出装置１０１は、図１４を用いて説明した乗員温度推定装置２ａを備えるものとしてもよい。

乗員状態検出装置１０１は、乗員温度推定装置２が推定した乗員の手および顔の温度に関する情報を用いて、乗員の覚醒度を検出する。また、乗員状態検出装置１０１は、乗員温度推定装置２が推定した乗員の手および顔の温度に関する情報を用いて、乗員の体感温度を検出する。
乗員状態検出装置１０１は、例えば、車両に搭載される。

乗員状態検出装置１０１は、乗員温度推定装置２、覚醒度検出部４、および、体感温度検出部５を備える。

覚醒度検出部４は、乗員温度推定装置２が推定した乗員の手および顔に関する温度に基づき、乗員の覚醒度を検出する。
覚醒度検出部４は、乗員の手の温度と顔の温度の差に基づき、乗員の覚醒度を検出する。例えば、覚醒度は高いまたは低いが検出され、覚醒度検出部４は、乗員の手の温度と顔の温度の差が閾値以下である場合、乗員の覚醒度は低いと検出する。なお、上述した覚醒度の検出方法は一例に過ぎない。覚醒度検出部４は、既知の、手と顔の温度から覚醒度を検出する技術を用いて、乗員の覚醒度を検出すればよい。

覚醒度検出部４は、検出した覚醒度に関する情報を、例えば、警報システム（図示省略）または自動運転システム（図示省略）に出力する。
警報システムは、例えば、覚醒度検出部４から検出された覚醒度に基づき、車両の乗員に対する警告を行う。具体的には、警報システムは、例えば、覚醒度が低いと検出された場合、車両に搭載されているスピーカ等の音声出力装置から、警告音を出力する。
また、自動運転システムは、例えば、覚醒度検出部４から検出された覚醒度に基づき、車両の運転制御を自動運転制御へ切り替える。
これらにより、乗員への運転支援機能を実現する。

体感温度検出部５は、乗員の手の温度と顔の温度に基づき、乗員の体感温度を検出する。体感温度検出部５は、既知の、手と顔の温度から体感温度を検出する技術を用いて、乗員の体感温度を検出すればよい。
体感温度検出部５は、検出した体感温度に関する情報を、例えば、空調システム（図示省略）に出力する。
空調システムは、例えば、体感温度検出部５から検出された体感温度に基づき、車両に搭載されている空調機（図示省略）を制御する。これにより、乗員にとって快適な空調制御が実現される。

実施の形態１に係る乗員状態検出装置１０１の動作について説明する。
図１８は、実施の形態１に係る乗員状態検出装置１０１の動作について説明するためのフローチャートである。
なお、乗員状態検出装置１０１では、図１８で示す動作の前に、図１３のステップＳＴ１３０１～ステップＳＴ１３０６で説明した乗員温度推定装置２の動作が行われる。図１３の動作については説明済みであるため、重複した説明を省略する。

乗員温度推定装置２の推定結果判定部２４が乗員の手および顔の温度に関する情報を出力すると、覚醒度検出部４は、乗員温度推定装置２が推定した乗員の手および顔に関する温度に基づき、乗員の覚醒度を検出する（ステップＳＴ１８０１）。
覚醒度検出部４は、検出した覚醒度に関する情報を、例えば、警報システムまたは自動運転システムに出力する。

体感温度検出部５は、乗員の手の温度と顔の温度の差に基づき、乗員の体感温度を検出する（ステップＳＴ１８０２）。
体感温度検出部５は、検出した体感温度に関する情報を、例えば、空調システムに出力する。

なお、図１８のフローチャートにおいて、ステップＳＴ１８０１の動作とステップＳＴ１８０２の動作の順番は入れ替わってもよいし、ステップＳＴ１８０１の動作とステップＳＴ１８０２の動作とが並行して行われてもよい。

このように、実施の形態１に係る乗員状態検出装置１０１は、乗員温度推定装置２が推定した乗員の手および顔の温度に基づき、乗員の覚醒度を検出することができる。当該乗員の覚醒度に基づいて、例えば、警報システムまたは自動運転システムにおいて乗員への運転支援機能が実現される。

また、実施の形態１に係る乗員状態検出装置１０１は、乗員温度推定装置２が推定した乗員の手および顔の温度に基づき、乗員の体感温度を検出することができる。当該乗員の体感温度に基づいて、例えば、空調システムにおいて、乗員にとって快適な空調制御が実現される。

図１９Ａ，図１９Ｂは、実施の形態１に係る乗員温度推定装置２のハードウェア構成の一例を示す図である。
実施の形態１において、温度画像取得部２１と、推定処理部２２と、信頼度推定部２３と、推定結果判定部２４の機能は、処理回路１９０１により実現される。すなわち、乗員温度推定装置２は、温度画像に基づき車室内の乗員の手および顔の温度を推定するための処理回路１９０１を備える。
処理回路１９０１は、図１９Ａに示すように専用のハードウェアであっても、図１９Ｂに示すようにメモリ１９０５に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１９０４であってもよい。

処理回路１９０１が専用のハードウェアである場合、処理回路１９０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

処理回路１９０１がＣＰＵ１９０４の場合、温度画像取得部２１と、推定処理部２２と、信頼度推定部２３と、推定結果判定部２４の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１９０５に記憶される。処理回路１９０１は、メモリ１９０５に記憶されたプログラムを読み出して実行することにより、温度画像取得部２１と、推定処理部２２と、信頼度推定部２３と、推定結果判定部２４の機能を実行する。すなわち、乗員温度推定装置２は、処理回路１９０１により実行されるときに、上述の図１３のステップＳＴ１３０１～ステップＳＴ１３０６が結果的に実行されることになるプログラムを格納するためのメモリ１９０５を備える。また、メモリ１９０５に記憶されたプログラムは、温度画像取得部２１と、推定処理部２２と、信頼度推定部２３と、推定結果判定部２４の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ１９０５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、温度画像取得部２１と、推定処理部２２と、信頼度推定部２３と、推定結果判定部２４の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、温度画像取得部２１については専用のハードウェアとしての処理回路１９０１でその機能を実現し、推定処理部２２と、信頼度推定部２３と、推定結果判定部２４については処理回路１９０１がメモリ１９０５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、乗員温度推定装置２は、センサ１等の装置と、有線通信または無線通信を行う入力インタフェース装置１９０２および出力インタフェース装置１９０３を備える。
なお、乗員温度推定装置２ａのハードウェア構成は、乗員温度推定装置２のハードウェア構成と同様である。
カメラ画像取得部２５と状況検出部２６の機能は、処理回路１９０１により実現される。すなわち、乗員温度推定装置２ａは、温度画像に基づき車室内の乗員の手および顔の温度を推定するとともに、乗員の状況に応じて推定した乗員の手または顔の温度の推定結果を採用しないと判定する制御を行うための処理回路１９０１を備える。
処理回路１９０１は、メモリ１９０５に記憶されたプログラムを読み出して実行することにより、カメラ画像取得部２５と状況検出部２６の機能を実行する。すなわち、乗員温度推定装置２ａは、処理回路１９０１により実行されるときに、上述の図１６のステップＳＴ１６０６～ステップＳＴ１６０７が結果的に実行されることになるプログラムを格納するためのメモリ１９０５を備える。また、メモリ１９０５に記憶されたプログラムは、カメラ画像取得部２５と状況検出部２６の手順または方法をコンピュータに実行させるものであるとも言える。
乗員温度推定装置２ａは、センサ１またはカメラ３等の装置と、有線通信または無線通信を行う入力インタフェース装置１９０２および出力インタフェース装置１９０３を備える。

実施の形態１に係る乗員状態検出装置１０１のハードウェア構成は、乗員温度推定装置２のハードウェア構成と同様である。
覚醒度検出部４と体感温度検出部５の機能は、処理回路１９０１により実現される。すなわち、乗員状態検出装置１０１は、乗員温度推定装置２が推定した乗員の手および顔の温度に基づいて乗員の覚醒度または体感温度を検出する制御を行うための処理回路１９０１を備える。
処理回路１９０１は、メモリ１９０５に記憶されたプログラムを読み出して実行することにより、覚醒度検出部４と体感温度検出部５の機能を実行する。すなわち、乗員状態検出装置１０１は、処理回路１９０１により実行されるときに、上述の図１８のステップＳＴ１８０１～ステップＳＴ１８０２が結果的に実行されることになるプログラムを格納するためのメモリ１９０５を備える。また、メモリ１９０５に記憶されたプログラムは、覚醒度検出部４と体感温度検出部５の手順または方法をコンピュータに実行させるものであるとも言える。
乗員状態検出装置１０１は、センサ１または空調等の装置と、有線通信または無線通信を行う入力インタフェース装置１９０２および出力インタフェース装置１９０３を備える。

以上の実施の形態１では、乗員温度推定装置２，２ａにおいて、二値化処理部２２１は、大津の二値化を２回行うものとするが、これは一例に過ぎず、二値化処理部２２１は、大津の二値化を１回だけ行うようにしてもよい。
ただし、二値化処理部２２１は、大津の二値化を２回行うようにしたほうが、より精度よく温度候補領域を設定できる。
上述のとおり、温度画像は中程度以下の解像度の画像であるため、温度画像上、乗員の手と手以外、または、乗員の顔と顔以外の境目がぼやけてうつる。したがって、大津の二値化を１回行っただけでは、上記境目がはっきりせず、乗員の手または顔を含む比較的大きい領域が温度候補領域に設定される。
大津の二値化を２回行うことで、二値化処理部２２１は、温度候補領域のさらなる絞り込みができる。そのため、二値化処理部２２１は、より周辺との分離性が高まった、乗員の手および顔の、比較的中心部分を含む温度候補領域を設定することができる。その結果、温度推定部２２３が温度領域を決定する際、より分離性が高まった、乗員の手および顔の比較的中心部分を含む温度候補領域を温度領域に決定し、乗員の手および顔の温度の推定精度をあげることができる。

また、以上の実施の形態１では、二値化処理部２２１は、大津の二値化を行うことによって、対象領域の各画素を二値化した二値画像を作成するものとしたが、これは一例に過ぎない。二値化処理部２２１は、大津の二値化以外の方法で、対象領域の各画素の二値化を行ってもよい。例えば、二値化処理部２２１は、既知の他の画像処理手段を用いて、対象領域の各画素の二値化を行ってもよい。

また、以上の実施の形態１において、乗員温度推定装置２，２ａは、信頼度推定部２３および推定結果判定部２４を備えるものとしたが、信頼度推定部２３および推定結果判定部２４を備えることは必須ではない。

また、以上の実施の形態１において、乗員温度推定装置２，２ａは、車両に搭載される車載装置とし、温度画像取得部２１と推定処理部２２と信頼度推定部２３と推定結果判定部２４とカメラ画像取得部２５と状況検出部２６とは、乗員温度推定装置２，２ａに備えられているものとした。これに限らず、温度画像取得部２１と推定処理部２２と信頼度推定部２３と推定結果判定部２４とカメラ画像取得部２５と状況検出部２６のうち、一部を車両の車載装置に搭載されるものとし、その他を当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとでシステムを構成するようにしてもよい。

また、以上の実施の形態１において、乗員状態検出装置１０１は、乗員温度推定装置２と覚醒度検出部４と体感温度検出部５を備えるものとしたが、これは一例に過ぎない。例えば、乗員温度推定装置２、覚醒度検出部４、または、体感温度検出部５のうちのいずれかが、乗員状態検出装置１０１の外部に設けられるようになっていてもよい。

また、以上の実施の形態１では、乗員の体の部位は手または顔としたが、これは一例に過ぎない。乗員温度推定装置２，２ａは、手および顔以外の乗員の体の部位の温度を推定してもよい。乗員温度推定装置２，２ａは、乗員の手または顔のうち少なくとも一方の温度を推定するようになっていればよい。

また、以上の実施の形態１において、乗員は、車両のドライバを想定していたが、これは一例に過ぎない。乗員は、例えば、助手席の乗員等、ドライバ以外の乗員であってもよい。

以上のように、実施の形態１によれば、乗員温度推定装置２，２ａは、車室内を撮像した温度画像であって、画素が温度情報を有する温度画像を取得する温度画像取得部２１と、温度画像取得部２１が取得した温度画像の領域のうちの車室内に存在する乗員の体の部位の温度を推定する対象領域の各画素が有する温度情報に基づいて当該各画素を二値化することで、対象領域における温度候補領域を設定する二値化処理部２２１と、対象領域における温度候補領域の画素が有する温度情報に基づいて、当該温度候補領域に対する領域温度を算出する候補領域温度算出部２２２と、対象領域における温度候補領域に対して算出された、当該温度候補領域の画素が有する温度情報が前記対象領域のうち温度候補領域以外の領域の画素が有する温度情報に対してどれぐらい際立っているかを示す分離度に基づき、温度候補領域のうちから温度領域を決定し、当該温度領域に対する領域温度を前記乗員の体の部位の温度と推定する温度推定部２２３とを備えるように構成した。
そのため、乗員温度推定装置２，２ａは、従来の温度画像に基づく温度推定技術と比べ、温度画像に基づく乗員の手および顔の温度の推定精度を高めることができる。
また、乗員温度推定装置２，２ａは、解像度が中程度以下の温度画像からでも、乗員の手および顔の温度を精度よく推定することができる。

また、実施の形態１によれば、乗員温度推定装置２，２ａは、温度推定部２２３が推定した乗員の体の部位の温度の信頼度を推定する信頼度推定部２３と、信頼度推定部２３が推定した信頼度と信頼度判定用閾値との比較により、温度推定部２２３が推定した乗員の体の部位の温度を採用するか否かを判定する推定結果判定部２４を備えるように構成した。
そのため、乗員温度推定装置２，２ａは、温度画像に基づく乗員の手および顔の温度の推定精度をより高め、乗員の手および顔の温度の推定結果について、信頼度の低い推定結果を、他の装置等にて使用されないようにすることができる。

なお、本開示は、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

本開示に係る乗員温度推定装置は、従来の温度画像に基づく温度推定技術と比べ、温度画像に基づく乗員の手および顔の温度の推定精度を高めることができる。

１ センサ、２，２ａ 乗員温度推定装置、３ カメラ、４ 覚醒度検出部、５ 体感温度検出部、２１ 温度画像取得部、２２ 推定処理部、２２１ 二値化処理部、２２１１ 対象領域抽出部、２２２ 候補領域温度算出部、２２３ 温度推定部、２３ 信頼度推定部、２４ 推定結果判定部、２５ カメラ画像取得部、２６ 状況検出部、１００ 乗員温度推定システム、１０１ 乗員状態検出装置、２３１ 機械学習モデル、１９０１ 処理回路、１９０２ 入力インタフェース装置、１９０３ 出力インタフェース装置、１９０４ ＣＰＵ、１９０５ メモリ。

Claims (13)

1. 車室内を撮像した温度画像であって、画素が温度情報を有する温度画像を取得する温度画像取得部と、
   前記温度画像取得部が取得した温度画像の領域のうちの車室内に存在する乗員の体の部位の温度を推定する対象領域の各画素が有する温度情報に基づいて当該各画素を二値化することで、前記対象領域における温度候補領域を設定する二値化処理部と、
   前記対象領域における温度候補領域の画素が有する温度情報に基づいて、当該温度候補領域に対する領域温度を算出する候補領域温度算出部と、
   前記対象領域における温度候補領域に対して算出された、当該温度候補領域の画素が有する温度情報が前記対象領域のうち前記温度候補領域以外の領域の画素が有する温度情報に対してどれぐらい際立っているかを示す分離度に基づき、前記温度候補領域のうちから温度領域を決定し、当該温度領域に対する前記領域温度を前記乗員の体の部位の温度と推定する温度推定部
   とを備えた乗員温度推定装置。
2. 前記温度推定部が推定した前記乗員の体の部位の温度の信頼度を推定する信頼度推定部と、
   前記信頼度推定部が推定した信頼度と信頼度判定用閾値との比較により、前記温度推定部が推定した前記乗員の体の部位の温度を採用するか否かを判定する推定結果判定部
   とを備えた請求項１記載の乗員温度推定装置。
3. 前記乗員の体の部位は、前記乗員の手および顔のうち少なくとも一方である
   ことを特徴とする請求項１記載の乗員温度推定装置。
4. 前記二値化処理部は、
   大津の二値化によって、前記対象領域の各画素が有する温度情報に基づいて当該各画素を二値化する
   ことを特徴とする請求項１記載の乗員温度推定装置。
5. 前記二値化処理部は、
   前記対象領域の各画素が有する温度情報に基づき、前記対象領域における温度候補領域の画素について、対応する温度が温度判定用閾値以上であるか否かによって高温領域と低温領域とにクラス分けし、前記高温領域にクラス分けされた画素をグループ化して前記温度候補領域を設定する
   ことを特徴とする請求項１記載の乗員温度推定装置。
6. 前記信頼度推定部は、
   前記候補領域温度算出部が算出した領域温度と、前記分離度と、前記温度領域に外接する外接矩形の面積と、前記対象領域における前記外接矩形の位置情報と、前記外接矩形の横の長さと、前記外接矩形の縦の長さに基づき、前記信頼度を推定する
   ことを特徴とする請求項２記載の乗員温度推定装置。
7. 前記信頼度推定部は、
   前記候補領域温度算出部が算出した領域温度と、前記分離度と、前記温度領域に外接する外接矩形の面積と、前記対象領域における前記外接矩形の位置情報と、前記外接矩形の横の長さと、前記外接矩形の縦の長さを入力とし前記信頼度を出力する機械学習モデルを用いて、前記信頼度を推定する
   ことを特徴とする請求項２記載の乗員温度推定装置。
8. 前記乗員を撮像したカメラ画像を取得するカメラ画像取得部と、
   前記カメラ画像取得部が取得したカメラ画像における前記乗員の髪の領域、または、前記乗員の顔向き角度に基づいて、前記温度画像における前記乗員の髪の領域、または、前記乗員の顔向き角度を検出する状況検出部を備え、
   前記推定結果判定部は、前記状況検出部が検出した前記乗員の髪の領域が髪領域判定用閾値以上である場合、または、前記状況検出部が検出した前記乗員の顔向き角度が顔向き角度判定用閾値以上である場合は、前記温度推定部が推定した前記乗員の体の部位の温度を採用しない
   ことを特徴とする請求項２記載の乗員温度推定装置。
9. 請求項１から請求項８のうちのいずれか１項記載の乗員温度推定装置と、
   前記乗員温度推定装置が推定した前記乗員の手または顔の温度を用いて前記乗員の覚醒度を検出する覚醒度検出部
   とを備えた乗員状態検出装置。
10. 請求項１から請求項８のうちのいずれか１項記載の乗員温度推定装置と、
    前記乗員温度推定装置が推定した前記乗員の手または顔の温度を用いて前記乗員の体感温度を検出する体感温度検出部
    とを備えた乗員状態検出装置。
11. 温度画像取得部が、車室内を撮像した温度画像であって、画素が温度情報を有する温度画像を取得するステップと、
    二値化処理部が、前記温度画像取得部が取得した温度画像の領域のうちの車室内に存在する乗員の体の部位の温度を推定する対象領域の各画素が有する温度情報に基づいて当該各画素を二値化することで、前記対象領域における温度候補領域を設定するステップと、
    候補領域温度算出部が、前記対象領域における温度候補領域の画素が有する温度情報に基づいて、当該温度候補領域に対する領域温度を算出するステップと、
    温度推定部が、前記対象領域における温度候補領域に対して算出された、当該温度候補領域の画素が有する温度情報が前記対象領域のうち前記温度候補領域以外の領域の画素が有する温度情報に対してどれぐらい際立っているかを示す分離度に基づき、前記温度候補領域のうちから温度領域を決定し、当該温度領域に対する前記領域温度を前記乗員の体の部位の温度と推定するステップ
    とを備えた乗員温度推定方法。
12. 車室内を撮像した温度画像であって、画素が温度情報を有する温度画像を撮像するセンサと、
    前記センサが撮像した温度画像を取得する温度画像取得部と、
    前記温度画像取得部が取得した温度画像の領域のうちの車室内に存在する乗員の体の部位の温度を推定する対象領域の各画素が有する温度情報に基づいて当該各画素を二値化することで、前記対象領域における温度候補領域を設定する二値化処理部と、
    前記対象領域における温度候補領域の画素が有する温度情報に基づいて、当該温度候補領域に対する領域温度を算出する候補領域温度算出部と、
    前記対象領域における温度候補領域に対して算出された、当該温度候補領域の画素が有する温度情報が前記対象領域のうち前記温度候補領域以外の領域の画素が有する温度情報に対してどれぐらい際立っているかを示す分離度に基づき、前記温度候補領域のうちから温度領域を決定し、当該温度領域に対する前記領域温度を前記乗員の体の部位の温度と推定する温度推定部
    とを備えた乗員温度推定システム。
13. 前記センサは赤外線アレイセンサである
    ことを特徴とする請求項１２記載の乗員温度推定システム。

Images