JP6581482B2

JP6581482B2 - 画像認識装置

Info

Publication number: JP6581482B2
Application number: JP2015228897A
Authority: JP
Inventors: 督之市原; 久貴加藤; 泰典川口
Original assignee: Yazaki Corp
Current assignee: Yazaki Corp
Priority date: 2015-11-24
Filing date: 2015-11-24
Publication date: 2019-09-25
Anticipated expiration: 2035-11-24
Also published as: JP2017097607A

Description

本発明は、撮影対象の３次元認識が可能な距離画像センサから入力される信号に基づいて人間の挙動を認識する画像認識装置に関する。

例えば、車両上に搭載された様々な車載機器を運転者が操作する場合には、通常は、各々の車載機器を操作するために様々な箇所に設けられた専用のボタンを操作する必要がある。しかし、操作の度に目的のボタンが存在する位置を探して、その位置に指を位置合わせしなければならないので、この操作のために運転者は視線を前方から一時的にずらしたり、自分の手や指の動きに格別な注意を払う必要があり、安全運転の妨げになる。

そこで、従来より運転者のボタン操作を不要にするための技術が開発されている。例えば、車両の室内に設けられたカメラによって運転者の挙動を画像認識し、所定の挙動を検出すると、その挙動に応じて車両に搭載された装置が動作する操作入力装置が知られている（特許文献１）。

特開２０１３−２１８３９１号公報

特許文献１のようにカメラで撮影した画像を認識して人間の挙動を検出する場合に、一般的なカメラでは二次元画像しか撮影できないので、奥行き方向の位置や挙動を検出することができず、操作パターン（ジェスチャー）の自由度を上げることができないし、検出が不要な時に挙動を検出してしまう可能性もある。

近年では、撮影対象の３次元認識が可能なＴＯＦ（Time Of Flight）距離画像センサ（以下、ＴＯＦカメラと称する）が市販されている。また、ＴＯＦカメラの他にも、撮影対象の３次元認識が可能なカメラが存在する。ＴＯＦカメラは、光源の光が測定対象物に当たって戻るまでの時間を画素毎に検出できるので、奥行き方向の距離に相当する位置情報を含む立体的な画像を撮影できる。

しかしながら、ＴＯＦカメラが計測する距離には誤差が発生することがある。特に、高温の環境下においては光源からの照射角度が温度により変化して誤差が増大する傾向がある。したがって、温度変化の激しい車室内などにＴＯＦカメラを設置する場合にはＴＯＦカメラが計測する距離の誤差の影響が懸念される。

特許文献１のような操作入力装置においては、事前に定めた特定の３次元空間（以下、挙動検出空間と称する）でのみ運転者の挙動を検出し、車載機器の動作に反映することが想定される。例えば、通常の運転状態のように、運転者の手がステアリングホイール（ハンドル）の近傍にある状況でのみ、運転者の手や指の挙動に応じて車載機器を操作するように制御すれば、運転者が無意識に手を動かしたような状況では車載機器が作動することはなくなる。

しかし、ＴＯＦカメラが計測する距離の誤差が大きくなると、挙動検出空間が、拡大、縮小、または変位してしまう。その結果、挙動検出空間の外側に運転者の手が存在する場合であっても、無意識のうちに行われる手の挙動に反応し、車載機器が動作してしまう可能性がある。つまり、運転者が意図していない操作が勝手に行われてしまう。このような誤動作は、運転者の想定外の動作であるため運転者の思考に混乱を招き運転に支障を来す可能性がある。

本発明は、上述した事情に鑑みてなされたものであり、その目的は、距離検出誤差の影響を低減して操作検出精度を向上することが可能な画像認識装置を提供することにある。

前述した目的を達成するために、本発明に係る画像認識装置は、下記（１）〜（３）を特徴としている。
（１）撮影対象の３次元認識が可能な距離画像センサから入力される信号に基づいて人間の挙動を認識する画像認識装置であって、
前記距離画像センサから入力される信号に基づき認識される事前に定めた特定の撮影対象までの第１の計測距離と、前記距離画像センサから前記特定の撮影対象までの距離を事前に実測して得られた参照距離との比率を算出し、
人間の挙動を認識する空間として定められた挙動検出空間を特定するパラメータまたは前記距離画像センサから入力される信号に基づき認識される挙動監視対象の任意の点までの第２の計測距離を、前記比率に基づく補正量により補正する、
画像認識装置。

上記（１）の構成の画像認識装置によれば、前記距離画像センサの計測距離を前記比率を用いて補正するので、計測誤差の増大を抑制できる。したがって、前記挙動検出空間の位置精度を高めることができ、運転者が必要とする時だけ挙動を検出できる。

（２）前記比率は、前記特定の撮影対象における所定の箇所までの計測距離と、前記距離画像センサから前記特定の撮影対象における所定の箇所までの距離を事前に実測して得られた参照距離との比率である、
前記（１）に記載の画像認識装置。

上記（２）の構成の画像認識装置によれば、前記比率の精度を高めることができる。例えば、前記特定の撮影対象をステアリングホイールとし、前記所定の箇所を前記ステアリングホイール上に設けられた特定の目印とすることにより、計測位置の特定が容易になる。

（３）前記比率は、認識される前記特定の撮影対象の少なくとも一部の形状が事前に定めた参照形状とほぼ一致する場合に、前記特定の撮影対象における当該一部の寸法を事前に実測して得られた参照寸法と、前記距離画像センサが認識した該当部位の計測寸法との比率に基づき算出される、
前記（１）に記載の画像認識装置。

上記（３）の構成の画像認識装置によれば、前記距離画像センサにおける奥行き方向の距離計測精度が比較的低い場合であっても、横方向または縦方向の計測寸法を利用して前記比率を算出できるので、精度を向上することができる。

本発明の画像認識装置によれば、距離検出誤差の影響により挙動検出空間が変動するのを抑制し、運転者の意図しない誤動作を防止することが可能になる。

以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態（以下、「実施形態」という。）を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。

図１は、本発明の実施形態における画像認識装置の主要な動作例（１）を示すフローチャートである。図２は、本発明の画像認識装置を含む車載システムの構成例を示すブロック図である。図３は、車両の室内における運転席近傍の主要な構成要素の配置例を示す正面図である。図４は、運転席に着座した運転者およびその近傍を右側から視た状態における主要な構成要素の配置例（１）を示す側面図である。図５は、図４の一部分を拡大した状態を示す部分拡大側面図である。図６（Ａ）および図６（Ｂ）は、それぞれステアリングホイール上で運転者がジェスチャーの操作を行う場合の手とステアリングホイールとの位置関係の例を示す正面図である。図７は、本発明の実施形態における画像認識装置の主要な動作例（２）を示すフローチャートである。図８は、運転席に着座した運転者およびその近傍を右側から視た状態における主要な構成要素の配置例（２）を示す側面図である。図９は、図８の一部分を拡大した状態を示す部分拡大側面図である。

本発明に関する具体的な実施形態について、各図を参照しながら以下に説明する。

＜各実施形態に共通の説明＞
＜画像認識装置を使用する環境の具体例＞
＜車室内の構成例＞
車両の室内における運転席近傍の主要な構成要素の配置例を図３に示す。本発明の画像認識装置は、例えば図３に示したような車両に搭載した状態で使用される。

図３に示すように車両の室内には、運転席シート３４および助手席シート３５が設けてあり、運転席シート３４の前方にステアリングホイール３１が配置されている。また、前方のダッシュボード３３の中央付近には矩形の表示画面を有するディスプレイユニット３２が設置されている。このディスプレイユニット３２は、カーナビゲーション装置やカーオーディオ装置の表示部として利用することができる。

また、ディスプレイユニット３２を使用しない表示装置として、ヘッドアップディスプレイ（ＨＵＤ）の本体がダッシュボード３３の下方に格納されている。このヘッドアップディスプレイを使用する際には、表示光を反射する透明なコンバイナ（反射板）がダッシュボード３３の内側から上昇してダッシュボード３３上に現れ、運転者が視認できる位置に位置決めされる。

運転席シート３４の左前方の運転者が操作可能な位置に、可動構造の操作レバー３６が配置されている。この操作レバー３６は、車両のトランスミッションの変速モードを切り替えるために利用される。

また、ステアリングホイール３１よりも少し前方のダッシュボード３３上にＴＯＦカメラ２１が固定した状態で設置されている。このＴＯＦカメラ２１は、撮影対象の３次元認識が可能なＴＯＦ（Time Of Flight）距離画像センサである。すなわち、ＴＯＦカメラ２１は、光源の光が測定対象物に当たって戻るまでの時間を画素毎に検出し、奥行き方向の距離に相当する位置情報を含む立体的な画像を撮影できる。

図３に示したＴＯＦカメラ２１は、ステアリングホイール３１と対向する位置に設置してあり、ステアリングホイール３１の全体と、ステアリングホイール３１を操作する運転者の手との両方が同時に映る範囲を撮影できるように撮影方向および画角を事前に調整してある。

＜車載システムの構成例＞
本発明の実施形態における画像認識装置１０を含む車載システムの構成例を図２に示す。図２の車載システムは、図３に示した車両に搭載されている。

図２に示す画像認識装置１０は、運転者の所定のジェスチャー、すなわち身振り、手振りのような挙動から車載機器に対する操作の指示を自動的に認識し、該当する車載機器を制御することができる。

実際には、ＴＯＦカメラ２１により運転者の手および指やステアリングホイール３１を撮影し、この撮影により得られる三次元画像から、手や指の挙動をジェスチャーとして認識する。したがって、運転者は特別なボタン等を操作しなくてもジェスチャーにより車載機器を操作することができる。そのため、運転者が車載機器を操作する際に、目的のボタンを探したり、操作のためにステアリングホイール３１から手を離したりする必要がなくなり、安全運転の向上に役立つ機能を提供できる。

但し、本実施形態では、画像認識装置１０が手や指の挙動を検出するのは、手や指が事前に定めた挙動検出空間（後述する）の内側に存在する場合のみに限定してある。これにより、例えば運転者が無意識のうちに動かした手の動きを特定のジェスチャーとして誤認識するのを防止し、車載機器が想定外の動作をするのを避けることができる。

図２に示すように、ＴＯＦカメラ２１は光源部２１ａおよび受光部２１ｂを備えている。光源部２１ａは、パルス状の光を撮影対象物に照射することができる。受光部２１ｂは、ＣＭＯＳなどで構成される二次元イメージセンサを備えている。また、受光部２１ｂが検出した二次元画像を構成する画素毎に、光源部２１ａの光が手などの撮影対象物にあたり受光部２１ｂに戻るまでの時間（Time Of Flight）に応じた距離情報を検出する回路がＴＯＦカメラ２１に内蔵されている。したがって、ＴＯＦカメラ２１は三次元画像を撮影できる。

ＴＯＦカメラ２１が撮影した三次元画像の情報は、画像認識装置１０の入力に印加される。図２に示すように、画像認識装置１０は画像認識処理部１１およびジェスチャー監視制御部１２を備えている。

画像認識処理部１１は、ＴＯＦカメラ２１から出力される画像情報に対する情報処理を高速で実行し、事前に登録した特定形状のパターンを認識したり、認識したパターンの三次元座標上の位置、寸法、色、動き、形状変化などを計測する機能を有している。

ジェスチャー監視制御部１２は、運転者の手が事前に定めた挙動検出空間の内側に存在するか否かを識別する。また、運転者の手が事前に定めた挙動検出空間の内側に存在する場合には、画像認識処理部１１の認識結果に基づき運転者の手や指の挙動を監視して、事前に登録したジェスチャーのパターンと一致するか否かを識別する。特定のジェスチャーと一致する挙動を検知した場合には、事前に定めた制御を実施する。

上位ＥＣＵ（電子制御ユニット）２２は、ステアリングホイール３１の位置や姿勢を表す情報や、車両のイグニッションオンオフを示す情報などをジェスチャー監視制御部１２に与えることができる。

図２に示した車載システムにおいては、画像認識装置１０の出力にＨＵＤユニット２３、カーナビゲーション装置２４、およびカーオーディオ装置２６が接続されている。画像認識装置１０は、運転者のジェスチャーに基づいて、ＨＵＤユニット２３、カーナビゲーション装置２４、およびカーオーディオ装置２６のそれぞれを制御することができる。

例えば、特定のジェスチャーによりＨＵＤユニット２３の動作を起動する時には、ＨＵＤユニット２３に含まれる図示しない透明なコンバイナが、図３に示したダッシュボード３３の下方から上昇してダッシュボード３３上に現れ、運転者が視認可能な状態になる。その状態で、ＨＵＤユニット２３から投射された表示光がコンバイナで反射され、運転者の目の位置で視認可能な虚像が結像される。また、特定のジェスチャーによりＨＵＤユニット２３の動作を終了する時には、前記コンバイナが下降してダッシュボード３３の下方に収納される。

また、カーナビゲーション装置２４を操作するための様々なボタンや、カーオーディオ装置２６を操作するための様々なボタンと同様の機能を、画像認識装置１０が認識可能な各種のジェスチャーに割り当てることが可能である。

＜挙動検出空間の説明＞
運転席に着座した運転者およびその近傍を車両右側から視た状態における主要な構成要素の配置例（１）を図４に示す。また、図４の一部分を拡大した状態を図５に示す。

通常の運転状態においては、図４に示すように、運転者３０が運転席シート３４上に着座した状態で、運転者３０が右手ＲＨおよび左手（ＬＨ）をステアリングホイール３１に沿わせた状態でステアリングホイール３１の回動角度を調整し、車両の進行方向の変更を行っている。

ＴＯＦカメラ２１は、図４の例では、ダッシュボード３３上に配置されており、ステアリングホイール３１および運転者３０の手の両方が含まれる撮影範囲２５Ａの内側を撮影できるように調整されている。この撮影範囲２５Ａの中には、図５に示す挙動検出空間ＳＰ１およびＳＰ２も含まれている。

挙動検出空間ＳＰ１およびＳＰ２のそれぞれは、位置、形状、および大きさが事前に決定された直方体形状の三次元空間であり、画像認識装置１０にジェスチャーの検出が許可された空間を意味している。すなわち、運転者３０の手や指が挙動検出空間ＳＰ１およびＳＰ２のいずれか１つの内側に存在する場合に限り、画像認識装置１０は手や指を認識してその挙動を監視し、登録されたジェスチャーと一致するか否かを識別する。

図５に示した例では、挙動検出空間ＳＰ１は、ステアリングホイール３１の頂部と隣接する上方の位置に配置してある。また、挙動検出空間ＳＰ２は、ステアリングホイール３１よりもダッシュボード３３に近い位置にステアリングホイール３１と隣接する状態で配置してある。なお、挙動検出空間の数や各挙動検出空間を配置する位置については必要に応じて変更できる。但し、運転者３０が意識的に行うジェスチャー以外の手の挙動を誤検出することがないように、各挙動検出空間は適切に定めておく必要がある。

＜ジェスチャーの具体例＞
ステアリングホイール３１上で運転者３０がジェスチャーの操作を行う場合の手とステアリングホイールとの位置関係の具体例を図６（Ａ）および図６（Ｂ）にそれぞれ示す。

例えば、ＨＵＤユニット２３の動作を起動するためのジェスチャーの操作を行う場合には、運転者３０は左手ＬＨおよび右手ＲＨを図６（Ａ）に示すようにステアリングホイール３１に触れた状態のまま、左手ＬＨを下から上に向かってなぞるように移動する。また、この時の左手ＬＨおよび右手ＲＨの位置は、例えば図５に示した挙動検出空間ＳＰ１およびＳＰ２のいずれかの領域内に位置するように合わせる。この操作をＴＯＦカメラ２１の撮影した画像に基づき画像認識装置１０が特定のジェスチャーとして認識し、画像認識装置１０はＨＵＤユニット２３に起動のための制御信号を送る。

また、ＨＵＤユニット２３の動作を終了するためのジェスチャーの操作を行う場合には、運転者３０は左手ＬＨおよび右手ＲＨを図６（Ｂ）に示すようにステアリングホイール３１に触れた状態のまま、左手ＬＨを上から下に向かってなぞるように移動する。また、この時の左手ＬＨおよび右手ＲＨの位置は、例えば図５に示した挙動検出空間ＳＰ１およびＳＰ２のいずれかの領域内に位置するように合わせる。この操作をＴＯＦカメラ２１の撮影した画像に基づき画像認識装置１０が特定のジェスチャーとして認識し、画像認識装置１０はＨＵＤユニット２３に動作終了のための制御信号を送る。

なお、通常の運転操作とジェスチャーとの区別を容易にするために、図６（Ａ）、図６（Ｂ）よりももっと複雑な操作を行うようにしてもよい。例えば、特定の指の曲げ伸ばし等により特別な手の形状を表現したり、なぞる操作を複数回繰り返すようなジェスチャーパターンを採用してもよい。

＜計測誤差の説明＞
図２に示した画像認識装置１０は、ＴＯＦカメラ２１の撮影により得られる三次元画像を認識するので、認識対象の手の位置が事前に定めた挙動検出空間ＳＰ１、ＳＰ２の範囲内に存在するか否かを識別できる。

しかし、ＴＯＦカメラ２１から認識対象までの計測距離に比較的大きな誤差が発生する場合がある。実際には、高温の環境下で、光源部２１ａからの光の照射角度が大きく変動するため、計測距離に誤差が発生する。車両においては、車室内の環境温度が大きく変動する可能性があるため、ＴＯＦカメラ２１の計測誤差は無視できない程度に大きくなる。

ＴＯＦカメラ２１の計測した距離に大きな誤差が発生すると、三次元画像に基づいて認識される認識対象の手の位置が実際の位置に対して大きくずれてしまう。そして、実際の手の位置が挙動検出空間ＳＰ１、ＳＰ２の範囲外にある時であっても、画像認識装置１０が手の挙動に反応してジェスチャーを検出する可能性がある。つまり、運転者がジェスチャーを行う意図がない状況で画像認識装置１０がジェスチャーを誤検出してしまうので、ＨＵＤユニット２３等の車載機器が運転者の想定外の動作を行うことになる。このような誤動作を防止するために、後述するように画像認識装置１０は三次元画像に基づいて認識される認識対象の位置を自動的に補正する機能を搭載している。

＜画像認識装置１０の動作＞
＜第１実施形態＞
＜処理手順の概要＞
本発明の実施形態における画像認識装置１０の主要な動作例（１）を図１に示す。すなわち、図２に示した画像認識装置１０のジェスチャー監視制御部１２に内蔵されるコンピュータ（図示せず）または画像認識処理部１１が、図１に示した手順に従って運転者のジェスチャーに対応するための制御を実施する。

図１に示した手順には、ＴＯＦカメラ２１の出力する三次元画像に基づいて認識される認識対象の手の位置を補正するための処理が含まれている。具体的には、ステアリングホイール３１の位置を基準として、認識された手の位置を補正する。

ステアリングホイール３１は、基本的には車体に固定されているので、ＴＯＦカメラ２１からステアリングホイール３１上の特定位置までの距離は既知として扱うことができる。そこで、この距離を事前に実測して距離参照値Ｌｒｅｆとして画像認識装置１０上の定数テーブルＴＢ１に登録しておく。

但し、実際の車両においてステアリングホイール３１はティルト角度や操舵軸の長さを変更するための姿勢調整機能を搭載している場合が多く、ＴＯＦカメラ２１からステアリングホイール３１上の特定位置までの距離も可変である。そこで、ステアリングホイール３１の複数の姿勢のそれぞれの状態で実測した複数の距離参照値Ｌｒｅｆを定数テーブルＴＢ１に登録しておき、ステアリングホイール３１の実際の姿勢に応じて最適な距離参照値Ｌｒｅｆを選択的に使用する。

ＴＯＦカメラ２１が撮影した三次元画像に基づいて認識されるステアリングホイール３１上の特定位置の三次元座標に基づいて、ＴＯＦカメラ２１から前記特定位置までの距離計測値Ｌ１を算出できる。ここで、計測誤差が発生していると、距離参照値Ｌｒｅｆと距離計測値Ｌ１との間に差異が現れる。そこで、これらの比率Ｒ１を算出し、これを距離の誤差を補正するための補正係数として使用する。
Ｒ１＝Ｌ１／Ｌｒｅｆ・・・（１）

つまり、ＴＯＦカメラ２１の位置からこれが撮影した三次元画像に基づいて認識される監視対象の手の位置までの距離計測値Ｌ２は、ＴＯＦカメラ２１の特性により生じる距離の計測誤差を含んでいるので、この計測誤差を減らすために前記比率Ｒ１を用いて距離計測値Ｌ２を補正する。

補正後の距離計測値Ｌ２１を用いて、監視対象の手の位置と挙動検出空間ＳＰ１、ＳＰ２の各範囲の閾値とを比較することにより、手の位置が各挙動検出空間の範囲内か否かを正しく識別できる。

＜処理手順の詳細＞
車両のイグニッションがオンになると、ジェスチャー監視制御部１２が実行する処理は図１のステップＳ１１からＳ１２に進む。ステップＳ１２では、ジェスチャー監視制御部１２は上位ＥＣＵ２２から取得可能な情報に基づき、ステアリングホイール３１のティルト角度（高さの違いに相当）などの姿勢情報を取得する。

次のステップＳ１３では、ジェスチャー監視制御部１２は、Ｓ１２で取得した姿勢の情報をパラメータとして、これに対応付けられた１つの距離参照値Ｌｒｅｆを定数テーブルＴＢ１から取得する。つまり、ＴＯＦカメラ２１の位置から固定されたステアリングホイール３１上の特定位置までの実際の距離を表す値を距離参照値Ｌｒｅｆとして取得する。

次のステップＳ１４で、ジェスチャー監視制御部１２はＴＯＦカメラ２１が撮影を開始するように制御する。この後で、ＴＯＦカメラ２１の撮影により得られる三次元画像のデータが画像のフレーム毎に順次に画像認識処理部１１およびジェスチャー監視制御部１２に入力される。

ステップＳ１５では、画像認識処理部１１が入力される三次元画像のデータを処理して所定の画像認識を実行する。すなわち、入力された三次元画像から抽出される様々な特徴量と、事前に登録してあるステアリングホイール３１の形状、手の形状、指の形状などの参照データとを比較することにより、ステアリングホイール３１、手、指などのそれぞれの認識対象物を認識する。

ステップＳ１６では、ジェスチャー監視制御部１２は、Ｓ１５における画像認識処理部１１の認識結果に基づき、基準位置として事前に定めたステアリングホイール３１上の特定位置の位置座標を特定し、ＴＯＦカメラ２１から前記特定位置までの距離計測値Ｌ１を算出する。なお、前記「特定位置」については、例えば突起などの特別な形状、着色やマークなどの特徴的な目印を利用することにより容易に特定できる。

ステップＳ１７では、ジェスチャー監視制御部１２は、Ｓ１３で取得した距離参照値ＬｒｅｆとＳ１６で算出した距離計測値Ｌ１とに基づき、前記第（１）式の比率Ｒ１を算出する。

例えば、ＴＯＦカメラ２１からステアリングホイール３１までの実際の距離が３０ｃｍである場合には、距離参照値Ｌｒｅｆが３０ｃｍになる。また、画像認識により得られた距離計測値Ｌ１が５０ｃｍの場合には、距離参照値Ｌｒｅｆと異なるので誤差が含まれていることになる。そこで、比率Ｒ１（５０／３０）を補正値として利用すれば、距離計測値Ｌ１と距離参照値Ｌｒｅｆの誤差がなくなるように補正することができる。

ステップＳ１８では、ジェスチャー監視制御部１２は、画像認識処理部１１の認識結果に基づき、手の位置座標を取得し、ＴＯＦカメラ２１の位置から手の位置までの奥行き方向の距離を表す距離計測値Ｌ２を算出する。

ステップＳ１９では、ジェスチャー監視制御部１２は、Ｓ１８で取得した手の位置までの距離計測値Ｌ２をＳ１７で得た比率Ｒ１を用いて補正し、補正後の距離計測値Ｌ２１を取得する。
Ｌ２１＝Ｌ２／Ｒ１・・・（２）

ステップＳ２０では、ジェスチャー監視制御部１２は、補正後の距離計測値Ｌ２１を含む運転者の手の位置の三次元座標を、前記挙動検出空間ＳＰ１、ＳＰ２の各々の範囲を特定する閾値と比較して、手が各々の挙動検出空間の範囲内か否かを識別する。

ここで、手の位置が挙動検出空間の範囲外であれば、Ｓ２０からＳ１５に戻るので、手の挙動は検出しない。一方、手の位置が挙動検出空間の範囲内であれば、Ｓ２０からＳ２１に進む。

ステップＳ２１では、ジェスチャー監視制御部１２は、画像認識処理部１１の画像認識結果に基づき、運転者の手や指の挙動を監視する。そして、検出した手や指の挙動パターンを事前に登録してあるジェスチャーの基準パターンと対比して、これらが一致するか否かをＳ２２で識別する。

Ｓ２１における監視の結果、ジェスチャー監視制御部１２が登録済みのジェスチャーを検出した場合には、Ｓ２２からＳ２３に進む。そして、該当するジェスチャーに対応付けられた制御を実行するように、ジェスチャー監視制御部１２がＳ２３で車載機器に対して制御信号を出力する。

例えば、図６（Ａ）に示したジェスチャーを検出した場合は、ジェスチャー監視制御部１２がＨＵＤユニット２３に対して動作を起動するための信号を出力する。また、図６（Ｂ）に示したジェスチャーを検出した場合は、ジェスチャー監視制御部１２がＨＵＤユニット２３に対して動作を終了するための信号を出力する。

＜第２実施形態＞
＜処理手順の概要＞
本発明の実施形態における画像認識装置１０の主要な動作例（２）を図７に示す。図７に示した動作は、図１に示した動作の変形例である。図７において、図１と同一のステップには同一の番号を付けて示してある。

図７に示した手順には、ＴＯＦカメラ２１の出力する三次元画像に基づいて認識される認識対象の手の位置を補正するための処理が含まれている。具体的には、ステアリングホイール３１の寸法（大きさ）を基準として、補正用の比率Ｒ２を算出し、認識された手の位置を補正する。

ステアリングホイール３１は、基本的には車体に固定されているので、ＴＯＦカメラ２１からステアリングホイール３１上の特定位置までの距離は既知として扱うことができる。また、ステアリングホイール３１の全体の形状やその一部分の形状も既知であり、ステアリングホイール３１の各部の寸法も既知である。

そこで、ステアリングホイール３１の全体やその一部分またはその近傍の所定部位の形状のデータを画像認識装置１０上に事前に登録しておく。また、ＴＯＦカメラ２１から視たステアリングホイール３１の特定部位の寸法を、事前に実測して寸法参照値Ｄｒｅｆとして画像認識装置１０上の定数テーブルＴＢ１に登録しておく。図７に示した例では、寸法参照値Ｄｒｅｆがステアリングホイール３１の内径である場合を想定しているが、外径寸法や他の部位の寸法に置き換えることもできる。

但し、実際の車両においてステアリングホイール３１はティルト角度や操舵軸の長さを変更するための姿勢調整機能を搭載している場合が多く、ＴＯＦカメラ２１からステアリングホイール３１上の特定位置までの距離も可変である。そこで、ステアリングホイール３１の複数の姿勢のそれぞれの状態で実測した複数の寸法参照値Ｄｒｅｆを定数テーブルＴＢ１に登録しておき、ステアリングホイール３１の実際の姿勢に応じて最適な寸法参照値Ｄｒｅｆを選択的に使用する。

一方、ＴＯＦカメラ２１が撮影した三次元画像に基づいて認識されるステアリングホイール３１上の特定部位の座標間距離に基づいて、前記寸法参照値Ｄｒｅｆに対応する寸法計測値Ｄ１を算出できる。

ここで、計測誤差が発生していると、寸法参照値Ｄｒｅｆと寸法計測値Ｄ１との間に差異が現れる。そこで、これらの比率Ｒ２を算出し、これを距離の誤差を補正するための補正係数として使用する。
Ｒ２＝Ｄ１／Ｄｒｅｆ・・・（３）

例えば、ＴＯＦカメラ２１の位置からこれが撮影した三次元画像に基づいて認識される監視対象の手の位置までの距離計測値Ｌ２は、ＴＯＦカメラ２１の特性により生じる距離の計測誤差を含んでいるが、この計測誤差を減らすために前記比率Ｒ２を用いて距離計測値Ｌ２を補正することができる。

＜処理手順の詳細＞
車両のイグニッションがオンになると、ジェスチャー監視制御部１２が実行する処理は図７のステップＳ１１からＳ１２に進む。ステップＳ１２では、ジェスチャー監視制御部１２は上位ＥＣＵ２２から取得可能な情報に基づき、ステアリングホイール３１のティルト角度（高さの違いに相当）などの姿勢情報を取得する。

次のステップＳ１３Ｂでは、ジェスチャー監視制御部１２は、Ｓ１２で取得した姿勢の情報をパラメータとして、これに対応付けられた１つの寸法参照値Ｄｒｅｆを定数テーブルＴＢ１から取得する。つまり、ＴＯＦカメラ２１から視たステアリングホイール３１上の特定部位の寸法の基準値を、寸法参照値Ｄｒｅｆとして取得する。

ステップＳ１５では、画像認識処理部１１が入力される三次元画像のデータを処理して所定の画像認識を実行する。すなわち、入力された三次元画像から抽出される様々な特徴量と、事前に登録してあるステアリングホイール３１の形状、手の形状、指の形状などの参照データとを比較することにより、ステアリングホイール３１、手、指などのそれぞれの認識対象物を認識する。ここで、距離の違いや測定誤差等に起因して各パターンの大きさが変化する可能性があるが、大きさが異なるパターンであっても形状が相似形であれば同一の物体として認識する。

ステップＳ１６Ｂでは、ジェスチャー監視制御部１２は、Ｓ１５における画像認識処理部１１の認識結果に基づき、ステアリングホイール３１の全体またはその一部分の特定部位を認識し、その寸法を寸法計測値Ｄ１として算出する。なお、前記「特定部位」については、事前に登録した特別な形状と相似形である部位を画像から抽出することにより特定できる。

ステップＳ１７Ｂでは、ジェスチャー監視制御部１２は、Ｓ１３Ｂで取得した寸法参照値ＤｒｅｆとＳ１６Ｂで算出した寸法計測値Ｄ１とに基づき、前記第（３）式の比率Ｒ２を算出する。

ステップＳ１９Ｂでは、ジェスチャー監視制御部１２は、Ｓ１８で取得した手の位置までの距離計測値Ｌ２をＳ１７Ｂで得た比率Ｒ２を用いて補正し、補正後の距離計測値Ｌ２１を取得する。
Ｌ２１＝Ｌ２／Ｒ２・・・（４）

図７において、ステップＳ２０以降の処理については図１と同一であるのでこれらの説明は省略する。

＜変形例の説明＞
運転席に着座した運転者およびその近傍を右側から視た状態における主要な構成要素の配置例（２）を図８に示す。また、図８の一部分を拡大した状態を図９に示す。

前述の第１実施形態および第２実施形態では、距離を補正するための基準の物体として位置が固定されたステアリングホイール３１を利用しているがそれ以外の物体を基準にして補正を行うこともできる。

例えば、図８および図９に示した例では、撮影方向を下方に向けたＴＯＦカメラ２１が車室内の上部に固定してあり、手（ＬＨ、ＲＨ）と操作レバー３６とが同時に撮影できるように撮影範囲２５Ｂを事前に調整してある。

ここで、操作レバー３６の位置は変化しないので、ＴＯＦカメラ２１から操作レバー３６までの距離を前述の距離参照値Ｌｒｅｆと同様の定数として定数テーブルＴＢ１に登録しておき、比率Ｒ１を算出するための基準値として利用できる。

また、図９に示した例では、操作レバー３６の上方に隣接する位置に挙動検出空間ＳＰ３を割り当てる場合を想定している。したがって、例えば運転者３０が手の一部分を操作レバー３６に近づけるような特別な挙動を行った場合に、これを登録されたジェスチャーとして画像認識装置１０が認識し、ＨＵＤユニット２３などを制御することができる。

＜上記以外の変形の可能性＞

前述の第１実施形態の動作および第２実施形態においては、補正後の手の位置が挙動検出空間（ＳＰ１〜ＳＰ３）の内側か否かを識別しているが、ジェスチャーの誤検出を防止する目的だけであれば、認識した手の位置を補正する代わりに、挙動検出空間を決定するパラメータ（空間の大きさや座標を計算する際に用いる係数）を修正してもよい。

＜画像認識装置１０の利点＞
上述の画像認識装置１０においては、車体に固定された位置に存在するステアリングホイール３１あるいは操作レバー３６のような挙動検出対象以外の撮影対象を利用して補正用の比率Ｒ１、Ｒ２を取得し、ＴＯＦカメラ２１の撮影した三次元画像に基づいて認識した撮影対象までの距離（Ｌ２）などを比率Ｒ１、Ｒ２を用いて補正している。したがって、ＴＯＦカメラ２１の計測する距離に大きな誤差が発生する場合であっても、位置検出精度が高くなり、挙動検出対象の手が挙動検出空間の外側に存在する時に、運転者の意図しない手の挙動をジェスチャーとして誤認識するのを防止できる。

ここで、上述した本発明に係る画像認識装置１０の実施形態の特徴をそれぞれ以下［１］〜［３］に簡潔に纏めて列記する。
［１］撮影対象の３次元認識が可能な距離画像センサ（ＴＯＦカメラ２１）から入力される信号に基づいて人間の挙動を認識する画像認識装置（１０）であって、
前記距離画像センサから入力される信号に基づき認識される事前に定めた特定の撮影対象（ステアリングホイール３１や操作レバー３６）までの第１の計測距離（距離計測値Ｌ１）と、前記距離画像センサから前記特定の撮影対象までの距離を事前に実測して得られた参照距離（距離参照値Ｌｒｅｆ）との比率（Ｒ１）を算出し、
人間の挙動を認識する空間として定められた挙動検出空間（ＳＰ１、ＳＰ２、ＳＰ３）を特定するパラメータまたは前記距離画像センサから入力される信号に基づき認識される挙動監視対象の任意の点までの第２の計測距離（距離計測値Ｌ２）を、前記比率に基づく補正量により補正する（Ｓ１９）、
画像認識装置。

［２］前記比率（Ｒ１）は、前記特定の撮影対象における所定の箇所までの計測距離（距離計測値Ｌ１）と、前記距離画像センサから前記特定の撮影対象における所定の箇所までの距離を事前に実測して得られた参照距離（距離参照値Ｌｒｅｆ）との比率である（Ｓ１７）、
上記［１］に記載の画像認識装置。

［３］前記比率（Ｒ２）は、認識される前記特定の撮影対象の少なくとも一部の形状が事前に定めた参照形状とほぼ一致する場合に、前記特定の撮影対象における当該一部の寸法を事前に実測して得られた参照寸法（寸法参照値Ｄｒｅｆ）と、前記距離画像センサが認識した該当部位の計測寸法（寸法計測値Ｄ１）との比率に基づき算出される（Ｓ１７Ｂ）、
上記［１］に記載の画像認識装置。

１０画像認識装置
１１画像認識処理部
１２ジェスチャー監視制御部
２１ＴＯＦカメラ
２１ａ光源部
２１ｂ受光部
２２上位ＥＣＵ
２３ＨＵＤユニット
２４カーナビゲーション装置
２５Ａ，２５Ｂ撮影範囲
２６カーオーディオ装置
３０運転者
３１ステアリングホイール
３２ディスプレイユニット
３３ダッシュボード
３４運転席シート
３５助手席シート
３６操作レバー
ＬＨ左手
ＲＨ右手
ＴＢ１定数テーブル
Ｌｒｅｆ距離参照値
Ｌ１，Ｌ２距離計測値
Ｄｒｅｆ寸法参照値
Ｄ１寸法計測値
Ｒ１，Ｒ２比率
ＳＰ１，ＳＰ２，ＳＰ３挙動検出空間

Claims

撮影対象の３次元認識が可能な距離画像センサから入力される信号に基づいて人間の挙動を認識する画像認識装置であって、
前記距離画像センサから入力される信号に基づき認識される事前に定めた特定の撮影対象までの第１の計測距離と、前記距離画像センサから前記特定の撮影対象までの距離を事前に実測して得られた参照距離との比率を算出し、
人間の挙動を認識する空間として定められた挙動検出空間を特定するパラメータまたは前記距離画像センサから入力される信号に基づき認識される挙動監視対象の任意の点までの第２の計測距離を、前記比率に基づく補正量により補正する、
画像認識装置。
前記比率は、前記特定の撮影対象における所定の箇所までの計測距離と、前記距離画像センサから前記特定の撮影対象における所定の箇所までの距離を事前に実測して得られた参照距離との比率である、
請求項１に記載の画像認識装置。
前記比率は、認識される前記特定の撮影対象の少なくとも一部の形状が事前に定めた参照形状とほぼ一致する場合に、前記特定の撮影対象における当該一部の寸法を事前に実測して得られた参照寸法と、前記距離画像センサが認識した該当部位の計測寸法との比率に基づき算出される、
請求項１に記載の画像認識装置。