JP7222642B2 - 車両の乗員監視装置、および乗員保護システム - Google Patents

Description

本発明は、車両の乗員監視装置、および乗員保護システムに関する。

特許文献１、２は、車両に乗車している乗員を監視する乗員監視装置、を開示する。

特開平１１－０４３００９号公報 特開２０１５－１４０１４６号公報

ところで、衝突の際に乗員の頭部を撮像して、衝突の際の乗員の頭部の位置や挙動を予測し、これに応じて乗員保護制御を実行することが考えられる。
しかしながら、車両の乗員監視装置は、一般的に、シートに着座している乗員の上体全体を撮像している。
このため、撮像画像において、乗員の頭部がはっきりと撮像されるとは限らない。たとえば夜間走行中であって車内が暗い場合、撮像画像において乗員の頭部がはっきりと撮像され難い。
撮像画像において乗員の頭部がはっきりと撮像されていない場合、画像中での乗員の頭部の位置を適切に特定することができなくなり、その乗員の頭部の位置の変化としての挙動などを正確に判断できなくなる。
その結果、衝突の際の乗員の頭部の位置や動きを良好に予測して、乗員監視装置を用いたことにより期待し得る良好な乗員保護制御を実行できない可能性がある。

このように、車両では、乗員監視装置による撮像画像に基づいて、シートに着座している乗員の頭部の位置や挙動を良好に特定できるようにすることが求められている。

本発明に係る車両の乗員監視装置は、車両に設けられたシートに着座している乗員を監視する車両の乗員監視装置であって、前記シートに着座している乗員へ向けて投光する投光デバイスと、前記シートに着座している乗員を撮像する撮像デバイスと、前記投光デバイスおよび前記撮像デバイスを制御して、前記シートに着座している乗員を撮像する処理部と、を有し、前記処理部は、前記車両の衝突が予測される場合、前記投光デバイスによる連続した光を、前記撮像デバイスにより撮像される乗員の頭部に絞って照射する。

好適には、前記投光デバイスは、連続した投光と点滅による投光とで切り替え可能であり、前記処理部は、前記車両の衝突が予測されていない通常の場合、前記投光デバイスによる点滅による光を、少なくとも前記撮像デバイスにより撮像される乗員へ向けて照射し、前記車両の衝突が予測される場合、前記投光デバイスによる連続した光を、少なくとも前記撮像デバイスにより撮像される乗員へ向けて照射する、とよい。

好適には、前記処理部は、前記車両の衝突が予測される場合、前記投光デバイスによる通常時の点滅における最大輝度よりも光らせる、とよい。

好適には、前記投光デバイスは、前記シートに着座している乗員の頭部へ向けて、非可視光を投光する、とよい。

本発明に係る車両の乗員保護システムは、上述したいずれかの車両の乗員監視装置と、前記乗員監視装置により撮像された乗員の撮像画像に基づいて乗員保護制御を実行する乗員保護装置と、を有する。

本発明では、車両の衝突が予測される場合、投光デバイスによる連続した光を、少なくとも撮像デバイスにより撮像される乗員へ向けて照射する。たとえば、車両の衝突が予測される場合、衝突が予測されていない通常時の点滅による光を連続した光に切り替えて、連続した光による強い光を、撮像デバイスにより撮像される乗員の頭部などへ向けて照射する。これにより、シートに着座している乗員の少なくとも頭部は、通常の光を照射している場合よりも明るくはっきりとなる。
よって、本発明では、撮像デバイスによる撮像画像には、乗員の頭部がはっきりと撮像されるようになる。
その結果、本発明では、撮像画像においてシートに着座した乗員の頭部が容易に特定でき、乗員の頭部の位置や挙動を良好に推定し得る。乗員保護装置は、車両の衝突が予測される場合には、乗員の頭部がはっきりと映る撮像画像に基づいて、たとえば衝突の際の乗員の頭部の位置や動きを良好に予測し、適切な乗員保護制御を実行可能になる。本発明では、撮像環境の良否によらずに乗員の頭部が撮像画像にはっきりと映るようになることにより、乗員監視装置を用いたことにより期待し得る良好な乗員保護制御を実行することが可能になる。

図１は、本発明の実施形態に係る自動車における乗員保護の説明図である。 図２は、図１の自動車での乗員についての左右方向への挙動の説明図である。 図３は、図１の自動車での乗員についての斜め前方向への挙動の説明図である。 図４は、図１の自動車に設けられる、乗員保護システムとしての車両制御システムの説明図である。 図５は、図１の自動車に設けられる乗員監視装置の説明図である。 図６は、図１の自動車に設けられる乗員保護装置の説明図である。 図７は、図５の監視制御部による通常時の処理を示すフローチャートである。 図８は、投光デバイスの投光と、車内撮像デバイスの撮像との関係を示す説明図である。 図９は、図３の運転支援装置の支援制御部の処理を示すフローチャートである。 図１０は、図５の監視制御部による衝突予測時の処理を示すフローチャートである。 図１１は、図６の保護制御部による処理を示すフローチャートである。

以下、本発明の実施形態を、図面に基づいて説明する。

図１は、本発明の実施形態に係る自動車１における乗員保護の説明図である。図１には、車外を撮像する車内撮像デバイス５３が図示されている。
自動車１は、人が乗車して移動する車両の一例である。車両には、この他にもたとえば、大型車、二輪車、パーソナルモビリティ、自転車、鉄道車両、飛行機、ボート、などがある。
図１の自動車１は、車体２、車体２の前後に設けられる車輪３、車体２の乗員室４に設けられるシート５、シート５の前に設けられるダッシュボード６、ダッシュボード６から後へ突出して設けられるハンドル７、などを有する。
このような自動車１では、車体２の乗員室４に乗車した乗員は、シート５に着座する。また、乗員は、ハンドル７などを操作する。自動車１は、図示外のエンジンやモータの駆動力により、乗員の操作にしたがって走行する。
また、自動車１は、たとえば目的地が設定されることにより、目的地までの経路を案内したり、目的地まで経路をたどって自動走行したりする。

図２は、図１の自動車１での乗員についての左右方向への挙動の説明図である。
図２は、図１の自動車１を前から見た図であり、左右に並ぶ一対のシート５に、二人の乗員が乗車している。シート５に着座する乗員の上体は、自動車１のたとえば右左折の際にシート５の上で左右へ傾くことがある。
図３は、図１の自動車１での乗員についての斜め前方向への挙動の説明図である。
図３は、図１の自動車１を上から見た図であり、左右に並ぶ一対のシート５に、二人の乗員が乗車している。シート５に着座する乗員の上体は、自動車１のたとえば制動時などにおいて斜め前へ傾くことがある。
また、図１に示すように、シート５に着座する乗員の上体は、自動車１のたとえば制動時などにおいて前へ傾くことがある。
過大な加速度が作用しない場合には、これらの乗員の上体の挙動は、問題とならない。
しかしながら、たとえば衝突の際には、衝突時の過大な衝撃により、乗員の上体は、シート５から外へはみ出すように大きく傾くことになる。

このため、自動車１では、シート５に着座する乗員の上体を支持するために、図１に示すように、エアバック部材７０や、シートベルト部材７１といった乗員保護装置６０が用いられる。
シートベルト部材７１は、シート５に着座する乗員の前にかけ渡されるベルトを有する。シートベルト部材７１は、衝突の際にベルトアクチュエータ６３を動作させて、ベルトにテンションを加える。これにより、衝突の際に、シート５に着座する乗員の上体は、ベルトにより支えられ、それ以上にシート５からはみ出すように移動し難くなる。
エアバック部材７０は、衝突の際にインフレータで発生させたガスによりエアバック６４を展開する。図１では、エアバック６４は、ハンドル７の後側、すなわちシート５に着座する乗員の上体の前正面で展開している。これにより、シート５から前へ倒れようとする乗員の上体は、エアバック６４に当たる。エアバック６４は、乗員の荷重により変形し、乗員の上体に作用している運動エネルギを吸収する。
これらの乗員保護装置６０により、自動車１は、衝突の際にも乗員を保護することが可能になる。

ところで、自動車１の衝突形態には、車体２の前正面に他の車両などが衝突する正面衝突だけでなく、車体２の前角に他の車両などが衝突するオフセット衝突、車体２の側面に他の車両などが衝突する側面衝突、などがある。
乗員保護装置６０には、これら複数種類の衝突において乗員を保護するように機能することが望ましい。
そこで、自動車１では、自動車１に設けられる乗員監視装置５０を用いて、乗員保護装置６０による乗員保護機能を向上させることが考えられる。
乗員監視装置５０は、図２に示すようにシート５に着座する乗員を、ダッシュボード６などに設けられた光学デバイスにより撮像し、乗員の居眠りやわき見を検出して警告する装置である。
このような乗員監視装置５０を用いて、シート５に着座する乗員を撮像して、衝突の際の乗員の頭部の位置や挙動を予測し、これに応じて乗員保護装置６０においてエアバック部材７０やシートベルト部材７１の動作を制御することが考えられる。
しかしながら、乗員監視装置５０は、乗員の居眠りやわき見を検出するために、一般的に、シート５に着座している乗員の上体の全体を撮像している。
このため、撮像画像において、乗員の頭部がはっきりと撮像されるとは限らない。たとえば夜間走行中であって車内が暗い場合には、撮像画像において乗員の頭部の位置などをはっきりと撮像し難い。
そして、撮像画像において乗員の頭部がはっきりと撮像されない場合、撮像した画像中での乗員の頭部の位置を適切に特定することが難しく、そのような不確実な頭部の位置の変化により乗員の頭部の挙動などを正確に判断することは難しい。
その結果、衝突の際の乗員の頭部の位置や動きを良好に予測して、乗員監視装置５０を用いたことにより期待し得る良好な乗員保護制御を実行できない可能性がある。

このように、自動車１では、乗員保護性能についてのさらなる改善が求められている。

図４は、図１の自動車１に設けられる、乗員保護システムとしての車両制御システム１０の説明図である。
図４の車両制御システム１０は、車速センサ１１、加速度センサ１２、表示デバイス１３、操作デバイス１４、スピーカデバイス１５、車外撮像デバイス１６、無線通信デバイス１７、システムタイマ１８、メモリデバイス１９、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）２０、およびこれらが接続される車内ネットワーク２１、を有する。

車内ネットワーク２１は、たとえばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）に準拠した有線の通信ネットワークがある。車内ネットワーク２１に接続される機器は、車体２の各部に分散して配置され、車内ネットワーク２１を通じてデータを送受する。なお、車内ネットワーク２１に接続される機器は、車内ネットワーク２１を通じてデータを送受するためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を個別に備えて、各々が装置として構成されてよい。

車速センサ１１は、自動車１の車体２の移動などによる速度を検出して車内ネットワーク２１へ出力する。
加速度センサ１２は、自動車１の車体２に作用する加速度を検出して車内ネットワーク２１へ出力する。なお、車体２に対する複数の方向からの衝撃入力を検出しようとする場合、加速度センサ１２は自動車１に複数で設けられ、車体２の外周面の近くに分散して設けるとよい。
表示デバイス１３は、車内ネットワーク２１から表示データを取得し、表示データに基づく画像を表示する。
操作デバイス１４は、乗員に操作されるために乗員室４などに設けられる。操作デバイス１４は、たとえば、ハンドル７、シフトレバー、ブレーキペダル、を有する。
スピーカデバイス１５は、車内ネットワーク２１から音データを取得し、音データに基づく音を出力する。
車外撮像デバイス１６は、自動車１の乗員室４などに設けられ、自動車１の周囲を撮像して画像データを車内ネットワーク２１へ出力する。車外撮像デバイス１６は、たとえば図１に示すように乗員室４の天井の近くにおいて前向きに設けられる。この場合、車外撮像デバイス１６は、自動車１の前方を撮像する。
無線通信デバイス１７は、車内ネットワーク２１に接続されていない、たとえば自動車１の外に存在する他の車両、基地局、ビーコン装置などとの間で無線通信し、データを送受する。
システムタイマ１８は、時間や時刻を計測する。システムタイマ１８は、計測した時間や時刻を、車内ネットワーク２１を通じて、車内ネットワーク２１に接続される機器へ出力する。これにより、車内ネットワーク２１に接続される複数の機器は、システムタイマ１８のたとえば計測時刻により同期的に動作することができる。

メモリデバイス１９は、ＥＣＵ２０が車両の制御に使用するプログラムおよびデータを記録する。メモリデバイス１９は、たとえば半導体メモリ、ハードディスクデバイス、でよい。
ＥＣＵ２０は、たとえばワンチップマイクロコンピュータ装置などの、ＣＰＵを備えるコンピュータ装置である。ワンチップマイクロコンピュータ装置は、ＣＰＵとともに、システムタイマ１８、メモリデバイス１９、を内蔵してよい。ＥＣＵ２０は、メモリデバイス１９に記録されているプログラムを読み込んで実行する。これにより、ＥＣＵ２０には、自動車１の全体の動作を制御する制御部、が実現される。なお、ＥＣＵ２０は、自動車１に複数で設けられてよい。この場合、複数のＥＣＵ２０は、互いに強調して動作することにより制御部として機能する。

図４には、ＥＣＵ２０に実現される制御部の機能として、乗員の監視制御部３１、走行の支援制御部３２、乗員などの保護制御部３３、通信制御部３４、空調制御部３５、が図示されている。
通信制御部３４は、無線通信デバイス１７によるデータ通信を管理し、無線通信デバイス１７とともに自動車１の無線通信装置を構成する。通信制御部３４は、無線通信デバイス１７を用いて、たとえば図示外の交通システムのサーバ装置、および交通システムに対応する他の車両との間で、自動車１の走行などを制御するためのデータを送受する。
空調制御部３５は、自動車１の乗員室４などの空調を制御する。

走行の支援制御部３２は、図３の車外撮像デバイス１６および支援メモリ４１とともに、自動車１の走行支援装置４０を構成する。支援メモリ４１は、たとえばメモリデバイス１９の一部に設けられてよい。支援制御部３２は、支援メモリ４１の設定に基づいて、車外撮像デバイス１６による車外の撮像画像から、自動車１の周囲に存在する他の車両、歩行者、自転車、外壁などの構造物を抽出し、抽出した各物体との距離および方向についての情報を生成する。支援制御部３２は、抽出した物体および物体の進路と交差したり近接したりしないように自車の進路を生成し、その進路に沿って自車が走行するように自動車１の移動を制御する。その間に乗員によりたとえばハンドル７などの操作デバイス１４が操作された場合、その操作デバイス１４の操作による進路を補完した進路により走行するように自動車１の移動を支援する。
また、支援制御部３２は、後述する図９の処理により、他の車両などとの衝突がさけられない可能性を判断し、その可能性が高い場合には、衝突を予測する。

図５は、図１の自動車１に設けられる乗員監視装置５０の説明図である。
図５の乗員監視装置５０は、図４の乗員の監視制御部３１とともに、監視メモリ５１、光学ユニット５２、を有する。乗員監視装置５０は、自動車１に設けられたシート５に着座している乗員を監視する。

光学ユニット５２は、図５および図２に示すように、乗員室４のダッシュボード６の中央部分に後向きに設けられる。光学ユニット５２は、車内撮像デバイス５３、一対の投光デバイス５４、を有する。
車内撮像デバイス５３は、乗員室４のダッシュボード６の中央部分において、後向きに設けられる。車内撮像デバイス５３は、図２の一点鎖線枠に示すように、乗員室４において車幅方向に並べて乗員ごとに設けられる左右一対のシート５に着座する二人の乗員の上体を全体的に撮像する。
各投光デバイス５４は、乗員室４のダッシュボード６の中央部分において、後向きに設けられる。各投光デバイス５４は、図２の二点鎖線枠に示すように、各シート５に着座して車内撮像デバイス５３により撮像される乗員の上体の全体に対して、たとえば赤外線などによる非可視光を投光する。投光デバイス５４は、乗員の頭部の顔を撮像するために、シート５についての着座位置より前に設けられる。
監視メモリ５１は、たとえばメモリデバイス１９の一部に設けられてよい。監視メモリ５１は、乗員を監視するための設定データ５８などを記録する。

監視制御部３１は、後述する図７に示すように、監視メモリ５１の設定データ５８に基づいて、投光デバイス５４および車内撮像デバイス５３を制御し、車内撮像デバイス５３による車内の撮像画像から、シート５に着座している乗員の上体の位置および動きを判断し、その上体の位置および動きにより乗員の居眠り、わき見などを判断する。乗員が居眠り、わき見などをしている場合、監視制御部３１は、表示デバイス１３およびスピーカデバイス１５を用いて、警告を出力する。監視制御部３１は、撮像画像から、乗員の顔の向きや眼球の動きを判断し、それらに応じて居眠り、わき見などの警告を出力してもよい。
また、監視制御部３１は、衝突が予測されている場合には、後述する図１０の処理により衝突時の乗員を保護するための乗員監視制御を実行する。

図６は、図１の自動車１に設けられる乗員保護装置６０の説明図である。
図６の乗員保護装置６０は、図４の乗員などの保護制御部３３とともに、保護メモリ６１、複数のシートベルト６２、複数のベルトアクチュエータ６３、複数のエアバック６４、複数のベース部材６５、複数のエアバックアクチュエータ（ＡＢアクチュエータ）６６、複数のインフレータ６７，６８、を有する。
一組のシートベルト６２、およびベルトアクチュエータ６３は、一つのシートベルト部材７１を構成する。
一組のエアバック６４、ベース部材６５、エアバックアクチュエータ６６、第一インフレータ６７、および第二インフレータ６８は、一つのエアバック部材７０を構成する。
すなわち、図６には、左右一対のシート５に対応するように、二組のシートベルト部材７１と、二組のエアバック部材７０と、が図示されている。

シートベルト６２は、シート５に着座した乗員の腰部および上体の前に掛け渡されるベルトである。
ベルトアクチュエータ６３は、シートベルト６２に対して、可変可能なテンションを加える。テンションが加えられたシートベルト６２は、乗員の腰部および上体をシート５に押し付けるように機能し得る。
エアバック６４は、高圧ガスにより瞬時に展開する袋体である。
第一インフレータ６７、および第二インフレータ６８は、エアバック６４に注入する高圧ガスを発生する。第一インフレータ６７および第二インフレータ６８をともに動作させる場合、エアバック６４は、高い圧力で展開し得る。第一インフレータ６７または第二インフレータ６８を動作させる場合、エアバック６４は、低い圧力で展開し得る。第一インフレータ６７の動作開始タイミングと第二インフレータ６８の動作開始タイミングとをずらすことにより、それらがそろっている場合とは異なる圧力変化でエアバック６４を展開できる。
ベース部材６５には、エアバック６４が取り付けられ、エアバック６４を折りたたんで収納する。なお、第一インフレータ６７および第二インフレータ６８も、ベース部材６５に設けられてよい。
エアバックアクチュエータ６６は、ベース部材６５を駆動し、ベース部材６５の位置または向きを調整する。ベース部材６５がたとえば車幅方向、前後方向、上下方向へ移動可能に車体２に取り付けられている場合、エアバックアクチュエータ６６は、ベース部材６５をスライド駆動してその位置を調整する。
ベース部材６５が取り付け位置において回転可能に設けられている場合、エアバックアクチュエータ６６は、ベース部材６５を回転駆動してその向きを調整する。
保護メモリ６１は、たとえばメモリデバイス１９の一部に設けられてよい。保護メモリ６１は、乗員を保護するための設定データ６９などを記録する。

乗員などの保護制御部３３は、加速度センサ１２、図１に示すようにエアバック部材７０およびシートベルト部材７１とともに、自動車１の乗員保護装置６０を構成する。保護制御部３３は、メモリデバイス１９の設定に基づいて、加速度センサ１２が衝突の衝撃に対応する閾値を超える加速度を検出したと判断すると、乗員などの保護制御を実行する。保護制御部３３は、乗員を保護するために、エアバック部材７０のエアバック６４を展開し、シートベルト部材７１のシートベルト６２にテンションを加える。
また、保護制御部３３は、自動車１の衝突が予測される場合、乗員監視装置５０により撮像された乗員の撮像画像に基づいて乗員保護制御を実行する。

図７は、図５の監視制御部３１による通常時の処理を示すフローチャートである。
監視制御部３１は、乗員が自動車１に乗ることにより図４の車両制御システム１０の電源が投入された場合に、図７の処理を繰り返し実行する。

図７の通常の監視制御のステップＳＴ１において、監視制御部３１は、乗員が乗車したか否かを判断する。監視制御部３１は、乗員が乗車したと判断するまで、ステップＳＴ１の乗車判断を繰り返す。
乗員が乗車してシート５に着座すると、車内撮像デバイス５３は、周期的に繰り返す撮像により、シート５に着座した乗員を撮像し始める。
ステップＳＴ２において、監視制御部３１は、たとえば監視メモリ５１に記憶されている乗員の設定データ５８を用いて、車内撮像デバイス５３により撮像される画像に映る乗員の顔を識別する。
ステップＳＴ３において、監視制御部３１は、たとえば監視メモリ５１に記憶されている乗員の設定データ５８を用いて、識別した乗員に対応する設定処理を実行する。監視制御部３１は、認識した乗員の識別番号または設定データを、車内ネットワーク２１へ出力する。これにより、たとえば、操作デバイス１４が認識された乗員がハンドル７などを過去の設定位置に調整したり、支援制御部３２が認識された乗員の過去の運転履歴に対応する運転支援用の設定をしたり、保護制御部３３が認識された乗員に対応する保護制御用の設定をしたり、空調装置が認識された乗員が過去にした設定により空調動作を開始したりする。

以上の乗車時の設定処理の後、支援制御部３２は、乗員の監視を開始する。
ステップＳＴ４において、監視制御部３１は、投光デバイス５４を通常の投光制御により点灯させる。通常の投光では、監視制御部３１は、投光デバイス５４を、長期にわたって連続的に点灯可能な定常出力の明るさで、間欠的に点灯させる。投光デバイス５４は、間欠的な点灯により、乗員の上体の全体に対して赤外線を広角に投光し始める。
ステップＳＴ５において、監視制御部３１は、車内撮像デバイス５３により、シート５に着座した乗員を撮像する。
ステップＳＴ６において、監視制御部３１は、警告が必要であるか否かを判断する。監視制御部３１は、撮像画像での乗員の上体の位置および動きなどを特定し、特定した上体の位置および動きなどにより乗員の居眠り、わき見などを判断する。そして、乗員が居眠り、わき見などをしていない場合、監視制御部３１は、警告が不要であると判断し、処理をステップＳＴ８へ進める。乗員が居眠り、わき見などをしている場合、監視制御部３１は、警告が必要であると判断し、処理をステップＳＴ７へ進める。
ステップＳＴ７において、監視制御部３１は、乗員に対して注意喚起のための警告処理を実行する。監視制御部３１は、たとえば表示デバイス１３に警告を表示するとともに、スピーカデバイス１５から警告音を出力する。
ステップＳＴ８において、監視制御部３１は、乗員が降車したか否かを判断する。監視制御部３１は、車内撮像デバイス５３により撮像される画像に乗員が映らなくなると、乗員が降車したと判断する。乗員が降車していない場合、監視制御部３１は、処理をステップＳＴ５へ戻す。監視制御部３１は、降車していない乗員についての上述した監視を、次の車内撮像デバイス５３の撮像画像に基づいて繰り返し実行する。乗員が降車した場合、監視制御部３１は、図７の処理を終了する。

図８は、投光デバイス５４の投光と、車内撮像デバイス５３の撮像との関係を示す説明図である。
図８に示すように、車内撮像デバイス５３は、撮像周期ごとに画像を撮像する。詳しくは、車内撮像デバイス５３は、撮像周期の一部である撮像期間において、間欠的に画像を撮像する。
図８（Ａ）では、間欠的に点灯する投光デバイス５４は、車内撮像デバイス５３の撮像周期ごとに、撮像期間内で点灯する。この場合、車内撮像デバイス５３は、投光デバイス５４が乗員へ光を照射している期間の全体において、乗員を撮像する。車内撮像デバイス５３は、乗員を明るく撮像できる。
これに対して、図８（Ｂ）では、間欠的に点灯する投光デバイス５４は、車内撮像デバイス５３の撮像周期ごとに点灯しているものの、撮像期間外で点灯する。この場合、車内撮像デバイス５３は、投光デバイス５４が乗員へ光を照射している光を受光して撮像することができない。車内撮像デバイス５３は、投光デバイス５４により間欠的に投光しているにもかかわらず、乗員を暗く撮像することになる。
したがって、投光デバイス５４を間欠点灯させる場合、図８（Ａ）に示すように投光デバイス５４の点灯周期は、車内撮像デバイス５３の撮像周期に同期させるとよい。また、投光デバイス５４は、車内撮像デバイス５３の撮像期間内で間欠的に点灯するとよい。投光デバイス５４の間欠的な点灯期間は、車内撮像デバイス５３の撮像と同期するように制限される。
監視制御部３１は、上述したステップＳＴ４において、投光デバイス５４を、これらの条件満たすように、間欠的に点灯させる。

図９は、図３の運転支援装置の支援制御部３２の処理を示すフローチャートである。
支援制御部３２は、自動車１が走行または停車している期間において、図９の処理を繰り返し実行する。

図９の運転支援制御のステップＳＴ１１において、支援制御部３２は、自車および周辺情報を取得する。支援制御部３２は、たとえば、車外撮像デバイス１６の撮像画像、通信制御部３４が交通システムから取得する他の車両の移動データ、車速センサ１１の速度、加速度センサ１２の加速度、支援制御部３２による進路、経路情報などを取得する。
ステップＳＴ１２において、支援制御部３２は、自車の走行について取得した情報に基づいて、自車の進路を生成する。支援制御部３２は、たとえば、自車の経路情報に基づいて直近の進路を生成する。
ステップＳＴ１３において、支援制御部３２は、他の車両などの他の移動体と自車との衝突可能性を判断する。支援制御部３２は、たとえば、撮像画像または移動データから他の移動体の進路を生成し、自車の直近の進路との交差または近接を判断する。そして、自車の直近の進路と他の移動体の進路とが交差または近接する場合、支援制御部３２は、衝突可能性ありと判断し、処理をステップＳＴ１４へ進める。自車の直近の進路と他の移動体の進路とが交差または近接しない場合、支援制御部３２は、衝突可能性なシート５判断し、処理をステップＳＴ１５へ進める。
ステップＳＴ１４において、支援制御部３２は、ステップＳＴ１２において生成した進路を、他の移動体の進路と交差したり近接したりし難くなるように更新する。支援制御部３２は、たとえば進路の途中で加減速したり、停車したりするように、生成した進路を更新する。

ステップＳＴ１５において、支援制御部３２は、生成または更新された進路により、自車の走行を制御する。支援制御部３２は、生成された進路より、更新された進路を優先する。自動運転により走行している場合、支援制御部３２は、生成または更新された進路にしたがって走行するように、自車を走行させる。乗員がハンドル７などの操作デバイス１４を操作する場合、支援制御部３２は、操作量を生成または更新された進路により調整し、自車を走行させる。
ステップＳＴ１６において、支援制御部３２は、制御した走行での衝突についての回避可能性を判断する。支援制御部３２は、車外撮像デバイス１６の最新の撮像画像などの自車センサによる情報を取得し、他の移動体との衝突の回避可能性を判断する。自車は、通常は、ステップＳＴ１４により回避するように更新された進路にしたがって自車が移動しているため、他の移動体との衝突は回避可能である。ただし、たとえば他の移動体が予想を超える動きをした場合には、更新された進路にしたがって自車が移動していたとしても、衝突してしまう可能性がある。支援制御部３２は、たとえば撮像画像に映る他の移動体についての相対的な移動により、回避可能性を判断する。このようにステップＳＴ１６における回避可能性の判断は、ステップＳＴ１４における衝突可能性の予測判断よりも厳しい判断であり、衝突が実際に発生するか否かの可能性について判断するものである。回避可能性がない場合、支援制御部３２は、処理をステップＳＴ１７へ進める。回避可能性がある場合、支援制御部３２は、処理をステップＳＴ１８へ進める。
ステップＳＴ１７において、支援制御部３２は、車内ネットワーク２１へ衝突予測を出力する。その後、支援制御部３２は、図９の運転支援制御を終了する。
ステップＳＴ１８において、支援制御部３２は、車内ネットワーク２１へ衝突予測解除を出力する。その後、支援制御部３２は、図９の運転支援制御を終了する。
以上の処理により、支援制御部３２は、衝突が実際に発生すると判断した場合に、ステップＳＴ１７において衝突予測を出力する。衝突が実際に発生すると判断しない場合には、支援制御部３２は、ステップＳＴ１８において衝突予測解除を出力する。

図１０は、図５の監視制御部３１による衝突予測時の処理を示すフローチャートである。
監視制御部３１は、ステップＳＴ１７による衝突予測を受信した場合、図１０の処理を実行する。監視制御部３１は、ステップＳＴ１７による衝突予測を新たに受信するたびに、図１０の処理を繰り返し実行する。

図１０の衝突予測時の処理のステップＳＴ２１において、監視制御部３１は、ステップＳＴ１７で出力される衝突予測を取得する。
衝突予測を取得すると、監視制御部３１は、衝突時の乗員を保護するための乗員監視制御を開始する。

ステップＳＴ２２において、監視制御部３１は、投光デバイス５４による投光を切り替える。
具体的には、監視制御部３１は、図８（Ｃ）に示すように連続的な高出力の明るさの光へ切り替えて、投光デバイス５４による強い光を、車内撮像デバイス５３により撮像される乗員へ向けて照射する。投光デバイス５４を通常出力での間欠点灯から、最大出力での連続点灯へ切り替える。最大出力の点灯とは、投光デバイス５４の最大能力での点灯をいい、発熱などの影響によって長期にわたって連続的に点灯することができなかったが、たとえば数分程度の短期的であれば連続的に点灯することができる程度に、高出力での点灯でよい。投光デバイスは、通常時の点滅における最大輝度よりも明るく連続的に光ることになる。
また、監視制御部３１は、乗員の頭部へ照射する光量を増やすために、さらなる投光の切替制御を実行してよい。
たとえば、監視制御部３１は、投光デバイス５４を、それによる投光エリアが狭くなるように、シート５に着座した乗員の上体の全体に対して広角に投光する状態から、乗員の頭部の周囲へ挟角に投光する状態に切り替えてよい。
これらの乗員の頭部へ照射する光量を増やすための切替制御により、投光デバイス５４は、自動車１の衝突が予測される場合には、車内撮像デバイス５３により撮像される乗員の頭部へ向けて、通常時よりも投光エリアを絞った強い光を照射することができる。
また、投光デバイス５４が連続的に点灯するため、投光デバイス５４の光量は、車内撮像デバイス５３の撮像と同期するようにするために制限されなくなる。

ステップＳＴ２３において、監視制御部３１は、連続した強い光が照射されている乗員の頭部を撮像する。監視制御部３１は、車内撮像デバイス５３の撮像画像から、乗員の頭部を含む範囲の部分画像を切り出す。

ステップＳＴ２４において、監視制御部３１は、切り出した乗員の頭部の画像から、頭部の位置および動きを特定し、特定した頭部の挙動に基づく頭部の挙動情報を、車内ネットワーク２１へ出力する。たとえば、監視制御部３１は、切り出した部分画像における頭部の撮像位置により、乗員室４における頭部の位置を特定する。監視制御部３１は、複数の部分画像の頭部の撮像位置の変化により、乗員室４における頭部の動きを特定する。監視制御部３１は、特定した頭部の位置から特定した頭部の動き方向へ、特定した頭部の動き量に応じた速度で線形的に移動するとして、乗員室４における頭部の挙動を予測する。監視制御部３１は、予測した乗員室４における頭部の挙動のデータを、挙動情報として、車内ネットワーク２１へ出力する。

ステップＳＴ２４において、監視制御部３１は、衝突予測が解除されたか否かを判断する。
監視制御部３１は、ステップＳＴ１８で出力される衝突予測解除を取得していない場合、衝突予測が解除されていないと判断し、処理をステップＳＴ２３へ戻す。監視制御部３１は、衝突予測が解除されるまで、ステップＳＴ２３からステップＳＴ２５の処理を繰り返し、最新の頭部の部分画像に基づく挙動情報を、繰り返し出力する。
監視制御部３１は、ステップＳＴ１８で出力される衝突予測解除を取得した場合、衝突予測が解除されたと判断し、図１０の衝突予測時の処理を終了する。

図１１は、図６の保護制御部３３による処理を示すフローチャートである。
乗員の保護制御部３３は、ステップＳＴ１７による衝突予測を受信した場合、図１１の処理を実行する。保護制御部３３は、ステップＳＴ１７による衝突予測を新たに受信するたびに、図１１の処理を繰り返し実行する。

図１１の乗員保護処理のステップＳＴ３１において、保護制御部３３は、ステップＳＴ１７で出力される衝突予測を取得したか否かを判断する。
衝突予測を取得していない場合、保護制御部３３は、図１１の乗員保護処理を終了する。
衝突予測を取得している場合、保護制御部３３は、処理をステップＳＴ３２に進める。

ステップＳＴ３２において、保護制御部３３は、ステップＳＴ２４において出力される最新の挙動情報を取得する。

ステップＳＴ３３において、保護制御部３３は、取得した最新の挙動情報に基づいて、保護メモリ６１の設定データ６９を変更する。
保護制御部３３は、たとえば、挙動情報に含まれる乗員の頭部の挙動予測に基づいて、ベルトアクチュエータ６３の作動開始タイミング、第一インフレータ６７の動作の有無の設定、第一インフレータ６７の作動開始タイミング、第二インフレータ６８の有無の設定、第二インフレータ６８の作動開始タイミング、などについての設定データ６９を更新する。
また、保護制御部３３は、挙動情報に含まれる乗員の頭部の位置および挙動予測に基づいて、衝突の衝撃により乗員の頭部が倒れる方向においてエアバックが展開するように、エアバックアクチュエータ６６によりベース部材６５を駆動する。

ステップＳＴ３４において、保護制御部３３は、衝突が予測されていることに基づく、衝突検出前の事前制御を実行する。
事前制御において、保護制御部３３は、たとえば、ベルトアクチュエータ６３を作動させてシートベルト６２を引き込み、シートベルト６２を乗員に密着させる。

ステップＳＴ３５において、保護制御部３３は、衝突を検出したか否かを判断する。保護制御部３３は、たとえば、加速度センサ１２により衝突の衝撃に対応する過大な加速度が検出されたか否かに基づいて、衝突を検出したか否かを判断する。
衝突を検出していない場合、保護制御部３３は、ステップＳＴ３６において、ステップＳＴ１８による衝突予測が解除されたか否かを判断する。衝突予測が解除されている場合、保護制御部３３は、図１１の乗員保護処理を終了する。衝突予測が解除されていない場合、保護制御部３３は、処理をステップＳＴ３２に戻す。保護制御部３３は、衝突の検出または衝突予測の解除のいずれかを判断するまで、ステップＳＴ３２からステップＳＴ３６までの処理を繰り返す。保護制御部３３は、たとえば衝突の直前まで、乗員の頭部の挙動に応じて設定を変更し、事前制御を実行する。
衝突を検出している場合、保護制御部３３は、ステップＳＴ３７において、衝突時制御を実行する。
衝突時制御において、保護制御部３３は、たとえばベルトアクチュエータ６３によりシートベルト６２にテンションを加える。保護制御部３３は、設定に応じて第一インフレータ６７および第二インフレータ６８を作動させる。これにより、エアバック６４が展開する。衝突の際に乗員の運動エネルギは、シートベルト６２およびエアバックにより吸収され得る。

以上のように、本実施形態では、自動車１の衝突が予測される場合、乗員保護制御のために、自動車１の乗員監視装置５０の投光デバイス５４は、連続した光を、少なくとも車内撮像デバイス５３により撮像される乗員へ向けて照射する。
たとえば、投光デバイス５４は、自動車１の衝突が予測される場合、自動車１の衝突が予測されていない通常の場合での間欠的な通常の明るさの光を連続的な高出力の明るさの光へ切り替えて、投光デバイス５４による強い光を、車内撮像デバイス５３により撮像される乗員へ向けて照射する。
さらに、投光デバイス５４は、たとえば、投光デバイス５４による光を絞って、車内撮像デバイス５３により撮像される乗員の頭部へ向けて照射する。
これにより、シートに着座している乗員の少なくとも頭部には、通常よりも明るい光が連続的に照射される。
よって、本実施形態において、車内撮像デバイス５３による撮像画像には、乗員の頭部が通常時よりもはっきりと撮像されるようになる。
その結果、本実施形態では、撮像画像においてシート５に着座した乗員の頭部が容易に特定でき、乗員の頭部の位置や挙動を良好に推定し得る。乗員保護装置６０は、自動車１の衝突が予測される場合には、乗員の頭部がはっきりと映る撮像画像に基づいて、たとえば衝突の際の乗員の頭部の位置や動きを良好に予測し、適切な乗員保護制御を実行可能になる。乗員監視装置６０は、乗員監視装置５０を用いることにより期待し得る良好な乗員保護制御を実行することが可能になる。たとえば、本実施形態では、撮像画像を処理する際に撮像画像に含まれる頭部の特定処理に手間取ることなく、撮像環境の良否によらずに、撮像画像において照射強度が上がっている頭部を確実にかつ短い処理時間で特定できるようになる。本実施形態では、顔検出のロバスト性を向上できる。

また、本実施形態では、撮像環境の良否によらずに、撮像画像に基づく顔の特定を安定的に早期に完了でき、その後の乗員保護制御などを早期に開始することができる。たとえば、撮像から乗員保護制御の実行を開始するまでのリードタイムは、撮像環境の良否によらずに、略最小な時間に安定的に維持され得る。
これに対して、仮にたとえば通常での撮像画像により頭部を特定しようとする場合、画像中の顔が暗くなって周囲に溶け込んで、頭部の特定のための画像処理の負荷が大きくなって処理に時間がかかったり、場合によっては顔を特定できなかったりする可能性がある。

本実施形態では、投光デバイス５４は、シート５に着座している乗員の頭部へ向けて、赤外線による非可視光を投光する。よって、本実施形態では、頭部に対して集められた強い光を照射しても、乗員による視認を妨げ難くできる。

以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。

たとえば上記実施形態では、乗員監視装置５０は、車内ネットワーク２１に接続されている。この他にもたとえば、乗員監視装置５０は、無線通信デバイス１７と通信可能であることにより、乗員保護装置６０などとの間でデータを送受してよい。乗員監視装置５０と無線通信デバイス１７とは、たとえばＩＥＥＥ８０２．１Ｘの規格に準拠した比較的短距離の通信方式によりデータを送受してよい。この場合、乗員監視装置５０は、自動車１に対して取り外し可能に設けられてよい。自動車１に対して取り外し可能な乗員監視装置５０は、マウンタにより乗員室４に位置決めして固定設置してよい。

１…自動車（車両）、４…乗員室、５…シート、６…ダッシュボード、７…ハンドル、１０…車両制御システム（乗員保護システム）、１２…加速度センサ、１６…車外撮像デバイス、２０…ＥＣＵ、３１…監視制御部、３２…支援制御部、３３…保護制御部、４０…走行支援装置、５０…乗員監視装置、５２…光学ユニット、５３…車内撮像デバイス、５４…投光デバイス、５８…設定データ、６０…乗員保護装置、６９…設定データ、７０…エアバック部材、７１…シートベルト部材

Claims (5)

1. 車両に設けられたシートに着座している乗員を監視する車両の乗員監視装置であって、
   前記シートに着座している乗員へ向けて投光する投光デバイスと、
   前記シートに着座している乗員を撮像する撮像デバイスと、
   前記投光デバイスおよび前記撮像デバイスを制御して、前記シートに着座している乗員を撮像する処理部と、
   を有し、
   前記処理部は、
   前記車両の衝突が予測される場合、前記投光デバイスによる連続した光を、前記撮像デバイスにより撮像される乗員の頭部に絞って照射する、
   車両の乗員監視装置。
   
2. 前記投光デバイスは、連続した投光と点滅による投光とで切り替え可能であり、
   前記処理部は、
   前記車両の衝突が予測されていない通常の場合、前記投光デバイスによる点滅による光を、少なくとも前記撮像デバイスにより撮像される乗員へ向けて照射し、
   前記車両の衝突が予測される場合、前記投光デバイスによる連続した光を、少なくとも前記撮像デバイスにより撮像される乗員へ向けて照射する、
   請求項１記載の、車両の乗員監視装置。
   
3. 前記処理部は、
   前記車両の衝突が予測される場合、前記投光デバイスによる通常時の点滅における最大輝度よりも光らせる、
   請求項１または２記載の、車両の乗員監視装置。
   
4. 前記投光デバイスは、前記シートに着座している乗員の頭部へ向けて、非可視光を投光する、
   請求項１から３のいずれか一項記載の、車両の乗員監視装置。
   
5. 請求項１から４のいずれか一項記載の車両の乗員監視装置と、
   前記乗員監視装置により撮像された乗員の撮像画像に基づいて乗員保護制御を実行する乗員保護装置と、
   を有する、車両の乗員保護システム。
   

Images