JP5057936B2 - 鳥瞰画像生成装置および方法 - Google Patents

Description

本発明は鳥瞰画像生成装置および方法に関し、特に、カメラにより撮影した自車両周囲の画像を視点変換処理することにより、自車両の上方の仮想視点から見た鳥瞰画像を生成する装置および方法に関するものである。

従来、自車両の前後左右に複数のカメラを設置し、当該複数のカメラにより撮影した自車両周囲の画像を視点変換処理することにより、自車両の上方の仮想視点から見た鳥瞰画像（以下、車両周辺鳥瞰画像と称する）を生成し、当該車両周辺鳥瞰画像をディスプレイ等の表示装置に表示する技術が提案されている（例えば、特許文献１参照）。
特許第３３００３３４号公報

また、自車両の所定位置に設置された１つのカメラにより撮影した自車両周囲の画像を視点変換処理することにより、自車両周囲のカメラ撮影方向を上方の仮想視点から見た鳥瞰画像（以下、一方向鳥瞰画像と称する）を生成し、当該一方向鳥瞰画像をディスプレイ等の表示装置に表示する技術も提案されている。

これらの車両周辺鳥瞰画像表示技術または一方向鳥瞰画像表示技術（以下、総称して鳥瞰画像表示技術と称する）によれば、運転者は、自車両の表示装置に表示された車両周辺鳥瞰画像または一方向鳥瞰画像を確認することで、自車両とその周囲の障害物との位置関係を把握し、自車両と障害物との衝突等を防ぐように運転することができる。

この鳥瞰画像表示技術においてカメラにより撮影された画像に対して行う視点変換処理は、自車両周囲の路面の高さに投影面を設定して、撮影画像の各画素を当該投影面に投影するものである。路面の高さを視点変換処理の基準にしているので、立体的な障害物は、それが路面に接する部分を基点として、カメラ（自車両）から見て遠方に倒れ込むような形で表示されることとなる。この場合でも、自車両と障害物との間の路面上での絶対距離が正確に表されているので、運転者は、自車両とその周囲の障害物との距離感をほぼ正確に把握することができる。

しかしながら、車両周囲にある障害物が、自車両が進行した場合に接触する恐れのある部分（以下、接触予想部分と称する）が路面から上方の或る高さの位置に存在するような立体物の場合には、接触予想部分の画像は投影の結果、自車両からの実際の距離よりも遠くに表示されてしまう。このため、車両をその障害物の方向に進行させたときに、障害物が急激に近づくといった違和感を運転者に与えたり、運転者の停止動作が間に合わずに車両が障害物に衝突してしまったりするという問題があった。

このような問題を引き起こす障害物としては、例えば物干し竿の竿が考えられる。すなわち、両側の支柱は自車両の進行方向になくて障害にならないものの、両支柱間に架けられた竿が自車両の進行方向にある場合、この竿が上述の問題を引き起こす障害物となる。また、路面から上方に向かってほぼまっすぐに伸びておらず、途中から自車両側に屈曲している形状をした立体物とか、車両進行方向にある壁面のある高さから自車両側に突起している形状の立体物なども、上述の問題を引き起こす障害物となる。以下、この問題を引き起こす障害物のことを空中障害物と称する。

図１３は、上述した従来の問題点を説明するための図である。この図１３は、空中障害物の接触予想部分が自車両からの実際の距離よりも遠くに表示されてしまう原理を示したものである。図１３（ａ）は、自車両１００と空中障害物２００との位置関係および空中障害物２００の路面への投影の様子を示す。図１３（ｂ）は、路面への投影による視点変換処理により生成された一方向鳥瞰画像を示す。

ここでは一例として、２つの支柱２０１，２０２の間に架設された竿が、空中障害物２００として自車両１００の後方に存在する場合について説明している。図１３（ａ）に示すように、自車両１００から空中障害物２００までの実際の距離はＤ１であるとする。この場合に、カメラ３００の位置を基準として、空中障害物２００の画像を路面の高さに設定した投影面に投影すると、自車両１００から距離Ｄ２（＞Ｄ１）の位置に空中障害物２００の画像が視点変換されてしまう。

このため、図１３（ｂ）に示すように、空中障害物２００の画像は、自車両１００からの実際の距離Ｄ１よりも遠くに表示されてしまう。なお、図１３（ｂ）に示す点線は、一方向鳥瞰画像上に重畳して表示されるガイドラインであり、自車両１００から所定の距離（例えば、５０ｃｍ）の位置に表示される。図１３の例は、ガイドラインが表示される位置と同じ距離のところに空中障害物２００が存在する場合を示したものである（Ｄ１＝５０ｃｍ）。このように、運転者の便宜のためにガイドラインが表示されていても、空中障害物２００の表示されている位置に狂いが生じているので、運転者が混乱しやすいという問題があった。

本発明は、このような問題を解決するために成されたものであり、車両周囲に空中障害物が存在する場合に、自車両と空中障害物との間の距離を正確に表した鳥瞰画像を生成して表示できるようにすることを目的とする。

上記した課題を解決するために、本発明では、車両の周囲で撮像装置がある方向に存在する障害物であって、車両が進行した場合に接触する恐れのある接触予想部分が路面から上方の或る高さの位置に存在する空中障害物が検出され、かつ、その空中障害物の接触予想部分の高さが撮像装置の高さより低いと判定された場合に、接触予想部分が存在する高さの位置に仮想投影面を設定し、撮影画像の各画素を仮想投影面に投影するような視点変換処理を行うことにより鳥瞰画像を生成するようにしている。

本発明の他の態様では、車両から障害物の接触予想部分までの範囲内にある画像に関しては路面の高さに設定した投影面に各画素を投影するような視点変換処理を行い、接触予想部分より遠い範囲の画像に関しては仮想投影面に各画素を投影するような視点変換処理を行うようにしている。

本発明の更に別の態様では、撮影画像の各画素を路面の高さに設定した投影面に投影するような視点変換処理を行う路面投影モードと、撮影画像の各画素を仮想投影面に投影するような視点変換処理を行う仮想平面投影モードとを有し、障害物が検出された後に、その検出された障害物の接触予想部分の高さに関連付けてあらかじめ記憶されている移動余裕距離だけ車両が移動したことを検出した時に、路面投影モードから仮想平面投影モードに切り替えるようにしている。

ここで、車両の撮像装置設置面が障害物の方向に凹凸形状を有する場合、凸状態になっている部分に比べて、凹状態になっている部分には車体のない空間が存在する。その空間の水平方向（車両の進行方向）に対する長さは、路面からの高さに応じて異なっている。上述の移動余裕距離は、この路面からの高さに応じて異なる空間の長さに対応した値とする。

上記のように構成した本発明によれば、車両が障害物と接触する恐れのある接触予想部分が路面から上方の或る高さの位置に存在する場合には、その高さの位置を投影面として撮影画像の各画素を投影するような視点変換処理が行われるので、投影面の高さと障害物の接触予想部分の高さとが一致し、その高さにある接触予想部分と車両との距離が視点変換後の鳥瞰画像において正確に表されるようになる。これにより、車両と障害物の接触予想部分との間の距離を正確に表した鳥瞰画像を得ることができる。

なお、上述のように、障害物の接触予想部分の高さに仮想投影面を設定して視点変換処理を行った場合、路面よりも高い位置に投影面が設定される分だけ、鳥瞰画像が全体として撮像装置側（車両側）に圧縮される。この圧縮効果により、接触予想部分が自車両からの実際の距離よりも遠くに表されてしまうことを防止できる訳であるが、車両から障害物の接触予想部分までの範囲内にある画像も、車両側に圧縮されることとなる。

これに対して、本発明の他の態様によれば、車両から障害物の接触予想部分までの範囲内にある画像に関しては路面の高さに設定した投影面に各画素を投影するような視点変換処理が行われるので、この部分の画像が車両側に圧縮されることはない。これにより、例えば車両から障害物の接触予想部分までの範囲内の路面上に白線（立体的な障害物ではない）が引かれていた場合に、その白線が車両側に近づいたような鳥瞰画像にはならず、車両と白線との実際の距離が視点変換後の鳥瞰画像において正確に表されるようになる。これにより、車両と障害物の接触予想部分との間の距離に加えて、車両および障害物の間にある白線と当該車両との距離を正確に表した鳥瞰画像を得ることができる。

ところで、車両の撮像装置設置面が障害物の方向に凹凸形状を有する場合には、その障害物の接触予想部分が存在する高さに応じて、車両が障害物の方向に進行した場合に実際に接触するタイミングが異なる。すなわち、車両の凸状部分の高さが障害物の接触予想部分の高さと一致していない場合は、高さが一致している場合に比べて、車両が障害物と接触するタイミングは遅くなる。

本発明の更に別の態様によれば、路面投影モードを仮想平面投影モードに切り替えるタイミングが、障害物が検出された直後ではなく、その後に移動余裕距離だけ車両が移動するタイミングまで遅らせられる。移動余裕距離は、車両の凸状部分と凹状部分との間の空間距離を考慮して設定されているので、仮想平面投影モードに切り替わるタイミングが遅れても、実際に車両が障害物と接触してしまうまでには余裕がある。これにより、仮想投影面を設定した視点変換処理によって画像が圧縮されるタイミングをできるだけ遅らせることができる。

（第１の実施形態）
以下、本発明の一実施形態を図面に基づいて説明する。図１は、第１の実施形態による鳥瞰画像生成装置１０の構成例を示すブロック図である。図１において、１は自車両の周辺を撮影するために自車両に設置されたカメラであり、例えば自車両の後部面で所定の高さの位置に配置され、自車両後方の画像を撮影する。カメラ１は、例えば魚眼レンズのような超広角レンズを備え、自車両後方の広範囲を撮影可能となっている。

また、２は超音波センサであり、発信した超音波の反射波に基づき自車両の周辺における障害物の有無および自車両から障害物までの距離を検出する。超音波センサ２は、センサヘッドから超音波を発信し、障害物で反射してくる超音波を再度センサヘッドで受信し、この超音波の発信から受信までの時間を計測することで、対象物の位置を検出する。なお、ここでは超音波センサ２を用いているが、ミリ波レーダーなど他のセンサを用いても良い。

３は障害物判定部であり、超音波センサ２により障害物が検出された場合に、それが空中障害物かどうかを判定する。空中障害物は、自車両の周囲でカメラ１がある後方に存在する立体物であって、自車両が後方に進行した場合に接触する恐れのある接触予想部分が路面から上方の或る高さの位置に存在する立体物のことをいう。上述した超音波センサ２および障害物判定部３により本発明の障害物検出部が構成される。

図２は、接触予想部分５０が路面から上方の或る高さの位置に存在する空中障害物２００の一例を示す図である。空中障害物２００の例としては、図２（ａ）に示すように、路面から上方に向かってほぼまっすぐに伸びておらず、途中から自車両１００側に屈曲している形状をした立体物が考えられる。また、図２（ｂ）に示すように、車両進行方向（後方）にある壁面のある高さから自車両１００側に突起している形状の立体物なども空中障害物２００の１つである。これ以外にも、物干し竿の竿などが空中障害物２００の一例として考えられる。

上述のように、超音波センサ２は、超音波の発信から受信までの時間を計測することで対象物の位置を検出するが、この対象物が空中障害物２００の場合は、超音波センサ２が様々な高さに発信した超音波のうち、接触予想部分５０で反射してくる超音波の計測時間が、他の部分で反射してくる超音波の計測時間よりも短くなる。よって、障害物判定部３は、計測時間の最も短い部分が路面から上方の或る高さの位置に存在する立体物が超音波センサ２により検出されている場合に、その立体物は空中障害物２００であると判断する。これと同時に、障害物判定部３は、接触予想部分５０が存在する路面からの高さも検出する。

さらに、障害物判定部３は、検出した接触予想部分５０の高さが、カメラ１の設置されている高さよりも低いか否かを判定する。例えば、障害物判定部３は、カメラ１の高さを既知の情報として保持しており、この既知のカメラ１の高さと、障害物判定部３が自身で検出した接触予想部分５０の高さとを比較することにより、接触予想部分５０の高さがカメラ１の高さよりも低いか否かを判定する。

４は画像入力部であり、カメラ１により撮影された車両周囲の画像を鳥瞰画像生成装置１０内に入力する。５は鳥瞰画像生成部であり、画像入力部４により入力されたカメラ１の撮影画像を視点変換することにより、自車両の上方の仮想視点から見た一方向鳥瞰画像を生成する。鳥瞰画像生成部５は、視点変換処理部５ａおよびマッピングテーブル情報記憶部５ｂにより構成されている。視点変換処理部５ａは、画像入力部４からカメラ１の撮影画像を入力し、マッピングテーブル情報記憶部５ｂに記憶されているマッピングテーブル情報（座標変換情報）に従って、自車両の周辺を上方から見たときの一方向鳥瞰画像を生成する。

マッピングテーブル情報記憶部５ｂは、カメラ１により撮影される画像の画素位置と、自車両の周辺を上方の仮想視点から見た一方向鳥瞰画像の画素位置との対応関係を記載した情報、すなわち、撮影画像のある画素が一方向鳥瞰画像のどの画素に対応するかを示す座標変換情報からなるマッピングテーブル情報を記憶している。

６はモード制御部であり、障害物判定部３による空中障害物２００の検出結果に応じて、鳥瞰画像生成部５の動作モードを制御する。鳥瞰画像生成部５は、画像入力部４により入力された画像の各画素を車両周囲の路面の高さに設定した投影面に投影するような視点変換処理を行う路面投影モードと、画像入力部４により入力された画像の各画素を仮想投影面（詳しくは後述する）に投影するような視点変換処理を行う仮想平面投影モードとを有している。

モード制御部６は、障害物判定部３により自車両後方に空中障害物２００が検出され、かつ、その空中障害物２００の接触予想部分５０の高さがカメラ１の高さより低いと判定された時に、路面投影モードから仮想平面投影モードに切り替えるように制御する。それ以外の状況下、すなわち、空中障害物２００が存在しない場合および空中障害物２００が存在していてもその接触予想部分５０の高さがカメラ１の高さより高い場合には、モード制御部６は鳥瞰画像生成部５を路面投影モードに設定する。

路面投影モードにおいて、鳥瞰画像生成部５の視点変換処理部５ａは、路面の高さに投影面を設定し、画像入力部４０により入力された画像の各画素を路面に投影するような視点変換処理を行うことにより、車両の周囲でカメラ１がある方向を上方の仮想視点から見た一方向鳥瞰画像を生成する。具体的には、マッピングテーブル情報記憶部５ｂは、路面の高さに対応した視点変換用マッピングテーブルを記憶している。視点変換処理部５ａは、この路面の高さを投影面とする視点変換用マッピングテーブルを用いて視点変換処理を行う。

一方、仮想平面投影モードにおいて、鳥瞰画像生成部５の視点変換処理部５ａは、図３に示すように、空中障害物２００の接触予想部分５０が存在する高さの位置に仮想投影面ＶＰを設定し、画像入力部４０により入力された画像の各画素を仮想投影面ＶＰに投影するような視点変換処理を行うことにより、自車両１００の周囲でカメラ１がある方向を上方の仮想視点から見た一方向鳥瞰画像を生成する。

具体的には、鳥瞰画像生成部５のマッピングテーブル情報記憶部５ｂは、路面からの高さが異なる複数の仮想投影面ＶＰに対応した複数の視点変換用マッピングテーブルを記憶している。視点変換処理部５ａは、障害物判定部３により検出された空中障害物２００の接触予想部分５０の高さに対応する仮想投影面ＶＰに対応した視点変換用マッピングテーブルを用いて、視点変換処理を行う。

例えば、マッピングテーブル情報記憶部５ｂは、路面からの高さが１０ｃｍ、２０ｃｍ、３０ｃｍ、・・・と１０ｃｍ刻みで異なる複数の仮想投影面ＶＰに対応した複数の視点変換用マッピングテーブルを記憶している。視点変換処理部５ａは、障害物判定部３により検出された接触予想部分５０の高さに仮想投影面ＶＰを設定し、その仮想投影面ＶＰの高さに最も近い高さに対応した視点変換用マッピングテーブルを用いて視点変換処理を行う。

なお、障害物判定部３により空中障害物２００が複数検出された場合には、視点変換処理部５ａは、自車両１００から複数の空中障害物２００の接触予想部分５０までの距離に基づいて、自車両１００から最も近い位置の空中障害物２００の接触予想部分５０が存在する高さの位置に仮想投影面ＶＰを設定する。そして、その設定した仮想投影面ＶＰの高さに最も近い高さに対応した視点変換用マッピングテーブルを用いて視点変換処理を行う。

７は表示制御部であり、鳥瞰画像生成部５により生成された一方向鳥瞰画像をディスプレイ等の表示部８に表示するための制御を行う。図４は、鳥瞰画像生成部５により生成された一方向鳥瞰画像の一例を示す図である。ここでは一例として、自車両１００から５０ｃｍ離れた後方に空中障害物２００として物干し竿の竿が存在し、一方向鳥瞰画像上で自車両１００から５０ｃ１００ｍの位置にガイドライン（点線で示す）が重畳して表示された例を示している。

本実施形態では、自車両の後方に空中障害物２００が存在する場合には、その空中障害物２００の接触予想部分５０の高さに仮想投影面ＶＰを設定し、撮影画像の各画素をその仮想投影面ＶＰに投影するような視点変換処理を行うので、投影面の高さと接触予想部分５０の高さとが一致する。このため、接触予想部分５０と自車両１００との距離が、視点変換後の一方向鳥瞰画像において正確に表されるようになる。図４の例では、一方向鳥瞰画像上で自車両１００から５０ｃｍの場所に表示されるガイドラインの表示位置と、自車両１００から５０ｃｍ離れた後方に存在する空中障害物２００の接触予想部分５０の表示位置とが正確に一致している。

次に、上記のように構成した第１の実施形態による鳥瞰画像生成装置１０の動作を説明する。図５は、第１の実施形態による鳥瞰画像生成装置１０の動作例を示すフローチャートである。

図５において、まず、画像入力部４は、自車両の後部面に設置されたカメラ１により撮影された車両後方の画像を入力する（ステップＳ１）。次に、超音波センサ２および障害物判定部３は、自車両の後方における空中障害物２００を検出する（ステップＳ２）。ここで障害物判定部３は、自車両の後方に空中障害物２００が存在するか否か、存在する場合にはその空中障害物２００の接触予想部分５０の高さを検出する。

次にモード制御部６は、接触予想部分５０の高さがカメラ１の高さより低い位置にある空中障害物２００が障害物判定部３により検出されたか否かを判定する（ステップＳ３）。ここで、カメラ１の高さより低い位置に接触予想部分５０の存在する空中障害物２００が障害物判定部３により検出されたと判定した場合に、モード制御部６は、鳥瞰画像生成部５を仮想平面投影モードに設定する（ステップＳ４）。

仮想平面投影モードが設定されると、鳥瞰画像生成部５の視点変換処理部５ａは、自車両から最も近くにある空中障害物２００の接触予想部分５０の高さに仮想投影面ＶＰを設定する（ステップＳ５）。そして、視点変換処理部５ａは、ステップＳ１で入力された画像の各画素を、ステップＳ５で設定した仮想投影面ＶＰに投影するような視点変換処理を行うことにより、自車両後方でカメラ１がある方向を上方の仮想視点から見た一方向鳥瞰画像を生成する（ステップＳ６）。

一方、モード制御部６は、自車両後方でカメラ１の高さより低い位置に接触予想部分５０の存在する空中障害物２００が障害物判定部３により検出されていないと判断した時、すなわち、自車両後方に空中障害物２００が存在しないことが障害物判定部３により検出された場合、または、空中障害物２００が存在していてもその接触予想部分５０の高さがカメラ１の高さより高いことが障害物判定部３により検出された場合に、モード制御部６は、鳥瞰画像生成部５を路面投影モードに設定する（ステップＳ７）。

路面投影モードが設定されると、鳥瞰画像生成部５の視点変換処理部５ａは、路面の高さに投影面を設定する（ステップＳ８）。そして、視点変換処理部５ａは、ステップＳ１で入力された画像の各画素を路面に投影するような視点変換処理を行うことにより、自車両後方でカメラ１がある方向を上方の仮想視点から見た一方向鳥瞰画像を生成する（ステップＳ６）。

以上詳しく説明したように、第１の実施形では、自車両周囲に空中障害物２００が検出された場合に、その空中障害物２００の接触予想部分５０が存在する高さに仮想投影面ＶＰを設定し、撮影画像の各画素を仮想投影面ＶＰに投影するような視点変換処理を行うことにより一方向鳥瞰画像を生成するようにしている。このため、投影面の高さと空中障害物２００の接触予想部分５０の高さとが一致し、その高さにある接触予想部分５０と車両との距離が視点変換後の一方向鳥瞰画像において正確に表されるようになる。これにより、図４に示したように、自車両と空中障害物２００の接触予想部分５０との間の距離を正確に表した一方向鳥瞰画像を得ることができる。

（第２の実施形態）
次に、本発明の第２の実施形態を図面に基づいて説明する。図６は、第２の実施形態による鳥瞰画像生成装置２０の構成例を示すブロック図である。なお、この図６において、図１に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。

図６に示す第２の実施形態が図１に示した第１の実施形態と異なる点は、鳥瞰画像生成部５の視点変換処理部５ｃの処理内容である。すなわち、図６に示す第２の実施形態では、図１に示した視点変換処理部５ａの代わりに、これとは処理内容の異なる視点変換処理部５ｃを備えている。

視点変換処理部５ｃは、画像入力部４により入力された画像の全領域のうち、自車両から接触予想部分５０までの距離の範囲内の画像部分に対しては、当該範囲内の画像部分の各画素を路面に投影するような視点変換処理を行う。すなわち、路面を投影面とした視点変換用マッピングテーブルを用いて視点変換処理を行う。また、車両から接触予想部分５０までの距離の範囲外の画像部分に対しては、当該範囲外の画像部分の各画素を仮想投影面ＶＰに投影するような視点変換処理を行う。すなわち、接触予想部分５０の高さに対応する仮想投影面ＶＰに対応した視点変換用マッピングテーブルを用いて視点変換処理を行う。

図７は、第２の実施形態による投影面を示す図である。図７に示すように、視点変換処理部５ｃは、障害物判定部３により空中障害物２００が検出された場合に、自車両１００から見て空中障害物２００の接触予想部分５０より手前に位置する領域の画像部分に対して路面を投影面ＲＰに設定するとともに、自車両１００から見て空中障害物２００の接触予想部分５０より遠方に位置する領域の画像部分に対して仮想投影面ＶＰを設定して視点変換処理を行う。

第１の実施形態のように、撮影画像の全体を対象として、空中障害物２００の接触予想部分５０の高さに仮想投影面ＶＰを設定して視点変換処理を行った場合、路面よりも高い位置に投影面が設定される分だけ、路面を投影面とする場合に比べて一方向鳥瞰画像が全体としてカメラ１側（自車両側）に圧縮される。このため、自車両から空中障害物２００の接触予想部分５０までの範囲内にある画像部分（自車両から見て空中障害物２００の接触予想部分５０より手前に位置する領域の画像）も、自車両側に圧縮されることとなる。この場合に、接触予想部分５０より手前の領域に白線（立体的な障害物ではない）が引かれていると、その白線が自車両側に近づいたような鳥瞰画像になってしまい、鳥瞰画像上に表示されている自車両と白線との距離が実際の距離よりも短くなってしまう。

これに対して、第２の実施形態によれば、接触予想部分５０より手前の領域の画像に関しては路面の高さに設定した投影面に各画素を投影するような視点変換処理を行うので、この手前の領域の画像が自車両側に圧縮されることはない。これにより、自車両から接触予想部分５０までの範囲内の路面上に白線が引かれていた場合に、その白線が自車両側に近づいたような鳥瞰画像にはならず、自車両と白線との実際の距離が視点変換後の一方向鳥瞰画像において正確に表されるようになる。これにより、自車両と空中障害物２００の接触予想部分５０との間の距離に加えて、自車両および空中障害物２００の間にある白線と当該自車両との距離も正確に表した一方向鳥瞰画像を得ることができる。

（第３の実施形態）
次に、本発明の第３の実施形態を図面に基づいて説明する。図８は、第３の実施形態による鳥瞰画像生成装置３０の構成例を示すブロック図である。なお、この図８において、図１に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。

図８に示す第３の実施形態が図１に示した第１の実施形態と異なる点は、モード制御部１６の処理内容である。すなわち、図８に示す第３の実施形態では、図１に示したモード制御部６の代わりに、これとは処理内容の異なるモード制御部１６を備えている。また、図１に示した構成に加えて、車両移動量検出部１７およびテーブル記憶部１８を備えている。具体的には、第３の実施形態では、路面投影モードから仮想平面投影モードに切り替えるタイミングが第１の実施形態と異なっている。

第３の実施形態では、カメラ１を設置する自車両の後部面が後方（障害物の方向）に凹凸形状を有することを考慮に入れて、路面投影モードから仮想平面投影モードに切り替えるタイミングを第１の実施形態と異ならせている。例えば、説明を分かりやすくするために、図９に示すように、車両の後部面がトランクルームの分だけ後方に凸状態になっている車両を想定する。この場合は、トランクルームの凸状態部に対して、トランクルームより下側の部分やトランクルームより上側の部分には空間（車体が存在しない部分）の凹状態部がある。

このように空間が存在する場合、凸状態部の高さと空中障害物２００の接触予想部分５０の高さとが一致していなければ、自車両１００が接触予想部分５０に実際に接触してしまうまでに自車両１００が後方に移動可能な走行距離には余裕ができる。この移動余裕距離は、凹状態部にできた空間の水平方向の長さとほぼ同じである。そして、その空間の長さ（最も凸状態になっている面と凹状態になっている面との距離差）は、車両の形状にもよるが、路面からの高さに応じて異なっている（図９中に示した水平方向の両矢印を参照）。

そこで、テーブル記憶部１８は、接触予想部分５０の路面からの高さと自車両１００の移動余裕距離とを関連付けて成る距離テーブルを記憶している。すなわち、テーブル記憶部１８は、路面からの高さに応じた空間の長さを移動余裕距離として記憶している。図１０は、この距離テーブルの一例を示す図である。図１０の距離テーブルに示す１行目の情報は、仮に接触予想部分５０が路面から１０ｃｍの高さにあった場合に自車両１００が接触予想部分５０に接触してしまうまでの移動余裕距離が、凸状態部であるトランクルームの高さに接触予想部分５０があった場合に自車両１００が接触予想部分５０に接触するまでの移動余裕距離に比べて、５０ｃｍ長いことを示している。

同様に、距離テーブルの２行目の情報は、仮に接触予想部分５０が路面から２０ｃｍの高さにあった場合に自車両が接触予想部分５０に接触してしまうまでの移動余裕距離が、凸状態部であるトランクルームの高さに接触予想部分５０があった場合に自車両が接触予想部分５０に接触するまでの移動余裕距離に比べて、３０ｃｍ長いことを示している。距離テーブルの３〜５行目の情報において、路面からの高さが３０〜５０ｃｍのときに移動余裕距離が何れも０ｃｍとなっているのは、３０〜５０ｃｍの高さの位置に凸状態部であるトランクルームが存在することを示している。

なお、図１０に示す距離テーブルの例では、トランクルームの後部面で路面から５０ｃｍの高さの位置にカメラ１が設置されており、それより高い位置に接触予想部分５０が存在する場合には仮想平面投影モードには移行しないことを想定している。路面からの高さが５０ｃｍ以上の場合は仮想平面投影モードに移行しないので、５０ｃｍ以上の高さに対する移動余裕距離は不要であり、５０ｃｍまでの高さに対応する移動余裕距離が距離テーブルとして記憶されている。

図８に示す車両移動量検出部１７は、自車両の移動量を検出する。例えば、鳥瞰画像生成装置３が搭載される自車両には自律航法センサ（図示せず）が備えられている。その自律航法センサは、自車両の所定走行距離毎に１個のパルスを出力する距離センサを備えている。車両移動量検出部１７は、距離センサから出力されるパルスを逐次入力し、入力したパルス数に基づいて自車両の移動量を検出する。

モード制御部１６は、カメラ１よりも低い位置に接触予想部分５０がある空中障害物２００が障害物判定部３により検出された場合に、テーブル記憶部１８に記憶されている距離テーブルを参照して、障害物判定部３により検出された接触予想部分５０の高さに対応する自車両の移動余裕距離を取得する。ここで、接触予想部分５０の高さと距離テーブルに記憶されている高さとが完全に一致しない場合は、接触予想部分５０の高さに最も近い高さに対応する移動余裕距離を取得する。

さらに、モード制御部１６は、車両移動量検出部１７により検出される自車両の移動量に基づいて、空中障害物２００が検出された時点から、距離テーブルより取得した移動余裕距離だけ自車両が移動したか否かを監視する。そして、移動余裕距離だけ自車両が移動したことを検出した時に、モード制御部１６は、路面投影モードから仮想平面投影モードに切り替える。

次に、上記のように構成した第３の実施形態による鳥瞰画像生成装置３０の動作を説明する。図１１は、第３の実施形態による鳥瞰画像生成装置３０の動作例を示すフローチャートである。

図１１において、まず、画像入力部４は、自車両の後部面に設置されたカメラ１により撮影された車両後方の画像を入力する（ステップＳ１１）。次に、超音波センサ２および障害物判定部３は、自車両の後方における空中障害物２００を検出する（ステップＳ１２）。ここで障害物判定部３は、自車両の後方に空中障害物２００が存在するか否か、存在する場合にはその空中障害物２００の接触予想部分５０の高さを検出する。

次にモード制御部１６は、接触予想部分５０の高さがカメラ１の高さより低い位置にある空中障害物２００が障害物判定部３により検出されたか否かを判定する（ステップＳ１３）。ここで、カメラ１の高さより低い位置に接触予想部分５０の存在する空中障害物２００が障害物判定部３により検出されたと判定した場合に、モード制御部１６は、テーブル記憶部１８に記憶されている距離テーブルを参照し、接触予想部分５０の高さに対応する移動余裕距離を取得する。そして、モード制御部６は、車両移動量検出部１７により検出される自車両の移動量に基づいて、空中障害物２００が検出された時点から移動余裕距離だけ自車両が移動したか否かを判定する（ステップＳ１４）。

ここで、移動余裕距離だけ自車両が移動したことを検出するまで、ステップＳ１４の判定処理を繰り返す。そして、移動余裕距離だけ自車両が移動したことをモード制御部１６が検出すると、モード制御部１６は、鳥瞰画像生成部５を仮想平面投影モードに設定する（ステップＳ１５）。

仮想平面投影モードが設定されると、鳥瞰画像生成部５の視点変換処理部５ａは、自車両から最も近くにある空中障害物２００の接触予想部分５０の高さに仮想投影面ＶＰを設定する（ステップＳ１６）。そして、視点変換処理部５ａは、ステップＳ１１で入力された画像の各画素を、ステップＳ５で設定した仮想投影面ＶＰに投影するような視点変換処理を行うことにより、自車両後方でカメラ１がある方向を上方の仮想視点から見た一方向鳥瞰画像を生成する（ステップＳ１７）。

一方、モード制御部１６は、自車両後方でカメラ１の高さより低い位置に接触予想部分５０の存在する空中障害物２００が障害物判定部３により検出されていないと判断した時、すなわち、自車両後方に空中障害物２００が存在しないことが障害物判定部３により検出された場合、または、空中障害物２００が存在していてもその接触予想部分５０の高さがカメラ１の高さより高いことが障害物判定部３により検出された場合に、モード制御部１６は、鳥瞰画像生成部５を路面投影モードに設定する（ステップＳ１８）。

路面投影モードが設定されると、鳥瞰画像生成部５の視点変換処理部５ａは、路面の高さに投影面を設定する（ステップＳ１９）。そして、視点変換処理部５ａは、ステップＳ１１で入力された画像の各画素を路面に投影するような視点変換処理を行うことにより、自車両後方でカメラ１がある方向を上方の仮想視点から見た一方向鳥瞰画像を生成する（ステップＳ１７）。

以上詳しく説明したように、第３の実施形態では、障害物判定部３により空中障害物２００が検出された後に、その検出された空中障害物２００の接触予想部分５０の高さに対応する移動余裕距離だけ自車両が移動したことをモード制御部１６が検出した時に、路面投影モードから仮想平面投影モードに切り替えるようにしている。

これにより、路面投影モードから仮想平面投影モードに切り替えるタイミングが、空中障害物２００が検出された直後ではなく、その後に移動余裕距離だけ車両が移動するタイミングまで遅らせられる。移動余裕距離は、車両の凸状部分と凹状部分との間の空間距離を考慮して設定されているので、仮想平面投影モードに切り替わるタイミングが遅れても、実際に車両が空中障害物２００の接触予想部分５０と接触してしまうまでには余裕がある。これにより、仮想投影面ＶＰを設定した視点変換処理によって画像が圧縮されるタイミングをできるだけ遅らせることができる。

なお、図８において、視点変換処理部５ａの代わりに図６に示した視点変換処理部５ｃを用いても良い。

以上第１〜第３の実施形態では、車両後部に設置した１つのカメラ１による撮影画像から車両後方の一方向鳥瞰画像を生成する場合を例にとって説明したが、車両の前後左右に設置した４つのカメラによる撮影画像から車両周辺鳥瞰画像を生成する場合にも、本発明を同様に適用することが可能である。図１２は、その一例である鳥瞰画像生成装置４０の構成例を示す図である。なお、この図１２において、図１に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。

図１２において、２１は自車両の周辺を撮影するために自車両の異なる位置に設置された複数のカメラであり、フロントカメラ２１ａ、左サイドカメラ２１ｂ、右サイドカメラ２１ｃ、リアカメラ２１ｄにより構成されている。フロントカメラ２１ａは自車両の前面に配置され、前方の範囲の画像を撮影する。左サイドカメラ２１ｂは自車両の左側面に配置され、左方の範囲の画像を撮影する。右サイドカメラ２１ｃは自車両の右側面に配置され、右方の範囲の画像を撮影する。リアカメラ２１ｄは自車両の後部面に配置され、後方の範囲の画像を撮影する。

２２は超音波センサであり、例えば自車両の前後左右に設置されていて、その１つ１つは所定範囲の指向性を有している。２３は障害物判定部であり、ある方向の超音波センサ２２により障害物が検出された場合に、それが空中障害物２００かどうかを判定する。さらに、障害物判定部２３は、自車両から空中障害物２００までの距離および接触予想部分５０の高さも検出する。さらに、障害物判定部２３は、検出した接触予想部分５０の高さが、カメラ２１の設置されている高さよりも低いか否かを判定する。

２５は視点変換処理部であり、複数のカメラ２１ａ〜２１ｄにより撮影された複数の車両周囲の画像をそれぞれ視点変換し、視点変換後の各画像を合成することにより、自車両の上方の仮想視点から見た車両周辺鳥瞰画像を生成する。視点変換処理部２５は、視点変換処理部２５ａ、マッピングテーブル情報記憶部２５ｂおよび画像記憶部２５ｃにより構成されている。

視点変換処理部２５ａは、画像入力部４から複数のカメラ２１ａ〜２１ｄの撮影画像を入力し、マッピングテーブル情報記憶部２５ｂに記憶されているマッピングテーブル情報（座標変換情報）に従って、自車両の周辺を上方から見たときの背景画像を生成する。この背景画像は、自車両に設置された複数のカメラ２１ａ〜２１ｄにて撮影された車両周囲の画像に基づいて生成されるものである。したがって、背景画像に含まれているのは、実際の背景および背景に含まれる障害物のみとなり、自車両の画像は含まれていない。

また、視点変換処理部２５ａは、自車両を上方から見た画像を示す自車両画像データを画像記憶部２５ｃから読み出し、背景画像の所定の位置（例えば背景画像における自車両が存在する中央の位置）に合成する。これにより、背景画像と自車両画像とが合成された車両周辺鳥瞰画像を生成する。

マッピングテーブル情報記憶部２５ｂは、複数のカメラ２１ａ〜２１ｄにより撮影される画像の画素位置と、自車両の周辺を上方の仮想視点から見た背景画像の画素位置との対応関係を記載した情報、すなわち、撮影画像のある画素が背景画像のどの画素に対応するかを示す座標変換情報からなるマッピングテーブル情報を記憶している。画像記憶部２５ｃは、自車両を上方から見た画像を示す自車両画像データを記憶しており、その自車両画像データが必要に応じて視点変換処理部２５ａにより読み出される。

マッピングテーブル情報記憶部２５ｂは、路面の高さに対応した視点変換用マッピングテーブルと、路面からの高さが異なる複数の仮想投影面ＶＰに対応した複数の視点変換用マッピングテーブルとを記憶している。視点変換処理部２５ａは、路面投影モードが設定されているときは、路面の高さに対応した視点変換用マッピングテーブルを用いて視点変換処理を行う。一方、仮想平面投影モードが設定されているときは、障害物判定部３により検出された空中障害物２００の接触予想部分５０の高さに対応する仮想投影面ＶＰに対応した視点変換用マッピングテーブルを用いて視点変換処理を行う。

モード制御部２６は、前後左右のそれぞれ毎に、障害物判定部２３により自車両後方に空中障害物２００が検出され、かつ、その空中障害物２００の接触予想部分５０の高さがカメラ２１ａ〜２１ｄの高さより低いと判定された時に、路面投影モードから仮想平面投影モードに切り替えるように制御する。

例えば、自車両の前方に空中障害物２００が検出され、かつ、その空中障害物２００の接触予想部分５０の高さがフロントカメラ２１ａの高さより低いと判定された時に、フロントカメラ２１ａにより撮影された画像に関しては、路面投影モードから仮想平面投影モードに切り替える。一方、前方以外では空中障害物２００が存在しない場合および空中障害物２００が存在していてもその接触予想部分５０の高さがカメラ２１ｂ〜２１ｄの高さより高い場合には、モード制御部２６は、左サイドカメラ２１ｂ、右サイドカメラ２１ｃ、リアカメラ２１ｄの３つのカメラにより撮影された画像に関しては、路面投影モードのままとする。

なお、空中障害物２００が検出された方向の撮影画像に対してのみ仮想平面投影モードを設定すると、その方向の背景画像のみが自車両側に圧縮されたものとなる。そこで、前後左右の少なくとも１つの方向において空中障害物２００が検出された場合には、全ての方向の撮影画像に対して路面投影モードから仮想平面投影モードに切り替えるようにしても良い。

また、上記第３の実施形態において、テーブル記憶部１８を参照して取得した移動余裕距離が例えば５０ｃｍであったとしても、図９のような空中障害物２００で接触予想部分５０と壁面との間の距離差（凸部の長さ）が５０ｃｍより短い場合、実際の移動余裕距離は５０ｃｍもない。そこで、接触予想部分５０と壁面との間の距離差は超音波センサ２により検出することが可能なので、この距離差がテーブル記憶部１８を参照して取得した移動余裕距離よりも短い場合には、当該取得した移動余裕距離に変えて、当該距離差を移動余裕距離として設定するようにしても良い。

その他、上記第１〜第３の実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

第１の実施形態による鳥瞰画像生成装置の構成例を示すブロック図である。 接触予想部分が路面から上方の或る高さの位置に存在する空中障害物の一例を示す図である。 第１の実施形態による視点変換処理部が設定する仮想投影面を示す図である。 第１の実施形態による鳥瞰画像生成部により生成された一方向鳥瞰画像の一例を示す図である。 第１の実施形態による鳥瞰画像生成装置の動作例を示すフローチャートである。 第２の実施形態による鳥瞰画像生成装置の構成例を示すブロック図である。 第２の実施形態による視点変換処理部が設定する投影面を示す図である。 第３の実施形態による鳥瞰画像生成装置の構成例を示すブロック図である。 第３の実施形態による移動余裕距離を説明するための図である。 第３の実施形態によるテーブル記憶部に記憶される距離テーブルの一例を示す図である。 第３の実施形態による鳥瞰画像生成装置の動作例を示すフローチャートである。 車両周辺鳥瞰画像を生成する場合に本発明を適用した鳥瞰画像生成装置の構成例を示す図である。 従来の問題点を説明するための図である。

符号の説明

１ カメラ
２ 超音波センサ
３ 障害物判定部
４ 画像入力部
５ 鳥瞰画像生成部
５ａ，５ｃ 視点変換処理部
５ｂ マッピングテーブル情報記憶部
６ モード制御部
１６ モード制御部
１７ 車両移動量検出部
１８ テーブル記憶部
１０，２０，３０，４０ 鳥瞰画像生成装置
５０ 接触予想部分
２００ 空中障害物
ＶＰ 仮想投影面

Claims (10)

1. 車両に設置された撮像装置により撮像された車両周囲の画像を入力する画像入力部と、
   上記車両周囲で上記撮像装置がある方向に存在する障害物であって、上記車両が進行した場合に接触する恐れのある部分である接触予想部分が路面から上方の或る高さの位置に存在する空中障害物を検出する障害物検出部と、
   上記障害物検出部により上記空中障害物が検出され、かつ、その空中障害物の上記接触予想部分の高さが上記撮像装置の高さより低いと判定された場合に、上記接触予想部分が存在する高さの位置に仮想投影面を設定し、上記画像入力部により入力された画像の各画素を上記仮想投影面に投影するような視点変換処理を行うことにより、上記車両周囲で上記撮像装置がある方向を上方の仮想視点から見た鳥瞰画像を生成する鳥瞰画像生成部とを備えたことを特徴とする鳥瞰画像生成装置。
2. 上記鳥瞰画像生成部は、上記路面からの高さが異なる複数の仮想投影面に対応した複数の視点変換用マッピングテーブルを有し、上記障害物検出部により検出された上記障害物の上記接触予想部分の高さに対応する仮想投影面に対応した視点変換用マッピングテーブルを用いて、上記視点変換処理を行うことを特徴とする請求項１に記載の鳥瞰画像生成装置。
3. 上記障害物検出部は、上記車両から上記障害物の接触予想部分までの距離を検出し、
   上記鳥瞰画像生成部は、上記車両から上記障害物検出部により検出された距離の範囲内の画像に対しては、上記路面を投影面とした視点変換用マッピングテーブルを用いて上記視点変換処理を行い、上記車両から上記障害物検出部により検出された距離の範囲外の画像に対しては、上記障害物検出部により検出された上記障害物の上記接触予想部分の高さに対応する仮想投影面に対応した視点変換用マッピングテーブルを用いて上記視点変換処理を行うことを特徴とする請求項２に記載の鳥瞰画像生成装置。
4. 上記鳥瞰画像生成部は、上記画像入力部により入力された画像の各画素を上記車両周囲の路面の高さに設定した投影面に投影するような視点変換処理を行う路面投影モードと、上記画像入力部により入力された画像の各画素を上記仮想投影面に投影するような視点変換処理を行う仮想平面投影モードとを有し、
   上記障害物検出部により上記障害物が検出された時に、上記路面投影モードから上記仮想平面投影モードに切り替えるモード制御部を更に備えたことを特徴とする請求項１に記載の鳥瞰画像生成装置。
5. 上記鳥瞰画像生成部は、上記画像入力部により入力された画像の各画素を上記車両周囲の路面の高さに設定した投影面に投影するような視点変換処理を行う路面投影モードと、上記画像入力部により入力された画像の各画素を上記仮想投影面に投影するような視点変換処理を行う仮想平面投影モードとを有し、
   上記車両の移動量を検出する車両移動量検出部と、
   上記障害物の上記接触予想部分の高さと上記車両の移動余裕距離とを関連付けて成る距離テーブルを記憶したテーブル記憶部と、
   上記障害物検出部により上記障害物が検出された場合に、その検出後に、上記車両移動量検出部により検出される車両の移動量に基づいて、上記障害物検出部により検出された上記接触予想部分の高さに関連付けて上記テーブル記憶部に記憶されている移動余裕距離だけ上記車両が移動したことを検出した時に、上記路面投影モードから上記仮想平面投影モードに切り替えるモード制御部とを更に備えたことを特徴とする請求項１に記載の鳥瞰画像生成装置。
6. 上記障害物検出部により上記障害物が複数検出された場合には、上記障害物検出部は、上記車両から複数の上記障害物の上記接触予想部分までの距離をそれぞれ検出し、
   上記鳥瞰画像生成部は、上記車両から最も近い位置の障害物の上記接触予想部分が存在する高さの位置に上記仮想投影面を設定することを特徴とする請求項１に記載の鳥瞰画像生成装置。
7. 車両に設置された撮像装置により撮像された車両周囲の画像を入力する第１のステップと、
   上記車両周囲で上記撮像装置がある方向に存在する障害物であって、上記車両が進行した場合に接触する恐れのある部分である接触予想部分が路面から上方の或る高さの位置に存在する空中障害物を検出する第２のステップと、
   上記第２のステップで上記空中障害物が検出され、かつ、その空中障害物の上記接触予想部分の高さが上記撮像装置の高さより低いと判定された場合に、上記接触予想部分が存在する高さの位置に仮想投影面を設定し、上記第１のステップで入力された画像の各画素を上記仮想投影面に投影するような視点変換処理を行うことにより、上記車両周囲で上記撮像装置がある方向を上方の仮想視点から見た鳥瞰画像を生成する第３のステップとを有することを特徴とする鳥瞰画像生成方法。
8. 上記第２のステップでは、上記車両から上記障害物の接触予想部分までの距離を検出し、
   上記第３のステップでは、上記車両から上記障害物の上記接触予想部分までの距離の範囲内の画像に対しては、上記路面を投影面として上記視点変換処理を行い、上記車両から上記障害物の上記接触予想部分までの距離の範囲外の画像に対しては、上記仮想投影面を投影面として上記視点変換処理を行うことを特徴とする請求項７に記載の鳥瞰画像生成方法。
9. 上記撮像装置により撮像された画像の各画素を上記車両周囲の路面の高さに設定した投影面に投影するような視点変換処理を行う路面投影モードと、上記撮像装置により撮像された画像の各画素を上記仮想投影面に投影するような視点変換処理を行う仮想平面投影モードとを有し、
   上記第２のステップで上記障害物が検出された時に、上記路面投影モードから上記仮想平面投影モードに切り替えて上記第３のステップの処理を行うことを特徴とする請求項７に記載の鳥瞰画像生成方法。
10. 上記撮像装置により撮像された画像の各画素を上記車両周囲の路面の高さに設定した投影面に投影するような視点変換処理を行う路面投影モードと、上記撮像装置により撮像された画像の各画素を上記仮想投影面に投影するような視点変換処理を行う仮想平面投影モードとを有し、
    上記第２のステップで上記障害物が検出された場合に、その検出後に上記車両の移動量を検出する第４のステップを更に有し、
    上記第２のステップで検出された上記接触予想部分の高さに関連付けてテーブル記憶部に記憶されている移動余裕距離だけ上記車両が移動したことを上記第４のステップで検出した時に、上記路面投影モードから上記仮想平面投影モードに切り替えて上記第３のステップの処理を行うことを特徴とする請求項７に記載の鳥瞰画像生成方法。