JP4556502B2 - 映像変換装置 - Google Patents

Description

本発明は、複数の映像をディスプレイに表示させるにために、当該複数の映像に対してアドレス変換処理を行う映像変換装置に関する。

従来より、車両の車庫入れや幅寄せ等の車両後進時や、見通しの悪い交差点やＴ字路への車両進入時等の場面において、ドライバーの視界を補助するための運転支援システムにおける車両周囲映像変換装置が知られている。

この車両周囲映像変換装置に接続されたカメラで撮像する箇所としては、リアビューを表示するための車両後方や、ブラインドコーナービューを表示するための車両前方左右方向等であり、ドライバーに複数方向の画像を同時に提供する必要性がある。このため、運転支援システムでは、それぞれ異なる撮像方向の複数のカメラを用いて車両周囲の映像を撮像し、車両周囲映像変換装置により、モニタの１画面内に複数の映像をレイアウトして表示させ、ドライバーに提示している。

このような車両周囲映像変換装置において、複数のカメラで撮像された画像間の同期を取る技術としては、下記の特許文献１に記載されているように、複数のカメラとコントローラとを接続して、当該コントローラにより同期信号を作成して各カメラに送信し、当該同期信号に従って各カメラが映像信号をコントローラに送信するものが知られている。これにより、コントローラは、複数のカメラが撮像した映像信号の変換処理等を行ってモニタに表示する処理を行っていた。
特開平１１−３１７９０８号公報

しかしながら、特許文献１に記載された技術では、コントローラで同期信号を作成するための構成や、同期信号を各カメラに供給するための信号線を設ける必要があり、構造が複雑化してしまう。

これに対し、同期信号を用いない簡易な構成で各カメラで撮像した映像信号の同期を取る技術としては、各カメラから映像信号を受信し、当該各映像信号をバッファに一時的に蓄積することによって、各映像信号間の同期をとる技術がある。

例えば、各カメラで撮像する映像データの解像度と、ドライバーに提示するモニタの解像度をＶＧＡ（Video Graphics Array、６４０×４８０画素）サイズとして説明する。また、以下では、ドライバーに提示するデータの更新を１フレーム単位で処理する場合を説明する。

そして、各カメラは、それぞれの内部クロックのタイミングに従って映像信号を伝送し、車両周囲映像変換装置は、接続されたカメラ系統毎に１フレーム分（６４０×４８０画素分のアドレス空間）のメモリ容量をもつ入力バッファを３面備える。すなわち、車両周囲映像変換装置は、１フレーム分のメモリ容量を有する入力面、待機面、及び出力面の３フレーム分のメモリ容量を有する入力バッファを備えている。

これにより、車両周囲映像変換装置は、あるカメラから入力面に１フレーム分の映像信号を入力完了すると、当該１フレーム分の映像信号を待機面に格納し、全カメラに対応した入力バッファの待機面に１フレーム分の映像信号が格納された時点で、全カメラの映像信号を待機面から出力面に移動させる。その後、車両周囲映像変換装置は、出力面に格納された複数の映像信号を同時に読み出し、モニタ等に表示するための映像変換処理を行う。これにより、各カメラ間で同期がとれていない場合であっても、映像信号の読み出し位相を合わせ、複数カメラによる入力非同期を吸収して、同期化を行う。

このとき、車両周囲映像変換装置におけるＣＰＵ（Central Processing Unit）は、入力バッファの３面をローテーションさせることで映像信号の同期化を図る。そして、ＣＰＵは、アドレス変換処理用に当てられた面、すなわち入力バッファの出力面に格納される映像信号を、パターンメモリに格納される入力バッファ読み出しアドレスに従ってフレーム単位で読み出してアドレス変換処理を行ってモニタ表示用映像信号を作成して、出力バッファに格納する。なお、パターンメモリの備えるアドレス空間は、アドレス変換後の映像をドライバーに提示するモニタの解像度と等しく、本例の場合は６４０×４８０画素分となる。

しかしながら、上述した技術では、各カメラから入力した映像信号を１フレーム単位で処理するため、入力バッファにおいて各映像信号間の同期を取るために最大約２フレーム分の遅延が発生し、更には、アドレス変換処理を行って映像を表示させるタイミングを、入力バッファの出力面に全カメラからの映像が格納されたタイミングに同期させると１フレーム分の遅延が発生する。したがって、映像信号が入力バッファの入力面に格納された時刻から出力バッファに格納するまでの時刻までには、合計の３フレーム分の遅延が発生することになる。

このように、最大３フレーム分の遅延が発生する場合について、図７を参照して説明する。例えば、２つのＮＴＳＣ（National Television System Committee）カメラ（カメラＡ、カメラＢ）が車両周囲映像変換装置に接続されている場合、時刻ｔ１０１からカメラＡからの映像データ（入力データ１ａ）を入力バッファの入力面に受信開始し、当該時刻ｔ１０１から遅れてカメラＢからの映像データ（入力データ１ｂ）を入力バッファの入力面に受信開始したとする（図７（ｂ）、（ｃ））。これらのカメラＡ，Ｂは、それぞれ、既知の画像信号方式であるＮＴＳＣ方式（フレームレート２９．９７ｆｐｓ）であるとし、カメラＡとカメラＢの１フレーム分の入力データがそれぞれ入力バッファの出力面に格納完了する時刻がｔ１０２であるとすると、入力に要する遅延時間が約２フレーム分となる。そして、当該時刻ｔ１０２で入力バッファの出力面からそれぞれの入力データを読み出して変換処理を開始し（図７（ｄ））、変換データを出力データとして実際に出力バッファに格納完了する時刻がｔ１０３となる（図７（ｅ））。したがって、カメラＡの入力データを入力開始した時刻ｔ１０１から、出力データをモニタ等に出力して表示させる時刻ｔ１０３までの全遅延時間は、約１００ｍｓｅｃとなる。

この全遅延時間は、例えば、車両周囲映像変換装置を搭載した車両が相対時速３６ｋｍで移動する物体を確認する場合、実在の障害物位置に対して約１ｍずれて障害物が表示されることになる。したがって、車両周囲映像変換装置を駐車や幅寄せ等の低速領域で使用する場合は多少の遅延が許容できるが、見通しの悪い交差点やＴ字路への進入や、車両同士のすり抜け、或いは合流等の中高速領域の場面で使用する場合は、更に実在の障害物位置と表示された障害物位置とのずれが大きくなってしまう。

また、実在の障害物位置と表示された障害物位置とのずれが大きくなると、自車両が発進した時に「実際の車両は動いているのにモニタ画像が停止している」、自車両が停車した時に「実際の車両は停まっているのにモニタ画像が動いている」という問題が発生し、実際の車両の動きとモニタ画像の動きとの不一致がドライバーに不快感を与えてしまう。このように画像提示の遅延は、複数カメラを用いた際の重要な問題点である。

また、上述の車両周囲映像変換装置に接続するカメラ数が増加するにしたがって、入力バッファのメモリ容量が３フレーム分ずつ増大することになってしまう。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、撮像した映像を表示させるまでの遅延時間を短縮すると共に、メモリ容量を低減することができる映像変換装置を提供することを目的とする。

本発明に係る映像変換装置は、各映像データを入力して１フィールド単位で格納する入力バッファ入力面と、当該入力バッファ入力面に格納が完了したフィールド映像データが入力バッファ入力面から移動して格納される入力バッファ出力面とが、各撮像手段ごとに設けられた複数の入力バッファと、入力バッファ出力面に格納された複数のフィールド映像データに変換処理が施された変換済のフィールド映像データを格納する出力バッファ入力面と、当該出力バッファ入力面に格納が完了した変換済のフィールド映像データが出力バッファ入力面から移動して格納される出力バッファ出力面とを有する出力バッファと、各入力バッファ出力面のメモリアドレスと、出力バッファ入力面のメモリアドレスとの対応関係を記述したパターンメモリとを備える。

このような映像変換装置において、周囲を撮像して映像データを生成する複数の撮像手段で生成された映像データを変換するに際して、映像変換手段は、各入力バッファ出力面にフィールド映像データが格納完了した変換処理タイミングとなった場合に、パターンメモリに記述された対応関係に従って、各入力バッファの各入力バッファ出力面に格納された各フィールド映像データから読み出して、出力バッファの出力バッファ入力面に書き込む変換処理を１フィールド単位で行うことにより、上述の課題を解決する。

本発明に係る映像変換装置によれば、全撮像手段からのフィールド映像データが入力バッファに格納完了した時点でアドレス変換処理に移行して、出力バッファに変換済のフィールド映像データを格納することができるので、１フレーム単位で処理を行う場合と比較して、入力遅延時間の短縮を実現して実際の車両の動きとフィールド映像データの不一致を抑制すると共に、入力バッファのメモリ容量を低減することができる。

以下、本発明の実施の形態について図面を参照して説明する。

本発明は、例えば図１に示すように構成された運転支援システムの車両周囲映像変換装置１に適用される。

車両周囲映像変換装置１を備えた運転支援システムは、見通しの悪いＴ字路における自車両及び他車両を上から見た例を図２（ａ）に示すように、自車両２０がＴ字路に侵入した場合に、自車両２０のドライバーにとって死角となる領域を表示する。すなわち、ＮＴＳＣカメラ２Ａにより右側方撮像範囲２０Ｒを撮像すると共に、ＮＴＳＣカメラ２Ｂにより左側方撮像範囲２０Ｌを撮像し、車両周囲映像変換装置１は、後述する映像変換処理を行うことによって、図２（ｂ）に示すように、図２（ａ）の他車両２１Ａに相当する他車両映像２１Ａ’を含む右側方映像３０Ｒと、図２（ａ）の他車両２１Ｂに相当する他車両映像２１Ｂ’を含む右側方映像３０Ｌとを仕切り線３１で区分してレイアウトした、所謂ブラインドコーナービューである左右側方映像３０を表示モニタ３に表示させる。

これによって、運転支援システムは、自車両２０を基準として左方向から直進する他車両２１Ｂ、自車両２０を基準として右方向から直進する他車両２１Ａを自車両２０のドライバーに認識させることができ、ドライバーに注意を促すことができる。

［車両周囲映像変換装置１の構成］
この車両周囲映像変換装置１は、例えば自車両の車体前部に取り付けられた複数のＮＴＳＣカメラ２Ａ、２Ｂ（以下、総称するときには、単に「ＮＴＳＣカメラ２」と呼ぶ。）と、ドライバーから視認可能な位置に表示画面が設置された表示モニタ３と接続されて構成されている。この車両周囲映像変換装置１は、複数のＮＴＳＣカメラ２Ａ、２Ｂで撮像した各映像に映像変換処理を施して、表示モニタ３で表示させる。

車両周囲映像変換装置１は、データバス１１に、ＣＰＵ１２、ＮＴＳＣカメラ２Ａと接続された入力バッファ１３Ａ、ＮＴＳＣカメラ２Ｂと接続された入力バッファ１３Ｂ、パターンメモリ１４及び表示モニタ３と接続された出力バッファ１５が接続されて構成されている。なお、本例では、車両周囲映像変換装置１に２台のＮＴＳＣカメラ２Ａ、２Ｂが接続され、すなわちＣＰＵ１２で処理対象となる映像データが２系統存在し、ＮＴＳＣカメラ２で撮像する映像データの解像度及びドライバーに提示する表示モニタ３の解像度をＶＧＡ（Video Graphics Array、縦６４０画素×横４８０画素）とする。

ＮＴＳＣカメラ２Ａ及びＮＴＳＣカメラ２Ｂは、ＮＴＳＣ方式に従って映像データを生成することにより、インターレース方式の奇数フィールド映像データと偶数フィールド映像データとを交互に車両周囲映像変換装置１に出力する。このＮＴＳＣカメラ２Ａ及びＮＴＳＣカメラ２Ｂは、それぞれ内部クロックを備え、当該内部クロックに従ってフィールド毎の映像データを生成すると共に、当該映像データを車両周囲映像変換装置１に出力する。したがって、後述はするが、車両周囲映像変換装置１では、ＮＴＳＣカメラ２Ａからの映像データ入力タイミングと、ＮＴＳＣカメラ２Ｂからの映像データ入力タイミングとが異なったタイミングとなる。

本例では、画像伝送方式としてＮＴＳＣ方式を採用しているため、ＮＴＳＣカメラ２Ａ及びＮＴＳＣカメラ２Ｂは、３３ｍｓｅｃ間隔で１フレーム分の映像データを車両周囲映像変換装置１に送出する。すなわち、奇数フィールド映像データと偶数フィールド映像データとを繰り返して１６．７ｍｓｅｃ間隔で送出する。

車両周囲映像変換装置１は、２台のＮＴＳＣカメラ２Ａ、２Ｂに対応して入力バッファ１３Ａ、１３Ｂ（以下、総称するときには単に「入力バッファ１３」と呼ぶ。）が設けられ、ＮＴＳＣカメラ２Ａから入力したフィールド映像データを入力バッファ１３Ａに格納すると共に、ＮＴＳＣカメラ２Ｂから入力したフィールド映像データを入力バッファ１３Ｂに格納する。

入力バッファ１３Ａ及び入力バッファ１３Ｂは、各カメラ系統について２面構成となっている。すなわち入力バッファ１３Ａは、２枚のフィールド映像データを格納する１フレーム分のメモリ領域である奇数フィールド入力バッファ面１３Ａ−１と、１フレーム分のメモリ領域である偶数フィールド入力バッファ面１３Ａ−２で構成されている。同様に、入力バッファ１３Ｂは、１フレーム分のメモリ領域である奇数フィールド入力バッファ面１３Ｂ−１と、１フレーム分のメモリ領域である偶数フィールド入力バッファ面１３Ｂ−２で構成されている。これらの各面は、１枚のフィールド映像データである６４０画素×２４０画素分のアドレス空間が、ＮＴＳＣカメラ２からのフィールド映像データを入力する入力面と、データバス１１に読み出されるフィールド映像データを格納する出力面とからなり、６４０画素×４８０画素分のアドレス空間を備えている。

このように、それぞれの入力バッファ１３Ａ、１３Ｂは、奇数フィールド映像データの格納領域と偶数フィールド映像データの格納領域とに区分される。このような入力バッファ１３Ａ及び入力バッファ１３Ｂは、各面がフィールド映像データごとに区分されているため、各カメラ系統について、６４０画素×２４０画素分のアドレス空間を備える奇数フィールド格納用メモリ領域が２面、６４０画素×２４０画素分のアドレス空間を備える偶数フィールド格納用メモリ領域が２面備えられていることになる。

このように、フィールド毎に２面のメモリ領域を設けたのは、車両周囲映像変換装置１と接続された全カメラ系統からアドレス変換対象である映像データが到達することを待機するためであって、ＮＴＳＣカメラ２Ａからの映像データを入力バッファ１３Ａに格納完了するタイミングと、ＮＴＳＣカメラ２Ｂからの映像データを入力バッファ１３Ｂに格納完了するタイミングとの同期を取るためである。

出力バッファ１５は、入力バッファ１３と同様にデータバス１１を介して奇数フィールド映像データを入力して格納する奇数フィールド出力バッファ面１５Ａ、偶数フィールド映像データを格納する偶数フィールド出力バッファ面１５Ｂとから構成される。また、奇数フィールド出力バッファ面１５Ａ、偶数フィールド出力バッファ面１５Ｂは、それぞれ、データバス１１から変換済のフィールド映像データを格納する入力面と、表示モニタ３に読み出されるフィールド映像データを格納する出力面とからなる。これにより、出力バッファ１５は、アドレス変換処理結果の格納用である入力面と、表示モニタ３への出力処理用である出力面とを備えることになる。なお、出力バッファ１５を奇数フィールド用と偶数フィールド用との２面とすることにより、ドライバーに提示する画像のちらつきを抑える効果を発揮することになる。

パターンメモリ１４は、入力バッファ１３Ａ及び入力バッファ１３Ｂに格納されたフィールド映像データを使用して、ＣＰＵ１２によって映像変換処理を行うためのデータが格納されている。パターンメモリ１４は、入力バッファ１３Ａ又は入力バッファ１３Ｂのメモリアドレスと、出力バッファ１５のメモリアドレスとの対応関係を記憶している。このパターンメモリ１４は、ドライバーに提示する画面のレイアウトに対応した数の面数を備えることになる。

具体的には、パターンメモリ１４として、図２（ｂ）のように２枚の映像を左右に並べて表示させる場合の入力バッファ１３と出力バッファ１５とのアドレス対応関係、上述のＮＴＳＣカメラ２Ａ及びＮＴＳＣカメラ２Ｂに加えて自車両２０の下方を撮像するカメラを備えた場合に左右側方映像に加えて下方映像を表示画面の下方領域に表示させるアドレス対応関係を記憶している。

このようなパターンメモリ１４は、その一例を図３に示すように、奇数フィールド入力バッファ面１３Ａ−１，１３Ｂ−１の読み出し用奇数フィールド対応アドレス領域４１，偶数フィールド入力バッファ面１３Ａ−２，１３Ｂ−２の読み出し用偶数フィールド対応アドレス領域５１と、奇数フィールド出力バッファ面１５Ａの書き込み用奇数フィールド対応アドレス領域４２，偶数フィールド出力バッファ面１５Ｂの書き込み用偶数フィールド対応アドレス領域５２と、入力バッファ１３Ａと入力バッファ１３Ｂとを識別させるため、すなわちＮＴＳＣカメラ２ＡとＮＴＳＣカメラ２Ｂとを区別するためのカメラ番号領域６１とが対応付けられて構成されている。

したがって、ＣＰＵ１２は、読み出し用奇数フィールド対応アドレス領域４１を参照することによって、奇数フィールド入力バッファ面１３Ａ−１，１３Ｂ−１に格納された奇数フィールド映像データの画素信号を読み出し、書き込み用奇数フィールド対応アドレス領域４２を参照することによって、読み出した画素信号を奇数フィールド出力バッファ面１５Ａに記憶する。また、ＣＰＵ１２は、読み出し用偶数フィールド対応アドレス領域５１を参照することによって、偶数フィールド入力バッファ面１３Ａ−２，１３Ｂ−２に格納された偶数フィールド映像データの画素信号を読み出し、書き込み用偶数フィールド対応アドレス領域５２を参照することによって、読み出した画素信号を偶数フィールド出力バッファ面１５Ｂに記憶する。これによって、２カメラ分の６４０画素×４８０画素の奇数フィールド映像データを６４０画素×２４０画素の奇数フィールド映像データに変換すると共に、２カメラ分の６４０画素×４８０画素の偶数フィールド映像データを６４０画素×２４０画素の偶数フィールド映像データに変換する。

なお、書き込み用奇数フィールド対応アドレス領域４２、書き込み用偶数フィールド対応アドレス領域５２は、出力バッファ１５のアドレスが０（０ｘ０）の画素から６４０×２４０−１（０ｘ２５７ＦＦ）画素目までシーケンシャルに並んでいるとした場合、その領域を削除することができる。また、ＮＴＳＣカメラ２より送出される画像信号からフィールドの偶奇判定がＣＰＵ１２によりできるため、車両周囲映像変換装置１は、その判定結果に基づいて使用するパターンメモリを切り替える。

［車両周囲映像変換装置１によるアドレス変換処理］
つぎに、車両周囲映像変換装置１によるアドレス変換処理について図４のデータの流れ、図５のフローチャート、図６のタイミングチャートを参照して説明する。

このような車両周囲映像変換装置１において、ＣＰＵ１２は、図４に示すように、奇数フィールド入力バッファ面１３Ａ−１及び偶数フィールド入力バッファ面１３Ａ−２、奇数フィールド入力バッファ面１３Ｂ−１及び偶数フィールド入力バッファ面１３Ｂ−２に、同時刻に撮像され、奇数フィールド又は偶数フィールドの同じタイプのフィールド映像データが格納されたことをモニタする（図５のステップＳ１）。このとき、ＣＰＵ１２は、映像データに重畳された垂直同期信号を検出することによって、１フィールドのフィールド映像データが入力バッファ１３に格納されたことを認識すると共に、水平同期信号を検出することにより画素信号の数をカウントし、更に、各フィールド映像データが奇数フィールドか偶数フィールドかを検出する。

また、このステップＳ１において、ＣＰＵ１２は、図示しない表示モニタ３への表示レイアウト入力機構等の押下情報から、ドライバーに提示するレイアウトを決定する。これによりＣＰＵ１２は、車両周囲を表示するに際してのパターン設定を判定し、アドレス変換処理を行う時に使用するパターンメモリ１４を判定しておく。

そして、ＣＰＵ１２は、ＮＴＳＣカメラ２ＡとＮＴＳＣカメラ２Ｂとで略同時刻に撮像された奇数フィールド映像データが、奇数フィールド入力バッファ面１３Ａ−１の出力面と奇数フィールド入力バッファ面１３Ｂ−１の出力面とに格納完了したか否かを判定することにより、ＮＴＳＣカメラ２ＡとＮＴＳＣカメラ２Ｂとの入力の同期化が完了したか否かを判定する（図５のステップＳ２）。そして、ＣＰＵ１２は、同期化が完了していないと判定した場合にはステップＳ１の処理を継続し、同期化が完了したと判定した場合には、ステップＳ３に処理を進める。

このようにステップＳ１及びステップＳ２を繰り返して、ＮＴＳＣカメラ２ＡとＮＴＳＣカメラ２Ｂとの同期化が完了していない期間は、図６に示すような時刻ｔ１〜時刻ｔ２である入力遅延時間となる。すなわち、ＮＴＳＣカメラ２Ａから先に奇数フィールド映像データＯｄｄ１ａ、偶数フィールド映像データＥｖｅｎ１ｂが入力されて（図６（ｂ））、当該ＮＴＳＣカメラ２Ａの１フレームの期間内にＮＴＳＣカメラ２Ｂから奇数フィールド映像データＯｄｄ２ａが入力された場合である（図６（ｃ））。このとき、車両周囲映像変換装置１は、奇数フィールド映像データＯｄｄ１ａ及び偶数フィールド映像データＥｖｅｎ１ｂを入力バッファ１３Ａに格納完了している状態であり、奇数フィールド映像データＯｄｄ２ａを奇数フィールド入力バッファ面１３Ｂ−１の入力面から、奇数フィールド入力バッファ面１３Ｂ−１の出力面に格納完了した時刻がｔ２となる。この状態では、ＮＴＳＣカメラ２Ａにより撮像した奇数フィールド映像データと、ＮＴＳＣカメラ２Ｂにより撮像した奇数フィールド映像データが共に奇数フィールド入力バッファ１３Ａ−１、１３Ｂ−１の出力面に記憶された状態である。これにより、車両周囲映像変換装置１は、ＮＴＳＣカメラ２Ａからのフィールド映像データ入力タイミングと、ＮＴＳＣカメラ２Ｂからのフィールド映像データ入力タイミングとが非同期となっている場合であっても、時間差を吸収することになる。

そして、ステップＳ３において、ＣＰＵ１２は、アドレス変換処理を開始すると判定し、当該アドレス変換処理を行うための内部クロックを起動する（図６（ａ）参照）。この内部クロックは、ＮＴＳＣカメラ２Ａ及びＮＴＳＣカメラ２Ｂと同様に、ＮＴＳＣ方式の３３ｍｓｅｃ間隔で１フレーム、１６．７ｍｓｅｃ間隔で１フィールドとカウントする。そして、ＣＰＵ１２は以降の処理において、１フィールド間隔で入力バッファ１３の入力面から出力面へのフィールド映像データの移行、アドレス変換処理、出力バッファ１５の入力面から出力面へのフィールド映像データの記憶処理を行うことになる。

なお、ステップＳ３で起動するクロックとしては、車両周囲映像変換装置１内部の周波数源により生成しても良く、次に受信する画像信号の垂直同期信号、すなわち車両周囲映像変換装置１の外部からの信号をクロックとして使用しても良い。

次にＣＰＵ１２は、ステップＳ４において、先ず図４中の「１」で示すようにパターンメモリ１４を読み出す。このとき、ＣＰＵ１２は、ステップＳ１で判定したレイアウトであって、ドライバーに提示するレイアウトに応じたパターンメモリ１４を読み出す。

また、ＣＰＵ１２は、入力バッファ１３Ａの出力面及び入力バッファ１３Ｂの出力面に格納完了して時間差が吸収されたフィールド映像データが奇数フィールド映像データか偶数フィールド映像データかを、ステップＳ１での判定により認識し、当該認識したパターンメモリ１４を読み出す。具体的には、図６の時刻ｔ２では、入力バッファ１３Ａの出力面及び入力バッファ１３Ｂの出力面に格納完了しているフィールド映像データが奇数フィールド映像データであるので、奇数フィールド映像データ用のパターンメモリ１４を読み出す。

次に、ＣＰＵ１２は、ステップＳ５において、ステップＳ４で読み出したパターンメモリ１４の読み出し用奇数フィールド対応アドレス領域４１を参照して、奇数フィールド入力バッファ面１３Ａ−１の出力面から該当する画素信号を取り出し、書き込み用奇数フィールド対応アドレス領域４２に該当するアドレス領域の奇数フィールド出力バッファ面１５Ａの入力面に書き込む。具体的には、図６の時刻ｔ２では、図４中の「２」で示すように、データ変換部１２ａにより奇数フィールド入力バッファ面１３Ａ−１の出力面から画素信号を読み出し、図４中の「３」で示すように、データ変換部１２ａにより奇数フィールド出力バッファ面１５Ａ−１の入力面に書き込む。これにより、ＣＰＵ１２は、入力バッファ１３から出力バッファ１５に画素信号を置き換えるアドレス変換処理を実行する。

なお、この時刻ｔ２以降にアドレス変換処理を実行していても、ＮＴＳＣカメラ２Ａ及びＮＴＳＣカメラ２Ｂから連続してフィールド映像データが入力されているため、ＣＰＵ１２は、入力バッファ１３Ａの入力面及び入力バッファ１３Ｂの入力面へのデータ入力、フィールド映像データの入力バッファ１３Ａの入力面から入力バッファ１３Ａの出力面へのデータ移行、入力バッファ１３Ｂの入力面から入力バッファ１３Ｂの出力面へのデータ以降を平行して行うことになる。

次にＣＰＵ１２は、ステップＳ６において、ステップＳ５の画素信号の置き換えを行った結果、１フィールド分（６４０×２４０画素分）の画素信号の置き換えが完了したか否かを判定する。このとき、ＣＰＵ１２は、パターンメモリ１４に含まれる１フィールド内の最後のアドレス変換を完了したと判定した場合に、１フィールド分の画素信号の置き換えが完了したと判定してステップＳ７に処理を進め、そうでない場合には、ステップＳ５のアドレス変換処理を繰り返す。

ステップＳ７において、ＣＰＵ１２は、ステップＳ６で１フィールド分の画素信号の置き換えが完了したと判定した時点、すなわち図６における時刻ｔ３で表示モニタ３に変換済のフィールド映像データを出力するトリガ（モニタ出力トリガ）となるクロックを起動する（図６（ａ）参照）。このモニタ出力トリガを発生させるクロックは、アドレス変換処理のクロックと同様に１フィールド分の１６．７ｍｓｅｃの間隔でカウントする。このモニタ出力トリガを発生させるクロックは、アドレス変換処理に要する時間が、ドライバーに提示するレイアウトに依存せず１フィールド間隔以下の一定時間であるため、以降に発生させるモニタ出力トリガは、当該クロックのタイミングを用いることになる。

なお、このクロックは、車両周囲映像変換装置１内部の周波数源により生成してもよいし、次に受信する画像信号の垂直同期信号、すなわち車両周囲映像変換装置１外部からの信号をクロックとして用いてもよい。また、図６（ａ）に示したように、上述したアドレス変換処理を開始するタイミングに使用するクロックと、モニタ出力トリガを発生させるクロックとを共用化することが望ましい。これにより車両周囲映像変換装置１内のタイミング回路を一元化することができ、回路規模の減少、及び車両周囲映像変換装置１内のアドレス変換処理の簡単化を図ることができる。

次にＣＰＵ１２は、ステップＳ８において、１フィールド分のアドレス変換処理が完了すると、出力バッファ１５にはドライバーに提示する表示用のフィールド映像データ全て格納されている状態となっているので、ステップＳ６の判定で出力バッファ１５の入力面に格納されていた表示用のフィールド映像データを出力バッファ１５の出力面に書き込む。

なお、表示用のフィールド映像データが読み出された出力バッファ１５の入力面は、次のアドレス変換処理で新たなフィールド映像データが書き込まれることになる。また、出力バッファ１５の出力面に表示用のフィールド映像データを書き込んで表示モニタ３に出力するまでの期間は、図６に示すように、入力遅延時間を含む全遅延時間となる。

そして、ＣＰＵ１２は、出力バッファ１５の出力面に書き込まれた表示用のフィールド映像データをフィールド間隔で表示モニタ３に出力させることにより、図２（ｂ）に示したような左右側方のブラインドコーナービューを提示して、表示モニタ３の表示を更新すべく、ステップＳ１に処理を戻す。なお、表示モニタ３にフィールド映像データを出力するタイミングとしては、アドレス変換処理の変換処理タイミングとは独立したクロック、フィールド映像データの垂直同期信号の何れを使用するかを選択しても良く、更には変換処理タイミングと共用したクロックを使用しても良い。

このようなアドレス変換処理を行う車両周囲映像変換装置１では、図６の時刻ｔ２の時点であって入力バッファ１３Ａの出力面及び入力バッファ１３Ｂの出力面に奇数フィールド映像データＯｄｄ１ａ、Ｏｄｄ２ａが入力完了した時点で、アドレス変換処理を開始して変換済の奇数フィールド映像データＤａｔａＯａ（変換データ）を出力バッファ１５の入力面に格納し（図６（ｄ））、時刻ｔ２から１フィールド分の期間経過後の時刻ｔ３に出力バッファ１５の入力面に格納した奇数フィールド映像データＤａｔａＯａを、出力データとして出力バッファ１５の出力面に格納することができる（図６（ｅ））。また、奇数フィールド映像データＤａｔａＯａを表示モニタ３に出力した後には、時刻ｔ３から１フィールド分の期間経過後に、偶数フィールド映像データＤａｔａＥｂを表示モニタ３に出力することができる。

すなわち、各フィールド映像データについてステップＳ１〜ステップＳ８の処理を行うと共に、１フィールド分の期間ごとにステップＳ１の処理を開始することで、奇数フィールド映像データについてステップＳ１〜ステップＳ８を行っている時に、偶数フィールド映像データについての処理を開始することができる。したがって、この車両周囲映像変換装置１では、奇数フィールド映像データを表示モニタ３で提示している間に、偶数フィールド映像データを偶数フィールド出力バッファ１５Ｂの出力面に格納し、奇数フィールド映像データの表示が終わった時点で偶数フィールド映像データを表示モニタ３に出力できる。このため、表示モニタ３の解像度は従来と同等となる。

［実施形態の効果］
以上詳細に説明したように、本発明を適用した第１実施形態に係る車両周囲映像変換装置１によれば、全ＮＴＳＣカメラ２からのフィールド映像データが入力バッファ１３Ａ，１３Ｂの出力面に格納完了した時点でアドレス変換処理に移行して、出力バッファ１５の入力面に変換済のフィールド映像データを格納することができるので、１フレーム単位でアドレス変換処理を開始する場合と比較して、入力遅延時間を短くすることができる。したがって、この車両周囲映像変換装置１によれば、入力遅延時間が長いために発生する実際の車両の動きと表示モニタ３の画像の不一致を抑制することができ、ドライバーに不快感を与えることを回避することができる。

具体的には、奇数フィールド映像データについては、奇数フィールドに対応するパターンメモリ１４を用いてアドレス変換処理を行い、偶数フィールド映像データについては、偶数フィールドに対応するパターンメモリ１４を用いてアドレス変換処理を行うので、図６に示したように入力バッファ１３における同期化に要する時間を３フィールド分に相当する最大５０ｍｓｅｃの遅延とすることができる。また、アドレス変換処理を行って、表示モニタ３に出力するまでに、さらに１フィールド分に相当する１６．７ｍｓｅｃの遅延があるため、車両周囲映像変換装置１における全遅延を最大４フィールド分（２フレーム分）、すなわち最大６６．７ｍｓｅｃとすることができる。

また、この車両周囲映像変換装置１によれば、複数のＮＴＳＣカメラ２間でフィールド映像データの入力タイミングが異なって同期を取る必要があるが、フィールド単位でアドレス変換処理を開始するため、１フレーム単位でアドレス変換処理を開始する場合と比較して、入力バッファ１３の容量を低減させることができる。

これに対し、フレーム単位で処理を行った場合には、３フレーム×カメラ２系統分のアドレス空間を備える入力バッファを必要としたことに対し、車両周囲映像変換装置１では、４フィールド（２フレーム）×カメラ２系統分のアドレス空間を備える入力バッファ１３でアドレス変換処理を実現することができ、バッファ容量を２／３に低減することができる。

更に、この車両周囲映像変換装置１によれば、入力バッファ１３に格納されるフィールド映像データに含まれる垂直同期信号を参照して、各入力バッファ１３Ａ、１３Ｂの出力面にフィールド映像データが格納完了したタイミングであると判定してアドレス変換処理を行うので、内部にクロック回路等の周波数源を備える必要がなくなり、回路規模の減少を実現することができる。

更にまた、この車両周囲映像変換装置１によれば、奇数フィールド映像データと偶数フィールド映像データとを交互に出力バッファ１５の入力面に書き込むので、奇数フィールドと偶数フィールドが入れ替わるようなことを防止して、ドライバーに提示するモニタ画像のちらつきを抑制することができる。

更にまた、この車両周囲映像変換装置１によれば、出力バッファ１５の出力面に移動して格納された変換済のフィールド映像データを、表示モニタ３への出力タイミングで出力させる場合に、内部のクロック回路である周波数源やフィールド映像データに含まれる垂直同期信号を使用するので、アドレス変換処理の結果を任意の出力トリガにより出力して、ドライバーに提示することができる。

更にまた、この車両周囲映像変換装置１によれば、表示モニタ３への出力タイミングを、内部の周波数源から生成する場合と、垂直同期信号から生成する場合とを選択するように構成することにより、アドレス変換処理に要する時間に応じてドライバーにフィールド映像データを提示するタイミングを可変とすることができる。すなわち、垂直同期信号にノイズが含まれて正確に検出できない場合であっても内部の周波数源を使用した場合には高い信頼性で同期化を実現することができ、一方、垂直同期信号を使用した場合には内部のクロック回路を不要とすることができる。

更にまた、この車両周囲映像変換装置１によれば、変換処理タイミングと出力タイミングとを同じタイミングで判定することができるので、内部のタイミング回路を一元化することができ、回路規模の減少、及びアドレス変換処理の簡単化を図ることができる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

すなわち、上述した一例では、アドレス変換処理をＣＰＵ１２で制御する場合を説明したが、ＬＳＩ（Large Scale Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）等で行っても良い。

また、上述した一例では、車両周囲映像変換装置１に接続するＮＴＳＣカメラ２の数が「２」であったが、これに限るものではなく、更には、あらゆる解像度や方式のカメラ２や表示モニタ３に対応が可能である。

本発明を適用した車両周囲映像変換装置を含む運転支援システムの構成を示すブロック図である。 本発明を適用した車両周囲映像変換装置によってドライバーに表示する内容を説明するための図であって、（ａ）は車両周囲映像変換装置を搭載した自車両がＴ字路に侵入する場合の図であり、（ｂ）は自車両がＴ字路に侵入した場合に提示するブラインドコーナービューを示す図である。 本発明を適用した車両周囲映像変換装置のパターンメモリに記述された内容を説明するための図である。 本発明を適用した車両周囲映像変換装置のアドレス変換処理におけるデータの流れについて説明するためのブロック図である。 本発明を適用した車両周囲映像変換装置によって行うアドレス変換処理の処理手順を示すフローチャートである。 本発明を適用した車両周囲映像変換装置によって行うアドレス変換処理のタイミングチャートである。 フレーム単位でアドレス変換処理を行った場合のタイミングチャートである。

符号の説明

１ 車両周囲映像変換装置
２ ＮＴＳＣカメラ（撮像手段）
３ 表示モニタ
１１ データバス
１２ ＣＰＵ（映像変換手段）
１３ 入力バッファ
１３Ａ−１，１３Ｂ−１ 奇数フィールド入力バッファ面
１３Ａ−２，１３Ｂ−２ 偶数フィールド入力バッファ面
１４ パターンメモリ
１５ 出力バッファ
１５Ａ 奇数フィールド出力バッファ面
１５Ｂ 偶数フィールド出力バッファ面
２０ 自車両
２１ 他車両
３０ 左右側方映像
３１ 仕切り線
４１ 読み出し用奇数フィールド対応アドレス領域
４２ 書き込み用奇数フィールド対応アドレス領域
５１ 読み出し用偶数フィールド対応アドレス領域
５２ 書き込み用偶数フィールド対応アドレス領域
６１ カメラ番号領域

Claims (8)

1. 周囲を撮像して映像データを生成する複数の撮像手段と接続され、当該複数の撮像手段で生成された映像データを変換する映像変換装置であって、
   各映像データを入力して１フィールド単位で格納する入力バッファ入力面と、当該入力バッファ入力面に格納が完了したフィールド映像データが前記入力バッファ入力面から移動して格納される入力バッファ出力面とが、前記各撮像手段ごとに設けられた複数の入力バッファと、
   前記入力バッファ出力面に格納された複数のフィールド映像データに変換処理が施された変換済のフィールド映像データを格納する出力バッファ入力面と、当該出力バッファ入力面に格納が完了した変換済のフィールド映像データが前記出力バッファ入力面から移動して格納される出力バッファ出力面とを有する出力バッファと、
   前記各入力バッファ出力面のメモリアドレスと、前記出力バッファ入力面のメモリアドレスとの対応関係を記述したパターンメモリと、
   前記各入力バッファ出力面にフィールド映像データが格納完了した変換処理タイミングとなった場合に、前記パターンメモリに記述された対応関係に従って、前記各入力バッファの各入力バッファ出力面に格納された各フィールド映像データから読み出して、前記出力バッファの出力バッファ入力面に書き込む変換処理を１フィールド単位で行う映像変換手段と
   を備えることを特徴とする映像変換装置。
2. 前記映像変換手段は、前記入力バッファに格納されるフィールド映像データに含まれる垂直同期信号を参照して、前記各入力バッファ出力面にフィールド映像データが格納完了したタイミングであると判定して変換処理を行うことを特徴とする請求項１に記載の映像変換装置。
3. 前記映像変換手段は、奇数フィールド映像データと偶数フィールド映像データとを交互に前記入力バッファの入力バッファ出力面から読み出し、奇数フィールド映像データと偶数フィールド映像データとを交互に前記出力バッファの出力バッファ入力面に書き込むことを特徴とする請求項１に記載の映像変換装置。
4. 前記映像変換手段は、前記出力バッファの出力バッファ入力面に格納されて、前記出力バッファ出力面に移動して格納された変換済のフィールド映像データを、表示モニタへの出力タイミングで出力させることを特徴とする請求項１に記載の映像変換装置。
5. 前記映像変換手段は、前記出力タイミングを、内部の周波数源により生成することを特徴とする請求項４に記載の映像変換装置。
6. 前記映像変換手段は、前記出力タイミングを、前記各撮像手段から入力する映像データに含まれる垂直同期信号から生成することを特徴とする請求項４に記載の映像変換装置。
7. 前記映像変換手段は、前記出力タイミングを、内部の周波数源から生成する場合と、前記各撮像手段から入力する映像データに含まれる垂直同期信号から生成する場合とを選択することを特徴とする請求項４に記載の映像変換装置。
8. 前記映像変換手段は、前記変換処理タイミングと、前記出力タイミングとを同じタイミングで判定することを特徴とする請求項４に記載の映像変換装置。
   

Images