JP4056511B2 - 画像処理装置 - Google Patents

Description

本発明は画像処理装置に関し、特に画像信号をリアルタイムに処理して対象物の存在を検知し、画像認識を行う画像処理装置に関する。

画像認識技術は、ＣＣＤカメラ等で撮像された画像から対象物の存在を検知し、その画像内容を解析する技術である。
ＩＴＳ（Intelligent Transport Systems:高速道路交通システム）では、道路上の車両停止の検知や落下物の検知等に、画像認識技術を利用している。

また、電力設備の短絡・地絡の事故検知、さらにはゴミ焼却場の火災検知等、幅広い分野で利用されている。
一方、画像認識を行うアルゴリズムとしては、例えば、背景画像を記憶しておき、一定周期で入力する画像との差分から物体を検知する背景差分、画像から特徴事項を抽出して物体を検知する特徴抽出等、その他多様なアルゴリズムがある。

一般に画像認識技術では、これらアルゴリズムの内容が大きい場合、１つの画像処理プロセッサでは処理できないので、フレーム単位に間引きを行った後、フレーム単位のパイプライン制御を行って処理速度を上げている。

また、処理速度を上げるために、プロセッサでは、画像データの入力／出力及び画像認識の処理に対して、同時に並列処理を行っている。さらに、画像処理アルゴリズムは、画像をいくつかに分割し、通常は分散処理されている。

しかし、上記のような従来のパイプライン制御は、未処理データが処理済みデータに変換されるまでに、複数のプロセッサによる時間的遅れを生じながら処理結果が連続して得られるので、遅延時間が発生する。

この遅延時間は、プロセッサの接続段数に比例して大きくなるため、高速で動く画像から早い事象を検知する際には問題となる。
例えば、ＩＴＳで開発が進められているドライバを介さない無人自動運転では、事故防止のために落下物や異常事態を、事象が発生してから即座に検知しなければならない。このように車載の画像認識では、高速検知は必須である。

さらに、従来のアルゴリズム分散処理では、分散処理後、画像を合成する際にデータ転送能力の低いシリアル通信ポートが使われていたために、リアルタイム（１／３０秒）の合成ができず、高速検知の障害となっていた。

本発明はこのような点に鑑みてなされたものであり、画像処理速度を向上させ、対象物の存在を高速に検知する画像処理装置を提供することを目的とする。

本発明では上記課題を解決するために、図１に示すような画像信号をリアルタイムで処理する画像処理装置１において、画像信号のフレーム処理時にフレームが間引かれた場合、画像信号のラインの間隔を拡張するライン間隔拡張手段１１と、間隔が拡張されたラインのライン処理をパイプライン制御で行う複数の画像処理手段１２ａ〜１２ｎと、を有し、画像信号のラインの間隔は、１ライン単位の画像信号の入力が終了した時点から、次の１ライン単位の画像信号の入力が開始される時点までの時間間隔であって、ライン間隔拡張手段１１は、フレームが間引かれた数がｎ（ｎ＝１、２、・・・）のときは、各ライン間の時間間隔を、ｎライン分の時間だけ空けて、画像信号のラインの間隔を拡張する、ことを特徴とする画像処理装置１が提供される。

ここで、ライン間隔拡張手段１１は、画像信号のフレーム処理時にフレームが間引かれた場合、画像信号のラインの間隔を拡張する。画像処理手段１２ａ〜１２ｎは、間隔が拡張されたラインのライン処理をパイプライン制御で行う。また、画像信号のラインの間隔は、１ライン単位の画像信号の入力が終了した時点から、次の１ライン単位の画像信号の入力が開始される時点までの時間間隔であって、ライン間隔拡張手段１１は、フレームが間引かれた数がｎ（ｎ＝１、２、・・・）のときは、各ライン間の時間間隔を、ｎライン分の時間だけ空けて、画像信号のラインの間隔を拡張する。

本発明の画像処理装置は、画像信号のフレーム処理時、フレームが間引かれた数がｎ（ｎ＝１、２、・・・）のときは、各ライン間の時間間隔を、ｎライン分の時間だけ空けて、ラインの間隔を拡張して、ライン処理をパイプライン制御で行う構成とした。これにより、画像処理速度を向上させ、対象物の存在を高速に検知することが可能になる。

以下、本発明の実施の形態を図面を参照して説明する。図１は第１の実施の形態の画像処理装置の原理図である。画像処理装置１は、画像信号をリアルタイム（１／３０秒）で処理して、対象物の存在を検知し、画像認識を行う。

ライン間隔拡張手段１１は、画像信号のフレーム処理を行った場合、リアルタイムに処理するためにフレームを間引いた際に、画像信号のラインの間隔をフレームを間引いた数だけ拡張する。

例えば図では、フレーム処理時は２フレーム間引いており、その場合にはラインの間隔を２ライン分空けて拡張する。
画像処理手段１２ａ〜１２ｎは、間隔が拡張されたラインのライン処理をパイプライン制御で行う。

ここでフレーム処理、ライン処理及び間引きの意味について説明する。フレーム処理は、１フレーム（１画面）全体の画像を対象として処理を行うもので、複雑な特徴を有する画像処理や環境変化のある状態での検知に使用できる。

フレーム処理を行う画像処理手段のアルゴリズムとしては、特徴抽出やラベリング等がある。
ライン処理は、基本的に画面の１水平ライン（６４０ピクセル）の画像信号を対象として行うもので、処理対象ピクセルは、１ピクセル単位、周辺の数ピクセル単位、１ライン単位及び近傍の数ライン単位等である。

これらの小単位処理でも、単純画像で環境条件のあまり変化しない状態であれば、ライン処理での検知は十分可能である。
また、ライン処理を行う画像処理手段のアルゴリズムとしては、マスク、背景差分、投影、２値化等がある。

間引きとは、ＣＣＤカメラ等から１／３０秒毎に入力される画像信号を１フレーム単位で間引くものである。間引きにより、その分の情報量が削減されるが、低速な動画像でＳ／Ｎ比が高い場合や、検知までに時間を要しても構わない場合等では、間引いても問題はない。

次に動作について説明する。画像処理手段１２ａ〜１２ｎのそれぞれのフレーム処理が１／３０×３秒かかるとすると、リアルタイムでフレーム処理を行うためには、２フレーム間引いた画像信号を入力する必要がある。

したがって、画像処理手段１２ａ〜１２ｎでフレーム処理のパイプライン制御を行うと、１フレームが処理されるまでに、１／３０×３×ｎ（ｎ：画像処理手段１２ａ〜１２ｎの数）秒の処理時間の遅延となる。

一方、ライン間隔拡張手段１１により、フレームのライン間隔を拡張（ここでは２ライン分）する。そして、画像処理手段１２ａ〜１２ｎで拡張されたラインを入力して、ライン単位のパイプライン制御を行う。これにより、１ラインが処理されるまでに、１／３０×３秒以内でライン単位の処理を終わらせることができる。

このように、単純画像で環境条件のあまり変化しない画像等に対しては、フレーム処理ではなく、ライン処理で対象物の検知を十分行うことができるので、ライン間隔を拡張してのライン処理をパイプライン制御で行えば、処理時間を大幅に削減でき、対象物の高速検知が可能になる。

次にライン間隔拡張手段１１でライン間隔が拡張された波形のタイムシーケンスについて説明する。図２はライン間隔拡張波形のタイムシーケンスを示す図である。
波形Ｌａは、通常のライン構成を持つ波形である。波形Ｌｂは、ライン間隔が拡張されたライン波形であり、２ライン分間隔が拡張されている。

図３はライン間隔が拡張された場合のフレーム波形のタイムシーケンスを示す図である。
波形Ｆａは通常のフレーム構成を持つ波形である。波形Ｆｂはライン間隔が２ライン分拡張された場合のフレーム波形であり、もとのフレームの３倍に拡大される。また、この場合、垂直ブランキング期間も３倍に拡大される。

次にフレーム間引き後にフレーム処理のパイプライン制御を行う従来の画像処理について図４、図５を用いて説明する。図４はフレーム処理を行う場合の画像処理構成を示す図であり、図５は図４のタイムシーケンスを示す図である。

図４では、入力する画像信号は、フレーム間引き部１０１でフレームの間引きが行われる。そして、画像処理手段１２ａ〜１２ｅで画像処理が施され、対象物が検知された場合には、検知出力部１０２からその旨を通知する検知通知信号Ｗ１ｋが出力される。

ここでの画像処理として、画像処理手段１２ａ〜１２ｅは、それぞれマスク、背景差分、投影、２値化及び特徴抽出を行って、画像認識を行うものとする。また、各画像処理手段１２ａ〜１２ｅのフレーム処理時間は、１／３０×３秒である。

図５では、波形Ｗ１ａは垂直同期信号である。波形Ｗ１ｂは事象発生信号であり、図の示す位置に事象が発生したものとする（事象発生から次のフレームまでの間隔が０．０３秒）。波形Ｗ１ｃはフレームである。波形Ｗ１ｄは間引き後の垂直同期信号である。波形Ｗ１ｅは間引き後のフレームｆ１〜ｆ５である。

そして、このフレームｆ１〜ｆ５が、画像処理手段１２ａ〜１２ｅでのパイプライン制御により、画像処理が順次施されていく。
波形Ｗ１ｆ〜Ｗ１ｊは、それぞれ画像処理手段１２ａ〜１２ｅの出力信号である。図のようにフレームのパイプラインの多段処理を行うと、検知通知信号Ｗ１ｋが出力するまでに（１／３０）×３×５＋０．０３≒５３０ｍＳの遅延時間となる。

次にライン間隔拡張後にライン処理のパイプライン制御を行う画像処理について図６、図７を用いて説明する。図６はライン処理を行う場合の画像処理構成を示す図であり、図７は図６のタイムシーケンスを示す図である。

図６では、入力する画像信号は、ライン間隔拡張手段１１でライン間隔が拡張される。そして、画像処理手段１２ａ〜１２ｅで画像処理が施され、対象物が検知された場合には、検知出力部１０２からその旨を通知する検知通知信号Ｗ２ｋが出力される。また、ここでの画像処理の内容は図４と同様である。

図７では、波形Ｗ２ｃは事象発生信号であり、図の示す位置に事象が発生したものとする。波形Ｗ２ｄはライン間隔拡張後の垂直同期信号である。波形Ｗ２ｅはライン間隔が拡張されたフレームＦ１〜Ｆ５である。

そして、このフレームＦ１〜Ｆ５の拡張ラインが、画像処理手段１２ａ〜１２ｅでのパイプライン制御により、画像処理が順次施されていく。
波形Ｗ２ｆ〜Ｗ２ｊは、それぞれ画像処理手段１２ａ〜１２ｅの出力信号である。図のようにラインのパイプラインの多段処理を行うと、検知通知信号Ｗ２ｋが出力するまでに（１／３０）×３＋０．０３≒１３０ｍＳの遅延時間となる。このように、ライン間隔を拡張してのライン処理をパイプライン制御で行うことにより、処理時間を大幅に削減することができる。

次に画像信号をフレームメモリに蓄積してからライン間隔拡張処理を行う場合について説明する。図８はライン間隔拡張を行う際のフレームメモリを示す図である。
フレームメモリ１１ａは、Ａ面、Ｂ面に対し、交互に書き込み及び読み出しを行うダブルバッファ構造のメモリであり、画像信号をフレーム単位で一旦、格納した後、ラインの間隔を拡張しながら出力する。

このため例えば、フレームＡが書き込まれてから読み出されるまでには、１フレーム分の遅延が発生し、その遅延にライン間隔拡張分の遅延が加算されることになる。
したがって、フレームメモリ１１ａに蓄積してからライン間隔拡張を行った場合の遅延時間は、１／３０（１フレーム時間）＋（１＋ライン間隔拡張数）／３０（秒）となる。

次に画像信号を１フレームのＦＩＦＯ（First-In First-Out) に蓄積してからライン間隔拡張処理を行う場合について説明する。図９はライン間隔拡張を行う際の内部データメモリを示す図である。

図８で示したフレームメモリ１１ａの代わりに、１フレーム分の内部データメモリ１２３ａを設け、内部データメモリ１２３ａに入力してくる画像信号をライン間隔拡張の時間だけ遅延しながら順次出力する。

外部のフレームメモリに一旦蓄積する必要がなくなるので、１フレーム分の遅延がなくなる。したがって、内部データメモリ１２３ａに蓄積してからライン間隔拡張処理を行う場合の遅延時間は、（１＋ライン間隔拡張数）／３０（秒）となる。

次にライン処理とフレーム処理を複合した場合について図１０、図１１を用いて説明する。図１０はライン処理とフレーム処理を複合して行う場合の画像処理構成を示す図であり、図１１は図１０のタイムシーケンスを示す図である。

図１０では、入力する画像信号は、ライン間隔拡張手段１１でライン間隔が拡張される。そして、画像処理手段１２ａ〜１２ｅで画像処理が施され、対象物が検知された場合には、検知出力部１０２からその旨を通知する検知通知信号Ｗ３ｋが出力される。

また、ここでの画像処理は、画像処理手段１２ａ〜１２ｃのマスク、背景差分及び投影までがライン処理であり、画像処理手段１２ｄ、１２ｅの２値化、特徴抽出をフレーム処理で行うものとする。

図１１では、波形Ｗ３ｃは事象発生信号であり、図の示す位置に事象が発生したものとする。波形Ｗ３ｄはライン間隔拡張後の垂直同期信号である。波形Ｗ３ｅはライン間隔が拡張されたフレームＦ１〜Ｆ５である。

そして、このフレームＦ１〜Ｆ５の拡張ラインが、画像処理手段１２ａ〜１２ｅでのパイプライン制御により、画像処理が順次施されていく。波形Ｗ３ｆ〜Ｗ３ｊは、それぞれ画像処理手段１２ａ〜１２ｅの出力信号である。

また、ここでは、波形Ｗ３ｆ〜Ｗ３ｈがライン処理、Ｗ３ｉ、Ｗ３ｊがフレーム処理である。
したがって、図のようにパイプラインの多段処理を行うと、検知通知信号Ｗ３ｋが出力するまでに（１／３０）×３×３＋０．０３≒３３０ｍＳの遅延時間となる。

このように、ライン処理に向いているマスクや背景差分等のアルゴリズムや、フレーム処理に向いている特徴抽出等のアルゴリズムを複合して、効率よく画像処理することが可能になる。

以上説明したように、第１の実施の形態の画像処理装置１は、画像信号のラインの間隔を拡張して、ライン処理をパイプライン制御で行う構成とした。これにより、画像処理速度を向上させ、対象物の存在を高速に検知することが可能になる。

次に第２の実施の形態の画像処理装置について説明する。図１２は第２の実施の形態の画像処理装置の原理図である。ホスト２００を除く図の各構成要素からなる画像処理装置２は、画像入力処理、画像処理、画像出力処理の同時並列処理を行う。

入力画像信号格納手段２１は、入力された画像信号を格納して、入力画像データＤ１として出力する。
画像信号処理手段２２は、入力画像データＤ１を画像処理して、画像処理データＤ２を生成する。

出力画像信号格納手段２３は、画像処理データＤ２を格納して、出力画像データＤ３として外部出力する。
格納領域制御手段２４は、入力側格納領域部２４−１と出力側格納領域部２４−２を持つ。入力側格納領域部２４−１は、入力画像信号格納手段２１と入力バスＢｉで接続され、一方が入力画像データＤ１を格納している場合は、他方が格納済みの入力画像データＤ１を画像信号処理手段２２に出力するダブルバッファ構造のメモリである。また、後述する設定データＤ４と通知データＤ５の格納制御も行う。

図ではメモリＡが入力画像データＤ１を格納、メモリＢからは格納済みの入力画像データＤ１を出力している。切替え後は、互いに逆の処理となる。
また、出力側格納領域部２４−２は、出力画像信号格納手段２３と出力バスＢｏで接続され、一方が画像処理データＤ２を格納している場合は、他方が格納済みの画像処理データＤ２を出力画像信号格納手段２３に出力するダブルバッファ構造のメモリである。

図ではメモリＣが画像処理データＤ２を格納、メモリＤからは格納済みの画像処理データＤ２を出力している。切替え後は、互いに逆の処理となる。
また、データ切替え制御手段２５は、画像信号処理手段２２へ送信される、入力画像データＤ１またはワークステーション等のホスト２００からの設定データＤ４の切替え制御を行う。さらに、画像信号処理手段２２からホスト２００への通知データＤ５の送信制御を行う。

設定データＤ４とは、例えば、プログラムやマスクデータ等に該当する。また、通知データＤ５とは、画像信号処理手段２２で対象物を検知した検知結果通知データ等に該当する。

次に画像処理装置２の具体的な構成及び動作について説明する。図１３は画像処理装置２の構成を示す図である。画像信号処理手段２２と格納領域制御手段２４が、１つのＤＳＰ（ディジタルシグナルプロセッサ）内２０に含まれる。

ＣＰＵ２２ａは画像信号処理手段２２に該当し、内部データメモリ２４ａとＨＰＩ（ホストポートインタフェース）２４ｂとＩ／Ｆ２４ｃは格納領域制御手段２４に該当する。
また、入力ＦＩＦＯ２１ａと入力ＦＩＦＯ制御部２１ｂは入力画像信号格納手段２１に該当し、出力ＦＩＦＯ２３ａと出力ＦＩＦＯ制御部２３ｂは出力画像信号格納手段２３に該当する。さらに、データ切替え制御手段２５は、ゲート回路２５ａで構成される。

ＤＳＰ２０の内部データメモリ２４ａが複数バンク構成（メモリＡ〜Ｄ）になっており、それぞれ独立してアクセス可能である。
ここでは、メモリＡ、Ｂを画像入力のラインメモリとして交互に切り替えて、画像ライン信号の入出力を行う。

すなわち、メモリＡがＨＰＩ２４ｂを介して、画像ライン信号を入力して格納している場合は、メモリＢは画像ライン信号をＣＰＵ２２ａに出力して、ＣＰＵ２２ａは画像処理を行う。このような動作をメモリＡ／Ｂ交互に行うことで、画像ライン信号の入力及び画像処理を平行して行うことができる。

また、メモリＣ／Ｄでは、メモリＣが画像処理データを入力して格納している場合は、メモリＤは画像処理データをＩ／Ｆ２４ｃを介して、出力ＦＩＦＯ２３ａに出力する。このような動作をメモリＣ／Ｄ交互に行う。

また、入力ＦＩＦＯ制御部２１ｂは、ライン単位の動作の基準となる水平同期信号を割り込み信号としてＤＳＰ２０に入力する。
なお、上記の説明では、メモリＡ／Ｂ、Ｃ／Ｄを、ライン単位のダブルバッファ構造のメモリとしたが、フレーム単位のダブルバッファ構造のメモリにして、フレーム処理を行ってもよい。

次に画像信号の流れについて説明する。画像信号は、入力ＦＩＦＯ２１ａ、ゲート回路２５ａ、ＤＳＰ２０内のＨＰＩ２４ｂ及び内部データメモリＡ／Ｂへと送信される。
画像信号の出力は、ＤＳＰ２０の内部データメモリＣ／Ｄ、出力ＦＩＦＯ２３ａへと送信される。

ここで、画像信号処理は、ＤＳＰ２０内のＣＰＵ２２ａが、内部データメモリＡ／Ｂのいずれかから画像信号を読み出して行い（画像信号が入力されるメモリとは別のメモリをアクセスする）、その結果を内部データメモリＣ／Ｄ（同様に出力されるメモリとは別のメモリをアクセスする）へ格納する。

次に動作について詳しく説明する。入力ＦＩＦＯ２１ａは、ライン単位の画像信号を１ラインずつ受け取る。
入力ＦＩＦＯ制御部２１ｂは、入力ＦＩＦＯ２１ａが１ライン分受け取った時点で、ＤＳＰ２０に対して割り込みを上げるとともに、入力ＦＩＦＯ制御部２１ｂの制御により、ＨＰＩ２４ｂを経由して内部データメモリＡ／Ｂへ送信する。内部データメモリＡ／Ｂいずれに転送するかは、入力ＦＩＦＯ制御部２１ｂで発生した転送アドレスで指定する。

そして、内部データメモリＡに入力画像データ転送中は、ＣＰＵ２２ａは内部データメモリＢとの間で画像処理を行い、次のライン入力タイミングでは内部データメモリＢに入力画像データは転送され、ＣＰＵ２２ａと内部データメモリＡとの間で画像処理を行う。

画像処理結果は、内部データメモリＣまたはＤ（必ず出力されているメモリとは別のメモリへアクセスする）へ保存する。そして、出力ＦＩＦＯ２３ａからの出力では、出力画像データＤ３のタイミングをピクセルクロックで制御しながら画像バスへ出力する。

以上説明したように、第２の実施の形態の画像処理装置２は、入力バスＢｉで接続されて入力画像データＤ１を格納制御し、出力バスＢｏで接続されて画像処理データＤ２を格納制御する格納領域制御手段２４を用いて、画像処理を行う構成とした。これにより、入出力のバスを分離できるので、コンフリクトの発生をなくし、装置の品質及び信頼性の向上を図ることが可能になる。

次に第３の実施の形態の画像処理装置について説明する。図１４は第３の実施の形態の画像処理装置の原理図である。ホスト２００を除く図の各構成要素からなる画像処理装置３は、画像入力処理、画像処理、画像出力処理の同時並列処理を行う。

入力画像信号格納手段３１は、入力された画像信号を格納して、入力画像データＤ１として時分割で出力する。
画像信号処理手段３２は、入力画像データＤ１を時分割で画像処理して画像処理データＤ２を生成し、画像処理データＤ２を出力する。

出力画像信号格納手段３３は、画像処理データＤ２を格納して、出力画像データＤ３として外部出力する。
入力画像データ格納手段３６は、一方が入力画像データＤ１を格納している場合は、他方が格納済みの入力画像データＤ１を画像信号処理手段３２に出力するダブルバッファ構造をとる。

入出力インタフェース手段３７は、入力画像データ格納手段３６から画像信号処理手段３２への入力画像データＤ１の入力インタフェース、画像信号処理手段３２から出力画像信号格納手段３３への画像処理データＤ２の出力インタフェースを行う。

また、データ切替え制御手段３５は、画像信号処理手段３２へ送信される、入力画像データＤ１またはワークステーション等のホスト２００からの設定データＤ４の切替え制御を行う。さらに、画像信号処理手段３２からホスト２００への通知データＤ５の送信制御を行う。

次に画像処理装置３の具体的な構成及び動作について説明する。図１５は画像処理装置３の構成を示す図である。ＤＳＰ３０は、画像信号処理手段３２に該当するＣＰＵ３２ａを内部に含み、図１３で説明した内部データメモリ２４ａを内部に持たない。そして、フレームメモリＡ／Ｂ３６ａは、入力画像データ格納手段３６に該当する。

また、入力ＦＩＦＯ３１ａと入力ＦＩＦＯ制御部３１ｂは入力画像信号格納手段３１に該当し、出力ＦＩＦＯ３３ａと出力ＦＩＦＯ制御部３３ｂは出力画像信号格納手段３３に該当する。さらに、データ切替え制御手段３５は、ゲート回路３５ａで構成される。

第３の実施の形態では、内部データメモリ２４ａの代わりに、フレーム単位でダブルバッファ可能なフレームメモリＡ／Ｂ３６ａに変更して、フレーム単位での並列動作をする。

この場合、入出力インタフェース手段３７でコンフリクトの発生の可能性があるため、画像入出力データの転送速度を２〜３倍に上げ、時分割で転送することによりコンフリクトを避ける。

例えば、画像入力をフレーム時間の最初の１／３の時間で転送し、次の１／３でＤＳＰ３０の画像処理を行い、最後の１／３の時間で出力ＦＩＦＯ３３ａへ出力するようにタイミングをプログラムして動作させる。

このように、第３の実施の形態では、内部データメモリ２４ａを持たないＤＳＰ３０に対し、時分割で動作させることにより、インタフェース部でのコンフリクトを発生させずに高速に動作させることが可能になる。

次に第４の実施の形態について説明する。図１６は第４の実施の形態の画像処理装置の原理図である。画像処理装置４は、画像処理の速度が要求性能に間に合わない場合に、画像信号の分割処理及び合成を行って処理速度を高める。

画像信号分割手段４１は、画像信号を分割する。ここでは２系統の分割を行うものとする。
第１の分割処理信号生成手段４２ａは、２系統に分割された画像信号の一方を画像処理して、第１の分割処理信号Ｄａを生成する。

第２の分割処理信号生成手段４２ｂは、２系統に分割された画像信号の他方を画像処理して、第２の分割処理信号Ｄｂを生成する。
第１の分割処理信号格納手段４３ａは、一方が第１の分割処理信号Ｄａを格納している場合は、他方が格納済みの第１の分割処理信号Ｄａを出力するダブルバッファ構造（フレームメモリＡ１／Ｂ１）で構成される。

第２の分割処理信号格納手段４３ｂは、一方が第２の分割処理信号Ｄｂを格納している場合は、他方が格納済みの第２の分割処理信号Ｄｂを出力するダブルバッファ構造（フレームメモリＡ２／Ｂ２）で構成される。

フォーマット変換手段４４は、第１及び第２の分割処理信号格納手段４３ａ、４３ｂから出力された出力信号Ｄａ１、Ｄｂ１をハードウェアで合成してフォーマット変換を行う。

次に従来の画像信号の分割処理及び合成について説明する。図１７は従来の画像信号の分割処理及び合成を示す図である。
２系統に分割された画像分割信号は、画像処理部４２０ａ、４２０ｂで画像処理が行われる。

合成部４４０は、画像処理部４２０ａで処理された信号と、画像処理部４２０ｂで処理され、１ビットのシリアルの通信ポートＰを介して送信された信号と、を合成して出力する。

このように、従来の合成処理では、１ビットのシリアル通信ポートＰを利用して行っているために、データ転送能力が低く、リアルタイムの画像処理を行うことができなかった。

次に第１及び第２の分割処理信号格納手段４３ａ、４３ｂ及びフォーマット変換手段４４について説明する。
図１６に示すように、フレームメモリＡ１／Ｂ１を交互に切り替えて、第１の分割処理信号Ｄａの入出力を行う。

例えば、フレームメモリＡ１が第１の分割処理信号Ｄａを入力して格納している場合は、フレームメモリＢ１は格納済みの第１の分割処理信号Ｄａをフォーマット変換手段４４に出力する。このような動作をフレームメモリＡ１／Ｂ１交互に行う。

また、同様にフレームメモリＡ２／Ｂ２を交互に切り替えて、第２の分割処理信号Ｄｂの入出力を行う。
例えば、フレームメモリＡ２が第１の分割処理信号Ｄｂを入力して格納している場合は、フレームメモリＢ２は格納済みの第１の分割処理信号Ｄｂをフォーマット変換手段４４に出力する。このような動作をフレームメモリＡ２／Ｂ２交互に行う。

そして、フォーマット変換手段４４は、出力信号Ｄａ１、Ｄｂ１をハードウェアで合成してフォーマット変換を行う。なぜなら、画像処理を行うＤＳＰチップで画像信号の合成を行うと、ＤＳＰチップに負担がかかり、処理速度が遅くなるためである。

このように、第１及び第２の分割処理信号Ｄａ、Ｄｂをそれぞれダブルバッファ構造の第１及び第２の分割処理信号格納手段４３ａ、４３ｂで格納し、その出力信号Ｄａ１、Ｄｂ１の合成及びフォーマット変換をハードウェアで行う構成とした。これにより、画像合成時のフォーマット変換を高速に行うことが可能になる。

次にフォーマット変換について図１８〜図２１を用いて説明する。分割された画像信号を合成する際には、分割パターンに対応したフォーマット変換を行って、元の画像に戻す必要がある。

図１８は分割を行わない場合のフォーマット変換を示す図である。分割を行わない場合は、出力信号Ｄａ１のライン配列は図に示すようになる。
なお、以降の説明では、１フレームは４８０本のラインからなり、奇数フィールドのライン番号を中括弧で囲み、偶数フィールドのライン番号を小括弧で囲んで表示する。

第１の分割処理信号格納手段４３ａからの出力信号Ｄａ１を奇数ラインを出力した後に偶数ラインを出力する。この場合、第２の分割処理信号格納手段４３ｂからの出力信号Ｄｂ１は無視される。

図１９は１ライン毎に分割した場合のフォーマット変換を示す図である。奇数フィールドを１ライン毎に分割し、その後偶数フィールドを１ライン毎に分割した場合は、出力信号Ｄａ１、Ｄｂ１のライン配列は図に示すようになる。

第１の分割処理信号格納手段４３ａからの出力信号Ｄａ１と、第２の分割処理信号格納手段４３ｂからの出力信号Ｄｂ１と、を１ライン毎に交互に出力する。
図２０は奇数／偶数フィールドに分割した場合のフォーマット変換を示す図である。第１の分割処理信号格納手段４３ａからの出力信号Ｄａ１を出力し、第２の分割処理信号格納手段４３ｂからの出力信号Ｄｂ１を出力して合成する。

図２１は１フレーム画面を上下に分割した場合のフォーマット変換を示す図である。第１及び第２の分割処理信号格納手段４３ａ、４３ｂからの出力信号Ｄａ１、Ｄｂ１の奇数ラインを出力した後に、偶数ラインを出力する。

なお、上記のようなフォーマット変換を行わず、出力信号Ｄａ１、Ｄｂ１のいずれかだけをそのまま出力してもよい。すなわち、第１及び第２の分割処理信号格納手段４３ａ、４３ｂのいずれか一方からの出力信号Ｄａ１、Ｄｂ１をライン毎に出力する。

以上説明したように、第４の実施の形態の画像処理装置４は、２つの分割処理信号をそれぞれダブルバッファ構造の第１及び第２の分割処理信号格納手段４３ａ、４３ｂで格納し、その出力信号Ｄａ１、Ｄｂ１の合成及びフォーマット変換をハードウェアで行う構成とした。これにより、画像合成時のフォーマット変換をリアルタイムに行うことが可能になる。

次に画像処理装置を適用した画像処理ボードについて図２２、２３を用いて説明する。図２２は画像処理ボードのビデオ部を示す図であり、図２３は画像処理ボードの画像処理部を示す図である。画像処理ボード１００は、ビデオ部１１０と画像処理部１２０からなる。

ビデオ部１１０に対し、ビデオデコーダ１１１ａはビデオ入力のＡ／Ｄ変換を行い、ビデオエンコーダは１１１ｂはＤ／Ａ変換を行って、処理後の信号を出力する。
フレームメモリ１１３は、フレーム間引き部１１２でフレーム間引きされたディジタル画像データを２画面分交互に蓄積する。

モード選択部１１４は、蓄積した画像データをフレームメモリ１１３から画像バスＢ１へ出力する形式を１／３０秒毎のノーマル出力／フレーム単位での間引き出力／ライン間隔拡張出力の３種類のモードを選択して出力する。

分割処理信号格納部１１５は、画像バスＢ２、Ｂ３を通じて２系統からなる画像データを、各２画面のフレームメモリＡ１／Ｂ１、Ａ２／Ｂ２へ交互に蓄積する。
フォーマット変換部１１６は、分割処理信号格納部１１５から出力された画像データからライン毎に選択してフォーマット変換する。

ビデオコントロール部１１７は、ビデオ部１１０を構成する各処理部の全体制御を行う。
画像処理部１２０に対し、入力ＦＩＦＯ１２１ａは、画像バスＢ４からの画像データを１ライン分入力する。

入力ＦＩＦＯ制御部１２１ｂは、入力ＦＩＦＯ１２１ａを制御するとともにＤＳＰ１２３へ水平／垂直同期割り込みを行う。
出力ＦＩＦＯ１２２ａは、処理後の画像データを１ライン分入力して画像バスＢ５へ出力する。出力ＦＩＦＯ制御部１２２ｂは、出力ＦＩＦＯ１２２ａを制御する。

ＤＳＰ１２３は、複数バンクの内部データメモリ１２３ａとＨＰＩ１２３ｂを有し画像処理を実行する。
ワーク／プログラムメモリ１２４は、プログラムの記憶、ワーク領域またはフレームメモリＡ／Ｂとして使用できる。

ゲート回路１２５はＤＳＰ１２３のＨＰＩ１２３ｂへアクセスするポートを入力ＦＩＦＯ１２１ａ側またはホスト２００側に切り替える。
ＤＳＰコントロール部１２６は、画像処理部１２０を構成する各処理部の全体制御を行う。

以上説明したように、画像処理装置を適用した画像処理ボード１００は、対象物の高速検知、画像バス上に発生するコンフリクトの低減及び画像の高速合成処理を行うことが可能になる。

第１の実施の形態の画像処理装置の原理図である。 ライン間隔拡張波形のタイムシーケンスを示す図である。 ライン間隔が拡張された場合のフレーム波形のタイムシーケンスを示す図である。 フレーム処理を行う場合の画像処理構成を示す図である。 図４のタイムシーケンスを示す図である。 ライン処理を行う場合の画像処理構成を示す図である。 図６のタイムシーケンスを示す図である。 ライン間隔拡張を行う際のフレームメモリを示す図である。 ライン間隔拡張を行う際の内部データメモリを示す図である。 ライン処理とフレーム処理を複合して行う場合の画像処理構成を示す図である。 図１０のタイムシーケンスを示す図である。 第２の実施の形態の画像処理装置の原理図である。 画像処理装置の構成を示す図である。 第３の実施の形態の画像処理装置の原理図である。 画像処理装置の構成を示す図である。 第４の実施の形態の画像処理装置の原理図である。 従来の画像信号の分割処理及び合成を示す図である。 分割を行わない場合のフォーマット変換を示す図である。 １ライン毎に分割した場合のフォーマット変換を示す図である。 奇数／偶数フィールドに分割した場合のフォーマット変換を示す図である。 １フレーム画面を上下に分割した場合のフォーマット変換を示す図である。 画像処理ボードのビデオ部を示す図である。 画像処理ボードの画像処理部を示す図である。

符号の説明

１ 画像処理装置
１１ ライン間隔拡張手段
１２ａ〜１２ｎ 画像処理手段

Claims (4)

1. 画像信号をリアルタイムで処理する画像処理装置において、
   前記画像信号のフレーム処理時にフレームが間引かれた場合、前記画像信号のラインの間隔を拡張するライン間隔拡張手段と、
   間隔が拡張された前記ラインのライン処理をパイプライン制御で行う複数の画像処理手段と、
   を有し、
   前記画像信号のラインの間隔は、１ライン単位の画像信号の入力が終了した時点から、次の１ライン単位の画像信号の入力が開始される時点までの時間間隔であって、
   前記ライン間隔拡張手段は、前記フレームが間引かれた数がｎ（ｎ＝１、２、・・・）のときは、各ライン間の時間間隔を、ｎライン分の時間だけ空けて、前記画像信号のラインの間隔を拡張する、
   ことを特徴とする画像処理装置。
2. 前記ライン間隔拡張手段は、ダブルバッファ構造のフレームメモリで前記画像信号を格納した後、前記ラインの間隔を拡張して出力することを特徴とする請求項１記載の画像処理装置。
3. 前記ライン間隔拡張手段は、１フレームを格納できるＦＩＦＯで前記画像信号を格納した後、前記ラインの間隔を拡張して出力することを特徴とする請求項１記載の画像処理装置。
4. 前記画像処理手段は、前記ライン処理と前記フレーム処理を複合して行うことを特徴とする請求項１記載の画像処理装置。

Images