JP4040651B2 - カメラ揺れ補正方法および画像システム - Google Patents

Description

本発明は動画システムから特定の移動物体を識別する画像システムに関し、特にカメラの揺れ補正に関する。

監視対象エリアの動画像中から人物などの移動体を認識する場合、設置カメラの振動や風による揺れ補正が必要になる。類似の技術として、撮影時のカメラ手ぶれ補正方法がある。すなわち、カメラ視野範囲の所定の小ブロックに対し、そのブロックがどこにあるか１画素ずつシフトしてサーチし、最大類似のブロックの位置を検出してぶれ量を補正する。

また、揺れるカメラの動画像中から移動物体を認識する方法として、複数の注目点を設定して連続する画像フレーム間のマッチングを行い、その結果をもとにアフィン変換を２段階に適用することで背景の位置合わせを行い、さらに、位置合わせした後の時間軸方向での差分画像から移動物体領域の抽出を行うものが知られている（非特許文献１）。

信学技報（PRU95−181、1995年−12月）

従来のカメラの手ぶれ補正方法は、手ぶれのずれ量が比較的少ないので、視野範囲の所定位置の小さな基準ブロックをテンプレートパターンとして使用でき、マッチングのサーチ範囲も狭くてよい。しかし、基準ブロックが小さいあるいは位置が固定していると、そのブロックに外乱や移動体が進入するとマッチングが不可能になる。

一方、引用文献による移動物体の抽出方法は、設定した複数の注目パターンで画像フレーム間のマッチングを行うが、特徴のない注目パターン（規則的なパターン）が含まれていると、位置合わせに誤りが発生する。さらに、複数の注目パターンのいくつかでマッチング領域が存在した場合、これらのマッチング結果を基にアフィン変換を２段階適用して背景の位置合わせを行うと、時間がかかり過ぎてリアルタイムのオンライン処理が困難になる。

本発明の目的は、従来技術の問題点を克服し、カメラの揺れ量が大きくさらに外乱が存在する環境下においても、正確にかつ高速にカメラの揺れを補正するカメラ揺れ補正方法と、それを利用した画像システムを提供することにある。

上記目的は、カメラが撮影した画像のカメラ揺れを補正する方法において、前記画像の２フレームの一方を基準画像、他方を処理画像とし、前記基準画像から作成したテンプレートパターンを用いて前記処理画像のパターンマッチングを行うことで、カメラ揺れ量を算出して画像ずれを補正することにより達成される。

カメラ揺れによる画像ずれは、処理画像の全体にわたり同一方向に同一移動量となる規則性を有している。従って、テンプレート領域とマッチング領域の間の移動ベクトルのうち、この規則性、少なくとも移動方向が一致する移動ベクトルを特定することで、カメラ揺れ量を算出できる。なお、上記マッチング領域は、パターンマッチングによって抽出された最大類似度の領域である。

この一方法として、前記基準画像から作成した複数のテンプレートパターンを用いて前記処理画像に対するパターンマッチングを行ない、前記テンプレートパターン毎にマッチング領域との移動ベクトルを算出し、移動方向が同一または移動方向及び移動量が同一となる頻度最大の移動ベクトル（群）を求め、該移動ベクトル（群）の移動方向と移動量からカメラ揺れ量を算出し、該カメラ揺れ量だけ画像シフトして前記基準画像と前記処理画像の背景を位置合わせすることで、カメラ揺れの補正が実現できる。

前記テンプレートパターンは前記基準画像の領域中に、１つずつ指定しあるいは所定規則に従って自動的に位置決めされた所定面積の矩形領域として設定される。

また、上記のように設定された複数のテンプレートパターンを候補とし、各々の濃度分散値を求め、濃度の分散値が一定以上となるテンプレートパターンのみをパターンマッチングに使用する。このように、分散値の大きい特徴あるテンプレートパターンを用いることで、パターンマッチングの精度が向上する。また、パターンが基準画像の全体的に多数設定されるとき、特徴のないパターンは捨てられるので処理効率が向上する。

上記目的は、カメラが撮影した画像のカメラ揺れを補正する画像システムにおいて、前記画像の２フレームの一方を基準画像、他方を処理画像として記憶する画像記憶手段、基準画像からテンプレートパターンを生成するテンプレートパターン作成手段、テンプレートパターンに前記処理画像に対するパターンマッチングを行いカメラ揺れ量を算出し、前記基準画像と前記処理画像の位置合わせを行うカメラ揺れ補正手段を設けたことにより達成される。

さらに、前記位置合わせ後の基準画像と処理画像の差分画像を基に、移動画像の移動距離を含む特徴量を算出し、該特徴量を利用した所定の判定基準に従って特定の移動物体の識別を行なう移動物体識別手段を設けたことを特徴とする。

また、前記差分画像の濃度頻度分布から２値化しきい値を決定し、前記差分画像を２値化処理する２値化処理手段を設け、この２値化画像から前記特徴量を算出することを特徴とする。

また、前記特定の移動物体の位置座標を時系列に蓄積し、該移動物体の現時点の画像と過去の位置座標から移動軌跡を表示する表示処理手段を設けたことを特徴とする。

本発明によれば、カメラが振動や風で揺れている場合に、その揺れを正確に補正した動画像が得られる。さらに、外乱や対象外の種々の移動体から識別した移動物体の映像をモニタ上でオンラインで見ることができる。

本発明のカメラ揺れ補正方法によれば、カメラで対象エリアを撮影した入力画像の１フレームを基準画像、次のフレームを処理画像として取り込み、基準画像から作成したテンプレートパターンと処理画像のパターンマッチングを行ってカメラ揺れ量を算出し、基準画像と処理画像の背景の位置合わせを行うので、入力画像に移動体やノイズが存在する場合にもカメラの揺れを正確に検出できる。

また、パターンマッチングに使用するテンプレートパターンは、濃度の分散値が一定以上で特徴のあるパターンを用いるので、パターンマッチングの信頼性が高く、かつ、効率処理できる。

本発明の画像システムによれば、動画像中における移動物体の移動量を含む特徴量から人物などの対象物体の識別を行う場合に、カメラの揺れによる画像のずれを補正できる画像システムを提供できる。

以下、本発明の一実施形態を図面を用いて詳細に説明する。各図を通して、同等の要素には同一の符号を付している。

図１は、一実施形態による画像監視システムの機能ブロック図である。本システムでは、ＩＴＶカメラ100が対象エリアをサンプリングタイミングで撮影した映像を、画像入力部200が順次画像信号として取り込んでＡ／Ｄ変換する。テンプレートパターン作成部400は、取り込んだ１フレームの画像を基準画像として複数のテンプレートパターンを作成し、テンプレートパターン毎の濃度の分散値を求め、分散値が大きいテンプレートパターンを採用する。

カメラ揺れ量算出部600は、次のサンプリングタイミングで、画像入力部200から取り込まれた１フレームの画像を処理画像として、採用したテンプレートパターンによるパターンマッチングを行い、揺れ量を算出する。カメラ揺れ補正部800は、カメラ揺れ量算出部600で求めたカメラ揺れ量だけ処理画像を移動し、この移動画像と基準画像の背景の位置合わせを行なう。

移動物体抽出部1000は、移動画像と処理画像の差分を行って差分画像を作成し、差分画像の濃度頻度分布を算出して、濃度頻度分布のノイズを除去した濃度情報から算出したしきい値で２値化した２値画像や差分画像から、移動物体領域を抽出して移動物体領域の特徴量を算出する。

移動物体識別部1200は、移動物体領域の特徴量を用いて外乱を除外し移動物体の判別を行い、監視対象の移動物体の存在を認識すると、画像格納部1500に当該移動物体の画像を格納する。表示制御部1400は、画像格納部1500に格納した移動物体の画像及びその移動軌跡を用いて、表示装置1600に表示する制御を行う。これら画像入力部200、テンプレートパターン作成部400、カメラ揺れ量算出部600、カメラ揺れ補正部800、移動物体抽出部1000、移動物体識別部1200、画像格納部1500、表示制御部1400を順次繰り返して処理し、リアルタイムに表示装置1600に表示し、監視者は識別した目的の物体が写っている映像をモニタ等の表示装置1600でオンライン監視する。

図２に、カメラが揺れている動画像から移動物体を検出する概念図を示す。同図（ａ）のように、カメラ揺れがある場合、基準画像10の建物30に対して処理画像40の建物50がずれている。そこで、カメラ揺れでずれた分、処理画像40を基準画像10に位置合わせした後、共通シーン20の領域の差分を行う。この場合は、移動物体や外乱がないので共通シーン20の領域には何も検出されない。

一方、同図（ｂ）のように、カメラ揺れとともにシーンに移動人物がいる場合、カメラ揺れに対しては処理画像40を基準画像10に位置合わせして補正する。しかし、基準画像10の人物70は処理画像40で人物80に移動しているため、基準画像10と処理画像40の差分を行うと、人物70の移動前の画像90と移動後の画像95が正しい移動距離で検出できる。このように、カメラ揺れの影響を排除すると、移動距離などの特徴量を利用して特定の移動物体、たとえば人物を識別できる。

図３は、画像入力部の構成を示す機能ブロック図である。ＩＴＶカメラ100が対象シーンを撮影すると、一方の画像取り込み部（Ｆｉ）220より取り込まれた画像信号を基準画像とし、もう一方の画像取り込み部（Ｆi+1）240より取り込まれた画像信号を処理画像として、Ａ／Ｄ変換部260でＡ／Ｄ変換して、基準画像をテンプレートパターン作成部400に、処理画像をカメラ揺れ算出部600に送信する。

図４は、テンプレートパターン作成部の構成を示す機能ブロック図である。テンプレートパターン作成部400は画像入力部200からの基準画像を取り込み、テンプレートパターン生成部420で複数のテンプレートパターンの候補を生成し、テンプレートパターン決定部440で各候補パターン毎に濃度の分散値を計算して、しきい値以上の分散値を有する候補パターンをテンプレートとして決定し、テンプレートパターン格納部460に格納する。採用するテンプレートパターンは、例えば窓のある事務室等の映像の場合、分散値のしきい値が約３５〜４０以上である。このように、テンプレートパターンの分散値が小さい個所は、後述のようにずれ位置の探索は行わない。

図５は、テンプレートパターンの生成方法を示す説明図で、濃淡テンプレートパターンの生成例である。テンプレートパターン生成部420は、画像入力部200からの基準画像に対し、注目点423を与えて注目点423を中心とする矩形をテンプレートパターン425として生成する。注目点423は、マウス等の入力装置でその位置を全て指示したり、基準となる１点の位置を指示し、この点から予め定めた規則的な位置を注目点として、複数の候補パターンを自動生成する。

図６は、テンプレートパターンの別の生成方法を示す説明図である。この例でのテンプレートパターン生成部420は、基準画像上でマウス等により直接指示された矩形427の領域を候補パターンとして生成する。

上記のテンプレートは２値パターンでもよい。２値パターンの場合、テンプレートは、基準画像を所定のしきい値で２値化した２値画像から生成する。あるいは、基準画像のエッジを求めて所定のしきい値で２値化した２値画像から生成してもよい。

図７は、カメラ揺れ算出部の構成を示す機能ブロック図である。カメラ揺れ算出部600は作成されたテンプレートと処理画像を入力し、パターンマッチング領域設定部620で処理画像に対しパターンマッチングを行うパターンマッチングの処理領域を設定する（ウインドウ設定）。パターンマッチング処理領域は必ずしも処理画像全体でなくてよい。例えば、テンプレートパターン領域自身の左右にｍ画素、上下にｎ画素拡大したり、任意に指定してもよく、カメラの揺れの幅に合わせて設定すればよい。

パターンマッチング部640は、パターンマッチングの処理領域に対するテンプレートパターン毎のパターンマッチングを行い、最も一致したマッチング領域を検出する。テンプレートが濃淡パターンの場合は濃淡パターンマッチング、２値パターンの場合は２値パターンマッチングを行う。カメラ揺れベクトル算出部660は、各パターン毎に移動ベクトルを算出する。

図８は、カメラ揺れ算出部の処理手順を示すフロー図である。まず、テンプレートパターン領域を含んだパターンマッチング領域を設定する（S650）。次に、設定したパターンマッチング領域内において、テンプレートパターンを１画素ずつシフトしながら最も一致しているマッチング領域をサーチする（S660）。さらに、ステップS660で最も一致しているマッチング領域とテンプレートパターンの位置を比較し、その移動方向と移動量からなる移動ベクトルを算出する（S670）。さらに、設定したテンプレートパターンによるパターンマッチングが全て終了したかチェックし（S680）、終了していない場合はステップS650へ戻り、一連の処理ステップを繰り返す。

図９は、カメラ揺れ算出部で算出した移動ベクトルの例を示す説明図である。基準画像上で生成した複数のテンプレートパタン毎に、処理画像に対してパターンマッチングを行って、所定のしきい値以上で類似度が最大のマッチング領域を探索する。

マッチング領域が検知されると、基準画像の代表位置（例えば、矩形左上の位置）915に一致した処理画像の代表位置（例えば、矩形左上の位置）918をずれ位置とする。基準画像の代表位置915をベクトルの始点、見つけた処理画像の代表位置918をベクトルの終点とし、始点と終点を結ぶベクトル910を移動ベクトルとする。同様にして、次のテンプレートパターンに対しても、パターンマッチングを行ってマッチング領域を見つけ、基準画像の代表位置925をベクトルの始点、見つけた処理画像の代表位置928をベクトルの終点とし、始点と終点を結ぶベクトル920を移動ベクトルとする。

図示の移動人物1430が存在する場合、移動人物1430に対応する移動ベクトル692は、人物の移動方向と移動量を示す。しかし、移動人物1430により背景が変化した部分の移動ベクトル694、696、698などは、その移動方向に規則性がない。また、分散値が小さいテンプレートパターンは使用しないので（ずれ位置の探索が行わなれない）、図示のように移動ベクトルが抜けている。

図１０は、カメラ揺れ補正部の構成を示す機能ブロック図である。カメラ揺れ算出部600で算出した各テンプレート毎の移動ベクトルに対して、対応ベクトル間の距離算出部820で、基準とするベクトル（基準ベクトル）と比較対象のベクトル（対象ベクトル）の始点間の距離と終点間の距離を算出する。また、対応ベクトル間の傾き算出部830で、基準ベクトルの傾きと対象ベクトルの傾きを算出する。

さらに、同一ベクトルの頻度分布算出部840で、始点間の距離と終点間の距離が等しく、かつ、基準ベクトルの傾きと対象ベクトルの傾きが等しい場合、両者を同一ベクトルとして頻度分布を算出する。ここでの距離と傾きには、若干の誤差が許容される。例えば、距離及び傾きの差が、±１〜２画素以下では同一としてもよい。

Ｘ方向揺れ量算出部850及びＹ方向揺れ量算出部860は、頻度分布の最大度数のベクトルの始点と終点から、Ｘ軸の揺れ量（移動量）とＹ軸の揺れ量（移動量）を算出する。

画像シフト部870は、算出したＸ方向及びＹ方向の揺れ量で、処理画像（又は基準画像）をＸ方向とＹ方向にシフトする。なお、シフトの対象は上記のパターンマッチングの処理領域でよい。

図１１は、カメラ揺れ補正部による補正手順を示すフロー図である。まず、ｉ番目の移動ベクトルを基準に、ｉ＋１番目〜ｍ番目の移動ベクトルに対し、始点同士及び終点同士の距離を計算し（S825）、また、ｉ番目の移動ベクトルを基準に、ｉ＋１番目〜ｍ番目の移動ベクトルに対し、傾きを計算する（S835）。次に、始点同士と終点同士の距離が等しくて傾きが同じ移動ベクトルを同一ベクトルとし（S845）、同一ベクトルの個数をカウントして、ベクトルの頻度分布を算出する（S855）。全ての移動ベクトルの処理が終了したかチェックし(S865）、終了してない場合はステップS825へ戻る。全ベクトルの処理が終了したとき、ベクトルの頻度分布が作成される。

次に、作成された頻度分布から最大頻度のベクトルを探し（S875）、そのベクトルの始点と終点よりＸ方向揺れ量とＹ方向揺れ量を算出する（S880）。最後に、算出した揺れ量だけ、Ｘ方向とＹ方向に処理画像をシフトする（S890）。なお、ステップS875で、最大頻度が全て１以下の場合は、ベクトルの方向がばらばらで規則性がないので、カメラ揺れは発生していないものとみなす。

図１２は、対応ベクトル間の距離と傾きの算出方法を示す説明図である。図９に示した移動ベクトル910及び移動ベクトル920を例に説明する。対応ベクトル間の距離算出部820は、基準ベクトルＶ_kの始点Ｐ１（ｘ1，ｙ1）と対象ベクトルＶ_k+1の始点Ｐ２（ｘ2，ｙ2）の距離Ｌ１を、基準ベクトルＶ_kの終点Ｐ１*（ｘ1*，ｙ1*）と、対象ベクトルＶ_k+1の終点Ｐ２*（ｘ2*，ｙ2*）の距離Ｌ２を、数１により計算する。
（数１）
Ｌ１＝√（（ｘ2−ｘ1）＋（ｙ2−ｙ1）²）
Ｌ２＝√（（ｘ2*−ｘ1*）²＋（ｙ2*−ｙ1*）²）
ここで、基準ベクトルＶ_kと対象ベクトルＶ_k+1が同一であるためには、Ｌ１＝Ｌ２を満足すればよい。実際には、｜Ｌ１−Ｌ２｜≦１〜２画素を誤差範囲として、同一ベクトルとみなす。

対応ベクトル間の傾き算出部830は、基準ベクトルＶ_kの傾きＭ１を始点Ｐ１（ｘ1，ｙ1）と終点Ｐ１*（ｘ1*，ｙ1*）から、対象ベクトルＶ_k+1の傾きＭ２を始点Ｐ２（ｘ2，ｙ2）と終点Ｐ２*（ｘ2*，ｙ2*）から、数２により計算する。
（数２）
Ｍ１＝(ｙ1*−ｙ1)／(ｘ1*−ｘ1)
Ｍ２＝(ｙ2*−ｙ2)／(ｘ2*−ｘ2)
ここで、Ｍ１＝Ｍ２を満たす場合に、基準ベクトルＶ_kと対象ベクトルＶ_k+1の傾きが同一である。実際には、Ｍ１−Ｍ２＝±１程度までは同一とみなす。

図１３は、図９の移動ベクトルの頻度分布を算出したテーブルである。すなわち、移動ベクトル910について、他の移動ベクトル920、692、694…と同一ベクトルか次々と判定し、同一の場合に比較したベクトル番号（たとえば、920）を消去し、移動ベクトル910の度数を更新する。次に、移動ベクトル692、694と同様の手法を繰返して、処理画像中における異なる移動ベクトルとその頻度を集計した頻度分布テーブルが作成される。同図のテーブルにおいて、移動ベクトル910の頻度が最大であり、その始点座標と終点座標からカメラの揺れ量を、数３により決定する。
（数３）
Ｘ方向の揺れ量（Δｘ）＝ｘ1*−ｘ1
Ｙ方向の揺れ量（Δｙ）＝ｙ1*−ｙ1
カメラ揺れ補正部800は、上記によるＸ方向揺れ量ΔｘとＹ方向揺れ量Δｙを用いて、画像シフト部870が処理画像の位置をＸ方向にΔｘ、Ｙ方向にΔｙシフトして、基準画像の背景と位置合わせしてカメラ揺れを補正する。

上記の実施形態では、同一ベクトルの頻度算出で、移動ベクトルの移動方向と移動量の両方が一致するものとしたが、カメラ揺れによる画像ずれの規則性から移動方向のみの一致でも可能である。さらに、複数のテンプレートパターンを用いたが、予め、カメラ揺れによるずれ方向の予測ができる場合は、１つのテンプレートパターンによるパターンマッチングの結果からでも、カメラ揺れ量の算出が可能となる。

図１４は、移動物体抽出部の構成を示す機能ブロック図である。移動物体抽出部1000は画像入力部200からの基準画像と、カメラ揺れ補正部800からの補正後の処理画像を取り込んで、差分画像算出部1020で画像間の画素毎の差を算出して差分画像を作成する。次に、濃度頻度分布算出部1040が、差分画像の濃度頻度分布を算出した後、ノイズ除去部1060が濃度頻度分布Ｈj（j＝0,1,．．．,n）を、数４により平滑化してノイズ除去を行う。ｎは濃度の最大値である。
（数４）
Ｈ_j＝（Ｈ_j-1＋２Ｈ_j＋Ｈ_j+1）／４−１
Ｈ₀＝（２Ｈ₀＋Ｈ₁）／３−１
Ｈ_n＝（２Ｈ_n＋Ｈ_n-1）／３−１
但し、Ｊ＝１，．．．，ｎ−１である。

２値化しきい値算出部1070は、ノイズ除去部1060で平滑化した濃度頻度分布から差分画像の２値化しきい値を算出する。２値化処理部1080は、算出された２値化しきい値で２値化処理し差分画像の２値画像を作成し、検知対象に不適当な面積をもつ画素ブロックをノイズとして除外し、膨張・収縮等を行って整形した２値画像を作成する。

特徴量算出部1090は、２値化処理部1080による２値画像から検知対象の特徴量を算出して、監視対象物体の識別に用いる。なお、監視場所が暗く、目標物体が存在しても差分画像を抽出できない場合は、抽出できる明るさに照明する。

図１５は、２値化しきい値の算出方法を示す説明図である。２値化しきい値算出部1070は、ノイズ除去部1060で平滑化した濃度頻度分布から求めた最大濃度値（ｍａｘ）から、２値化のしきい値ｔｈを自動算出する。

差分画像の変化領域が多い場合、平滑化した濃度頻度分布は、（ａ）に示すようになる。最大濃度値（ｍａｘ）1110から小さい方に濃度を探索すると、少なくとも１個の極大値1120が存在する。この極大値1120を基準に、更に小さい方に濃度を探索すると、最大濃度に最も近い極小値1130が存在する。この極小値1130の濃度値から最大濃度1110までが、変化部分の濃度分布である。従って、極小値1130の濃度値を２値化しきい値ｔｈとする。これは、モード法による２値化しきい値の決定方法である。

一方、差分画像の変化領域が少ない場合は、変化部分の濃度の度数が少ないため、（ａ）のような極大値1120が存在しないで、（ｂ）に示すような濃度頻度分布となる。この場合の２値化しきい値ｔｈは、数５により最大濃度（ｍａｘ）1110から定数Ｃを差し引いた値に設定する。
（数５）
ｔｈ＝ｍａｘ−Ｃ
但し、ｔｈ≧thmin（下限しきい値）である。

算出したしきい値ｔｈが予め設定したthminより小さくなる場合は、下限しきい値thminとする。定数Ｃは、対象画像の正常画像から、予め算出した正常状態での白色ノイズの上限しきい値thmaxと下限しきい値thminの差の値とする。又は、対象画像の正常状態におけるノイズの最大変動幅を示す値なら何でもよい。例えば、昼間の屋外環境を監視するシーンならば、上限しきい値thmaxは１２〜１４階調程度で、下限しきい値thminは４〜５階調程度である。従って、定数Ｃは７〜１０階調程度となる。なお、変化部分の最大値に白色ノイズが加味された場合でも、数４の平滑化処理でノイズ低減されるので、濃度差のわずかな変化に対しても精度よく設定できる。

図１６は、２値化処理部の構成を示す機能ブロック図である。２値化処理部1080は、差分画像と２値化しきい値を取り込み、２値化部1082が２値化しきい値で２値画像を作成し、微小面積除去部1084が抽出の対象外となる微小面積の領域をノイズとして除去し、差分画像の変化領域の２値画像を作成する。

２値化処理部1080が変化領域として２値化するのは、例えば抽出対象が人物の場合、カメラの視野範囲に対応して人物としての適当な面積をもっている領域である。それ以下の領域はノイズである。

変化領域の２値画像は抽出対象物体が分離している場合が多く、画像補正部1086がこれら分離領域を膨張して連結した後、収縮して２値画像を補正する。画像補正部1086の膨張回数と収縮回数は同一回数で、例えば、人物の抽出の例では２〜３回程度である。

図１７は、特徴量算出部の構成を示す機能ブロック図である。本例の特徴量算出部1090は２値画像から、以下の特徴量を算出する。即ち、面積算出部1094で算出した面積、縦横比算出部1095で算出した縦横比、移動距離算出部1096で算出した移動距離であり、これらを、画像入力のタイミングｉの度に、時系列に算出する。

面積算出部1094は、２値画像の画素数を計算して面積を算出する。縦横比算出部1095は、２値画像をＸ方向に投影してＸ軸の位置毎の画素数を累積したＸ投影分布と、Ｙ方向に投影してＹ軸の位置毎の画素数を累積したＹ投影分布の割合を縦横比として算出する。移動距離算出部1096は、２値画像のうち、最大面積を有する領域の重心を用いて、ｉ−１回目とｉ回目の重心間の長さをｉ回目の距離として算出する。但し、ｉ＝１回目の移動距離は０とする。

図１８は、本実施形態における検出対象と特徴量の関係を説明するテーブルである。ここでの検出対象は移動物体で、人物、小動物、車両である。特徴量は面積、縦横比、移動距離を用いる。検出対象が人物の場合、人物の特徴として、移動距離が小さく面積が中くらいで、形状が縦に長い。例えば、昼間の屋外シーンで目視で明らかに確認できる人物を検出する場合は、移動距離のしきい値を約２０〜３０画素、縦横比を約３：１とすればよい。

検出対象が小動物の場合、小動物の特徴として移動距離が中程度で面積が小さくかつ、形状が横長もしくは縦横比が１程度である。検出対象が車両の場合、車両の特徴として、移動距離と面積がともに大きくかつ、形状が横長の場合や縦横比が１程度である。

移動物体識別部1200は、移動距離算出部1096で求めた移動距離、面積算出部1094で求めた面積、縦横比算出部1095で求めた縦横比を用いて、検出対象とする人物、小動物または車両を識別して検出する。目的の検出対象が識別されると、その画像を表示制御部1400に渡し、その重心などの所定位置の座標を画像格納部1500に時系列に蓄積する。

図１９は、移動物体識別部の処理手順を示すフロー図である。まず、面積をチェックし（S1300）、面積が中程度の場合、Ｘ投影分布とＹ投影分布を用いて形状が縦長か否かチェックする（S1310）。形状が縦長の場合、移動距離をチェックし（S1315）、移動距離が小ならば人物と判定する（S1320）。ステップS1310で形状が縦長でない場合やステップS1315で移動距離が小さくない場合は、ともに外乱と判定する（S1330）。

次に、ステップS1300で面積が小さいと判定した場合、形状をチェックし（S1340）、形状が横長又は縦横比が同程度の場合、移動距離をチェックし（S1350）、移動距離が中程度ならば小動物と判定する（S1360）。ステップS1340で形状が縦長な場合やステップS1350で中程度でない場合は、外乱と判定する（S1370）。

ステップS1300で面積が大きいと判定した場合、移動距離をチェックし（S1380）、移動距離がい大きい場合、形状判定を行い（S1390）、形状が横長又は縦横比が同程度の場合、車両と判定する（S1395）。ステップS1380で移動距離が大きくない場合やステップS1390で形状が縦長な場合は、外乱と判定する（S1370）。

図２０は、識別された人物の移動軌跡の表示図である。表示制御部1400は、移動物体識別部1200から検出対象の移動物体、例えば人物の識別通知とその画像データを受信すると、その画像と移動軌跡を表示装置1600にオンライン表示する。

即ち、移動物体識別部1200が、ｉ−１回目、ｉ回目、ｉ＋１回目等毎に時系列で識別した人物のｉ＋１回目の画像1430を表示し、更に、ｉ−１回目とｉ回目の移動軌跡1450、ｉ回目とｉ＋１回目の移動軌跡1460を表示する。これにより、監視者は、人物およびその移動状態を画面上で監視できる。

本発明の一実施形態による画像監視システムの構成を示す機能ブロック図。 カメラが揺れている状態において移動物体を検知する原理説明図。 画像入力部の構成を示す機能ブロック図。 テンプレートパターン作成部の構成を示す機能ブロック図。 テンプレートパターンの生成方法を示す説明図。 テンプレートパターンの別の生成方法を示す説明図。 カメラ揺れ算出部の構成を示す機能ブロック図。 移動ベクトル算出の処理手順を示すフロー図。 １フレームの画像の移動ベクトルの算出例を示す説明図。 カメラ揺れ補正部の構成を示す機能ブロック図。 カメラ揺れ補正の処理手順を示すフロー図。 対応ベクトル間の距離と傾きの算出方法を示す説明図。 移動ベクトルの頻度分布の一例を示すテーブル。 移動物体抽出部の構成を示す機能ブロック図。 ２値化しきい値の算出方法を示す説明図。 ２値化処理部の構成を示す機能ブロック図。 特徴量算出部の構成を示す機能ブロック図。 検出対象とその特徴を説明するテーブル。 移動物体識別部の識別手順を示すフロー図。 移動人物の識別結果を示す表示図。

符号の説明

100…ＩＴＶカメラ、200…画像入力部、400…テンプレートパターン作成部、420…テンプレートパターン生成部、440…テンプレートパターン決定部、600…カメラ揺れ算出部、640…パターンマッチング部、660…カメラ揺れベクトル算出部、800…カメラ揺れ補正部、820…対応ベクトル間の距離算出部、830…対応ベクトル間の傾き算出部、840…同一ベクトルの頻度分布算出部、850…Ｘ方向揺れ量算出部、860…Ｙ方向揺れ量算出部、870…画像シフト部、1000…移動物体抽出部、1020…差分画像算出部、1040…濃度頻度分布算出部、1060…ノイズ除去部、1070…２値化しきい値算出部、1080…２値化処理部、1090…特徴量算出部、1200…移動物体識別部、1400…表示制御部、1500…画像格納部、1600…表示装置。

Claims (4)

1. カメラが撮影した画像のカメラ揺れを補正する方法において、
   前記画像の２フレームの一方を基準画像、他方を処理画像とし、前記基準画像から作成した複数のテンプレートパターンを用いて前記処理画像のパターンマッチングを行い、前記テンプレートパターン毎にマッチング領域との移動ベクトルを算出し、移動方向が同一または移動方向及び移動量が同一となる頻度が最大の移動ベクトル（群）を求め、該移動ベクトル（群）の移動方向と移動量からカメラ揺れ量を算出し、前記カメラ揺れ量だけ画像シフトして前記基準画像と前記処理画像の位置合わせを行うことを特徴とするカメラ揺れ補正方法。
2. カメラにより撮影した画像から、移動量などの特徴量を利用して移動物体を識別する画像システムのカメラ揺れ補正方法において、
   前記画像の２フレームの一方を基準画像、他方を処理画像とし、前記基準画像から作成した複数のテンプレートパターンを用いて前記処理画像のパターンマッチングを行い、前記テンプレートパターン毎にマッチング領域との移動ベクトルを算出し、移動方向及び移動量が同一となる頻度最大の移動ベクトル（群）を求め、該移動ベクトル（群）の移動方向と移動量からカメラ揺れ量を算出し、前記特徴量を算出する前記基準画像と前記処理画像を前記カメラ揺れ量に応じて位置合わせすることを特徴とするカメラ揺れ補正方法。
3. カメラが撮影した画像のカメラ揺れを補正する画像システムにおいて、
   前記画像の２フレームの一方を基準画像、他方を処理画像として記憶する画像記憶手段と、前記基準画像から複数のテンプレートパターンを生成するテンプレートパターン作成手段と、前記テンプレートパターンにより前記処理画像に対するパターンマッチングを行い、前記テンプレートパターン毎にマッチング領域との移動ベクトルを算出し、移動方向が同一または移動方向及び移動量が同一となる頻度が最大の移動ベクトル（群）を求め、該移動ベクトル（群）の移動方向と移動量からカメラ揺れ量を算出し、前記カメラ揺れ量だけ画像シフトして前記基準画像と前記処理画像の位置合わせを行うカメラ揺れ補正手段と、を設けたことを特徴とする画像システム。
4. 請求項３において、
   前記位置合わせ後の基準画像と処理画像の差分画像を基に、移動画像の移動距離を含む特徴量を算出し、該特徴量を利用した所定の判定基準に従って特定の移動物体の識別を行なう移動物体識別手段を設けたことを特徴とする画像システム。

Images