JP4839330B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、単眼カメラ（１台のカメラ）で撮影した画像を処理対象とした画像処理装置および画像処理プログラムに関する。

カメラにより撮像された映像上の世界座標を求める手法としては、カメラ情報や、カメラ設置条件を利用した３次元計測等により、２次元の画面上にて３次元座標を求め、画面上の位置を求めるといった手法等がある。

この種のシステムとして、同一人物を２台以上の非同期カメラで撮影して、人物の３次元的な頭頂部位置を推定する、人物位置を推定するカメラシステムが存在した（特許文献１参照）。

しかしながら、上記手法によるカメラ技術は、カメラ情報や設置位置を正確に測定する必要があり、また、カメラの設置位置によっては、測定が不可能な場合も存在するという問題があった。また、画像処理において、画面上に出現した変化領域からオブジェクトを特定する場合等、オブジェクトの存在位置がカメラからどの程度離れた位置なのか、オブジェクトの幅、高さが実際にどの程度の大きさなのかといった情報を利用する必要があり、カメラ映像から変化領域を抽出して、画像上のサイズのみで判断を行ったりするが、画面手前の小動物と画面奥の人物など対象物の大きさが異なり、その存在位置を正しく算出することができないという問題があった。
特開２００７−２３３５２３号公報

上述したように、従来のカメラ画像を対象とした画像処理技術に於いては、設置並びに設定に多くの時間を要するという問題があり、認識精度の面でも問題があった。

本発明は、上記問題点を解消し、簡単な設定で、単眼カメラの画像から、精度の高いオブジェクト位置の推定を可能にした、画像処理装置および画像処理プログラムを提供することを目的とする。

本発明は、単眼カメラの監視範囲のうち、地平面上の監視範囲を示す画面上の４頂点の情報と、前記単眼カメラで撮影した３枚以上のサンプル画像中のサンプル対象物についての画面情報および実測情報とをもとに、前記画面上の奥行き方向の画素に対する実距離を指数近似式により求め、オブジェクトの接地位置からの奥行き方向画素位置から、前記画面上の奥行き方向の各画素を、前記地上面上での奥行き方向の前記実距離に対応した実距離テーブルを作成する実距離テーブル取得手段と、前記画素単位の実距離テーブルの情報と、前記監視範囲を示す画面上の４頂点の情報と、前記３枚以上のサンプル画像中の前記サンプル対象物についての画面情報および実測情報とをもとに、前記画面上の前記オブジェクトの接地位置からの横方向の画素に対する実距離の重みを線形近似式により求め、前記画面上の横方向の各画素を、前記地平面上での奥行き方向の各距離毎に、前記地平面上の監視範囲を基準とした座標系における横方向実座標に対応付けた横方向重みテーブルを作成する横方向重みテーブル取得手段と、前記画素単位の実距離テーブルの情報と、前記監視範囲を示す画面上の４頂点の情報と、前記３枚以上のサンプル画像中の前記サンプル対象物についての画面情報および実測情報とをもとに、前記画面上の前記オブジェクトの接地位置からの縦方向の画素に対する実距離の重みを線形近似式により求め、前記画面上の縦方向の各画素位置について、これに対応する奥行き方向実距離において、１画素が有する実高さ幅を格納する縦方向重みテーブルを作成する縦方向重みテーブル取得手段と、前記各取得手段により作成された前記画素単位の実距離テーブル、前記画面上の横方向重みテーブル、および前記画面上の縦方向重みテーブルを参照テーブルとして保持し、少なくとも前記画素単位の実距離テーブルを用いて、前記単眼カメラで撮影した前記オブジェクトの実在位置を認識する画像処理を実行する画像処理手段と、を具備した画像処理装置を提供する。

また、本発明は、単眼カメラの画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、単眼カメラの監視範囲のうち、地平面上の監視範囲を示す画面上の４頂点の情報と、前記単眼カメラで撮影した３枚以上のサンプル画像中のサンプル対象物についての画面情報および実測情報とをもとに、前記画面上の奥行き方向の画素に対する実距離を指数近似式により求め、オブジェクトの接地位置からの奥行き方向画素位置から、前記画面上の奥行き方向の各画素を、前記地上面上での奥行き方向の前記実距離に対応した実距離テーブルを作成する機能と、前記画素単位の実距離テーブルの情報と、前記監視範囲を示す画面上の４頂点の情報と、前記３枚以上のサンプル画像中の前記サンプル対象物についての画面情報および実測情報とをもとに、前記画面上の前記オブジェクトの接地位置からの横方向の画素に対する実距離の重みを線形近似式により求め、前記画面上の横方向の各画素を、前記地平面上での奥行き方向の各距離毎に、前記地平面上の監視範囲を基準とした座標系における横方向実座標に対応付けた横方向重みテーブルを作成する機能と、前記画素単位の実距離テーブルの情報と、前記監視範囲を示す画面上の４頂点の情報と、前記３枚以上のサンプル画像中の前記サンプル対象物についての画面情報および実測情報とをもとに、前記画面上の前記オブジェクトの接地位置からの縦方向の画素に対する実距離の重みを線形近似式により求め、前記画面上の縦方向の各画素位置について、これに対応する奥行き方向実距離において、１画素が有する実高さ幅を格納する縦方向重みテーブルを作成する機能と、前記各機能により作成された前記画素単位の実距離テーブル、前記画面上の横方向重みテーブル、および前記画面上の縦方向重みテーブルを参照テーブルとして保持し、少なくとも前記画素単位の実距離テーブルを用いて、前記単眼カメラで撮影した前記オブジェクトの実在位置を認識する処理、又は前記単眼カメラで撮影した前記オブジェクトを処理対象から除去する処理を実行する画像処理機能と、をコンピュータに実現させるたことを特徴とする。

この画像処理により、単眼（カメラ１台）の画像処理において、カメラ情報やカメラ設置条件を利用することなく、撮影された画像上の監視範囲（４頂点）と位置情報を３箇所以上入力することで撮影画面上の位置推定を行うことができる。また、画像上の位置に対する実距離を算出することが可能となり、実世界座標上の対象物の存在位置を高い精度で把握できる。また、撮影映像上のオブジェクトを抽出（領域）すると、そのサイズ（幅、高さ）の実距離を推定することができ、さらに、その位置の実距離を推定することができる。また、撮影映像上で監視範囲を設定することで、そのゾーンを外れたオブジェクトを対象外とすることができ、ノイズ除去を行うことができる。

本発明によれば、簡単な設定で、単眼カメラの画像から、精度の高いオブジェクト位置の推定が可能である。

以下図面を参照して本発明の実施形態を説明する。なお、この実施形態では、本発明を単眼カメラの追跡処理技術に適用した例を示しているが、単眼カメラによる種々の画像処理技術において広く適用可能である。

本発明の実施形態に係る画像処理装置は、単眼カメラ（１台のカメラ）で撮影した画像により検出（抽出）または追跡した対象物の実在位置（実世界座標）を画像上の位置から求めるオブジェクト位置推定機能を実現している。

本発明は、単眼カメラの画像処理において、単眼カメラで撮影した入力画像から抽出したオブジェクトの画像上の位置に基づく世界座標上の位置の推定を行う機能を実現する構成要素として、
単眼カメラの監視範囲のうち、地平面上の監視範囲を示す画面上の４頂点の情報と、前記単眼カメラで撮影した３枚以上のサンプル画像中のサンプル対象物についての画面情報および実測情報とをもとに、前記画面上の奥行き方向の画素に対する実距離を指数近似式により求め、オブジェクトの接地位置からの奥行き方向画素位置から、前記画面上の奥行き方向の各画素を、前記地上面上での奥行き方向の前記実距離に対応した実距離テーブルを作成する実距離テーブル取得手段と、前記画素単位の実距離テーブルの情報と、前記監視範囲を示す画面上の４頂点の情報と、前記３枚以上のサンプル画像中の前記サンプル対象物についての画面情報および実測情報とをもとに、前記画面上の前記オブジェクトの接地位置からの横方向の画素に対する実距離の重みを線形近似式により求め、前記画面上の横方向の各画素を、前記地平面上での奥行き方向の各距離毎に、前記地平面上の監視範囲を基準とした座標系における横方向実座標に対応付けた横方向重みテーブルを作成する横方向重みテーブル取得手段と、前記画素単位の実距離テーブルの情報と、前記監視範囲を示す画面上の４頂点の情報と、前記３枚以上のサンプル画像中の前記サンプル対象物についての画面情報および実測情報とをもとに、前記画面上の前記オブジェクトの接地位置からの縦方向の画素に対する実距離の重みを線形近似式により求め、前記画面上の縦方向の各画素位置について、これに対応する奥行き方向実距離において、１画素が有する実高さ幅を格納する縦方向重みテーブルを作成する縦方向重みテーブル取得手段と、前記各取得手段により作成された前記画素単位の実距離テーブル、前記画面上の横方向重みテーブル、および前記画面上の縦方向重みテーブルを参照テーブルとして保持し、少なくとも前記画素単位の実距離テーブルを用いて、前記単眼カメラで撮影した前記オブジェクトの実在位置を認識する画像処理を実行する画像処理手段とを具備する。

本発明の実施形態に係る画像処理装置におけるオブジェクト位置の推定処理について、その動作の概要を、図１を参照して説明する。なお、ここでは、単眼カメラ１１で撮影した画像を１フレーム３２０×２４０画素のＱＶＧＡでカメラ映像として出力するものとする。

本発明の実施形態に係る、オブジェクト位置の推定は、サンプルモデルとなる実際のオブジェクト（対象物）を単眼カメラで撮影した画像をもとに行う。このサンプルモデルとなるオブジェクトは、例えば、図示するような、二人並んだ人物モデル等、幅方向（横方向）の間隔が設定可能なオブジェクトとする。

まず、図１に示す処理Ａ１において、単眼カメラ１１の監視映像から、上記サンプルモデルとなるオブジェクトが撮影されている画像を３枚以上用意する。このとき、これらの画像は同一のオブジェクト（同一サンプルモデル）であり、画面上の異なる箇所にて撮影されているものとする。なお、単眼カメラ１１は、例えば監視エリアを対象に、斜め上方から監視対象を撮像する設置条件のもとに画角が設定されている。

次に、用意した画像からオブジェクトの領域を矩形（四角形）で囲み、矩形で囲った３箇所以上のオブジェクト情報を取得する。ここでは、図５に示すように、矩形の大きさを異にする（撮影位置を異にした）３枚の画像（Ｐ１，Ｐ２，Ｐ３）を取得し、この３枚の画像のオブジェクトを矩形で囲う処理を行う。

図１に示す処理Ａ２において、単眼カメラ１１で監視する監視範囲（４頂点）を画面上で指定する。ここでは、図６に示すように、取得した画像の１枚にて、監視範囲（４頂点）を設定する。例えば、図６では、道路の歩行者を監視対象とする場合、４頂点は道路を示す領域である。そして、図６の画面左端のラインを横方向の基準ライン（０ｍライン）とし、この監視範囲（４頂点）内で位置を推定する。つまり、画面上のある位置がこの基準ライン（０ｍライン）から横方向に何ｍの位置かという結果を得るために使用する。

次に、監視対象（４頂点）内の上記図５に示した３枚の画像（Ｐ１，Ｐ２，Ｐ３）の１枚１枚に対して、矩形で囲ったオブジェクトについて、図１又は図７に示すように、画像下側からの足元位置（接地位置）までの距離Ｐｙｉ（ｐｉｘ：ピクセル）、Ｗｙｉ（ｍ：メートル）と、２人の間隔ΔＰｘｉ（ｐｉｘ：ピクセル）、ΔＷｘ（ｍ：メートル）と、どちらか一方のオブジェクトの高さΔＰｈｉ（ｐｉｘ：ピクセル）、ΔＷｈ（ｍ：メートル）の各情報を取得する（ｉは画像の枚数、ΔＷｘ、ΔＷｈは各画像で共通）。

次に、上記した実距離グラフの取得処理（縦方向の距離モデル算出処理）と、横方向重みグラフの取得処理（横方向の距離の重みモデル算出処理）と、縦方向重みグラフの取得処理（縦方向の距離の重みモデル算出処理）により、実距離グラフ（足元位置−距離グラフ）と、横方向重みグラフ（距離−横方向重みグラフ）と、縦（高さ）方向重みグラフ（距離−高さ方向重みグラフ）とを取得する。

実距離グラフ（足元位置−距離グラフ）の取得（算出）処理では、上記した３つ（または３つ以上）の画像の下側から足元位置（オブジェクト）までの距離Ｐｙｉ（ｐｉｘ：ピクセル）、Ｗｙｉ（ｍ：メートル）（ｉは画像の枚数）の情報を用いて、最小二乗法により、画像上の足元位置Ｐｙに対する実距離Ｗｙの指数近似式を取得する。

距離モデル：Ｗｙ＝Ａｅ^ＢＰｙ（Ａ、Ｂは最小二乗法により求まるパラメータ）…（１）
（１）式で算出した距離モデル近似式より、画像上の位置に対する実距離グラフを取得する（なお、カメラ直下から、画像下側の位置までの距離（死角となる距離）をＷｙの値にプラスすることにより、カメラ直下からの実距離を求めることも可能となる）。この実距離グラフ（足元位置−距離グラフ）の一例を図８に示している。

横方向重みグラフ（距離−横方向重みグラフ）の取得（算出）処理では、上記実距離グラフの取得処理で取得した縦方向の距離モデルと、３つ（または３つ以上）の画像の２人（オブジェクト）の間隔ΔＰｘｉ（ｐｉｘ：ピクセル）、ΔＷｘ（ｍ：メートル）（ｉは画像の枚数）から、実距離Ｗｙの位置における横方向の１画素あたりの重み（ωｘｉ＝ΔＷｘ／ΔＰｘｉ）を求める。

３つ（または３つ以上）の実距離Ｗｙと横方向の１画素あたりの重みωｘｉ（ｉは画像の枚数）を用いて、最小二乗法により、実距離Ｗｙに対する横方向の１画素あたりの重みωｘｉの線形近似式を取得する。

横方向の１画素あたりの重みモデル：ωｘ＝ＣＷｙ＋Ｄ（Ｃ、Ｄは最小二乗法により求まるパラメータ）…（２）
（２）式で算出した横方向重み近似式より、実距離Ｗｙに対する横方向重みグラフを取得する。この横方向重みグラフ（距離−横方向重みグラフ）の一例を図９に示している。

画面上の各画素での横方向位置は、基準ラインから画素までの画像上の距離に、算出した重みを掛けることにより算出される。

縦（高さ）方向重みグラフ（距離−高さ方向重みグラフ）の取得（算出）処理では、上記実距離グラフの取得処理で取得した縦方向の距離モデルと、３つ以上の画像のオブジェクトの高さΔＰｈｉ（ｐｉｘ：ピクセル）、ΔＷｈ（ｍ：メートル）から、実距離Ｗｙの位置における高さ方向の１画素あたりの重み（ωｚｉ＝ΔＷｈ／ΔＰｈｉ）を求める。

３つ（または３つ以上）の実距離Ｗｙと高さ方向の１画素あたりの重みωｚｉ（ｉは画像の枚数）を用いて、最小二乗法により、実距離Ｗｙに対する高さ方向の１画素あたりの重みωｚｉの線形近似式を取得する。

高さ方向の１画素あたりの重みモデル：ωｚ＝ＥＷｙ＋Ｆ（Ｅ、Ｆは最小二乗法により求まるパラメータ）…（３）
（３）式で算出した高さ方向重み近似式より、実距離Ｗｙに対する高さ方向重みグラフを取得する。この縦方向重みグラフ（距離−高さ方向重みグラフ）の一例を図１０に示している。

画面上の各画素での高さ方向位置は、画像上の足元位置から指定した高さ方向の画素までの画像上の距離に、算出した重みを掛けることにより算出される。

図１に示す処理Ａ３において、上記した実距離グラフ（足元位置−距離グラフ）の情報（パラメータ値）をもとに、実距離テーブル（図３に示す実距離Ｙテーブル１５５ａ）が作成され、横方向重みグラフ（距離−横方向重みグラフ）の情報（パラメータ値）をもとに、横方向重みテーブル（図３に示す実距離Ｘ重みテーブル１５５ｂ）が作成され、縦（高さ）方向重みグラフ（距離−高さ方向重みグラフ）の情報（パラメータ値）をもとに、縦方向重みテーブル（図３に示す実距離Ｚ重みテーブル１５５ｃ）が作成される。

これらの実距離テーブル（実距離Ｙテーブル１５５ａ）、横方向重みテーブル（実距離Ｘ重みテーブル１５５ｂ）、縦方向重みテーブル（実距離Ｚ重みテーブル１５５ｃ）を参照テーブルとして、単眼カメラ１１で撮影したオブジェクトの位置、サイズの推定、並びにこの推定に基づく画像処理が実施される。

上記各グラフの作成で求めた推定係数により、画像上の位置における実距離や、２点間の距離または、高さを求めることが可能となる。また、ある点から何ｍの位置がどこかということも算出可能となる。

画像上のある位置（ｉ，ｊ）の実距離を求める場合、上記（１）式（縦方向の距離モデル近似式Ｗｙ＝Ａｅ^ＢＰｙ）より、Ｐｙにｊを代入して、縦方向の実距離Ｗｙを算出する。算出したＷｙを上記（２）式（横方向の距離モデル重み近似式ωｘ＝ＣＷｙ＋Ｄ）に代入してωｘを算出する。

監視範囲（４頂点）の横方向基準ラインから、ある位置（ｉ，ｊ）までの横方向の画素数ＤＰｘを算出する。横方向の実距離Ｗｘは、ωｘ×ＤＰｘにより算出される。

これにより、画像上のある位置（ｉ，ｊ）の実距離（Ｗｘ，Ｗｙ）が求められる。

画像上のある位置（ｉ，ｊ）から、画像上の画素数ＤＰｚの位置の高さの実距離を求める場合、上記（１）式（縦方向の距離モデル近似式Ｗｙ＝Ａｅ^ＢＰｙ）より、Ｐｙにｊを代入して、縦方向の実距離Ｗｙを算出する。算出したＷｙを上記（３）式（高さ方向の距離モデル重み近似式ωｚ＝ＥＷｙ＋Ｆ）に代入してωｚを算出する。高さ方向の実距離は、ωｚ×ＤＰｚにより算出される。

上記した実距離テーブル（実距離Ｙテーブル１５５ａ）、横方向重みテーブル（実距離Ｘ重みテーブル１５５ｂ）、縦方向重みテーブル（実距離Ｚ重みテーブル１５５ｃ）を参照テーブルとして用いて、単眼カメラ１１で撮影した画像に対してオブジェクト位置の推定並びにこれに伴う各種の画像処理が行われる。

この実施形態では、図１に示す処理Ａ１１において、単眼カメラ１１の映像を所定の周期で入力し、入力した画面上の現在画像と過去画像を差分処理して、変化した画素を含む矩形の領域を抽出する。

図１に示す処理Ａ１２において、上記抽出した矩形の領域について、新たに抽出した矩形の領域を追跡開始オブジェクトとして、当該オブジェクトの追跡を行い、追跡したオブジェクト情報を保持し、追跡オブジェクトが出現する度にオブジェクト情報を更新する。

図１に示す処理Ａ１３において、抽出した矩形の領域（追跡開始オブジェクト、および追跡オブジェクト）について、上記前処理により取得した参照テーブルを用いて、オブジェクト位置の推定並びにこの推定に基づく各種のオブジェクト処理を行う。このオブジェクト処理では、例えば、実距離テーブル（実距離Ｙテーブル１５５ａ）を用いて、単眼カメラ１１で撮影した画像の実在位置を認識する処理を実行することができる。また、実距離テーブル（実距離Ｙテーブル１５５ａ）を用いて、単眼カメラ１１で撮影した画像を処理対象から除外する処理を実行することができる。また、実距離テーブル（実距離Ｙテーブル１５５ａ）と、横方向重みテーブル（実距離Ｘ重みテーブル１５５ｂ）または縦方向重みテーブル（実距離Ｚ重みテーブル１５５ｃ）を用いて、単眼カメラ１１で撮影した画像の実体（例えばオブジェクトの実寸による大きさ）を認識する処理、実際のオブジェクトサイズに基づく仕分け処理等を実行することができる。また、監視範囲の４頂点の情報と、実距離テーブル（実距離Ｙテーブル１５５ａ）と、横方向重みテーブル（実距離Ｘ重みテーブル１５５ｂ）または縦方向重みテーブル（実距離Ｚ重みテーブル１５５ｃ）を用いて、監視範囲（４頂点）を、実空間上に、設定することができ、さらに、この実空間の監視範囲（４頂点）を対象に、オブジェクトの弁別、選択（抽出）、画像削除、空間監視等、種々の処理が可能となる。これらの単眼カメラ映像による各処理は、上記した指数近似モデル、および各線形近似モデルによるグラフ処理によってはじめて可能になる。

上記した実距離テーブル（実距離Ｙテーブル１５５ａ）、横方向重みテーブル（実距離Ｘ重みテーブル１５５ｂ）、縦方向重みテーブル（実距離Ｚ重みテーブル１５５ｃ）を参照テーブルとして用いた実施形態に係る画像処理装置の構成を図２に示し、この画像処理装置の要部の構成を図３に示している。

本発明の実施形態に係る画像処理装置は、図２に示すように、カメラ（単眼カメラ）１１と、キャプチャ部１２と、画像処理記憶部１３と、画像処理部１５と、表示部１６とを具備して構成される。

カメラ１１は、レンズユニットとレンズユニットの結像位置に設けられた撮像素子（例えばＣＣＤ固体撮像素子、若しくはＣＭＯＳイメージセンサ）とを具備して、屋外若しくは屋内の動きを伴う被写体（動物体）を対象に、一定の画角で撮像した一画面分の画像を所定の画素単位（例えば１フレーム３２０×２４０画素（ｐｉｘ）＝ＱＶＧＡ）で出力する。

キャプチャ部１２は、カメラ１１が撮像したフレーム単位の画像を画像処理部１５の処理対象画像（入力画像）として取り込み、画像処理記憶部１３内の画像バッファ１３１に保持する処理機能をもつ。この画像バッファメモリ１３１に取り込む画面上の入力画像は、ここでは原画像とするが、エッジ画像であってもよい。

画像処理記憶部１３は、画像処理部１５の処理に供される、キャプチャ部１２が取り込んだ入力画像および処理中の各画像を含む各種データを記憶する。この画像処理記憶部１３には、画像処理部１５の制御の下に、キャプチャ部１２が取り込んだフレーム単位の画像のうち、今回取り込んだ一画面分の画像（現在画像）と、前回取り込んだ一画面分の画像（過去画像）をそれぞれ処理対象画像として保持する画像バッファメモリ１３１を構成する領域が確保されるとともに、画像処理部１５の処理に用いられる画像領域が確保される。さらに画像処理記憶部１３には、画像処理部１５の処理に供される各種のパラメータおよび制御データを記憶する記憶領域、追跡処理に於いて生成若しくは取得される各種情報の記憶領域等も確保される。

位置推定係数パラメータ算出部１４（図３を参照）は、上述した、４頂点の情報、単眼カメラ１１で撮影した３箇所以上のサンプル画像の画面情報および実測情報等を入力情報として、上述した、距離モデル、および各重みモデルの位置推定係数パラメータ値を算出し、この位置推定係数パラメータ値を参照テーブル（実距離Ｙテーブル１５５ａ、実距離Ｘ重みテーブル１５５ｂ、実距離Ｚ重みテーブル１５５ｃ）を作成する要素データとして画像処理部１５に設けられた位置推定テーブル算出部１５４に供給する。

画像処理部１５は、画像処理記憶部１３の画像バッファメモリ１３１に保持された過去画像と現在画像を差分処理して二値化した差分二値化画像を生成し、この差分二値化画像に含まれるノイズを除去して、この差分二値化画像から、変化画素を含む矩形の領域を抽出する変化領域抽出処理部１５１と、この変化領域抽出処理部１５１で抽出した矩形の領域を処理対象に、領域を追跡する追跡処理部１５２と、位置推定テーブル算出部１５４により算出された参照テーブル（実距離Ｙテーブル１５５ａ、実距離Ｘ重みテーブル１５５ｂ、実距離Ｚ重みテーブル１５５ｃ）を用いて、上記したような位置推定による各種処理を実行するオブジェクト位置・サイズ推定処理部１５３と、を具備して構成される。

表示部（表示デバイス）１６は、上記画像処理部１５で画像処理された移動物体領域を表示出力する。

上記した画像処理装置における処理の手順を図４に示している。図４に示すステップＢ３の処理において、上記参照テーブル（実距離Ｙテーブル１５５ａ、実距離Ｘ重みテーブル１５５ｂ、実距離Ｚ重みテーブル１５５ｃ）を用いたオブジェクト位置・サイズ推定処理が実施される。

図４に示す処理手順に従い、図２および図３に示す画像処理装置の動作を説明する。

画像処理部１５に設けられた変化領域抽出処理部１５１は、画像処理記憶部１３の画像バッファメモリ１３１に保持された過去画像と現在画像を差分処理して二値化した差分二値化画像を生成し、この差分二値化画像に含まれるノイズを除去して、この画像情報を変化領域バッファメモリ１３２に書き込み保持する。さらに、この差分二値化画像の情報から、変化画素を含む矩形の領域を抽出して、この矩形領域の情報を変化領域バッファメモリ１３２に書き込み保持する（図４ステップＢ１）。

追跡処理部１５２は、変化領域抽出処理部１５１により抽出され、変化領域バッファメモリ１３２に保持された矩形の領域を読み出し、追跡対象オブジェクトとして追跡処理する。その追跡処理結果は、追跡情報バッファメモリ１３３に書き込み保持される。この追跡処理は、初期動作時においては、追跡処理の対象となるオブジェクトが存在しないので、このオブジェクトを新規オブジェクトとして追跡情報バッファメモリ１３３に登録し、以降の追跡処理の対象とする。この追跡処理は、例えば、矩形の形状および重なりによる領域判定と、最小二乗近似により求めた予測方向に従う予測位置に基づく領域判定とを組み合わせた領域の追跡処理が適用できる（図４ステップＢ２）。

オブジェクト位置・サイズ推定処理部１５３は、変化領域抽出処理部１５１が抽出した矩形領域（追跡開始（新規）オブジェクト、および追跡オブジェクト）について、追跡処理部１５２の追跡処理と、位置推定テーブル算出部１５４が算出した参照テーブル（実距離Ｙテーブル１５５ａ、実距離Ｘ重みテーブル１５５ｂ、実距離Ｚ重みテーブル１５５ｃ）を用いて、オブジェクトの推定を行う（図４ステップＢ３）。

オブジェクト位置・サイズ推定処理部１５３は、検出又は追跡した対象物の存在位置（実世界座標）を画像上の位置から求めるオブジェクト位置推定機能を実現する。例えば監視範囲（２次元平面＝４頂点）をユーザが指定して、その監視範囲（４頂点）内に存在しているオブジェクトの足元、頭頂位置を比較的高い位置精度で推定することができる。
また、上述したように、実距離Ｙテーブル１５５ａを用いて、単眼カメラ１１で撮影した画像の実在位置を認識する処理、実距離Ｙテーブル１５５ａを用いて、単眼カメラ１１で撮影した画像を処理対象から除外する処理が可能である。更に、実距離Ｙテーブル１５５ａと、実距離Ｘ重みテーブル１５５ｂまたは実距離Ｚ重みテーブル１５５ａを用いて、単眼カメラ１１で撮影した画像の実体（例えばオブジェクトの実寸による大きさ）を認識する処理や、実際のオブジェクトサイズに基づく仕分け処理が可能である。更にまた、監視範囲の４頂点の情報と実距離Ｙテーブル１５５ａと実距離Ｘ重みテーブル１５５ｂまたは実距離Ｚ重みテーブル１５５ｃを用いて、監視範囲（４頂点）を、実空間上に、設定したオブジェクト認識処理、実空間の監視範囲（４頂点）を対象としたオブジェクトの弁別、選択（抽出）、画像削除、空間監視等、種々の処理が可能である。

本発明の実施形態に係るオブジェクト位置およびサイズの推定機能について、図１１乃至図２１を参照してさらに説明を行う。

（１）．監視範囲（４頂点）の考え方
図１１に示す、単眼カメラ１１で撮影した画面上において、同画面上の４点、ｐ０（ｘ０，ｙ０）、ｐ１（ｘ１，ｙ１）、ｐ２（ｘ２，ｙ１）、ｐ３（ｘ３，ｙ０）を指定することで、その４点を結ぶ四角形を平面領域と見做し、その平面領域を監視範囲（４頂点）とする。監視範囲の指定イメージを図１１に上記４点を結ぶ直線で示している。

奥行き方向の手前ライン（ｐ０−ｐ３ライン）、奥のライン（ｐ１−ｐ２ライン）のｙ座標は同じとし、並行とする（平面領域は正確な四角形でなくても良いが、このルールに従うものとする）。なお、画面外の点も入力可能とする（ただし、ｐ１は画面内に必ず設定すること）。ｘ１＜ｘ２、ｘ０＜ｘ３、ｙ０＞ｙ１であるように設定されること。また、高さ方向を設定する（世界座標の高さ）ことで、高さ方向の監視範囲（４頂点）が設定され、不要領域の削除が可能となること（Ｘ，Ｙ，Ｚが求まった最後に、監視範囲（４頂点）の空間設定を行う）。ｐ０，ｐ１は基準ラインとなるため、ｐ１を画面内に存在することとする。
（２）．位置推定の考え方とリファレンス位置（基準位置）
監視範囲（４頂点）内にリファレンス（基準）となる複数の位置（等間隔の複数点）の座標（ｘ，ｙ）と、それに対応する世界座標（Ｘ，Ｙ，Ｚ）を取得し、距離（Ｙ）−画面上位置（ｙ）グラフを取得する。

取得した距離（Ｙ）を利用して、１画素当たりの距離（ΔＸ）−距離（Ｙ）、１画素当たりの高さ（ΔＺ）−距離（Ｙ）グラフを得る。カメラからの距離−画像座標の関係グラフ（Ｙ−ｙグラフ）の一例を図１２に示している。１画素当たりの距離−画像座標の関係グラフ（ΔＸ−Ｙグラフ）の一例を図１３に示している。

リファレンス位置は以下のとおりとする。

図１４の画面に示すように、監視範囲（４頂点）の画面手前、中央、奥の３点の基準位置（ｙ０、ｙ１、ｙ２）を決め、それぞれの間隔ΔＹ０［ｍ：メートル］（目測による設定も可）、ΔＹ１［ｍ］、ΔＹ２［ｍ］を計測し、Ｙ０［ｍ］、Ｙ１［ｍ］、Ｙ２［ｍ］を得る。このΔＹ［ｍ］間隔のリファレンス位置は、前項のオブジェクトモデルを得るための位置と共通にしてもよい。また、各基準位置で、ある等間隔ΔＸ１［ｍ］、ΔＸ２［ｍ］、ΔＸ３［ｍ］の各画素幅（Δｘ［ｐｉｘ：ピクセル］）を得る。この時、画像上のｙ座標が左右でほぼ同一である（並行である）ようにする。

取得したＹ０［ｍ］、Ｙ１［ｍ］、Ｙ２［ｍ］、ｙ０［ｐｉｘ］、ｙ１［ｐｉｘ］、ｙ２［ｐｉｘ］、ΔＸ１［ｍ］、ΔＸ２［ｍ］、ΔＸ３［ｍ］、Δｘ１［ｐｉｘ］、Δｘ２［ｐｉｘ］、Δｘ３［ｐｉｘ］を利用して、最小二乗法により、最初に、距離（Ｙ）−画像座標（ｙ）の指数近似式を得る。次に、取得した距離（Ｙ）を利用して、１画素当たりの距離（Ｘ）−距離（Ｙ）の線形近似式を得る。同様の考え方で、取得したＹ０［ｍ］、Ｙ１［ｍ］、Ｙ２［ｍ］、ｙ０［ｐｉｘ］、ｙ１［ｐｉｘ］、ｙ２［ｐｉｘ］、ΔＨ１［ｍ］、Ｈ２［ｍ］、Ｈ３［ｍ］、Δｈ１［ｐｉｘ］、Δｈ２［ｐｉｘ］、Δｈ３［ｐｉｘ］を利用して、１画素当りの高さ（Ｚ）−距離（Ｙ）の線形近似式を得る。

上記指数近似式から、図１６に示すようなＹ座標参照テーブル（実距離テーブル；実距離Ｙテーブル１５５ａ）を作成する。

上記線形近似式から、図１７に示すようなＸ座標参照テーブル（横方向重みテーブル；実距離Ｘ重みテーブル１５５ｂ）を作成する。

上記線形近似式から、図１８に示すようなＺ座標参照テーブル（縦方向重みテーブル；実距離Ｚ重みテーブル１５５ｃ）を作成する。

（３）．オブジェクト位置推定方法（監視範囲と３次元位置マップの考え方）
監視範囲（４頂点）を３次元マップに展開したとき、図１９のようになる。

オブジェクトの足元位置（ｘｐ，ｙｐ）を入力とし、図１６のＹ座標参照テーブル（１５５ａ）から、ｙｐ座標に対応するＹｐ座標を得る。

オブジェクトの足元位置（ｘｐ，ｙｐ）を入力とし、図１７のＸ座標参照テーブル（１５５ｂ）から、監視範囲（４頂点）の左辺を基準にした（ｘｐ，ｙｐ）座標に対応するＸｐ座標を得る。

図１８のＺ座標参照テーブル（１５５ｃ）から、（ｙｔ−ｙｐ）の差を利用して高さＺを得る。

この方法で得られた（Ｘ，Ｙ，Ｚ）座標をオブジェクトの位置とする（３次元マップにプロットが可能となる）。

（４）．監視範囲（４頂点）を利用した不要領域の削除
例として、監視対象となるオブジェクトの領域が、図２０に直線で示した監視範囲（４頂点）の外部に出現したと判断した場合は、その領域（オブジェクト）を削除する。例えば、監視範囲（４頂点）に対して、空間設定（世界座標の高さ情報）が行われた場合のみ監視範囲の外部に出現したと判断したオブジェクトを削除する（監視範囲空間設定によって、高さ方向の設定を行わない場合は、削除しない）。また、例えば、図２１に矩形で示すように、足元が監視平面上に存在しない、または、監視エリア外に頭頂位置が存在する場合は、当該領域を削除する。

上記した本発明の実施形態によれば、単眼（カメラ１台）の画像処理において、カメラ情報やカメラ設置条件を利用することなく、撮影された画像上の監視範囲（４頂点）と位置情報を３箇所以上入力することで撮影画面上の位置推定を行うことができる。また、画像上の位置に対する実距離を算出することが可能となり、実世界座標上の対象物の存在位置を高い精度で把握できる。また、撮影映像上のオブジェクトを抽出（領域）すると、そのサイズ（幅、高さ）の実距離を推定することができ、さらに、その位置の実距離を推定することができる。また、撮影映像上で監視範囲（４頂点）を設定することで、そのゾーンを外れたオブジェクトを対象外とすることができ、ノイズ除去を行うことができる。

本発明の実施形態に係る実施形態に係る画像処理装置の動作概要を示す図。 上記実施形態に係る画像処理装置の構成を示すブロック図。 上記実施形態に係る画像処理装置の構成要素間における情報の流れを示す図。 上記実施形態に係る画像処理装置の処理手順を示すフローチャート。 上記実施形態に係る画像処理装置の参照テーブルを作成するための撮影画像を示す図。 上記実施形態に係る画像処理装置の監視範囲（４頂点）の設定例を示す図。 上記実施形態に係る画像処理装置の位置情報設定方法を説明するための図。 上記実施形態に係る画像処理装置の取得グラフ例を示す図。 上記実施形態に係る画像処理装置の取得グラフ例を示す図。 上記実施形態に係る画像処理装置の取得グラフ例を示す図。 上記実施形態に係る画像処理装置の監視範囲（４頂点）の設定方法を説明するための図。 上記実施形態に係る画像処理装置の取得グラフ例を示す図。 上記実施形態に係る画像処理装置の取得グラフ例を示す図。 上記実施形態に係る画像処理装置の位置座標を説明するための図。 上記実施形態に係る画像処理装置の取得グラフ例を示す図。 上記実施形態に係る画像処理装置の参照テーブル構成例を示す図。 上記実施形態に係る画像処理装置の参照テーブル構成例を示す図。 上記実施形態に係る画像処理装置の参照テーブル構成例を示す図。 上記実施形態に係る画像処理装置のオブジェクト位置推定方法を説明するための図。 上記実施形態に係る画像処理装置の処理動作例を示す図。 上記実施形態に係る画像処理装置の処理動作例を示す図。

符号の説明

１１…単眼カメラ、１２…キャプチャ部、１３…画像処理記憶部、１４…位置推定係数パラメータ算出部、１５…画像処理部、１６…表示部（表示デバイス）、１５１…変化領域抽出処理部、１５２…追跡処理部、１５３…オブジェクト位置・サイズ推定処理部、１５４…位置推定テーブル算出部。

Claims (8)

1. 単眼カメラの監視範囲のうち、地平面上の監視範囲を示す画面上の４頂点の情報と、前記単眼カメラで撮影した３枚以上のサンプル画像中のサンプル対象物についての画面情報および実測情報とをもとに、前記画面上の奥行き方向の画素に対する実距離を指数近似式により求め、オブジェクトの接地位置からの奥行き方向画素位置から、前記画面上の奥行き方向の各画素を、前記地上面上での奥行き方向の前記実距離に対応した実距離テーブルを作成する実距離テーブル取得手段と、
   前記画素単位の実距離テーブルの情報と、前記監視範囲を示す画面上の４頂点の情報と、前記３枚以上のサンプル画像中の前記サンプル対象物についての画面情報および実測情報とをもとに、前記画面上の前記オブジェクトの接地位置からの横方向の画素に対する実距離の重みを線形近似式により求め、前記画面上の横方向の各画素を、前記地平面上での奥行き方向の各距離毎に、前記地平面上の監視範囲を基準とした座標系における横方向実座標に対応付けた横方向重みテーブルを作成する横方向重みテーブル取得手段と、
   前記画素単位の実距離テーブルの情報と、前記監視範囲を示す画面上の４頂点の情報と、前記３枚以上のサンプル画像中の前記サンプル対象物についての画面情報および実測情報とをもとに、前記画面上の前記オブジェクトの接地位置からの縦方向の画素に対する実距離の重みを線形近似式により求め、前記画面上の縦方向の各画素位置について、これに対応する奥行き方向実距離において、１画素が有する実高さ幅を格納する縦方向重みテーブルを作成する縦方向重みテーブル取得手段と、
   前記各取得手段により作成された前記画素単位の実距離テーブル、前記画面上の横方向重みテーブル、および前記画面上の縦方向重みテーブルを参照テーブルとして保持し、少なくとも前記画素単位の実距離テーブルを用いて、前記単眼カメラで撮影した前記オブジェクトの実在位置を認識する画像処理を実行する画像処理手段と、
   を具備したことを特徴とする画像処理装置。
2. 前記サンプル画像中の前記サンプル対象物についての画面情報および実測情報は、それぞれ、間隔が設定可能なサンプルモデルの、基準位置から接地位置までの距離を示す情報と、前記サンプルモデルの、高さおよび間隔を示す情報とを有することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理手段は、前記画素単位の実距離テーブルを用いて、前記単眼カメラで撮影した前記オブジェクトを処理対象から除外する処理を実行する請求項１に記載の画像処理装置。
4. 前記画像処理手段は、前記画素単位の実距離テーブルと、前記画面上の横方向重みテーブル若しくは前記画面上の縦方向重みテーブルを用いて、前記単眼カメラで撮影した前記オブジェクトの実体を認識する処理を実行する請求項１に記載の画像処理装置。
5. 前記画像処理手段は、前記監視範囲を示す画面上の４頂点の情報と、前記画素単位の実距離テーブルと、前記画面上の横方向重みテーブル若しくは前記画面上の縦方向重みテーブルを用いて、前記監視範囲を実空間上に設定する処理を実行する請求項１に記載の画像処理装置。
6. 前記画像処理手段は、前記画素単位の実距離テーブルと、前記画面上の横方向重みテーブル若しくは前記画面上の縦方向重みテーブルを用いて、前記単眼カメラで撮影した前記オブジェクトの推定若しくは特定を行うことを特徴とする請求項１に記載の画像処理装置。
7. 単眼カメラの画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、
   単眼カメラの監視範囲のうち、地平面上の監視範囲を示す画面上の４頂点の情報と、前記単眼カメラで撮影した３枚以上のサンプル画像中のサンプル対象物についての画面情報および実測情報とをもとに、前記画面上の奥行き方向の画素に対する実距離を指数近似式により求め、オブジェクトの接地位置からの奥行き方向画素位置から、前記画面上の奥行き方向の各画素を、前記地上面上での奥行き方向の前記実距離に対応した実距離テーブルを作成する機能と、
   前記画素単位の実距離テーブルの情報と、前記監視範囲を示す画面上の４頂点の情報と、前記３枚以上のサンプル画像中の前記サンプル対象物についての画面情報および実測情報とをもとに、前記画面上の前記オブジェクトの接地位置からの横方向の画素に対する実距離の重みを線形近似式により求め、前記画面上の横方向の各画素を、前記地平面上での奥行き方向の各距離毎に、前記地平面上の監視範囲を基準とした座標系における横方向実座標に対応付けた横方向重みテーブルを作成する機能と、
   前記画素単位の実距離テーブルの情報と、前記監視範囲を示す画面上の４頂点の情報と、前記３枚以上のサンプル画像中の前記サンプル対象物についての画面情報および実測情報とをもとに、前記画面上の前記オブジェクトの接地位置からの縦方向の画素に対する実距離の重みを線形近似式により求め、前記画面上の縦方向の各画素位置について、これに対応する奥行き方向実距離において、１画素が有する実高さ幅を格納する縦方向重みテーブルを作成する機能と、
   前記各機能により作成された前記画素単位の実距離テーブル、前記画面上の横方向重みテーブル、および前記画面上の縦方向重みテーブルを参照テーブルとして保持し、少なくとも前記画素単位の実距離テーブルを用いて、前記単眼カメラで撮影した前記オブジェクトの実在位置を認識する処理、又は前記単眼カメラで撮影した前記オブジェクトを処理対象から除去する処理を実行する画像処理機能と、
   を有することを特徴とするコンピュータに実現させるための画像処理プログラム。
8. 前記画像処理機能は、前記画素単位の実距離テーブルと、前記画面上の横方向重みテーブル若しくは前記画面上の縦方向重みテーブルを用いて、前記単眼カメラで撮影した前記オブジェクトの実体を認識する処理、又は前記監視範囲を実空間上に設定する処理、又は前記単眼カメラで撮影した前記オブジェクトの推定若しくは特定する処理を実行することを特徴とする請求項７に記載の画像処理プログラム。

Images