JP7580942B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本開示は、撮像画像から前景領域を示す情報を生成する技術に関する。

撮像装置によって撮像された撮像画像から前景情報を生成する技術がある。特許文献１は、入力画像から背景画像を生成し、入力画像と背景画像との差分で前景を抽出する（所謂、背景差分）手法を開示している。特許文献２は、前景の位置が異なる画像の差分で前景を抽出する（所謂、フレーム差分）手法を開示している。

特開２０１０―２１９６６５号公報 特開２０１１－１３９２８８号公報

しかしながら、特許文献１、特許文献２では、前景として抽出したい物体以外の物体も前景として撮像画像から抽出する可能性があった。

本開示は、適切に前景領域を示す情報を生成する技術を提供する。

本開示の一態様に係る画像処理装置は、撮像装置の撮像により取得される撮像画像を取得する取得手段と、前記撮像画像に対して、第一の前景を抽出するための第一領域と、前記第一の前景とは異なる第二の前景を抽出するための第二領域とを設定する設定手段と、前記撮像画像を構成するフレーム群のうち或るフレームについて、背景差分法またはフレーム差分法により、前記第一領域から前記第一の前景を抽出して第１前景画像を生成する第１生成手段と、前記或るフレームについて、フレーム差分法により、前記第二領域から前記第二の前景を抽出して第２前景画像を生成する第２生成手段とを有し、前記第１生成手段と前記第２生成手段が共にフレーム差分法を用いる場合のフレーム間隔は、前記第２生成手段の方が前記第１生成手段よりも短い、ことを特徴とする。

本開示によれば、適切に前景領域を示す情報を生成することができる。

仮想視点画像を生成する画像処理システムの構成例を示す図である。 カメラアダプタの内部構成例を示す図である。 画像処理装置のハードウェア構成例を示す図である。 画像処理装置の機能構成例を示す図である。 前景情報の生成を説明するための図である。 画像処理装置が実行する処理の流れを示すフローチャートである。 第一前景情報および第二前景情報の生成処理の流れを示すフローチャートである。 画像処理装置の機能構成の変形例を示す図である。 画像処理装置の機能構成例を示す図である。 前景情報の生成を説明するための図である。

以下、本開示の実施形態について、図面を参照して説明する。なお、以下の実施形態は本開示を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせのすべてが本発明の解決手段に必須のものとは限らない。同一の構成については、同じ符号を付して説明する。

＜実施形態１＞
本実施形態では、仮想視点画像の生成に用いられる前景情報（第一前景情報、第二前景情報）を生成する形態について説明する。具体的には、本実施形態では、背景差分法を用いて生成した第一前景情報と、フレーム差分法を用いて生成した第二前景情報とを、撮像装置の撮像により取得された撮像画像にて予め決めた第一領域及び第二領域の領域毎に選択（生成）する形態について説明する。なお、本実施形態では、前景情報が仮想視点画像の生成に用いられる例を説明するが、必ずしも仮想視点画像の生成に用いられるものでなくてよい。このため、複数の撮像装置間の相対的な幾何学的設置条件に縛られるものではない。さらには、複数の撮像装置を用いる形態でなくてもよい。例えば、構内、遠隔地、または屋外に設置された監視用撮像装置などの単一の撮像装置で撮像した画像の前景の生成に用いられる形態でもよい。

まず、本実施形態の理解を容易にするため、仮想視点画像の生成の概要を簡単に説明する。複数の撮像装置を異なる位置に設置して同期撮像を行い、当該撮像により得られた複数視点の画像を用いて、実際には存在しない撮像装置からの仮想視点画像を生成する技術がある。例えば、仮想視点画像を用いると、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴閲覧することが出来るため、通常の画像と比較してユーザに高臨場感を与えることができる。

仮想視点画像を生成する際には、複数の撮像装置で同期撮像した画像をサーバなどの画像処理部に集約し、当該画像処理部にて主な被写体（オブジェクト）である前景を背景部分から切り離してモデル化した上でレンダリングする処理などが行われる。そして、最後に処理結果をサーバからユーザ端末に伝送して表示することで、ユーザの視聴閲覧が実現される。

前景をモデル化（生成）する際には、複数の撮像装置から見たときの前景のシルエットに相当する前景マスクの情報と前景のテクスチャの情報（例えば前景の各画素のＲ、Ｇ、Ｂの色情報）とが必要となる。

前景を背景部分から切り離す処理は、前景背景分離処理と呼ばれる。前景背景分離処理は、前景領域の推定を行う処理であり、一般的に背景差分法やフレーム差分法によって行われる。背景差分法とは、背景画像と、前景を含む入力画像との差分を求め、差分値が所定の閾値以上と判定された画素の集まりである領域を前景領域とする、というものである。フレーム差分とは、時間的に連続する画像（フレーム）の差分画像から、差分値が所定の閾値以上と判定された画素の集まりである領域を前景領域とする、というものである。

（システム構成）
ここで、図を用いて、仮想視点画像を生成する画像処理システムについて説明する。図１は、仮想視点画像を生成する画像処理システムの構成例を示す図である。画像処理システム１００は、撮像モジュール１１０ａ～１１０ｚ、データベース（ＤＢ）２５０、サーバ２７０、制御装置３００、スイッチングハブ１８０、及びエンドユーザ端末１９０を有する。すなわち、画像処理システム１００は、画像収集ドメイン、データ保存ドメイン、及び画像生成ドメインという３つの機能ドメインを有する。画像収集ドメインは撮像モジュール１１０ａ～１１０ｚを含み、データ保存ドメインはＤＢ２５０とサーバ２７０を含み、画像生成ドメインは制御装置３００及びエンドユーザ端末１９０を含む。

制御装置３００は、画像処理システム１００を構成するそれぞれのブロックに対してネットワークを通じて動作状態の管理及びパラメータ設定制御などを行う。ここで、ネットワークはＥｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥでもよいし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用ローカルエリアネットワーク等を組合せて構成されてもよい。また、これらに限定されず、他の種類のネットワークであってもよい。

最初に、撮像モジュール１１０ａ～１１０ｚの２６セット分の撮像画像を撮像モジュール１１０ｚからサーバ２７０へ送信する動作を説明する。撮像モジュール１１０ａ～１１０ｚは、それぞれ１台ずつのカメラ１１２ａ～１１２ｚを有する。以下では、撮像モジュール１１０ａ～１１０ｚまでの２６セットのシステムを区別せず、単に「撮像モジュール１１０」と記載する場合がある。各撮像モジュール１１０内の装置についても同様に、「カメラ１１２」、「カメラアダプタ１２０」と記載する場合がある。なお、撮像モジュール１１０の台数を２６セットとしているが、あくまでも一例でありこれに限定されない。

撮像モジュール１１０ａ～１１０ｚはデイジーチェーンにより接続される。この接続形態により、撮像画像の４Ｋや８Ｋなどへの高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化ができる効果がある。なお、接続形態は任意であり、例えば撮像モジュール１１０ａ～１１０ｚがスイッチングハブ１８０にそれぞれ接続されて、スイッチングハブ１８０を経由して撮像モジュール１１０間のデータ送受信を行うスター型のネットワーク構成としてもよい。

本実施形態では、各撮像モジュール１１０はカメラ（撮像装置）１１２とカメラアダプタ１２０とで構成されているがこれに限定されない。例えば、マイク、雲台、外部センサを有していてもよい。また、本実施形態では、カメラ１１２とカメラアダプタ１２０とが分離された構成となっているが、同一筺体で一体化されていてもよい。撮像モジュール１１０ａ内のカメラ１１２ａにて得られた撮像画像は、カメラアダプタ１２０ａにおいて後述の画像処理が施された後、撮像モジュール１１０ｂのカメラアダプタ１２０ｂに伝送される。同様に撮像モジュール１１０ｂは、カメラ１１２ｂにて得られた撮像画像を、撮像モジュール１１０ａから取得した撮像画像と合わせて撮像モジュール１１０ｃに伝送する。このような動作を続けることにより、２６セット分の撮像画像が、撮像モジュール１１０ｚからスイッチングハブ１８０に伝わり、その後、サーバ２７０へ伝送される。

なお、本実施形態では、個々のカメラアダプタ１２０内で前景であるかの評価までを行うものとして説明する。ただし、このような態様に限定されるものではなく、２６セット分の撮像画像を受け取ったサーバ２７０にて、個々の撮像画像に対応するシルエット画像の生成を行うような構成であってもよい。

（カメラアダプタの構成）
次に、カメラアダプタ１２０の詳細について説明する。図２は、カメラアダプタ１２０の内部構成例を示す機能ブロック図である。カメラアダプタ１２０は、ネットワークアダプタ１２１、伝送部１２２、画像処理装置１２３及びカメラ制御部１２４を有する。

ネットワークアダプタ１２１は、他のカメラアダプタ１２０やサーバ２７０、制御装置３００とデータ通信を行う。また、例えばＩＥＥＥ１５８８規格のＯｒｄｉｎａｙ Ｃｌｏｃｋに準拠し、サーバ２７０との間で送受信したデータのタイムスタンプの保存や、サーバ２７０との時刻同期も行う。なお、他のＥｔｈｅｒＡＶＢ規格や、独自プロトコルによってタイムサーバとの時刻同期を実現してもよい。本実施形態では、ネットワークアダプタ１２１としてＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）を利用するが、これに限定されない。

伝送部１２２は、ネットワークアダプタ１２１を介してスイッチングハブ１８０等に対するデータの伝送を制御する。伝送部１２２は、送受信されるデータに対して所定の圧縮方式、圧縮率、及びフレームレートを適用した圧縮を行う機能と、圧縮されたデータを伸張する機能とを有している。また、受信したデータ及び画像処理装置１２３で処理されたデータのルーティング先を決定する機能や、決定したルーティング先へデータを送信する機能を有している。また、画像データを、他のカメラアダプタ１２０またはサーバ２７０へ転送するためのメッセージを作成する機能も有している。メッセージには画像データのメタ情報が含まれる。このメタ情報には、画像撮像のサンプリング時のタイムコードまたはシーケンス番号、データ種別、及びカメラ１１２の識別子などが含まれる。なお、送信する画像データは圧縮されていてもよい。また、他のカメラアダプタ１２０からメッセージを受け取り、メッセージに含まれるデータ種別に応じて、伝送プロトコル規定のパケットサイズにフラグメントされたデータ情報を画像データに復元する。

画像処理装置１２３は、カメラ制御部１２４の制御によりカメラ１１２が撮像して得た画像データ、および初期化情報に基づき、前景背景分離して、前景である、オブジェクトの画像などを含む前景情報を生成する処理を行う。また、動的キャリブレーションなどの処理も行う。前景の生成を複数のカメラアダプタ１２０それぞれが行うことで、画像処理システム１００における負荷を分散させることができる。動的キャリブレーションは、撮像中に行うキャリブレーションで、カメラ毎の色のばらつきを抑えるための色補正処理や、カメラの振動に起因するブレに対して画像の位置を安定させるためのブレ補正処理（電子防振処理）などが含まれる。なお、画像処理装置１２３によって生成された前景情報は、前景領域を示す前景シルエット画像と入力画像から前景領域を切り出した画像を含み、仮想視点画像を生成するためにそれぞれ伝送されサーバなどの画像処理部に集約される。なお、前景情報は、前景領域を示す前景シルエット画像と、入力画像から前景領域を切り出した画像（前景テクスチャ画像）と、のうちいずれか一方を含んでいればよい。

カメラ制御部１２４は、カメラ１１２と接続し、カメラ１１２の制御、撮像画像取得、同期信号提供、時刻設定などを行う。カメラ１１２の制御には、例えば撮像パラメータ（画素数、色深度、フレームレート、ホワイトバランスの設定など）の設定及び参照、カメラ１１２の状態情報（撮像中、停止中、同期中、及びエラーなど）の取得、撮像の開始及び停止や、ピント調整などがある。

（画像処理装置のハードウェア構成）
次に、図を用いて、画像処理装置のハードウェア構成例について説明する。図１は、本実施形態に係る画像処理装置のハードウェア概略構成を示すブロック図である。画像処理装置１２３は、ＣＰＵ３１１、ＲＯＭ３１２、ＲＡＭ３１３、補助記憶装置３１４、表示部３１５、操作部３１６、通信インターフェース（Ｉ／Ｆ）３１７を有する。各構成要素はバス３１８を介して相互に通信可能に接続されている。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１１は、ＲＯＭ３１２や補助記憶装置３１４等に格納された各種プログラムを実行して、画像処理装置１２３を統括的に制御することで、図４に示す画像処理装置１２３の各機能を実現する。なお、画像処理装置１２３がＣＰＵ３１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ３１１による処理の少なくとも一部を専用ハードウェアが実行してもよい。専用ハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）等がある。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３１２は、変更を必要としないプログラム等を記憶する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３１３は、ＲＯＭ３１２や補助記憶装置３１４から供給されるプログラムおよびデータ、並びに通信Ｉ／Ｆ３１７を介して外部から供給されるデータ等を一時的に記憶する。補助記憶装置３１４は、例えばハードディスクドライブ等を有し、画像データや音声データ等の種々のデータを記憶する。

表示部３１５は、例えば液晶ディスプレイやＬＥＤ等を有し、ユーザが画像処理装置１２３を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。操作部３１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等を有し、ユーザによる操作を受けて各種の指示をＣＰＵ３１１に入力する。ＣＰＵ３１１は、表示部３１５を制御する表示制御部、及び操作部３１６を制御する操作制御部として動作する。

通信Ｉ／Ｆ３１７は、画像処理装置１２３の外部の装置との通信に用いられる。例えば、画像処理装置１２３が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ３１７に接続される。画像処理装置１２３が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ３１７はアンテナを備える。バス３１８は、画像処理装置１２３の各部をつないで情報を伝達する。

本実施形態では表示部３１５と操作部３１６が画像処理装置１２３の内部に存在するものとするが、表示部３１５と操作部３１６との少なくとも一方が画像処理装置１２３の外部に別の装置として存在していてもよい。

［画像処理装置の機能構成］
次に、図を用いて、画像処理装置１２３の機能構成について説明する。図４は、画像処理装置１２３の機能ブロック図である。なお、図４に示す機能構成は、その機能を実現するためのプログラムを図３に示す画像処理装置１２３に供給し、さらに画像処理装置１２３が実行することで実現される。

本実施形態の画像処理装置１２３は、記憶部４０１、背景生成部４０２、第一情報生成部４０３、第二情報生成部４０４、選択部４０５を有する。なお、画像処理装置の記憶部４０１、背景生成部４０２、第一情報生成部４０３、第二情報生成部４０４には、カメラ（撮像装置）１１２が撮像して得た撮像画像（処理画像）の画像データが入力される。画像処理装置１２３に入力された撮像画像の画像データは、現在の入力画像（処理画像）ともいう。撮像画像は、時間的に連続して撮像された静止画または動画像のフレームなどの画像である。

記憶部４０１は、所定のフレーム数の撮像画像（入力画像）を記憶する。所定のフレーム数は、例えば、現在のフレームの４つ前から１つ前までの４フレームなど、詳細につき後述する第二情報生成部４０３が第二前景情報を生成するときに必要となる個数であればよい。

背景生成部４０２は、入力画像から背景画像を生成する。背景生成部４０２は、例えば、一定の間隔で、現在の入力画像と、記憶部４０１に記憶された過去の入力画像（過去画像）とを比較することで、入力画像中にて動きの有無を判定し、相対的に動きが無いと判定された領域を背景画像として生成する。過去の入力画像は、現在のフレームの入力画像に対し１つ以上前のフレームの入力画像であればよい。動きの有無の判定には、公知の技術が用いられる。例えば、動きの有無は、現在のフレームの入力画像と、過去の複数フレームの入力画像とで差分を導出し、導出した差分が所定の閾値未満となるフレームの個数が所定の回数に達するかどうかで判定される。すなわち、導出した差分値が所定の閾値未満となるフレームの個数が所定回数に達する場合に相対的に動きが無いと判定される。導出した差分値が所定の閾値未満となるフレームの個数が所定回数に達しない場合に相対的に動きが有ると判定される。なお、記憶部４０１に過去の入力画像が記憶されていない場合、背景生成部４０２は、入力画像を背景画像として生成する。

第一情報生成部４０３は、背景差分法を利用して、撮像画像（入力画像）に含まれる第一前景を生成するための第一前景情報（第一情報）を生成する。第一情報は、第一の前景領域を含むともいえる。具体的には、第一情報生成部４０３は、背景生成部４０２によって生成された背景画像と入力画像との差分（背景差分）を所定の閾値で２値化することにより、相対的に動きのある領域を前景領域とし、前景領域を示す前景シルエット画像を生成する。第一情報生成部４０３は、画像同士の差分から、第一の前景領域を示す第一前景情報を生成するともいえる。背景生成部４０２によって生成された背景画像は、入力画像に対応する背景領域を少なくとも含む画像ともいえる。入力画像に対応する背景領域を少なくとも含む画像は、前記撮像装置の前記撮像と同じ位置及び同じ方向であって異なるタイミングにおける前記撮像装置の撮像によって取得される他の撮像画像であるともいえる。ここで、図を用いて、第一情報生成部４０３による第一前景情報の生成について説明する。

図５は、前景情報の生成を説明するための図である。なお、図５では、サッカーの試合の１場面であって、フィールド上を走る、競技を行う３人の選手と、フィールド横の競技を観る観客席にいる観客とを含み、高く蹴り上げられたボールが観客席を背景に写った入力画像を基に、前景情報を生成するとする。３人の選手とボールを前景となる対象物（オブジェクト）とする。フィールド領域を第一領域とし、フィールド領域内にあるオブジェクトを第一前景とする。観客席領域を第二領域とし、観客席領域内にあるオブジェクトを第二前景とする。なお、図５（ａ）～（ｄ）は、同一の撮像画像に対応する画像である。図５（ａ）～（ｄ）では、点線より左の領域Ａ１００は、サッカーのフィールドに対応した領域（フィールド領域）であり、点線より右の領域Ａ２００は、フィールドの周囲に配置される観客席に対応した領域（観客席領域）である。図５（ａ）は、第一情報生成部４０３によって生成された第一前景情報（前景シルエット画像）の例を示す図である。フィールド領域Ａ１００では、フィールド上を走る３人の選手に対応する領域が前景Ｍ１００として分離される。すなわち、第一情報生成部４０３は、フィールド領域Ａ１００に含まれるオブジェクト（第一前景）に対応する前景シルエット画像（前景マスク）を生成するともいえる。観客席領域Ａ２００では、観客席において、相対的に微小な動きを行う観客に対応する領域が前景Ｍ１０１として分離される。また、観客席領域Ａ２００では、選手によって高く蹴り上げられたボールが観客を背景に写っており、観客席領域Ａ２００から分離される前景Ｍ１０１には、ボールに対応する領域も含まれる。すなわち、前景Ｍ１０１は、相対的に微小な動きを行う観客に対応する領域と、ボールに対応する領域とを含む。相対的に微小な動きを行う観客に対応する領域は、前景Ｍ１０１では意味を持たない領域（実際には不要な領域）である。ここで例示されるのは、背景差分ではフィールドの様な定常的には静止している背景上のオブジェクトは所望の分離を出来るが、観客席の様な定常的に静止していない背景上では不要な領域まで前景として分離してしまうことである。なお、本実施形態では、背景生成部４０２によって逐次更新された背景画像を用いるとしているが、例えば、選手がフィールド上にいない時間に予め撮像された画像を背景画像として用いてもよい。ただし、この場合、観客席領域の観客は全て前景として分離されてしまうことになる。第一情報生成部４０３は、例えば背景差分法を利用して、相対的に動きのあるオブジェクトを入力画像から前景として分離した、前景領域を示す前景シルエット画像を生成する。

第二情報生成部４０４は、フレーム差分法を利用し、撮像画像と、記憶部４０１から読み出された過去の入力画像とを用い、撮像画像（入力画像）に含まれる第二前景を生成するための第二前景情報（第二情報）を生成する。第二情報生成部４０４は、画像同士の差分から、第二の前景領域を示す第二前景情報を生成するともいえる。過去の入力画像は、撮像装置の撮像と同じ位置及び同じ方向であって異なるタイミングにおける前記撮像装置の撮像によって取得される他の撮像画像ともいえる。第二情報は、第二の前景領域を含むともいえる。具体的には、第二情報生成部４０４は、現在の入力画像と、例えば現在の入力画像に対して２フレーム前の過去の入力画像との差分（第一フレーム差分）画像を生成する。また、第二情報生成部４０４は、前記２フレーム前の過去の入力画像と、前記２フレーム前の過去の入力画像に対して２フレーム前の過去の入力画像の差分（第二フレーム差分）画像を生成する。次に、第二情報生成部４０４は、第一フレーム差分画像から第二フレーム差分画像を差し引くことで、現在の入力画像における動きのある領域のみをフレーム差分画像として分離する。そして、第二情報生成部４０４は、フレーム差分画像を所定の閾値で２値化し、相対的に動きのある領域を前景領域とし、前景領域を示す前景シルエット画像を生成する。すなわち、第二情報生成部４０４は、観客席領域Ａ２００に含まれるオブジェクト（第二前景）に対応する前景シルエット画像（前景マスク）を生成するともいえる。なお、第二前景情報の生成に用いる過去の入力画像は、現在の入力画像に対して２フレーム前および４フレーム前の入力画像に限定されず、現在の入力画像に対してｎフレーム前および（ｎ＋２）フレーム前の入力画像を用いてもよい。ただし、ｎは自然数である。

図５（ｂ）は、第二情報生成部４０４によって生成された第二前景情報（前景シルエット画像）の例を示す図である。図５（ｂ）に示すように、フィールド領域Ａ１００では、３人の選手が前景Ｍ２００として分離される。しかしながら、連続する２つのフレームの時間差で選手は少ししか動かず、選手が過去フレームの選手の位置と重ならない位置まで完全に移動しないため前景Ｍ２００として選手の輪郭が分離される。すなわち、前景Ｍ２００として分離される選手の輪郭がある領域は、処理画像において連続する２つのフレームの差分で前景を検出不可である領域であるともいえる。一方、観客席領域Ａ２００では、２フレームの時間差で観客はほぼ静止しており前景として分離されないが、高く蹴り上げられたボールは移動速度が速いため前景Ｍ２０１として分離される。ここで例示されるのは、フィールド差分では相対的に動きの遅い物体は輪郭として分離されてしまうが、相対的に動きの速い物体は所望の分離が出来るということである。すなわち、前景Ｍ２０１として分離されるボールがある領域は、処理画像において連続する２つのフレームの差分で前景を検出可能である領域であるともいえる。

なお、上述の第一情報生成部４０３は、前景として分離した領域を示す前景シルエット画像（図５（ａ）に相当）と、入力画像から前景領域を切り出した前景画像（不図示）とを含む前景情報（第一前景情報）として出力する。上述の第二情報生成部４０４は、第一情報生成部４０３と同様、前景として分離した領域を示す前景シルエット画像（図５（ｂ）に相当）と、入力画像から前景領域を切り出した前景画像（不図示）を含む前景情報（第二前景情報）として出力する。

選択部４０５は、選択情報を基に、第一情報生成部４０３によって生成された第一前景情報と、第二情報生成部４０４によって生成された第二前景情報との何れかを選択して出力する。選択情報は、ユーザによって予め指定され、撮像画像（処理画像）において領域毎に予め設定された情報であって、選択部４０５に保持（設定）される情報である。図５（ｃ）は、選択部４０５に設定される選択情報の例を示す図である。選択情報は、図５（ｃ）に示すように、例えば、フィールド領域Ａ１００に対応する領域を「１」、観客席領域Ａ２００に対応する領域を「０」とする入力画像と同じサイズの１ビットの画像情報である。また、選択情報は、撮像装置の撮像画角が決まれば、例えば画角内のスタンドなどの構造物を手掛かりにフィールド領域と観客席領域との境界に対して設定することが出来る。

図５（ｄ）は、選択部４０５の出力例を示す図である。選択部４０５は、処理画素が選択情報で「１」のフィールド領域Ａ１００に対応する画素であるときに、第一情報生成部４０３によって生成された前景情報Ｍ１００を選択して出力する。選択部４０５は、処理画素が選択情報で「０」の観客席領域に対応する画素であるときに、第二情報生成部４０４によって生成された前景情報Ｍ２０１を選択して出力する。図５（ｄ）に示すように、選択部４０５は、図５（ｃ）に示される選択情報に基づき、図５（ａ）に示される第一前景情報または図５（ｂ）に示される第二前景情報を選択して出力することになる。

［画像処理装置が実行する処理の流れ］
図を用いて、上述した画像処理装置が実行する処理について説明する。図６は、本実施形態における画像処理装置が実行する処理の流れを示すフローチャートである。このフローチャートに示される処理は、画像処理装置１２３のＣＰＵ３１１が、ＲＯＭ３１２又は補助記憶装置３１４に記憶された制御プログラムを読み出し、ＲＡＭ３１３に展開して実行することにより実現される。本実施形態における処理は、入力画像が入力されるフレームに同期してラスタースキャン処理されるものとして説明するがこれに限定されるものではない。なお、フローチャートの説明における記号「Ｓ」は、ステップ（工程）を表すものとする。この点、以下のフローチャートの説明においても同様とする。

先ず、画像処理装置は、Ｓ１００の処理とＳ２００の処理を実行する。

Ｓ１００では、第一情報生成部４０３は、現在の入力画像と、現在の入力画像に対応し、背景生成部４０２によって生成された背景画像との差分（背景差分）を所定の閾値で２値化し、相対的に動きのある領域を前景領域として分離し、第一前景情報を生成する。そして、第一情報生成部４０３は、生成後、処理をＳ３００に移行する。

Ｓ２００では、第二情報生成部４０４は、現在の入力画像と、記憶部４０１から読み出された過去の入力画像との差分を２値化して第一フレーム差分画像を生成し、過去の入力画像の差分を２値化して第二フレーム差分画像を生成する。そして、第二情報生成部４０４は、第一フレーム差分画像から第二フレーム差分画像を差し引くことによって、現在の入力画像における相対的に動きのある領域のみを前景領域として分離し、第二前景情報を生成する。そして、第二情報生成部４０４は、生成後、処理をＳ３００に移行する。なお、Ｓ１００とＳ２００とは、平行処理としてもよい。

Ｓ３００では、画像処理装置の選択部４０５は、領域毎に予め設定した選択情報に基づいて、入力画像における現在の処理対象の画（注目画素）が、第一情報生成部４０３で生成される第一前景情報を選択する第一領域にあるか否かを判定する。注目画素が第一領域にあるとの判定結果を得た場合（Ｓ３００のＹＥＳ）、選択部４０５は、処理をＳ４００に移行する。注目画素が第二情報生成部４０４で生成される第二前景情報を選択する第二領域にあって、第一領域にはないとの判定結果を得た場合（Ｓ３００のＮＯ）、選択部４０５は、処理をＳ５００に移行する。

Ｓ４００では、選択部４０５は、第一情報生成部４０３で生成する第一前景情報を出力として選択する。選択部４０５は、選択後、処理をＳ６００に移行する。

Ｓ５００では、選択部４０５は、第二情報生成部４０４で生成する第二前景情報を出力として選択する。選択部４０５は、選択後、処理をＳ６００に移行する。

Ｓ６００では、画像処理装置は、入力画像における全ての画素に対する処理が終了したか否かを判定する。入力画像の全ての画素に対する処理が終了していないとの判定結果を得た場合（Ｓ６００のＮＯ）、画像処理装置は、処理をＳ３００に戻す。そして、画像処理装置は、入力画像において、未処理である全ての画素に対しＳ１００からＳ５００の処理を実行する。他方、入力画像の全ての画素に対する処理が終了したとの判定結果を得た場合（Ｓ６００のＹＥＳ）、画像処理装置は、図６に示すフローを終了する。

図７（ａ）は、図６のＳ１００の第一前景情報の生成処理の詳細な流れを示すフローチャートである。このフローチャートに示される処理は、画像処理装置１２３のＣＰＵ３１１が、ＲＯＭ３１２又は補助記憶装置３１４に記憶された制御プログラムを読み出し、ＲＡＭ３１３に展開して実行することにより実現される。

Ｓ１００１では、背景生成部４０２は、例えば、一定の間隔で、入力画像と、入力画像に対応し、記憶部４０１に記憶された過去の入力画像とを比較することによって、入力画像中の動きの有無を判定し、相対的に動きが無い領域を背景画像として生成する。例えば、同一の画素において、画素値の変化が閾値未満であれば相対的に動きがないと判定する。そして、背景生成部４０２は、相対的に動きが無いと判定された画素を有する領域を背景画像として生成する。なお、同一の画素において、画素値の変化が閾値以上であれば相対的に動きがあると判定され、背景生成部４０２は、相対的に動きがあると判定された画素を有する領域を背景画像としては生成しない。

Ｓ１００２では、第一情報生成部４０３は、入力画像と、入力画像に対応し、Ｓ１００１において、背景生成部４０２によって生成された背景画像との差分（背景差分）画像を生成する。背景差分画像の生成には、例えば処理画素におけるＲ，Ｇ，Ｂの階調値の差分値を用いることができる。

Ｓ１００３では、第一情報生成部４０３は、Ｓ１００２において生成された背景差分画像を所定の閾値で２値化し、相対的に動きのある領域を前景領域として分離する。すなわち、第一情報生成部４０３は、入力画像と背景画像との背景差分画像を所定の閾値で２値化した画像から、安定した背景画像を生成可能な領域において、前景領域として分離した領域を示す前景シルエット画像を生成するともいえる。

Ｓ１００４では、第一情報生成部４０３は、Ｓ１００３において生成された前景シルエット画像と、対応する入力画像と前景シルエット画像から前景領域を切り出した前景画像とを含む第一前景情報を生成する。

図７（ｂ）は、図６のＳ２００の第二前景情報の生成処理の詳細な流れを示すフローチャートである。このフローチャートに示される処理は、画像処理装置１２３のＣＰＵ３１１が、ＲＯＭ３１２又は補助記憶装置３１４に記憶された制御プログラムを読み出し、ＲＡＭ３１３に展開して実行することにより実現される。

Ｓ２００１では、第二情報生成部４０４は、現在の入力画像と、記憶部４０１から読み出された、例えば、現在の入力画像に対して２フレーム前の入力画像（過去画像）との差分（第一フレーム差分）画像を生成する。第二情報生成部４０４は、さらに、上述の２フレーム前の入力画像（過去画像）と、入力画像に対応し、記憶部４０１から読み出された４フレーム前の入力画像（過去画像）との差分（第二フレーム差分）画像を生成する。そして、第二情報生成部４０４は、第一フレーム差分画像から第二フレーム差分画像を差し引くことで現在の入力画像における相対的に動きのある領域のみを前景領域（フレーム差分画像）として分離（生成）する。フレーム差分画像の生成には、例えば処理画素におけるＲ，Ｇ，Ｂの階調値の差分値を用いることができる。

Ｓ２００２では、第二情報生成部４０４は、Ｓ２００１において生成されたフレーム差分画像を所定の閾値で２値化し、相対的に動きのある領域を前景領域として分離する。すなわち、第二情報生成部４０４は、第一フレーム画像と第二フレーム画像のフレーム差分画像を所定の閾値で２値化した画像から、安定した背景画像を生成不可能な領域において、前景領域として分離した領域を示す前景シルエット画像を生成するともいえる。

Ｓ２００３では、第二情報生成部４０４は、Ｓ２００２において生成された前景シルエット画像と、対応する入力画像と前景シルエット画像から前景領域を切り出した前景画像とを含む第二前景情報を生成する。

［効果］
以上説明したように、本実施形態によれば、撮像画像の領域毎に適した前景背景分離手法を適用することで不要な前景情報の生成を抑制し、必要な前景情報を分離（生成）することが出来る。すなわち、適切な前景情報を生成することができる。

また、結果として、前景情報をサーバなどの画像処理部に伝送して集約し仮想視点画像を生成するシステムにおいて、伝送コストを抑制しつつ必要な前景が欠けることのない仮想視点画像を生成することが可能となる。

［変形例１］
上述の実施形態１では、選択部４０５が、選択情報に基づき、入力画像の全ての画素に対する処理で生成された、第一前景情報、または第二前景情報を選択して出力する例を示した。

但し、第一前景情報と第二前景情報とは、入力画像の全ての画素に対する処理で生成される情報に限定されない。したがって、例えば、入力画像の第一領域に対して生成された第一前景情報と、入力画像の第二領域に対して生成された第二前景情報とを合成して出力してもよい。そこで、図を用いて、上述の実施形態１の変形例１である画像処理装置の機能構成を説明する。図８は、画像処理装置の変形例１の機能ブロック図である。なお、図８に示す機能構成は、その機能を実現するためのプログラムを図３に示す画像処理装置１２３に供給し、さらに画像処理装置１２３が実行することで実現される。

画像処理装置は、記憶部４０１、背景生成部４０２、第一情報生成部４０３、第二情報生成部４０４、第一領域選択部４０６、第二領域選択部４０７、合成部４０８を有する。なお、本変形例では、図８に示す第一領域選択部４０６、第二領域選択部４０７、合成部４０８以外は、実施形態１と同様であることから、ここでは、その説明を省略する。

第一領域選択部４０６は、第一選択情報を基に、処理画素が第一領域にあるとき、入力画像と、背景画像とを第一情報生成部４０３に出力する。第一選択情報は、予め設定された、第一前景に対応する領域を示す情報であって、第一領域選択部４０６に保持される情報である。第一情報は、図５（ｃ）に示される選択情報では、第一領域Ａ１００に対応する情報である。なお、第一情報生成部４０３では、第一領域選択部４０６から入力された、第一選択情報に対応する、入力画像と背景画像とから、前景シルエット画像と前景画像とを含む第一前景情報が生成される。

第二領域選択部４０７は、第二選択情報を基に、処理画素が第二領域にあるとき、現在の入力画像と過去の入力画像とを第二情報生成部４０４に出力する。第二選択情報は、予め設定された、第二前景に対応する領域を示す情報であって、第二領域選択部４０７に保持される情報である。第二情報は、図５（ｃ）に示される選択情報では、第二領域Ａ２００に対応する情報である。なお、第二情報生成部４０４では、第二領域選択部４０７から入力された、第二選択情報に対応する、現在の入力画像と過去の入力画像とから、前景シルエット画像と前景画像とを含む第二前景情報が生成される。

合成部４０８は、第一情報生成部４０３によって生成された第一前景情報と、第二情報生成部４０４によって生成された第二前景情報とを合成し、処理画素に対応する情報を前景情報として出力する。

以上説明したように、本変形例によれば、第一領域に対応する第一選択情報と、第二領域に対応する第二選択情報とが個別に設定されても、実施形態１と同様、不要な前景情報の生成を抑制し、必要な前景情報を生成することが出来る。すなわち、適切な前景情報を生成することができる。

［変形例２］
上述の実施形態１では、第一情報生成部４０３が背景差分により第一前景情報を生成し、第二情報生成部４０４がフレーム差分により第二前景情報を生成する例を示した。

但し、第一情報生成部４０３による第一前景情報の生成の手法は、背景差分に限定されない。したがって、例えば、第一情報生成部４０３と第二情報生成部４０４との何れにおいても、フレーム差分により前景情報を生成してもよい。例えば、第一情報生成部４０３では、現在のフレームと、現在のフレームの撮像時刻からの時間間隔が相対的に長い過去フレームとの差分から第一前景情報を生成する。第一前景情報は、相対的に動きの遅い前景を含む領域に対応した情報となる。第二情報生成部４０４では、現在のフレームと、現在のフレームの撮像時刻からの時間間隔が相対的に短い過去フレームとの差分から第二前景情報を生成する。第二前景情報は、相対的に動きの速い前景を含む領域に対応した情報となる。よって、相対的に動きの遅い前景を含む領域に対応した第一前景情報の生成と、相対的に動きの速い前景を含む領域に対応した前景情報の生成とを両立することが出来る。相対的に動きの速い領域や相対的に動きの遅い領域は、処理対象に応じて変更可能である。例えば、サッカーを処理対象とした場合、次のように設定してもよい。選手を相対的に動きの遅い領域に対応させ、走っている選手をフレーム差分で前景として処理画像から分離可能に設定してもよい。また、サッカーボールを相対的に動きの速い領域に対応させ、パスやドリブルやシュート時のサッカーボールをフレーム差分で前景として処理画像から分離可能に設定してもよい。現在のフレームの撮像時刻からの時間間隔が相対的に長い過去フレームは、例えば、６０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）としたときに、現在のフレームに対して３つまたは４つ前の過去フレームとしてもよい。現在のフレームの撮像時刻からの時間間隔が相対的に短い過去フレームは、例えば、６０ｆｐｓとしたときに、現在のフレームに対して２つ前の過去フレームとしてもよい。

以上説明したように、本変形例によれば、相対的に動きの遅いオブジェクトに対応する第一前景を生成するための第一前景情報と、相対的に動きの速いオブジェクトに対応する第二前景を生成するための第二前景情報と生成することが出来る。よって、実施形態１と同様、不要な前景情報の生成を抑制し、必要な前景情報を分離（生成）することが出来る。すなわち、適切な前景情報を生成することができる。

＜実施形態２＞
上述の実施形態１では、選択部４０５が、予め設定された選択情報に基づき、第一情報生成部４０３によって生成された第一前景情報、又は第二前景情報生成部４０４によって生成された第二前景情報を選択して出力する例を示した。

但し、選択部４０５が第一領域または第二領域を選択するために用いる選択情報は、予め設定された情報に限定されない。したがって、例えば、現在の撮像画像である入力画像（フレーム）と過去の撮像画像である入力画像（フレーム）との差分から生成された選択情報に基づいて、選択部４０５が第一前景情報または第二前景情報を選択して出力してもよい。本実施形態では、背景差分法を用いて生成した第一前景情報と、フレーム差分法を用いて生成した第二前景情報との何れかを領域毎に選択する選択情報を、入力画像の解析結果に基づいて生成する画像処理装置について説明する。本実施形態では、上述の実施形態１と同一の構成には同一符号を付記しその説明を省略する。

［画像処理装置の機能構成］
図を用いて、本実施形態の画像処理装置の機能構成について説明する。図９は、画像処理装置１２３の機能ブロック図である。なお、図９に示す機能構成は、その機能を実現するためのプログラムを図３に示す画像処理装置１２３に供給し、さらに画像処理装置１２３が実行することで実現される。

本実施形態の画像処理装置１２３は、記憶部４０１、背景生成部４０２、第一情報生成部４０３、第二情報生成部４０４、選択部４０５、選択情報生成部４０９を有する。

選択情報生成部４０９は、例えば、一定の間隔で、入力画像と、入力画像に対応する、記憶部４０１に記憶された過去の入力画像（過去画像）とを比較して、入力画像中の動きの有無を判定し、該判定結果に基づいて選択部４０５で使用する選択情報を生成する。なお、選択情報生成部４０９によって生成された選択情報は、選択部４０５に出力される。

一般に、入力画像中の動きの有無は、入力画像を、連続する複数フレーム分用い、複数フレームを検査フレームとして過去フレームとの差分を導出し、導出した差分値が所定の閾値未満となる検査フレーム数が所定回数に達するかどうかで判定される。すなわち、導出した差分値が所定の閾値未満となる検査フレーム数が所定回数に達する場合に相対的に動きが無いと判定される。導出した差分値が所定の閾値未満となる検査フレーム数が所定回数に達しない場合に相対的に動きが有ると判定される。本実施形態では、フィールド領域は相対的に略動きの無い領域、観客席領域は相対的に動きの有る領域と判定する。そのため、検査フレームの全てで過去フレームとの差分が所定の閾値未満となる領域を相対的に動きの無い領域とは判定せず、検査フレームの所定数までは過去のフレームとの差分が閾値以上となることを許容する。

選択部４０５は、選択情報生成部４０９によって生成された選択情報に基づいて、第一情報生成部４０３で生成する第一前景情報と第二情報生成部４０４で生成する第二前景情報との何れかを領域ごとに選択して出力する。

図１０は、本実施形態における前景情報の生成を説明するための図である。なお、図１０（ａ）～（ｄ）は、同一の撮像画像に対応する画像である。図１０（ａ）は、第一情報生成部４０３によって生成された第一前景情報（前景シルエット画像）の例を示す図であり、実施形態１で説明した図５（ａ）と同じである。図１０（ｂ）は、第二情報生成部４０４によって生成された第二前景情報（前景シルエット画像）の例を示す図であり、実施形態１で説明した図５（ｂ）と同じである。図１０（ｃ）は、選択情報生成部４０９によって生成された選択情報の例を示す図である。選択情報は、例えば、フィールド領域Ａ１００に対応する領域を「１」、観客席領域Ａ２００に対応する領域を「０」とする入力画像と同じサイズの１ビットの画像情報として生成される。選択情報生成部４０９によって生成された選択情報は、図５（ｃ）に示す選択情報とほぼ同じとなる。図１０（ｄ）は、選択部４０５の出力例を示す図である。なお、選択部４０５は、処理画素が選択情報にて「１」の領域にあるとき、第一情報生成部４０３で生成された第一前景情報Ｍ１００を選択して出力する。また、選択部４０５は、処理画素が選択情報にて「０」の領域にあるとき、第二情報生成部４０４で生成された第二前景情報Ｍ２０１を選択して出力する。図１０（ｄ）に示すように、選択部４０５は、図１０（ｃ）に示される選択情報に基づき、図１０（ａ）に示される第一前景情報または図１０（ｂ）に示される第二前景情報を選択して出力することになる。よって、本実施形態の選択部４０５による出力は、図５（ｄ）の出力例とほぼ同じとなる。

［効果］
以上説明したように、本実施形態によれば、選択情報を予め設定することなく、入力画像から生成した選択情報に基づいて、第一前景情報または第二前景情報を選択して出力することができる。従って、例えば、フィールド上に特別に観客席領域が設けられる場合の様に撮像装置の画角内の構造物選択領域を設定出来ない場合に動的に対応可能となる。これにより、撮像画像の領域毎に、適した前景背景分離手法を適用することで不要な前景情報の生成を抑制し、必要な前景情報を分離することが出来る。結果として、前景情報をサーバなどの画像処理部に伝送して集約し仮想視点映像を生成するシステムにおいて、伝送コストを抑制しつつ必要な前景が欠けることのない仮想視点映像を生成可能となる。

［その他の実施形態］
また、上述の実施形態では、サッカーの試合を撮像する場合を例示したが、撮像対象は必ずしもこれに限定されない。例えば、ラグビー、テニス、アイススケート、バスケットボール等の他のスポーツの試合や、ライブ、コンサート等の演奏の撮影にも、本実施形態を適用することができる。

本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

４０３ 第一情報生成部
４０４ 第二情報生成部

Claims (11)

1. 撮像装置の撮像により取得される撮像画像を取得する取得手段と、
   前記撮像画像に対して、第一の前景を抽出するための第一領域と、前記第一の前景とは異なる第二の前景を抽出するための第二領域とを設定する設定手段と、
   前記撮像画像を構成するフレーム群のうち或るフレームについて、背景差分法またはフレーム差分法により、前記第一領域から前記第一の前景を抽出して第１前景画像を生成する第１生成手段と、
   前記或るフレームについて、フレーム差分法により、前記第二領域から前記第二の前景を抽出して第２前景画像を生成する第２生成手段と
   を有し、
   前記第１生成手段と前記第２生成手段が共にフレーム差分法を用いる場合のフレーム間隔は、前記第２生成手段の方が前記第１生成手段よりも短い、
   ことを特徴とする画像処理装置。
2. 前記設定手段は、
   前記撮像画像を構成するフレーム群において連続する２つのフレームについて前記フレーム差分法により、前記第一の前景を検出不可である領域に対して前記第一領域を設定し、
   前記撮像画像を構成するフレーム群において連続する２つのフレームについて前記フレーム差分法により、前記第二の前景を検出可能である領域に対して前記第二領域を設定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像画像を構成するフレーム群のうち或る連続する複数フレームについて、前記フレーム差分法により、動きが相対的に無いと判定された領域に対し前記第一領域および、動きが相対的にあると判定された領域に対し前記第二領域を設定するための選択画像を生成する第３生成手段をさらに備え、
   前記設定手段は、前記第３生成手段によって生成された前記選択画像を基に、前記第一領域及び前記第二領域のそれぞれを設定する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記設定手段は、ユーザによって前記第一領域に対応する領域及び前記第二領域に対応する領域が予め指定された選択画像に基づいて、前記第一領域及び前記第二領域を設定する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記選択画像は、前記撮像画像と同じサイズの画像であって、前記第一領域に対応する領域及び前記第二領域に対応する領域毎に選択する情報を１ビットで表す前記画像である
   ことを特徴とする請求項３または４に記載の画像処理装置。
6. 前記第１前景画像は、前記撮像画像に含まれ、動きが相対的に遅いオブジェクトに対応する領域を含む画像であり、
   前記第２前景画像は、前記撮像画像に含まれ、動きが相対的に速いオブジェクトに対応する領域を含む画像である
   ことを特徴とする請求項１から５の何れか一項に記載の画像処理装置。
7. 前記第１前景画像と、前記第２前景画像とを合成して、前記撮像画像に含まれるオブジェクトに対応する合成前景画像を生成する合成手段をさらに有することを特徴とする請求項１から６の何れか一項に記載の画像処理装置。
8. 前記第１生成手段と前記第２生成手段が共にフレーム差分法を用いる場合、
   前記第１生成手段は、前記或るフレームと、前記或るフレームの撮像時刻からの時間間隔が相対的に長い過去フレームとの差分から前記第１前景画像を生成し、
   前記第２生成手段は、前記或るフレームと、前記或るフレームの撮像時刻からの時間間隔が相対的に短い過去フレームとの差分から前記第２前景画像を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
9. 前記第一領域は、オブジェクトである人が競技を行うフィールドを示す領域であり、
   前記第二領域は、前記競技を観る観客がいる観客席を示す領域であることを特徴とする請求項１から８の何れか一項に記載の画像処理装置。
10. コンピュータを請求項１から９の何れか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
11. 撮像装置の撮像により取得される撮像画像を取得する取得工程と、
    前記撮像画像に対して、第一の前景を抽出するための第一領域と、前記第一の前景とは異なる第二の前景を抽出するための第二領域とを設定する設定工程と、
    前記撮像画像を構成するフレーム群のうち或るフレームについて、背景差分法またはフレーム差分法により、前記第一領域から前記第一の前景を抽出して第１前景画像を生成する第１生成工程と、
    前記或るフレームについて、フレーム差分法により、前記第二領域から前記第二の前景を抽出して第２前景画像を生成する第２生成工程と
    を含み、
    前記第１生成工程と前記第２生成工程にて共にフレーム差分法を用いる場合のフレーム間隔は、前記第２生成工程の方が前記第１生成工程よりも短い、
    ことを特徴とする画像処理方法。

Images