JP7797160B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本開示は、３次元形状データを生成する技術に関する。

多視点から撮像することにより得た複数の撮像画像のそれぞれからオブジェクトに対応する領域を示すシルエット画像を生成し、各シルエット画像を用いて３次元形状データ化する手法がある。しかし、前処理として行うシルエット画像の生成では、撮像画像におけるオブジェクト領域のうち、背景色と類似する色の部位が誤って背景として判定される等の誤判定により、シルエット画像が示すオブジェクト領域に欠損が生じてしまうことがある。このような場合、オブジェクト領域に欠損を含むシルエット画像に基づいて生成した３次元形状データにも、当該欠損の形状に対応する断面を持つ貫通孔状の欠損（以下「欠損部」という。）が生じてしまう。

特許文献１には、画像処理による修正を行うことで、このような３次元形状データの欠損を修正する技術が開示されている。具体的には、特許文献１に開示された技術は、３次元形状データの各ｘｙｚ平面のスライス画像にメディアンフィルタ等のフィルタ処理を行うことにより、３次元形状データの欠損部を穴埋めしてボリュームデータの修正を行うものである。

特開２０１１－４８６２７号公報

特許文献１に開示された技術は、３次元形状データの修正の際に、空間に対して一様にフィルタ処理を行うものである。そのため、３次元形状データにおける欠損が生じていない部分についてもフィルタ処理を行ってしまう。したがって、特許文献１に開示された技術では、３次元形状データにおける欠損が生じていない部分に悪影響を生じさせてしまう。

本開示は、このような問題点を解決するためのものであり、３次元形状データにおける欠損部を適切に修正することができる画像処理装置を提供することを目的としている。

本開示に係る画像処理装置は、複数の視点のそれぞれのカメラパラメータと、カメラパラメータ及び複数の視点のそれぞれからの撮像により得られた複数の撮像画像に基づいて生成された、オブジェクトの形状を示す３次元形状データとを取得する取得手段と、３次元形状データに含まれる複数の要素のうち、オブジェクトの表面に対応する複数の要素を選択する選択手段と、カメラパラメータに基づいて、選択手段により選択された複数の要素のそれぞれについて複数の視点それぞれから視認可能な視点の個数を特定する視点特定手段と、視点特定手段により特定された視点の個数に基づいて、選択された複数の要素のうちから処理対象の要素を特定する要素特定手段と、処理対象の要素に基づいて、３次元形状データを修正する修正手段と、を有する。

本開示によれば、３次元形状データの欠損部を適切に修正することができる。

第１実施形態に係る画像処理装置の構成の一例を表すブロック図である。 第１実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 第１実施形態に係る画像処理装置の処理フローの一例を示すフローチャートである。 第１実施形態に係る画像処理装置の処理によって変化する形状データの態様を模式的に表現した模式図である。 第２実施形態に係る画像処理装置の処理フローの一例を示すフローチャートである。 第２実施形態に係る画像処理装置の処理によって変化する形状データの態様を模式的に表現した模式図である。 第２実施形態に係る対象特定部の処理を説明するための説明図である。 第３実施形態に係る画像処理装置の処理フローの一例に示すフローチャートである。 第３実施形態に係る画像処理装置の処理によって変化する形状データの態様を模式的に表現した模式図である。

以下、添付の図面を参照して、本開示の実施の形態について詳細に説明する。なお、以下の実施の形態に示す構成は一例に過ぎず、本開示の範囲をその構成のみに限定するものではない。

［第１実施形態］
図１乃至４を参照して、第１実施形態に係る画像処理装置１００について説明する。図１を参照して第１実施形態に係る画像処理装置１００の機能ブロックの構成について説明する。図１は、第１実施形態に係る画像処理装置１００の機能ブロックの構成の一例を表すブロック図である。画像処理装置１００は、情報取得部１０１、表面選択部１０２、可視性判定部１０３、対象特定部１０４、及び形状修正部１０５を備える。

情報取得部１０１は、複数の撮像装置のそれぞれのカメラパラメータと、カメラパラメータ及び複数の撮像装置のそれぞれによる撮像により得られた複数の撮像画像に基づいて生成されたオブジェクトの形状を示す３次元形状データを取得する。具体的には、情報取得部１０１は、３次元形状データとして、各撮像画像に写るオブジェクトのシルエット画像を用いて視体積交差法（「ｓｈａｐｅ ｆｒｏｍ ｓｉｌｈｏｕｅｔｔｅ法」ともいう。）により生成された３次元形状データを取得する。また、情報取得部１０１は、カメラパラメータとして、上述のシルエット画像の得るために用いた撮像装置の位置、向き、及び視野角のそれぞれを示す情報を含むカメラパラメータを取得する。

以下、情報取得部１０１は、３次元形状データとして、ボリュームデータを取得するものとして説明する。ここで、ボリュームデータとは、３次元空間に設定された外接矩形（「バウンディングボックス」ともいう。）の内部をグリッド状に複数の単位領域に区切った複数の単位要素により構成されるデータ表現のことである。また、この単位要素の１つ１つをボクセルといい、各ボクセルは、３次元空間におけるオブジェクトの物理的な実体（以下、単に「オブジェクト」という。）の内部に存在するか否かを示す包含情報（以下「ボクセル値」という。）が設定されている。ボクセル値は、２値、多値、又は連続値を取り得る。本開示では、一例として、ボクセル値が２値であるものとして説明する。また、以下、ボクセル値が１であるボクセルは、その一部又は全部がオブジェクトの内部に存在するものとして、当該ボクセルをＯＮボクセルと称して説明する。また、以下、ボクセル値が０であるボクセルは、その全部がオブジェクトの内部に存在してないもの、すなわち、その全部がオブジェクトの外部に存在しているものとして、当該ボクセルをＯＦＦボクセルと称して説明する。

表面選択部１０２は、情報取得部１０１により取得された３次元形状データに含まれる複数の単位要素のうち、オブジェクトの表面に対応する複数の単位要素を複数の表面単位要素として選択する。すなわち、表面選択部１０２は、情報取得部１０１により取得されたボリュームデータに含まれる複数のボクセルのうち、オブジェクトの表面に対応する複数のボクセルを複数の表面ボクセルとして選択する。ここで、表面ボクセルとは、互いに隣接するボクセル同士がオブジェクトの内部に存在するＯＮボクセルと、オブジェクトの外部に存在するＯＦＦボクセルである２つのボクセルのうちのいずれかを指す。以下、表面選択部１０２は、一例として、当該２つのボクセルのうち、ＯＮボクセルを表面ボクセルとして選択するものとして説明する。

可視性判定部１０３は、情報取得部１０１により取得されたカメラパラメータに基づいて、複数の表面単位要素のそれぞれについて複数の撮像装置のそれぞれに対応する視点から視認可能（以下「可視」という。）である否かを判定する。すなわち、可視性判定部１０３は、カメラパラメータに基づいて、複数の表面ボクセルのそれぞれについて複数の撮像装置のそれぞれに対応する視点から可視である否かを判定する。可視性判定部１０３は、判定の結果を示す情報（以下「可視性情報」という。）を生成する。ここで、可視とは、あるボクセルがある視点からの画角の内側にあり、且つ、当該視点と当該ボクセルとを結ぶ線分が他のＯＮボクセルによって遮られていない状態を指す。具体的には、例えば、可視性判定部１０３は、ある視点からのボリュームデータの表面に対応するデプス画像を取得し、判定対象の表面ボクセルを当該デプス画像に投影して、表面ボクセルとデプス画像における画素とを対応付ける。更に、可視性判定部１０３は、当該視点と表面ボクセルとの間の距離と、当該表面ボクセルに対応付けられた画素のデプス値とを比較することにより可視である否かを判定する。可視性判定部１０３は、当該判定により、表面ボクセル毎に、表面ボクセルが可視である視点の数（以下「可視視点数」という。）を特定して、各表面ボクセルの可視視点数を示す可視性情報を生成する。

対象特定部１０４は、可視性判定部１０３により可視であると判定された視点数に基づいて、複数の表面単位要素のうちから処理対象の表面単位要素を特定する。具体的には、対象特定部１０４は、複数の表面単位要素のうちの、可視性判定部１０３により可視であると判定された視点数が予め定められた数以下である表面単位要素を、処理対象の表面単位要素として特定する。すなわち、対象特定部１０４は、可視性判定部１０３が生成した可視性情報に基づいて、表面選択部１０２が選択した複数の表面ボクセルの中から、処理対象のボクセル（以下「対象ボクセル」という。）を特定する。具体的には、例えば、対象特定部１０４は、複数の表面ボクセルの中から、可視性情報が示す可視視点数が予め定められた数以下である表面ボクセルを対象ボクセルとして特定する。以下、対象特定部１０４は、ＯＮボクセルである表面ボクセルの中から、可視視点数が０であるボクセルを対象ボクセルとして特定するものとして説明する。

形状修正部１０５は、対象特定部１０４により特定された処理対象の表面単位要素に基づいて、３次元形状データを修正する。すなわち、形状修正部１０５は、対象特定部１０４により特定された対象ボクセルに基づいて、情報取得部１０１が取得したボリュームデータの形状を修正し、修正後のボリュームデータを修正ボリュームデータとして取得する。具体的には、例えば、形状修正部１０５は、対象ボクセルの周辺のＯＦＦボクセルをＯＮボクセルに変換することにより、ボリュームデータの形状の修正を行う。

画像処理装置１００が備える各部の処理は、画像処理装置１００に内蔵されたＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアによってなされる。画像処理装置１００が備える各部の処理は、画像処理装置１００に内蔵されたＦＰＧＡ（Field Programmable Gate Array）等のハードウェアによってなされてもよい。また、当該処理は、ＣＰＵ（Central Processor Unit）若しくはＧＰＵ（Graphic Processor Unit）、及びメモリを用いたソフトウエアによってなされてもよい。

図２を参照して、画像処理装置１００が備える各部がソフトウエアとして動作する場合の画像処理装置１００のハードウェア構成について説明する。図２は、第１実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。画像処理装置１００は、コンピュータにより構成されており、当該コンピュータは、図２に一例として示すようにＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、補助記憶装置２０４、表示部２０５、操作部２０６、通信部２０７、及びバス２０８を有している。

ＣＰＵ２０１は、ＲＯＭ２０２又はＲＡＭ２０３に格納されているプログラム又はデータを用いて当該コンピュータを制御することにより、当該コンピュータを図１に示す画像処理装置１００が備える各部として機能させる。なお、画像処理装置１００は、ＣＰＵ２０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ、ＦＰＧＡ、及びＤＳＰ（デジタルシグナルプロセッサ）等がある。ＲＯＭ２０２は、変更を必要としないプログラム等を格納する。ＲＡＭ２０３は、補助記憶装置２０４から供給されるプログラム若しくはデータ、又は通信部２０７を介して外部から供給されるデータ等を一時記憶する。補助記憶装置２０４は、例えばハードディスクドライブ等で構成され、画像データ又は音声データ等の種々のデータを記憶する。

表示部２０５は、例えば液晶ディスプレイ又はＬＥＤ等により構成され、ユーザが画像処理装置１００を操作又は閲覧するためのＧＵＩ（Graphical User Interface）等を表示する。操作部２０６は、例えばキーボード、マウス、又はタッチパネル等により構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２０１に入力する。ＣＰＵ２０１は、表示部２０５を制御する表示制御部、及び操作部２０６を制御する操作制御部としても動作する。通信部２０７は、画像処理装置１００の外部の装置との通信に用いられる。例えば、画像処理装置１００が外部の装置と有線接続される場合には、通信用のケーブルが通信部２０７に接続される。画像処理装置１００が外部の装置と無線通信する機能を有する場合には、通信部２０７はアンテナを備える。バス２０８は、画像処理装置１００の備える各部をつないで情報を伝達する。第１実施形態では、表示部２０５及び操作部２０６は、画像処理装置１００の内部に存在するものとして説明するが、表示部２０５及び操作部２０６の少なくとも一方は、画像処理装置１００の外部に別の装置として存在していてもよい。

図３及び４を参照して、画像処理装置１００の動作について説明する。図３は、第１実施形態に係る画像処理装置１００の処理フローの一例を示すフローチャートである。図４は、第１実施形態に係る画像処理装置１００の処理によって変化する形状データの態様を模式的に表現した模式図である。なお、以下の説明において記号「Ｓ」はステップを意味する。

まず、Ｓ３０１にて、情報取得部１０１は、ボリュームデータ４０２ａ及びカメラパラメータ４０２ｂを取得する。ここで、ボリュームデータ４０２ａは、一例として、断面が楕円形のオブジェクト４０１ａを複数の視点から撮像された各撮像画像に基づいて作成されたシルエット画像を用いて、視体積交差法により算出されたボリュームデータを示している。また、このオブジェクト４０１ａにおける表面の一部である領域４０１ｂは、例示のために、複数の視点のうちの１つである視点４０１ｃから撮像された撮像画像の前景背景分離において、誤って背景と判定された領域を示している。誤って背景と判定された領域により、視点４０１ｃから撮像された撮像画像のシルエット画像は、領域４０１ｂに対応する領域が背景を示すものとなる。結果として、ボリュームデータ４０２ａには、当該領域の形状に対応する断面を持つ貫通孔状の欠損部が生じている。

次に、Ｓ３０２にて、表面選択部１０２は、Ｓ３０１にて取得されたボリュームデータ４０２ａのＯＮボクセルの中から、複数の表面ボクセル４０３を選択する。具体的には、例えば、表面選択部１０２は、ＯＮボクセルであり、且つ、当該ＯＮボクセルが有する６面のそれぞれ隣接する６個のボクセルのうちの少なくとも１個がＯＦＦボクセルであるボクセルを表面ボクセルとして選択する。なお、表面選択部１０２は、ＯＮボクセルがバウンディングボックスに隣接する場合、バウンディングボックスの外周には、ＯＦＦボクセルが存在するものとして表面ボクセルの選択を行うものとする。次に、Ｓ３０３にて、可視性判定部１０３は、Ｓ３０２にて選択された各表面ボクセル４０３について、Ｓ３０１にて取得されたカメラパラメータ４０２ｂを用いて、撮像画像が撮像された各視点から可視であるか否かを判定する。当該判定により、可視性判定部１０３は、各表面ボクセル４０３の可視視点数を示す可視性情報４０４ａを生成する。

次に、Ｓ３０４にて、対象特定部１０４は、Ｓ３０３にて生成された可視性情報４０４ａに基づいて、可視視点数が０である表面ボクセルを対象ボクセルとして特定する。次に、Ｓ３０５にて、形状修正部１０５は、Ｓ３０４にて特定された対象ボクセルに基づいて、Ｓ３０１にて取得されたボリュームデータ４０２ａの形状を修正して、修正ボリュームデータ４０６を取得する。具体的には、例えば、形状修正部１０５は、各対象ボクセルに対して２ボクセル分の膨張処理等の予め定められた膨張処理を行ってＯＦＦボクセルをＯＮボクセルに変換する。形状修正部１０５は、膨張処理後のボリュームデータ４０５を修正ボリュームデータ４０６として取得し、取得した修正ボリュームデータ４０６を外部に出力する。Ｓ３０５の後、画像処理装置１００は、図３に示すフローチャートの処理を終了する。

以上のように、第１実施形態に係る画像処理装置１００によれば、対象ボクセルの周辺のＯＦＦボクセルのみをＯＮボクセルに変換することができるため、ボリュームデータの欠損部を選択的に修正することができる。

なお、第１実施形態では、処理対象のボリュームデータはボクセル値が２値のボクセルにより構成されたものとして説明したが、上述したように、ボクセル値は、多値又は連続値であってもよい。ボクセル値が多値又は連続値である場合、例えば、表面選択部１０２は、予め定められた閾値とボクセル値とを比較することによりオブジェクトの表面に対応する表面ボクセルを選択する。ここで、閾値は、表面選択部１０２が予め保持したものであっても、情報取得部１０１がＲＯＭ２０２等から読み出して取得したものであってもよい。また、可視性判定部１０３も同様に、ボクセル値が多値又は連続値である場合、例えば、予め定められた閾値とボクセル値とを比較することにより当該ボクセルが上述の線分を遮るか否かを判定することにより、表面ボクセルについて可視であるか否か判定する。

また、第１実施形態では、処理対象のボリュームデータを視体積交差法によって生成されたものとして説明したが、複数の視点からの撮像により得られた撮像画像からボリュームデータを生成する手法であれば、視体積交差法に限定されるものではない。具体的には、例えば、ボリュームデータは、複数の視点からデプスカメラによる撮像により得られた複数のデプスマップ画像を用いて作成されてもよい。複数のデプスマップ画像を用いたボリュームデータの作成は、３次元形状の表現方法であるＴＳＤＦ（Truncated Signed Distance Function）法を用いることにより行うことができる。また、例えば、複数の視点からの撮像により得られた各撮像画像の特徴量を取得し、取得した特徴量から３次元点群を作成するＰＭＶＳ（Patch-based Multi View Stereo）法を用いて点群を取得する。更に、取得した点群をボリュームデータに変換することにより、ボリュームデータを作成してもよい。

また、第１実施形態では、情報取得部１０１は、予め生成されたボリュームデータを取得するものとして説明したが、情報取得部１０１は、ボリュームデータに替えて、複数の視点からの撮像により得られた撮像画像を取得してもよい。この場合、情報取得部１０１は、取得した撮像画像に基づいてボリュームデータを生成することによりボリュームデータを取得する。

例えば、情報取得部１０１は、取得した各撮像画像に対して前景背景分離を行うことにより、各撮像画像に対応するシルエット画像を生成する。更に、生成したシルエット画像を用いて視体積交差法によりボリュームデータを生成し、ボリュームデータを取得する。情報取得部１０１は、複数の視点からの撮像により得られたデプス画像又はＲＧＢ画像等の２次元画像を取得し、取得した２次元画像に基づいてボリュームデータを生成することによりボリュームデータを取得してもよい。具体的には、例えば、情報取得部１０１がデプス画像を取得する場合、情報取得部１０１は、ＴＳＤＦ法を利用することによりボリュームデータを生成することができる。また、情報取得部１０１がＲＧＢ画像を取得する場合、情報取得部１０１は、ＰＭＶＳ法を利用することによりボリュームデータを生成することができる。

［第２実施形態］
図５乃至７を参照して、第２実施形態に係る画像処理装置１００について説明する。第１実施形態に係る画像処理装置１００は、可視視点数が０である表面ボクセルの全てを対象ボクセルとして特定し、特定した対象ボクセルに対して膨張処理を行うものであった。これに対して、第２実施形態に係る画像処理装置１００（以下、単に「画像処理装置１００」という。）は、可視視点数が０である表面ボクセルのうち、バウンディングボックス付近の表面ボクセルを対象ボクセルから除外する処理が追加されたものである。また、画像処理装置１００は、膨張処理によりＯＮボクセルに変更されたボクセルに対しての収縮処理が追加されたものである。更に、画像処理装置１００は、取得した修正ボリュームデータに基づいてシルエット画像を生成し、生成したシルエット画像を用いてボリュームデータを生成する処理が追加されたものである。

画像処理装置１００は、第１実施形態に係る画像処理装置１００と同様に、図１に一例として示す情報取得部１０１、表面選択部１０２、可視性判定部１０３、対象特定部１０４、及び形状修正部１０５を備える。なお、第２実施形態に係る情報取得部１０１、表面選択部１０２、及び可視性判定部１０３は、第１実施形態に係る情報取得部１０１、表面選択部１０２、及び可視性判定部１０３と同様のものであるため、説明を省略する。以下、第２実施形態に係る情報取得部１０１、表面選択部１０２、可視性判定部１０３、対象特定部１０４、及び形状修正部１０５を、単に情報取得部１０１、表面選択部１０２、可視性判定部１０３、対象特定部１０４、及び形状修正部１０５と称して説明する。

対象特定部１０４は、処理対象の単位要素を特定する。具体的には、まず、対象特定部１０４は、第１実施形態に係る対象特定部１０４と同様に、可視性情報４０４ａに基づいて、表面ボクセルの中から可視視点数が０である表面ボクセルを対象ボクセルとして特定する。次に、対象特定部１０４は、特定した処理対象の表面単位要素のうち、３次元空間に予め設定された外接矩形からの距離が予め定められた閾値以下である単位要素を処理対象の表面単位要素から除外する。具体的には、対象特定部１０４は、特定した対象ボクセルのうち、ボリュームデータのバウンディングボックス周辺のボクセルを非対象のボクセル（以下「非対象ボクセル」という。）として対象ボクセルから除外する。すなわち、対象特定部１０４は、可視視点数が０である表面ボクセルの中から非対象ボクセルを除外した表面ボクセルを対象ボクセルとして特定する。

形状修正部１０５は、対象特定部１０４により特定された処理対象の表面単位要素に基づいて、３次元形状データを修正する。すなわち、形状修正部１０５は、対象特定部１０４により特定された対象ボクセルに基づいて、情報取得部０１０１が取得したボリュームデータの形状を修正する。具体的には、まず、形状修正部１０５は、第１実施形態に係る形状修正部１０５と同様に、対象ボクセルの周辺のＯＦＦボクセルをＯＮボクセルに変換する膨張処理を行う。次に、形状修正部１０５は、当該変換によってＯＮボクセルに変換されたボクセルを対象として収縮処理を行うことにより、ボリュームデータの形状の修正処理を行う。このような収縮処理を行うことにより、ボリュームデータの欠損部でない表面ボクセルが局所的に対象ボクセルとして特定されていた場合に、当該対象ボクセルを対象とした膨張処理による修正の影響を低減することができる。例えば、形状修正部１０５は、収縮処理後のボリュームデータを修正後の修正ボリュームデータとして取得する。

また、形状修正部１０５は、処理対象の表面単位要素に基づいて３次元形状データを修正するのに加えて、修正後の３次元形状データに基づいて、新たな３次元形状データを生成してもよい。すなわち、形状修正部１０５は、ボリュームデータの修正後に、修正ボリュームデータに基づいて、新たなボリュームデータを生成してもよい。具体的には、まず、形状修正部１０５は、修正ボリュームデータを用いて、複数の視点のそれぞれから修正ボリュームデータが示すオブジェクトを見たときのシルエット画像を生成する。ここでいう複数の視点のそれぞれは、例えば、上述の各撮像画像を撮像した位置に対応するものである。形状修正部１０５により生成されたシルエット画像は、上述の各撮像画像に対応するシルエット画像において、欠損部が修正されたものとなる。次に、形状修正部１０５は、生成したシルエット画像をボリュームデータの３次元空間に投射し、オブジェクトの内部でない領域、すなわち、オブジェクトの外部の領域（以下「非オブジェクト領域」という。）をＯＦＦボクセルとしたボリュームデータを新たに生成する。以上のような処理より、形状修正部１０５は、欠損部が修正されたシルエット画像を用いて新たに生成したボリュームデータを取得することができる。形状修正部１０５は、このように新たに生成したボリュームデータを修正ボリュームデータとして取得してもよい。

図５乃至７を参照して、画像処理装置１００の動作について説明する。図５は、第２実施形態に係る画像処理装置１００の処理フローの一例を示すフローチャートである。図６は、第２実施形態に係る画像処理装置１００が備える可視性判定部１０３、対象特定部１０４、及び形状修正部１０５の処理によって変化する形状データの態様を模式的に表現した模式図である。図７は、第２実施形態に係る対象特定部１０４の処理を説明するための説明図である。なお、以下の説明において記号「Ｓ」はステップを意味する。またなお、図５及び図６において、図３又は図４と同一の符号を付したものについては説明を省略する。

まず、画像処理装置１００は、Ｓ３０１からＳ３０３までの処理を実行する。Ｓ３０３の後、Ｓ５０１にて、対象特定部１０４は、Ｓ３０３にて生成され可視性情報４０４ａに基づいて、可視視点数が０である表面ボクセルを対象ボクセルとして特定する。次に、Ｓ５０２にて、対象特定部１０４は、特定した各対象ボクセルについてボリュームデータのバウンディングボックスからの最短の距離を算出し、算出した距離が予め定められた閾値以下であるボクセルを対象ボクセルから除外する。このような処理により、接地面を含むボリュームデータ７０１における表面ボクセル７０２の中から、処理対象外のボクセルである非対象ボクセル７０３を決定することができる。具体的には、このような処理により、ボリュームデータ７０１において欠損部である可視性の低い足の裏等の領域に対応するボクセルを非対象ボクセル７０３として、形状修正部１０５による修正処理の対象から除外することができる。

次に、Ｓ５０３にて、形状修正部１０５は、Ｓ５０２にて特定された対象ボクセルに基づいて、膨張処理及び収縮処理を行って、Ｓ３０１にて取得されたボリュームデータ４０２ａの形状を修正する。具体的には、まず、形状修正部１０５は、第１実施形態に係る形状修正部１０５と同様に、Ｓ５０２にて特定された対象ボクセルに基づいて、膨張処理を行ってＯＦＦボクセルをＯＮボクセルに変換し、膨張処理後のボリュームデータ４０５を取得する。次に、形状修正部１０５は、取得したボリュームデータ４０５において当該膨張処理によりＯＮボクセルに変換されたボクセルを対象とする収縮処理６０６を行い、収縮処理後のボリュームデータ６０７を取得する。このように膨張処理と収縮処理とを行うことにより、ボリュームデータの欠損部でない表面ボクセルが対象ボクセルとして特定された場合であっても、膨張処理による修正の影響を収縮処理により低減することができる。形状修正部１０５は、例えば、取得したボリュームデータ６０７を第１の修正ボリュームデータとして外部に出力する。

次に、Ｓ５０４にて、形状修正部１０５は、Ｓ３０１にて取得されたカメラパラメータとＳ５０３にて取得した収縮処理後のボリュームデータ６０７とを用いて、複数の視点のそれぞれからボリュームデータ６０７を見たときのシルエット画像６０８を生成する。次に、Ｓ５０５にて、形状修正部１０５は、Ｓ５０４にて生成したシルエット画像６０８を用いて、ボリュームデータ６０９を新たに生成する。このような処理より、形状修正部１０５は、欠損部が修正されたシルエット画像を用いて新たに生成したボリュームデータを取得することができる。形状修正部１０５は、例えば、新たに生成したボリュームデータ６０９を第２の修正ボリュームデータとして外部に出力する。

以上のように、第２実施形態に係る画像処理装置１００によれば、ボリュームデータの欠損部を選択的に修正することができる。

［第３実施形態］
図８及び９を参照して、第３実施形態に係る画像処理装置１００について説明する。第１実施形態に係る画像処理装置１００は、表面ボクセルとしてＯＮボクセルを選択し、可視視点数が０である表面ボクセルを対象ボクセルとして特定し、対象ボクセルの周辺のＯＦＦボクセルをＯＮボクセルに変換するものであった。これに対して、第３実施形態に係る画像処理装置１００（以下、単に「画像処理装置１００」という。）は、表面ボクセルとしてＯＦＦボクセルを選択し、可視視点数が０又は１である表面ボクセルを対象ボクセルとして特定するものである。また、画像処理装置１００は、ＯＦＦボクセルである対象ボクセルをＯＮボクセルに変換するものである。

画像処理装置１００は、第１実施形態に係る画像処理装置１００と同様に、図１に一例として示す情報取得部１０１、表面選択部１０２、可視性判定部１０３、対象特定部１０４、及び形状修正部１０５を備える。なお、第３実施形態に係る情報取得部１０１及び可視性判定部１０３は、第１実施形態に係る情報取得部１０１及び可視性判定部１０３と同様のものであるため、説明を省略する。以下、第３実施形態に係る情報取得部１０１、表面選択部１０２、対象特定部１０４、及び形状修正部１０５を、単に情報取得部１０１、表面選択部１０２、対象特定部１０４、及び形状修正部１０５と称して説明する。

表面選択部１０２は、第１実施形態に係る表面選択部１０２と同様に、情報取得部１０１にて取得されたボリュームデータに含まれる複数のボクセルのうち、複数の表面ボクセルを選択する。ここで、表面選択部１０２が選択する表面ボクセルは、互いに隣接するボクセル同士がＯＮボクセルとＯＦＦボクセルである２つのボクセルのうちのＯＦＦボクセルである。対象特定部１０４は、第１実施形態に係る対象特定部１０４と同様に、可視性情報に基づいて、可視視点数が予め定められた数以下である表面ボクセルを対象ボクセルとして特定する。具体的には、対象特定部１０４は、ＯＦＦボクセルである表面ボクセルの中から、可視視点数が１以下である、すなわち、可視視点数が０又は１であるボクセルを対象ボクセルとして特定する。

形状修正部１０５は、対象特定部１０４により特定された対象ボクセルに基づいて、情報取得部０１０１が取得したボリュームデータの形状を修正する。具体的には、形状修正部１０５は、ＯＦＦボクセルである対象ボクセルをＯＮボクセルに変換することによりボリュームデータの形状の修正処理を行い、修正ボリュームを取得する。形状修正部１０５は、対象ボクセルをＯＮボクセルに変換するのに加えて、対象ボクセルの周辺のＯＦＦボクセルをＯＮボクセルに変換する膨張処理を行うことにより、ボリュームデータの形状の修正処理を行い、修正ボリュームを取得してもよい。

図８及び９を参照して、画像処理装置１００の動作について説明する。図８は、第３実施形態に係る画像処理装置１００の処理フローの一例を示すフローチャートである。図９は、第３実施形態に係る画像処理装置の処理によって変化する形状データの態様を模式的に表現した模式図である。なお、以下の説明において記号「Ｓ」はステップを意味する。またなお、図８及び９において、図３又は図４と同一の符号を付したものについては説明を省略する。

まず、画像処理装置１００は、Ｓ３０１の処理を実行する。Ｓ３０１の後、Ｓ８０２にて、表面選択部１０２は、Ｓ３０１にて取得されたボリュームデータ４０２ａのＯＦＦボクセルの中から、オブジェクトの表面に対応する複数のＯＦＦボクセル９０１を選択する。次に、Ｓ８０３にて、可視性判定部１０３は、Ｓ８０２にて選択された各表面ボクセル９０１について、Ｓ３０１にて取得されたカメラパラメータ４０２ｂを用いて、撮像画像が撮像された各視点から可視であるか否かを判定する。当該判定により、可視性判定部１０３は、各表面ボクセル９０１の可視視点数を示す可視性情報９０２を生成する。

次に、Ｓ８０４にて、対象特定部１０４は、Ｓ８０３にて生成された可視性情報９０２に基づいて、可視視点数が０又は１である表面ボクセルを対象ボクセルとして特定する。次に、Ｓ８０５にて、形状修正部１０５は、Ｓ８０４にて特定された対象ボクセルに基づいて、ＯＦＦボクセルである対象ボクセル９０３をＯＮボクセルに変換する。形状修正部１０５は、当該変換により、Ｓ３０１にて取得されたボリュームデータ４０２ａの形状を修正し、修正後のボリュームデータを修正ボリューム９０４として外部に出力する。Ｓ８０５の後、画像処理装置１００は、図８に示すフローチャートの処理を終了する。

以上のように、第３実施形態に係る画像処理装置１００によれば、ＯＦＦボクセルである対象ボクセルのみ、又は、対象ボクセル及び対象ボクセルの周辺のＯＦＦボクセルのみをＯＮボクセルに変換することができる。そのため、ボリュームデータの欠損部を選択的に修正することができる。

［その他の実施形態］
本開示は、上述の実施形態の１つ以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１つ以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、本開示はその開示の範囲内において、各実施形態の自由な組み合わせ、各実施形態の任意の構成要素の変形、又は、各実施形態において任意の構成要素の省略が可能である。

１００ 画像処理装置
１０１ 情報取得部
１０２ 表面選択部
１０３ 可視性判定部
１０４ 対象特定部
１０５ 形状修正部

Claims (14)

1. 複数の視点のそれぞれのカメラパラメータと、前記カメラパラメータ及び前記複数の視点のそれぞれからの撮像により得られた複数の撮像画像に基づいて生成された、オブジェクトの形状を示す３次元形状データとを取得する取得手段と、
   前記３次元形状データに含まれる複数の要素のうち、前記オブジェクトの表面に対応する複数の要素を選択する選択手段と、
   前記カメラパラメータに基づいて、前記選択手段により選択された複数の要素のそれぞれについて前記複数の視点それぞれから視認可能な視点の個数を特定する視点特定手段と、
   前記視点特定手段により特定された前記視点の個数に基づいて、前記選択された複数の要素のうちから処理対象の要素を特定する要素特定手段と、
   前記処理対象の要素に基づいて、前記３次元形状データを修正する修正手段と、
   を有すること
   を特徴とする画像処理装置。
2. 前記要素特定手段は、前記選択された複数の要素のうちの、前記視点特定手段により特定された前記視点の個数が予め定められた数以下である要素を、前記処理対象の要素として特定すること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記修正手段は、修正後の３次元形状データに基づいて、前記複数の視点に対応する、前記オブジェクトの領域を示す複数のシルエット画像を生成すること
   を特徴とする請求項１又は２に記載の画像処理装置。
4. 前記修正手段は、前記修正後の３次元形状データを前記複数の視点のそれぞれに投影することにより前記複数のシルエット画像を生成すること
   を特徴とする請求項３に記載の画像処理装置。
5. 前記修正手段は、生成した前記複数のシルエット画像のそれぞれを３次元空間に投射することにより、３次元形状データを生成すること
   を特徴とする請求項３又は４に記載の画像処理装置。
6. 前記要素特定手段は、前記要素特定手段により特定された前記処理対象の要素のうち、３次元空間に予め設定された外接矩形からの距離が予め定められた閾値以下である要素を前記処理対象の要素から除外すること
   を特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記３次元形状データは、前記複数の要素のそれぞれがボクセルであるボリュームデータであること
   を特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記選択された複数の要素のそれぞれは、前記オブジェクトの表面に対応する、ボクセル値が１のボクセルであるＯＮボクセルであり、
   前記要素特定手段は、前記選択された複数の要素のうちの、前記視点特定手段により特定された前記視点の個数が０である要素を、前記処理対象の要素として特定すること
   を特徴とする請求項７に記載の画像処理装置。
9. 前記選択された複数の要素は、前記オブジェクトの表面に対応する、ボクセル値が０のボクセルであるＯＦＦボクセルであり、
   前記要素特定手段は、前記選択された複数の要素のうちの、前記視点特定手段により特定された前記視点の個数が１以下である要素を、前記処理対象の要素として特定すること
   を特徴とする請求項７に記載の画像処理装置。
10. 前記修正手段は、前記処理対象の要素を、ボクセル値が１のボクセルであるＯＮボクセルに変換することにより、前記取得手段により取得された前記３次元形状データを修正すること
    を特徴とする請求項９に記載の画像処理装置。
11. 前記修正手段は、前記処理対象の要素の周辺の要素のうち、ボクセル値が０のボクセルであるＯＦＦボクセルである要素を前記ＯＮボクセルに変換することにより、前記取得手段により取得された前記３次元形状データを修正すること
    を特徴とする請求項８又は１０に記載の画像処理装置。
12. 前記修正手段は、前記ＯＦＦボクセルである要素を前記ＯＮボクセルに変換し、当該ＯＮボクセルに変換された要素のうち前記オブジェクトの表面に対応する前記処理対象の要素を前記ＯＮボクセルから前記ＯＦＦボクセルに変換すること
    を特徴とする請求項１１に記載の画像処理装置。
13. 複数の視点のそれぞれのカメラパラメータと、前記カメラパラメータ及び前記複数の視点のそれぞれからの撮像により得られた複数の撮像画像に基づいて生成された、オブジェクトの形状を示す３次元形状データとを取得する取得工程と、
    前記３次元形状データに含まれる複数の要素のうち、前記オブジェクトの表面に対応する複数の要素を選択する選択工程と、
    前記カメラパラメータに基づいて、前記選択工程により選択された複数の要素のそれぞれについて前記複数の視点それぞれから視認可能な視点の個数を特定する視点特定工程と、
    前記視点特定工程により特定された前記視点の個数に基づいて、前記選択された複数の要素のうちから処理対象の要素を特定する要素特定工程と、
    前記処理対象の要素に基づいて、前記３次元形状データを修正する修正工程と、
    を有すること
    を特徴とする画像処理方法。
14. コンピュータを、請求項１乃至１２のいずれか１項に記載の装置として動作させるためのプログラム。