JP3579162B2

JP3579162B2 - 立体ｃｇ画像生成装置

Info

Publication number: JP3579162B2
Application number: JP720996A
Authority: JP
Inventors: 謙也魚森; 雅通中川; 森村　　淳
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1995-06-29
Filing date: 1996-01-19
Publication date: 2004-10-20
Anticipated expiration: 2016-01-19
Also published as: JPH0974573A

Description

【０００１】
【発明の属する技術分野】
本発明は、３次元構造情報から生成した２次元画像を立体表示して立体視を可能とするための立体ＣＧ画像生成装置に関するものである。
【０００２】
【従来の技術】
従来の立体ＣＧ画像生成装置は、例えば図１０に示すようなものがある。これは、物体の３次元形状をサーフェスモデルで記述した３次元構造情報（物体を複数の小面（ポリゴン）で近似し、各ポリゴンに含まれる頂点の３次元位置と各ポリゴンにより合成される面、稜線を定義した情報）を入力とし、これで定義された物体をワールド座標系に配置する。これを仮想的なカメラで撮像した時にフイルムに投影される物体の２次元位置を投影変換部１，２で計算し、更にレンダリング部３，４で各ポリゴン内部の画像の輝度と色（例えば、Ｒ、Ｇ、Ｂの値）を物体の材質や光源の種類、３次元位置により決定する。
【０００３】
例えば、図１１（ａ）に示すような多面体の形状モデルは、図１１（ｂ）に示すように、頂点Ｖ１〜Ｖ８の３次元座標、形状モデルのデータ構造（面、稜線の構成）で記述され、この情報で記述される物体を図１２（ａ）に示すようなワールド座標系に配置する。この時、カメラの視点Ｅから見た物体のスクリーン５０に投影される像（頂点）を計算する。そして、各頂点により構成される面、稜線のスクリーン上での位置・輝度・色を計算して出力画像を得る。この時、立体画像であるので、少なくとも２視点での画像を計算する必要があるが、図１２（ｂ）で示されるように、カメラのパラメータは複数のカメラの間隔２Ｗｃ、カメラＣＬ、ＣＲの視点位置、カメラの輻輳点Ｐの３次元座標、カメラの焦点距離ｆ（または画角θ）を決定する必要がある。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記のような従来の立体ＣＧ画像生成装置では、複数のカメラパラメータは、視距離や画面の大きさにより変化させる必要があるにもかかわらず、生成された立体ＣＧ画像を観察しながら経験則にて、観察者が見易いと思われるように、ＣＧ制作者が調整していたため、調整が不適切で生成された立体ＣＧ画像が立体画像表示装置で表示された場合、立体ＣＧ画像の両眼視差（例えば左右画像の同じ頂点の水平位置の差を視角で表したもの）が観察者の許容範囲を越えてしまい、不自然で疲れやすい立体画像となる場合が多いという課題がある
。
【０００５】
本発明は、従来のこのような立体ＣＧ画像生成装置の課題を考慮し、観察者にとってどのような視距離でも、どのような大きさの画面でも自動的に自然で見やすい立体画像を生成できる立体ＣＧ画像生成装置を提供することを目的とするものである。
【０００６】
【課題を解決するための手段】
本発明は、物体の３次元形状を記述する３次元構造情報から、複数のカメラから見た時の複数の２次元投影画像を生成する投影変換部と、前記物体とカメラとの距離を生成する距離情報抽出部と、予め入力された、少なくとも前記物体の立体画像を表示するための立体画像表示装置のスクリーンサイズ及びそのスクリーンと観察者との視距離に基づいて、前記観察者の両眼融合範囲を算出する融合範囲算出手段と、その両眼融合範囲と前記距離情報抽出部の出力に基づいて、前記観察者の両眼融合範囲内に前記物体の全部が収まるようなカメラパラメータの組み合わせ条件を計算するカメラパラメータ計算手段と、そのカメラパラメータ計算手段の出力から前記カメラパラメータの条件を満たす範囲内でカメラパラメータを決定するためのカメラパラメータ決定部とを備え、前記投影変換部は、その決定されたカメラパラメータを利用して、前記複数の２次元投影画像を生成することを特徴とする立体ＣＧ画像生成装置である。
【０００７】
また、本発明は、予め入力された、少なくとも物体の立体画像を表示するための立体画像表示装置のスクリーンサイズ及びそのスクリーンと観察者との視距離に基づいて、観察者の両眼融合範囲を融合範囲算出手段により算出し、カメラパラメータ計算手段が、その両眼融合範囲と距離情報抽出部により生成された物体とカメラとの距離に基づいて、観察者の両眼融合範囲内に物体の全部が収まるように、カメラパラメータの条件を計算し、ＣＧ制作者がカメラパラメータ決定部により、そのカメラパラメータ計算手段の出力からカメラパラメータを決定し、投影変換部が、その決定されたカメラパラメータを利用して、物体の３次元形状を記述する３次元構造情報から、複数のカメラから見た時の複数の２次元投影画像を生成する。
【０００８】
また、本発明は、１つまたは複数の立体ＣＧ画像をウインドウ環境にて一度に表示する場合において、物体の３次元形状を記述する３次元構造情報から、複数のカメラから見た時の複数の２次元投影モデルを生成する投影変換部と、前記物体とカメラとの距離を生成する距離情報抽出部と、立体画像を表示している全てのウインドウの大きさ、表示しているコンピュータ画面の映像の解像度、または同期周波数の情報を検出するウインドウ情報管理部と、そのウインドウ情報管理部の出力から最終的に生成される２次元投影モデルを表示する立体画像表示装置のウインドウサイズを計算し、これと前期距離情報抽出部の出力、観察者の視距離から、観察者の両眼融合範囲内に立体ＣＧ画像を収めるためのカメラパラメータをそれぞれのウインドウに対して計算する融合範囲確認部と、その融合範囲確認部の出力を用いて最終的にそれぞれのウインドウに対応する立体画像のカメラパラメータを決定するカメラパラメータ決定部とを備え、前記投影変換部は、その決定されたカメラパラメータを利用して、前記複数の２次元投影画像を生成することを特徴とする立体ＣＧ画像生成装置である。
【０００９】
【発明の実施の形態】
以下に、本発明をその実施の形態を示す図面に基づいて説明する。
【００１０】
図１は、本発明の第１の実施の形態における立体ＣＧ画像生成装置の構成図を示すものである。図１において、１、２は投影変換部、３、４はレンダリング部であり、これらは従来の立体ＣＧ画像生成装置のものと同じものである。本実施の形態が従来の立体ＣＧ画像生成装置と異なる点は、距離情報抽出部５と融合範囲確認部１１とカメラパラメータ決定部６と操作部１２が追加されている点である。ここで、融合範囲確認部１１は、融合範囲算出手段とカメラパラメータ計算手段とを含んでいる。
【００１１】
以上のように構成された本実施の形態の立体ＣＧ画像生成装置について、以下その動作を説明する。
【００１２】
まず、物体の３次元形状をサーフェスモデルで記述した３次元構造情報が投影変換部１、２と距離情報抽出部５に入力される。ＣＧ制作者は、レンダリング部３、４に接続された立体画像表示装置（図示省略）を見て出力画像を確認しながら、好みに合わせて被写体と仮想カメラ（左右カメラの位置の中点）をワールド座標系の適当な位置に配置し、その方向を決定する。左右のカメラ位置は、仮想カメラ位置Ｖを中心としてＸ軸方向に±Ｗｃの位置に配置される（図２参照）。この時のカメラパラメータ（カメラ間隔Ｗｃ（ここのカメラ間隔とは、左右のカメラ間の距離の半分を言う。以下、特にことわらない限り同様とする）、焦点距離ｆ、輻輳点までの距離ｄｘ：図３で後述）は、初期値として予め設定されているとする。
【００１３】
次に、距離情報抽出部５は、被写体のうち、仮想カメラから最も近い点（近点Ｎ）、カメラから最も遠い点（遠点Ｆ）を抽出し、これのｘ、ｙ座標を算出し、これらをＮ（ＸＮ，ＹＮ，ＺＮ）、Ｆ（ＸＦ，ＹＦ，ＺＦ）とする（図２参照）。この２点が両方、観察者の両眼融合範囲内に収まれば、良好な立体ＣＧ画像が得られることになる。この時、遠点・近点は、左右カメラ・仮想カメラからの距離を平均等して、総合して判定してもよい。
【００１４】
次に、融合範囲確認部１１は、近点Ｎ・遠点Ｆの３次元座標値と、予め入力された立体ＣＧ画像を観察する立体画像表示装置のスクリーンの大きさＭ、観察者の視距離ｄｓを基に、カメラパラメータ（カメラ間隔Ｗｃ、カメラの焦点距離ｆ、カメラの輻輳点と仮想カメラ位置Ｖの距離ｄｘ）の有効範囲（観察者が両眼融合できる範囲）を計算する。観察者空間のパラメータ定義は図３に示される。
【００１５】
計算式は、
近点条件：
【００１６】
【数１】

【００１７】
遠点条件：
【００１８】
【数２】

【００１９】
である。ただし、２×ΔＳは、立体画像表示スクリーン上における左右画像の位相差を示し、通常は２×ΔＳは観察者の両眼間隔（６０ｍｍ程度）に設定されることが多い。また、Ｄ−、Ｄ＋は、それぞれ観察者が両眼融合できる最も近い点での両眼視差、最も遠い点での両眼視差である。また、焦点距離ｆとカメラの画角θには、一意な関係、
【００２０】
【数３】

【００２１】
があるので、どちらで定義しても良い。また、ｄｘは、カメラの位置とカメラの向ける点の３次元位置を決定しても自動的に決定出来る。融合範囲確認部１１は、これらの式を両方満足するカメラ間隔Ｗｃ、カメラの焦点距離ｆ、カメラの輻輳点Ｐと仮想カメラ位置Ｖの距離ｄｘの組合せを全て計算することになる。
【００２２】
次に、カメラパラメータ決定部６は、融合範囲確認部１１により計算されたカメラパラメータの組合せの中で、どれを採用するかを決定する。
【００２３】
決定方法は、例えば、
（１）ＣＧ制作者が操作部１２を操作して出力画像を確認しながら、融合範囲確認部１１が計算したカメラパラメータの組合せを色々試しながら選ぶ方法。
（２）ＣＧ制作者がカメラパラメータＷｃ、ｆ、ｄｘのうちどれか１つをまず決定し、残りの２つのパラメータを操作部１２を操作して、融合範囲確認部１１が示すパラメータの組合せ（（数１）、（数２）の式を満足する２つのパラメータの組合わせ）の中で自由に変化させて出力画像を確認しながら決定する方法。
（３）ＣＧ制作者がカメラパラメータＷｃ、ｆ、ｄｘのうちどれか２つをまず決定し、残りの１つのパラメータを操作部１２を操作して、融合範囲確認部１１が示すパラメータの範囲（（数１）、（数２）の式を満足する１つのパラメータの範囲）の中で自由に変化させて出力画像を確認しながら決定する方法。
のうち、どれかを採用する。以下、（１）〜（３）の手法例について更に詳しく説明する。
【００２４】
（１）の場合、まず、操作部１２に配された表示部に、図５（ａ）に示すように、観察者が両眼融合できるパラメータＷｃ、ｆ、ｄｘの組合せの領域（有効領域）と、現在設定しているＷｃ、ｆ、ｄｘを示すポインタ１３が表示される。ＣＧ制作者は、３次元マウス等を用いて、このポインタの位置を設定する。この時、ポインタの位置によってＷｃ、ｆ、ｄｘの値が変化するが、有効領域以外の領域には設定できないようになっている。そして、ポインタの示す座標でのパラメータがカメラパラメータ決定部６に出力され、出力の立体ＣＧ画像が投影変換部１，２、レンダリング部３，４により計算される。これを立体画像表示装置を用いて観察し、ＣＧ制作者は好みに合わせてポインタの位置を調節する。このようにすることにより、常に観察者の両眼融合範囲内に出力の立体ＣＧ画像が収まるように制御される。
【００２５】
（２）、（３）の場合、操作パネル１２ａは、図５（ｂ）に示すように、各パラメータを調節する３つのボリューム１４、１５、１６と、各パラメータを固定する固定ボタン１７、１８、１９で構成される。最初は、固定ボタンはＯｎされていないと仮定する。まずＣＧ制作者は、出力の立体ＣＧ画像を観察しながら画角を考慮して、図５（ｂ）の操作パネル１２ａに対して、カメラパラメータのうち焦点距離ｆをｆ０に決定する。ボリューム１４をｆ０に合わせ、固定ボタン１７を押す。これにより、パラメータｆはｆ０に固定される。パラメータｆが固定されると、融合範囲確認部１１は残りのパラメータＷｃ、ｄｘのうち、（数１）、（数２）を満足する組み合わせを計算する。次にＣＧ制作者はボリューム１５、１６を操作してパラメータＷｃ、ｄｘを色々変化させながら出力画像を確認する。この時、ＣＧ制作者が設定しようとするＷｃ、ｄｘの値のうち、（数１）、（数２）を満足する範囲のみ操作パネル１２ａでＷｃ、ｄｘを変化出来るように設定される。この時、固定ボタン１８、１９により、Ｗｃ、ｄｘのどちらかを固定することも可能である。この場合、出力立体ＣＧ画像を確認しながら残された一つのパラメータのみを変化させることになる。このようにすることにより、常に観察者の両眼融合範囲内に出力立体ＣＧ画像が収まるように保ちながら、パラメータをひとつずつ決定していくことが出来る。
【００２６】
以上の様にして決定されたカメラパラメータＷｃ、ｆ、ｄｘを用いて投影変換部１，２は、左右のカメラで撮像した時にフイルムに投影される物体の２次元位置を計算し、更にレンダリング部３、４で各ポリゴン内部の画像の輝度と色を物体の材質や光源の種類、３次元位置により決定する。そして、最終的な左右眼用の立体ＣＧ画像を出力する。
【００２７】
なお、本実施の形態では、カメラは輻輳撮影を行なうことを想定したが（図２で左右カメラ７、８が点Ｐに向いている）、図４に示すように左右カメラを平行に設置しても良い。この場合は、融合範囲確認部１１は、被写体の遠点の３次元座標値は用いる必要はなく、
【００２８】
【数４】

【００２９】
で示される条件を満足するＷｃとｆの組合せを計算するのみでよい（ｄｘは∞に設定されるのと等価である）。
【００３０】
また、本実施の形態では、観察者が両眼融合できる範囲の制限を（数１）、（数２）で与えたが、これの中のＤ−、Ｄ＋もしくはこれに相当する奥行き距離をＣＧ制作者が手動で与えても良い。
【００３１】
また、本実施の形態では、カメラパラメータを一つのＣＧ画像データを元に決定したが、動画の場合にも、それぞれの時刻でのＣＧ画像データを用いてカメラパラメータを逐次決定することも可能である。また、ある所定の期間でのカメラパラメータのシーケンスを求めておき、これを記憶しておいて、同じ変化を有する立体カメラパラメータを用いて何度も同じシーンを再生することも可能である。
【００３２】
以上の様に、本実施の形態によれば、カメラと被写体の距離情報と、生成された立体ＣＧ画像の表示装置における視差の大きさを表示装置の大きさと観察距離から計算し、これが観察者の両眼融合範囲に収まるかどうかを判断することにより、適切なカメラパラメータ（焦点距離または画角、カメラ間隔、輻輳点）を決定し、見やすい立体ＣＧ画像を自動的に得ることができる。
【００３３】
図６は、本発明の第２の実施の形態における立体ＣＧ画像生成装置の構成図を示すものである。図６において、１、２は投影変換部、３、４はレンダリング部、６はカメラパラメータ決定部であり、これらは本発明の第１の実施の形態の立体ＣＧ画像生成装置のものと同じものである。本実施の形態が第１の実施の形態の立体ＣＧ画像生成装置と異なる点は、図１の距離情報抽出部５と融合範囲確認部１１に代えて、視差地図計算部２０と画素数計算手段としての融合領域判断部Ａ２１が設けられている点である。
【００３４】
以上のように構成された本実施の形態の立体ＣＧ画像生成装置について、以下その動作を説明する。
【００３５】
本実施の形態は、カメラパラメータＷｃ、ｆ、ｄｘの内、少なくとも１つ、特にＷｃがＣＧ制作者により固定されており、このままでは出力される立体ＣＧ画像の全体を観察者の両眼融合範囲に収めることが出来ない場合に効果を発する。
【００３６】
物体の３次元形状をサーフェスモデルで記述した３次元構造情報は投影変換部１、２に入力される。第１の実施の形態と同様に、まず、ＣＧ制作者は、レンダリング部３、４に接続された立体画像表示装置（図示省略）を見て出力画像を確認しながら、好みに合わせて被写体と仮想カメラ（左右カメラの位置の中点）をワールド座標系の適当な位置に配置し、その方向を決定する。左右のカメラ位置は、仮想カメラ位置Ｖを中心としてＸ軸方向に±Ｗｃの位置に配置される（図２参照）。カメラパラメータＷｃ、ｆ、ｄｘは、予め設定された初期値が用いられる（これらの内いずれかは固定値である）。
【００３７】
これにより設定されたパラメータを用いて、投影変換部１、２は３次元構造情報を２次元画面に投影した画像を出力し、レンダリング部３、４にてＣＧ画像を生成する。レンダリング部３、４の出力と３次元構造情報から、視差地図計算部２０は投影変換された画像上の各点での左右画像の奥行きデータ、即ち視差地図（各画素での奥行き量を示した画像）を計算する。例えば、従来からＣＧに使用されているＺバッファ処理の結果を用いれば、画面の各点での奥行き量を得ることが出来、これを元にして視差地図を作成することは容易に可能である。また、レンダリングを行なわない、ワイヤーフレームの様な画像の場合は、投影変換部１、２と３次元構造情報から視差地図を作成することになる。
【００３８】
この視差地図を基に、融合領域判断部Ａ２１は、画面中で、立体ＣＧ画像観察者の両眼融合範囲（視差がＤ−〜Ｄ＋の間の値）に入る領域の画素数（これを有効画素数と定義する）を計算する。次に、視差地図計算部２０、融合領域判断部Ａ２１は、カメラパラメータＷｃ、ｆ、ｄｘを順次変化させて、固定値以外の予め設定されたＷｃ、ｆ、ｄｘの変化範囲の全ての組合せについて、有効画素数を計算する。
【００３９】
次に、カメラパラメータ決定部６は、これまで計算されたパラメータＷｃ、ｆ、ｄｘの全ての組合せに対する有効画素数のうち、これの最大値に対応するパラメータＷｃ、ｆ、ｄｘを算出する。そして、算出されたＷｃ、ｆ、ｄｘを投影変換部１、２に出力する。この場合、有効画素数の最大値ではなく、最大値に近い組合せを複数個列挙し、ＣＧ制作者がこれらの中から好みの組合せを選んで投影変換部１、２に出力してもよい。また、カメラパラメータ決定部６は、３つのパラメータのうち、どれか（複数個可能）を固定しておいて、残りのパラメータの組合せのうちで、有効画素数が最大、または、有効画素数の最大値に近い残りのパラメータの組合せを列挙し、ＣＧ制作者が好みの組合せを決定してもよい。
【００４０】
そして、投影変換部１、２及びレンダリング部３、４は、これらのパラメータを用いて最終的な立体ＣＧ画像を算出する。このようにすることによって、観察者の両眼融合範囲内に画像が最も多く入るようにカメラパラメータを自動的に決定するすることができる。有効画素数の最大値が複数存在する場合は、それぞれの場合のパラメータでの立体ＣＧ画像を生成し、立体ＣＧ制作者がこれを立体画像表示装置で観察し、好みのパラメータの組合せを選ぶ。
【００４１】
以上の様に、本実施の形態によれば、カメラパラメータに制約条件があり、最終的な出力の立体ＣＧ画像全体が観察者の両眼融合範囲内に収まらない場合でも、両眼融合可能な画像の面積が最も広くなるように、カメラパラメータＷｃ、ｆ、ｄｘを自動的に決定できる。
【００４２】
また、上記第２の実施の形態において、視差地図から被写体の近点・遠点を算出し、これを元にして、後は前述の第１の実施の形態の手法を用いて立体カメラパラメータを決定してもよい。
【００４３】
図７は、本発明の第３の実施の形態における立体ＣＧ画像生成装置の構成図を示すものである。図７において、１、２は投影変換部、３、４はレンダリング部、６はカメラパラメータ決定部、２０は視差地図計算部であり、これらは本発明の第２の実施の形態の立体ＣＧ画像生成装置のものと同じものである。第２の実施の形態の立体ＣＧ画像生成装置と異なる点は、融合領域判断部Ａ２１が画素数計算手段としての融合領域判断部Ｂ２１’に変わり、特定画像処理部としてのクリッピング値決定部２２が追加されている点である。
【００４４】
以上のように構成された本実施の形態の立体ＣＧ画像生成装置について、以下その動作を説明する。
【００４５】
まず、上記第２の実施の形態と同様にして、カメラパラメータ決定部６は、投影変換部１、２でのカメラパラメータ（Ｗｃ、ｄｘ、ｆ）を決定する。概略を説明すると、まず、ＣＧ制作者は、レンダリング部３、４に接続された立体画像表示装置を見て出力画像を確認しながら、好みに合わせて被写体と仮想カメラをワールド座標系の適当な位置に配置し、その方向を決定する。
【００４６】
これにより設定されたパラメータを用いて、投影変換部１、２は３次元構造情報を２次元画面に投影した画像を出力し、レンダリング部３、４にてＣＧ画像を生成する。レンダリング部３、４の出力と３次元構造情報から、視差地図計算部２０は投影変換された画像上の各点での視差地図を計算する。
【００４７】
この視差地図を基に、融合領域判断部Ｂ２１’は、画面中で、立体ＣＧ画像観察者の両眼融合範囲に入る領域の有効画素数を計算し、視差地図計算部２０、融合領域判断部Ｂ２１’は、カメラパラメータＷｃ、ｆ、ｄｘを順次変化させて有効画素数を計算する。
【００４８】
次に、カメラパラメータ決定部６は、これまで計算されたパラメータＷｃ、ｆ、ｄｘの全ての組合せに対する有効画素数のうち、これの最大値に対応するパラメータＷｃ、ｆ、ｄｘを算出する。そして、算出されたＷｃ、ｆ、ｄｘを投影変換部１、２に出力する。投影変換部１、２及びレンダリング部３、４はこれらのパラメータを用いて最終的な立体ＣＧ画像を算出する。このカメラパラメータは一度決定したら固定であるとする。
【００４９】
ここで、物体が移動するか、左右カメラがお互いの位置関係を保ちつつ移動することを考える。カメラが被写体に向かって移動すると、被写体との距離は小さくなり、両眼視差も大きくなり、観察者の両眼範囲内に入らなくなってしまう場合が発生する。遠点についても同様である。そこで、カメラパラメータは固定でクリッピングによる処理を行なう。
【００５０】
レンダリング部３、４において、近い被写体、遠い被写体はクリッピングをかけて表示しない、という処理を従来のＣＧ画像では行なっていたが、本実施の形態では、図８（ａ）に示すように、このクリッピング位置を、レンダリング部３、４に対して両眼融合範囲内にない画像は出力されぬような値に決定する。即ち、融合領域判断部Ｂ２１’によって観察者の両眼融合限界（遠い方の限界、近い方の限界の２種類が存在する）を計算する。具体的には図８（ａ）のワールド座標系において（数１）、（数２）を満たす点を全て算出し、これが図８（ａ）の斜線領域であるとする。次に、この斜線領域以外の点が最終ＣＧ画像出力に出力されないようにＮｅａｒクリッピング値ＣＬＮ、ｆａｒクリッピング値ＣＬＦを決定する（ＣＬＮＲ、ＣＬＮＬはそれぞれ右カメラ、左カメラのＮｅａｒクリッピング面、ＣＬＦＲ、ＣＬＦＬはそれぞれ右カメラ、左カメラのＦａｒクリップ面である）。それぞれのＮｅａｒクリッピング面、Ｆａｒクリッピング面で囲まれた領域の物体のみレンダリング部３、４から出力する。
【００５１】
また、前述の例では、左右カメラそれぞれについて、クリッピング面ＣＬＮＲ、ＣＬＮＬ、ＣＬＦＲ、ＣＬＦＬを設定したが、図８（ｂ）に示すように、仮想カメラ（原点）について、Ｎｅａｒクリッピング面ＣＬＣＮ、Ｆａｒクリッピング面ＣＬＣＦを決定し、これを左右カメラに共通で適用してもよい。
【００５２】
また、本実施の形態において、クリッピングされる領域に被写体が存在する場合には、これを最終出力画像に表示しないように設定したが、クリッピングされる領域に物体が近づくにつれて、徐々に物体のコントラストを下げたり、物体の色を透明にしていけば、観察者が両眼融合できない領域において、自然に物体が消失するので更に違和感が少ない立体ＣＧ画像を得ることが出来る。
【００５３】
以上の様に、本実施の形態によれば、カメラパラメータ固定であっても、クリッピング面を観察者の両眼融合範囲を考慮に入れて設定することにより、最終的な出力の立体ＣＧ画像を観察者の両眼融合範囲内に収めることが出来る。
【００５４】
図９は、本発明の第４の実施の形態における立体ＣＧ画像生成装置の構成図を示すものである。図９において、１、２は投影変換部、３、４はレンダリング部、６はカメラパラメータ決定部、２０は視差地図計算部、２１’は融合領域判断部Ｂであり、これらは前述の第３の実施の形態の立体ＣＧ画像生成装置のものと同じものである。第３の実施の形態の立体ＣＧ画像生成装置と異なる点は、クリッピング値決定部２２に代えて、ピントパラメータ決定部２３及び霧効果パラメータ決定部２４が設けられた点であり、被写体の両眼視差量に合わせて、これらのパラメータを制御している点である。このピントパラメータ決定部２３および霧効果パラメータ決定部２４が特定画像処理部を構成している。
【００５５】
以上のように構成された本実施の形態の立体ＣＧ画像生成装置について、以下その動作を説明する。
【００５６】
まず、上述の第３の実施の形態と同様にして、カメラパラメータ決定部６は、投影変換部１、２でのカメラパラメータ（Ｗｃ、ｄｘ、ｆ）を決定する。まず、ＣＧ制作者は、レンダリング部３、４に接続された立体画像表示装置を見て出力画像を確認しながら、好みに合わせて被写体と仮想カメラをワールド座標系の適当な位置に配置し、その方向を決定する。その後、投影変換部１、２は３次元構造情報を２次元画面に投影した画像を出力し、レンダリング部３、４にてＣＧ画像を生成する。
【００５７】
次にレンダリング部３、４の出力と３次元構造情報から、視差地図計算部２０は投影変換された画像上の各点での視差地図を計算する。この視差地図を基に、融合領域判断部Ｂ２１’は、画面中で立体ＣＧ画像観察者の両眼融合範囲に入る領域の有効画素数を計算し、視差地図計算部２０、融合領域判断部Ｂ２１’は、カメラパラメータＷｃ、ｆ、ｄｘを順次変化させて有効画素数を計算する。
【００５８】
次に、カメラパラメータ決定部６は、これまで計算されたパラメータＷｃ、ｆ、ｄｘの全ての組合せに対する有効画素数のうち、これの最大値に対応するパラメータＷｃ、ｆ、ｄｘを算出する。そして、算出されたＷｃ、ｆ、ｄｘを投影変換部１、２に出力する。投影変換部１、２及びレンダリング部３、４はこれらのパラメータを用いて最終的な立体ＣＧ画像を算出する。このカメラパラメータは一度決定したら固定であるとする。
【００５９】
ここで、レンダリング部３、４は、最終的なＣＧ画像を生成する際に、カメラのピントをぼかした様な処理や、遠い被写体は霧のかかった状態を表現することにより遠近感を表現する場合がある。これらの、ピントをぼかせる処理や霧の効果の度合を、前述の視差地図と観察者の両眼融合範囲によりピントパラメータ決定部２３、霧効果パラメータ決定部２４が決定する。
【００６０】
例えば、ピントパラメータ決定部２３は、ワールド座標系において、融合領域判断部Ｂ２１’により観察者が両眼融合できない領域を計算する。計算は、（数１）、（数２）、もしくはこれらのうちいずれかを満たさない３次元座標を計算することになる。これらの領域に属する物体についてレンダリングをレンダリング部３、４で行なう際は、ピントパラメータ決定部２３が、出力画像がピントぼけ状態のような、不明瞭な画面になるような効果を出すようなピントパラメータを出力する。もちろん、観察者が両眼融合できる限界領域に近い領域から、この効果を徐々に強くかけていくと、更に自然にピントぼけの画像を得ることが出来る。
【００６１】
ピントぼけの処理については、従来のＣＧ画像技術、例えば光線追跡により、カメラのピントぼけ状態をシミュレートしてもよいし、生成されたＣＧ画像に空間的なフイルタリング操作（低域通過フィルタ等）を行なうという手法もある。また、ピントぼけの量に応じて物体の位置を微妙に変化させて、同じ物体を何度も同じ画像メモリに描き、エッジの部分などにボケを生じさせる方法もある。この物体の位置を変化させるのを、カメラのピントが合う焦点面からの距離に比例させればピントボケ効果が得られる（本実施の形態では、観察者の両眼融合限界からの距離に比例させればよい）。このようにすることにより、観察者が両眼融合できない物体については、ピントぼけの効果を付することにより両眼融合ができない状態での違和感を低減することが出来る。
【００６２】
また、霧効果パラメータ決定部２４は、前述と同様にして、ワールド座標系において融合領域判断部Ｂ２１’により観察者が両眼融合できない領域（特に、遠点条件（数２）が成立しない領域）を計算する。この領域での物体のレンダリング処理において、霧効果パラメータ決定部２４は、大気中に霧がかかったような効果をレンダリング部３、４で与えるように霧効果パラメータを制御する。もちろん、観察者が両眼融合できる限界領域に近い領域から、この霧を徐々に濃く付加するように設定すれば、更に自然に遠い領域が霧に隠れているような状況のＣＧ画面を生成することが出来る。このように、遠い物体の両眼視差が大き過ぎて両眼融合不可能な場合に、霧の効果を付加することにより、両眼融合不可能なことによる観察者の違和感を低減することができる。
【００６３】
レンダリング処理での霧効果の生成方法については、例えば、距離が遠くなるにしたがって、減少する霧係数ｆ（０．０〜１．０）を考える。ｆが１で霧なし、０で真っ白な画像になることを示す。この効果の度合はカメラからの距離をｚとして
【００６４】
【数５】

【００６５】
【数６】

【００６６】
などで定義できる。ここで、ｆａｒ，ｎｅａｒは生成されるＣＧ画像の、カメラからの最も遠い，または近い距離、ｄｅｎｓｉｔｙは霧の濃度である。また、レンダリングされる色は、
【００６７】
【数７】

【００６８】
で計算される。ここでＣ０はレンダリングされた物体の色、Ｃｆは霧の色である。霧効果パラメータ決定部２４は、観察者の両眼融合範囲内ではｆ＝１、両眼融合限界に近い領域から両眼融合範囲外の領域になるに従ってｆ＝０までなめらかに変化させる。これにより、レンダリング部３、４は両眼融合範囲外で遠い被写体を霧がかかった様な画像とし、両眼融合範囲から外れたことによる違和感を低減する。
【００６９】
以上の様に、本実施の形態によれば、両眼融合ができない様な両眼視差の物体が表示されても、遠い物体は霧の効果、近い物体および遠い物体ではピントボケの効果を付加することにより、この悪影響を低減し、更に見やすい立体ＣＧ画像を生成することができる。
【００７０】
図１３は、本発明の第５の実施の形態における立体ＴＶ装置の構成図を示すものである。図１３において、１、２は投影変換部、３、４はレンダリング部、６はカメラパラメータ決定部、１２は操作部、１１は融合範囲確認部、５は距離情報抽出部、１２７はＣＧ画像発生部であり、以上は本発明の第１の実施の形態と同じものである。第１の実施の形態と異なるのは、以下の構成であり、１２８はウインドウ情報管理部、１２９はウインドウ情報管理制御部、１３０はマウス状態検出部、１３１は表示画面大きさ・ドット数検出部、１３２はウインドウサイズ検出部、１３３はウインドウ生成・消滅検出部、１３４はウインドウ表示位置検出部、１３５はウインドウフォーカス変化検出部、１３６は映像信号変換部、１３７は立体ディスプレイ部、１３８はマウス、１３９は液晶シャッタ付き眼鏡、１４０は視距離測定手段である。
【００７１】
以上のように構成された本実施の形態の立体ＴＶ装置について，以下その動作を説明する。
【００７２】
本実施の形態では、複数の立体画像を最近主流のコンピュータ画面でのウインドウ環境に複数種類の立体画像を大きさの異なる複数のウインドウに表示するものである。これに対し、本発明の第１〜４の実施の形態では、画像を表示する大きさは表示装置固有の大きさであった。
【００７３】
図１３の立体ディスプレイ部１３７に示されるように、同一画面上にＡ、Ｂ、Ｃのウインドウが存在し、それぞれ異なった立体画像を表示しているものとする。
ここで立体画像の表示方法は、既存の立体表示技術を使用することが出来る。本実施の形態では映像信号変換部１３６により映像信号化された立体画像が立体ディスプレイ部１３７に入力され、観察者は液晶シャッタ付き眼鏡を通して立体画像を観察する、いわゆる時分割方式の立体画像表示を用いている。これは、映像信号変換部により入力されるＲ、Ｌ映像信号はＲ、Ｌ、Ｒ、Ｌ．．．というように時間的に交互に切替えられ、これが立体ディスプレイ部１３７に表示され、Ｒの画像が表示されている時には液晶シャッタ付き眼鏡１３９の右目が光を透過、左目が遮断状態になり、Ｌの画像が表示されている時にはその逆になる。これにより、観察者の右目、左目独立にＲ、Ｌ画像をそれぞれ表示することが出来る。また、この例以外に、いかなる既存の立体画像表示手法（例えば、偏光式、レンチキュラレンズ式等）を用いてもよい。通常、観察者は好みに応じてマウス１３８を使用して、ウインドウＡ、Ｂ、Ｃの大きさを変更することが出来る。これに対応して立体画像の大きさも変化する場合、観察者の両眼融合範囲が変化するため、全てのウインドウサイズを常に監視し、これにあわせて常にカメラパラメータを決定する必要がある。即ち、観察者のマウス操作によるウインドウに関する情報をウインドウ情報管理制御部１２９が検出し、これを融合範囲確認部１１に現在表示されているウインドウ全てについてスクリーンサイズとして出力する。この動作は、ウインドウ生成・消滅検出部１３３により現在表示されているウインドウを管理し、その個々のウインドウサイズをウインドウ表示位置検出部１３４、ウインドウサイズ検出部１３２、表示画面大きさ・ドット数検出部１３１により決定する。これは、表示画面の大きさ（何インチか）と、これの縦横のドット数（もしくは同期周波数検出により換算できる）と、各ウインドウのサイズ（ドット数）から、実際に表示されているウインドウの大きさ（インチ、センチメートルなど）を計算しこれを融合範囲確認部１１に出力することにより得られる。
【００７４】
後の処理は、本発明の第１の実施の形態と同じである。即ち、３次元構造情報から得られる距離情報を距離情報抽出部５により検出し、これと視距離測定手段１４０により検出される観察者とディスプレイ表面までの距離ｄｓを用いて（数１、数２）によりカメラパラメータを計算し、これを投影変換部１、２に出力し、レンダリング部３、４により右目、左目用のＲ、Ｌ画像が計算される。ただし、ウインドウ情報管理部１２８により検出されている、立体表示されているウインドウすべてについて、この処理を行ない、全てのウインドウについて、独立にこの処理は行なわれる。
【００７５】
以上のようにすることにより、複数の立体画像を表示するようなウインドウ環境をもつ表示システムにおいても、個々のウインドウサイズをウインドウ情報管理部１２８により監視することにより、全てのウインドウに表示された立体画像を全て観察者の融合範囲内に収めるようにカメラパラメータ制御による視差の制御により、見やすく自然な画像に制御することができる。
【００７６】
また、本発明の第５の実施の形態において、観察者のマウス操作により指定されたウインドウのみ、前述のカメラパラメータ変更をウインドウフォーカス変化検出部１３５の出力を用いて行ない、観察者が注目しているウインドウに表示された立体画像のみ、両眼融合範囲内に収められた画像を表示し本発明の動作の効率化を測ることもできる。
【００７７】
また、本発明の第１〜４の実施の形態において、観察者と表示面までの視距離を第５の実施の形態で示した視距離測定手段１４０で測定して用いてもよい。
【００７８】
以上種々述べたように、本発明によれば、カメラと被写体の距離情報と、生成された立体ＣＧ画像の表示装置における視差の大きさを表示装置の大きさと観察距離から、適切なカメラパラメータ（焦点距離または画角、カメラ間隔、輻輳点）を決定し、見やすい立体ＣＧ画像を自動的に得ることができる。
【００７９】
なお、本発明の第１〜５の実施の形態において、２眼立体画像を用いて説明したが、これに限らず、多眼立体画像においても、観察者の左右眼に入力される画像の組全てについて、同じ手法でカメラパラメータ決定を行なえば、多眼立体ＣＧ画像生成も容易に行なうことが出来る。
【００８０】
また、本発明の第１〜５の実施の形態において、生成される画面全体について観察者の両眼融合範囲内に立体ＣＧ画像が収まるようにカメラパラメータを決定したが、観察者が画面中特定の被写体のみを注視せざるを得ないようなシーンの場合等においては、それ以外の被写体の部分については両眼融合出来ないような設定にすることも考えられる。この様な場合、ＣＧ制作者が出力画面の内、観察者の両眼融合範囲内になくてもよい領域を予め設定し、この領域でのデータはカメラパラメータ決定に用いない様にすることも容易に可能である。
【００８１】
また、本発明の第１〜５の実施の形態において、左右眼用の立体画像をＣＧにより得たが、これを立体カメラに置き換えて自然画撮像の場合に適用してもよい。この場合は、ＣＧ処理の式（数１、２）で扱った、複数のカメラの焦点距離ｆ、カメラ間隔Ｗｃ、カメラと輻輳点までの距離ｄｘ（個々のカメラの光軸の交わる点と複数のカメラの中心点の距離）を実際のカメラにおけるパラメータに直接用いればよい。ただし、（数１、数２）における変数Ｍはスクリーンサイズではなく、カメラの撮像素子の受光面の大きさと実際に立体画像が表示されるスクリーンの大きさの比になる。
【００８２】
また、上記第４の実施の形態では、ピントパラメータ決定部２３及び霧効果パラメータ決定部２４の両方を設けた構成としたが、これに代えて、そのどちらか一方のみを備えた構成であってもよい。
【００８３】
また、上記の第１〜５の実施の形態では、いずれも生成される画面全体について観察者の両眼融合範囲内に立体ＣＧ画像が収まるようにカメラパラメータを決定したが、これに限らず、ＣＧ制作者が出力画面の内、観察者の両眼融合範囲内になくてもよい領域を予め設定し、この領域でのデータはカメラパラメータ決定に用いない様にすることも容易に可能である。
【００８４】
また、上記の第１〜５の実施の形態では、いずれも距離情報抽出部、融合範囲確認部等の各処理部を専用のハードウェアにより構成したが、これに代えて、同様の機能をコンピュータを用いてソフトウェア的に実現してもよい。
【００８５】
【発明の効果】
以上述べたところから明らかなように本発明は、観察者にとって自然で見やすい立体画像を生成できるという長所を有する。
【図面の簡単な説明】
【図１】本発明における第１の実施の形態の立体ＣＧ画像生成装置の構成図である。
【図２】本発明におけるＣＧ空間（ワールド座標系）での物体とカメラ位置の関係を示す図である。
【図３】本発明における観察者空間（立体画像表示装置を観察する空間の定義）を説明する図である。
【図４】本発明における立体画像平行撮像方法の説明図である。
【図５】同図（ａ）は、上記第１の実施の形態における操作部の表示部での表示例を説明する図、同図（ｂ）は、その操作部の操作パネルを示す図である。
【図６】本発明における第２の実施の形態の立体ＣＧ画像生成装置の構成図である。
【図７】本発明における第３の実施の形態の立体ＣＧ画像生成装置の構成図である。
【図８】同図（ａ）は、上記第３の実施の形態におけるＮｅａｒクリッピング、Ｆａｒクリッピング（左右カメラ独立）の概念を説明する図、同図（ｂ）は、Ｎｅａｒクリッピング、Ｆａｒクリッピング（左右カメラ共通）の概念を説明する図である。
【図９】本発明における第４の実施の形態の立体ＣＧ画像生成装置の構成図である。
【図１０】従来の立体ＣＧ画像生成装置の構成図である。
【図１１】同図（ａ）は、３次元構造情報を説明するための形状モデル例を示す図、同図（ｂ）は、その形状モデルのデータ構造を示す図である。
【図１２】同図（ａ）は、ワールド座標系と投影変換を説明する図、同図（ｂ）は、カメラパラメータを説明する図である。
【図１３】本発明における第５の実施の形態の立体ＣＧ画像生成装置の構成図である。
【符号の説明】
１投影変換部（右目用）
２投影変換部（左目用）
３レンダリング部（右目用）
４レンダリング部（左目用）
５距離情報抽出部
６カメラパラメータ決定部
１１融合範囲確認部
１２操作部
１３ポインタ
２０視差地図計算部
２１融合領域判断部Ａ
２１’ 融合領域判断部Ｂ
２２クリッピング値決定部
２３ピントパラメータ決定部
２４霧効果パラメータ決定部
１２７ＣＧ画像発生部
１２８ウインドウ情報管理部
１２９ウインドウ情報管理制御部
１３０マウス状態検出部
１３１検出部
１３２ウインドウサイズ検出部
１３３ウインドウ生成・消滅検出部
１３４ウインドウ表示位置検出部
１３５ウインドウフォーカス変化検出部
１３６映像信号変換部
１３７立体ディスプレイ部
１３８マウス
１３９液晶シャッタ付き眼鏡
１４０視距離測定手段

Claims

物体の３次元形状を記述する３次元構造情報から、複数のカメラから見た時の複数の２次元投影画像を生成する投影変換部と、前記物体とカメラとの距離を生成する距離情報抽出部と、予め入力された、少なくとも前記物体の立体画像を表示するための立体画像表示装置のスクリーンサイズ及びそのスクリーンと観察者との視距離に基づいて、前記観察者の両眼融合範囲を算出する融合範囲算出手段と、その両眼融合範囲と前記距離情報抽出部の出力に基づいて、前記観察者の両眼融合範囲内に前記物体の全部が収まるようなカメラパラメータの組み合わせ条件を計算するカメラパラメータ計算手段と、そのカメラパラメータ計算手段の出力から前記カメラパラメータの条件を満たす範囲内でカメラパラメータを決定するためのカメラパラメータ決定部とを備え、前記投影変換部は、その決定されたカメラパラメータを利用して、前記複数の２次元投影画像を生成することを特徴とする立体ＣＧ画像生成装置。
距離情報抽出部は、前記３次元構造情報から、前記カメラと前記物体との最も遠い距離または最も近い距離を抽出することを特徴とする請求項１記載の立体ＣＧ画像生成装置。
カメラと物体との前記最も遠い距離または最も近い距離は、手動で設定できることを特徴とする請求項２記載の立体ＣＧ画像生成装置。
前記距離情報抽出部は、ＣＧ画面中の領域内での３次元構造情報から、前記カメラと前記物体との最も遠い距離または最も近い距離を抽出することを特徴とする請求項２記載の立体ＣＧ画像生成装置。
物体の３次元形状を記述する３次元構造情報から、複数のカメラから見た時の複数の２次元投影画像を生成する投影変換部と、その投影変換部の出力からＣＧ画像を生成するレンダリング部と、前記投影変換部又は前記レンダリング部の出力、及び前記３次元構造情報から出力画像の距離画像を生成する視差地図計算部と、予め入力された、少なくとも前記物体の立体画像を表示するための立体画像表示装置のスクリーンサイズ及びそのスクリーンと観察者との視距離に基づいて、前記観察者の両眼融合範囲を算出する融合範囲算出手段と、その両眼融合範囲と前記視差地図計算部の出力に基づいて、前記観察者の両眼融合範囲内にある立体画像中の画素数を計算する画素数計算手段と、その画素数計算手段の出力を用いて、出力画像のうち前記観察者の両眼融合可能な範囲の面積が所定値より広くなるようなカメラパラメータを決定するカメラパラメータ決定部とを備え、前記投影変換部は、前記決定されたカメラパラメータを利用して、前記複数の２次元投影画像を生成することを特徴とする立体ＣＧ画像生成装置。
前記画素数計算手段は、ＣＧ画面中の視差情報と、前記立体画像表示装置のスクリーンサイズ及びそのスクリーンと前記観察者との視距離に基づいて、前記観察者の両眼融合範囲内にあるＣＧ画像中の画素数を計算することを特徴とする請求項５記載の立体ＣＧ画像生成装置。
画素数計算手段は、前記観察者が両眼融合できる被写体の領域を検出するものであって、更に、前記画素数計算手段により検出された両眼融合できる領域外の画像部分について特定の画像処理を行う特定画像処理部を備えたことを特徴とする請求項６記載の立体ＣＧ画像生成装置。
特定画像処理部は、前記両眼融合できる領域外の部分のＣＧ画像を生成しないようにクリッピング面の位置を設定するクリッピング値決定部を有することを特徴とする請求項７記載の立体ＣＧ画像生成装置。
特定画像処理部は、前記観察者の両眼融合できる限界近辺から両眼融合できない範囲に渡って、その範囲に該当する被写体画像のコントラストまたは被写体の透明度を徐々に変化させるレンダリング部を有することを特徴とする請求項７記載の立体ＣＧ画像生成装置。
特定画像処理部は、前記観察者の両眼融合できる限界を越えるに従って霧の効果が強くなるように霧効果の度合を制御する霧効果パラメータ決定部を有することを特徴とする請求項７記載の立体ＣＧ画像生成装置。
特定画像処理部は、前記観察者の両眼融合できる限界を越えるに従ってカメラのピンボケ状態が強くなるようにピントボケの効果の度合を制御するピントパラメータ決定部を有することを特徴とする請求項７記載の立体ＣＧ画像生成装置。
１つまたは複数の立体ＣＧ画像をウインドウ環境にて一度に表示する場合において、物体の３次元形状を記述する３次元構造情報から、複数のカメラから見た時の複数の２次元投影モデルを生成する投影変換部と、前記物体とカメラとの距離を生成する距離情報抽出部と、立体画像を表示している全てのウインドウの大きさ、表示しているコンピュータ画面の映像の解像度、または同期周波数の情報を検出するウインドウ情報管理部と、そのウインドウ情報管理部の出力から最終的に生成される２次元投影モデルを表示する立体画像表示装置のウインドウサイズを計算し、これと前期距離情報抽出部の出力、観察者の視距離から、観察者の両眼融合範囲内に立体ＣＧ画像を収めるためのカメラパラメータをそれぞれのウインドウに対して計算する融合範囲確認部と、その融合範囲確認部の出力を用いて最終的にそれぞれのウインドウに対応する立体画像のカメラパラメータを決定するカメラパラメータ決定部とを備え、前記投影変換部は、その決定されたカメラパラメータを利用して、前記複数の２次元投影画像を生成することを特徴とする立体ＣＧ画像生成装置。
カメラパラメータ決定部は、観察者が両眼視差を調整したいウインドウを指定した時のみ、そのウインドウに対応する立体画像のカメラパラメータのみを変更することを特徴とする請求項１２記載の立体ＣＧ画像生成装置。
物体の３次元形状を記述する３次元構造情報から、複数のカメラから見た時の複数の２次元投影画像を生成する投影変換部と、前記物体とカメラとの距離を生成する距離情報抽出部と、予め入力された、少なくとも前記物体の立体画像を表示するための立体画像表示装置のスクリーンサイズ及びそのスクリーンと観察者との視距離に基づいて、前記観察者の両眼融合範囲を算出する融合範囲算出手段と、その両眼融合範囲と前記距離情報抽出部の出力に基づいて、前記観察者の両眼融合範囲内に前記物体の全部が収まるようなカメラパラメータを決定するためのカメラパラメータ決定部とを備え、前記投影変換部は、その決定されたカメラパラメータを利用して、前記複数の２次元投影画像を生成することを特徴とする立体ＣＧ画像生成装置。