JP4176504B2

JP4176504B2 - 3D image display device, 3D image display method, 3D image display program, and computer-readable recording medium storing the program

Info

Publication number: JP4176504B2
Application number: JP2003037401A
Authority: JP
Inventors: 敦史小野
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2003-02-14
Filing date: 2003-02-14
Publication date: 2008-11-05
Anticipated expiration: 2023-02-14
Also published as: JP2004248107A

Description

【０００１】
【発明の属する技術分野】
本発明は、３次元データを表示し鑑賞するための３次元画像表示装置に係り、特に３次元画像鑑賞時に、様々な視差を持つ対象物に視点が移動することに起因する酔い等の不快感を低減する機能を有する３次元画像表示装置、３次元画像表示方法、３次元画像表示プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
近年、奥行きのある３次元画像を表現可能な３次元画像表示装置が種々開発されている。このような３次元画像表示装置に関する先行技術として、特許文献１には、画像の急激な変化等に伴い画像全体がぼやけたり、ぶれたりすると判っているフレームを予め検出しておき、該フレームには、鑑賞者の視点を誘導するための特定の表示キャラクタ（以下、アイコン）を表示させるようにしておく技術が記載されている。
【０００３】
これは、動画像表示時、画像の急激な変化等に伴い画像全体がぼやけたり、ぶれたりすると、鑑賞者は、はっきりと視点を合わせる場所がみつからなくなり、酔い等の不快感を感じてしまうといった不具合の解決を図るものである。鑑賞者は、このアイコンに視点を合わせさせることで、上記した目眩や酔い等の不快な症状の発生を軽減させることができる。
【０００４】
また、特許文献１には、このようなアイコンの表示を、鑑賞者自身或いは第３者の指示にて行わせたり、３次元画像表示装置自身で画像のぶれを検出することにより実施したりすることも記載されている。
【０００５】
【特許文献１】
特開平７−２２６９５９（平成７年８月２２日公開）
【０００６】
【発明が解決しようとする課題】
しかしながら、上記特許文献１は、３次元画像の動画を対象としており、ぶれがない動画像や、静止画にも、鑑賞者の視点を誘導するアイコンを表示しようという技術的思想を持つものではない。したがって、３次元画像に弱い鑑賞者の不快感を低減できるものではない。
【０００７】
上記特許文献１では、着目していないが、３次元画像は視差をもつ様々な対象物からなる画像であるので、たとえ動画像のぶれがなくとも、鑑賞者は視点を各対象物に移動させることで、小さな酔いを感じるものである。酔いの感じ方には個人差はあるが、感じ方の激しい３次元画像に弱い鑑賞者は、たとえ動画でなく静止画像であっても、長時間鑑賞した場合など小さな酔いが累積してしまい、不快感を感じてしまう。上記特許文献１は、動画像を対象とし、それにおける画像のぶれが生じるフレームにのみアイコンを表示する技術であるので、このような静止画でも起こりえる不快な症状を軽減することはできない。
【０００８】
また、上記特許文献１では、アイコンを表示させるフレームを、３次元画像を提供するデータ作成側で予め検出しておく必要があり、かつ、３次元画像のデータ以外に、アイコンを表示するための、アイコン自体の画像データ、アイコンの座標値、アイコンの時間軸上の位置などが必要となる。そのため、データ作成に手間がかかるといった問題もある。
【０００９】
さらに、上記特許文献１では、鑑賞者の視点を、本来の３次元画像ではなく、これに別途加えられたアイコンに合わせさせるようになっている。したがって、アイコンを見せることで鑑賞者の不快な症状を軽減させることはできても、鑑賞者の視点がアイコンに集中するため、本来見せたかった３次元画像を構成する要素である対象物そのものに注目させることができないといった問題もある。
【００１０】
【課題を解決するための手段】
本発明の３次元画像表示装置は、上記課題を解決するために、３次元データを用いて３次元画像を表示する３次元画像表示装置において、３次元データもしくはこれに付帯する付帯情報により予め指定された対象物を３次元データから抽出する対象物抽出手段と、該対象物抽出手段にて抽出された対象物に鑑賞者の視点を誘導させるためのマーカーを生成するマーカー生成手段と、該マーカー生成手段により生成されたマーカーを３次元画像に合成する合成手段とを備えたことを特徴としている。
【００１１】
なお、ここで、３次元データとは、３次元画像表示装置において３次元(立体)表示可能なデータの総称であり、また、３次元データに付帯する付帯情報とは、３次元データを表示する際に直接使用されない情報のことである。付帯情報は、３次元データとともに１つのファイルを構成してもよいし、それぞれ別のファイルを構成してもよい。
【００１２】
上記構成によれば、対象物抽出手段が３次元データもしくはその付帯情報により予め指定された対象物を３次元データから抽出し、マーカー生成手段がこの抽出した該対象物に鑑賞者の視点を誘導させるためのマーカーを生成し、合成手段が生成されたマーカーを３次元画像に合成する。
【００１３】
これにより、表示される３次元画像には、所定の対象物にマーカーが付された状態で表示されるので、鑑賞者の視点は、このマーカーの付された対象物に誘導されることとなり、鑑賞者が視点を各対象物に移動させるようなことが抑制され、鑑賞者が３次元画像を鑑賞した際に感じる酔い等の不快な症状を軽減することができる。
【００１４】
また、３次元データの作成側では、ぶれが発生するフレームを予め検出しておくことも、また、アイコン自体の画像データや時間軸上の位置等をデータに含めておく必要もなく、３次元画像内で鑑賞者の視点を誘導したい対象物を何らかの方法で指定しておくだけですむので、データ作成が容易である。
【００１５】
しかも、鑑賞者の視点を、３次元画像を構成する対象物そのものに誘導できるので、３次元画像とは別に付加されたアイコンに誘導させるよりも効果的に、３次元画像で本来注目させたかった情報を鑑賞者に認識させることが可能となり、データ作成側としては、不快な症状の軽減を図りながら、かつ、本来見せたかった情報（対象物）を効果的に見せることができるので、非常に有効な３次元画像の表示が可能となる。
【００１６】
さらに、上記した本発明の３次元画像表示装置においては、上記マーカー生成手段が、抽出された対象物の形状に応じた形状を有するマーカーを生成することを特徴とすることもできる。
【００１７】
これによれば、マーカーの形状が対象物の形状に合ったものとなるので、マーカー自体が対象物よりも目立って鑑賞者の視点がマーカーを見てしまうことを効果的に回避して、より有効に鑑賞者に対象物を見せることができる。
【００１８】
また、本発明の３次元画像表示装置においては、３次元データが３次元形状を表す形状データの集合体からなり、上記付帯情報に上記対象物となる形状データを特定するための情報が含まれており、上記対象物抽出手段は、上記付帯情報に含まれる、対象物を特定するための上記情報を用いて抽出すべき対象物を特定することを特徴とすることもできる。
【００１９】
３次元データがＣＡＤデータのように、３次元形状を表す形状データの集合体からなる場合は、その付帯情報に対象物を特定するための情報を含めておくことで、容易に対象物を指定することができ、また、容易に対象物を抽出することができる。
【００２０】
また、本発明の３次元画像表示装置においては、３次元データが、視差をもつ左眼用及び右眼用の各２次元画像からなり、上記付帯情報に上記対象物を特定するための座標値が含まれており、上記対象物抽出手段は、上記付帯情報に含まれる、対象物を特定するための上記座標値を用いて抽出すべき対象物を特定することを特徴とすることもできる。
【００２１】
３次元データが視差をもつ左眼用及び右眼用の各２次元画像からなる場合は、その付帯情報に対象物を特定するための座標値を含めておくことで、容易に対象物を指定することができ、また、容易に対象物を抽出することができる。
【００２２】
また、本発明の３次元画像表示装置においては、３次元データが、片眼用の２次元画像と該２次元画像の各座標における距離情報とからなり、上記付帯情報に上記対象物を特定するための座標値が含まれており、上記対象物抽出手段は、上記付帯情報に含まれる、対象物を特定するための上記座標値を用いて抽出すべき対象物を特定することを特徴とすることもできる。
【００２３】
３次元データが片眼用の２次元画像と該２次元画像の各座標における距離情報とからなる場合は、その付帯情報に対象物を特定するための座標値を含めておくことで、容易に対象物を指定することができ、また、容易に対象物を抽出することができる。
【００２４】
また、本発明の３次元画像表示装置においては、３次元データが、時間情報を含み時系列に沿って変化する動画データであり、上記対象物を特定するための情報は特定時刻の３次元データにおける付帯情報にのみ含まれており、上記対象物抽出手段は、特定時刻と特定時刻との間は、前の特定時刻において抽出した対象物の追跡を行うことで上記対象物を抽出することを特徴とすることもできる。
【００２５】
上記構成では、３次元データが動画データであっても、動画データを構成する各フレームの静止画データ全てに対象物を指定する必要がなくなるので、データ作成が容易になる。
【００２６】
また、本発明の３次元画像表示方法は、上記課題を解決するために、３次元データを用いて３次元画像を表示する３次元画像表示方法において、３次元データもしくはこれに付帯する付帯情報により予め指定された対象物を３次元データから抽出する対象物抽出ステップと、該対象物抽出ステップにて抽出された対象物に鑑賞者の視点を誘導させるマーカーを生成するマーカー生成ステップと、該マーカー生成ステップにより生成されたマーカーを３次元画像に合成する合成ステップとを有することを特徴としている。
【００２７】
３次元画像表示装置として既に説明したように、これにより、３次元画像内の所定の対象物に鑑賞者の視点を誘導することができるので、鑑賞者に生じる酔い等の不快な症状を低減することができる。しかも、予め対象物を指定しておくだけなので、データ作成は容易であり、かつ、３次元画像を構成する物体そのものに視点を誘導するので、不快な症状の軽減を図りながら、かつ、本来見せたかった情報（対象物）を効果的に見せることができる。
【００２８】
本発明の３次元画像表示プログラムは、上記した本発明の３次元画像表示装置を動作させる３次元画像表示プログラムであって、コンピュータを上記対象物抽出手段、上記マーカー生成手段、上記合成手段として機能させるものである。
【００２９】
また、本発明のコンピュータ読み取り可能な記録媒体は、上記した本発明の３次元画像表示プログラムを記録したものである。
【００３０】
これにより、上記３次元画像表示プログラムをコンピュータによって実行させれば、特定の３次元画像表示装置ではなく、不特定の３次元画像表示装置に対しても本発明の３次元画像表示を実現させることが可能となる。
【００３１】
【発明の実施の形態】
〔実施の形態１〕
本発明の実施の一形態について図１ないし図８に基づいて説明すれば、以下の通りである。
【００３２】
本実施の形態に係る３次元画像表示装置は、図１に示すように、データ取得部１、メモリ２、データ解析部３、対象物抽出部（対象物抽出手段）４、マーカー生成部（マーカー生成手段）５、画像生成部（合成手段）６、データ取得判定部８、及び表示部７を有している。
【００３３】
データ取得部１は、３次元データと該３次元データに付帯される付帯情報を取得するものである。３次元データとは、３次元画像を表示可能な表示に直接使用されるデータそのものであり、その種類等については後述する。また、付帯情報とは、３次元画像の表示には直接寄与しない情報であり、例えば、キーワード、タイトル、作成者情報、著作権情報等がある。そして、詳細については後述するが、本実施の形態の３次元画像表示装置では、この付帯情報の一部として、鑑賞者の視点を誘導するためのマーカーを付すべき対象物を特定するための対象物特定情報が含まれている。３次元データとその付帯情報とは、単一のファイルに格納されていても、各々別のファイルに格納されていてもよい。
【００３４】
メモリ２は、データ取得部１で取得された３次元データとその付帯情報を格納するものである。データ解析部３は、メモリ２に格納されている３次元データと付帯情報とを解析して、本装置で扱うことのできる状態に変換し、再度メモリ２に格納するものである。データ解析部３は、３次元データの形式によって、付帯情報のみを解析する場合もある。
【００３５】
対象物抽出部４は、メモリ２に格納されているデータ解析部３による解析結果を基に、マーカーを表示すべき対象物を検出するものである。マーカー生成部５は、対象物抽出部４にて抽出された対象物を基にして、表示すべきマーカーを生成するものである。画像生成部６は、マーカー生成部５にて形成されたマーカーを３次元データに合成して合成画像を生成するもので、表示部７は、その合成画像を表示するものである。
【００３６】
ここで、データ取得部１は、例えば通信手段もしくは各種記録媒体からデータを読み出す手段等からなり、メモリ２はＲＡＭからなる。また、データ解析部３、対象物抽出部４、マーカー生成部５、画像生成部６、及びデータ取得判定部８は、制御部にて構成される。この制御部は、プログラムの命令を実行するＣＰＵ、プログラムを格納したＲＯＭ、上記プログラムを展開するＲＡＭ、上記プログラムを格納するメモリを備えている。
表示部７は、視差を持つ左右画像を表示することが可能なディスプレイからなり、例えば、パララックスバリア方式を用いたディスプレイ、レンティキュラレンズを用いたディスプレイ等である。左右画像を表示可能であれば他の表示装置を用いてもよい。
【００３７】
ここで、本実施の形態の３次元画像表示装置において扱うことのできる３次元データについて説明する。本実施の形態の３次元画像表示装置は、以下の▲１▼〜▲３▼の何れかを扱うことができる。もちろん、▲１▼〜▲３▼のうちの複数を組み合わせて扱い得る構成であってもよい。
【００３８】
▲１▼ＣＡＤデータのような物体の３次元形状を表す３次元形状データの集合体。
【００３９】
▲２▼視差を有する左眼用２次元画像と右眼用２次元画像。
【００４０】
▲３▼片眼用の２次元画像と該２次元画像における各画素の距離情報との対。
【００４１】
ここで、まず、図２のフローチャートを用いて、本実施の形態の３次元画像表示装置が、▲１▼の３次元データを扱うものであって、その場合に、３次元画像を表示するまでの手順を説明する。
【００４２】
まず、データ取得部１が３次元データおよびその付帯情報を取得し、メモリ２に記憶させる（Ｓ１）。次に、Ｓ１におけるデータ取得の成否をデータ取得判定部８が判定し、データの終了判定を行う（Ｓ２）。ここで、データ取得が成功している場合にはＳ３に進む。一方、データ取得が否、つまり、３次元データとその付帯情報とを取得できていない場合は、終了と判断する。
【００４３】
Ｓ３では、データ解析部３がデータ取得部１により取得された３次元データと付帯情報とを解析し、以下の処理で使用可能な形態に変換し、再度メモリ２に記憶する。
【００４４】
例えば、図３に、３次元データとその付帯情報とが、単一のＸＭＬファイルにより構成されている場合を示す。図３の例では、表示すべき物体である３次元形状データが４つ存在している。この３次元形状データをデータ解析部３が解析し、例えば図４に示すようなテーブルの形に変換し、メモリ２に格納する。なお、図４では、３次元形状データが各物体の３次元データであり、「ＩＤ」および「Ｆｏｃｕｓ」が３次元データの付帯情報である。そして、「Ｆｏｃｕｓ」が対象物特定情報である。
【００４５】
取得した３次元データとその付帯情報の解析が終了すると、対象物抽出部４がメモリ２に記憶されているデータ解析部３による解析結果を参照して、マーカーを表示すべき対象物を検出する（Ｓ４）。
【００４６】
例えば、図３、図４の例では、ＩＤ＝ｃａｒ１だけがＦｏｃｕｓ＝ｙｅｓとなっており、対象物抽出部４は、ｃａｒ１がマーカーを表示すべき対象物であると検出する。
【００４７】
マーカーを表示すべき対象物が検出されると、マーカー生成部５が表示すべきマーカーの形状を決定し、マーカー画像を生成する（Ｓ５）。この際、マーカー生成部５は、マーカーを表示する対象物の形状を基にマーカーの形状を決定し、例えば、対象物を内部に含む最小面積の楕円或いは、対象物の輪郭線などのマーカーを作成する。マーカーの色は、付帯情報として色の情報を別途もたせてもよいし、対象物の色を解析した結果から決定してもよい。そして、ここでは、マーカー生成部５は、マーカーの形状を決定するにあたり、表示するために２次元平面上に投影された形状を基にしている。マーカーを生成するにあたり、対象物の３次元空間中の形状を基にすると、３次元のマーカーを生成し、２次元平面上に投影することとなり処理が煩雑になるが、このように、対象物を２次元平面上に投影した後にマーカーを生成すれば、より簡単な処理によりマーカーを生成することができる。
【００４８】
マーカーが生成されると、画像生成部６が、全ての対象物、図３の例では４つの対象物から表示するための左右画像を生成し、これにマーカー生成部５により生成されたマーカーを合成する（Ｓ６）。そして、表示部７が、生成された画像を表示する（Ｓ７）。
【００４９】
図５に、表示部７に表示された３次元画像の表示例を示す。この図５では、図４でＩＤ＝ｂｕｉｌｄｉｎｇ１〜３で特定される３つのビルと、ＩＤ＝ｃａｒ１で特定される１台の自動車とが表示されている。そして、マーカーを付すべき対象物である自動車を内部に含む最小面積の楕円からなるマーカーＭが表示されている。
【００５０】
Ｓ７にて、画像表示を行った後、Ｓ１に戻る。ここで、表示する画像が静止画像であれば、Ｓ１でのデータ取得が行われないので、Ｓ２にてデータ終了と判断して、処理を終了する。一方、表示する画像が動画像であれば、Ｓ１において次のフレームの３次元データと付帯情報とが取得されるので、Ｓ２を経てＳ３に進み、Ｓ４〜Ｓ７を実施して、次のフレームの３次元画像を表示することとなる。
【００５１】
次に、図６のフローチャートを用いて、本実施の形態の３次元画像表示装置が、▲２▼或いは▲３▼の３次元データを扱うものであって、その場合に、３次元画像を表示するまでの手順を説明する。
【００５２】
まず、データ取得部１が３次元データおよびその付帯情報を取得し、メモリ２に記憶させる（Ｓ１１）。上記▲２▼の場合、３次元データは、左眼用２次元画像の画像データ及び右眼用２次元画像の画像データであり、また、▲３▼の場合は、左眼或いは右目用の何れかの２次元画像データと、各画素（各座標）における距離情報との対からなる。上記▲２▼▲３▼の場合は、付帯情報は、図７に示すように、画像データとは別のＸＭＬファイルに記述されているものとする。
【００５３】
Ｓ１２では、Ｓ１１におけるデータ取得の成否をデータ取得判定部８が判定し、データの終了判定を行う。ここで、データ取得が成功している場合にはＳ１３に進む。一方、データ取得が否、つまり、３次元データとその付帯情報とを取得できていない場合は、終了と判断する。
【００５４】
Ｓ１３では、データ解析部３が、データ取得部１により取得された付帯情報を解析する。ここで付帯情報は、例えば図７に示すように、ＸＭＬにより記述されているため、このＸＭＬファイルをパージング（構文解析）し、以下の処理で使用可能な形態に変換して再度メモリ２に記憶する。
【００５５】
付帯情報の解析が終了すると、対象物抽出部４がメモリ２に記憶されている付帯情報から、マーカーを表示すべき対象物を特定する対象物特定情報を抽出する（Ｓ１４）。例えば、図７の例では、対象物特定情報は、付帯情報に２次元画像の座標値（１２８，２５６）として与えられている。なお、この例では、２次元画像の１点を指定しているが、点列により閉曲線を指定してもよいし、矩形のパラメータや楕円のパラメータ、或いはマスク画像等の他の情報を与えてもよい。
【００５６】
マーカーを表示すべき対象物を特定する対象物特定情報を取得すると、対象物抽出部４が、マーカーを表示する対象物の領域を決定する（Ｓ１５）。ここでは、Ｓ１４において抽出された情報が、図７の例のように、１座標値の点(以下重心点)であるため、この情報を用いて対象物の領域を後述のように決定する。もしも、Ｓ１４にて抽出された対象物特定情報が閉曲線等の領域を表す情報であれば、その閉曲線を対象物領域として用いればよい。
【００５７】
対象物領域が決定すると、マーカー生成部５が表示すべきマーカーの形状を決定し、マーカー画像を生成する（Ｓ１６）。マーカーの形状は、マーカーを表示する対象物の形状により決定し、例えば、対象物領域を内部に含む最小面積の楕円或いは、対象物領域の輪郭線などである。
【００５８】
このようにして、マーカーが生成されると、画像生成部６が、表示用の左右画像にマーカー生成部５により生成されたマーカーを合成し（Ｓ１７）、表示部７が、生成された画像を表示する（Ｓ１８）。
【００５９】
なお、ここでも、Ｓ１８にて画像表示を行った後、Ｓ１１に戻り、表示する画像が静止画像であれば、Ｓ１１でのデータ取得が行われないので、Ｓ１２にてデータ終了と判断して、処理を終了する。一方、表示する画像が動画像であれば、Ｓ１１において次のフレームの３次元データと付帯情報とが取得されるので、Ｓ１２を経てＳ１３に進み、Ｓ１４〜Ｓ１８を実施して、次のフレームの３次元画像を表示することとなる。
【００６０】
ここで、図８のフローチャートを用いて、上記した図６のフローチャートにおけるＳ１５の、１座標値より対象物抽出部４における対象物領域を計算する処理を説明する。
【００６１】
まずは、対象物領域Ｒの初期値として、Ｓ１４で抽出した重心点ｇを設定する。また、初期視差として重心点ｇにおける視差Ｄ（ｇ）を設定する（Ｓ２１）。ここでＤ（ｐ）は、座標ｐにおける視差の値を与える関数とする。
【００６２】
次に、対象物領域Ｒに隣接する点の集合Ｐ=[ｐ(ｉ)｜ｉ＝１..ｎ]を求め、ｉ＝１、ａｐｐｅｎｄ＝ｆａｌｓｅで初期化を行う（Ｓ２２）。そして、点ｐ(ｉ)における視差と初期視差ｐａｒａｌｌａｘの差の絶対値と所定の閾値ＴＨを比較する。ここで、差の絶対値が所定の閾値以下であればＳ２４に進み、ｐ(ｉ)をＲに追加して、ａｐｐｅｎｄ＝ｔｒｕｅとする。
【００６３】
一方、Ｓ２３において偽であるか、Ｓ２４を終了後、Ｓ２５においてｉがインクリメントされ、Ｓ２６においてｉと集合Ｐの要素数ｎと比較され、ｉがｎ以下であればＳ２３に戻り、さもなければＳ２７に進む。
【００６４】
Ｓ２７では、このループにより対象物領域Ｒが更新されたか否かがａｐｐｅｎｄの値により検証され、Ｒが更新された場合には、Ｓ２２に戻り、更新されなかった場合には処理を終了し、Ｒを対象物領域とする。
【００６５】
なお、ここでは、対象物抽出の目安として視差を用いたが、距離を用いても構わないし、色の情報等の他の情報を用いることもできる。また、初期視差ｐａｒａｌｌａｘは重心点における視差をそのまま用いたが、領域Ｒが更新されるたびに平均を計算して用いることもできる。
【００６６】
以上のように、本実施の形態の３次元画像表示装置では、対象物抽出部４が、３次元データの付帯情報を基に、予め指定されている対象物を３次元データより抽出し、マーカー生成部５が抽出した対象物に鑑賞者の視点を誘導させるためのマーカーＭを生成し、画像生成部６が、生成されたマーカーＭを３次元画像に合成するようになっている。
【００６７】
したがって、表示部７に表示される３次元画像には、所定の対象物にマーカーＭが付された状態で表示されるので、鑑賞者の視点は、このマーカーＭの付された対象物に誘導されることとなり、鑑賞者が視点を各対象物に移動させるようなことが抑制され、３次元画像を鑑賞した際に鑑賞者が感じる酔い等の不快な症状を軽減することができる。
【００６８】
また、３次元データの作成側では、ぶれが発生するフレームを予め検出しておくことも、また、アイコン自体の画像データや時間軸上の位置等をデータに含めておく必要もなく、３次元画像内で鑑賞者の視点を誘導したい対象物を何らかの方法で指定しておくだけですむので、データ作成が容易である。
【００６９】
しかも、鑑賞者の視点を、３次元画像を構成する対象物そのものに誘導できるので、３次元画像とは別に付加されたアイコンに誘導させるよりも効果的に、３次元画像で本来注目させたかった情報を鑑賞者に認識させることが可能となり、データ作成側としては、不快な症状の軽減を図りながら、かつ、本来見せたかった情報（対象物）を効果的に見せることができるので、非常に有効な３次元画像の表示が可能となる。
【００７０】
そして特に、マーカー生成部５は、抽出された対象物の形状に応じた形状を有するマーカーＭを生成するので、対象物の形状に合ったマーカーＭとなるので、対象物よりもマーカーＭが目立ってしまって鑑賞者の視点がマーカーＭに注目することを効果的に回避して、より有効に鑑賞者に対象物を見せることができる。
【００７１】
〔実施の形態２〕
本発明の実施のその他の形態について図９ないし図１１に基づいて説明すれば、以下の通りである。なお、説明の便宜上、実施の形態１で用いたものと同じ機能を有する部材には同じ符号を付して説明を省略する。
【００７２】
本実施の形態に係る３次元画像表示装置は、実施の形態１の３次元画像表示装置と異なる点は、その処理手順にある。つまり、実施の形態１の３次元画像表示装置では、図２のフローチャートに示すように、Ｓ３のデータ解析部３によるデータ解析後、次のＳ４で、対象物抽出部４がマーカーを表示する対象物を抽出する処理を行っていた。
【００７３】
これに対し、本実施の形態の３次元画像表示装置では、図９のフローチャートに示すように、Ｓ３１のデータ解析部３によるデータ解析後すぐに対象物抽出部４がマーカーを表示する対象物を抽出するのではなく、Ｓ３３としてマーカー表示の対象物を追跡する処理を設けており、この追跡が成功しなかった場合のみ、Ｓ３５にて対象物抽出部４がマーカーを表示する対象物を抽出する処理を行うようになっている。
【００７４】
このように、マーカー表示対象物を追跡する処理を設けておくことで、３次元データが動画データであっても、動画データを構成する各フレームの静止画データ全てに対象物を指定しておく必要がなくなるので、データ作成が容易になる。
【００７５】
以下、図９のフローチャートを中心に、本実施の形態の３次元画像表示装置が、３次元データの動画データを扱う場合の３次元動画像を表示する手順を説明する。なお、動画データを構成する３次元データとしては、実施の形態１で説明した▲１▼〜▲３▼のうちのいずれでもよいが、ここでは、▲１▼、つまり、３次元データがＣＡＤデータのような３次元空間における形状データの集合であるものを例示して説明する。
【００７６】
まず、データ取得部１が、時刻ｔの３次元データおよび付帯情報を取得し、メモリ２に記憶し、データ解析部３が、付帯情報を解析し、以降の処理で使用可能な形式に変換し、メモリ２に記憶する（Ｓ３１）。
【００７７】
実施の形態１では詳しく説明していなかったが、３次元データが動画データである場合、３次元データには時間情報が含まれており、時間経過に伴い表示すべき内容が変化する。３次元データおよび付帯情報は、一括してメモリ２に読み込み、メモリ２上で管理してもよいし、時刻ごとに逐次読み込み、処理を行っても構わないが、ここでは、逐次読み込みながら処理を行うものを例示する。
【００７８】
図１０に、３次元データとその付帯情報とが、単一のＸＭＬファイルにより構成されている場合を示す。図１０の例でも、図３の場合と同様に、表示すべき物体である３次元形状データが４つ存在している。そして、<ｔｉｍｅ>タグが時間情報を表している。この３次元形状データをデータ解析部３が解析し、例えば図１１に示すようなテーブルの形に変換し、メモリ２に格納する。なお、図１１でも、図４と同様に、３次元形状データが各物体の３次元データであり、「ＩＤ」および「Ｆｏｃｕｓ」が３次元データの付帯情報である。そして、「Ｆｏｃｕｓ」が対象物特定情報である。
【００７９】
次に、データ取得判定部８にて、データ取得部１によるデータ取得の成否が判定され（Ｓ３２）、成功すればＳ３３に進み、対象物抽出部４が、時刻ｔ−１におけるマーカー表示対象物の情報を用いて、現時刻ｔにおけるマーカー表示対象物を追跡する。
【００８０】
ここでは、各対象物はＩＤを付与されているため、ＩＤにより追跡を行う。例えば、図１０の３次元データを考えると、時刻ｔ＝０でＩＤ=ｃａｒ１がマーカー表示対象物であるため、対象物抽出部４は、時刻ｔ＝１においては、先の時刻でのマーカー表示対象物であるＩＤ＝ｃａｒ１を、時刻ｔ＝１においての対象物とする。なお、３次元データが▲２▼▲３▼の二次元データ（画像データ）の場合には、ブロックマッチング等の技術を用いてマーカー表示対象物の追跡を行う。
【００８１】
Ｓ３４では、Ｓ３３におけるマーカー表示対象物の追跡の成否が判定される。例えば、図１０の例では、時刻ｔ＝０でＩＤ＝ｃａｒ１がマーカー表示対象物として指定され、時刻ｔ＝ｎ−１まではＩＤ＝ｃａｒ１が存在しているため追跡は成功する。しかしながら、時刻ｔ＝ｎでは、ＩＤ＝ｃａｒ１が存在しないためＳ３４にける追跡は失敗となる。
【００８２】
追跡が失敗したと判定されると、メモリ２に記憶されている付帯情報から、対象物抽出部４がマーカー表示対象物を取得する（Ｓ３５）。図１０の例では、時刻ｔ＝ｎのマーカー表示対象物はＩＤ＝ｃａｒ２となる。
【００８３】
マーカーを表示すべき対象物が検出されると、マーカー生成部５が表示すべきマーカーの形状を決定し、マーカー画像を生成する（Ｓ３６）。マーカーの形状はマーカーを表示する対象物の形状により決定し、例えば、対象物を内部に含む最小面積の楕円或いは、対象物の輪郭線などである。ただし、マーカー生成部５は、マーカーの形状を決定するにあたり、表示するために２次元平面上に投影された形状を基にする。マーカーが生成されると、画像生成部６が、全ての対象物、図１０の例では４つの対象物から表示するための左右画像を生成し、これにマーカー生成部５により生成されたマーカーを合成する（Ｓ３７）。そして、表示部７が、生成された画像を表示する（Ｓ３８）。
【００８４】
Ｓ３８にて、画像表示を行った後、Ｓ３１に戻る。ここで、動画像の終端にきた場合のみ、Ｓ３１でのデータ取得が行われないので、Ｓ３２にてデータ終了と判断して、処理を終了する。一方、次のフレームがある場合は、Ｓ３１において次のフレームの３次元データと付帯情報とが取得されるので、Ｓ３２を経てＳ３３に進み、Ｓ３４〜Ｓ３８を実施して、次のフレームの３次元画像を表示することとなる。
【００８５】
このように、先の時刻に特定されたマーカー表示対象物が出現しなくなる時刻まで、当該マーカー表示対象物を追跡し、これをマーカーを表示すべき対象物として抽出することで、たとえ３次元データが動画データであっても、動画データを構成する各フレームの静止画データ、つまり各時刻の３次元データに対象物を指定しておく必要がなくなるので、データ作成が容易になる。
【００８６】
また、上記した実施の形態１，２では、マーカーを表示すべき対象物を、３次元データの付帯情報より特定する構成としていたが、３次元データから直接特定する構成でもよい。つまり、３次元データにおける最も手前に位置する物体に、常にマーカーを表示するように予め設定しておくことで、対象物抽出部は、３次元データから直接マーカーを表示すべき対象物を抽出することができる。
【００８７】
また、上記実施の形態１，２では、特に説明しなかったが、３次元画像鑑賞時の酔い方には個人差があるため、３次元画像表示装置に酔いの程度を表す個人情報を入力するなどしておき、酔い難い３次元画像に強い鑑賞者には、表示されるマーカーを薄くし、反対に酔い易い３次元画像に弱い鑑賞者には、マーカーを明確に示すといった手法をとってもよい。
【００８８】
また、上記した実施の形態１，２で説明した３次元画像の表示処理は、コンピュータ読み取り可能な記録媒体にプログラムとして記録することも可能である。例えば、コンピュータを、３次元データもしくはこれに付帯する付帯情報より予め指定された対象物を抽出する対象物抽出部（対象物抽出手段）４、該対象物抽出部４にて抽出された対象物に鑑賞者の視点を誘導させるためのマーカーを生成するマーカー生成部（マーカー生成手段）５と、該マーカー生成部５により生成されたマーカーを３次元画像に合成する画像生成部（合成手段）６として機能させる各プログラムが記録された記録媒体が考えられる。
【００８９】
本発明の目的は、このような手段をコンピュータに実現させるソフトウエアである３次元画像表示プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を、コンピュータが読み取り得るように記録媒体に記録させ、該記録媒体を、３次元画像表示装置に供給し、そのコンピュータが記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。この場合、記録媒体から読み出されたプログラムコード自体が上述した手順を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００９０】
ここで、上記プログラムメディアとしての記録媒体は、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【００９１】
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的手段に含まれる。
【００９２】
【発明の効果】
本発明の３次元画像表示装置は、以上のように、３次元データを用いて３次元画像を表示する３次元画像表示装置において、３次元データもしくはこれに付帯する付帯情報により予め指定された対象物を３次元データから抽出する対象物抽出手段と、該対象物抽出手段にて抽出された対象物に鑑賞者の視点を誘導させるためのマーカーを生成するマーカー生成手段と、該マーカー生成手段により生成されたマーカーを３次元画像に合成する合成手段とを備えたことを特徴としている。
【００９３】
これにより、表示される３次元画像には、所定の対象物にマーカーが付された状態で表示されるので、鑑賞者の視点は、このマーカーの付された対象物に誘導されることとなり、鑑賞者が視点を各対象物に移動させるようなことが抑制され、鑑賞者が３次元画像を鑑賞した際に感じる酔い等の不快な症状を軽減することができる。
【００９４】
また、３次元データの作成側では、ぶれが発生するフレームを予め検出しておくことも、また、アイコン自体の画像データや時間軸上の位置等をデータに含めておく必要もなく、３次元画像内で鑑賞者の視点を誘導したい対象物を何らかの方法で指定しておくだけですむので、データ作成が容易である。
【００９５】
しかも、鑑賞者の視点を、３次元画像を構成する対象物そのものに誘導できるので、３次元画像とは別に付加されたアイコンに誘導させるよりも効果的に、３次元画像で本来注目させたかった情報を鑑賞者に認識させることが可能となり、データ作成側としては、不快な症状の軽減を図りながら、かつ、本来見せたかった情報（対象物）を効果的に見せることができるので、非常に有効な３次元画像の表示が可能となる等の効果を奏する。
【００９６】
さらに、上記した本発明の３次元画像表示装置においては、上記マーカー生成手段が、抽出された対象物の形状に応じた形状を有するマーカーを生成することを特徴とすることもできる。
【００９７】
これによれば、マーカーの形状が対象物の形状に合ったものとなるので、マーカー自体が対象物よりも目立って鑑賞者の視点がマーカーを見てしまうことを効果的に回避して、より有効に鑑賞者に対象物を見せることができるという効果を併せて奏する。
【００９８】
また、本発明の３次元画像表示装置においては、３次元データが３次元形状を表す形状データの集合体からなり、上記付帯情報に上記対象物となる形状データを特定するための情報が含まれており、上記対象物抽出手段は、上記付帯情報に含まれる、対象物を特定するための上記情報を用いて抽出すべき対象物を特定することを特徴とすることもできる。
【００９９】
３次元データがＣＡＤデータのように、３次元形状を表す形状データの集合体からなる場合は、その付帯情報に対象物を特定するための情報を含めておくことで、容易に対象物を指定することができ、また、容易に対象物を抽出することができるという効果を併せて奏する。
【０１００】
また、本発明の３次元画像表示装置においては、３次元データが、視差をもつ左眼用及び右眼用の各２次元画像からなり、上記付帯情報に上記対象物を特定するための座標値が含まれており、上記対象物抽出手段は、上記付帯情報に含まれる、対象物を特定するための上記座標値を用いて抽出すべき対象物を特定することを特徴とすることもできる。
【０１０１】
３次元データが視差をもつ左眼用及び右眼用の各２次元画像からなる場合は、その付帯情報に対象物を特定するための座標値を含めておくことで、容易に対象物を指定することができ、また、容易に対象物を抽出することができるという効果を併せて奏する。
【０１０２】
また、本発明の３次元画像表示装置においては、３次元データが、片眼用の２次元画像と該２次元画像の各座標における距離情報とからなり、上記付帯情報に上記対象物を特定するための座標値が含まれており、上記対象物抽出手段は、上記付帯情報に含まれる、対象物を特定するための上記座標値を用いて抽出すべき対象物を特定することを特徴とすることもできる。
【０１０３】
３次元データが片眼用の２次元画像と該２次元画像の各座標における距離情報とからなる場合は、その付帯情報に対象物を特定するための座標値を含めておくことで、容易に対象物を指定することができ、また、容易に対象物を抽出することができるという効果を併せて奏する。
【０１０４】
また、本発明の３次元画像表示装置においては、３次元データが、時間情報を含み時系列に沿って変化する動画データであり、上記対象物を特定するための情報は特定時刻の３次元データにおける付帯情報にのみ含まれており、上記対象物抽出手段は、特定時刻と特定時刻との間は、前の特定時刻において抽出した対象物の追跡を行うことで上記対象物を抽出することを特徴とすることもできる。
【０１０５】
上記構成では、３次元データが動画データであっても、動画データを構成する各フレームの静止画データ全てに対象物を指定する必要がなくなるので、データ作成が容易になるという効果を併せて奏する。
【０１０６】
また、本発明の３次元画像表示方法は、上記課題を解決するために、３次元データを用いて３次元画像を表示する３次元画像表示方法において、３次元データもしくはこれに付帯する付帯情報により予め指定された対象物を３次元データから抽出する対象物抽出ステップと、該対象物抽出手段にて抽出された対象物に鑑賞者の視点を誘導させるマーカーを生成するマーカー生成ステップと、該マーカー生成手段により生成されたマーカーを３次元画像に合成する合成ステップとを有することを特徴としている。
【０１０７】
３次元画像表示装置として既に説明したように、これにより、３次元画像内の所定の対象物に鑑賞者の視点を誘導することができるので、鑑賞者に生じる酔い等の不快な症状を低減することができる。しかも、予め対象物を指定しておくだけなので、データ作成は容易であり、かつ、３次元画像を構成する物体そのものに視点を誘導するので、不快な症状の軽減を図りながら、かつ、本来見せたかった情報（対象物）を効果的に見せることができるという効果を奏する。
【０１０８】
本発明の３次元画像表示プログラムは、上記した本発明の３次元画像表示装置を動作させる３次元画像表示プログラムであって、コンピュータを上記対象物抽出手段、上記マーカー生成手段、上記合成手段として機能させるものである。
【０１０９】
また、本発明のコンピュータ読み取り可能な記録媒体は、上記した本発明の３次元画像表示プログラムを記録したものである。
【０１１０】
これにより、上記３次元画像表示プログラムをコンピュータによって実行させれば、特定の３次元画像表示装置ではなく、不特定の３次元画像表示装置に対しても本発明の３次元画像表示を実現させることが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の一形態を示すもので、３次元画像表示装置の機能ブロック図である。
【図２】上記３次元画像表示装置における３次元画像を表示する際の手順を示すフローチャートであり、３次元データが３次元形状データの集合からなる場合の手順を示している。
【図３】図５の表示例を表す、３次元形状データの集合からなる３次元データとその付帯情報の例を示す説明図である。
【図４】図３の３次元形状データの集合からなる３次元データとその付帯情報との解析結果を示す説明図である。
【図５】上記図３の３次元画像表示装置におけるマーカーが表示された表示例を示す説明図である。
【図６】上記３次元画像表示装置における３次元画像を表示する際の手順を示すフローチャートであり、３次元データが、視差を有する左眼用２次元画像と右眼用２次元画像、或いは片眼用の２次元画像と該２次元画像における各画素の距離情報との対からなる場合の手順を示している。
【図７】３次元データが、視差を有する左眼用２次元画像と右眼用２次元画像、或いは片眼用の２次元画像と該２次元画像における各画素の距離情報との対からなる場合の、付帯情報の例を示す説明図である。
【図８】３次元データが、視差を有する左眼用２次元画像と右眼用２次元画像、或いは片眼用の２次元画像と該２次元画像における各画素の距離情報との対からなる場合の、対象物を抽出する手順を示すフローチャートである。
【図９】本発明の実施の他の形態を示すもので、３次元画像を表示する際の手順を示すフローチャートである。
【図１０】３次元形状データの集合からなる３次元データの動画データとその付帯情報の例を示す説明図である。
【図１１】図１０の３次元形状データの集合からなる３次元データの動画データとその付帯情報との解析結果を示す説明図である。
【符号の説明】
１データ取得部
２メモリ
３データ解析部
４対象物抽出部（対象物抽出手段）
５マーカー生成部（マーカー生成手段）
６画像生成部（合成手段）
７表示部
８データ取得判定部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a three-dimensional image display device for displaying and appreciating three-dimensional data, and in particular, when viewing a three-dimensional image, discomfort such as sickness caused by a viewpoint moving to an object having various parallaxes. The present invention relates to a three-dimensional image display device having a function of reducing image quality, a three-dimensional image display method, a three-dimensional image display program, and a computer-readable recording medium storing the program.
[0002]
[Prior art]
In recent years, various three-dimensional image display devices capable of expressing deep three-dimensional images have been developed. As a prior art related to such a three-dimensional image display device, Patent Document 1 discloses in advance detection of a frame that is known to blur or blur the entire image due to an abrupt change in the image. Describes a technique for displaying a specific display character (hereinafter referred to as an icon) for guiding the viewer's viewpoint.
[0003]
This is because, when a moving image is displayed, if the entire image is blurred or shakes due to a sudden change in the image, the viewer will not be able to find a place where the viewpoint can be clearly seen and will feel uncomfortable feelings such as sickness. It is intended to solve the problem. The viewer can reduce the occurrence of unpleasant symptoms such as dizziness and sickness as described above by matching the viewpoint to the icon.
[0004]
Japanese Patent Application Laid-Open No. 2004-228561 displays such an icon in accordance with an instruction from the viewer or a third party or by detecting a blur of the image with the 3D image display device itself. It is also described.
[0005]
[Patent Document 1]
JP 7-226959 (published August 22, 1995)
[0006]
[Problems to be solved by the invention]
However, the above-mentioned Patent Document 1 is intended for a three-dimensional moving image, and does not have the technical idea of displaying an icon that guides the viewer's viewpoint on a moving image that is not blurred or a still image. . Therefore, it is not possible to reduce the discomfort of the viewer who is weak in the three-dimensional image.
[0007]
Although the above-mentioned Patent Document 1 does not pay attention, since the three-dimensional image is an image made up of various objects having parallax, the viewer moves the viewpoint to each object even if there is no motion image blurring. That is why I feel a little sickness. Although there are individual differences in how to feel sickness, viewers who are weak in 3D images that feel intensely, even if they are still images rather than videos, will accumulate a small amount of sickness, I feel uncomfortable. Since the above-mentioned patent document 1 is a technique for displaying an icon only on a frame that targets a moving image and in which the image blurs, the unpleasant symptom that can occur even in such a still image cannot be reduced.
[0008]
Moreover, in the said patent document 1, it is necessary to detect beforehand the frame which displays an icon in the data preparation side which provides a three-dimensional image, and for displaying an icon other than the data of a three-dimensional image The image data of the icon itself, the coordinate value of the icon, the position of the icon on the time axis, and the like are required. Therefore, there is a problem that it takes time to create data.
[0009]
Furthermore, in the above-mentioned Patent Document 1, the viewer's viewpoint is adjusted not to the original three-dimensional image but to an icon added separately thereto. Therefore, even though it is possible to reduce the viewer's unpleasant symptom by showing the icon, the viewer's viewpoint concentrates on the icon, so the object itself that is an element constituting the three-dimensional image that the user originally wanted to show There is also a problem that it cannot be noticed.
[0010]
[Means for Solving the Problems]
In order to solve the above-described problems, the 3D image display device of the present invention is a 3D image display device that displays 3D images using 3D data, and is designated in advance by 3D data or incidental information attached thereto. An object extraction means for extracting a target object from three-dimensional data, a marker generation means for generating a marker for guiding the viewer's viewpoint to the object extracted by the object extraction means, and the marker And a combining unit that combines the marker generated by the generating unit with a three-dimensional image.
[0011]
Here, the three-dimensional data is a general term for data that can be displayed three-dimensionally (stereoscopically) in the three-dimensional image display device, and the incidental information attached to the three-dimensional data indicates three-dimensional data. It is information that is not used directly. The incidental information may constitute one file together with the three-dimensional data, or may constitute another file.
[0012]
According to the above configuration, the object extracting means extracts the object specified in advance by the three-dimensional data or the accompanying information from the three-dimensional data, and the marker generating means guides the viewer's viewpoint to the extracted object. A marker for generating the image is generated, and the generated marker is combined with the three-dimensional image.
[0013]
As a result, the displayed three-dimensional image is displayed in a state where a marker is attached to a predetermined object, so that the viewer's viewpoint is guided to the object attached with this marker, It is suppressed that the viewer moves the viewpoint to each object, and unpleasant symptoms such as sickness that the viewer feels when viewing the three-dimensional image can be reduced.
[0014]
In addition, on the 3D data creation side, it is not necessary to detect in advance a frame in which blurring occurs, and it is not necessary to include the image data of the icon itself or the position on the time axis in the data. Data creation is easy because it is only necessary to specify an object to guide the viewer's viewpoint in the image by some method.
[0015]
Moreover, since the viewer's viewpoint can be guided to the object itself constituting the three-dimensional image, it was more effective than the guidance to the icon added separately from the three-dimensional image. It is possible to make the viewer recognize the information, and the data creation side can effectively show the information (object) that it originally wanted to show while reducing unpleasant symptoms. An effective three-dimensional image can be displayed.
[0016]
Furthermore, in the above-described three-dimensional image display device of the present invention, the marker generation unit may generate a marker having a shape corresponding to the shape of the extracted object.
[0017]
According to this, since the shape of the marker matches the shape of the object, it is possible to effectively avoid that the marker itself stands out from the object and the viewer's viewpoint sees the marker. Effectively show the object to the viewer.
[0018]
In the three-dimensional image display device of the present invention, the three-dimensional data is a collection of shape data representing a three-dimensional shape, and the incidental information includes information for specifying the shape data as the object. In addition, the object extraction means may specify the object to be extracted using the information for specifying the object included in the incidental information.
[0019]
If the 3D data consists of a collection of shape data representing a 3D shape, such as CAD data, the object can be easily specified by including information for specifying the object in the accompanying information. In addition, the object can be easily extracted.
[0020]
In the three-dimensional image display device of the present invention, the three-dimensional data includes two-dimensional images for the left eye and the right eye having parallax, and coordinate values for specifying the object in the auxiliary information. The object extraction means may specify the object to be extracted using the coordinate value included in the incidental information for specifying the object.
[0021]
When 3D data consists of left-eye and right-eye 2D images with parallax, it is easy to specify an object by including coordinate values for identifying the object in the accompanying information. In addition, the object can be easily extracted.
[0022]
In the three-dimensional image display device of the present invention, the three-dimensional data includes a one-dimensional two-dimensional image and distance information at each coordinate of the two-dimensional image, and specifies the object in the auxiliary information. The object extraction means specifies the object to be extracted by using the coordinate value for specifying the object included in the incidental information. You can also.
[0023]
When the 3D data is composed of a 2D image for one eye and distance information at each coordinate of the 2D image, it is easy to include the coordinate value for specifying the object in the accompanying information. An object can be designated, and an object can be easily extracted.
[0024]
In the three-dimensional image display device of the present invention, the three-dimensional data is moving image data that includes time information and changes along a time series, and the information for specifying the object is three-dimensional data at a specific time. The object extraction means extracts the object by tracking the object extracted at the previous specific time between the specific time and the specific time. It can also be a feature.
[0025]
In the above configuration, even if the three-dimensional data is moving image data, it is not necessary to specify an object for all the still image data of each frame constituting the moving image data, so that data creation is facilitated.
[0026]
In order to solve the above-described problem, the 3D image display method of the present invention is a 3D image display method for displaying a 3D image using 3D data by using 3D data or accompanying information attached thereto. An object extraction step of extracting a predesignated object from the three-dimensional data, a marker generation step of generating a marker for guiding the viewer's viewpoint to the object extracted in the object extraction step, and the marker And a synthesis step of synthesizing the marker generated in the generation step with a three-dimensional image.
[0027]
As already described as the three-dimensional image display device, this enables the viewer's viewpoint to be guided to a predetermined object in the three-dimensional image, thereby reducing unpleasant symptoms such as sickness that occur in the viewer. be able to. Moreover, since the object is simply specified in advance, the data creation is easy, and the viewpoint is guided to the object itself constituting the three-dimensional image, so that it is possible to reduce the unpleasant symptom and show it originally. The desired information (object) can be shown effectively.
[0028]
The three-dimensional image display program of the present invention is a three-dimensional image display program for operating the above-described three-dimensional image display apparatus of the present invention, and functions as a computer for the object extraction unit, the marker generation unit, and the synthesis unit. It is something to be made.
[0029]
The computer-readable recording medium of the present invention records the above-described three-dimensional image display program of the present invention.
[0030]
Thereby, if the above-mentioned 3D image display program is executed by a computer, the 3D image display of the present invention is realized not only on a specific 3D image display device but also on an unspecified 3D image display device. Is possible.
[0031]
DETAILED DESCRIPTION OF THE INVENTION
[Embodiment 1]
An embodiment of the present invention will be described with reference to FIGS. 1 to 8 as follows.
[0032]
As shown in FIG. 1, the three-dimensional image display apparatus according to the present embodiment includes a data acquisition unit 1, a memory 2, a data analysis unit 3, an object extraction unit (object extraction unit) 4, a marker generation unit (marker) Generation means) 5, image generation unit (combination means) 6, data acquisition determination unit 8, and display unit 7.
[0033]
The data acquisition unit 1 acquires three-dimensional data and incidental information attached to the three-dimensional data. The three-dimensional data is data itself that is directly used for display capable of displaying a three-dimensional image, and the type thereof will be described later. The supplementary information is information that does not directly contribute to the display of the three-dimensional image, and includes, for example, a keyword, a title, creator information, copyright information, and the like. As will be described in detail later, in the three-dimensional image display device according to the present embodiment, as a part of the supplementary information, an object for specifying an object to be attached with a marker for guiding the viewer's viewpoint. Includes product identification information. The three-dimensional data and the incidental information thereof may be stored in a single file or may be stored in separate files.
[0034]
The memory 2 stores the three-dimensional data acquired by the data acquisition unit 1 and its accompanying information. The data analysis unit 3 analyzes the three-dimensional data and the incidental information stored in the memory 2, converts it into a state that can be handled by this apparatus, and stores it again in the memory 2. The data analysis unit 3 may analyze only the incidental information depending on the format of the three-dimensional data.
[0035]
The object extraction unit 4 detects an object on which a marker is to be displayed based on the analysis result by the data analysis unit 3 stored in the memory 2. The marker generation unit 5 generates a marker to be displayed based on the object extracted by the object extraction unit 4. The image generation unit 6 generates a combined image by combining the marker formed by the marker generation unit 5 with the three-dimensional data, and the display unit 7 displays the combined image.
[0036]
Here, the data acquisition unit 1 includes, for example, a communication unit or a unit that reads data from various recording media, and the memory 2 includes a RAM. The data analysis unit 3, the object extraction unit 4, the marker generation unit 5, the image generation unit 6, and the data acquisition determination unit 8 are configured by a control unit. The control unit includes a CPU that executes program instructions, a ROM that stores the program, a RAM that expands the program, and a memory that stores the program.
The display unit 7 includes a display capable of displaying left and right images having parallax, and is, for example, a display using a parallax barrier system, a display using a lenticular lens, or the like. Other display devices may be used as long as the left and right images can be displayed.
[0037]
Here, three-dimensional data that can be handled in the three-dimensional image display apparatus according to the present embodiment will be described. The three-dimensional image display apparatus according to the present embodiment can handle any of the following (1) to (3). Of course, the structure which can be handled combining two or more among (1)-(3) may be sufficient.
[0038]
(1) A collection of three-dimensional shape data representing the three-dimensional shape of an object such as CAD data.
[0039]
(2) A left-eye two-dimensional image and a right-eye two-dimensional image having parallax.
[0040]
(3) A pair of a two-dimensional image for one eye and distance information of each pixel in the two-dimensional image.
[0041]
Here, first, using the flowchart of FIG. 2, the three-dimensional image display apparatus of the present embodiment handles the three-dimensional data of (1), and in that case, until the three-dimensional image is displayed. The procedure of will be described.
[0042]
First, the data acquisition unit 1 acquires three-dimensional data and its accompanying information and stores them in the memory 2 (S1). Next, the data acquisition determination unit 8 determines the success or failure of data acquisition in S1, and determines the end of data (S2). If the data acquisition is successful, the process proceeds to S3. On the other hand, when the data acquisition is not possible, that is, when the three-dimensional data and the accompanying information have not been acquired, it is determined that the process is finished.
[0043]
In S3, the data analysis unit 3 analyzes the three-dimensional data and the incidental information acquired by the data acquisition unit 1, converts it into a form that can be used in the following processing, and stores it in the memory 2 again.
[0044]
For example, FIG. 3 shows a case where the three-dimensional data and the accompanying information are configured by a single XML file. In the example of FIG. 3, there are four pieces of three-dimensional shape data that are objects to be displayed. The three-dimensional shape data is analyzed by the data analysis unit 3, converted into a table form as shown in FIG. 4, for example, and stored in the memory 2. In FIG. 4, the three-dimensional shape data is the three-dimensional data of each object, and “ID” and “Focus” are incidental information of the three-dimensional data. “Focus” is the object specifying information.
[0045]
When the analysis of the acquired three-dimensional data and its supplementary information is completed, the object extraction unit 4 refers to the analysis result by the data analysis unit 3 stored in the memory 2 and detects the object on which the marker is to be displayed. (S4).
[0046]
For example, in the example of FIGS. 3 and 4, only ID = car1 is Focus = yes, and the object extraction unit 4 detects that car1 is an object for which a marker is to be displayed.
[0047]
When an object to display a marker is detected, the marker generation unit 5 determines the shape of the marker to be displayed and generates a marker image (S5). At this time, the marker generation unit 5 determines the shape of the marker based on the shape of the target object on which the marker is displayed. For example, a marker such as an ellipse having a minimum area including the target object or a contour line of the target object is determined. create. The color of the marker may be separately provided as color information as supplementary information, or may be determined from the result of analyzing the color of the object. Here, the marker generation unit 5 determines the shape of the marker based on the shape projected on the two-dimensional plane for display. In generating the marker, if the shape of the target object in the three-dimensional space is used, a three-dimensional marker is generated and projected onto a two-dimensional plane, but the processing becomes complicated. If a marker is generated after projecting onto a two-dimensional plane, the marker can be generated by simpler processing.
[0048]
When the markers are generated, the image generation unit 6 generates right and left images to be displayed from all the objects, in the example of FIG. 3, four objects, and the markers generated by the marker generation unit 5 are generated. Synthesize (S6). Then, the display unit 7 displays the generated image (S7).
[0049]
FIG. 5 shows a display example of the three-dimensional image displayed on the display unit 7. In FIG. 5, three buildings specified by ID = building 1 to 3 in FIG. 4 and one vehicle specified by ID = car1 are displayed. And the marker M which consists of the ellipse of the minimum area which contains the motor vehicle which is a target object to which a marker should be attached inside is displayed.
[0050]
After displaying an image in S7, the process returns to S1. Here, if the image to be displayed is a still image, the data acquisition in S1 is not performed. Therefore, in S2, it is determined that the data is ended, and the processing is ended. On the other hand, if the image to be displayed is a moving image, the three-dimensional data and supplementary information of the next frame are acquired in S1, so the process proceeds to S3 via S2, and S4 to S7 are performed to perform the next frame. A three-dimensional image is displayed.
[0051]
Next, referring to the flowchart of FIG. 6, the three-dimensional image display apparatus according to the present embodiment handles the three-dimensional data (2) or (3), and displays a three-dimensional image in that case. The procedure up to is explained.
[0052]
First, the data acquisition unit 1 acquires three-dimensional data and its accompanying information and stores them in the memory 2 (S11). In the case of (2) above, the three-dimensional data is the image data of the two-dimensional image for the left eye and the image data of the two-dimensional image for the right eye, and in the case of (3), either the left eye or the right eye is used. These two-dimensional image data and a pair of distance information at each pixel (each coordinate). In the above cases (2) and (3), it is assumed that the auxiliary information is described in an XML file different from the image data as shown in FIG.
[0053]
In S12, the data acquisition determination unit 8 determines whether or not the data acquisition in S11 is successful, and determines the end of data. If the data acquisition is successful, the process proceeds to S13. On the other hand, when the data acquisition is not possible, that is, when the three-dimensional data and the accompanying information have not been acquired, it is determined that the process is finished.
[0054]
In S <b> 13, the data analysis unit 3 analyzes the incidental information acquired by the data acquisition unit 1. Here, for example, as shown in FIG. 7, the incidental information is described in XML. Therefore, the XML file is parsed (parsed), converted into a form usable in the following processing, and stored again in the memory 2. To do.
[0055]
When the analysis of the incidental information ends, the object extraction unit 4 extracts object identification information for identifying the object on which the marker is to be displayed, from the incidental information stored in the memory 2 (S14). For example, in the example of FIG. 7, the object specifying information is given as the coordinate value (128, 256) of the two-dimensional image in the incidental information. In this example, one point of the two-dimensional image is specified, but a closed curve may be specified by a point sequence, and other information such as a rectangular parameter, an elliptic parameter, or a mask image is given. Also good.
[0056]
When the object specifying information for specifying the object for displaying the marker is acquired, the object extracting unit 4 determines the area of the object for displaying the marker (S15). Here, since the information extracted in S14 is a point of one coordinate value (hereinafter referred to as the center of gravity) as in the example of FIG. 7, the area of the object is determined as described later using this information. If the object specifying information extracted in S14 is information representing an area such as a closed curve, the closed curve may be used as the object area.
[0057]
When the object region is determined, the marker generation unit 5 determines the shape of the marker to be displayed and generates a marker image (S16). The shape of the marker is determined by the shape of the target object on which the marker is displayed, and is, for example, an ellipse having a minimum area including the target object region or an outline of the target region.
[0058]
When the marker is generated in this manner, the image generation unit 6 combines the marker generated by the marker generation unit 5 with the left and right images for display (S17), and the display unit 7 displays the generated image. Displayed (S18).
[0059]
Here again, after displaying the image in S18, the process returns to S11, and if the image to be displayed is a still image, the data acquisition in S11 is not performed. The process ends. On the other hand, if the image to be displayed is a moving image, the three-dimensional data and supplementary information of the next frame are acquired in S11. Therefore, the process proceeds to S13 via S12, and S14 to S18 are performed. A three-dimensional image is displayed.
[0060]
Here, the process of calculating the object region in the object extraction unit 4 from one coordinate value in S15 in the flowchart of FIG. 6 will be described using the flowchart of FIG.
[0061]
First, as an initial value of the object region R, the barycentric point g extracted in S14 is set. Further, the parallax D (g) at the center of gravity g is set as the initial parallax (S21). Here, D (p) is a function that gives a parallax value at the coordinate p.
[0062]
Next, a set of points P = [p (i) | i = 1..n] adjacent to the object region R is obtained, and initialization is performed with i = 1 and append = false (S22). Then, the absolute value of the difference between the parallax at the point p (i) and the initial parallax parallelax is compared with a predetermined threshold TH. Here, if the absolute value of the difference is equal to or smaller than the predetermined threshold value, the process proceeds to S24, p (i) is added to R, and append = true.
[0063]
On the other hand, if S23 is false or S24 ends, i is incremented in S25, i is compared with the number n of elements of set P in S26, and if i is less than or equal to n, the process returns to S23, otherwise S27 Proceed to
[0064]
In S27, whether or not the object region R is updated by this loop is verified by the value of append. If R is updated, the process returns to S22, and if not updated, the process is terminated. Is the object area.
[0065]
Although the parallax is used here as a target for extracting the object, distance may be used, and other information such as color information may be used. In addition, although the initial parallax parallel is the parallax at the center of gravity, the average can be calculated and used every time the region R is updated.
[0066]
As described above, in the three-dimensional image display device according to the present embodiment, the object extraction unit 4 extracts a predetermined object from the three-dimensional data based on the auxiliary information of the three-dimensional data, and the marker A marker M for guiding the viewer's viewpoint to the object extracted by the generation unit 5 is generated, and the image generation unit 6 combines the generated marker M with a three-dimensional image.
[0067]
Therefore, since the three-dimensional image displayed on the display unit 7 is displayed with the marker M attached to the predetermined object, the viewer's viewpoint is guided to the object attached with the marker M. Thus, the viewer is prevented from moving the viewpoint to each object, and unpleasant symptoms such as sickness that the viewer feels when viewing a three-dimensional image can be reduced.
[0068]
In addition, on the 3D data creation side, it is not necessary to detect in advance a frame in which blurring occurs, and it is not necessary to include the image data of the icon itself or the position on the time axis in the data. Data creation is easy because it is only necessary to specify an object to guide the viewer's viewpoint in the image by some method.
[0069]
Moreover, since the viewer's viewpoint can be guided to the object itself constituting the three-dimensional image, it was more effective than the guidance to the icon added separately from the three-dimensional image. It is possible to make the viewer recognize the information, and the data creation side can effectively show the information (object) that it originally wanted to show while reducing unpleasant symptoms. An effective three-dimensional image can be displayed.
[0070]
In particular, since the marker generation unit 5 generates the marker M having a shape corresponding to the shape of the extracted object, the marker M matches the shape of the object, so that the marker M is more conspicuous than the object. Thus, it is possible to effectively prevent the viewer's viewpoint from paying attention to the marker M, and to show the object to the viewer more effectively.
[0071]
[Embodiment 2]
Other embodiments of the present invention will be described with reference to FIGS. 9 to 11 as follows. For convenience of explanation, members having the same functions as those used in the first embodiment are denoted by the same reference numerals and description thereof is omitted.
[0072]
The three-dimensional image display apparatus according to the present embodiment is different from the three-dimensional image display apparatus according to the first embodiment in the processing procedure. In other words, in the three-dimensional image display device of the first embodiment, as shown in the flowchart of FIG. 2, after the data analysis by the data analysis unit 3 in S3, the object extraction unit 4 displays the marker in the next S4. The processing which extracts a thing was performed.
[0073]
On the other hand, in the three-dimensional image display device of the present embodiment, as shown in the flowchart of FIG. 9, the object extraction unit 4 displays the object for displaying the marker immediately after the data analysis by the data analysis unit 3 in S31. Instead of extracting, a process for tracking the marker display object is provided as S33, and only when this tracking is not successful, the object extraction unit 4 extracts the object for displaying the marker in S35. Processing is to be performed.
[0074]
In this way, by providing a process for tracking the marker display target object, even if the three-dimensional data is moving image data, the target object is specified for all the still image data of each frame constituting the moving image data. This eliminates the need for data creation.
[0075]
Hereinafter, a procedure for displaying a three-dimensional moving image when the three-dimensional image display apparatus according to the present embodiment handles moving image data of three-dimensional data will be described with reference to the flowchart of FIG. The three-dimensional data constituting the moving image data may be any one of (1) to (3) described in the first embodiment, but here, (1), that is, the three-dimensional data is CAD data. An example of a set of shape data in the three-dimensional space will be described.
[0076]
First, the data acquisition unit 1 acquires the three-dimensional data and incidental information at time t and stores them in the memory 2, and the data analysis unit 3 analyzes the incidental information and converts it into a format that can be used in subsequent processing. Then, it is stored in the memory 2 (S31).
[0077]
Although not described in detail in the first embodiment, when the three-dimensional data is moving image data, the three-dimensional data includes time information, and the content to be displayed changes with the passage of time. The three-dimensional data and the incidental information may be collectively read into the memory 2 and managed on the memory 2 or may be sequentially read and processed at each time. Illustrate what to do.
[0078]
FIG. 10 shows a case where the three-dimensional data and its accompanying information are configured by a single XML file. Also in the example of FIG. 10, there are four pieces of three-dimensional shape data that are objects to be displayed, as in the case of FIG. 3. And A <time> tag represents time information. The data analysis unit 3 analyzes the three-dimensional shape data, converts it into a table form as shown in FIG. In FIG. 11, as in FIG. 4, the three-dimensional shape data is the three-dimensional data of each object, and “ID” and “Focus” are supplementary information of the three-dimensional data. “Focus” is the object specifying information.
[0079]
Next, success or failure of data acquisition by the data acquisition unit 1 is determined by the data acquisition determination unit 8 (S32), and if successful, the process proceeds to S33, and the object extraction unit 4 detects the marker display object at time t-1. Is used to track the marker display object at the current time t.
[0080]
Here, since each object is given an ID, tracking is performed based on the ID. For example, considering the three-dimensional data in FIG. 10, since ID = car1 is a marker display object at time t = 0, the object extraction unit 4 displays the marker at the previous time at time t = 1. The object ID = car1 is the object at time t = 1. When the three-dimensional data is (2) (3) two-dimensional data (image data), the marker display object is tracked using a technique such as block matching.
[0081]
In S34, the success or failure of tracking of the marker display object in S33 is determined. For example, in the example of FIG. 10, ID = car1 is designated as a marker display object at time t = 0, and tracking is successful because ID = car1 exists until time t = n−1. However, at time t = n, tracking in S34 fails because ID = car1 does not exist.
[0082]
If it is determined that the tracking has failed, the object extraction unit 4 acquires the marker display object from the incidental information stored in the memory 2 (S35). In the example of FIG. 10, the marker display object at time t = n is ID = car2.
[0083]
When an object to display a marker is detected, the marker generation unit 5 determines the shape of the marker to be displayed and generates a marker image (S36). The shape of the marker is determined by the shape of the target object on which the marker is displayed, and is, for example, an ellipse with the smallest area including the target object or an outline of the target object. However, in determining the shape of the marker, the marker generating unit 5 is based on the shape projected on the two-dimensional plane for display. When the markers are generated, the image generation unit 6 generates left and right images to be displayed from all the objects, in the example of FIG. 10, four objects, and the markers generated by the marker generation unit 5 are generated. Synthesize (S37). Then, the display unit 7 displays the generated image (S38).
[0084]
After displaying an image in S38, the process returns to S31. Here, since the data acquisition in S31 is not performed only when the end of the moving image is reached, it is determined in S32 that the data has ended, and the processing ends. On the other hand, if there is a next frame, since the three-dimensional data and supplementary information of the next frame are acquired in S31, the process proceeds to S33 via S32, and S34 to S38 are performed to perform the three-dimensional data of the next frame. An image will be displayed.
[0085]
In this way, by tracking the marker display object until the time when the marker display object specified at the previous time does not appear, and extracting the marker as the object to be displayed, the three-dimensional data is obtained. Is moving image data, it is not necessary to specify an object in the still image data of each frame constituting the moving image data, that is, the three-dimensional data at each time, so that data creation is facilitated.
[0086]
In the first and second embodiments described above, the object on which the marker is to be displayed is specified from the incidental information of the three-dimensional data, but may be specified directly from the three-dimensional data. In other words, the object extraction unit extracts the object for which the marker is to be directly displayed from the three-dimensional data by setting in advance such that the marker is always displayed on the closest object in the three-dimensional data. be able to.
[0087]
Although not particularly described in the first and second embodiments, personal information representing the degree of sickness is input to the three-dimensional image display device because there are individual differences in how to get sick when viewing a three-dimensional image. For example, the viewer may thin the displayed marker for a viewer who is strong against a three-dimensional image that is difficult to get sick, and the marker may be clearly shown to a viewer who is weak for a three-dimensional image that is likely to get sick.
[0088]
The three-dimensional image display processing described in the first and second embodiments can be recorded as a program on a computer-readable recording medium. For example, an object extraction unit (object extraction means) 4 for extracting an object specified in advance from three-dimensional data or incidental information attached thereto, and an object extracted by the object extraction unit 4 A marker generating unit (marker generating unit) 5 that generates a marker for guiding the viewer's viewpoint, and an image generating unit (synthesizing unit) 6 that combines the marker generated by the marker generating unit 5 with a three-dimensional image. A recording medium in which each program that functions as a recording medium is recorded can be considered.
[0089]
An object of the present invention is to provide a recording medium so that a computer can read the program code (execution format program, intermediate code program, source program) of a three-dimensional image display program which is software for realizing such means on a computer. This can also be achieved by recording, supplying the recording medium to a three-dimensional image display device, and reading and executing the program code recorded on the recording medium by the computer. In this case, the program code itself read from the recording medium realizes the above-described procedure, and the recording medium recording the program code constitutes the present invention.
[0090]
Here, the recording medium as the program medium is a recording medium configured to be separable from the main body, such as a tape system such as a magnetic tape or a cassette tape, a magnetic disk such as a flexible disk or a hard disk, or a CD-ROM / MO /. It carries a fixed program including disk systems for optical disks such as MD / DVD, card systems such as IC cards (including memory cards) / optical cards, or semiconductor memories such as mask ROM, EPROM, EEPROM, flash ROM, etc. It may be a medium.
[0091]
The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope of the claims, and the technical means disclosed in different embodiments can be appropriately combined. Embodiments to be described are also included in the technical means of the present invention.
[0092]
【The invention's effect】
As described above, the three-dimensional image display device of the present invention is a three-dimensional image display device that displays a three-dimensional image using three-dimensional data, and an object designated in advance by three-dimensional data or incidental information attached thereto. An object extracting means for extracting an object from three-dimensional data, a marker generating means for generating a marker for guiding the viewer's viewpoint to the object extracted by the object extracting means, and the marker generating means And a synthesizing unit that synthesizes the generated marker with a three-dimensional image.
[0093]
As a result, the displayed three-dimensional image is displayed in a state where a marker is attached to a predetermined object, so that the viewer's viewpoint is guided to the object attached with this marker, It is suppressed that the viewer moves the viewpoint to each object, and unpleasant symptoms such as sickness that the viewer feels when viewing the three-dimensional image can be reduced.
[0094]
In addition, on the 3D data creation side, it is not necessary to detect in advance a frame in which blurring occurs, and it is not necessary to include the image data of the icon itself or the position on the time axis in the data. Data creation is easy because it is only necessary to specify an object to guide the viewer's viewpoint in the image by some method.
[0095]
Moreover, since the viewer's viewpoint can be guided to the object itself constituting the three-dimensional image, it was more effective than the guidance to the icon added separately from the three-dimensional image. It is possible to make the viewer recognize the information, and the data creation side can effectively show the information (object) that it originally wanted to show while reducing unpleasant symptoms. There is an effect that an effective three-dimensional image can be displayed.
[0096]
Furthermore, in the above-described three-dimensional image display device of the present invention, the marker generation unit may generate a marker having a shape corresponding to the shape of the extracted object.
[0097]
According to this, since the shape of the marker matches the shape of the object, it is possible to effectively avoid that the marker itself stands out from the object and the viewer's viewpoint sees the marker. It also has the effect of being able to effectively show the object to the viewer.
[0098]
In the three-dimensional image display device of the present invention, the three-dimensional data is a collection of shape data representing a three-dimensional shape, and the incidental information includes information for specifying the shape data as the object. In addition, the object extraction means may specify the object to be extracted using the information for specifying the object included in the incidental information.
[0099]
If the 3D data consists of a collection of shape data representing a 3D shape, such as CAD data, the object can be easily specified by including information for specifying the object in the accompanying information. It is also possible to produce an effect that the object can be easily extracted.
[0100]
In the three-dimensional image display device of the present invention, the three-dimensional data includes two-dimensional images for the left eye and the right eye having parallax, and coordinate values for specifying the object in the auxiliary information. The object extraction means may specify the object to be extracted using the coordinate value included in the incidental information for specifying the object.
[0101]
When 3D data consists of left-eye and right-eye 2D images with parallax, it is easy to specify an object by including coordinate values for identifying the object in the accompanying information. It is also possible to produce an effect that the object can be easily extracted.
[0102]
In the three-dimensional image display device of the present invention, the three-dimensional data includes a one-dimensional two-dimensional image and distance information at each coordinate of the two-dimensional image, and specifies the object in the auxiliary information. The object extraction means specifies the object to be extracted by using the coordinate value for specifying the object included in the incidental information. You can also.
[0103]
When the 3D data is composed of a 2D image for one eye and distance information at each coordinate of the 2D image, it is easy to include the coordinate value for specifying the object in the accompanying information. The object can be specified, and the object can be easily extracted.
[0104]
In the three-dimensional image display device of the present invention, the three-dimensional data is moving image data that includes time information and changes along a time series, and the information for specifying the object is three-dimensional data at a specific time. The object extraction means extracts the object by tracking the object extracted at the previous specific time between the specific time and the specific time. It can also be a feature.
[0105]
In the above configuration, even if the three-dimensional data is moving image data, there is no need to specify an object for all the still image data of each frame constituting the moving image data. .
[0106]
In order to solve the above-described problem, the 3D image display method of the present invention is a 3D image display method for displaying a 3D image using 3D data by using 3D data or accompanying information attached thereto. An object extraction step of extracting a predesignated object from the three-dimensional data, a marker generation step of generating a marker for guiding the viewer's viewpoint to the object extracted by the object extraction means, and the marker And a synthesizing step of synthesizing the marker generated by the generating means into a three-dimensional image.
[0107]
As already described as the three-dimensional image display device, this enables the viewer's viewpoint to be guided to a predetermined object in the three-dimensional image, thereby reducing unpleasant symptoms such as sickness that occur in the viewer. be able to. Moreover, since the object is simply specified in advance, the data creation is easy, and the viewpoint is guided to the object itself constituting the three-dimensional image, so that it is possible to reduce the unpleasant symptom and show it originally. There is an effect that the desired information (object) can be effectively displayed.
[0108]
The three-dimensional image display program of the present invention is a three-dimensional image display program for operating the above-described three-dimensional image display apparatus of the present invention, and functions as a computer for the object extraction unit, the marker generation unit, and the synthesis unit. It is something to be made.
[0109]
The computer-readable recording medium of the present invention records the above-described three-dimensional image display program of the present invention.
[0110]
Thereby, if the above-mentioned 3D image display program is executed by a computer, the 3D image display of the present invention is realized not only on a specific 3D image display device but also on an unspecified 3D image display device. Is possible.
[Brief description of the drawings]
FIG. 1 is a functional block diagram of a three-dimensional image display device according to an embodiment of the present invention.
FIG. 2 is a flowchart showing a procedure for displaying a three-dimensional image in the three-dimensional image display device, and shows a procedure when three-dimensional data is composed of a set of three-dimensional shape data.
FIG. 3 is an explanatory diagram illustrating an example of 3D data including a set of 3D shape data and its accompanying information, which represents the display example of FIG. 5;
4 is an explanatory diagram showing an analysis result of three-dimensional data composed of the set of three-dimensional shape data of FIG. 3 and its accompanying information. FIG.
5 is an explanatory diagram showing a display example in which markers are displayed in the three-dimensional image display device of FIG. 3; FIG.
FIG. 6 is a flowchart showing a procedure for displaying a three-dimensional image in the three-dimensional image display device, wherein the three-dimensional data includes a left-eye two-dimensional image and a right-eye two-dimensional image having a parallax; The procedure in the case of comprising a pair of an eye two-dimensional image and distance information of each pixel in the two-dimensional image is shown.
FIG. 7 shows three-dimensional data consisting of a left-eye two-dimensional image and a right-eye two-dimensional image having parallax, or a pair of one-eye two-dimensional image and distance information of each pixel in the two-dimensional image. It is explanatory drawing which shows the example of incidental information in case.
FIG. 8 shows three-dimensional data consisting of a left-eye two-dimensional image and a right-eye two-dimensional image having parallax, or a pair of one-eye two-dimensional image and distance information of each pixel in the two-dimensional image. It is a flowchart which shows the procedure which extracts a target object in case.
FIG. 9 is a flowchart showing a procedure for displaying a three-dimensional image according to another embodiment of the present invention.
FIG. 10 is an explanatory diagram showing an example of moving image data of 3D data composed of a set of 3D shape data and its accompanying information.
11 is an explanatory diagram showing an analysis result of moving image data of three-dimensional data composed of the set of three-dimensional shape data of FIG. 10 and its accompanying information.
[Explanation of symbols]
1 Data acquisition unit
2 memory
3 Data analysis department
4 object extraction part (object extraction means)
5 Marker generator (marker generator)
6 Image generator (compositing means)
7 Display section
8 Data acquisition judgment part

Claims

In a three-dimensional image display device that displays a three-dimensional image using three-dimensional data,
Ancillary information that is incidental to the three-dimensional data and includes the additional information including coordinate values representing one point included in one of the left-eye and right-eye two-dimensional images for displaying the three-dimensional image. Object extraction means for extracting from three-dimensional data;
Marker generating means for generating a marker for guiding the viewer's viewpoint to the object extracted by the object extracting means;
A synthesis unit that synthesizes the marker generated by the marker generation unit with each two-dimensional image for left eye and right eye for displaying a three-dimensional image,
The object extraction means is a point set including at least one point included in one of the two-dimensional images, and a distance between each constituting point and one point included in one of the two-dimensional images is a predetermined value or less. An object consisting of a set of points whose absolute value of the difference between the parallax or distance at each constituting point and the parallax or distance at one point included in one of the two-dimensional images is equal to or less than a predetermined value A three-dimensional image display device for extracting an object.

The three-dimensional image display device according to claim 1, wherein the marker generation unit generates a marker having a shape corresponding to the shape of the extracted object.

  In a three-dimensional image display device that displays a three-dimensional image using three-dimensional data,
  An object extraction means for extracting an object specified in advance by three-dimensional data or incidental information attached thereto, from the three-dimensional data;
  Marker generating means for generating a marker for guiding the viewer's viewpoint to the object extracted by the object extracting means;
  Synthesizing means for synthesizing the marker generated by the marker generating means into a three-dimensional image,
  The three-dimensional data is moving image data that includes time information and changes along a time series, and information for specifying the object is included only in the incidental information in the three-dimensional data at a specific time,
  The three-dimensional image display device characterized in that the object extraction means extracts the object by tracking the object extracted at the previous specific time between the specific time.

The three-dimensional image display device according to claim 3, wherein the marker generating unit generates a marker having a shape corresponding to the shape of the extracted object.

  In a three-dimensional image display method for displaying a three-dimensional image using three-dimensional data,
  Ancillary information that is incidental to the three-dimensional data and includes the additional information including coordinate values representing one point included in one of the left-eye and right-eye two-dimensional images for displaying the three-dimensional image. An object extraction step for extracting from the three-dimensional data;
  A marker generating step for generating a marker for guiding the viewer's viewpoint to the object extracted in the object extracting step;
  Synthesizing the marker generated by the marker generation step with the left-eye and right-eye two-dimensional images for displaying a three-dimensional image,
  In the object extraction step, the point set includes at least one point included in one of the two-dimensional images, and a distance between each constituent point and one point included in one of the two-dimensional images is a predetermined value. The point set is such that the absolute value of the difference between the parallax or distance at each constituting point and the parallax or distance at one point included in one of the two-dimensional images is equal to or smaller than a predetermined value. A three-dimensional image display method characterized by extracting an object.

  In a three-dimensional image display method for displaying a three-dimensional image using three-dimensional data,
  An object extraction step of extracting from the three-dimensional data an object specified in advance by the three-dimensional data or incidental information attached thereto;
  A marker generating step for generating a marker for guiding the viewer's viewpoint to the object extracted in the object extracting step;
  A synthesis step of synthesizing the marker generated by the marker generation step into a three-dimensional image,
  The three-dimensional data is moving image data that includes time information and changes along a time series, and information for specifying the object is included only in the incidental information in the three-dimensional data at a specific time,
  A three-dimensional image display method characterized in that, in the object extraction step, the object is extracted by tracking the object extracted at the previous specific time between the specific time.

A three-dimensional image display program for operating the three-dimensional image display device according to any one of claims 1 to 4 , wherein the computer functions as the object extracting means, the marker generating means, and the synthesizing means. Dimensional image display program.

A computer-readable recording medium on which the three-dimensional image display program according to claim 7 is recorded.