Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4835659B2 - 集積映像背景を有する2次元−3次元兼用ディスプレイ方法及び装置 - Google Patents
[go: Go Back, main page]

JP4835659B2 - 集積映像背景を有する2次元−3次元兼用ディスプレイ方法及び装置 - Google Patents

集積映像背景を有する2次元−3次元兼用ディスプレイ方法及び装置 Download PDF

Info

Publication number
JP4835659B2
JP4835659B2 JP2008193665A JP2008193665A JP4835659B2 JP 4835659 B2 JP4835659 B2 JP 4835659B2 JP 2008193665 A JP2008193665 A JP 2008193665A JP 2008193665 A JP2008193665 A JP 2008193665A JP 4835659 B2 JP4835659 B2 JP 4835659B2
Authority
JP
Japan
Prior art keywords
image
display unit
video
display
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008193665A
Other languages
English (en)
Other versions
JP2009031797A (ja
Inventor
ヨン ソク オウ
スク ピョ ホン
キョン ジン リー
ドン ハク シン
ウン ソー キム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020080053296A external-priority patent/KR100939080B1/ko
Application filed by Individual filed Critical Individual
Publication of JP2009031797A publication Critical patent/JP2009031797A/ja
Application granted granted Critical
Publication of JP4835659B2 publication Critical patent/JP4835659B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor
    • H04N13/232Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/361Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Description

本発明はディスプレイ装置に関するもので、より詳細には、集積映像背景を有する2次元−3次元兼用ディスプレイ装置に関する。
最近、ディスプレイ技術の先端化や高度の技術集積化により3D映像に関する需要が伸びてきており、このために、3次元立体映像及びディスプレイ技術に関して多くの研究が行われてきた。物体が持っている実際の映像情報を観察者に提供できるという点から3Dディスプレイ技術は窮極的な映像具現技術ともいえる。
一方、ディスプレイ装置は用途に応じて、簡単に観覧用と日常業務用とに分類できる。映画やアニメーション、TV、ゲーム機、及び広告などに用いられるディスプレイ装置は観覧用であり、文書や電子メールの読み取り・書き込み、2Dグラフィック作業及びインターネット検索などに用いられるディスプレイ装置は日常業務用に該当する。観覧用映像装置に3Dディスプレイ技術を適用すると、ディスプレイ前でより実感のあるディスプレイシステムを所望する使用者の要求に符合する。しかし、日常業務用で作業する使用者達は、高解像度を持つ2Dディスプレイ基盤の画面に慣れている。よって、個人の使用目的に応じて2D映像出力モードと3D映像出力モードとに切り替えが可能なディスプレイ技術の必要性が提起されている。また、2D−3D兼用が可能なディスプレイ技術に関する多くの研究が行われつつある。
従来の2D−3D兼用が可能なディスプレイ技術には、立体鏡学(stereoscopy)基盤の2D−3D兼用ディスプレイ方式がある。この方式は、観察者がステレオ視差(stereo disparity)作用により3D立体映像を見ることになるが、2つの映像の視差や目の焦点機能の不具合により、目眩や目の疲れが発生するという短所がある。
上述した従来技術の問題点を解決するために、2D−3Dの切り替えが可能なディスプレイ方法に、 集積映像(Integral Imaging、InIm)方式を適用する研究が多く行われた。集積映像方式は、最近、最も活発に研究している3Dディスプレイ方式の1つであって、特に補助器具を使用せず、一定の視野角範囲内で連続的な視点と総天然色の3D映像を見ることができる。しかし、この方式は、視野角及び深み感の面から多くの改善点が要求されている。
また、立体鏡学基盤の2D−3D兼用ディスプレイ方式と集積映像技術は、1つの共通的な制約を有する。より詳細には、同じ性能を有するディスプレイ装置で具現された3D映像の解像度は、既存2D映像の解像度に比べて、視点(view point)数に反比例して小さくなる。すなわち、視点数をNと仮定すると、多視点方式で具現された3D映像の解像度は、2D映像の解像度に比べて1/Nの割合で低くなる。そして、(N×N)個のレンズ配列(または要素映像)で具現された3D集積映像は、その解像度が1/(N×N)で低くなる。このように、立体鏡学基盤の2D−3D兼用ディスプレイ方式や集積映像技術は、視点数に応じて解像度が急激に低くなるという問題点がある。
最近、高解像度を有する3D映像をディスプレイするために、フローティング(floating)映像ディスプレイ技術に集積映像技術を導入した新たな3D映像ディスプレイ方式が提案された。しかし、通常1つの映像面に具現されたフローティング映像は、原理的に2D映像であるという不完全さのために、立体感を向上させるのに困難がある。また、単純に2つの2D映像面を用いるシステムでは、前後映像の間に閉塞領域(occlusion region)問題、すなわち、半透明やオーバーラップ(translucence or overlap)、インベリド領域の観察(observation of invalid region)などの問題が発生する。
こうした従来技術の問題点に鑑み、本発明は、フローティング映像方式と集積映像とが組み合わせられた複合3D映像ディスプレイ装置を提供することを目的とする。
また、本発明の他の目的は、フローティング映像方式で高解像度の主(primary)映像を表現し、集積映像方式で副(secondary)映像または背景映像をディスプレイする装置を提供することにある。
本発明の一実施形態では、合成映像及びバックライトのうち何れか1つを出力する第1ディスプレイ部と、上記第1ディスプレイ部の前面に配置され、主要物体が撮像された主要映像を出力する第2ディスプレイ部と、上記第1ディスプレイ部の前面であって上記第2ディスプレイ部の後面に配置され、上記合成映像を立体映像に復元する複数のレンズを配列したレンズ部と、を含み、上記主要映像は2次元映像であり、上記合成映像は、上記第1のディスプレイ部の位置から上記レンズを通して上記主要物体に該当しない3次元物体を撮像した場合の各レンズ別に生成される要素映像を集積して構成された背景映像と、上記第2ディスプレイ部に出力される上記主要映像を上記第1のディスプレイ部の位置から上記レンズを通して撮像した場合の各レンズ別に生成された要素映像を2値映像で表現して集積した白色のマスク映像と、を別途に生成し、上記背景映像を上記マスク映像でマスキングして合成した映像であることを特徴とするディスプレイ装置が提供される。
出力モードに応じて上記第1ディスプレイ部が合成映像及びバックライトのうちの何れか1つを出力するように制御する制御部をさらに含み、上記出力モードは2次元モード及び3次元モードのうちの何れか1つであることができる。
上記第2ディスプレイ部は、透過型の空間光変調器であってもよい。
上記レンズ部は、レンズアレイ及びレンズレットアレイのうち何れか1つを含むことができる。また、上記合成映像は、上記マスク映像の白色ピクセルに対応する上記背景映像のピクセルを白色に変更した映像であることができる。
本発明の他の実施形態では、第1ディスプレイ部、上記第1ディスプレイ部の前面に配置された複数のレンズを配列したレンズ部及び上記レンズ部の前面に配置された第2ディスプレイ部を備えたディスプレイ装置のディスプレイ方法であって、(a)上記第1ディスプレイ部が合成映像及びバックライトのうち何れか1つを出力する段階と、(b)上記第2ディスプレイ部が、主要物体の撮像された主要映像を出力する段階と、(c)上記合成映像を立体映像に復元する段階と、を含み、上記主要映像は2次元映像であり、上記合成映像は、上記第1のディスプレイ部の位置から上記レンズを通して上記主要物体に該当しない3次元物体を撮像した場合の各レンズ別に生成される要素映像を集積して構成された背景映像と、上記第2ディスプレイ部に出力された上記主要映像を上記レンズを通して上記第1のディスプレイ部の位置から撮像した場合の各レンズ別に生成される要素映像を2値映像で表現して集積した白色のマスク映像と、を別途に生成し、上記背景映像を上記マスク映像でマスキングして合成した映像であることを特徴とするディスプレイ方法が提供される。
上記(a)段階は、出力モードに応じて上記合成映像及びバックライトのうち何れか1つを出力する段階であり、上記出力モードは2次元モード及び3次元モードのうち何れか1つであることができる。
上記合成映像は、上記マスク映像の白色ピクセルに対応する上記背景映像のピクセルを白色に変更した映像であることができる。
本発明の他の実施形態によれば、複数のレンズを含むレンズ部と、上記レンズを用いて物体を撮像し、マスク映像及び背景映像を生成するセンサ部と、上記マスク映像を用いて背景映像をマスキングし、合成映像を生成する合成部と、を含む合成映像の生成装置が提供される。
上記マスク映像は、主要物体に対する要素映像を2値映像で表現したものであってもよい。
上記背景映像は、主要物体を除いた背景の要素映像で構成された集積映像であってもよい。
本発明の他の実施形態では、レンズアレイまたはレンズレットアレイを通してマスク映像及び背景映像を生成する段階と、上記背景映像を上記マスク映像でマスキングして合成映像を生成する段階と、を含む合成映像生成方法が提供される。
上記マスキングは、上記マスク映像の白色ピクセルに対応する上記背景映像のピクセルを白色に変更することであってもよい。
上記マスク映像は、主要物体に対する要素映像で構成された集積映像を2値映像で表現したものであってもよい。
上記背景映像は、主要物体を除いた背景の要素映像で構成された集積映像であってもよい。
本発明によれば、フローティング映像方式と集積映像とが組み合わせられた複合3D映像ディスプレイ装置を提供することができる。
また、本発明によれば、フローティング映像方式で高解像度の主映像を表現し、集積映像方式で完全視差(full-parallax)を有する副映像または背景映像をディスプレイする装置を提供することができる。
また、本発明によれば、高解像度のフローティング映像を用いることにより、集積映像システムの低解像度を向上させることができる。
また、本発明によれば、フローティング映像で表現される主映像領域に限って、2Dレベルの高解像度を有する3D映像を表現することができる。
また、本発明によれば、集積映像背景を用いることにより、フローティング映像の立体感を向上させることができる。
本発明は多様な変換を加えることができ、様々な実施例を有することができるため、特定実施例を図面に例示し、詳細に説明する。しかし、これは本発明を特定の実施形態に限定するものではなく、本発明の思想及び技術範囲に含まれるあらゆる変換、均等物ないし代替物を含むものとして理解されるべきである。本発明を説明するに当たって、係る公知技術に対する具体的な説明が本発明の要旨を不明瞭にすると判断される場合、その詳細な説明を省略する。
また、「第1」、「第2」などの用語は、多様な構成要素を説明するためであって、構成要素は、これらの用語に限定されない。つまり、上記用語は、1つの構成要素を他の構成要素と区別する目的で用いられる。
また、本願で用いた用語は、特定の実施例を説明するために用いたものであって、本発明を限定するものではない。単数の表現は、文中で明らかに表現しない限り、複数の表現を含む。本願において、「含む」または「有する」などの用語は明細書上に記載した特徴、数字、段階、動作、構成要素、部品、またはこれらを組み合わせたものの存在を指定するものであって、1つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品、またはこれらを組み合わせたものなどの存在または付加可能性を予め排除するものではない。
以下、本発明の実施例を、添付した図面に基づいて詳しく説明する。
図1は、集積映像方式のピックアップ過程を例示する図である。また、図2は、3次元映像の実像復元過程を例示する図である。また、図3は、3次元映像の虚像復元過程を例示する図である。
図1を参照すると、3次元物体110から出た光線は、レンズアレイ120を通過して、映像センサ130に到達する。映像センサ130は光線を感知してレンズアレイ120の各レンズ別に1つの要素映像を生成することができる。
この時、レンズアレイ120はレンズレットアレイ(lenslet array、Micro Lens Array、MLA)であってもよい。
要素映像は、復元過程を経て3次元映像に復元されることができる。例えば、1つのレンズの焦点距離をf、レンズアレイ220とディスプレイ部210との間の距離をg、レンズアレイ220と物体との間の距離をLとする場合、レンズ公式1/L+1/g=1/fに応じて、図2に示すようにg≧fであれば、実像が映り、図3に示すようにg≦fであれば、虚像が観察者に観測される。もしg=fであれば、実像と虚像とを含んだ、深み感が互いに異なる複数の3次元映像が同時に表現できるようになる。以下、上述した要素映像を用いた2次元−3次元兼用ディスプレイ装置を図4乃至図8を参照して詳しく説明する。
図4は本発明の実施例によるディスプレイ装置の構成を示す図である。また、図5は本発明の実施例によるディスプレイ装置の構造を例示する図である。また、図6は本発明の実施例による2次元出力モードでのディスプレイ装置の動作原理を示す図である。また、図7は本発明の実施例による3次元出力モードでの実像の背景画面を形成するディスプレイ装置の動作原理を示す図である。また、図8は本発明の実施例による3次元出力モードでの虚像の背景画面を形成するディスプレイ装置の動作原理を示す図である。
図4を参照すると、本発明の実施例によるディスプレイ装置は、制御部410、第1ディスプレイ部420、第2ディスプレイ部430、レンズ部440を含むことができる。制御部410は、出力モード、すなわち2次元出力モードまたは3次元出力モードに応じて映像を表示するように、第1ディスプレイ部420及び第2ディスプレイ部430を制御することができる。
例えば、2次元出力モードでの制御部410は、第2ディスプレイ部430に2次元映像データを出力し、第2ディスプレイ部430がこれを表示するように制御することができる。この時、制御部410は、第1ディスプレイ部420にバックライト信号を出力して第1ディスプレイ部420がすべての画素をオン状態に維持させて、光源(バックライト)の役割を担うように制御することができる。
制御部410は、3次元出力モードにおいて、第1ディスプレイ部420及び第2ディスプレイ部430が合成映像及び主要映像をそれぞれ表示するように制御する。主要映像は、観察者が認識する映像のうち主要物体に該当する映像を2次元で表現した映像である。合成映像は、主要物体に該当しない要素映像で構成された集積映像(以下、背景映像ともいう)と、主要物体と形状や大きさが同一の白色映像(以下、マスク映像ともいう)とを合成した映像であって、後述する図9を参照して詳しく説明する。この際、上述した合成映像中の白色映像に該当する部分は主要映像のバックライト機能をする。
制御部410は、外部から入力された合成映像を第1ディスプレイ部420が出力するように制御することができる。また、制御部410は白色映像と背景映像とを合成して合成映像を生成し出力することもできる。合成映像を生成する過程については、以下図9を参照して詳しく説明する。
また、制御部410は、第2ディスプレイ部430へ主要映像を出力して第2ディスプレイ部430が主要映像を表示するように制御する。主要映像は一般の2D映像レベルの解像度を有する。上述したように、第1ディスプレイ部420が表示する合成映像と第2ディスプレイ部430が表示する主要映像とを用いて、観察者は全体的に高解像度の新たな複合立体映像を見ることができる。
第1ディスプレイ部420は、制御部410から入力された合成映像を表示することができる。また、第1ディスプレイ部420は、バックライト信号が入力されると、すべての画素をオン状態に維持させて光源(バックライト)の役割をすることができる。第1ディスプレイ部420は、LCD、PDP、CRTのような2次元用ディスプレイ装置であってもよく、プロジエクターとスクリーンとが結合されたプロジェクション型ディスプレイ装置であってもよい。
第2ディスプレイ部430は、制御部410から入力された主要映像を表示することができる。第2ディスプレイ部430は、透過型の空間光変調器(Spatial Light Modulator、SLM)であって、バックライトユニット(Back Light Unit、BLU)が除去されたLCDパネルであってもよい。この場合、第2ディスプレイ部430は自体バックライト機能がないため、本発明の実施例によれば、第1ディスプレイ部420がバックライト役割をすることができる。また、第2ディスプレイ部430は、制御部410から入力された2次元映像を表示することができる。
レンズ部440は、第1ディスプレイ部420及び第2ディスプレイ部430の間に位置してもよい。そして、レンズ部440は第1ディスプレイ部420が投射した集積映像を立体映像に復元することができる。レンズ部440はレンズアレイ及びレンズレットアレイのうち何れか1つであってもよい。
図5に例示するように、上述した第1ディスプレイ部420及び第2ディスプレイ部430は1列に連続して配置され、2つの間にはレンズ部440が配置されることができる。したがって、3次元出力モードである場合には、観察者は第1ディスプレイ部420及びレンズ部440を通して表示された背景映像を、透過型ディスプレイ装置の第2ディスプレイ部430を通して認識することができる。また、観察者は第2ディスプレイ部430が表示した主要映像を背景映像と共に認識して立体感を感じることができる。
また、図6に例示するように、2次元出力モードである場合には、観察者は第1ディスプレイ部420が出力するバックライトを用いて第2ディスプレイ部430が表示する2次元映像を認識することができる。
背景画面は第1ディスプレイ部420及びレンズ部440を通して、図7に例示するように、実像面に形成されるか、図8に例示するように、虚像面に形成されることができる。ここで、背景映像が虚像面に形成されると、全体3次元映像の立体感が向上することになる。
図9は本発明の実施例による合成映像を生成する装置の構成を示す図であり、図10は本発明の実施例による合成映像を生成する過程を示す図である。
図9を参照すると、合成映像を生成する装置は、レンズ部910、センサ部920、合成部930を含むことができる。レンズ部910は、物体の要素映像をピックアップする複数のレンズまたはレンズレットを配列したものである。レンズ部910は、各レンズまたはレンズレットを通してセンサ部920に光を集めて出力することができる。
センサ部920は、レンズ部910により集められた光を感知してレンズ部910の各レンズまたはレンズレットに対応する要素映像を生成し、合成部930に出力することができる。この時、センサ部920はマスク映像と背景映像とを別途に生成してもよい。マスク映像は主要物体に対する要素映像で構成された集積映像を2値映像で表現したものであって、背景映像のマスクの役割をする。背景映像は主要物体を除いた背景の要素映像で構成された集積映像である。合成部930は、センサ部920から入力されたマスク映像と背景映像とを合成することができる。例えば、合成部930はマスク映像で背景映像に対するマスキング作業を行うことができる。すなわち、合成部930は背景映像からマスク映像の白色ピクセルに対応する位置のピクセルを白色に変更することができる。図10に本発明の一実施例により背景映像とマスク映像とを合成した合成映像が示されている。引続き、合成部930は合成映像を外部装置に出力する。
以下、本発明の実施例に係る集積映像を用いた立体映像のディスプレイ方法を、図11を参照しながら説明する。
図11は本発明の実施例により、集積映像を用いた立体映像ディスプレイの過程を示すフローチャートである。以下、図11を説明するには、本発明の理解や説明の便宜のために、 図4に例示された各機能部を主体にして明確に説明する。
図11を参照すると、段階1105で、制御部410は入力映像の出力モードが3次元出力モードであるか否かを判断する。制御部410は、入力映像のヘッダーファイル、使用者の設定または/及びデフォルト設定のうちの1つ以上を参照して、入力される映像が3次元モードであるか否かを判断することができる。
もし、入力映像が3次元モードであると、段階1110で、第1ディスプレイ部420は、合成映像を使用者の視覚で認識できる形態で出力する。
段階1120で、レンズ部440はディスプレイされた合成映像を、レンズアレイを通して復元する。この時、復元された映像は実像面または虚像面に形成されることができる。復元された映像が虚像面に形成される場合、全体3次元映像の立体感が向上することになる。
段階1130で、第2ディスプレイ部430は、主要映像を使用者の視覚で認識できる形態で出力する。
もし、3次元モードではないと、段階1140で、第1ディスプレイ部420はすべての画素をオン状態に維持して、バックライト機能を行う。
段階1150で、第2ディスプレイ部430は、主要映像を使用者の視覚で認識できる形態で出力する。
以下、上述した第1ディスプレイ部420及びレンズ部440を通して復元され、背景として用いられる合成映像を生成する方法について説明する。
図12は本発明の実施例による合成映像の生成過程を示すフローチャートである。図9の各機能部を参照しながら図12を説明すると、段階1210で、センサ部920はレンズ部910のレンズアレイ、またはレンズレットアレイを通してマスク映像を生成する。マスク映像は2値映像であって、背景映像のマスクの役割を行う。
段階1220で、センサ部920はレンズ部910のレンズアレイ、またはレンズレットアレイを通して背景映像を生成する。
段階1230で、合成部930はマスク映像を用いて背景映像に対するマスキング作業を行い、合成映像を生成する。結果的に合成映像は、背景映像からマスク映像の物体部分を白色に変換した映像である。以後、この白色に変換されたピクセルは、主要映像に対するバックライト役割を行うことになる。
以上、段階1210乃至1220が順次に行われることを説明したが、具現方法によっては並列に行われることもできることは自明なことである。
以上、本発明の好ましい実施例を参照して説明したが、当該技術分野で通常の知識を有する者であれば、特許請求の範囲に記載された本発明の思想及び領域から脱しない範囲内で本発明を多様に修正及び変更させることができることを理解できよう。
集積映像方式のピックアップ過程を例示する図である。 3次元映像の実像復元過程を例示する図である。 3次元映像の虚像復元過程を例示する図である。 本発明の実施例によるディスプレイ装置の構成を説明するための図である。 本発明の実施例によるディスプレイ装置の構造を例示する図である。 本発明の実施例による2次元出力モードでのディスプレイ装置の動作原理を説明するための図である。 本発明の実施例による3次元出力モードでの実像の背景画面を形成するディスプレイ装置の動作原理を説明するための図である。 本発明の実施例による3次元出力モードでの虚像の背景画面を形成するディスプレイ装置の動作原理を説明するための図である。 本発明の実施例による合成映像を生成する装置の構成を説明するための図である。 本発明の実施例による合成映像を生成する過程を説明するための図である。 本発明の実施例により、集積映像を用いた立体映像のディスプレイ過程を示すフローチャートである。 本発明の実施例による合成映像を生成する過程を示すフローチャートである。
符号の説明
110 3次元物体
120 レンズアレイ
130 映像センサ
210 ディスプレイ部
220 レンズアレイ
410 制御部
420 第1ディスプレイ部
430 第2ディスプレイ部
440 レンズ部
910 レンズ部
920 センサ部
930 合成部

Claims (8)

  1. 合成映像及びバックライトのうち何れか1つを出力する第1ディスプレイ部と、
    前記第1ディスプレイ部の前面に配置され、主要物体が撮像された主要映像を出力する第2ディスプレイ部と、
    前記第1ディスプレイ部の前面であって前記第2ディスプレイ部の後面に配置され、前記合成映像を立体映像に復元する複数のレンズを配列したレンズ部と、を含み、
    前記主要映像は2次元映像であり、
    前記合成映像は、前記第1のディスプレイ部の位置から前記レンズを通して前記主要物体に該当しない3次元物体を撮像した場合の各レンズ別に生成される要素映像を集積して構成された背景映像と、前記第2ディスプレイ部に出力される前記主要映像を前記第1のディスプレイ部の位置から前記レンズを通して撮像した場合の各レンズ別に生成された要素映像を2値映像で表現して集積した白色のマスク映像と、を別途に生成し、前記背景映像を前記マスク映像でマスキングして合成した映像であることを特徴とするディスプレイ装置。
  2. 出力モードに応じて前記第1ディスプレイ部が合成映像及びバックライトのうち何れか1つを出力するように制御する制御部をさらに含み、
    前記出力モードは、2次元モード及び3次元モードの何れか1つであることを特徴とする請求項1に記載のディスプレイ装置。
  3. 前記第2ディスプレイ部は、透過型の空間光変調器であることを特徴とする請求項1に記載のディスプレイ装置。
  4. 前記レンズ部は、レンズアレイ及びレンズレットアレイのうち何れか1つを含むことを特徴とする請求項1に記載のディスプレイ装置。
  5. 前記合成映像は、前記マスク映像の白色ピクセルに対応する前記背景映像のピクセルを白色に変更した映像であることを特徴とする請求項1に記載のディスプレイ装置。
  6. 第1ディスプレイ部、前記第1ディスプレイ部の前面に配置された複数のレンズを配列したレンズ部及び前記レンズ部の前面に配置された第2ディスプレイ部を備えたディスプレイ装置のディスプレイ方法であって、
    (a)前記第1ディスプレイ部が合成映像及びバックライトのうち何れか1つを出力する段階と、
    (b)前記第2ディスプレイ部が、主要物体の撮像された主要映像を出力する段階と、
    (c)前記合成映像を立体映像に復元する段階と、を含み、
    前記主要映像は2次元映像であり、
    前記合成映像は、前記第1のディスプレイ部の位置から前記レンズを通して前記主要物体に該当しない3次元物体を撮像した場合の各レンズ別に生成される要素映像を集積して構成された背景映像と、前記第2ディスプレイ部に出力された前記主要映像を前記レンズを通して前記第1のディスプレイ部の位置から撮像した場合の各レンズ別に生成される要素映像を2値映像で表現して集積した白色のマスク映像と、を別途に生成し、前記背景映像を前記マスク映像でマスキングして合成した映像であることを特徴とするディスプレイ方法。
  7. 前記(a)段階は、出力モードに応じて前記合成映像及びバックライトのうち何れか1つを出力する段階であり、
    前記出力モードは、2次元モード及び3次元モードのうち何れか1つであることを特徴とする請求項6に記載のディスプレイ方法。
  8. 前記合成映像は、前記マスク映像の白色ピクセルに対応する前記背景映像のピクセルを白色に変更した映像であることを特徴とする請求項6に記載のディスプレイ方法。
JP2008193665A 2007-07-30 2008-07-28 集積映像背景を有する2次元−3次元兼用ディスプレイ方法及び装置 Expired - Fee Related JP4835659B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2007-0076522 2007-07-30
KR20070076522 2007-07-30
KR1020080053296A KR100939080B1 (ko) 2007-07-30 2008-06-05 합성 영상 생성 방법 및 장치, 합성 영상을 이용한 디스플레이 방법 및 장치
KR10-2008-0053296 2008-06-05

Publications (2)

Publication Number Publication Date
JP2009031797A JP2009031797A (ja) 2009-02-12
JP4835659B2 true JP4835659B2 (ja) 2011-12-14

Family

ID=40337685

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008193665A Expired - Fee Related JP4835659B2 (ja) 2007-07-30 2008-07-28 集積映像背景を有する2次元−3次元兼用ディスプレイ方法及び装置

Country Status (2)

Country Link
US (1) US20090033741A1 (ja)
JP (1) JP4835659B2 (ja)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8396328B2 (en) * 2001-05-04 2013-03-12 Legend3D, Inc. Minimal artifact image sequence depth enhancement system and method
US8401336B2 (en) 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US8897596B1 (en) 2001-05-04 2014-11-25 Legend3D, Inc. System and method for rapid image sequence depth enhancement with translucent elements
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
US9031383B2 (en) 2001-05-04 2015-05-12 Legend3D, Inc. Motion picture project management system
JP5604827B2 (ja) * 2009-08-21 2014-10-15 ソニー株式会社 送信装置、受信装置、プログラム、及び通信システム
US9325984B2 (en) 2010-02-09 2016-04-26 Samsung Display Co., Ltd. Three-dimensional image display device and driving method thereof
JP5353770B2 (ja) * 2010-03-05 2013-11-27 カシオ計算機株式会社 立体映像観察装置、立体映像表示装置、及びプログラム
US8827824B2 (en) 2010-08-26 2014-09-09 Blast Motion, Inc. Broadcasting system for broadcasting images with augmented motion data
US9940508B2 (en) 2010-08-26 2018-04-10 Blast Motion Inc. Event detection, confirmation and publication system that integrates sensor data and social media
US9604142B2 (en) 2010-08-26 2017-03-28 Blast Motion Inc. Portable wireless mobile device motion capture data mining system and method
US9418705B2 (en) 2010-08-26 2016-08-16 Blast Motion Inc. Sensor and media event detection system
US8702516B2 (en) 2010-08-26 2014-04-22 Blast Motion Inc. Motion event recognition system and method
US9607652B2 (en) 2010-08-26 2017-03-28 Blast Motion Inc. Multi-sensor event detection and tagging system
US9646209B2 (en) 2010-08-26 2017-05-09 Blast Motion Inc. Sensor and media event detection and tagging system
US9076041B2 (en) 2010-08-26 2015-07-07 Blast Motion Inc. Motion event recognition and video synchronization system and method
US8903521B2 (en) 2010-08-26 2014-12-02 Blast Motion Inc. Motion capture element
US9619891B2 (en) 2010-08-26 2017-04-11 Blast Motion Inc. Event analysis and tagging system
US9247212B2 (en) 2010-08-26 2016-01-26 Blast Motion Inc. Intelligent motion capture element
US9261526B2 (en) 2010-08-26 2016-02-16 Blast Motion Inc. Fitting system for sporting equipment
US8944928B2 (en) 2010-08-26 2015-02-03 Blast Motion Inc. Virtual reality system for viewing current and previously stored or calculated motion data
US8905855B2 (en) 2010-08-26 2014-12-09 Blast Motion Inc. System and method for utilizing motion capture data
US9039527B2 (en) 2010-08-26 2015-05-26 Blast Motion Inc. Broadcasting method for broadcasting images with augmented motion data
US9235765B2 (en) 2010-08-26 2016-01-12 Blast Motion Inc. Video and motion event integration system
US9626554B2 (en) 2010-08-26 2017-04-18 Blast Motion Inc. Motion capture system that combines sensors with different measurement ranges
US9401178B2 (en) 2010-08-26 2016-07-26 Blast Motion Inc. Event analysis system
US9320957B2 (en) 2010-08-26 2016-04-26 Blast Motion Inc. Wireless and visual hybrid motion capture system
US8994826B2 (en) 2010-08-26 2015-03-31 Blast Motion Inc. Portable wireless mobile device motion capture and analysis system and method
US8941723B2 (en) 2010-08-26 2015-01-27 Blast Motion Inc. Portable wireless mobile device motion capture and analysis system and method
US9396385B2 (en) 2010-08-26 2016-07-19 Blast Motion Inc. Integrated sensor and video motion analysis method
US9406336B2 (en) 2010-08-26 2016-08-02 Blast Motion Inc. Multi-sensor event detection system
US8730232B2 (en) 2011-02-01 2014-05-20 Legend3D, Inc. Director-style based 2D to 3D movie conversion system and method
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9113130B2 (en) 2012-02-06 2015-08-18 Legend3D, Inc. Multi-stage production pipeline system
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US8913134B2 (en) 2012-01-17 2014-12-16 Blast Motion Inc. Initializing an inertial sensor using soft constraints and penalty functions
US9007365B2 (en) 2012-11-27 2015-04-14 Legend3D, Inc. Line depth augmentation system and method for conversion of 2D images to 3D images
US9547937B2 (en) 2012-11-30 2017-01-17 Legend3D, Inc. Three-dimensional annotation system and method
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
JP6658529B2 (ja) * 2014-09-08 2020-03-04 ソニー株式会社 表示装置、表示装置の駆動方法、及び、電子機器
KR101634013B1 (ko) * 2014-12-31 2016-06-27 동서대학교산학협력단 마스크 패널이 사용된 집적영상에서 3차원 및 2차원 영상으로 전환가능한 디스플레이 시스템을 구현하는 방법
KR102321364B1 (ko) * 2015-03-05 2021-11-03 삼성전자주식회사 3차원 배경 콘텐트를 합성하는 방법 및 디바이스
KR101715470B1 (ko) * 2015-04-10 2017-03-14 충북대학교 산학협력단 집적영상 현미경 장치 및 심도범위 개선 방법
US9694267B1 (en) 2016-07-19 2017-07-04 Blast Motion Inc. Swing analysis method using a swing plane reference frame
CA3031040C (en) 2015-07-16 2021-02-16 Blast Motion Inc. Multi-sensor event correlation system
US10974121B2 (en) 2015-07-16 2021-04-13 Blast Motion Inc. Swing quality measurement system
US11565163B2 (en) 2015-07-16 2023-01-31 Blast Motion Inc. Equipment fitting system that compares swing metrics
US10124230B2 (en) 2016-07-19 2018-11-13 Blast Motion Inc. Swing analysis method using a sweet spot trajectory
US11577142B2 (en) 2015-07-16 2023-02-14 Blast Motion Inc. Swing analysis system that calculates a rotational profile
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
US10265602B2 (en) 2016-03-03 2019-04-23 Blast Motion Inc. Aiming feedback system with inertial sensors
US10786728B2 (en) 2017-05-23 2020-09-29 Blast Motion Inc. Motion mirroring system that incorporates virtual environment constraints
KR101982396B1 (ko) * 2017-06-13 2019-05-24 광운대학교 산학협력단 공간 영상 입력시스템
CN110505406A (zh) * 2019-08-26 2019-11-26 宇龙计算机通信科技(深圳)有限公司 背景虚化方法、装置、存储介质及终端
WO2022133207A1 (en) * 2020-12-18 2022-06-23 SA Incubator, LLC Interactive display system and method for interactively presenting holographic image
CN121040040A (zh) * 2023-06-28 2025-11-28 三星电子株式会社 电子装置及其控制方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3478192B2 (ja) * 1999-08-20 2003-12-15 日本電気株式会社 画面重畳表示型情報入出力装置
JP3980242B2 (ja) * 2000-03-10 2007-09-26 パイオニア株式会社 立体的2次元画像表示装置及び画像表示方法
JP3865306B2 (ja) * 2002-07-24 2007-01-10 日本放送協会 立体像の撮像表示装置
JP3786634B2 (ja) * 2002-08-20 2006-06-14 コナミ株式会社 画像表示装置
JP2004198629A (ja) * 2002-12-17 2004-07-15 Pioneer Electronic Corp 表示装置
US7775666B2 (en) * 2005-03-16 2010-08-17 Panasonic Corporation Three-dimensional image communication terminal and projection-type three-dimensional image display apparatus
US8345087B2 (en) * 2006-02-27 2013-01-01 Parellel Consulting Limited Liability Company Image enhancement for three-dimensional displays
KR101255209B1 (ko) * 2006-05-04 2013-04-23 삼성전자주식회사 인터레이스 방식으로 영상을 디스플레이 하는 고해상도입체 영상 디스플레이 장치
JP2008185964A (ja) * 2007-01-31 2008-08-14 Optrex Corp 表示装置
WO2008126273A1 (ja) * 2007-03-30 2008-10-23 Pioneer Corporation 画像表示装置

Also Published As

Publication number Publication date
US20090033741A1 (en) 2009-02-05
JP2009031797A (ja) 2009-02-12

Similar Documents

Publication Publication Date Title
JP4835659B2 (ja) 集積映像背景を有する2次元−3次元兼用ディスプレイ方法及び装置
KR102704703B1 (ko) 눈 위치를 사용하는 삼차원 무안경 광 필드 디스플레이
CN100483463C (zh) 用于在3-d图像显示屏上显示3-d图像的系统和方法
CN103369337B (zh) 3d显示设备及使用该3d显示设备处理图像的方法
Balram et al. Light‐field imaging and display systems
JP4331224B2 (ja) 三次元画像表示装置及び三次元画像の表示方法
JP5450330B2 (ja) 画像処理装置および方法、ならびに立体画像表示装置
CN107102446B (zh) 一种三维立体显示面板、其显示方法及显示装置
WO2011118084A1 (ja) 画像処理装置および画像処理方法
Yanaka Integral photography using hexagonal fly's eye lens and fractional view
JP4489610B2 (ja) 立体視可能な表示装置および方法
JP3452244B2 (ja) 3次元表示方法及び装置
JP6166985B2 (ja) 画像生成装置および画像生成プログラム
JP4631812B2 (ja) 多視点映像表示装置、多視点映像撮像装置、及び多視点映像生成装置
JP2015037282A (ja) 画像処理装置、画像処理方法及びプログラム
KR101567002B1 (ko) 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템
KR100939080B1 (ko) 합성 영상 생성 방법 및 장치, 합성 영상을 이용한 디스플레이 방법 및 장치
JP4660769B2 (ja) 多視点立体ディスプレイ装置
JP2013003396A (ja) 3次元画像の提示方法
JP2011033819A (ja) 3次元画像表示装置
JP2006267767A (ja) 画像表示装置
KR100462574B1 (ko) 2차원 및 3차원 겸용 다시점 영상 표시 시스템 및 그의영상 변환 방법
JP2011033820A (ja) 3次元画像表示装置
KR101345129B1 (ko) 3차원 입체 영상 표시 및 기록 장치
JP5428723B2 (ja) 画像生成装置、画像生成方法、および、プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101214

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110314

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110830

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110912

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141007

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees