Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4042356B2 - Image display system and image correction service method for image display system - Google Patents
[go: Go Back, main page]

JP4042356B2 - Image display system and image correction service method for image display system - Google Patents

Image display system and image correction service method for image display system Download PDF

Info

Publication number
JP4042356B2
JP4042356B2 JP2001199824A JP2001199824A JP4042356B2 JP 4042356 B2 JP4042356 B2 JP 4042356B2 JP 2001199824 A JP2001199824 A JP 2001199824A JP 2001199824 A JP2001199824 A JP 2001199824A JP 4042356 B2 JP4042356 B2 JP 4042356B2
Authority
JP
Japan
Prior art keywords
image
screen
display system
image display
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001199824A
Other languages
Japanese (ja)
Other versions
JP2003018503A (en
Inventor
正徳 柏木
伸之 柴野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP2001199824A priority Critical patent/JP4042356B2/en
Publication of JP2003018503A publication Critical patent/JP2003018503A/en
Application granted granted Critical
Publication of JP4042356B2 publication Critical patent/JP4042356B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Transforming Electric Information Into Light Information (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、スクリーンに画像を投影する画像表示システム、特に臨場感やスケール感を高度に実現した広視野角の画像表示システム、並びにこれに関連する画像表示システム用補正サービス方法に関するものである。
【0002】
【従来の技術】
従来、画像を表示するための装置が各種市販され提案されている。例えば利用者自身の手足や別の利用者を違和感なく表示することは苦手としているが、利用者の眼球の近傍に画像を表示することにより広視野角を得るヘッドマウントディスプレイが市販されている。また、視差を付けた映像を左右の目に別々に見せて立体感を表現するものもある。
【0003】
このほか、現実世界に近い高度な臨場感やスケール感を表現するために、大型の平面スクリーン、複数の平面スクリーンを多面体形状に組み合わせてなる多面体型スクリーン、アーチ形状のスクリーンまたは凹面(放物面)状のスクリーンなどの各種形状のスクリーンを用いて、利用者の視野を広く覆う画像表示システムが開発されている。
【0004】
なお、特開平10−200836号公報には、投影面の方位角、傾斜角及び距離を計算して投影面の三次元形状を獲得し、投影面の形状に対応して入力原画像に対する傾き補正と拡大・縮小補正とを行い、補正された画像を投影出力するプロジェクタ装置が記載されている。
【0005】
【発明が解決しようとする課題】
上記各種形状のスクリーンを用いて利用者の視野を広く覆う画像表示システムの場合、コンピュータで生成したいわゆるCG画像や実写ビデオからの画像を表示したときに、スクリーン系の形状やレンズ系の歪みなどにより、本来利用者の視野に提示したい画像とは異なる歪みのある画像が表示されることとなる。このため、スクリーン系を設置する際に利用者の視点位置も固定して、それらの位置関係などから表示する画像に加わる歪みを導き出して逆方向の歪みを加える補正作業が必要となる。しかし、この作業には非常な手間がかかる。さらに利用者の視点が移動した場合には、再度この面倒な作業が必要になるなど、広視野角の画像を提示することは容易なことではない。
【0006】
本発明は、上記の点に鑑みてなされたものであり、各種形状のスクリーン上の画像に生じる歪みを簡単な作業で補正することができる画像表示システムおよび画像表示システム用画像補正サービス方法を提供することを目的とする。
【0007】
【課題を解決するための手段】
上記課題を解決するための請求項1記載の発明の画像表示システムは、視線の基点付近に配置され光学的パターンの画像を表示するためのマーカ手段と、画像を投影するための投影手段と、光学的に前記視線の基点と前記投影手段との間に位置し前記マーカ手段および投影手段による画像が表示されるスクリーンと、前記投影手段の光軸と同軸に光軸が設定され前記スクリーン上の画像を撮像するための撮像手段と、この撮像手段で撮像された画像を基に前記視線の基点から観測される前記スクリーン上の画像に生じる歪みを補正するための演算手段とを備えることを特徴とする。
【0008】
請求項2記載の発明は、請求項1記載の画像表示システムにおいて、前記投影手段は、前記スクリーンに実写ビデオ画像またはインタラクティブなCG画像を投影することを特徴とする。
【0009】
請求項3記載の発明は、請求項1または2記載の画像表示システムにおいて、前記マーカ手段は、観測者の両眼付近に設けられることを特徴とする。
【0010】
請求項4記載の発明は、請求項1から3のいずれかに記載の画像表示システムにおいて、前記マーカ手段は、非可視光を用いて前記スクリーンに前記光学的パターンの画像を表示することを特徴とする。
【0011】
請求項5記載の発明は、請求項1から4のいずれかに記載の画像表示システムにおいて、前記マーカ手段は、前記スクリーンに前記光学的パターンの画像を点滅させて表示することを特徴とする。
【0012】
請求項6記載の発明は、請求項1から5のいずれかに記載の画像表示システムにおいて、前記演算手段は、前記撮像手段で撮像された前記マーカ手段による画像の光学的パターンを利用して、前記観測者の視点付近の歪みをその周辺部の歪みよりも重点的に補正することを特徴とする。
【0013】
請求項7記載の発明は、請求項1から6のいずれかに記載の画像表示システムにおいて、前記スクリーンの表示面を変形するための表示面変形手段を備え、前記演算手段は、前記スクリーン上の前記画像に生じる歪みが減少するように、前記投影手段によって投影される画像のデータを補正するとともに前記表示面変形手段を通じて前記スクリーンの表示面を変形することにより、前記スクリーン上の画像に生じる歪みを補正することを特徴とする。
【0014】
請求項8記載の発明は、請求項1から7のいずれかに記載の画像表示システムにおいて、前記投影手段は複数設けられ、これら複数の投影手段から投影される画像が組み合わされて前記スクリーンに投影されることを特徴とする。
【0015】
請求項9記載の発明は、請求項1から8のいずれかに記載の画像表示システムにおいて、前記マーカ手段は、複数の観測者に対して複数設けられることを特徴とする。
【0016】
請求項10記載の発明は、請求項9記載の画像表示システムにおいて、前記複数のマーカ手段は、それぞれ個別に色分けされた光学的パターンの画像を前記スクリーンに表示することを特徴とする。
【0018】
請求項11記載の発明は、請求項1から10のいずれかに記載の画像表示システムのうち、前記演算手段による歪みを補正するための処理機能をネットワークに接続されるサーバに設ける一方、その残部をネットワークに接続されるクライアント側に設けて実行される画像表示システム用補正サービス方法であって、前記クライアントが、前記撮像手段で撮像された画像を基に送信データを作成し、この送信データを前記サーバに前記ネットワークを介して送信するステップと、前記サーバが、前記クライアントから送信された送信データを基に、前記視線の基点から観測される前記スクリーン上の画像に生じる歪みを補正するためのデータを作成し、このデータを前記クライアントに前記ネットワークを介して提供するステップとから構成されることを特徴とする。
【0019】
【発明の実施の形態】
(第1実施形態)
図1は画像表示システムのブロック図であり、この図を参照しながら本発明に係る第1実施形態について説明する。
【0020】
図1に示す画像表示システムは、視線Aの基点付近に配置され光学的パターンの画像を表示するためのマーカ1と、画像を投影するための投影装置2と、光学的に上記視線の基点と投影装置2との間に位置しマーカ1および投影装置2による画像が表示されるスクリーン3と、投影装置2の光軸Bと同軸に光軸が設定されスクリーン3上の画像を撮像するための撮像装置4と、この撮像装置4で撮像された画像を基に上記視線の基点から観測されるスクリーン3上の画像に生じる歪みを補正するためのコンピュータ5とを備えている。以下、これらの各部の具体例についてさらに図面を用いて説明する。
【0021】
図2,図3に図1のマーカの設置場所の具体例を示す。マーカ1は、図2の例では、マーカ11として、座席100の背もたれの上部であってその座席100に着座している人の視線の基点付近に配置されている。図3の例では、複数のマーカ12として、眼鏡型のフレーム101に設けられている。ここでは、説明の便宜上、マーカ1は後者であるとする。
【0022】
図4〜図7に図1のマーカによってスクリーン上に表示される画像の光学的パターンの例を示す。図4の例では、画像C1によって、平面格子を構成する複数の点C11によりなるパターンが形成されている。図5の例では、画像C2によって、平面格子を構成する各点を結ぶ複数の線C21によりなるパターンが形成されている。図6の例では、画像C3によって、連設された複数の多角形C31によりなる(同図ではハニカム構造の平面的な)パターンが形成されている。図7の例では、画像C4によって、先の画像C2によるパターンの変形例であって中心付近が密に周辺部分が疎になるパターンが形成されている。これは観測者の視点付近の歪みをその周辺部の歪みよりも重点的に補正する場合に有効なパターン例であり、この場合、補正処理のパフォーマンスを高めることができて、スムーズな体験が可能となる。ここでは、説明の便宜上、マーカ1は、図5の例の画像C2をスクリーン3に表示するものであるとする。
【0023】
図8〜図10に図1のスクリーンの具体構造例を示す。上記スクリーン3は、図8の例では、凹面(放物面)形状のスクリーン31として形成されている。図9の例では、アーチ形状のスクリーン32として形成されている。図10の例では、複数の平面スクリーン331を多面体形状に組み合わせてなる多面体型のスクリーン33として形成されている。なお、スクリーン3は、反射型でもあるいは透過型でもどちらであっても構わないが、その別に応じて以下の如く各装置の配置構成が異なる。
【0024】
図11〜図14に図1のスクリーンが凹面形状のスクリーンである場合のその透過/反射型に合った各装置の配置構成例を示す。図11の例は、反射型の凹面形状のスクリーン31aを使用し、そのスクリーン31aの反射方向の前方に、マーカ12が設けられたフレーム101を装着している人が位置し、その人の後方に、投影装置2および撮像装置4を一体に構成してなる投影・撮像装置6を、その光軸が前方の人に被らないように設ける配置構成になっている。図12の例は、透過型の凹面形状のスクリーン31bを使用し、そのスクリーン31bの曲率中心側に、マーカ12が設けられたフレーム101を装着している人が位置する一方、スクリーン31bに対して曲率中心とは反対側に、投影・撮像装置6を設ける配置構成になっている。図13の例は、図12の例の変形例であって、設置スペースを縮小すべく、スクリーン31bと投影・撮像装置6との間の光路にミラー7が介在する配置構成になっている。図14の例は、図12の例の変形例であって、スクリーン31bに対する表示エリアを分割し、分割した各表示エリアに対して、投影・撮像装置6とコンピュータ5とを使用する配置構成になっている。
【0025】
なお、図11〜図14において、コンピュータ5は、投影・撮像装置6からの画像を処理して投影用の画像を補正する演算を行うことができるように、投影・撮像装置6と信号を授受可能に接続されている。また、投影装置2および撮像装置4は、投影・撮像装置6として一体に構成されているが、必ずしも一体に構成する必要はなく、それらの光軸が一致する構成であればよい。さらに、人、すなわち観測者が複数人いる場合は、図15に示すように、各観測者にマーカ12が設けられたフレーム101が装着される。
【0026】
図16はマーカが図5の画像をスクリーンに表示した場合に、投影・撮像装置の撮像により得られた画像の光学的パターンの例を示す図、図17はマーカが図5の画像をスクリーンに表示するとともにそれに対応する画像(マーカによる画像が例えば水平および平行の線成分を含む場合には水平および平行の線成分を含む画像)を投影・撮像装置がスクリーンに表示した場合に、投影・撮像装置の撮像により得られた画像の光学的パターンの例を示す図である。なお、これらの図では、図示の便宜上、平面形のスクリーンでスクリーン3を描いてある。
【0027】
図16の場合、マーカ1による光学的パターンDは、スクリーン3の表示面の凹凸により歪んで表示される。図17の場合、マーカ1による光学的パターンDおよび投影・撮像装置6による光学的パターンEは、スクリーン3の表示面の凹凸および光学系の歪みにより歪んで表示される。このため、第1実施形態では、以下のようにしてその歪みが補正される。
【0028】
図18は歪み補正の説明図、図19は図1のコンピュータにより実行される歪み補正の処理手順例を示す図、図20は歪み補正の効果の説明図である。
【0029】
ここでは、図18に示すように、図17の場合に投影・撮像装置6の撮像により得られた画像の混合パターンを、マーカ1による光学的パターンと投影・撮像装置6による光学的パターンとに分解し、投影・撮像装置6による光学的パターンを、マーカ1による光学的パターンと相似形になるように(もし両光学的パターンが仮想空間において同一位置にある同一サイズであれば完全に一致するように)、変形する演算をコンピュータ5で実行する。その演算については、図形をマッチングするための各種方法を利用することが可能であるが、一例としては、各光学的パターンについて重心を通り直交する共通の座標軸を置いて、外周が一致するように座標値を線形的に補完すれば良い。
【0030】
コンピュータ5は、歪みを解消する(演算手段による)補正処理機能として、図19に示すように、ステップS1で投影・撮像装置6による撮像画像を取り込み、その撮像画像から、ステップS2でマーカ1によるパターン画像を取り出す一方、ステップS3で投影・撮像装置6の投影画像によるパターン画像を取り出し、ステップS4,S5で各々から光学的パターンを構成するグリッドなどの幾何学的要素を算出して保持し、ステップS7において、両者の幾何学的要素を比較して、マーカ1による光学的パターンに投影画像による光学的パターンをマッチングするための補正データを算出して保持するとともに、別途ビデオ画像からの取り込み、あるいは3次元空間データから生成したCG画像などによって作成した投影用画像を変形し(S8,S9)、ステップS10で補正済みの投影用画像を出力する。
【0031】
ここで、スクリーン形状およびスクリーン3と投影光路と投影装置2のレイアウトが変化しなければ、投影画像によるパターン画像を再度処理して対応する幾何学的要素を算出する必要はなく、視点位置が変化した場合のマーカ1によるパターン画像から幾何学的要素を算出すれば、保持しておいた幾何学的要素との組み合わせにより補正データが算出できるため、初期設定時を除いては投影画像としてパターン画像を投影する必要はなく、主にマーカ1によるパターン画像を撮像して処理すれば良い。これにより、図20(a)に示す補正なしの場合にスクリーン3に表示される画像が図20(b)に示すような画像に補正される。
【0032】
図8〜図10などの様々な形状のスクリーン系と利用者の視線の基点位置に対応して、歪み補正に必要なデータを自動的に取得し、そのデータを用いて補正を行うことにより、現実世界に近い高度な臨場感やスケール感を表現でき、各種形状のスクリーン上の画像に生じる歪みを簡単な作業で補正することができる。
【0033】
(第2実施形態)
図21は画像表示システムのブロック図、図22は図21の表示面変形部の説明図である。
【0034】
第2実施形態の画像表示システムは、図21,図22に示すように、スクリーン3(図22の例ではスクリーン31)の各部を動かしてその表示面の凹凸形状を変更するための複数の駆動部81により構成される表示面変形部8をさらに備え、スクリーン3上の画像に生じる歪みが減少するように、投影装置2によって投影される画像のデータを補正するとともに表示面変形部8を通じてスクリーン3の表示面を変形することにより、スクリーン3上の画像に生じる歪みを補正する制御を行うコンピュータ5aを備える以外は、図1に示す画像表示システムと同様に構成される。
【0035】
この構成でも、各種形状のスクリーン上の画像に生じる歪みを簡単な作業で補正することができる。また、演算結果を用いて投影する画像をデータ的に補正するだけでなく、自動的にスクリーンを変形あるいは移動したり、投影装置の設定を変更したりすることにより、映像に対する補正処理を簡略化できてパフォーマンスを向上でき、また投影する内容に最適なスクリーン形状を維持することも可能となるという効果がある。
【0036】
(第3実施形態)
図23は画像表示システム用画像補正サービスの説明図である。
【0037】
このサービスは、上記各実施形態の画像表示システムのうち、コンピュータ5の演算手段による歪みを補正するための処理機能をネットワーク(例えばインターネット)Nに接続されるサーバ9に設ける一方、その残部をネットワークNに接続されるクライアント10側に設け、各クライアント10は、投影・撮像装置6で撮像された画像を基にコンピュータ5bで送信データを作成してネットワークN経由でサーバ9に送信し、サーバ9は、クライアント10から送信された送信データを基に、視線の基点から観測されるスクリーン3(図では31a,31b)上の画像に生じる歪みを補正するためのデータ(補正を行った画像データまたは補正データそのもの)を作成し、このデータをそのクライアント10にネットワークNを介して提供するシステムによって実行される。
【0038】
このサービスによれば、さまざまな設置空間やスクリーン形状を用いて、仮想デザインセンターや仮想商店街などの仮想空間を現実に近いスケール感覚で表現し、多様な利用者に対して、精度の良い設計検討や実物を見るのに近い商品検討の場を提供することができる。
【0039】
なお、マーカは、非可視光を用いてスクリーンに光学的パターンの画像を表示するものでもよい。この場合、本来の投影映像を妨げることなく、観測者が利用中も随時正確な補正処理を行うことができ、観測者の視点位置移動に対する追従性が高まって、観測者が動きながら体験しても高い臨場感が得られる。
【0040】
また、マーカによって、スクリーンに光学的パターンの画像を点滅させて表示すれば、外部からのノイズの影響を除き易くできて補正処理の安定性が向上すると共に、点滅タイミングとの同期をとることによって両眼あるいは複数の観測者の視点位置を個別に認識することもでき、各々に最適な補正処理ができて、高い臨場感が得られ、さらに投影手段の映像についても点滅させて同期を取ることが可能であって、複数の観測者がシステムを共用する場合においては、相互に異なる体験を同時に行うことも可能となるという効果がある。
【0041】
さらに、マーカは、複数使用する場合、それぞれ個別に色分けされた光学的パターンの画像をスクリーンに表示するものでもよい。この場合、両眼あるいは複数の観測者の視点位置に対応するパターンが同時に表示された場合でも、それらを容易に区別することができ、各々に対する補正処理を効果的に行うことにより、臨場感を高められる。
【0042】
【発明の効果】
以上のことから明らかなように、請求項1記載の発明の画像表示システムは、視線の基点付近に配置され光学的パターンの画像を表示するためのマーカ手段と、画像を投影するための投影手段と、光学的に前記視線の基点と前記投影手段との間に位置し前記マーカ手段および投影手段による画像が表示されるスクリーンと、前記投影手段の光軸と同軸に光軸が設定され前記スクリーン上の画像を撮像するための撮像手段と、この撮像手段で撮像された画像を基に前記視線の基点から観測される前記スクリーン上の画像に生じる歪みを補正するための演算手段とを備えるので、各種形状のスクリーン上の画像に生じる歪みを、マーカ手段を使うだけの簡単な作業で補正することができる。また、様々な形状のスクリーン系と利用者の視線の基点に対応して、歪み補正に必要なデータを自動的に随時得ることができ、そのデータを用いて補正を行うことにより、予め測定したり設計図面から算出した補正パラメータに比べて、より正確な補正が可能となるため、現実世界に近い高度な臨場感やスケール感を表現でき、使用中に観測者が動くことによって生じる視点位置の変化にも自動的に対応させることができるだけでなく、スクリーン形状の変更やレイアウトおよびサイズの変更にも容易に対応でき、さらに視線の基点付近でパターンを発生するマーカ手段を用いることにより補正処理が簡略化できることに加えて、マーカ手段は撮像系に比べて機構が簡単なため、簡易で軽量で小型にもできるため、視線の基点付近に撮像系を設ける構成に比べて観測者に対する負担も軽く、また投影用の光路を共用して撮像することにより、投影手段に対する補正に適した形での撮像に要する光学系を簡略化できてコストが抑えられ、補正処理の面ではマーカの像と投影した映像とのマッチングを取ることが容易であって光学系自体で生じた歪みをも含めたシステム全体としての歪み補正の性能を向上させ易く、正確なスケール感を実現し易いという効果がある。
【0043】
請求項2記載の発明は、請求項1記載の画像表示システムにおいて、前記投影手段は、前記スクリーンに実写ビデオ画像またはインタラクティブなCG画像を投影するのであり、この場合も、各種形状のスクリーン上の画像に生じる歪みを簡単な作業で補正することができる。
【0044】
請求項3記載の発明は、請求項1または2記載の画像表示システムにおいて、前記マーカ手段は、観測者の両眼付近に設けられるので、観測者の視点位置の移動に対する追従性が高まり、また両眼視差による立体視を行う場合に精度の良い補正処理を行うことができて、観測者の没入感・臨場感が高まると共に、奥行き方向についての評価検討の精度が向上するという効果がある。
【0045】
請求項4記載の発明は、請求項1から3のいずれかに記載の画像表示システムにおいて、前記マーカ手段は、非可視光を用いて前記スクリーンに前記光学的パターンの画像を表示するので、本来の投影映像を妨げることなく、観測者が利用中も随時正確な補正処理を行うことができ、観測者の視点位置移動に対する追従性が高まって、観測者が動きながら体験しても高い臨場感が得られるという効果がある。
【0046】
請求項5記載の発明は、請求項1から4のいずれかに記載の画像表示システムにおいて、前記マーカ手段は、前記スクリーンに前記光学的パターンの画像を点滅させて表示するので、外部からのノイズの影響を除き易くできて補正処理の安定性が向上すると共に、点滅タイミングとの同期をとることによって両眼あるいは複数の観測者の視点位置を個別に認識することもでき、各々に最適な補正処理ができて、高い臨場感が得られ、さらに投影手段の映像についても点滅させて同期を取ることが可能であって、複数の観測者がシステムを共用する場合においては、相互に異なる体験を同時に行うことも可能となるという効果がある。
【0047】
請求項6記載の発明は、請求項1から5のいずれかに記載の画像表示システムにおいて、前記演算手段は、前記撮像手段で撮像された前記マーカ手段による画像の光学的パターンを利用して、前記観測者の視点付近の歪みをその周辺部の歪みよりも重点的に補正するので、補正処理のパフォーマンスを高めることができて、スムーズな体験が可能となるという効果がある。
【0048】
請求項7記載の発明は、請求項1から6のいずれかに記載の画像表示システムにおいて、前記スクリーンの表示面を変形するための表示面変形手段を備え、前記演算手段は、前記スクリーン上の前記画像に生じる歪みが減少するように、前記投影手段によって投影される画像のデータを補正するとともに前記表示面変形手段を通じて前記スクリーンの表示面を変形することにより、前記スクリーン上の画像に生じる歪みを補正するので、演算結果を用いて投影する画像をデータ的に補正するだけでなく、自動的にスクリーンを変形あるいは移動したり、投影手段の設定を変更したりすることにより、映像に対する補正処理を簡略化できてパフォーマンスを向上でき、また投影する内容に最適なスクリーン形状を維持することも可能となるという効果がある。
【0049】
請求項8記載の発明は、請求項1から7のいずれかに記載の画像表示システムにおいて、前記投影手段は複数設けられ、これら複数の投影手段から投影される画像が組み合わされて前記スクリーンに投影されるので、広視野角でかつ高精細な内容を歪みなく体験できて、臨場感を高められるという効果がある。
【0050】
請求項9記載の発明は、請求項1から8のいずれかに記載の画像表示システムにおいて、前記マーカ手段は、複数の観測者に対して複数設けられるので、複数の観測者に対しての全体的な補正を行うことができて、複数の観測者の総体に対する臨場感を高めることができるという効果がある。
【0051】
請求項10記載の発明は、請求項9記載の画像表示システムにおいて、前記複数のマーカ手段は、それぞれ個別に色分けされた光学的パターンの画像を前記スクリーンに表示するので、両眼あるいは複数の観測者の視点位置に対応するパターンが同時に表示された場合でも、それらを容易に区別することができ、各々に対する補正処理を効果的に行うことにより、臨場感を高められるという効果がある。
【0053】
請求項11記載の発明は、請求項1から10のいずれかに記載の画像表示システムのうち、前記演算手段による歪みを補正するための処理機能をネットワークに接続されるサーバに設ける一方、その残部をネットワークに接続されるクライアント側に設けて実行される画像表示システム用補正サービス方法であって、前記クライアントが、前記撮像手段で撮像された画像を基に送信データを作成し、この送信データを前記サーバに前記ネットワークを介して送信するステップと、前記サーバが、前記クライアントから送信された送信データを基に、前記視線の基点から観測される前記スクリーン上の画像に生じる歪みを補正するためのデータを作成し、このデータを前記クライアントに前記ネットワークを介して提供するステップとから構成されるので、請求項1から10のいずれかに記載の発明と同様の効果が得られる。また、利用者は表示システムのレイアウト変更やスクリーンの形やサイズの変更などを行った際の面倒な調整作業から開放されるだけでなく、必要ならば視点位置の動的な変化にも対応できて臨場感が高く現実のスケール感覚に近い体験を行うことのできるシステムを簡単に構築でき、また表示するコンテンツ内容に合わせて補正の精度や処理速度のバランスのとれたデータ補正サービスを選ぶことができるほか、サーバ性能や補正処理プログラムのグレードアップが行われた場合の恩恵も随時享受できて、コストパフォーマンス良く高品質の広視野角画像体験ができるという効果がある。
【図面の簡単な説明】
【図1】本発明に係る第1実施形態の画像表示システムのブロック図である。
【図2】図1のマーカの設置場所の具体例を示す図である。
【図3】図1のマーカの設置場所の具体例を示す図である。
【図4】図1のマーカによってスクリーン上に表示される画像の光学的パターンの例を示す図である。
【図5】図1のマーカによってスクリーン上に表示される画像の光学的パターンの例を示す図である。
【図6】図1のマーカによってスクリーン上に表示される画像の光学的パターンの例を示す図である。
【図7】図1のマーカによってスクリーン上に表示される画像の光学的パターンの例を示す図ある。
【図8】図1のスクリーンの具体構造例を示す図である。
【図9】図1のスクリーンの具体構造例を示す図である。
【図10】図1のスクリーンの具体構造例を示す図である。
【図11】図1のスクリーンが凹面形状のスクリーンである場合のその反射型に合った各装置の配置構成例を示す図である。
【図12】図1のスクリーンが凹面形状のスクリーンである場合のその透過型に合った各装置の配置構成例を示す図である。
【図13】図1のスクリーンが凹面形状のスクリーンである場合のその透過型に合った各装置の配置構成例を示す図である。
【図14】図1のスクリーンが凹面形状のスクリーンである場合のその透過型に合った各装置の配置構成例を示す図である。
【図15】観測者が複数人いる場合の例を示す図である。
【図16】マーカが図5の画像をスクリーンに表示した場合に、投影・撮像装置の撮像により得られた画像の光学的パターンの例を示す図である。
【図17】マーカが図5の画像をスクリーンに表示するとともにそれに対応する画像を投影・撮像装置がスクリーンに表示した場合に、投影・撮像装置の撮像により得られた画像の光学的パターンの例を示す図である。
【図18】歪み補正の説明図である。
【図19】図1のコンピュータにより実行される歪み補正の処理手順例を示す図である。
【図20】歪み補正の効果の説明図である。
【図21】本発明に係る第2実施形態の画像表示システムのブロック図である。
【図22】図21の表示面変形部の説明図である。
【図23】本発明に係る第3実施形態の画像表示システム用画像補正サービスの説明図である。
【符号の説明】
1 マーカ
2 投影装置
3 スクリーン
4 撮像装置
5 コンピュータ
6 投影・撮像装置
7 ミラー
8 表示面変形部
9 サーバ
10 クライアント
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image display system that projects an image on a screen, in particular, an image display system with a wide viewing angle that realizes a high level of realism and scale, and a related art. Painting The present invention relates to a correction service method for an image display system.
[0002]
[Prior art]
Conventionally, various apparatuses for displaying images have been commercially available and proposed. For example, although it is difficult to display a user's own limbs or another user without a sense of incongruity, a head-mounted display that obtains a wide viewing angle by displaying an image in the vicinity of the user's eyeball is commercially available. In addition, there is a video that expresses a stereoscopic effect by separately displaying images with parallax on the left and right eyes.
[0003]
In addition, a large flat screen, a polyhedral screen that combines multiple flat screens into a polyhedral shape, an arch-shaped screen, or a concave surface (parabolic surface) to express a high level of realism and scale close to the real world. An image display system that covers a wide field of view of the user by using various shapes of screens such as) -shaped screens has been developed.
[0004]
In Japanese Patent Laid-Open No. 10-200246, the azimuth angle, the tilt angle, and the distance of the projection plane are calculated to obtain the three-dimensional shape of the projection plane, and the tilt correction for the input original image corresponding to the shape of the projection plane is performed. And a projector apparatus that performs enlargement / reduction correction and projects and outputs the corrected image.
[0005]
[Problems to be solved by the invention]
In the case of an image display system that covers the user's visual field using the screens of various shapes described above, when a computer-generated CG image or an image from a live-action video is displayed, the shape of the screen system, distortion of the lens system, etc. Thus, an image having a distortion different from the image originally intended to be presented in the user's field of view is displayed. For this reason, when installing the screen system, it is necessary to perform a correction operation in which the viewpoint position of the user is also fixed, the distortion added to the image to be displayed is derived from the positional relationship and the like, and the distortion in the reverse direction is added. However, this work is very troublesome. Further, when the user's viewpoint moves, it is not easy to present an image with a wide viewing angle such that this troublesome work is required again.
[0006]
The present invention has been made in view of the above points, and an image display system capable of correcting distortion generated in an image on a screen of various shapes with a simple operation. Mu And an image correction service method for an image display system.
[0007]
[Means for Solving the Problems]
An image display system according to claim 1 for solving the above-described problem, a marker means for displaying an image of an optical pattern arranged near the base point of the line of sight, a projection means for projecting an image, A screen optically positioned between a base point of the line of sight and the projection means, and an image displayed by the marker means and the projection means; and an optical axis set coaxially with the optical axis of the projection means, on the screen An image pickup means for picking up an image, and a calculation means for correcting distortion generated in the image on the screen observed from the base point of the line of sight based on the image picked up by the image pickup means And
[0008]
According to a second aspect of the present invention, in the image display system according to the first aspect, the projection unit projects a live-action video image or an interactive CG image on the screen.
[0009]
According to a third aspect of the present invention, in the image display system according to the first or second aspect, the marker means is provided near both eyes of the observer.
[0010]
A fourth aspect of the present invention is the image display system according to any one of the first to third aspects, wherein the marker means displays an image of the optical pattern on the screen using non-visible light. And
[0011]
According to a fifth aspect of the present invention, in the image display system according to any one of the first to fourth aspects, the marker means blinks and displays the image of the optical pattern on the screen.
[0012]
The invention according to claim 6 is the image display system according to any one of claims 1 to 5, wherein the calculation means uses an optical pattern of an image by the marker means imaged by the imaging means, The distortion in the vicinity of the observer's viewpoint is corrected more preferentially than the distortion in the surrounding area.
[0013]
A seventh aspect of the present invention is the image display system according to any one of the first to sixth aspects, further comprising display surface deformation means for deforming the display surface of the screen, wherein the computing means is on the screen. Said The distortion generated in the image on the screen is corrected by correcting the data of the image projected by the projection unit and deforming the display surface of the screen through the display surface deformation unit so that the distortion generated in the image is reduced. It is characterized by correcting.
[0014]
According to an eighth aspect of the present invention, in the image display system according to any one of the first to seventh aspects, a plurality of the projection means are provided, and images projected from the plurality of projection means are combined and projected onto the screen. It is characterized by being.
[0015]
According to a ninth aspect of the present invention, in the image display system according to any of the first to eighth aspects, a plurality of the marker means are provided for a plurality of observers.
[0016]
According to a tenth aspect of the present invention, in the image display system according to the ninth aspect, the plurality of marker units display images of optical patterns that are individually color-coded on the screen.
[0018]
Claim 11 According to the present invention, in the image display system according to any one of claims 1 to 10, a processing function for correcting distortion caused by the calculation unit is provided in a server connected to a network, and the remaining part is provided in the network. A correction service method for an image display system that is provided and executed on a connected client side, wherein the client creates transmission data based on an image captured by the imaging unit, and transmits the transmission data to the server. Transmitting via the network, and the server creates data for correcting distortion generated in the image on the screen observed from the origin of the line of sight based on the transmission data transmitted from the client And providing the data to the client via the network. And features.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
(First embodiment)
FIG. 1 is a block diagram of an image display system, and a first embodiment according to the present invention will be described with reference to this figure.
[0020]
The image display system shown in FIG. 1 is arranged near the base point of the line of sight A, a marker 1 for displaying an image of an optical pattern, a projection device 2 for projecting the image, and the optical point of reference of the line of sight. A screen 3 positioned between the projector 2 and an image displayed by the marker 1 and the projector 2 and an optical axis set coaxially with the optical axis B of the projector 2 to capture an image on the screen 3 An imaging device 4 and a computer 5 for correcting distortion generated in an image on the screen 3 observed from the base line of sight based on the image captured by the imaging device 4 are provided. Hereinafter, specific examples of these parts will be described with reference to the drawings.
[0021]
2 and 3 show specific examples of the installation locations of the markers in FIG. In the example of FIG. 2, the marker 1 is arranged as the marker 11 near the base point of the line of sight of the person sitting on the seat 100 above the back of the seat 100. In the example of FIG. 3, the plurality of markers 12 are provided on the glasses-type frame 101. Here, for convenience of explanation, it is assumed that the marker 1 is the latter.
[0022]
4 to 7 show examples of optical patterns of images displayed on the screen by the markers shown in FIG. In the example of FIG. 4, the image C1 forms a pattern composed of a plurality of points C11 that form a planar lattice. In the example of FIG. 5, the image C2 forms a pattern composed of a plurality of lines C21 connecting the points constituting the planar grid. In the example of FIG. 6, a pattern composed of a plurality of continuous polygons C <b> 31 (in FIG. 6, a planar honeycomb structure) is formed by the image C <b> 3. In the example of FIG. 7, a pattern in which the vicinity of the center is dense and the peripheral part is sparse is formed by the image C4, which is a modification of the pattern based on the previous image C2. This is an example of an effective pattern when correcting distortion near the observer's viewpoint more heavily than distortion at the periphery. In this case, the correction processing performance can be improved and a smooth experience is possible. It becomes. Here, for convenience of explanation, it is assumed that the marker 1 displays the image C2 in the example of FIG.
[0023]
8 to 10 show specific structural examples of the screen of FIG. In the example of FIG. 8, the screen 3 is formed as a screen 31 having a concave (parabolic) shape. In the example of FIG. 9, it is formed as an arch-shaped screen 32. In the example of FIG. 10, a polyhedral screen 33 is formed by combining a plurality of flat screens 331 into a polyhedral shape. The screen 3 may be either a reflection type or a transmission type, but the arrangement of each device differs depending on the screen 3 as follows.
[0024]
FIG. 11 to FIG. 14 show examples of the arrangement configuration of each device suitable for the transmission / reflection type when the screen of FIG. 1 is a concave screen. In the example of FIG. 11, a reflective concave screen 31a is used, and a person wearing the frame 101 provided with the marker 12 is positioned in front of the screen 31a in the reflection direction. In addition, the projection / imaging device 6 formed integrally with the projection device 2 and the imaging device 4 is arranged so that its optical axis is not covered by a person in front. The example of FIG. 12 uses a transmissive concave screen 31b, and a person wearing the frame 101 provided with the marker 12 is located on the curvature center side of the screen 31b. Thus, the projection / imaging device 6 is disposed on the side opposite to the center of curvature. The example of FIG. 13 is a modification of the example of FIG. 12, and has an arrangement configuration in which a mirror 7 is interposed in the optical path between the screen 31 b and the projection / imaging device 6 in order to reduce the installation space. The example of FIG. 14 is a modification of the example of FIG. 12, in which the display area for the screen 31 b is divided, and the projection / imaging device 6 and the computer 5 are used for each divided display area. It has become.
[0025]
11 to 14, the computer 5 exchanges signals with the projection / imaging device 6 so that the computer 5 can process the image from the projection / imaging device 6 and perform a calculation to correct the projection image. Connected as possible. In addition, the projection device 2 and the imaging device 4 are integrally configured as the projection / imaging device 6, but are not necessarily configured integrally, and may be configured so that their optical axes coincide with each other. Further, when there are a plurality of people, that is, observers, as shown in FIG. 15, a frame 101 provided with a marker 12 is attached to each observer.
[0026]
FIG. 16 is a diagram showing an example of an optical pattern of an image obtained by imaging of the projection / imaging device when the marker displays the image of FIG. 5 on the screen, and FIG. 17 shows the image of FIG. 5 on the screen. Projecting / imaging when the projection / imaging device displays a corresponding image (an image including horizontal and parallel line components if the image by the marker includes horizontal and parallel line components) on the screen. It is a figure which shows the example of the optical pattern of the image obtained by imaging of an apparatus. In these drawings, the screen 3 is drawn with a flat screen for convenience of illustration.
[0027]
In the case of FIG. 16, the optical pattern D by the marker 1 is displayed distorted by the unevenness of the display surface of the screen 3. In the case of FIG. 17, the optical pattern D by the marker 1 and the optical pattern E by the projection / imaging device 6 are displayed distorted due to the unevenness of the display surface of the screen 3 and the distortion of the optical system. For this reason, in the first embodiment, the distortion is corrected as follows.
[0028]
18 is an explanatory diagram of distortion correction, FIG. 19 is a diagram showing an example of a distortion correction processing procedure executed by the computer of FIG. 1, and FIG. 20 is an explanatory diagram of the effect of distortion correction.
[0029]
Here, as shown in FIG. 18, in the case of FIG. 17, the mixed pattern of images obtained by imaging by the projection / imaging device 6 is changed into an optical pattern by the marker 1 and an optical pattern by the projection / imaging device 6. Disassemble the optical pattern by the projection / imaging device 6 so that it is similar to the optical pattern by the marker 1 (if both optical patterns have the same size at the same position in the virtual space, they completely match) As described above, the transformation operation is executed by the computer 5. For the calculation, various methods for matching figures can be used. As an example, for each optical pattern, a common coordinate axis that passes through the center of gravity and is orthogonal to each other is placed so that the outer circumferences match. What is necessary is just to complement a coordinate value linearly.
[0030]
As shown in FIG. 19, the computer 5 captures an image captured by the projection / imaging device 6 in step S1, as a correction processing function for eliminating distortion (by the calculation means), and from the captured image, using the marker 1 in step S2. While extracting the pattern image, in step S3, a pattern image based on the projection image of the projection / imaging device 6 is extracted, and in steps S4 and S5, geometrical elements such as grids constituting the optical pattern are calculated and held, In step S7, both geometric elements are compared, correction data for matching the optical pattern of the projected image with the optical pattern of the marker 1 is calculated and held, and separately captured from the video image, Or transform the projection image created by CG image generated from 3D space data (S8, S9), and outputs the corrected projection image at step S10.
[0031]
Here, if the screen shape, the screen 3, the projection optical path, and the layout of the projection device 2 do not change, there is no need to process the pattern image by the projection image again to calculate the corresponding geometric element, and the viewpoint position changes. If the geometric element is calculated from the pattern image by the marker 1 in this case, the correction data can be calculated by the combination with the stored geometric element. Therefore, the pattern image is used as a projection image except at the initial setting. The pattern image by the marker 1 is mainly imaged and processed. As a result, the image displayed on the screen 3 when there is no correction shown in FIG. 20A is corrected to an image as shown in FIG.
[0032]
By automatically acquiring data necessary for distortion correction corresponding to the screen system of various shapes such as FIGS. 8 to 10 and the base point position of the user's line of sight, by performing correction using the data, It can express a high level of realism and scale that are close to the real world, and can correct distortions that occur in images on screens of various shapes with simple operations.
[0033]
(Second Embodiment)
FIG. 21 is a block diagram of the image display system, and FIG. 22 is an explanatory diagram of the display surface deformation unit of FIG.
[0034]
As shown in FIGS. 21 and 22, the image display system of the second embodiment has a plurality of drives for moving each part of the screen 3 (the screen 31 in the example of FIG. 22) to change the uneven shape of the display surface. A display surface deformation unit 8 configured by the unit 81, and corrects the data of the image projected by the projection device 2 so that distortion generated in the image on the screen 3 is reduced, and the screen through the display surface deformation unit 8. 3 is configured in the same manner as the image display system shown in FIG. 1 except that it includes a computer 5a that performs control for correcting distortion generated in the image on the screen 3 by deforming the display surface 3.
[0035]
Even with this configuration, it is possible to correct distortion generated in images on various shapes of screens with a simple operation. In addition to correcting the image to be projected using the calculation result, the correction process for the image is simplified by automatically deforming or moving the screen or changing the setting of the projection device. It is possible to improve the performance, and it is possible to maintain the optimal screen shape for the content to be projected.
[0036]
(Third embodiment)
FIG. 23 is an explanatory diagram of an image correction service for an image display system.
[0037]
This service is provided with a processing function for correcting distortion by the computing means of the computer 5 in the server 9 connected to a network (for example, the Internet) N in the image display system of each of the above embodiments, while the rest is provided in the network. Provided on the client 10 side connected to N, each client 10 creates transmission data by the computer 5b based on the image captured by the projection / imaging device 6 and transmits it to the server 9 via the network N. Is based on the transmission data transmitted from the client 10, data for correcting distortion occurring in the image on the screen 3 (31 a and 31 b in the figure) observed from the base point of the line of sight (corrected image data or Correction data itself) is created, and this data is provided to the client 10 via the network N. Performed by the system to be.
[0038]
According to this service, a variety of installation spaces and screen shapes are used to represent virtual spaces such as virtual design centers and virtual shopping malls in a scale that is close to reality, and designed with high accuracy for various users. It is possible to provide a place for product examination that is close to studying or looking at the actual product.
[0039]
In addition, a marker may display the image of an optical pattern on a screen using invisible light. In this case, accurate correction processing can be performed at any time even while the observer is using it without interfering with the original projected image, and the followability to the observer's viewpoint position movement is enhanced, so that the observer can experience while moving. High sense of realism can be obtained.
[0040]
In addition, if the image of the optical pattern is blinked and displayed on the screen by the marker, the influence of external noise can be easily removed, the stability of the correction process is improved, and the synchronization with the blinking timing is achieved. It is also possible to individually recognize the viewpoint positions of both eyes or multiple observers, and to perform optimum correction processing for each, providing a high sense of realism, and also flashing the image of the projection means to synchronize In the case where a plurality of observers share the system, there is an effect that different experiences can be performed simultaneously.
[0041]
Further, when a plurality of markers are used, an image of an optical pattern that is individually color-coded may be displayed on the screen. In this case, even when patterns corresponding to the viewpoint positions of both eyes or a plurality of observers are displayed at the same time, they can be easily distinguished from each other, and by performing correction processing for each effectively, a sense of reality can be obtained. Enhanced.
[0042]
【The invention's effect】
As is apparent from the above, the image display system according to the first aspect of the present invention is a marker means for displaying an image of an optical pattern disposed near the base point of the line of sight, and a projection means for projecting the image. A screen optically positioned between the base point of the line of sight and the projection unit, and an image displayed by the marker unit and the projection unit, and an optical axis set coaxially with the optical axis of the projection unit. Since it comprises an image pickup means for picking up the image above, and a calculation means for correcting distortion generated in the image on the screen observed from the base point of the line of sight based on the image picked up by the image pickup means. The distortion generated in the image on the screen having various shapes can be corrected by a simple operation using only the marker means. In addition, data necessary for distortion correction can be automatically obtained at any time corresponding to the screen system of various shapes and the reference point of the user's line of sight. Compared to the correction parameters calculated from the design drawings, more accurate correction is possible, so it can express a high level of realism and scale close to the real world, and the viewpoint position caused by the movement of the observer during use Not only can it automatically respond to changes, it can also easily respond to changes in screen shape and layout and size, and correction processing can be performed by using a marker means that generates a pattern near the origin of the line of sight. In addition to being able to simplify, the marker means has a simpler mechanism than the imaging system, so it can be simple, lightweight, and compact, so the imaging system can be placed near the origin of the line of sight. The burden on the observer is lighter compared to the configuration of the projector, and the optical system required for imaging in a form suitable for correction for the projection means can be simplified and the cost can be reduced by sharing the optical path for projection. In terms of correction processing, it is easy to match the marker image with the projected image, and it is easy to improve the distortion correction performance of the entire system including distortion caused by the optical system itself. There is an effect that it is easy to realize a sense of scale.
[0043]
According to a second aspect of the present invention, in the image display system according to the first aspect, the projecting unit projects a live-action video image or an interactive CG image on the screen. Distortion that occurs in an image can be corrected with a simple operation.
[0044]
According to a third aspect of the present invention, in the image display system according to the first or second aspect, the marker means is provided in the vicinity of both eyes of the observer, so that the followability to the movement of the observer's viewpoint position is improved, and When performing stereoscopic viewing with binocular parallax, it is possible to perform accurate correction processing, which increases the immersiveness and presence of the observer and improves the accuracy of evaluation studies in the depth direction.
[0045]
According to a fourth aspect of the present invention, in the image display system according to any one of the first to third aspects, the marker means displays an image of the optical pattern on the screen using invisible light. Without disturbing the projected image of the observer, accurate correction processing can be performed at any time even while the observer is using it. Is effective.
[0046]
According to a fifth aspect of the present invention, in the image display system according to any one of the first to fourth aspects, since the marker means blinks and displays the image of the optical pattern on the screen, noise from the outside is displayed. The stability of the correction process can be improved easily, and the viewpoint position of both eyes or multiple observers can be recognized individually by synchronizing with the blinking timing. It is possible to process and get a high sense of realism, and it is also possible to synchronize by blinking the image of the projection means, and when multiple observers share the system, different experiences can be experienced There is an effect that it can be performed simultaneously.
[0047]
The invention according to claim 6 is the image display system according to any one of claims 1 to 5, wherein the calculation means uses an optical pattern of an image by the marker means imaged by the imaging means, Since the distortion near the observer's viewpoint is corrected more preferentially than the distortion in the surrounding area, there is an effect that the performance of the correction process can be improved and a smooth experience is possible.
[0048]
A seventh aspect of the present invention is the image display system according to any one of the first to sixth aspects, further comprising display surface deformation means for deforming the display surface of the screen, wherein the computing means is on the screen. Said The distortion generated in the image on the screen is corrected by correcting the data of the image projected by the projection unit and deforming the display surface of the screen through the display surface deformation unit so that the distortion generated in the image is reduced. Since the correction is performed, not only the image to be projected is corrected in terms of data using the calculation result, but also the correction processing for the image is performed by automatically deforming or moving the screen or changing the setting of the projection means. It is possible to simplify and improve the performance, and it is possible to maintain an optimal screen shape for the content to be projected.
[0049]
According to an eighth aspect of the present invention, in the image display system according to any one of the first to seventh aspects, a plurality of the projection means are provided, and images projected from the plurality of projection means are combined and projected onto the screen. Therefore, it is possible to experience high-definition content with a wide viewing angle without distortion and to enhance the sense of reality.
[0050]
The invention according to claim 9 is the image display system according to any one of claims 1 to 8, wherein a plurality of the marker means are provided for a plurality of observers. Correction can be performed and the presence of a plurality of observers can be enhanced.
[0051]
According to a tenth aspect of the present invention, in the image display system according to the ninth aspect, the plurality of marker units display images of optical patterns that are individually color-coded on the screen. Even when a pattern corresponding to a person's viewpoint position is displayed at the same time, they can be easily distinguished from each other, and an effect of enhancing the sense of realism can be obtained by effectively performing correction processing on each pattern.
[0053]
Claim 11 According to the present invention, in the image display system according to any one of claims 1 to 10, a processing function for correcting distortion caused by the calculation unit is provided in a server connected to a network, and the remaining part is provided in the network. A correction service method for an image display system that is provided and executed on a connected client side, wherein the client creates transmission data based on an image captured by the imaging unit, and transmits the transmission data to the server. Transmitting via the network, and the server creates data for correcting distortion generated in the image on the screen observed from the origin of the line of sight based on the transmission data transmitted from the client And providing this data to the client via the network. Same effect as described in any one of claims 1 to 10 is obtained. In addition, users can not only be freed from troublesome adjustment work when changing the layout of the display system or changing the shape or size of the screen, but can also respond to dynamic changes in the viewpoint position if necessary. It is possible to easily build a system that can provide an experience that is realistic and close to the real scale, and to select a data correction service that balances correction accuracy and processing speed according to the content to be displayed. In addition, the server performance and the benefits of upgrading the correction processing program can be enjoyed at any time, and there is an effect that a high-quality wide viewing angle image experience can be achieved with good cost performance.
[Brief description of the drawings]
FIG. 1 is a block diagram of an image display system according to a first embodiment of the present invention.
FIG. 2 is a diagram showing a specific example of the installation location of the marker in FIG. 1;
FIG. 3 is a diagram showing a specific example of the installation location of the marker in FIG. 1;
4 is a diagram showing an example of an optical pattern of an image displayed on the screen by the marker of FIG. 1. FIG.
FIG. 5 is a diagram showing an example of an optical pattern of an image displayed on the screen by the marker of FIG. 1;
6 is a diagram showing an example of an optical pattern of an image displayed on the screen by the marker of FIG. 1. FIG.
7 is a diagram showing an example of an optical pattern of an image displayed on the screen by the marker of FIG. 1. FIG.
8 is a diagram showing a specific structure example of the screen of FIG.
9 is a diagram showing a specific structure example of the screen of FIG. 1. FIG.
10 is a diagram showing a specific structure example of the screen of FIG. 1. FIG.
FIG. 11 is a diagram showing an arrangement configuration example of each device suitable for the reflection type when the screen of FIG. 1 is a concave screen;
FIG. 12 is a diagram showing an arrangement configuration example of devices according to the transmission type when the screen of FIG. 1 is a concave screen.
FIG. 13 is a diagram showing an arrangement configuration example of each device suitable for the transmission type when the screen of FIG. 1 is a concave screen.
FIG. 14 is a diagram illustrating an arrangement configuration example of devices according to the transmission type when the screen of FIG. 1 is a concave screen.
FIG. 15 is a diagram illustrating an example when there are a plurality of observers.
16 is a diagram illustrating an example of an optical pattern of an image obtained by imaging by the projection / imaging device when the marker displays the image of FIG. 5 on a screen.
17 shows an example of an optical pattern of an image obtained by imaging by the projection / imaging device when the marker displays the image of FIG. 5 on the screen and the projection / imaging device displays the corresponding image on the screen. FIG.
FIG. 18 is an explanatory diagram of distortion correction.
FIG. 19 is a diagram illustrating an example of a distortion correction processing procedure executed by the computer of FIG. 1;
FIG. 20 is an explanatory diagram of the effect of distortion correction.
FIG. 21 is a block diagram of an image display system according to a second embodiment of the present invention.
22 is an explanatory diagram of a display surface deforming unit in FIG. 21. FIG.
FIG. 23 is an explanatory diagram of an image correction service for an image display system according to the third embodiment of the present invention.
[Explanation of symbols]
1 Marker
2 Projection device
3 screens
4 Imaging device
5 Computer
6 Projection and imaging device
7 Mirror
8 Display surface deformation part
9 server
10 clients

Claims (11)

視線の基点付近に配置され光学的パターンの画像を表示するためのマーカ手段と、画像を投影するための投影手段と、光学的に前記視線の基点と前記投影手段との間に位置し前記マーカ手段および投影手段による画像が表示されるスクリーンと、前記投影手段の光軸と同軸に光軸が設定され前記スクリーン上の画像を撮像するための撮像手段と、この撮像手段で撮像された画像を基に前記視線の基点から観測される前記スクリーン上の画像に生じる歪みを補正するための演算手段とを備えることを特徴とする画像表示システム。  Marker means arranged in the vicinity of the base point of the line of sight for displaying an image of an optical pattern, projection means for projecting the image, and the marker optically located between the base point of the line of sight and the projecting means A screen on which an image by the means and the projection means is displayed, an image pickup means for picking up an image on the screen with an optical axis set coaxially with the optical axis of the projection means, and an image picked up by the image pickup means An image display system comprising: an arithmetic means for correcting distortion generated in the image on the screen observed from the base point of the line of sight. 前記投影手段は、前記スクリーンに実写ビデオ画像またはインタラクティブなCG画像を投影することを特徴とする請求項1記載の画像表示システム。  The image display system according to claim 1, wherein the projecting unit projects a live-action video image or an interactive CG image onto the screen. 前記マーカ手段は、観測者の両眼付近に設けられることを特徴とする請求項1または2記載の画像表示システム。  The image display system according to claim 1, wherein the marker unit is provided in the vicinity of both eyes of an observer. 前記マーカ手段は、非可視光を用いて前記スクリーンに前記光学的パターンの画像を表示することを特徴とする請求項1から3のいずれかに記載の画像表示システム。  The image display system according to claim 1, wherein the marker unit displays an image of the optical pattern on the screen using invisible light. 前記マーカ手段は、前記スクリーンに前記光学的パターンの画像を点滅させて表示することを特徴とする請求項1から4のいずれかに記載の画像表示システム。  5. The image display system according to claim 1, wherein the marker unit blinks and displays the image of the optical pattern on the screen. 6. 前記演算手段は、前記撮像手段で撮像された前記マーカ手段による画像の光学的パターンを利用して、前記観測者の視点付近の歪みをその周辺部の歪みよりも重点的に補正することを特徴とする請求項1から5のいずれかに記載の画像表示システム。  The arithmetic means corrects distortion near the viewpoint of the observer more preferentially than distortion around the observer using an optical pattern of an image of the marker means picked up by the imaging means. An image display system according to any one of claims 1 to 5. 前記スクリーンの表示面を変形するための表示面変形手段を備え、前記演算手段は、前記スクリーン上の前記画像に生じる歪みが減少するように、前記投影手段によって投影される画像のデータを補正するとともに前記表示面変形手段を通じて前記スクリーンの表示面を変形することにより、前記スクリーン上の画像に生じる歪みを補正することを特徴とする請求項1から6のいずれかに記載の画像表示システム。  Display surface deformation means for deforming the display surface of the screen is provided, and the calculation means corrects data of an image projected by the projection means so as to reduce distortion generated in the image on the screen. The image display system according to claim 1, wherein distortion generated in the image on the screen is corrected by deforming the display surface of the screen through the display surface deforming unit. 前記投影手段は複数設けられ、これら複数の投影手段から投影される画像が組み合わされて前記スクリーンに投影されることを特徴とする請求項1から7のいずれかに記載の画像表示システム。  The image display system according to claim 1, wherein a plurality of the projecting units are provided, and images projected from the plurality of projecting units are combined and projected onto the screen. 前記マーカ手段は、複数の観測者に対して複数設けられることを特徴とする請求項1から8のいずれかに記載の画像表示システム。  9. The image display system according to claim 1, wherein a plurality of the marker means are provided for a plurality of observers. 前記複数のマーカ手段は、それぞれ個別に色分けされた光学的パターンの画像を前記スクリーンに表示することを特徴とする請求項9記載の画像表示システム。  The image display system according to claim 9, wherein the plurality of marker units display images of optical patterns individually color-coded on the screen. 請求項1から10のいずれかに記載の画像表示システムのうち、前記演算手段による歪みを補正するための処理機能をネットワークに接続されるサーバに設ける一方、その残部をネットワークに接続されるクライアント側に設けて実行される画像表示システム用補正サービス方法であって、The image display system according to any one of claims 1 to 10, wherein a processing function for correcting distortion by the calculation means is provided in a server connected to a network, and the rest is a client side connected to the network. A correction service method for an image display system that is provided and executed,
前記クライアントが、前記撮像手段で撮像された画像を基に送信データを作成し、この送信データを前記サーバに前記ネットワークを介して送信するステップと、The client creates transmission data based on an image captured by the imaging means, and transmits the transmission data to the server via the network;
前記サーバが、前記クライアントから送信された送信データを基に、前記視線の基点から観測される前記スクリーン上の画像に生じる歪みを補正するためのデータを作成し、このデータを前記クライアントに前記ネットワークを介して提供するステップとThe server creates data for correcting distortion generated in the image on the screen observed from the base point of the line of sight based on the transmission data transmitted from the client, and sends the data to the client in the network And provide steps through
から構成されることを特徴とする画像表示システム用画像補正サービス方法。An image correction service method for an image display system, comprising:
JP2001199824A 2001-06-29 2001-06-29 Image display system and image correction service method for image display system Expired - Fee Related JP4042356B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001199824A JP4042356B2 (en) 2001-06-29 2001-06-29 Image display system and image correction service method for image display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001199824A JP4042356B2 (en) 2001-06-29 2001-06-29 Image display system and image correction service method for image display system

Publications (2)

Publication Number Publication Date
JP2003018503A JP2003018503A (en) 2003-01-17
JP4042356B2 true JP4042356B2 (en) 2008-02-06

Family

ID=19037053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001199824A Expired - Fee Related JP4042356B2 (en) 2001-06-29 2001-06-29 Image display system and image correction service method for image display system

Country Status (1)

Country Link
JP (1) JP4042356B2 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3731663B2 (en) 2002-12-04 2006-01-05 セイコーエプソン株式会社 Image processing system, projector, and image processing method
JP2004280388A (en) * 2003-03-14 2004-10-07 Sharp Corp Pseudo 3D image production device and projector device
US7204596B2 (en) 2003-09-19 2007-04-17 Nec Corporation Projector with tilt angle measuring device
JP5068007B2 (en) * 2005-06-01 2012-11-07 有限会社大平技研 Video projection system
JP4013989B2 (en) * 2006-02-20 2007-11-28 松下電工株式会社 Video signal processing device, virtual reality generation system
JP2008015381A (en) * 2006-07-07 2008-01-24 Matsushita Electric Works Ltd Video display apparatus, distortion correction processing method for video signal
JP4259582B2 (en) * 2007-02-09 2009-04-30 ヤマハ株式会社 Performance information input device
JP2011103534A (en) * 2009-11-10 2011-05-26 Panasonic Electric Works Co Ltd Video display system
JP5372857B2 (en) 2010-07-16 2013-12-18 三洋電機株式会社 Projection display device
JP5605473B2 (en) * 2013-07-30 2014-10-15 三洋電機株式会社 Projection display device
USD970733S1 (en) * 2019-08-30 2022-11-22 Siemens Healthcare Gmbh Patient table

Also Published As

Publication number Publication date
JP2003018503A (en) 2003-01-17

Similar Documents

Publication Publication Date Title
US11854171B2 (en) Compensation for deformation in head mounted display systems
CN111696213B (en) Image generation device, image generation method, and computer-readable medium
US11662582B2 (en) Display with holographic relay and holographic image combiner
JP6023801B2 (en) Simulation device
US8704882B2 (en) Simulated head mounted display system and method
US7796134B2 (en) Multi-plane horizontal perspective display
JP2019079552A (en) Improvements in and relating to image making
US10890771B2 (en) Display system with video see-through
US20220146828A1 (en) Image generation device, head-mounted display, and image generation method
WO2021021470A1 (en) Pupil expander calibration
CN109920043A (en) Stereoscopic Rendering of Virtual 3D Objects
JP2017187667A (en) Head-mounted display device and computer program
CN111954896A (en) Light field image generation system, image display system, shape information acquisition server, image generation server, display device, light field image generation method, and image display method
JP4042356B2 (en) Image display system and image correction service method for image display system
JP2010153983A (en) Projection type video image display apparatus, and method therein
US20100149319A1 (en) System for projecting three-dimensional images onto a two-dimensional screen and corresponding method
US11187914B2 (en) Mirror-based scene cameras
JP6608208B2 (en) Image display device
JP2002300612A (en) Image generation device, program, and information storage medium
JP2017098596A (en) Image generating method and image generating apparatus
WO2023136073A1 (en) Image display device and image display method
JP2024125698A (en) Head-mounted display and image display method
Ouchi et al. Development of 128-directional 3D display system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070515

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070731

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071105

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101122

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101122

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111122

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121122

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees