JP5603014B2 - 超解像表示の補正 - Google Patents
超解像表示の補正 Download PDFInfo
- Publication number
- JP5603014B2 JP5603014B2 JP2008551608A JP2008551608A JP5603014B2 JP 5603014 B2 JP5603014 B2 JP 5603014B2 JP 2008551608 A JP2008551608 A JP 2008551608A JP 2008551608 A JP2008551608 A JP 2008551608A JP 5603014 B2 JP5603014 B2 JP 5603014B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- correction
- projector
- reference marker
- geometry
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/3147—Multi-projection systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Projection Apparatus (AREA)
- Controls And Circuits For Display Device (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Liquid Crystal Display Device Control (AREA)
Description
そのような表示は、没入環境および大きい会場(例えば円形劇場およびショッピングセンタ)において一般に使われる。
プロジェクタを位置合わせしてマッチングする処理工程は、困難かつ時間のかかる処理であり、一般的に経験豊かな設置者によって実行される。
位置合わせおよびマッチングの処理工程が適切に行われない場合、図1aのような不具合な画像になることがある。
図1bのような良好な画像を生成するために、各プロジェクタは、画素をその近傍に正確に位置合わせしなければならない。
複数のプロジェクタによって投影される、部分的に重なり合う領域において、連続像を達成するために、各プロジェクタの輝度レベルを制御しなければならない。
また、1つの連続像の錯覚を維持するために、各プロジェクタの色は密接にマッチングすべきである。
一般に、これらの方法は、カメラからの表示に関する情報を使用することによって「高性能な」画像生成器をプログラムすることを含む。
「高性能な」画像生成器は、プロジェクタに供給される変更されたジオメトリ、色および輝度を、修正された画像に提供することによって、シームレスで幾何学的に正しい画像を生成する。
しかしながら、「高性能な」画像生成器は、プロジェクタの機能よりむしろ、補正システムの機能に限定されている。
コンテンツの全てが「高性能な」画像生成器を通過することを要求することによって、待ち時間を導入し、利用可能なコンテンツを制限してもよい。
このように、補正システムの最高分解能がオリジナル画像の最高分解能よりも低いために、より低い解像度の表示になってしまうことがある。
ジオメトリ補正データは、投影された参照マーカのマトリクスのスクリーンイメージをカメラが取り込むという反復処理工程を通して決定される。
画面画像における参照マーカの位置は、コンピュータに格納されるターゲット参照マーカの位置と比較される。
投影された参照マーカのために新しい推定された位置が算出され、カメラによって取り込まれた参照マーカが、ターゲット参照マーカの良好な距離の範囲内に位置するようになるまで、処理工程が繰り返される。
補正システムは、ディスプレイ上に提供される画面画像を取り込むためのカメラと、補正処理工程を実行するためのコンピュータとを含む。画面画像は、画像生成器から画像情報を受信する画像生成装置によって提供される。補正処理工程は、撮影画像を幾何学的に正しい画像と比較することと、幾何学的に正しい画像上に画像をマッピングするための補正データを生成することとを含む。
ここで、補正システムは、画像生成装置および画像生成器から独立している。
図1aは、補正されていない複合投影装置によって生成される画像の例である。
複合投影装置は、個々の画像を投影する4つのプロジェクタを含む。
複合投影装置が適切に補正されていないので、図1aの画像は混乱して見える。
図1bは、図1aと同一の画像を示すものであるが、補正された複合投影装置から画像が投影される。
図示するように、個々に投影された画像間の継ぎ目は気付かれない。
システム10は、それぞれのビデオフィードライン14を通して画像生成器12から画像情報を受信する4つのプロジェクタ16を含む。
各プロジェクタ16は、画像の一部(図示せず)を、表示画面18に表示する。
補正システム11は、表示画面18の画像を取り込むために提供されるカメラ20と、カメラ20およびプロジェクタ16の両方と通信する補正コントローラ22とを含む。
補正コントローラ22は、一般に、メモリに格納される基準画像と、カメラ20から送信される表示画面18のデジタル画像とに基づいて、補正データを生成するコンピュータである。
補正コントローラ22は、幾何学的に正しい画像を表示画面18上に生成するために、補正データに従って各プロジェクタ16の個々の画像処理特性を調整する。
クリスティデジタルシステム社のマトリクスシリーズのプロジェクタ、または他の任意の適切なワープ可能なプロジェクタを使用してもよい。
画像生成器12は、変更されていないマルチディスプレイ画像生成器(例えば、SGI ONYX、またはエヴァンズおよびサザーランドEPXシステムなど)である。
図3に示す実施形態は、一般に平面の表示画面18とともに用いるためのものである。
以下に詳細に論じるように、ブロック24において、投影装置10の配置は、画像生成器12から補正コントローラ22に送信される。
複合投影装置10の配置は、画素で測定される全体の画像解像度と、すべての水平および垂直に隣接するプロジェクタ16の交差部分における部分的な重なりの量とを含む。
例えば、6つの投影装置によって生成される画像を図4に示す。
画像は、重複領域38において互いに部分的に重なり合う6つの単一プロジェクタ領域36によって構成される。
画像は、参照符号40によって示す全体の画像解像度を有する。
情報は、ケーブル(図示せず)または無線リンクを通して、画像生成器12によって補正コントローラ22に直接に提供される。
それに代わって、投影装置10の配置は、ユーザが補正コントローラ22に直接に入力してもよい。
この領域は、ユーザが補正コントローラ22に直接に入力することができる。
それに代わって、投影領域の端に明らかな物理的な区切りがある場合、補正コントローラ22はこの領域を自動的に生成してもよい。
カメラ20が視点に位置しない場合、ステップ30において示すように、カメラ位置によって生じるひずみを補正するために、カメラの方向づけを決定する。
視点に位置しないカメラによって生じる周辺ひずみは、キーストーニング効果と呼ばれる。
キーストーニング効果の例を、図5に示す。ここでは、長方形の投影領域の第1垂直境界42が、同程度の長さの第2垂直境界44よりも著しく短く見える。
カメラの方向づけおよび位置は、一般に、若干の主要な基準点をとって決定する。基準点については、実際の位置とカメラ画像における位置とがわかっている。
使用する基準点の数は、一般に3であり、基準点は、投影領域の角に対応することが多い。
3つの基準点を使用して、視野面の方向づけを決定する。視野面は、カメラ20の方向づけベクトルに等しい法線を有する平面として規定されるものである。
それに代わって、カメラ20の方向づけは、ユーザが直接に指定してもよい。
カメラの位置および方向付けがわかっているので、ターゲット点をプロジェクタの視野面上に投影することによって、カメラの移動に起因するキーストーニングを補正することができる。
ひずみは、例えば、隆起または不規則性、あるいは実際のスクリーンジオメトリと規定されたスクリーンジオメトリとの間の任意の相違を含む。
各プロジェクタ16について、ターゲット参照マーカは、投影領域にわたって均一に間隔を置くマトリクスを形成する。マトリクスは、一般に、それぞれのプロジェクタ16によって投影される最終画像の部分として規定される。
ジオメトリ補正処理工程34は、各プロジェクタ16について次々と実行される。
ブロック46において、プロジェクタ16の投影領域の中央に参照マーカを投影し、参照マーカの画像を撮ることによって、カメラ空間における単一マーカのサイズを決定する。
マーカのサイズは、プロジェクタ16から表示画面18までの距離、プロジェクタ16に取り付けられたレンズの種類、およびプロジェクタ16とカメラ20との相対的な画像解像度を含む、いくつかの要因に依存する。
マーカのサイズは、補正処理工程において使われることに加えて、後の画像において画像からノイズをフィルタリングするためにも使われる。
対応する画素は、ユーザおよび補正コントローラ22への入力によって決定してもよい。あるいは、対応する画素は、補正コントローラ22によって自動的に決定してもよい。
補正コントローラ22が画素を自動的に決定するためには、画像において角領域が明確に定義可能であるべきである(例えば画面を囲む黒い境界)。
プロジェクタ16の中心は、必ずしも、最終画像が提示される投影領域の中心であるというわけではない。その理由は、プロジェクタのオーバーシュートは、対称的ではないことがあるからである。
ブロック56において、補正コントローラ22によって画像が処理され、参照マーカ位置が、ターゲット参照マーカ位置(図3のステップ32において決定したもの)と比較される。
参照マーカとそれぞれのターゲット参照マーカとの間の距離が、許容可能な距離より大きい場合、フィードバックループ58に入り、ブロック60において、新しい参照マーカ位置を算出する。
ブロック52において、新しい参照マーカ位置が表示画面18上に投影され、ブロック54において、カメラ20によって別の画像が撮られる。
ブロック56において、新しい参照マーカ位置が、ターゲット参照マーカ位置と比較される。
参照マーカとターゲット参照マーカとの間の距離が許容可能になり、最終的な参照マーカ位置が確立されるまで、フィードバックループ58の反復処理工程が続けられる。
許容可能な距離は、一般にプロジェクタ画素であるが、この距離はユーザが調整してもよい。
ルックアップテーブルは、一般に、出力画素を入力画素にマッピングする、逆方向へのマップである。
例えば、ルックアップテーブルは、最終画像における画素(4、10)について、画像生成器12から入力される画像上のどの画素を、その点に表示すべきかを規定する。
逆方向へのマップは、参照マーカ位置から直接に生成される。
それに代わって、参照マーカ位置を用いることによって、入力画素を出力画素にマッピングする前方へのマップを生成してもよく、次にそれを用いて、前方へのマップによって補間することによって逆方向へのマップを生成してもよい。
前方へのマップは、一般に、逆方向へのマップよりも読み易く理解し易い。
したがって、ユーザがジオメトリ操作に変更を行うことを望む場合は、前方へのマップのほうが望ましいことがある。
単一のプロジェクタ16を有する実施形態については、ジオメトリ補正処理工程は完了する。
図2の複合投影装置10については、次に、残りの各プロジェクタ16のために補正処理工程が実行される。
すべてのプロジェクタ16が補正されると、複合保護システム10は、画像を画像生成器12から受信して表示画面18上に投影する準備ができるので、画像は観衆にとって幾何学的に正しく見える。
しかしながら、初期推定がより正確であるほど、システム10は、より迅速にターゲット位置に収束する。
ブロック68において、投影装置10の配置は、補正コントローラ22に送信される。
ブロック70において、非平面投影面の規定が、補正コントローラ22に提供される。
投影面は、方程式、明示的で個別的な表面ファイル、または別の適切な種類の表面規定によって規定してもよい。
カメラ20が視点に位置しない場合、ブロック74において、所望の視点が補正コントローラ22に提供される。
ブロック76において、参照マーカのマトリクスが算出される。
システム10は、非平面投影面および所望の視点の規定を使用して、マーカのマトリクスが表示画面18上のどこに表示されるべきかを、三次元において決定することができる。
ブロック78において、三次元の参照マーカは、カメラ20の視野面上に投影され、カメラ座標に変換される。
上述のジオメトリ補正処理工程34を次に実行してもよい。
適切な結果を生み出すためには、表面の不規則性が増加するにつれて、マトリクスマーカの解像度も増加すべきであることが、当業者によって理解される。
部分的に重なり合う複合プロジェクタ16の間の適切な色補正のために、輝度および均一性、色およびガンマの全てがマッチングするべきである。
図8、図9および図10に関して説明するカラー補正処理工程は、各プロジェクタ16について補正された色値を算出するために、補正コントローラ22によって実行される。
第1段階において、各プロジェクタ16について、反復的な均一性マッチング処理工程80が実行される。
カメラ20は、投影画像を取り込み、画像上の様々な点が、補正コントローラ22によってサンプリングされる。
次に、サンプリングされた点の明暗度が比較される。
明暗度が、点全体にわたって、または所定の閾値の範囲内で等しくない場合、より明るい領域の明暗度を低減することによって、最も低い明暗度にマッチングさせる。
輝度がプロジェクタの画像にわたって全般的に均一になるまで、処理工程80が繰り返される。
プロジェクタ16の全てが均一性マッチング処理工程80を経ると、明暗度マッチング82が実行される。
参照符号84で示すように、各プロジェクタ16の明暗度値がカメラ20によってサンプリングされ、ブロック86に示すように、最も低い明暗度を有するプロジェクタ16が決定される。
サンプリングは、一般に、投影画像の一部にわたる領域の画像をカメラ20に取り込むことと、取り込んだ画像から数多くの値をサンプリングして平均することとからなる。
次に、反復プロセス88は、最も低い輝度レベルにマッチングするように各プロジェクタ16の明暗度を低減するために実行される。
プロジェクタランプの電力、プロジェクタの開口部、およびプロジェクタにより用いられるランプの数は、反復的に再びサンプリングされて調整される。
具体的には、プロジェクタランプの電力が最初に調整され、次にプロジェクタの開口部が調整される。
これらの変数の調整が不十分である場合、変数はデフォルト値に復元され、複合ランププロジェクタのランプのうちの1つがオフにされる。
処理工程は、プロジェクタランプの電力を調整することによって再開される。
第1段階において、一般的な色域が算出され、第2段階において、すべてのプロジェクタ16をこの色域にマッチングさせる。
プロジェクタの色域は、プロジェクタが生成できる可能な色の範囲である。
色域は、一般に、CIE 1931色度図における領域として表される。
一般的な色域は、複合投影装置10のすべてのプロジェクタによって達成できる色域である。
プロジェクタ16は、まず、プロジェクタ16が生成できる最大色域に設定される。
カメラ20は、投影画像上の点を原色(赤、緑、青)ごとにサンプリングし、サンプル値を平均することによって、カメラ空間における色域を算出する。
ブロック92に示すように、一般的な色域は、各プロジェクタ16から入手する色域情報を使用して算出される。
原色ごとに、投影画像が取り込まれ、サンプル値は、一般的な色域と比較される。
サンプル値が、一般的な色域上の相当値と等しくない場合、色変化が算出され、プロジェクタ16に適用される。
サンプル値が一般的な色域に等しくなるか、あるいは所定の閾値の範囲内になるまで、この処理工程94が繰り返される。
まず、複合投影装置10の1つのプロジェクタが、ベースラインプロジェクタとして選択される。
ベースラインプロジェクタのテストパターンにおける各バーは、サンプリングされ、他のプロジェクタ16の各々の上の対応するバーと比較される。
テストパターンにおける各バーの輝度が、ベースラインプロジェクタの輝度の一定の公差の範囲内に入るまで、他のプロジェクタのガンマ値が調整される。
カメラ20がテストパターン上の隣接するバーを区別できるように、各特定のバーを適切に露光するために、カメラ20上の露光時間および開口部設定を調整してもよい。
カメラ20にとって利用可能な色階調、およびテストパターンにおける階調度バーの数は、一般に、カメラ調整を必要とするか否かを決定する。
ブレンディング処理工程は、機械的ブラインダ、電子的ブラインダの少なくとも一方を適用することを含む。
一般に、より明るい場面が投影されるときには、電子的ブラインダがより良好に機能し、より暗い場面が投影されるときには、機械的ブラインダがより良好に機能する。
電子的ブラインダは、それぞれのプロジェクタ16のワーピングシステムの中で適用される。
図11を参照して、プロジェクタの交差部分または重複領域ごとに、ブレンディング処理工程124が実行される。
まず、ブロック126に示すように、形状および輝度の変化をブレンドするデフォルトが算出される。
デフォルトのブレンディング形状および輝度変化は、前もって決定されたジオメトリ補正情報に基づいて算出される。
次に、ブロック128において、ブレンディングが適用され、重複領域の画像が取り込まれる。
ブレンディングが許容可能である場合、ブロック132に示すように、設定はプロジェクタ16に保存される。
ブレンディングが許容可能でない場合、反復的なブレンディング計算ループに入り、ブロック130においてブレンディング計算が修正される。
重複領域全体にわたる輝度が全般的に均一になるまで、処理工程が繰り返される。
そのようなシステムは、クリスティデジタルシステム社に譲渡された、2007年2月1日に公開の米国特許出願公開第2007−0024826号明細書に記載されている。
この種のシステムについては、所定の位置にブラインダを用いる場合と用いない場合の両方でブレンディング処理工程124が実行され、両方の結果が格納される。
図示する実線は、複合投影装置10の通常の操作の間に生じる通信を表す。
図示するように、補正システム11は、複合投影装置10から独立しており、複合投影装置10が補正されると、必要ではなくなる。
複合投影装置10が補正されると、画像生成器12からの画像は、プロジェクタ16によってリアルタイムで補正される。
補正コントローラ22およびカメラ20は、補正システム11が携帯であるがゆえに、任意の数の異なる場所に運んで補正を実行できるように、選択される。
このことは、ユーザにとって著しいコスト節減につながり得る。なぜなら、複合投影装置10を使用するために補正システム11を購入する必要がないからである。
補正システム11は、これに代わって賃借またはレンタルでもよい。
補正システム111は、上述のように、カメラ120から画像を受信し、幾何学的な補正データと色補正データとを生成する、補正コントローラ122を含む。
複合投影装置110は、表示用の画像情報を表示画面(図示せず)上に提供する、画像生成器112を含む。
画像情報は、ビデオフィードライン114を通り、ワーピングシステム102(ワーピングモジュール104を含む)に至る。
ワーピングモジュール104は、補正データに基づいて画像情報を変更し、補正された画像情報を、ビデオフィードラインの第2のセット115を通して、それぞれのプロジェクタ116に送信する。
各プロジェクタ116は、補正された画像(図示せず)を表示画面に投影する。
図2の実施形態とは異なり、プロジェクタ116は、色変更およびジオメトリ操作の機能を含まない。
これに代わって、プロジェクタ116は、それ自身がジオメトリ補正をできない一般的なプロジェクタ(例えばクリスティマトリクス3500)である。
この種類のプロジェクタは、単に予め補正された画像を投影する。
図11の破線は、図3および図6〜図10において規定される補正処理工程の間に生じる通信を表し、実線は、複合投影装置100の通常の操作の間に生じる通信を表す。
前述の実施形態と同様に、複合投影装置110が補正されると、画像生成器112からの画像は、ワーピングシステム102によってリアルタイムで補正される。
任意の適切な画像生成装置(例えば、モニタ、表示パネル、または液晶ディスプレイ(LCD)画面を含む)を使用してもよいことが、当業者によって理解される。
しかしながら、当業者は修正および変更を想到し得る。
すべてのそのような修正変更は、本発明の領域および範囲の中にあると考えられる。
Claims (18)
- 画像生成器と、
前記画像生成器から画像を受信し、画面上に前記画像を投影することによって最終的投影画像を提供する複数のプロジェクタであって、前記画像生成器から独立して動作するための制御を行う色変更器兼ジオメトリマニピュレータを備えて当該色変更器兼ジオメトリマニピュレータによって前記画像生成器からの画像をジオメトリ補正するワーピングシステムを各プロジェクタが含む、前記複数のプロジェクタと、
補正処理工程を実行するためのコンピュータと、を備える投射および補正のシステムであって、
前記補正処理工程は、前記複数のプロジェクタの各プロジェクタについて次々と実行されるものであって、各プロジェクタについて行われる前記補正処理工程は、各プロジェクタによって投影される未補正の参照マーカを幾何学的に正しいターゲット参照マーカと比較しながら、前記未補正の参照マーカと前記幾何学的に正しいターゲット参照マーカとの距離が予め設定されている許容可能な距離以下になるまで前記未補正の参照マーカの位置を反復して修正することと、前記未補正の参照マーカと前記幾何学的に正しいターゲット参照マーカとの距離が前記許容可能な距離以下になった場合、前記未補正の参照マーカを前記幾何学的に正しいターゲット参照マーカ上へマッピングするための補正データを各プロジェクタ毎に生成することと、前記色変更器兼ジオメトリマニピュレータに前記補正データを送信することとを含み、
前記複数のプロジェクタは、当該複数のプロジェクタのそれぞれにおいてイメージワーピングを実行するための前記補正データに基づいて、前記画像生成器からの入力画素位置を、前記最終的投影画像における補正された画素位置にマッピングする、システム。 - 前記補正データがルックアップテーブルにおいて提供される、請求項1に記載の投射および補正のシステム。
- 前記ルックアップテーブルが、前記入力画素位置を、前記補正された画素位置にマッピングする、請求項2に記載の投射および補正のシステム。
- 前記ルックアップテーブルが、前記補正された画素位置を、前記入力画素位置にマッピングする、請求項2に記載の投射および補正のシステム。
- 前記補正処理工程が、カラー補正処理工程を更に含む、請求項1に記載の投射および補正のシステム。
- 前記カラー補正処理工程が、プロジェクタ間の明暗度をマッチングすることを含む、請求項5に記載の投射および補正のシステム。
- 前記カラー補正処理工程が、プロジェクタ間の色をマッチングすることを更に含む、請求項6に記載の投射および補正のシステム。
- 前記補正処理工程が反復的である、請求項1に記載の投射および補正のシステム。
- プロジェクタ画像間の重複領域における輝度をマッチングするためのブレンディング処理工程を更に含む、請求項1に記載の投射および補正のシステム。
- 画像生成器から画像を受信し、画面上に前記画像生成器から受信した画像を投影することによって最終的投影画像を提供する複数のプロジェクタであって、前記画像生成器から独立して動作するための制御を行う色変更器兼ジオメトリマニピュレータを備えて当該色変更器兼ジオメトリマニピュレータによって前記画像生成器からの画像をジオメトリ補正するワーピングシステムを各プロジェクタが含む、前記複数のプロジェクタによって画面に表示される投影画像を取り込むためのカメラと、
補正処理工程を実行するためのコンピュータと、を備える補正システムであって
前記補正処理工程は、前記複数のプロジェクタの各プロジェクタについて次々と実行されるものであって、各プロジェクタについて行われる前記補正処理工程は、前記カメラによって取り込まれた各プロジェクタによって投影される未補正の参照マーカを幾何学的に正しいターゲット参照マーカと比較しながら、前記未補正の参照マーカと前記幾何学的に正しいターゲット参照マーカとの距離が予め設定されている許容可能な距離以下になるまで前記未補正の参照マーカの位置を反復して修正することと、前記未補正の参照マーカと前記幾何学的に正しいターゲット参照マーカとの距離が前記許容可能な距離以下になった場合、前記未補正の参照マーカを前記幾何学的に正しいターゲット参照マーカ上へマッピングするための補正データを各プロジェクタ毎に生成することと、前記プロジェクタを制御するための色変更器兼ジオメトリマニピュレータに前記補正データを送信することとを含み、
前記コンピュータは、前記プロジェクタ、前記色変更器兼ジオメトリマニピュレータ、および前記画像生成器から独立して動作する、補正システム。 - 前記色変更器兼ジオメトリマニピュレータが、前記補正データに基づいて、前記画像生成器からの入力画素位置を、前記投影画像における補正された画素位置にマッピングする、請求項10に記載の補正システム。
- 前記プロジェクタが、補正された画素位置を前記色変更器兼ジオメトリマニピュレータから受信し、これに応答して、前記補正データに基づいて、前記画像生成器からの入力画素位置を、前記補正された画素位置にマッピングする、請求項10に記載の補正システム。
- 前記補正処理工程が反復的である、請求項10に記載の補正システム。
- 画像生成器から画像を受信し、画面上に前記画像を投影することによって最終的投影画像を提供する複数の画像生成装置であって、前記画像生成器から独立して動作するための制御を行う色変更器兼ジオメトリマニピュレータを備えて当該色変更器兼ジオメトリマニピュレータによって前記画像生成器からの画像をジオメトリ補正するワーピングシステムを各画像生成装置が含む、前記複数の画像生成装置によってディスプレイ上に提供される画面画像を取り込むためのカメラと、
補正処理工程を実行するためのコンピュータと、を備える補正システムであって、
前記補正処理工程は、前記複数の画像生成装置の各画像生成装置について次々と実行されるものであって、各画像生成装置について行われる前記補正処理工程は、前記カメラによって取り込まれた各画像生成装置によって投影される未補正の参照マーカを幾何学的に正しいターゲット参照マーカと比較しながら、前記未補正の参照マーカと前記幾何学的に正しいターゲット参照マーカとの距離が予め設定されている許容可能な距離以下になるまで前記未補正の参照マーカの位置を反復して修正することと、前記未補正の参照マーカと前記幾何学的に正しいターゲット参照マーカとの距離が前記許容可能な距離以下になった場合、前記未補正の参照マーカを前記幾何学的に正しいターゲット参照マーカ上へマッピングするための補正データを各画像生成装置毎に生成することと、前記画像生成装置を制御するための色変更器兼ジオメトリマニピュレータに前記補正データを送信することとを含み、
前記コンピュータは、前記画像生成装置、前記色変更器兼ジオメトリマニピュレータ、および前記画像生成器から独立して動作する、補正システム。 - 前記画像生成装置がモニタである、請求項14に記載の補正システム。
- 前記画像生成装置が表示パネルである、請求項14に記載の補正システム。
- 前記色変更器兼ジオメトリマニピュレータが、前記補正データに基づいて、リアルタイムで、前記画像生成器からの入力画素位置を、前記画面画像における補正された画素位置にマッピングする、請求項14に記載の補正システム。
- 前記画像生成装置が、補正された画素位置を前記色変更器兼ジオメトリマニピュレータから受信し、前記補正データに基づいて、リアルタイムで、前記画像生成器からの入力画素位置を、前記補正された画素位置にマッピングする、請求項14に記載の補正システム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US11/339,637 US8777418B2 (en) | 2006-01-26 | 2006-01-26 | Calibration of a super-resolution display |
| US11/339,637 | 2006-01-26 | ||
| PCT/CA2007/000095 WO2007085081A1 (en) | 2006-01-26 | 2007-01-25 | Calibration of a super-resolution display |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009524841A JP2009524841A (ja) | 2009-07-02 |
| JP5603014B2 true JP5603014B2 (ja) | 2014-10-08 |
Family
ID=38285168
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008551608A Active JP5603014B2 (ja) | 2006-01-26 | 2007-01-25 | 超解像表示の補正 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US8777418B2 (ja) |
| EP (1) | EP1974551A4 (ja) |
| JP (1) | JP5603014B2 (ja) |
| WO (1) | WO2007085081A1 (ja) |
Families Citing this family (58)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7677737B2 (en) * | 2006-08-17 | 2010-03-16 | Sony Ericsson Mobile Communications Ab | Projector adaptation for self-calibration |
| US20080129894A1 (en) * | 2006-12-02 | 2008-06-05 | Electronics And Telecommunications Research Institute | Geometric calibration apparatus for correcting image distortions on curved screen, and calibration control system and method using the same |
| US9052584B2 (en) * | 2009-04-28 | 2015-06-09 | The Regents Of The University Of California | Color seamlessness across tiled multi-projector displays |
| US20100321382A1 (en) * | 2009-06-18 | 2010-12-23 | Scalable Display Technologies, Inc. | System and method for injection of mapping functions |
| WO2011024232A1 (ja) * | 2009-08-28 | 2011-03-03 | 三菱電機株式会社 | 輝度調整装置 |
| US8310499B2 (en) * | 2009-09-10 | 2012-11-13 | Seiko Epson Corporation | Balancing luminance disparity in a display by multiple projectors |
| US8368803B2 (en) * | 2009-09-10 | 2013-02-05 | Seiko Epson Corporation | Setting exposure attributes for capturing calibration images |
| US8342696B2 (en) * | 2010-03-26 | 2013-01-01 | Seiko Epson Corporation | System and method for displaying remote content through multiple projectors |
| US8267531B2 (en) * | 2010-03-26 | 2012-09-18 | Seiko Epson Corporation | Correcting row and column shifts in a calibration matrix for a projection system |
| JP5813751B2 (ja) | 2010-04-18 | 2015-11-17 | アイマックス ヨーロッパ ソシエテ アノニム | プロジェクタによって投影される画像を生成する方法及び画像投影システム |
| US8994714B2 (en) * | 2010-09-23 | 2015-03-31 | Dolby Laboratories Licensing Corporation | Method and system for display calibration with feedback determined by a camera device |
| US8736674B2 (en) | 2010-09-23 | 2014-05-27 | Dolby Laboratories Licensing Corporation | Method and system for 3D display calibration with feedback determined by a camera device |
| JP5282080B2 (ja) * | 2010-12-21 | 2013-09-04 | ヤフー株式会社 | マルチディスプレイシステム及びその制御方法 |
| US9160898B2 (en) | 2011-01-25 | 2015-10-13 | Autofuss | System and method for improved video motion control |
| US8454171B2 (en) * | 2011-03-23 | 2013-06-04 | Seiko Epson Corporation | Method for determining a video capture interval for a calibration process in a multi-projector display system |
| WO2013024430A1 (en) | 2011-08-16 | 2013-02-21 | Imax Corporation | Hybrid image decomposition and projection |
| US9064312B2 (en) | 2011-09-23 | 2015-06-23 | The Regents Of The University Of California | Augmented reality using projector-camera enabled devices |
| EP2769265B1 (en) * | 2011-10-20 | 2021-06-16 | Imax Corporation | Invisibility or low perceptibility of image alignment in dual projection systems |
| US9503711B2 (en) | 2011-10-20 | 2016-11-22 | Imax Corporation | Reducing angular spread in digital image projection |
| US8531474B2 (en) * | 2011-11-11 | 2013-09-10 | Sharp Laboratories Of America, Inc. | Methods, systems and apparatus for jointly calibrating multiple displays in a display ensemble |
| US9832352B2 (en) | 2011-11-16 | 2017-11-28 | Autofuss | System and method for 3D projection mapping with robotically controlled objects |
| CN104054023B (zh) * | 2011-11-16 | 2017-11-17 | 欧特法斯公司 | 用于与机器人控制的物体映射的3d投影的系统和方法 |
| IL216515A (en) | 2011-11-22 | 2015-02-26 | Israel Aerospace Ind Ltd | A system and method for processing images from a camera set |
| JP5924020B2 (ja) * | 2012-02-16 | 2016-05-25 | セイコーエプソン株式会社 | プロジェクター、及び、プロジェクターの制御方法 |
| KR20200105547A (ko) * | 2012-04-19 | 2020-09-07 | 스케일러블 디스플레이 테크놀로지스, 인크. | 시스템 입력 해상도의 변화없이 디스플레이 시스템을 교정하는 시스템 및 방법 |
| US9532023B2 (en) * | 2013-03-29 | 2016-12-27 | Konica Minolta Laboratory U.S.A., Inc. | Color reproduction of display camera system |
| JP6217110B2 (ja) * | 2013-03-29 | 2017-10-25 | セイコーエプソン株式会社 | プロジェクターおよび調整方法 |
| US9325956B2 (en) | 2013-04-30 | 2016-04-26 | Disney Enterprises, Inc. | Non-linear photometric projector compensation |
| US9762868B2 (en) | 2013-06-28 | 2017-09-12 | Thomson Licensing | Highlighting an object displayed by a pico projector |
| US9424809B1 (en) * | 2013-07-15 | 2016-08-23 | Google Inc. | Patterned projection with multi-panel display |
| JP2015038595A (ja) * | 2013-07-19 | 2015-02-26 | キヤノン株式会社 | 映像生成装置、映像生成方法 |
| JP2015026992A (ja) * | 2013-07-26 | 2015-02-05 | 株式会社リコー | 投影システム、画像処理装置、投影方法およびプログラム |
| KR101583289B1 (ko) * | 2013-12-09 | 2016-01-07 | 씨제이씨지브이 주식회사 | 영상 중첩 영역의 보정 방법, 기록 매체 및 실행 장치 |
| JP6305050B2 (ja) * | 2013-12-18 | 2018-04-04 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP2015167341A (ja) * | 2014-02-13 | 2015-09-24 | 株式会社リコー | マルチプロジェクションシステム |
| US9319649B2 (en) * | 2014-02-13 | 2016-04-19 | Disney Enterprises, Inc. | Projector drift corrected compensated projection |
| KR102170101B1 (ko) * | 2014-02-24 | 2020-10-26 | 삼성전자주식회사 | 디스플레이 장치, 모바일 장치, 이를 포함하는 시스템 및 그 화질 매칭 방법 |
| JP2015206950A (ja) * | 2014-04-22 | 2015-11-19 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、調整装置、及び画像表示システム |
| US9509939B2 (en) * | 2014-06-04 | 2016-11-29 | Universal City Studios Llc | Display for immersive window effect |
| US9883153B2 (en) * | 2014-07-01 | 2018-01-30 | Sony Corporation | Image processing apparatus and method |
| US10623649B2 (en) * | 2014-07-31 | 2020-04-14 | Hewlett-Packard Development Company, L.P. | Camera alignment based on an image captured by the camera that contains a reference marker |
| WO2016039726A1 (en) * | 2014-09-09 | 2016-03-17 | Hewlett-Packard Development Company, L.P. | Color calibration |
| JP6471438B2 (ja) * | 2014-09-17 | 2019-02-20 | 株式会社リコー | 出力制御装置、出力制御システム、及び出力制御プログラム |
| JP6550849B2 (ja) * | 2015-03-30 | 2019-07-31 | セイコーエプソン株式会社 | プロジェクター、及び、プロジェクターの制御方法 |
| CN104902201B (zh) * | 2015-06-25 | 2016-06-08 | 山东大学 | 基于移动视点与异形屏幕的投影图像实时校正方法 |
| ES2906147T3 (es) * | 2015-09-02 | 2022-04-13 | Top Victory Investments Ltd | Dispositivo electrónico, procedimiento y programa informático para proporcionar una señal a al menos un proyector |
| US10083652B2 (en) | 2016-05-04 | 2018-09-25 | International Business Machines Corporation | Method, apparatus and computer product to compensate for misaligned or overlapped electronic wallpapers |
| DE102016013994B4 (de) * | 2016-11-23 | 2019-01-17 | domeprojection.com GmbH | Verfahren zur automatischen Erzeugung einer optischen Blendmaske |
| US10750141B2 (en) | 2016-11-23 | 2020-08-18 | Réalisations Inc. Montréal | Automatic calibration projection system and method |
| KR102581190B1 (ko) | 2016-12-14 | 2023-09-21 | 삼성전자주식회사 | 디스플레이 장치 및 심 조정 방법 |
| JP7077611B2 (ja) | 2017-12-27 | 2022-05-31 | セイコーエプソン株式会社 | プロジェクター、マルチプロジェクションシステムおよびプロジェクターの制御方法 |
| JP7148855B2 (ja) * | 2018-03-26 | 2022-10-06 | カシオ計算機株式会社 | 投影制御装置、投影装置、投影方法及びプログラム |
| US10911748B1 (en) | 2018-07-10 | 2021-02-02 | Apple Inc. | Display calibration system |
| US11575884B1 (en) | 2019-07-26 | 2023-02-07 | Apple Inc. | Display calibration system |
| US11573553B2 (en) * | 2019-09-30 | 2023-02-07 | Ingersoll-Rand Industrial U.S., Inc. | Portable calibration system |
| JP7103387B2 (ja) * | 2020-06-16 | 2022-07-20 | セイコーエプソン株式会社 | 画像投射システムの調整要否判定方法、画像投射システム、及び画像投射制御装置 |
| JP2022188839A (ja) * | 2021-06-10 | 2022-12-22 | キヤノン株式会社 | 制御装置、信号出力装置、信号分配装置、表示装置、システム、制御方法、及びプログラム |
| JP7626121B2 (ja) * | 2022-10-27 | 2025-02-04 | セイコーエプソン株式会社 | 投射方法、処理装置、プロジェクションシステム、及びプログラム |
Family Cites Families (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3409330B2 (ja) | 1991-02-08 | 2003-05-26 | ソニー株式会社 | 投射型表示装置の調整装置および調整方法 |
| JP3791696B2 (ja) | 1992-04-09 | 2006-06-28 | オリンパス株式会社 | 画像表示装置 |
| JP3735158B2 (ja) | 1996-06-06 | 2006-01-18 | オリンパス株式会社 | 画像投影システム、画像処理装置 |
| JP3714163B2 (ja) | 1997-12-12 | 2005-11-09 | 株式会社日立製作所 | 映像表示システム |
| US6456339B1 (en) | 1998-07-31 | 2002-09-24 | Massachusetts Institute Of Technology | Super-resolution display |
| US6310650B1 (en) | 1998-09-23 | 2001-10-30 | Honeywell International Inc. | Method and apparatus for calibrating a tiled display |
| US6570623B1 (en) | 1999-05-21 | 2003-05-27 | Princeton University | Optical blending for multi-projector display wall systems |
| US6471355B1 (en) * | 2000-02-18 | 2002-10-29 | Lockheed Martin Corporation | Image control system |
| CA2412418C (en) | 2000-06-13 | 2006-08-08 | Panoram Technologies, Inc. | Method and apparatus for seamless integration of multiple video projectors |
| CA2412319C (en) * | 2000-06-14 | 2006-11-28 | Panoram Technologies, Inc. | Method and apparatus for seamless integration of images using a transmissive/reflective mirror |
| JP3760117B2 (ja) | 2000-07-17 | 2006-03-29 | 松下電器産業株式会社 | 画像信号処理装置、画像表示装置、マルチディスプレイ装置及び当該マルチディスプレイ装置における色度調整方法 |
| JP3497805B2 (ja) * | 2000-08-29 | 2004-02-16 | オリンパス株式会社 | 画像投影表示装置 |
| US6804406B1 (en) | 2000-08-30 | 2004-10-12 | Honeywell International Inc. | Electronic calibration for seamless tiled display using optical function generator |
| JP2002116500A (ja) * | 2000-10-05 | 2002-04-19 | Olympus Optical Co Ltd | 画像投影表示装置 |
| JP2003018502A (ja) * | 2001-06-29 | 2003-01-17 | Toshiba Corp | 投射型表示装置 |
| US6733138B2 (en) * | 2001-08-15 | 2004-05-11 | Mitsubishi Electric Research Laboratories, Inc. | Multi-projector mosaic with automatic registration |
| US7133083B2 (en) * | 2001-12-07 | 2006-11-07 | University Of Kentucky Research Foundation | Dynamic shadow removal from front projection displays |
| JP2003348500A (ja) | 2002-03-19 | 2003-12-05 | Fuji Photo Film Co Ltd | 投射画像の調整方法、画像投射方法および投射装置 |
| JP2003283964A (ja) * | 2002-03-26 | 2003-10-03 | Olympus Optical Co Ltd | 映像表示装置 |
| US7019713B2 (en) | 2002-10-30 | 2006-03-28 | The University Of Chicago | Methods and measurement engine for aligning multi-projector display systems |
| US7038727B2 (en) * | 2002-10-30 | 2006-05-02 | The University Of Chicago | Method to smooth photometric variations across multi-projector displays |
| US7215362B2 (en) * | 2002-10-31 | 2007-05-08 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Auto-calibration of multi-projector systems |
| US7119833B2 (en) | 2002-12-03 | 2006-10-10 | University Of Kentucky Research Foundation | Monitoring and correction of geometric distortion in projected displays |
| US7184054B2 (en) | 2003-01-21 | 2007-02-27 | Hewlett-Packard Development Company, L.P. | Correction of a projected image based on a reflected image |
| US6755537B1 (en) | 2003-03-21 | 2004-06-29 | Mitsubishi Electric Research Laboratories, Inc. | Method for globally aligning multiple projected images |
| JP2004304596A (ja) | 2003-03-31 | 2004-10-28 | Olympus Corp | マルチプロジェクションシステム |
| JP3620537B2 (ja) * | 2003-05-02 | 2005-02-16 | セイコーエプソン株式会社 | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 |
| US7367681B2 (en) * | 2003-06-13 | 2008-05-06 | Cyviz As | Method and device for combining images from at least two light projectors |
| JP4501481B2 (ja) * | 2004-03-22 | 2010-07-14 | セイコーエプソン株式会社 | マルチプロジェクションシステムのための画像補正方法 |
| JP2005347813A (ja) * | 2004-05-31 | 2005-12-15 | Olympus Corp | 画像変換方法および画像変換装置、並びにマルチプロジェクションシステム |
| US7306341B2 (en) * | 2005-02-28 | 2007-12-11 | Hewlett-Packard Development Company, L.P. | Multi-projector geometric calibration |
| JP4716026B2 (ja) * | 2006-05-24 | 2011-07-06 | セイコーエプソン株式会社 | 投写装置、画像表示システム、プログラム、情報記憶媒体および投写方法 |
-
2006
- 2006-01-26 US US11/339,637 patent/US8777418B2/en active Active
-
2007
- 2007-01-25 EP EP07701719A patent/EP1974551A4/en not_active Ceased
- 2007-01-25 JP JP2008551608A patent/JP5603014B2/ja active Active
- 2007-01-25 WO PCT/CA2007/000095 patent/WO2007085081A1/en not_active Ceased
-
2014
- 2014-04-22 US US14/258,355 patent/US9479769B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009524841A (ja) | 2009-07-02 |
| US9479769B2 (en) | 2016-10-25 |
| WO2007085081A1 (en) | 2007-08-02 |
| US8777418B2 (en) | 2014-07-15 |
| EP1974551A4 (en) | 2012-07-04 |
| EP1974551A1 (en) | 2008-10-01 |
| US20070171380A1 (en) | 2007-07-26 |
| US20140226028A1 (en) | 2014-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5603014B2 (ja) | 超解像表示の補正 | |
| CN107018389B (zh) | 图像投射系统、投影机及图像投射系统的控制方法 | |
| Brown et al. | Camera-based calibration techniques for seamless multiprojector displays | |
| US8102332B2 (en) | Intensity scaling for multi-projector displays | |
| JP3766672B2 (ja) | 画像補正データ算出方法 | |
| US7038727B2 (en) | Method to smooth photometric variations across multi-projector displays | |
| CN100470358C (zh) | 图像处理系统、投影机及图像处理方法 | |
| JP7338404B2 (ja) | 表示システムの制御方法および制御装置 | |
| JP5251202B2 (ja) | プロジェクタの投射画像の歪補正方法、及びプロジェクタ | |
| JP5217496B2 (ja) | 画像投影システム、制御装置、画像投影方法、プログラム及び記録媒体 | |
| JP7834521B2 (ja) | 画像補正装置、撮像システム、制御方法、並びにプログラム | |
| JP2005099150A (ja) | 画像表示装置の画像補正データ算出方法 | |
| US8979273B2 (en) | Line display system using projector | |
| US7618146B2 (en) | Multiscreen display system, multiscreen display method, luminance correction method, and programs | |
| JP6304971B2 (ja) | 投影装置及びその制御方法 | |
| JP5205865B2 (ja) | 投射画像の形状歪補正支援システム、投射画像の形状歪補正支援方法、及びプロジェクタ、並びにプログラム | |
| TW202403712A (zh) | 資訊處理系統、調整方法、及程式 | |
| JP6665545B2 (ja) | 画像投射システム、プロジェクター、及び、画像補正方法 | |
| JP2006109168A (ja) | 画像表示システム | |
| JP5119607B2 (ja) | プロジェクタ | |
| JP3911456B2 (ja) | マルチプロジェクションシステム及びマルチプロジェクションシステムにおける補正データ取得方法 | |
| TW202407665A (zh) | 資訊處理系統、調整方法、及程式 | |
| JPH06105185A (ja) | 輝度補正方法 | |
| JP2008139709A (ja) | 色処理装置およびその方法 | |
| JP2016109840A (ja) | 表示装置、及び、表示装置の制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091008 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120327 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120627 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120904 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121122 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130610 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20130617 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20130712 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140821 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5603014 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |