JP5266954B2 - 投写型表示装置および表示方法 - Google Patents

Description

本発明は、投写型表示装置および表示方法に関し、特に、投写型表示装置および表示方法において投写面上に表示される画像の台形歪みを補正する技術に関する。

プロジェクタを用いてスクリーンに画像を表示させるとき、プロジェクタとスクリーンとの相対的な角度によって、スクリーンに表示される画像（以下「表示画像」と呼ぶ）に台形歪みが生ずることがある。このような場合に、表示画像の台形歪みを補正するキーストーン補正を行う技術が知られている。

キーストーン補正は、例えば、ＣＣＤカメラ等の撮影部によりスクリーンを撮影し、撮影画像からスクリーンの枠辺の画像を検出し、検出したスクリーン枠辺の画像に基づいてプロジェクタの液晶パネル上に画像を台形状に縮小して形成することにより行なわれる。また、撮影画像からスクリーンの枠辺の一部の画像が検出されなかった場合には、検出されなかった枠辺が補完される（例えば特許文献１）。

特開２００６−６０４４７号公報

しかし、上記の従来技術では、撮影画像から検出されないスクリーンの枠辺の数によっては補完を行うことができず、適切なキーストーン補正が実行されないという問題があった。

なお、このような問題は、プロジェクタによってスクリーンに画像を表示する際のキーストーン補正に限らず、投写により投写面に画像を表示させる投写型表示装置一般による画像のキーストーン補正を行う場合に共通の問題であった。

本発明は、上述した従来の課題を解決するためになされたものであり、投写による表示画像のキーストーン補正の汎用性を向上させることを目的とする。

上記課題の少なくとも一部を解決するために、本発明は、以下の形態または適用例として実現することが可能である。本発明の一形態は、投写により投写面に画像を表示させる投写型表示装置であって、撮影により撮影画像を生成する撮影部と、前記投写面と前記投写型表示装置との相対的な角度を算出する角度算出部と、前記撮影画像において少なくとも１つの基準線分を検出する直線検出部と、前記角度に基づき、前記撮影画像における少なくとも１つの補完線分を、前記基準線分と前記補完線分により規定される領域に対応する前記投写面上の領域が矩形となるように設定する線分補完部と、前記基準線分と前記補完線分とに基づき、前記投写面上に表示される画像の台形歪みを補正するキーストーン補正部と、前記角度に基づき、所定の基準平面に垂直な任意の線に対応する前記撮影画像上の直線が通るべき垂直消失点と、前記所定の基準平面に平行な任意の線に対応する前記撮影画像上の直線が通るべき水平消失点と、を算出する消失点算出部と、を備え、前記直線検出部は、前記撮影画像における任意の線分を前記基準線分として検出し、前記消失点算出部は、前記投写面上において前記基準線分に対応する線分に平行な任意の直線に対応する前記撮影画像上の直線が通るべき第１の消失点と、前記投写面上において前記基準線分に対応する線分に垂直な任意の直線に対応する前記撮影画像上の直線が通るべき第２の消失点と、を算出し、前記線分補完部は、前記撮影画像において前記第１の消失点と前記第２の消失点との少なくとも一方を通る直線上の線分を前記補完線分として設定する。その他、本発明は、以下のような形態として実現することも可能である。

［適用例１］投写により投写面に画像を表示させる投写型表示装置であって、
撮影により撮影画像を生成する撮影部と、
前記投写面と前記投写型表示装置との相対的な角度を算出する角度算出部と、
前記撮影画像において少なくとも１つの基準線分を検出する直線検出部と、
前記角度に基づき、前記撮影画像における少なくとも１つの補完線分を、前記基準線分と前記補完線分により規定される領域に対応する前記投写面上の領域が矩形となるように設定する線分補完部と、
前記基準線分と前記補完線分とに基づき、前記投写面上に表示される画像の台形歪みを補正するキーストーン補正部と、を備える、投写型表示装置。

この投写型表示装置では、投写面と投写型表示装置との相対的な角度が算出され、角度に基づき撮影画像における少なくとも１つの補完線分が、基準線分と補完線分により規定される領域に対応する投写面上の領域が矩形となるように設定され、基準線分と補完線分とに基づき投写面上に表示される画像の台形歪みが補正されるため、投写による表示画像のキーストーン補正の汎用性を向上させることができる。

［適用例２］適用例１に記載の投写型表示装置であって、さらに、
前記角度に基づき、所定の基準平面に垂直な任意の線に対応する前記撮影画像上の直線が通るべき垂直消失点と、前記所定の基準平面に平行な任意の線に対応する前記撮影画像上の直線が通るべき水平消失点と、を算出する消失点算出部を含む、投写型表示装置。

この投写型表示装置では、投写面と投写型表示装置との相対的な角度に基づき、所定の基準平面に垂直な任意の線に対応する撮影画像上の直線が通るべき垂直消失点と所定の基準平面に平行な任意の線に対応する撮影画像上の直線が通るべき水平消失点とが算出されるため、投写による表示画像のキーストーン補正の汎用性を向上させることができる。

［適用例３］適用例２に記載の投写型表示装置であって、
前記直線検出部は、前記撮影画像において前記垂直消失点と前記水平消失点との少なくとも一方を通る直線上の線分を前記基準線分として検出し、
前記線分補完部は、前記撮影画像において前記垂直消失点と前記水平消失点との少なくとも一方を通る直線上の線分を前記補完線分として設定する、投写型表示装置。

この投写型表示装置では、撮影画像において垂直消失点と水平消失点との少なくとも一方を通る直線上の線分が基準線分として検出され、撮影画像において垂直消失点と水平消失点との少なくとも一方を通る直線上の線分が補完線分として設定されるため、基準線分と補完線分とに基づき投写面上に表示される画像の台形歪みの補正が可能となり、投写による表示画像のキーストーン補正の汎用性を向上させることができる。

［適用例４］適用例１ないし適用例３のいずれかに記載の投写型表示装置であって、
前記基準線分は、前記投写面の枠の四辺の少なくとも１つに対応する前記撮影画像上の線分であり、
前記線分補完部は、前記投写面の枠の四辺の内の前記基準線分として検出されていない辺を補完する前記補完線分を設定する、投写型表示装置。

この投写型表示装置では、投写面の枠の四辺の内の基準線分として検出されていない辺を補完する補完線分が設定されるため、投写面の枠の四辺の一部が検出されていない場合にも基準線分と補完線分とに基づき投写面上に表示される画像の台形歪みの補正が可能となり、投写による表示画像のキーストーン補正の汎用性を向上させることができる。

［適用例５］適用例２に記載の投写型表示装置であって、
前記直線検出部は、前記撮影画像における任意の線分を前記基準線分として検出し、
前記消失点算出部は、前記投写面上において前記基準線分に対応する線分に平行な任意の直線に対応する前記撮影画像上の直線が通るべき第１の消失点と、前記投写面上において前記基準線分に対応する線分に垂直な任意の直線に対応する前記撮影画像上の直線が通るべき第２の消失点と、を算出し、
前記線分補完部は、前記撮影画像において前記第１の消失点と前記第２の消失点との少なくとも一方を通る直線上の線分を前記補完線分として設定する、投写型表示装置。

この投写型表示装置では、撮影画像における任意の線分である基準線分について、第１の消失点と第２の消失点とが算出され、撮影画像において第１の消失点と第２の消失点との少なくとも一方を通る直線上の線分が補完線分として設定されるため、任意の線分を１辺とする矩形の領域に画像を表示させるキーストーン補正を実行することができ、投写による表示画像のキーストーン補正の汎用性を向上させることができる。

［適用例６］適用例１ないし適用例５のいずれかに記載の投写型表示装置であって、
前記角度算出部は、
前記投写面上の３つ以上の所定の測定点について、前記投写型表示装置に対する相対的な位置を検出する測定点位置検出部と、
前記所定の測定点の位置に基づき、前記投写面を近似する近似平面を算出する平面算出部と、を含む、投写型表示装置。

この投写型表示装置では、投写面を近似する近似平面に基づき、投写面と投写型表示装置との相対的な角度を簡便に算出することができる。

［適用例７］適用例６に記載の投写型表示装置であって、
前記角度算出部は、さらに、
３つ以上の基準点を含む所定のパターン画像を前記投写型表示装置に投写させるパターン投写部を含み、
前記所定の測定点は、前記投写面に表示された前記パターン画像の前記基準点である、投写型表示装置。

この投写型表示装置では、投写面を近似する近似平面を簡便に算出することができる。

［適用例８］適用例２ないし適用例７のいずれかに記載の投写型表示装置であって、
前記所定の基準平面は、前記投写型表示装置の設置面である、投写型表示装置。

この投写型表示装置では、投写型表示装置の設置面に垂直および平行な線に対応する撮影画像上の直線が検出され、検出結果に基づき投写面上に表示される画像の台形歪みが補正されるため、投写型表示装置の設置面に垂直および平行な直線を用いたキーストーン補正の汎用性を向上させることができる。

［適用例９］適用例１ないし適用例８のいずれかに記載の投写型表示装置であって、さらに、
光を発する光源部と、
前記光源部の発する光を画像を表す有効な画像光へと変調するための有効パネル画像を、パネル面の画像形成領域に形成する画像形成パネル部と、を備え、
前記キーストーン補正部は、前記基準線分の検出結果と前記補完線分の設定結果とに基づき、前記画像形成領域中の一部の領域である補正後画像形成領域を算出すると共に、前記有効パネル画像を前記画像形成領域中の前記補正後画像形成領域に形成させることによって、前記投写面上に表示される画像の台形歪みを補正する、投写型表示装置。

この投写型表示装置では、基準線分の検出結果と補完線分の設定結果とに基づき、投写による表示画像のキーストーン補正の汎用性を向上させることができる。

なお、本発明は、種々の態様で実現することが可能であり、例えば、投写型表示装置および表示方法、画像処理方法および装置、画像補正方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ａ−１．プロジェクタの構成：
Ａ−２．キーストーン補正処理：
Ｂ．第２実施例：
Ｃ．変形例：

Ａ．第１実施例：
Ａ−１．プロジェクタの構成：
図１は、本発明の第１実施例における投写型表示装置としてのプロジェクタの構成を概略的に示すブロック図である。プロジェクタ１００は、画像を表す画像光を投写して、スクリーンＳＣなどの投写面上に画像（以下「表示画像」と呼ぶ）を表示させる。本実施例では、スクリーンＳＣは、矩形形状であって、その外周に沿って黒色の枠を有しているものとする。

プロジェクタ１００は、Ａ／Ｄ変換部１１０と、内部メモリ１２０と、液晶パネル１３０と、液晶パネル駆動部１３２と、照明光学系１４０と、ズームレンズ１５２を有する投写光学系１５０と、ズームレンズ駆動部１５４と、ＣＰＵ１６０と、リモコン制御部１７０と、リモコン１７２と、撮影部１８０と、撮影画像メモリ１８２と、を備えている。プロジェクタ１００の各構成要素は、バス１０２を介して互いに接続されている。

Ａ／Ｄ変換部１１０は、図示しないＤＶＤプレーヤやＰＣ（パーソナルコンピュータ）などからケーブル３００を介して入力された入力画像信号に対して、必要によりＡ／Ｄ変換を行い、デジタル画像信号を出力する。

内部メモリ１２０には、画像処理部２００として機能するコンピュータプログラムが格納されている。画像処理部２００は、Ａ／Ｄ変換部１１０から出力されたデジタル画像信号に対して画像の表示状態（例えば、輝度、コントラスト、同期、トラッキング、色の濃さ、色合い等）の調整を行った上で、デジタル画像信号を液晶パネル駆動部１３２へと出力する。また、画像処理部２００は、モジュールとして、角度算出部２１０と、直線検出部２２０と、消失点算出部２２２と、キーストーン補正部２３０と、座標変換部２４０と、を含んでいる。角度算出部２１０は、パターン投写部２１２と、測定点位置検出部２１４と、平面算出部２１６と、を含んでいる。これら各部の機能は、後述のキーストーン補正処理の説明において詳述する。

液晶パネル駆動部１３２は、画像処理部２００を経て入力されたデジタル画像信号に基づいて、液晶パネル１３０を駆動する。液晶パネル１３０は、照明光学系１４０から照射された照明光を画像を表す有効な画像光へと変調するための画像（以下「有効パネル画像ＰＩ」と呼ぶ）を、液晶パネル１３０の表面（以下「パネル面」と呼ぶ）の画像形成領域ＩＦに形成する。

図２は、液晶パネル１３０と画像形成領域ＩＦとの関係を概略的に示す説明図である。画像形成領域ＩＦとは、液晶パネル駆動部１３２に入力されたデジタル画像信号に基づいて有効パネル画像ＰＩを形成可能な液晶パネル１３０のパネル面上の領域を意味している。図２では、画像形成領域ＩＦを破線で囲まれた領域として示している。図２（ａ）に示すように、本実施例の画像形成領域ＩＦは、液晶パネル１３０のパネル面全面より４周それぞれ２ドット程度ずつ小さい領域に設定されている。なお、液晶パネル１３０のパネル面全面に対する画像形成領域ＩＦの大きさは任意に設定可能である。

図２では、有効パネル画像ＰＩが形成される領域をハッチングを付して示している。通常は、図２（ａ）に示すように、画像形成領域ＩＦの全領域に有効パネル画像ＰＩが形成される。しかし、後に詳述するキーストーン補正処理を実行する際には、図２（ｂ）に示すように、液晶パネル１３０の画像形成領域ＩＦ中の一部の領域に有効パネル画像ＰＩが形成され、画像形成領域ＩＦの残りの領域には全黒の画像（図２（ｂ）では白色で示す）が形成されることがある。このキーストーン補正時に有効パネル画像ＰＩが形成される画像形成領域ＩＦ中の一部の領域を「補正後画像形成領域ＲＩＦ」と呼ぶ。図２では、補正後画像形成領域ＲＩＦを一点鎖線で囲まれた領域として示している。

また、例えば、液晶パネル駆動部１３２に入力されたデジタル画像信号の解像度が液晶パネル１３０の解像度と比較して小さいときであって、入力されたデジタル画像を拡大することなくそのまま液晶パネル１３０上に形成する場合には、図２（ｃ）に示すように、画像形成領域ＩＦは、上記両解像度の比に対応して、液晶パネル１３０のパネル面全面よりさらに小さい領域に設定されることとなる。

投写光学系１５０（図１）は、プロジェクタ１００の筐体の前面に取り付けられており、液晶パネル１３０によって画像光へと変調された光を拡大投写する。ズームレンズ駆動部１５４は、投写光学系１５０が備えるズームレンズ１５２を駆動して、ズーム状態を変化させることができる。ここで、ズーム状態とは、投写光学系１５０において、液晶パネル１３０を透過した光を投写する際の拡大の程度（倍率）を意味している。すなわち、ズームレンズ駆動部１５４は、ズームレンズ１５２を駆動してスクリーンＳＣ上に表示させる表示画像の大きさを変化させることができる。

リモコン制御部１７０は、リモコン１７２を通じたユーザからの指示を受信し、バス１０２を介してその指示をＣＰＵ１６０に伝える。なお、本実施例では、プロジェクタ１００は、ユーザからの指示を、リモコン１７２およびリモコン制御部１７０を通じて受け取るものとしているが、ユーザからの指示を例えば操作パネルなどの他の構成を通じて受け取るものとすることも可能である。

ＣＰＵ１６０は、内部メモリ１２０から画像処理部２００としてのコンピュータプログラムを読み出して実行することにより、スクリーンＳＣに向けて画像を投写したり、後述のキーストーン補正処理などの画像処理を行ったりする。また、ＣＰＵ１６０は、プロジェクタ１００全体の制御を行う。

撮影部１８０は、ＣＣＤカメラを有しており、撮影によって撮影画像を生成する。撮影部１８０は、液晶パネル１３０の最大の画像形成領域ＩＦ（図２（ａ）参照）に対応する画像が投写される領域すべてを撮影できるように、その設置位置や画角が設定されている。撮影部１８０により生成された撮影画像は、撮影画像メモリ１８２内に格納される。なお、撮影部１８０は、ＣＣＤカメラの代わりに他の撮影デバイスを有していてもよい。

Ａ−２．キーストーン補正処理
図３は、第１実施例のプロジェクタ１００によるキーストーン補正処理の流れを示すフローチャートである。キーストーン補正処理は、スクリーンＳＣ上の表示画像の外周線の各辺がスクリーンＳＣの枠の各辺と平行となるように、表示画像の台形歪みを補正する処理である。キーストーン補正処理は、ユーザからのリモコン１７２を通じた指示に応じて実行される。なお、キーストーン補正処理は、例えば電源オンや画像信号の入力に応じて自動的に実行されるものとしてもよい。

ステップＳ１１０では、パターン投写部２１２（図１）が、測定用パターン画像ＰＴを液晶パネル１３０に形成させ、照明光学系１４０および投写光学系１５０にスクリーンＳＣに向けて画像光を投写させる。測定用パターン画像ＰＴの画像データは、内部メモリ１２０の所定の領域に格納されている。図４は、測定用パターン画像ＰＴの例を示す説明図である。測定用パターン画像ＰＴは、複数の基準点ＲＰを含んでいる。図４（ａ）に示す測定用パターン画像ＰＴは、黒色の背景に格子状に配列された複数の白色のドットを含む画像であり、各ドットが基準点ＲＰに設定されている。図４（ｂ）に示す測定用パターン画像ＰＴは、黒色の背景に白色の升目模様が配置された画像であり、升目の縦線と横線との各交点が基準点ＲＰに設定されている。図４（ｃ）に示す測定用パターン画像ＰＴは、黒色エリアと白色エリアとが交互に配置された市松模様の画像であり、各エリアの各頂点が基準点ＲＰに設定されている。図４（ｄ）に示す測定用パターン画像ＰＴは、黒色の背景に白色の小さい矩形と当該矩形を包含する白色の大きい矩形とを含む画像であり、各矩形の各頂点が基準点ＲＰに設定されている。なお、測定用パターン画像ＰＴは、３つ以上の基準点ＲＰを含む画像（ただしすべての基準点ＲＰが１つの直線上に位置する画像は除く）であれば、図４に示した画像以外の画像を採用することも可能である。ただし、測定用パターン画像ＰＴに含まれる基準点ＲＰの数は、後述するスクリーンＳＣの近似平面の式の算出精度向上の点からは、多いほど良い。

ステップＳ１２０（図３）では、撮影部１８０（図１）が、測定用パターン画像ＰＴが投写されたスクリーンＳＣを撮影して、撮影画像ＣＩを生成する。生成された撮影画像ＣＩは、撮影画像メモリ１８２に格納される。

ステップＳ１３０（図３）では、測定点位置検出部２１４（図１）が、撮影画像ＣＩに基づいて、所定の測定点の三次元座標を検出する。所定の測定点の三次元座標の検出は、スクリーンＳＣの近似平面の三次元座標（スクリーンＳＣの近似平面の式）を算出するために行われる。

図５は、所定の測定点の三次元座標の検出の概要を示す説明図である。本実施例では、ズームレンズ１５２の主点を原点とし、ズームレンズ１５２の光軸をｚ軸（ｚｌ軸）とする三次元座標（以下、「レンズ座標系」とも呼ぶ）における、各測定点の三次元座標の検出が行われる。すなわち、各測定点のプロジェクタ１００に対する相対的な位置の検出が行われる。

図５には、レンズ座標系における測定用パターン画像ＰＴ（図４（ａ）参照）が投写されたスクリーンＳＣを示している。三次元座標の検出対象としての測定点は、スクリーンＳＣまたはスクリーンＳＣの背後の物体（例えば壁面）に表示された測定用パターン画像ＰＴに含まれる基準点ＲＰである。なお、図５に示した状態では、基準点ＲＰの内の一部はスクリーンＳＣ上に映し出され、他の一部はスクリーンＳＣからはみ出してスクリーンＳＣの背後の壁面に映し出されている。

測定点位置検出部２１４は、撮影画像ＣＩを解析して撮影画像ＣＩにおける基準点ＲＰの位置を検出し、検出された基準点ＲＰのレンズ座標系における三次元座標を検出する。測定点の三次元座標の検出は、ズームレンズ１５２と撮影部１８０との視差を利用し、三角測量の原理により三次元座標を検出する能動型のアクティブステレオ法を用いて行う。なお、測定点の三次元座標の検出に用いられる方法は、アクティブステレオ法以外の三次元座標検出方法（例えば複数のカメラを用いた受動型のステレオ法）であるとしてもよい。また、測定点の三次元座標の検出に用いられる座標系は、レンズ座標系以外の座標系（例えば後述のカメラ画像系）であるとしてもよい。

ステップＳ１４０（図３）では、平面算出部２１６（図１）が、検出された各測定点の三次元座標に基づき、スクリーンＳＣの近似平面の式を算出する。具体的には、平面算出部２１６は、測定用パターン画像ＰＴの中央部分に位置する基準点ＲＰ（図５において破線で囲んで示す）の三次元座標を用いた最小二乗法により、スクリーンＳＣの近似平面の式を算出する。測定用パターン画像ＰＴの中央部分に位置する基準点ＲＰのみを利用するのは、スクリーンＳＣ上に位置しない点を極力除外するためである。スクリーンＳＣの近似平面の式は、図５に示すように、ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０の形で表される。このとき、ベクトル（ａ，ｂ，ｃ）は、スクリーンＳＣの近似平面の法線ベクトルとなる。

なお、スクリーンＳＣの近似平面の式は、すべての点が１つの直線上に位置しないような少なくとも３つ以上の基準点ＲＰの三次元座標が検出されていれば算出することができる。従って、スクリーンＳＣの近似平面の式の算出に用いる基準点ＲＰの数は、３つ以上の任意の数に設定可能である。このことから、測定点の三次元座標の検出（図３のステップＳ１３０）において、測定用パターン画像ＰＴに含まれるすべての基準点ＲＰの三次元座標を検出する必要はなく、スクリーンＳＣの近似平面の式の算出に用いられる基準点ＲＰ（例えば測定用パターン画像ＰＴの中央部分に位置する基準点ＲＰ）についてのみ三次元座標を検出するようにすればよい。あるいは、測定用パターン画像ＰＴに含まれるすべての基準点ＲＰについて三次元座標を検出し、三次元座標に基づきそれぞれの基準点ＲＰがスクリーンＳＣ上に映し出された点であるか否かを判定し、スクリーンＳＣ上に映し出された点であると判定された基準点ＲＰを用いてスクリーンＳＣの近似平面の式が算出されるものとしてもよい。

ステップＳ１５０（図３）では、角度算出部２１０（図１）が、スクリーンＳＣとプロジェクタ１００との相対的な角度を算出する。図６は、スクリーンＳＣとプロジェクタ１００との相対的な角度の概念を示す説明図である。図６には、ズームレンズ１５２の主点を原点とし、スクリーンＳＣの近似平面に垂直な方向をｚ軸（ｚｓ軸）とする三次元座標（以下、「スクリーン座標系」とも呼ぶ）におけるスクリーンＳＣとプロジェクタ１００との関係を示している。図６においては、プロジェクタ１００は、ｙ軸（ｙｓ軸）に垂直な平面である設置面ＳＳ上に載置されている。本実施例における設置面ＳＳは、本発明における「基準平面」に相当する。

スクリーンＳＣとプロジェクタ１００（プロジェクタ１００のズームレンズ１５２の光軸）との相対的な角度は、ｘ軸（ｘｓ軸）廻りのプロジェクタ１００の回転角度であるピッチθと、ｙ軸（ｙｓ軸）廻りのプロジェクタ１００の回転角度であるヨーφと、ｚ軸（ｚｓ軸）廻りのプロジェクタ１００の回転角度であるロールΨと、の組み合わせにより表される。角度算出部２１０は、レンズ座標系におけるズームレンズ１５２の光軸とスクリーンＳＣの近似平面との関係（図５参照）から、スクリーンＳＣとプロジェクタ１００との相対的な角度（すなわちピッチθとヨーφとロールΨの値）を一義的に算出する。

ステップＳ１６０（図３）では、消失点算出部２２２（図１）が、スクリーンＳＣの枠辺（スクリーンＳＣの枠を構成する各辺）の撮影画像ＣＩにおける消失点を算出する。図７は、スクリーンＳＣの枠辺の消失点算出の概要を示す説明図である。図７（ａ）には、レンズ座標系（図５参照）におけるスクリーンＳＣの近似平面と、ｚ軸に垂直な平面（平面ｚ＝１）と、を示している。また、図７（ｂ）には、スクリーンＳＣの枠辺の平面ｚ＝１への射影（スクリーンＳＣの各枠辺と原点Ｏとを通る平面と平面ｚ＝１との交線）を示している。なお、図７（ｂ）に示した座標系をレンズ座標系の標準座標系と呼ぶ。標準座標系の単位は、プラス４５度およびマイナス４５度の方向が、それぞれプラス１およびマイナス１となる。

三次元空間（例えばレンズ座標系）における互いに平行な任意の直線の平面（例えば平面ｚ＝１）への射影は、１点で交わる。この交点を消失点と呼ぶ。レンズ座標系においてスクリーンＳＣの枠辺の右辺ＳＦ（ｒ）と左辺ＳＦ（ｌ）とは互いに平行であるため、標準座標系における右辺ＳＦ（ｒ）および左辺ＳＦ（ｌ）の射影は消失点（以下、「垂直消失点ＤＰｖ」と呼ぶ）で交わる。同様に、レンズ座標系においてスクリーンＳＣの枠辺の上辺ＳＦ（ｔ）と下辺ＳＦ（ｂ）とは互いに平行であるため、標準座標系における上辺ＳＦ（ｔ）および下辺ＳＦ（ｂ）の射影は消失点（以下、「水平消失点ＤＰｈ」と呼ぶ）で交わる。なお、以下の説明では、垂直消失点ＤＰｖおよび水平消失点ＤＰｈを、まとめて単に「消失点ＤＰ」とも呼ぶものとする。

消失点ＤＰ（垂直消失点ＤＰｖおよび水平消失点ＤＰｈ）の位置（座標）は、スクリーンＳＣとプロジェクタ１００との相対的な角度（ピッチθ、ヨーφ、ロールΨ）により一義的に定まる。消失点ＤＰのレンズ座標系の標準座標系における座標は、下記の式（１）および式（２）のように表される。

なお、ロールΨがゼロの場合には、消失点ＤＰのレンズ座標系の標準座標系における座標は、下記の式（３）および式（４）のようになる。

上記式（１）〜（４）により算出される座標は、レンズ座標系の標準座標系における消失点ＤＰの座標である。後述のスクリーンＳＣの枠辺の検出（図３のステップＳ１７０）はカメラ座標系の標準座標系において実行されるため、座標変換部２４０（図１）は、レンズ座標系の標準座標系（図７（ｂ）参照）からカメラ座標系の標準座標系への座標変換を射影変換により実行する。図８は、カメラ座標系を示す説明図である。カメラ座標系は、撮影部１８０のＣＣＤの中心点を原点Ｏとし、撮影部１８０のレンズの光軸をｚ軸（ｚｃ軸）とする三次元座標である。また、カメラ座標系の標準座標系は、カメラ座標系における点や線や面を、ｚ軸に垂直な平面（平面ｚ＝１）への射影で表す座標系である。標準座標系の単位は、プラス４５度およびマイナス４５度の方向が、それぞれプラス１およびマイナス１となる。

この座標変換は、プロジェクタ１００におけるズームレンズ１５２の光軸と撮影部１８０のレンズの光軸との相違を補償するために行われる。すなわち、上述した消失点ＤＰ（垂直消失点ＤＰｖおよび水平消失点ＤＰｈ）の座標はレンズ座標系の標準座標系における座標であり、座標変換によって、撮影画像ＣＩにおける消失点ＤＰの座標が求められる。

座標変換部２４０は、行列Ｍを用いて座標変換（射影変換）を行う。行列Ｍは、ズームレンズ１５２と撮影部１８０との相対的な回転量を表す３次元の回転行列をＲとし、ズームレンズ１５２と撮影部１８０との相対的な並進量を表す３次元の列ベクトルをｔとし、スクリーンＳＣの近似平面の方程式をａｘ＋ｂｙ＋ｃｚ＝１と表したときの３次元の行ベクトルをｎ＝（ａ，ｂ，ｃ）とし、３次元の単位行列をＥとしたときに、Ｍ＝Ｒ（Ｅ＋ｔｎ）と表される。なお、本実施例では、座標変換部２４０による座標変換（射影変換）はズームレンズ１５２と撮影部１８０との相対的な関係に基づき算出される行列Ｍを用いて行われるとしているが、基準点ＲＰのレンズ座標系での座標とカメラ座標系での座標との対応関係から最小二乗法により最適な射影変換を算出して射影変換を実行するものとしてもよい。

ステップＳ１７０（図３）では、直線検出部２２０（図１）が、撮影画像ＣＩに写し出されたスクリーンＳＣの枠辺（右辺ＳＦ（ｒ）、左辺ＳＦ（ｌ）、上辺ＳＦ（ｔ）、下辺ＳＦ（ｂ））を検出する。図９は、撮影画像ＣＩからのスクリーンＳＣの枠辺の検出方法を示す説明図である。図９には、カメラ座標系の標準座標系における撮影画像ＣＩと消失点ＤＰ（垂直消失点ＤＰｖおよび水平消失点ＤＰｈ）とを示している。

直線検出部２２０は、スクリーンＳＣの枠辺の検出のために、まず、消失点ＤＰを通る直線（以下、「消失点通過直線ＰＬ」とも呼ぶ）を複数設定する。具体的には、垂直消失点ＤＰｖおよび水平消失点ＤＰｈのそれぞれについて、消失点ＤＰを通過し、傾きが所定のピッチ角度ずつ異なる複数の直線が消失点通過直線ＰＬとして設定される。なお、消失点通過直線ＰＬの設定方法はこれに限られず、例えば所定の直線（例えば撮影画像ＣＩの各辺）上において所定の画素数ずつ間隔を開けた複数の参照画素が設定され、各参照画素と消失点ＤＰとを結ぶ複数の直線が消失点通過直線ＰＬとして設定されるものとしてもよい。

次に、直線検出部２２０は、撮影画像ＣＩ上に設定された消失点通過直線ＰＬに沿って微分フィルタやラプラシアンフィルタといった輪郭抽出フィルタをかけてエッジ量を積算し、ヒストグラムを作成する。図１０は、エッジ量積算値のヒストグラムの例を示す説明図である。図１０には、垂直消失点ＤＰｖを通過する消失点通過直線ＰＬに沿ったエッジ量積算値のヒストグラムを示している。直線検出部２２０は、エッジ量積算値のヒストグラムにおいて、閾値Ｔを超える最も大きい２つのピーク値（極大値）を示す位置を、撮影画像ＣＩにおけるスクリーンＳＣの２つの枠辺の位置として検出する。図１０の例では、閾値Ｔを超えるピーク値が２つ存在するため、右側のピーク値の位置が右辺ＳＦ（ｒ）の位置として検出され、左側のピーク値の位置が左辺ＳＦ（ｌ）の位置として検出される。図１０に示すエッジ量積算値のヒストグラムにおいて、閾値Ｔを超えるピーク値が例えば３つ存在する場合には、値の大きい２つのピーク値の位置が２つの枠辺の位置とされる。同様に、直線検出部２２０は、水平消失点ＤＰｈを通過する消失点通過直線ＰＬに沿ったエッジ量積算値のヒストグラムを用いて、撮影画像ＣＩにおける上辺ＳＦ（ｔ）および下辺ＳＦ（ｂ）の位置を検出する。これにより、撮影画像ＣＩにおけるスクリーンＳＣの枠の各辺が検出される。なお、垂直消失点ＤＰｖを通過する消失点通過直線ＰＬに沿ったエッジ量を積算する際には、撮影画像ＣＩの左右方向（水平方向）の輪郭に強く反応する輪郭抽出フィルタを用いるのが好ましく、水平消失点ＤＰｈを通過する消失点通過直線ＰＬに沿ったエッジ量を積算する際には、撮影画像ＣＩの上下方向（垂直方向）の輪郭に強く反応する輪郭抽出フィルタを用いるのが好ましい。

ステップＳ１８０（図３）では、キーストーン補正部２３０（図１）が、撮影画像ＣＩにおいて検出されたスクリーンＳＣの枠辺の位置を参照して、キーストーン補正を実行する。キーストーン補正は、公知の方法（例えば特開２００６−６０４４７号公報に記載の方法）を用いて実行可能である。すなわち、図９に示したカメラ座標系の標準座標系におけるスクリーンＳＣの枠辺の座標値が、射影変換によりレンズ座標系の標準座標系に変換される。この座標変換は、上述したレンズ座標系の標準座標系からカメラ座標系の標準座標系への座標変換に用いられた射影変換の逆変換を利用して実行される。座標変換により算出されたレンズ座標系の標準座標系におけるスクリーンＳＣの枠辺の座標値から、液晶パネル１３０上におけるスクリーンＳＣに対応する領域が補正後画像形成領域ＲＩＦ（図２参照）として算出される。その後、必要によりズーム状態の調整が行われた上で、液晶パネル１３０上の補正後画像形成領域ＲＩＦに有効パネル画像ＰＩが形成されることにより、スクリーンＳＣ上の表示画像の台形歪みが補正される。

以上説明したように、第１実施例のプロジェクタ１００では、スクリーンＳＣとプロジェクタ１００との相対的な角度が算出され、算出された角度に基づき撮影画像ＣＩにおけるスクリーンＳＣの枠辺が検出され、枠辺の検出結果に基づき画像の台形歪みが補正される。そのため、第１実施例のプロジェクタ１００では、撮影画像ＣＩにおけるスクリーンＳＣの枠辺ではない直線が誤ってスクリーンＳＣの枠辺として検出される可能性が低減されるため、表示画像のキーストーン補正の精度を向上させることができる。すなわち、第１実施例のプロジェクタ１００では、スクリーンＳＣの枠辺が通るべき消失点ＤＰが算出され、消失点ＤＰを通る直線（消失点通過直線ＰＬ）の中から選択することにより撮影画像ＣＩにおけるスクリーンＳＣの枠辺が検出されるため、例えば撮影画像ＣＩにおけるスクリーンＳＣに映った蛍光灯の画像が誤ってスクリーンＳＣの枠辺として検出される可能性を低減することができる。

Ｂ．第２実施例：
図１１は、本発明の第２実施例における投写型表示装置としてのプロジェクタの構成を概略的に示すブロック図である。第２実施例におけるプロジェクタ１００ａは、画像処理部２００ａが不足辺補完部２５０を含んでいる点が、図１に示した第１実施例のプロジェクタ１００とは異なっている。不足辺補完部２５０の機能は、後述のキーストーン補正処理の説明において詳述する。第２実施例におけるプロジェクタ１００ａのその他の構成は、図１に示した第１実施例のプロジェクタ１００と同じである。不足辺補完部２５０は、本発明における線分補完部に相当する。

図１２は、第２実施例のプロジェクタ１００ａによるキーストーン補正処理の流れを示すフローチャートである。第２実施例のキーストーン補正処理のステップＳ１１０からＳ１７０までの処理内容は、図３に示した第１実施例におけるステップＳ１１０からＳ１７０までの処理内容と同じである。

ステップＳ１７２（図１２）では、画像処理部２００ａ（図１１）が、ステップＳ１７０におけるスクリーンＳＣの枠辺の検出において、検出されなかった枠辺（以下、「不足辺」とも呼ぶ）があるか否かを判定する。図１０に示すように、垂直消失点ＤＰｖおよび水平消失点ＤＰｈのそれぞれについて、消失点ＤＰを通過する消失点通過直線ＰＬに沿ったエッジ量積算値のヒストグラムにおいて、閾値Ｔを超える２つのピーク値が存在すれば、スクリーンＳＣの枠辺のすべて（右辺ＳＦ（ｒ）、左辺ＳＦ（ｌ）、上辺ＳＦ（ｔ）、下辺ＳＦ（ｂ））が検出される。この場合には、不足片は無いと判定され（ステップＳ１７２：Ｎｏ）、第１実施例と同様に、検出されたスクリーンＳＣの枠辺の位置に基づき、キーストーン補正が実行される（ステップＳ１８０）。なお、撮影画像ＣＩにおいて検出された枠辺は、本発明における基準線分に相当する。

一方、消失点ＤＰを通過する消失点通過直線ＰＬに沿ったエッジ量積算値のヒストグラムにおいて、閾値Ｔを超えるピーク値が２つ存在せず、スクリーンＳＣの枠辺の一部が検出されない場合がある。図１３は、不足辺がある場合のエッジ量積算値のヒストグラムの例を示す説明図である。図１３には、垂直消失点ＤＰｖを通過する消失点通過直線ＰＬに沿ったエッジ量積算値のヒストグラムを示している。図１３に示すように、エッジ量積算値のヒストグラムにおいて閾値Ｔを超えるピーク値が２つは存在しない場合には、スクリーンＳＣの右辺ＳＦ（ｒ）と左辺ＳＦ（ｌ）との少なくとも一方の位置が検出されない。図１３の例では、左辺ＳＦ（ｌ）の位置は検出されているが、右辺ＳＦ（ｒ）の位置が検出されていない。

スクリーンＳＣの枠辺の検出において不足辺がある場合には、不足辺は撮影画像ＣＩに写っていない、すなわちスクリーンＳＣの不足辺は撮影部１８０の画角の範囲外に位置しているか、あるいはスクリーンＳＣの不足辺は撮影画像ＣＩに写ってはいるものの、何らかの理由でエッジ量が小さくなり、検出されなかったものと考えられる。このように、不足辺がある場合（ステップＳ１７２：Ｙｅｓ）には、そのままでは補正後画像形成領域ＲＩＦ（図２参照）を算出することができないため、不足辺補完部２５０（図１１）による不足辺を補完する補完辺の算出が行われる（図１２のステップＳ１７４）。

図１４は、補完辺の算出方法の一例を示す説明図である。図１４には、カメラ座標系の標準座標系における撮影画像ＣＩと消失点ＤＰ（垂直消失点ＤＰｖおよび水平消失点ＤＰｈ）とを示している。図１４の例では、撮影画像ＣＩにおいて、スクリーンＳＣの左辺ＳＦ（ｌ）および上辺ＳＦ（ｔ）は検出されているが、右辺ＳＦ（ｒ）および下辺ＳＦ（ｂ）は検出されず、不足辺となっている。この場合には、右辺ＳＦ（ｒ）を補完する補完辺ＣＳ（ｒ）と下辺ＳＦ（ｂ）を補完する補完辺ＣＳ（ｂ）との算出が行われる。

不足辺補完部２５０は、まず、下辺ＳＦ（ｂ）を補完する補完辺ＣＳ（ｂ）を算出する。具体的には、水平消失点ＤＰｈと左辺ＳＦ（ｌ）の下端の点とを結ぶ消失点通過直線ＰＬの内の撮影画像ＣＩの領域内に位置する部分（線分）が補完辺ＣＳ（ｂ）として設定される。不足辺補完部２５０は、次に、右辺ＳＦ（ｒ）を補完する補完辺ＣＳ（ｒ）を算出する。具体的には、垂直消失点ＤＰｖと補完辺ＣＳ（ｂ）の右端とを結ぶ消失点通過直線ＰＬの内の上辺ＳＦ（ｔ）と補完辺ＣＳ（ｂ）とに挟まれた部分（線分）が補完辺ＣＳ（ｒ）として設定される。

このように補完辺ＣＳ（ｂ）およびＣＳ（ｒ）が設定されれば、補完辺ＣＳ（ｂ）に相当する現実のスクリーンＳＣ上の線分は、スクリーンＳＣの下辺ＳＦ（ｂ）および上辺ＳＦ（ｔ）と平行となり、補完辺ＣＳ（ｒ）に相当する現実のスクリーンＳＣ上の線分は、スクリーンＳＣの右辺ＳＦ（ｒ）および左辺ＳＦ（ｌ）と平行となる。従って、検出辺（上辺ＳＦ（ｔ）および左辺ＳＦ（ｌ））と補完辺ＣＳ（補完辺ＣＳ（ｂ）およびＣＳ（ｒ））とで囲まれた領域（以下、「目標領域ＴＡ」とも呼ぶ）（図１４においてハッチングを付して示す）に相当する現実のスクリーンＳＣ上の領域は矩形の領域となり、当該領域に画像を表示させるようにキーストーン補正を行えば、表示画像の台形歪みを補正することができる。補完辺算出（図１２のステップＳ１７４）の後のステップＳ１８０では、このようなキーストーン補正が実行される。

なお、図１４の例では、最初に下辺ＳＦ（ｂ）を補完する補完辺ＣＳ（ｂ）が算出され、その後、右辺ＳＦ（ｒ）を補完する補完辺ＣＳ（ｒ）が算出されているが、不足辺を補完する補完辺ＣＳの算出の順番は任意に設定可能である。例えば図１４の例で、まず右辺ＳＦ（ｒ）を補完する補完辺ＣＳ（ｒ）が算出され、その後、下辺ＳＦ（ｂ）を補完する補完辺ＣＳ（ｂ）が算出されるものとしてもよい。また、図１４の例では、上述したように、下辺ＳＦ（ｂ）を補完する補完辺ＣＳ（ｂ）が左辺ＳＦ（ｌ）の下端を通るように算出されており、右辺ＳＦ（ｒ）を補完する補完辺ＣＳ（ｒ）が補完辺ＣＳ（ｂ）の右端を通るように算出されているが、必ずしもこのように補完辺ＣＳが算出される必要はない。ただし、このような方法によって補完辺ＣＳが算出されることにより、目標領域ＴＡを最大限大きく設定することができ、キーストーン補正処理後のスクリーンＳＣ上の表示画像をできるだけ大きくすることができる。

また、図１４の例では、スクリーンＳＣの枠辺の内の下辺ＳＦ（ｂ）および右辺ＳＦ（ｒ）の２辺が不足辺である場合を示したが、他の辺が不足辺である場合の補完辺ＣＳの算出も同様に実行可能である。すなわち、下辺ＳＦ（ｂ）および上辺ＳＦ（ｔ）を補完する補完辺ＣＳは、水平消失点ＤＰｈを通る消失点通過直線ＰＬ上の線分として設定可能であり、左辺ＳＦ（ｌ）および右辺ＳＦ（ｒ）を補完する補完辺ＣＳは、垂直消失点ＤＰｖを通る消失点通過直線ＰＬ上の線分として設定可能である。従って、本実施例のプロジェクタ１００ａは、撮影画像ＣＩからスクリーンＳＣの枠辺が１つのみ検出され、残りの３つの辺がすべて不足辺となった場合であっても、３つの不足辺のそれぞれを補完する補完辺ＣＳを算出することにより、キーストーン補正を行うことができる。さらに、本実施例のプロジェクタ１００ａは、撮影画像ＣＩからスクリーンＳＣの枠辺が１つも検出されず、４つの辺がすべて不足辺となった場合であっても、４つの不足辺のそれぞれを補完する補完辺ＣＳを算出することにより、キーストーン補正を行うことができる。

なお、第２実施例では、補完辺ＣＳの設定の仕方に応じて目標領域ＴＡのアスペクト比が変化する。そのため、キーストーン補正（図１２のステップＳ１８０）が実行される前に、目標領域ＴＡに対応する現実のスクリーンＳＣ上の領域のアスペクト比が所定の値になるように、アスペクト比の調整が実行されるものとしてもよい。これにより、補完辺ＣＳの設定の仕方に関わらず、キーストーン補正後の表示画像のアスペクト比を所定の値（例えば３：４）に固定することができる。

以上説明したように、第２実施例のプロジェクタ１００ａでは、撮影画像ＣＩにおいてスクリーンＳＣの枠辺が検出され、スクリーンＳＣとプロジェクタ１００ａとの相対的な角度が算出され、算出された角度に基づき、補完辺ＣＳと検出辺により規定される領域に対応するスクリーンＳＣ上の領域が矩形となるように撮影画像ＣＩにおける補完辺ＣＳが設定され、検出辺と補完辺ＣＳとに基づきスクリーンＳＣ上に表示される画像の台形歪みが補正される。そのため、第２実施例のプロジェクタ１００ａでは、撮影画像ＣＩにおいてスクリーンＳＣの枠辺の一部または全部が検出されない場合であっても、検出されなかった枠辺を補完する補完辺が設定されるため、表示画像のキーストーン補正を実行することができる。従って、投写による表示画像のキーストーン補正の汎用性が向上する。例えばプロジェクタ１００ａとスクリーンＳＣとの位置関係が、撮影画像ＣＩにスクリーンＳＣの枠辺の一部が写らないようなものとなっている場合であっても、表示画像のキーストーン補正を適切に実行することができる。

Ｃ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｃ−１．変形例１：
上記第２実施例では、撮影画像ＣＩにおいて検出されたスクリーンＳＣの枠辺および検出されなかった枠辺を補完する補完辺ＣＳにより囲まれた領域を目標領域ＴＡとし、目標領域ＴＡに相当する現実のスクリーンＳＣ上の領域に画像を表示させるようなキーストーン補正が実行されるが、キーストーン補正の方法はこれに限られない。図１５は、変形例におけるキーストーン補正方法を示す説明図である。図１５に示す変形例では、撮影画像ＣＩにおいて検出もしくは設定された１つの線分（以下、「基準線分ＲＬ」とも呼ぶ）に対応するスクリーンＳＣ上の線分を１辺とする矩形領域に画像を表示させるようなキーストーン補正が実行される。ここで、基準線分ＲＬは、任意に検出もしくは設定され、基準線分ＲＬに対応するスクリーンＳＣ上の線分はスクリーンＳＣの枠辺に垂直または平行とは限らない。従って、キーストーン補正後に画像が表示される矩形領域の各辺もスクリーンＳＣの枠辺に垂直または平行とは限らない。

図１５に示した変形例においても、第２実施例と同様に、撮影画像ＣＩにおけるスクリーンＳＣの右辺ＳＦ（ｒ）と左辺ＳＦ（ｌ）とが交差する垂直消失点ＤＰｖの座標と、スクリーンＳＣの上辺ＳＦ（ｔ）と下辺ＳＦ（ｂ）とが交差する水平消失点ＤＰｈの座標と、が算出される。

ここで、標準座標系においては、すべての消失点は同一直線上に位置することが知られている。従って、垂直消失点ＤＰｖと水平消失点ＤＰｈとを結ぶ直線を直線Ｌ１と呼ぶものとすると、基準線分ＲＬの延長線と直線Ｌ１との交点が、基準線分ＲＬに関する消失点（以下、「第１の消失点ＤＰ１」と呼ぶ）となる。すなわち、撮影画像ＣＩにおいて第１の消失点ＤＰ１を通る直線に対応する現実のスクリーンＳＣ上の直線は、基準線分ＲＬに対応するスクリーンＳＣ上の直線と平行となる。従って、例えば図１５に示すように、第１の消失点ＤＰ１を通る直線の一部（線分）が補完辺ＣＳ（１）として設定される。

次に、現実のスクリーンＳＣ上において基準線分ＲＬに対応する線分に垂直な任意の直線に対応する撮影画像ＣＩ上の直線が通るべき消失点（以下、「第２の消失点ＤＰ２」と呼ぶ）が算出される。第２の消失点ＤＰ２は、第１の消失点ＤＰ１と同じく直線Ｌ１上に位置する。また、第１の消失点ＤＰ１の三次元座標を（ａ，ｂ，１）とし、第２の消失点ＤＰ２の三次元座標を（ｃ，ｄ，１）とすると、以下の式（５）が成り立つ。従って、撮影画像ＣＩにおける３つの消失点（垂直消失点ＤＰｖ、水平消失点ＤＰｈ、第１の消失点ＤＰ１）の座標から、第２の消失点ＤＰ２の座標を一義的に算出することができる。そして、第２の消失点ＤＰ２を通る直線の一部（線分）が補完辺ＣＳ（２）およびＣＳ（３）として設定される。
ａ・ｃ＋ｂ・ｄ＋１＝０・・・（５）

図１５に示すように、基準線分ＲＬと３つの補完辺ＣＳとにより囲まれた領域が目標領域ＴＡとして設定される。このように設定された目標領域ＴＡに相当する現実のスクリーンＳＣ上の領域は矩形形状となる。従って、図１５に示す方法によって目標領域ＴＡを設定しても、設定された目標領域ＴＡに相当する現実のスクリーンＳＣ上の領域に画像を表示させるようなキーストーン補正を実行することにより、スクリーンＳＣに表示される画像の台形歪みを補正することができる。

Ｃ−２．変形例２：
上記各実施例では、表示された測定用パターン画像ＰＴに含まれる基準点ＲＰを測定点として三次元座標の検出が行われ、検出された基準点ＲＰの三次元座標に基づきスクリーンＳＣの近似平面の式が算出されるものとしているが、三次元座標の検出対象である測定点は基準点ＲＰである必要はない。例えばスクリーンＳＣの外周枠の各頂点に印が付されている場合等、スクリーンＳＣ自身が測定点となりうる点を有している場合には、当該点の三次元座標の検出を行い、検出結果に基づきスクリーンＳＣの近似平面の式が算出されるものとしてもよい。この場合には、測定用パターン画像ＰＴの投写が行われる必要はない。

また、上記各実施例では、測定点の三次元座標の検出が、撮影部１８０を用いた三角測量の原理を利用して実行されているが、距離センサーを利用して実行されるものとしてもよい。

また、上記各実施例では、スクリーンＳＣとプロジェクタ１００との相対的な角度の算出のためにスクリーンＳＣの近似平面の式の算出が行われているが、水平方向の投写角度（ヨーφ）は距離センサーを用いてスクリーンＳＣ上の２つ以上の測定点の距離を算出することにより算定し、垂直方向の投写角度（ピッチθ）は加速度センサーを用いて算定するものとしてもよい。

Ｃ−３．変形例３：
上記各実施例では、撮影画像ＣＩにおけるスクリーンＳＣの枠辺の検出が、消失点通過直線ＰＬに沿ったエッジ量積算値のヒストグラムにおけるピーク値を検出することにより実行されているが、他の方法によってスクリーンＳＣの枠辺の検出が行われるとしてもよい。例えば、撮影画像ＣＩにおけるコントラスト比が大きい画素を抽出することによってスクリーンＳＣの枠辺の候補を抽出し、スクリーンＳＣの枠辺の候補が消失点通過直線ＰＬ上に位置するか否かを判定することにより、スクリーンＳＣの枠辺を検出するものとしてもよい。また、ハフ変換を用いて撮影画像ＣＩにおける直線を抽出し、抽出された直線が消失点ＤＰを通過するか否かを判定することにより、スクリーンＳＣの枠辺の検出するものとしてもよい。

Ｃ−４．変形例４：
上記各実施例において、測定点の三次元座標の検出やスクリーンＳＣの枠辺の消失点の算出の際に用いられている座標系はあくまで一例であり、これらの処理に用いる座標系は任意に設定可能であり、例えば、測定点の三次元座標の検出にレンズ座標系ではなくカメラ座標系が用いられるとしてもよい。また、上記各実施例では、プロジェクタ１００におけるズームレンズ１５２の光軸と撮影部１８０のレンズの光軸との相違を補償するために、レンズ座標系の標準座標系とカメラ座標系の標準座標系との間の座標変換が実行されているが、光軸の相違はわずかなものであるとして座標変換を省略することも可能である。

Ｃ−５．変形例５：
上記各実施例では、投写面としてスクリーンＳＣが用いられているが、投写面としてスクリーンＳＣ以外のものが用いられてもよい。例えば、部屋の壁が白色である場合に、その壁にテープや塗装などにより黒色のラインで矩形の枠を描き、その壁を投写面としてもよい。あるいは、ホワイトボードに、黒色のラインマーカで矩形の枠を描き、そのホワイトボードを投写面としてもよい。

また、投写面の色としては、枠が黒色、枠の内側及び外側の領域が白色に限定されるものでもなく、枠が白色、枠の内側及び外側の領域が黒色であってもよい。例えば、黒板に、白色のチョークで矩形の枠を描き、その黒板を投写面としてもよい。また、投写面の色は白色と黒色とに限らず、枠の色と枠の内側及び外側の領域の色とは、所望のコントラスト比がある色であれば、どのような色の組み合わせであっても構わない。

また上記各実施例では、撮影画像ＣＩにおけるスクリーンＳＣの枠辺が検出され、検出されたスクリーンＳＣの枠辺に基づきキーストーン補正が実行されているが、撮影画像ＣＩにおけるスクリーンＳＣの枠辺以外の直線であって、設置面ＳＳ（図６参照）に垂直または水平な直線が検出され、検出された直線に基づきキーストーン補正が実行されるものとしてもよい。例えば、スクリーンＳＣの枠辺の内側に、矩形領域を特定する輪郭線が設けられた場合に、撮影画像ＣＩにおける当該輪郭線が検出され、当該輪郭線に基づきキーストーン補正が実行されるものとしてもよい。

また、上記各実施例では、設置面ＳＳが基準平面とされ、基準平面に垂直または平行な直線であるスクリーンＳＣの枠辺の検出が実行されているが、設置面ＳＳ以外の平面が基準平面とされてもよい。例えば、プロジェクタ１００と所定の関係にある他の平面（例えばプロジェクタ１００の筐体の底面や上面）が基準平面とされてもよい。この場合にも、基準平面に垂直または平行な直線の画像が撮影画像ＣＩから検出され、検出された直線に基づきキーストーン補正が実行される。

Ｃ−６．変形例６：
上記各実施例では、プロジェクタ１００が液晶パネル１３０を１つしか有していないが、プロジェクタ１００が複数の色成分に対応する複数の液晶パネル１３０を有するものとしてもよい。また、プロジェクタ１００は、液晶パネル以外の電気光学装置（例えばＤＭＤ（テキサス・インスツルメンツ社の商標））を有するものとしてもよい。また、プロジェクタ１００は、ＣＲＴプロジェクタであるとしてもよい。また、本発明は、プロジェクタ１００に限らず、投写により投写面に画像を表示させる投写型表示装置一般に適用可能である。

Ｃ−７．変形例７：
上記各実施例では、撮影部１８０がＣＣＤカメラを有しているとしているが、撮影部１８０は、撮影により撮影画像を生成することが可能であればよく、例えばＣＭＯＳカメラ等の他の撮影装置を有しているとしてもよい。

Ｃ−８．変形例８：
上記各実施例では、プロジェクタ１００がズームレンズ１５２とズームレンズ駆動部１５４とを備えているとしているが、必ずしもプロジェクタ１００がズーム機能を有するレンズを備えていなくてもよく、プロジェクタ１００が焦点距離が固定された単焦点レンズを備えるとしてもよい。

Ｃ−９．変形例９：
上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。

本発明の第１実施例における投写型表示装置としてのプロジェクタの構成を概略的に示すブロック図である。 液晶パネル１３０と画像形成領域ＩＦとの関係を概略的に示す説明図である。 第１実施例のプロジェクタ１００によるキーストーン補正処理の流れを示すフローチャートである。 測定用パターン画像ＰＴの例を示す説明図である。 所定の測定点の三次元座標の検出の概要を示す説明図である。 スクリーンＳＣとプロジェクタ１００との相対的な角度の概念を示す説明図である。 スクリーンＳＣの枠辺の消失点算出の概要を示す説明図である。 カメラ座標系を示す説明図である。 撮影画像ＣＩからのスクリーンＳＣの枠辺の検出方法を示す説明図である。 エッジ量積算値のヒストグラムの例を示す説明図である。 本発明の第２実施例における投写型表示装置としてのプロジェクタの構成を概略的に示すブロック図である。 第２実施例のプロジェクタ１００ａによるキーストーン補正処理の流れを示すフローチャートである。 不足辺がある場合のエッジ量積算値のヒストグラムの例を示す説明図である。 補完辺の算出方法の一例を示す説明図である。 変形例におけるキーストーン補正方法を示す説明図である。

符号の説明

１００…プロジェクタ
１０２…バス
１２０…内部メモリ
１３０…液晶パネル
１３２…液晶パネル駆動部
１４０…照明光学系
１５０…投写光学系
１５２…ズームレンズ
１５４…ズームレンズ駆動部
１６０…ＣＰＵ
１７０…リモコン制御部
１７２…リモコン
１８０…撮影部
１８２…撮影画像メモリ
２００…画像処理部
２１０…角度算出部
２１２…パターン投写部
２１４…測定点位置検出部
２１６…平面算出部
２２０…直線検出部
２２２…消失点算出部
２３０…キーストーン補正部
２４０…座標変換部
２５０…不足辺補完部
３００…ケーブル

Claims (8)

1. 投写により投写面に画像を表示させる投写型表示装置であって、
   撮影により撮影画像を生成する撮影部と、
   前記投写面と前記投写型表示装置との相対的な角度を算出する角度算出部と、
   前記撮影画像において少なくとも１つの基準線分を検出する直線検出部と、
   前記角度に基づき、前記撮影画像における少なくとも１つの補完線分を、前記基準線分と前記補完線分により規定される領域に対応する前記投写面上の領域が矩形となるように設定する線分補完部と、
   前記基準線分と前記補完線分とに基づき、前記投写面上に表示される画像の台形歪みを補正するキーストーン補正部と、
   前記角度に基づき、所定の基準平面に垂直な任意の線に対応する前記撮影画像上の直線が通るべき垂直消失点と、前記所定の基準平面に平行な任意の線に対応する前記撮影画像上の直線が通るべき水平消失点と、を算出する消失点算出部と、を備え、
   前記直線検出部は、前記撮影画像における任意の線分を前記基準線分として検出し、
   前記消失点算出部は、前記投写面上において前記基準線分に対応する線分に平行な任意の直線に対応する前記撮影画像上の直線が通るべき第１の消失点と、前記投写面上において前記基準線分に対応する線分に垂直な任意の直線に対応する前記撮影画像上の直線が通るべき第２の消失点と、を算出し、
   前記線分補完部は、前記撮影画像において前記第１の消失点と前記第２の消失点との少なくとも一方を通る直線上の線分を前記補完線分として設定する、投写型表示装置。
2. 請求項１に記載の投写型表示装置であって、
   前記直線検出部は、前記撮影画像において前記垂直消失点と前記水平消失点との少なくとも一方を通る直線上の線分を前記基準線分として検出し、
   前記線分補完部は、前記撮影画像において前記垂直消失点と前記水平消失点との少なくとも一方を通る直線上の線分を前記補完線分として設定する、投写型表示装置。
3. 請求項１または請求項２に記載の投写型表示装置であって、
   前記基準線分は、前記投写面の枠の四辺の少なくとも１つに対応する前記撮影画像上の線分であり、
   前記線分補完部は、前記投写面の枠の四辺の内の前記基準線分として検出されていない辺を補完する前記補完線分を設定する、投写型表示装置。
4. 請求項１ないし請求項３のいずれかに記載の投写型表示装置であって、
   前記角度算出部は、
   前記投写面上の３つ以上の所定の測定点について、前記投写型表示装置に対する相対的な位置を検出する測定点位置検出部と、
   前記所定の測定点の位置に基づき、前記投写面を近似する近似平面を算出する平面算出部と、を含む、投写型表示装置。
5. 請求項４に記載の投写型表示装置であって、
   前記角度算出部は、さらに、
   ３つ以上の基準点を含む所定のパターン画像を前記投写型表示装置に投写させるパターン投写部を含み、
   前記所定の測定点は、前記投写面に表示された前記パターン画像の前記基準点である、投写型表示装置。
6. 請求項１ないし請求項５のいずれかに記載の投写型表示装置であって、
   前記所定の基準平面は、前記投写型表示装置の設置面である、投写型表示装置。
7. 請求項１ないし請求項６のいずれかに記載の投写型表示装置であって、さらに、
   光を発する光源部と、
   前記光源部の発する光を画像を表す有効な画像光へと変調するための有効パネル画像を、パネル面の画像形成領域に形成する画像形成パネル部と、を備え、
   前記キーストーン補正部は、前記基準線分の検出結果と前記補完線分の設定結果とに基づき、前記画像形成領域中の一部の領域である補正後画像形成領域を算出すると共に、前記有効パネル画像を前記画像形成領域中の前記補正後画像形成領域に形成させることによって、前記投写面上に表示される画像の台形歪みを補正する、投写型表示装置。
8. 投写により投写面に画像を表示させる表示方法であって、
   （ａ）撮影により撮影画像を生成する工程と、
   （ｂ）前記投写面と前記投写の光軸との相対的な角度を算出する角度算出部と、
   （ｃ）前記撮影画像において少なくとも１つの基準線分を検出する工程と、
   （ｄ）前記角度に基づき、前記撮影画像における少なくとも１つの補完線分を、前記基準線分と前記補完線分により規定される領域に対応する前記投写面上の領域が矩形となるように設定する工程と、
   （ｅ）前記基準線分と前記補完線分とに基づき、前記投写面上に表示される画像の台形歪みを補正する工程と、
   前記角度に基づき、所定の基準平面に垂直な任意の線に対応する前記撮影画像上の直線が通るべき垂直消失点と、前記所定の基準平面に平行な任意の線に対応する前記撮影画像上の直線が通るべき水平消失点と、を算出する工程と、を備え、
   前記基準線分を検出する工程は、前記撮影画像における任意の線分を前記基準線分として検出する工程であり、
   前記垂直消失点と前記水平消失点とを算出する工程は、前記投写面上において前記基準線分に対応する線分に平行な任意の直線に対応する前記撮影画像上の直線が通るべき第１の消失点と、前記投写面上において前記基準線分に対応する線分に垂直な任意の直線に対応する前記撮影画像上の直線が通るべき第２の消失点と、を算出する工程を含み、
   前記補完線分を設定する工程は、前記撮影画像において前記第１の消失点と前記第２の消失点との少なくとも一方を通る直線上の線分を前記補完線分として設定する工程である、表示方法。

Images