JP5239611B2 - 投写型表示装置および画像の補正方法 - Google Patents

Description

本発明は、スクリーンに画像を表示させるための投写型表示装置およびスクリーンに投写される画像の補正方法に関する。

従来から、プロジェクタをはじめとする投写型表示装置において、投写された画像の歪みを補正するため、投写型表示装置に備えられたＣＣＤ等の撮影装置によりスクリーンを撮影し、撮影画像からスクリーン枠を検出する技術が知られている。（特許文献１）。

特開２００６−６０４４７号公報

しかし、撮影画像からスクリーン枠の形状を検出する際、検出に時間が掛かかることや、撮影画像に写ったスクリーン枠以外のものを誤ってスクリーン枠として検出する等の不具合が生じることがあった。

本発明は、上記した従来の課題の少なくとも一部を解決するためになされた発明であり、スクリーン枠の形状の検出に伴う不具合を抑制することを目的とする。

上記課題の少なくとも一部を解決するために本願発明は以下の態様を採る。

第１の態様は、投写面に画像を表示させるための投写型表示装置を提供する。本発明の第１の態様に係る投写型表示装置は、測定用パターンを投写する投写部と、前記測定用パターンが投写されている投写領域を撮影して撮影画像を生成する撮影部と、前記撮影画像を用いて、前記測定用パターンにより形成される前記投写領域上の複数の測定点の三次元座標を計測する計測部と、前記測定点の三次元座標を用いて、前記投写領域上の段差部を含む段差領域を前記撮影画像から検出する段差領域検出部と、前記段差領域からスクリーン枠を検出する枠検出部と、を備える。

第１の態様に係る投写型表示装置によれば、まず、撮影画像から段差領域を検出し、この段差領域からスクリーン枠を検出するため、スクリーン枠の形状の検出に伴う不具合を抑制することができる。

第１の態様に係る投写型表示装置において、前記段差領域検出部は、３つ以上の前記測定点の三次元座標から、スクリーン面を含む平面に近似する近似平面を算出する平面算出部と、前記測定点のそれぞれについて、前記近似平面上にあるか否かを判定する判定部と、を備え、前記判定部による判定結果に基づき、前記段差領域を検出してもよい。この場合、測定点の三次元座標を用いて撮影画像から段差領域を検出し、この段差領域からスクリーン枠を検出するため、スクリーン枠の形状の検出に伴う不具合を抑制することができる。

第１の態様に係る投写型表示装置において、前記段差領域検出部は、前記判定結果が隣同士で異なる複数の前記測定点のうち、前記近似平面上にあると判定された前記測定点を含む四角形の内枠と、前記近似平面上にないと判定された前記測定点を含む四角形の外枠との間の領域を前記段差領域として検出してもよい。この場合、内枠と外枠との間の領域にスクリーン枠が含まれているため、スクリーン枠の形状の検出に伴う不具合を抑制することができる。

第１の態様に係る投写型表示装置において、複数の前記測定点は、マトリクス状に配置されていてもよい。この場合、マトリクス状に配置された測定点を結んで形成される領域にスクリーン枠が含まれるため、スクリーン枠の形状の検出に伴う不具合を抑制することができる。

第１の態様に係る投写型表示装置はさらに、外部から画像データを取得する画像取得部と、検出されたスクリーン枠の形状に基づき、前記画像取得部により取得された画像データにより表される投写画像の台形歪みを補正する歪み補正部と、を備えてもよい。この場合、画像取得部により取得された画像データにより表される投写画像について、検出されたスクリーン枠の形状に基づき台形歪み補正をおこなうことができる。

第１の態様に係る投写型表示装置はさらに、光を発する光源部と、前記光源部の発する光を、画像を表す画像光に変調するためのパネル画像を、パネル面の画像形成領域に形成する画像形成パネル部と、を備え、前記歪み補正部は、検出されたスクリーン枠の形状に基づき、前記画像形成領域中の一部の領域である補正後画像形成領域を算出すると共に、前記パネル画像を前記補正後画像形成領域に形成させることによって、前記投写部の投写により表される画像の台形歪みを補正してもよい。この場合、検出されたスクリーン枠の形状に合わせて投写画像の台形歪み補正をおこなうことができる。

本発明は、種々の態様で実現することが可能であり、例えば、プロジェクタ、画像投写方法および装置、画像補正方法および装置、キーストーン補正方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の態様で実現することができる。

以下、本発明に係る投写型表示装置としてのプロジェクタについて、図面を参照しつつ、実施例に基づいて説明する。

Ａ．第１実施例：
Ａ−１．プロジェクタの構成：
図１は、本発明の第１実施例におけるプロジェクタの構成を概略的に示すブロック図である。プロジェクタ１００は、画像を表す画像光を投写して、スクリーンＳＣなどの投写面上に画像（以下「表示画像」と呼ぶ）を表示させる。本実施例では、スクリーンＳＣは、矩形形状であって、その外周に沿って黒色の枠を有しているものとする。

プロジェクタ１００は、Ａ／Ｄ変換部１１０と、内部メモリ１２０と、液晶パネル１３０と、液晶パネル駆動部１３２と、照明光学系１４０と、ズームレンズ１５２を有する投写光学系１５０と、ズームレンズ駆動部１５４と、ＣＰＵ１６０と、リモコン制御部１７０と、リモコン１７２と、撮影部１８０と、撮影画像メモリ１８２と、を備えている。プロジェクタ１００の各構成要素は、バス１０２を介して互いに接続されている。

Ａ／Ｄ変換部１１０は、図示しないＤＶＤプレーヤやＰＣ（パーソナルコンピュータ）などからケーブル３００を介して入力された入力画像信号に対して、必要によりＡ／Ｄ変換を行い、デジタル画像信号を出力する。

内部メモリ１２０には、画像処理部２００として機能するコンピュータプログラムが格納されている。画像処理部２００は、Ａ／Ｄ変換部１１０から出力されたデジタル画像信号に対して画像の表示状態（例えば、輝度、コントラスト、同期、トラッキング、色の濃さ、色合い等）の調整を行った上で、デジタル画像信号を液晶パネル駆動部１３２へと出力する。また、画像処理部２００は、モジュールとして、パターン投写部２０２と、計測部２０４と、段差領域検出部２１０と、枠検出部２２０と、キーストーン補正部２３０と、座標変換部２４０と、を含んでいる。段差領域検出部２１０は、平面算出部２１１と、判定部２１２と、を含んでいる。これら各部の機能は、後述のキーストーン補正処理の説明において詳述する。

液晶パネル駆動部１３２は、画像処理部２００を経て入力されたデジタル画像信号に基づいて、液晶パネル１３０を駆動する。液晶パネル１３０は、照明光学系１４０から照射された照明光を画像を表す有効な画像光へと変調するための画像（以下「有効パネル画像ＰＩ」と呼ぶ）を、液晶パネル１３０の表面（以下「パネル面」と呼ぶ）の画像形成領域ＩＦに形成する。

図２は、液晶パネル１３０と画像形成領域ＩＦとの関係を概略的に示す説明図である。画像形成領域ＩＦとは、液晶パネル駆動部１３２に入力されたデジタル画像信号に基づいて有効パネル画像ＰＩを形成可能な液晶パネル１３０のパネル面上の領域を意味している。図２では、画像形成領域ＩＦを破線で囲まれた領域として示している。図２（ａ）に示すように、本実施例の画像形成領域ＩＦは、液晶パネル１３０のパネル面全面より４周それぞれ２ドット程度ずつ小さい領域に設定されている。なお、液晶パネル１３０のパネル面全面に対する画像形成領域ＩＦの大きさは任意に設定可能である。

図２では、有効パネル画像ＰＩが形成される領域をハッチングを付して示している。通常は、図２（ａ）に示すように、画像形成領域ＩＦの全領域に有効パネル画像ＰＩが形成される。しかし、後に詳述するキーストーン補正処理を実行する際には、図２（ｂ）に示すように、液晶パネル１３０の画像形成領域ＩＦ中の一部の領域に有効パネル画像ＰＩが形成され、画像形成領域ＩＦの残りの領域には全黒の画像（図２（ｂ）では白色で示す）が形成されることがある。このキーストーン補正時に有効パネル画像ＰＩが形成される画像形成領域ＩＦ中の一部の領域を「補正後画像形成領域ＲＩＦ」と呼ぶ。図２では、補正後画像形成領域ＲＩＦを一点鎖線で囲まれた領域として示している。

また、例えば、液晶パネル駆動部１３２に入力されたデジタル画像信号の解像度が液晶パネル１３０の解像度と比較して小さいときであって、入力されたデジタル画像を拡大することなくそのまま液晶パネル１３０上に形成する場合には、図２（ｃ）に示すように、画像形成領域ＩＦは、上記両解像度の比に対応して、液晶パネル１３０のパネル面全面よりさらに小さい領域に設定されることとなる。

投写光学系１５０（図１）は、プロジェクタ１００の筐体の前面に取り付けられており、液晶パネル１３０によって画像光へと変調された光を拡大投写する。ズームレンズ駆動部１５４は、投写光学系１５０が備えるズームレンズ１５２を駆動して、ズーム状態を変化させることができる。ここで、ズーム状態とは、投写光学系１５０において、液晶パネル１３０を透過した光を投写する際の拡大の程度（倍率）を意味している。すなわち、ズームレンズ駆動部１５４は、ズームレンズ１５２を駆動してスクリーンＳＣ上に表示させる表示画像の大きさを変化させることができる。

リモコン制御部１７０は、リモコン１７２を通じたユーザからの指示を受信し、バス１０２を介してその指示をＣＰＵ１６０に伝える。なお、本実施例では、プロジェクタ１００は、ユーザからの指示を、リモコン１７２およびリモコン制御部１７０を通じて受け取るものとしているが、ユーザからの指示を例えば操作パネルなどの他の構成を通じて受け取るものとすることも可能である。

ＣＰＵ１６０は、内部メモリ１２０から画像処理部２００としてのコンピュータプログラムを読み出して実行することにより、スクリーンＳＣに向けて画像を投写したり、後述のキーストーン補正処理などの画像処理を行ったりする。また、ＣＰＵ１６０は、プロジェクタ１００全体の制御を行う。

撮影部１８０は、ＣＣＤカメラを有しており、撮影によって撮影画像を生成する。撮影部１８０は、液晶パネル１３０の最大の画像形成領域ＩＦ（図２（ａ）参照）に対応する画像が投写される領域すべてを撮影できるように、その設置位置や画角が設定されている。撮影部１８０により生成された撮影画像は、撮影画像メモリ１８２内に格納される。なお、撮影部１８０は、ＣＣＤカメラの代わりに他の撮影デバイスを有していてもよい。

本実施例では、キーストーン補正処理などの画像処理は、ＣＰＵ１６０が内部メモリ１２０からコンピュータプログラムを読み出して実行するものとしているが、ＡＳＩＣ（特定用途向け集積回路）により処理がおこなわれる構成としてもよい。

Ａ−２．キーストーン補正処理
図３は、第１実施例のプロジェクタ１００によるキーストーン補正処理の流れを示すフローチャートである。キーストーン補正処理は、スクリーンＳＣ上の表示画像の外周線の各辺がスクリーンＳＣの枠の各辺と平行となるように、表示画像の台形歪みを補正する処理である。キーストーン補正処理は、ユーザからのリモコン１７２を通じた指示に応じて実行される。なお、キーストーン補正処理は、例えば電源オンや画像信号の入力に応じて自動的に実行されるものとしてもよい。

ステップＳ１１０では、パターン投写部２０２（図１）が、測定用パターン画像ＰＴを液晶パネル１３０に形成させ、照明光学系１４０および投写光学系１５０に画像光を投写させる。測定用パターン画像ＰＴの画像データは、内部メモリ１２０の所定の領域に格納されている。

図４は、測定用パターン画像ＰＴの例を示す説明図である。図４では、測定用パターン画像ＰＴを明示するために画像の白色部分と黒色部分とを反対に示している。測定用パターン画像ＰＴは、複数の測定点ＲＰを含んでいる。図４（ａ）に示す測定用パターン画像ＰＴは、黒色の背景にマトリクス状に配列された複数の白色のドットを含む画像であり、各ドットが測定点ＲＰに設定されている。図４（ｂ）に示す測定用パターン画像ＰＴは、黒色の背景に白色の升目模様が配置された画像であり、升目の縦線と横線との各交点が測定点ＲＰに設定されている。図４（ｃ）に示す測定用パターン画像ＰＴは、黒色エリアと白色エリアとが交互に配置された市松模様の画像であり、各エリアの各頂点が測定点ＲＰに設定されている。図４（ｄ）に示す測定用パターン画像ＰＴは、黒色の背景に白色の小さい矩形と当該矩形を包含する白色の大きい矩形とを含む画像であり、各矩形の各頂点が測定点ＲＰに設定されている。なお、測定用パターン画像ＰＴは、３つ以上の測定点ＲＰを含む画像（ただしすべての測定点ＲＰが１つの直線上に位置する画像は除く）であれば、図４に示した画像以外の画像を採用することも可能である。ただし、測定用パターン画像ＰＴに含まれる測定点ＲＰの数は、後述するスクリーンＳＣの近似平面の式の算出精度向上の点からは、多いほど良い。

図５は、測定用パターン画像ＰＴを投写した状態を示す説明図である。本実施例では、スクリーンＳＣの背後には、スクリーンＳＣのスクリーン面と略平行な壁面である背後壁面ＢＷが配置されている。測定用パターン画像ＰＴは、スクリーンＳＣ、および、背後壁面ＢＷにかかるように投写され、測定点ＲＰは、スクリーンＳＣのみではなく、背後壁面ＢＷ上にも形成される。測定用パターン画像ＰＴが投写されている領域を投写領域ＰＡと呼ぶ。なお、スクリーンＳＣの背後には、何らかの物体が存在していればよく、壁面に限られない。

ステップＳ１２０（図３）では、撮影部１８０（図１）が、測定用パターン画像ＰＴが投写されている投写領域ＰＡを撮影して、撮影画像ＣＩを生成する。生成された撮影画像ＣＩは、撮影画像メモリ１８２に格納される。

ステップＳ１３０（図３）では、計測部２０４（図１）が、撮影画像ＣＩに基づいて、測定点ＲＰの三次元座標を検出する。図６は、測定点ＲＰの三次元座標の検出の概要を示す説明図である。図６には、レンズ座標系における測定用パターン画像ＰＴ（図４（ａ）参照）が投写された投写領域ＰＡが示されている。本実施例では、スクリーンＳＣまたは背後壁面ＢＷに表示された測定用パターン画像ＰＴに含まれるすべての測定点ＲＰの三次元座標について検出する。また、本実施例では、ズームレンズ１５２の主点を原点とし、ズームレンズ１５２の光軸をｚ軸（ｚｌ軸）とする三次元座標（以下、「レンズ座標系」とも呼ぶ）における、各測定点ＲＰの三次元座標の検出が行われる。すなわち、各測定点ＲＰのプロジェクタ１００に対する相対的な位置の検出が行われる。

計測部２０４は、撮影画像ＣＩを解析して撮影画像ＣＩにおける測定点ＲＰの位置を検出し、検出された測定点ＲＰのレンズ座標系における三次元座標を検出する。測定点の三次元座標の検出は、ズームレンズ１５２と撮影部１８０との視差を利用し、三角測量の原理により三次元座標を検出する能動型のアクティブステレオ法を用いて行う。なお、測定点の三次元座標の検出に用いられる方法は、アクティブステレオ法以外の三次元座標検出方法（例えば複数のカメラを用いた受動型のステレオ法）であるとしてもよい。また、測定点の三次元座標の検出に用いられる座標系は、レンズ座標系以外の座標系（例えば後述のカメラ画像系）であるとしてもよい。

ステップＳ１４０（図３）では、平面算出部２１１（図１）が、検出された各測定点の三次元座標に基づき、スクリーンＳＣのスクリーン面を含む平面に近似する近似平面の式を算出する。具体的には、平面算出部２１１は、測定用パターン画像ＰＴの中央部分に位置する測定点ＲＰ（図６において破線で囲んで示す）の三次元座標を用いた最小二乗法により、スクリーンＳＣのスクリーン面を含む平面に近似する近似平面の式を算出する。測定用パターン画像ＰＴの中央部分に位置する測定点ＲＰのみを利用するのは、スクリーンＳＣ上に位置しない点を極力除外するためである。この近似平面の式は、図６に示すように、ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０の形で表される。このとき、ベクトル（ａ，ｂ，ｃ）は、スクリーンＳＣの近似平面の法線ベクトルとなる。以後この近似平面を近似平面ＶＦと呼ぶ。

なお、近似平面ＶＦの式は、すべての点が１つの直線上に位置しないような少なくとも３つ以上の測定点ＲＰの三次元座標が検出されていれば算出することができる。従って、近似平面ＶＦの式の算出に用いる測定点ＲＰの数は、３つ以上の任意の数に設定可能である。

ステップＳ１５０（図３）では、判定部２１２（図１）が、各測定点ＲＰについて、近似平面ＶＦ上にあるか否かの判定をおこなう。図７は、近似平面ＶＦと測定点ＲＰとの位置関係を示す説明図である。図７に示すように、判定部２１２は、計測部２０４（図１）により検出された各測定点ＲＰの三次元座標（ｘ,ｙ,ｚ）を、近似平面ＶＦの式ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０にあてはめることにより、各測定点ＲＰが近似平面ＶＦ上にあるか否かを判定する。すなわち、測定点ＲＰがスクリーンＳＣ上に設定されている場合には、測定点ＲＰの三次元座標は、近似平面ＶＦの式を満たし、近似平面ＶＦ上にあると判定される。測定点ＲＰがスクリーンＳＣ上ではなく、背後壁面ＢＷ上に設定されている場合には、測定点ＲＰの三次元座標は、近似平面ＶＦの式を満たさないため、近似平面ＶＦ上にないと判定される。

なお、本実施例では、各測定点ＲＰについて、近似平面ＶＦ上にあるか否かの判定をおこなっているが、測定点ＲＰが近似平面ＶＦ上にあるか否かの判定は、すべての測定点ＲＰについておこなう必要ななく、例えば、中央部分に位置する測定点ＲＰについて判定した後、この測定点ＲＰからｘ軸方向に沿った各測定点ＲＰについて順次判定をおこない、近似平面ＶＦ上ではないと判定された測定点ＲＰ以降の測定点ＲＰについては、すべて近似平面ＶＦ上ではないと判定し、これを同様にｙ軸方向にもおこなうことで判定してもよい。

ステップＳ１６０（図３）では、段差領域検出部２１０（図１）が、撮影画像ＣＩから段差領域ＤＡを検出する。段差領域ＤＡとは、投写領域ＰＡ上の段差部を含む領域をいい、段差部とは、スクリーンＳＣの枠辺と背後壁面ＢＷとの間に生じているプロジェクタ１００からの距離の差をいう。段差領域検出部２１０は、投写領域ＰＡのうち、この段差部を含む段差領域ＤＡを検出することで、撮影画像ＣＩからスクリーンＳＣの枠辺（スクリーンＳＣの枠を構成する各辺）が含まれている領域を検出する。

図８は、判定部による各測定点ＲＰの判定結果を模式的に示した説明図である。図８では、判定部２１２により、近似平面ＶＦ上にあると判定された測定点ＲＰを「測定点ＲＰ１」と示し、近似平面ＶＦ上にないと判定された測定点ＲＰを「測定点ＲＰ２」と示している。測定点ＲＰ１と測定点ＲＰ２との間には、スクリーンＳＣの枠辺と背後壁面ＢＷとの間に生じる段差部が存在している。すなわち、図８に示すように、スクリーンＳＣの枠部分は、隣同士で判定結果が異なる測定点ＲＰの間に位置している。

図９は、段差領域ＤＡを例示した説明図である。段差領域検出部２１０は、判定結果が隣同士で異なる複数の測定点ＲＰのうち、近似平面ＶＦ上にあると判定された測定点ＲＰ１を含む四角形の内枠ＮＦと、近似平面ＶＦ上にないと判定された測定点ＲＰ２を含む四角形の外枠ＯＦを設定し、内枠ＮＦおよび外枠ＯＦとの間の領域を段差領域ＤＡとして検出する。なお、段差領域ＤＡの設定方法はこれに限られず、例えば、本実施例のように、測定点ＲＰがマトリクス状に配置されている場合には、判定結果が隣同士で異なる複数の測定点ＲＰのうち、近似平面ＶＦ上にあると判定された測定点ＲＰ１、および、近似平面ＶＦ上にないと判定された測定点ＲＰ２をそれぞれ結び、この間に形成される領域を段差領域ＤＡとしても同様の領域が形成される。

ステップＳ１７０（図３）では、枠検出部２２０が、撮影画像ＣＩ上に設定された段差領域ＤＡからスクリーンＳＣの枠辺を検出する。具体的には、枠検出部２２０は、撮影画像ＣＩ上に設定された段差領域ＤＡに微分フィルタやラプラシアンフィルタといった輪郭抽出フィルタをかけてスクリーン枠によるエッジを検出し、このエッジからスクリーンＳＣの枠辺の位置を特定する。なお、スクリーン枠の左辺および右辺についてエッジ検出をおこなう際には、撮影画像ＣＩの左右方向（水平方向）の輪郭に強く反応する輪郭抽出フィルタを用いるのが好ましく、スクリーンの上辺および下辺について検出をおこなう際には、撮影画像ＣＩの上下方向（垂直方向）の輪郭に強く反応する輪郭抽出フィルタを用いるのが好ましい。スクリーン枠の位置の特定方法としては特に限定はないが、例えば、スクリーンＳＣの枠部の４頂点のカメラ座標系の標準座標系における座標値を検出することにより特定することができる。

ステップＳ１８０（図３）では、キーストーン補正部２３０（図１）が、撮影画像ＣＩにおいて検出されたスクリーンＳＣの枠辺の位置を参照して、キーストーン補正を実行する。キーストーン補正は、公知の方法（例えば特開２００６−６０４４７号公報に記載の方法）を用いて実行可能である。すなわち、図９に示したカメラ座標系の標準座標系におけるスクリーンＳＣの枠辺の座標値が、射影変換によりレンズ座標系の標準座標系に変換される。

この射影変換は、プロジェクタ１００におけるズームレンズ１５２の光軸と撮影部１８０のレンズの光軸との相違を補償するために行われる。すなわち、上述したスクリーン枠の座標はカメラ座標系の標準座標系における座標であり、射影変換によって、レンズ座標系におけるスクリーン枠の座標が求められる。

座標変換部２４０は、ズームレンズ１５２と撮影部１８０の相対的な回転量を表す３次元の回転行列Ｒと、ズームレンズ１５２と撮影部１８０の相対的な並進量を表す３次元の列ベクトルｔと、投写平面の方程をａｘ＋ｂｙ＋ｃｚ＝１と表したときの３次元の行ベクトルｎ＝（ａ，ｂ，ｃ）と、３次元の単位行列Ｅにより表される射影変換行列＝Ｒ（Ｅ＋ｔｎ）を算出する。そして、この射影変換行列を用いて、カメラ座標系の標準座標系からレンズ座標系の標準座標系への射影変換を行う。これにより、レンズ座標系の標準座標系におけるスクリーン枠の座標が算出される。射影変換により算出されたレンズ座標系の標準座標系におけるスクリーンＳＣの枠辺の座標値から、液晶パネル１３０上におけるスクリーンＳＣに対応する領域が補正後画像形成領域ＲＩＦ（図２参照）として算出される。その後、必要によりズーム状態の調整が行われた上で、液晶パネル１３０上の補正後画像形成領域ＲＩＦに有効パネル画像ＰＩが形成されることにより、スクリーンＳＣ上の表示画像の台形歪みが補正される。なお、本実施例では、ズームレンズ１５２と撮影部１８０の相対的な位置関係を用いて射影変換行列の算出を行っているが、測定点ＲＰのレンズ座標系での座標とカメラ座標系での座標との対応関係から最小二乗法により射影変換行列を算出してもよい。

以上説明したように、第１実施例のプロジェクタ１００では、撮影画像ＣＩから段差領域ＤＡを検出し、この段差領域ＤＡからスクリーンの枠辺を検出するため、スクリーン枠の形状の検出に伴う不具合を抑制することができる。すなわち、撮影画像ＣＩから段差領域ＤＡを検出することで、スクリーン枠を検出する範囲を段差領域ＤＡに限定することができるため、撮影画像ＣＩに写る蛍光灯などのスクリーン枠以外のものを誤ってスクリーン枠として検出する不具合や、スクリーン枠を検出する際に掛かる時間を抑制することができる。

第１実施例のプロジェクタ１００では、測定点ＲＰの三次元座標を用いて撮影画像ＣＩから段差領域ＤＡを検出しているため、スクリーン枠の形状の検出に伴う不具合を抑制することができる。具体的には、測定点ＲＰの三次元座標から段差領域ＤＡを検出することにより、撮影画像ＣＩ全体からスクリーン枠を検出する際に掛かる時間より短縮してスクリーン枠を検出することができ、また、測定点の数や配置により、段差領域ＤＡを小さくしてスクリーン枠を検出する際に掛かる時間より短縮することもできる。

第１実施例のプロジェクタ１００では、内枠ＮＦと外枠ＯＦとの間の領域を段差領域ＤＡとしているため、スクリーン枠の形状の検出に伴う不具合を抑制することができる。具体的には、隣同士で判定結果が異なる測定点ＲＰの間にスクリーン枠による段差が存在する。また、スクリーン枠は枠状であるため、同様に枠形状である内枠ＮＦと、外枠ＯＦとの間の領域にスクリーン枠は位置している。よって、この領域を段差領域ＤＡとすることで段差領域ＤＡの検出時間の短縮や領域を小さくすることができる。

Ｂ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｂ−１．変形例１：
上記実施例では、測定用パターン画像ＰＴにより設定される複数の測定点ＲＰは、マトリクス状に配置されているが、測定点ＲＰの設定位置はこれに限られない。図１０は、変形例１における測定点ＲＰの設定位置を例示した説明図である。図１０は、第１の実施例における図８に相当する。図１０では、測定点ＲＰは上下方向および左右方向に各一列ずつ設定されている。この場合であっても、図８と同様に、隣同士で判定結果が異なる測定点ＲＰの間には、スクリーンＳＣの枠部分が存在することから、この測定点ＲＰに基づき、例えば、以下のように段差領域ＤＡを設定することで、スクリーンＳＣの枠部分を検出することができる。

図１１は、変形例１における段差領域ＤＡを例示した説明図である。第１の実施例と同様に、判定結果が隣同士で異なる複数の測定点ＲＰのうち、近似平面ＶＦ上にあると判定された測定点ＲＰ１を含む四角形の内枠ＮＦと、近似平面ＶＦ上にないと判定された測定点ＲＰ２を含む四角形の外枠ＯＦとの間の領域を段差領域ＤＡとして検出することができる。この変形例で示すように、内枠ＮＦおよび外枠ＯＦは、枠を構成する４辺上に、それぞれ１つ以上の測定点ＲＰがあれば設定することができる。

Ｂ−２．変形例２：
上記実施例では、測定点ＲＰは直線状に配置され、また、内枠ＮＦと外枠ＯＦにより段差領域ＤＡを検出しているが、測定点ＲＰの設定位置や段差領域ＤＡの検出方法はこれに限られない。図１２は、変形例２における測定点ＲＰの設定位置を例示した説明図である。図１３は、変形例２における段差領域ＤＡを例示した説明図である。図１２に示すように、測定点ＲＰは直線状ではなく、任意の位置に設定されていてもよいし、段差領域ＤＡは内枠ＮＦおよび外枠ＯＦを用いず、例えば図１３に示すように、隣同士で判定結果が異なる測定点ＲＰのうち、判定結果が同じ測定点ＲＰ同士を結んで形成される領域としてもよい。

Ｂ−３．変形例３：
上記実施例では、測定点の三次元座標の検出が、撮影部１８０を用いた三角測量の原理を利用して実行されているが、距離センサーを利用して実行されるものとしてもよい。

Ｂ−４．変形例４：
上記実施例において、測定点ＲＰの三次元座標の検出やスクリーンＳＣの枠辺の座標値の検出の際に用いられている座標系はあくまで一例であり、これらの処理に用いる座標系は任意に設定可能であり、例えば、測定点ＲＰの三次元座標の検出にレンズ座標系ではなくカメラ座標系が用いられるとしてもよい。また、上記各実施例では、プロジェクタ１００におけるズームレンズ１５２の光軸と撮影部１８０のレンズの光軸との相違を補償するために、レンズ座標系の標準座標系とカメラ座標系の標準座標系との間の座標変換が実行されているが、光軸の相違はわずかなものであるとして座標変換を省略することも可能である。

Ｂ−５．変形例５：
上記実施例では、投写面としてスクリーンＳＣは、スクリーン面と背後壁面ＢＷとの間に一定の距離を有していれば、自立したものであっても、背後壁面ＢＷに取り付けられていてもよい。また、スクリーンＳＣ以外のものが用いられてもよい。例えば、ホワイトボードに、黒色のラインマーカで矩形の枠を描き、そのホワイトボードを投写面としてもよい。また、スクリーンＳＣの代わりに背後壁面ＢＷの一部に段差部を有した投写面が形成されていてもよい。

また、投写面の色としては、枠が黒色、枠の内側及び外側の領域が白色に限定されるものでもなく、枠が白色、枠の内側及び外側の領域が黒色であってもよい。また、投写面の色は白色と黒色とに限らず、枠の色と枠の内側及び外側の領域の色とは、所望のコントラスト比がある色であれば、どのような色の組み合わせであっても構わない。

Ｂ−６．変形例６：
上記実施例では、プロジェクタ１００が液晶パネル１３０を１つしか有していないが、プロジェクタ１００が複数の色成分に対応する複数の液晶パネル１３０を有するものとしてもよい。また、プロジェクタ１００は、液晶パネル以外の電気光学装置（例えばＤＭＤ（テキサス・インスツルメンツ社の商標））を有するものとしてもよい。また、プロジェクタ１００は、ＣＲＴプロジェクタであるとしてもよい。また、本発明は、プロジェクタ１００に限らず、投写により投写面に画像を表示させる投写型表示装置一般に適用可能である。

Ｂ−７．変形例７：
上記実施例では、撮影部１８０がＣＣＤカメラを有しているとしているが、撮影部１８０は、撮影により撮影画像を生成することが可能であればよく、例えばＣＭＯＳカメラ等の他の撮影装置を有しているとしてもよい。

Ｂ−８．変形例８：
上記実施例では、ズームレンズ駆動部１５４により、ズームレンズ１５２を駆動して、ズーム状態を変化させることができるとしているが、プロジェクタ１００は、ズームレンズ駆動部１５４を備えない構成であってもよく、さらに、ズームレンズ１５２も備えない構成としてもよい。この場合であっても、スクリーン枠の検出をおこなうことができる。

Ｂ−９．変形例９：
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。

本発明の第１実施例におけるプロジェクタの構成を概略的に示すブロック図である。 液晶パネル１３０と画像形成領域ＩＦとの関係を概略的に示す説明図である。 第１実施例のプロジェクタ１００によるキーストーン補正処理の流れを示すフローチャートである。 測定用パターン画像ＰＴの例を示す説明図である。 測定用パターン画像ＰＴを投写した状態を示す説明図である。 測定点ＲＰの三次元座標の検出の概要を示す説明図である。 近似平面ＶＦと測定点ＲＰとの位置関係を示す説明図である。 判定部による各測定点ＲＰの判定結果を模式的に示した説明図である。 段差領域ＤＡを例示した説明図である。 変形例１における測定点ＲＰの設定位置を例示した説明図である。 変形例１における段差領域ＤＡを例示した説明図である。 変形例２における測定点ＲＰの設定位置を例示した説明図である。 変形例２における段差領域ＤＡを例示した説明図である。

符号の説明

１００…プロジェクタ
１０２…バス
１２０…内部メモリ
１３０…液晶パネル
１３２…液晶パネル駆動部
１４０…照明光学系
１５０…投写光学系
１５２…ズームレンズ
１５４…ズームレンズ駆動部
１６０…ＣＰＵ
１７０…リモコン制御部
１７２…リモコン
１８０…撮影部
１８２…撮影画像メモリ
２００…画像処理部
２０２…パターン投写部
２０４…計測部
２１０…段差領域検出部
２１１…平面算出部
２１２…判定部
２２０…枠検出部
２３０…キーストーン補正部
２４０…座標変換部
３００…ケーブル

Claims (7)

1. 投写面に画像を表示させるための投写型表示装置であって、
   測定用パターンを投写する投写部と、
   前記測定用パターンが投写されている投写領域を撮影して撮影画像を生成する撮影部と、
   前記撮影画像を用いて、前記測定用パターンにより形成される前記投写領域上の複数の測定点の三次元座標を計測する計測部と、
   前記測定点の三次元座標を用いて、前記投写領域上の段差部であって、スクリーン枠と前記スクリーン枠の背後の面との間の段差部を含む段差領域を前記撮影画像から検出する段差領域検出部と、
   前記段差領域からスクリーン枠を検出する枠検出部と、を備える投写型表示装置。
2. 請求項１に記載の投写型表示装置において、
   前記段差領域検出部は、
   ３つ以上の前記測定点の三次元座標から、スクリーン面を含む平面に近似する近似平面を算出する平面算出部と、
   前記測定点のそれぞれについて、前記近似平面上にあるか否かを判定する判定部と、を備え、
   前記判定部による判定結果に基づき、前記段差領域を検出する投写型表示装置。
3. 請求項２に記載の投写型表示装置において、
   前記段差領域検出部は、前記判定結果が隣同士で異なる複数の前記測定点のうち、前記近似平面上にあると判定された前記測定点を含む四角形の内枠と、前記近似平面上にないと判定された前記測定点を含む四角形の外枠との間の領域を前記段差領域として検出する投写型表示装置。
4. 請求項３に記載の投写型表示装置において、
   複数の前記測定点は、マトリクス状に配置されている投写型表示装置。
5. 請求項１ないし請求項４のいずれかに記載の投写型表示装置はさらに、
   外部から画像データを取得する画像取得部と、
   検出されたスクリーン枠の形状に基づき、前記画像取得部により取得された画像データにより表される投写画像の台形歪みを補正する歪み補正部と、を備える投写型表示装置。
6. 請求項５に記載の投写型表示装置はさらに、
   光を発する光源部と、
   前記光源部の発する光を、画像を表す画像光に変調するためのパネル画像を、パネル面の画像形成領域に形成する画像形成パネル部と、を備え、
   前記歪み補正部は、検出されたスクリーン枠の形状に基づき、前記画像形成領域中の一部の領域である補正後画像形成領域を算出すると共に、前記パネル画像を前記補正後画像形成領域に形成させることによって、前記投写部の投写により表される画像の台形歪みを補正する投写型表示装置。
7. スクリーンに投写される画像の補正方法であって、
   測定用パターンを投写する工程と、
   前記測定用パターンが投写されている投写領域を撮影して撮影画像を生成する工程と、
   前記撮影画像を用いて、前記測定用パターンにより形成される前記投写領域上の複数の測定点の三次元座標を計測する工程と、
   前記測定点の三次元座標を用いて、前記投写領域上の段差部であって、スクリーン枠と前記スクリーン枠の背後の面との間の段差部を含む段差領域を前記撮影画像から検出する工程と、
   前記段差領域からスクリーン枠を検出する工程と、
   検出されたスクリーン枠の形状に基づき、画像の歪み補正をおこなう工程と、を備える画像の補正方法。

Images