JP5233613B2 - 投写型表示装置および配置関係検出方法 - Google Patents

Description

本発明は、投写面に向けて画像を投写する投写型表示装置における、投写型表示装置と投写面との配置関係の検出方法に関する。

従来から、画像形成に液晶パネル等の光変調装置を用いたプロジェクタをはじめとする投写型表示装置において、投写された画像（以下「投写画像」と呼ぶ）の台形歪み補正やフォーカス調整など（以下、「投写用調整」という）を行う技術が知られている。こうした投写用調整を行う際には、スクリーンなどの投写面に投写した所定の形状をした形状画像を、投写型表示装置に備えられたＣＣＤカメラなどの撮像部によって撮像して、その撮像画像に基づいて投写型表示装置と投写面との配置関係を測定している（下記特許文献参照）。

特開２００６−６０４４７号公報

このような投写用調整を行う際には、投写面に投写した形状画像に蛍光灯等の照明光の写り込み等が含まれていると、その写り込みを形状画像の一部として誤検出する恐れがあった。そのため形状画像を投写して撮影した画像の画素値から、全白や全黒の画像を投写して撮影した画像の画素値を差し引いて、形状画像を検出していた。この方法は照明光の写り込み等の変化のない一定のノイズを除去するには有効である。しかし外光がＣＣＤカメラやＣＭＯＳカメラ自身に与えるノイズや、外光が投写面に投写した形状画像に与えるノイズ等の、常に変化するノイズに対しては、撮影した画像の各画素の画素値を差し引いた時に、撮影画像２枚分のノイズとして増幅されてしまうことがあり、検出した測定画像から台形歪み補正及びフォーカス調整を行うための測定点の位置検出を行った際に誤差が生じることがあった。

本発明は、上述した従来の課題を解決するためになされたものであり、投写した形状画像の撮像画像から常に変化するノイズを除去し、正確な形状画像を検出する技術を提供することを目的とする。

本発明は、上述の課題の少なくとも一部を解決するために、以下の形態または適用例を取ることが可能である。
投写型表示装置であって、投写面に向けて画像を投写する投写部と、前記投写面に向けて前記投写部から投写された画像を撮像する撮像部と、画像の性質が異なる２以上の領域に区分された第１形状画像を投写させると共に、該第１形状を含む投写された画像を、前記撮像部により撮像させて、第１撮像画像として取得する第１撮像画像取得部と、少なくとも一部が、前記第１形状画像における前記画像の性質が異なる２以上の領域に対して、各領域毎に相互に相補的な性質を有する第２形状画像を投写させると共に、該第２形状を含む投写された画像を、前記撮像部により撮像させて、第２撮像画像として取得する第２撮像画像取得部と、前記取得した第１撮像画像と前記第２撮像画像とに基づいて、前記投写型表示装置に対する前記投写面の配置関係を検出する配置関係検出部とを備える投写型表示装置。

[適用例１]
投写面に向けて映像を投写する投写部を備えた投写型表示装置であって、
前記投写面に向けて前記投写部から投写された画像を撮像する撮像部と、
画像の性質が異なる２以上の領域に区分された第１形状画像を投写させると共に、該第１形状を含む投写された画像を、前記撮像部により撮像させて、第１撮像画像として取得する第１撮像画像取得部と、
前記第１形状画像とは少なくとも一部が、前記画像の性質に関して相補的な性質を有する第２形状画像を投写させると共に、該第２形状を含む投写された画像を、前記撮像部により撮像させて、第２撮像画像として取得する第２撮像画像取得部と、
前記取得した第１撮像画像と前記第２撮像画像とを対応付け、両画像の各画素の画素値を演算して、測定用画像を抽出する測定用画像抽出部と、
前記抽出された測定用画像から測定点を抽出し、前記測定点に基づいて、前記投写部に対する前記投写面の配置関係を検出する配置関係検出部と
を備える投写型表示装置。

この投写型表示装置によれば、第１形状画像と第２形状画像とをそれぞれ投写面に投写し、撮像した第１、第２撮像画像に基づいて投写部と投写面との配置関係を検出することができる。

[適用例２]
適用例１記載の投写型表示装置であって、
前記第１撮像画像と第２撮像画像とは、前記演算により、前記第２形状画像が前記相補的な性質を備えた範囲の前記画像の区分された一つの領域にとっては、演算後の値が演算上の上限または下限を超えた値となって制限される画像である
投写型表示装置。

この投写型表示装置によれば、第１撮像画像と第２撮像画像とを対応付け、両画像の各
画素の画素値を演算し、生成した測定用画像内に、演算後の値が演算上の上限または下限を超えた値となって制限される領域が生成される。測定用画像内のその領域では、第１，第２撮像画像の撮像時に両画像に生じた外光によるノイズは消去される。よって、測定用画像は第１，第２撮像画像に比べ画像情報におけるＳ／Ｎ比が大きい画像が得られる。

[適用例３]
適用例２記載の投写型表示装置であって、
前記第１，第２形状画像における前記画像の性質とは明度、色相、彩度の少なくともいずれかひとつである投写型表示装置。

この投写型表示装置によれば、第１形状画像と第２形状画像とは、少なくとも一部が、明度、色相、彩度の少なくともいずれかひとつにおいて相補的な性質を有すればよいので、
第１形状画像と第２形状画像との組み合わせとして、多数の組み合わせが可能である。ここで相補的とは、第１形状画像と第２形状画像とを比較した際に、２つの画像の対応する部分における明度、色相、彩度の少なくともいずれか一つの要素の高低や分布が逆転していること、あるいは十分に差分を取れる程度に異なっていることを言う。

[適用例４]
適用例３記載の投写型表示装置であって、
前記画像の性質とは明度であり、
前記第１，第２形状画像は各々、明度の異なる２つの領域から構成され、該２つの領域の一方は黒色で他方が白色である
投写型表示装置。

これらの投写型表示装置によれば、第１，第２形状画像とは明度に関して相補的な性質を備えた範囲が存在し、第１，第２形状画像の両画像が白色と黒色で構成されているので、それらの画像を撮像する撮像部はモノクロのみ検出可能なものでもよい。

[適用例５]
適用例３または４記載の投写型表示装置であって、
前記第１形状画像と前記第２形状画像とが互いに前記画像の性質に関して相補的な性質を有する部分の形状は、その形状が平面を定義可能な３点を抽出可能に含んでいる形状である投写型表示装置。

この投写型表示装置によれば、第１形状画像と前記第２形状画像とが互いに前記画像の性質に関して相補的な性質を有する部分の形状から平面を定義可能な３点の抽出が可能なので、第１，第２形状画像に基づいて生成される測定画像のその形状に該当する部分からも平面を定義可能な３点の抽出が可能である。

[適用例６]
適用例５記載の投写型表示装置であって、
前記配置関係検出部は、前記配置関係の１つとして前記投写部から投写する投写光の光軸と前記投写面との傾きである投写角を算出する投写型表示装置。

この投写型表示装置によれば、配置関係検出部は測定用画像に基づいて投写角を算出するので、ユーザーが投写角を測量し、その値を投写型表示装置に入力するという行為は必要ない。

[適用例７]
適用例６記載の投写型表示装置はさらに、
前記配置関係検出部で算出した前記投写角を用いて前記投写面に投写される投写画像の台形歪みを補正する台形歪み補正部を備える投写型表示装置。

この投写型表示装置によれば、この投写型表示装置は台形歪み補正部を備えるのでユーザーが手動で投写型表示装置本体や投写面を動かすことによって投写画像の台形歪みの補正をする必要がない。

[適用例８]
適用例５記載の投写型表示装置であって、
前記配置関係検出部は、前記配置関係の１つとして前記投写型表示装置と前記投写面までの投写距離を算出する投写型表示装置。

この投写型表示装置によれば、配置関係検出部は測定用画像に基づいて投写距離を算出するので、ユーザーが投写距離を測量し、その値を投写型表示装置に入力するという行為は必要ない。

[適用例９]
適用例８記載の投写型表示装置はさらに、
前記配置関係検出部で算出した前記投写距離を用いて前記投写面に投写される投写画像のフォーカス調整を行うフォーカス調整部を備える投写型表示装置。

この投写型表示装置によれば、この投写型表示装置はフォーカス調整部を備えるのでユーザーが手動で投写画像のフォーカス調整をする必要がない。

[適用例１０]
投写型表示装置の投写部と、投写面との配置関係を検出する配置関係検出方法であって、
画像の性質が異なる２以上の領域に区分された第１形状画像を投写させると共に、該第１形状を含む投写された画像を、前記撮像部により撮像させて、第１撮像画像として取得する第１撮像画像取得工程と、
前記第１形状画像とは少なくとも一部が、前記画像の性質に関して相補的な性質を有する第２形状画像を投写させると共に、該第２形状を含む投写された画像を、前記撮像部により撮像させて、第２撮像画像として取得する第２撮像画像取得工程と、
前記取得した第１撮像画像と前記第２撮像画像とを対応付け、両画像の各画素の画素値を演算して、測定用画像を抽出する測定用画像抽出工程と、
前記抽出された測定用画像から測定点を抽出し、前記測定点に基づいて、前記投写部に対する前記投写面の配置関係を検出する配置関係検出工程を備えることを特徴とする配置関係検出方法。

この配置関係検出方法によれば、投写面に２つの形状画像を投写するのみで投写部と投写面との配置関係を検出できるので、投写部と投写面との配置関係を検出するために、様々な測定用の画像を投写面に投写する必要がない。

なお、本発明は、種々の態様で実現することが可能である。例えば、投写面検出方法および装置、投写画像補正方法及び装置、それらの方法または装置の機能を実現するための集積回路、コンピュータプログラム、そのコンピュータプログラムを記録した記録媒体等の形態で実現することができる。

次に、本発明の実施の形態を実施例に基づいて説明する。
Ａ．第１実施例：
（Ａ１）プロジェクタの全体構成
（Ａ２）台形歪み補正の概要
（Ａ３）測定用画像検出処理
（Ａ４）三次元測量処理
（Ａ５）台形歪み補正処理
Ｂ．第２実施例：
Ｃ．変形例：

Ａ．第１実施例：
（Ａ１）プロジェクタの全体構成：
図１は、本発明の第１実施例におけるプロジェクタ１００の全体構成を示すブロック図である。プロジェクタ１００は、画像を表す画像信号を外部から入力し、これをスクリーンＳＣなどの投写面上に画像（以下「投写画像」と呼ぶ）として表示させる。本実施例では、スクリーンＳＣはほぼ直立しており、スクリーン面は矩形形状とされている。

プロジェクタ１００は大きく分けると、光学的な画像の形成を行う光学系と映像信号を電気的に処理する画像処理系とからなる。光学系は、照明光学系１４０、液晶パネル１３０、投写光学系１５０から構成されている。照明光学系１４０は、放電灯（図示せず）を備え、放電灯の光を投写に用いる光として射出する。液晶パネル１３０は、後述する画像処理系からの信号を受けて、パネル面に画像を形成する。液晶パネル１３０は、カラーの投影を行うため、ＲＧＢの三原色に対応した３枚の液晶パネルからなる。そのため、照明光学系１４０からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投写光学系１５０に射出される。

投写光学系１５０には、投写する画像の拡大・縮小および焦点の調整を行うズームレンズ１５２、ズームの度合いを調整するズーム調整用モータ１５６、フォーカスの調整を行うフォーカス調整用モータ１５７が備えられている。投写光学系１５０は、液晶パネル１３０で変調された光を入射し、ズームレンズ１５２を用いて、スクリーンＳＣ上に投写画像を結像する。ズームレンズ１５２は、ズーム調整用モータ１５６とフォーカス調整用モータ１５７とによって、レンズの位置などが調整され、スクリーンＳＣ上の投写画像の拡大・縮小を行うズーム調整や、スクリーンＳＣ上に投写画像を適正に結像させるフォーカス調整を行っている。

他方、画像処理系は、実質的な処理全般を司るＣＰＵ１２０と映像用プロセッサ１３４とを中心に構成され、Ａ／Ｄ変換部１１０、液晶パネル駆動部１３２、ズームレンズ駆動部１５５、ＲＡＭ１６０、形状画像記憶部１７１を含むＲＯＭ１７０、撮像部１８０、撮像画像メモリ１８２、リモコン制御部１９０、リモコン１９１等を備える。これらの画像処理系を構成する各要素は、バス１０２を介して互いに接続されている。

Ａ／Ｄ変換部１１０は、パソコンやＤＶＤプレーヤー等の画像出力機器からケーブル２００を介して入力された入力信号をＡ／Ｄ変換するデバイスであり、変換後のデジタル画像信号を、映像用プロセッサ１３４に出力する。映像用プロセッサ１３４は、入力したデジタル画像信号に対して、輝度、コントラスト、色の濃さ、色合い、投写画像の形状等を調整する処理を行った上で、液晶パネル駆動部１３２に対して、処理後の映像信号を出力する。この映像信号に基づいて、液晶パネル駆動部１３２は、液晶パネル１３０を駆動する。結果的に、Ａ／Ｄ変換部１１０を介して入力した映像信号に対応した映像が、液晶パネル１３０に形成され、この画像が投写光学系１５０を介して、スクリーンＳＣ上に形成されることになる。

映像用プロセッサ１３４が行う画像処理としては、上記の明度、コントラスト、色合いなどの補正の他、台形歪み補正が含まれる。図１では、台形歪み補正を行う回路を、特に台形歪み補正部１３６として示した。この台形歪み補正部１３６では、ＣＰＵ１２０内の後述する投写角算出部１２６で算出した投写角の値に基づいて投写画像の台形歪み補正をデジタル画像信号に対して行っている。こうした映像用プロセッサ１３４は、台形歪み補正用のＤＳＰ（デジタルシグナルプロセッサ）として販売されている汎用のプロセッサを用いることができるが、専用のＡＳＩＣとして構成することも差し支えない。

映像用プロセッサ１３４と共に、プロジェクタ１００における画像処理を行うＣＰＵ１２０は、測定用画像検出部１２２と、ズーム比算出部１２３と、焦点距離算出部１２４と、三次元測量部１２５と、投写角算出部１２６とを備える。これらの各部は、ＣＰＵ１２０がＲＯＭ１７０に予め記憶した特定のプログラムを実行することにより実現される。各処理部は、後で詳述するプロジェクタ１００とスクリーンＳＣとの相対距離（以下、投写距離と言う）や、プロジェクタから投写した投写光の光軸に対するスクリーンＳＣの傾きである投写角（以下、投影投写角と言う）を算出するために必要な処理を行っている。

ＣＰＵ１２０は、その各部の働きにより投影投射角および投写距離を算出すると、投影投射角に対応した信号を映像用プロセッサ１３４に、投写距離に対応した信号をズームレンズ駆動部１５５に、それぞれ出力する。映像用プロセッサ１３４は、投影投写角に対応した信号をＣＰＵ１２０から受け取ると、これを用いて台形歪み補正を行う。プロジェクタ１００の光学系の光軸とスクリーンＳＣとのなす角度である投影投写角が分かれば、映像がどのように歪むかは演算できるので、映像用プロセッサ１３４は、投影投写角に対応したパラメータの設定がなされると、投写画像の歪みを補正するように、Ａ／Ｄ変換部１１０から入力した画像を補正し、補正後の映像信号を、液晶パネル駆動部１３２に出力するのである。

他方、ズームレンズ駆動部１５５はＣＰＵ１２０から投写距離に相当する信号を受け取ると、その信号に基づいて、フォーカス調整用モータ１５７を駆動し、フォーカス調整を行う。なお、フォーカス調整を行うためには、ズームレンズのズーム比を知る必要があるが、本実施例では、ズーム比は、ズーム調整用モータ１５６によるズームレンズ１５２の駆動量から算出した。もとより、後述する撮像部１８０による撮像画像から算出することも可能である。

上記のＣＰＵ１２０の動作に必要となるワークエリアは、ＲＡＭ１６０上に確保される。なお、映像用プロセッサ１３４は、自身が行う画像の表示状態の調整処理など、各処理の実行の際に必要となるワークエリアを、内蔵ＲＡＭとして備えている。また、ＲＯＭ１７０は、上述した各処理部を実現するプログラムの他、後述する測定用画像の検出に用いる２枚の形状画像を記憶しており、形状画像記憶部１７１に対応している。

リモコン制御部１９０は、リモコン１９１を通じたユーザーのからの指示を受信し、バス１０２を介してＣＰＵ１２０に伝える。なお、本実施例ではプロジェクタ１００はユーザーからの指示をリモコン制御部１９０及びリモコン１９１を通じて受信しているが、ユーザーからの指示をプロジェクタ１００に備えた操作パネルなど、他の構成を通じて受け取るものとしてもよい。

撮像部１８０について説明する。撮像部１８０は、プロジェクタ１００の前面、即ち、投写光学系１５０がスクリーンＳＣに向けて映像を投写する方向を撮像可能な位置に設けられており、推奨された投影距離においてスクリーンＳＣに投影された投写画像の全体が少なくとも撮像範囲内に入るように、カメラ方向及び画角が設定されている。撮像部１８０は周知のＣＣＤ、このＣＣＤ上に映像を形成する単焦点レンズ、ＣＣＤに入射する光量を調整するオートアイリスなどの機構、更にはＣＣＤから映像信号を読み出す制御回路などを備える。オートアイリスの機構は、ＣＣＤカメラからの映像の明度の累積値に相当する信号を制御回路から受け取り、明度の累積値が所定の範囲に入るように、単焦点レンズに設けられたアイリス（絞り）を自動的に調整している。オートアイリスによる明るさの調整がなされた画像は、撮像部１８０から撮像画像メモリ１８２に出力され、撮像画像メモリ１８２の所定の領域に繰り返し書き込まれる。撮像画像メモリ１８２は、１画面分の画像の書き込みが完了すると、所定の領域のフラグを順次反転するので、ＣＰＵ１２０は、このフラグを参照することにより、撮像部１８０を用いた撮像が完了したか否かを知ることができる。ＣＰＵ１２０は、このフラグを参照しつつ、撮像画像メモリ１８２にアクセスして、必要な撮像画像を取得する。

（Ａ２）台形歪み補正の概要
台形歪み補正の概要を、図２に示した。台形歪み補正は、測定用画像検出処理（ステップＳ１００）と、三次元測量処理（ステップＳ２００）と、台形歪み補正処理（ステップＳ３００）の３つのサブルーチンから構成されている。

まず、測定用画像検出処理（ステップＳ１００）は形状画像記憶部１７０内に記憶している２枚の形状画像を各々にスクリーンＳＣに投写し撮像部１８０で撮像した撮像画像に基づいて測定用画像を検出する。ここで用いられる２枚の形状画像及び測定用画像の検出方法については図４を用いて後で詳述する。

測定用画像を検出した後、３次元測量処理（ステップＳ２００）を行なう。３次元測量処理は、測定用画像検出処理で検出した測定用画像に基づいて、プロジェクタ１００とスクリーンＳＣとの相対的な３次元の配置関係を算出する。この処理については、図６を用いて、後で詳しく説明する。最後にスクリーンＳＣの三次元測量の結果を用いて、投写面に投写する投写画像の台形歪み補正処理（ステップＳ３００）を行なう。

これらの処理は、ＣＰＵ１２０により実行される。ユーザーが、リモコン１９１上の台形歪み補正を指示するボタンを操作すると、図２に示した処理が開始される。また、例えば電源オンや、その後の初期画面の投影時などに自動的に実行されるものとしてもよい。

（Ａ３）測定用画像検出処理：
測定用画像検出処理について図３から図５を用いて説明する。測定用画像は複数の測定点を含んでおり、その測定点はプロジェクタ１００とスクリーンＳＣとの相対距離である投写距離と、プロジェクタから投写した投写光の光軸に対するスクリーンＳＣの傾きである投影投写角との算出に用いる。図３は、プロジェクタ１００における測定用画像検出処理の流れを示すフローチャートである。図４は、測定用画像検出処理の各ステップで用いる画像を示している。また図５は、測定用画像検出処理で用いる画像の特徴を説明した図である。最初に、図３と図４を用いて測定用画像検出処理の流れを説明した後、図４と図５を用いて測定用画像検出処理で用いる画像の特徴を説明する。

まず、測定用画像検出処理の流れを説明する。測定用画像検出処理はＣＰＵ内の測定用画像検出部１２２（図１参照）によって実行され、図２に示したように台形歪み補正の開始の指示（ユーザーによるボタン操作時、電源オン時、初期画面投写時）とともに始まる。測定用画像検出処理が開始されると、測定用画像検出部１２２はＲＯＭ１７０の形状画像記憶部１７１が記憶している第１形状画像３１０（図４参照）を読み出し、スクリーンＳＣに第１形状画像３１０を投写する（図３：ステップＳ１１０）。具体的には、測定用画像検出部１２２は形状画像記憶部１７１から第１形状画像３１０を読み出し、投影するように映像用プロセッサ１３４に指示し、この指示を受けた映像用プロセッサ１３４は、第１形状画像を液晶パネル駆動部１３２を介して液晶パネル１３０に出力する。そして、第１形状画像が、スクリ−ンＳＣに投影されたタイミングで、撮像部１８０に撮像を指示するのである。撮像の指示を受けた撮像部１８０は、ＣＣＤに入射する映像の明るさなどが撮像に適したものとなるようにオートアイリスを調整し、撮像を行なう。撮像された画像（以下、第１撮像画像という）は、撮像部１８０により、撮像画像メモリ１８２に保存されるが、第１撮像画像の保存が完了すると、フラグが反転されるので、ＣＰＵ１２０はこのフラグを監視することにより、第１撮像画像が撮像画像メモリ１８２に保存されたことを確認することができる（ステップＳ１２０）。一例として、撮像画像メモリ１８２に保存された第１撮像画像３１５を図４に示した。投写光学系の光軸とスクリーンＳＣとが直交していなければ、図４に例示したように、第１撮像画像３１５は、第１形状画像３１０と比べて、台形歪みが生じた画像となっている。

第１撮像画像３１５の撮像、保存が終わると、今度は形状画像記憶部１７１が記憶している第２形状画像３２０を読み出し、第１形状画像の投写、撮像、保存と同様の処理が行われる。つまり、第２形状画像３２０をスクリ−ンＳＣに投影し（図３：ステップＳ１３０）、撮像部１８０で撮像し、撮像した第２撮像画像３２５を撮像画像メモリ１８２に保存する（ステップＳ１４０）。第１，第２形状画像３１０，３２０については後述する。

撮像画像メモリ１８２に第１撮像画像３１５と第２撮像画像３２５とを保存後、それら２つの画像を撮像画像メモリから読み出し、第１撮像画像３１５と第２撮像画像３２５との各画素値の差分を計算し（ステップＳ１５０）、その差分値によって表される測定用画像３３０（図４）を検出する処理を行い（ステップＳ１６０）、測定用画像検出処理は終了する。この第１，第２撮像画像の各画素値の差分の計算を行う処理が、特許請求の範囲における、両画像の各画素の画素値の演算、に該当する。

次に、測定用画像検出処理で用いる画像の特徴を説明する。図４で示すように、第１形状画像３１０は、複数の所定形状を含む画像である。本実施例で使用する第１形状画像３１０は白色の四角の第１形状領域３１３が３行×３列で配置され、その周囲は黒色の画像で構成されている。一方、第１形状画像３１０と同様に、第２形状画像３２０も複数の所定形状を含む画像である。第２形状画像３２０は黒色の四角の第２形状領域３２３が３行×３列で配置され、その周囲は白色の画像で構成されている。第１形状領域と第２形状領域は、第１，第２形状画像の各々の画像内で同位置に配置されており、第２形状領域は第１形状領域より大きく、仮に第１形状画像と第２形状画像を重ねた場合には、第２形状領域が第１形状領域を内包する位置、大きさの関係となっている。もとより、第１，第２領域が同一形状でもよい。

第１形状画像を投写面に投写し撮像した第１撮像画像３１５は、第１形状領域に対応する第１撮像領域３１７と、第１撮像画像の第１撮像領域３１７以外の部分である第１補集合３１８とから構成される。 第２形状画像を投写面に投写し撮像した第２撮像画像３２５は、第２形状領域に対応する第２撮像領域３２７と、第２撮像画像の第２撮像領域以外の部分である第２補集合３２８とから構成される。上述したように、この第１，第２撮像画像の各画素値の差分を計算して取得した画像が測定用画像３３０であり、測定用画像内の３行×３列の白色の四角の領域を測定用領域３３５とする。

図５に第１撮像画像３１５及び第２撮像画像３２５における各画素の明度分布を示した。第１撮像画像３１５は３行×３列の白色の四角を含んでおり、ここでいう第１撮像画像３１５の明度分布とは、第１撮像画像３１５の特定の行にある白色の四角を通る直線に沿って得られたものである。例えば、図５（Ａ）は第１撮像画像３１５のＸａ方向に対する各画素の明度分布である。第１撮像領域３１７は撮像された画像なので完全な白色ではないが、周囲との相対関係としては明度が高い分布となる。図５（Ａ）の明度分布曲線に示すように、第１撮像領域３１７の輪郭部分に相当する位置に外光によるノイズが存在する。このようにスクリーンＳＣに投写された形状画像を撮像し、撮像画像を取得した場合、形状画像を撮像する過程で形状画像中の明度、色相、彩度のいずれかが急変する境界近傍に、外光の影響によりノイズが発生しやすく、このノイズも撮像画像として取り込んでしまう。このノイズは一定の大きさのものではなく、常に変化するノイズ（以下、「ホワイトノイズ」と呼ぶ）である。本実施例の場合、形状画像の明度の境界にホワイトノイズが生じ、第１撮像領域３１７の輪郭部分に対応する明度分布がノイズを含んだ曲線となっている。このような画像はＳ／Ｎ比の低い画像であり、この画像に含まれる画像情報を用いて、新たな情報を取得する場合に、取得する情報に誤差が生じる。

一方、第２撮像画像３２５は３行×３列の黒色の四角を含んでおり、ここでいう第２撮像画像３２５の明度分布とは、第２撮像画像３２５の特定の行にある黒色の四角を通る直線に沿って得られたものである。例えば、図５（Ｂ）は第２撮像画像３２５のＸｂ方向に対する各画素の明度分布である。第２撮像画像の明度分布も、第１撮像画像の明度分布と同様に明度が大きく変化する境界にホワイトノイズが存在する曲線となっており、Ｓ／Ｎ比の低い画像である。

図５（Ｃ）は測定用画像３３０の各画素の明度分布を示した。測定用画像３３０は３行×３列の白色の四角を含んでおり、ここでいう測定用画像３３０の明度分布とは、測定用画像３３０の特定の行にある白色の四角を通る直線に沿って得られたものである。例えば、図５（Ｃ）は測定用画像３３０のＸｃ方向の明度分布を示している。測定用画像は第１撮像画像と第２撮像画像の各画素値の差分を取るので、撮像画像に含まれていたホワイトノイズが相殺され、測定用領域３３５の輪郭部分に対応する明度の境界において、ノイズの無い明度分布となる。つまり、第１撮像画像内のホワイトノイズが存在する画像部分（第１撮像領域の輪郭部分）から、当該部分より明度の高い画像（第２補集合３２８）を差し引くことにより、その部分の画素値はビット演算上ではマイナスの値となるが、この場合は、画素値はゼロとするのである。つまり、演算後の画素値の値が、演算上の下限を超えた値となって制限されることになり、第１，第２撮像画像内のホワイトノイズが実質上消去されたことになる。したがって、図５（Ｃ）の明度分布に示すようなＳ／Ｎ比の高い測定用画像が得られる。本実施例の場合、第１形状画像３１０における第１形状領域３１３に相当する形状が、測定用領域３３５の形状として残ることになる。

このように、測定用画像の明度分布において、測定領域の輪郭部分にホワイトノイズの無い明度分布を取得しようとする場合、第２撮像画像は、第１撮像領域の輪郭と同じ位置またはその近傍部分に対応する部分において、第１撮像画像の明度分布と相補的な明度分布を示す画像であればよい。すなわち、第２撮像画像は、当該部分において、第１撮像画像の明度分布と明度が逆転する明度分布を示す画像であればよい。このような第２撮像画像を用いると、第１撮像画像との差分を取った際に、第１撮像領域の輪郭部分に、演算上の上限または下限を超えた値となって制限される部分が生成され、ホワイトノイズも同時に消去されるのである。

第２撮像画像は第２形状画像の撮像によって生成されるので、第２形状画像においても、第２撮像画像と同じ性質の明度分布を、第１形状画像の明度分布に対して示す画像であればよい。本実施例におけるこのような性質の第２形状画像は、特許請求の範囲における「前記画像の性質に関して相補的な性質を有する第２形状画像」に該当する。また、形状画像としてはこの他に、色相又は彩度の分布において、第１形状画像と相補的な分布を示す部分を備える第２形状画像であればよい。

以上、測定用画像取得処理では、第１形状画像と、上記の性質を持つ第２形状画像を投写、撮像し、得られた第１，第２撮像画像の各画素の差分を取りホワイトノイズを消去した測定用画像を生成する。また第１，第２形状画像の差分を取るので、従来技術として存在する、投写面への蛍光灯の写り込みや投写面上の塵埃等の一定のノイズを消去する技術も備えるので、生成される測定用画像はＳ／Ｎ比が高い画像となる。

（Ａ４）三次元測量処理：
次に、三次元測量処理について説明する。三次元測量処理は、プロジェクタ１００のズームレンズ１５２の主点を原点とする三次元座標系（以下「レンズ座標系」とも呼ぶ）における、スクリーンＳＣを含む平面の三次元状態を検出する処理である。すなわち、プロジェクタ１００における投写光学系の光軸に対するスクリーンＳＣの三次元的な傾きを検出するのである。

図６は、プロジェクタ１００における三次元測量処理の流れを示すフローチャートである。図７は、三次元測量処理の過程で使用する画像を示している。三次元測量処理は測定画像検出処理後に自動的に開始される。この処理が開始されるとＣＰＵ１２０はまず、三次元測量部１２５の処理として、先に検出した測定用画像３３０を離散化し（ステップＳ２０５）、９つの測定点３３７（図７（Ｂ）参照）を算出する処理を行う（ステップＳ２１０）。図７（Ａ）に示した測定用画像３３０を離散化した離散化画像の一例を、図７（Ｂ）に示した。ここで用いる離散化の処理とは、測定用画像３３０を含む二次元平面座標を水平方向及び垂直方向にスキャンし、各画素の明暗の分布を求め、明暗の分布から各方向に３つの重心位置を求め、白色の四角の領域の中心座標を取得する処理を意味している（図７（Ｃ））。先述のホワイトノイズの除去により、測定用領域３３５の輪郭部分にホワイトノイズの無い明度分布曲線となっているので、離散化して重心位置を算出する際に、精度の良い算出が可能となる。離散化によって算出された計９個の測定点Ｐ１ないしＰ９の座標は、Ｐ１（Ｘ１１，Ｙ１１）ないしＰ９（Ｘ３３，Ｙ３３）として表すことができる（図７（Ｄ））。

次に、ステップＳ２１０によって算出された９つの測定点３３７の内、平面の定義が可能な３点を選択する処理を行う（図６：ステップＳ２１５）。平面の定義が可能な３点の選択については、その３点全てが同一直線上に位置しなければ、９つの測定点３３７の内のどの３点を選択してもよい。本実施例において、９つの測定点３３７を検出しているのは、投写光学系１５０とスクリーンＳＣの間に障害物等が介在し、投写光学系１５０から投写した重畳画像の一部がスクリーンＳＣに表示されなかった場合や、撮像部１８０とスクリーンＳＣの間に障害物が介在し重畳画像の一部を撮像できなかった場合にでも、その撮像された測定用画像３３０の一部分から測定点３３７を検出し、その測定点３３７を用いて三次元測量を行うことができるようにするためである。この様な場合、本実施例における３行×３列に配列された９つの測定点３３７の内、各行各列に少なくとも１点ずつの測定点が検出できれば三次元測量は可能である。

次に、選択した３つの測定点３３７のレンズ座標系における三次元座標を検出する（ステップＳ２２０）。測定点３３７の三次元座標の検出は、ズームレンズ１５２と撮像部１８０との視差を利用し、三角測量の原理により三次元座標を検出する能動型のアクティブステレオ法を用いて行う。なお、測定点の三次元座標の検出には複数のカメラを用いた受動型のステレオ法など、アクティブステレオ法以外の方法を用いてもよい。

このようにして検出された３つの測定点３３７の三次元座標に基づいて、スクリーンＳＣを含む平面に近似する近似平面を算出する（図６：ステップＳ２３０）。具体的には、この３つの測定点を用いた最小二乗法により、スクリーン面を含む平面に近似する近似平面の式を算出する。近似平面式の算出後、三次元測量処理は終了する。

（Ａ５）台形歪み補正設定処理：
次に台形歪み補正設定処理について説明する。台形歪みは、プロジェクタ１００から投写した投写光の光軸の方向に対して、スクリーンＳＣを含むスクリーン面が垂直に設置されていない場合に、プロジェクタ１００からの投写画像に生じる台形型の歪みのことである。この台形型の投写画像の歪みを補正するのが、台形歪み補正処理である。

台形歪み補正処理（図２：ステップＳ３００）の詳細を図８に示した。台形歪み補正処理では、ＣＰＵ１２０は、まず投写角算出部１２６として処理を実行することにより、三次元測量処理で検出したスクリーン平面の近似平面とプロジェクタ１００から投写した投写光の光軸との角度である投影投写角を算出する（ステップＳ３１０）。本実施例では、近似平面の法線と投射光の光軸とがなす角度を投影投写角として算出している。次に算出された投影投写角を基に、台形歪み補正部としての処理を実行し、スクリーン平面に対して投影投写角が垂直となる測定点３３７の目標座標を算出する（ステップＳ３２０）。最後に、測定点３３７の座標を目標座標に変換する変換係数を算出する処理を行い（ステップＳ３３０）、この係数を映像用プロセッサ１３４に設定する処理（ステップＳ３４０）を行うことで台形歪み補正処理は終了する。

映像用プロセッサ１３４は、設定された係数を用いて、入力されるデジタル画像信号を変換し、変換した結果を液晶パネル駆動部１３２へと出力する。映像用プロセッサ１３４に設定する係数は、入力した画像信号の画素位置の情報（座標）に対して、３次元のベクトル演算を行う際の係数である。

この３次元のベクトル演算は、画素の座標を、台形歪み補正する位置の座標に変換するために実行される。この係数が設定されると、映像用プロセッサ１３４は、入力したデジタル画像信号に対して、各画素の座標に対してベクトル演算を繰り返す。これにより、台形歪み補正処理は実現される。

以上説明したように、第１実施例のプロジェクタ１００によれば、第１形状画像と、その相補的な明度分布を示す第２形状画像との差分を取ることにより、測定用画像を生成しているので、撮像画像に含まれる蛍光灯の写り込み等の一定のノイズに加え、投写した形状画像内の明暗の境界部分に外光が与えるホワイトノイズも除去することができる。その結果、Ｓ／Ｎ比が高い測定用画像が生成されるので、測定点を算出する際の離散化も精度良く行う事ができ、その測定点に基づいて台形歪み補正を行うので、その補正も精度の良いものとなる。

本実施例において、測定用画像検出部１２２は特許請求の範囲における第１撮像画像取得部、及び第２撮像画像取得部、及び測定用画像抽出部に該当し、三次元測量部１２５及び焦点距離算出部１２４及び投写角算出部１２６は特許請求の範囲における配置関係検出部に該当し、液晶パネル１３０及び照明光学系１４０及び投写光学系１５０は特許請求の範囲における投写部に該当し、その他、本実施例における特許請求の範囲と同じ名称のものは、特許請求の範囲のそれに該当する。

Ｂ．第２実施例：
次に本発明の第２実施例について説明する。第１実施例においては、投写部と投写面との配置関係として、スクリーン平面の近似平面とプロジェクタ１００から投写した投写光の光軸との角度である投影投写角を算出し、その投影投写角に基づいて投写画像の台形歪み補正を行うものであったが、第２実施例では、投写部と前記投写面との配置関係として、スクリーン平面の近似平面と投写部との距離である投写距離を算出し、その投写距離に基づいて投写画像のフォーカス調整を行う。また、プロジェクタの構成は第１実施例のプロジェクタ１００と同じである。

本実施例におけるプロジェクタの構成は第１実施例のプロジェクタ１００と同じであるので、構成については図１を用い、フォーカス調整の流れについては図９を用いて本実施例を説明する。フォーカス調整は、図１におけるプロジェクタ１００内のＣＰＵ１２０、ＣＰＵ１２０からのコマンドによって稼働するズームレンズ駆動部１５５及びフォーカス調整用モータ１５７によって行われる。

図９はＣＰＵ１２０内で実行されるフォーカス調整処理の流れを示したフローチャートである。フォーカス調整は第１実施例でも算出したスクリーン平面の近似平面に基づいて行われる。従って、近似平面が算出されるまでの図２における各工程（ステップＳ１００〜Ｓ２００）は第１実施例の台形歪み補正と同じであるので、図９では省略して図示した。

ＣＰＵ１２０は、ステップＳ１００からステップＳ２００までの処理を終了すると、次に算出されたスクリーン平面の近似平面に基づいて、ズームレンズ１５２の主点からスクリーンＳＣまでの距離である投写距離を算出する処理を行う（ステップＳ４１０）。これが図１に示した焦点距離算出部１２４の処理に相当する。その後、焦点距離算出部１２４は投写距離に基づいてプロジェクタ１００からの投写光がスクリーンＳＣで投写画像として結像する焦点距離を算出する（ステップＳ４２０）。最後に、算出した焦点距離に焦点が合うようにズームレンズ１５２の適切な位置及びその位置にレンズを移動させるフォーカス調整用モータ１５７の駆動量を算出し、駆動量の値をズームレンズ駆動部１５５に設定し（ステップＳ４３０）、フォーカス調整処理を終了する。駆動量の値が設定されたズームレンズ駆動部は、駆動量に基づいてフォーカス調整用モータ１５７を駆動させることにより、ズームレンズ１５２を適切な位置に移動させ、投写光をスクリーンＳＣで投写画像として結像させるフォーカス調整を行う。なお、フォーカス調整処理を実行する時点で、ズームレンズのズーム比を読み込んでいる必要があるが、ズーム調整用モータ１５６によるズームレンズ１５２の駆動量から算出している。もとより本実施例では既述したように、撮像部１８０による撮像画像から算出することも可能である。

以上説明したように、第２実施例のプロジェクタによれば、フォーカス調整を行う際に、撮像画像に含まれる蛍光灯の写り込み等の一定のノイズに加え、投写した形状画像の明暗の境界部分に外光が与えるホワイトノイズも除去された測定用画像に基づいて行うので、精度の良いフォーカス調整が可能となる。
なお、第２実施例として説明したフォーカス調整は、単独で実施しても良いし、第１実施例で説明した台形歪み補正と共に実施しても良い。

Ｃ．変形例：
この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

（Ｃ１）変形例１：
上記実施例では、図４に示した３行×３列に配置された特定形状の図形からなる第１形状画像３１０と第２形状画像３２０を用いたが、そのような形状に限らず、他の形状の形状画像を用いてもよい。他の形状画像の例として、図１０に示すように、２つの形状画像が挙げられる。一方の形状画像として、黒色の形状画像内に白色の格子状の第３形状領域４１３を含んだ第３形状画像４１０を用いる。他方の形状画像として、黒色の形状画像内に白色の四角の補集合を含み、さらにその白色の四角の補集合内に、黒色の格子状の第４形状領域４２３を含んだ第４形状画像４２０を用意する。この、第３形状画像４１０と第４形状画像４２０とを用い、投写、撮像によって第３撮像画像４１５と第４撮像画像４２５を取得し、第２測定用画像４３０を検出してもよい。本実施例の場合、第４形状領域４２３は第３形状領域４１３を内包する形状である。また第４形状領域４２３の周囲の白色の四角の補集合の部分は、第３撮像画像４１５と第４撮像画像４２５の画素値の差分を取った際に第３撮像領域４１７の周囲のホワイトノイズが除去できればよいので、第３形状領域の周囲に対応する部分が白色であればよい。第２測定用画像４３０から検出する測定点として、白色の格子状の測定用領域４３５の縦線と横線の交点を用いればよい。また、形状画像としてはその他に、形状領域の形状が四角や格子状に限らず丸や三角の形状でもよいし、幾何学的な形状に限らず、例えばアニメ的な有意の画像や、文字として読み取り可能な形状でもよい。更に、それらの形状がＮ行×Ｍ行（Ｎ，Ｍ：自然数）に並んだ形状画像等でも良い。この他、第２形状画像は形状画像メモリに記憶しておらず、台形補正を行う際に第１形状画像から生成するとしてもよい。例えば、第１形状画像から第１形状領域を拡大した領域を持つ画像を作成し、その画像内の当該領域と領域以外の部分の明度，色相、彩度のいずれかの要素を反転させる演算フィルタを用いて第２形状画像を作成するとしてもよい。

プロジェクタ１００では光変調素子として液晶パネル１３０を用いているが、光変調素子としてＤＭＤ（デジタル・ミラー・デバイス）を用いたＤＬＰプロジェクタとしても良い。また、撮像部１８０に用いるイメージセンサをＣＣＤに代えてＣＭＯＳとしても良い。更に、照明光学系１４０に用いる光源を放電灯に代えてＬＥＤとしても良い。また、上記実施例では近似平面の法線と投射光の光軸とがなす角度を投影投写角として算出しているが、投影投写角は台形補正処理を適切に行うことができる角度であれば良い。

また、上記実施例においてソフトウェアで実現されている機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現されている機能の一部をソフトウェアで実現してもよい。

第１実施例におけるプロジェクタ１００の構成を示すブロック図である。 第１実施例における台形歪み補正を示すフローチャートである。 第１実施例における測定用画像検出処理を示すフローチャートである。 測定用画像検出処理に用いる画像を示した説明図である。 測定用画像検出処理に用いる画像の明度分布を示した説明図である。 第１実施例における三次元測量処理を示すフローチャートである。 三次元測量処理に用いる画像を示した説明図である。 第１実施例における台形歪み補正設定処理を示すフローチャートである。 第２実施例におけるフォーカス調整処理を示すフローチャートである。 変形例１に用いる画像を示した説明図である。

符号の説明

１００…プロジェクタ
１０２…バス
１２０…ＣＰＵ
１２２…測定用画像検出部
１２３…ズーム比算出部
１２４…焦点距離算出部
１２５…三次元測量部
１２６…投写角算出部
１３０…液晶パネル
１３２…液晶パネル駆動部
１３４…映像用プロセッサ
１３６…台形歪み補正部
１４０…照明光学系
１５０…投写光学系
１５２…ズームレンズ
１５５…ズームレンズ駆動部
１５６…ズーム調整用モータ
１５７…フォーカス調整用モータ
１６０…ＲＡＭ
１７０…ＲＯＭ
１７１…形状画像記憶部
１８０…撮像部
１８２…撮像画像メモリ
１９０…リモコン制御部
１９１…リモコン
２００…ケーブル
３１０…第１形状画像
３１３…第１形状領域
３１５…第１撮像画像
３１７…第１撮像領域
３１８…第１補集合
３２０…第２形状画像
３２３…第２形状領域
３２５…第２撮像画像
３２７…第２撮像領域
３２８…第２補集合
３３０…測定用画像
３３５…測定用領域
３３７…測定点
４１０…第３形状画像
４１３…第３形状領域
４１５…第３撮像画像
４１７…第３撮像領域
４２０…第４形状画像
４２３…第４形状領域
４２５…第４撮像画像
４３０…第２測定用画像
ＳＣ…スクリーン

Claims (12)

1. 投写型表示装置であって、
   投写面に向けて画像を投写する投写部と、
   前記投写面に向けて前記投写部から投写された画像を撮像する撮像部と、
   画像の性質が異なる２以上の領域に区分された第１形状画像を投写させると共に、該第１形状を含む投写された画像を、前記撮像部により撮像させて、第１撮像画像として取得する第１撮像画像取得部と、
   少なくとも一部が、前記第１形状画像における前記画像の性質が異なる２以上の領域に対して、各領域毎に相互に相補的な性質を有する第２形状画像を投写させると共に、該第２形状を含む投写された画像を、前記撮像部により撮像させて、第２撮像画像として取得する第２撮像画像取得部と、
   前記取得した第１撮像画像と前記第２撮像画像とに基づいて、前記投写型表示装置に対する前記投写面の配置関係を検出する配置関係検出部と
   を備える投写型表示装置。
2. 請求項１記載の投写型表示装置であって、
   第１撮像画像及び前記第２撮像画像の各画素の画素値を演算して、測定用画像を抽出する測定用画像抽出部をさらに備え、
   前記配置関係検出部は、前記測定用画像から測定点を抽出し、前記測定点に基づいて、前記投写型表示装置に対する前記投写面の配置関係を検出する
   投写型表示装置。
3. 請求項２記載の投写型表示装置であって、
   前記第１撮像画像と前記第２撮像画像とは、前記演算により、前記第２形状画像が前記相補的な性質を備えた範囲の前記画像の区分された一つの領域にとっては、演算後の値が演算上の上限または下限を超えた値となって制限される画像である
   投写型表示装置。
4. 請求項３記載の投写型表示装置であって、
   前記画像の性質とは明度、色相、彩度の少なくともいずれかひとつである投写型表示装置。
5. 請求項４記載の投写型表示装置であって、
   前記画像の性質とは明度であり、
   前記第１，第２形状画像は各々、明度の異なる２つの領域から構成され、該２つの領域の一方は黒色で他方が白色である
   投写型表示装置。
6. 請求項４または５記載の投写型表示装置であって、
   前記第１形状画像と前記第２形状画像とが互いに前記画像の性質に関して相補的な性質を有する部分の形状は、その形状が平面を定義可能な３点を抽出可能に含んでいる形状である
   投写型表示装置。
7. 請求項６記載の投写型表示装置であって、
   前記配置関係検出部は、前記配置関係の１つとして前記投写部から投写する投写光の光軸と前記投写面との傾きである投写角を算出する投写型表示装置。
8. 請求項７記載の投写型表示装置はさらに、
   前記配置関係検出部で算出した前記投写角を用いて前記投写面に投写される投写画像の台形歪みを補正する台形歪み補正部を備える投写型表示装置。
9. 請求項６記載の投写型表示装置であって、
   前記配置関係検出部は、前記配置関係の１つとして前記投写型表示装置と前記投写面までの投写距離を算出する投写型表示装置。
10. 請求項９記載の投写型表示装置はさらに、
    前記配置関係検出部で算出した前記投写距離を用いて前記投写面に投写される前記投写画像のフォーカス調整を行うフォーカス調整部を備える投写型表示装置。
11. 投写型表示装置と、投写面との配置関係を検出する配置関係検出方法であって、
    画像の性質が異なる２以上の領域に区分された第１形状画像を投写させると共に、該第１形状を含む投写された画像を、撮像部により撮像させて、第１撮像画像として取得する第１撮像画像取得工程と、
    少なくとも一部が、前記第１形状画像における前記画像の性質が異なる２以上の領域に対して、各領域毎に相互に相補的な性質を有する第２形状画像を投写させると共に、該第２形状を含む投写された画像を、前記撮像部により撮像させて、第２撮像画像として取得する第２撮像画像取得工程と、
    前記取得した第１撮像画像と前記第２撮像画像に基づいて、前記投写型表示装置に対する前記投写面の配置関係を検出する配置関係検出工程と
    を備えることを特徴とする配置関係検出方法。
12. 請求項１１記載の配置関係検出方法であって、
    第１撮像画像及び前記第２撮像画像の各画素の画素値を演算して、測定用画像を抽出する測定用画像抽出工程をさらに備え、
    前記配置関係検出工程は、前記測定用画像から測定点を抽出し、前記測定点に基づいて、前記投写型表示装置に対する前記投写面の配置関係を検出する
    配置関係検出方法。

Images