JP3871061B2 - 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 - Google Patents

Description

本発明は、画像の歪み補正を行う画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法に関する。

プロジェクタ等の画像表示装置と画像の投写対象位置との相互関係によって画像が歪んでしまい、縦方向や横方向にいわゆる台形歪みが発生してしまう場合がある。

したがって、画像表示装置は、画像を表示する場合には、画像の歪みをなくした状態で画像を表示する必要がある。

一般的な台形歪み補正機能付きプロジェクタは、ユーザーによるマウス等を用いたスクリーンの４隅の指示に応じて半自動的に画像の歪みを補正している。

しかし、ユーザーにとっては、マウス等を用いてスクリーンの４隅を正確に指示することは困難である上、煩雑である。

このような課題を解決するため、例えば、特許文献１では、プロジェクタの前面に設けられたカメラの撮像情報に基づいてスクリーンの位置を検出して台形歪みを補正するプロジェクタが開示されている。
特開２０００−２４１８７４号公報

しかし、特許文献１の手法等のスクリーンを基準として台形歪みを補正する手法では、投写面がスクリーンに限定されてしまい、スクリーン以外の壁等の投写面に投写する場合には画像の歪みを補正することができない。

本発明は、上記の課題に鑑みなされたものであり、その目的は、投写面の色の影響を低減して投写画像の歪みをより正確に検出することが可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法を提供することにある。

上記課題を解決するため、本発明に係る画像処理システムおよびプロジェクタは、画像の歪みを調節するために、画像信号を補正する補正手段と、
当該画像信号に基づき、画像を投写する画像投写手段と、
投写された投写画像を撮像して撮像情報を生成する撮像手段と、
当該撮像情報に基づき、所定の画像処理単位で前記投写画像を区分した場合に、全画像処理単位において明るさ指標値が最大となる部分をピーク位置として検出し、あるいは、隣接する画像処理単位において明るさ指標値の差異がない部分の一部をピーク位置として検出し、当該ピーク位置を示す座標情報を生成する明るさ指標値分布解析手段と、
当該座標情報に基づき、投写画像の歪み状況を把握し、投写画像の歪み状況に応じて前記補正手段による補正量を導出する補正量導出手段と、
を含み、
前記補正手段は、当該補正量に基づき、前記画像信号を補正することを特徴とする。

また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
画像の歪みを調節するために、画像信号を補正する補正手段と、
当該画像信号に基づき、画像を投写する画像投写手段と、
投写された投写画像を撮像して撮像情報を生成する撮像手段と、
当該撮像情報に基づき、所定の画像処理単位で前記投写画像を区分した場合に、全画像処理単位において明るさ指標値が最大となる部分をピーク位置として検出し、あるいは、隣接する画像処理単位において明るさ指標値の差異がない部分の一部をピーク位置として検出し、当該ピーク位置を示す座標情報を生成する明るさ指標値分布解析手段と、
当該座標情報に基づき、投写画像の歪み状況を把握し、投写画像の歪み状況に応じて前記補正手段による補正量を導出する補正量導出手段として機能させ、
前記補正手段は、当該補正量に基づき、前記画像信号を補正することを特徴とする。

また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
コンピュータを、
画像の歪みを調節するために、画像信号を補正する補正手段と、
当該画像信号に基づき、画像を投写する画像投写手段と、
投写された投写画像を撮像して撮像情報を生成する撮像手段と、
当該撮像情報に基づき、所定の画像処理単位で前記投写画像を区分した場合に、全画像処理単位において明るさ指標値が最大となる部分をピーク位置として検出し、あるいは、隣接する画像処理単位において明るさ指標値の差異がない部分の一部をピーク位置として検出し、当該ピーク位置を示す座標情報を生成する明るさ指標値分布解析手段と、
当該座標情報に基づき、投写画像の歪み状況を把握し、投写画像の歪み状況に応じて前記補正手段による補正量を導出する補正量導出手段として機能させるためのプログラムを記憶し、
前記補正手段は、当該補正量に基づき、前記画像信号を補正することを特徴とする。

また、本発明に係る画像処理方法は、所定の投写面に単一色画像を投写し、
投写画像を撮像して撮像情報を生成し、
当該撮像情報に基づき、所定の画像処理単位で前記投写画像を区分した場合に、全画像処理単位において明るさ指標値が最大となる部分をピーク位置として検出し、あるいは、隣接する画像処理単位において明るさ指標値の差異がない部分の一部をピーク位置として検出し、
当該ピーク位置を示す座標情報を生成し、
当該座標情報に基づき、投写画像の歪み状況を把握し、投写画像の歪み状況に応じて投写画像の歪みがなくなるように画像信号を補正するための補正量を導出し、
当該補正量に基づき、前記画像信号を補正してもよい。

本発明によれば、画像処理システム等は、投写画像の色合いではなく、投写画像の明るさの分布に基づいて画像の歪みを把握することができるため、投写面の色の影響を低減して投写画像の歪みをより正確に検出することができる。

特に、画像処理システム等は、全画像処理単位において明るさ指標値が最大となる部分をピーク位置として把握することにより、明るさ指標値が最大となる部分を検出すれば良いため、処理速度を速くすることができる。

あるいは、画像処理システム等は、隣接する画像処理単位において明るさ指標値の差異がない部分をピーク位置として把握することにより、相対的な明るさの違いを把握できるため、投写画像の歪みをより正確に検出することができる。

なお、ここで、明るさ指標値としては、例えば、輝度値（演算によって変形した輝度値も含む。）、照度値、明度値等が該当する。また、ここで、画像処理単位としては、例えば、画素、画素ブロック、画像を構成する画素の縦方向または横方向の１ライン等が該当する。

また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記画像処理単位は、投写画像の縦方向の画素群および投写画像の横方向の画素群であって、
前記明るさ指標値分布解析手段は、前記縦方向の画素群の明るさ指標値の積算値を、投写画像の横方向において隣接する画素群ごとに演算し、隣接する画素群における前記積算値の差異がない部分の画素位置に基づいて前記ピーク位置の横方向の座標位置を決定し、前記横方向の画素群の明るさ指標値の積算値を、投写画像の縦方向において隣接する画素群ごとに演算し、隣接する画素群における前記積算値の差異がない部分の画素位置に基づいて前記ピーク位置の縦方向の座標位置を決定してもよい。

また、前記画像処理方法では、前記画像処理単位は、投写画像の縦方向の画素群および投写画像の横方向の画素群であって、
前記縦方向の画素群の明るさ指標値の積算値を、投写画像の横方向において隣接する画素群ごとに演算し、
隣接する画素群における前記積算値の差異がない部分の画素位置に基づいて前記ピーク位置の横方向の座標位置を決定し、
前記横方向の画素群の明るさ指標値の積算値を、投写画像の縦方向において隣接する画素群ごとに演算し、
隣接する画素群における前記積算値の差異がない部分の画素位置に基づいて前記ピーク位置の縦方向の座標位置を決定してもよい。

これによれば、画像処理システム等は、１画素ではなく複数の画素から構成される画素群ごとに明るさの差異を把握することにより、ノイズを排除し、より正確に明るさの変化を把握することができるため、画像の歪みをより正確に把握することができる。

また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記明るさ指標値は、輝度値であって、
前記明るさ指標値分布解析手段は、投写画像の横方向において隣接する縦方向の画素群の合計輝度値の変化率が１となる画素位置に基づいて前記ピーク位置の横方向の座標位置を決定し、投写画像の縦方向において隣接する横方向の画素群の合計輝度値の変化率が１となる画素位置に基づいて前記ピーク位置の縦方向の座標位置を決定してもよい。

また、前記画像処理方法では、前記明るさ指標値は、輝度値であって、
投写画像の横方向において隣接する縦方向の画素群の合計輝度値の変化率が１となる画素位置に基づいて前記ピーク位置の横方向の座標位置を決定し、
投写画像の縦方向において隣接する横方向の画素群の合計輝度値の変化率が１となる画素位置に基づいて前記ピーク位置の縦方向の座標位置を決定してもよい。

これによれば、画像処理システム等は、隣接する画素群の合計輝度値の変化率が１となる位置、すなわち、投写画像の中心位置付近で最も明るい位置を検出することができるため、画像の歪みをより正確に把握することができる。

また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記画像投写手段は、黒色画像と白色画像を投写し、
前記撮像手段は、当該黒色画像の撮像情報と、当該白色画像の撮像情報を生成し、
前記明るさ指標値分布解析手段は、黒色画像の撮像情報と白色画像の撮像情報の差分に基づき、環境光の影響を除いた状態の撮像情報を生成し、生成した撮像情報に基づき、前記ピーク位置を検出してもよい。

また、前記画像処理方法では、環境光の影響を除いた状態の撮像情報を生成し、
当該撮像情報に基づき、前記ピーク位置を検出してもよい。

これによれば、画像処理システム等は、環境光の影響を除いた状態の撮像情報に基づいて処理を行うことにより、誤検出を防止し、正確にピーク位置を把握することができる。

なお、ここで、環境光としては、例えば、照明光、日光等が該当する。

以下、本発明を、プロジェクタに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された手段として必須であるとは限らない。

（システム全体の説明）
図１は、画像投写時の状態を示す模式図である。

プロジェクタ２０は、スクリーン１０に対して矩形の画像を投写することにより、矩形の投写画像１２を形成する。また、本実施の形態では、撮像手段の一部であるセンサー６０は、投写画像１２を含むスクリーン１０上の領域を撮像する。

プロジェクタ２０から同じ画像を投写した場合であっても、センサー６０による撮像情報は、スクリーン１０の種別によって異なってしまう。例えば、スクリーン１０が赤っぽい色であれば、スクリーン１０上の白は赤みがかかった白となり、スクリーン１０が青っぽい色であれば、スクリーン１０上の白は青みがかかった白となる。

このため、撮像情報の色の違いのみに基づいて投写画像１２の歪みを検出する従来の画像処理システムは、投写画像１２の歪みを正確に検出することは困難である。

また、スクリーン１０の４隅を撮像して投写画像１２の歪みを検出する従来の画像処理システムは、投写面の４隅を検出することが困難な場合（例えば、投写面が壁である場合等）には投写画像１２の歪みを検出することはできない。

本実施の形態では、明るさ指標値として輝度値を採用し、投写画像１２の明るさの違いに基づいて画像の歪みを検出する手法を採用している。

（機能ブロックの説明）
次に、このような機能を実装するためのプロジェクタ２０の機能ブロックについて説明する。

図２は、本実施形態の一例に係るプロジェクタ２０の機能ブロック図である。

プロジェクタ２０は、画像信号を入力する信号入力部１１０と、画像の歪みが調節されるように、入力された画像信号を補正する補正部１２０と、補正された画像信号を出力する信号出力部１３０と、画像信号に基づき、画像を投写する画像投写部１９０と、投写された投写画像１２を含むスクリーン１０上の領域を撮像する撮像部１８０と、撮像情報に基づき、投写画像１２の輝度分布を解析して投写画像１２のうち最も明るい位置の座標情報を生成する輝度分布解析部１７０と、当該座標情報に基づき、補正部１２０による画像信号の補正量を導出する補正量導出部１４０とを含んで構成されている。

また、画像投写部１９０は、空間光変調器１９２と、空間光変調器１９２を駆動する駆動部１９４と、光源１９６と、焦点調節機能を有するレンズ１９８とを含んで構成されている。

駆動部１９４は、信号出力部１３０からの画像信号に基づき、空間光変調器１９２を駆動する。そして、画像投写部１９０は、光源１９６からの光を、空間光変調器１９２およびレンズ１９８を介して投写する。

また、プロジェクタ２０は、キャリブレーション画像を表示するための画像信号を生成するキャリブレーション画像生成部１５０を含んで構成されている。

また、上述したプロジェクタ２０の各部をコンピュータに実装するためのハードウェアとしては、例えば、以下のものを適用できる。

図３は、本実施形態の一例に係るプロジェクタ２０のハードウェアブロック図である。

例えば、信号入力部１１０としては、例えばＡ／Ｄコンバーター９３０等、補正部１２０としては、例えば画像処理回路９７０、ＲＡＭ９５０、ＣＰＵ９１０等、信号出力部１３０としては、例えばＤ／Ａコンバーター９４０等、キャリブレーション画像生成部１５０および輝度分布解析部１７０としては、例えば画像処理回路９７０、ＲＡＭ９５０等、撮像部１８０としては、例えばＣＣＤカメラ等、空間光変調器１９２としては、例えば液晶パネル９２０、液晶パネル９２０を駆動する液晶ライトバルブ駆動ドライバを記憶するＲＯＭ９６０等を用いてコンピュータに実装できる。

なお、これらの各部はシステムバス９８０を介して相互に情報をやりとりすることが可能である。また、センサー６０は、撮像部１８０の一部である。

また、これらの各部は、その一部または全部を、回路のようにハードウェア的にコンピュータに実装してもよいし、ドライバのようにソフトウェア的にコンピュータに実装してもよい。

さらに、補正部１２０等としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体９００からプログラムを読み取って補正部１２０等の機能をコンピュータに実装してもよい。

このような情報記憶媒体９００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。

また、情報記憶媒体９００に代えて、上述した各機能をコンピュータに実装するためのプログラム等を、伝送路を介してホスト装置等からダウンロードすることによって上述した各機能をコンピュータに実装することも可能である。

（画像処理の説明）
次に、これらの各部を用いた画像処理の流れについて説明する。

図４は、本実施形態の一例に係る画像歪み補正処理の処理手順を示すフローチャートである。

まず、ユーザーは、プロジェクタ２０を起動し、プロジェクタ２０は、キャリブレーション画像を投写する。

まず、キャリブレーション画像生成部１５０は、全白（画像全体が白）のキャリブレーション画像を生成し、画像投写部１９０は、全白のキャリブレーション画像を投写する（ステップＳ１）。

撮像部１８０は、全白のキャリブレーション画像が投写されたスクリーン１０を撮像する（ステップＳ２）。

また、キャリブレーション画像生成部１５０は、全黒（画像全体が黒）のキャリブレーション画像を生成し、画像投写部１９０は、全黒のキャリブレーション画像を投写する（ステップＳ３）。

撮像部１８０は、全黒のキャリブレーション画像が投写されたスクリーン１０を撮像する（ステップＳ４）。

そして、輝度分布解析部１７０は、撮像情報に基づいて撮像領域における投写画像１２の領域を抽出する（ステップＳ５）。具体的には、輝度分布解析部１７０は、全白のキャリブレーション画像の撮像情報と全黒のキャリブレーション画像の撮像情報との差分に基づいて投写画像１２に相当する投写領域とそれ以外の領域とを判別する。なお、全白のキャリブレーション画像の撮像情報から全黒のキャリブレーション画像の撮像情報を引くことによって照明光等の環境光の影響を除去できる。

そして、輝度分布解析部１７０は、輝度分布解析（ステップＳ６）を行う。

ここで、輝度分布解析（ステップＳ６）についてより具体的に説明する。

図５は、本実施形態の一例に係る画像の輝度分布の模式図である。また、図６は、本実施形態の他の一例に係る画像の輝度分布の模式図である。また、図７は、本実施形態の一例に係る輝度分布解析処理の処理手順を示すフローチャートである。また、図８は、本実施形態の一例に係る輝度分布解析処理の続きの処理手順を示すフローチャートである。

なお、図５に示す画像の輝度分布では、画像中央の輝度値が最も高くなっており、図６に示す画像の輝度分布では、画像左部分の中央の輝度値が最も高くなっている。このように、プロジェクタ２０の投写方向とスクリーン１０との位置関係によって投写画像１２内の輝度分布は変化する。プロジェクタ２０の投写方向とスクリーン１０とが正対している場合、画像中央が最も明るく、図５に示すように、画像中央の輝度値が最も高くなる（明るさ指標値が最大となる）。

まず、輝度分布解析部１７０は、撮像情報における投写領域の各画素の輝度値を縦方向および横方向に積算する（ステップＳ１１）。ここで、撮像情報における投写領域は、縦Ｍ画素、横Ｎ画素であるものとする。なお、この画素数は、センサー６０の画素数または画素ブロック数である。

例えば、図５に示すように、輝度分布解析部１７０は、撮像情報における投写領域の各画素の輝度値を縦方向に積算（加算）することにより、横ライン（ｎ）と積算輝度との関係を示すデータを生成することができる。同様に、輝度分布解析部１７０は、撮像情報における投写領域の各画素の輝度値を横方向に積算することにより、縦ライン（ｍ）と積算輝度との関係を示すデータを生成することができる。なお、ここで、ｎは０以上Ｎ−２以下の整数であり、ｍは０以上Ｍ−２以下の整数である。

そして、輝度分布解析部１７０は、横ラインにおける輝度値の変化率ＲＨ（n）を、画素ごとの輝度値の変化を示すＹ（ｎ＋１）／Ｙ（ｎ）によって演算する。同様に、輝度分布解析部１７０は、縦ラインにおける輝度値の変化率ＲＶ（ｍ）を、画素ごとの輝度値の変化を示すＹ（ｍ＋１）／Ｙ（ｍ）によって演算する。なお、ここで、Ｙ（ａ）は、画素ａにおける積算輝度値である。

そして、輝度分布解析部１７０は、横ラインと縦ラインの変化率が１となる画素を求め、それぞれの画素を、ピーク位置を示す最も明るい位置の座標（Ｈ，Ｖ）を示す座標情報として生成する。

なお、プロジェクタ２０は、横ラインと縦ラインのいずれかの変化率が、全画素で１を上回った場合または１を下回った場合は、画像の歪みを補正可能な限界角度を超えていることを示すメッセージを表示する。

以下、座標を決定する具体的な手法について説明する。

まず、輝度分布解析部１７０は、横ライン上の画素番号ｎを０に設定し、横ライン上の座標位置Ｈｎを−１に設定する（ステップＳ１３）。

そして、輝度分布解析部１７０は、ｎ＞Ｎ−１の条件が成立するかどうか、すなわち、横ラインの全画素の判定が終了したかどうかを判定する（ステップＳ１４）。

そして、輝度分布解析部１７０は、ｎ＞Ｎ−１の条件が成立しない場合、ＲＨ（n）＝Ｙ（ｎ＋１）／Ｙ（ｎ）を演算し（ステップＳ１５）、ｎ＞０、かつ、隣接する画素群の合計輝度値の変化率＝１が成立するかどうかを判定する（ステップＳ１６）。

ここで、隣接する画素群の合計輝度値の変化率＝１の判定式としては、例えば、ＲＨ（ｎ−１）＞１、かつ、ＲＨ（ｎ）＜１という判定式を採用してもよい。すなわち、隣接する画素群の合計輝度値の変化率が１となる点を跨いでいる点を検出してもよい。

ｎ＞０、かつ、隣接する画素群の合計輝度値の変化率＝１が成立しない場合、輝度分布解析部１７０は、次の画素番号について判定を行うため、ｎを１増加させて（ステップＳ１７）、ステップＳ１４〜Ｓ１７の処理を繰り返し実行する。

また、ｎ＞０、かつ、隣接する画素群の合計輝度値の変化率＝１が成立した場合、輝度分布解析部１７０は、Ｈｎに線形補間した座標位置を示すｆ（ｎ）を代入する（ステップＳ１８）。

ここで、ｆ（ｎ）としては、例えば、ｆ（ｎ）＝（１−ＲＨ（ｎ−１））／（ＲＨ（ｎ）−ＲＨ（ｎ−１））＋（ｎ−１）を採用してもよい。

そして、横ラインの全画素の判定が終了した場合、あるいは、隣接する画素群の合計輝度値の変化率＝１が成立した場合、輝度分布解析部１７０は、Ｈｎ＞０（Ｈｎが０より大きい）が成立するかどうかを判定する（ステップＳ１９）。なお、Ｈｎ＞０が成立しない場合は、横ラインの全画素で最も明るい位置の座標を検出できなかった場合であるため、プロジェクタ２０は、補正限界角度を超えているメッセージを表示して補正処理を中止する（ステップＳ２０）。

輝度分布解析部１７０は、縦ラインについても横ラインと同様の処理を行う。縦ラインの処理について図８を用いて説明する。

まず、輝度分布解析部１７０は、縦ライン上の画素番号ｍを０に設定し、縦ライン上の座標位置Ｖｍを−１に設定する（ステップＳ２１）。

そして、輝度分布解析部１７０は、ｍ＞Ｍ−１の条件が成立するかどうか、すなわち、縦ラインの全画素の判定が終了したかどうかを判定する（ステップＳ２２）。

そして、輝度分布解析部１７０は、ｍ＞Ｍ−１の条件が成立しない場合、ＲＶ（ｍ）＝Ｙ（ｍ＋１）／Ｙ（ｍ）を演算し（ステップＳ２３）、ｍ＞０、かつ、隣接する画素群の合計輝度値の変化率＝１が成立するかどうかを判定する（ステップＳ２４）。

ここで、隣接する画素群の合計輝度値の変化率＝１の判定式としては、例えば、ＲＶ（ｍ−１）＞１、かつ、ＲＶ（ｍ）＜１という判定式を採用してもよい。すなわち、隣接する画素群の合計輝度値の変化率が１となる点を跨いでいる点を検出してもよい。

ｍ＞０、かつ、隣接する画素群の合計輝度値の変化率＝１が成立しない場合、輝度分布解析部１７０は、次の画素番号について判定を行うため、ｍを１増加させて（ステップＳ２５）、ステップＳ２２〜Ｓ２５の処理を繰り返し実行する。

また、ｍ＞０、かつ、隣接する画素群の合計輝度値の変化率＝１が成立した場合、輝度分布解析部１７０は、Ｖｍに線形補間した座標位置を示すｇ（ｍ）を代入する（ステップＳ２６）。

ここで、ｇ（ｍ）としては、例えば、ｇ（ｍ）＝（１−ＲＶ（ｍ−１））／（ＲＶ（ｍ）−ＲＶ（ｍ−１））＋（ｍ−１）を採用してもよい。

そして、縦ラインの全画素の判定が終了した場合、あるいは、隣接する画素群の合計輝度値の変化率＝１が成立した場合、輝度分布解析部１７０は、Ｖｍ＞０（Ｖｍが０より大きい）が成立するかどうかを判定する（ステップＳ２７）。なお、Ｖｍ＞０が成立しない場合は、縦ラインの全画素で最も明るい位置の座標を検出できなかった場合であるため、プロジェクタ２０は、補正限界角度を超えているメッセージを表示して補正処理を中止する（ステップＳ２８）。

そして、横ライン、縦ラインとも補正限界角度を超えていない場合、輝度分布解析部１７０は、座標（Ｈｎ，Ｖｍ）を正規化した座標（Ｈ，Ｖ）を示す座標情報を補正量導出部１４０に出力する（ステップＳ２９）。なお、正規化を行う場合、例えば、Ｈ＝（Ｈｎ＋０．５）／Ｎ、Ｖ＝（Ｖｍ＋０．５）／Ｍといった演算によって正規化してもよい。なお、０．５を足すのは、的確にピークを捉えるためであるが、必ずしも正規化する際に０．５を足す必要はない。

なお、図５に示すように、最も明るい位置が投写画像１２の中央であれば、座標（Ｈ，Ｖ）も中央となり、図６に示すように、最も明るい位置が投写画像１２の左寄りであれば、座標（Ｈ，Ｖ）も左寄りとなる。

そして、図４に示すように、補正量導出部１４０は、この座標情報に基づき、画像の歪みを補正するための補正量を導出する（ステップＳ７）。

図９は、本実施形態の一例に係る画像歪み補正時の画像の状態を示す模式図である。また、図１０は、本実施形態の一例に係る画像歪み補正用データのデータ構造を示す模式図である。

補正量導出部１４０は、空間光変調器１９２の投写画像１２に対応する矩形領域の４隅Ａ’Ｂ’Ｃ’Ｄ’の座標（Ａ’ｘ，Ａ’ｙ）等と、座標（Ｈ、Ｖ）とが対応付けられた図１０に示す画像歪み補正用データに基づいてＡ’Ｂ’Ｃ’Ｄ’の座標の補正量を導出する。

例えば、図１０に示す例では、投写画像１２が横１０２４画素、縦７６８画素で構成されている場合であって、（Ｈ，Ｖ）＝（０．５０，０．５０）である場合、すなわち、投写画像１２の中央が最も明るい場合、Ａ’の座標（Ａ’ｘ，Ａ’ｙ）＝（０，０）、Ｂ’の座標（Ｂ’ｘ，Ｂ’ｙ）＝（０，７６７）、Ｃ’の座標（Ｃ’ｘ，Ｃ’ｙ）＝（１０２３，７６７）、Ｄ’の座標（Ｄ’ｘ，Ｄ’ｙ）＝（１０２３，０）となる。

また、（Ｈ，Ｖ）＝（０．６５，０．５０）である場合、すなわち、投写画像１２が横方向に歪んでいる場合、Ａ’の座標（Ａ’ｘ，Ａ’ｙ）＝（４８，３６）、Ｂ’の座標（Ｂ’ｘ，Ｂ’ｙ）＝（４８，７３１）、Ｃ’の座標（Ｃ’ｘ，Ｃ’ｙ）＝（１０２３，７６７）、Ｄ’の座標（Ｄ’ｘ，Ｄ’ｙ）＝（１０２３，０）となる。

このように、投写画像１２の歪みがある場合には、Ａ’〜Ｄ’の座標が変化することにより、補正量導出部１４０は、変化の度合いに応じて補正量を導出することができる。

補正部１２０は、補正量導出部１４０で導出された補正量に基づいて補正用データを更新し、当該補正用データを用いて画像信号を補正する。

そして、信号出力部１３０は、補正量導出部１４０で補正された画像信号を画像投写部１９０に出力し、画像投写部１９０は、当該画像信号に基づいて画像の歪みが補正された状態の画像を投写する（ステップＳ８）。

以上のように、本実施形態によれば、プロジェクタ２０は、投写画像１２の撮像情報に基づいて投写画像１２を構成する画素の相対的な明るさの変化率に基づいて輝度分布を解析することにより、環境光や投写面の色等の影響を受けにくくなるため、より正確に画像の歪みを検出することができる。

また、本実施形態によれば、プロジェクタ２０は、所定の画像処理単位（横ラインと縦ライン）で投写画像１２を区分した場合に、隣接する画像処理単位において輝度値の差異がない部分の一部をピーク位置として検出することにより、投写画像１２を構成する画素の明るさの相対的な変化を捉えることができるため、ノイズの影響を低減し、画像の歪みをより正確に検出することができる。

特に、例えば、スクリーン１０の左半分が青色で右半分が赤色であるような場合、従来の投写画像１２の色に基づいて画像の歪みを把握する手法では画像の歪みを検出することは困難であるが、本実施形態によれば、画素ごとの明るさ指標値（輝度値）の変化率を用いて画像の歪みを正確に検出することができる。

図１１は、本実施形態の他の一例に係る画像の輝度分布の模式図である。

例えば、図１１に示すように、スクリーン中央にゲインが低い素材が貼り付けてあるような場合であっても、プロジェクタ２０は、明るさ指標値の変化率が１となる点を捉えることにより、画像の歪みを検出できる。例えば、図１１に示すように、変化率が１になる画素が複数存在する場合、隣接画素の明るさ指標値の変化率が安定している画素を座標として設定すればよい。

さらに、本実施形態によれば、プロジェクタ２０は、環境光の影響を除去した状態の撮像情報に基づいて明るさの変化を捉えることにより、誤検出を防止し、より正確に画像の歪みを検出することができる。

また、プロジェクタ２０は、投写画像１２の形状を直接把握するわけではないので、センサー６０の光軸と画像投写部１９０のレンズ１９８の光軸とが一致してもよいため、センサー６０をプロジェクタ２０と一体化しやすい（センサー６０をプロジェクタ２０に内蔵してもよい）。

さらに、センサー６０は、投写画像１２の明るさ指標値の違いを検出できればよいため、センサー６０として低解像度のセンサーを適用可能である。これにより、センサー６０の製造コストを低減できる。

また、撮像部１８０の一部として機能するセンサー６０は、位置を直接検出するものではなく、センサー６０の解像度が低くてもよいため、製品として提供する際の製造コストを抑えることができる。

（変形例）
以上、本発明を適用した好適な実施の形態について説明してきたが、本発明の適用は上述した実施例に限定されない。

例えば、図１に示す例では、センサー６０がプロジェクタ２０の上部に搭載されている。この変形例として、例えば、センサー６０をプロジェクタ２０に内蔵したり、センサー６０をプロジェクタ２０とは離れた位置に配置したりしてもよい。このような場合、プロジェクタ２０は、図１０に示すデータをセンサー６０とプロジェクタ２０との位置関係に応じて変形すれば、上述した処理によって画像の歪みを補正することができる。

また、上述した実施例では、プロジェクタ２０は、輝度値の変化率を用いた。この変形例として、プロジェクタ２０は、例えば、輝度値の差分値を用いてもよい。また、プロジェクタ２０は、例えば、モノクロ画像の場合は輝度値そのものを用い、ＲＧＢ信号で表現されるカラー画像の場合は０．３Ｒ＋０．６Ｇ＋０．１Ｂにより近似した輝度値を用いてもよい。さらに、プロジェクタ２０は、輝度値以外にも、照度値、明度値等の種々の明るさの指標となる明るさ指標値を適用してもよい。

また、上述した実施例では、ピーク位置を検出する際の画像処理単位として、画像を構成する画素の縦方向および横方向の１ラインを用いた。この変形例として、プロジェクタ２０は、例えば、画素、画素ブロック（例えば、４×４画素等）等を用いてもよい。

また、上述した実施例では、輝度分布解析部１７０は、隣接する画像処理単位において輝度値の差異がない部分の一部をピーク位置として検出した。この変形例として、全画像処理単位において、輝度値が最大となる部分をピーク位置として検出するように輝度分布解析部１７０を構成してもよい。

例えば、横方向の１ラインをＮ分割した画素ブロックのうち輝度値が最大である画素ブロックの位置ｎから横方向の輝度値のピーク位置ＨをＨ＝ｎ／Ｎで求め、同様に縦方向の１ラインをＭ分割した画素ブロックのうち輝度値が最大である画素ブロックの位置ｍから縦方向の輝度値のピーク位置ＶをＶ＝ｍ／Ｍで求めることにより、ピーク位置（Ｈ、Ｖ）を検出することができる。このような場合には、輝度値が最大となる部分を検出すればよいため、処理速度を速くすることができる。

また、上述した実施例では、プロジェクタ２０は、画像処理単位として、横ラインと縦ラインの全画素群を採用した。この変形例として、プロジェクタ２０は、画像処理単位として、例えば、縦方向および横方向のいずれか一方向の全画素群、残りの一方向の一部の画素群を用いてもよい。より具体的には、例えば、撮像した投写領域の下半分の画素群、撮像した投写領域の下側４分の１の画素群等を採用することができる。これは、例えば、投写画像１２の横方向の歪みを把握する場合、プロジェクタ２０は、縦方向の全画素の輝度値を用いずに縦方向の下半分の輝度値を用いれば、横方向の歪みを把握することができるからである。

また、本発明は、プロジェクタ２０以外にもＣＲＴ(Cathode Ray Tube)、ＬＥＤ(Light Emitting Diode)等の種々の画像処理システムに有効である。

また、プロジェクタ２０としては、例えば、液晶プロジェクタ、ＤＭＤ(Digital Micromirror Device)を用いたプロジェクタ等を用いてもよい。なお、ＤＭＤは米国テキサスインスツルメンツ社の商標である。

また、上述したプロジェクタ２０の機能は、例えば、プロジェクタ単体で実装してもよいし、複数の処理装置で分散して（例えば、プロジェクタとＰＣとで分散処理）実装してもよい。

画像投写時の状態を示す模式図である。 本実施形態の一例に係るプロジェクタの機能ブロック図である。 本実施形態の一例に係るプロジェクタのハードウェアブロック図である。 本実施形態の一例に係る画像歪み補正処理の処理手順を示すフローチャートである。 本実施形態の一例に係る画像の輝度分布の模式図である。 本実施形態の他の一例に係る画像の輝度分布の模式図である。 本実施形態の一例に係る輝度分布解析処理の処理手順を示すフローチャートである。 本実施形態の一例に係る輝度分布解析処理の続きの処理手順を示すフローチャートである。 本実施形態の一例に係る画像歪み補正時の画像の状態を示す模式図である。 本実施形態の一例に係る画像歪み補正用データのデータ構造を示す模式図である。 本実施形態の他の一例に係る画像の輝度分布の模式図である。

符号の説明

１０ スクリーン、１２ 投写画像、２０ プロジェクタ（画像処理システム）、６０ センサー、１２０ 補正部、１４０ 補正量導出部、１７０ 輝度分布解析部（明るさ指標値分布解析手段）、１９０ 画像投写部、１８０ 撮像部、９００ 情報記憶媒体

Claims (11)

1. 画像の歪みを調節するために、画像信号を補正する補正手段と、
   当該画像信号に基づき、画像を投写する画像投写手段と、
   投写された投写画像を撮像して撮像情報を生成する撮像手段と、
   当該撮像情報に基づき、所定の画像処理単位で前記投写画像を区分した場合に、全画像処理単位において明るさ指標値が最大となる部分をピーク位置として検出し、あるいは、隣接する画像処理単位において明るさ指標値の差異がない部分の一部をピーク位置として検出し、当該ピーク位置を示す座標情報を生成する明るさ指標値分布解析手段と、
   当該座標情報に基づき、投写画像の歪み状況を把握し、投写画像の歪み状況に応じて前記補正手段による補正量を導出する補正量導出手段と、
   を含み、
   前記補正手段は、当該補正量に基づき、前記画像信号を補正することを特徴とする画像処理システム。
2. 請求項１において、
   前記画像処理単位は、投写画像の縦方向の画素群および投写画像の横方向の画素群であって、
   前記明るさ指標値分布解析手段は、前記縦方向の画素群の明るさ指標値の積算値を、投写画像の横方向において隣接する画素群ごとに演算し、隣接する画素群における前記積算値の差異がない部分の画素位置に基づいて前記ピーク位置の横方向の座標位置を決定し、前記横方向の画素群の明るさ指標値の積算値を、投写画像の縦方向において隣接する画素群ごとに演算し、隣接する画素群における前記積算値の差異がない部分の画素位置に基づいて前記ピーク位置の縦方向の座標位置を決定することを特徴とする画像処理システム。
3. 請求項２において、
   前記明るさ指標値は、輝度値であって、
   前記明るさ指標値分布解析手段は、投写画像の横方向において隣接する縦方向の画素群の合計輝度値の変化率が１となる画素位置に基づいて前記ピーク位置の横方向の座標位置を決定し、投写画像の縦方向において隣接する横方向の画素群の合計輝度値の変化率が１となる画素位置に基づいて前記ピーク位置の縦方向の座標位置を決定することを特徴とする画像処理システム。
4. 請求項１〜３のいずれかにおいて、
   前記画像投写手段は、黒色画像と白色画像を投写し、
   前記撮像手段は、当該黒色画像の撮像情報と、当該白色画像の撮像情報を生成し、
   前記明るさ指標値分布解析手段は、黒色画像の撮像情報と白色画像の撮像情報の差分に基づき、環境光の影響を除いた状態の撮像情報を生成し、生成した撮像情報に基づき、前記ピーク位置を検出することを特徴とする画像処理システム。
5. 画像の歪みを調節するために、画像信号を補正する補正手段と、
   当該画像信号に基づき、画像を投写する画像投写手段と、
   投写された投写画像を撮像して撮像情報を生成する撮像手段と、
   当該撮像情報に基づき、所定の画像処理単位で前記投写画像を区分した場合に、全画像処理単位において明るさ指標値が最大となる部分をピーク位置として検出し、あるいは、隣接する画像処理単位において明るさ指標値の差異がない部分の一部をピーク位置として検出し、当該ピーク位置を示す座標情報を生成する明るさ指標値分布解析手段と、
   当該座標情報に基づき、投写画像の歪み状況を把握し、投写画像の歪み状況に応じて前記補正手段による補正量を導出する補正量導出手段と、
   を含み、 前記補正手段は、当該補正量に基づき、前記画像信号を補正することを特徴とするプロジェクタ。
6. 画像投写手段と、撮像手段とを有するプロジェクタの有するコンピュータにより読み取り可能なプログラムであって、
   コンピュータを、
   画像の歪みを調節するために、画像信号を補正する補正手段と、
   当該画像信号に基づき、画像を前記画像投写手段に投写させる投写制御手段と、
   投写された投写画像を前記撮像手段に撮像させて撮像情報を生成させる撮像制御手段と、
   当該撮像情報に基づき、所定の画像処理単位で前記投写画像を区分した場合に、全画像処理単位において明るさ指標値が最大となる部分をピーク位置として検出し、あるいは、隣接する画像処理単位において明るさ指標値の差異がない部分の一部をピーク位置として検出し、当該ピーク位置を示す座標情報を生成する明るさ指標値分布解析手段と、
   当該座標情報に基づき、投写画像の歪み状況を把握し、投写画像の歪み状況に応じて前記補正手段による補正量を導出する補正量導出手段として機能させ、
   前記補正手段は、当該補正量に基づき、前記画像信号を補正することを特徴とするプログラム。
7. 画像投写手段と、撮像手段とを有するプロジェクタの有するコンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
   請求項６に記載のプログラムを記憶した情報記憶媒体。
8. 所定の投写面に単一色画像を投写し、
   投写画像を撮像して撮像情報を生成し、
   当該撮像情報に基づき、所定の画像処理単位で前記投写画像を区分した場合に、全画像処理単位において明るさ指標値が最大となる部分をピーク位置として検出し、あるいは、隣接する画像処理単位において明るさ指標値の差異がない部分の一部をピーク位置として検出し、
   当該ピーク位置を示す座標情報を生成し、
   当該座標情報に基づき、投写画像の歪み状況を把握し、投写画像の歪み状況に応じて投写画像の歪みがなくなるように画像信号を補正するための補正量を導出し、
   当該補正量に基づき、前記画像信号を補正することを特徴とする画像処理方法。
9. 請求項８において、
   前記画像処理単位は、投写画像の縦方向の画素群および投写画像の横方向の画素群であって、
   前記縦方向の画素群の明るさ指標値の積算値を、投写画像の横方向において隣接する画素群ごとに演算し、
   隣接する画素群における前記積算値の差異がない部分の画素位置に基づいて前記ピーク位置の横方向の座標位置を決定し、
   前記横方向の画素群の明るさ指標値の積算値を、投写画像の縦方向において隣接する画素群ごとに演算し、
   隣接する画素群における前記積算値の差異がない部分の画素位置に基づいて前記ピーク位置の縦方向の座標位置を決定することを特徴とする画像処理方法。
10. 請求項９において、
    前記明るさ指標値は、輝度値であって、
    投写画像の横方向において隣接する縦方向の画素群の合計輝度値の変化率が１となる画素位置に基づいて前記ピーク位置の横方向の座標位置を決定し、
    投写画像の縦方向において隣接する横方向の画素群の合計輝度値の変化率が１となる画素位置に基づいて前記ピーク位置の縦方向の座標位置を決定することを特徴とする画像処理方法。
11. 請求項８〜１０のいずれかにおいて、
    環境光の影響を除いた状態の撮像情報を生成し、
    当該撮像情報に基づき、前記ピーク位置を検出することを特徴とする画像処理方法。

Images