JP6926464B2 - 投影装置、投影方法及びプログラム - Google Patents

Description

本発明は、専用のスクリーン以外の被投影対象に画像を投影する投影装置、投影方法及びプログラムに関する。

カラー画像を投射するプロジェクタにおいて、壁等の投射面に色がある場合に正しい色再現がされないため、投射面の分光反射率あるいは光源下の色情報を用いて原色の混合量を変換行列により補正した上で投影するようにした技術が提案されている。（例えば、特許文献１）

特開２００７−２５９４７２号公報

上記特許文献に記載された技術は、投射面の色や模様等が見えづらくなるようにダイナミックレンジを調整するものであり、投影する画像の白と黒の目標値をどのように決めるのかが重要なポイントとなる。通常は、プロジェクタで全面が白となる画像を投影した場合に、その投影範囲をカメラで撮影し、撮影画像における投影範囲内で最も値が低く、最も黒に近い画素値を白の目標値とする。同様に、プロジェクタで黒画像（黒に近い、例えば輝度が白画像の１０［％］となる近似的な黒画像）を投影した場合にその投影範囲をカメラで撮影し、撮影画像における投影範囲内で最も値が高く、最も白に近い画素値を黒の目標値とする。

しかしながら、上記のように白と黒の目標値を決定する手法で色補正を行なうことで、ダイナミックレンジが縮小してコントラストが著しく低下することもある。また、ある特定の位置の光の反射率が極端に低い場合には、色の補正を行なうこと自体が不可能となることもあり得る。

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、専用のスクリーンではない被投影対象にも、ユーザの意図を反映した画質で投影を行なうことが可能な投影装置、投影方法及びプログラムを提供することにある。

本発明の一態様は、画像を投影する投影部と、上記投影部で画像を投影した被投影対象面での投影画像を取得する投影画像取得部と、上記投影画像取得部で取得した投影画像から、上記被投影対象面での白色画像の投影状態及び非投影状態の色情報を取得する投影面情報取得部と、上記投影部で投影する画像の明るさ及び色の少なくとも一方を指定する複数の投影モード中から１つを指定する投影モード指定部と、上記投影面情報取得部で取得した上記被投影対象面での白色画像の投影状態及び非投影状態の色情報と、上記投影モード指定部で指定した投影モードと、に基づいて、上記投影部で投影する画像を構成する各色の階調範囲を決定して投影させる投影制御部と、を備え、上記投影制御部は、上記投影面情報取得部で取得した上記被投影対象面での白色画像の投影状態の色情報に基づいて、上記投影部で投影する画像を構成する全画素の各色の階調値の分布を、小さい数字から大きい数字に順番に並べ変えてパーセント表示し、小さい方から何パーセントのところに位置するかを表す第１のパーセンタイルを決定し、上記投影面情報取得部で取得した上記被投影対象面での非投影状態の色情報に基づいて、上記投影部で投影する画像を構成する全画素の各色の階調値の分布を、小さい数字から大きい数字順番に並べ変えてパーセント表示し、小さい方から何パーセントのところに位置するかを表す第２のパーセンタイルを決定し、上記第１のパーセンタイルは上記全画素の各色の階調範囲の上限値を示し、上記第２のパーセンタイルは上記全画素の各色の階調範囲の下限値を示し、上記階調値の分布と上記投影モードとに基づいて、上記第１のパーセンタイルの何れかの値を上限値として設定し且つ上記第２のパーセンタイルの何れかの値を下限値として設定し、上記上限値及び上記下限値は、上記投影モードによって異なる。

本発明によれば、専用のスクリーンではない被投影対象にも、ユーザの意図を反映した画質で投影を行なうことが可能となる。

本発明の一実施形態に係るプロジェクタ装置の設置当初の環境を例示する図。 同実施形態に係るプロジェクタ装置の電子回路の機能構成を示すブロック図。 同実施形態に係る色補正設定処理の機能構成を示すブロック図。 同実施形態に係る第１の動作例での処理内容を示すフローチャート。 同実施形態に係る第１の動作例で取得する、画素毎のＲ，Ｇ，Ｂトータルの白画素、黒画素それぞれの照度情報を例示する図。 同実施形態に係る第２の動作例での処理内容を示すフローチャート。 同実施形態に係る第２の動作例での投影範囲の周囲に応じた投影内容への色補正の処理を説明する図。

以下、本発明をプロジェクタ装置に適用した場合の一実施形態について、図面を参照して詳細に説明する。
［構成］
図１は、本実施形態に係るプロジェクタ装置１０を投影場所に設置する当初に実行する、色補正設定時の環境を例示する図である。

同図では、プロジェクタ装置１０が台ＢＳ上に載置され、スクリーン代わりの壁面ＷＬに向けて、その正面より逸れた位置、同図では壁面ＷＬに向かって右側にオフセットされた位置から、テスト用の全面白色の矩形画像を投影している状態を示す。

壁面ＷＬには図示するように幾何学的な図形の模様があり、且つその地色は、画像投影に適した白色ではないものとする。

一方で、壁面ＷＬの正面に椅子Ｃが設置される。さらにこの椅子Ｃ上に座る予定の観賞者ＡＭに代えて、その観賞者ＡＭの両眼の位置となるべく近接するように、三脚ＴＰに取付けたデジタルカメラＤＣを設置する。すなわち、デジタルカメラＤＣは、観賞者ＡＭの両目から見える壁面ＷＬ上の投影範囲ＰＡを認識するために設置される。ここでデジタルカメラＤＣは、投影範囲ＰＡを略中心に位置させてその周囲を広く撮影できるような撮影（ズーム）画角となるように調整しておくものとする。

このデジタルカメラＤＣと上記プロジェクタ装置１０とが、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルＵＣにより有線接続される。デジタルカメラＤＣは、ＵＳＢケーブルＵＣを介してプロジェクタ装置１０から入力される制御コマンドに応じ、壁面ＷＬと壁面ＷＬ上の投影範囲ＰＡを含む画像を撮影し、その撮影により得た画像データをＵＳＢケーブルＵＣを介してプロジェクタ装置１０に送出する。

次に図２により、上記プロジェクタ装置１０の主として電子回路の機能構成を説明する。同図中、画像入力部１１は、例えばピンジャック（ＲＣＡ）タイプのビデオ入力端子、Ｄ−ｓｕｂ１５タイプのＲＧＢ入力端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子、ＵＳＢ端子などにより構成される。

画像入力部１１に入力され、あるいはＵＳＢメモリに記憶されて選択的に読出される、各種規格のアナログまたはデジタルの画像信号は、画像入力部１１で必要に応じてデジタル化された後に、バスＢを介して投影画像処理部１２に送られる。

投影画像処理部１２は、送られてきた画像データに応じて、所定のフォーマットに従ったフレームレート、例えば入力される画像データのフレームレートが６０［フレーム／秒］であれば２倍の１２０［フレーム／秒］と色成分の分割数、及び表示階調数を乗算したより高速な時分割駆動により、表示素子であるマイクロミラー素子１３を表示駆動する。

マイクロミラー素子１３は、アレイ状に配列された複数、例えば横１２８０画素×縦９６０画素分の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することで、その反射光により光像を形成する。

一方で、光源部１４から時分割でＲ，Ｇ，Ｂの原色光が循環的に出射される。光源部１４は、半導体発光素子であるＬＥＤを有し、Ｒ，Ｇ，Ｂの原色光を時分割で繰返し出射する。光源部１４が有するＬＥＤは、広義でのＬＥＤとして、ＬＤ（半導体レーザ）や有機ＥＬ素子を含むものとしても良い。この光源部１４からの原色光が、ミラー１５で全反射して上記マイクロミラー素子１３に照射される。

そして、マイクロミラー素子１３での反射光で光像が形成され、形成された光像が投影レンズ部１６を介し、外部に投射して表示が行なわれる。

上記投影画像処理部１２、マイクロミラー素子１３、光源部１４、ミラー１５、及び投影レンズ部１６を含んで投影部１７を構成する。

また、上記画像入力部１１から入力される画像信号に音声信号が含まれていた場合、その音声信号は画像入力部１１で画像信号から分離され、バスＢを介して音声処理部１８に送られる。音声処理部１８は、ＰＣＭ音源等の音源回路を備え、投影動作時に与えられる音声信号をアナログ化し、スピーカ部１９を駆動して放音させ、あるいは必要によりビープ音等を発生させる。

上記各回路の動作すべてをＣＰＵ２０が制御する。このＣＰＵ２０は、メインメモリ２１及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）２２と接続される。メインメモリ２１は、例えばＳＲＡＭで構成され、ＣＰＵ２０のワークメモリとして機能する。ＳＳＤ２２は、電気的に書換え可能な不揮発性メモリ、例えばフラッシュＲＯＭで構成され、ＣＰＵ２０が実行する、後述する色補正設定プログラム２２Ａを含む各種動作プログラムや、ベースとなる画像上に重畳するＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）用画像等の各種定型データ等を記憶する。

ＣＰＵ２０は、上記ＳＳＤ２２に記憶されている動作プログラムや定型データ等を読出し、メインメモリ２１に展開して記憶させた上で当該プログラムを実行することにより、このプロジェクタ装置１０を統括して制御する。

上記ＣＰＵ２０は、バスＢを介して操作部２３からの操作信号に応じて各種投影動作を実行する。この操作部２３は、プロジェクタ装置１０の本体筐体に備える操作キー、あるいは図示しないこのプロジェクタ装置１０専用のリモートコントローラからの赤外線変調信号を受信する受光部を含み、キー操作信号を受付けて、受付けたキー操作信号に応じた信号をバスＢを介して上記ＣＰＵ２０へ送出する。

上記ＣＰＵ２０はさらに、上記バスＢを介して無線ＬＡＮインタフェイス（Ｉ／Ｆ）２４、加速度センサ２５と接続される。
無線ＬＡＮインタフェイス２４は、無線ＬＡＮアンテナ２６を介して、例えばＩＥＥＥ８０２．１１ａ／１１ｂ／１１ｇ／１１ｎ規格に則った無線通信接続により外部の機器とデータの送受を行なう。

加速度センサ２５は、互いに直交する３軸方向の加速度を検出するものであり、この加速度センサ２５の検出出力から重力加速度の方向を算出することにより、このプロジェクタ装置１０がどのような姿勢で投影動作が行なわれているのかを判断することができる。

図３は、上記ＳＳＤ２２に記憶される色補正設定プログラム２２Ａを、ＣＰＵ２０が読出してメインメモリ２１に展開した上で実行する処理の機能構成を示すブロック図である。上記色補正設定プログラム２２Ａを用いるソフトウェアによる制御に代えて、この図３の構成をハードウェア回路化して備えるものとしても良い。

上記デジタルカメラＤＣから画像入力部１１を介して入力された、上記投影範囲ＰＡを含む範囲の撮影画像データは、ソート処理部３１に入力される。このソート処理部３１は、入力される画像データの全画素、全原色分をソート処理する。

この場合にソート処理部３１は、上記投影部１７により全面が白色の画像を投影した際に入力された画像データのソート処理結果を、白の測定結果保存部３２に送出して保存させる。またソート処理部３１は、上記投影部１７により全面が黒色の画像（フル階調の０％）を投影した際に入力された画像データのソート処理結果を、黒の測定結果保存部３３に送出して保存させる。全面が黒色の画像とは、すなわち非投影状態である。

これら白の測定結果保存部３２、黒の測定結果保存部３３の各保存内容はいずれも目標値決定処理部３４に読出される。

この目標値決定処理部３４は、制御部３５の制御の下に、投影すべき白レベルの目標階調値と黒レベルの目標階調値とを決定する処理を実行し、その決定結果を上記制御部３５へ出力する。

制御部３５は、上記した全面が白色の画像、全面が黒色の画像をテストパターン出力部３６により投影部１７に対して出力させて投影させる一方で、目標値決定処理部３４から決定された白レベルの目標階調値と黒レベルの目標階調値とを受取って、色補正部３７へ出力する。

色補正部３７は、制御部３５から与えられた白レベルと黒レベルの各目標階調値に基づいて、上記投影部１７で投影させる画像を構成する各画素に関し、白レベルから黒レベルに至る間の各原色分毎の階調補正を実行させる。

［第１の動作例］
次に上記実施形態の第１の動作例について説明する。
ここでは、プロジェクタ装置１０による任意の画像の投影を開始する前の初期設定として、上記図１に示したようにプロジェクタ装置１０及びデジタルカメラＤＣの設置を行ない、壁面ＷＬの状態に応じてプロジェクタ装置１０での色補正状態を設定する場合の動作について図面を参照して説明する。

図４は、ＣＰＵ２０がＳＳＤ２２の色補正設定プログラム２２Ａから読出し、メインメモリ２１に展開して記憶させた上で実行する処理内容を示すフローチャートである。

まずＣＰＵ２０は、投影部１７の投影画像処理部１２に対して、マイクロミラー素子１３で表示する画像の全画素がＲ，Ｇ，Ｂの各原色分共にフル階調となるような全面白色画像を投影させる（ステップＳ１０１）。

この白色画像の投影状態（明時）で、画像入力部１１を介して上記デジタルカメラＤＣに対し、壁面ＷＬの投影範囲ＰＡを含んだ画像を撮影するように指示し、当該指示による撮影を実行してデジタルカメラＤＣから送られてくる画像データを取得する（ステップＳ１０２）。

ＣＰＵ２０は、取得した画像データ中の各画素値に対する輪郭抽出処理を実行し、投影範囲ＰＡとその周囲とを区分して認識した上で、投影範囲ＰＡを構成する全画素、全原色分毎に画素値をソートして、その結果（色分布等の色情報）を保持する（ステップＳ１０３）。

例えば白色画像に対する撮影画像中のある画素の画素値が、各原色共８ビット階調「０（ゼロ階調値）」〜「２５５（フル階調値）」で（Ｒ，Ｇ，Ｂ）＝(１９２，２０１，２０３)であった場合に、当該画素位置を含んで画像全体で等しい白を投影するためにはＲ，Ｇ，Ｂが同値である必要があるものとして、最小階調値「１９２」を当該画素位置での白画素の照度情報として取扱う。すなわち、（Ｒ，Ｇ，Ｂ）＝(１９２，１９２，１９２)を、当該画素位置での白画素の照度情報として取扱う。

次にＣＰＵ２０は、投影部１７の投影画像処理部１２に対して、マイクロミラー素子１３で表示する画像の全画素がＲ，Ｇ，Ｂの各原色分共に、フル階調の０［％］の階調となるような全面黒色画像を投影させる（ステップＳ１０４）。すなわち非投影状態とする。これは目標値をできるだけ低くし、色補正後の黒をなるべく暗くするためである。

このような全面黒色画像の投影、すなわち非投影状態であっても、照度等の環境光の影響があるため、色補正後の黒画像が大凡フル階調の１０％位になり、上記デジタルカメラＤＣの撮影画像の画素値は０にならないことがある。

この黒色画像の投影状態（暗時）で、画像入力部１１を介して上記デジタルカメラＤＣに対し、壁面ＷＬの投影範囲ＰＡを含んだ画像を撮影するように指示し、当該指示による撮影を実行してデジタルカメラＤＣから送られてくる画像データを取得する（ステップＳ１０５）。

ＣＰＵ２０は、上記ステップＳ１０３で認識した投影範囲ＰＡを構成する全画素、全原色分毎に画素値をソートして、その結果（色分布等の色情報）を保持する（ステップＳ１０６）。

例えば黒色画像に対する撮影画像中のある画素の画素値が、各原色共８ビット階調「０（ゼロ階調値）」〜「２５５（フル階調値）」で（Ｒ，Ｇ，Ｂ）＝(３１，２７，２４)であった場合に、当該画素位置を含んで画像全体で等しい黒を投影するためにはＲ，Ｇ，Ｂが同値である必要があるものとして、最大階調値「３１」を当該画素位置での黒画素の照度情報として取扱う。すなわち、（Ｒ，Ｇ，Ｂ）＝(３１，３１，３１)を、当該画素位置での黒画素の照度情報として取扱う。

なお、ＧはＲやＢと比較して比視感度が高いので、Ｇの階調値「２７」を当該画素位置での黒画素の照度情報として取扱っても良い。この場合、（Ｒ，Ｇ，Ｂ）＝(２７，２７，２７)を、当該画素位置での黒画素の照度情報として取扱うことになる。ただし、ＲやＢの階調値が、Ｇの階調値に対して所定の範囲内（例えば±２０％以内の値）である場合にＧの階調値を取扱うことが可能となる。

あるいは、Ｒ，Ｇ，Ｂの平均階調値を、当該画素位置での黒画素の照度情報として取扱っても良い。この方法は、黒画素の照度情報だけでなく、白画素の照度情報として取扱う場合にも有効である。

図５は、上記ステップＳ１０１〜Ｓ１０６の処理により取得した、画素毎のＲ，Ｇ，Ｂトータルの白画素、黒画素それぞれの照度情報を例示する図である。

上記ステップＳ１０１〜Ｓ１０３の処理で取得した白色画像の画素のソート結果が同図の上側、ＷｍａｘからＷｍｉｎの範囲内で示される。すなわち、計測値の分布（ばらつき）を小さい数字から大きい数字に並べ変え、パーセント表示することによって、小さい数字から大きな数字に並べ変えた計測値においてどこに位置するのかを測定する単位であるパーセンタイルを用いる。したがって、パーセンタイルにおける１００パーセンタイルが最上値Ｗｍａｘに、０パーセンタイルが最下値Ｗｍｉｎに設定される。

上記ステップＳ１０４〜Ｓ１０６の処理で取得した、黒色画像の画素のソート結果が同図の下側、ＢｍａｘからＢｍｉｎの範囲内で示される。したがって、パーセンタイルにおける１００パーセンタイルが最上値Ｂｍａｘに、０パーセンタイルが最下値Ｂｍｉｎに設定される。

ここでＣＰＵ２０は、プロジェクタ装置１０の設置者に対して、投影モードの選択を促すガイドメッセージを含んだ画像を投影部１７により投影させた上で（ステップＳ１０７）、実際に選択を行なう入力が操作部２３によりあったか否かを判断する（ステップＳ１０８）。

選択する投影モードとしては、例えばプロジェクタ装置１０を比較的明るい室内等でプレゼンテーションに使用するなど、何よりも投影画像の明るさを優先するための明るさ優先モード、壁面ＷＬ自体の色や模様による影響を極力排除して、入力された画像の色彩を忠実に再現するための色優先モード、色や明るさよりも投影する画像に明暗差があってメリハリのきいた画像とさせるためのコントラスト優先モードの３つのモードがあるものとする。

選択の入力がなされないと判断した場合（ステップＳ１０８のＮｏ）、ＣＰＵ２０は上記ステップＳ１０７の処理に戻って、投影モードの選択を促す画像の投影を維持する。

こうしてＣＰＵ２０は、上記ステップＳ１０７，Ｓ１０８の処理を繰返し実行し、投影モードの選択を促す画像の投影を行ないながら、選択入力がなされるのを待機する。

そして、投影モードの選択入力があったと判断した時点で（ステップＳ１０８のＹｅｓ）、ＣＰＵ２０は、選択入力された投影モードに応じて、以降投影する画像の最も明るい白画素の目標値の階調と最も暗い黒画素の目標値の階調とを決定して投影部１７の投影画像処理部１２に設定し（ステップＳ１０９）、以上でこの図４の処理を終えると共に、画像入力部１１に入力される画像信号に応じた投影を実行する、通常の投影動作に移行する。

選択入力された投影動作が明るさ優先モードであった場合、最も明るい白画素の目標値の階調としては、例えば１０パーセンタイルで閾値とされる白画素の階調値を取得して上限の目標値として設定する一方で、最も暗い黒画素の目標値の階調としても、例えば９０パーセンタイルで閾値とされる黒画素の階調値を取得して下限の目標値として設定する。このように、１０パーセンタイルで閾値とされる白画素の階調値を取得して上限の目標値として設定することで、模様等の色を９０％消すことができる。このような設定を行なうことで、投影する画素の階調値の範囲の幅をより高い位置に設定して、投影される画像が全面で明るいものとなるようにする。

また選択入力された投影動作が色優先モードであった場合、最も明るい白画素の目標値の階調としては、最も低い０．０１パーセンタイルで閾値とされる白画素の階調値を取得して上限の目標値として設定する一方で、最も暗い黒画素の目標値の階調として、最も高い９９．９パーセンタイルで閾値とされる黒画素の階調値を取得して下限の目標値として設定する。このような設定を行なうことで、ダイナミックレンジは狭いものとなってしまう反面、壁面ＷＬ自体の色や模様の影響を極力排除して、入力される画像信号本来の有する色情報をより忠実に再現できるようにする。

さらに選択入力された投影動作がコントラスト優先モードであった場合、最も明るい白画素の目標値の階調としては、例えば１０パーセンタイルで閾値とされる白画素の階調値を取得して上限の目標値として設定する一方で、最も暗い黒画素の目標値の階調としては、例えば０．０１パーセンタイルで閾値とされる黒画素の階調値を取得して下限の目標値として設定する。このように、最も暗い黒画素の目標値の階調として、０.０１パーセンタイルという非常に小さな値を閾値としているので、黒を暗くすることができる。したがって、コントラストを高くすることができる。なお、異常値がある場合があるので０パーセンタイルは閾値として使用しない。

このような設定を行なうことで、壁面ＷＬ自体の色や模様の影響を受けてしまうものの、ダイナミックレンジを拡大し、表現可能な階調範囲を広くして、投影される画像をメリハリのあるものとする。なお、これらの投影モードを使用する／使用しないの切り替えができるようにしても良い。

［第２の動作例］
次に上記実施形態の第２の動作例について説明する。
ここでは、プロジェクタ装置１０による任意の画像の投影を開始する前の初期設定として、上記図１に示したようにプロジェクタ装置１０及びデジタルカメラＤＣの設置を行ない、壁面ＷＬの状態に応じてプロジェクタ装置１０での色補正状態を設定する場合の動作について図面を参照して説明する。

なお本動作例では、上記第１の動作例に代えて、壁面ＷＬで投影範囲ＰＡ外の周囲色を投影内容に反映する、周囲色反映モードをオン設定した場合について説明する。

図６は、ＣＰＵ２０がＳＳＤ２２の色補正設定プログラム２２Ａから読出し、メインメモリ２１に展開して記憶させた上で実行する処理内容を示すフローチャートである。

まずＣＰＵ２０は、投影部１７の投影画像処理部１２に対して、マイクロミラー素子１３で表示する画像の全画素がＲ，Ｇ，Ｂの各原色分共にフル階調となるような全面白色画像を投影させる（ステップＳ２０１）。

この白色画像の投影状態で、画像入力部１１を介して上記デジタルカメラＤＣに対し、壁面ＷＬの投影範囲ＰＡとその周囲とを含んだ画像を撮影するように指示し、当該指示による撮影を実行してデジタルカメラＤＣから送られてくる画像データを取得する（ステップＳ２０２）。

ＣＰＵ２０は、取得した画像データ中の各画素値に対する輪郭抽出処理を実行し、投影範囲ＰＡとその周囲とを区分して認識した上で、投影範囲ＰＡとその周囲それぞれに、構成する全画素、全原色分毎に画素値をソートして、その結果を保持する（ステップＳ２０３）。

次にＣＰＵ２０は、投影部１７の投影画像処理部１２に対して、マイクロミラー素子１３で表示する画像の全画素がＲ，Ｇ，Ｂの各原色分共に、フル階調の０［％］の階調となるような近似的な全面黒色画像を投影させる（ステップＳ２０４）。すなわち非投影状態とする。

この黒色画像の投影状態で、画像入力部１１を介して上記デジタルカメラＤＣに対し、壁面ＷＬの投影範囲ＰＡを含んだ画像を撮影するように指示し、当該指示による撮影を実行してデジタルカメラＤＣから送られてくる画像データを取得する（ステップＳ２０５）。

ＣＰＵ２０は、上記ステップＳ２０３で認識した投影範囲ＰＡを構成する全画素、全原色分毎に画素値をソートして、その結果を保持する（ステップＳ２０６）。

ここでＣＰＵ２０は、プロジェクタ装置１０の設置者に対して、投影モードの選択を促すガイドメッセージを含んだ画像を投影部１７により投影させた上で（ステップＳ２０７）、実際に選択を行なう入力が操作部２３によりあったか否かを判断する（ステップＳ２０８）。

選択する投影モードとしては、例えばプロジェクタ装置１０を比較的明るい室内等でプレゼンテーションに使用するなど、何よりも投影画像の明るさを優先するための明るさ優先モード、壁面ＷＬ自体の色や模様による影響を極力排除して、入力された画像の色彩を忠実に再現するための色優先モード、色や明るさよりも投影する画像に明暗差があってメリハリのきいた画像とさせるためのコントラスト優先モードの３つのモードがあるものとする。

選択の入力がなされないと判断した場合（ステップＳ２０８のＮｏ）、ＣＰＵ２０は上記ステップＳ２０７の処理に戻って、投影モードの選択を促す画像の投影を維持する。

こうしてＣＰＵ２０は、上記ステップＳ２０７，Ｓ２０８の処理を繰返し実行し、投影モードの選択を促す画像の投影を行ないながら、選択入力がなさるのを待機する。

そして、投影モードの選択入力があったと判断した時点で（ステップＳ２０８のＹｅｓ）、ＣＰＵ２０は、選択入力された投影モードに応じて、以降投影する画像の最も明るい白画素の目標値の階調と最も暗い黒画素の目標値の階調とを決定する（ステップＳ２０９）。

選択入力された投影動作が明るさ優先モードであった場合、最も明るい白画素の目標値の階調としては、例えば１０パーセンタイルで閾値とされる白画素の階調値を取得して上限の目標値として設定する一方で、最も暗い黒画素の目標値の階調としても、例えば９０パーセンタイルで閾値とされる黒画素の階調値を取得して下限の目標値として設定する。

また選択入力された投影動作が色優先モードであった場合、最も明るい白画素の目標値の階調としては、最も低い０．０１パーセンタイルで閾値とされる白画素の階調値を取得して上限の目標値として設定する一方で、最も暗い黒画素の目標値の階調として、最も高い９９．９パーセンタイルで閾値とされる黒画素の階調値を取得して下限の目標値として設定する。

さらに選択入力された投影動作がコントラスト優先モードであった場合、最も明るい白画素の目標値の階調としては、例えば１０パーセンタイルで閾値とされる白画素の階調値を取得して上限の目標値として設定する一方で、最も暗い黒画素の目標値の階調としては、例えば０．０１パーセンタイルで閾値とされる黒画素の階調値を取得して下限の目標値として設定する。

さらにＣＰＵ２０は、上記ステップＳ２０３で保持しておいた、投影範囲ＰＡの周囲を構成する全画素、全原色分毎の画素値のソート結果と、選択された投影モードと、に応じて、上記ステップＳ２０９で決定した最も明るい白画素の目標値の階調と最も暗い黒画素の目標値の階調に対する原色比を補正した上で、投影部１７の投影画像処理部１２に設定し（ステップＳ２１０）、以上でこの図６の処理を終えると共に、画像入力部１１に入力される画像信号に応じた投影を実行する、通常の投影動作に移行する。なお、これらの投影モードを使用する／使用しないの切り替えができるようにしても良い。

図７は、上記投影範囲ＰＡの周囲に応じた投影内容に対する色補正の処理を説明する図である。例えば図７（Ａ）に示すような、全面が黄色い壁面ＷＬに向けてプロジェクタ装置１０を設置し、投影範囲ＰＡを設定したものとする。加えて壁面ＷＬでは、投影範囲ＰＡの略中央位置に、図示するような円形ＣＬの黒っぽい模様があるものとする。

この場合に、同図（Ａ）の略中央を横断する線Ｌ１に沿った、撮影画像中の各画素位置でのＲ，Ｇ，Ｂ各原色分毎の画素値が図７（Ｂ）に示すような特性となったものとする。すなわち、Ｒ，Ｇ，Ｂ各原色分毎の画素値は、投影範囲ＰＡの内外と、投影範囲ＰＡ略中央の円形ＣＬとの位置関係によって増減するものの、全体で壁面ＷＬの地色である黄色による影響で、その補色関係に近く、当該地色成分を含んでいないと思われる原色、ここではＢ（青色）の画素値が、その他の当該地色成分を含んでいると思われる原色Ｒ（赤色）、Ｇ（緑色）の各画素値に比して相対的に低い値となる。

単に、投影範囲ＰＡ内で投影する画像のみを考えた場合には、原色Ｒ（赤色）、Ｇ（緑色）の各画素値をＢ（青色）の画素値と同レベルとなるように抑える調整を行なうことにより、結果として元の画像信号の色調を正しく再現できることになるものと思われる。

しかしながら、実際の投影環境下では、観賞者ＡＭには投影範囲ＰＡ上の投影範囲ＰＡを外れた周囲部分も無意識ながら同時に視野に入ることになる。特にこのプロジェクタ装置１０による投影環境が明るく、壁面ＷＬ上の投影範囲ＰＡを外れた周囲部分の影響が大きいと考えられる環境では、観賞者ＡＭにとって投影範囲ＰＡ内に投影される画像は、投影範囲ＰＡ外の周囲の壁面ＷＬの地色による影響を受ける。したがって、壁面ＷＬの地色は補色がかって見えることになる。すなわち、壁面ＷＬの地色が上記図７で示したように黄色であれば、投影範囲ＰＡ内で投影される画像はその補色である青色がかって見えることになる。

したがってＣＰＵ２０は、その時点で選択されている投影モードに対応して、ここではプロジェクタ装置１０で投影する画像中の各画素値の原色Ｒ，Ｇ分を、原色Ｂ分よりも強調する色補正を行なう必要がある。この場合に強調する調整幅Ｌｖ．１は、上記図７（Ｂ）中に示すように、元の画素値の原色Ｒ，Ｇ分から原色Ｂ分を減じた幅内に収まるように設定されるものであり、且つ投影モードの明るさの絶対値に応じて、明るさ優先モード、コントラスト優先モード、色優先モードの順で上記調整幅Ｌｖ．１を大きく設定するものとする。

［効果］
以上詳述した如く本実施形態によれば、専用のスクリーンではなく、色や模様、汚れ等がある被投影対象にも、ユーザの意図を反映した画質で投影を行なうことが可能となる。

なお上記実施形態では説明しなかったが、投影する画像の最も明るい白画素の目標値の階調と最も暗い黒画素の目標値の階調とを決定するにあたって、その階調幅の最小値を予め閾値として設定しておき、当該閾値以下とはならないように白画素の目標値の階調と最も暗い黒画素の目標値の階調とを決定することによって、必要最低限のコントラストを確保することができる。

また上記第２の動作例では、壁面ＷＬの投影範囲ＰＡを外れた周囲の地色をも考慮して投影範囲ＰＡ内に投影する画像の色補正を行なうものとしたので、実際の投影環境に即して観賞者ＡＭに違和感なく自然な色合いの投影画像を提供することができる。

さらに上記第２の動作例では、壁面ＷＬの投影範囲ＰＡを外れた周囲の地色を撮影により取得する場合について説明したが、壁面ＷＬが投影範囲ＰＡの内外共にほぼ同様の色や模様を有している場合には、投影範囲ＰＡ内の状態を示す情報を、投影範囲ＰＡを外れた周囲の状態を示す情報に代えて使用することで、ＣＰＵ２０による処理を簡略化して、ＣＰＵ２０による負担の軽減と初期設定時の時間短縮とを実現できる。

なお上記実施形態は、本発明を半導体発光素子を用いたＤＬＰ（登録商標）（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）方式のプロジェクタ装置１０で適用した場合について説明したが、本発明は発光素子や投影方式等を限定するものではない。

その他、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
画像を投影する投影部と、
上記投影部で画像を投影した被投影対象面での投影画像を取得する投影画像取得部と、
上記投影画像取得部で取得した投影画像から、上記被投影対象面での明時及び暗時の色情報を取得する投影面情報取得部と、
上記投影部で投影する画像の明るさ及び色の少なくとも一方を指定する複数の投影モード中から１つを指定する投影モード指定部と、
上記投影面情報取得部で取得した上記被投影対象面の色情報と、上記投影モード指定部で指定した投影モードと、に基づいて、上記投影部で投影する画像を構成する各色の階調範囲を決定して投影させる投影制御部と、
を備える投影装置。
［請求項２］
上記投影制御部は、上記投影部で投影する画像を構成する各色の階調範囲の上限値及び下限値をパーセンタイルにより決定する、請求項１記載の投影装置。
［請求項３］
上記複数の投影モードは、明るさ優先モード、色優先モード、コントラスト優先モードを含み、
上記パーセンタイルにより決定する上記各色の階調範囲の上限値は、色優先モードが最も小さく、上記各色の階調範囲の下限値は、色優先モードが最も大きい、請求項２記載の投影装置。
［請求項４］
上記投影制御部は、上記投影部で投影する画像を構成する各色の階調範囲の最小幅を制限する、請求項１乃至３いずれか記載の投影装置。
［請求項５］
上記投影画像取得部は、被投影対象面での投影画像外の周囲の画像をあわせて取得し、
上記投影面情報取得部は、上記投影画像取得部で取得した投影画像外の周囲の画像からも色情報を取得し、
上記投影制御部は、上記投影面情報取得部で取得した上記被投影対象面の投影画像の範囲内外の各色情報、及び上記投影モード指定部で指定した投影モードに基づいて、上記投影部で投影する画像を構成する各色の階調範囲を決定して投影させる、
請求項１乃至４いずれか記載の投影装置。
［請求項６］
上記投影面情報取得部は、投影画像の範囲内の色情報を投影画像外の色情報として代用して取得する、請求項５記載の投影装置。
［請求項７］
画像を投影する投影部を備えた装置での投影方法であって、
上記投影部で画像を投影した被投影対象面での投影画像を取得する投影画像取得工程と、
上記投影画像取得工程で取得した投影画像から、上記被投影対象面での明時及び暗時の色情報を取得する投影面情報取得工程と、
上記投影部で投影する画像の明るさ及び色の少なくとも一方を指定する複数の投影モード中から１つを指定する投影モード指定工程と、
上記投影面情報取得工程で取得した上記被投影対象面の色情報と、上記投影モード指定工程で指定した投影モードと、に基づいて、上記投影部で投影する画像を構成する各色の階調範囲を決定して投影させる投影制御工程と、
を有する投影方法。
［請求項８］
画像を投影する投影部を備えた装置が内蔵するコンピュータが実行するプログラムであって、上記コンピュータを、
上記投影部で画像を投影した被投影対象面での投影画像を取得する投影画像取得部、
上記投影画像取得部で取得した投影画像から、上記被投影対象面での明時及び暗時の色情報を取得する投影面情報取得部、
上記投影部で投影する画像の明るさ及び色の少なくとも一方を指定する複数の投影モード中から１つを指定する投影モード指定部、及び
上記投影面情報取得部で取得した上記被投影対象面の色情報と、上記投影モード指定部で指定した投影モードと、に基づいて、上記投影部で投影する画像を構成する各色の階調範囲を決定して投影させる投影制御部、
として機能させるプログラム。

１０…プロジェクタ装置、
１１…画像入力部、
１２…投影画像処理部、
１３…マイクロミラー素子、
１４…光源部、
１５…ミラー、
１６…投影レンズ部、
１７…投影部、
１８…音声処理部、
１９…スピーカ部、
２０…ＣＰＵ、
２１…メインメモリ、
２２…ＳＳＤ、
２２Ａ…色補正設定プログラム、
２３…操作部、
２４…無線ＬＡＮインタフェイス（Ｉ／Ｆ）、
２５…加速度センサ、
２６…無線ＬＡＮアンテナ、
３１…ソート処理部、
３２…白の測定結果保存部、
３３…黒の測定結果保存部、
３４…目標値決定処理部、
３５…制御部、
３６…テストパターン出力部、
３７…色補正部、
ＡＭ…観賞者、
Ｂ…バス、
ＢＳ…台、
Ｃ…椅子、
ＤＣ…デジタルカメラ、
ＰＡ…投影範囲、
ＵＣ…ＵＳＢケーブル、
ＷＬ…壁面。

Claims (7)

1. 画像を投影する投影部と、
   上記投影部で画像を投影した被投影対象面での投影画像を取得する投影画像取得部と、
   上記投影画像取得部で取得した投影画像から、上記被投影対象面での白色画像の投影状態及び非投影状態の色情報を取得する投影面情報取得部と、
   上記投影部で投影する画像の明るさ及び色の少なくとも一方を指定する複数の投影モード中から１つを指定する投影モード指定部と、
   上記投影面情報取得部で取得した上記被投影対象面での白色画像の投影状態及び非投影状態の色情報と、上記投影モード指定部で指定した投影モードと、に基づいて、上記投影部で投影する画像を構成する各色の階調範囲を決定して投影させる投影制御部と、
   を備え、
   上記投影制御部は、
   上記投影面情報取得部で取得した上記被投影対象面での白色画像の投影状態の色情報に基づいて、上記投影部で投影する画像を構成する全画素の各色の階調値の分布を、小さい数字から大きい数字に順番に並べ変えてパーセント表示し、小さい方から何パーセントのところに位置するかを表す第１のパーセンタイルを決定し、
   上記投影面情報取得部で取得した上記被投影対象面での非投影状態の色情報に基づいて、上記投影部で投影する画像を構成する全画素の各色の階調値の分布を、小さい数字から大きい数字順番に並べ変えてパーセント表示し、小さい方から何パーセントのところに位置するかを表す第２のパーセンタイルを決定し、
   上記第１のパーセンタイルは上記全画素の各色の階調範囲の上限値を示し、上記第２のパーセンタイルは上記全画素の各色の階調範囲の下限値を示し、
   上記階調値の分布と上記投影モードとに基づいて、上記第１のパーセンタイルの何れかの値を上限値として設定し且つ上記第２のパーセンタイルの何れかの値を下限値として設定し、上記上限値及び上記下限値は、上記投影モードによって異なる投影装置。
2. 上記複数の投影モードは、明るさ優先モード、入力された画像の色彩を忠実に再現するための色優先モード、コントラスト優先モードを含み、
   上記第１のパーセンタイルにより決定する上記各色の階調範囲の上限値は、色優先モードが最も小さく、上記第２のパーセンタイルにより決定する上記各色の階調範囲の下限値は、色優先モードが最も大きい、請求項１記載の投影装置。
3. 上記投影制御部は、上記投影モードに応じて、投影する画像の最も明るい白画素の目標値の階調と、最も暗い黒画素の目標値の階調と、を決定する際、上記投影部で投影する画像を構成する各色の階調範囲の最小幅が閾値以下にならないように設定する、請求項１又は２記載の投影装置。
4. 上記投影画像取得部は、被投影対象面での投影画像外の周囲の画像をあわせて取得し、
   上記投影面情報取得部は、上記投影画像取得部で取得した投影画像外の周囲の画像からも色情報を取得し、
   上記投影制御部は、上記投影面情報取得部で取得した上記被投影対象面の投影画像の範囲内外の各色情報、及び上記投影モード指定部で指定した投影モードに基づいて、上記投影部で投影する画像を構成する各色の階調範囲を決定して投影させる、
   請求項１乃至３いずれか記載の投影装置。
5. 上記投影面情報取得部は、投影画像の範囲内の色情報を投影画像外の色情報として代用して取得する、請求項４記載の投影装置。
6. 画像を投影する投影部を備えた装置での投影方法であって、
   上記投影部で画像を投影した被投影対象面での投影画像を取得する投影画像取得工程と、
   上記投影画像取得工程で取得した投影画像から、上記被投影対象面での白色画像の投影状態及び非投影状態の色情報を取得する投影面情報取得工程と、
   上記投影部で投影する画像の明るさ及び色の少なくとも一方を指定する複数の投影モード中から１つを指定する投影モード指定工程と、
   上記投影面情報取得工程で取得した上記被投影対象面での白色画像の投影状態及び非投影状態の色情報と、上記投影モード指定工程で指定した投影モードと、に基づいて、上記投影部で投影する画像を構成する各色の階調範囲を決定して投影させる投影制御工程と、
   を有し、
   上記投影制御工程は、
   上記投影面情報取得工程で取得した上記被投影対象面での白色画像の投影状態の色情報に基づいて、上記投影部で投影する画像を構成する全画素の各色の階調値の分布を、小さい数字から大きい数字に順番に並べ変えてパーセント表示し、小さい方から何パーセントのところに位置するかを表す第１のパーセンタイルを決定し、
   上記投影面情報取得工程で取得した上記被投影対象面での非投影状態の色情報に基づいて、上記投影部で投影する画像を構成する全画素の各色の階調値の分布を、小さい数字から大きい数字順番に並べ変えてパーセント表示し、小さい方から何パーセントのところに位置するかを表す第２のパーセンタイルを決定し、
   上記第１のパーセンタイルは上記全画素の各色の階調範囲の上限値を示し、上記第２のパーセンタイルは上記全画素の各色の階調範囲の下限値を示し、
   上記階調値の分布と上記投影モードとに基づいて、上記第１のパーセンタイルの何れかの値を上限値として設定し且つ上記第２のパーセンタイルの何れかの値を下限値として設定し、上記上限値及び上記下限値は、上記投影モードによって異なる投影方法。
7. 画像を投影する投影部を備えた装置が内蔵するコンピュータが実行するプログラムであって、上記コンピュータを、
   上記投影部で画像を投影した被投影対象面での投影画像を取得する投影画像取得部、
   上記投影画像取得部で取得した投影画像から、上記被投影対象面での白色画像の投影状態及び非投影状態の色情報を取得する投影面情報取得部、
   上記投影部で投影する画像の明るさ及び色の少なくとも一方を指定する複数の投影モード中から１つを指定する投影モード指定部、及び
   上記投影面情報取得部で取得した上記被投影対象面での白色画像の投影状態及び非投影状態の色情報と、上記投影モード指定部で指定した投影モードと、に基づいて、上記投影部で投影する画像を構成する各色の階調範囲を決定して投影させる投影制御部、
   として機能させ、
   上記投影制御部は、
   上記投影面情報取得部で取得した上記被投影対象面での白色画像の投影状態の色情報に基づいて、上記投影部で投影する画像を構成する全画素の各色の階調値の分布を、小さい数字から大きい数字に順番に並べ変えてパーセント表示し、小さい方から何パーセントのところに位置するかを表す第１のパーセンタイルを決定し、
   上記投影面情報取得部で取得した上記被投影対象面での非投影状態の色情報に基づいて、上記投影部で投影する画像を構成する全画素の各色の階調値の分布を、小さい数字から大きい数字順番に並べ変えてパーセント表示し、小さい方から何パーセントのところに位置するかを表す第２のパーセンタイルを決定し、
   上記第１のパーセンタイルは上記全画素の各色の階調範囲の上限値を示し、上記第２のパーセンタイルは上記全画素の各色の階調範囲の下限値を示し、
   上記階調値の分布と上記投影モードとに基づいて、上記第１のパーセンタイルの何れかの値を上限値として設定し且つ上記第２のパーセンタイルの何れかの値を下限値として設定し、上記上限値及び上記下限値は、上記投影モードによって異なるプログラム。

Images