JP3674593B2 - Intensity modulation method and system, and light quantity modulation device - Google Patents

Description

【００３３】
なお、Ｒ（Ｎｒ）はＮｒフレームでの記録強度、Ｎｒは撮影カメラフレーム数（Ｎｒ＝0，1，2，／…）である。Ｆ（ｆ、ｔ）は、時刻ｔにおける光量を加えた表示画面の記録強度である。Ｓｒは撮影カメラのサンプリングレート、Ｔｒは撮影カメラのシャッタースピードである。
【００３４】
さて、この（２）式に前述の（１）式を代入すると、次の（３）式が得られる。
【００３５】
【数２】

【００３６】
ここで（３）式の第１項は記録画面の平均強度を表しており、第２項はこれに加えられる時間変調成分を表している。（３）式より分かるように、撮影フレーム毎の強度変化の振幅と時間周波数には、強度変調成分（周波数ｆ、コントラストα）とビデオカメラ（撮像装置）の固有成分（サンプリングレートＳｒ、シャッタースピードＴｒ）とで決定される変動が生じることになる。
【００３７】
ここで、サンプリングレートＳｒとシャッタースピードＴｒは、不正行為に想定される撮影装置から定まる値である。従ってこれらの値が決まれば、後はｆとαの値を、Ｒ（Ｎｒ）の基本周波数の周期と振幅が表示画像の輝度での人の時間周波数コントラスト感度以上となる値に選択すれば良い。
【００３８】
この場合、強度変調された表示画像の録画画像はヒトにちらつきと感じられ、撮影された画像の鑑賞を阻害することができる。
【００３９】
かくして、強度変調の時間周波数ｆとコントラストαとして、前項（А−２−１）と本項（Ａ−２−２）の条件を同時に満たすものを選択すれば、表示画面を直接鑑賞してもちらつきを感じないが、その記録画像を鑑賞するとちらつきを感じさせることができる。
【００４０】
なお、不正に撮像された映像の鑑賞を困難にできれば、表示画像の画質は最高水準でなくても良いのであれば（すなわち、ちらつきが知覚されてもそれが鑑賞に支障がない程度であれば良いのであれば）、本項の条件のみを満たし、前項の条件については厳密には満たさない場合も考えられる。
【００４１】
以下、具体例により説明する。前項で説明したように強度変調の加えられた表示画像をＮＴＳＣ方式のビデオカメラを用いて撮像するものとする。図２に、シャッター開口時間を１／６０秒とした場合における撮影後の記録強度の変化を示す。なお、このシャッター開口時間は、映画館内で上映される画像の明るさ程度を自動シャッターにより撮像する場合に一般的に用いられる値である。
【００４２】
図２は、基本周波数ｆが１２Ｈｚ、コントラストαが３％の強度変化がビデオカメラによって記録されていることを表している。撮影された画像（記録画像）の明暗変化は、図１で示したヒトの時間周波数コントラスト感度より高い領域に位置している。従って、ヒトの目にはちらつきが見え、記録画像の鑑賞の障害となる。すなわち、表示画像を見ている人にはちらつきが感じられないが、その記録画像にはヒトの目にちらつきが知覚される画像となり、妨害の役目を果たしている。
【００４３】
なお、かかる妨害効果は、実際に使用される撮像装置のシャッタースピードとサンプリングレートが想定値に一致する場合に最大となるが、撮像時に他のシャッタースピードとサンプリングレートの組み合わせが用いられた場合には、記録画像に現れるちらつき量が減る場合がある。例えば、（３）式においては、ｆ・Ｔｒを整数値に設定すると、ちらつきはなくなる。
【００４４】
しかし、シャッタースピードとサンプリングレートを細かく制御することは複雑な装置を必要とする。従って、一般的な不法行為については十分である。また加える強度変調の種類（周波数や振幅）を表示中に変更すれば、撮影装置側のシャッタースピードやサンプリングレートに関係なく記録画像にちらつきを発生させることができる。
【００４５】
なお以上では、強度変調に正弦波状の変調波を用いる場合について説明したが、正弦波以外の変調波を用いる場合でも同様の効果を実現できる。なおこの場合には、使用する変調波（合成波）をフーリエ変換等して得られる各正弦波成分の少なくとも１つが本項（Ａ−２−２）の条件と前項（Ａ−２−１）の条件を満たすようにすることで、表示画像を直接鑑賞する人にはちらつきが感じられないが記録画像にはちらつきが現れる強度変調を実現できる。勿論、直接の鑑賞対象となる表示画像に求められる画質が最高水準でない場合には、その範囲で前項（Ａ−２−１）の条件を満たさない場合もあり得る。
【００４６】
（Ａ−２−３）変調前後での表示強度の維持
さらに追加的な条件を説明する。ここで説明する条件は鑑賞者による表示画像の鑑賞に違和感を与えないための条件の１つである。所望の妨害効果を実現するために前項までの条件を満たす強度変調を表示画面に加えると、強度変調の周期と表示方式の周期のずれにより、本来呈示したかった表示強度と異なった表示強度が呈示される可能性がある。すなわち、強度変調を掛ける前と掛けた後でフレームの表示強度（光量）が異なってしまう可能性がある。なお、上記表示強度とは、１フレーム期間で平均された輝度を意味している。
【００４７】
通常、表示画像の鑑賞者は本来の表示強度を知らないので、強度変調によってどのような違いが生じたかに気づくことはない。しかし、この違いが問題になる可能性もある。例えば、芸術性の高い映像の場合である。
【００４８】
このような場合には、表示画像の１フレーム中に呈示される光量が強度変調を加える前と強度変調を加えた後とで一致することが必要となる。このためには、以下の式を成立させる必要がある。
【００４９】
【数３】

【００５０】
なおＩ（Ｎｐ）は、表示装置側でフレーム番号Ｎｐに強度変調を加える前の表示強度である。因みにＮｐ＝０，１，２…である。またＴｐは、表示装置側における１フレームの時間である。
【００５１】
このように前述の（Ａ−２−１）項の条件と（Ａ−２−２）項の条件に加え、本項（Ａ−２−３）の条件も満たすように強度変調Ｆ（ｆ、ｔ）を設計すれば、強度変調をかけない場合の画像と同じ画像を呈示することができる。なお（Ａ−２−１）項で説明した具体例（画像周波数が２４Ｈｚ、変調前の１フレーム中の光量が一定強度、強度変調に用いる正弦波が７２Ｈｚ）の場合には、（４）式の条件も満たしている。すなわち、鑑賞者にちらつきを感じさせないだけでなく表示画像そのものにも変化を与えることなく、記録画像の鑑賞にのみ妨害効果を生じさせる強度変調を実現できる。
【００５２】
（Ａ−３）色変化に対する視覚特性
本願発明の一つは、ヒトの色変化に対する視覚特性に着目するものである。ここでは色方向に光量を変化させることにより、輝度方向に光量を変化させる場合と同様の効果を実現できることを説明する。
【００５３】
例えば表示画面上の光の強度は同じでも、その周波数分布（色成分）は変化させることで実現できる。例えば、１００ｎｉｔの赤色光の光と１００ｎｉｔの緑色光が交互に呈示されるように変調するとき、変調周波数を７０Ｈｚ程度に設定すると各色が交互に見えるのではなく、混色して見える。つまり直接の鑑賞者には色の変化は見えない。
【００５４】
しかし、この画面を撮影機器等を介して６０Ｈｚのサンプリングレートで撮影すると、１フレームの間に赤が呈示されている時間と緑が呈示されている時間が異なって記録される。すなわち、より低い（ここでは１０Ｈｚ程度）周期で表示画面が赤色と緑色に変化する映像を記録させることができる。これが色方向に光量の変化を与えることによる妨害方法となる。
【００５５】
具体例により説明する。図３は、色変化に対するヒトの時間周波数コントラスト感度を示している。図３の場合も、特性曲線の上側領域（コントラスト変化が小さい領域）がヒトに知覚されない領域であり、特性曲線の下側領域（コントラスト変化が大きい領域）がヒトに知覚される領域である。
【００５６】
なお図３において●印を結んだ特性曲線は、図４に示すように緑色光（Ｇ）と赤色光（Ｒ）の輝度和が一定となるように逆位相で変調した場合の特性を表している。因みに図４中のＹは黄色を意味し、緑色光（Ｇ）と赤色光（Ｒ）を混色した場合の一般的な色の見え方を示している。
【００５７】
かかる変調の加えられた表示画像を撮像機器等を介して撮像すると、その記録画面には輝度（明暗に相当）の変化は確認されないが、色については赤から緑、緑から赤へと変化するパターンを知覚させることができる。
【００５８】
勿論、前述の明暗変化の説明と同様に、各色に加える強度変調の条件（振幅、周波数）は、表示画像を直接鑑賞する場合には図３において色の変化を確認できない領域に属し、撮像機器等を介して撮像すると図３において色の変化を確認できる領域になるようなものを選択的に用いる。
【００５９】
またこの場合、混色後の輝度値はヒトによる鑑賞の妨げとならない限り、厳密な意味で変調の前後で一定でなくても良い。勿論、必要に応じて変調の前後で輝度値が一定になるような条件を選べば良い。かかる条件の選定には、前述の（Ａ−２−１）項〜（Ａ−２−３）項と同様に考えば良い。
【００６０】
ところで、図３には○印を結んだ特性曲線も表している。この特性曲線は、図５に示すように緑色光（Ｇ）と赤色光（Ｒ）を同位相で変化させた場合の特性を表している。この場合は、緑色光（Ｇ）と赤色光（Ｒ）の構成比率が変わらないので、色の変化はなく輝度（明暗）変化のみとなる。すなわち、前述した明暗変化の手法には輝度を変化させる場合だけでなく、色の変化によっても実現できることを意味する。
【００６１】
図３に示す２つの特性曲線を比較すると、時間周波数特性が異なることが分かる。図３を見ると、色変化（●印の特性曲線）よりも明暗変化（○印の特性曲線）の方が高周波ではヒトに知覚され易いことが分かる。すなわち、高周波では色変化の方が明暗変化よりも目立ち難いことが分かる。逆に言うと、色方向への光量変化は、明暗方向への光量変化よりも低い周波数で実用的な効果を実現できることを意味する。従って、実用化の観点からは色方向への光量変化の方が容易である。
【００６２】
（Ａ−４）他の変調手法
前述のように光量変化は明暗方向であっても色方向であっても本発明で目的とする効果を得ることが可能であるが、その際に加える強度変調は常に一定周期である必要はない。
【００６３】
例えば加える強度変調の時間周波数に特定の意味を対応付ければ、場所、日時などの表示に関する情報を付加することができる。また強度変調の時間周波数の変更規則（例えば、切り替え順序）に特定の意味を対応付ければ、その変更態様を特定することにより前述の表示に関する情報を付加することもできる。またコントラスト自体やその変更規則に特定の意味を対応つけることも可能である。
【００６４】
かかる情報を付加するためには、例えば、強度変調の種類（時間周波数とコントラストの組）と表示に関する情報とを対応付けた記憶手段を用意し、入力手段から与えられる表示に関する情報に基づいて対応する強度変調の種類を読み出させれば良い。
【００６５】
また表示画像のある部分（空間位置）のみに強度変調を与えるようにしても良い。強度変調を部分的に与えることで、表示を行った場所、日時などの表示に関する情報を付加することも可能である。この場合も前述のような仕組みを採用することにより、表示に関する情報に対応する強度変調の種類を読み出すことができる。
【００６６】
また、図６に示すように、空間位置毎に時間変調の方法を変更しても良い。上記方法は、画像を領域１と領域２とに分割し、その部分毎に異なる時間変調を与えるものである。変調方法の違いにより撮影された画像には、領域１及び領域２で異なるノイズが発生する。このように、空間位置毎に異なる時間変調方法を用いることにより、さらに効果的な妨害信号を撮影画像に対し発生させることや、撮影画像を鑑賞している者に対して、不正に撮影されたものであることを示す模様を付加することが可能である。
【００６７】
しかし、上述のように強度変調方法を空間位置毎に変えた場合には、変調が加えられた画像を直接鑑賞する場合に鑑賞者が視線を動かすと本来意図した画像とは異なる画像が見えてしまう場合がある。これは、視線が動いた場合には、本来積分されると想定されていた領域とは空間的に異なる領域が積分されて知覚されることが原因で発生する現象である。以下に、一例を挙げ、説明する。
【００６８】
全面の強度が一様の画像に対し、空間位置毎に異なる時間変調方法を施した場合を想定する。図６に示すように、領域１と領域２とに分割し、それぞれの領域では強度を正弦波状に時間変調をさせているが、位相は、１８０度ずらしてある。図７（ａ）は、ある時間帯での水平方向位置毎の画像の強度分布を示している。視線を動かさない場合には、人には時間変調を正しい位置関係において積分して知覚するため、図７（ａ）に示されるある時間帯における領域１と領域２の強度の違いを知覚することなく、一様に見える。しかし、水平方向に視線が動いた場合、図７（ｂ）に示されるように、実際に見えている画像の強度分布は想定していた位置とは異なる位置に示される。図７（ｃ）は、想定されていた強度分布と実際に見えている強度分布の差分である。この差分が本来一様であるはずの画像に帯が見える原因となり、本来一様な強度に見えるはずの画像にエッジが発生し、画質を損なう結果となる。すなわち、空間位置毎に異なる変調を行うことにより妨害効果を向上することは可能であるが、表示画面を直接鑑賞した場合に、上述のように視線を動かすとノイズが発生してしまう場合がある。
【００６９】
このノイズが発生する問題の解決を図るために、本発明では、撮影機機等を介さずに表示画像を直接鑑賞しても変調の知覚をさせることなく、一方で、撮像機器等を介して撮影された画像を鑑賞すると鑑賞の妨げとなるノイズ（本来の用事画像とは独立の光量変化）が知覚されるようにするために以下の条件１を満たすような変調方法を提案する。
【００７０】
条件１：個々の時間帯における強度変調度の空間分布が高空間周波数成分を含むこと。
【００７１】
この条件１を満たすことによって、視線を動かしたときに生じる画像の劣化が軽減される理由を以下に述べる。
【００７２】
図６で示した例では、正弦波状に変化する時間変調の位相を各領域において１８０度ずらしていた。図８（ａ）では、正弦波状に変化する時間変調を画面水平位置毎に、２πｘ／ｄの位相を持つように与え、変調強度の空間分布を低周波成分のみにした場合での、ある時間において水平方向位置毎の変調後の強度分布を示している。なお、ｘは、画面水平位置を示し、ｄは、画面幅を示している。図８（ｂ）では、水平方向に視線を動かした場合での実際に見える強度分布を示している。図８（ｃ）では、想定された強度分布と実際に見える強度分布との差分、すなわち本来一様であるべき画像からの画質の劣化である。図７（ｃ）の結果と比較すると、変調強度の空間分布が低周波成分のみを持った場合に発生するノイズは、より振幅が小さく、より低空観衆端数の差分を持つことが分かる。これは、全時間帯において成立する。人間の特性として、より強度が小さく、より高空間周波数成分が少ない変調は知覚できなくなる（視覚情報処理ハンドブック、第５章第１節、朝倉書房）。したがって、発生するノイズは、知覚されにくくなり、視線を動かすことによる画質劣化を避けることができる。
【００７３】
一方、撮影される画像は、表示画像での空間位置毎の時間変調の違いが反映され、空間位置毎に異なるノイズが記録される。上述した場合は、記録される画像の１フレームには水平方向に正弦波状の明暗変化が記録され、正弦波状の明暗変化のピーク位置は、１フレーム毎に一定間隔の幅で水平方向に移動する。よって、撮影像は、直接の鑑賞者に呈示された一様な画像ではなく、水平方向に縞模様が移動する画像となる。人の時空間周波数に対する感度は、空間周波数成分がゼロ成分のみ値を持つ明暗変化よりも、ある程度（５Cycle／Degree程度まで）の空間周波数を持つ明暗変化の方が高く（視覚情報処理ハンドブック、第５章第１節、朝倉書房）、目立つことになり、空間位置に関係なく一様な時間変調を画像全面に施した場合よりも、上記条件１を満たすように空間位置毎の時間変調を施すことにより妨害効果を高くすることができる。
【００７４】
なお上述では、空間位置毎に連続的に位相を変化させることで、上記条件１を満たす空間位置毎の時間変調の実現を説明したが、時間変調方法の違いを振幅若しくは波形を連続的に空間位置毎に変えることで上記条件１を満たすことでも実現は可能である。また、これらを組み合わせても良い。
【００７５】
（Ａ−５）他の用途
上述の変調条件を満たす強度変調を表示画面に加えれば、記録画像の鑑賞を妨害する用途に利用できる。しかし当該技術は他の用途にも適用できる。例えば、電子透かし（ウォーターマーク）の重畳方法や装置としても利用できる。
【００７６】
（Ｂ）具体的な実施形態例
続いて、前述した基本原理を応用した実施形態例を説明する。なお後述するシステムを、専ら不正に撮像された記録画像の鑑賞を妨害するシステムとして使用するか、不正行為の追跡を可能とする電子透かし（ウォーターマーク）を記録するためのシステムとして使用するかは使い方の問題であり、基本的なシステム構成は同じである。
【００７７】
表示画像に強度変調を付与するシステムには大きく分けて２つの種類がある。１つはスクリーン上に映像を投射する方式の表示装置を用いるシステムである。もう１つは直視型の表示装置を用いる方式のシステムである。
【００７８】
なおいずれのシステムの場合にも、表示装置と鑑賞者の間の光路上において強度変調を加える方法（光源からの出力時点では出力光に強度変調が施されていない方法）と、光源自体又はその駆動信号に強度変調を加えて光源からの出力時点で出力光に強度変調が施されている方法と、画像信号に強度変調を加える方法とが考えられる。勿論、強度変調には明暗方向に対するものと、色方向に対するものとがある。
【００７９】
（Ｂ−１）投影型のシステム例
（ａ）第１の構成例
スクリーン上の表示画像の直接の鑑賞には妨げとならないが、これを撮影した記録画像には本来の表示画像とは独立の光量変化が出現するように表示画像に変調を加える強度変調付与システムとして、以下の装置を備えるものを提案する。
（１）スクリーン上に表示画像を投影する投射型の表示装置（２）投影光路上において投影光に作用し、本来の表示画像に対し時間方向に周期性をもった強度変調を加える光量変調装置
このシステムは、光源から鑑賞者に達するまでの光路上で光量を変調する方式に関するものである。
【００８０】
（ａ−１）具体例１
図９に当該システムの第１の具体例を示す。図９のシステムは、表示装置１の投影レンズの前方位置において投影光に変調を加える方式に関するものである。
【００８１】
図９に示すように、当該システムは、投影手段としての表示装置１と、投影光に強度変調を加える光量変調装置２と、光量変調装置２を駆動制御する駆動制御装置３とを有する。スクリーン４は当該システムの構成要素となることもあれば、ならないこともある。なお当該システムの各構成要素は同一筐体内に格納されて流通する場合もあれば、別筐体として独立に流通する場合もある。従って、表示装置１と、光量変調装置２と、駆動制御装置３はそれぞれ別筐体に格納され、独立に流通され得るが、本システムの目的からすると、同一の筐体内に格納されることが多いと考えられる。
【００８２】
ここでの表示装置１は、表示画面上の画像を光学的に拡大し、スクリーン４に投影する機能を備える。表示装置１の配置方法には、スクリーン４の手前側（鑑賞者側）に配置する方法と、半透明スクリーンの奥側（裏側）に配置する方法とがある。前者はスクリーン表面で反射された反射光を鑑賞者が見る方式であり、フロント・プロジェクション型の表示装置が使用される。後者は半透明スクリーンを透過した透過光を鑑賞者が見る方式であり、リア・プロジェクション型の表示装置が使用される。後者の場合には、スクリーン４は当該システムと一体不可分に流通する場合が多いと考えられる。
【００８３】
この種の表示装置１は、映像信号を処理する信号処理手段と、光源と、表示画像をスクリーン４に投影するための光学系とを有している。なお表示装置１には、既存技術の組み合わせに応じて様々な製品が存在する。
【００８４】
例えば、表示装置１には、フィルム映写機、ＣＲＴ方式プロジェクタ（Cathode-ray Tube Projector）、液晶ディスプレイプロジェクタ（Liquid Crystal Display Projector）、ＬＥＤ方式プロジェクタ（Light Emitting Diode Display Projector）、ＰＤＰ（Plasma Display Panel）方式プロジェクタ、ＤＬＰ方式プロジェクタ（Digital Light Processing Projector）、ＦＥＤ方式プロジェクタ(Field Emission Display Projector)、ＩＬＡ方式プロジェクタ(Image Light Amplifier Projector)などを用い得る。なおＤＬＰ方式プロジェクタは、ＤＭＤ（Digital Micromirror Device）素子を画像生成素子に使用するプロジェクタである。
【００８５】
光量変調装置２は、表示装置１から出力された投影光（表示画像）の光量に強度変調を加えるための手段である。このためには、光量変調装置２が、表示装置１からスクリーン４に投影される投影光の光量を増減制御できる機構を有していれば良い。かかる機構を具体的に実現する手法には様々な方法が考えられる。
【００８６】
例えば図１０に示すように回転角ごとに濃度の変化する回転フィルタ５を、光量変調装置２の光量変調素子として用いる方法がある。この場合、図１１に示すように回転フィルタ５を回転モータ６に取り付けて一定速度で回転すれば、回転フィルタ５を透過する光量が濃淡パターンに応じて増減するため所望の強度変調を実現できる。なお回転フィルタ５に付する濃度変化は正弦波状でも良いし、透過パターンと非透過パターンが交互に現れるものでも良い。また回転モータ６の回転速度は一定速度に固定されても良いし、回転速度自体を増減することにより前述の条件を満たす光量変化を実現させても良い。
【００８７】
この他、光量変調装置２の光量変調素子には、シャッター素子（機械式シャッター、液晶シャッター）、偏向素子（偏向フィルタ）などを用いることもできる。いずれの素子を用いる場合にも光量の強度変調が可能であり、回転フィルタ５を用いる場合と同様の効果を得ることができる。
【００８８】
なお図９においては、光量変調装置２を投影レンズの直後に配置しているが、光量変調装置２の配置位置は、光源から出力された映像光が鑑賞者に達するまでの光路上にあれば良いので、光源の直後の位置、液晶パネルなどの画像生成素子の前後の位置等でも良い。どのような位置に配置する場合でも、光量の強度変調を加えることが可能であることは明らかである。因みに図９の場合には、既存の表示装置１に対して簡単に取り付けできるという利点も持つ。
【００８９】
駆動制御装置３は、前述の（Ａ−２）項の変調条件を満たすように光量変調装置２を駆動制御する装置である。この駆動制御装置３の処理内容は制御対象である光量変調装置２によっても異なる。例えば図１１の場合には、駆動制御装置３はサーボ機能部を用いて、回転モータ５の回転を任意の回転速度に制御する手段として機能する。すなわち検出される回転モータ５の回転速度と設定値（回転速度）とを比較し、実測値が設定値に一致するように制御するように機能する。駆動制御装置３の制御に必要な回転速度は、回転フィルタ５の濃淡パターンも加味した上で予め設定されるものとする。設定された回転数は駆動制御装置３内のメモリ（記憶手段）に格納する。
【００９０】
なお光量変調装置２が機械式シャッターや液晶シャッターの場合には、シャッターの開閉を制御することになる。もっとも機械式シャッターの場合でも、切欠け部を有する円盤を回転するものであれば、前述した回転フィルタと同様の仕組みを適用できる。なお機械式シャッターの場合には、投影光を遮光する部材の移動速度や移動量等を駆動制御装置３によって制御することになる。また液晶シャッターの場合には、液晶分子の配列の変化を駆動制御装置３によって制御することになる。
【００９１】
また例えば光量変調装置２として偏向素子（偏向フィルタ）を使用する場合には、駆動制御装置３によって対面する２枚の偏向フィルタの偏向角の関係を制御し、最終的に鑑賞者に知覚される光量に強度変調が加わるようにすれば良い。因みに、２枚の偏向フィルタのうち一方は鑑賞者側に配置されていても良い。すなわち偏向フィルタ付の眼鏡として鑑賞者が装着していても良い。
【００９２】
（ａ−２）具体例２
図１２に当該システムの第２の具体例を示す。図１２のシステムは、画像内容に応じて変調方式を変更する機能を第１の具体例に追加したものである。すなわち、第１の具体例の変形例である。なおここでは、画像内容に応じて変調方式を変更しているが、画像内容とは独立に（例えば、経過時間に応じて）制御することも可能である。
【００９３】
なお図１２は図９との対応部分に同一の符号を付したものである。従って、表示装置１、光量変調装置２、駆動制御装置３については具体例１と同じであるため説明を省略する。図１２のシステムに特有な構成要素は駆動条件決定装置７である。駆動条件決定装置７は、画像信号Ｓ１から輝度信号又は色信号を検出して駆動条件を切り替える手段として機能する。図１３に駆動条件決定装置７の内部構成例を示す。
【００９４】
図１３に示す駆動条件決定装置７は、画像情報検出部７Ａと、光量変調条件決定部７Ｂと、選択可能条件記録テーブル７Ｃと、光量変調制御信号変換部７Ｄとを備える。
【００９５】
画像情報検出部７Ａは、画像信号Ｓ１から所望の画像情報を検出する手段である。画像情報には、例えば表示画面全体の平均輝度値（又は色値）、表示画面のうち特定領域の平均輝度値（又は色値）、表示画像中の光強度分布に対し所定の重み付けを加えた積分値、色の分布等がある。なお図１２に示す画像情報検出部７Ａは、表示装置１に与えられる画像信号Ｓ１を入力対象としているが、ビデオカメラ等の画像取得装置によって表示装置１の表示画像を撮影した画像信号を入力対象としても良い。
【００９６】
光量変調条件決定部７Ｂは、検出された画像情報を基に使用可能な変調条件を決定する手段である。ここで、光量変調条件決定部７Ｂが参照する光量（輝度又は色）は表示画面全体に関するものでも良いし、強度変調を加えようとしている部分領域についてのものでも良い。
【００９７】
光量変調条件決定部７Ｂは、検出された光量（輝度又は色）を基に選択可能条件記録テーブル７Ｃにアクセスし、不正に撮像すると記録画像に前述の視覚効果を発生させるような変調条件（例えば振幅、周波数、波形）のうち適当なものの選択を行う。選択基準には、例えば記録画像に出現する光量変化の振幅が規定値以上か否かや、記録画像に出現する光量変化の時間変化がヒトに知覚されやすい周波数帯域（例えば１〜２０Ｈｚ）か否かを適用し得る。勿論、他の選択基準を適用し得る。
【００９８】
選択可能条件記録テーブル７Ｃは、光量変調条件決定部７Ｂが変調条件を選択できるように変調条件の組み合わせを記録する手段である。不正に撮像すると記録画像に前述の視覚効果を発生させるような変調条件の組み合わせは事前に算出され記録されているものとする。なお、選択可能条件記録テーブル７Ｃは、複数の変調条件が組み合わされた組み合わせを複数個記録している。
【００９９】
光量変調制御信号変換装置７Ｄは、選択された変調条件を具体的な駆動情報に変換する手段である。この駆動情報は光量変調装置２に採用する構成やこれを駆動する駆動制御装置３の制御方法に応じた形式にて与えられる。例えば、具体例１のように回転フィルタ５を用いるものであれば、変調条件は回転速度の目標値に変換される。変換後の駆動情報は光量変調制御信号Ｓ２として駆動制御装置３に与えられる。なお言うまでも無く、光量変調制御信号変換装置７Ｄは、変調条件を所定の駆動情報に変換するための変換テーブルや変換式を格納しており、これらに照合することで変換動作を実現する。
【０１００】
（ｂ）第２の構成例
スクリーン上の表示画像の直接の鑑賞には妨げとならないが、これを撮影した記録画像には本来の表示画像とは独立の光量変化が出現するように表示画像に変調を加える強度変調付与システムとして、以下の装置を備えるものを提案する。
（１）スクリーン上に表示画像を投影する投射型の表示装置（２）表示装置の光源を制御し、本来の表示画像に対し時間方向に周期性をもった強度変調を加える光量変調装置
このシステムは、光源自体を制御することで強度変調された投影光を出力させる方式に関するものである。
【０１０１】
（ｂ−１）具体例１
図１４に当該システムの第１の具体例を示す。図１４のシステムは、非自発光型ディスプレイの光源の発光自体を変調することで投影光に強度変調を加える方式に関するものである。因みに非自発光型ディスプレイには、フィルム映写機、液晶ディスプレイプロジェクタ、ＤＬＰ方式プロジェクタ、ＩＬＡ方式プロジェクタなどを用い得る。
【０１０２】
図１４の場合、電流変調装置１Ｂが本願明細書における光量変調装置に相当する。電流変調装置１Ｂは、電源１Ａから光源１Ｃに供給される駆動電流を所定の振幅と周波数を有する信号波で変調することにより、光源１Ｃから出力される光源光の光量を増減制御する。勿論、ここでの信号波は前述の（Ａ−２）項の変調条件を満たすものである。また、信号波は、所定の波形を備えている信号のことである。
【０１０３】
強度変調の施された光源光は画像生成手段１Ｄを介してスクリーン４上に投影される。かくしてスクリーン上の表示画像には、当該表示画像を不正に撮像すると記録画像に前述の視覚効果が発生する変調が施されることになる。ここで画像生成手段１Ｄは光源光を反射又は透過することで表示画像を生成する。画像形成手段１Ｄとしては、例えば映写フィルム、液晶フィルタ、ＤＭＤ素子などを使用する。
【０１０４】
なお図１４の場合、電流変調装置１Ｂが強度変調に使用する信号波の情報は事前に記録手段などに記録されているものとする。もっとも図１２に示す具体例２のように、強度変調に使用する変調条件（例えば、振幅、周波数、波形）は画像信号の情報を基に適宜設定するようにすることもできる。
【０１０５】
なお図１４では光源１Ｃに供給される駆動電流を制御する方式のシステムについて表しているが、駆動電圧を同様に制御する方式のシステムに適用することもできる。その場合には、同様の制御を電源１Ａから供給される駆動電圧に加える電圧変調装置を用いれば良い。また図１４では、電流変調装置１Ｂを表示装置１の内部に設けているが、表示装置１の外部に設けても良い。
【０１０６】
言うまでもなくこのシステムは、フロント・プロジェクション型のシステムにも、リア・プロジェクション型のシステムにも適用し得る。
【０１０７】
（ｂ−２）具体例２
図１５に当該システムの第２の具体例を示す。図１５のシステムは、自発光型ディスプレイの光源の発光自体を変調することで投影光に強度変調を加える方式に関するものである。図１５には図１４との対応部分に同一符号を付して表している。因みに自発光型ディスプレイには、ＣＲＴ方式プロジェクタ、ＬＥＤ方式プロジェクタ、プラズマディスプレイプロジェクタ、ＦＥＤ方式プロジェクタなどを用い得る。
【０１０８】
このシステムと第１の具体例との違いは、光源１Ｃに画像信号が入力される点である。従ってこのシステムの場合には、光源１Ｃの出力光の段階で表示画像が形成されている。
【０１０９】
なお、電流変調装置１Ｂには第１の具体例と同じものを使用すれば良い。このシステムの場合にも、光源１Ｃに供給される駆動電流を電流変調装置１Ｂで制御することにより、画像信号とは独立の強度変調を表示画面に加えられる。
【０１１０】
勿論このシステムの場合にも、駆動電圧を同様に制御する方式を適用することもできる。また図１５では、電流変調装置１Ｂを表示装置１の内部に設けているが、表示装置１の外部に設けても良い。
【０１１１】
言うまでもなくこのシステムは、フロント・プロジェクション型のシステムにも、リア・プロジェクション型のシステムにも適用し得る。
【０１１２】
（ｂ−３）具体例３
この具体例は、図１４及び図１５で示した具体例の変形例である。従って、そのシステム構成は前述の２つの具体例と同様である。
【０１１３】
この具体例は、光源の発光制御にＰＷＭ方式（Pulse Width Modulation：パルス幅変調方式）を表示装置に用いるシステムに関するものである。この種の表示装置には、例えばＤＬＰ方式プロジェクタ、ＰＤＰ方式プロジェクタその他がある。この種の表示装置は、１フレーム中に複数回の発光と非発光を加算することで階調を表現している。従って、この具体例ではこの発光動作に更に変調を加えることで前述の視覚効果を実現する。
【０１１４】
なおＰＷＭ方式の階調表示は次のように行われる。例えば１６階調の場合、その階調は、図１６（Ａ）に示すような駆動パターン（パルスの組み合わせパターン）となる。従って本具体例の場合には、図１６（Ｂ）に示すように、本来の駆動パターン（図１６（Ａ））に対し、更に周期的な非発光期間を付加することで行うことができる。勿論、この場合も非発光期間を設ける周期と長さは、（Ａ−２）項の条件を満たすように決定すれば良い。
【０１１５】
（ｃ）第３の構成例
スクリーン上の表示画像の直接の鑑賞には妨げとならないが、これを撮影した記録画像には本来の表示画像とは独立の光量変化が出現するように表示画像に変調を加える強度変調付与システムとして、以下の装置を備えるものを提案する。
（１）スクリーン上に表示画像を投影する投射型の表示装置、（２）表示装置の画像信号を制御し、本来の表示画像に対し時間方向に周期性をもった強度変調を加える光量変調装置
このシステムは、表示画像を生成する画像信号自体を予め変調する方式に関するものである。
【０１１６】
（ｃ−１）具体例１
図１７に当該システムの第１の具体例を示す。図１７のシステムは、表示装置１に入力される画像信号に変調を加える方式に関するものである。図１７にシステムの場合、画像信号変調装置８が当該機能を提供する。なお、図１７においては画像信号変調装置８を表示装置１の外部に配置しているが、表示装置１の内部に設けても良い。またここでの表示装置１は、非自発光型ディスプレイでも自発光型ディスプレイでも良い。
【０１１７】
画像信号に強度変調を加える方法としては様々な方法が考えられる。ここでは同一フレーム（表示装置によって１フィールドと呼ぶ場合もあれば、１コマと呼ぶ場合もある。要するに表示単位の意味で使用する。）から光量を異にする同一フレームを複数生成し、これらを１フレーム表示期間中に出力する方法を採用する。
【０１１８】
例えば、１フレームの画像信号から２フレームの画像信号を生成する場合であれば、生成された画像信号を入力時のフレームレートの２倍のフレームレートで出力する。また１フレームの画像信号を２フレームに変換する際には、２フレームの表示強度を同じにせず、強度差を付けるようにする。
【０１１９】
勿論、ここでの付与する強度変調は前述の（Ａ−２）項の変調条件を満たすように定める。かくして表示画像を直接鑑賞しても妨げとならないが、これを撮影した記録画像の鑑賞は妨げることができる。
【０１２０】
図１８に、当該方法を実行する画像信号変調装置８の構成例を示す。図１８に示す画像信号変調装置８は、メモリ８Ａと、画像変調処理部８Ｂと、変調条件記録テーブル８Ｃと、画像出力部８Ｄとを備える。
【０１２１】
メモリ８Ａは、入力された画像信号は一時的に保持する手段である。画像変調処理部８Ｂは、フレーム同期信号を受け取ってから次のフレーム同期信号を受け取るまでの間に、メモリ８Ａからフレーム画像を複数回（例えば２回）読み出す処理と、読み出されたフレーム画像に所定の強度変調を加える処理とを実行する手段である。勿論、強度変調を施されたフレーム画像は直ちに画像出力装置８Ｄに出力される。すなわち１フレーム表示期間中に複数回出力される。
【０１２２】
ここで画像変調処理部８Ｂは、強度変調の条件を変調条件記録テーブル８Ｃから読み出して上述の処理を実行する。勿論、メモリ８Ａからの読み出し回数も強度変調の条件に基づいて定まる。なお変調条件記録テーブル８Ｃには予め必要な変調条件が格納されているものとする。
【０１２３】
因みに、画像変調処理部８Ｂが画像信号に応じて変調条件を決定する処理も実行するシステムの場合には、前述の変調条件記録テーブル８Ｃに代えて図１３の選択可能条件記録テーブルを用いれば良い。
【０１２４】
画像出力部８Ｄは、画像変調処理部８Ｂの出力である画像信号を入力して表示装置１に出力する手段である。なお、画像変調処理部８Ｂから画像出力部８Ｄに入力される画像信号は、画像変調処理部８Ｂによる変調処理後の画像信号である。
【０１２５】
この結果、表示装置１には表示強度を異にする同一フレーム画像が１フレームの表示期間中に複数入力されることになる。
【０１２６】
なお以上の説明では、画像変調処理部８Ｂの出力時のフレームレートが入力時のフレームレートの２倍の場合を例に説明したが、出力時のフレームレートは必ずしも入力時のフレームレートの整数倍に限る必要はない。例えば、１．５倍でも良い。この場合には、生成された各フレームの表示期間にバラツキが生じる。また例えば、あるフレームでは１フレームの表示期間中に２フレーム出力され、あるフレームでは１フレームの表示期間中に３フレーム出力されるという方法を採用しても良い。
【０１２７】
（ｄ）第４の構成例
スクリーン上の表示画像の直接の鑑賞には妨げとならないが、これを撮影した記録画像には本来の表示画像とは独立の光量変化が出現するように表示画像に変調を加える強度変調付与システムとして、以下の装置を備えるものを提案する。
（１）スクリーン上に表示画像を投影する投射型の表示装置、（２）表示装置の画像信号を制御し、本来の表示画像に対し時間方向に周期性をもった強度変調を加える光量変調装置
このシステムは、光源から鑑賞者に達するまでの光路上で光量を変調する方式に関するものである。
【０１２８】
（ｄ−１）具体例１
図１９に当該システムの第１の具体例を示す。図１９のシステムは、表示装置１の光路上において、投影光に変調を加える方式に関するものである。
【０１２９】
図１９に示すように、当該システムは、投影手段としての表示装置１に、出力光に強度変調を加える光量変調装置２と、光量変調装置２を駆動制御する駆動制御装置３を組み込んだものである。画像作成装置５は、画像信号を処理し、画像生成素子によって画像を作成、投影する。例えば、画像生成素子は、フィルム、ＣＲＴ、液晶、ＬＥＤ、ＰＤＰ（Plasma Display Panel）、ＤＭＤ（Digital Micromirror Device）、ＦＥＤ（Field Emission Display）、ＩＬＡ（Image Light Amplifier）などを用い得る。投影された光は、レンズ６によってスクリーン４へ照射される。本実施形態の各部の具体的な構成及び動作は上述したとおりである。
【０１３０】
光量変調装置２は、画像作成装置５からの出力光に強度変調を空間位置毎に加えるための手段であり、上述した条件１を満たすために強度変調を実現する装置である。このためには、光量変調装置２が、画像作成装置５からの出力光の光量を空間位置毎に独立して増減制御できる機構を有していればよい。光量変調装置２は、発光点、若しくは発光面から観察者までの光路上において空間位置毎に変調を与えることが可能であるどの位置においても良い。光量変調装置２を具体的に実現する手法には様々な方法が考えられる。
【０１３１】
例えば、図２０に示すように、回転濃度フィルタ７を回転モータ８に取り付け、ある速度で回転させる手法を用いる方法がある。
【０１３２】
半径ｒ、角度θでの回転フィルタの透過率Ｔ（ｒ、θ）を光路の幅ｄに対して、
Ｔ（ｒ、θ）＝０．５＋０．５×ｓｉｎ（θ＋２πｒ／ｄ）
とし、この回転フィルタを７０Ｈｚで回転させると、各空間位置において上述した時間変調を実現でき、かつ変調強度の空間周波数成分が画面幅で１周期と条件１を満たす変調方法を実現することができる。
【０１３３】
なお、上述では位相を空間位置毎に連続的に変化させていたが、振幅を空間位置毎に連続的に変化させることでも、条件１を満たす変調方法を実現することができる。
【０１３４】
例えば、光路の幅ｄに対して、半径ｒ、角度θでの回転フィルタの透過率Ｔ（ｒ、θ）を
Ｔ（ｒ、θ）＝（０．５＋０．５ｓｉｎ（２πｒ／ｄ））×ｓｉｎθ
とすればよい。
【０１３５】
同様に、空間位置毎に時間変調の波形を例えば、正弦波から矩形波に徐々に変形させることでも、条件１を満たす変調強度を実現することができる。
【０１３６】
また、これらの空間位置毎に異なる位相、振幅、波形を組み合わせて条件１を満たす変調方法を実現しても良い。
【０１３７】
光量変調装置２の光量変調素子には、回転フィルタ以外にも、機械式シャッター、液晶シャッター等のシャッター素子、偏向フィルタ等の偏向素子などを用いることでも実現できる。いずれの素子を用いる場合にも、空間位置毎に光量の強度変調が可能であり、回転濃度フィルタ７を用いる場合と同様の効果を得ることができる。
【０１３８】
（ｄ−２）具体例２
図２１は、図２０で示された装置の変形例である。位置決めサーボ装置９は、回転濃度フィルタ７の位置を移動させる。このことによって、妨害の発生する位置を任意決定することが可能となり、より効果的な妨害を与えることが可能となっている。妨害を発生させる位置は、無作為に動かしても良いし、予めコンテンツにノイズ発生位置を付与しておいても良いし、また、コンテンツから効果的に妨害を行うことが可能な位置を検出する装置によりノイズ位置を制御しても良い。
【０１３９】
（ｅ）第５の構成例
スクリーン上の表示画像の直接の鑑賞には妨げとならないが、これを撮影した記録画像には本来の表示画像とは独立の光量変化が出現するように表示画像に変調を加える強度変調付与システムとして、以下の装置を備えるものを提案する。
（１）スクリーン上に表示画像を投影する投射型の表示装置、（２）表示装置の画像信号を制御し、本来の表示画像に対し時間方向に周期性をもった強度変調を画像の空間位置毎に加える光量変調装置
このシステムは、表示画像を生成する画像信号自体を予め変調する方式に関するものである。本第５の構成例は、上述した表示画像を生成する画像信号自体を予め変調する方式に、条件１を満たす強度変調を与える機能を追加したものである。
【０１４０】
（ｅ−１）具体例１
画像信号に強度変調を加える方法としては、様々な方法が考えられる。ここでは、同一フレームから光量を異にするサブフレームを複数生成し、これらを１フレーム表示期間中に出力する方法を採用する。なお、表示装置によって、表示単位である１フレームを１フィールドと呼ぶ場合があり、また、１コマと呼ぶ場合もある。
【０１４１】
図２２及び図２３に当該方法を実行する画像信号変調装置１０の構成例を示す。画像信号変調装置１０は、メモリ１０ａと、画像変調処理部１０ｂと、変調条件記録テーブル１０ｃと、画像出力部１０ｄとを備える。
【０１４２】
メモリ１０ａは、入力された画像信号を一時的に保持する手段である。画像変調処理部１０ｂは、フレーム同期信号を受け取ってから次のフレーム同期信号を受け取るまでの間に、メモリ１０ａからフレーム画像を複数回読み出す処理と、空間位置毎に所定の強度変調を読み出されたフレーム画像に加える処理とを実行する手段である。勿論、強度変調を施されたフレーム画像は、直ちに画像出力装置１０ｄに出力される。すなわち、１フレーム表示期間中に複数回出力される。
【０１４３】
ここで、画像変調処理部１０ｂは、条件１を満たす強度変調の条件を変調条件記録テーブル１０ｃから読み出して上述の処理を実行する。勿論、メモリ１０ａからの読み出し回数も強度変調の条件に基づいて定まる。なお、変調条件記録テーブル１０ｃには、予め、必要な変調条件が格納されているものとする。
【０１４４】
画像出力部１０ｄは、画像変調処理部１０ｂの出力である画像信号を入力して表示装置１に出力する手段である。
【０１４５】
この結果、表示装置１には、表示強度を異にする同一フレーム画像が１フレームの表示期間中に複数入力されることになる。
【０１４６】
（ｅ−２）具体例２
（ｅ−１）の第１の具体例で示した変形例である。従って、システム構成は、図２２及び図２３で示したものと同様である。
【０１４７】
具体例２では、画像表示素子の制御にＰＷＭ方式（Pulse Width Modulation）を表示装置に用いるシステムに関するものである。この表示装置には、例えば、ＤＬＰ方式プロジェクタやＰＤＰ方式プロジェクタ等がある。また、この表示装置には、１フレーム中に複数回の発光と非発光を加算することで階調を表現している。このシステムでは、周期的な非発光期間を付加することにより、時間変調を実現する。この非発光期間を設けるタイミングを空間位置毎に非発光期間の位置をずらすことによって条件１を満たす変調方法を実現することができる。
【０１４８】
（Ｂ−２）直視型のシステム例
直視型のシステムの場合にも、投射型のシステムと同様の制御手法が考えられる。以下では、投射型のシステムとの相違部分を中心に説明する。
【０１４９】
（ａ）第１の構成例
表示画面上の表示画像の直接の鑑賞には妨げとならないが、これを撮影した記録画像には本来の表示画像とは独立の光量変化が出現するように表示画像に変調を加える強度変調付与システムとして、以下の装置を備えるものを提案する。（１）表示画面上に表示画像を表示する直視型の表示装置（２）表示光に作用し、本来の表示画像に対し時間方向に周期性をもった強度変調を加える光量変調装置このシステムは、光源から鑑賞者に達するまでの光路上で光量を変調する方式に関するものである。もっとも、この種の表示装置の場合には、表示画面（表示画像が表示される画面）から鑑賞者までの光路上で強度変調が加えられる場合が多いと考えられる。
【０１５０】
（ａ−１）具体例１
図２４に当該システムの第１の具体例を示す。図２４は、図９からスクリーン４を除いた構成に対応するものである。もっとも、ここで使用する表示装置１に投影光学系は不要である。
【０１５１】
表示装置１には、ＣＲＴ（Cathode Ray Tube）ディスプレイ、フラットパネルディスプレイ（例えば、ＬＣＤパネル、ＰＤＰパネル、ＦＥＤディスプレイ（Field Emission Display）、ＥＬディスプレイ（Electro-luminescence Display））その他を用い得る。またここでの表示装置１にはヘッドマウントディスプレイも含まれ得る。
【０１５２】
光量変調装置２には、図１１に示すような機械式フィルタのほか、機械式シャッター、液晶シャッター、偏向素子（偏向フィルタ）その他の光学フィルタを用い得る。なお図２４のように表示装置１の外部に光量変調装置２を配置する場合には、一般に液晶シャッターや光学フィルタを用いる場合が多いと考えられる。また図２４の場合、光量変調装置２と表示装置１を独立の装置として表しているが、これらは同一筐体内に一体化されていても良い。
【０１５３】
また表示装置１が画像生成素子と光源とで構成される場合には、光源から画像生成素子の間に光量変調装置２を配置しても良い。このようにしても強度変調の加えられた表示画像を鑑賞者に知覚させることができる。
【０１５４】
駆動制御装置３も、図９の駆動制御装置３と同じものを使用すれば良い。勿論、駆動制御装置３の制御手法は光量変調装置２に応じて異なることは前述の通りである。
【０１５５】
（ａ−２）具体例２
図２５に当該システムの第２の具体例を示す。図２５は、図１２からスクリーン４を除いた構成に対応するものである。勿論、ここで使用する表示装置１に投影光学系は不要である。この場合も、表示装置１、光量変調装置２、駆動制御装置３は、具体例１と同じものを使用すれば良い。また駆動条件決定装置７には、図１３で説明した装置を使用すれば良い。
【０１５６】
（ｂ）第２の構成例
表示画面上の表示画像の直接の鑑賞には妨げとならないが、これを撮影した記録画像には本来の表示画像とは独立の光量変化が出現するように表示画像に変調を加える強度変調付与システムとして、以下の装置を備えるものを提案する。（１）表示画面上に表示画像を表示する直視型の表示装置（２）表示装置の光源を制御し、本来の表示画像に対し時間方向に周期性をもった強度変調を加える光量変調装置
このシステムは、光源自体を制御することで強度変調された表示光を出力させる方式に関するものである。
【０１５７】
（ｂ−１）具体例１
図２６に当該システムの第１の具体例を示す。図２６は、図１４からスクリーン４を除いた構成に対応するものである。勿論、ここで使用する表示装置１に投影光学系は不要である。
【０１５８】
このシステムは、非自発光型のディスプレイの光源の発光自体を変調する方式に関するものである。表示装置１には、ＬＣＤパネルディスプレイ、ＤＬＰディスプレイ等を用い得る。
【０１５９】
図２６の場合も、電流変調装置１Ｂが本願明細書における光量変調装置に相当する。また図２６は光源の駆動電流を変調しているが、光源の駆動電圧を変調することもできることは言うまでもない。
【０１６０】
（ｂ−２）具体例２
図２７に当該システムの第２の具体例を示す。図２７は、図１５からスクリーン４を除いた構成に対応するものである。勿論、ここで使用する表示装置１に投影光学系は不要である。
【０１６１】
このシステムは、自発光型のディスプレイの光源の発光自体を変調する方式に関するものである。表示装置１には、ＣＲＴディスプレイ、ＰＤＰディスプレイ、ＦＥＤディスプレイ、ＥＬディスプレイ等を用い得る。また表示装置１にはヘッドマウントディスプレイも含まれる。
【０１６２】
図２７の場合も、電流変調装置１Ｂが本願明細書における光量変調装置に相当する。また図２７は光源の駆動電流を変調しているが、光源の駆動電圧を変調することもできることは言うまでもない。
【０１６３】
（ｂ−３）具体例３
この具体例は、ＤＬＰディスプレイやＰＤＰディスプレイのように光源の発光制御にＰＷＭ方式が用いられる表示装置に適用できるものである。すなわち、図１６に示すように駆動パルスに非発光期間を付加する方法に関するものである。
【０１６４】
（ｃ）第３の構成例
表示画面上の表示画像の直接の鑑賞には妨げとならないが、これを撮影した記録画像には本来の表示画像とは独立の光量変化が出現するように表示画像に変調を加える強度変調付与システムとして、以下の装置を備えるものを提案する。（１）表示画面上に表示画像を表示する直視型の表示装置（２）表示装置の画像信号を制御し、本来の表示画像に対し時間方向に周期性をもった強度変調を加える光量変調装置
このシステムは、表示画像を生成する画像信号自体を予め変調する方式に関するものである。
【０１６５】
（ｃ−１）具体例１
図２８に当該システムの第１の具体例を示す。図２８は、図１７からスクリーン４を除いた構成に対応するものである。勿論、ここで使用する表示装置１に投影光学系は不要である。
【０１６６】
ここでの表示装置１は非自発光型ディスプレイでも、自発光型ディスプレイでも良い。またここでの表示装置１には、ヘッドマウントディスプレイも含まれる。画像信号の変調方法には様々な方法が考えられるが、同一フレームから光量を異にする同一フレームを複数生成し、これらを１フレーム表示期間中に出力する方法を採用する場合には図１８に示す構成の画像信号変調装置８を用いれば良い。なお画像信号変調装置８の制御方法に関する記載は、前述の投射型システム例の説明と同様である。
【０１６７】
（ｄ）第４の構成例
表示画面上の表示画像の直接の鑑賞には妨げとならないが、これを撮影した記録画像には本来の表示画像とは独立の光量変化が出現するように表示画像に変調を加える強度変調付与システムとして、以下の装置を備えるものを提案する。（１）表示画面上に表示画像を表示する直視型の表示装置、（２）表示光に作用し、本来の表示画像に対し時間方向に周期性をもった強度変調を加える光量変調装置
このシステムは、光源から鑑賞者に達するまでの光路上で光量を変調する方式に関するものである。もっとも、この種の表示装置の場合には、表示画面（表示画像が表示される画面）から鑑賞者までの光路上で強度変調が加えられる場合が多いと考えられる。
【０１６８】
（ｄ−１）具体例１
図２９に当該システムの第１の具体例を示す。図２９は、図１９からスクリーン４及びレンズ６を除いた構成に対応するものである。
【０１６９】
画像作成装置５は、ＣＲＴディスクプレイ、液晶ディスプレイ、ＰＤＰディスプレイ等を用いる。
【０１７０】
光量変調装置２は、画像作成装置５からの出力光に強度変調を空間位置毎に加えるための手段であり、上述した条件１を満たすために強度変調を実現する装置である。このためには、光量変調装置２が、画像作成装置５からの出力光の光量を空間位置毎に独立して増減制御できる機構を有していればよい。光量変調装置２は、発光点、若しくは発光面から観察者までの光路上において空間位置毎に変調を与えることが可能であるどの位置においても良い。光量変調装置２を具体的に実現する手法には様々な方法が考えられる。
【０１７１】
また、図３０に示すように、回転濃度フィルタ７を回転モータ８に取り付け、ある速度で回転させる手法を用いる方法がある。上記方法は、（Ｂ−１）投射型のシステム例の（ｄ−１）項の説明と同様である。
【０１７２】
（ｄ−２）具体例２
図３１は、図３０で示された装置の変形例である。また、図３１は、図２１からスクリーン４及びレンズ６を除いた構成に対応するものである。
【０１７３】
（ｅ）第５の実施例
表示画面上の表示画像の直接の鑑賞には妨げとならないが、これを撮影した記録画像には本来の表示画像とは独立の光量変化が出現するように表示画像に変調を加える強度変調付与システムとして、以下の装置を備えるものを提案する。（１）表示画面上に表示画像を表示する直視型の表示装置、（２）表示光に作用し、本来の表示画像に対し時間方向に周期性をもった強度変調を画像の空間位置毎に加える光量変調装置
このシステムは、表示画像を生成する画像信号自体を予め変調する方式に関するものである。本第５の構成例は、上述した表示画像を生成する画像信号自体を予め変調する方式に、条件１を満たす強度変調を与える機能を追加したものである。
【０１７４】
（ｅ−１）具体例１
画像信号に強度変調を加える方法としては、様々な方法が考えられる。ここでは、同一フレームから光量を異にするサブフレームを複数生成し、これらを１フレーム表示期間中に出力する方法を採用する。
【０１７５】
具体例１は、（Ｂ−１）投影型のシステム例である（ｅ−１）項に直視型のシステムを適用したものである。
【０１７６】
（ｅ−２）具体例２
（ｅ−１）の具体例１の変形例である。また、具体例２は、（Ｂ−１）投影型のシステム例である（ｅ−２）項に直視型のシステムを適用したものである。
【０１７７】
（Ｃ）撮像妨害システムへの適用
前述の強度変調付与システムを適用した撮像妨害システムでは、本来の表示画像とその記録画像の再生時に鑑賞を妨げる光像パターン（光量変化のパターン）とが共に可視光として表示されるため、両者を分離して記録することを極めて困難にできる。
【０１７８】
また当該変調技術の場合には、表示画像に前述の変調を加えても、色、輝度ともに対策前と同じ画像を保つことができる。
【０１７９】
また前述のように記録画像には鑑賞を妨げる光像パターン（光量変化のパターン）が不可分に記録されるため、その違法な複製行為も有効に妨げることができる。
【０１８０】
（Ｄ）電子透かし付与システムへの適用
前述の強度変調付与システムを適用した電子透かし付与システムでは、本来の表示画像とその記録画像の再生時に知覚される光像パターン（光量変化のパターン）とが共に可視光として表示されるため、両者を分離して記録することを極めて困難にできる。
【０１８１】
また当該変調技術の場合には、表示画像に前述の変調を加えても、色、輝度ともに対策前と同じ画像を保つことができる。
【０１８２】
また前述のように記録画像には電子透かしとしての光像パターン（光量変化のパターン）が不可分に記録されるため、その違法な複製行為も有効に妨げることができる。
【０１８３】
【発明の効果】
上述のように本発明によれば、表示画像の直接の鑑賞には妨げとならないが、これを撮影した記録画像には本来の表示画像とは独立の光量変化を出現させることができる。
【図面の簡単な説明】
【図１】平均輝度強度ごとのヒトの時間周波数コントラスト感度特性を示す図である。
【図２】記録画像に現れる記録強度の出現例を示す図である。
【図３】色変化に対するヒトの時間周波数コントラスト感度特性を示す図である。
【図４】異なる２色にそれらの輝度値の和が一定かつ逆相となるように強度変調を加える場合の例を示す図である。
【図５】異なる２色に同位相となるように強度変調を加える場合の例を示す図である。
【図６】画像を領域１及び領域２に分割し部分的変調を行った場合の様子を示す図である。
【図７】水平方向位置毎の画像の強度分布を示す図である。
【図８】水平方向位置毎の変調後の画像の強度分布を示す図である。
【図９】投影型のシステム（投影光変調型）の構成例を示す図である。
【図１０】回転フィルタの構成例を示す図である。
【図１１】光量変調装置の構成例を示す図である。
【図１２】投影型のシステム（投影光変調型）の構成例を示す図である。
【図１３】駆動条件決定装置の構成例を示す図である。
【図１４】投影型のシステム（光源変調型）の構成例を示す図である。
【図１５】投影型のシステム（光源変調型）の構成例を示す図である。
【図１６】パルス幅変調方式の表示装置への適用例を示す図である。
【図１７】投影型のシステム（画像信号変調型）の構成例を示す図である。
【図１８】画像信号変調装置の構成例を示す図である。
【図１９】投射型のシステム（投影光変調型）の構成例を示す図である。
【図２０】投射型のシステム（投影光変調型）において、回転濃度フィルタを用いた第１の構成例を示す図である。
【図２１】投射型のシステム（投影光変調型）において、回転濃度フィルタを用いた第２の構成例を示す図である。
【図２２】投影型のシステム（投影光変調型）において、画像信号変調装置を用いた構成例を示す図である。
【図２３】画像信号変調装置の構成例を示す図である。
【図２４】直視型のシステム（表示光変調型）の構成例を示す図である。
【図２５】直視型のシステム（表示光変調型）の構成例を示す図である。
【図２６】直視型のシステム（光源変調型）の構成例を示す図である。
【図２７】直視型のシステム（光源変調型）の構成例を示す図である。
【図２８】直視型のシステム（画像信号変調型）の構成例を示す図である。
【図２９】直視型のシステム（表示光変調型）の構成例を示す図である。
【図３０】直視型のシステム（表示光変調型）において、回転濃度フィルタを用いた第１の構成例を示す図である。
【図３１】直視型のシステム（表示光変調型）において、回転濃度フィルタを用いた第２の構成例を示す図である。
【符号の説明】
１ 表示装置、１Ｂ 電流変調装置、１Ｃ 光源、１Ｄ 画像生成素子、２ 光量変調装置、３ 駆動制御装置、７ 駆動条件決定装置、７Ａ 画像情報検出部、７Ｂ 光量変調条件決定部、７Ｃ 選択可能条件記録テーブル、７Ｄ 光量変調制御信号変換部、８ 画像信号変調装置、８Ａ メモリ、８Ｂ 画像変調処理部、８Ｃ 変調条件記録テーブル、８Ｄ 画像出力部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a technique for applying intensity modulation to a display screen itself so that when a display screen is illegally imaged, a change in the amount of light that hinders appreciation appears on a recording screen.
[0002]
[Prior art]
US Pat. No. 6,018,374 proposes a technique for preventing illegal duplication of images from the screen. This technology pays attention to the difference between human visual characteristics and imaging characteristics of an imaging camera, and uses infrared light as a disturbing means. Specifically, it adopts a mechanism that emits infrared light toward the screen surface from an infrared light emitter located near the image projector or other distant position, and makes the reflected light enter the imaging camera of the fraudster To do. In other words, a mechanism is adopted that records an image of infrared light that is irrelevant to the main video image on the illegally captured video image. As a result, the image quality of the illegally captured video is impaired, and in some cases, it is possible to specify the place of fraud. Of course, since infrared light is not recognized by humans, there is no problem for viewers to enjoy the main video.
[0003]
[Problems to be solved by the invention]
Thus, by using infrared light, a sufficient deterrent effect and interference effect can be realized. However, in order to protect important content, establishment of various interference technologies is desired.
[0004]
[Means for Solving the Problems]
Therefore, in the present specification, the light quantity of the original display image is not disturbed for direct viewing of the display image, but the recorded light image of the display image has a light quantity change independent of the original display image. We propose a technique for applying intensity modulation with periodicity in the time direction. In other words, even if the displayed image is directly viewed without going through a photographing device or the like, the modulation cannot be perceived, but when the image taken through the imaging device or the like is viewed, noise that hinders viewing (independent of the original displayed image) We propose a modulation technique that can perceive a change in the amount of light.
[0005]
The light quantity change includes a change in brightness direction (brightness change), a change in color direction, or a combination thereof. Hereinafter, conditions for realizing the light amount change and application examples using the phenomenon will be described.
[0006]
DETAILED DESCRIPTION OF THE INVENTION
(A) Basic principle
(A-1) Visual characteristics against light and dark changes
One aspect of the present invention focuses on visual characteristics against human flicker. When the Michelson contrast (hereinafter referred to as “contrast”), which makes human flicker invisible to light that fluctuates sinusoidally in the time direction, is obtained for each time frequency, the human time-frequency contrast sensitivity can be obtained. .
[0007]
FIG. 1 represents human time-frequency contrast sensitivity for each average luminance intensity. That is, FIG. 1 shows experimental results obtained by measuring under various conditions whether the screen appears to flicker when light and dark are repeated. The contrast on the vertical axis is a value obtained by dividing the amplitude by the average intensity, and is given by (maximum amplitude−minimum value) / (maximum value + minimum value). The time frequency on the horizontal axis represents the frequency of light-dark change. Each symbol (for example, ● and ○) in the figure represents the average luminance intensity of the screen.
[0008]
In the figure, the average luminance intensity is expressed in unit td (troland) called retinal illuminance. This unit corresponds to the intensity of light on the retina for humans. That is, the unit td is the pupil area (mm ² ) X luminance (cd / m) ² ). Note that 1000 td corresponds to about 40 nits. Here, unit nit is luminance (cd / m ² ).
[0009]
A curve passing through each symbol in FIG. 1 represents a boundary condition where a flicker at each average luminance intensity is perceived. A region below the boundary line (region exceeding human time frequency contrast sensitivity) is a region where flicker is perceived. On the other hand, the region above the boundary line (the region below human time frequency contrast sensitivity) is a region where flicker is not perceived.
[0010]
As shown in Fig. 1, human sensitivity to flicker is highest at 10-20Hz (small changes in contrast are easily perceived), and is necessary to see flicker at higher frequencies. Increases the contrast. For example, when the average luminance intensity is 77 td, the flicker disappears even when the contrast is 100% at about 50 Hz, and it appears that light having a constant intensity is obtained by averaging fluctuations in the time direction.
[0011]
Using this characteristic, film projectors often display at a frequency of 48 Hz, and television receivers using a CRT display at a frequency of 60 Hz, and present an image that does not feel flicker.
[0012]
(A-2) Modulation conditions
(A-2-1) Modulation condition that does not make flickering perceived by a person who directly appreciates the display screen
First, a modulation condition is obtained in which flicker is not perceived even when the display screen is directly viewed. Here, in order to obtain the basic condition of the modulation method, a case where sinusoidal modulation is applied to a display screen exhibiting uniform intensity will be described. That is, a case where intensity modulation with a constant period is applied to the display screen will be described.
[0013]
At this time, the amount of light at each time point on the display screen subjected to intensity modulation can be expressed by the following function F (f, t).
F (f, t) = A (1−α) + αA cos (2πft) (1)
A is a constant, f is a frequency to be modulated, α is a contrast (0 ≦ α ≦ 1), and t is time.
[0014]
Here, the first term of the equation (1) represents the average intensity of the display screen, and the second term represents the time modulation component added thereto. Accordingly, when the amplitude of time modulation (that is, αA) is set to a value equal to or less than the amplitude at which no flicker is visible at the frequency f of time modulation in the human time frequency contrast sensitivity calculated from the luminance of the display image, (A-1) As described in the section, the flicker on the display screen is not perceived by humans. That is, it is perceived by human beings that only light of a certain intensity given by A · (1-α) is presented on the display screen.
[0015]
For example, when applying a modulation method for screening in a movie theater (when a full white screen of 40 nit (corresponding to about 1000 td) corresponding to the maximum brightness of a film image is displayed at 24 frames / second) The intensity modulation with the time frequency f = 72 Hz and the contrast α = 20% may be added to the display image projected on the screen.
[0016]
There are various methods for giving intensity modulation. For example, a rotary filter having a sinusoidal density change is rotated in front of a projection lens of a projection display device (so-called projector) (that is, on the projection optical path). This can be realized.
[0017]
Here, a sine wave having a time frequency of 72 Hz and a contrast of 20% is a frequency and amplitude condition that is lower than the time frequency contrast sensitivity of a person, and therefore gives a flickering feeling to a person who is viewing the display image projected on the screen. There is no.
[0018]
In this method, the average luminance is reduced to 80% of the original light amount A as A (1-α) (that is, 40 × (1-0.2)) due to the presence of the rotation filter. Therefore, if the reciprocal of the reduction ratio (1-α) is multiplied by the original image intensity in advance, that is, if the maximum luminance of the display screen is corrected to 50 nit in advance, even if the light quantity is reduced by the rotary filter. The image intensity of the display screen projected on the screen can be matched with the original brightness (40 nits).
[0019]
This function can be realized by the image brightness correction means. Incidentally, the image brightness correction means may correct the brightness of the light source by calculating the above-described reduction rate based on the contrast information that is input or held, or may be based on the reduction rate that is input or held. The brightness may be corrected.
[0020]
As described above, the method of applying intensity modulation to the display screen without causing the viewer to flicker is not only the case where the entire display screen has the same average luminance intensity (in the case of the entire white screen) but also the average for each screen position. The present invention can also be applied to general images having different luminance intensities.
[0021]
The intensity modulation here is not necessarily performed simultaneously on the entire screen. For example, the phase of intensity modulation may be changed for each position (spatial position) on the display screen. Further, for example, different intensity modulation (a combination of amplitude and frequency is different) may be performed for each position (spatial position) on the display screen. Even in this case, the intensity modulation information can be multiplexed without causing the viewer of the display screen to flicker. Needless to say, such a modulation method is the same when intensity modulation satisfying the following condition is added to the display screen.
[0022]
Note that the maximum luminance of the display screen assumed here can be set for each video scene. That is, intensity modulation (a combination of amplitude and frequency) corresponding to this can be given to a video scene with a low maximum brightness, and intensity modulation (a combination of amplitude and frequency) can be given to a video scene with a high maximum brightness. .
[0023]
However, as shown in FIG. 1, the contrast threshold does not change so much with respect to the change in luminance on the display screen. For example, even if the average luminance intensity is changed from 850 td to 77 td, the corresponding contrast sensitivity curve moves only from the characteristic curve represented by the symbol ◯ to the extent of the characteristic curve represented by the symbol Δ. Moreover, the contrast sensitivity is more severe as the average luminance intensity is higher. Therefore, in practice, it is sufficient to set the modulation condition in accordance with the maximum luminance (entire white screen) throughout the entire video scene.
[0024]
In the above description, the case where a sinusoidal modulation wave is used for intensity modulation has been described. However, the intensity of light on the display screen may be intensity-modulated with another modulation wave (synthetic wave) such as a rectangular wave. In this case, each sine wave component obtained by Fourier transform or the like of the modulation wave (synthetic wave) to be used only needs to satisfy the above-described conditions. That is, it is only necessary that the amplitude of each sine wave component at each frequency satisfies the aforementioned condition.
[0025]
In the above description, no lower limit is set for the amplitude of each sine wave. If anything, this is a condition for causing the imaging device to record a change in brightness on the display screen.
[0026]
The increment threshold for human light and dark perception is the minimum luminance difference at which a light and dark difference is perceived between the index and the background light when the index is viewed in a certain background light. In this way, the incremental threshold of light / dark perception is a condition for the perception of a light / dark difference in a state where the brightness is essentially constant (stationary state), and as described above, the light / dark difference is perceived during intensity modulation (dynamic state). This is not a condition. Actually, even when the contrast α is 100% at the time of intensity modulation, if a predetermined condition is satisfied, a human cannot perceive a change in brightness.
[0027]
Here, the lower limit of the amplitude of the sine wave is equal to or higher than the increment threshold of human light perception with respect to the brightness of the display screen. Is not so different. In other words, if the amplitude of intensity modulation is equal to or greater than the increment threshold for human light and dark perception, the video camera can reliably record the light and dark differences.
[0028]
However, if the sensitivity to the difference in light intensity of the video camera that is assumed to be an illegal imaging action is higher than the incremental threshold of human light and dark perception (if a smaller light and dark difference can be detected), such a lower limit The condition may be theoretically determined based on the characteristic value of the video camera.
[0029]
(A-2-2) A method for causing a change in light and darkness that hinders viewing to appear on a recorded recording screen
Next, conditions necessary for causing a light / dark change to appear on the recording screen will be described.
[0030]
In a photographing device such as a video camera, a method of recording an image at regular intervals is used. For example, an NTSC video camera records an image at a period of 60 Hz, and a PAL system records an image at a frequency of 50 Hz. Further, the image to be photographed is obtained by integrating the amount of light input to the photographing element during the shutter opening time for each frame of the photographing device.
[0031]
Accordingly, the integral value of the recording intensity of each frame image when imaging a display screen with intensity modulation (a screen having a light amount change expressed by the above-described function F (f, t)) is expressed by the following integral formula: Can be expressed as
[0032]
[Expression 1]

[0033]
Note that R (Nr) is the recording intensity in the Nr frame, and Nr is the number of the shooting camera frames (Nr = 0, 1, 2, /...). F (f, t) is the recording intensity of the display screen to which the amount of light at time t is added. Sr is the sampling rate of the photographing camera, and Tr is the shutter speed of the photographing camera.
[0034]
By substituting the above equation (1) into this equation (2), the following equation (3) is obtained.
[0035]
[Expression 2]

[0036]
Here, the first term of the expression (3) represents the average intensity of the recording screen, and the second term represents the time modulation component added thereto. As can be seen from the equation (3), the intensity modulation component (frequency f, contrast α) and the inherent component (sampling rate Sr, shutter speed) of the video camera (imaging device) are included in the amplitude and time frequency of the intensity change for each shooting frame. Fluctuations determined by (Tr).
[0037]
Here, the sampling rate Sr and the shutter speed Tr are values determined by the imaging apparatus assumed to be fraudulent. Therefore, once these values are determined, the values of f and α should be selected so that the period and amplitude of the fundamental frequency of R (Nr) are equal to or higher than the human time frequency contrast sensitivity at the brightness of the display image. .
[0038]
In this case, the recorded image of the intensity-modulated display image is perceived as flickering by humans, and the appreciation of the captured image can be hindered.
[0039]
Thus, if the time frequency f of the intensity modulation and the contrast α are selected to satisfy the conditions of the previous item (А-2-1) and this item (A-2-2) at the same time, the display screen can be directly viewed. Although you do not feel flickering, you can feel flickering by viewing the recorded images.
[0040]
If it is difficult to view illegally captured images, the image quality of the displayed image need not be the highest level (that is, if flicker is perceived as long as it does not hinder viewing). If it is good), only the conditions in this section may be satisfied, and the conditions in the previous section may not be strictly satisfied.
[0041]
Hereinafter, a specific example will be described. As described in the previous section, it is assumed that a display image subjected to intensity modulation is picked up using an NTSC video camera. FIG. 2 shows a change in recording intensity after photographing when the shutter opening time is 1/60 seconds. The shutter opening time is a value that is generally used when the brightness of an image shown in a movie theater is imaged with an automatic shutter.
[0042]
FIG. 2 shows that an intensity change having a fundamental frequency f of 12 Hz and a contrast α of 3% is recorded by the video camera. The change in brightness of the captured image (recorded image) is located in a region higher than the human time-frequency contrast sensitivity shown in FIG. Accordingly, flicker is visible to the human eye, which is an obstacle to viewing the recorded image. That is, flicker is not perceived by the person who is viewing the display image, but the recorded image becomes an image in which flicker is perceived by the human eye and plays a role of obstruction.
[0043]
This interference effect is maximized when the shutter speed and sampling rate of the imaging device that is actually used match the expected values, but when other combinations of shutter speed and sampling rate are used during imaging. May reduce the amount of flicker that appears in the recorded image. For example, in the expression (3), when f · Tr is set to an integer value, the flicker is eliminated.
[0044]
However, fine control of the shutter speed and sampling rate requires a complicated device. Therefore, it is sufficient for general illegal activities. Further, if the type (frequency or amplitude) of intensity modulation to be applied is changed during display, flicker can be generated in the recorded image regardless of the shutter speed or sampling rate on the photographing apparatus side.
[0045]
In the above, the case of using a sinusoidal modulation wave for intensity modulation has been described, but the same effect can be realized even when a modulation wave other than a sine wave is used. In this case, at least one of the sine wave components obtained by subjecting the modulation wave (synthetic wave) to be used to Fourier transform or the like is the condition in this section (A-2-2) and the previous section (A-2-1). By satisfying the above condition, it is possible to realize intensity modulation in which flicker is not perceived by a person who directly appreciates the display image but flicker appears in the recorded image. Of course, when the image quality required for the display image to be directly viewed is not the highest level, the condition of the previous item (A-2-1) may not be satisfied within that range.
[0046]
(A-2-3) Maintaining display intensity before and after modulation
Further additional conditions will be described. The condition described here is one of the conditions for preventing the viewer from feeling uncomfortable when viewing the display image. When intensity modulation that satisfies the conditions up to the previous paragraph is added to the display screen to achieve the desired interference effect, the display intensity differs from the display intensity that was originally intended to be displayed due to the difference between the intensity modulation period and the display method period. May be presented. That is, there is a possibility that the display intensity (light quantity) of the frame differs before and after intensity modulation. Note that the display intensity means luminance averaged over one frame period.
[0047]
Usually, the viewer of the display image does not know the original display intensity, and thus does not notice what difference is caused by the intensity modulation. However, this difference can be a problem. For example, this is the case of a highly artistic video.
[0048]
In such a case, it is necessary that the amount of light presented in one frame of the display image be the same before and after intensity modulation. For this purpose, the following equation must be established.
[0049]
[Equation 3]

[0050]
I (Np) is the display intensity before intensity modulation is applied to the frame number Np on the display device side. Incidentally, Np = 0, 1, 2,. Tp is the time of one frame on the display device side.
[0051]
As described above, the intensity modulation F (f, f) is satisfied so as to satisfy the condition (A-2-3) in addition to the condition (A-2-1) and (A-2-2). If t) is designed, it is possible to present the same image as the image without intensity modulation. In the case of the specific example described in the section (A-2-1) (the image frequency is 24 Hz, the amount of light in one frame before modulation is constant intensity, and the sine wave used for intensity modulation is 72 Hz), the equation (4) The conditions are also met. That is, it is possible to realize intensity modulation that causes not only the viewer to feel flicker but also the display image itself without causing a disturbing effect only for the viewing of the recorded image.
[0052]
(A-3) Visual characteristics against color change
One aspect of the present invention focuses on visual characteristics with respect to human color change. Here, it will be described that by changing the light amount in the color direction, the same effect as that in the case of changing the light amount in the luminance direction can be realized.
[0053]
For example, even if the light intensity on the display screen is the same, the frequency distribution (color component) can be changed. For example, when modulation is performed so that 100 nits of red light and 100 nits of green light are alternately presented, if the modulation frequency is set to about 70 Hz, the colors do not appear alternately but appear to be mixed. In other words, the color change is not visible to direct viewers.
[0054]
However, when this screen is photographed at a sampling rate of 60 Hz via a photographing device or the like, the time during which red is presented and the time during which green is presented are recorded differently during one frame. That is, it is possible to record an image in which the display screen changes to red and green at a lower period (about 10 Hz here). This is a disturbing method by changing the amount of light in the color direction.
[0055]
A specific example will be described. FIG. 3 shows human time-frequency contrast sensitivity to color changes. In the case of FIG. 3 as well, the upper region (region where the contrast change is small) of the characteristic curve is a region that is not perceived by humans, and the lower region (region where the contrast change is large) of the characteristic curve is a region perceived by humans.
[0056]
In FIG. 3, the characteristic curve with a mark ● represents the characteristic when modulated in the opposite phase so that the luminance sum of the green light (G) and the red light (R) becomes constant as shown in FIG. Yes. Incidentally, Y in FIG. 4 means yellow, and shows a general color appearance when green light (G) and red light (R) are mixed.
[0057]
When a display image with such modulation is captured through an imaging device or the like, no change in luminance (corresponding to light and dark) is confirmed on the recording screen, but the color changes from red to green and from green to red. A pattern can be perceived.
[0058]
Of course, similarly to the description of the above-described change in brightness, the intensity modulation conditions (amplitude and frequency) applied to each color belong to a region where the color change cannot be confirmed in FIG. When an image is captured through the above, a region that can confirm a color change in FIG. 3 is selectively used.
[0059]
In this case, the luminance value after color mixing does not have to be constant before and after modulation in a strict sense as long as it does not hinder viewing by humans. Of course, it is sufficient to select a condition that makes the luminance value constant before and after the modulation, if necessary. The selection of such conditions may be considered in the same manner as the above-mentioned items (A-2-1) to (A-2-3).
[0060]
Incidentally, FIG. 3 also shows a characteristic curve with a circle. This characteristic curve represents the characteristics when green light (G) and red light (R) are changed in phase as shown in FIG. In this case, since the composition ratio of the green light (G) and the red light (R) does not change, there is no color change and only a luminance (brightness / darkness) change. That is, it means that the above-described light / dark change method can be realized not only by changing luminance but also by changing color.
[0061]
Comparing the two characteristic curves shown in FIG. 3, it can be seen that the time frequency characteristics are different. From FIG. 3, it can be seen that a change in lightness (characteristic curve with a circle) is more easily perceived by humans at a high frequency than a color change (characteristic curve with a black circle). That is, it can be seen that the color change is less noticeable than the light-dark change at high frequencies. Conversely, a change in the amount of light in the color direction means that a practical effect can be realized at a lower frequency than a change in the amount of light in the light and dark directions. Therefore, it is easier to change the amount of light in the color direction from the viewpoint of practical use.
[0062]
(A-4) Other modulation methods
As described above, it is possible to obtain the intended effect of the present invention regardless of whether the light amount change is in the light-dark direction or in the color direction, but the intensity modulation applied at that time does not always have to be a constant cycle. .
[0063]
For example, if a specific meaning is associated with a time frequency of intensity modulation to be added, information regarding display such as a place, date and time can be added. In addition, if a specific meaning is associated with a change rule (for example, switching order) of time frequency of intensity modulation, the information related to the display can be added by specifying the change mode. It is also possible to associate a specific meaning with the contrast itself and its change rule.
[0064]
In order to add such information, for example, a storage means that associates the type of intensity modulation (a set of time frequency and contrast) with information related to display is prepared, and it is handled based on information related to display given from the input means. The type of intensity modulation to be performed may be read out.
[0065]
Further, intensity modulation may be applied only to a certain portion (spatial position) of the display image. By giving intensity modulation partially, it is also possible to add information related to the display such as the place where the display was made and the date and time. Also in this case, by adopting the above-described mechanism, it is possible to read out the intensity modulation type corresponding to the display-related information.
[0066]
Further, as shown in FIG. 6, the time modulation method may be changed for each spatial position. In the above method, an image is divided into region 1 and region 2, and different time modulation is applied to each portion. Different noises are generated in the region 1 and the region 2 in an image photographed due to a difference in modulation method. In this way, by using a different time modulation method for each spatial position, a more effective interference signal is generated for a captured image, or illegally captured for a person who is viewing the captured image. It is possible to add a pattern indicating that it is a thing.
[0067]
However, when the intensity modulation method is changed for each spatial position as described above, an image different from the originally intended image can be seen if the viewer moves his / her line of sight when directly viewing the modulated image. May end up. This is a phenomenon that occurs when a line of sight moves, because a region spatially different from the region originally supposed to be integrated is integrated and perceived. An example will be described below.
[0068]
A case is assumed in which an image with uniform intensity on the entire surface is subjected to a time modulation method that differs for each spatial position. As shown in FIG. 6, the region 1 and the region 2 are divided and the intensity is time-modulated in a sine wave form in each region, but the phase is shifted by 180 degrees. FIG. 7A shows the intensity distribution of the image for each horizontal position in a certain time zone. When the line of sight is not moved, a person perceives the difference in intensity between the region 1 and the region 2 in a certain time zone shown in FIG. It looks uniform. However, when the line of sight moves in the horizontal direction, as shown in FIG. 7B, the intensity distribution of the actually visible image is shown at a position different from the assumed position. FIG. 7C shows the difference between the assumed intensity distribution and the actually visible intensity distribution. This difference causes a band to appear in an image that should be uniform in nature, and an edge is generated in an image that should originally appear in a uniform intensity, resulting in a loss of image quality. That is, it is possible to improve the interference effect by performing different modulation for each spatial position, but when viewing the display screen directly, there are cases where noise occurs when the line of sight is moved as described above. .
[0069]
In order to solve this noise generation problem, the present invention does not perceive modulation even if the display image is directly viewed without using a photographing machine or the like. A modulation method that satisfies the following condition 1 is proposed in order to perceive noise (a change in the amount of light independent of the original business image) that hinders viewing when a captured image is viewed.
[0070]
Condition 1: The spatial distribution of the intensity modulation degree in each time zone includes a high spatial frequency component.
[0071]
The reason why the deterioration of the image generated when the line of sight is moved is reduced by satisfying the condition 1 will be described below.
[0072]
In the example shown in FIG. 6, the phase of time modulation that changes in a sine wave shape is shifted by 180 degrees in each region. In FIG. 8 (a), a time when a time modulation changing in a sine wave shape is given so as to have a phase of 2πx / d for each horizontal position of the screen, and the spatial distribution of the modulation intensity is made only to a low frequency component. Fig. 2 shows the intensity distribution after modulation for each horizontal position. Note that x indicates the screen horizontal position, and d indicates the screen width. FIG. 8B shows an actually visible intensity distribution when the line of sight is moved in the horizontal direction. In FIG. 8C, the difference between the assumed intensity distribution and the actually visible intensity distribution, that is, deterioration of image quality from an image that should be uniform in nature. Compared with the result of FIG. 7C, it can be seen that the noise generated when the spatial distribution of the modulation intensity has only a low frequency component has a smaller amplitude and a lower sky fractional difference. This is true for all time zones. As a human characteristic, modulation with lower intensity and less high spatial frequency components cannot be perceived (Visual Information Processing Handbook, Chapter 5, Section 1, Asakura Shobo). Therefore, the generated noise is less likely to be perceived, and image quality deterioration due to movement of the line of sight can be avoided.
[0073]
On the other hand, in the captured image, a difference in time modulation for each spatial position in the display image is reflected, and different noise is recorded for each spatial position. In the case described above, a sine wave-like light / dark change is recorded in one frame of the recorded image, and the peak position of the sine wave-like light / dark change moves in the horizontal direction at a constant interval for each frame. . Therefore, the captured image is not a uniform image presented to a direct viewer, but an image in which a stripe pattern moves in the horizontal direction. The sensitivity to human spatio-temporal frequency is higher for light and dark changes with a certain degree of spatial frequency (up to about 5 Cycle / Degree) than for light and dark changes in which the spatial frequency component has only a zero component (Visual Information Processing Handbook Chapter 5, Section 1, Asakura Shobo) will be conspicuous, and time modulation for each spatial position is performed so as to satisfy the above condition 1, rather than the case where uniform time modulation is applied to the entire image regardless of the spatial position. This can increase the interference effect.
[0074]
In the above description, the realization of the time modulation for each spatial position satisfying the above condition 1 by changing the phase continuously for each spatial position has been described. It can also be realized by satisfying the above condition 1 by changing it for each position. Moreover, you may combine these.
[0075]
(A-5) Other uses
If intensity modulation that satisfies the above-described modulation conditions is added to the display screen, it can be used for applications that obstruct the viewing of recorded images. However, the technique can be applied to other uses. For example, the present invention can also be used as a digital watermark (watermark) superimposing method or apparatus.
[0076]
(B) Specific embodiment example
Next, an embodiment in which the basic principle described above is applied will be described. Whether the system described later is used exclusively as a system that prevents the viewing of recorded images taken illegally or as a system for recording digital watermarks (watermarks) that enable tracking of illegal activities It is a usage problem and the basic system configuration is the same.
[0077]
There are roughly two types of systems for applying intensity modulation to a display image. One is a system that uses a display device that projects an image on a screen. The other is a system using a direct-view display device.
[0078]
In any system, a method of applying intensity modulation on the optical path between the display device and the viewer (a method in which the output light is not subjected to intensity modulation at the time of output from the light source), and the light source itself or its light source There are a method in which intensity modulation is applied to the drive signal and output light is modulated at the time of output from the light source, and a method in which intensity modulation is applied to the image signal. Of course, there are intensity modulations for light and dark directions and color directions.
[0079]
(B-1) Projection type system example
(A) First configuration example
Although it does not interfere with direct viewing of the display image on the screen, it is an intensity modulation system that modulates the display image so that a change in the amount of light independent of the original display image appears in the recorded image. The following devices are proposed.
(1) Projection-type display device that projects a display image on a screen (2) A light amount modulation device that acts on projection light on the projection optical path and applies intensity modulation with periodicity in the time direction to the original display image
This system relates to a method for modulating the amount of light on the optical path from the light source to the viewer.
[0080]
(A-1) Specific example 1
FIG. 9 shows a first specific example of the system. The system of FIG. 9 relates to a method for modulating the projection light at a position in front of the projection lens of the display device 1.
[0081]
As shown in FIG. 9, the system includes a display device 1 as projection means, a light amount modulation device 2 that applies intensity modulation to the projection light, and a drive control device 3 that drives and controls the light amount modulation device 2. The screen 4 may or may not be a component of the system. Each component of the system may be stored and distributed in the same casing, or may be distributed independently as a separate casing. Therefore, the display device 1, the light amount modulation device 2, and the drive control device 3 can be stored in separate housings and distributed independently, but for the purpose of this system, they can be stored in the same housing. It is thought that there are many.
[0082]
The display device 1 here has a function of optically enlarging an image on the display screen and projecting it on the screen 4. As a method for arranging the display device 1, there are a method of arranging on the front side (viewer side) of the screen 4 and a method of arranging on the back side (back side) of the translucent screen. The former is a method in which a viewer views reflected light reflected on the screen surface, and a front projection type display device is used. The latter is a method in which the viewer views the transmitted light that has passed through the translucent screen, and a rear projection type display device is used. In the latter case, it is considered that the screen 4 is often inseparably distributed with the system.
[0083]
This type of display device 1 has signal processing means for processing a video signal, a light source, and an optical system for projecting a display image on a screen 4. There are various products in the display device 1 according to combinations of existing technologies.
[0084]
For example, the display device 1 includes a film projector, a CRT type projector (Cathode-ray Tube Projector), a liquid crystal display projector (Liquid Crystal Display Projector), an LED type projector (Light Emitting Diode Display Projector), and a PDP (Plasma Display Panel) type. A projector, a DLP projector (Digital Light Processing Projector), an FED projector (Field Emission Display Projector), an ILA projector (Image Light Amplifier Projector), or the like can be used. The DLP projector is a projector that uses a DMD (Digital Micromirror Device) element as an image generation element.
[0085]
The light amount modulation device 2 is means for applying intensity modulation to the light amount of the projection light (display image) output from the display device 1. For this purpose, the light quantity modulation device 2 only needs to have a mechanism capable of increasing / decreasing the light quantity of the projection light projected from the display device 1 onto the screen 4. Various methods are conceivable as methods for specifically realizing such a mechanism.
[0086]
For example, as shown in FIG. 10, there is a method of using a rotary filter 5 whose density changes for each rotation angle as a light quantity modulation element of the light quantity modulation device 2. In this case, if the rotary filter 5 is attached to the rotary motor 6 and rotated at a constant speed as shown in FIG. 11, the amount of light transmitted through the rotary filter 5 increases or decreases in accordance with the grayscale pattern, so that desired intensity modulation can be realized. The change in density applied to the rotary filter 5 may be sinusoidal, or may be one in which a transmission pattern and a non-transmission pattern appear alternately. Further, the rotational speed of the rotary motor 6 may be fixed at a constant speed, or the light quantity change that satisfies the above-described conditions may be realized by increasing or decreasing the rotational speed itself.
[0087]
In addition, a shutter element (mechanical shutter, liquid crystal shutter), a deflection element (deflection filter), or the like can be used as the light quantity modulation element of the light quantity modulation device 2. When any element is used, the intensity of light can be modulated, and the same effect as when the rotary filter 5 is used can be obtained.
[0088]
In FIG. 9, the light quantity modulation device 2 is arranged immediately after the projection lens, but the arrangement position of the light quantity modulation device 2 is on the optical path until the image light output from the light source reaches the viewer. Since it is good, the position immediately after the light source, the position before and after the image generating element such as a liquid crystal panel, and the like may be used. Obviously, it is possible to apply intensity modulation of the amount of light in any position. Incidentally, the case of FIG. 9 also has an advantage that it can be easily attached to the existing display device 1.
[0089]
The drive control device 3 is a device that drives and controls the light quantity modulation device 2 so as to satisfy the modulation condition of the above-mentioned item (A-2). The processing content of the drive control device 3 varies depending on the light amount modulation device 2 to be controlled. For example, in the case of FIG. 11, the drive control device 3 functions as means for controlling the rotation of the rotary motor 5 to an arbitrary rotation speed using the servo function unit. That is, the detected rotational speed of the rotary motor 5 is compared with a set value (rotational speed), and the actual value is controlled to match the set value. The rotational speed necessary for the control of the drive control device 3 is set in advance in consideration of the shading pattern of the rotary filter 5. The set rotational speed is stored in a memory (storage means) in the drive control device 3.
[0090]
When the light amount modulation device 2 is a mechanical shutter or a liquid crystal shutter, the opening / closing of the shutter is controlled. However, even in the case of a mechanical shutter, a mechanism similar to the above-described rotation filter can be applied as long as it rotates a disk having a notch. In the case of a mechanical shutter, the drive control device 3 controls the moving speed and moving amount of a member that blocks the projection light. In the case of a liquid crystal shutter, the change in the arrangement of liquid crystal molecules is controlled by the drive control device 3.
[0091]
For example, when a deflection element (deflection filter) is used as the light amount modulation device 2, the drive control device 3 controls the relationship between the deflection angles of the two deflection filters facing each other and is finally perceived by the viewer. What is necessary is to add intensity modulation to the amount of light. Incidentally, one of the two deflection filters may be arranged on the viewer side. That is, the viewer may be wearing glasses with a deflection filter.
[0092]
(A-2) Specific example 2
FIG. 12 shows a second specific example of the system. The system shown in FIG. 12 is obtained by adding a function of changing the modulation method according to the image content to the first specific example. That is, this is a modification of the first specific example. Here, the modulation method is changed according to the image content, but it is also possible to perform control independently of the image content (for example, according to the elapsed time).
[0093]
In FIG. 12, the same reference numerals are assigned to the corresponding parts to FIG. Accordingly, since the display device 1, the light amount modulation device 2, and the drive control device 3 are the same as those in the first specific example, the description thereof is omitted. A component unique to the system of FIG. 12 is a drive condition determination device 7. The drive condition determination device 7 functions as a means for switching the drive condition by detecting a luminance signal or a color signal from the image signal S1. FIG. 13 shows an example of the internal configuration of the drive condition determination device 7.
[0094]
The drive condition determination device 7 shown in FIG. 13 includes an image information detection unit 7A, a light amount modulation condition determination unit 7B, a selectable condition recording table 7C, and a light amount modulation control signal conversion unit 7D.
[0095]
The image information detector 7A is means for detecting desired image information from the image signal S1. In the image information, for example, a predetermined weight is applied to the average luminance value (or color value) of the entire display screen, the average luminance value (or color value) of a specific area in the display screen, and the light intensity distribution in the display image. There are integral values, color distribution, etc. Note that the image information detection unit 7A shown in FIG. 12 has an image signal S1 given to the display device 1 as an input target, but an image signal obtained by capturing a display image of the display device 1 by an image acquisition device such as a video camera is an input target. It is also good.
[0096]
The light amount modulation condition determining unit 7B is means for determining a usable modulation condition based on the detected image information. Here, the light amount (luminance or color) referred to by the light amount modulation condition determining unit 7B may be related to the entire display screen, or may be related to a partial region to which intensity modulation is to be applied.
[0097]
The light amount modulation condition determining unit 7B accesses the selectable condition recording table 7C based on the detected light amount (luminance or color), and the modulation condition (for example, the above-described visual effect is generated in the recorded image when illegally picked up). Amplitude, frequency, waveform) are selected appropriately. Selection criteria include, for example, whether or not the amplitude of the change in the amount of light that appears in the recorded image is greater than or equal to a specified value, and whether or not the time change in the amount of change in the amount of light that appears in the recorded image is easily perceived by humans. Can apply. Of course, other selection criteria may be applied.
[0098]
The selectable condition recording table 7C is means for recording a combination of modulation conditions so that the light amount modulation condition determining unit 7B can select the modulation conditions. It is assumed that combinations of modulation conditions that cause the above-described visual effect in a recorded image when illegally captured are calculated and recorded in advance. The selectable condition recording table 7C records a plurality of combinations in which a plurality of modulation conditions are combined.
[0099]
The light quantity modulation control signal conversion device 7D is means for converting the selected modulation condition into specific drive information. This drive information is given in a format corresponding to the configuration employed in the light amount modulation device 2 and the control method of the drive control device 3 that drives the light amount modulation device 2. For example, if the rotary filter 5 is used as in the first specific example, the modulation condition is converted into a target value of the rotation speed. The converted drive information is given to the drive control device 3 as the light quantity modulation control signal S2. Needless to say, the light quantity modulation control signal conversion device 7D stores a conversion table and conversion formula for converting the modulation condition into predetermined drive information, and realizes the conversion operation by collating them.
[0100]
(B) Second configuration example
Although it does not interfere with direct viewing of the display image on the screen, it is an intensity modulation system that modulates the display image so that a change in the amount of light independent of the original display image appears in the recorded image. The following devices are proposed.
(1) Projection-type display device that projects a display image on a screen (2) Light amount modulation device that controls the light source of the display device and applies intensity modulation with periodicity in the time direction to the original display image
This system relates to a method of outputting intensity-modulated projection light by controlling the light source itself.
[0101]
(B-1) Specific example 1
FIG. 14 shows a first specific example of the system. The system shown in FIG. 14 relates to a method of modulating intensity of projection light by modulating light emission itself of a light source of a non-self-luminous display. Incidentally, as the non-self-luminous display, a film projector, a liquid crystal display projector, a DLP projector, an ILA projector, or the like can be used.
[0102]
In the case of FIG. 14, the current modulation device 1B corresponds to the light amount modulation device in the present specification. The current modulation device 1B modulates the drive current supplied from the power source 1A to the light source 1C with a signal wave having a predetermined amplitude and frequency, thereby increasing / decreasing the light amount of the light source light output from the light source 1C. Of course, the signal wave here satisfies the modulation condition of the aforementioned item (A-2). The signal wave is a signal having a predetermined waveform.
[0103]
The light source light subjected to intensity modulation is projected on the screen 4 via the image generating means 1D. Thus, when the display image on the screen is illegally captured, the recording image is subjected to modulation that causes the visual effect described above. Here, the image generating means 1D generates a display image by reflecting or transmitting the light source light. For example, a projection film, a liquid crystal filter, a DMD element, or the like is used as the image forming unit 1D.
[0104]
In the case of FIG. 14, it is assumed that signal wave information used by the current modulation device 1B for intensity modulation is recorded in advance in a recording means or the like. However, as in the second specific example shown in FIG. 12, the modulation conditions (for example, amplitude, frequency, waveform) used for intensity modulation may be set as appropriate based on the information of the image signal.
[0105]
Although FIG. 14 illustrates a system that controls the drive current supplied to the light source 1C, the present invention can also be applied to a system that similarly controls the drive voltage. In that case, a voltage modulator that applies the same control to the drive voltage supplied from the power supply 1A may be used. In FIG. 14, the current modulation device 1 </ b> B is provided inside the display device 1, but may be provided outside the display device 1.
[0106]
Needless to say, this system can be applied to both a front projection type system and a rear projection type system.
[0107]
(B-2) Specific example 2
FIG. 15 shows a second specific example of the system. The system shown in FIG. 15 relates to a method of modulating intensity of projection light by modulating light emission itself of a light source of a self-luminous display. In FIG. 15, parts corresponding to those in FIG. Incidentally, a CRT projector, an LED projector, a plasma display projector, an FED projector, or the like can be used as the self-luminous display.
[0108]
The difference between this system and the first specific example is that an image signal is input to the light source 1C. Therefore, in the case of this system, a display image is formed at the stage of the output light of the light source 1C.
[0109]
The current modulator 1B may be the same as that in the first specific example. Also in this system, intensity modulation independent of the image signal can be applied to the display screen by controlling the drive current supplied to the light source 1C with the current modulation device 1B.
[0110]
Of course, in the case of this system as well, a method of controlling the drive voltage in the same manner can be applied. In FIG. 15, the current modulation device 1 </ b> B is provided inside the display device 1, but may be provided outside the display device 1.
[0111]
Needless to say, this system can be applied to both a front projection type system and a rear projection type system.
[0112]
(B-3) Specific example 3
This specific example is a modification of the specific example shown in FIGS. Therefore, the system configuration is the same as the above two specific examples.
[0113]
This specific example relates to a system that uses a PWM method (Pulse Width Modulation) in a display device for light emission control of a light source. Examples of this type of display device include a DLP projector, a PDP projector, and the like. This type of display device expresses gradation by adding a plurality of times of light emission and non-light emission in one frame. Therefore, in this specific example, the above-described visual effect is realized by further modulating the light emitting operation.
[0114]
Note that PWM gradation display is performed as follows. For example, in the case of 16 gradations, the gradation is a drive pattern (pulse combination pattern) as shown in FIG. Therefore, in the case of this specific example, as shown in FIG. 16B, it can be performed by adding a more periodic non-light emitting period to the original drive pattern (FIG. 16A). Of course, the period and length of providing the non-light emitting period may be determined so as to satisfy the condition of the item (A-2).
[0115]
(C) Third configuration example
Although it does not interfere with direct viewing of the display image on the screen, it is an intensity modulation system that modulates the display image so that a change in the amount of light independent of the original display image appears in the recorded image. The following devices are proposed.
(1) A projection-type display device that projects a display image on a screen, (2) a light amount modulation device that controls an image signal of the display device and applies intensity modulation with periodicity in the time direction to the original display image
This system relates to a method of previously modulating an image signal itself for generating a display image.
[0116]
(C-1) Specific example 1
FIG. 17 shows a first specific example of the system. The system shown in FIG. 17 relates to a method for applying modulation to an image signal input to the display device 1. In the case of the system shown in FIG. 17, the image signal modulation device 8 provides the function. In FIG. 17, the image signal modulation device 8 is arranged outside the display device 1, but may be provided inside the display device 1. Further, the display device 1 here may be a non-self-luminous display or a self-luminous display.
[0117]
Various methods are conceivable as methods for applying intensity modulation to an image signal. Here, a plurality of identical frames having different light amounts are generated from the same frame (sometimes referred to as one field depending on the display device or sometimes referred to as one frame. In short, it is used in the meaning of a display unit). A method of outputting during one frame display period is adopted.
[0118]
For example, in the case of generating a 2-frame image signal from a 1-frame image signal, the generated image signal is output at a frame rate that is twice the frame rate at the time of input. Also, when converting an image signal of one frame into two frames, the display intensity of the two frames is not made the same, but an intensity difference is added.
[0119]
Of course, the intensity modulation to be applied here is determined so as to satisfy the modulation condition of the above-mentioned item (A-2). Thus, direct viewing of the displayed image does not hinder the viewing of the recorded image obtained by photographing the displayed image.
[0120]
FIG. 18 shows a configuration example of the image signal modulation device 8 that executes the method. The image signal modulation device 8 shown in FIG. 18 includes a memory 8A, an image modulation processing unit 8B, a modulation condition recording table 8C, and an image output unit 8D.
[0121]
The memory 8A is means for temporarily holding the input image signal. The image modulation processing unit 8B performs a process of reading the frame image from the memory 8A a plurality of times (for example, twice) from the reception of the frame synchronization signal to the reception of the next frame synchronization signal, and the read frame image. A means for executing a process of applying a predetermined intensity modulation. Of course, the intensity-modulated frame image is immediately output to the image output device 8D. That is, it is output a plurality of times during one frame display period.
[0122]
Here, the image modulation processing unit 8B reads the intensity modulation condition from the modulation condition recording table 8C and executes the above-described processing. Of course, the number of readings from the memory 8A is also determined based on the condition of intensity modulation. It is assumed that necessary modulation conditions are stored in the modulation condition recording table 8C in advance.
[0123]
Incidentally, in the case of a system in which the image modulation processing unit 8B also executes a process of determining a modulation condition according to an image signal, the selectable condition recording table of FIG. 13 may be used instead of the above-described modulation condition recording table 8C. .
[0124]
The image output unit 8D is a unit that inputs an image signal that is an output of the image modulation processing unit 8B and outputs the image signal to the display device 1. The image signal input from the image modulation processing unit 8B to the image output unit 8D is an image signal after the modulation processing by the image modulation processing unit 8B.
[0125]
As a result, a plurality of the same frame images having different display intensities are input to the display device 1 during the display period of one frame.
[0126]
In the above description, the case where the frame rate at the time of output of the image modulation processing unit 8B is twice the frame rate at the time of input has been described as an example, but the frame rate at the time of output is not necessarily an integral multiple of the frame rate at the time of input. It is not necessary to be limited to. For example, it may be 1.5 times. In this case, variation occurs in the display period of each generated frame. Further, for example, a method may be employed in which two frames are output during one frame display period for a certain frame and three frames are output during one frame display period for a certain frame.
[0127]
(D) Fourth configuration example
Although it does not interfere with direct viewing of the display image on the screen, it is an intensity modulation system that modulates the display image so that a change in the amount of light independent of the original display image appears in the recorded image. The following devices are proposed.
(1) A projection-type display device that projects a display image on a screen, and (2) a light amount modulation device that controls an image signal of the display device and applies intensity modulation with periodicity in the time direction to the original display image.
This system relates to a method for modulating the amount of light on the optical path from the light source to the viewer.
[0128]
(D-1) Specific example 1
FIG. 19 shows a first specific example of the system. The system of FIG. 19 relates to a method for modulating the projection light on the optical path of the display device 1.
[0129]
As shown in FIG. 19, the system includes a display device 1 as a projection unit and a light amount modulation device 2 that applies intensity modulation to output light and a drive control device 3 that drives and controls the light amount modulation device 2. is there. The image creating device 5 processes the image signal and creates and projects an image by the image generating element. For example, a film, CRT, liquid crystal, LED, PDP (Plasma Display Panel), DMD (Digital Micromirror Device), FED (Field Emission Display), ILA (Image Light Amplifier), or the like can be used as the image generating element. The projected light is applied to the screen 4 by the lens 6. The specific configuration and operation of each part of the present embodiment are as described above.
[0130]
The light quantity modulation device 2 is a means for applying intensity modulation to the output light from the image creating apparatus 5 for each spatial position, and is an apparatus that realizes intensity modulation to satisfy the above-described condition 1. For this purpose, it is only necessary that the light quantity modulation device 2 has a mechanism that can increase / decrease the light amount of the output light from the image creation device 5 independently for each spatial position. The light quantity modulation device 2 may be located at any position where it is possible to apply modulation for each spatial position on the light emitting point or on the optical path from the light emitting surface to the observer. Various methods are conceivable as a method for specifically realizing the light amount modulation device 2.
[0131]
For example, as shown in FIG. 20, there is a method using a method of attaching the rotational density filter 7 to the rotary motor 8 and rotating it at a certain speed.
[0132]
The transmittance T (r, θ) of the rotary filter at the radius r and the angle θ is set to the width d of the optical path.
T (r, θ) = 0.5 + 0.5 × sin (θ + 2πr / d)
When the rotary filter is rotated at 70 Hz, the above-described time modulation can be realized at each spatial position, and a modulation method in which the spatial frequency component of the modulation intensity satisfies one period and condition 1 in the screen width can be realized. .
[0133]
In the above description, the phase is continuously changed for each spatial position. However, the modulation method satisfying the condition 1 can also be realized by continuously changing the amplitude for each spatial position.
[0134]
For example, the transmittance T (r, θ) of the rotary filter at a radius r and an angle θ with respect to the width d of the optical path is
T (r, θ) = (0.5 + 0.5 sin (2πr / d)) × sin θ
And it is sufficient.
[0135]
Similarly, the modulation intensity satisfying the condition 1 can also be realized by gradually changing the time-modulated waveform from, for example, a sine wave to a rectangular wave for each spatial position.
[0136]
Further, a modulation method satisfying the condition 1 may be realized by combining different phases, amplitudes, and waveforms for each spatial position.
[0137]
The light amount modulation element of the light amount modulation device 2 can be realized by using a shutter element such as a mechanical shutter or a liquid crystal shutter, a deflection element such as a deflection filter, etc. in addition to the rotary filter. Regardless of which element is used, the intensity modulation of the amount of light can be performed for each spatial position, and the same effect as when the rotational density filter 7 is used can be obtained.
[0138]
(D-2) Specific example 2
FIG. 21 is a modification of the apparatus shown in FIG. The positioning servo device 9 moves the position of the rotation density filter 7. As a result, it is possible to arbitrarily determine the position where the interference occurs, and to provide more effective interference. The position where the interference is generated may be moved at random, or a noise generation position may be given to the content in advance, or a position where the interference can be effectively performed is detected from the content. The noise position may be controlled by a device.
[0139]
(E) Fifth configuration example
Although it does not interfere with direct viewing of the display image on the screen, it is an intensity modulation system that modulates the display image so that a change in the amount of light independent of the original display image appears in the recorded image. The following devices are proposed.
(1) a projection type display device that projects a display image on a screen; (2) the image signal of the display device is controlled and intensity modulation having periodicity in the time direction with respect to the original display image is spatially positioned in the image Light intensity modulation device added every time
This system relates to a method of previously modulating an image signal itself for generating a display image. In the fifth configuration example, a function of applying intensity modulation satisfying the condition 1 is added to the above-described method of previously modulating the image signal itself for generating the display image.
[0140]
(E-1) Specific example 1
Various methods are conceivable as methods for applying intensity modulation to the image signal. Here, a method of generating a plurality of sub-frames having different light amounts from the same frame and outputting them during one frame display period is employed. Depending on the display device, one frame as a display unit may be referred to as one field, and may be referred to as one frame.
[0141]
22 and FIG. 23 show a configuration example of the image signal modulation apparatus 10 that executes the method. The image signal modulation device 10 includes a memory 10a, an image modulation processing unit 10b, a modulation condition recording table 10c, and an image output unit 10d.
[0142]
The memory 10a is means for temporarily holding an input image signal. The image modulation processing unit 10b reads a frame image from the memory 10a a plurality of times and receives a predetermined intensity modulation for each spatial position between the reception of the frame synchronization signal and the reception of the next frame synchronization signal. This is a means for executing processing to be added to the frame image. Of course, the intensity-modulated frame image is immediately output to the image output device 10d. That is, it is output a plurality of times during one frame display period.
[0143]
Here, the image modulation processing unit 10b reads the intensity modulation condition satisfying the condition 1 from the modulation condition recording table 10c and executes the above-described processing. Of course, the number of readings from the memory 10a is also determined based on the condition of intensity modulation. It is assumed that necessary modulation conditions are stored in advance in the modulation condition recording table 10c.
[0144]
The image output unit 10 d is a unit that inputs an image signal that is an output of the image modulation processing unit 10 b and outputs the image signal to the display device 1.
[0145]
As a result, a plurality of the same frame images having different display intensities are input to the display device 1 during the display period of one frame.
[0146]
(E-2) Specific example 2
It is the modification shown in the 1st specific example of (e-1). Therefore, the system configuration is the same as that shown in FIGS.
[0147]
The second specific example relates to a system that uses a PWM method (Pulse Width Modulation) in a display device for controlling an image display element. Examples of the display device include a DLP projector and a PDP projector. In addition, in this display device, gradation is expressed by adding light emission and non-light emission a plurality of times in one frame. In this system, time modulation is realized by adding a periodic non-light emitting period. The modulation method satisfying the condition 1 can be realized by shifting the position of the non-light emitting period for each spatial position with respect to the timing for providing the non-light emitting period.
[0148]
(B-2) Direct view system example
In the case of a direct view type system, a control method similar to that of the projection type system can be considered. Below, it demonstrates focusing on a different part from a projection type system.
[0149]
(A) First configuration example
An intensity modulation system that does not interfere with direct viewing of the display image on the display screen, but modulates the display image so that a change in the amount of light independent of the original display image appears in the recorded image. The following is proposed. (1) Direct-view display device that displays a display image on a display screen (2) Light amount modulation device that acts on display light and applies intensity modulation with periodicity in the time direction to the original display image This system The present invention relates to a method for modulating the amount of light on the optical path from the light source to the viewer. However, in the case of this type of display device, it is considered that intensity modulation is often applied on the optical path from the display screen (screen on which the display image is displayed) to the viewer.
[0150]
(A-1) Specific example 1
FIG. 24 shows a first specific example of the system. FIG. 24 corresponds to the configuration excluding the screen 4 from FIG. However, no projection optical system is required for the display device 1 used here.
[0151]
The display device 1 may be a CRT (Cathode Ray Tube) display, a flat panel display (for example, an LCD panel, a PDP panel, an FED display (Field Emission Display), an EL display (Electro-luminescence Display)) or the like. The display device 1 here may also include a head mounted display.
[0152]
In addition to the mechanical filter as shown in FIG. 11, a mechanical shutter, a liquid crystal shutter, a deflection element (deflection filter), or other optical filter can be used for the light quantity modulation device 2. When the light amount modulation device 2 is arranged outside the display device 1 as shown in FIG. 24, it is generally considered that a liquid crystal shutter or an optical filter is often used. In the case of FIG. 24, the light quantity modulation device 2 and the display device 1 are shown as independent devices, but they may be integrated in the same casing.
[0153]
When the display device 1 includes an image generation element and a light source, the light amount modulation device 2 may be disposed between the light source and the image generation element. In this way, the viewer can perceive a display image with intensity modulation added.
[0154]
The drive control device 3 may be the same as the drive control device 3 of FIG. Of course, as described above, the control method of the drive control device 3 differs depending on the light amount modulation device 2.
[0155]
(A-2) Specific example 2
FIG. 25 shows a second specific example of the system. FIG. 25 corresponds to the configuration obtained by removing the screen 4 from FIG. Of course, the projection optical system is not necessary for the display device 1 used here. In this case as well, the same display device 1, light amount modulation device 2, and drive control device 3 as those in the first specific example may be used. Further, as the drive condition determining device 7, the device described with reference to FIG.
[0156]
(B) Second configuration example
An intensity modulation system that does not interfere with direct viewing of the display image on the display screen, but modulates the display image so that a change in the amount of light independent of the original display image appears in the recorded image. The following is proposed. (1) Direct-view display device that displays a display image on a display screen (2) A light amount modulation device that controls the light source of the display device and applies intensity modulation with periodicity in the time direction to the original display image
This system relates to a method for outputting intensity-modulated display light by controlling the light source itself.
[0157]
(B-1) Specific example 1
FIG. 26 shows a first specific example of the system. FIG. 26 corresponds to the configuration in which the screen 4 is removed from FIG. Of course, the projection optical system is not necessary for the display device 1 used here.
[0158]
This system relates to a method for modulating the light emission itself of a light source of a non-self-luminous display. As the display device 1, an LCD panel display, a DLP display, or the like can be used.
[0159]
In the case of FIG. 26 as well, the current modulation device 1B corresponds to the light amount modulation device in the present specification. In FIG. 26, the driving current of the light source is modulated, but it goes without saying that the driving voltage of the light source can also be modulated.
[0160]
(B-2) Specific example 2
FIG. 27 shows a second specific example of the system. FIG. 27 corresponds to the configuration in which the screen 4 is removed from FIG. Of course, the projection optical system is not necessary for the display device 1 used here.
[0161]
This system relates to a method for modulating the light emission itself of a light source of a self-luminous display. As the display device 1, a CRT display, a PDP display, an FED display, an EL display, or the like can be used. The display device 1 also includes a head mounted display.
[0162]
In the case of FIG. 27 as well, the current modulation device 1B corresponds to the light amount modulation device in the present specification. In FIG. 27, the driving current of the light source is modulated, but it goes without saying that the driving voltage of the light source can also be modulated.
[0163]
(B-3) Specific example 3
This specific example can be applied to a display device using a PWM method for light emission control of a light source such as a DLP display or a PDP display. That is, the present invention relates to a method for adding a non-emission period to a drive pulse as shown in FIG.
[0164]
(C) Third configuration example
An intensity modulation system that does not interfere with direct viewing of the display image on the display screen, but modulates the display image so that a change in the amount of light independent of the original display image appears in the recorded image. The following is proposed. (1) Direct-view display device that displays a display image on a display screen (2) Light amount modulation device that controls an image signal of the display device and applies intensity modulation with periodicity in the time direction to the original display image
This system relates to a method of previously modulating an image signal itself for generating a display image.
[0165]
(C-1) Specific example 1
FIG. 28 shows a first specific example of the system. FIG. 28 corresponds to the configuration excluding the screen 4 from FIG. Of course, the projection optical system is not necessary for the display device 1 used here.
[0166]
The display device 1 here may be a non-self-luminous display or a self-luminous display. The display device 1 here also includes a head mounted display. There are various image signal modulation methods. If a method of generating a plurality of the same frames with different light amounts from the same frame and outputting them during one frame display period is shown in FIG. An image signal modulation device 8 having the configuration shown may be used. In addition, the description regarding the control method of the image signal modulation apparatus 8 is the same as that of the above-mentioned example of a projection type system.
[0167]
(D) Fourth configuration example
An intensity modulation system that does not interfere with direct viewing of the display image on the display screen, but modulates the display image so that a change in the amount of light independent of the original display image appears in the recorded image. The following is proposed. (1) A direct-view display device that displays a display image on a display screen, and (2) a light amount modulation device that acts on display light and applies intensity modulation with periodicity in the time direction to the original display image.
This system relates to a method for modulating the amount of light on the optical path from the light source to the viewer. However, in the case of this type of display device, it is considered that intensity modulation is often applied on the optical path from the display screen (screen on which the display image is displayed) to the viewer.
[0168]
(D-1) Specific example 1
FIG. 29 shows a first specific example of the system. FIG. 29 corresponds to the configuration in which the screen 4 and the lens 6 are removed from FIG.
[0169]
The image creating apparatus 5 uses a CRT disc display, a liquid crystal display, a PDP display, or the like.
[0170]
The light quantity modulation device 2 is a means for applying intensity modulation to the output light from the image creating apparatus 5 for each spatial position, and is an apparatus that realizes intensity modulation to satisfy the above-described condition 1. For this purpose, it is only necessary that the light quantity modulation device 2 has a mechanism that can increase / decrease the light amount of the output light from the image creation device 5 independently for each spatial position. The light quantity modulation device 2 may be located at any position where it is possible to apply modulation for each spatial position on the light emitting point or on the optical path from the light emitting surface to the observer. Various methods are conceivable as a method for specifically realizing the light amount modulation device 2.
[0171]
Further, as shown in FIG. 30, there is a method of using a method in which the rotational density filter 7 is attached to the rotary motor 8 and rotated at a certain speed. The above method is the same as that described in the item (d-1) in the example of the (B-1) projection type system.
[0172]
(D-2) Specific example 2
FIG. 31 is a modification of the apparatus shown in FIG. FIG. 31 corresponds to a configuration in which the screen 4 and the lens 6 are removed from FIG.
[0173]
(E) Fifth embodiment
An intensity modulation system that does not interfere with direct viewing of the display image on the display screen, but modulates the display image so that a change in the amount of light independent of the original display image appears in the recorded image. The following is proposed. (1) A direct-view display device that displays a display image on a display screen, (2) Intensity modulation that acts on display light and has periodicity in the time direction with respect to the original display image for each spatial position of the image Light intensity modulation device
This system relates to a method of previously modulating an image signal itself for generating a display image. In the fifth configuration example, a function of applying intensity modulation satisfying the condition 1 is added to the above-described method of previously modulating the image signal itself for generating the display image.
[0174]
(E-1) Specific example 1
Various methods are conceivable as methods for applying intensity modulation to the image signal. Here, a method of generating a plurality of sub-frames having different light amounts from the same frame and outputting them during one frame display period is employed.
[0175]
Specific example 1 is a direct view type system applied to item (e-1), which is an example of a (B-1) projection type system.
[0176]
(E-2) Specific example 2
It is a modification of the specific example 1 of (e-1). In the second specific example, a direct view system is applied to the item (e-2) which is an example of a (B-1) projection type system.
[0177]
(C) Application to imaging disturbance system
In the imaging disturbance system to which the above-mentioned intensity modulation system is applied, both the original display image and the light image pattern (light quantity change pattern) that hinders viewing during reproduction of the recorded image are displayed as visible light. It is extremely difficult to record separately.
[0178]
In the case of the modulation technique, even if the above-described modulation is applied to the display image, the same image as that before the countermeasure can be maintained in both color and luminance.
[0179]
Further, as described above, since the optical image pattern (light quantity change pattern) that hinders appreciation is recorded in the recorded image, the illegal duplication act can be effectively prevented.
[0180]
(D) Application to digital watermarking system
In the digital watermarking system using the above-described intensity modulation system, both the original display image and the light image pattern (light quantity change pattern) perceived when reproducing the recorded image are displayed as visible light. It can be extremely difficult to record separately.
[0181]
In the case of the modulation technique, even if the above-described modulation is applied to the display image, the same image as that before the countermeasure can be maintained in both color and luminance.
[0182]
Further, as described above, since a light image pattern (light quantity change pattern) as an electronic watermark is inseparably recorded on the recorded image, the illegal duplication act can be effectively prevented.
[0183]
【The invention's effect】
As described above, according to the present invention, the direct viewing of the display image is not hindered, but the light quantity change independent of the original display image can appear in the recorded image obtained by photographing the display image.
[Brief description of the drawings]
FIG. 1 is a diagram showing human time-frequency contrast sensitivity characteristics for each average luminance intensity.
FIG. 2 is a diagram illustrating an appearance example of recording intensity appearing in a recorded image.
FIG. 3 is a diagram illustrating human time-frequency contrast sensitivity characteristics with respect to color changes.
FIG. 4 is a diagram showing an example in which intensity modulation is applied to two different colors so that the sum of their luminance values is constant and opposite in phase.
FIG. 5 is a diagram illustrating an example in which intensity modulation is applied so that two different colors have the same phase.
FIG. 6 is a diagram illustrating a state in which an image is divided into region 1 and region 2 and partial modulation is performed.
FIG. 7 is a diagram showing an intensity distribution of an image for each horizontal position.
FIG. 8 is a diagram illustrating an intensity distribution of an image after modulation for each horizontal position.
FIG. 9 is a diagram illustrating a configuration example of a projection type system (projection light modulation type).
FIG. 10 is a diagram illustrating a configuration example of a rotary filter.
FIG. 11 is a diagram illustrating a configuration example of a light amount modulation device.
FIG. 12 is a diagram illustrating a configuration example of a projection type system (projection light modulation type).
FIG. 13 is a diagram illustrating a configuration example of a drive condition determining device.
FIG. 14 is a diagram illustrating a configuration example of a projection type system (light source modulation type).
FIG. 15 is a diagram illustrating a configuration example of a projection type system (light source modulation type).
FIG. 16 is a diagram illustrating an application example to a display device using a pulse width modulation method;
FIG. 17 is a diagram illustrating a configuration example of a projection type system (image signal modulation type).
FIG. 18 is a diagram illustrating a configuration example of an image signal modulation device.
FIG. 19 is a diagram illustrating a configuration example of a projection type system (projection light modulation type).
FIG. 20 is a diagram illustrating a first configuration example using a rotational density filter in a projection type system (projection light modulation type).
FIG. 21 is a diagram illustrating a second configuration example using a rotational density filter in a projection type system (projection light modulation type).
FIG. 22 is a diagram illustrating a configuration example using an image signal modulation device in a projection type system (projection light modulation type).
FIG. 23 is a diagram illustrating a configuration example of an image signal modulation device.
FIG. 24 is a diagram illustrating a configuration example of a direct-view type system (display light modulation type).
FIG. 25 is a diagram illustrating a configuration example of a direct-view type system (display light modulation type).
FIG. 26 is a diagram illustrating a configuration example of a direct view type system (light source modulation type).
FIG. 27 is a diagram illustrating a configuration example of a direct-view type system (light source modulation type).
FIG. 28 is a diagram illustrating a configuration example of a direct view type system (image signal modulation type).
FIG. 29 is a diagram illustrating a configuration example of a direct-view type system (display light modulation type).
FIG. 30 is a diagram illustrating a first configuration example using a rotational density filter in a direct-view type system (display light modulation type).
FIG. 31 is a diagram illustrating a second configuration example using a rotational density filter in a direct view system (display light modulation type).
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Display apparatus, 1B Current modulation apparatus, 1C light source, 1D image generation element, 2 Light quantity modulation apparatus, 3 Drive control apparatus, 7 Drive condition determination apparatus, 7A Image information detection part, 7B Light quantity modulation condition determination part, 7C Selectable conditions Recording table, 7D light quantity modulation control signal conversion unit, 8 image signal modulation device, 8A memory, 8B image modulation processing unit, 8C modulation condition recording table, 8D image output unit

Claims (30)

Although it does not interfere with direct viewing of the displayed image, the recorded image obtained by capturing this has periodicity in the time direction in the light amount of the original display image so that a change in light amount independent of the original display image appears. Add intensity modulation,
The intensity modulation method characterized in that the change in the amount of light that appears in the previous recorded image is a change in the color direction. 2. The intensity modulation method according to claim 1, wherein the modulation is performed so that the spatial distribution of the intensity modulation degree in each time zone does not have a high spatial frequency component. 2. The intensity modulation method according to claim 1, wherein the phase, intensity, waveform, or combination thereof of time modulation having the same period is changed for each spatial position, whereby the spatial distribution of the intensity modulation degree in each time zone is changed. The intensity modulation method is characterized in that the modulation is performed so as not to have a high spatial frequency component. 2. The intensity modulation method according to claim 1, wherein when a sine wave is used for the intensity modulation, the amplitude and frequency of the sine wave are set so as to satisfy the following conditions.
Condition: The amplitude and frequency of the temporal change in the amount of light of each recording frame captured by the imaging device belong to a region that is equal to or higher than the human time frequency contrast sensitivity with respect to the luminance of the original display image. 5. The intensity modulation method according to claim 4, wherein the amplitude of the sine wave is further set so as to satisfy the following condition.
Condition: The amplitude of the intensity modulation is equal to or less than the amplitude value obtained from the human time-frequency contrast sensitivity at the frequency of the sine wave set in claim 4 in the luminance of the display image. 2. The intensity modulation method according to claim 1, wherein when a synthetic wave is used for the intensity modulation, at least one combination of amplitude and frequency of each sine wave component constituting the synthetic wave is set so as to satisfy the following condition: An intensity modulation method characterized by the above.
Condition: The amplitude and frequency of the temporal change in the amount of light of each recording frame imaged by the imaging device belong to a region that is equal to or higher than the human time frequency contrast sensitivity with respect to the luminance of the original display image. 7. The intensity modulation method according to claim 6, wherein the amplitude of the sine wave is further set so as to satisfy the following condition.
Condition: The amplitude of each sine wave component is equal to or less than the amplitude value obtained from the human time frequency contrast sensitivity at the frequency of the sine wave set in claim 6 in the luminance of the display image.   The intensity modulation method according to claim 1, wherein different types of intensity modulation are applied for each spatial position of a display image.   2. The intensity modulation method according to claim 1, wherein different types of the intensity modulation are applied every time. Although it does not interfere with direct viewing of the displayed image, the recorded image obtained by capturing this has periodicity in the time direction in the light amount of the original display image so that a change in light amount independent of the original display image appears. Add intensity modulation,
The intensity modulation method according to claim 1, wherein the intensity modulation uses an equal amount of light displayed in one frame before and after the modulation. This is an intensity modulation system that modulates the display image so that a change in the amount of light that is independent of the original display image appears in the recorded image, which does not interfere with direct viewing of the display image on the screen. There,
A projection-type display device that projects a display image on a screen;
A light amount modulation device that acts on the projection light on the projection light path and applies intensity modulation with periodicity in the time direction to the original display image;
The light intensity modulation device changes intensity of light that appears in a recorded image in the previous period in the color direction . This is an intensity modulation system that modulates the display image so that a change in the amount of light that is independent of the original display image appears in the recorded image, which does not interfere with direct viewing of the display image on the screen. There,
A projection-type display device that projects a display image on a screen;
A light amount modulation device that controls the light source of the display device and applies intensity modulation with periodicity in the time direction to the original display image;
The light intensity modulation device changes intensity of light that appears in a recorded image in the previous period in the color direction . This is an intensity modulation system that modulates the display image so that a change in the amount of light that is independent of the original display image appears in the recorded image, which does not interfere with direct viewing of the display image on the screen. There,
A projection-type display device that projects a display image on a screen;
A light amount modulation device that controls the image signal of the display device and applies intensity modulation with periodicity in the time direction to the original display image;
The light intensity modulation device changes intensity of light that appears in a recorded image in the previous period in the color direction . This is an intensity modulation system that modulates the display image so that a change in the amount of light that is independent of the original display image appears in the recorded image, which does not interfere with direct viewing of the display image on the screen. There,
A projection-type display device that projects a display image on a screen;
Light quantity that acts on the light emitting point of the display device or on the light path from the light emitting surface to the observer and applies intensity modulation with periodicity in the time direction to the original display image independently for each spatial position of the image A modulation device,
The light intensity modulation device changes intensity of light that appears in a recorded image in the previous period in the color direction . This is an intensity modulation system that modulates the display image so that a change in the amount of light that is independent of the original display image appears in the recorded image, which does not interfere with direct viewing of the display image on the screen. There,
A projection-type display device that projects a display image on a screen;
A light amount modulation device that controls the image signal of the display device and applies intensity modulation with periodicity in the time direction to the original display image independently for each spatial position of the image,
The light intensity modulation device changes intensity of light that appears in a recorded image in the previous period in the color direction . Intensity modulation system that modulates the display image so that it does not interfere with direct viewing of the display image on the display screen, but changes in the amount of light independent of the original display image appear in the recorded image. Because
A direct-view display device that displays a display image on a display screen;
A light amount modulation device that acts on the display light and applies intensity modulation with periodicity in the time direction to the original display image;
The light intensity modulation device changes intensity of light that appears in a recorded image in the previous period in the color direction . Intensity modulation system that modulates the display image so that it does not interfere with direct viewing of the display image on the display screen, but changes in the amount of light independent of the original display image appear in the recorded image. Because
A direct-view display device that displays a display image on a display screen;
A light amount modulation device that controls the light source of the display device and applies intensity modulation with periodicity in the time direction to the original display image;
The light intensity modulation device changes intensity of light that appears in a recorded image in the previous period in the color direction . Intensity modulation system that modulates the display image so that it does not interfere with direct viewing of the display image on the display screen, but changes in the amount of light independent of the original display image appear in the recorded image. Because
A direct-view display device that displays a display image on a display screen;
A light amount modulation device that controls the image signal of the display device and applies intensity modulation with periodicity in the time direction to the original display image;
The light intensity modulation device changes intensity of light that appears in a recorded image in the previous period in the color direction . Intensity modulation system that modulates the display image so that it does not interfere with direct viewing of the display image on the display screen, but changes in the amount of light independent of the original display image appear in the recorded image. Because
A direct-view display device that displays a display image on a display screen;
Light quantity that acts on the light emitting point of the display device or on the light path from the light emitting surface to the observer and applies intensity modulation with periodicity in the time direction to the original display image independently for each spatial position of the image A modulation device,
The light intensity modulation device changes intensity of light that appears in a recorded image in the previous period in the color direction . Intensity modulation system that modulates the display image so that it does not interfere with direct viewing of the display image on the display screen, but changes in the amount of light independent of the original display image appear in the recorded image. Because
A direct-view display device that displays a display image on a display screen;
A light amount modulation device that controls the image signal of the display device and applies intensity modulation with periodicity in the time direction to the original display image independently for each spatial position of the image,
The light intensity modulation device changes intensity of light that appears in a recorded image in the previous period in the color direction . Intensity modulation with periodicity in the time direction is applied to the projection light emitted from the projection type display device, which does not hinder direct viewing of the display image on the screen, Make a change in the amount of light independent of the original display image,
A light amount modulation device in an intensity modulation applying system, wherein a change in light amount that appears in a previous recorded image is a change in color direction . Intensity modulation with periodicity in the time direction is applied to the light source of the projection display device, which does not interfere with direct viewing of the display image on the screen, but the recorded image obtained by capturing this is the original display image So that an independent light intensity change appears,
A light amount modulation device in an intensity modulation applying system, wherein a change in light amount that appears in a previous recorded image is a change in color direction . Intensity modulation with periodicity in the time direction is applied to the image signal of the projection display device, which does not interfere with direct viewing of the display image on the screen, but the recorded image obtained by capturing this is the original display So that a change in the amount of light independent of the image appears.
A light amount modulation device in an intensity modulation applying system, wherein a change in light amount that appears in a previous recorded image is a change in color direction . Intensity modulation with periodicity in the time direction on the light emitting point of the projection display device or the light path from the light emitting surface to the observer is added according to the spatial position of the image, preventing direct viewing of the display image However, the recorded image obtained by shooting this should have a light intensity change independent of the original display image,
A light amount modulation device in an intensity modulation applying system, wherein a change in light amount that appears in a previous recorded image is a change in color direction . Intensity modulation with periodicity in the time direction is added to the image signal of the projection display device according to the spatial position of the image, which does not interfere with direct viewing of the display image, but a recorded image taken of this So that a change in the amount of light independent of the original display image appears,
A light amount modulation device in an intensity modulation applying system, wherein a change in light amount that appears in a previous recorded image is a change in color direction . Intensity modulation with periodicity in the time direction is applied to the display light of the direct-view display device, which does not interfere with direct viewing of the display image on the display screen, Make a change in the amount of light independent of the display image.
A light amount modulation device in an intensity modulation applying system, wherein a change in light amount that appears in a previous recorded image is a change in color direction . Intensity modulation with periodicity in the time direction is applied to the light source of the direct-view type display device, which does not hinder direct viewing of the display image on the display screen, but the recorded image obtained by capturing this is the original display So that a change in the amount of light independent of the image appears.
A light amount modulation device in an intensity modulation applying system, wherein a change in light amount that appears in a previous recorded image is a change in color direction . Intensity modulation with periodicity in the time direction is applied to the image signal of the direct-view display device, which does not interfere with direct viewing of the display image on the display screen. Make a change in the amount of light independent of the display image.
A light amount modulation device in an intensity modulation applying system, wherein a change in light amount that appears in a previous recorded image is a change in color direction . Intensity modulation with periodicity in the time direction on the light emission point of the direct-view display device or the light path from the light emission surface to the observer is added according to the spatial position of the image, preventing direct viewing of the display image However, the recorded image that captured this appears to have a light intensity change independent of the original display image,
A light amount modulation device in an intensity modulation applying system, wherein a change in light amount that appears in a previous recorded image is a change in color direction . Intensity modulation with periodicity in the time direction is added to the image signal of the direct-view display device according to the spatial position of the image, and this does not hinder direct viewing of the display image, but the recorded image is taken So that a change in the amount of light independent of the original display image appears,
A light amount modulation device in an intensity modulation applying system, wherein a change in light amount that appears in a previous recorded image is a change in color direction .

Images