以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
ところで、本願出願人は、上述したオーバドライブ方式を適用しても、従来の課題を解決することができない要因、即ち、ホールド型表示装置における動きボケの発生を抑制することができない要因について解析し、その解析結果に基づいて、従来の課題を解決することが可能な画像処理装置を発明した。
そこで、従来の課題を解決することが可能な画像処理装置、即ち、本発明が適用される画像処理装置について説明する前に、上述した解析結果について説明する。
本願出願人は、はじめに、次のように思想した。即ち、上述したように、液晶型表示装置において、動きボケが発生する原因の1つは、液晶(画素)の応答速度が遅いことでああり、オーバドライブ方式は、この原因を考慮した手法である。
しかしながら、液晶型表示装置における動きボケの発生は、液晶の応答の遅さだけが原因ではなく、人間(液晶型表示装置を見るユーザ)の目が有する、追従覗と称される特性もその原因の1つである。それにも関わらず、オーバドライブ方式では、この追従視について全く考慮しておらず、このため、動きボケの発生を抑制することができないでいると、本願出願人は解析した。なお、追従覗とは、網膜残像とも称される特性であって、物体が動いている場合、人間の目が、無意識のうちに、その物体に追従してしまう特性のことである。
ここで、図3乃至図6を参照して、追従覗と、液晶型表示装置における動きボケとの関係について、詳細に説明する。
なお、以下、ホールド型表示装置の画面を構成する各表示素子(液晶型表示装置の場合、液晶)のそれぞれには、フレーム又はフィールドを構成する複数の画素のうちの所定の1つが対応付けられているとして説明する。
図3は、所定のフレーム又はフィールドに含まれる、ステップエッジを表している。
図3において、図中水平方向の軸は、画素位置(空間方向X)を表しており、図中垂直方向の軸は、画素値を表している。n-8乃至n+4のそれぞれは、画素の番号を表しており、図3においては、番号n-8乃至番号n+4のそれぞれの位置に、対応する番号が付された画素が配置されている。なお、以下、番号k(kは、任意の整数値)の画素を、画素kと称する。また、ここでは、空間方向のうちの、フレーム又はフィールドを構成する画素が連続して並ぶ所定の1方向を、空間方向Xと称し、空間方向Xと垂直な方向を、空間方向Yと称している。即ち、図3において、画素n-8乃至画素n+4のそれぞれが、空間方向Xに連続して並んで配置されている。
また、ここでは、第1の画素値(図3の例では、画素値E)を有する画素が所定の方向(図3の例では、空間方向X)に連続して並び、所定の画素(図3の例では、画素n)を境に、第1の画素値とは異なる第2の画素値(図3の例では、画素値B)を有する画素がその方向に連続して並んで形成される画素の集合体を、ステップエッジと称している。
即ち、例えば、所定のフレーム又はフィールドにおいて、一定の画素値Bを有する背景の上に、一定の画素値Eを有する1つのオブジェクトが配置されている場合、そのフレーム又はフィールドを構成する複数の画素のうちの、オブジェクトと背景の境(エッジ)の周辺に位置する、所定の方向に連続して並ぶ画素の集合体が、ステップエッジとなる。従って、この場合、ステップエッジが所定の方向に動くことは、オブジェクトがその方向に動くことを表すことになる。換言すると、後述するように、オブジェクトは全て、ステップエッジに分解できるので、ステップエッジ自身を、1つのオブジェクトとみなすこともできる。
例えば、いま、図3に示されるステップエッジが、空間方向Xに一定の移動速度で動いており、そのフレーム又はフィールド間の移動量が4[画素/フレーム又はフィールド]とされたとする。この場合、そのステップエッジは、次のフレーム又はフィールドでは、図4に示される位置まで動くことになる。
即ち、図4に示されるステップエッジを含むフレーム又はフィールドが、これから表示される対象のフレーム又はフィールド(以下、表示対象フレーム又はフィールドと称する)とされた場合、図3は、表示対象フレーム又はフィールドの直前(1つ前)のフレーム又はフィールドに含まれるステップエッジを示すことになる。また、図4は、ステップエッジが、4[画素/フレーム又はフィールド]の一定速度で移動している場合の、表示対象フレーム又はフィールドに含まれるステップエッジを示すことになる。
図5は、上述したオーバドライブ方式を適用した場合における、液晶型表示装置の画面を構成する各液晶(各画素)のホールド表示と、追従覗との関係を説明する図である。
図5において、図中上側の図は、図4のステップエッジが液晶型表示装置に表示された場合における、液晶の出力レベルの時間推移を表している。
図5の上側の図において、図中水平方向の軸は、画素位置(空間方向X)を表しており、図中垂直下向き方向の軸は、時間軸を表している。即ち、上述したように、ここでは、1つの画素に1つの液晶が対応しているので、図中水平方向の軸は、画素n-9乃至画素n+8のそれぞれに対応する液晶の位置を表しているとも言える。そこで、以下、画素kに対応する液晶を、液晶kと称する。また、図5の上側の図においては、グレー階調の濃淡により、各液晶(液晶n-7乃至液晶n+4)のそれぞれの出力レベルが示されている。即ち、一番濃い階調のグレーは、図4における画素値Bに対応するレベルを表しており、一番薄い階調のグレーは、図4における画素値Eに対応するレベルを表している。なお、後述する図6や図11においては、さらに薄い階調のグレーが示されており、そのグレーは、図4における画素値Eよりも高い画素値に対応するレベルを表すことになる。
図5の下側の図は、ユーザ(人間)が、液晶型表示装置に表示される、図4のステップエッジを見た場合における、ユーザの目の網膜に取り込まれる光量を示している。即ち、図中垂直方向の軸が、ユーザの目の網膜に取り込まれる光量を示している。また、図中水平方向の軸は、上側の図の時刻tbの時点における、ユーザの目の網膜の位置(空間方向X)を表している。
例えば、いま、図5の上側の図に示されるように、時刻taの直前に、図3のステップエッジを含むフレーム又はフィールド(表示対象フレーム又はフィールドの直前のフレーム又はフィールド)が液晶型表示装置に表示されており、時刻taに、図4のステップエッジを含むフレーム又はフィールド(表示対象フレーム又はフィールド)の表示が、液晶型表示装置に指示されたとする。
この場合、液晶(画素)n-7乃至液晶(画素)nのそれぞれは、時刻taの段階で、画素値Eに対応するレベルの光を出力しているので、液晶型表示装置は、時刻ta以降、液晶n-7乃至液晶nのそれぞれに対して、画素値Eに対応するレベルの電圧を印加する。すると、液晶n-7乃至液晶nのそれぞれは、画素値Eに対応するレベルの光を出力し続ける(ホールド表示する)。
これに対して、液晶(画素)n+1乃至液晶(画素)n+4のそれぞれは、時刻taの段階で、画素値Bに対応するレベルの光を出力しているので、液晶型表示装置は、略時刻taに、液晶n+1乃至液晶n+4のそれぞれに対して、画素値Eに対応するレベルよりも高いレベル(いまの場合、図1のレベルYlck)の電圧を印加する。すると、上述したように、略時刻taから、次のフレーム又はフィールドの表示が指示される時刻tbまでの間(表示対象フレーム又はフィールドに対するフレーム又はフィールド時間Tの間)、液晶n+1乃至液晶n+4のそれぞれの出力レベルは、画素値Bから画素値Eに対応するレベルに徐々に変化していく。
ユーザは、時刻taの前から、追従覗により、液晶型表示装置に表示されるステップエッジを、その動きに追従して見て来たので、表示対象フレーム又はフィールドの表示が指示された時刻taから、次のフレーム又はフィールドの表示が指示される時刻tbまでの間(表示対象フレーム又はフィールドに対するフレーム又はフィールド時間Tの間)でも、図5の上側の図に示される矢印に沿って(ステップエッジの動きに追従して)、ステップエッジを見続けることになる。
具体的には、例えば、ユーザ(人間)の目の網膜のうちの、時刻tbの時点に、液晶n+1と液晶n+2の境に対応する場所に位置する点i+1は、上側の図の1番左側の矢印に沿って動くことになる。即ち、1番左側の矢印が、時刻taから時刻tbまでの間の、網膜の点i+1の軌跡を示している。
時刻taから時刻tbの間の各瞬間のそれぞれの時点で、網膜の点i+1には、上側の図の1番左側の矢印が通る場所に位置する液晶から出力された、所定のレベルの光が入射される。その結果、網膜の点i+1には、各瞬間のそれぞれの時点に入射された光が順次蓄積されていくので、時刻tbの時点で、その蓄積された光量(入射された光のレベルの積分値)の光、即ち、上側の図の1番左側の矢印に沿って蓄積された光量の光が取り込まれることになる。従って、網膜の点i+1には、この光量の光に対応する像が形成される。
網膜の他の点k(kは、i+1を除く、i-8乃至i+8のうちのいずれかの値)においても、全く同様に、時刻taから時刻tbの各瞬間のそれぞれの時点で、網膜の各点kのそれぞれに対応する場所に位置する液晶から出力された、所定のレベルの光が順次蓄積されていく。その結果、時刻tbの時点で、図5の下側の図に示されるような光量(入射された光のレベルの積分値)の光が、網膜の各点kのそれぞれに取り込まれることになる。従って、網膜の各点kのそれぞれにおいては、それぞれ取り込まれた光量の光に対応する像が形成される。
図5の下側の図に示されるように、時刻tbの時点で、液晶n+1乃至液晶n+8の8画素分の場所に対応する、網膜の点i乃至点i+8の範囲においては、取り込まれた光量は一定ではなく、徐々に減少している。従って、そのような光量の光に対応して、網膜の点i乃至点i+8の範囲に形成される像は、あたかも画素値Eから画素値Bに徐々に変化していくような、ボケた画像となってしまう。即ち、網膜の点i乃至点i+8の範囲において、動きボケが発生してしまう。
そこで、時刻tbの時点で、液晶n+1乃至液晶n+4の4画素分の場所(図4のステップエッジの実際の配置場所)に対応する、網膜の点i乃至点i+4の範囲に取り込まれる光量の不足分を補うために、例えば、各液晶のそれぞれに印加される電圧のレベルをさらに上げたとする(各液晶のそれぞれの目標レベルをさらに上げたとする)。この場合における、図5に対応する図が、図6に示されている。
即ち、図6は、図5と同様にオーバドライブ方式を適用しているが、図5の場合よりもさらに高いレベルの電圧を印加する(目標レベルをさらに高いレベルに補正する)場合における、液晶型表示装置の画面を構成する各液晶(各画素)のホールド表示と、追従覗との関係を説明する図である。
例えば、いま、図6の上側の図に示されるように、時刻taの直前に、図3のステップエッジを含むフレーム又はフィールド(表示対象フレーム又はフィールドの直前のフレーム又はフィールド)が液晶型表示装置に表示されており、時刻taに、図4のエッジフレーム又はフィールドを含むフレーム又はフィールド(表示対象フレーム又はフィールド)の表示が、液晶型表示装置に指示されたとする。
この場合、液晶(画素)n-7乃至液晶(画素)n-4のそれぞれは、時刻taの段階で、画素値Eに対応するレベルの光を出力しているので、液晶型表示装置は、時刻ta以降、液晶n-7乃至液晶n-4のそれぞれに対して、画素値Eに対応するレベルの電圧を印加する。従って、液晶n-7乃至液晶n-4のそれぞれの出力レベルは、画素値Eに対応するレベルに保持される。
また、液晶(画素)n-3乃至液晶(画素)nのそれぞれは、時刻taの段階で、画素値Eに対応するレベルよりも高いレベルの光を出力しているので、液晶型表示装置は、時刻ta以降、液晶n-3乃至液晶nのそれぞれに対しても、画素値Eに対応するレベルの電圧を印加する。すると、液晶n-3乃至液晶nのそれぞれの出力レベルは、徐々に下がっていき、画素値Eに対応するレベルに戻ると、それ以降、画素値Eに対応するレベルに保持される。
これに対して、液晶n+1乃至液晶n+4は、時刻taの段階で、画素値Bに対応するレベルの光を出力しているので、液晶型表示装置は、略時刻taに、液晶n+1乃至液晶n+4のそれぞれに対して、画素値Eに対応するレベルよりも高いレベル(図5のときよりもさらに高いレベル)の電圧を印加する。すると、略時刻taから、次のフレーム又はフィールドの表示が指示される時刻tbまでの間(表示対象フレーム又はフィールドに対するフレーム又はフィールド時間Tの間)、液晶n+1乃至液晶n+4のそれぞれの出力レベルは、画素値Bから画素値Eに対応するレベルに変化していき(図5のときよりも速い速度で変化していき)、時刻tbよりも前の時刻に、画素値Eに対応するレベルに到達し、それ以降も、時刻tbまでの間、増加し続ける。
ユーザは、時刻taよりも前に、追従覗により、液晶型表示装置に表示されるステップエッジを、その動きに追従して見て来たので、表示対象フレーム又はフィールドの表示が指示された時刻taから、次のフレーム又はフィールドの表示が指示される時刻tbまでの間(表示対象フレーム又はフィールドに対するフレーム又はフィールド時間Tの間)でも、図6の上側の図に示される矢印に沿って(ステップエッジの動きに追従して)、ステップエッジを見続けることになる。
従って、ユーザ(人間)の目の網膜の各点i-8乃至点i+8においては、時刻taから時刻tbの各瞬間のそれぞれの時点で、それぞれ対応する場所に位置する液晶から出力された、所定のレベルの光が順次蓄積されていく。その結果、時刻tbの時点で、今度は、図6の下側の図に示されるような光量(入射された光のレベルの積分値)の光が、網膜の各点i-8乃至点i+8のそれぞれに取り込まれることになる。従って、網膜の各点i-8乃至点i+8のそれぞれにおいては、それぞれ取り込まれた光量の光に対応する像が形成される。
図5と図6のそれぞれの下側の図を比較するに、液晶(画素)n+1乃至液晶(画素)n+8の8画素分の場所に対応する、網膜の点i乃至点i+8の範囲においては、図6の方が、光量を表す曲線の傾きは急になり、ユーザ(人間)の目には、ステップエッジのエッジ部分が、図5のときと比べて鮮明に映るようにはなる。
しかしながら、図6においては、上述したように、各液晶のそれぞれの出力レベルは、ステップエッジの画素値Eに対応するレベルよりも高いレベルとなるときもあり、その結果、液晶n-3乃至液晶n+4の場所に位置する、網膜の点i-4乃至点i+4においては、取り込まれた光量が、実際に取り込まれるべき光量(即ち、液晶n-7乃至液晶n-4の場所にする、網膜の点i-8乃至点i-4において、取り込まれた光量と同一の光量)よりも多くなってしまう。
即ち、網膜の点i-4乃至点i+4の範囲においては、画素値Eよりも大きい画素値に対応するレベルの画像が形成されてしまう(あたかも、白く光るように映ってしまう)ことになり、これでは、動きボケが解消しているとは言い難い。さらに、網膜の点i-4乃至点i+4の範囲に形成される、このような画像も、一種の動きボケの画像として捉えると、結局、動きボケの範囲は、液晶(画素)n-3乃至液晶(画素)n+8の12画素分の場所に対応する、網膜の点i-4乃至点i+8の範囲まで広がってしまう。
このように、人間の目は、追従覗という特性を有しているので、従来のオーバドライブ方式のように、動いているオブジェクトに対応する液晶(画素)の全ての画素値(それに対応する、液晶に印加される電圧のレベル)を補正しても、即ち、液晶の出力レベルの時間応答だけを改善しても、動きボケを解消することはできない。
そこで、本願出願人は、液晶の応答の遅さのみならず、従来のオーバドライブ方式では全く考慮されていなかった追従覗も考慮して画像処理を行う画像処理装置を発明した。このような画像処理装置は、様々な実施の形態を取ることが可能であり、具体的には、例えば、図7に示されるように構成することができる。
即ち、図7は、本実施の形態が適用される画像処理装置の構成例を表している。
図7において、画像処理装置11は、液晶型表示装置等として構成されるホールド型表示装置12に対して、動画像の表示を制御する。即ち、画像処理装置11は、動画像を構成する複数のフレーム又はフィールドのそれぞれの表示を順次指示する。これにより、ホールド型表示装置12は、上述したように、所定のフレーム又はフィールドの表示が指示されてから、所定の時間の間、その第1のフレーム又はフィールドを構成する複数の画素のそれぞれを対応する表示素子(図示せず)に表示させ、それら表示素子のうちの少なくとも一部の表示を保持させる。即ち、各表示素子のうちの少なくとも一部は、所定の時間、ホールド表示する。
なお、以下、ホールド型表示装置12は、第1のフレーム又はフィールドの表示が指示されてから、その次の第2のフレーム又はフィールドの表示が指示されるまでの間、第1のフレーム又はフィールドを構成する全ての画素のそれぞれを対応する表示素子(図示せず)に表示させ、それら全ての表示素子の表示を保持させる(各表示素子の全ては、ホールド表示する)とする。
詳細には、画像処理装置11には、動画像を構成する複数のフレーム又はフィールドのそれぞれの画像データが順次入力される。即ち、画像処理装置11には、表示対象フレーム又はフィールドの画像データ(例えば、表示対象フレーム又はフィールドを構成する全ての画素の画素値)が入力される。具体的には、表示対象フレーム又はフィールドの画像データは、画像処理部21、画像処理部22、参照画像記憶部23、および、動き検出部24のそれぞれに入力される。
画像処理部21は、入力された表示対象フレーム又はフィールドの画像データに対して、画素を単位として、所定の画像処理を施して、切替部25に出力する。即ち、画像処理部21は、表示対象フレーム又はフィールドを構成する複数の画素のそれぞれに対して、所定の画像処理を施すことで、それらの画素の画素値を補正し、補正した画素値を、所定の順番で切替部25に順次出力する。
なお、画像処理部21が実行する画像処理は、特に限定されず、例えば、図7の例では、画像処理部21には、後述する参照画像記憶部23から出力される参照画像(表示対象フレーム又はフィールドの直前のフレーム又はフィールド)のデータ、および、後述する動き検出部24の検出結果が入力されるが、これら入力された2つの情報を全て利用する画像処理であってもよいし、いずれか一方の情報を利用する画像処理であってもよいし、或いは、いずれの情報も利用しない画像処理であってもよい。具体的には、例えば、画像処理部21は、所定の規則のテーブル(図示せず)を有し、そのテーブルに従って、表示対象フレーム又はフィールドを構成する各画素のそれぞれの画素値を補正する画像処理を行うことができる。
また、画像処理部21は、画像処理装置11にとって必須な構成要素ではなく、省略されてもよい。この場合、表示対象フレーム又はフィールドの画像データは、画像処理部22、参照画像記憶部23、動き検出部24、および、切替部25のそれぞれに入力されることになる。
画像処理部22は、入力された表示対象フレーム又はフィールドの中から、後述する動き検出部24により検出された動きのあるオブジェクト(その配置位置が、表示対象フレーム又はフィールドの直前のフレーム又はフィールドにおける配置位置から移動したオブジェクト)のエッジ部分に対応する画素に対して、その画素値を補正し、切替部25に出力する。
なお、後述するように、画像処理部22は、フレーム又はフィールドに含まれる、実物体に対応する画像をオブジェクトと捉えて、そのようにして捉えたオブジェクトに対して、上述した画像処理を施してもよい。ただし、ここでは、画像処理部22は、上述した図3や図4に示されるようなステップエッジを1つのオブジェクトとして捉えて、このステップエッジを単位として上述した画像処理を施すとする。
また、画像処理部22は、図7の例では、ステップエッジ検出部31と補正部32とから構成されているが、図7の例の形態に限定されず、様々な形態を取ることが可能である。具体的には、例えば、後述する図14や図23に示されるように画像処理部22を構成してもよい。
ただし、これらの画像処理部22の各種形態の詳細(図7、図14、および図23のそれぞれに示される形態の説明)については後述する。
参照画像記憶部23は、入力された表示対象フレーム又はフィールドの画像データを、表示対象フレーム又はフィールドの次の(直後の)フレーム又はフィールドに対する参照画像の画像データとして記憶する。即ち、参照画像記憶部23に、新たなフレーム又はフィールドの画像データが、表示対象フレーム又はフィールドの画像データとして入力された場合、それを記憶するとともに、いままで記憶していた、その直前のフレーム又はフィールド(その直前に表示対象フレーム又はフィールドであったフレーム又はフィールド)の画像データを、いま新たに入力された表示対象フレーム又はフィールドに対する参照画像の画像データとして引き続き記憶する。
動き検出部24は、表示対象フレーム又はフィールドの画像データが入力されると、参照画像記憶部23に記憶されている参照画像(表示対象フレーム又はフィールドの直前のフレーム又はフィールド)の画像データを取得する。そして、動き検出部24は、表示対象フレーム又はフィールドの画像データと、参照画像の画像データとを比較することで、表示対象フレーム又はフィールドの中から、動きのあるオブジェクト(その配置位置が、参照画像における配置位置から移動したオブジェクト)を、画素を単位として検出する。さらに、動き検出部24は、そのオブジェクトの空間的な移動量(移動方向も含む。例えば、移動方向は、プラスかマイナスで表現される)も、画素を単位として検出する。
即ち、動き検出部24は、入力された画像データの動きのあるオブジェクトと、参照画像記憶部23より出力された参照画像の動きのあるオブジェクトとを比較することにより動きを検出するのである。
なお、動き検出部24は、実際には、空間方向Xと空間方向Yに動くオブジェクトのそれぞれを個別に検出することが可能であるが、以下の説明においては、空間方向Xに動くオブジェクトのみを検出するとして説明する。
詳細には、動き検出部24は、空間方向Xに移動したオブジェクトを、画素を単位として検出する。即ち、動き検出部24は、表示対象フレーム又はフィールドを構成する複数の画素のうちの、処理の対象として注目すべき画素(以下、注目画素と称する)が、空間方向Xに移動したオブジェクトに対応する画素か否かを判定する。
動き検出部24は、注目画素が、空間方向Xに移動したオブジェクトに対応する画素ではないと判定した場合、その判定結果を切替部25に供給する(必要に応じて、さらに画像処理部21にも供給する)。この場合、後述するように、切替部25は、その入力を、画像処理部21側に切り替える。
これに対して、動き検出部24は、注目画素が、空間方向Xに移動したオブジェクトに対応する画素であると判定した場合、その判定結果を、ステップエッジ検出部31、補正部32、および、切替部25のそれぞれに供給する(必要に応じて、さらに画像処理部21にも供給する)。この場合、後述するように、切替部25は、その入力を、画像処理部22側(補正部32側)に切り替える。さらに、動き検出部24は、注目画素に対応するオブジェクトの空間的な移動量(フレーム又はフィールド間の移動距離)を検出し、ステップエッジ検出部31、および、補正部32に供給する。
切替部25は、上述したように、動き検出部24の検出結果に応じて、その入力を切り替える。
即ち、動き検出部24により、注目画素が動きのあるオブジェクト(いまの場合、ステップエッジ)に対応する画素ではないと検出された場合、切替部25は、その入力を画像処理部21側に切り替え、画像処理部21より供給される注目画素のデータ(画素値)を表示制御部26に供給する。
これに対して、動き検出部24により、注目画素が動きのあるオブジェクト(いまの場合、ステップエッジ)に対応する画素であると検出された場合、切替部25は、その入力を画像処理部22の補正部32側に切り替え、補正部32より供給される注目画素のデータ(画素値)を表示制御部26に供給する。
表示制御部26は、切替部25より順次供給されてくる、表示対象フレーム又はフィールドを構成する各画素のデータ(画素値)のそれぞれを、ホールド型表示装置12の、対応付けられた検出素子の目標レベルのそれぞれとして、所定の形式の信号に変換した後、ホールド型表示装置12に出力する。即ち、表示制御部26は、このような処理を行うことで、表示対象フレーム又はフィールドの表示をホールド型表示装置12に指示するのである。
ここで、図7の例の画像処理部22の詳細について説明する。
画像処理部22は、図7の例では、ステップエッジ検出部31と補正部32により構成される。
ステップエッジ検出部31は、入力された表示対象フレーム又はフィールドの画像データの中から、動き検出部24により検出されたオブジェクト(動きのあるオブジェクト)のエッジ部分を検出し、その検出結果を補正部32に供給する。
具体的には、例えば、表示対象フレーム又はフィールドの中に、色や濃度がグラデーション的に変化する実物体に対応する画像が存在した場合、ステップエッジ検出部23は、その実物体に対応する画像そのものをオブジェクトとして捉え、そのようにして捉えたオブジェクトのエッジを検出してもよい。
この場合、ステップエッジ検出部31は、実物体そのものに対応するオブジェクトのエッジを検出するために、例えば、オブジェクトの動き方向(空間方向X)における、画素値の変化を表す関数を生成し、各画素のそれぞれにおける、その関数の1次微分値を演算する。このようにして演算された、所定の画素における1次微分値は、その画素の画素値と、隣接画素の画素値との差異の度合いを表すので、ステップエッジ検出部31は、1次微分値がある(0でない)画素を、オブジェクトのエッジ部分に対応する画素として検出する。
ただし、このような関数の生成や、その関数を利用する1次微分値の演算は、ステップエッジ検出部31にとって負荷の重い処理となる。そこで、ここでは、上述したように、ステップエッジ検出部31は、ステップエッジをオブジェクトして捉え、入力された表示対象フレーム又はフィールドの画像データを、空間方向Xに形成される、複数のステップエッジの画像データの集合体に分解した上、複数のステップエッジのそれぞれのエッジ部分を検出し、その検出結果を補正部32に供給するのである。
例えば、表示対象フレーム又はフィールドに、図8に示される画像データが含まれていたとする。なお、図8において、水平方向の軸は、画素位置(空間方向X)を表しており、垂直方向は、画素値を表している。即ち、図8に示される画像データは、画素X1の画素値L2、画素X2の画素値L3、および、画素X3の画素値L1からなる画像データである。
この場合、ステップエッジ検出部31は、図8に示される画像データを、図9に示される2つのステップエッジ(図9中左側のステップエッジ(画素X1までの画素においては、画素値L2であり、画素X2以降の画素においては、画素値L3であるステップエッジ)と、図9中右側のステップエッジ(画素X2までの画素においては、画素値L3であり、画素X3以降の画素においては、画素値L1であるステップエッジ))の画像データに分解する。そして、ステップエッジ検出部31は、図9に示される2つのステップエッジのそれぞれのエッジ部分を検出する。
この場合、ステップエッジは、単に、第1の画素値の画素の集まり(空間方向Xに並ぶ第1の画素群)と、第2の画素値の画素の集まり(空間方向Xに並ぶ第2の画素群)から構成されるので、ステップエッジ検出部31は、隣接する画素の画素値と差異がある画素値を有する画素を見つけ、その画素の配置位置が、ステップエッジのエッジ部分に相当すると判断することで、ステップエッジのエッジ部分を検出することができる。
詳細には、ステップエッジ検出部31は、動き検出部24と同様に、表示対象フレーム又はフィールドを構成する複数の画素のうちの所定の1つを注目画素とし、注目画素を単位としてその処理を実行する。従って、ステップエッジ検出部31は、注目画素の画素値と、それに隣接する画素(いまの場合、空間方向Xに隣接する画素)のうちの、予め定められた方の画素の画素値との差分を演算することで、ステップエッジのエッジ部分を検出することができる。
即ち、ステップエッジ検出部31は、注目画素の画素値と、それに隣接する画素の画素値との差分を演算し、その結果、差分があった場合、即ち、演算結果(差分値)が0でない場合、注目画素が、ステップエッジのエッジ部分に対応する画素であると検出する。
図7に戻り、この場合、ステップエッジ検出部31は、その検出結果として、注目画素の画素値と、演算した値(注目画素の画素値と、それに隣接する画素の画素値との差分値であり、以下、単に差分値と称する)を、補正部32に供給する。
なお、差分値が演算される対象の画素は、注目画素に隣接する(いまの場合、空間方向Xに隣接する)2つの画素のうちの、いずれの画素とされてもよい。ただし、いまの場合、動き検出部24よりオブジェクト(即ち、ステップエッジ)の空間方向Xに対する移動量(移動方向も含む。例えば、移動方向は、プラスかマイナスで表現される)がステップエッジ検出部31に供給されるので、差分値が演算される対象の画素として、ステップエッジの進む方向、或いは、その逆の方向に注目画素と隣接する画素を使用することができる。
補正部32は、ステップエッジ検出部31により検出されたステップエッジのエッジ部分に対応する注目画素に対して、その画素値を、動き検出部24より供給された、注目画素に対応するステップエッジの空間的な移動量(いまの場合、空間方向Xに対する移動量)、および、ステップエッジの高さ(ステップエッジのエッジ部分に対応する注目画素の画素値と、それに隣接する画素の画素値との差分値)に基づいて補正する。
即ち、補正部32には、ステップエッジ検出部31より、その検出結果として、注目画素の画素値と、それに対応する差分値が供給され、また、動き検出部24より、その注目画素に対応するステップエッジの空間的な移動量(いまの場合、空間方向Xの移動量)が供給されてくる。従って、補正部32は、供給された差分値が0でなく、かつ、供給された移動量が0でない場合、注目画素が、動きのあるステップエッジのエッジ部分に対応する画素であると判断し、供給された差分値と移動量に基づいて、注目画素の画素値を補正するのである。
この場合における画素値の補正方法は、ステップエッジのエッジ部分に対応する画素に対して、その画素値を、ステップエッジの移動量に基づいて補正する方法であれば、特に限定されないが、具体的には、例えば、次のような補正方法を適用することができる。
即ち、図10は、本実施の形態が適用される画素値の補正方法の例を説明する図であって、通常の場合(従来のオーバドライブ方式や、後述する本実施の形態の手法等を何も使用しない場合)における、液晶型表示装置(図7のホールド型表示装置12の1形態)の画面を構成する各液晶(各画素)のホールド表示と、追従覗との関係を説明する図である。
図10において、図中上側の図は、上述した図5や図6と同様に、図4のステップエッジが液晶型表示装置に表示された場合における、ステップエッジの配置位置に対応する液晶の出力レベルの時間推移を表している。また、図中下側の図も、図5や図6と同様に、ユーザ(人間)が、液晶型表示装置に表示される、図4のステップエッジを見た場合における、ユーザの目の網膜に取り込まれる光の量(光量)を示している。
例えば、いま、図10の上側の図に示されるように、時刻taの直前に、図3のステップエッジを含むフレーム又はフィールド(表示対象フレーム又はフィールドの直前のフレーム又はフィールド)が液晶型表示装置に表示されており、時刻taに、図4のエッジフレーム又はフィールドを含むフレーム又はフィールド(表示対象フレーム又はフィールド)の表示が、液晶型表示装置に指示されたとする。
この場合、液晶型表示装置は、時刻ta以降、液晶(画素)n-7乃至液晶(画素)n+4のそれぞれに対して、画素値Eに対応するレベルの電圧を印加する。すると、液晶n-7乃至液晶n+4のそれぞれの出力レベルは、図10の上側の図に示されるように変化する。
ユーザは、時刻taの前から、追従覗により、液晶型表示装置に表示されるステップエッジを、その動きに追従して見て来たので、表示対象フレーム又はフィールドの表示が指示された時刻taから、次のフレーム又はフィールドの表示が指示される時刻tbまでの間(表示対象フレーム又はフィールドに対するフレーム又はフィールド時間Tの間)でも、図10の上側の図に示される矢印に沿って(ステップエッジの動きに追従して)、ステップエッジを見続けることになる。
従って、ユーザ(人間)の目の網膜のうちの、時刻tbの時点で、液晶n-7乃至液晶n+8の場所(図4のステップエッジの実際の配置位置とその近傍)に対応する、網膜の点i-8乃至点i+8の範囲には、図10の下側に示される光量Sの光が蓄積され、その蓄積された光に対応する像が形成されるので、動きボケが発生してしまうことになる。
これに対して、図10の下側の図に示されるように、仮に、網膜の点i-8乃至点i+8の範囲に、光量S+光量R分の光が蓄積されれば、動きボケの発生を抑制することが可能になる。なお、以下、光量Rを不足光量Rと称する。
そこで、本実施の形態においては、補正部32が、この不足光量Rに対応する補正を行う。ただし、補正部32が、画素(液晶)n+1乃至画素(液晶)n+4のそれぞれの画素値に対して、均等に補正を行ったのでは、従来のオーバドライブ方式と変わりが無く、動きボケの発生を抑制することができない。そこで、本実施の形態においては、補正部32が、追従覗をさらに考慮して、ステップエッジのエッジ部分に対応する画素(即ち、図10においては、画素(液晶)n+4)の画素値のみを補正するのである。
具体的には、例えば、全ての液晶の時間応答が、所定の時定数τの一次遅れ要素である(即ち、全ての液晶の時間応答が、いつでも同一である)と仮定し、画素値Bから画素値Eに変化させる指令が与えられた場合の、出力レベル(画素値換算値)Y(t)は、次の式(1)のように表される。ただし、tは、液晶に指令が与えられた時刻を0とした場合の時刻を表している。
この場合の、図10に示される不足光量Rは、画素値に換算すると、次の式(2)のように示される。
従って、補正部32は、追従覗を考慮して、ステップエッジのエッジ部分に対応する画素(図10においては、画素(液晶)n+4)の画素値に対して、式(2)で示される不足光量(画素値換算値)Rを、補正値として加算することで、その画素値を補正することができる。
図11は、このようにして、ステップエッジのエッジ部分に対応する画素の画素値のみが補正された場合(即ち、本実施形態が適用された場合)における、液晶型表示装置の画面を構成する各液晶(各画素)のホールド表示と、追従覗との関係を説明する図である。即ち、図11は、従来の図5、図6、および図10に対応する、本実施の形態が適用された結果を表す図である。
図11の上側の図に示されるように、各フレーム又はフィールドの表示が指示される時点で、ステップエッジのエッジ部分に対応する画素の画素値に対して、上述した式(2)で示される不足光量(画素値換算値)Rが、補正値として順次加算されることで、その画素値が補正される。即ち、時刻taより時間Tだけ前の時点(図3のステップエッジを含むフレーム又はフィールドの表示が指示される時点)には、画素(液晶)nの画素値が補正され、時刻ta(図4のステップエッジを含むフレーム又はフィールドの表示が指示される時点)には、画素(液晶)n+4の画素値が補正される。
この場合、液晶型表示装置(ホールド型表示装置12)は、時刻ta以降、液晶n-7乃至液晶n+3のそれぞれに対する目標レベルは画素値Eであるとして、画素値Eに対応するレベルの電圧を液晶n-7乃至液晶n+3のそれぞれに印加する。一方、液晶n+4に対する目標レベルは、補正された画素値(画素値Eに、上述した式(2)の補正値Rが加算された値)であるとして、液晶n+4に対してのみ、補正された画素値に対応するレベルの電圧を印加することになる。すると、液晶n-7乃至液晶n+4のそれぞれの出力レベルは、図11の上側の図に示されるように変化する。
ユーザは、追従覗により、液晶型表示装置に表示されるステップエッジを、その動きに追従して見て来たので、表示対象フレーム又はフィールドの表示が指示された時刻taから、次のフレーム又はフィールドの表示が指示される時刻tbまでの間(表示対象フレーム又はフィールドに対するフレーム又はフィールド時間Tの間)でも、図11の上側の図に示される矢印に沿って(ステップエッジの動きに追従して)、ステップエッジを見続けることになる。
具体的には、例えば、網膜の点i+1は、時刻taから時刻tbまでの間、矢印41に沿って、ステップエッジを見続けることになる。この場合、網膜の点i+1は、前回の補正(時刻taよりも時間Tだけ前の時点における補正)の対象とされた液晶(画素)nを通るので、液晶nを通るとき、不足分の光量(補正された光量)を取り込むことができ、その結果、時刻tbの段階で、目標とする光量を取り込むことができるようになる。
その他の網膜の点k(kは、i+1を除くi-8乃至i+8のうちのいずれかの値)も、時刻taから時刻tbまでの間、全く同様に、補正の対象とされた液晶(画素n-4、画素n、および、画素n+4のそれぞれに対応する液晶)のうちの少なくとも1つを通るので、これら補正の対象とされたを液晶を通るとき、不足分の光量(補正された光量)を取り込むことができ、その結果、時刻tbの段階で、目標とする光量を取り込むことができるようになる。
従って、ユーザの目の網膜の点i-8乃至点i+8の範囲には、結局、図11の下側の図に示されるような理想的な光量(図10の光量S+不足光量R分の光量)が取り込まれ、その光量の光に対応する像が形成されることになる。
即ち、図11の下側の図に示されるように、網膜の点i-8乃至点i+4の範囲には、オーバーシュートが無くほぼ一定の光量の光に対応する像(画素値Eの理想的な像)が形成され、かつ、動きボケの範囲も、液晶(画素)n+5乃至液晶(画素)n+8までの4画素分の場所に対応する、網膜の点i+4乃至点i+8の範囲までに限定されている。このように、本実施の形態を適用することで、従来のいずれの場合(図5、図6、および図10の場合)と比較しても、動きボケの度合いを抑制することが可能になる。
ところで、上述した例では、ステップエッジが、空間方向Xに4[画素/フレーム又はフィールド]の移動量で動いている場合の補正の例であったが、ステップエッジが異なる移動量で動いている場合であっても、補正部32が、上述した処理と全く同様に、ステップエッジのエッジ部分に対応する画素の画素値を補正することで、動きボケを抑制することができる。
即ち、上述した式(2)において、移動量4[画素/フレーム又はフィールド]の箇所を、例えば、移動量v[画素/フレーム又はフィールド]に変えることで、補正値Rは、次の式(3)のように表される。
なお、ステップエッジが等速度の場合、フレーム又はフィールド間の移動量vは、移動速度を表すことになる。即ち、フレーム又はフィールド間においては、ステップエッジの移動速度はいずれも一定であるとした場合、フレーム又はフィールド間のステップエッジの移動量vは、フレーム又はフィールド間における、ステップエッジの移動速度vであるとも言える。
さらに、上述した例では、図4のステップエッジを例にして説明したため、注目画素は画素n+4となり、その結果、注目画素n+4の画素値はEとなり、また、空間方向Xに注目画素と隣接する画素(図4には図示されていないが画素n+5)の画素値はBとなったが、注目画素とそれに隣接する画素の各画素値のそれぞれは、当然ながら、これらの値に限定されず、様々な値を取り得る。従って、注目画素の画素値をNrとし、また、空間方向Xに注目画素と隣接する画素の画素値をNrnとすると、上述した式(3)は、次の式(4)のようにさらに一般化された式となる。
式(4)において、注目画素がステップエッジのエッジ部分の画素でない場合、差分値(Nr-Nrn)は0となり、その結果、補正値Rも0となる。例えば、図4において、注目画素が画素nである場合、Nr-Nrn=E−E=0となる。このように、式(4)は、0補正(補正の禁止)も含む、全ての画素に当てはまる一般化された補正式であると言える。
図7に戻り、上述したように、注目画素に対応するステップエッジの移動量vは、動き検出部24より補正部32に供給される。また、注目画素の画素値Nr(注目画素が図4の画素n+4の場合には、画素値E)と、差分値(Nr-Nrn)(注目画素が図4の画素n+4の場合には、差分値(E-B))は、ステップエッジ検出部31から補正部32に供給される。従って、例えば、補正部32は、供給された移動量v、注目画素の画素値Nr、および、差分値(Nr-Nrn)のそれぞれを、上述した式(4)(注目画素が図4の画素n+4の場合には、式(3))に代入して、式(4)の右辺を演算することで、補正値Rを演算することができる。そして、補正部32は、注目画素の画素値を、画素値(Nr+R)(注目画素が図4の画素n+4の場合には、画素値(E+R))に更新して、切替部25を介して表示制御部26に供給する。
すると、上述したように、表示制御部26は、補正された画素値(Nr+R)(注目画素が図4の画素n+4の場合には、画素値(E+R))を含む表示対象フレーム又はフィールドを構成する複数の画素の画素値のそれぞれを、ホールド型表示装置12の検出素子のそれぞれの目標レベルとして、ホールド型表示装置12に対して指示する。即ち、表示制御部26は、表示対象フレーム又はフィールドの表示を指示する。
なお、ここでは、説明の簡略上、上述した式(1)乃至式(4)における時定数τは一定であると仮定した(みなした)が、実際には、時定数τは異なることになる。
即ち、注目画素に対応する注目液晶(図7のホールド型表示装置12の注目表示素子)への指令として、例えば、元の画素値Nrn(以下、旧画素値Nrnとも称する)から画素値Nr(以下、目標画素値Nrまたは新画素値Nrとも称する)に変化させる指令が与えられた場合、即ち、注目液晶の入力電圧が、旧画素値Nrnに対応する電圧レベルから、新画素値Nrに対応する電圧レベルに変化した場合、注目液晶の出力光のレベルが、旧画素値Nrnに対応する光のレベルから、新画素値Nrに対応する光のレベルに変化するまでの時間、即ち、注目液晶の応答時間(応答速度)は、旧画素値Nr-1と新画素値Nrとのそれぞれの値に応じて異なることになる。このため、当然ながら、注目液晶の時定数τも、旧画素値Nr-1と新画素値Nrとのそれぞれの値に応じて異なることになる。
そこで、時定数τの違いも考慮したより正確な補正を行いたい場合、旧画素値Nr-1と新画素値Nrとのそれぞれの値に対応する液晶の応答速度のそれぞれが記述されたテーブル(例えば、後述する図18に示されるようなテーブルであって、以下、パネルテーブルと称する)を補正部32等に保持させればよい。これにより、補正部32は、そのパネルテーブルを参照して時定数τを特定し、その時定数τとともに、上述した、移動量v、注目画素の画素値Nr、および、差分値(Nr-Nrn)のそれぞれを、上述した式(4)に代入して、式(4)の右辺を演算することで、補正値Rをさらに正確に演算することができる。そして、補正部32は、注目画素の画素値を、画素値(Nr+R)に更新して、切替部25を介して表示制御部26に供給することができる。
以上、注目画素の画素値の補正方法の一例について説明した。
ところで、上述したように、注目画素の画素値の補正方法は、上述した例に限定されず、様々な方法を適用することができる。
そこで、以下、注目画素の画素値の補正方法の他の例の幾つかについて説明していく。
例えば、上述した例と同様に時定数τが一定であると仮定すると、式(4)の補正値Rは、次の式(5)のようにも表される。
R=(Nr−Nrn)×C×v ・・・(5)
なお、式(5)において、Cは所定の固定値(vの比例係数)を示している。
さらに、式(5)の右辺において、C×vの部分を、移動量(速度)vに依存する(比例する)ゲインであるとみなし、そのゲインをGと記述すると、式(6)は式(7)のように表される。
R=(Nr-Nrn)×G ・・・(6)
従って、上述した図7の構成の画像処理部22の代わりに、次の式(7)を演算するのと等価なハイパスフィルタ処理を施す画像処理部22、即ち、非対称ハイパルスフィルタとして構成される画像処理部22を適用することもできる。
Nr' = Nr + R= Nr + (Nr-Nrn)×G ・・・(7)
式(7)において、Nr'は、この非対称ハイパルスフィルタの出力値、即ち、注目画素の補正された画素値を示している。
なお、非対称ハイパルスフィルタとは次のようなフィルタを指す。
即ち、画像処理において、例えば、注目画素の画素値Nrと、それに隣接する(いまの場合、空間方向Xに隣接する)画素の画素値Nrnからなるブロック(以下、注目ブロック(Nr,Nrn)と称する)に対して、一般的なハイパスフィルタがかけられると、この注目ブロック(Nr,Nrn)は、ブロック(Nr+△N,Nrn-△N)のように更新されることになる。なお、△Nは補正量(値)を指す。このような、2つの画素値Nr,Nrnともにハイパスフィルタ処理を施すフィルタ、即ち、補正量△Nを、2つの画素の境で線対称となるように2つの画素値Nr,Nrnにそれぞれ加えるフィルタ処理を施す一般的なハイパスフィルタを、本明細書においては、対称ハイパスフィルタと称する。対称ハイパスフィルタの例としては、いわゆるシャープネスの効果を画像に付加する(いわゆる絵作りを行う)フィルタ(以下、単にシャープネスと称する)を指す。
これに対して、注目ブロック(Nr,Nrn)が入力された場合、フィルタ処理の結果として、ブロック(Nr+△N,Nrn)、または、ブロック(Nr,Nrn-△N)を出力するフィルタ、即ち、2つの画素値Nr,Nrnのうちのいずれか一方だけにハイパスフィルタ処理を施すフィルタを、本明細書では、非対称ハイパスフィルタと称する。
具体的には、例えば、いま、上述した図4と同一のステップエッジが描画されている図12において、画素n+4が注目画素とされているとする。この場合、注目画素n+4の画素値Nr=Eとなり、空間方向Xに注目画素n+4と隣接する画素n+5の画素値Nrn=Bとなる。
この場合、仮に補正量△Nが上述した式(6)の演算結果と等価な値Rとなるように、対称ハイパスフィルタであるシャープネスがかけられると、注目画素n+4の画素値Nrは、画素値Eから画素値E+Rに更新され(補正され)、それに隣接する画素n+5の画素値Nrnは、画素値Bから画素値B-Rに更新されることになる。上述したように、いわゆる絵作りを目的する場合、シャープネスが利用されても特に問題はない。即ち、その目的を達成することができる。
しかしながら、本発明の目的、即ち、動きボケを抑制するための補正が目的とされている場合、注目画素n+4に隣接する画素n+5の画素値Nrnの補正は不要である(画素値Bのままでよい)ので、シャープネスが利用されても、その目的を達成することができない。
そこで、本発明の目的、即ち、動きボケを抑制するための補正の目的を達成するためには、例えば、図12に示されるように、注目画素の画素値Nrだけを、画素値Eから画素値E+R(即ち、上述した式(7)の最左辺の補正後の画素値Nr')に更新させることが可能な非対称ハイパスフィルタを用いると好適である。
なお、これまでの説明においては、図12に示されるように、ステップエッジの移動方向が空間方向Xであるとして説明してきたため、補正が加えられる画素は、ステップエッジのエッジ部分を構成する2つの画素n+4と画素n+5のうちの、画素n+4の方とされた。
これに対して、図13に示されるように、ステップエッジの移動方向が空間方向Xとは逆方向である場合、補正が加えられる画素は、ステップエッジのエッジ部分を構成する2つの画素n+4と画素n+5のうちの、画素n+5の方とされる必要がある。
この場合、画素n+5の画素値Bは、次の(8)に示されるように、画素値B'に更新されることになる。
B' = B − R = B −(E−B)×G ・・・(8)
以上の内容をより一般化すると、結局、注目ブロック(Nr,Nrn)に対応するステップエッジの移動方向が「+」、即ち、空間方向Xである場合には、注目画素の画素値Nrの方だけが、上述した式(7)に従って、画素値Nr'に更新される。
これに対して、注目ブロック(Nr,Nrn)に対応するステップエッジの移動方向が「−」、即ち、空間方向Xと逆方向である場合には、注目画素と空間方向Xに隣接する画素の画素値Nrnの方だけが、次の式(9)に従って、画素値Nrn'に更新される。
Nrn' = Nrn − (Nr-Nrn)×G ・・・(9)
このように、ステップエッジの移動方向に応じて、ステップエッジのエッジ部分に対応する、注目画素と、注目画素と空間方向Xに隣接する画素とのうちのいずれか一方の画素値が更新されることになる。従って、以下においては、空間方向Xに形成されるステップエッジのエッジ部分とは、上述した例のように単に1つの注目画素を指すのではなく、相異なる画素値を有する、空間方向Xに連続して並ぶ2つの画素の組(ブロック)であると捉えて説明していく。
このため、以下においては、注目画素の画素値Nr単体ではなく、注目画素の画素値Nrと、その空間方向Xに隣接する画素(或いは逆方向に隣接する画素でもよい)の画素値Nrnとの組、即ち、上述した注目ブロック(Nr,Nrn)を単位として取り扱う。この場合、ステップエッジの進行方向に応じて、入力された注目ブロック(Nr,Nrn)を、更新された注目ブロック(Nr',Nrn)として出力するのか、或いは、更新された注目ブロック(Nr,Nrn')として出力するのかを切り替える必要がある。即ち、注目ブロック(Nr,Nrn)のうちの、画素値Nrの方を補正するのか、画素値Nrnの方を補正するのかを切り替える必要がある。そこで、本実施の形態では、例えば、後述する図15と図16に示されるように、フィルタ係数を、ステップエッジの移動方向に応じて切り替えて使用する。ただし、このフィルタ係数の切り替え等の詳細については後述する。
以上の説明から、上述した図7の構成の画像処理部22の代わりに、上述した式(7)または式(9)を演算するのと等価なハイパスフィルタ処理を施す画像処理部22、即ち、非対称ハイパルスフィルタとして構成される画像処理部22を適用することもできることがわかる。
例えば、画像処理部22は、図14に示されるような非対称ハイパスフィルタとして構成することができる。即ち、図14は、非対称ハイパスフィルタとして構成される画像処理部22の一構成例を示している。
図14の例では、画像処理部(非対称ハイパスフィルタ)22は、切替部61乃至加算部67から構成されている。
図14に示されるように、画像処理部22には、入力画像の画像データが、上述した注目ブロック(Nr,Nrn)の単位で入力される。具体的には、注目ブロック(Nr,Nrn)は、切替部61と加算部67に供給される。
切替部61は、係数選択部64の制御に基づいて、その出力先を、非対称係数フィルタ62側と非対称係数フィルタ63側とのうちのいずれか一方に切り替える。
非対称係数フィルタは62は、例えば、図15に示されるようなフィルタ係数(重み値)を保持し、入力された注目ブロック(Nr,Nrn)に対して、このフィルタ係数を利用して非対称フィルタ処理を施す。
なお、図15において、左側の四画内に記載されている「1」は、画素値Nrに対するフィルタ係数を示しており、右側の四画内に記載されている「−1」は、画素値Nr-1に対するフィルタ係数を示している。また、ここでは、フィルタ係数「1」と「−1」とのうちの、フィルタ係数「1」に対応する画素値(即ち、図15の例では、画素値Nrであり、後述する図16の例では、画素値Nr-1である)側にフィルタ処理が施されるとする。
具体的には、例えば、非対称係数フィルタ62は、次の式(10)と式(11)のそれぞれを演算し、それらの演算結果Nr62,Nrn62の組、即ち、(Nr62,Nrn62)=(Nr-Nrn,0)を乗算部66に供給する。
Nr62= Nr×1 + Nrn×(−1) = Nr Nrn ・・・(10)
Nrn62 = 0 ・・・(11)
これに対して、非対称係数フィルタは63は、例えば、図16に示されるようなフィルタ係数(重み値)を保持し、入力された注目ブロック(Nr,Nrn)に対して、このフィルタ係数を利用して非対称フィルタ処理を施す。
なお、図16において、左側の四画内に記載されている「−1」は、画素値Nrに対するフィルタ係数を示しており、右側の四画内に記載されている「1」は、画素値Nr-1に対するフィルタ係数を示している。
従って、具体的には、例えば、非対称係数フィルタ63は、次の式(12)と式(13)のそれぞれを演算し、それらの演算結果Nr63,Nrn63の組、即ち、(Nr63,Nrn63)=(0,Nrn-Nr)を乗算部66に供給する。
Nr63= 0 ・・・(12)
Nrn63= Nr×(−1) + Nrn×1 = Nrn − Nr ・・・(13)
係数選択部64は、動き検出部24から供給された注目画素(画素値Nrを有する画素)の移動量(ベクトル)vに基づいて、その移動方向を検出する。
そして、係数選択部64は、移動方向が「+」であるという検出結果の場合、即ち、上述した図12に示されるように、ステップエッジの移動方向が空間方向Xである場合、切替部61の出力先を非対称係数フィルタ62側に切り替える。
これにより、注目ブロック(Nr,Nrn)は、非対称係数フィルタ62に供給される一方、非対称係数フィルタ63への供給が禁止される。
従って、非対称係数フィルタ62は、注目画素(ステップエッジ)の移動方向が「+(=空間方向X)」である場合に利用されるフィルタ、即ち、注目画素の画素値Nr(図12の例では、画素n+4の画素値E)の方を補正するためのフィルタであるといえる。
これに対して、係数選択部64は、移動方向が「−」であるという検出結果の場合、即ち、上述した図13に示されるように、ステップエッジの移動方向が空間方向Xと逆方向である場合、切替部61の出力先を非対称係数フィルタ63側に切り替える。
これにより、注目ブロック(Nr,Nrn)は、非対称係数フィルタ63へ供給される一方、非対称係数フィルタ62への供給が禁止される。
従って、非対称係数フィルタ63は、注目画素(ステップエッジ)の移動方向が「−(=空間方向Xと逆方向)」である場合に利用されるフィルタ、即ち、注目画素と空間方向Xに隣接する画素の画素値Nrn(図13の例では、画素n+5の画素値B)の方を補正するためのフィルタであるといえる。
ゲインG決定部65は、動き検出部24から供給された注目画素(ステップエッジ)の移動量v(絶対値)に基づいて、上述した式(7)や式(9)で利用されるゲインGを決定して、乗算部66に供給する。
具体的には、例えば、ゲインGは、上述した式(5)で説明したように、移動量v(絶対値)に比例してその値が可変する可変ゲインである。そこで、ゲインG決定部65は、上述した式(5)に示されるような比例定数Cを保持しておき、動き検出部24から供給された移動量vを次の式(14)に代入して演算し、その演算結果をゲインGとして決定して、乗算部66に出力してもよい。
G = C × v ・・・(14)
或いは、ゲインG決定部65は、図17に示されるようなテーブル、即ち、移動量vとゲインG(なお、図17の例では、ゲインGではなくゲインGvと記述されているが、この意味については後述する)との関係を示すテーブルを保持しておき、このテーブルを参照して、ゲインGを決定して、乗算部66に出力してもよい。
以上説明したように、注目画素(ステップエッジ)の移動方向が「+(=空間方向X)」である場合、乗算部66には、非対称係数フィルタ62のフィルタ処理の結果であるブロック(Nr−Nrn,0)が供給されるとともに、ゲインG決定部65により決定されたゲインGが供給されることになる。従って、乗算部66は、次の式(15)と式(16)のそれぞれを演算し、それらの演算結果Nr66+,Nrn66+の組、即ち、(Nr66+,Nrn66+)=(R,0)を加算部67に供給する。
Nr66+ = (Nr-Nrn)×G = R ・・・(15)
Nrn66+ = 0×G = 0 ・・・(16)
これに対して、注目画素(ステップエッジ)の移動方向が「−(=空間方向Xとは逆方向)」である場合、乗算部66には、非対称係数フィルタ63のフィルタ処理の結果であるブロック(0,Nrn−Nr)が供給されるとともに、ゲインG決定部65により決定されたゲインGが供給されることになる。従って、乗算部66は、次の式(17)と式(18)のそれぞれを演算し、それらの演算結果Nr66-,Nrn66-の組、即ち、(Nr66-,Nrn66-)=(0,−R)を加算部67に供給する。
Nr66- = 0×G = 0 ・・・(17)
Nrn66- = −(Nr-Nrn)×G = −R ・・・(18)
以上の説明をまとめると、結局、図14の例では、切替部61乃至乗算部66が、注目ブロック(Nr,Nrn)の補正量を決定し、加算部67に供給することになる。
そこで、加算部67は、注目ブロック(Nr,Nrn)に対して、乗算部66から出力された補正量を示すブロックを加算し、その加算結果を外部の切替部25に出力する。
即ち、注目画素(ステップエッジ)の移動方向が「+(=空間方向X)」である場合には、乗算部66からは、補正量を示すブロック(R(=(Nr-Nrn)×G),0)が出力されてくるので、加算部67は、注目ブロック(Nr,Nrn)に対して、このブロック(R,0)を加算し、その加算結果であるブロック(Nr+R,Nrn)を、補正された注目ブロックとして切替部25に出力する。
換言すると、この場合、加算部67は、上述した式(7)に、注目ブロック(Nr,Nrn)のうちの注目画素の画素値Nrを代入するとともに、乗算部66から供給されたブロック(R,0)のうちの補正値R(=(Nr-Nrn)×G)を代入して式(7)を演算し、その演算結果を、注目画素の補正された画素値Nr'として出力しているとも言える。
これに対して、注目画素(ステップエッジ)の移動方向が「−(=空間方向Xとは逆方向の場合)」である場合には、乗算部66からは、補正量を示すブロック(0,−R)が出力されてくるので、加算部67は、注目ブロック(Nr,Nrn)に対して、このブロック(0,−R)を加算し、その加算結果であるブロック(Nr,Nrn−R)を、補正された注目ブロックとして切替部25に出力する。
換言すると、この場合、加算部67は、上述した式(9)に、注目ブロック(Nr,Nrn)のうちの注目画素と空間方向Xに隣接する画素の画素値Nrnを代入するとともに、乗算部66から供給されたブロック(0,−R)のうちの補正値−R(=−(Nr-Nrn)×G)を代入して式(9)を演算し、その演算結果を、空間方向Xに注目画素と隣接する画素の補正された画素値Nrn'として出力しているとも言える。
以上、図7のホールド型表示装置12の表示素子(図7のホールド型表示装置12が液晶表示装置で構成される場合には液晶)の応答速度は一定であるという仮定、即ち、時定数τは一定であるという仮定に基づく、画像処理部22の実施の形態の一例について説明した。
ところで、上述したように、実際の時定数τは一定ではなく、旧画素値と新画素値(目標画素値)とのそれぞれに応じて異なることになる。そこで、時定数τを特定するために、例えば、図18に示されるようなパネルテーブルを使用することができる。
図18のパネルテーブルにおいて、各四角の中には、対応する旧画素値から、対応する目標(新)画素値に変更する指令がなされた場合に、液晶の光のレベルが、旧画素値に対応する光のレベルから、新画素値に対応する光のレベルに到達するまでに要する時間(msec)、即ち、応答時間(msec)の例が記述されている。
例えば、2行目の1列目の四角には「20」が記述されているが、この「20」は、画素値「192」に対応する光のレベルから、画素値「64」に対応する光のレベルに変更されるまでの、液晶の応答時間が20msecであることを示している。
一方、2行目の1列目の四角には「12」が記述されているが、この「12」は、逆に画素値「64」に対応する光のレベルから、画素値「192」に対応する光のレベルに変更されるまでの、液晶の応答時間が12msecであることを示している。
従って、上述したように、一般的にフレーム時間T(図2等参照)は、16.6msecとされているので、画素値が「64」から「192」に変更する場合(それに対応する光のレベルに変更する場合)、液晶の応答時間はフレーム時間Tと比較して早いので、液晶の光のレベルは、フレーム時間よりも前に目標レベル(画素値「192」に対応するレベル)に到達できる。
ところが、画素値が「192」から「64」に変更する場合(それに対応する光のレベルに変更する場合)、液晶の応答時間はフレーム時間Tと比較して遅いので、液晶の光のレベルは、フレーム時間が経過しても、即ち、次のフレームに対する新たな目標画素値の指示がなされても、その前の目標レベル(画素値「64」に対応するレベル)に到達できないことになる。
このように、画像処理部22は、ホールド型表示装置12に関するパネルテーブルを保持していれば、時定数τを考慮した、より正確な画素値の補正を行うことができる。
しかしながら、図18のパネルテーブルには、説明を簡略するために、画素値が「64」と「192」といった単なる2つの画素値の関係しか含まれていないが、実際のパネルテーブルには、さらに多くの画素値同士の関係(情報)が含まれることになる。従って、このような多くの情報を含むパネルテーブル利用して、画素値の補正値を演算させるためには、画像処理部22の回路規模が大きくなってしまうという課題が発生してしまう。
一方、画像処理部22が、上述した図14に示されるような非対称ハイパスフィルタで構成されることの効果のひとつは、回路規模が縮小可能であることである。
従って、画像処理部22が、非対称ハイパスフィルタと、パネルテーブルを利用する演算部(図示せず)とが混在されて構成されると、パネルテーブルが有する課題のために、非対称ハイパスフィルタの効果は薄れてしまうことになる。即ち、画像処理部22の回路規模の縮小レベルはわずかな範囲に留まってしまうことになる。
換言すると、従来のパネルテーブルを単に利用しただけでは、液晶の応答速度(時定数τ)の影響も加味した画素値の補正を行うことが可能な画像処理部22を、非対称ハイパスフィルタとして構成させることは困難である。
そこで、本願出願人は、このパネルテーブルに基づいて、液晶の時間応答(時定数τ)と、旧画素値と新画素値とのそれぞれの関係を関数近似し、それらの近似関数の出力値のそれぞれを可変ゲインとみなし、これらの可変ゲインを利用してハイパスフィルタの特性を可変させることで、液晶の応答速度(時定数τ)の影響も加味した画素値の補正を行うことが可能になると思想した。
そして、本願出願人は、このような思想に基づいて、液晶の実際の応答速度(時定数τ)の影響も加味した画素値の補正を行うことが可能な非対称ハイパスフィルタ、即ち、回路規模の大幅な縮小が可能な画像処理部22をさらに発明した。
即ち、本願出願人は、例えば、図14に示されるような非対称ハイパスフィルタで構成される画像処理部22を発明し、さらに、液晶の実際の応答速度(時定数τ)の影響も加味した画素値の補正を行うことを可能とするために、例えば、図19に示される構成のゲインG決定部65を発明した。
図19に示されるように、このゲインG決定部65は、目標レベル依存ゲインGl決定部71乃至乗算部75から構成される。
目標レベル依存ゲインGl決定部71は、液晶の応答(時定数τ)と、目標画素値(新画素値)との関係を示す近似関数そのものや、それを示すテーブル等の情報を予め保持し、その情報に基づいて、第1のゲインを決定する。
なお、ここでは、目標画素値(新画素値)は、入力画像のうちの注目ブロック(Nr,Nrn)の画素値Nr,Nrnのうちのいずれか一方になる。注目ブロック(Nr,Nrn)は、注目画素に対応する注目液晶(図7のホールド型表示装置12の注目表示素子)と、その注目液晶と空間方向Xに隣接する液晶とのそれぞれに対する、目標レベル(新画素値)を示しているからである。
このため、図17には、ゲインG決定部65への入力画像の入力は図示されていなかったものが、図19の例では、目標レベル依存ゲインGl決定部71への入力画像の入力が図示されている。
以上のことから、第1のゲインは、液晶の応答(時定数τ)と、目標画素値(新画素値)とに依存するゲインであるといえる。そこで、以下、第1のゲインを、目標レベル依存ゲインGlと称する。
具体的には、例えば、目標レベル依存ゲインGl決定部71は、図20に示されるようなテーブルを保持することができる。即ち、図20は、上述した図18のパネルテーブルに基づいて(実際には、さらに多くの情報を含むパネルテーブルに基づいて)生成されたテーブルの例である。
図20に示されるように、新画素値が「192」である場合の、目標レベル依存ゲインGlは低い値になっている。なぜならば、上述した図18のパネルテーブルにおいて、画素値が「64」から「192」に変更する場合(それに対応する光のレベルに変更する場合)、液晶の応答時間はフレーム時間Tと比較して早いので、補正量をさほど大きくする必要が無いためである。このように、図20に示されるテーブルは、液晶の応答(時定数τ)と、目標画素値(新画素値)との関係を近似的に表現していると言える。
従って、目標レベル依存ゲインGl決定部71は、入力された注目ブロック(Nr,Nrn)のうちの画素値Nrまたは画素値Nrnを目標(新)画素値とし、図20のようなテーブルを参照することで、目標レベル依存ゲインGlを直ちに決定し、乗算部73に出力することができる。
ところで、図12に示されるように、ステップエッジが空間方向Xに動いている場合、そのエッジ部分のうちの注目画素n+4が補正対象となる。この場合、補正対象の画素n+4において、画素値Eが補正前の新画素値(目標画素値)を示し、画素値Bが旧画素値(図3参照)を示すことになる。即ち、この場合、画素n+4に対応する液晶(ホールド型表示装置12に表示素子)への次の指令では、小さい画素値Bから大きな画素値Eへの変更が指示される(画素n+4に対応する液晶の入力電圧が、画素値Bに対応する電圧レベルから、画素値Eに対応する電圧レベルに変化する)ことになる。
これに対して、図13に示されるように、ステップエッジが空間方向Xと逆方向に動いている場合、そのエッジ部分のうちの注目画素n+4と空間方向Xに隣接する画素n+5が補正対象となる。この場合、補正対象の画素n+5において、画素値Bが補正前の新画素値(目標画素値)を示し、画素値Eが旧画素値を示すことになる。即ち、この場合、画素n+5に対応する液晶への次の指令では、大きい画素値Eから小さな画素値Bへの変更が指示される(画素n+5に対応する液晶の入力電圧が、画素値Eに対応する電圧レベルから、画素値Bに対応する電圧レベルに変化する)ことになる。
このように、同一の新画素値(液晶の入力電圧の新レベルが同一)であっても、旧画素値からその新画素値への変化の方向(液晶の入力電圧の旧レベルから新レベルへの変化の方向)は異なる。即ち、図12の例では、変化の方向は、小さな旧画素値から大きな新画素に向かう方向となる。これに対して、図13の例では、変化の方向は、大きな旧画素値から小さな新画素に向かう方向となる。
一方、新画素値がたとえ同一であっても、変化の方向によって、液晶の応答(時定数τ)は同一であるとは限らない。即ち、変化の方向が、大きな旧画素値から小さな新画素値の方向である場合(入力電圧が大きな旧レベルから小さな新レベルに変更された場合)の液晶の応答(時定数τ)と、変化の方向が、小さな旧画素値から大きな新画素値の方向である場合(入力電圧が小さな旧レベルから大きな新レベルに変更された場合)の液晶の応答(時定数τ)とでは、必ずしも同一であるとは限らない。
なぜならば、液晶型表示装置等として構成される図7のホールド型表示装置12は、いわゆるγ特性を有しているからである。即ち、ホールド型表示装置12は、次の表示対象フレームの注目画素(注目液晶)に対して指示する画素値(入力電圧の電圧レベル)が小さいときは出力光(明るさ)の変化は緩やかであるが、その画素値(入力電圧の電圧レベル)が大きくなると出力光(明るさ)の変化が急激に大きくなる、といった特性を有しているからである。また、このため、ホールド型表示装置12にはγ補正がかけられていることもあるからである。
従って、同一の新画素値であっても、旧画素値から新画素値の変化の方向に応じて、目標レベル依存ゲインGlも異なる値を使用する方が好適な場合もでてくる。
このような場合、目標レベル依存ゲインGl決定部71は、図20のようなテーブルを単に1種類だけ保持するのではなく、例えば、図20のテーブルを、小さい旧画素値から大きい新画素値に変わるとき用のテーブルとして保持するとともに、さらに、図21に示されるような、大きい旧画素値から小さい新画素値に変わるとき用のテーブルとして保持すると好適である。
なお、図20のテーブルと図21のテーブルとの横軸、即ち、目標(新)画素値の軸のスケール(座標位置)は、特に一致しているわけではない。
この場合、図19の目標レベル依存ゲインGl決定部71は、非対称係数フィルタ62と非対称係数フィルタ63とのそれぞれの出力を監視し、非対称係数フィルタ62から出力があった場合には、入力された注目ブロック(Nr,Nrn)のうちの画素値Nrを目標(新)画素値とし、画素値Nrnを旧画素値とし、Nr>Nrnのときには図20のテーブルを、Nr<Nrnのときには図21のテーブルを、それぞれ参照することで、目標レベル依存ゲインGlを決定し、乗算部73に出力する。
これに対して、非対称係数フィルタ63から出力があった場合には、入力された注目ブロック(Nr,Nrn)のうちの画素値Nrnを目標(新)画素値とし、画素値Nrを旧画素値として、Nr>Nrnのときには図21のテーブルを、Nr<Nrnのときには図20のテーブルを、それぞれ参照することで、目標レベル依存ゲインGlを決定し、乗算部73に出力する。
このため、図17には、非対称フィルタ62と非対称フィルタ63のそれぞれから、入力画像のゲインG決定部65への入力は図示されていなかったものが、図19の例では、非対称フィルタ62と非対称フィルタ63のそれぞれから、目標レベル依存ゲインGl決定部71への入力が図示されている。
このように、目標レベル依存ゲインGl決定部71により、液晶の応答速度(時定数τ)と新画素値との関係を示す可変ゲインである、目標レベル依存ゲインGlが決定される。従って、後は、液晶の応答速度(時定数τ)と旧画素値との関係の近似を示す可変ゲインが決定されればよく、例えば、図19の例では、このような可変ゲインを決定するブロックとして、差分値依存ゲインGe決定部72が設けられている。
ただし、上述したように、ここでは、旧画素値自体の取り扱いは行われていない。そこで、ここでは、旧画素値に対応する情報として、例えば、新画素値と旧画素値との差分値(一次微分値)を取り扱うことにする。具体的には、例えば、上述したように非対称係数フィルタ62から出力されるブロック(Nr-Nrn,0)のうちの値Nr-Nrnとは、結局、注目画素における、新画素値と旧画素値との差分値を示している。同様に、非対称係数フィルタ63から出力されるブロック(0,Nrn-Nr)のうちの値Nrn-Nrとは、結局、注目画素と空間方向Xに隣接する画素における、新画素値と旧画素値との差分値を示している。そこで、差分値依存ゲインGe決定部72は、旧画素値に対応する情報として、例えば、非対称係数フィルタ62または非対称係数フィルタ63の出力を使用することにする。
このため、図17には、非対称フィルタ62と非対称フィルタ63のそれぞれから、入力画像のゲインG決定部65への入力は図示されていなかったものが、図19の例では、非対称フィルタ62と非対称フィルタ63のそれぞれから、差分値依存ゲインGe決定部72への入力が図示されている。
この場合、差分値依存ゲインGe決定部72は、液晶の応答(時定数τ)と、目標画素値(新画素値)と旧画素値の差分値との関係を示す近似関数そのものや、それを示すテーブル等の情報を予め保持し、その情報と、非対称フィルタ62または非対称フィルタ63のの出力とに基づいて、第2のゲインを決定する。
このように、第2のゲインは、液晶の応答(時定数τ)と、目標画素値(新画素値)とと旧画素値の差分値とに依存するゲインであるといえる。そこで、以下、第2のゲインを、差分値レベル依存ゲインGeと称する。
具体的には、例えば、差分値依存ゲインGe決定部72は、図22に示されるようなテーブルを保持することができる。
この場合、差分値依存ゲインGe決定部72は、非対称係数フィルタ62から出力されるブロック(Nr-Nrn,0)のうちの値Nr-Nrn、または、非対称係数フィルタ63から出力されるブロック(0,Nrn-Nr)のうちの値Nrn-Nrを、差分値として抽出し、抽出された差分値と、図22等のテーブルを参照することで、差分値依存ゲインGeを直ちに決定し、乗算部73に出力することができる。
乗算部73は、目標レベル依存ゲインGl決定部71から供給された目標レベル依存ゲインGlと、差分値依存ゲインGe決定部72から供給された差分値依存ゲインGeとを乗算し、その乗算結果、即ち、値Ge×Glを乗算部75に供給する。
移動速度依存ゲインGv決定部74は、液晶の応答速度(時定数τ)を考慮しない場合に利用された上述したゲイン、即ち、動き検出部24から供給されるステップエッジ(注目画素)の移動量(速度)vに依存するゲインを、第3のゲインとして決定し、乗算部75に供給する。このように、第3のゲインは、ステップエッジ(注目画素)の移動量vに依存するゲインである。従って、以下、第3のゲインを、移動速度依存ゲインGvと称する。
即ち、移動速度依存ゲインGv決定部74は、上述した式(14)に示される比例定数Cを保持しておき、動き検出部24から供給された移動量vを上述した式(14)に代入して演算し、その演算結果を移動速度依存ゲインGvとして決定して、乗算部75に出力することができる。
或いは、移動速度ゲインGv決定部74は、上述した図17に示されるようなテーブル、即ち、移動量vと移動速度依存ゲインGvとの関係を示すテーブルを保持しておき、このテーブルを参照して、移動速度依存ゲインGvを決定して、乗算部66に出力してもよい。
乗算部75は、乗算部73から供給された値Ge×Glと、移動速度ゲインGv決定部74から供給された移動速度依存ゲインGvとを乗算し、その乗算結果を最終的なゲインGとして外部の乗算部66に対して出力する。
即ち、図19の例のゲインG決定部65は、結局、次の式(19)の右辺の演算結果と等価な値を最終的なゲインGとして決定し、外部の乗算部66に出力する。
G = Ge × Gl × Gv ・・・(19)
このように、液晶の応答速度(時定数τ)を考慮しない(一定であると仮定する)場合、ゲインGは、単に移動速度依存ゲインGvそのものとなるが、液晶の応答速度(時定数τ)を考慮する場合、ゲインGは、移動速度依存ゲインGvに対して、液晶の応答速度(時定数τ)の近似を示す値Ge×Gl(目標レベル依存ゲインGlと差分値依存ゲインGeとの積)が乗算された値になる。
以上、画像処理部22の形態の一例として、上述した図7の画像処理部22の他、上述した式(7)または式(9)を演算するのと等価なハイパスフィルタ処理を施す非対称ハイパルスフィルタとして構成される図14の画像処理部22について説明した。
さらに、液晶の実際の応答速度(時定数τ)の影響も加味した画素値の補正を行うことが可能な非対称ハイパスフィルタで構成される画像処理部22の一形態として、図14のゲインG決定部65が図19に示されるように構成される例について説明した。
ただし、画像処理部22は、図7、図14、または図19の形態に限定されず、様々な形態を取ることが可能である。即ち、上述した式(7)若しくは式(9)を演算するのと等価なハイパスフィルタ処理を施す非対称ハイパルスフィルタであれば、その形態は特に限定されず、画像処理部22として適用することが可能である。ただし、液晶の実際の応答速度(時定数τ)の影響も加味した画素値の補正をさらに行う場合には、非対称ハイパスフィルタは、さらに式(19)を演算するのと等価なゲインGを決定する必要がある。
具体的には、例えば、画像処理部22は、図23に示されるような非対称ハイパスフィルタとして構成することもできる。
図23の例では、画像処理部22は、差分値演算部(係数フィルタ部)81乃至加算部87から構成されている。
差分値演算部(係数フィルタ部)81は、図14の切替部61乃至係数選択部64のそれぞれの機能を併せ持っている。即ち、差分値演算部81からは、ブロック(Nr-Nrn,0)、またはブロック(0,Nrn-Nr)が出力されて、差分値依存ゲインGe決定部82と乗算部83に供給される。
差分値依存ゲインGe決定部82は、図19の差分値依存ゲインGe決定部72と基本的に同様の機能と構成を有している。即ち、差分値依存ゲインGe決定部82からは、差分値依存ゲインGeが出力されて、乗算部83に供給される。
乗算部83は、差分値演算部(係数フィルタ部)81から供給されたブロック(Nr-Nrn,0)、またはブロック(0,Nrn-Nr)と、差分値依存ゲインGe決定部82供給された差分値依存ゲインGeとを乗算し、その乗算結果、即ち、ブロック(Ge×(Nr-Nrn),0)、またはブロック(0,Ge×(Nrn-Nr))を乗算部85に供給する。
目標レベル依存ゲインGl決定部84は、図19の目標レベル依存ゲインGl決定部71と基本的に同様の機能と構成を有している。即ち、目標レベル依存ゲインGl決定部84からは、目標レベル依存ゲインGlが出力されて、乗算部85に供給される。
乗算部85は、乗算部83から供給されるブロック(Ge×(Nr-Nrn),0)、またはブロック(0,Ge×(Nrn-Nr))と、目標レベル依存ゲインGlから供給された目標レベル依存ゲインGlとを乗算し、その乗算結果、即ち、ブロック(Gl×Ge×(Nr-Nrn),0)、またはブロック(0,Gl×Ge×(Nrn-Nr))を補正値決定部86に供給する。
即ち、図23の例では、補正値決定部86に入力されるブロック(Gl×Ge×(Nr-Nrn),0)、またはブロック(0,Gl×Ge×(Nrn-Nr))は、液晶の応答速度(時定数τ)が既に考慮されたブロックであるといる。換言すると、補正値決定部86の処理前までに、液晶の応答速度(時定数τ)に応じて非対称ハイパスフィルタ22の特性が既に変化されている。
そこで、補正値決定部86は、動き検出部24から供給される移動速度vに応じて、非対称ハイパスフィルタ22の特性をさらに変化させることで、補正値を求めることができる。
即ち、補正値決定部86は、図19の移動速度依存ゲインGv決定部74、および乗算部75、並びに、図14の乗算部66のそれぞれの機能を併せ持っており、ブロック(R(=Gv×Gl×Ge×(Nr-Nrn)),0)、またはブロック(0,−R(=Gv×Gl×Ge×(Nrn-Nr)))を生成し、加算部87に供給する。
加算部87は、図14の加算部67と基本的に同様の機能と構成を有している。また、加算部87に入力される情報は、図14の加算部67と同様の情報である。即ち、加算部87には、上述したように、補正値決定部86から出力されるブロック(R,0)、またはブロック(0,−R)と、注目ブロック(Nr,Nrn)とが入力される。
従って、図23の加算部87からの出力、即ち、図23の画像処理部(非対称ハイパスフィルタ)22からの出力は、ブロック(Nr+R,Nrn)またはブロック(Nr,Nrn-R)となり、図14の加算部67からの出力、即ち、図14の画像処理部(非対称ハイパスフィルタ)22からの出力と基本的に同一となる(ただし、図14のゲイン決定部65が、図19の構成を有している場合)。
以上のことから、画像処理部22を非対称ハイパスフィルタとして構成する場合、その出力が同一であれば、その内部の構成は特に限定されず、図14や図23の構成の他、図示はしないが、様々な構成を取ることが可能である。
ところで、上述したように、動き検出部24から供給される移動量vが大きくなるほど、画素値の補正値Rも大きくなる。それに伴い、補正後の画素値も大きくなる。例えば、注目画素の画素値Nrが補正される場合(上述した式(7)参照)、注目画素の補正後の画素値Nr+Rは、補正値Rが大きくなればなるほど大きくなる。
一方、液晶型表示装置等として構成される図7のホールド型表示装置12は、所定のダイナミックレンジを有している。なお、ダイナミックレンジとは、信号の再現能力を表す数値であって、一般的には、最小値と最大値の比率をdB単位で表現されたもの、或いは、ビット数で表現されたものを指す。ただし、以下においては、説明を容易なもの(他との比較を容易なもの)とするために、信号の再現能力の最大値を画素値に換算した値を、ダイナミックレンジと称して説明していく。
従って、図24に示されるように、補正値Rが大きくなると、補正後の画素値(図24の例では、注目画素n+4の補正後の画素値E+R)が、ダイナミックレンジを越えてしまう場合がでてくる。
このような場合、ホールド型表示装置12では、ダイナミックレンジまでしか再現できない(ダイナミックレンジに対応するレベルの光しか出力できない)ので、ダイナミックレンジ以上の画素値を指令しても(例えば、図24の例では、画素n+4の指令として、ダイナミックレンジ以上の画素値E+Rを指令しても)、結局、ダイナミックレンジに対応する画素値を指令した場合と変わらないことになってしまう。即ち、図24の×(バツ)印で示されるように、補正値Rのうちの、「(画素値E+R)−(ダイナミックレンジ)」に対応する分の補正がかけられないことになってしまう。
上述したように、補正値Rは、人間の追従視に起因する動きボケを解消するための補正量であって、上述した図10で説明したように、人間の目の網膜に本来蓄積される光量と、実際に蓄積される光量との差分値、即ち、不足光量に対応する値である。従って、人間の目の網膜には、補正値Rのうちの、「(画素値E-R)−(ダイナミックレンジ)」に対応する分の光量は蓄積されないことになり、その結果、動きボケの解消効果が薄れてしまう、といった問題が発生してしまう。
そこで、この問題を解決するためには、補正対象となる画素を、上述した例のように、ステップエッジのエッジ部分に対応する1つの画素(図24の例では、画素n+4)だけとするのではなく、図25に示されるように、その画素(図25の例でも、画素n+4)を起点としてステップエッジの移動方向とは逆方向に連続して並ぶ画素(図25の例では、画素n+4乃至画素n-8)のうちの、2以上の画素(図25の例では、画素n+4と画素n+3)とすればよい。
ただし、この場合、図7、図14、または図23の画像処理部22を単純なフィルタで構成するだけでは、2以上の画素を補正対象とする補正を実現することは困難である。2以上の画素のそれぞれにおける移動量v(動き検出部24によりそれぞれ検出される移動量v)が異なることがあるからである。
そこで、例えば、画像処理部22が図7のように構成される場合、補正部32が、補正値Rを、ステップエッジのエッジ部分に対応する画素(図25の例では、画素n+4)から、そのステップエッジの移動方向とは逆方向(図25の例では、空間方向Xと逆方向)に伝播させる処理を実行すればよい。換言すると、補正部32が、ステップエッジのエッジ部分に対応する1つの画素(図24の例では、画素n+4)を起点として、ステップエッジの移動方向とは逆方向に連続して並ぶ2以上の画素(図25の例では、画素n+4と画素n+3)のそれぞれの画素値に補正値Rを分配して加えればよい。
補正値Rの分配方法やその処理方法自体は、特に限定されず、例えば、補正部32が、最終的な補正値Rを求めた後に、補正対象の2以上の画素のそれぞれの補正値として、補正値Rを所定の比率で分配した値を決定し、分配されたそれぞれの補正値を、対応する画素の画素値のそれぞれに加える、といった処理を実行してもよい。
このような処理を補正部32が実行した場合の補正結果は、例えば、図25に示されるようになる。即ち、図25の例では、画素n+4と画素N+3が補正対象の画素とされ、「画素n+4の補正値:画素n+3の補正値=2:1」の比率で分配され、その結果、画素n+4の補正値=2R/3と、画素n+3の補正値=R/3と、それぞれ決定されている。
或いは、例えば、画像処理部22が図23のように構成されている場合、補正値決定部86が、図26に示されるような、移動速度依存ゲインGvを決定するためのテーブルを有し、補正対象の2以上の画素のそれぞれについて、図26のテーブルを参照して、それぞれの移動速度依存ゲインGvを決定し、決定された2以上の移動速度依存ゲインGvのそれぞれを用いて2以上のゲインGのそれぞれを求め、それらの2以上のゲインGのそれぞれに基づいて、補正対象の2以上の画素のそれぞれの補正値を求めることもできる。
具体的には、例えば、図25に示されるように、ステップエッジが空間方向Xに移動し、ステップエッジのエッジ部分が画素n+4である場合、補正値決定部24は、画素n+4における移動量vを動き検出部24から取得し、移動量vと、図26のテーブルのうちの線Gvnrとの関係から、画素n+4における移動速度依存ゲインGvを決定する。同様に、補正値決定部24は、移動量vと、図26のテーブルのうちの線Gvnr-1との関係から、画素n+3における移動速度依存ゲインGvを決定する。
なお、以下、画素n+4における移動速度依存ゲインGvを、移動速度依存ゲインGvn+4と称し、画素n+3における移動速度依存ゲインGvを、移動速度依存ゲインGvn+3と称する。
次に、補正値決定部86は、次の式(20)と式(21)のそれぞれを演算して、画素n+4における補正値(以下、補正値Rn+4と称する)と、画素n+3における補正値(以下、補正値Rn+3と称する)のそれぞれを決定し、加算部87に供給する。
Rn+4 = (Nr-Nrn)×Ge×Gl×Gvn+4 = (E-B)×Ge×Gl×Gvn+4・・・(20)
Rn+3 = (Nr-Nrn)×Ge×Gl×Gvn+3 = (E-B)×Ge×Gl×Gvn+3・・・(21)
このようにして、加算部87には、画素n+4における補正値Rn+4と、画素n+3における補正値Rn+3のそれぞれが供給される。また、この場合、加算部87には、入力画像としては、画素n+4の画素値Nr(図25の例では、画素値E)と、画素n+3の画素値(図25の例では、画素値E)が供給される。
従って、加算部87は、画素n+4の画素値Eと、画素n+4における補正値Rn+4とを加算し、その加算結果(E+Rn+4)を、画素n+4の補正された画素値として切替部25に供給する。また、加算部87は、画素n+3の画素値Eと、画素n+3における補正値Rn+3とを加算し、その加算結果(E+Rn+3)を、画素n+3の補正された画素値として切替部25に供給する。
なお、ステップエッジが空間方向Xと逆方向に進んでいる場合については、補正対象が画素n+5と画素n+6となり、差分値演算部81から出力される差分値が差分値(Nrn-Nr)=(B-E)となることを除いては、基本的に上述した処理と同様の処理が実行されることになる。従って、ここでは、その詳細な説明については省略する。
次に、図27のフローチャートを参照して、本実施の形態の画像処理装置(図7)の画像処理について説明する。
はじめに、ステップS1において、画像処理装置11は、表示対象フレーム又はフィールドの画像データを入力する。詳細には、表示対象フレーム又はフィールドの画像データは、画像処理部21、画像処理部22、参照画像記憶部23、および、動き検出部24のそれぞれに入力される。
ステップS2において、画像処理装置11(画像処理部21、画像処理部22、および、動き検出部24等)は、表示対象フレーム又はフィールドを構成する複数の画素の中から、注目画素を設定する。
ステップS3において、動き検出部24は、表示対象フレーム又はフィールドの画像データと、参照画像記憶部23に記憶されている参照画像(表示対象フレーム又はフィールドの1つ前のフレーム又はフィールド)の画像データとを比較することで、注目画素に動きがあるか否かを判定する。
ステップS3において、注目画素に動きがないと判定された場合、その判定結果が切替部25に供給されるので、切替部25は、その入力を画像処理部21側に切り替える。すると、ステップS4において、画像処理部21が、注目画素に対して所定の画像処理を施すことで、注目画素の画素値を補正し、補正した画素値を、切替部25を介して表示制御部26に供給する。
これに対して、ステップS3において、注目画素に動きがあると判定された場合、その判定結果が切替部25に供給されるので、切替部25は、その入力を画像処理部22(補正部32)側に切り替える。
このとき、動き検出部24は、ステップS5において、注目画素の移動量(注目画素に対応するオブジェクトの、フレーム又はフィールド間の移動量)を演算し、ステップエッジ検出部31と補正部32のそれぞれに供給する。
ステップS6において、ステップエッジ検出部31は、注目画素の画素値と、所定の方向(いまの場合、空間方向Xのうちのいずれかの方向であり、動き検出部24より供給される移動量(移動方向)に従って決定される)に隣接する画素の画素値との差分値を演算し、演算した差分値と、注目画素の画素値とを補正部32に供給する。
ステップS7において、補正部32は、注目画素の移動量と差分値に基づいて、注目画素の画素値を補正し、補正した画素値を、切替部25を介して表示制御部26に供給する。
即ち、上述したように、注目画素の移動量v(即ち、注目画素に対応するステップエッジの移動量v)は、ステップS5の処理で、動き検出部24から補正部32に供給される。また、注目画素の画素値Eと、差分値(E-B)は、ステップS6の処理で、ステップエッジ検出部31から補正部32に供給される。従って、例えば、補正部32は、ステップS7の処理で、供給された移動量v、注目画素の画素値E、および、差分値(E-B)のそれぞれを、上述した式(3)に代入して、式(3)の右辺を演算することで、補正値Rを演算し、注目画素の画素値を、画素値(E+R)に更新する。更新された画素値(E+R)は、切替部25を介して表示制御部26に供給される。
なお、差分値が0の場合、即ち、注目画素がステップエッジのエッジ部分に対応する画素でない場合、式(3)より補正値Rも0となる。即ち、差分値が0の場合、注目画素の画素値は補正されず、そのまま、切替部25を介して表示制御部26に供給されることになる。
或いは、図14の構成例の画像処理部22や、図23の構成例の画像処理部22が、上述した処理を実行することで、ステップS6とS7の処理を実行することもできる。
ステップS8において、表示制御部26は、画像処理部21、または、画像処理部22より切替部25を介して供給された、注目画素の画素値を(必要に応じて、その画素値を、ホールド型表示装置12に対応する信号に変換して)ホールド型表示装置12に出力する。即ち、表示制御部26は、注目画素の画素値を、ホールド型表示装置12の表示素子のうちの、注目画素に対応する表示素子に対する目標レベルとして、ホールド型表示装置12に出力するのである。
ステップS9において、画像処理装置11は、全ての画素の画素値を出力したか否かを判定する。
ステップS9において、全ての画素の画素値がまだ出力されていないと判定された場合、処理はステップS2に戻り、それ以降の処理が繰り返される。即ち、表示対象フレーム又はフィールドを構成する複数の画素のうちの、まだ処理が施されていない画素が順次注目画素として設定され、注目画素の画素値が補正され(0補正も含む)、ホールド型表示装置12に出力される。
以上の処理が繰り返されて、表示対象フレーム又はフィールドを構成する全ての画素の画素値がホールド型表示装置12に供給されると、全ての画素の画素値を出力したと判定され、処理はステップS10に進む。
このとき、ホールド型表示装置12は、その画面を構成する表示素子(液晶等)のそれぞれに対して、供給された画素値(目標レベル)に対応するレベルの電圧をそれぞれ印加し、次のフレーム又はフィールドの表示が指示されるまで(次のフレーム又はフィールドを構成する全ての画素の画素値が供給されるまで)、そのレベルの電圧の印加を保持し続ける。即ち、各表示素子のそれぞれは、対応する画素をホールド表示する。
ステップS10において、画像処理装置11は、動画像を構成する全てのフレーム又はフィールドを処理したか否かを判定する。
ステップS10において、全てのフレーム又はフィールドをまだ処理していないと判定された場合、処理はステップS1に戻り、次のフレーム又はフィールドが、表示対象フレーム又はフィールドとして入力され、それ以降の処理が繰り返される。
そして、動画像を構成する複数のフレーム又はフィールドのうちの、最後のフレーム又はフィールドを構成する全ての画素の画素値が補正され(0補正も含む)、ホールド型表示装置12に出力されると、ステップS10において、全てのフレーム又はフィールドを処理したと判定され、画像処理装置11の画像処理は終了となる。
なお、図27の例では、画像処理装置11は、ホールド型表示装置12に対して、表示対象フレーム又はフィールドを構成する各画素の画素値(補正された画素値)のそれぞれを個別に出力しているが、表示対象フレーム又はフィールドを構成する全ての画素の画素値を補正した後、それらを一括して(表示対象フレーム又はフィールドの画像データとして)出力してもよい。
以上のように、本実施の形態の画像処理装置は、動画像に含まれる、空間的に動きのあるエッジやテクスチャに対して、ホールド型表示装置の時間的な応答特性といった時間方向に対する補正のみならず、そのエッジやテクスチャの移動量といった空間方向に対する補正も行っているので、時間方向に対する補正のみを行う従来のオーバドライブ方式を適用する画像処理装置に比較して、過補正なくエッジを急峻にすることができる。即ち、本実施の形態の画像処理装置は、従来の画像処理装置に比較して、空間的に動きのあるエッジやテクスチャの動きボケの発生の頻度や度合いを抑制することが可能になる。
換言すると、本実施の形態の画像処理装置は、ホールド型表示装置の時間的な応答特性に関わらず、補正の効果、即ち、空間的に動きのあるエッジやテクスチャの動きボケの発生の頻度や度合いを抑制する効果を奏することが可能になる。
また、本実施の形態の画像処理装置は、動画像に含まれる、空間的に動きのあるエッジやテクスチャに対応する画像データを、ステップエッジの画像データの集合に分解し、各ステップエッジの画像データのそれぞれに対して補正を行うので、確実、かつ適切に補正を行うことが可能になるとともに、その補正処理に対する負荷を低減させることも可能になる。
さらに、上述した例では、ステップエッジの移動方向は、空間方向Xとされたが、ステップエッジの移動方向が空間方向Yであっても、画像処理装置11は、上述した一連の処理を実行することで、全く同様に、画素値を補正することができる。即ち、本実施形態においては、空間方向Xのみならず空間方向Yに対する動きボケの発生も抑制することが可能になる。
さらにまた、本実施の形態においては、画像処理により補正を行うので、パネルの応答特性に関わらず、上述した効果を奏することが可能になる。
ところで、本実施の形態が適用される画像処理装置は、上述した図7の構成に限定されず、様々な実施の形態を取ることができる。
例えば、図7の画像処理装置11とホールド型表示装置12とをあわせて1つの画像処理装置とみなし、かつ、切替部25、表示制御部26、および、ホールド型表示装置12を併せて1つの表示部とみなすこともできる。
即ち、このようにして捉えた画像処理装置は、参照画像記憶部23、入力された画像データと、それより1つ前の参照画像データ(参照画像記憶部23から出力される画像データ)により動きを検出する動き検出部24、動き検出部24の結果に基づいて画像データに所定の第1の処理を施す画像処理部24、動き検出部24の結果に基づいて画像データに、第1の処理以外の第2の処理を施す画像処理部22、および、動き検出部24の結果に基づいて画像処理部21および画像処理部22の出力結果のうちの少なくとも一方の出力結果を表示する表示部から構成されることになる。
そして、この表示部は、動き検出部24の結果に基づいて画像処理部21の出力結果および画像処理部22の出力結果のうちのいずれか一方に切り換える切替部25、切替部25により切り替えられた方の出力結果を、各画素に対応した表示素子の目標レベルに応じて所定の形式の信号(例えば、目標レベルに対応する電圧レベルの電圧信号)に変換する表示制御部26、並びに、表示素子の全てに対して、表示制御部26の結果を保持させるホールド型表示装置12から構成されることになる。
また、例えば、本実施の形態が適用される画像処理装置は、図28に示されるように構成することもできる。
即ち、図28は、本実施の形態が適用される画像処理装置の他の構成例を表しており、図7と対応する部分には対応する符号が付されている。
図28に示されるように、画像処理装置51には、図7の画像処理装置11と基本的に同様の構成と機能を有する、画像処理部21乃至表示制御部26のそれぞれが設けられており、それらの基本的な接続形態も図7のそれと同様とされている。
ただし、図7の画像処理装置11においては、動き検出部24の検出結果が、ステップエッジ検出部31に供給されていたが、図28の画像処理装置51においては、動き検出部24の検出結果は、ステップエッジ検出部31に供給されず、逆に、ステップエッジ検出部31の検出結果が、動き検出部24と画像処理部21のそれぞれに供給されている。
画像処理装置51は、このような構成を有しているので、次のように動作することになり、その結果、その処理量を画像処理装置11(図7)に比較して抑制することが可能になる。
即ち、図7の画像処理装置11においては、画像処理部21と画像処理部22のいずれもが、所定のフレーム又はフィールドを構成する全ての画素について、その処理を実行する。換言すると、1つのフレーム又はフィールドに対して、画像処理が2回施されることになる。
これに対して、図28の画像処理装置51においては、先に、ステップエッジ検出部31が、所定のフレーム又はフィールドを構成する複数の画素の中から、ステップエッジに対応する画素を検出し、その検出結果を、補正部32の他、動き検出部24と画像処理部21のそれぞれに供給する。
このため、動き検出部24は、ステップエッジ検出部31により検出された画素(ステップエッジに対応する画素)についてのみ、その処理を実行することができる。即ち、動き検出部24は、ステップエッジ検出部31により検出されたステップエッジが、動きのあるステップエッジであるのか否かを検出するとも言える。
また、画像処理部21は、ステップエッジ検出部31により検出された画素(ステップエッジに対応する画素)のうちの、動き検出部24により動きが検出された画素に対しては、その処理を禁止する。即ち、画像処理部21は、動きのあるステップエッジに対応する画素に対しては、その処理を禁止し、それ以外の画素に対してのみ、その処理を実行する。
このように、図28の画像処理装置51においては、1つの画素に対する画像処理は、画像処理部21と画像処理部22のうちのいずれか一方のみにより実行される。換言すると、1つのフレーム又はフィールドに対して、画像処理が1回だけ施されることになる。さらに、動き検出部24の処理も、ステップエッジに対応する画素についてのみ実行される。従って、画像処理装置51の処理量を、画像処理装置11(図7)のそれに比較して抑制することが可能になる。
また、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。
この場合、図7の画像処理装置11や図28の画像処理装置51は、例えば、図29に示されるようなパーソナルコンピュータにより構成される。
図29において、CPU(Central Processing Unit)101は、ROM(Read Only Memory)102に記録されているプログラム、または記憶部108からRAM(Random Access Memory)103にロードされたプログラムに従って各種の処理を実行する。RAM103にはまた、CPU101が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU101、ROM102、およびRAM103は、バス104を介して相互に接続されている。このバス104にはまた、入出力インタフェース105も接続されている。
入出力インタフェース105には、キーボード、マウスなどよりなる入力部106、ディスプレイなどよりなる出力部107、ハードディスクなどより構成される記憶部108、モデム、ターミナルアダプタなどより構成される通信部109が接続されている。通信部109は、インターネットを含むネットワークを介して他の情報処理装置との通信処理を行う。
なお、この場合、出力部107自身が、ホールド型表示装置であってもよいし、或いは、入出力インタフェース105に必要に応じて接続される、図示せぬ接続部に、外部のホールド型表示装置が接続されてもよい。
入出力インタフェース105にはまた、必要に応じてドライブ110が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体111が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部108にインストールされる。
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
このようなプログラムを含む記録媒体は、図29に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フロッピディスクを含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)を含む)、もしくは半導体メモリなどよりなるリムーバブル記録媒体(パッケージメディア)111により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM102や、記憶部108に含まれるハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本実施の形態の画像処理装置が取り扱う動画像は、上述したように、フレームを単位とすることも可能であるし、フィールドを単位とすることも可能である。そこで、本明細書においては、このような単位を、アクセスユニットとも称する。
さらにまた、以上の説明においては、ホールド型表示装置12の画面を構成する各表示素子(液晶型表示装置の場合、液晶)のそれぞれには、フレーム又はフィールドを構成する複数の画素のうちの所定の1つが対応付けられていたが、1つの画素に複数の表示素子が対応付けられていてもよい。即ち、複数の表示素子で1つの画素を表示してもよい。