JP6978720B2 - 画像処理装置 - Google Patents

Description

本発明は画像処理装置に関する。

特許文献１は画像処理装置を開示する。ディスプレイの画素には撮像素子の画素が割り当てられる。画素同士が１対１で対応しない場合には、補間処理に応じてディスプレイの画素にＲＧＢ値は関連づけられる。

国際公開第２００８／１３９５７７号

例えば撮像素子の画素数に比べてディスプレイの画素数が少ない場合など、ディスプレイの１つの画素に撮像素子の複数の画素が割り当てられると、複数のＲＧＢ情報は１画素にまとめられてしまう。ＲＧＢ情報の多くは捨象される。その結果、画像はぼやけてしまう。

本発明は、撮像素子の画素数に比べてディスプレイの画素数が少ない場合でも、実質的にディスプレイの解像度を上げることができる画像処理装置を提供することを目的とする。

本発明の一形態は、１つの座標値で指定されるＲ情報信号、Ｇ情報信号およびＢ情報信号を１画素の情報として出力する複数の画素を有する撮像素子と、前記出力された１画素の情報を受信する受信部と、前記撮像素子上にある前記画素ごとに存在し、個別に座標値が付与されたディスプレイ上のＲ素子、Ｇ素子およびＢ素子にそれぞれ前記Ｒ情報信号、前記Ｇ情報信号および前記Ｂ情報信号を割り当てる座標変換部とを備える画像処理装置に関する。

一般に、ディスプレイではＲ素子、Ｇ素子およびＢ素子の組み合わせで１画素が形成される。ＲＧＢの組み合わせで色は再現される。したがって、１画素中のＲ素子、Ｇ素子およびＢ素子を１つの座標値で管理するのではなく、１画素中のＲ素子、Ｇ素子およびＢ素子に個別に座標値を割り当てることで、画像内で色味が弱い部分、あるいは夜間等で画像に色情報があまりない場合において実質的にディスプレイの解像度を上げることができる。解像度が上がる原理については後述する。

前記座標変換部は、座標変換に応じて前記Ｒ情報信号、前記Ｇ情報信号および前記Ｂ情報信号ごとに座標を設定し、設定された座標値を持つ複数の前記Ｒ情報信号同士、複数の前記Ｂ情報信号同士および複数の前記Ｇ情報信号同士を用いてそれぞれ補間を行うとともに新たな座標を持たせ、前記ディスプレイの前記座標に対応するＲ素子を発光させるためのＲ情報、前記ディスプレイの前記座標に対応するＧ素子を発光させるためのＧ情報および前記ディスプレイの前記座標に対応するＢ素子を発光させるためのＢ情報を生成する補間部を備えてもよい。

前記受信部で受信される画像の横方向の画素数は、前記補間部から出力される画像の横方向の画素数より大きいことが望ましい。これは本発明を適用しても、受信部で受信される画像の解像度を超えて、最終的にディスプレイに表示される解像度を上げることができないためである。なお、画素数が多いほど、解像度が向上することは周知の事実である。

座標変換部は、ディスプレイの回転角を特定する回転角信号を受信し、特定された前記回転角に応じて前記座標値を指定してもよい。ディスプレイの回転に応じてＲ素子、Ｇ素子およびＢ素子の配列が変化しても、そうした変化に合わせて画像は表示されることができる。画像の違和感は回避されることができる。

表示装置は以上のような画像処理装置を含むことができる。表示装置では、ディスプレイで画素数を増やすことなく、実質的にディスプレイの解像度を上げることができる。

以上のように開示の画像処理装置によれば、ディスプレイの画素数で決まる解像度より高い解像度の画像を表示させることができる。

一実施形態に係る表示装置すなわちディスプレイユニットの全体像を概略的に示す概念図である。 画像処理装置の処理動作を概略的に示すフローチャートである。 変形例に係る表示装置すなわちディスプレイユニットの全体像を概略的に示す概念図である。 画像処理により解像度が向上することを説明する模式図である。 本実施形態により生成される画像と従来手法により生成される画像とを示す写真である。 従来手法により生成される画像と本発明により生成される画像の比較図である。

以下、添付図面を参照しつつ本発明の一実施形態を説明する。まず、本発明の前提条件として、撮像素子２４の横方向の画素数がディスプレイパネル１２の横方向の画素数より大きいこととして説明を行う。

図１は本発明の一実施形態に係る表示装置の全体像を概略的に示す。ディスプレイユニット１１は、ディスプレイパネル１２と、ディスプレイパネル１２に接続されてディスプレイパネル１２に表示画像信号を供給する画像処理装置１３とを備える。ディスプレイパネル１２は画面を構成する複数の画素１４、１４…を有する。画素１４、１４…は画面の垂直方向Ｖｃおよび水平方向Ｈｒに配列される。

ディスプレイパネル１２の個々の画素１４は１つのＲ（赤色）素子１５、１つのＧ（緑色）素子１６および１つのＢ（青色）素子１７で形成される。Ｒ素子１５は赤色で発光する。Ｇ素子１６は緑色で発光する。Ｂ素子１７は青色で発光する。ここでは、画面の左から右に向かってＲ素子１５、Ｇ素子１６およびＢ素子１７が順番に配列されるものの、配列の順番はこの順番に限られるものではない。個々の素子１５、１６、１７には輝度に応じて電気信号が供給される。個々の素子１５、１６、１７ごとにディスプレイ１２上の座標値は割り当てられる。

画像処理装置１３は、撮像素子２４から座標値とともに出力されるＲ情報信号、Ｇ情報信号およびＢ情報信号を含む１画素の情報を順次受信する受信部２１と、受信した１画素の情報に含まれるＲ情報信号、Ｇ情報信号、Ｒ情報信号をディスプレイユニット１２の特定の座標の画素１４を構成するＲ素子１５、Ｇ素子１６およびＢ素子１７に対しそれぞれ割り当てる座標変換部２２と、割り当てられたＲ情報信号、Ｇ情報信号およびＢ情報信号を基にディスプレイ１２に送信する信号を生成するエンコーダ２３とを備える。

受信部２１には撮像素子２４が接続される。撮像素子２４には例えばＣＣＤ（チャージカップルドデバイス）イメージセンサやＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサが用いられればよい。撮像素子２４は例えばカメラといった入力装置２５に組み込まれる。撮像素子２４にはレンズ２６が組み合わせられる。ここでは、レンズ２６には例えば広角レンズや魚眼レンズが用いられる。撮像素子２４は撮像素子上の個々の画素から１つのＲ情報信号、１つのＧ情報信号および１つのＢ情報信号を出力する。受信部２１は、これらＲ情報信号、Ｇ情報信号およびＢ情報信号を受信する。

入力装置２５は、他の機器から映像信号を受け取るデコーダであってもよく、ＳＤカードなどの記録媒体から画像や動画を読み込むリーダであってもよい。その他、入力装置２５には、ＹＵＶ信号をＲＧＢ信号に変換するコンバータが含まれてもよい。

受信部２１は画像メモリ２８を備える。画像メモリ２８はＳＲＡＭ（スタティックランダムアクセスメモリ）やＳＤＲＡＭ（シンクロナスダイナミックランダムアクセスメモリ）で構成されればよい。画像メモリ２８には座標値で特定される撮像素子２４上の個々の画素ごとにＲ素子１５の情報（輝度値）、Ｇ素子１６の情報（輝度値）およびＢ素子１７の情報（輝度値）が記憶される。

座標変換部２２は、座標計算部２９および補間部３１を備える。座標計算部２９は、ディスプレイ１２上の座標(ｘ, ｙ)に対応する素子の輝度を、撮像素子２４上の個々の画素から出力される座標（Ｘ，Ｙ）および輝度を伴ったＲ情報信号、Ｇ情報信号またはＢ情報信号を基に算出する。ディスプレイ１２上のＲ素子、Ｇ素子およびＢ素子の座標値はそれぞれ個別に存在する。なお、本発明ではｘ方向の座標は整数として離散した値ではなく１／３刻みとし説明を行うこととする。あるＧ素子の座標を(ｘ, ｙ)とすると、ｘ方向の向かって左側に隣接するＲ素子の座標は(ｘ−１／３, ｙ)、ｘ方向の向かって右側に隣接するＢ素子の座標は(ｘ＋１／３, ｙ)となる。また、ここでは前述の座標の付与に加え、例えば俯瞰画像等への画像変換を行わせてもよい。俯瞰画像への変換の手法については公知の技術のためここでは記載を省略する。座標計算部２９は汎用のＣＰＵ（中央演算処理装置）またはＦＰＧＡ（フィールドプログラマブルゲートアレイ）で構成されればよい。ＣＰＵまたはＦＰＧＡには例えばＲＯＭ（リードオンリーメモリ）が接続される。ＲＯＭにはＣＰＵまたはＦＰＧＡで実行されるソフトウェアプログラムが格納される。あるいは、座標計算部２９は専用の演算を実行するＡＳＩＣ（特定用途向け集積回路）で構成されてもよい。その他、座標計算部２９は、計算結果を格納したＲＯＭとＲＯＭリーダとで構成されてもよい。あるいは、座標計算部２９は、一部の計算結果を格納したＲＯＭおよびＲＯＭリーダと、そこから残りの座標を補間で算出する補間回路とから構成されてもよい。

撮像素子２４上のＲ情報信号を出力する画素の座標と、Ｇ情報信号およびＲ情報信号を出力する画素の座標と、それが入力されるディスプレイ１２上のＲ素子、Ｇ素子およびＢ素子との座標の間の関係は以下の式で表される。ここで、（Ｘｒ，Ｙｒ）はディスプレイ１２上のＲ素子の輝度を決定するために参照される撮像素子２４上の画素の座標を、（Ｘｇ，Ｙｇ）はディスプレイ１２上のＧ素子の輝度を決定するために参照される撮像素子２４上の画素の座標を、また、（Ｘｂ，Ｙｂ）はディスプレイ１２上のＢ素子の輝度を決定するために参照される撮像素子２４上の画素の座標をそれぞれ示している。Ｘｒ、Ｙｒ、Ｘｇ、Ｙｇ、Ｘｂ、Ｙｂは整数値を取る。なお、関数ｆや関数ｇの具体的処理については、撮像素子２４上の画素の座標に対応するディスプレイ１２上の素子の座標を予め決めたテーブルを用意しておき、それを参照することで座標変換を行う処理が一般的である。

補間部３１は、上述の俯瞰変換等に伴い画像の一部拡大を行うにあたって、拡大される画像部分の解像度を向上させるために補間処理を行う。Ｒ素子同士における補間処理について一例を記述すると、画像メモリ２８に格納された水平方向Ｈｒに隣接する２つのＲ素子の輝度および座標情報に基づき、２つのＲ素子の中間の座標のＲ情報を新たに生成する場合、その輝度は２つのＲ素子の平均値とする。補間処理は前述の水平方法のみならず、周辺の複数のＲ情報の座標と新たに生成するＲ情報の座標との距離とそれぞれの輝度から加重平均により生成してもよいし、線形補間やバイキュービック、ランチョスその他の補間手法が用いられてもよい。

次に本実施形態の動作を説明する。ディスプレイパネル１２では４角の１つに二次元座標の原点が設定される。原点から画面の水平方向にｘ座標軸が設定され、垂直方向にｙ座標軸が設定される。個々のＲ素子１５、Ｇ素子１６およびＢ素子１７にはそれぞれ個別に座標値が設定される。撮像素子２４の個々の画素から出力された座標値（Ｘ，Ｙ）を伴う情報信号をディスプレイ２４上の特定の素子に割り当てるために座標変換部２９で新たな座標値（ｘ，ｙ）が与えられ、その結果を基にディスプレイ２４上の素子が発光する。

図２に示されるように、ステップＳ１およびＳ２で座標計算部２９に記憶されたディスプレイ１２上の素子の座標ｘおよびｙに０が入力される。ステップＳ３で、座標計算部２９は座標変換や前述の俯瞰変換等を行う関数ｆおよび関数ｇに基づきｘ＝０−１／３、ｙ＝０に対応する撮像素子２４上の特定画素の座標値（Ｘｒ，Ｙｒ）を算出する。ステップＳ４で、補間部３１は座標値（Ｘｒ，Ｙｒ）のＲ情報およびその周辺の座標値のＲ情報を取得し、前述の補間処理を行う。これらＲ情報は画像メモリ２８から取り込まれればよい。補間で算出されたＲ情報はステップＳ５で出力される。

ステップＳ６で、座標変換部２９は前述の俯瞰変換等の画像変換を行う関数ｆおよび関数ｇに基づきｘ＝０、ｙ＝０に対応する撮像素子２４上の特定画素の座標値（Ｘｇ，Ｙｇ）を算出する。ステップＳ７で、補間部３１は座標値（Ｘｇ，Ｙｇ）のＧ情報およびその周辺の座標値のＧ情報を取得し、前述の補間処理を行う。これらＧ情報は画像メモリ２８から取り込まれればよい。補間で算出されたＧ情報はステップＳ８で出力される。

ステップＳ９で、座標計算部２９は前述の俯瞰変換等の画像変換を行う関数ｆおよび関数ｇに基づきｘ＝０＋１／３、ｙ＝０に対応する撮像素子２４上の特定画素の座標値（Ｘｂ，Ｙｂ）を算出する。ステップＳ１０で、補間部３１は、座標値（Ｘｂ，Ｙｂ）のＢ情報およびその周辺の座標値のＢ情報を取得し、前述の補間処理を行う。これらＢ情報は画像メモリ２８から取り込まれればよい。補間で算出されたＢ情報はステップＳ１１で出力される。

ここで、ディスプレイ１２上のｘ＝０−１／３、ｙ＝０の座標に存在する画素はＲ素子であり、ｘ＝０、ｙ＝０の座標に存在する画素はＧ素子であり、ｘ＝０＋１／３、ｙ＝０に存在する画素はＢ素子である。それぞれに与えられる輝度は、上のステップで記載の通り撮像素子２４上の特定の１画素の輝度であり、この１画素の輝度は１画素が有しているＲ情報信号の値、Ｂ情報信号の値およびＧ情報信号の値の合計値や平均値が用いられればよい。

ステップＳ１２では、ディスプレイパネル１２の画面上でＨr方向に隣接する画素１４が特定される。ステップＳ１３で水平方向の最大の座標値の（ｗｉｄｔｈ）に至るまで、ステップＳ３〜Ｓ１２の処理は繰り返される。ステップＳ１３で水平方向に座標計算部２９および補間部３１の処理の完了が認識されると、処理動作はステップＳ１４に移行する。画素１４の位置は垂直方向に１つずらされる。ステップＳ１５で処理動作の未終了が判定されると、処理動作はステップＳ２に戻る。続いて水平方向に同様に座標計算部２９および補間部３１の処理が実施される。ステップＳ１５で垂直方向の最大の座標値（ｈｅｉｇｈｔ）が認識されると、新たにフレームが取得される。こうして映像は再現されていく。

次に上述の手法を適用することにより、画像内の彩度が低い部分、あるいは夜間等で画像全体の彩度が低い場合において解像度が上がる原理について一例を用いて説明する。図４は１９２０ｘ１０８０画素の撮像素子で撮像された画像を６４０ｘ３６０のディスプレイに画像として表示することを示した模式図である。本発明による解像度の向上は水平方向においてのみ発揮されるため、ｙ方向の画素は省略してある。図４の（Ａ）は１９２０ｘ１０８０画素の撮像素子で撮像された画像の一部、図４の（Ｂ）は従来の手法で６４０ｘ３６０のディスプレイに表示された画像の一部、図４の（Ｃ）は本発明を適用し６４０ｘ３６０のディスプレイに表示された画像の一部である。

従来は、図４（Ａ）および図４(Ｂ)に示す通り、横方向の画素数が１９２０個ある撮像素子で撮像された画像を、横方向の画素数が６４０個のディスプレイに表示するためには、例えば撮像素子の隣り合う３画素の輝度および彩度を平均したものを、ディスプレイ１画素の輝度値および彩度値として適用することとなる。横方向の解像度は撮像素子で撮像されたものの１／３となる。本発明では、図４（Ａ）および図４（Ｃ）に示す通り、撮像素子の１画素の輝度値（Ｒ情報信号の値、Ｇ情報信号の値、Ｂ情報信号の合計値や平均値）を、ディスプレイ１画素の中にあるＲ素子の輝度値として適用し、順次撮像素子の次の１画素をＧ素子へ、次の１画素をＢ素子へ、という様に１：１で適用するため、横方向の解像度が保たれる。

撮像素子の１画素がＲ素子、Ｇ素子およびＢ素子から成り立っており、各々の輝度の合計値が１画素の輝度となる。撮像素子のＲ素子が捉える赤色、Ｇ素子が捉える緑色およびＢ素子が捉える青色のそれぞれの輝度値を合計したものを、ディスプレイのＲ素子に適用することで、ディスプレイの当該素子は赤色に発光する。この様な手法を実施すると、撮像素子１画素が捉える色がどの様なものになったとしても、ディスプレイでは赤として表示されるため、ディスプレイに表示される画像の色は、撮像素子が捉えた色とは局所的には大きく異なる、または撮像素子で撮像された画像が白黒に近い画像でも、ディスプレイには不規則な色のついたものとして表示されると考えられる。とはいえ、図５（Ａ）に示されるように、本発明を適用した画像を画像全体で見ると、図５（Ｂ）の従来手法に係る比較例に比べて、その様な色の不整合はほとんど発生しないことを発明者は実験的に発見した。色の不整合が発生しないことの参考資料として、出願人はそのカラー画像を物件提出書で提出する。

図６（Ａ）は上述の従来手法によりディスプレイにチャートを表示した画像と、水平方向の１ラインＬの輝度変化をグラフで表示させたものである。図６（Ｂ）は本発明を適用した画像およびグラフである。ディスプレイ上の１ラインＬ上には向かって左側から右側へと白黒の縞が徐々に狭くなっている（横方向の空間周波数が左から右にいくにつれて徐々に上昇している）解像度チャートが存在する。図６（Ａ）に示す従来手法のグラフでは右にいくに従って、色黒の変化に追従する輝度の振幅が徐々に減少しており、輝度の変化が再現されていないことが分かる。一方、図６（Ｂ）に示す本発明の手法でのグラフでは輝度の振幅の減少は、従来手法に比べて小さいことが分かる。すなわち輝度の変化が再現されている。これにより従来手法との比較で解像度が上がっていることが分かる。

図３に示されるように、座標変換部２２には回転角特定部３７が接続されてもよい。回転角特定部３７には例えばディスプレイユニット１１に組み込まれるジャイロセンサ３８が接続されればよい。ジャイロセンサ３８は重力に基づきディスプレイパネル１２の向きを検出する。ジャイロセンサ３８はディスプレイパネル１２の回転角を検出し回転角信号を出力する。回転角信号はディスプレイパネル１２の回転角を特定する。回転角特定部３７は回転角信号を受信し、ディスプレイパネル１２の回転角に応じて関数ｆおよび関数ｇに引用される座標値を置き換える。具体的にＲ画素の画像変換について述べると、回転角θとすると、Ｘｒ’＝ｆ（ｘ−(１／３)×ＣＯＳθ，ｙ−(１／３)×ＳＩＮθ）、Ｙｒ’＝ｇ（ｘ＋(１／３)×ＣＯＳθ，ｙ＋(１／３)×ＳＩＮθ）とし、各関数について引用される座標値の中に三角関数を導入する。ディスプレイパネル１２の回転に応じてＲ素子１５、Ｇ素子１６およびＢ素子１７の配列が変化しても、そうした変化に合わせて画像は表示されることができる。画像の違和感は回避されることができる。

座標変換部２２は、Ｒ情報信号、Ｇ情報信号またはＢ情報信号ごとに補間を実施する補間部３１を備える。Ｒ素子１５、Ｇ素子１６およびＢ素子１７の座標値と、位置情報で特定される座標値とにずれが生じても、ＲＧＢ個々の補間に応じてできる限り精度よく画像は画面上に再現されることができる。

１１…表示装置（ディスプレイユニット）、１２…ディスプレイ（ディスプレイパネル）、１３…画像処理装置、１４…画素、１５…Ｒ素子、１６…Ｇ素子、１７…Ｂ素子、２１…受信部、２２…座標変換部、２８…画像メモリ、３１…補間部。

Claims (4)

1. １つの座標値で指定されるＲ情報信号、Ｇ情報信号およびＢ情報信号を１画素の情報として出力する複数の画素を有する撮像素子と、
   前記出力された１画素の情報を受信する受信部と、
   前記撮像素子上にある前記画素ごとに存在し、個別に座標値が付与されたディスプレイ上のＲ素子、Ｇ素子およびＢ素子にそれぞれ前記Ｒ情報信号、前記Ｇ情報信号および前記Ｂ情報信号を割り当てる座標変換部とを備え、
   前記座標変換部は、
   座標変換に応じて前記Ｒ情報信号、前記Ｇ情報信号および前記Ｂ情報信号ごとに座標を設定し、設定された座標値を持つ複数の前記Ｒ情報信号同士、複数の前記Ｂ情報信号同士および複数の前記Ｇ情報信号同士を用いてそれぞれ補間を行うとともに新たな座標を持たせ、前記ディスプレイの前記座標に対応するＲ素子を発光させるためのＲ情報、前記ディスプレイの前記座標に対応するＧ素子を発光させるためのＧ情報および前記ディスプレイの前記座標に対応するＢ素子を発光させるためのＢ情報を生成する補間部を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、前記受信部で受信される画像の横方向の画素数は、前記補間部から出力される画像の横方向の画素数より大きいことを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、前記座標変換部は、ディスプレイの回転角を特定する回転角信号を受信し、特定された前記回転角に応じて前記座標値を指定することを特徴とする画像処理装置。
4. 請求項１〜３のいずれか１項に記載の画像処理装置を含むことを特徴とする表示装置。

Images