JP4480476B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像表示装置における画像処理に関するものであり、より詳しくは、パーソナルコンピュータ（ＰＣ）などで使われる所定のフォーマットを有する画像信号を表示する、液晶ディスプレイ（ＬＣＤ）、ＣＲＴ、プラズマディスプレイ（ＰＤＰ）、あるいはフィールド・エミッション・ディスプレイ（ＦＥＤ）、デジタル・マイクロミラー・デバイス（ＤＭＤ）などの画像表示装置において、解像度変換、画像処理等を行う際の画像処理装置および方法に関するものである。

従来のプラズマディスプレイ(ＰＤＰ)、液晶ディスプレイ(ＬＣＤ)のような表示画素が固定の画像表示装置においては、パソコン等からの入力映像信号にたいして、画像雑音の除去、シャープネス強調等の画像処理、パターン認識による特徴抽出、拡大・圧縮のスケーリング等の様々な処理が行われている。

従来の画像表示装置における画像処理システムにおいては、画像信号発生装置から出力された画像信号は画像信号受信手段に入力され、画素に対しての画像処理・拡大変換は、拡大縮小画像処理手段によってスケーリング制御、または画像処理が施される。その後、画像信号出力手段によって適切な表示解像度により表示デバイスに出力される。

画像処理の主な方式としては、解像度の拡大・縮小処理に関して言えば隣接画素または近傍の画素を使用した補間法が用いられることが多く、また、一般的に近傍画素を用いる画像処理の種類は、雑音除去やエッジ抽出、ＤＣＴ（離散コサイン変換）などありとあらゆる画像処理に適用されているため、個々の詳細な説明は省略し、ここでは一般的な近傍画素の使用例について述べることとする。

例えばd(x)を画素の一点とすると、その一つ隣の水平近傍画素はd(x−1),d(x+1)となる。d(x)の画素に対しての画像処理を行う際にこのような近傍の画素を使用して各種の計算を行う。d(x)にたいする近傍点は左右１とは限らず８近傍１６近傍、または垂直方向、フレーム単位など多くの関係を持たせることができる。近傍画素を使用する例としては、例えば画像から雑音除去を行う平滑化の画像処理の場合、d(x)に対する近傍画素の平均を求め、その平均値をd(x)に代入するという手法もある。

次にスケーリングの並列化処理について説明する。近年、画像表示装置の大画面化、高解像度化が求められる中で、スケーリングＩＣの動作スピード・容量等スペック的にも限界が生じている。現状のスケーラＩＣでは対応しきれない解像度信号においては、画像を分割したうえで複数のスケーラＩＣを用い並列処理を行うことによって高解像度の画像表示に対応することが可能となる。このような画像処理装置の例は、例えば、特許文献１等に開示されている。

特開昭６３−２０１７７４号公報

しかし、画像の分割・並列化処理を行うと、近傍画素を用いる画像処理において分割点近傍での計算誤差が生じてしまうという問題がある。このため、高解像度の対応としては近傍画素を用いる画像処理を行えないのが現状である。

上述したように、現状のスケーラＩＣでは処理が不可能な高解像度の映像信号にたいして、スケーラ・画像処理ＩＣを複数個用い画像の分割・並列化処理を行う際に、画像にたいしての拡大・画像処理を行おうとすると近傍画素の計算に誤差が生じてしまうという欠点がある。

本発明はこのような事情に鑑みてなされたもので、その目的は、画像の並列処理における近傍画素の計算誤差を低減することが可能な画像処理装置および画像処理方法を提供することにある。

上記の課題を解決するために、本発明に係る画像処理装置は、入力された１個の原画像を所定の分割線で分割し複数個の分割画像を生成する画像分割手段と、画像分割手段における分割に際し各分割画像に分割線を挟んだオーバーラップ領域を付加するオーバーラップ付加手段と、オーバーラップ領域が付加された複数個の分割画像を近傍画素を使用する画像処理によって並列に処理し複数個の処理画像をそれぞれ生成する複数個の画像処理手段と、複数個の処理画像を結合し１個の結合画像を生成する画像結合手段と、画像結合手段における結合に際し各処理画像からオーバーラップ領域を除去するオーバーラップ除去手段とを備えることを特徴とする。

本発明に係る画像処理装置は、入力された１個の原画像を所定の分割線で分割し複数個の分割画像を生成する画像分割手段と、画像分割手段における分割に際し各分割画像に分割線を挟んだオーバーラップ領域を付加するオーバーラップ付加手段と、オーバーラップ領域が付加された複数個の分割画像を近傍画素を使用する画像処理によって並列に処理し複数個の処理画像をそれぞれ生成する複数個の画像処理手段と、複数個の処理画像を結合し１個の結合画像を生成する画像結合手段と、画像結合手段における結合に際し各処理画像からオーバーラップ領域を除去するオーバーラップ除去手段とを備えることを特徴とするので、画像の並列処理における近傍画素の計算誤差を低減することができる。

＜実施の形態１＞
以下、図面を用いて、本発明の実施の形態１に係る画像表示装置及び画像表示方法について詳細に説明する。

図１は、本実施の形態に係る画像表示装置１００の構成を示すブロック図である。画像表示装置１００は、画像データ生成手段１０と、画像処理装置６０と、画像表示手段５０とを備える。画像処理装置６０は、画像分割手段２０と、オーバーラップ付加手段２１と、２個の画像処理手段３０と、画像結合手段４０と、オーバーラップ除去手段４１とを備える。

図１において、画像データ生成手段１０で生成された１個の原画像データは、画像分割手段２０に入力される。

画像分割手段２０は、入力された原画像データを水平方向に分割することにより、２個の分割画像データを生成させる。このとき、２個の分割画像データには、オーバーラップ付加手段２１を用いることにより、分割線を挟んで所定のオーバーラップ領域が付加される。

この画像表示装置１００には、ＣＰＵ（またはＭＰＵ）、ＲＯＭ及びＲＡＭを備えるマイクロコンピュータが使用されており、ＲＯＭ内に予め記憶されたソフトウェアプログラムに従って動作するものとする。上記のオーバーラップ領域の幅は、このＣＰＵ等を用いて求められる。また、原画像データには、水平同期信号及びデータイネーブル信号が付随しているが、画像分割手段２０は、原画像データ本体と同様に、これらの信号についても所定の幅を有するオーバーラップ領域を付加しつつ、原画像データを２個に分割する。

生成された２個の分割画像データは、それぞれ、各画像処理手段３０に入力される。なお、上記の分割は、水平方向に限らず、垂直方向に行われてもよい。また、分割後の個数は、２個に限らず、３個以上の任意の個数であってよいが、その場合には、画像処理装置６０は、その個数と同数の画像処理手段３０を備える必要がある。

各画像処理手段３０は、スケーラＩＣ等からなり、それぞれ並列に、入力された分割画像データに対して、オーバーラップ領域に含まれる近傍画素を用いて解像度の拡大処理を行う。本実施の形態では、画像処理手段３０が解像度の拡大処理を行う場合について説明するが、拡大処理に限らず、近傍画素を用いる画像処理であれば、他の画像処理であってもよい。例えば、縮小処理や雑音除去、エッジ抽出、ＤＣＴ（離散コサイン変換）などであってよい。処理された処理画像データは、画像結合手段４０に入力される。

画像結合手段４０は、入力された処理画像データを、オーバーラップ除去手段４１を用いてオーバーラップ領域を除去しつつ結合させることにより、１個の結合画像データを生成する。生成された結合画像データは、画像表示手段５０に入力され、表示される。

図２は、画像処理装置６０における画像データの分割処理、拡大処理および結合処理の一例を示す図である。図２においては、画像表示手段５０で表示可能な解像度が例えばＱＸＧＡ（Quad eXtended Graphics Array）に基づく解像度２０４８（水平画素数）×１５３６（垂直画素数）ドット（pixel）であり画像処理装置６０にＶＧＡ（Video Graphics Array）に基づく解像度６４０×４８０pixelの画像を入力し拡大処理を行う場合について示している。以下では、図２に示すように、画面の左上隅から水平右方向にｘ軸を垂直下方向にｙ軸を定め、入力画素数をｘ座標の単位として説明を行う。

図２（ａ）には、画像データ生成手段１０で生成された６４０×４８０pixelの原画像データ６１が示されている。

図２（ｂ）には、画像分割手段２０において原画像データ６１が分割線ｘ＝３２０pixelにより水平方向に分割されて３２０×４８０pixelの解像度を有する２個の分割画像データ６３が生成される様子が示されている。このとき、各分割画像データ６３には、幅αを有する（すなわちα×４８０pixelの解像度を有する）オーバーラップ領域６５が、それぞれ付加される。

図２（ｃ）には、各画像処理手段３０において各分割画像データ６３に拡大処理がなされて１０２４×１５３６pixelの解像度を有する２個の分割画像データ６７が生成される様子が示されている。このとき、各オーバーラップ領域６５にも拡大処理がなされるので、２個のオーバーラップ領域６５から、幅α’を有する（すなわちα’×１５３６pixelの解像度を有する）２個のオーバーラップ領域６９がそれぞれ生成される。上述したように、この拡大処理は２個の画像処理手段３０を用いて並列に行うことにより、処理速度を高めることが可能となる。

図２（ｄ）には、画像結合手段４０において２個の分割画像データ６７が結合されて２０４８×１５３６pixelの解像度を有する１個の結合画像データ７０が生成される様子が示されている。この結合処理において、オーバーラップ領域６９は、除去される。このように、オーバーラップ領域６５，６９を用いることにより、分割に伴う誤差を低減しつつ近傍画素を用いて解像度を拡大し、６４０×４８０pixelの原画像データ６１を２０４８×１５３６pixelの結合画像データ７０にすることが可能となる。

図２における幅αは、画像処理手段３０における処理により変化し、ＣＰＵ等で自動的に算出し設定することが可能である。例えば隣接画素を１pixelだけ用いる処理に対しては当然にα＝１pixelとなる。以下では、図３〜６を用いて、画像処理手段３０で拡大処理が行われる場合に画像処理装置６０に入力される原画像データ６１の解像度と画像処理装置６０から出力される結合画像データ７０の解像度とから、適切な幅αを算出する方法について説明する。また、一般に、画像は左から右へ（すなわち図２においてｘ座標が大きくなる方向へ）処理されていくので、図２に示される２個の分割画像データ６３のうち、右側の分割画像データ６３について必要な幅αは、左側の分割画像データ６３について必要な幅αより大きくなる。従って、以下では、右側の分割画像データ６３について必要な幅αについて説明する。

図３は、画像処理装置６０において、所定の水平画素数を有する原画像データ６１が入力され水平画素数２０４８pixelを有する結合画像データ７０に拡大されて出力される場合のオーバーラップ領域６５の幅αを示した図である。

図３において、入力される各原画像データ６１の水平画素数（入力水平画素数）は、ＶＥＳＡ（Video Electronics Standard Association）ワークグループにて定められた標準的な解像度に基づいている。図３は、このような入力水平画素数を有する原画像データ６１に対して、画像分割手段２０において２分割処理を行った後に各画像処理手段３０において拡大処理を行うことにより、各分割画像データ６７の水平画素数を（２０４８pixelの１／２倍の）１０２４pixelにした場合を示している。従って、拡大率は、２０４８／（入力水平画素数）で算出できるので、比ｒａｔｉｏ＝（１／拡大率）は、（入力水平画素数）／２０４８で算出できる。よって、１０２４×（１／拡大率）は、（入力水平画素数）／２に等しい。

図４は、入力された原画像データ６１が２倍もしくは３倍に拡大されて出力水平画素数が２０４８pixelとなる場合に幅αを算出する演算を示す概念図である。図４（ａ）には、画面左端付近の入力画素の配置が示されている。また、図４（ｂ）には、拡大率が２倍である場合における画面左端付近の出力画素の配置が示されている。また、図４（ｃ）には、拡大率が３倍である場合における画面左端付近の出力画素の配置が示されている。以下では、所定の回数ｉの演算を実行したときに演算手段内に累積される累積値ａｃｃｕｍ［ｉ］，ａｃｃｕｍ＿ａ［ｉ］を用いて説明する。ここで、この演算手段は、所定の有効数字を有している。１回の演算においては、１個の出力画素の水平位置すなわちｘ座標が求められる。従って、水平方向に１０２４pixelの画素数を有する分割画像データ６７を生成する場合においては、１０２４回の演算が必要となる。この演算結果は、その小数部分が累積値ａｃｃｕｍ［ｉ］に対応し、その整数部分が累積値ａｃｃｕｍ＿ａ［ｉ］に対応している。すなわち、図４に示すように、画面左端からｉ番目の出力画素のｘ座標は、（ａｃｃｕｍ［ｉ］＋ａｃｃｕｍ＿ａ［ｉ］）pixelで表される。上述したように、１０２４×（１／拡大率）は、（入力水平画素数）／２に等しいので、１０２４回の演算を行ったときの累積値ａｃｃｕｍ＿ａ［１０２４］は、原画像データの分割線の位置を示している。

まず、初期値として、ａｃｃｕｍ［０］＝０，ａｃｃｕｍ＿ａ［０］＝０を設定する。この初期値は、ｘ＝０pixelすなわち画面左端に対応している。

次に、累積値ａｃｃｕｍ［ｉ］に累積値ａｃｃｕｍ［ｉ−１］＋比ｒａｔｉｏを代入する演算をｉを１ずつ加算しつつｉ＝１０２４となるまで実行する。この演算の過程（１＜ｉ≦１０２４）において、各演算の結果、累積値ａｃｃｕｍ［ｉ］が１以上になった場合には、ａｃｃｕｍ［ｉ］から１を減算すると共に、ａｃｃｕｍ＿ａ［ｉ］に１を加算する。また、各演算の結果、累積値ａｃｃｕｍ［ｉ］が１以上にならなかった場合には、ａｃｃｕｍ［ｉ］への減算は行わず、ａｃｃｕｍ＿ａ［ｉ］にはａｃｃｕｍ＿ａ［ｉ−１］を代入する。すなわち、この演算の過程においては、常に、累積値ａｃｃｕｍ［ｉ］は、０≦ａｃｃｕｍ［ｉ］＜１を満たし、累積値ａｃｃｕｍ＿ａは、１以上の整数値をとる。

ここで、図５に示すように、分割線ｘ＝ａｃｃｕｍ＿ａ［１０２４］pixelの近傍でａｃｃｕｍ［ｉ］＝０となる回数ｉを求めて幅αを定めることにより、演算手段の有する有効数字に基づき補間処理等で生じる誤差を低減することが可能となる。

すなわち、本実施の形態においては、幅αは、原画像データ６１の入力水平画素数と結合画像データ７０の出力水平画素数との比ｒａｔｉｏに基づき定められる。

図５は、入力された原画像データ６１が２倍もしくは８／５倍に拡大されて出力水平画素数が２０４８pixelとなる場合（すなわり、比ｒａｔｉｏ＝１／２もしくは比ｒａｔｉｏ＝５／８の場合）に幅αを算出する演算において、分割線ｘ＝ａｃｃｕｍ＿ａ［１０２４］pixelの近傍を表した図である。

図５（ａ）においては、比ｒａｔｉｏ＝１／２の場合に幅αを算出する演算が示されている。このとき、画面左端から１０２４番目の出力画素には、１０２４×１／２＝５１２番目の入力画素が対応する。すなわち、ａｃｃｕｍ＿ａ［１０２４］＝５１２となる。また、１０２２番目の出力画素に対応する１０２２×１／２＝５１１番目の入力画素において、ａｃｃｕｍ［１０２２］＝０となる。従って、α＝５１２−５１１＝１pixelと算出することができる。よって、右側の分割画像データ６３について必要な画素数は、５１２＋１＝５１３pixelとなる。図３に示すように、この幅αは、ｒａｔｉｏ＝（１／拡大率）の分数表記の約分後の分子から求めることも可能である。すなわち、ｒａｔｉｏ＝（１／拡大率）＝１０２４／２０４８＝１／２であるので、α＝１pixelとなる。

また、図５（ｂ）においては、ｒａｔｉｏ＝５／８の場合に幅α を算出する演算が示されている。このとき、画面左端から１０２４番目の出力画素には、１０２４×５／８＝６４０番目の入力画素が対応する。すなわち、ａｃｃｕｍ＿ａ［１０２４］＝６４０である。また、１０１６番目の出力画素に対応する１０１６×５／８＝６３５番目の入力画素において、ａｃｃｕｍ［１０１６］＝０となる。従って、α＝６４０−６３５＝５pixelと算出することができる。よって、右側の分割画像データ６３について必要な画素数は、６４０＋５＝６４５pixelとなる。図３に示すように、この幅αは、ｒａｔｉｏ＝（１／拡大率）の分数表記の約分後の分子から求めることも可能である。すなわち、ｒａｔｉｏ＝（１／拡大率）＝６４０／２０４８＝５／８であるので、α＝５pixelとなる。

図３〜５に示すように、ＶＥＳＡ規格に則った画像データを２分割する場合においては、ａｃｃｕｍ［１０２４］＝０となるので、その直前にａｃｃｕｍ［ｉ］＝０となる回数ｉにおけるａｃｃｕｍ＿ａ［ｉ］を求めることにより幅αを求めることが可能である。しかし、ＶＥＳＡ規格に則らない画像データを分割する場合や、ＶＥＳＡ規格に則った画像データであっても３個以上に分割する場合においては、ａｃｃｕｍ［１０２４］＝０とならずに上記の手法では幅αを求めることができない場合があり得る。

図６には、ＶＥＳＡ規格に則らない場合に幅αを算出する演算を示す概念図である。図６においては、ｘ＝ａｃｃｕｍ＿ａ［１０２４］の付近で（言い換えれば、予め設定された所定の幅βを用いて、ａｃｃｕｍ＿ａ［１０２４］−β≦ｘ≦ａｃｃｕｍ＿ａ［１０２４］で表される範囲内において）ａｃｃｕｍ［ｉ］＝０となる回数ｉが存在しない。このような場合には、上記の範囲内でａｃｃｕｍ［ｉ］が最小値をとる回数ｉにおけるａｃｃｕｍ＿ａ［ｉ］を求めることにより幅αを求めることが可能である。図６においては、１０２０番目の出力画素近傍の５１０番目の入力画素において、ａｃｃｕｍ［ｉ］が最小値ａｃｃｕｍ［１０２０］をとる場合について示されている。また、１０２４番目の出力画素に最も近いのは５１２番目の入力画素と計算されるので、α＝５１２−５１０＝２pixelと算出することができる。

このように、本実施の形態に係る画像処理装置および画像処理方法においては、オーバーラップ領域を付加しつつ画像データを分割した後に近傍画素を用いた並列処理を行い、その後に、オーバーラップ領域を除去しつつ画像データを結合させる。従って、画像の並列処理における近傍画素の計算誤差を低減することができる。

また、幅αを、原画像の画素数と結合画像の画素数との比に基づき定めているので、オーバーラップ領域を計算により適切に設定することができる。従って、さらに、近傍画素の計算誤差を低減することができる。

本発明の実施の形態１に係る画像表示装置の構成を示すブロック図である。 本発明の実施の形態１に係る画像表示方法における各処理を示す図である。 本発明の実施の形態１に係る画像表示装置におけるオーバーラップ幅の算出を示す図である。 本発明の実施の形態１に係る画像表示装置におけるオーバーラップ幅の算出を示す概念図である。 本発明の実施の形態１に係る画像表示装置におけるオーバーラップ幅の算出を示す概念図である。 本発明の実施の形態１に係る画像表示装置におけるオーバーラップ幅の算出を示す概念図である。

符号の説明

１０ 画像データ生成手段、２０ 画像分割手段、２１ オーバーラップ付加手段、３０ 画像処理手段、４０ 画像結合手段、４１ オーバーラップ除去手段、５０ 画像表示手段、６０ 画像処理装置、６１ 原画像データ、６３ 分割画像データ、６５，６９ オーバーラップ領域、６７ 処理画像データ、７０ 結合画像データ、１００ 画像表示装置、ａｃｃｕｍ，ａｃｃｕｍ＿ａ 累積値、ｉ 回数、ｒａｔｉｏ 比、α，α’ 幅。

Claims (6)

1. 入力された１個の原画像を所定の分割線で分割し複数個の分割画像を生成する画像分割手段と、
   前記画像分割手段における分割に際し各前記分割画像に前記分割線を挟んだオーバーラップ領域を付加するオーバーラップ付加手段と、
   前記オーバーラップ領域が付加された前記複数個の分割画像を近傍画素を使用する画像処理によって並列に処理し複数個の処理画像をそれぞれ生成する複数個の画像処理手段と、
   前記複数個の処理画像を結合し１個の結合画像を生成する画像結合手段と、
   前記画像結合手段における結合に際し各前記処理画像から前記オーバーラップ領域を除去するオーバーラップ除去手段と
   を備え、
   前記画像処理手段は所定の拡大率で前記分割画像の解像度を拡大する拡大手段を含み、
   前記オーバーラップ領域の幅は前記拡大率に基づき定められる
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記オーバーラップ領域の幅は前記画像処理手段において行われる画像処理の種類に応じた計算により定められる
   ことを特徴とする画像処理装置。
3. 請求項１又は請求項２に記載の画像処理装置であって、
   前記オーバーラップ領域の幅は前記原画像の水平画素数と前記結合画像の水平画素数との比又は前記原画像の垂直画素数と前記結合画像の垂直画素数との比に基づき定められる
   ことを特徴とする画像処理装置。
4. 入力された１個の原画像を所定の分割線で分割し複数個の分割画像を生成する画像分割工程と、
   前記画像分割工程における分割に際し各前記分割画像に前記分割線を挟んだオーバーラップ領域を付加するオーバーラップ付加工程と、
   前記オーバーラップ領域が付加された前記複数個の分割画像を近傍画素を使用する画像処理によって並列に処理し複数個の処理画像をそれぞれ生成する画像処理工程と、
   前記複数個の処理画像を結合し１個の結合画像を生成する画像結合工程と、
   前記画像結合工程における結合に際し各前記処理画像から前記オーバーラップ領域を除去するオーバーラップ除去工程と
   を備え、
   前記画像処理工程は所定の拡大率で前記分割画像の解像度を拡大する拡大工程を含み、
   前記オーバーラップ領域の幅は前記拡大率に基づき定められる
   ことを特徴とする画像処理方法。
5. 請求項４に記載の画像処理方法であって、
   前記オーバーラップ領域の幅は前記画像処理工程において行われる画像処理の種類に応じた計算により定められる
   ことを特徴とする画像処理方法。
6. 請求項４又は請求項５に記載の画像処理方法であって、
   前記オーバーラップ領域の幅は前記原画像の水平画素数と前記結合画像の水平画素数との比又は前記原画像の垂直画素数と前記結合画像の垂直画素数との比に基づき定められる
   ことを特徴とする画像処理方法。

Images