JP4766783B2

JP4766783B2 - 画像処理装置および画像処理方法

Info

Publication number: JP4766783B2
Application number: JP2001188720A
Authority: JP
Inventors: 英明吉田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2001-06-21
Filing date: 2001-06-21
Publication date: 2011-09-07
Anticipated expiration: 2021-06-21
Also published as: JP2003009191A

Description

【０００１】
【発明の属する技術分野】
この発明は、たとえば情報不在格子点に対する補間のための画素情報生成等を行わずにくさびチャートが撮像された画像を４５度回転させることにより、斜め方向の解像度自動測定を適切に実行することを可能とした画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
近年、被写体像を撮像光学系により固体撮像素子、たとえばＣＣＤ２次元イメージセンサ上に結像して電気信号に変換し、これにより得られた静止画像の撮像データを半導体メモリや磁気ディスクのような記録媒体に記録する、いわゆる電子カメラが広く普及しつつある。
【０００３】
また、この種の電子カメラで撮像された画像の解像度は、従来より、熟練した検査担当者の目視により行われている。図９は、この解像度の目視測定に用いられる代表的なＩＳＯ１２２３３Ｒｅｓｏｌｕｔｉｏｎチャートであり、検査担当者は、被検カメラによりこのチャートを撮影し、この撮影したチャート画像内のたとえばくさびチャートａを目視してその解像度を測定する。
【０００４】
このくさびチャートａは、黒５本、白４本の同じ巾の線分からなっており、検査担当者は、被写体像としてのくさびチャートａを上端から下端に向けて観察していく。より具体的には、この白黒線の解像状況を調べ、その線数と実際の線数との一致が継続する限界のライン（行）を検出し、その検出したラインで示される解像度を左側に添えられたスケールによって読み取る。つまり、このくさびチャートａを用いれば、斜め４５度方向の解像度を測定することができる。
【０００５】
しかしながら、このように、被検カメラで撮像された画像の解像度を目視で測定したのでは、測定結果が測定に用いる画像出力機器の特性に依存する上、個人差や状況による誤差が極めて大きく、また、振幅によるものは、モアレの影響を避け難いといった問題もあった。
【０００６】
【発明が解決しようとする課題】
このようなことから、本発明者は、被検カメラで撮像されたくさび画像のデータ値を直接解析することにより、解像度を自動的に測定する手法を新たに考案し、本発明と同日の特許出願にて技術開示を図るに至った。この新規な解像度自動測定における解像度の解析は、電子カメラ等で撮像された通常画像を対象にするため、水平垂直の直交格子画像、つまり各画素が直交格子点に分布する画像であることを前提に行なわれる。（なお、多くの場合、直交格子の中でも、水平垂直の間隔が等しい「正方格子」が用いられる。以下の説明においても、説明を平易にするためこれを仮定する。）
具体的には、たとえば水平解像度の測定であれば、くさびの方向を垂直方向（副走査方向）に合わせて撮影を行ない、くさびの上部（低周波端）から下部（高周波端）に向かって順に各水平行（ライン）毎の白黒線の解像状況を調べ、その線数と被写体くさびの線数との一致が継続している限界のライン（周波数）を解像限界として検出することによって為される。その際、各水平行（ライン）毎の白黒線の解像状況である白または黒線の数は、そのラインに沿って、すなわち水平方向（くさび方向に直交する方向：主走査方向）に画素データを走査し、そのデータの増減を解析して極大または極小値の数を取得することによって求められる。
【０００７】
なお、垂直解像度の測定の場合は、撮影時のくさびの方向を水平方向に合わせて、上記解析に際し、水平・垂直の走査（すなわち主走査方向と副走査方向）を逆にすれば良いことは勿論、実用的には走査を入換えるのではなく、撮影した評価対象の画像データを９０度回転させた（すなわち画像の水平垂直の座標を入れ換えた）後に、上記と同じ解析を適用する「画像回転法」の方が、より簡便で好適である。つまり、最終的にデータ解析時における副走査方向にくさびの方向を合わせることで、物理的に全く同じ意味をもつ測定値を「解像度」として得ることができる。ここでは、このような解像度の測定を「基本測定」と称する。ところで、この基本測定法による解像度の自動測定は、画素の配列に沿った方向、つまり水平・垂直方向については適用できるが、図９のくさびチャートａのように、斜め方向については適用が困難であるという問題があった。この問題を図１０乃至図１３を参照しながら説明する。
【０００８】
図１０は、斜め解像の状況を示すための図であり、（Ａ）は、各１本の白黒の線巾に複数の画素が対応するような低周波の解像例を示し、（Ｂ）は、各１本の白黒の線巾に各１個の画素が対応するような高周波（限界解像付近）の解像例を示している。なお、図中の右上から左下の線は、くさびの方向を示している。
【０００９】
さて、このような斜めくさびの画像に対して、上記基本測定の考え方に倣い、まず第１に、（記録画素の配列方向ではなく）くさびの方向を基準として、これに直交する方向に単純に主走査することを考えた場合、図１０（Ａ）については特に問題は生じないが、図１０（Ｂ）に関してはうまく行かない。たとえば甲のラインでは黒ばかり、乙のラインでは白ばかりとなり、本来の（視覚的には認識される）白黒交互の線が認識できないことになる。また、もし仮に何らかの工夫によってこのような斜め主走査による測定が可能になったとしても、同じ「解像度」を評価するのに、上記基本測定とは異なるもう一つの別の処理方法を用いたのでは、手法の信頼性の観点からも、また実用上の観点からも好ましくない。
【００１０】
そこで、第２に、この図１０（Ｂ）の画像を４５度回転してやることで、上記基本測定を適用する、すなわち画像回転により、くさびの方向を画素配列の方向と一致させ、基本測定のデータ解析時における副走査方向にくさびの方向を合わせる場合が考えられる。しかしながら、この時、ただ単純に画像を４５度回転させたのでは、上記斜め走査と同様の困難が生じてうまくは行かない。
【００１１】
図１１に、仮想的な回転後の画素を示したが、本来画素データが存在するのはＡＣＥＭＯＱなどの（奇，奇）格子点と、ＨＪＬＳＵＷなどの（偶，偶）格子点のみである。これを上記解析（自動測定）を可能とするためには、何らかの形で直交格子点に載せる必要があるが、上記（奇，奇）格子点と（偶，偶）格子点を順に直交格子点に並べたとすれば、斜めに走査した場合と同様、図１２に示すように、黒のみのライン（たとえばＡＣＥ）と白のみのライン（たとえばＨＪＬ）が得られるだけで、本来の線は認識できないことになる。
【００１２】
一方、従来においては、４５度の画像回転処理の場合、本来画素データが存在しない（奇，偶）または（偶，奇）格子点に、その隣接４画素の補間（平均）値をもって新規画素として生成することが常套的に行われている。そして、図１１に対し、このような補間処理を施して正方格子画素を生成したとすれば、新たな生成画素（ＢＤＦＧＩＫ・・・）は、全て白と黒の平均値であるグレーレベルとなり、上記極値検出によれば、一応白黒の線を検出することはできることにはなる。しかしながら、その白黒の波の振幅という点では、明らかに本来の１／２に減少している。
【００１３】
すなわち、図１３に示すように、水平垂直方向の測定の場合に対して明らかな差異が存在していることになる。なお、これらの図は実写画像とは異なる特定の一つのケースに過ぎないものであり、このような特定の一例に関しても明らかに違う特性が得られるという事情に鑑みれば、極めて多様な実写画像が適用された場合には、極値（白黒線）検出にも影響がでる可能性を否定できない。実際、限界解像付近ではそのレスポンスは極めて小さくなっていることが多いから、補間前の白黒の差（振幅）が最小値１（＝デジタル量子化レベル）しかなかったとすれば、上記グレーレベルは演算時に切り捨てられ所謂ビット落ちを生じて黒と同じデータになってしまうため、上記白黒の線を検出することは不可能となってしまうものである。
【００１４】
すなわち、結局このような差異の存在は、最終的に測定される「限界解像度」が、水平あるいは垂直方向に関して測定されるそれと同一の物理的根拠に基づくものと言えるかどうか、あるいは視覚的認識との対応が期待できるものであるかに関して、極めて大きな疑念を抱かせるものであって、到底採用することはできないものである。
【００１５】
この発明は、このような事情を考慮してなされたものであり、たとえば情報不在格子点に対する補間のための画素情報生成等を行わずにくさびチャートが撮像された画像を４５度回転させることにより、斜め方向の解像度自動測定を適切に実行することを可能とした画像処理装置および画像処理方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
前述した目的を達成するために、この発明の画像処理装置は、解像度を目視測定するために用いられるくさびチャートが撮像された画像であって、そのくさびの方向を当該画像データの画素配列格子の２次元配列方向に対して４５度傾けて撮像された画像を入力し、この入力した画像を４５度回転させた画像を生成するための画像処理装置であって、前記入力した画像をくさびの方向が解像度測定時の副走査方向となる垂直方向に一致するように回転させ、その際、前記入力した画像の各画素に対してその画素値を有する画素を回転後のくさびの方向に２つずつ隣接させた画像を生成する画像生成手段を具備することを特徴とする。
【００１８】
この画像処理装置においては、解像度を目視観測するために用いられる、いわゆるくさびチャートを４５度傾けて撮像した画像を−４５度回転させて測定用の画像を生成するときに、原画像の各画素に対し、これをくさびの連続方向に２個ずつ並べていくといった原画素情報の並べ替えだけを実行する。つまり、複数の画素情報を用いた補間による新規画素情報を用いずに測定用の新たな画像を生成する。
【００１９】
これにより、斜め４５度方向に対しても、チャート線の連続性に着目した解析による、再現性が高く、かつ原理的に優れた解像度の自動測定を適切に実行させることを可能とする。
【００２０】
【発明の実施の形態】
以下、図面を参照してこの発明の一実施形態を説明する。
【００２１】
図１は、この発明の実施形態に係る画像処理システムによって処理される画像を撮影する電子カメラの構成を示すブロック図である。
【００２２】
図中、１０１は各種レンズからなる撮像レンズ系、１０２はレンズ系１０１を駆動するためのレンズ駆動機構、１０３はレンズ系１０１の絞り及びシャッタ装置を制御するための露出制御機構、１０４はローパス及び赤外カット用のフィルタ、１０５は被写体像を光電変換するためのＣＣＤカラー撮像素子、１０６は撮像素子１０５を駆動するためのＣＣＤドライバ、１０７はＡ／Ｄ変換器等を含むプリプロセス回路、１０８はγ変換などを初めとする各種のディジタル演算処理を行うためのディジタルプロセス回路、１０９はカードインターフェース、１１０はメモリカード、１１１はＬＣＤ画像表示系を示している。また、図中の１１２は各部を統括的に制御するためのシステムコントローラ、１１３は各種ＳＷからなる操作スイッチ系、１１４は操作状態及びモード状態等を表示するための操作表示系、１１５は発光手段としてのストロボ、１１６はレンズ駆動機構１０２を制御するためのレンズドライバ、１１７は露出制御機構１０３及びストロボ１１５を制御するための露出制御ドライバ、１１８は各種設定情報等を記憶するための不揮発性メモリ（ＥＥＰＲＯＭ）を示している。
【００２３】
一方、図２は、この発明の実施形態に係る画像処理システムが動作するパーソナルコンピュータの構成を示すブロック図である。
【００２４】
図中、２０１は各部を統括的に制御するためのＣＰＵ、２０２はこのコンピュータの主記憶となるシステムメモリ、２０３はこのコンピュータの外部記憶となる磁気ディスク装置、２０４はこのコンピュータにおけるユーザインタフェースのアウトプットを司るディスプレイコントローラ、２０５はこのコンピュータにおけるユーザインタフェースのインプットを司るキーボードコントローラ、２０６はカードインタフェース、２０７はメモリカードを示している。また、ディスプレイコントローラ２０４は、ＣＰＵ２０１が作成した表示データをＣＲＴ２０４ａ，ＬＣＤ２０４ｂに表示制御し、キーボードコントローラ２０５は、キーボード２０５ａ，マウス２０５ｂの操作をＣＰＵ２０１に伝達する。そして、この画像処理システムは、磁気ディスク装置２０３からシステムメモリ２０２にロードされてＣＰＵ２０１によって実行されるプログラムとして構成される。
【００２５】
次に、この画像処理システムが実行する画像処理（画像の回転）の基本原理について説明する。図３は、この画像処理システムにおける画像処理のメインフローである。
【００２６】
検査担当者は、まず、被検カメラである電子カメラを用いて、たとえば図４に示すチャートを撮影する。この撮影されたチャートの画像は、メモリカード１１０に格納されるが、検査担当者は、このメモリカード１１０を電子カメラから取り外してメモリカード２０７としてパーソナルコンピュータに装着し直すことにより、このチャート画像をパーソナルコンピュータへ取り込ませる（ステップＳ１）。
【００２７】
なお、この電子カメラからパーソナルコンピュータへの画像の引き渡しは、必ずしもメモリカードを介在させるものではなく、たとえばデータを送受信するための通信機能を双方が備えれば、その通信機能によって行えばよい。
【００２８】
この図４に示すチャートは、ＩＳＯ１２２３３Ｒｅｓｏｌｕｔｉｏｎチャートであり、解像度の目視測定に用いられる代表的なチャートである。そして、この画像処理システムでは、このチャート画像からくさびチャートを含む矩形領域ｂを切り出す（ステップＳ２）。図５は、この時に切り出された矩形画像の一例を示す図である。この画像は、先に示した図１０に相当する。
【００２９】
この矩形領域の切り出しは、検査担当者が、ＣＲＴ２０４ａまたはＬＣＤ２０４ｂに表示されたチャート画像上の所望の位置にマウス２０５ｂで始点および終点を指定することにより実行する。画像処理システムは、この指定された始点および終点それぞれについて、その点を通過する水平線および垂直線を仮想的に描画し、この仮想的に描画した各線で囲まれた部分を矩形領域として切り出しを実行する。
【００３０】
次に、この画像処理システムは、以下に示す演算により、この切り出した画像の回転を実行する（ステップＳ３）。ここでは、まず、この画像を左に４５度回転させることについて説明する。
【００３１】
まず、原座標を（ｉ，ｊ）（ただし、切り出した画像の存在範囲は、０≦ｉ≦Ｌｘ，０≦ｊ≦Ｌｙとする）、生成座標を（Ｉ，Ｊ）としたとき、原画像の全画素について、各１点の原画素データ値ＸＤａｔａ（ｉ，ｊ）に対して、ＸＤａｔａ（Ｉ，Ｊ）とＸＤａｔａ（Ｉ，Ｊ＋１）との２点（ただし、Ｉ＝ｉ＋ｊ，Ｊ＝Ｌｘ−ｉ＋ｊ）を生成する。図６は、これをプログラム言語ＢＡＳＩＣの書法で表現したものである（生成画像のデータを格納する配列をYとする）。
【００３２】
なお、対象信号は、輝度信号またはＲＧＢコンポーネント信号であり、上記演算は、輝度信号の場合はそのまま、コンポーネント信号に対しては各色毎に適用される。
【００３３】
また、右回転の場合は、上記「Ｉ＝ｉ＋ｊ，Ｊ＝Ｌｘ−ｉ＋ｊ」を「Ｉ＝Ｌｙ＋ｉ−ｊ，Ｊ＝ｉ＋ｊ」に置き換えれば良い。
【００３４】
このような処理を行なえば、図７に示したように、くさび方向に認識されるべき白黒の各線（波面）は、くさびの方向への連続性を失うことなく、かつ本来の振幅を保ったまま回転されることになるから、これによって測定される限界解像度は、上記基本測定法によって測定される垂直および水平解像度と等価なものとなる。図５の画像をこの処理によって左に４５度回転させた画像（回転によって生成した画像）を図８に示す。
【００３５】
次に、この画像処理システムは、これによって得られた画像から、所定の矩形を切り出す（ステップＳ４）。この切り出しは、ステップＳ２と同様の手順で実行する。そして、この画像処理システムは、この切り出した画像を、チャート撮影画像ファイルの垂直画素数（画像高）データＰＨｔを補正した値ＰＨｔ＝√２×ＰＨｔと併せて基本測定処理部に送出して、切り出し画像の解像度測定を実行させる（ステップＳ５）。なお、補正したＰＨｔを送る代わりに、元のＰＨｔと補正フラグを併せて送り、基本測定処理部で値を補正するようにしても良い。このときに補正が必要な理由は、基本測定処理においては、チャートの撮影倍率を「撮影画像ファイルの垂直画素数（画像高）」と「くさびの全長（縦長さ）に対応する画素数」の比率によって求めて解像本数の演算に用いていることに関して、
（１）くさびを４５度傾けた。
【００３６】
（２）回転処理時に、原１画素から垂直２画素を生成していること。
【００３７】
の総合的結果として、水平垂直の測定時に比してくさび全長に対応する画素数が√２倍（←ｃｏｓ４５ｄｅｇ）になっていることによる。
【００３８】
以上によって、斜め４５度方向に対しても、その限界解像度を正確に、かつ再現性高く測定することが可能となる。
【００３９】
なお、ここでは、ＩＳＯ１２２３３Ｒｅｓｏｌｕｔｉｏｎチャートに設けられたくさびチャートを例に説明したが、これに限らず、たとえばＥＩＡＪ−Ａチャートに設けられる、帯が直線的に描かれたくさびチャートの場合も、この画像処理の手法は適用可能である。
【００４０】
また、ここでは、電子カメラで撮影されたチャートの画像をカード経由でパーソナルコンピュータに取り込み、そのパーソナルコンピュータで画像処理を実行する例、つまり、この画像処理の手法をパーソナルコンピュータ上で実現する例を示したが、これに限らず、専用の画像処理装置として実現しても構わない。また、この機能を電子カメラ自体に組み込めば、たとえば電子カメラが解像度の異なる複数の撮像モードを有する場合に、これらを各別に実測することや、あるいは製造時や修理時における（たとえば光学系や自動合焦系などを含めた）性能試験を極めて容易に実施できるようになる。
【００４１】
つまり、本願発明は、前記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、前記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００４２】
【発明の効果】
以上、詳述したように、この発明によれば、解像度を目視観測するために用いられる、いわゆるくさびチャートを４５度傾けて撮像した画像を−４５度回転させて測定用の画像を生成するときに、原画像の各画素に対し、これをくさびの連続方向に２個ずつ並べていくといった原画素情報の並べ替えだけを実行する。つまり、複数の画素情報を用いた補間による新規画素情報を用いずに測定用の新たな画像を生成する。
【００４３】
これにより、斜め４５度方向に対しても、チャート線の連続性に着目した解析による、再現性が高く、かつ原理的に優れた解像度の自動測定を適切に実行させることを可能とする。
【図面の簡単な説明】
【図１】この発明の実施形態に係る画像処理システムによって処理される画像を撮影する電子カメラの構成を示すブロック図。
【図２】同実施形態に係る画像処理システムが動作するパーソナルコンピュータの構成を示すブロック図。
【図３】同実施形態の画像処理システムにおける画像処理のメインフロー。
【図４】同実施形態の画像処理システムで用いるＩＳＯ１２２３３Ｒｅｓｏｌｕｔｉｏｎチャートを示す図。
【図５】同実施形態の画像処理システムが図４のＩＳＯ１２２３３Ｒｅｓｏｌｕｔｉｏｎチャートから切り出した矩形画像の一例を示す図。
【図６】同実施形態の画像処理システムが実行する画像回転をプログラム言語ＢＡＳＩＣの書法で表現した図。
【図７】同実施形態の画像処理システムにより生成された回転画像の画素配列を説明するための概要図。
【図８】同実施形態の画像処理システムが図５の画像を回転させて生成した新たな画像を例示する図。
【図９】解像度の目視測定に用いられる代表的なＩＳＯ１２２３３Ｒｅｓｏｌｕｔｉｏｎチャートを示す図。
【図１０】解像度の自動測定に適用させることが困難であった斜め解像の状況を示すための図。
【図１１】仮想的な回転後の画素配列を示す図。
【図１２】（奇，奇）格子点と（偶，偶）格子点を順に直交格子点に並べた場合の画素配列を示す図。
【図１３】本来画素データが存在しない（奇，偶）または（偶，奇）格子点に、その隣接４画素の補間（平均）値をもって新規画素として生成した場合の画素配列を示す図。
【符号の説明】
１０１…レンズ系
１０２…レンズ駆動機構
１０３…露出制御機構
１０４…フィルタ系
１０５…ＣＣＤカラー撮像素子
１０６…ＣＣＤドライバ
１０７…プリプロセス回路
１０８…ディジタルプロセス回路
１０９…カードインターフェース
１１０…メモリカード
１１１…ＬＣＤ画像表示系
１１２…システムコントローラ
１１３…操作スイッチ系
１１４…操作表示系
１１５…ストロボ
１１６…レンズドライバ
１１７…露出制御機構
１１８…不揮発メモリ（ＥＥＰＲＯＭ）
２０１…ＣＰＵ
２０２…システムメモリ
２０３…磁気ディスク装置
２０４…ディスプレイコントローラ
２０４ａ…ＣＲＴ
２０４ｂ…ＬＣＤ
２０５…キーボードコントローラ
２０５ａ…キーボード
２０５ｂ…マウス

Claims

解像度を目視測定するために用いられるくさびチャートが撮像された画像であって、そのくさびの方向を当該画像データの画素配列格子の２次元配列方向に対して４５度傾けて撮像された画像を入力し、この入力した画像を４５度回転させた画像を生成するための画像処理装置であって、
前記入力した画像をくさびの方向が解像度測定時の副走査方向となる垂直方向に一致するように回転させ、その際、前記入力した画像の各画素に対してその画素値を有する画素を回転後のくさびの方向に２つずつ隣接させた画像を生成する画像生成手段を具備することを特徴とする画像処理装置。
解像度を目視測定するために用いられるくさびチャートが撮像された画像であって、そのくさびの方向を当該画像データの画素配列格子の２次元配列方向に対して４５度傾けて撮像された画像を入力し、この入力した画像を４５度回転させた画像を生成するための画像処理方法であって、
前記入力した画像をくさびの方向が解像度測定時の副走査方向となる垂直方向に一致するように回転させ、その際、前記入力した画像の各画素に対してその画素値を有する画素を回転後のくさびの方向に２つずつ隣接させた画像を生成することを特徴とする画像処理方法。