JP4324271B2

JP4324271B2 - 画像処理装置およびその方法

Info

Publication number: JP4324271B2
Application number: JP10918999A
Authority: JP
Inventors: 憲彦村田; 貴史北口
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1999-04-16
Filing date: 1999-04-16
Publication date: 2009-09-02
Anticipated expiration: 2019-04-16
Also published as: JP2000307947A

Description

【０００１】
【発明の属する技術分野】
【０００２】
この発明は、デジタルスチルカメラなどに用いられ、被写体面を撮影した画像の斜め撮影による歪みの補正を行う画像処理装置及びその方法に関する。
【従来の技術】
【０００３】
コンピュータ・ネットワークの急速な進歩とともにビジネスの在り方も多様化し、あらゆる局面で重要な情報を素早く取得する必要性が生じている。それに伴い、携帯型の入力装置を用いて平面状の文書や写真を簡便かつ高精度に入力することへの要求が高まっている。現状では、デジタルスチルカメラのような画像入力装置を用いて、A4程度の大きさの紙面文書等の被写体面を撮影した画像情報を活用するという応用例がある。
【０００４】
しかしこの応用例においては、上記装置の撮像面が紙面に対して平行でない状態で撮影した場合、撮影した画像に遠近効果による歪みが生じるという不具合がある。
【０００５】
これに対して、特開平3-94383号公報には、既知の固定形状を想定し、この固定形状内に入力画像を配置して、固定形状の歪み方を調べることにより、本来の平面上での形状になる変換パラメータを発見し、斜め撮影による画像の歪みを補正するという技術が開示されている。
【０００６】
また、特開平5-101221号公報においては、被写体面に直交格子を導入し、各格子点の空間座標を求め、撮像面に設けられた座標系に直交変換を施して射影することにより、画像歪みを補正するという技術が開示されている。
【０００７】
特開平9-289600号公報においては、カメラの撮像面と被写体面とのなす傾斜角を入力する角度設定手段と、被写体までの距離を測定する測距手段を設け、角度設定手段を用いて傾斜角を入力した状態で被写体を撮影することにより、上記傾斜角と測距手段で検出された被写体距離に基づいて、被写体を正面から見た画像に補正するという技術が開示されている。
【０００８】
特開平10-79878号公報においては、撮像面を走査させて被写体を周期的に撮像した分割画像を、アフィン変換などの2次元の座標変換処理によって繋ぎ合わせた合成画像において、同じ連結成分ごとにラベル付けし、ラベル付けされた画像の連結成分をその大きさによって直線、文字及び図形に分類し、分類された直線或いは文字基線の傾きを評価し、文字の外接矩形と直線の距離を保持して、評価された傾きの分だけ直線を回転させて補正することにより、解像度の高い画像を得るという静止画像撮像装置が開示されている。
【発明が解決しようとする課題】
【０００９】
しかし、特開平3-94383号公報に開示の技術では、撮影対象を形状が既知の固定図形内に配置する必要があり、紙面を撮影するために面倒な作業が必要である。
【００１０】
また、特開平5-101221号公報に開示の技術では、被写体面に直交格子を重ねあわせ、各格子点の２次元座標を手動で入力するという作業が必要であり、簡便な動作で被写体面を撮影するのは極めて困難である。
【００１１】
さらに、特開平9-289600号公報に開示の技術では、角度設定手段を操作して撮像面と被写体面とのなす傾斜角を正確に手動入力するのは非常に困難であり、その結果高い精度で画像の歪みを補正するのも困難になる。
【００１２】
また前記応用例においては、新聞紙等の大面積の紙面情報やパネルや壁に描かれた情報を、上記装置で高い解像度で読み込むことが極めて困難であるという不具合もある。
【００１３】
そこで、携帯可能な画像入力装置でこれらの大きな被写体を分割撮影して、得られた複数枚の画像を貼り合わせて、1枚の合成画像を作成して解像度の高い画像を得るという技術がある。その例が前記特開平10-79878号公報に開示の技術である。
【００１４】
しかし、一般に各々の分割画像を撮像した時の撮像装置の文書に対する姿勢はそれぞれ異なるので、前記合成画像の画面上の位置によって直線や文字基線の傾きはまちまちである。そのため、合成画像の至る所で上記ラベル付け、傾きの評価、回転補正を行う必要があり、処理が非常に煩雑となる。
【００１５】
この発明の目的は、撮像面と被写体面とが互いに傾いた状態で撮影された画像の歪みを補正し、かつこれらの画像から歪みの補正された合成画像を簡単に作成することである。
【課題を解決するための手段】
【００１６】
請求項１に記載の発明は、被写体面を画像として撮像する手段と、前記撮像する手段で撮像する際に、前記被写体面に光を照射し、前記被写体面からの反射光の向きに基づいて、前記被写体面上の３以上の点の前記撮像する手段を基準とする３次元座標を算出する手段と、前記算出する手段で算出された各点の３次元座標に基づいて、前記撮像する手段に対する前記被写体面の向きを求める手段と、前記求める手段で求められた被写体面の向きに基づいて、前記撮像された画像を前記被写体面正面から撮像された画像に変換して前記撮像された画像の歪みを補正する手段と、を備えていることを特徴とする画像処理装置である。
【００１７】
したがって、任意の被写体面を任意の視点・姿勢で撮影した場合でも、平面を計測することにより、簡便に画像の歪みを補正することができる。
【００１８】
請求項２に記載の発明は、先に撮像した基準画像と一部が重複するように被写体面を参照画像として撮像する手段と、前記撮像する手段で撮像する際に、前記被写体面に光を照射し、前記被写体面からの反射光の向きに基づいて、前記被写体面上の３以上の点の前記撮像する手段を基準とする３次元座標を算出する手段と、前記算出する手段で算出された各点の３次元座標に基づいて、前記撮像する手段に対する前記被写体面の向きを求める手段と、前記基準画像から複数の特徴点を抽出し、前記参照画像から前記特徴点に対応する対応点を検出する対応検出手段と、前記対応検出手段が検出した特徴点と対応点とに基づいて、前記基準画像を前記参照画像上に座標変換して前記基準画像と前記参照画像とを貼り合せる手段と、前記求める手段で求められた前記参照画像を撮像する際の前記撮像する手段に対する前記被写体面の向きに基づいて、前記貼り合わせた画像を前記被写体面正面から撮像された画像に変換して前記撮像された画像の歪みを補正する手段と、を備えている画像処理装置である。
【００１９】
したがって、任意の被写体面を任意の視点・姿勢で撮影した複数の画像を貼り合わせた画像を、計測した被写体面の向きを用いて座標変換することにより、簡便に歪みのない合成画像を作成することができる。
【００２０】
請求項３に記載の発明は、先に撮像した基準画像と一部が重複するように被写体面を参照画像として撮像する手段と、前記撮像する手段で撮像する際に、前記被写体面に光を照射し、前記被写体面からの反射光の向きに基づいて、前記被写体面上の３以上の点の前記撮像する手段を基準とする３次元座標を算出する手段と、前記算出する手段で算出された各点の３次元座標に基づいて、前記撮像する手段に対する前記被写体面の向きを求める手段と、前記求める手段で求められた前記被写体面の向きに基づいて、前記撮像された画像を前記被写体面正面から撮像された画像に変換して前記撮像された画像の歪みを補正する手段と、前記補正する手段で補正された前記基準画像から複数の特徴点を抽出して、前記補正する手段で補正された前記参照画像から前記特徴点に対応する対応点を検出する対応検出手段と、前記対応検出手段が検出した前記特徴点と前記対応点とに基づいて、前記補正された基準画像を前記補正された参照画像上に座標変換することにより画像を貼り合せる手段と、を備えている画像処理装置。
【００２１】
したがって、任意の被写体面を任意の視点・姿勢で撮影した場合でも、平面を計測することにより、簡便に各画像の歪みを補正することができる。
【００２２】
請求項４に記載の発明は、請求項１乃至３のいずれか１に記載の画像処理装置において、前記被写体面の向きを計測する手段は、前記撮像する手段の光軸の前記被写体面の法線ベクトルに対する回転角を算出する。
【００２３】
したがって、撮像する手段の光軸の被写体面の法線ベクトルに対する回転角を算出することにより、簡便に画像の歪みを補正することができる。
【００２４】
請求項５に記載の発明は、請求項１乃至３のいずれか１に記載の画像処理装置において、前記補正する手段は、前記撮像された画像を前記被写体面の法線ベクトルの方向から撮像された画像に補正する。
【００２５】
したがって、撮像された画像を被写体面の法線ベクトルの方向から撮像された画像に補正することにより、簡便に画像の歪みを補正することができる。
【００２８】
請求項６に記載の発明は、請求項１乃至５のいずれか１に記載の画像処理装置において、前記補正する手段により補正された画像の画面上での傾きを補正する傾き補正手段をさらに備える。
【００２９】
したがって、撮影した各々の画像や貼り合わせた画像における被写体像の歪み・傾きを補正することができる。
【００３０】
請求項７に記載の発明は、撮像する手段により被写体面を画像として撮像する工程と、前記撮像する工程で撮像する際に、前記被写体面に光を照射し、前記被写体面からの反射光の向きに基づいて、前記被写体面上の３以上の点の前記撮像する手段を基準とする３次元座標を算出する工程と、前記算出する工程で算出された各点の３次元座標に基づいて、前記撮像する手段に対する前記被写体面の向きを求める工程と、前記求める工程で求められた被写体面の向きに基づいて、前記撮像された画像を前記被写体面正面から撮像された画像に変換して前記撮像された画像の歪みを補正する工程と、を備えていることを特徴とする画像処理方法である。
【００３１】
したがって、任意の被写体面を任意の視点・姿勢で撮影した場合でも、平面を計測することにより、簡便に画像の歪みを補正することができる。
【００３２】
請求項８に記載の発明は、撮像する手段により先に撮像した基準画像と一部が重複するように被写体面を参照画像として撮像する工程と、前記撮像する工程で撮像する際に、前記被写体面に光を照射し、前記被写体面からの反射光の向きに基づいて、前記被写体面上の３以上の点の前記撮像する工程を基準とする３次元座標を算出する工程と、前記算出する工程で算出された各点の３次元座標に基づいて、前記撮像する手段に対する前記被写体面の向きを求める工程と、前記基準画像から複数の特徴点を抽出し、前記参照画像から前記特徴点に対応する対応点を検出する対応検出工程と、前記対応検出工程が検出した特徴点と対応点とに基づいて、前記基準画像を前記参照画像上に座標変換して前記基準画像と前記参照画像とを貼り合せる工程と、前記求める工程で求められた前記参照画像を撮像する際の前記撮像する手段に対する前記被写体面の向きに基づいて、前記貼り合わせた画像を前記被写体面正面から撮像された画像に変換して前記撮像された画像の歪みを補正する工程と、を備えている画像処理方法である。
【００３３】
したがって、任意の被写体面を任意の視点・姿勢で撮影した複数の画像を貼り合わせた画像を、計測した被写体面の向きを用いて座標変換することにより、簡便に歪みのない合成画像を作成することができる。
【００３４】
請求項９に記載の発明は、撮像する手段により先に撮像した基準画像と一部が重複するように被写体面を参照画像として撮像する工程と、前記撮像する工程で撮像する際に、前記被写体面に光を照射し、前記被写体面からの反射光の向きに基づいて、前記被写体面上の３以上の点の前記撮像する手段を基準とする３次元座標を算出する工程と、前記算出する工程で算出された各点の３次元座標に基づいて、前記撮像する手段に対する前記被写体面の向きを求める工程と、前記求める工程で求められた前記被写体面の向きに基づいて、前記撮像された画像を前記被写体面正面から撮像された画像に変換して前記撮像された画像の歪みを補正する工程と、前記補正する工程で補正された前記基準画像から複数の特徴点を抽出して、前記補正する手段で補正された前記参照画像から前記特徴点に対応する対応点を検出する対応検出工程と、前記対応検出工程が検出した前記特徴点と前記対応点とに基づいて、前記補正された基準画像を前記補正された参照画像上に座標変換することにより画像を貼り合せる工程と、を備えている画像処理方法である。
【００３５】
したがって、任意の被写体面を任意の視点・姿勢で撮影した場合でも、平面を計測することにより、簡便に各画像の歪みを補正することができる。
【００３６】
請求項１０に記載の発明は、請求項７乃至９のいずれか１に記載の画像処理方法において、前記被写体面の向きを求める工程は、前記撮像する手段の光軸の前記被写体面の法線ベクトルに対する回転角を算出する。
【００３７】
したがって、撮像する手段の光軸の被写体面の法線ベクトルに対する回転角を算出することにより、簡便に画像の歪みを補正することができる。
【００３８】
請求項１１に記載の発明は、請求項７乃至９のいずれか１に記載の画像処理方法において、前記補正する工程は、前記撮像された画像を前記被写体面の法線ベクトルの方向から撮像された画像に補正する。
【００３９】
したがって、撮像された画像を被写体面の法線ベクトルの方向から撮像された画像に補正することにより、簡便に画像の歪みを補正することができる。
【００４２】
請求項１２に記載の発明は、請求項７乃至１１のいずれか１に記載の画像処理方法において、前記補正する工程により補正された画像の画面上での傾きを補正する傾き補正工程をさらに備える。
【００４３】
したがって、撮影した各々の画像や貼り合わせた画像における被写体像の歪み・傾きを補正することができる。
【発明の実施の形態】
【００４４】
［発明の実施の形態１］図１に示すような被写体面を撮影した時に生じる画像の歪みを補正する画像処理装置１の構成・動作について以下に説明する。図２は、この発明の実施の形態１である画像処理装置１の構成を示すブロック図である。
【００４５】
すなわち画像処理装置１は、撮像手段２と、撮像手段２により得られた画像信号に処理を施す信号処理手段３と、信号処理手段３の出力が供給されるメモリ制御手段４、主制御手段５及びインターフェース（以下Ｉ／Ｆと略す）６と、メモリ制御手段４の指令により画像信号を蓄積するフレームメモリ７と、Ｉ／Ｆ６を経由して画像信号を表示する表示手段８と、Ｉ／Ｆ６を経由して画像信号をはじめとする種々の信号の読み書きを行う外部記憶手段９とを有する。その他、撮像手段２を基準にした被写体面の向きを計測する平面計測手段１０と、平面計測手段１０の出力した前記被写体面の向きを基に、撮影した画像における斜め撮影による歪みを補正する画像歪み補正手段１１をも有している。
【００４６】
以下、各ブロックの詳細を説明する。撮像手段２は、レンズ１２、絞り１３、シャッタ１４、光電変換素子１５及び前処理手段１６より構成されている。光電変換素子１５には、例えばCCD（charge coupled device）が使用される。また前処理手段１６は、プリアンプやAGC（auto gain controll）等のアナログ信号処理やアナログ−デジタル変換器（以下A/D変換器と略す）を備えており、光電変換素子１５より出力されたアナログ映像信号に対して増幅・クランプ等の前処理を施した後、上記アナログ映像信号をデジタル映像信号に変換する。
【００４７】
信号処理手段３は、デジタル信号処理プロセッサ（DSPプロセッサ）等により構成されており、撮像手段２より得られたデジタル映像信号に対して色分解、ホワイトバランス調整、γ補正等の種々の画像処理を施す。メモリ制御手段４は、こうして処理された画像信号をフレームメモリ７に格納したり、逆にフレームメモリ７に格納された画像信号を読み出す。フレームメモリ７は、少なくとも１枚の画像を格納可能であり、一般的にVRAM、SRAM、DRAM等が使用される。フレームメモリ７から読み出された画像信号の記録は、信号処理手段３において画像信号に対して画像圧縮等の信号処理を施した後、Ｉ／Ｆ６を介して外部記憶手段９に保存することによって行われる。外部記憶手段９は、ICメモリカードや光磁気ディスク等が使用できるが、モデムカードやISDNカードを利用して、ネットワークを経由して画像信号を直接遠隔地の記録媒体に送信しても構わない。逆に、外部記憶手段９に記録された画像信号の読み出しは、Ｉ／Ｆ６を介して信号処理手段３に画像信号を送信し、信号処理手段３において画像伸張を施すことによって行われる。一方、外部記憶手段９及びフレームメモリ７から読み出された画像信号の表示は、信号処理手段３において画像信号に対してデジタル−アナログ変換（以後D/A変換と略す）や増幅等の信号処理を施した後、Ｉ／Ｆ６を介して表示手段８に送信することによって行われる。表示手段８は、例えば画像処理装置１の筐体に設置された液晶表示装置より構成される。
【００４８】
平面計測手段１０は、各々の画像を撮影する時の、画像処理装置１に対する被写体面の向きを計測する。平面計測手段１０は一例として図３のように、スポット光源２１、受光素子２２、３次元座標算出手段２３、平面算出手段３４より構成される。スポット光源２１は発光ダイオードや半導体レーザー等の光源２５、ポリゴンミラーなどの走査ミラー２６及び走査ミラー２６の動きを制御する駆動手段２７より構成され、光源２５より発生したスポット光が被写体面に当たるように光の向きを制御する部分であり、その光の向きは駆動手段２７より出力される信号により検出される。受光素子２２は、スポット光源２１と位置関係が既知である場所に設置されたPSD（position sensitive detector）やCCD等の光電変換素子より構成され、被写体面より戻ってきた反射光の向きを検出する。３次元座標算出手段２３は、スポット光源２１の照射したスポット光の向き、スポット光源２１と受光素子２２との位置関係、及び受光素子２２が検出した反射光の向きより、三角測量の原理で画像処理装置１を基準にした被写体面の３次元座標（Ｘ，Ｙ，Ｚ）を算出する。平面算出手段３４は、３次元座標算出手段２３が算出した、同一直線上にない３点以上の３次元座標を用いて、平面方程式を推定する。例えば、求める平面方程式を、
【００４９】
【数１】

とおき、Ｎ点の３次元座標（Ｘi，Ｙi，Ｚi）（ｉ＝１，…，Ｎ）を用いて、上記平面方程式の４つのパラメータ（ａ，ｂ，ｃ，ｄ）を、次式で示す最小自乗法により算出する。
【００５０】
【数２】

画像歪み補正手段１１は、平面計測手段１０が出力した被写体面の向きを表す３つのパラメータ（ａ，ｂ，ｃ）を用いて、被写体面を正面から撮影した画像に変換することにより、斜め撮影による画像の歪みを補正する。本実施の形態では図４のように、平面計測手段１０が計測した被写体面に平行な平面を被投影面として、該被投影面に向かって歪んだ被写体像を持つ画像を投影することにより、画像の歪みを補正する。このようにして歪みが補正された画像を、以下歪み補正画像と呼ぶ。以下、歪み補正画像を作成する方法について、詳細に説明する。
【００５１】
まず、画像座標（ｘ，ｙ）に対応する視線の向きを定める。撮像手段２の光学系は図５のように、ｘ軸：画像面右向きを正ｙ軸：画像面下向きを正ｚ軸：光軸方向；対象に向かう向きを正原点０：撮像手段２の光学中心ｆ：焦点距離とする中心射影モデルであると仮定し、以後このｘｙｚ座標系を装置座標系と呼ぶ。すると、（ｘ，ｙ）に対応する視線の向きは、装置座標系を基準にした次の３次元ベクトルＰで表すことができる。
【００５２】
【数３】

次に図６のように、装置座標系のz軸を、被投影面の単位法線ベクトルに変換するような回転行列Ｒを求める。この場合、次の関係式が成立する。
【００５３】
【数４】

(4)式を満たす回転行列Ｒは多数存在するが、ここでは回転行列Ｒを次式のように定義する。
【００５４】
【数５】

これは図７のように、以下の順序で装置座標系を回転させることに相当する。
(1) 装置座標系を、ｙ軸回りにβだけ回転する。この回転によりできる座標系をｘ1ｙ1ｚ1座標系とする。
(2) 装置座標系を、ｘ1軸回りにαだけ回転するこの時、ａ2＋ｂ2＋ｃ2＝１（ｃ＞０）、及び(4)〜(6)式を用いると、回転角α，βは次式のように導出される。
【００５５】
【数６】

以上で求められた回転角α，βを(5)式に代入することにより、Ｒを一意に定めることができる。
【００５６】
最後に、これまでの手順で求められた３次元ベクトルｐ、回転行列Ｒ、及び被写体面の向きを表す３つのパラメータ（ａ，ｂ，ｃ）を用いて、画像座標（ｘ，ｙ）を被投影面上に座標変換する。すなわち図４において、画像面の１点に対応する３次元ベクトルＰを延長した時に被投影面と交差する点ｐを、座標変換後の画像座標とする。装置座標系を基準とした、点ｐに対応する３次元ベクトルをＰとすると、Ｐは次式で表される。
【００５７】
【数７】

ここでｋは、撮像手段２の光学中心０から被投影面までの距離を表す拡大係数であるが、前述したように該被投影面に向かって画像を投影することにより歪みを補正するので、ｋは作成される歪み補正画像の大きさを表している。また、Ｐは点ｐを画像撮影時の装置座標系を基準に表したベクトルであるが、Ｐを回転行列Ｒを用いて次式のように座標変換することにより、画像処理装置１を被写体面と正対させた時の３次元ベクトルＰ´に変換する。
【００５８】
【数８】

したがって、(10)式の３次元ベクトルＰ´のｘ座標、ｙ座標を、点（ｘ，ｙ）の座標変換後の画像座標とすることにより、補正変換後の画像座標（ｘ，ｙ）を得る。整理すると次式のようになる。
【００５９】
【数９】

以上の手順によって、(11)式を用いて画像面上の任意の座標（ｘ，ｙ）を（Ｘ，Ｙ）に座標変換することにより、歪み補正画像を作成することができる。歪み補正画像の画像座標（Ｘ，Ｙ）に対応する変換前の画像座標（ｘ，ｙ）は一般に整数にならないが、双一次補間法やB-スプライン補間法などの既存の方法を用いて補間することにより、画像を作成すればよい。
【００６０】
上記したような画像処理の方法について、図８のフローチャートにより説明する。まず、撮像手段２により被写体面を撮影すると同時に、撮影時における被写体面の向きを表す３つのパラメータを求める（ステップS1）。次に、得られた（ａ，ｂ，ｃ）を基に、先に説明した手順で回転行列Ｒを算出する（ステップS2）。以上の手順で求めた（ａ，ｂ，ｃ）及び回転行列Ｒを基に、(11)式の座標変換を施すことにより歪み補正画像を作成し（ステップS3）、処理を終了する。
【００６１】
［発明の実施の形態２］以下に説明する発明の実施の形態２〜４では、図９のように、画像処理装置１を用いて、異なる場所から同一の被写体面の静止画像を、画像の一部が重複するように、視点1から視点KまでのK箇所から撮影した場合の動作について説明する。視点1で撮影した画像をIm 1、視点2で撮影した画像をIm2などと呼ぶことにする。また、説明を簡単にするため、Im 1とIm 2、Im 2とIm 3のように、隣り合う順序で撮影したImjとIm j+1との間で重複領域を持つと仮定する。
【００６２】
図１０は、この発明の実施の形態２に係る画像処理装置１の構成図である。図１０において、図２と同一符号の部材は、発明の実施の形態１と同様の部材であるので、詳細な説明は省略する。
【００６３】
画像処理装置１は、互いに重複する領域を持つ画像間の特徴点及び対応点を抽出する対応検出手段３１と、対応検出手段３１が出力した特徴点と対応点の関係を基に、座標変換により互いに重複する領域を持つ画像を貼り合わせる画像貼り合わせ手段３２と、画像貼り合わせ手段３２が作成した貼り合わせ画像を記憶する貼り合わせ画像記憶手段３３と、平面計測手段１０の出力した前記被写体面の向きを基に、貼り合わせ画像記憶手段３３に蓄積された貼り合わせ画像の斜め撮影による歪みを補正する合成画像歪み補正手段３４とを有している。
【００６４】
対応検出手段３１、画像貼り合わせ手段３２、貼り合わせ画像記憶手段３３、及び合成画像歪み補正手段３４の構成・動作を、以下説明する。対応検出手段３１は、互いに重複した領域を持つ２枚の画像において同一の部分を撮影した箇所を検出するものである。ここでは、相関演算を用いた方法について説明する。対応検出手段３１は、図１１のように、特徴点設定手段３５、相関演算手段３６より構成される。図１０のフレームメモリ７には、先に撮影した画像（基準画像）と、基準画像と重複した領域を持つ参照画像が蓄積されている。特徴点設定手段３５は基準画像において、特徴点の位置を決定し、特徴点を中心とする濃淡パターンを抽出し、相関窓を作成する。特徴点の位置は、角（corner）のように画像の濃度パターンが特徴的である箇所を抽出することにより決定される。相関演算手段３６は、基準画像で作成した相関窓の濃淡パターンとほぼ一致する箇所を、参照画像において相関演算により検出し、これを対応点と決定する。ここで、相関演算によるブロックマッチングにより対応点を検出する一例について説明する。図１２のように、（２Ｎ＋１）（２Ｐ＋１）の相関窓を用いたブロックマッチングで、基準画像におけるｉ番目の特徴点（ｘi0，ｙi0）と、参照画像における点（ｘi0＋ｄｘi，ｙi0＋ｄｙi）の相互相関値Ｓiは、次式により計算される。
【００６５】
【数１０】

各特徴点に対して、相互相関値Ｓiの最大値が予め定められた閾値以上である点を求めることにより、参照画像における対応点（ｘi0＋ｄｘi，ｙi0＋ｄｙi）が求められる。Ｓiの最大値が閾値以下ならば、対応点は存在しないとする。
【００６６】
画像貼り合わせ手段３２は、対応検出手段３１より出力された特徴点と対応点との関係を基に、基準画像を参照画像に座標変換することにより画像を貼り合わせる。ここでは、座標変換に射影変換を用いると仮定して説明する。射影変換とは、図１３のようにある被写体平面を２枚撮影し、片方を基準画像、もう片方を参照画像とした時に、図１４のように基準画像に写った被写体像を参照画像撮影時の見え方に変換することを指す。これを数式で表すと、基準画像における特徴点（ｘs，ｙs）と参照画像における対応点（ｘr，ｙr）の間に、次式の関係が成立する。
【００６７】
【数１１】

(13)式においては８つの未知パラメータが存在するので、特徴点と対応点の組が４つ以上得られれば、最小自乗法等の計算法により係数ｂ1〜ｂ8を求めることができる。以上の手順で、係数ｂ1〜ｂ8を計算することにより貼り合わせた画像を、射影変換画像と呼ぶことにする。
以上では２視点から撮影した場合の射影変換画像の作成法を説明したが、反復処理により射影変換画像を順次作成して３枚以上の画像を貼り合わせることができる。以下、Im 1〜Im j-1を、Im jに対して射影変換した画像を、PIm j（ 1≦j≦K 、但しPIm 1 = Im 1とする）と呼ぶことにする。PIm jにおいて、Im 1〜Imj-1に写った被写体像はそれぞれ、Imj撮影時の見え方に変換されて、Im jに貼り付けられている。PIm jを作成する反復処理を、以下に示す。
【００６８】
j= 2, … , Kについて、以下の処理を繰り返す。
（ｉ）PIm j-1を基準画像、Im jを参照画像とする。
（ｉｉ）基準画像において特徴点を抽出し、参照画像において対応点を検出する。
（ｉｉｉ）（ｉｉ）で検出した4組以上の特徴点と対応点を用いて、(13)式の係数ｂ1〜ｂ8を求め、PIm j-1をIm jに対して射影変換してPIm jを作成する。
（ｉｖ）jを１つ加算して、（ｉ）に戻る。
【００６９】
以上の反復処理によって、最終的にはIm 1〜Im K-1をIm Kに射影変換した画像PIm Kが得られる、すなわちIm 1〜Im Kから１枚の貼り合わせ画像を作成することができる。こうして作成された貼り合わせ画像は、貼り合わせ画像記憶手段３３に保存される。
【００７０】
合成画像歪み補正手段３４は、前記画像貼り合わせ手段３２が作成した貼り合わせ画像PIm Kにおける歪みを補正するものである。画像貼り合わせ手段３２が作成した貼り合わせ画像PIm Kは既に説明したように、参照画像撮影時の見え方に変換して貼り合わされた画像なので、参照画像において被写体像が歪んでいた場合、当然貼り合わせ画像も歪みを含んでいる。そこで図１５において、参照画像（＝Im K）を撮影した時に、前記平面計測手段１０の出力した被写体面の向きを表す３つのパラメータ（ａ，ｂ，ｃ）を用いて、発明の実施の形態１と同様に、(3)式〜(11)式の処理によって、貼り合わせ画像PIm Kの歪みを補正する。
【００７１】
上記したような画像処理の方法について、図１６のフローチャートにより説明する。まず、撮像手段２により被写体面を撮影し、この画像を基準画像として記憶すると同時に、撮影時における被写体面の向きを表す３つのパラメータ（ａ，ｂ，ｃ）を求める（ステップS11）。続いて、基準画像と一部が重複するように視点及び画像処理装置１の姿勢を変化させて撮像手段２により被写体面を撮影し、この画像を参照画像として記憶すると同時に、撮影時における被写体面の向きを表す３つのパラメータ（ａ，ｂ，ｃ）を求める（ステップS12）。基準画像において特徴点を抽出すると共に、参照画像において該特徴点と同じ箇所を示す対応点を検出する（ステップS13）。こうして得られた特徴点と対応点の関係を基に、先に説明した方法で基準画像を参照画像に対して座標変換した画像を作成する（ステップS14）。その後、さらに画像を撮影して合成する画像を増やす場合には（ステップS15）、以上の処理で作成した貼り合わせ画像を基準画像に置き換えて（ステップS16）、ステップS2からステップS14の動作を繰り返す。そうでない場合には、最後に作成した貼り合わせ画像を、参照画像撮影時の被写体面のパラメータ（ａ，ｂ，ｃ）を用いて、(11)式の座標変換を行うことにより貼り合わせ画像の歪みを補正して（ステップS17）、処理を終了する。
【００７２】
［発明の実施の形態３］図１７は、この発明の実施の形態３である画像処理装置１の構成図である。図１７において、図２と同一符号の部材は、発明の実施の形態１と同様の部材であるので、詳細な説明は省略する。
【００７３】
画像処理装置１は、平面計測手段１０の出力した被写体面の向きを基に、各々の画像の斜め撮影による歪みを補正する画像歪み補正手段４１を備えている。
【００７４】
画像処理装置１による処理の手順を中心に、構成・動作を説明する。平面計測手段１０は、各々の画像を撮影する時の、画像処理装置１に対する被写体面の向きを計測する。画像歪み補正手段４１は、前記平面計測手段１０が出力した被写体面の向き（ａ，ｂ，ｃ）を用いて、先に説明した手順で、各画像の斜め撮影による歪みを補正する。対応検出手段３１は、前記画像歪み補正手段４１で歪みを補正され、互いに重複した領域を持つ２枚の画像において、同一の部分を撮影した箇所を検出する。例えば、前述した相関演算を用いて対応付けを行う場合、本実施の形態では斜め撮影による歪みを補正した画像間の相関をとるので、さらに容易かつ精度の高い対応付けが可能となる。以上で得られた歪みを補正した基準画像、参照画像および特徴点と対応点の関係により、(13)式の係数ｂ1〜ｂ8を求めて基準画像を参照画像に貼り合わせる。
【００７５】
上記したような画像処理の方法について、図１８のフローチャートにより説明する。まず、撮像手段２により被写体面を撮影し、この画像を基準画像として記憶すると同時に、撮影時における被写体面の向きを表す３つのパラメータ（ａ，ｂ，ｃ）を求め（ステップS21）、このパラメータ（ａ，ｂ，ｃ）を用いて、(3)〜(11)式の処理手順で基準画像における歪みを補正し、基準画像を歪みを補正したものに置き換える（ステップS22）。続いて、基準画像と一部が重複するように視点及び画像処理装置１の姿勢を変化させて、撮像手段２により被写体面を撮影し、この画像を参照画像として記憶すると同時に、撮影時における被写体面の向きを表す３つのパラメータ（ａ，ｂ，ｃ）を求め（ステップS23）、このパラメータ（ａ，ｂ，ｃ）を用いて、(3)〜(11)式の処理手順で参照画像における歪みを補正し、参照画像を歪みを補正したものに置き換える（ステップS24）。基準画像において特徴点を抽出すると共に、参照画像において該特徴点と同じ箇所を示す対応点を検出する（ステップS25）。こうして得られた特徴点と対応点の関係を基に、先に説明した方法で基準画像を参照画像に対して座標変換した画像を作成する（ステップS26）。その後、さらに画像を撮影して合成する画像を増やす場合には（ステップS27）、以上の処理で作成した貼り合わせ画像を基準画像に置き換えて（ステップS28）、ステップS23からステップS26の動作を繰り返す。そうでない場合には、処理を終了する。
【００７６】
なお本実施の形態においては、斜め撮影による画像の歪みを補正した画像同士を貼り合わせるので、(13)式で表される射影変換の代わりに、次式のアフィン変換を用いても貼り合わせ画像を得ることができる。
【００７７】
【数１２】

画像貼り合わせ手段３２が、(13)式の射影変換または(14)式のアフィン変換に基づいた構成・動作に限定されないことは言うまでもない。
【００７８】
［発明の実施の形態４］この発明の実施の形態４は、発明の実施の形態１〜３において、被写体面までの距離を利用して、作成される歪み補正画像の大きさを、各被写体像の大きさが概ね等しくなるように調整することに関するものである。例えば、図１９(a)のように基準画像と参照画像を、被写体面までの距離や撮像手段２の光軸（z軸）の向きが異なった状態で撮影すると、図１９(b)のようにそれぞれの歪み補正画像における被写体像の大きさも異なる場合がある。そこで、平面計測手段１０の出力を利用して歪み補正画像の大きさを調整するように、画像歪み補正手段４１を構成する。その一例を以下説明する。
【００７９】
平面計測手段１０は、発明の実施の形態１と同様の構成をとり、被写体面の方程式を表すパラメータ（ａ，ｂ，ｃ，ｄ）、及び装置座標系を基準にした各点の３次元座標を出力する。画像歪み補正手段４１は、前記平面計測手段１０が出力した（ａ，ｂ，ｃ，ｄ）及び各点の３次元座標より、(3)〜(11)式の手順で各画像の歪みを補正すると共に、(11)式の座標変換に用いる最適な拡大係数kを算出する。例えば、図１９(a)において、基準画像撮影時に平面計測手段１０が出力した被写体面のパラメータを（ａ，ｂ，ｃ，ｄ）、また参照画像撮影時に平面計測手段１０が出力した被写体面のパラメータを（ａ´，ｂ´，ｃ´，ｄ´）とする。基準画像、参照画像の歪み補正画像作成に用いる拡大係数をそれぞれk、k´(k＞０，k´＞０)とおくと、
【００８０】
【数１３】

とすれば、図１９(b)のように各々の被写体像の大きさが概ね等しい歪み補正画像が得られる。
【００８１】
［発明の実施の形態５］この発明の実施の形態５は、発明の実施の形態１〜４において、撮影時における被写体面の向きを表す３つのパラメータ（ａ，ｂ，ｃ）を用いて画像処理装置１を被写体面に正対させて撮影した画像に変換することにより、各々の画像の歪みを補正するが、これは撮像手段２の光軸（z軸）を被写体面の向きと一致させるような座標変換を施した結果得られる画像を擬似的に生成することを意味する。しかし、この座標変換は被写体面の法線ベクトルを回転軸とする１軸回りの自由度を残している。すなわち、撮影時の画像処理装置１の姿勢によっては、図２０(a)のように、画像面上で被写体像が傾いた歪み補正画像が作成される。本実施の形態では、発明の実施の形態１〜４に傾き補正手段５１を設置し、図２０(b)のように傾きの殆ど無い歪み補正画像を得ることを目的とする。
【００８２】
傾き補正手段５１は、図２１のように、回転角設定手段５２、回転中心設定手段５３、及び回転演算手段５４より構成される。回転角設定手段５２と回転中心設定手段５３はスイッチ等により構成され、例えば画像処理装置１の筐体上に表示手段８と隣り合う位置に配置される。回転角設定手段５２は画面上での回転角θを、また回転中心設定手段５３は画面上での回転中心座標（ｘ0，ｙ0）を指定する。回転演算手段５４は筐体内部に内蔵された演算回路等により構成され、回転角θ及び回転中心座標（ｘ0，ｙ0）を用いて、以下の座標変換式により歪み補正画像の画面上での傾きを補正する。
【００８３】
【数１４】

(16)式の座標変換を、歪み補正画像に適用して傾きを補正した画像を、表示手段８上で確認することができる。
【００８４】
なお、いうまでもなく、前記の各発明の実施の形態の説明は、本発明の一例を説明したにすぎず、この発明を前記の各発明の実施の形態通りに限定・縮小すべきではない。例えば、平面計測手段１０の構成は前記実施の形態で説明した範囲に限定されず、波動（光、電波、音波）を対象に照射し、対象からの反射波の伝播時間や位相差を計測することにより対象までの距離を求める、また被写体面の焦点ぼけの量から距離を求めるなど、別の構成でも構わない。また、対応検出手段３１において相関法による濃度マッチングにより対応点を検出すると説明したが、時空間微分法など別の手法で行っても構わない。
【発明の効果】
【００８５】
請求項１に記載の発明によれば、任意の被写体面を任意の視点・姿勢で撮影した場合でも、平面を計測することにより、簡便に画像の歪みを補正することができる。
【００８６】
請求項２に記載の発明によれば、任意の被写体面を任意の視点・姿勢で撮影した複数の画像を貼り合わせた画像を、計測した被写体面の向きを用いて座標変換することにより、簡便に歪みのない合成画像を作成することができる。
【００８７】
請求項３に記載の発明によれば、任意の被写体面を任意の視点・姿勢で撮影した場合でも、平面を計測することにより、簡便に各画像の歪みを補正することができる。また、歪みを補正した画像を用いて対応を検出するので、請求項２に記載の画像処理装置と比較して、さらに対応付けの精度が上がり、その結果、一層高精細な合成画像を簡便に得ることができる。
【００８８】
請求項４に記載の発明によれば、請求項１乃至３のいずれか１に記載の画像処理装置において、撮像する手段の光軸の被写体面の法線ベクトルに対する回転角を算出することにより、簡便に画像の歪みを補正することができる。
【００８９】
請求項５に記載の発明によれば、請求項１乃至３のいずれか１に記載の画像処理装置において、撮像された画像を被写体面の法線ベクトルの方向から撮像された画像に補正することにより、簡便に画像の歪みを補正することができる。
【００９１】
請求項６に記載の発明によれば、請求項１乃至５のいずれか１に記載の画像処理装置において、撮影した各々の画像や貼り合わせた画像における被写体像の歪み・傾きを補正することができる。また、請求項３に記載の発明に本請求項に記載の発明を適用すれば、被写体像の傾きがほぼ等しい歪み補正画像を用いて対応を検出するので、さらに対応付けの精度が上がり、その結果、一層高精細な合成画像を簡便に得ることができる。
【００９２】
請求項７に記載の発明によれば、任意の被写体面を任意の視点・姿勢で撮影した場合でも、平面を計測することにより、簡便に画像の歪みを補正することができる。
【００９３】
請求項８に記載の発明によれば、任意の被写体面を任意の視点・姿勢で撮影した複数の画像を貼り合わせた画像を、計測した被写体面の向きを用いて座標変換することにより、簡便に歪みのない合成画像を作成することができる。
【００９４】
請求項９に記載の発明によれば、任意の被写体面を任意の視点・姿勢で撮影した場合でも、平面を計測することにより、簡便に各画像の歪みを補正することができる。また、歪みを補正した画像を用いて対応を検出するので、請求項８に記載の発明と比較して、さらに対応付けの精度が上がり、その結果、一層高精細な合成画像を簡便に得ることができる。
【００９５】
請求項１０に記載の発明によれば、請求項７乃至９のいずれか１に記載の画像処理方法において、撮像する手段の光軸の被写体面の法線ベクトルに対する回転角を算出することにより、簡便に画像の歪みを補正することができる。
【００９６】
請求項１１に記載の発明によれば、請求項７乃至９のいずれか１に記載の画像処理方法において、撮像された画像を前記被写体面の法線ベクトルの方向から撮像された画像に補正することにより、簡便に画像の歪みを補正することができる。
【００９８】
請求項１２に記載の発明によれば、請求項７乃至１１のいずれか１に記載の画像処理方法において、撮影した各々の画像や貼り合わせた画像における被写体像の歪み・傾きを補正することができる。また、請求項９に記載の発明に本請求項に記載の発明を適用すれば、被写体像の傾きがほぼ等しい歪み補正画像を用いて対応を検出するので、さらに対応付けの精度が上がり、その結果、一層高精細な合成画像を簡便に得ることができる。
【図面の簡単な説明】
【図１】被写体面を撮影した時に生じる画像の歪みの補正を説明する概念図である。
【図２】この発明の実施の形態１である画像処理装置の構成を示すブロック図である。
【図３】前記画像処理装置の平面計測手段の構成を示すブロック図である。
【図４】前記画像処理装置の動作を説明する概念図である。
【図５】前記画像処理装置の動作を説明する概念図である。
【図６】前記画像処理装置の動作を説明する概念図である。
【図７】前記画像処理装置の動作を説明する概念図である。
【図８】前記画像処理装置の動作を説明するフローチャートである。
【図９】画像処理装置を用いて、異なる場所から同一の被写体面の静止画像を、画像の一部が重複するように、視点1から視点KまでのK箇所から撮影する場合の概念図である。
【図１０】この発明の実施の形態２に係る画像処理装置の構成を説明するブロック図である。
【図１１】前記画像処理装置の対応検出手段の構成を説明するブロック図である。
【図１２】前記画像処理装置の動作を説明する概念図である。
【図１３】前記画像処理装置の動作を説明する概念図である。
【図１４】前記画像処理装置の動作を説明する概念図である。
【図１５】前記画像処理装置の動作を説明する概念図である。
【図１６】前記画像処理装置の動作を説明するフローチャートである。
【図１７】この発明の実施の形態３である画像処理装置の構成を説明するブロック図である。
【図１８】前記画像処理装置の動作を説明するフローチャートである。
【図１９】この発明の実施の形態４である画像処理装置の動作を説明する概念図である。
【図２０】この発明の実施の形態５である画像処理装置の動作を説明する概念図である。
【図２１】前記画像処理装置の動作を説明する概念図である。
【符号の説明】
１画像処理装置
２撮像手段
１０平面計測手段
１１画像歪み補正手段
３１対応検出手段
３２画像貼り合わせ手段
３４合成画像歪み補正手段
５１傾き補正手段

Claims

被写体面を画像として撮像する手段と、
前記撮像する手段で撮像する際に、前記被写体面に光を照射し、前記被写体面からの反射光の向きに基づいて、前記被写体面上の３以上の点の前記撮像する手段を基準とする３次元座標を算出する手段と、
前記算出する手段で算出された各点の３次元座標に基づいて、前記撮像する手段に対する前記被写体面の向きを求める手段と、
前記求める手段で求められた被写体面の向きに基づいて、前記撮像された画像を前記被写体面正面から撮像された画像に変換して前記撮像された画像の歪みを補正する手段と、
を備えていることを特徴とする画像処理装置。
先に撮像した基準画像と一部が重複するように被写体面を参照画像として撮像する手段と、
前記撮像する手段で撮像する際に、前記被写体面に光を照射し、前記被写体面からの反射光の向きに基づいて、前記被写体面上の３以上の点の前記撮像する手段を基準とする３次元座標を算出する手段と、
前記算出する手段で算出された各点の３次元座標に基づいて、前記撮像する手段に対する前記被写体面の向きを求める手段と、
前記基準画像から複数の特徴点を抽出し、前記参照画像から前記特徴点に対応する対応点を検出する対応検出手段と、
前記対応検出手段が検出した特徴点と対応点とに基づいて、前記基準画像を前記参照画像上に座標変換して前記基準画像と前記参照画像とを貼り合せる手段と、
前記求める手段で求められた前記参照画像を撮像する際の前記撮像する手段に対する前記被写体面の向きに基づいて、前記貼り合わせた画像を前記被写体面正面から撮像された画像に変換して前記撮像された画像の歪みを補正する手段と、
を備えている画像処理装置。
先に撮像した基準画像と一部が重複するように被写体面を参照画像として撮像する手段と、
前記撮像する手段で撮像する際に、前記被写体面に光を照射し、前記被写体面からの反射光の向きに基づいて、前記被写体面上の３以上の点の前記撮像する手段を基準とする３次元座標を算出する手段と、
前記算出する手段で算出された各点の３次元座標に基づいて、前記撮像する手段に対する前記被写体面の向きを求める手段と、
前記求める手段で求められた前記被写体面の向きに基づいて、前記撮像された画像を前記被写体面正面から撮像された画像に変換して前記撮像された画像の歪みを補正する手段と、
前記補正する手段で補正された前記基準画像から複数の特徴点を抽出して、前記補正する手段で補正された前記参照画像から前記特徴点に対応する対応点を検出する対応検出手段と、
前記対応検出手段が検出した前記特徴点と前記対応点とに基づいて、前記補正された基準画像を前記補正された参照画像上に座標変換することにより画像を貼り合せる手段と、
を備えている画像処理装置。
前記被写体面の向きを求める手段は、
前記撮像する手段の光軸の前記被写体面の法線ベクトルに対する回転角を算出することを特徴とする請求項１乃至３のいずれか１に記載の画像処理装置。
前記補正する手段は、
前記撮像された画像を前記被写体面の法線ベクトルの方向から撮像された画像に補正することを特徴とする請求項１乃至３のいずれか１に記載の画像処理装置。
前記補正する手段により補正された画像の画面上での傾きを補正する傾き補正手段をさらに備えることを特徴とする請求項１乃至５のいずれか１に記載の画像処理装置。
撮像する手段により被写体面を画像として撮像する工程と、
前記撮像する工程で撮像する際に、前記被写体面に光を照射し、前記被写体面からの反射光の向きに基づいて、前記被写体面上の３以上の点の前記撮像する手段を基準とする３次元座標を算出する工程と、
前記算出する工程で算出された各点の３次元座標に基づいて、前記撮像する手段に対する前記被写体面の向きを求める工程と、
前記求める工程で求められた被写体面の向きに基づいて、前記撮像された画像を前記被写体面正面から撮像された画像に変換して前記撮像された画像の歪みを補正する工程と、
を備えていることを特徴とする画像処理方法。
撮像する手段により先に撮像した基準画像と一部が重複するように被写体面を参照画像として撮像する工程と、
前記撮像する工程で撮像する際に、前記被写体面に光を照射し、前記被写体面からの反射光の向きに基づいて、前記被写体面上の３以上の点の前記撮像する工程を基準とする３次元座標を算出する工程と、
前記算出する工程で算出された各点の３次元座標に基づいて、前記撮像する手段に対する前記被写体面の向きを求める工程と、
前記基準画像から複数の特徴点を抽出し、前記参照画像から前記特徴点に対応する対応点を検出する対応検出工程と、
前記対応検出工程が検出した特徴点と対応点とに基づいて、前記基準画像を前記参照画像上に座標変換して前記基準画像と前記参照画像とを貼り合せる工程と、
前記求める工程で求められた前記参照画像を撮像する際の前記撮像する手段に対する前記被写体面の向きに基づいて、前記貼り合わせた画像を前記被写体面正面から撮像された画像に変換して前記撮像された画像の歪みを補正する工程と、
を備えている画像処理方法。
撮像する手段により先に撮像した基準画像と一部が重複するように被写体面を参照画像として撮像する工程と、
前記撮像する工程で撮像する際に、前記被写体面に光を照射し、前記被写体面からの反射光の向きに基づいて、前記被写体面上の３以上の点の前記撮像する手段を基準とする３次元座標を算出する工程と、
前記算出する工程で算出された各点の３次元座標に基づいて、前記撮像する手段に対する前記被写体面の向きを求める工程と、
前記求める工程で求められた前記被写体面の向きに基づいて、前記撮像された画像を前記被写体面正面から撮像された画像に変換して前記撮像された画像の歪みを補正する工程と、
前記補正する工程で補正された前記基準画像から複数の特徴点を抽出して、前記補正する手段で補正された前記参照画像から前記特徴点に対応する対応点を検出する対応検出工程と、
前記対応検出工程が検出した前記特徴点と前記対応点とに基づいて、前記補正された基準画像を前記補正された参照画像上に座標変換することにより画像を貼り合せる工程と、
を備えている画像処理方法。
前記被写体面の向きを求める工程は、
前記撮像する手段の光軸の前記被写体面の法線ベクトルに対する回転角を算出することを特徴とする請求項７乃至９のいずれか１に記載の画像処理方法。
前記補正する工程は、
前記撮像された画像を前記被写体面の法線ベクトルの方向から撮像された画像に補正することを特徴とする請求項７乃至９のいずれか１に記載の画像処理方法。
前記補正する工程により補正された画像の画面上での傾きを補正する傾き補正工程をさらに備えることを特徴とする請求項７乃至１１のいずれか１に記載の画像処理方法。