JP4095768B2

JP4095768B2 - 画像処理方法及び、それを用いた非接触画像入力装置

Info

Publication number: JP4095768B2
Application number: JP2000362681A
Authority: JP
Inventors: 雄一安部; 啓介中島; 高也七夕; 伸一篠田; 義治小西
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2000-11-24
Filing date: 2000-11-24
Publication date: 2008-06-04
Anticipated expiration: 2020-11-24
Also published as: JP2002165083A; TW522715B; KR20020040527A; US20050074144A1; KR100740031B1; US20020090115A1

Description

【０００１】
【発明の属する技術分野】
本発明は、文字や図形，画像、または押印された印影などの画像情報を非接触で読み取り画像処理する画像処理方法及び、それを用いた非接触画像入力装置に関する。
【０００２】
【従来の技術】
画像入力装置としては、フラットベッドスキャナ，シートスキャナ，デジタルカメラ，書画カメラなどがある。しかし、フラットベッドスキャナは、解像度が高いが、設置面積が大きく、読取速度が遅い、シートスキャナは設置面積が小さいが、シート形状のものしか読めない、デジタルカメラは立体物が撮れるが、文書などの高解像度の画像が撮れない、書画カメラは解像度が高く、立体物を読み取れるものもあるが大掛かりな装置でコストが高いというように、一長一短があり、ユーザーのニーズを満たしていなかった。
【０００３】
非接触で文書を読むための発明としては、例えば特開平８−９１０２号（従来例１），特開平８−２７４９５５号（従来例２），特開平８−１５４１５３号（従来例３：ミラー），特開平８−９７９７５号（従来例４：ブックコピー），特開平１０−１３６２２号（従来例５：ホワイトボード），特開平９−２７５４７２号（従来例６アクティブ照明）に記載されている方法が提案されていた。また、距離測定に関しては特開平１１−１８３１４５号（従来例７）に記載されている方法が提案されていた。
【０００４】
文献として紹介されているものでは、松山他、「多重フォーカス画像を用いたエッジ検出と距離計測」，電子情報通信学会論文誌，Ｖol.Ｊ７７−Ｄ−II，pp.１０４８−１０５８，１９９４、(文献１）、児玉他、「焦点の異なる複数画像からの視差を含む任意焦点画像生成焦点外れ画像の生成を利用した全焦点画像の強調的取得」信学論Ｖol.Ｊ７９−Ｄ−II，Ｎo.６ｐｐ１０４６−１０５３、１９９６／６、（文献２）、Seong Ik CHO etc. “Shape Recovery of Book Surface Using Two Shade Images Under Perspective Condition”，Ｔ.ＩＥＥＪＡＰＡＮ，Ｖol.１１７−Ｃ，Ｎo.１０，pp.１３８４−１３９０，１９９７（文献３）などがある。
【０００５】
【発明が解決しようとする課題】
上記従来例では、略上方からの平面上の文書読み取りを前提としており、また自由な位置からの読み取りができるわけではなかった。また、キャリブレーションマーカを読み取り測定位置を補正する提案もあるが、操作が複雑であると言う問題があった。また、センサから読取面の距離の測定も、観測物体を横から眺めるものや、アクティブ照明を用いるもの、ステレオカメラを用いるものなどが提案されていたが、精度が悪かったり、コストがかかりすぎると言う問題があった。
【０００６】
距離測定に関しては対象物に形状と位置関係が既知の指標を設けてカメラからの見えかたで距離測定を行う提案もあるが一般の原稿にはこのような指標がついていないため非接触型画像入力には使用できない。また、得た距離データから、正面画像を再構成する提案もあるが、計算機によるシミュレーションで、実際の商品として実用化するためには処理速度を改善する必要があった。
【０００７】
本発明の目的は、折れた帳票や厚い本などを押さえることなく、また特殊な距離検出センサを用いることなく、高画質に画像を入力でき、操作性を大幅に改善できる装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記問題点を解決するために、本発明は、入力手段により原稿を非接触で読み取り、読み取られた画像情報を補正する画像処理方法において、前記読み取られた画像情報から前記補正の際画像を生成するパッチを求めること、前記パッチを予め定められた前記原稿の形状に一致するように展開することで、前記パッチの頂点の位置情報を求めること、前記入力手段と前記パッチの頂点間の距離情報を算出して、前記読み取られた画像情報を補正することを特徴とするものである。
【０００９】
また、上記問題点を解決するために、本発明は、原稿を非接触で読み取る入力手段を備え、読み取られた画像情報を補正する画像入力装置において、前記読み取られた画像情報から前記原稿の形状を求める手段と、前記読み取られた画像情報から前記補正の際画像を生成するパッチ情報を求める手段と、前記パッチを予め定められた前記原稿の形状に一致するように展開することで、前記パッチの頂点の位置情報を求める手段と、前記入力手段と前記パッチの頂点間の距離情報を算出距離測定手段と、該距離測定手段によって測定された距離情報と前記頂点情報に基づいて、前記読み取られた原稿の画像情報を補正する補正手段を備えたことを特徴とするものである。
【００１１】
【発明の実施の形態】
以下、本発明の一実施例について図面を参照して説明する。
【００１２】
図１は本発明の一実施例である非接触型画像入力装置８０の機能ブロックの一実施例を示したものである。本発明の非接触型画像入力装置８０は、入力手段のカメラ１で、机上などに置かれた例えばＡ４などの輪郭が予め定められた形状の原稿を折れ曲がった状態で読み込み、画像処理部８１で読込まれた原稿情報を画像処理する。
【００１３】
画像処理部８１は、原稿輪郭抽出手段２で取り込み画像中の折れ曲がった原稿の輪郭を抽出して輪郭情報を生成する、頂点検出手段３は輪郭情報を考慮して原稿内の頂点を検出して頂点毎の位置情報とそれらの接続関係を表すパッチ情報を生成し、距離測定手段である頂点ｚ座標決定手段４は頂点の位置情報とパッチ情報から各頂点の距離情報を測定または算出し、３次元の補正手段５は頂点毎の位置情報，パッチ情報，頂点毎の距離情報と原稿取り込み画像から取り込み画像中の折れ曲がった原稿部分をカメラに正対して平らな状態で読み込んだときの画像に展開して輪郭が既知形状になるように平面修復された画像を出力する。
【００１４】
ここで頂点ｚ座標決定手段４の初期値を外部距離センサなどからの入力によって設定することで、頂点ｚ座標の計算時間を短縮するとともに、外部センサからの距離の測定精度を向上させることができる。
【００１５】
また、少なくとも頂点ｚ座標検定手段４，補正手段５の画像処理部８１の処理プログラムを、メモリ（ＲＯＭ，ＲＡＭ等）などの記憶手段へ記憶しておくことで、デジタルカメラ、非接触スキャナなどの非接触画像入力装置を用いる時、その記憶媒体をＰＣ等へインストールすることで、読み込んだ折れ曲がった画像データを平面の画像に修復することができる。
【００１６】
またこの処理プログラムは非接触画像入力装置本体の中で実行され、その結果が外部へ出力するようにしても良い。
【００１７】
ここで非接触画像入力装置の非接触スキャナは、入力手段のカメラ１が設けられたヘッド部を少なくとも有し、カメラで読み取る原稿を置く原稿台、及びカメラと原稿台をつなぐ支持部を設けるものも含む。
【００１８】
このように頂点ｚ座標決定手段及び３次元補正手段を設けることで、物理的な距離測定装置を用いなくても、自由な位置から、折れ曲がった原稿を平面に修復した形で出力することができる。また、原稿輪郭抽出手段２及び輪郭頂点検出手段を設けることで、原稿の折れ曲がりかたを良く反映している輪郭上に効率よく頂点を配置することができ、頂点ｚ座標決定手段でｚ座標を計算する頂点数が少なくなり、頂点間に構成されるパッチ毎に補完処理によって平面修復画像の画素生成が行えるようになるため、処理時間が短く出来る。
【００１９】
また本発明は、モノクロ原稿のみならずカラー原稿についても同様の効果を奏することができる。
【００２０】
図２は原稿輪郭抽出手段２の動作を表している。原稿輪郭抽出手段２は読み取り画像中の原稿部分２１の輪郭を抽出し輪郭情報２２を得る。輪郭とは読み取り画像中の原稿部分２１内部と外部の境界にある連結した一連の画素の系列でこれに含まれる画素は２方位でのみ他の輪郭画素と連結している。輪郭画素を得るには画像処理で一般的に行われている輪郭追跡などの方法で行えば良い。輪郭情報は輪郭上の画素とその他の画素を区別できる画素値を持った輪郭画像でも良いし、輪郭画素のリストでも良く、輪郭形状を必要な精度で復元できる情報であれば何でも良い。ｐ０〜ｐ４は輪郭画素の系列に順番に施した番号、ｖ０〜ｖ５は輪郭が大きく折れている点、即ち頂点で，ｅ０〜ｅ５は輪郭が頂点によって分割された辺である。ここで頂点は少ないほど後の計算が少なくなるが、頂点は輪郭の特徴をあらわした代表点である事が望ましく、精度を保つためには各辺が直線と見なせる程度に頂点を置いたほうが良い。
【００２１】
図３は頂点検出手段の動作の一例を示したものである。（ａ）は図２の輪郭情報２２に対し、横軸に輪郭画素の系列の番号、縦軸に横軸の番号に対応した輪郭画素のｙ座標を取ったグラフである。頂点で大きく傾きが変化し、辺では傾きがほぼ一定となる。（ｂ）は（ａ）のグラフの一階差分を縦軸に取ったもので、頂点で傾きが大きく、辺では傾きがほぼ０になっている。（ｃ）は（ｂ）のグラフのさらに差分を取りその絶対値を縦軸に取ったグラフで、頂点では正の値を取るが、辺ではほぼ０になっている。このことはｘ座標でも同様で、頂点ではｘ座標かｙ座標に対しその２階差分の絶対値が頂点以外より大きくなっている。
【００２２】
したがって、輪郭情報から頂点を検出する際には有る閾値よりｘとｙの座標の２階差分の絶対値の和が大きい点を頂点とすれば良い。閾値と比較するのはｘとｙの座標の２階差分の絶対値の和の代わりに、自乗和の平方根、或いは最大値を取っても良い。辺の傾きに寄らず均等に頂点を検出できるのは自乗和の平方根であるが計算量は大きくなる。また、差分は番号が隣り合った画素間での差である必要はなく。一定間隔での差分を取れば良い。この間隔が狭いと輪郭抽出における誤差を敏感に拾ってしまい、本来頂点として相応しくない点まで頂点と認識してしまい、逆に間隔が広すぎると頂点付近の広い範囲で閾値を超えて、何処が頂点位置の特定が難しくなる。差分の間隔を２以上にする場合には閾値を超えた点全てでなく、その中央の点を頂点にするなどの処理が必要である。
【００２３】
図４は分厚い本を開いて読み込んだ画像で原稿の輪郭から頂点を検出する処理を表している。分厚い本の取り込み画像の原稿部分３１などは輪郭が曲線によって構成されるため図２の例のように大きく折れ曲がった輪郭上の点のみを頂点としたのでは辺が直線と見なせず、輪郭の近似精度が著しく劣化する。そこで、このような場合には輪郭の曲がり具合に応じて頂点を置いてやる必要がある。分厚い本の輪郭情報３２に示すように曲率が大きな所ほど短い間隔で頂点を挿入することが望ましい。このような処理は図３（ｃ）のグラフのように２階差分の絶対値を作り閾値を越えた点のみを頂点とするのではなく、輪郭画素にそった累積が一定の値を超した時に頂点を挿入するといった処理が必要となる。また、輪郭上でなくても取り込み画像の原稿部分に適宜頂点を挿入してもよい。頂点は後の頂点ｚ座標決定手段でｚ座標を求める点であり、３次元補正手段で平面修復する際の多角形パッチ分割の頂点となる点であるため、輪郭の折れ曲がっている点など特徴的な点を含んでいる方が望ましいがそれ以外に取り込み画像の原稿部分に含まれている点を追加しても構わない。極端には原稿部分の画素全てを頂点にしても良いが頂点数が増えるとそれに応じて処理時間も膨大となる。
【００２４】
図５は取り込み画像の原稿部分の三角形パッチ分割を表したものである。撮影対象物４４をカメラ１で撮影した原稿取り込み画像の原稿部分４１の各点はカメラ１の視点位置と該点を結ぶ直線によって撮影対象物の点と一対一に対応する。この対応関係で原稿取り込み画像の原稿部分４１の各頂点と対応する撮影対象物４２上の点も撮影対象物上の頂点と呼ぶことにする。原稿取り込み画像の原稿部分４１を三角形パッチ分割した時の各三角形の頂点は頂点検出手段で検出した頂点であり、各三角形の辺は頂点を結んでできる直線である。ただし、三角形パッチ分割の条件として、以下の３つの条件を満たしているものとする。
【００２５】
１．読み取り原稿画像の原稿部分４１の各点は三角形の辺上の点を除き只一つの三角形に属していなければならない。
【００２６】
２．三角形の辺上に頂点が会ってはならない。
【００２７】
３．読み取り原稿画像の原稿部分４１の三角形パッチは上記一対一の関係において撮影対象物４２の三角形パッチになっていなければならない。即ち、読み取り原稿画像の原稿分４１の三角形パッチを構成する各三角形の３頂点を上記一対一の関係で撮影対象物４２に射影してできる三点を頂点とする三角形は撮影対象物４２を良く近似していなければならない。
【００２８】
例えば、原稿読み込み画像４１の頂点ａ，ｂ，ｃから成る三角形は撮影対象物４２のａ′，ｂ′，ｃ′から成る三角形に対応するが該三角形は撮影対象物４２を近似したものではないので、原稿読み込み画像４１の頂点ａ，ｂ，ｃから成る三角形は三角形パッチを構成する三角形とはなり得ない。予めどのように折れ曲がっているかが全く分からず、三角形パッチが構成できない場合には、頂点同士を結ぶ直線のうち原稿部分に含まれるものを全て描きその交点を新たに頂点に加えることで上記２つの条件を満たす三角形パッチが構成できる。しかし、現実の場面で生じる紙の折れ曲がりかたにはある程度パターンが決まっており、予め決められた折れ曲がりかたのモードをユーザが入力する様にすれば、三角形パッチ分割は容易におこなわれる。また、取り込み画像の原稿部分の輪郭形状や頂点位置と正しいパッチ分割の関係をニューロなどで学習させ効率的にパッチ分割を行うことも可能である。
【００２９】
図６は頂点ｚ座標決定手段４の動作の概念を示している。撮影対象物４２上の頂点は対応する原稿読み込み画像４１の頂点とカメラ１の視点位置を結んだ直線状のどこかに位置する。また、撮影対象物４２上の各頂点には撮影対象物４２を平らにした時に該頂点のまわりに対象物輪郭がなす角度が決まっている。例えば原稿の輪郭が長方形の場合頂点がその四隅の角に位置する場合その頂点のまわりの角度は９０度である。あるいは、頂点が長方形の辺に位置する場合はそのまわりの角度は１８０度、頂点が長方形内部に位置する場合にはそのまわりの角度は３６０度である。
【００３０】
したがって、撮影対象物４２の形状を推定するには、撮影対象物４２上の各頂点に対してその頂点を共有する三角形パッチの角の角度の合計が撮影対象物４２を平らにした時に頂点のまわりにできる角度と一致するような頂点の位置を上記直線上に見出せばよい。この条件は各頂点のｚ座標を変数にした連立方程式で記述でき、この連立方程式を解くことで各頂点のｚ座標を求めることができるが、変数の数より方程式の数が多くなり、方程式の係数も誤差を含んでいるので、実際には解が求まらない。そこで最小自乗法などで各方程式を最も良く満たす解を探すことになる。さらに、撮影対象物４２の輪郭の各辺の長さや比が分かっている場合にはそのような条件も付け加えて方程式を立てればよい。
【００３１】
しかし、このような方程式にはarccos（アークコサイン）などの超越関数が含まれ解を求めるのに膨大な時間を要する。そこで、より簡易な計算方法を次に示す。
【００３２】
図７は撮影対象物４２の各頂点のｚ座標を反復収束計算によって求める計算方法のブロック図である。図中のｎは頂点に振った通し番号を表し、Ｖｎは各頂点を、Ｚｎは各頂点のｚ座標を、ＤｎはＶｎを共有する撮影対象物４２の三角形パッチ全てのＶｎを含む内角の和と撮影対象物４２を平らにした時の既知形状におけるＶｎのまわりの角度との差、ｄｎはＺｎを１増やした時のＤｎの変化量を表している。アルゴリズムは以下のようである。
【００３３】
・始めにＺｎに適当な初期値例えば全て１を与えておく。
【００３４】
・各ＺｎにＤｎ／ｄｎを加える、即ちＤｎを１次予測において最小にするようにＺｎを変化させる。
【００３５】
・これを全ての頂点において行う。
【００３６】
・この一連の処理を終了条件が満足されるまで繰り返し行う。
【００３７】
Ｚｎの初期値に関しては距離センサ等で得た外部からの情報をＺｎの初期値にすれば収束が早くなり、センサ単体で得た情報よりも精度の高い距離情報が得られる。
【００３８】
終了条件は「予め決めておいた回数だけ一連の処理が繰り返された。」，「Ｚｎの変化量が所定の範囲に納まった」などである。また、これは１次予測を用いているためｄｎが小さい時Ｄｎ／ｄｎの変動が大きくなり、大きく予測が外れる傾向があるため、Ｄｎ／ｄｎを所定の値にクランプする、即ちある値を越えた時には所定の値で置き換えるのも有効である。さらに上記のアルゴリズムでは頂点毎に処理を行う際、その頂点のまわりの角度のみに注目しているが、その頂点のｚ座標の移動によって影響を受ける角度全てを考慮すればなお良い。また、角度のみでなく辺の長さや比も１次予測の評価関数に含めてもよい。
【００３９】
図８〜図１１で３次元補正手段の動作を示す。
【００４０】
図８は撮影対象物を平面に展開する方法について示している。撮影対象物４２は▲１▼〜▲６▼の三角形パッチで構成されている。ｖ０〜ｖ２は三角形▲２▼の３つの頂点である。撮影対象物４２の展開図５１は各三角形パッチを平面状に展開したものである。Ｖ０〜Ｖ２はｖ０〜ｖ２に対応する頂点である。展開図を作る際、「最初に位置を決めた三角形パッチ以外の三角形パッチは既に位置が決められた三角形パッチと辺を共有しているものから位置を決めていく。」「辺を共有している三角形パッチは透き間を空けずに配置する。」という規則に従えば、最初に位置を決めた三角形パッチ以外の三角形パッチはその位置を決める際、下の２ケースの何れかに当てはまる。
【００４１】
１．既に三角形パッチの３頂点が決められている。
【００４２】
２．既に三角形パッチの２頂点が決められており、３番目の頂点の位置を決めればよい。
【００４３】
１番目のケースでは既に３頂点とも位置が確定しているので、２番目のケースで３番目の頂点位置を決定する方法を示す。三角形５２は撮影対象物４２の三角形パッチ▲２▼を拡大して書いたものである。既に▲１▼の位置が決まっておりこれから▲２▼の位置を決める場合、ｖ０，ｖ１は展開図５１のＶ０，Ｖ１に位置決めされているので、ｖ２の展開図５１における位置Ｖ２を決める方法について説明する。
【００４４】
Ｐは三角形５２の辺ｖ０，ｖ２を辺ｖ０，ｖ１に正射影した長さであり、Ｈはｖ２からｖ０，ｖ１に降ろした垂線の長さの２倍である。展開図５２における三角形５３においてこの二つの長さを保つようにＶ２を決めることができる。Ｖｉの座標を（Ｘｉ，Ｙｉ）とすると、Ｈ，Ｐは
Ｈ＝｜(ｖ２−ｖ０)×(ｖ１−ｖ０)｜／｜｜ｖ１−ｖ０｜｜
Ｐ＝(ｖ２−ｖ０)・(ｖ１−ｖ０)／｜｜ｖ１−ｖ０｜｜
と書け、Ｘ２，Ｙ２は
Ｘ２＝Ｘ０＋((Ｘ１−Ｘ０)^*Ｐ−(Ｙ１−Ｙ０)^*Ｈ）／｜｜Ｖ１−Ｖ０｜｜
Ｙ２＝Ｙ０＋((Ｘ１−Ｘ０)^*Ｈ＋(Ｙ１−Ｙ０)^*Ｐ）／｜｜Ｖ１−Ｖ０｜｜
と書ける。この計算では計算誤差で辺ｖ０，ｖ１と辺Ｖ０，Ｖ１の長さが違ってもＶ２を求めることが出来る。
【００４５】
図９は撮影対象物と取り込み画像の間の幾何学的関係を模式的に表したものである。視点はカメラの視点を表す。直線ａｂは撮影対象物を、ｚ＝１のスクリーンはカメラ前面の刷像面を表している。ｙは上下方向の位置座標、ｚは視点からの距離を表している。点ａは刷像面のａ′に、点ｂは刷像面のｂ'に対応する。ａ＝（ｙ０，ｚ０）とすると、ａをｚ軸に降ろした垂線の足は（ｙ０，０）である。
【００４６】
これら２点と視点でできる三角形はａ′とａ′をｚ軸に下した垂線の足と視点で構成される三角形と相似であり、相似比はｚ０：１である。よって、ａ′は（ｙ０／ｚ０，１）と表わされる。このように撮影対象物と取り込み画像のｙ座標（ｘ座標も同様）の間には座標値がｚ：１の関係がある。今は分かりやすくｚ＝１を刷像面と考えたが、他の値でも同様である。
【００４７】
図１０は撮影対象物５２と原稿取り込み画像５４，展開図５３間の幾何学的位置関係を表したものである。撮影対象物５２と原稿取り込み画像の関係は上述の通りである。また、展開図５３は撮影対象物５２を一次変換したもので、基本的には回転と平行移動のみであるが計算誤差によって傾いたり、拡縮が起こる場合があるので一般的な一次変換と考えるほうが良い。
【００４８】
図１１は撮影対象物５２と原稿取り込み画像５４，展開図５３間の座標の対応示している。実際平面修復画像において展開図を生成する際には展開図の各画素値を取り込み原稿画像の対応画素の画素値から生成しなければならない。展開図５３の三角形の各頂点をＶｉ＝（Ｘｉ，Ｙｉ）、撮影対象物５２の各頂点をｖｉ＝（ｘｉ，ｙｉ，ｚｉ）、取り込み原稿画像５４の各頂点をｖ′ｉ＝（ｘｉ／ｚｉ，ｙｉ／ｚｉ，１）とする。いま、展開図５３の画素Ｐ＝（Ｘ，Ｙ）を生成することを考える。各Ｖｉに対してその対辺とＰでできる三角形の面積をＳｉ，全体の面積をＳとすると、画素Ｐ＝（Ｘ，Ｙ）は各頂点Ｖｉの１次結合として、
Ｘ＝（Ｓ０・ＸＯ＋Ｓ１・Ｘ１＋Ｓ２・Ｘ２）／Ｓ …式１
Ｙ＝（Ｓ０・ＹＯ＋Ｓ１・Ｙ１＋Ｓ２・Ｙ２）／Ｓ …式２
と表せる。また、撮影対象物５２から展開図５３の変換は１次変換であるため、対応する撮影対象物５２の点ｐ＝（ｘ，ｙ，ｚ）も式１，２と同じ係数の１次結合で
ｘ＝（Ｓ０・ｘＯ＋Ｓ１・ｘ１＋Ｓ２・ｘ２）／Ｓ …式３
ｙ＝（Ｓ０・ｙＯ＋Ｓ１・ｙ１＋Ｓ２・ｙ２）／Ｓ …式４
ｚ＝（Ｓ０・ｚＯ＋Ｓ１・ｚ１＋Ｓ２・ｚ２）／Ｓ …式５
と表される。さらに、取り込み原稿画像５４の対応する点ｐ′＝（ｘ／ｚ，ｙ／ｚ，１）は式３，４，５より
ｐ′＝（Ｓ０・ｚ０・ｖ′０＋Ｓ１・ｚ１・ｖ′１＋Ｓ１・ｚ１・ｖ′１）
／（Ｓ０・ｚ０＋Ｓ１・ｚ１＋Ｓ１・ｚ１） …式６
と表される。ここで、ＳｉはＰによって決まり、ｚｉは頂点ｚ座標決定手段で決定されている。
【００４９】
従って展開図５３の画素Ｐを生成するためには式６で取り込み原稿画像５４の対応する点ｐ'を求め点ｐ'に最も近い画素の画素値をあるいは点ｐ′の周辺画素の重み付け平均などをとればよい。
【００５０】
図１２は本発明の別の実施例である非接触型原稿モデリング装置の機能ブロック図を示したものである。
【００５１】
本発明の非接触型画像入力装置は、カメラ１で、机上などに置かれた例えばＡ４などの輪郭が既知形状の原稿を折れ曲がった状態で読み込み、原稿輪郭抽出手段２で取り込み画像中の折れ曲がった原稿の輪郭を抽出して輪郭情報を生成する、頂点検出手段３は輪郭情報を考慮して原稿内の頂点を検出して頂点毎の位置情報とそれらの接続関係を表すパッチ情報を生成し、頂点ｚ座標決定手段４は頂点の位置情報とパッチ情報から各頂点の距離情報を算出し、３次元補正手段５の展開図生成機能のみを持った展開図生成手段６は頂点毎の位置情報，パッチ情報，頂点毎の距離情報から展開図の頂点毎の位置情報を生成する。これら位置情報，パッチ情報，頂点毎の距離情報，展開図の頂点毎の位置情報及び原稿読み込み画像の情報を用いて市販のグラフィックスチップは平面修復画像を生成することができる。
【００５２】
【発明の効果】
本発明によれば、折れた帳票や厚い本などを押さえることなく、また特殊な距離検出センサを用いることなく、高画質に画像を入力できるので操作性を大幅に改善できる。
【図面の簡単な説明】
【図１】本発明からなる画像処理方法の機能ブロックの一実施例を示す図である。
【図２】本発明の輪郭抽出手段の概念を示す図である。
【図３】本発明の頂点抽出手段の概念を説明する図である。
【図４】本発明の頂点抽出手段の概念を説明する図である。
【図５】本発明のパッチ分割の概念を示す図である。
【図６】本発明の頂点ｚ座標決定手段の概念を示す図である。
【図７】本発明の頂点ｚ座標決定手段の反復収束計算フローを示す図である。
【図８】本発明の３次元補正の展開図生成を説明する図である。
【図９】本発明の透視変換原理を示す図である。
【図１０】本発明の座標変換の概念を示す図である。
【図１１】本発明の画素発生の概念を説明する図である。
【図１２】本発明からなる画像処理方法の機能ブロックの他の実施例を示す図である。
【符号の説明】
１…カメラ、２…原稿輪郭抽出手段、３…頂点検出手段、４…頂点ｚ座標決定手段、５…３次元補正手段、４２…撮影対象物、８０…非接触画像入力装置、８１…画像処理部。

Claims

入力手段により原稿を非接触で読み取り、読み取られた画像情報を補正する画像処理方法において、
前記読み取られた画像情報から前記補正の際画像を生成するパッチを求めること、
前記パッチを予め定められた前記原稿の形状に一致するように展開することで、前記パッチの頂点の位置情報を求めること、
前記位置情報に基づいて前記入力手段と前記パッチの頂点間の距離情報を算出して、前記読み取られた画像情報を平面修復画像に補正することを特徴とする画像処理方法。
請求項１の画像処理方法において、
前記画像情報の補正は、読み取られた画像情報を平面に展開する補正であることを特徴とする画像処理方法。
請求項２の画像処理方法において、
前記入力手段からの距離を算出する時、反復収束計算を行うことを特徴とする画像処理方法。
請求項３の画像処理方法において、
前記反復収束計算の初期値は外部から入力することを特徴とする画像処理方法。
原稿を非接触で読み取る入力手段を備え、
読み取られた画像情報を補正する画像入力装置において、
前記読み取られた画像情報から前記原稿の形状を求める手段と、
前記読み取られた画像情報から前記補正の際画像を生成するパッチ情報を求める手段と、
前記パッチを予め定められた前記原稿の形状に一致するように展開することで、前記パッチの頂点の位置情報を求める手段と、
前記位置情報に基づいて前記入力手段と前記パッチの頂点間の距離情報を算出距離測定手段と、
該距離測定手段によって測定された距離情報と前記頂点情報に基づいて、前記読み取られた原稿の画像情報を平面修復画像に補正する補正手段を備えたことを特徴とする画像入力装置。
請求項５の画像入力装置において、
前記補正手段は、読み取られた画像情報を平面に展開する補正を行うことを特徴とする画像入力装置。
請求項６の画像入力装置において、
前記距離測定手段は前記入力手段からの距離を算出する時、反復収束計算を行って距離を算出する画像入力装置。
請求項７の画像入力装置において、
前記反復収束計算の初期値は外部から入力する画像入力装置。