JP4064701B2 - Image determination method and image determination apparatus - Google Patents

Description

【００３３】
【数２】

なお、数式１（３−２−１）と数式２（３−２−２）から、
【００３４】
【数３】

の関係がある。ここで
【００３５】
【数４】

は明度である。
【００３６】
以上のＳ、Ｓ_Ｒ、Ｖは、例えば，高木幹雄、下田陽久”画像解析ハンドブック”東京大学出版会のｐｐ４７５−４９１，１９９１，１，１７に定義されているものである。
【００３７】
図５は、明度と彩度の分布図であって、上述の数式４（３−２−４）で決まる明度Ｖを横軸に、数式１（３−２−１）で決まる彩度Ｓを縦軸にとって、各画素が有する値をプロットしたものである。Ｓ_Ｒに閾値Ｔ_ＳＲを定めると、そのＴ_ＳＲは原画像では、図５に記載したような曲線になる。
【００３８】
この処理は、図５の閾値Ｔ_Ｓ以下と閾値Ｔ_ＳＲの左を排除することに相当する。
【００３９】
色ずれの検出を次のようにして行なう。
（１）各画素の彩度Ｓを求める。
（２）Ｓが閾値Ｔ_Ｓ以上のとき、色ずれ候補とする。
（３）反転画像Ｓ_Ｒを求める。
（４）Ｓ_Ｒが閾値Ｔ_ＳＲ以上のとき、色ずれ候補とする。
（５）抽出した候補から、画素が紙の進行方向に対してカラー部分として抽出された画素がさかのぼって連続している候補の画素数を数え、その数がＮ画素以下のとき、色ずれとして検出する。これについては、図１１、１２を使用して説明する。
【００４０】
Ｓ３００へ入力する画像取得については、後のＡＤＦ付きスキャナの説明で図１９に基づいて説明する、スキャナ等で読み取って保存された画像データを受け取るステップである。同時に画像の水平方向画素数ｊと垂直方向の画素数ｉ、及び原色数ｋを与えている。これは、スキャナで読み取って保存した画像を、オフライン等でコンピュータに写し取り検出動作させる為であって、オンライン処理や、単体様で述べた装置内処理では、特に与えることなく、内部的に受け渡すことが出来うる変数である。
【００４１】
Ｓ３０１，Ｓ３０２はＳ３１２とＳ３１８〜Ｓ３２１にて形成される処理ループである。処理として、Ｓ３０３、Ｓ３０４で変数の初期化を行い、Ｓ３０５〜Ｓ３０７で原画増の彩度Ｓを求めている。この結果をＳ３０８で閾値ＴＳと比較することで色ズレとして候補にあげるかどうかの判定を行う。閾値を越えていれば候補とする。候補でなければ、全画像データ完了するまで、上記ループに従って繰り返す。
【００４２】
次に反転画像判断に移る。上記候補になったもので、Ｓ３０９で反転画像の彩度ＳＲを計算している。そして、Ｓ３１０で反転画像データでの彩度計算値が閾値ＴＳを越えた場合に色ズレの候補確定をする。そして候補確定処理として、Ｓ３１１で変数ｃｏｕｎｔをインクリメントする。この候補処理がループとして繰り返された後、彩度が下がってＢに抜けてきたとき、Ｓ３１４からＳ３１７の色ずれ検出とするかどうかの判定、Ｓ３１３をとおる。所定値Ｎよりも大きい場合には、カラーの領域であって、色ズレではないと判断する。
【００４３】
全ての画素が処理完了するとＳ３２２として抜ける。この時に、Ｓ３１５でフラグ処理されている為に、後にこのフラグを用いて、修正処理を行うことが出来る。
（Ｌ^＊ａ^＊ｂ^＊変換を使用するＣＩＥＬ^＊ａ^＊ｂ^＊法）
第２の態様に対応する方法としての第６の態様としてＣＩＥＬ^＊ａ^＊ｂ^＊法を使用したものを説明する。
【００４４】
この方法では、色ずれは、画像中のモノクローム部分で目立つとする。そして、色ずれは、画像中のコントラストの高い部分（エッジ部分）で目立つ。
【００４５】
図６は、スキャナーで読み込んだ画像を、その性質によって区分けしたものである。２次元上に分布した画像データを特徴の領域ごとに区分した概念図である。大きく、カラーの部分（ｃｏｌｏｒ ａｒｅａ）モノクロームの部分（Ｍｏｎｏｃｈｒｏｍｅ Ａｒｅａ）に分けられる。
【００４６】
そのいずれにもコントラストが高い部分（エッジ部分：Ｅｄｇｅ ａｒｅａ）が存在する。読み込み誤り（Ａｒｅａ ｗｉｔｈ Ｒｅａｄｉｎｇ Ｅｒｒｏｒ）は同じように存在するが、色ずれの目立つ部分は、この図６の斜線部分にあたる。
【００４７】
この方法では、概略（１）カラーとモノクロームの分離、（２）エッジの検出、（３）色ずれの判定、のステップで、この斜線の部分を検出する。
【００４８】
検出の手順としては、まず、カラーとモノクロームの分離を行う。カラーとモノクロームの判別には、人の知覚色度に近いといわれるＣＩＥで規格化されているＣＩＥＬ＊ａ＊ｂ＊値を用いる。ＣＩＢＬ＊ａ＊ｂ＊表色素の変換の計算は次ように行なう。
【００４９】
まず、表色系を数式５（３−３−１）により、ＸＹＺ色素系に変換する。
【００５０】
【数５】

さらに、数式６（３−３−２）によってＬ＊ａ＊ｂ＊表色系に変換する。
【００５１】
【数６】

ただし、ここで、
【００５２】
【数７】

である。
【００５３】
図７は、ＣＩＥＬ＊ａ＊ｂ＊表色系の色度図である。ａ＊軸とｂ＊軸直交し、直交点が無彩色点（モノクローム点）となる。＊ａ値、ｂ＊値の範囲を決定することにより、無彩色（モノクローム）領或を抽出できる。
【００５４】
色ずれがないときは、カラーとモノクロームの分離を行なうのは容易である。しかし、色ずれがあるときは、カラーと色ずれの特徴が良く似ているために、画素単位でカラー部分とモノクローム部分の分離を行なうのは難しい。言い換えると、カラーと色ズレとの違いを色彩のみで分けることが難しい。そこで、次のアルゴリズムでカラーとモノクロームを分離する。
（１）画素をｍ×ｍの領域に分割する。
（２）（１）の領域において縦方向にａ＊値とｂ＊値の累積ヒストグラムを作成する。ただし、累積値は累積画素数で正規化する。
（３）（２）での累積値が、Ｔａ_Ｌ＜ａ＊＜Ｔａ_Ｈ、かつＴ_ｂＬ＜ｂ＊＜Ｔ_ｂＨの値の範囲に入るものをモノクローム領域として抽出する。
（４）さらに、モノクローム領域を抽出するために（３）でモノクロームと判断されなかった部分についてのみ、横方向にａ＊値とｂ＊値の累積ヒストグラムを作成する。ここでも、累積値は累積画素数で正規化する。
（５）（４）での累積値が、Ｔａ_Ｌ＜ａ＊＜Ｔａ_Ｈ、かつＴ_ｂＬ＜ｂ＊＜Ｔ_ｂＨの値の範囲に入るものをモノクローム領域として抽出する。
【００５５】
これにより、モノクロームである領域が判別されている。次にモノクローム領域でのエッジ（高コントラスト部分）を検出する。
【００５６】
図８のように、紙の進行方向に色ずれが起きるので，垂直方向Ｓｏｂｅｌフィルタを用いて横方向のエッジを検出する。Ｓｏｂｅｌフィルタは微分フィルタの一種である。
【００５７】
ここで説明している方法では、使用した画像が、シートスルースキャナで取得された画像であって、その紙を送るいわゆる搬送方向に、色ズレを発生しているので、考察を簡略化する為に、垂直方向の検出に限定したのであって、水平方向にアルゴリズムを変更することも、両方を併用することも可能である。
【００５８】
色ずれの判定について説明すると、エッジ部分において、各画素におけるａ＊値、ｂ＊値がＴａＬ＜ａ＊＜ＴａＨもしくは、ＴａＬ＜ａ＊＜ＴａＨの範囲以外の画素を色ずれとして抽出することが出来る。図９には、判定で用いた各閾値がまとまられている。
【００５９】
次に、図１３、１４、１５を用いて詳細な説明を行う。
【００６０】
図１３は概略全体を示したものであって、Ｓ３０５，Ｓ３５７がこの処理への入出力になる。Ｓ３５１でＣＩＥＬ＊ａ＊ｂ＊表色系に変換処理される。この次に、Ｓ３５２では原画像全体のエリアを所定の小領域（たとえば８＊８など）に分割する。これは、Ｓ３５３でａ＊値の累積ヒストグラムとｂ＊値の累積ヒストグラムを生成する為である。Ｓ３５４で累積ヒストグラムの結果を用いてカラーとモノクロームとを分離する。Ｓ３５５でモノクローム域内にあるエッジ検出を行って、Ｓ３５６似ていろズレの最終判定を行う。
【００６１】
図１４と図１５は、上記説明の詳細になる。Ｓ３６０、Ｓ３７９、はこの処理への入出力である。Ｓ３６１で色ズレ位置フラグをクリアする。Ｓ３６２、Ｓ３６３では、ＣＩＥＬ＊ａ＊ｂ＊表色系に変換処理している。Ｓ３６４、Ｓ３６５にて原画像全体のエリアを所定の小領域に分割する。Ｓ３６６がヒストグラム生成であって、各小エリアごとに作成を行っておく。累積ヒストグラムはａ＊値の累積ヒストグラムとｂ＊値の累積ヒストグラムを用意する。Ｓ３６７、Ｓ３６８でモノクロームと判断したらＳ３６９でフラグをたてる。Ｓ３７０、Ｓ３７１ではフラグがたっているもののみに対して、モノクロームと判断したらＳ３７２でフラグを確定する。Ｓ３７３でモノクローム領域内のエッジ（コントラストの判定に相当）検出を行う。Ｓ３７４、Ｓ３７５、Ｓ３７６、Ｓ３７７、Ｓ３７８、にて対象とする画素（画素周辺）がカラーであってモノクローム内であるので色ズレと判断する。
（色の相関を使用する相関法）
次に、第３の態様に方法として相当する、第７の態様について説明する。３原色の間で相関を計算しても色ズレを検出することが出来る。
【００６２】
相関法では、次の特徴に注目して色ずれを検出する。ただし、対象画像は、モノクローム画像に限定する。従って、既に述べた別の方法で既出した、カラーとモノクロームとの分離を事前に行っておき、そのモノクロームと認められた領域に、以下に説明する方法を適用することになる。
【００６３】
但し、原稿がモノクロームであるという指示などが、事前に与えられれば特に上述の分離等しなくても適用できる。
【００６４】
この方法は以下の特徴を前提として成り立つ。
（１）色ずれは、画像中のコントラストの高い部分で目立つ。
（２）色ずれは、ＲＧＢの輝度値が異なる。
（３）コントラストの高い部分で色ずれが起きた場合、ＲＧＢのうち、ずれた色の輝度値は、隣接画素の輝度値に置き換えられているので、ＲＧＢの輝度変化が一致しない。
次に、この方法での検出の手順について述べる。
一言で言えば、２色間の相関係数に注目してずれている色を検出することになる。色ずれは、紙の進行方向に生じるので、紙の進行方向に沿って、相関係数
【００６５】
【数８】

を数式８（３−１−１）から求める。ただし｛ｘ，ｙ｝＝｛Ｒ，Ｇ，Ｂ｝，ｗは相関幅である。
【００６６】
コントラストの低い部分では、数式８（３−１−１）の分母の値が小さくなり、相関係数の値を用いることは適当でないので、分母の値がある閾値Ｔ_ｄより大きい部分のみについて、相関係数を計算する。相関係数が、ある閾値Ｔ_ｃより小さいとき、色ずれとして検出する。
【００６７】
色ずれを次のようにして検出する。
（１）数式８（３−１−１）の分母の値を計算する。
（２）分母が閾値Ｔ_ｄより大きいとき、相関係数を計算する。
（３）相関係数が閾値Ｔ_ｃより小さいとき、その画素に色ずれがあるとする。
【００６８】
次に、図１６を用いて詳細に説明をする。
【００６９】
Ｓ４００、Ｓ４１６はこの処理への入出力である。Ｓ４０１、Ｓ４０２、Ｓ４０７、Ｓ４０８は相関値の計算を全画像データに繰り返す為のループである。Ｓ４０３は数式８（３−１−１）における分母計算である。この分母は標準偏差に相当する。Ｓ４０４でこの標準偏差の値が所定の閾値より高いかどうかを調べて、小さいときにはコントラストが低い部分に相当する為、対象外にする。（Ｓ４０６）Ｓ４０５では、次のステップとして数式８（３−１−１）の分子も求めて既に求めた標準偏差で割る。Ｓ４０９、Ｓ４１０、Ｓ４１４、Ｓ４１５は、上記で求めた相関値を所定の閾値と比較することで色ズレであるかどうか判断しているＳ４１１、Ｓ４１２、Ｓ４１３、を全画素分繰り返す為のループである。
（各方法の検出の状態）
ところで、図１０には、原画像に対する、各方法での検出結果が表示されている。
【００７０】
原画（Ａ１：Ｏｒｉｇｉｎａｌｉｍａｇｅ）は右側にカラーの領域を有して左側がモノクロームのペアラインが備えられたものである。このモノクロームのペアラインに、この図では見えないが色の滲み（色ズレ部分）がある。Ａ２、Ａ３、Ａ４はそれぞれ、相関法、彩度法、ＣＩＥＬ^＊ａ^＊ｂ^＊法で検出した結果で、多少の性能差は出たが、基本的に検出が出来ている。
【００７１】
図１０は色ずれ検出の結果である。対象画像は色ずれを含む画像ＳａｍｐｌｅＡ３００×１００ ｐｉｘｅｌｓ）、ＳａｍｐｌｅＢ（２００×２００ ｐｉｘｅｌｓ）、Ｓａｍｐｌｅｓ（６００×１００ ｐｉｘｅｌｓ）である。図１０のＡ２、Ａ３、Ａ４中の白い領域が色ずれとして検出された部分である。検出閾値は、経験的に次のように設定した。
【００７２】
第３と第７の態様で使用する相関法では、相関幅ｗは３画素とした。また、分母の閾値Ｔｄを１０００とし、相関の閾値Ｔｄを０．９７とした。
【００７３】
第１と第５の態様で使用する彩度法では、連続画素数Ｎは４画素とした。また、彩度の閾値Ｔｓ＝ＴｓＲ＝０．１７３とした。
【００７４】
第２と第６の態様で使用するＣＩＥＬ＊ａ＊ｂ法では、カラーとモノタロームの分離において、分割領域の大きさｍは５０Ｐｉｘｅｌｓとし、エッジ検出の閾値は４００とした。カラーとモノクロームの分離の縦方向累積値、横方向累積値、色ずれ判定のａ＊値、ｂ＊値の範囲は図９の通りである。
（搭載の形態説明）
図１に示したようなスキャナ１、コンピュータ２、ディスプレイ３、プリンタ４からなる一般的な構成に於いて、既に述べてきた検出の方法を、プログラムとしてコンピュータ２のハードディスクなど内部メモリに搭載して利用することが出来る。当然のこととして、初期的に搭載されていなくとも、ＣＤやＦＤＤにプログラムを記録して於いて、コンピュータ２に読み込んでも良いし、あるいはインターネットやＬＡＮ等の電送経路から、転送されて実行しても良い。必要に応じて転送しても、常駐してもどちらでも良い。この場合に、プログラムを搭載されたコンピュータ２は、色ズレを検出する為の画像判断装置となる。
【００７５】
また、同じ図１の形態で、図を省略したがこのスキャナのファームウエア、もしくはハード化されて、上述の色ズレ検出動作が行われても良い。この場合は、色ずれ検出の機能を備えたスキャナである。
【００７６】
さらに、図２のように、ユニットとして、この色ズレ検出機能を独立させてインターフェースし、これを色ずれ検出を行う画像判断装置としても良い。
（ユニット時の簡単な説明）
上述のようにユニット化する場合の説明を図２０を用いて簡単に行う。簡単な方法として、ワンチップマイコンを用い、既に説明してきた態様５，６，７の方法を態様８のようにプログラムで記載し、プログラムＲＯＭに書き込む。既に説明したように、少なくとも３原色分の頁メモリは必要である。それに、彩度やヒストグラム、相関といった値を頁分保持する必要がある。そのためにワークメモリも充分に搭載する必要がある。
（両面同時の画像読み取り装置の説明）
次に、第４の態様である読み取り装置として、図１７と図１８を用いて色ズレ検出手段が備えられたスキャナ５０と読み取り機能付きＡＤＦ９０とについて説明する。尚、便宜上イメージセンサの読み取り方向を主走査と述べるところがあるが、既に述べたように光学系の設計によっては、イメージセンサの光電変換素子走査方向と、原稿を読み取るラインでの方向とは異なる方向になるため、原稿の読み取りラインの方向を主走査と定義し、原稿と読み取りラインの相対移動方向である副走査方向が、主走査方向に直交する。
（ＡＤＦ側の処理説明）
図１７、１８、１９に基づいて説明を行う。
【００７７】
給紙トレイ６７上に上面を読み取り面として載置された原稿はピックアップローラ５２で取り込まれて給紙ローラ５３で読み取り前ローラ５４から密着イメージセンサ６０（以後、ＣＩＳ６０）の下方を通過する。ＣＩＳ６０を通過した後、原稿はバックプラテン６５の下方を通過する。そして、更に排紙ローラ５５で原稿は排紙トレイ６６上に送り出される。このときには、スキャナ５０のレール上を移動する光学キャリッジ５７がこのバックプラテン６５の下方に読みとり位置を移動して読み取り可能状態になっている。
【００７８】
光学キャリッジ５６は３ラインＣＣＤであるイメージセンサ５７、レンズ５８、ミラー５９、光源６９が備えられている。また、ＣＩＳ６０は、図示しない光源、セルフォックレンズ群６２、色フィルタを備えた等倍センサ列を３本、３原色分備えた基板６１から構成されている。
【００７９】
ＣＩＳ６０から取り出された３原色分の画像データは、ＡＤＦ用画像処理基板７０に送られる。ＡＤＦ画像処理基板７０には、後に説明する色ズレ検出手段が載置されている。同じく、イメージセンサ５７から取り出された３原色分の画像データは、スキャナ用画像処理基板８０に送られる。このスキャナ用画像処理基板８０にも、後に説明する色ズレ検出手段が載置されている。なお８２はコンピュータにインターフェースする為のＳＣＳＩコネクタである。
【００８０】
次に回路構成について図１８を使って説明をする。
【００８１】
まず、ＡＤＦ用処理基板７０にはＣＩＳ６０から各色毎に画像データが入力される。Ａ／Ｄコンバータ１１０で各色毎にデジタル化されたデータは、シェーディング補正手段１１１に入力されて各色毎にシェーディング補正される。このシェーディング補正手段１１１からのデータはライン間補正手段１１２に入力されて、図示しないワークメモリを使用しながら８ライン毎の重ね合わせを実行する。そして、読みとり位置の補正が行われたデータはページメモリ１１３に格納される。
（ＡＤＦ側の色ズレ検出説明）
ここでは、ブロックダイアグラムである図１８に基づいて概要を説明する。ページメモリ１１３に格納された３原色の画像データは、ＣＰＵ１１９に管理されてアドレスコントロール１１５が読み取りの第１ラインからはじめ、読み取りの最終ラインに至るまで各画素毎の値を調べて、色ずれ検出部１１８により検出される。この色ずれ検出部１１８は、既に述べた第５，６，７の態様の色ずれ検出方法を実施できるようにハード化して載置されている。基本的に、各工程の演算等機能をハード化することは、当業者では容易なことである。また、ハード化するまでもなく、ワンチップマイコンを専用に載置して、プログラムＲＯＭ等のメモリに、第８の態様としてのプログラムを搭載することで実施出来る。この形態を図２０に概要を示すブロック図としてしめした。
【００８２】
各々の画素を調べて、色ズレ検出部１１８内の結果で色ずれ発生点であるかをＣＰＵ１１９で判定してメモリシフト制御部１１７の内部にあるワークメモリにフラグ記入を行う。
【００８３】
色ずれ点であると判定した場合には、１を、そうでないときには０という具合である。この操作を３色の全ライン分、すなわち３色について各１ページ分繰り返し処理を行う。もちろん、色ズレ検出部１１８内のワークメモリに載置保存したコントラスト演算部１１４の結果は、このメモリシフト制御部１１７の内部メモリに書き込んでも良いし、専用のメモリの設置も考えられる。どのメモリを退避や演算に用いることは、同一のことであるし単なる設計変更である。
【００８４】
メモリシフト制御部１１７は、フラグを参照してずれ量を計算する。この演算で利用する各画素における濃度値（画素値）は既に述べた一時的に格納するワークメモリやページメモリ１１３から読み出したり書き込んだりしながら実行されるが、この制御は、ＣＰＵ１１９とアドレスコントロール部１１５とが共同して管理する。
【００８５】
このようなアルゴリズムで色ずれの補正がなされたデータは、あとはＡＤＦ用処理基板７０のＩ／Ｆコントロール部１２０を経てスキャナ用処理基板８０に受け渡される。受け取り側のスキャナ用画像処理基板８０に省略したバスバッファ等を経て、ＳＣＳＩインターフェース用のコントローラであるＳＰＣ１３９を経てコネクタ８２から上位装置として接続されているコンピュータにデータが送出される。この時に、コンピュータ側に送出する手順あるいは色などの順番は、コンピュータ上で稼働するソフトウエアに依存するので、入れ替え等可能なように一時的にバッファを行うバッファメモリ１４１を持っている。これらの一連の処理は、クロックコントロール部１１６で適正に同期が取られている。
（スキャナ側の色ずれ検出と処理説明）
スキャナ用画像処理基板８０内の処理も基本的にＡＤＦ用処理基板７０と同様であるため細かくは省略するが、３ラインカラーＣＣＤであるイメージセンサ５７からの映像信号はＡ／Ｄコンバータ１３０でデジタル化されシェーディング補正部１３１でシェーディング補正される。この出力がライン間補正手段１３２で３ラインを一致させられて一時的にページメモリ１３３に格納される。
【００８６】
このデータは、色ズレ検出部１３８やコントラスト演算部１３４で利用するため、ＣＰＵ１３９とアドレスコントロール１３５と協働して色ずれ判定され、メモリシフト制御手段１３７で色合わせされる。これらの一連の処理は、クロックコントロール部１３６で同期されて処理が進む。
【００８７】
最終的に色合わせされた画像データは、バッファメモリ１４２内にＡＤＦ用処理基板７０から受け取った画像データと同居して格納される。ＡＤＦ用処理基板７０からから受け取った画像データと同様、コンピュータ側のアプリケーションに合わせて、ＣＰＵ１３９で送出が制御されながら、ＳＰＣ１４０でコントロールされコネクタ８２から送り出される。
（ＡＤＦ付きスキャナ装置の説明）
図１７、１８、１９に基づいて説明を行う。給紙トレイ１４へ上向きに複数枚の原稿束が載置される。搬送が開始されると、まずピックアップローラ１６で最上面の原稿がピックアップされる。ピックアップされた原稿は繰り出しローラ１７で読み取り前ローラ１８まで送られる。
【００８８】
読み取り前ローラ１８で更にバックプラテン２５と読み取り窓１３との間に送り込まれた原稿は、排紙ローラに送られる。更に排紙ローラ１９で排紙トレイ１５上に排出される。このバックプラテン２５の面は白色である。従って、キャリッジ１２のセンサ２２が読み取る画像データは、原稿が存在し無し時および、原稿の周囲など余分に読み取った領域などが白く現れる。
【００８９】
一方、フラットベットスキャナ１０の内部には、レール３０の上を移動可能な光学キャリッジ１２がある。光学キャリッジ１２には、３ラインカラーＣＣＤ２２、（以下イメージセンサ２２と呼ぶ。このイメージセンサはＣＣＤでなくともＭＯＳ型やその他のタイプであっても良い。）レンズ２１、ミラー２０、光源２４が備えられている。
【００９０】
ガラス製の原稿台２６上に原稿面を下にして載置された固定原稿を読むときには、キャリッジ１２がＳＷ方向に移動しながら原稿面を読み取る。原稿全体を読み取ると、光学キャリッジ１２はＢＫ方向に戻り、図示しないホームポジションセンサに基づいて位置決めされて停止する。
【００９１】
一方、上述のＡＤＦ１１で送られた原稿を読み込むときには、光学キャリッジ１２は読み取り窓１３の下面へ移動し、読みとり位置をこの読み取り窓１３に合わせて待機する。そして、図示しない読み取り前ローラ近傍にある位置センサで信号を受け取ると、画像処理並びに読み取り処理回路を起動して読み取る。この図２の例示では、ＡＤＦ１１内に省略されたパルスモータ等の駆動手段を持ち、フラットベットスキャナ１０の動作に同期して搬送制御されている。
（スキャナ読み取りの概略動作）
既に詳細の動作を説明したが、図１９に概要フローを記載した。Ｓ１１９は開始端子であって、たとえばパソコンからの読み取り指令などである。ＡＤＦがＳ２００の頭出しセンサによる原稿頭出し検出をＳ２０１の読み取りの開始位置になるまで繰り返す。
【００９２】
読み取りの開始位置であれば、Ｓ２０２のＣＣＤスキャンを行い読み取って、ＲＧＢデータを頁メモリに格納する。（Ｓ２０３〜Ｓ２０５）完了後、ＣＣＤの３ラインが構造的に位置を異ならせているが素数だけ位置合わせをＳ２０６で行って、Ｓ２０７で完了すると共に、既に述べてきた色ずれ検出の手順に移る。
（他の形態）
また、図１の形態では、スキャナ内部にこの補正処理が搭載されている例を示したが、図２に示したようにこの画像判断処理つまり色ずれ検出を機能として有する装置５を形成して、スキャナの後段に取り付ける形態でもよい。もちろんこの色ズレ検出機能はどこに無ければならないと言うものではなく、プリンタ４とコンピュータ２との間であっても、プリンタ４の中に構成されてもいい。
【００９３】
この補正処理をプログラムとしてＣＤＲＯＭなどの記録媒体に記憶させて、頒布したり、プログラム単体をインターネットなどのネットワーク上に供給可能にして、必要に応じてダウンロードしたり、プログラムのバージョンアップをサービスすることは、昨今では常識である。
【図面の簡単な説明】
【図１】色ずれ検出をコンピュータ２もしくはスキャナ１内で実施している例である。
【図２】色ずれ検出を画像判定装置として独立した図である。
【図３】色ズレを発生する搬送ローラの説明図である。
【図４】色ズレを発生したときのＲＧＢ各原色値をプロットした図である。
【図５】彩度法での明度と彩度のプロット図に判定用の閾値線を加えたものである。
【図６】スキャナで取得した画像データに含まれる画像データの分類を概念的に区分した図である。
【図７】ＣＩＥＬ^＊ａ^＊ｂ^＊法での知覚色度と色の関係を図示したものである。
【図８】ＣＩＥＬ^＊ａ^＊ｂ^＊法での紙搬送方向に対する色ズレ発生エッジの図示とｓｏｂｅｌフィルターを図示したものである。
【図９】ＣＩＥＬ^＊ａ^＊ｂ^＊法でのカラー・モノクローム分離で使われる閾値をまとめたものである。
【図１０】Ａ１に原画像を、Ａ２に相関法の結果を、Ａ３に彩度法の結果を、Ａ４にＣＩＥＬ^＊ａ^＊ｂ^＊法の結果を示したものである。
【図１１】彩度法のフローの前半部である。
【図１２】彩度法のフローの後半部である。
【図１３】ＣＩＥＬ^＊ａ^＊ｂ^＊法の概略全体フローである。
【図１４】ＣＩＥＬ^＊ａ^＊ｂ^＊法のフローの前半部である。
【図１５】ＣＩＥＬ^＊ａ^＊ｂ^＊法のフローの後半部である。
【図１６】相関法のフローである。
【図１７】第４の態様であるＡＤＦ付きスキャナの説明図である。
【図１８】ＡＤＦ付きスキャナのブロック図の例である。
【図１９】ＡＤＦ付きスキャナのフロー概要である。
【図２０】画像判別装置としてのブロックを示す図である。
【符号の説明】
１ 従来のシートスルータイプのスキャナ
２ コンピュータ
３ ディスプレイ
４ プリンタ
５ 外付けの色ズレ検出装置
１０ 従来のフラットベットタイプのスキャナ
１１ オートドキュメントフィーダ
１２ 読み取りのキャリッジ
１３ 読み取り窓
２２ ３色ライン内蔵のイメージセンサ
５０ 本発明の色ズレ検出を備えたフラットベットスキャナ
５７ ３色ラインを備えたＣＣＤセンサ
６０ ３色ラインを備えた密着型イメージセンサ
７０ ＡＤＦ用の画像処理基板
７１ ＡＤＦ用の色ズレ検出手段
８０ スキャナ用の画像処理基板
８１ スキャナ用の色ズレ検出手段
８２ コンピュータへのインターフェースコネクタ
９０ 読み取り手段を備えたＡＤＦ
１１２ ＡＤＦ側の３ライン読み取り位置補正（ライン間補正）
１１４ ＡＤＦ側のコントラスト判定
１１８ ＡＤＦ側の色ズレ検出
１１９ ＡＤＦ側をコントロールするＣＰＵ
１２０ ＡＤＦ側からスキャナ側に画像データを送出するインターフェースコントローラ
１３２ スキャナ側の３ライン読み取り位置補正（ライン間補正）
１３４ スキャナ側のコントラスト判定
１３８ スキャナ側の色ズレ検出
１３９ スキャナ側をコントロールするＣＰＵ
１４０ ＡＤＦとスキャナの色ずれが補正された読み取り画像をコンピュータに送るＳＣＳＩコントローラ
Ｓ 原画像における彩度値
ＳＲ 反転画像における彩度値
ｃｏｕｎｔ 彩度法でのカラー部が色ズレかカラー領域かを判定するカウンタ
ｓｏｂｅｌフィルタ 図８に示したマトリックスで構成されるフィルター
ａ^＊ＣＩＥ規格のＬ^＊ａ^＊ｂ^＊色分解での知覚色彩値（赤緑系）
ｂ^＊ＣＩＥ規格のＬ^＊ａ^＊ｂ^＊色分解での知覚色彩値（青黄系）[0001]
BACKGROUND OF THE INVENTION
This is applied to the technology that detects the error location that is generated from the distortion at the time of acquisition such as reading, which is included in the image data composed of the split primary colors, especially for color reading by color separation into primary colors such as color and light. Image judging device, image reading device, image judging method using this technology to examine image data acquired by image sensors such as CCDs and MOSs, and programs for causing this technology to function on a computer and storing it Belongs to the technical field of recording media.
[Prior art]
For example, as shown in FIGS. 3 and 17, in the sheet-through type scanner, the running speed of the document is uneven due to the mechanical factor of the roller. As shown in FIG. 4, a deviation occurs between the read RGB signal components, and a reading error occurs. FIG. 4 shows a state where each primary color is shifted by one pixel at the boundary between white and black under such factors.
[0002]
However, in so-called simultaneous three-line reading, which is read by an image sensor having three primary colors in three lines, it is only necessary to match the reading position. There are examples of dealing with a spectroscopic element. (Japanese Patent Laid-Open No. 7-143281)
Attempts have also been made to correct blurs and blurs caused by reading errors, which are introduced in the literature. Furthermore, detection of a reading error by calculating a representative color using a color space histogram has been attempted (Japanese Patent Laid-Open No. 6-327621).
[0003]
[Problems to be solved by the invention]
    However, when the image acquired in this way contains abnormalities at random positions (especially color shifts that occur in achromatic areas that are monochrome), it is extremely difficult to detect where the abnormality is, Solution was desired. Therefore, in view of such problems, the present invention extracts features from already acquired image data without using a particularly complicated and special configuration, and color misregistration and color bleeding occur on the image. The location can be detectedMethod and apparatusThe purpose is to provide.
[0004]
[Means for solving problems]
  In order to solve this problem, an image determination method according to claim 1 of the present application includes a step of extracting a small region having a high contrast from a monochrome region of image data including three color components of R, G, and B, A step of calculating correlation coefficients of image data between two colors of R and G, G and B, and B and R in the extracted small region, and each of the calculated correlation coefficients and a predetermined threshold Determining whether or not there is a color shift in the small area based on a comparison result, and extracting the small area having a high contrast includes the steps of R and G for each small area in the monochrome area. Obtaining a product of the standard deviation of each image data, a product of the standard deviation of each of the G and B image data, and a product of the standard deviation of each of the B and R image data; Magnitude with threshold Based on the compare result it is characterized by a step of extracting the high contrast subregion. In addition, the image determination apparatus according to claim 2 of the present application extracts a small region having high contrast from a monochrome region of image data including three color components of R, G, and B, and R in the extracted small region. Color misregistration detecting means for calculating correlation coefficients of image data between two colors G, G and B, B and R, and comparing the calculated correlation coefficients with a predetermined threshold value, A determination unit that determines the presence / absence of a color shift in the small region based on a magnitude comparison result of the color shift detection unit, and the extraction of the small region having a high contrast by the color shift detection unit is performed in each monochrome region. The product of the standard deviation of each of the R and G image data, the product of the standard deviation of each of the G and B image data, and the product of the standard deviation of each of the B and R image data is obtained for each of the small regions. The ratio of the product of and the predetermined threshold Based on the results is that characterized by having to be carried out by extracting the high contrast subregion.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of an image reading apparatus with color shift detection to which the present invention can be applied will be described below with reference to the drawings.
(Outline and definition of color misregistration)
For example, in the image reading apparatus which is a scanner as shown in FIG. 17, there is an image reading apparatus using an image sensor in one package, that is, an image sensor such as a CCD or MOS having so-called three sensor lines.
[0024]
The scanner of FIG. 17 is loaded with an ADF (Auto Document Feeder) for making a sheet-through type scanner that feeds and conveys documents one by one and reads them as they are. Due to the flapping or the impact of the pressing point of the transport roller used in the transport system being separated from the document, the image lacks stability and changes on the image. (See Figure 3)
Further, it is likely that the original fixing type scanner that moves the carriage 56 built in the scanner of FIG. 17 to fix and read the original does not have an unstable operation and can be read stably. However, in a scanner with a high reading resolution, even in a fixed document type, a mirror carriage that forms a reading line and an optical carriage that integrally forms an optical system can move in the sub-scanning direction, which is the moving direction. Vibration and shaking in the reading width direction appear in the image as the same behavior as the wave of the original.
[0025]
This scanner can scan the original surface once to acquire the three primary color components at one time, but some scanners read the light source color while switching the three primary colors. Furthermore, there is also a so-called frame sequential scanner that obtains the three planes in order by switching the color filters with a one-line filterless image sensor.
[0026]
As described above, even when the scanner is used as an example, an image is acquired by various means. For example, even in the case of frame sequential, the movement of reading may be out of position due to an external impact or the like.
[0027]
Alternatively, even a camera may cause missing bytes for some reason when a normally acquired color image passes through a transmission means or the like. The image abnormality (distortion) generated in this manner causes the overlap of the three primary colors to shift, so that stripes such as bleeding of a color different from the original color are discriminated when viewed with the eyes. This is called color shift (color shift included in image data).
(Outline of color shift detection)
As described above, it is difficult to detect where the color misregistration is from the image data including the color misregistration. This is because it may be difficult to distinguish whether the document is a color that is a color shift or an original color because the document may contain color.
[0028]
However, when a color shift occurs at the boundary of an achromatic region that is a monochrome that exists in the image data, it is very conspicuous, and most can be dealt with by solving this. Therefore, when a color is found in a portion of the achromatic region where the contrast changes, a property that can be achieved by distinguishing whether the color image is originally a color image or a color for color shift is used.
(Description of each aspect of the invention)
(Color method by colors from the three primary colors RGB)
As a fifth aspect corresponding to the first aspect, a method for detecting color misregistration by calculating pixel colors will be described. The outline of the method using the color value is as follows.
[0029]
Note that the color shift is that the luminance value of at least one color of RGB is greatly different from the luminance value of two colors at most. Since the conspicuous part is monochrome, the monochrome part is targeted. Color misregistration occurs in the paper feed direction, and the effect of one misregistration is about several pixels.
[0030]
That is, a pixel that appears as a color shift when viewed with the human eye has high saturation in the boundary area where the contrast in the monochrome area changes greatly. The determination of whether the image is an original color image or whether the saturation is high due to the color shift is determined by comparing with a predetermined value as to how many pixels are continuously highly saturated. Therefore, a highly saturated portion having a size of several pixels is detected.
[0031]
This is a procedure for detecting color misregistration. Here, saturation saturation S and S defined by the following equations are used._RIs used.
[0032]
[Expression 1]

[0033]
[Expression 2]

From Equation 1 (3-2-1) and Equation 2 (3-2-2),
[0034]
[Equation 3]

There is a relationship. here
[0035]
[Expression 4]

Is lightness.
[0036]
Above S, S_R,V is defined in, for example, Mikio Takagi and Yoshihisa Shimoda “Image Analysis Handbook”, pp 475-491, 1991, 1, 17 of the University of Tokyo Press.
[0037]
FIG. 5 is a distribution diagram of lightness and saturation. The lightness V determined by Equation 4 (3-2-4) is plotted on the horizontal axis, and the saturation S determined by Equation 1 (3-2-1) is plotted on the horizontal axis. On the vertical axis, the values of each pixel are plotted. S_RThreshold T_SRAnd T_SRIs a curve as shown in FIG. 5 in the original image.
[0038]
This process is performed using the threshold value T in FIG._SAnd threshold T_SRThis is equivalent to eliminating the left side.
[0039]
Color misregistration is detected as follows.
(1) The saturation S of each pixel is obtained.
(2) S is threshold T_SAt this time, it is determined as a color misregistration candidate.
(3) Inverted image S_RAsk for.
(4) S_RIs the threshold T_SRAt this time, it is determined as a color misregistration candidate.
(5) From the extracted candidates, the number of candidate pixels in which the pixels extracted as a color part in the paper advance direction are traced back is counted, and when the number is less than N pixels, color misregistration is detected. To detect. This will be described with reference to FIGS.
[0040]
The image acquisition to be input to S300 is a step of receiving image data read and stored by a scanner or the like, which will be described later with reference to FIG. 19 in the description of the scanner with ADF. At the same time, the horizontal pixel number j, the vertical pixel number i, and the primary color number k are given. This is because the image read and stored by the scanner is copied to a computer offline and detected, and it is received internally without any special processing in online processing or in-device processing as described above. A variable that can be passed.
[0041]
S301 and S302 are processing loops formed in S312 and S318 to S321. As processing, the variables are initialized in S303 and S304, and the saturation S of the original image increase is obtained in S305 to S307. By comparing this result with the threshold value TS in S308, it is determined whether or not to give a candidate as a color shift. If it exceeds the threshold, it is a candidate. If it is not a candidate, it repeats according to the said loop until completion of all the image data.
[0042]
Next, the process proceeds to reversed image determination. This is a candidate, and the saturation SR of the reverse image is calculated in S309. In S310, when the saturation calculation value in the reverse image data exceeds the threshold value TS, a candidate for color misregistration is determined. Then, as a candidate confirmation process, the variable count is incremented in S311. After this candidate process is repeated as a loop, when the saturation drops and the color comes out to B, a determination is made as to whether or not to detect color misregistration from S314 to S317, S313. If it is larger than the predetermined value N, it is determined that the color region is not color misregistration.
[0043]
When all the pixels have been processed, the process exits as S322. At this time, since flag processing is performed in S315, correction processing can be performed later using this flag.
(L^*a^*b^*CIEL using transformation^*a^*b^*Law)
CIEL as a sixth aspect as a method corresponding to the second aspect^*a^*b^*Explain what uses the law.
[0044]
In this method, it is assumed that the color shift is conspicuous in the monochrome portion in the image. The color shift is conspicuous in a high contrast portion (edge portion) in the image.
[0045]
FIG. 6 shows an image read by the scanner divided according to its properties. It is the conceptual diagram which divided the image data distributed on two dimensions for every area | region of the feature. It is divided into a color area (color area) and a monochrome area (Monochrome Area).
[0046]
In any of these, there is a portion with high contrast (edge portion: Edge area). A reading error (Area with Reading Error) exists in the same manner, but the portion where the color shift is conspicuous corresponds to the shaded portion in FIG.
[0047]
In this method, the hatched portion is detected in the steps of (1) separation of color and monochrome, (2) edge detection, and (3) color shift determination.
[0048]
As a detection procedure, first, color and monochrome are separated. For the discrimination between color and monochrome, the CIE L * a * b * value standardized by the CIE, which is said to be close to human perceptual chromaticity, is used. Calculation of CIBL * a * b * surface dye conversion is performed as follows.
[0049]
First, the color system is converted into an XYZ dye system by Equation 5 (3-3-1).
[0050]
[Equation 5]

Further, it is converted into the L * a * b * color system by Equation 6 (3-3-2).
[0051]
[Formula 6]

Where
[0052]
[Expression 7]

It is.
[0053]
FIG. 7 is a chromaticity diagram of the CIEL * a * b * color system. The a * axis and b * axis are orthogonal to each other, and the orthogonal point is an achromatic point (monochrome point). By determining the range of the * a value and the b * value, it is possible to extract an achromatic color (monochrome) region.
[0054]
When there is no color shift, it is easy to separate color and monochrome. However, when there is a color shift, the characteristics of color and color shift are very similar, so it is difficult to separate the color portion and the monochrome portion in units of pixels. In other words, it is difficult to separate the difference between color and color misregistration by color alone. Therefore, color and monochrome are separated by the following algorithm.
(1) Divide the pixel into m × m areas.
(2) A cumulative histogram of a * values and b * values is created in the vertical direction in the area of (1). However, the accumulated value is normalized by the accumulated number of pixels.
(3) The cumulative value in (2) is Ta_L<A * <Ta_HAnd T_bL<B * <T_bHThose that fall within the value range are extracted as monochrome areas.
(4) Further, in order to extract a monochrome region, a cumulative histogram of a * values and b * values is created in the horizontal direction only for the portions that are not determined to be monochrome in (3). Again, the accumulated value is normalized by the accumulated number of pixels.
(5) The accumulated value in (4) is Ta_L<A * <Ta_HAnd T_bL<B * <T_bHThose that fall within the value range are extracted as monochrome areas.
[0055]
Thereby, a monochrome region is determined. Next, an edge (high contrast portion) in the monochrome area is detected.
[0056]
As shown in FIG. 8, since color misregistration occurs in the paper traveling direction, a horizontal edge is detected using a vertical Sobel filter. The Sobel filter is a kind of differential filter.
[0057]
In the method described here, the used image is an image acquired by a sheet-through scanner, and color misregistration occurs in the so-called conveyance direction in which the paper is fed. Furthermore, the detection is limited to the detection in the vertical direction, and the algorithm can be changed in the horizontal direction or both can be used in combination.
[0058]
The determination of color misregistration will be described. In the edge portion, pixels whose a * value and b * value in each pixel are outside the range of TaL <a * <TaH or TaL <a * <TaH are extracted as color misregistration. I can do it. FIG. 9 summarizes the thresholds used in the determination.
[0059]
Next, a detailed description will be given with reference to FIGS.
[0060]
FIG. 13 shows the overall outline, and S305 and S357 are input and output to this processing. In S351, conversion processing to the CIE L * a * b * color system is performed. Next, in S352, the entire area of the original image is divided into predetermined small areas (for example, 8 * 8). This is to generate a cumulative histogram of a * values and a cumulative histogram of b * values in S353. In S354, color and monochrome are separated using the result of the cumulative histogram. In S355, an edge in the monochrome area is detected, and a final determination is made as to whether or not S356 is similar.
[0061]
14 and 15 are the details of the above description. S360 and S379 are inputs and outputs to this process. In S361, the color misregistration position flag is cleared. In S362 and S363, conversion processing to the CIEL * a * b * color system is performed. In S364 and S365, the entire area of the original image is divided into predetermined small areas. S366 is histogram generation, which is created for each small area. As the cumulative histogram, a cumulative histogram of a * value and a cumulative histogram of b * value are prepared. If it is determined that the image is monochrome in S367 and S368, a flag is set in S369. If only the flag is set in S370 and S371, the flag is determined in S372 if it is determined as monochrome. In S373, an edge in the monochrome area (corresponding to contrast determination) is detected. In S374, S375, S376, S377, and S378, the target pixel (pixel periphery) is in color and is in monochrome, so it is determined that there is a color shift.
(Correlation method using color correlation)
Next, a seventh aspect corresponding to the third aspect as a method will be described. Even if the correlation between the three primary colors is calculated, the color shift can be detected.
[0062]
In the correlation method, color shift is detected by paying attention to the following features. However, the target image is limited to a monochrome image. Therefore, separation of color and monochrome, which has already been performed by another method already described, is performed in advance, and the method described below is applied to an area recognized as monochrome.
[0063]
However, if an instruction that the document is monochrome is given in advance, it can be applied without the above-described separation.
[0064]
This method is based on the following characteristics.
(1) The color shift is conspicuous in a high contrast portion in the image.
(2) The color shift is different in RGB luminance values.
(3) When a color shift occurs in a high-contrast portion, the luminance values of the shifted colors in RGB are replaced with the luminance values of adjacent pixels, so that the luminance changes of RGB do not match.
Next, the detection procedure by this method will be described.
In short, the shifted color is detected by paying attention to the correlation coefficient between the two colors. Since color misregistration occurs in the paper traveling direction, the correlation coefficient is increased along the paper traveling direction.
[0065]
[Equation 8]

Is obtained from Equation 8 (3-1-1). However, {x, y} = {R, G, B}, w is a correlation width.
[0066]
In the low contrast portion, the value of the denominator of Equation 8 (3-1-1) becomes small and it is not appropriate to use the value of the correlation coefficient._dThe correlation coefficient is calculated only for the larger part. The correlation coefficient is a certain threshold T_cWhen it is smaller, it is detected as a color shift.
[0067]
Color misregistration is detected as follows.
(1) The value of the denominator of Formula 8 (3-1-1) is calculated.
(2) Denominator is threshold T_dWhen larger, the correlation coefficient is calculated.
(3) Correlation coefficient is threshold T_cWhen it is smaller, it is assumed that the pixel has a color shift.
[0068]
Next, it will be described in detail with reference to FIG.
[0069]
S400 and S416 are input and output to this process. S401, S402, S407, and S408 are loops for repeating the calculation of correlation values for all image data. S403 is a denominator calculation in Formula 8 (3-1-1). This denominator corresponds to the standard deviation. In S404, it is checked whether or not the value of the standard deviation is higher than a predetermined threshold value. (S406) In S405, as the next step, the numerator of Expression 8 (3-1-1) is also obtained and divided by the already obtained standard deviation. S409, S410, S414, and S415 are loops for repeating S411, S412, and S413 for determining whether there is a color shift by comparing the correlation value obtained above with a predetermined threshold value for all pixels. .
(Detection status of each method)
By the way, in FIG. 10, the detection result by each method with respect to an original image is displayed.
[0070]
The original image (A1: Originimage) has a color area on the right side and a monochrome pair line on the left side. This monochrome pair line has a color blur (color misalignment) that is not visible in this figure. A2, A3, and A4 are the correlation method, saturation method, and CIEL, respectively.^*a^*b^*As a result of detection by the method, a slight difference in performance has occurred, but detection is basically possible.
[0071]
FIG. 10 shows the result of color misregistration detection. The target images are an image SampleA (300 × 100 pixels), SampleB (200 × 200 pixels), and Samples (600 × 100 pixels) including color misregistration. White areas in A2, A3, and A4 in FIG. 10 are portions detected as color misregistration. The detection threshold was empirically set as follows.
[0072]
In the correlation method used in the third and seventh aspects, the correlation width w is 3 pixels. The denominator threshold Td was set to 1000, and the correlation threshold Td was set to 0.97.
[0073]
In the saturation method used in the first and fifth aspects, the number of consecutive pixels N is 4 pixels. The saturation threshold Ts = TsR = 0.173.
[0074]
In the CIEL * a * b method used in the second and sixth aspects, the size m of the divided area is set to 50 Pixels and the threshold value for edge detection is set to 400 in the separation of color and monotalome. The ranges of the vertical direction cumulative value, the horizontal direction cumulative value, and the color shift determination a * value and b * value for color and monochrome separation are as shown in FIG.
(Explanation of mounting configuration)
In the general configuration including the scanner 1, the computer 2, the display 3, and the printer 4 as shown in FIG. 1, the detection method described above is installed as a program in an internal memory such as a hard disk of the computer 2. It can be used. Naturally, even if it is not initially installed, the program may be recorded on a CD or FDD and read into the computer 2 or transferred from a power transmission path such as the Internet or LAN and executed. Also good. It can be transferred or resident as required. In this case, the computer 2 on which the program is installed serves as an image determination device for detecting color misregistration.
[0075]
Further, although not shown in the same form of FIG. 1, the above-described color misregistration detection operation may be performed by using firmware or hardware of the scanner. In this case, the scanner has a color misregistration detection function.
[0076]
Further, as shown in FIG. 2, as a unit, this color misregistration detection function may be interfaced independently, and this may be used as an image determination device that detects color misregistration.
(Simple explanation when unit)
The case of unitization as described above will be briefly described with reference to FIG. As a simple method, using the one-chip microcomputer, the methods of modes 5, 6 and 7 already described are written in the program as in mode 8 and written in the program ROM. As already explained, a page memory for at least three primary colors is necessary. In addition, it is necessary to hold values such as saturation, histogram, and correlation for a page. Therefore, it is necessary to install sufficient work memory.
(Description of double-sided simultaneous image reading device)
Next, as a reading apparatus according to a fourth aspect, a scanner 50 provided with a color misregistration detection unit and an ADF 90 with a reading function will be described with reference to FIGS. 17 and 18. For convenience, the reading direction of the image sensor is referred to as main scanning. However, as described above, depending on the design of the optical system, the scanning direction of the photoelectric conversion element of the image sensor and the direction of the line for reading the document are different. Therefore, the direction of the document reading line is defined as main scanning, and the sub-scanning direction, which is the relative movement direction of the document and the reading line, is orthogonal to the main scanning direction.
(Description of processing on the ADF side)
The description will be made with reference to FIGS.
[0077]
A document placed on the sheet feeding tray 67 with the upper surface as a reading surface is taken in by the pickup roller 52 and passes by the sheet feeding roller 53 from the pre-reading roller 54 below the contact image sensor 60 (hereinafter, CIS 60). After passing the CIS 60, the document passes under the back platen 65. Further, the document is sent out onto a paper discharge tray 66 by a paper discharge roller 55. At this time, the optical carriage 57 moving on the rails of the scanner 50 is in a readable state by moving the reading position below the back platen 65.
[0078]
The optical carriage 56 includes an image sensor 57 that is a 3-line CCD, a lens 58, a mirror 59, and a light source 69. The CIS 60 includes a light source (not shown), a SELFOC lens group 62, and a substrate 61 provided with three equal-magnification sensor arrays each including a color filter for three primary colors.
[0079]
The image data for the three primary colors extracted from the CIS 60 is sent to the ADF image processing board 70. On the ADF image processing substrate 70, a color misregistration detecting means described later is placed. Similarly, the image data for the three primary colors extracted from the image sensor 57 is sent to the scanner image processing substrate 80. The scanner image processing substrate 80 is also provided with a color misregistration detecting means described later. Reference numeral 82 denotes a SCSI connector for interfacing with a computer.
[0080]
Next, the circuit configuration will be described with reference to FIG.
[0081]
First, image data for each color is input from the CIS 60 to the ADF processing substrate 70. Data digitized for each color by the A / D converter 110 is input to the shading correction means 111 and subjected to shading correction for each color. Data from the shading correction unit 111 is input to the inter-line correction unit 112, and superposition is performed every 8 lines using a work memory (not shown). The data for which the reading position has been corrected is stored in the page memory 113.
(ADF side color misregistration detection explanation)
Here, an outline will be described based on FIG. 18 which is a block diagram. The image data of the three primary colors stored in the page memory 113 is managed by the CPU 119 and the address control 115 checks the value for each pixel from the first line of reading to the final line of reading to detect color misregistration. Detected by the unit 118. The color misregistration detection unit 118 is mounted in hardware so that the color misregistration detection method of the fifth, sixth, and seventh aspects already described can be implemented. Basically, it is easy for those skilled in the art to harden functions such as operations in each process. Further, it is possible to implement by installing a program as the eighth aspect in a memory such as a program ROM without mounting a hardware and dedicatedly mounting a one-chip microcomputer. This form is shown as a block diagram schematically shown in FIG.
[0082]
Each pixel is examined, and the CPU 119 determines whether a color misregistration occurrence point is obtained from the result in the color misregistration detection unit 118, and writes a flag in the work memory inside the memory shift control unit 117.
[0083]
If it is determined that the point is a color misregistration point, 1 is set, and if not, 0 is set. This operation is repeated for all pages of three colors, that is, one page for each of the three colors. Of course, the result of the contrast calculation unit 114 placed and stored in the work memory in the color misregistration detection unit 118 may be written in the internal memory of the memory shift control unit 117, or a dedicated memory may be installed. Which memory is used for saving and calculation is the same and is simply a design change.
[0084]
The memory shift control unit 117 calculates the shift amount with reference to the flag. The density value (pixel value) of each pixel used in this calculation is executed while being read from or written to the temporarily stored work memory or page memory 113. This control is performed by the CPU 119 and the address control unit. 115 and jointly manage.
[0085]
Data that has been corrected for color misregistration by such an algorithm is then transferred to the scanner processing substrate 80 via the I / F control unit 120 of the ADF processing substrate 70. The data is sent from the connector 82 to the computer connected as the host device via the SPC 139 which is a controller for the SCSI interface through the bus buffer or the like omitted from the scanner image processing board 80 on the receiving side. At this time, since the order of sending out to the computer or the order of colors depends on the software running on the computer, the computer has a buffer memory 141 for temporarily buffering so that it can be exchanged. These series of processes are properly synchronized by the clock control unit 116.
(Scanner color misregistration detection and processing explanation)
The processing in the scanner image processing board 80 is basically the same as that of the ADF processing board 70, and thus detailed description thereof is omitted. The shading correction unit 131 performs shading correction. This output is made to coincide with three lines by the interline correction means 132 and temporarily stored in the page memory 133.
[0086]
Since this data is used by the color misregistration detection unit 138 and the contrast calculation unit 134, color misregistration determination is performed in cooperation with the CPU 139 and the address control 135, and color matching is performed by the memory shift control unit 137. The series of processes are synchronized by the clock control unit 136 and the process proceeds.
[0087]
The finally color-matched image data is stored in the buffer memory 142 together with the image data received from the ADF processing board 70. Similarly to the image data received from the ADF processing board 70, the CPU 139 controls the sending in accordance with the application on the computer side, and the SPC 140 controls and sends it out from the connector 82.
(Description of scanner device with ADF)
The description will be made with reference to FIGS. A plurality of document bundles are placed on the sheet feed tray 14 upward. When the conveyance is started, first, the uppermost document is picked up by the pickup roller 16. The picked-up document is fed to the pre-reading roller 18 by the feeding roller 17.
[0088]
The document further fed between the back platen 25 and the reading window 13 by the pre-reading roller 18 is sent to the paper discharge roller. Further, the paper is discharged onto the paper discharge tray 15 by the paper discharge roller 19. The surface of the back platen 25 is white. Accordingly, in the image data read by the sensor 22 of the carriage 12, when there is no original, an extra read area such as the periphery of the original appears white.
[0089]
On the other hand, in the flat bed scanner 10, there is an optical carriage 12 that can move on a rail 30. The optical carriage 12 includes a three-line color CCD 22 (hereinafter referred to as an image sensor 22. This image sensor may be a MOS type or another type instead of a CCD), a lens 21, a mirror 20, and a light source 24. It has been.
[0090]
When reading a fixed document placed on the glass platen 26 with the document surface down, the carriage 12 reads the document surface while moving in the SW direction. When the entire original is read, the optical carriage 12 returns to the BK direction, and is positioned and stopped based on a home position sensor (not shown).
[0091]
On the other hand, when reading the document sent by the ADF 11 described above, the optical carriage 12 moves to the lower surface of the reading window 13 and stands by according to the reading window 13. When a signal is received by a position sensor near the pre-reading roller (not shown), the image processing and reading processing circuit is activated to read. In the example of FIG. 2, driving means such as a pulse motor omitted in the ADF 11 is provided, and conveyance control is performed in synchronization with the operation of the flat bed scanner 10.
(Overview of scanner scanning)
Although the detailed operation has already been described, the outline flow is shown in FIG. S119 is a start terminal, for example, a read command from a personal computer. The ADF repeats document cue detection by the cue sensor in S200 until it reaches the reading start position in S201.
[0092]
If the reading start position is reached, the CCD scan of S202 is performed for reading, and the RGB data is stored in the page memory. (S203 to S205) After completion, the positions of the three CCD lines are structurally different, but alignment is performed by the prime number in S206, and the process is completed in S207. .
(Other forms)
1 shows an example in which this correction processing is mounted in the scanner, but as shown in FIG. 2, an apparatus 5 having this image determination processing, that is, color misregistration detection as a function is formed. It is also possible to use a form attached to the rear stage of the scanner. Of course, this color misregistration detection function does not have to be present anywhere, and may be configured between the printer 4 and the computer 2 or in the printer 4.
[0093]
Store this correction process as a program in a recording medium such as a CDROM, distribute it, make it possible to supply a single program on a network such as the Internet, download it as needed, and provide program upgrades Is common sense nowadays.
[Brief description of the drawings]
FIG. 1 is an example in which color misregistration detection is performed in a computer 2 or a scanner 1;
FIG. 2 is an independent diagram of color misregistration detection as an image determination apparatus.
FIG. 3 is an explanatory diagram of a conveyance roller that generates color misregistration.
FIG. 4 is a diagram plotting RGB primary color values when color misregistration occurs.
FIG. 5 is a plot of brightness and saturation in the saturation method, with a threshold line for determination added.
FIG. 6 is a diagram conceptually dividing the classification of image data included in image data acquired by a scanner.
FIG. 7 CIEL^*a^*b^*The relationship between perceived chromaticity and color in the law is illustrated.
FIG. 8 CIEL^*a^*b^*FIG. 4 illustrates a color misalignment occurrence edge and a sobel filter with respect to the paper conveyance direction in the method.
FIG. 9 CIEL^*a^*b^*This is a summary of threshold values used in color / monochrome separation in law.
FIG. 10 shows an original image in A1, a correlation method result in A2, a saturation method result in A3, and CIEL in A4.^*a^*b^*The results of the law are shown.
FIG. 11 is the first half of a saturation method flow;
FIG. 12 is the latter half of the saturation method flow.
FIG. 13 CIEL^*a^*b^*It is a general flow of the law.
FIG. 14 CIEL^*a^*b^*The first half of the law flow.
FIG. 15 CIEL^*a^*b^*It is the second half of the law flow.
FIG. 16 is a flow of a correlation method.
FIG. 17 is an explanatory diagram of a scanner with an ADF according to a fourth embodiment.
FIG. 18 is an example of a block diagram of a scanner with an ADF.
FIG. 19 is a flow overview of a scanner with an ADF.
FIG. 20 is a diagram illustrating a block as an image discrimination device.
[Explanation of symbols]
1 Conventional sheet-through scanner
2 Computer
3 Display
4 Printer
5 External color shift detection device
10 Conventional flatbed scanner
11 Auto Document Feeder
12 Carriage for reading
13 Reading window
22 Image sensor with 3 color lines
50 Flatbed scanner with color misregistration detection of the present invention
57 CCD sensor with 3 color lines
60 Contact image sensor with 3 color lines
70 Image processing board for ADF
71 Color shift detection means for ADF
80 Image processing board for scanner
81 Color shift detection means for a scanner
82 Interface connector to computer
90 ADF with reading means
112 ADF side 3-line reading position correction (line-to-line correction)
114 Contrast judgment on the ADF side
118 Color shift detection on the ADF side
119 CPU controlling the ADF side
120 Interface controller for sending image data from ADF side to scanner side
132 Three-line reading position correction on the scanner side (interline correction)
134 Contrast judgment on the scanner side
138 Color shift detection on the scanner side
139 CPU controlling the scanner side
140 SCSI Controller for Sending Scanned Image Corrected for ADF and Scanner Color Shift to Computer
S Saturation value in the original image
SR Saturation value in reverse image
count Counter that determines whether the color part in the saturation method is a color shift or a color area
sobel filter A filter composed of the matrix shown in FIG.
a^*CIE standard L^*a^*b^*Perceived color value in color separation (red-green system)
b^*CIE standard L^*a^*b^*Perceived color value in color separation (blue-yellow)

Claims (2)

Extracting a small region having high contrast from a monochrome region of image data composed of three color components of R, G, and B;
Calculating correlation coefficients of image data between two colors of R and G, G and B, and B and R in the extracted small region,
Determining the presence or absence of color misregistration in the small area based on a magnitude comparison result between the calculated correlation coefficient and a predetermined threshold,
The step of extracting the small area having high contrast includes the product of the standard deviation of the R and G image data, the product of the standard deviation of the G and B image data, and B for each of the small areas in the monochrome area. And a step of obtaining a product of the standard deviation of each image data of R and a step of extracting a small region having a high contrast based on a magnitude comparison result between the product of each standard deviation and a predetermined threshold value. An image determination method. A small region having high contrast is extracted from a monochrome region of image data composed of three color components of R, G, and B, and the two colors R and G, G and B, and B and R in the extracted small region are extracted. Color misregistration detecting means for calculating the correlation coefficient of each of the image data and comparing the calculated correlation coefficient with a predetermined threshold;
Determining means for determining the presence or absence of color misregistration in the small region based on the magnitude comparison result of the color misregistration detecting means;
The extraction of the small area with high contrast by the color misregistration detection means is performed by multiplying the standard deviation of the R and G image data and the standard deviation of the G and B image data for each small area in the monochrome area. , And B and R are obtained by obtaining a product of standard deviations of each of the image data, and extracting a small region having high contrast based on a magnitude comparison result of each standard deviation product and a predetermined threshold value. An image determination apparatus comprising:

Images