JP7767799B2 - 照合装置及びプログラム - Google Patents

Description

本発明は、照合装置及びプログラムに関する。

特許文献１には、部品、生産物又は部品を構成要素とする生産物に関する情報を表示する情報表示体が付されている部品又は生産物に、部品、生産物又は部品を構成要素とする生産物を識別するための梨地模様を形成する梨地形成手段を有する加工システムが記載されている。

特許文献２には、物体上に、微小な粒を含有し、平面形状が不定形状である層を生成し、生成された層の画像を取得し、画像から、層の平面形状および粒の分布に依存する特徴量を、物体の個体識別子として抽出する技術が記載されている。

特許文献３には、撮像画像で重なった物体を個体毎に認識する個体認識装置であって、撮像画像の２値化画像を形成する手段と、撮像画像からエッジを抽出する手段と、２値化画像とエッジとを差分処理して、２値化画像からエッジを除去した画像を形成する手段と、エッジで分断された２値化画像同士を画像内における物体の長さを基準に結合する手段を有することが記載されている。

特許第６４５５６７９号公報 特許第６７０８９８１号公報 特許第４９３０７８９号公報

対象物の表面画像を撮影して照合領域を取得し、予め登録された、当該対象物表面の微細な模様によるランダムパターンの登録画像と、照合領域とを画像照合することで対象物を一意識別するシステムにおいて、利用者が携帯端末等の撮像手段を用いて対象物の照合領域を撮影して登録画像と照合する場合、ホログラム等の凹凸のある印刷基材上に照合領域が存在すると、印刷基材の凹凸に起因して照合領域を検出することが困難となる。

本発明は、ホログラム等の凹凸のある印刷基材上に照合領域が存在しても、当該照合領域を検出できる技術を提供することを目的とする。

本発明の第１の態様は、プロセッサを備え、前記プロセッサは、プログラムを実行することで、
（ａ）凹凸のある印刷基材上に設けられた照合領域を含む撮影画像を取得し、
（ｂ）前記撮影画像に対して平滑化処理と濃淡差強調処理を同時に実行し、
（ｃ）前記平滑化処理と前記濃淡差強調処理を同時に実行して得られた画像に基づき前記照合領域を検出し、前記印刷基材に応じた比率で前記撮影画像に対して平滑化処理と濃淡差強調処理を同時に実行する、照合装置である。

第２の態様は、前記プロセッサは、前記（ｂ）と前記（ｃ）の間に、前記平滑化処理と前記濃淡差強調処理を同時に実行して得られた画像に対して濃淡差強調処理をさらに実行する、第１の態様に係る照合装置である。

第３の態様は、前記プロセッサは、前記（ｂ）と前記（ｃ）の間に、前記平滑化処理と前記濃淡差強調処理を同時に実行して得られた画像に対してＨＳＶ色空間での特定境界に存在する直線又は曲線をノイズとして除去する、第１の態様に係る照合装置である。

第４の態様は、前記プロセッサは、前記（ｂ）と前記（ｃ）の間に、前記平滑化処理と前記濃淡差強調処理を同時に実行して得られた画像に対して二値化処理を実行し、二値化処理して得られた画像に対して、予め定められた前記照合領域の形状に適合しない直線又は曲線をノイズとして除去する、第１の態様に係る照合装置である。

第５の態様は、前記プロセッサは、前記（ｂ）と前記（ｃ）の間に、前記平滑化処理と前記濃淡差強調処理を同時に実行して得られた画像に対して二値化処理を実行し、二値化処理して得られた画像に対して、予め定められた前記照合領域の形状を構成する頂点の候補である複数の交点の重心座標を前記頂点の座標として算出する、第１の態様に係る照合装置である。

第６の態様は、前記プロセッサは、前記照合領域の形状を構成する全ての頂点の座標を算出できない場合に、前記照合領域の形状を用いて残りの頂点の座標を補完処理する、第５の態様に係る照合装置である。

第７の態様は、前記印刷基材は、紙またはホログラムである、第１の態様に係る照合装置である。

第８の態様は、前記プロセッサは、クラスタリング処理により前記撮影画像に対して前記平滑化処理と前記濃淡差強調処理を同時に実行する、第１の態様に係る照合装置である。

第９の態様は、前記プロセッサは、ミーンシフトフィルタリング処理により前記撮影画像に対して前記平滑化処理と前記濃淡差強調処理を同時に実行する、第１の態様に係る照合装置である。

第１０の態様は、前記プロセッサは、前記ミーンシフトフィルタリング処理における色空間半径ｓｒと画素空間半径ｓｐを前記印刷基材に応じて可変設定する、第９の態様に係る照合装置である。

第１１の態様は、前記プロセッサは、前記印刷基材がホログラムの場合に、前記印刷基材が紙の場合に比べて前記色空間半径ｓｒを相対的に大きく設定する、第１０の態様に係る照合装置である。

第１２の態様は、コンピュータのプロセッサに、
（ａ）凹凸のある印刷基材上に設けられた照合領域を含む撮影画像を取得し、
（ｂ）前記撮影画像に対して平滑化処理と濃淡差強調処理を同時に実行し、
（ｃ）前記平滑化処理と前記濃淡差強調処理を同時に実行して得られた画像に基づき前記照合領域を検出し、
前記印刷基材に応じた比率で前記撮影画像に対して平滑化処理と濃淡差強調処理を同時に実行する、
ことを実行させるプログラムである。

第１、第８、第９、第１２の態様によれば、ホログラム等の凹凸のある印刷基材上に照合領域が存在しても、当該照合領域を検出し得る。

第１０、第１１の態様によれば、さらに、印刷基材によらずに照合領域を検出し得る。

第２～第６の態様によれば、さらに安定して照合領域を検出し得る。

第７の態様によれば、印刷基材が紙またはホログラムであっても照合領域を検出し得る。

実施形態のホログラム印刷基材とインク部の模式平面図である。 実施形態のホログラム印刷基材とインク部の模式図である。 原画像と、原画像を平滑化処理した画像と、原画像を濃淡差強調処理した画像を示す説明図である。 実施形態の登録画像撮影機と照合画像撮影機の構成図である。 実施形態の照合装置の構成ブロック図である。 実施形態の全体処理フローチャートである。 実施形態の平滑化処理と濃淡差強調処理の同時実行説明図である。 実施形態の平滑化処理と濃淡差強調処理を同時実行する構成図である。 実施形態のミーンシフトフィルタリング処理の詳細処理フローチャートである。 実施形態のホログラム印刷基材と紙印刷基材のミーンシフトフィルタリング処理説明図である。 実施形態の濃淡差強調処理説明図である。 実施形態のノイズ除去処理説明図である。 実施形態の不要な辺の除去処理説明図である。 実施形態の交点の重心算出処理フローチャートである。 実施形態の消失した辺の補完処理説明図である。 実施形態のインク部形状と印刷基材種類に応じた処理説明図である。

以下、図面に基づき本発明の実施形態について、対象物の表面画像を撮影し、登録画像と照合画像とを画像照合することで当該対象物を一意に識別する個体識別システムを例にとり説明する。

個体識別システムは、物体表面の一部、具体的には０．１～数ｍｍ程度の画像をその物体固有の情報として予め登録しておき、照合する物体が登録されている物体と同じであること、すなわち本物であることを一意に識別する技術であり、物体固有の情報は、例えば微細な模様によるランダムパターンである。微細な模様によるランダムパターンの具体例として梨地模様があげられる。この梨地模様は、すりガラス状のような表面加工に限らず、金属や合成樹脂（プラスチック等）等への加工処理によって施された梨地模様のみならず、シボ加工することにより得られたシワ模様やランダムに編み込まれた繊維模様、印刷によるランダムな微細ドットパターンや光輝体粒子が含まれたインクによる印刷によるランダムな粒子分布も含む概念である。更に、意図しない偶然に形成された梨地模様のみならず、識別または照合のために意図的に梨地模様を形成した場合も含む。要するに、制御して形成することが困難なランダムパターンである。このようなランダムパターンを光学的に読み取って情報として利用する「人工物メトリクス」の一種といえる。

ここで、印刷基材としてホログラム等の凹凸のある印刷基材を用い、このような凹凸のある印刷基材上に金属粒子を分散させた多角形状インク部を印刷してランダムパターンとする場合を想定する。

図１は、対象物１０の一例を示す。対象物１０は、印刷基材としてのホログラム部１２と、このホログラム部１２上に印刷されたＱＲコード（登録商標）部１３と、このホログラム部１２上に印刷されたインク部１４とを示す。インク部１４の形状は多角形、より特定的には正方形をなしており、このインク部１４を照合領域として登録しておく。また、照合時には照合領域１４を取得し、登録画像と照合画像１４とを用いて比較照合する。なお、照合領域はインク部１４の領域であり、登録画像、照合画像は照合領域の全面またはその一部を使用する。

インク部１４は、アルミニウム等の金属粒子を粉体に混合して形成され、これに光を照射すると光がランダムに積層された粉体の金属粒子によって反射され、反射する光の強度に応じた濃淡のパターンを示す。光の照射方向を変えれば、濃淡のランダムパターンは変化する。

図２は、ホログラム部１２とインク部１４との関係を模式的に示す。対象物１０を撮影して得られた画像から照合画像１８を抽出するためには、その前提として、照合領域としての正方形のインク部１４を正確に検出する必要がある。具体的には、ホログラム部１２の凹凸とインク部１４の凹凸が混在する画像から、正方形のインク部１４、すなわち正方形を構成する４つの頂点Ｐ１，Ｐ２、Ｐ３、及びＰ４を正確に検出する必要がある。

一般に、撮影画像から特定形状の領域を抽出する場合、特徴抽出処理やエッジ抽出処理がある。しかし、単に特徴抽出処理やエッジ抽出処理では、ホログラム部１２の凹凸とインク部１４の凹凸をともに特徴点として抽出してしまうため、ホログラム部１２の虹色変化に対して安定してインク部１４の形状を抽出することが困難となる。

図３は、撮影画像からインク部１４の形状を抽出する処理の一例を示す。
図３（ａ）は撮影して得られた原画像であり、ホログラム部１２とインク部１４をともに含む。
図３（ｂ）は、この原画像に対し、特徴を抽出するための濃淡差強調処理を施した画像である。濃淡差強調処理によりインク部１４の凹凸が強調されるが、同時にホログラム部１２の凹凸も強調されるため、インク部１４の凹凸がホログラム部１２の凹凸に埋没してしまう。
図３（ｃ）は、原画像に対し、特徴を抽出するのではなく、凹凸を除去するために平滑化処理を施した画像である。平滑化処理だけではホログラム部１２及びインク部１４の凹凸を完全には除去できない。また、過度に平滑化処理を施すと、インク部１４の輪郭形状がぼけてしまい、正方形の形状を抽出することができない。
図３（ｄ）は、図３（ｃ）の画像から濃淡差強調処理を施した画像である。図３（ｂ）と図３（ｄ）は、
図３（ｂ）：原画像→濃淡差強調処理
図３（ｄ）：原画像→平滑化処理→濃淡差強調処理
という処理の違いはあるが、いずれもインク部１４の正方形を抽出することが困難である。

そこで、本実施形態では、原画像に対して一連の処理を施すことでホログラム部１２の上に形成されたインク部１４、言い換えれば撮影画像の後景としてのホログラム部１２から前景としてのインク部１４を安定して抽出する。

図４は、本実施形態のシステム構成を示す。照合システムは、登録画像撮影機２０、照合画像撮影機２２、及びサーバコンピュータ５０から構成される。登録画像撮影機２０とサーバコンピュータ５０、照合画像撮影機２２とサーバコンピュータ５０は、通信ネットワークで接続される。

ＬＥＤ等の光源部２１で対象物１０を照射し、対象物１０のインク部１４から反射した光を登録画像撮影機２０で撮影して登録画像１６を取得する。登録画像撮影機２０及び光源部２１は、登録用の専用機材で構成され得る。

光源部２１からの照射光の照射角φは、ある一定の角度に設定される。取得された登録画像１６は、サーバコンピュータ５０に送信され、サーバコンピュータ５０内の登録画像ＤＢ５０ｂに格納される。

他方、照合システムの利用者が把持するスマートフォン等の携帯端末を照合画像撮影機２２として対象物１０を撮影する。スマートフォン等に搭載されるＬＥＤ等の光源部２２ａで対象物１０を照射し、対象物１０のインク部１４から反射した光をスマートフォン等に搭載されるカメラ２２ｂで撮影する。光源部２２ａからの照射光の照射角φは、登録画像１６を取得したときの条件である角度φと実質的に同一に設定する。その理由は、既述したようにインク部１４のランダムパターンは光の照射方向によって変化するので、光源部２２ａとカメラ２２ｂと対象物１０との位置関係を、登録画像１６の撮影時の位置関係と実質的に同一に設定する必要があるからである。

照合画像撮影機２２のプロセッサは、撮影画像に対して一連の処理を施して撮影画像からインク部１４を抽出し、さらにはインク部１４の領域内から照合画像１８を切り出し、通信ネットワークを介してサーバコンピュータ５０に送信する。照合画像撮影機２２のプロセッサの処理についてはさらに後述する。

サーバコンピュータ５０は、照合部５０ａ及び登録画像ＤＢ５０ｂを備える。

登録画像ＤＢ５０ｂは、ハードディスクやＳＳＤ（ソリッドステートドライブ）等の記憶装置で構成され、対象物１０を一意に特定するための識別子ＩＤと登録画像１６とを関連付けて格納する。

照合部５０ａはプロセッサで構成され、登録画像撮影機２０から受信した登録画像１６を対象物１０のＩＤと関連付けて登録画像ＤＢ５０ｂに格納する。また、照合画像撮影機２２から受信した照合画像１８と、登録画像ＤＢ５０ｂに格納された登録画像１６との画像照合を行い、照合結果を照合画像撮影機２２に出力する。具体的には、照合部５０ａは、登録画像１６を登録画像ＤＢ５０ｂから読み出して照合画像１８と照合計算を行い、両画像の類似度を算出する。類似度の算出には、特徴量検出による特徴量マッチングや画像の濃淡比較を使用したテンプレートマッチング等を用いることができる。算出した類似度を閾値と比較し、閾値を超えていれば両者は一致すると判定し、閾値を超えなければ両者は一致しないと判定する。照合部５０ａは、照合結果を通信ネットワークを介して照合画像撮影機２２に送信する。

画像照合には、登録画像撮影機２０あるいは照合画像撮影機２２のイメージセンサの入力における変動や量子化誤差等に起因する誤り率が存在する。誤り率は、真であるにもかかわらず偽と判定してしまう確率である誤拒否率と、偽であるにもかかわらず真と判定してしまう確率である誤受理率の２つで構成される。両者はトレードオフの関係にあり、一方が減少すれば他方は増大する。従って、照合判定の適用対象における損失が最も小さくなるように閾値を設定する。

なお、光の照射方向を変えて複数の登録画像１６を取得してサーバコンピュータ５０の登録画像ＤＢ５０ｂに登録しておき、これら複数の登録画像１６と照合画像１８とを画像照合してもよい。

図５は、スマートフォン等の照合画像撮影機２２の主要構成ブロック図を示す。照合画像撮影機２２は、既述した光源部２２ａ及びカメラ部２２ｂに加え、プロセッサ２２ｃ、ＲＯＭ２２ｄ、ＲＡＭ２２ｅ、入力部２２ｆ、出力部２２ｇ、及び通信Ｉ／Ｆ２２ｈを備える。

プロセッサ２２ｃは、ＲＯＭ２２ｄに記憶されたアプリケーションプログラムを読み出し、ＲＡＭ２２ｅをワーキングメモリとして用いて一連の処理を実行し、カメラ部２２ｂで撮影した撮影画像からインク部１４を抽出し、さらに照合画像１８を切り出す。プロセッサ２２ｃは、切り出した照合画像１８を通信Ｉ／Ｆ２２ｈを介してサーバコンピュータ５０に送信する。また、プロセッサ２２ｃは、サーバコンピュータ５０からの照合結果を通信Ｉ／Ｆ２２ｈを介して受信する。

入力部２２ｆは、キーボードやタッチスイッチ等で構成され、利用者が操作することでアプリケーションプログラムを起動する。

出力部２２ｇは、液晶ディスプレイや有機ＥＬディスプレイ等で構成され、対象物１０を撮影する際のプレビュー画像を表示する。また、出力部２２ｇは、プロセッサ２２ｃによりインク部１４を抽出した場合に、プロセッサ２２ｃからの制御指令により検出したことを示す通知を表示してもよい。また、出力部２２ｇは、プロセッサ２２ｃからの制御指令により対象物１０を撮影する際のガイドを表示してもよい。当該ガイドは、例えば光源部２２ａからの照射光の照射角度が一定の角度φをなすためのガイドである。さらに、出力部２２ｇは、プロセッサ２２ｃからの制御指令によりサーバコンピュータ５０から受信した照合結果を表示する。照合結果は、「一致」、「不一致」のいずれかであるが、照合に関連するその他のメッセージを表示してもよい。

図６は、プロセッサ２２ｃによる撮影画像の処理フローチャートである。

この処理フローチャートは、撮影画像から正方形（４角形）のインク部１４の４つの頂点Ｐ１～Ｐ４の座標を取得することを目的とするものであり、二値化画像生成処理（Ｓ１）、矩形エッジ抽出処理（Ｓ２）、及び頂点座標推定処理（Ｓ３）の３つの処理に大別される。

＜二値化画像生成処理＞
まず、二値化画像生成処理（Ｓ１）について説明する。

この処理では、最初に、原画像に対して平滑化処理と濃淡差強調処理を同時に実行する（Ｓ１０１）。既述したように、原画像に対して単に平滑化処理を行うのみではインク部１４の形状がぼけてしまう。また、原画像に対して単に濃淡差強調処理を行うのみではインク部１４の凹凸は強調されるものの同時にホログラム部１２の凹凸も強調されるため、インク部１４を抽出できない。

そこで、本実施形態では、原画像に対して平滑化処理と濃淡差強調処理を同時に実行して、ホログラム部１２とインク部１４の凹凸を除去してホログラム部１２からインク部１４を識別する。平滑化処理と濃淡差強調処理の同時実行は、具体的にはミーンシフトフィルタ（Mean-Shift filter）を用いることができる。

図７（ａ）は、原画像１１を示す。原画像１１は、ホログラム部１２及びインク部１４を含む。図７（ｂ）は、この原画像１１に対してミーンシフトフィルタを施して処理した処理済画像１３を示す。平滑化処理と濃淡差強調処理を同時に実行することで、ホログラム部１２とインク部１４の凹凸を除去するとともに、インク部１４の形状を維持できる。

図８は、Ｓ１０１の処理を模式的に示す。原画像１１をミーンシフトフィルタ２４に入力し、ミーンシフトフィルタ２４にて平滑化処理と濃淡差強調処理を同時に実行して処理済画像１３を出力する。ミーンシフトフィルタ２４は、プロセッサ２２ｃで実現される。ミーンシフトフィルタ２４は、指定したある画素空間内の類似色を同一色に塗り潰すフィルタである。これにより銀色のインク部１４は同一色に近づき、ホログラム１２の虹色背景と銀色のインク部１４との境界は色領域が異なるためインク部１４の形状が維持されたままホログラム部１２とインク部１４との境界の濃淡差が強調される。

なお、バイラテラルフィルタのようにエッジを保持して平滑化処理するフィルタリング方法もあるが、これではホログラム部１２とインク部１４のノイズを除去することはできないことを発明者等は確認している。ミーンシフトフィルタを用いることで、エッジを保持してホログラム部１２とインク部１４の色差を用いて色毎に平滑化し、エッジを消失せずにノイズの除去が可能となる。

図９は、ミーンシフトフィルタ２４のフィルタリング処理の詳細フローチャートを示す。ミーンシフトフィルタ２４では、まず、原画像１１の色分布の重心を探索する（Ｓ２０１）。すなわち、ある画素（ｘ，ｙ）の色（ｒ，ｇ，ｂ）を中心とした半径ｓｒの色空間領域の重心座標（ｘｃ，ｙｃ）とその色（ｒｃ，ｇｃ，ｂｃ）を算出し、以下の条件で重心を探索する。但し、ｓｐは探索領域半径である。
条件：｜ｘ－ｘｃ｜≦ｓｐ、｜ｙ－ｙｃ｜≦ｓｐ、｜｜（ｒ，ｇ，ｂ）－（ｒｃ，ｇｃ，ｂｃ）｜｜≦ｓｒ
そして、上記の条件を満たすときに、
（ｘ，ｙ，ｒ，ｇ，ｂ）＝（ｘｇ，ｙｇ，ｒｃ，ｇｃ，ｂｃ）
として、再度重心探索を行う。以上の重心探索処理を繰り返し実行する（Ｓ２０２でＮＯ）。
そして、色空間距離εと繰り返し回数ｎを予め設定しておき、以下の条件を満たすか否かを判定し、満たす場合に処理を終了する（Ｓ２０２でＹＥＳ）。
条件：反復回数ｎを満たす
又は
｜ｘ－ｘｃ｜＋｜ｙ－ｙｃ｜＋（ｒ－ｒｃ）^２＋（ｇ－ｇｃ）^２＋（ｂ－ｂｃ）^２＜ε
重心探索処理が終了した後、色空間の重心の値で平滑化する（Ｓ２０３）。すなわち、極地探索終了後、空間内各画素をその色空間の重心値とする。その後、ガウシアンピラミッドと閾値ｓｒを用いてエッジを明確化する。

ミーンシフトフィルタ２４は、色空間の距離差を使用して平滑化処理を行うので、前景と背景の色空間距離に差がある場合に有効な平滑化処理であり、このため前景に無彩色のインク部１４，背景に有彩色のホログラム部１２が存在する原画像１１に対して有効な処理である。

ミーンシフトフィルタ２４では、色空間半径ｓｒと画素空間半径ｓｐを主なパラメータとして平滑化処理と濃淡差強調処理の性能を制御し得る。従って、これらのパラメータを調整することで平滑化処理と濃淡差強調処理の比率を調整できる。具体的には、
（１）画素空間半径ｓｐにより平滑化される（塗り潰される）画素の探索範囲を指定するので、
ｓｐが大 → 探索範囲が広い
ｓｐが小 → 探索範囲が狭い
と調整できる。なお、ｓｐを過大に設定すると処理時間がかかるため、考慮することが望ましい。
（２）色空間半径ｓｒにより同一色に塗り潰す類似色の範囲が決定されるので、
ｓｒが大 → 多少異なる色も同一色と認識
ｓｒが小 → 類似色を同一色と認識
と調整できる。

そこで、印刷基材がホログラム部１２の場合とそれ以外、例えば紙の場合とで、パラメータｓｒとｓｐの値を以下のように調整することが望ましい。印刷基材がホログラム部１２の場合、銀色インク部１４と虹色ホログラム部１２の色差があるため、色空間半径ｓｒは相対的に大きく、画素空間半径ｓｐは処理時間と効果を鑑みて所望の値に設定する。印刷基材が紙の場合、銀色インク部１４と紙の色差が小さいため、色空間半径ｓｒは相対的に小さく、画素空間半径ｓｐは相対的に小さく設定する。

図１０は、印刷基材がホログラム部１２の場合と紙１５の場合におけるミーンシフトフィルタ２４のフィルタリング処理結果を示す。

図１０（ａ）及び図１０（ｂ）は、印刷基材がホログラム部１２の場合であり、図１０（ａ）は原画像、図１０（ｂ）は処理済画像である。ミーンシフトフィルタ２４のパラメータｓｐ、ｓｒは、
（ｓｐ，ｓｒ）＝（１０，３０）
に設定されており、インク部１４の形状が抽出されている。

他方で、図１０（ｃ）及び図１０（ｄ）は、印刷基材が紙１５の場合であり、図１０（ｃ）は原画像、図１０（ｄ）は処理済画像である。ミーンシフトフィルタ２４のパラメータｓｐ、ｓｒは、
（ｓｐ，ｓｒ）＝（５，１０）
に設定されており、同様にインク部１４の形状が抽出されている。印刷基材が紙１５の場合、ホログラム部１２の場合と比べてｓｐ、ｓｒともに相対的に小さく設定される。言い換えれば、印刷基材がホログラム部１２の場合、紙１５の場合に比べてｓｐ、ｓｒともに相対的に大きく設定され、印刷基材に応じて２つのパラメータｓｐ、ｓｒが可変設定される。

以上のようにして、プロセッサ２２ｃは、ミーンシフトフィルタ２４として撮影された原画像に対して平滑化処理と濃淡差強調処理を同時に実行する。

再び図６に戻り、原画像に対して平滑化処理と濃淡差強調処理を同時実行した後（Ｓ１０１）、Ｓ１０１の処理で濃淡差が得られない箇所に対してさらに追加の濃淡差強調処理を実行する（Ｓ１０２）。

スマートフォン等の照合画像撮影機２２でインク部１４を撮影する場合、光源部２２ａの照射位置が変化するとインク部１４周辺のホログラム部１２の色が変化する。すなわち、ホログラム部１２の色が変化し、インク部１４との色空間距離に十分な差がない場合には前景と背景が同化してしまい、Ｓ１０１の処理のみでは濃淡差強調が不十分な箇所が生じる場合がある。そこで、さらに濃淡差強調処理を実行することで、インク部１４の形状をより安定に抽出する。

具体的には、Ｓ１０１で処理済の画像１３をＲＧＢ分解し、ＲＧＢ各色空間で濃淡差強調処理を実行する。これは、画像内明度ヒストグラムの平坦化を意味する。そして、エッジの勾配を抽出するため縦横それぞれのソーベル（Ｓｏｂｅｌ）フィルタをＲＧＢ各色画像に対して適用する。なお、Ｓｏｂｅｌフィルタによって算出された勾配値は８ビット（２５６階調）ではないため、これを８ビットに正規化してもよい。正規化方法は勾配画像の絶対値をとり、その２５５以上の画素値を全て２５５に置換する処理である。これにより外乱ノイズに依存せずにエッジ勾配を取得できる。

図１１は、Ｓ１０２の処理を模式的に示す。図１１（ａ）は原画像１１であり、図１１（ｂ）はＳ１０１の処理済画像１３を示す。図１１（ｃ）は、図１１（ｂ）の処理済画像をそのまま二値化した画像１７であり、正方形のインク部１４の上辺が消失してしまっている。これに対し、図１１（ｄ）は、図１１（ｂ）の処理済画像１３をさらに濃淡差強調処理した画像を二値化した画像１９である。正方形のインク部１４の上辺も抽出されている。

再び図６に戻り、追加の濃淡差強調処理を実行した後（Ｓ１０２）、ＨＳＶ色空間を用いたノイズ除去処理を実行する（Ｓ１０３）。ここで、ＨＳＶ色空間は、色相(Hue)、彩度(Saturation・Chroma)、明度(Value・Brightness)の三つの成分からなる色空間である。

Ｓ１０２でインク部１４の大まかな形状を抽出した場合、ホログラム部１２の白色と水色の境界にノイズが生じる。特に、Ｒ空間画像の白色と水色の勾配が大きいため、Ｓｏｂｅｌフィルタを適用するとエッジのようなノイズが生じる。そこで、このノイズをＨＳＶ色空間を用いて除去するのである。具体的には、
（１）Ｓ１０１での処理済画像１３をＨＳＶ分解する
（２）Ｓ画像を二値化する
（３）Ｓ二値画像に対して縦横Ｓｏｂｅｌフィルタを適用する
（４）縦横Ｓｏｂｅｌ画像とＨ画像の白黒反転二値画像をＯＲ合成する

図１２は、Ｓ１０３の処理を模式的に示す。図１２（ａ）は、画像１９において白色水色の境界に生じるノイズを破線領域２６で示す。図１２（ｂ）は、Ｓ１０３での処理済画像２１を示す。この画像２１は、縦横Ｓｏｂｅｌ画像とＨ画像の白黒反転二値画像のＯＲ合成画像であり、破線領域２６におけるノイズが除去されている。

再び図６に戻り、Ｓ１０３の処理を実行した後、二値化画像を作成する（Ｓ１０４）。すなわち、Ｒ，Ｇ，Ｂ画像の縦横方向勾配画像合計６個をそれぞれ二値化する。二値化の閾値はＲ，Ｇ，Ｂそれぞれで異なるように設定してもよい。そして、縦横成分、ＲＧＢ色成分の合計６個の二値化画像をＯＲ合成する。

＜矩形エッジ抽出処理＞
次に、矩形エッジ抽出処理について説明する。

Ｓ１０４で二値化画像を作成した後、この二値化画像から正方形のインク部１４を構成する多角形の辺を取得する（Ｓ１０５）。具体的には、確率的ハフ変換を用いたエッジ抽出処理である。なお、確率的ハフ変換はハフ変換の最適化を行ったものであり、全画素を使って計算するのではなく，直線検出をするのに十分な点を画像中からランダムに選択して計算する。Ｓ１０４では（非確率的）ハフ変換を用いることもできる。但し、パラメータチューニングが困難であり、二値化画像の矩形エッジに対して感度が良すぎる欠点がある。

多角形の辺を取得した後（Ｓ１０５）、余分な辺を除去する処理を実行する（Ｓ１０６）。すなわち、確率的ハフ変換により抽出された直線から矩形エッジ（辺）ではない直線を除去する。具体的には、傾きが一定値以上ある直線、照合領域１４の大きさに対し長い直線を除去する、縦横線の交わる角度が一定の角度以内である直線を除去する、あるいは画像枠に接する直線を除去する等の方法が用いられる。これ以外にも、色空間を用いて矩形らしい色合いのエッジを抽出することで余分な辺を除去してもよい。

図１３は、Ｓ１０６の処理を模式的に示す。図１３（ａ）は処理前の画像２１であり、図１２（ｂ）は処理済画像２３である。画像２１の左側に存在していた直線の一部が除去されている。余分な辺を除去することで、後段の頂点座標推定時の処理時間を削減することができる。また、形状取得精度を向上させ、外乱耐久性も向上させ得る。

＜頂点座標推定処理＞
再び図６に戻り、矩形エッジ抽出処理（Ｓ２）が完了した後、正方形のインク部１４の頂点座標推定処理（Ｓ３）を実行する。

この処理では、Ｓ１０６で余分な辺を除去して得られた画像から辺の交点の重心座標を算出する（Ｓ１０７）。すなわち、各辺からなる交点の代わりに、ある近傍内にある交点群の重心座標を算出する。処理済画像２３に対し、縦横直線の交点を１次元連立方程式を解くことで算出するが、ＯＲ合成後二値化画像のエッジ幅は２～３画素あるため、確率的ハフ変換で同一のエッジに対して複数の直線が抽出される。このため、ある座標の近傍で複数の交点が存在することになる。これらの交点は同一頂点を示す可能性が高いので、交点群の重心座標を取得し、その重心座標をインク部１４の形状の頂点と再定義する。

図１４は、交点群の重心座標算出処理の詳細フローチャートを示す。

まず、ある近傍内の複数の交点を膨張処理（dilation）て１つにまとめる（Ｓ３０１）。膨張処理は、ある画素の周辺画素に白画素があれば当該画素を白画素に変換することで白画素を順次拡張していく処理である。次に、膨張処理した各点集合に対してラベリングを行う（Ｓ３０２）。そして、ラベリングされた各点集合の重心座標を算出する（Ｓ３０３）。以上のようにして重心座標を算出すると、算出された重心座標を頂点候補に設定する（Ｓ３０４）。

正方形のインク部１４では４つの頂点Ｐ１～Ｐ４（図２参照）が存在するから、Ｓ３０４の処理では４つの頂点候補が設定される。頂点候補を設定する際には、インク部１４の既知の形状特性、すなわち辺や対角線の長さを条件として用いることができる。条件を満たす頂点の組が複数存在する場合、もっともらしい頂点の組を選択する。例えば、正方形のインク部１４では、４つの辺の長さは互いに等しいとの条件を利用し、辺の長さの分散が最も小さくなるような組を頂点の組とする等である。

そして、インク部１４の全頂点を取得できたか否かを判定する（Ｓ１０８）。正方形のインク部１４では４つの頂点Ｐ１～Ｐ４を取得した場合に全頂点を取得できたと判定する。全頂点を取得できない場合（Ｓ１０８でＮＯ）、インク部１４の全ての辺を抽出できていないことを意味するから、次に消失した辺の補完処理を実行する（Ｓ１０９）。

辺の補完処理では、正方形のインク部１４に対し、正方形を構成する３辺を抽出しているか否かを判定する。通常、印刷基材としてのホログラム部１２の上にインク部１４が印刷されている場合、ホログラム部１２の背景赤色に前景の赤色が被るときにその辺の抽出に失敗する場合がある。要するに、背景と前景の間の色空間距離差が小さい場合である。
そこで、まず３辺が抽出できているか否かを判定する。３辺の選択はインク部１４の既知の形状特性、すなわちエッジの長さや位置から推定し得る。

３辺を抽出している場合、Ｓ１０７で算出した重心座標から３辺のうち対辺がない辺の長さｘを算出する。そして、辺の長さｘだけ離れた箇所に新しく平行な辺を描画する。具体的には、正方形を構成する４つの辺をａ，ｂ，ｃ，ｄとし、ａとｃが大変、ｂとｄが対辺を構成するものとし、ａ，ｂ，ｃの３辺のみが抽出されたときに、ｂからｘだけ離れた位置にｂに平行な辺を描画してｄとする。

ｂからｘだけ離れた平行な辺としてｂの両側にそれぞれ１つずつ合計２つ推定可能であるが、そのうちの一方は画像内に存在しないため辺ｄを一意に描画できる。これにより、消失した辺が補完される。

図１５は、Ｓ１０９の処理を模式的に示す。図１５（ａ）は処理前の画像２５であり、正方形の３辺は抽出されているが残りの１辺が消失している状態を示す。図１５（ｂ）は処理後の画像２７であり、辺の長さｘだけ離れた箇所に新しく平行な辺２８が描画されている。消失した辺を補完処理した後、再び交点の重心座標を算出して全ての頂点の座標を取得すればよい。

なお、消失した辺を補完処理した後に、Ｓ１０４で得られた二値化画像に対して閾値を下げて再度確率的ハフ変換を実行して辺を再取得し、こうして得られた辺と、Ｓ１０９で補完して得られた辺とを統合して再度頂点座標推定処理（Ｓ３）に移行してもよい。

以上のようにしてインク部１４の４つの頂点Ｐ１～Ｐ４の座標を取得すると、プロセッサ２２ｃは、これら４つの頂点の座標を基準として照合画像１８を切り出し、サーバコンピュータ５０に送信する。プロセッサ１２２ｃは、照合画像１８として予め定められたサイズに解像度変換した上でサーバコンピュータ５０に送信する。サーバコンピュータ５０に送信する際は、解像度変換した照合画像１８を添付して照合リクエストを行う。

本実施形態では、正方形のインク部１４を例にとり説明したが、本実施形態は正方形に限定されず、任意の多角形にも適用可能である。

図１６は、印刷基材としてホログラム部１２と紙１５を用い、インク部１４の形状として三角形と四角形（正方形）を用いた場合の各処理後の画像を示す。図１６において、（三角、ホログラム）は印刷基材としてホログラム部１２を用い、インク部１４として三角形のインク部１４を用いたことを示す。同様に、（四角、ホログラム）は印刷基材としてホログラム部１２を用い、インク部１４として四角形（正方形）のインク部１４を用いたことを示す。（四角、紙）は印刷基材として紙１５を用い、インク部１４として四角形（正方形）のインク部１４を用いたことを示す。また、「原画像」は処理前の撮影画像、「平滑化と濃淡差強調の同時処理」は図６におけるＳ１０１の処理後の画像、「二値化画像」は図６におけるＳ１０４の処理後の画像、「多角形の辺取得」は図６におけるＳ１０５の処理後の画像、「多角形の頂点座標取得」は図６のＳ１０８の処理後の画像である。

また、本実施形態におけるプロセッサ２２ｃの処理について詳細に説明したが、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えば CPU Central Processing Unit 等）や、専用のプロセッサ（例えば GPU Graphics Processing Unit 、 ASIC Application Specific Integrated Circuit 、 FPGA Field Programmable Gate Array 、プログラマブル論理デバイス等）を含むものである。また、実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

また、本実施形態では、スマートフォン等の照合画像撮影機２２のプロセッサ２２ａで図６に示す処理を実行するとしているが、これに代えて、サーバコンピュータ５０の照合部５０ａが図６に示す処理の少なくとも一部を実行してもよい。

また、本実施形態では、印刷基材としてのホログラム部１２の上にインク部１４を印刷する場合、すなわち有彩色の背景と無彩色の前景の組み合わせについて説明したが、これとは逆に、無彩色の背景と有彩色の前景の組み合わせについても本実施形態の処理を適用し得る。ミーンシフトフィルタ２４の基本原理は、無彩色と有彩色の色空間距離差を用いて前景の形状を抽出するものであり、この原理は無彩色の背景と有彩色の前景の組み合わせでも同様に適用できるからである。無彩色の背景と有彩色の前景の組み合わせとしては、例えば印刷基材としての紙１５と有彩色のインク部１４の組み合わせがある。

さらに、本実施形態において、ホログラム部１２とインク部１４との間の色空間距離差が相対的に小さくミーンシフトフィルタ２４ではインク部１４の形状を十分に抽出できない場合に、公知のキャニー（canny）法を補完的に用いてもよい。

すなわち、Ｓ１０４で得られた二値化画像に対し、確率的ハフ変換で得られたエッジをマスクする。

次に、青側の直線は抽出できていると仮定し、画像の青側半分をマスクする。これは、ミーンシフトフィルタリングでは青側にロバストで赤側に脆弱であること、キャニー法では青側に対して脆弱で赤側にはロバストであることを利用したものである。

次に、キャニー法でエッジを抽出する。キャニー法で抽出したエッジは１画素で描画されるため、確率的ハフ変換では直線ができない場合もあるので、キャニー法で抽出したエッジを膨張処理する。これにより３画素程度のエッジが抽出されて確率的ハフ変換でもエッジ抽出し得る。

以下に、ミーンシフトフィルタ２４による形状抽出が十分でない場合に補完的に用い得る方法を例示列挙する。
・画像のコントラスト強調を使用する
・二値化、確率的ハフ変換の閾値を下げる
・キャニー法を用いてエッジ抽出する
・インク部１４の既知の形状を用いて消失辺を補完する
これらの方法のいずれか、あるいは複数を組み合わせて用い得る。

１０ 対象物、１２ ホログラム部、１４ インク部、１６ 登録画像、１８ 照合画像、２０ 登録画像撮影機、２２ 照合画像撮影機、５０ サーバコンピュータ。

Claims (12)

1. プロセッサを備え、前記プロセッサは、プログラムを実行することで、
   （ａ）凹凸のある印刷基材上に設けられた照合領域を含む撮影画像を取得し、
   （ｂ）前記撮影画像に対して平滑化処理と濃淡差強調処理を同時に実行し、
   （ｃ）前記平滑化処理と前記濃淡差強調処理を同時に実行して得られた画像に基づき前記照合領域を検出し、
   前記印刷基材に応じた比率で前記撮影画像に対して平滑化処理と濃淡差強調処理を同時に実行する、
   照合装置。
2. 前記プロセッサは、前記（ｂ）と前記（ｃ）の間に、
   前記平滑化処理と前記濃淡差強調処理を同時に実行して得られた画像に対して濃淡差強調処理をさらに実行する、
   請求項１に記載の照合装置。
3. 前記プロセッサは、前記（ｂ）と前記（ｃ）の間に、
   前記平滑化処理と前記濃淡差強調処理を同時に実行して得られた画像に対してＨＳＶ色空間での特定境界に存在する直線又は曲線をノイズとして除去する、
   請求項１に記載の照合装置。
4. 前記プロセッサは、前記（ｂ）と前記（ｃ）の間に、
   前記平滑化処理と前記濃淡差強調処理を同時に実行して得られた画像に対して二値化処理を実行し、
   二値化処理して得られた画像に対して、予め定められた前記照合領域の形状に適合しない直線又は曲線をノイズとして除去する、
   請求項１に記載の照合装置。
5. 前記プロセッサは、前記（ｂ）と前記（ｃ）の間に、
   前記平滑化処理と前記濃淡差強調処理を同時に実行して得られた画像に対して二値化処理を実行し、
   二値化処理して得られた画像に対して、予め定められた前記照合領域の形状を構成する頂点の候補である複数の交点の重心座標を前記頂点の座標として算出する、
   請求項１に記載の照合装置。
6. 前記プロセッサは、
   前記照合領域の形状を構成する全ての頂点の座標を算出できない場合に、前記照合領域の形状を用いて残りの頂点の座標を補完処理する、
   請求項５に記載の照合装置。
7. 前記印刷基材は、紙またはホログラムである、
   請求項１に記載の照合装置。
8. 前記プロセッサは、クラスタリング処理により前記撮影画像に対して前記平滑化処理と前記濃淡差強調処理を同時に実行する、
   請求項１に記載の照合装置。
9. 前記プロセッサは、ミーンシフトフィルタリング処理により前記撮影画像に対して前記平滑化処理と前記濃淡差強調処理を同時に実行する、
   請求項１に記載の照合装置。
10. 前記プロセッサは、前記ミーンシフトフィルタリング処理における色空間半径ｓｒと画素空間半径ｓｐを前記印刷基材に応じて可変設定する、
    請求項９に記載の照合装置。
11. 前記プロセッサは、前記印刷基材がホログラムの場合に、前記印刷基材が紙の場合に比べて前記色空間半径ｓｒを相対的に大きく設定する、
    請求項１０に記載の照合装置。
12. コンピュータのプロセッサに、
    （ａ）凹凸のある印刷基材上に設けられた照合領域を含む撮影画像を取得し、
    （ｂ）前記撮影画像に対して平滑化処理と濃淡差強調処理を同時に実行し、
    （ｃ）前記平滑化処理と前記濃淡差強調処理を同時に実行して得られた画像に基づき前記照合領域を検出し、
    前記印刷基材に応じた比率で前記撮影画像に対して平滑化処理と濃淡差強調処理を同時に実行する、
    ことを実行させるプログラム。