JP7613142B2 - プログラム、情報処理装置、判断方法 - Google Patents

Description

本発明は、プログラム、情報処理装置、及び、判断方法に関する。

２つの画像が同一か否かを判断したい場合がある。例えば、高品質な印刷物が要求される商用印刷などの分野では、バージョンアップなどによりプリンタドライバを変更しても同じ画質の印刷物が得られるかなどをユーザが評価する場合がある。また、画像を圧縮するような場合も圧縮により画質が低下したとしても同一と見なしてよいか否かなどを判断したい場合がある。

画像を比較する技術として動画配信時におけるユーザの体感品質を評価する技術が知られている（例えば、特許文献１参照。）。特許文献１には、入力されたトランスコード後の映像の品質劣化指標と、入力されたトランスコード後の映像のビットレート及びトランスコード前の映像のビットレートとのうち、少なくとも一方を取得し、当該取得された値をもとに前記トランスコード後の映像のユーザ体感品質を推定する方法が開示されている。

しかしながら、従来の判断方法では、２つの画像が同一か否かに関して人間の判断結果とは異なる判断結果が得られるという問題があった。例えば、２つの画像が同一か否かを人間が判断する場合、人間が見た場合に画質に差があると感じるか否かを判断したいにも関わらず、画像処理で検出される微少な差異により同一でないと判断されてしまう。

また、例えば、写真のような画像(複雑な画像)の場合、色合いが同一か否かに関して人間の判断結果と異なる判断結果がえられる場合があった。

本発明は、上記課題に鑑み、２つの画像が同一か否かの判断を人間の判断結果に近づけることができるプログラム等を提供することを目的とする。

上記課題に鑑み、本発明は、情報処理装置を、第１の画像と第２の画像の差分情報を生成する差分情報生成部と、前記差分情報生成部が生成した差分情報の領域内で差分を合計することで、領域内差分合計量を検出する領域内差分検出部と、前記領域内差分合計量に基づいて、前記第１の画像と前記第２の画像が同一であるか非同一かを判断する判断部、として機能させ、前記領域内差分検出部は領域を移動させながら、各領域で前記領域内差分合計量を算出し、前記判断部は、前記領域内差分合計量が閾値以上の領域が１つでもある場合、前記第１の画像と前記第２の画像が非同一であると判断し、前記情報処理装置を、更に、前記領域内差分合計量が閾値以上の領域がある場合、該領域の前記領域内差分合計量を閾値で割った値を算出し、前記値が大きいほど濃い色を差分が閾値以上の領域に設定する差分量決定部として機能させるためのプログラムを提供する。

２つの画像が同一か否かの判断を人間の判断結果に近づけることができるプログラム等を提供することができる。

内容が異なる２組の画像の差分を説明する図である。 同一性判断を行う情報処理装置又は情報処理システムの一例の構成図である。 情報処理装置又はサーバの一例のハードウェア構成図である。 情報処理装置の機能をブロック状に分けて説明する機能ブロック図の一例である。 差分情報生成部によるＣＭＹＫ画像の差分情報の生成方法を説明する図である。 人間の目で認識可能な大きさ以上連続している差異の検出方法を説明する図である。 一定領域内に人間の目で認識可能な割合以上存在する差異の検出方法を説明する図である。 差分情報の生成方法を説明する図である。 基準画像と比較画像の差分情報、配置パターンの一例を示す図である。 差分の配置から配置パターンを検出する方法を説明する図である。 差分の配置が検出されない２つの画像と、２つの画像の差分情報を示す図の一例である。 差分の配置が検出された２つの画像と、２つの画像の差分情報を示す図の一例である。 領域内差分合計量に基づく同一性の判断方法を説明する図である。 情報処理装置が領域内差分合計量に基づいて２つの画像の同一性判断を行う手順を示すフローチャート図の一例である。 比較対象の２つの画像の一例を示す図である。 図１５の２つの画像から求められた、画素レベルの差分情報を示す図である。 比較対象の２つの画像の一例を示す図である。 領域内差分合計量に基づくＡ値が赤色に反映された画像の一例を示す図である。 比較対象の画像の一例である。 図１７（ａ）と図１９の画像の領域内差分合計量に基づいてＡ値が赤色に反映された画像の一例を示す図である。

以下、本発明を実施するための形態の一例として、情報処理装置と情報処理装置が行う判断方法について図面を参照しながら説明する。

＜差分の配置に着目した同一性判断＞
本出願人は、２つの画像が同一か否かの判断を人間の判断結果に近づけるために、差分の配置に着目した判断方法を考案した。差分の配置に着目した同一性判断では、情報処理装置は、複数の画像において、人間の目で認識不可能な差以内であれば同一と判断する。このため、２つの画像の差分情報のうち人間の目で認識可能と判断された各画素が人間の目で認識可能な配置になった場合に、可視可能な差分（同一でない）と見なす。人間の目で認識可能な差分の配置とは、例えば以下が挙げられる。
(i) 差分と判断される画素が人間の目で認識可能な大きさ以上連続している。
(ii) 差分と判断される画素が一定領域内に人間の目で認識可能な割合以上存在する。
(iii) 差分と判断される画素が指定された配置パターンで存在する。

＜本実施形態の同一性判断の概略＞
差分の配置に着目した同一性の判断方法は、２つの画像の形状に関して差異がある場合に、２つの画像が同一か否かの判断を人間の判断結果に近づけることができた。しかし、主に色合いに関しては、２つの画像が同一か否かの判断が人間の判断結果と異なる場合があった。つまり、２つの画像の差分の配置に関しては人間が気づく差異がなくても、画像の内容によって差を人間が認識できるかどうかが変わってくるため、差分の配置からのみでは人間と同様に同一性を判断できなかった。

図１を参照して説明する。図１は、内容が異なる２組の画像の差分を示す図である。図１（ａ）（ｂ）が１組目の比較対象の画像であり、図１（ｄ）（ｅ）が２組目の比較対象の画像である。図１（ｃ）と（ｆ）はそれぞれの差分である。

人間が図１（ａ）（ｂ）を比較した場合、差がないと判断する。一方、人間が図１（ｄ）（ｅ）を比較した場合、差があると判断する。しかし、図１（ｃ）（ｆ）に示すように、２組の画像の差分は同じか同程度である。このように、２つの画像の差分の配置が同じでも、画像の内容によって差を人間が認識できるかどうかが変わってくる。つまり、複雑な画像の全体的に差があるような場合、差分の配置では差が検出されないので、情報処理装置が人間と同様に同一性を判断できなかった。このことは主に、２つの画像に色合いの相違がある場合に当てはまる。

更に、差分の配置に着目した同一性の判断方法は、どの程度差分があるかまでは元の画像を人間が目視しないとわからないため、情報処理装置が同一性判断を実行した後、差分が大量に発生した場合の優先順を付けることが困難だった。

以上の点に鑑み、本実施形態の情報処理装置は、差分情報における領域内の差分合計量（以下、領域内差分合計量という）と閾値を比較することで人間の目で認識可能な差分かどうかを判断する。こうすることで、差分の配置では形状の差異を、領域内差分合計量では色合いの差異について、２つの画像が同一か否かの判断を人間の判断結果に近づけることができる。

＜用語について＞
本実施形態の同一とは、人間の目で認識不可能な差しかないことをいい、非同一とは人間の目で認識可能な差があることをいう。同一を類似、非同一を非類似と称してもよい。

＜構成例＞
図２は、同一性判断を行う情報処理装置１０又は情報処理システム１００の一例の構成図である。本実施形態では、情報処理装置１０が同一性判断を行うシステム構成（図２（ａ））と、サーバ３０が同一性判断を行うシステム構成（図２（ｂ））がある。図２（ａ）のシステム構成では、情報処理装置１０が記憶部に記憶されている２つの画像を取得して同一性判断を行い、判断結果をディスプレイに出力する。判断結果はメールで送信してもよいし、記憶部に記憶しておいてもよい。また、判断結果をクラウドが保存してもよい。

情報処理装置１０は、例えば、ＰＣ（Personal Computer）、タブレット端末、ＰＤＡ、スマートフォン、などソフトウェアが動作するものであればよい。

図２（ｂ）の情報処理システム１００では、情報処理装置１０とサーバ３０とがネットワークＮを介して通信することができる。サーバとは、主にネットワーク上で情報処理を行う装置であり、ネットワークを介して受信した要求に対し処理結果を応答する装置をいう。

図２（ｂ）のシステム構成では、情報処理装置１０が２つ以上の画像をサーバ３０に送信する。サーバ３０は画像の同一性判断を行い、判断結果を情報処理装置１０に送信する。判断結果はメールで送信してもよいし、クラウドに保存してもよい。

図２（ｂ）の構成では、サーバ３０はいわゆるＷｅｂサーバとして、画像データを受け付けるポータル画面の画面情報（ＨＴＭＬ、ＸＭＬ、スクリプト言語、及びＣＳＳ（cascading style sheet）等で記述されており、主にブラウザソフトが解析して表示する情報）を生成して情報処理装置１０に提供する。情報処理装置１０でＷｅｂブラウザが動作しており、画面情報を受信してＷｅｂページを表示する。このＷｅｂページには情報処理装置１０が保持する２つ以上の画像を登録するインターフェースがあり、ユーザは２つ以上の画像をＷｅｂページに登録してサーバ３０に送信する。

なお、ＷｅｂページはＷｅｂアプリにより提供されてもよい。Ｗｅｂアプリとは、ブラウザ上で動作するプログラミング言語（たとえばJavaScript（登録商標））によるプログラムとＷｅｂサーバ側のプログラムが協調することによって動作し、ブラウザ上で実行されるソフトウェア又はその仕組みを言う。Ｗｅｂアプリを利用することで情報処理装置はＷｅｂページを動的に変更できる。

＜ハードウェア構成例＞
図３は、情報処理装置１０又はサーバ３０のハードウェア構成図である。ここでは、情報処理装置１０のハードウェア構成であるとして説明する。

図３に示されているように、情報処理装置１０は、コンピュータによって構築されており、図３に示されているように、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ(Interface)５０８、ネットワークＩ／Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ５１４、メディアＩ／Ｆ５１６を備えている。

これらのうち、ＣＰＵ５０１は、情報処理装置１０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ５０９は、通信ネットワークを利用してデータ通信をするためのインターフェースである。バスライン５１０は、図３に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷは、ＤＶＤ－Ｒ等の光記憶媒体であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

＜機能について＞
図４は、情報処理装置１０の機能をブロック状に分けて説明する機能ブロック図の一例である。なお、図４では、特に断らない限り情報処理装置１０の機能を想定して説明するが、サーバ３０の場合は更に通信部を有するという違いがあるものの、保持する機能は情報処理装置１０と同様でよい。

情報処理装置１０は、画像取得部１１、差分情報生成部１２、差分情報出力部１３、差分情報配置認識部１４、判断部１５、表示制御部１６、領域内差分検出部１７、第２判断部１８、及び、差分量決定部１９を有している。情報処理装置１０が有するこれら各機能部は、図３に示された各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開されたプログラムに従ったＣＰＵ５０１からの命令により動作することで実現される機能又は手段である。

画像取得部１１は、画像データ記憶部２１に記憶されている２つ以上の画像データを取得する（読み取る）。２つ以上としたのは、例えば３つの画像から２つを取り出して比較することもできるためである。また、取得する画像は、ユーザが指定したものでも、画像データ記憶部２１の画像を順番に取得してもよい。

差分情報生成部１２は、着目している２つの画像の差分情報を生成する。例えば、画像の解像度で定まる画素位置ごとに同じ画素（ＣＭＹＫ）があるか否かを判断して、差分情報を生成する。差分情報生成部１２は、ＲＧＢの画像に関して、解像度に応じた画素位置ごとに、ＲＧＢのそれぞれで差分を算出する。この場合、差分は－２５５～２５５（１画素８ビットの場合）の値を取る。

差分情報出力部１３は、差分情報生成部１２が生成した差分情報を差分情報記憶部２２に記憶させる。差分情報は、画像とおなじ解像度（サイズ）の２次元の情報となる。

差分情報配置認識部１４は、差分の配置を認識する。詳細は後述するが、差分情報から、連続した差分、一定面積内の割合、及び、所定のパターンを検出する。

判断部１５は、差分情報配置認識部１４が認識した差分の配置に基づいて、人間が見た場合に可視可能な差分の配置（人間の目で差異があると判断できる閾値よりも大きい差分の配置。閾値は、人間の目で２つの画像に差異があると判断できるか否かによって決定されている）があるかないか判断する。可視可能な差分がある場合、２つの画像は同一でないと判断し、可視可能な差分がない場合、２つの画像は同一であると判断する。すなわち、連続した差分及び一定面積内の割合について人間の目で差異があると判断できる閾値より大きいか閾値以下かを判断する。判断部１５は、所定のパターンについては検出された場合にそのまま同一でないと判断する。なお、この３つの判断基準は２つ以上のＡＮＤで採用されてもＯＲで採用されてもよい。

領域内差分検出部１７は、差分情報生成部１２が生成した差分情報の領域内差分合計量を算出する。領域内差分検出部１７は領域を移動しながら、差分情報（２次元画像の全体）の全体について領域内差分合計量を算出する。

第２判断部１８は、領域内差分合計量が閾値以上か否かを判断する。差分情報に１つでも領域内差分合計量が閾値以上の領域がある場合、第２判断部１８は２つの画像が同一でないと判断する。

差分量決定部１９は、領域内差分合計量が閾値をどのくらい超えているかを決定する。領域内差分合計量が閾値を大きく超えているほど人間が気づきやすいといえる。

表示制御部１６は、差分の配置、及び、領域内差分合計量を強調してディスプレイ５０６に表示する。

＜ＣＭＹＫの差分情報の生成＞
図５は、差分情報生成部１２によるＣＭＹＫ画像の差分情報の生成方法を説明する図である。図５には比較される２つの画像の一部が拡大して表示されている。差分情報生成部１２は画像の解像度に応じて決まる画素位置（例えば、１９８０×１２８０の解像度の画像の場合、縦を１９８０に等分し、横を１２８０に等分した位置）ごとに、２つの画像に差異があるか否かを判断する。図５ではメッシュの交点が画素位置である。

２つの画像の同じ画素位置に同じ色の画素があれば、差異がなく、同じ色の画素がなければ差異があると判断する。差分情報生成部１２は差異がある画素位置にフラグを立てる。差分情報を画像で表すとフラグがある画素位置には点が表示される。差分情報生成部１２は、例えば、画素位置の数分のテーブルを用意して、「フラグの有無」を記録する。

あるいは、差分情報生成部１２は、差異の大きさに応じた値を差分情報としてもよい。例えば、一方の画像データと他方の画像データのある画素位置に次のような差異があるとする。
Ａ． Ｃあり Ｋあり
Ｂ． Ｃあり Ｙあり
Ｃ． Ｃあり 何もなし
Ｄ． Ｃあり Ｍあり
この場合、Ａ＜Ｂ＜Ｃ＜Ｄの順に差異が大きいと考えられる。したがって、差分情報生成部１２は、Ａ＜Ｂ＜Ｃ＜Ｄの順に大きな値を上記テーブルに設定する。

また、差分情報生成部１２は、個々の画像の各画素を他の画素と併合して特徴量を計算してから比較してもよい。例えば、ガウシアンフィルタなどで画素位置の周囲の画素を重み付けして、重み付けした値の差をテーブルに記録するか、又は、閾値より大きい差があれば差分がある旨（フラグ）をテーブルに記録する。

＜差分の配置＞
続いて、差分の配置の認識について説明する。

(i) 差分と判断される画素が人間の目で認識可能な大きさ以上連続している、
について説明する。

差分情報配置認識部１４は、画素位置を順番に走査して、連続する差異を検出する。

図６は、人間の目で認識可能な大きさ以上連続している差異の検出方法を説明する図である。図６（ａ）では、差分情報配置認識部１４が、画素位置を横方向に走査している。これにより、横方向に連続して人間の目で認識可能な大きさの差異１３０があれば検出できる。

図６（ｂ）では、差分情報配置認識部１４が、画素位置を縦方向に走査している。これにより、縦方向に連続して人間の目で認識可能な大きさの差異１３１があれば検出できる。

図６では、縦横それぞれの走査で矩形の差分の配置が検出される。差分情報配置認識部１４は、縦又は横にそれぞれ連続している差異の長さを検出する。なお、差分情報配置認識部１４は、斜め方向にも走査するとよい。

そして、判断部１５は連続している差異の長さを所定の長さ（閾値）と比較して、所定の長さより長く連続している差異の画素位置にその旨を記録しておく。差分情報配置認識部１４は、例えば、画素位置の数分のテーブルを用意して、所定の長さより長く連続している差異の画素位置すべてに「差異あり」を記録する。

これにより、情報処理装置１０の表示制御部１６はこれらの画素を強調して表示でき、ユーザは一目で差分の配置を認識できる。

なお、本実施形態では、この所定長さ（閾値）を画像に関係なく一定とすることができる。

続いて、
(ii) 差分と判断される画素が一定領域内に人間の目で認識可能な割合以上存在する、
について説明する。この場合、差分情報配置認識部１４は、差分情報において画素位置を囲むウィンドウを順番に移動させ、このウィンドウ内に人間の目で認識可能な割合より大きい差異が存在するか否かを判断する。このウィンドウの大きさが一定領域に相当する。

図７は、一定領域内に人間の目で認識可能な割合以上存在する差異の検出方法を説明する図である。図７では４×４画素のウィンドウ１４０が示されているが、ウィンドウ１４０の大きさは一例である。ウィンドウ１４０はウィンドウ１４０の中心にある画素位置を左上コーナーから右方向に１画素ずつ移動して、右端まで到達すると、１画素分下がって左端に戻る。このような移動を中心にある画素位置が右下コーナーに到達するまで繰り返す。

４×４画素のウィンドウ１４０内には５×５＝２５の画素位置が含まれる。差分情報配置認識部１４は、ウィンドウ内のいくつの画素位置で差異があると判断されているかを数える。図７では説明の便宜上、１０個の画素位置で差異があると判断されている。

判断部１５は「１０/２５＞所定の割合」を満たすか否かを判断して、満たす場合には、画素位置の数分のテーブルにおいて、ウィンドウ内の全ての画素位置にその旨を記録しておく。これにより、情報処理装置１０の表示制御部１６はこの画素を強調して表示でき、ユーザは一目で差分の配置を認識できる。

なお、本実施形態では、この所定の割合（閾値）を画像に関係なく一定とすることができる。

続いて、
(iii) 差分と判断される画素が指定された配置パターンで存在する、
について説明する。この場合、差分情報配置認識部１４は、指定された配置パターンを保持している。差分情報配置認識部１４は、差分情報に対し配置パターンでパターンマッチングを行い、配置パターンと適合する差分の配置があるか否かを判断する。

図８は、差分情報の生成方法を説明する図である。図８（ａ）は基準画像の一例を示し、図８（ｂ）は比較画像の一例を示す。図８では説明のために明らかに違う基準画像と比較画像を示すが、実際には、基準画像と比較画像を見ただけでは差異が分かりにくい場合がある。

図９（ａ）は、図８の基準画像と比較画像の差分情報を示し、図９（ｂ）は差分情報の拡大図である。また、図９（ｃ）は配置パターン１５０である。配置パターン１５０は人間の目が感じ取りやすい差異のパターンとして予め生成されている。図９（ｃ）の配置パターン１５０は一例であって、帯状であったり、円形であったり、幾何学模様得などであったりしてよい。

図９（ｂ）の拡大図のような差分が、配置パターン１５０と一致した場合、差異があると差分情報配置認識部１４が判断すれば、差異があると人間が感じる２つの画像を検出できる。

図１０は、差分の配置１６０から配置パターンを検出する方法を説明する図である。図１０では、説明のため、配置パターン１５０と同じパターンの差分の配置１６０を示した。差分情報配置認識部１４は、配置パターン１５０を差分情報１５１の左上コーナーから右方向に１画素ずつ移動して、右端まで到達すると、１画素分下がって左端に戻る。差分情報配置認識部１４は、このような移動を右下コーナーに到達するまで繰り返す。

差分情報配置認識部１４は配置パターン１５０の画素と同じ位置に、差分情報において差異ありが記録されているか否かを判断し、全ての画素の位置で差異ありが記録されている場合に、配置パターン１５０が差分情報１５１から検出されたと判断する。あるいは、一定数以上（一定割合以上）の画素の位置で差異ありが記録されている場合に、配置パターン１５０が差分情報１５１から検出されたと判断する。

図１０では、差分情報１５１の右下に配置パターン１５０と一致する差分の配置１６０があり、差分情報配置認識部１４はこの差分の配置１６０を検出することができる。

差分情報配置認識部１４は、画素位置の数分のテーブルにおいて、配置パターン１５０と一致した画素位置にその旨を記録しておく。これにより、情報処理装置１０の表示制御部１６はこの画素を強調して表示でき、ユーザは一目で差分の配置を認識できる。

＜差分の配置の表示例＞
図１１、図１２を用いて、差分の配置が検出される場合とされない場合を比較して説明する。

まず、図１１は差分の配置が検出されない２つの画像と、２つの画像の差分情報を示す。図１１（ａ）は基準画像であり、図１１（ｂ）はＪＰＥＧで圧縮された比較画像であり、図１１（ｃ）は差分情報である。なお、図１１はＣＭＹＫの画像であるとするが、ＲＧＢでも同様に適用できる。

人間が見た場合、図１１（ａ）と図１１（ｂ）の画像には差異が認められない。しかし、図１１（ｃ）の差分情報に示すように、全体的にノイズのような差異があること分かる。従来は、このノイズを２つの画像の差異として検出し、情報処理装置１０が同一でないと判断する場合があった。

本実施形態では、差分情報において情報処理装置１０が差分の配置を認識していないため、図１１（ａ）（ｂ）の画像が同一であると判断できる。

図１２は差分の配置が検出された２つの画像と、２つの画像の差分情報を示す。図１２（ａ）は基準画像であり、図１２（ｂ）は基準画像に白い矩形１７０が追加された比較画像であり、図１２（ｃ）は差分情報である。なお、図１２はＣＭＹＫの画像であるとするが、ＲＧＢでも同様に適用できる。

人間が見た場合、図１２（ａ）と図１２（ｂ）の画像には明らかに差異が認められる。図１２（ｃ）の差分情報には、比較画像の白い矩形１７０と同じ画素位置に矩形の、差分の配置１７１が検出されている。図１２では作図の関係上、差分の配置１７１が白黒だが、ディスプレイ５０６上では例えば赤色などで強調されているため、図１１（ｃ）のようなノイズとは異なる態様で表示される。したがって、ユーザは一目で差分の配置があるか否かを判断できる。

本実施形態では、差分情報において情報処理装置１０が差分の配置を認識しているため、図１２（ａ）（ｂ）の画像が同一でないと判断できる。

＜領域内差分合計量に基づく同一性判断＞
図１３は、領域内差分合計量に基づく同一性の判断方法を説明する図である。図１３（ａ）（ｂ）が比較の対象となる画像である（それぞれ第１の画像と第２の画像の一例）。

まず、差分情報生成部１２は図１３（ａ）（ｂ）を平滑化する。これは、ＣＭＹＫ画像のままだと１ドットが目立ち、人間の視覚とは異なる差分が生成されるためである。すなわち、人間の視覚は１ドットずつを比較するのでなく、ドットの周辺全体を見て比較するので、差分情報生成部１２が、ドットが目立つＣＭＹＫ画像を平滑化する。平滑化にガウシアンフィルタを使用すると、ＣＭＹＫ画像がＲＧＢ画像に変換される。

図１３（ｃ）（ｄ）はガウシアンフィルタにより生成されたＲＧＢ画像を示す。図１３（ａ）と図１３（ｃ）の拡大領域２０１、図１３（ｂ）と図１３（ｄ）の拡大領域２０２、を比較するとドットが平滑化されていることが分かる。

差分情報生成部１２は、図１３（ｃ）（ｄ）の画像の差分情報を生成する。図１３（ｃ）（ｄ）のＲＧＢ画像は例えば０～２５５の画素値を有するので、図１３（ｃ）のＲＧＢ画像の画素値から図１３（ｄ）のＲＧＢ画像の画素値を引くと、画素ごとに、－２５５～２５５の範囲の差が生じうる。

領域内差分合計量の算出において、負値は正値と打ち消し合うため、差分情報生成部１２は－２５５～２５５の差を０～２５５にマッピングする。差分情報生成部１２は、例えば、以下のようにマッピングする。
－２５５と－２５４ → ０
－２５３と－２５２ → １
：
－１と０ → １２７
１ → １２８
２と３ → １２９
：
２５４と２５５ → ２５５
したがって、元の差の０が１２７に対応し、マッピングされた画像では１２７が差異のないことを意味する。図１３（ｅ）はマッピングされた差分情報を示す。図１３（ｅ）の差分情報はほぼグレーであり、２つの画像に配置の差分がないことになる。なお、差分情報生成部１２は、８ビットのスケールをフルに使うために０～２５５へマッピング下に過ぎず、０～１２７へマッピングしてもよいし、０～５１１にマッピングしてもよい。

そして、領域内差分検出部１７はＲＧＢごとに、領域２１０の画素値の合計を算出する。領域内差分検出部１７は領域２１０を右方向に１画素ずつずらし、同様に合計の算出を行う。領域２１０が右端まで到達すると、領域内差分検出部１７は領域２１０を１画素、下にずらして左端に戻り、右方向への走査を行う。

そして、領域内差分検出部１７は領域２１０ごとに合計値と閾値を比較し、閾値以上の合計値が得られた領域２１０を記録する。したがって、差異がある領域２１０の座標が明らかになる。領域内差分検出部１７はＲＧＢ画像のそれぞれで、合計が閾値以上の領域２１０の位置を記録する。

図１３（ｆ）は閾値以上の合計値が得られた領域が黒色で強調された画像データを示す。図１３（ｆ）はＲＧＢ画像のそれぞれにおいて合計が閾値以上の領域２１０の位置を総合したものである。ユーザは差異がある領域を特定しやすい。

＜領域内差分合計量に基づく同一性判断の処理手順＞
図１４は、本実施形態の情報処理装置１０が領域内差分合計量に基づいて２つの画像の同一性判断を行う手順を示すフローチャート図の一例である。

まず、画像取得部１１が比較する２つの画像を画像データ記憶部２１から取得する（Ｓ１）。

差分情報生成部１２は、２つの画像の向きを揃える（Ｓ２）。例えば、縦のサイズＨを、横のサイズをＷとすると、差分情報生成部１２は、２つの画像の縦横の比がＨ：Ｗとなるように２つの画像の向きを揃える。比較画像の向きを変えても基準画像の向きを変えてもよい。

また、差分情報生成部１２が２つの画像の解像度を揃える（Ｓ３）。差分情報生成部１２は、すなわち、２つの画像のサイズを揃える。差分情報生成部１２は基準画像に比較画像を合わせて、縮小又は拡大する。ステップＳ２、Ｓ３により２つの画像の正確な比較が可能になる。

次に、差分情報生成部１２がガウシアンフィルタ等で２つの画像の平滑化を行う（Ｓ４）。これにより、ＣＭＹＫ画像がＲＧＢ画像に変換される。平滑化には平均フィルタやメディアンフィルタが使用されてもよい。

差分情報生成部１２は、ＲＧＢ画像ごとに、画素値の差を算出する（Ｓ５）。ＲＧＢを８ビットとすると、差は－２５５～２５５の値を取る。

差分情報生成部１２は、－２５５～２５５の差分を０～２５５にマッピングする（Ｓ６）。このマッピングは負値を正値にする変換であればよく、マッピング先は０～２５５に限られない。

次に、領域内差分検出部１７はＲＧＢ画像ごとに、領域を移動しながら領域内の差分を合計することで領域内差分合計量を算出する（Ｓ７）。

そして、第２判断部１８は領域内差分合計量が閾値以上の領域があるか否かを判断する（Ｓ８）。第２判断部は、ＲＧＢ画像ごとに異なる閾値を用いて、領域内差分合計量が閾値以上の領域があるか否かを判断してもよい。人間の視覚の感度がＲＧＢによって異なるためである。

領域内差分合計量が閾値以上の領域が１つでもある場合、第２判断部１８は２つの画像が非同一であると判断する（Ｓ９）。

領域内差分合計量が閾値以上の領域がある場合、差分量決定部１９はＲＧＢ画像ごとに、「合計値÷閾値」を算出する（Ｓ１０）。この算出結果を「Ａ値」とする。Ａ値が大きいほど差異が大きいことを表す。

差分量決定部１９はＲＧＢ画像の同じ位置の領域のＡ値を重み付けして合計する（Ｓ１１）。重み付けは、ＲＧＢに対する人間の目の感度を考慮して決定される。

なお、ＲＧＢ画像の同じ位置の領域のＡ値を合計するのでなく、ＲＧＢ画像の同じ位置の領域においてＡ値が最も大きいＲＧＢ画像のＡ値のみを採用してもよい。あるいは、差分量決定部１９は、人間の目の感度を考慮してＲＧＢのうち１つ（例えばＧ）のＡ値を採用してもよい。

表示制御部１６は、Ａ値を例えば赤色の濃さに反映させて画像を生成する（Ｓ１２）。表示制御部１６は、例えば予め定められたテーブルなどを使用して、Ａ値を（０，０，０）から（２５５，０，０）の間の赤系統の色に変換する。これによりＡ値が大きいほど濃い赤に変換される。したがって、ユーザは濃い赤が形成された領域ほど差異が大きいことを把握できる。

＜比較例＞
図１５、図１６は、領域内差分合計量に基づく２つの画像の比較例を示す図である。図１５（ａ）（ｂ）は比較対象の２つの画像である。これらの画像は厳密には異なるが、人間の視覚では差異がないと判断される。

図１６は図１５の２つの画像から求められた画素レベルの差分情報である。図１６に示すように、画像の全体的に差があるが、領域内差分合計量が閾値以上となる領域は検出されない。したがって、情報処理装置１０は人間の判断結果と同様の同一性判断結果を出力できる。

図１７、図１８は、領域内差分合計量に基づく２つの画像の比較例を示す図である。図１７（ａ）（ｂ）は比較対象の２つの画像である。これらの画像は、人間の視覚では差異があると判断される。

図１８は領域内差分合計量に基づくＡ値が赤色に反映された画像である。図１８に示すように、領域内差分合計量に基づいて差異がある領域が赤色に着色されるので、ユーザはどこが違うかを容易に判断できる。

図１９は図１７（ｂ）とは異なる比較対象の画像である。図１９は図１７（ａ）との差異が、図１７（ｂ）よりも大きいという人間の判断結果が得られている。

図２０は図１７（ａ）と図１９の画像の領域内差分合計量に基づいてＡ値が赤色に反映された画像である。図２０に示すように、領域内差分合計量に基づいて差異がある領域が赤色に着色される。図２０の赤色は図１８よりも全体的に濃い。

このように、赤色の濃さでどの程度差分があるかまで分かるので、元の画像を人間が目視しなくてもよい。したがって、情報処理装置が同一性判断を実行した後、差分が大量に発生した場合の優先順を付けることができる。

＜主な効果＞
以上説明したように本実施形態の情報処理装置は、差分情報における領域内の差分合計量と閾値を比較することで、人間の目で認識可能な差分かどうかを判断できる。差分の配置では検出が困難な、色合いの差異について、２つの画像が同一か否かの判断を人間の判断結果に近づけることができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、図４などの構成例は、情報処理装置１０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。情報処理装置１０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（Digital Signal Processor）、FPGA（Field Programmable Gate Array）や従来の回路モジュール等のデバイスを含むものとする。

１０ 情報処理装置
３０ サーバ
１００ 情報処理システム

特開２０１６‐４６６８５号公報

Claims (5)

1. 情報処理装置を、
   第１の画像と第２の画像の差分情報を生成する差分情報生成部と、
   前記差分情報生成部が生成した差分情報の領域内で差分を合計することで、領域内差分合計量を検出する領域内差分検出部と、
   前記領域内差分合計量に基づいて、前記第１の画像と前記第２の画像が同一であるか非同一かを判断する判断部、として機能させ、
   前記領域内差分検出部は領域を移動させながら、各領域で前記領域内差分合計量を算出し、
   前記判断部は、前記領域内差分合計量が閾値以上の領域が１つでもある場合、前記第１の画像と前記第２の画像が非同一であると判断し、
   前記情報処理装置を、更に、
   前記領域内差分合計量が閾値以上の領域がある場合、該領域の前記領域内差分合計量を閾値で割った値を算出し、
   前記値が大きいほど濃い色を差分が閾値以上の領域に設定する差分量決定部として機能させるためのプログラム。
2. 前記差分情報生成部は、ＣＭＹＫ画像である前記第１の画像と前記第２の画像をガウシアンフィルタで平滑化することでＲＧＢ画像に変換し、
   ＲＧＢ画像ごとに、－２５５～２５５の値を持つ前記差分情報を算出し、
   －２５５～２５５の値の前記差分情報を０～２５５の前記差分情報にマッピングし、
   前記領域内差分検出部は、ＲＧＢ画像ごとに、０～２５５の値を持つ差分情報の領域内で差分を合計することで前記領域内差分合計量を算出し、
   前記領域内差分合計量が閾値以上の領域がある場合、
   前記差分量決定部は、各ＲＧＢ画像の同じ位置の領域における前記領域内差分合計量を閾値で割った値を、ＲＧＢ画像に応じた値で重み付けして合計し、
   合計した値が大きいほど濃い色を前記領域内差分合計量が閾値以上の領域に設定する請求項１に記載のプログラム。
3. 前記差分量決定部は、前記領域内差分合計量を閾値で割った値をＲＧＢ画像に応じた値で重み付けして合計するのでなく、
   各ＲＧＢ画像の同じ位置の領域において最も大きい前記領域内差分合計量を閾値で割った値が大きいほど濃い色を前記領域内差分合計量が閾値以上の領域に設定する請求項２に記載のプログラム。
4. 第１の画像と第２の画像の差分情報を生成する差分情報生成部と、
   前記差分情報生成部が生成した差分情報の領域内で差分を合計することで、領域内差分合計量を検出する領域内差分検出部と、
   前記領域内差分合計量に基づいて、前記第１の画像と前記第２の画像が同一であるか非同一かを判断する判断部と、を有し、
   前記領域内差分検出部は領域を移動させながら、各領域で前記領域内差分合計量を算出し、
   前記判断部は、前記領域内差分合計量が閾値以上の領域が１つでもある場合、前記第１の画像と前記第２の画像が非同一であると判断し、
   前記領域内差分合計量が閾値以上の領域がある場合、該領域の前記領域内差分合計量を閾値で割った値を算出し、
   前記値が大きいほど濃い色を差分が閾値以上の領域に設定する差分量決定部、
   を有することを特徴とする情報処理装置。
5. 差分情報生成部が、第１の画像と第２の画像の差分情報を生成するステップと、
   領域内差分検出部が、前記差分情報生成部が生成した差分情報の領域内で差分を合計することで、領域内差分合計量を検出するステップと、
   判断部が、前記領域内差分合計量に基づいて、前記第１の画像と前記第２の画像が同一であるか非同一かを判断するステップと、
   前記領域内差分検出部が、領域を移動させながら、各領域で前記領域内差分合計量を算出するステップと、
   前記判断部が、前記領域内差分合計量が閾値以上の領域が１つでもある場合、前記第１の画像と前記第２の画像が非同一であると判断するステップと、
   差分量決定部が、前記領域内差分合計量が閾値以上の領域がある場合、該領域の前記領域内差分合計量を閾値で割った値を算出し、前記値が大きいほど濃い色を差分が閾値以上の領域に設定するステップと、
   を有することを特徴とする判断方法。

Images