JP4650293B2 - 画像分類表示装置及び画像分類表示プログラム - Google Patents

Description

本発明は画像分類表示装置及び画像分類表示プログラムに係り、特に画像を検索するための技術に関する。

従来、複数のサムネイルの画像データの類似度の度合いを算出して、該サムネイルをグループ化して表示する画像表示装置が提案されている（特許文献１）。
特開２００５−２３６６４６号公報

しかしながら、上記特許文献１において、グループ化の対象となる画像の数が膨大な場合には、類似度のグループに属する画像の数が多くなり、画像の分類、検索を容易に行うことは困難であった。また、上記特許文献１では、画像のグループ化は、グループ化の対象となる画像に対して１回行われるだけであるため、各グループに属する画像の数の調整ができず、膨大な数の画像に対しては効果的な検索ができないという問題があった。

本発明はこのような事情に鑑みてなされたもので、画像の数が膨大であっても画像の分類、検索を容易に行うことができる画像分類表示装置及び画像分類表示プログラムを提供することを目的とする。

上記目的を達成するために、本発明の第１の態様に係る画像分類表示装置は、画像を入力する画像入力手段と、少なくとも第１の画像情報及び第２の画像情報に基づいて前記画像をクラスタリングするクラスタリング手段と、前記第１の画像情報に対応する第１の座標軸及び前記第２の画像情報に対応する第２の座標軸の少なくとも２本の座標軸により定義される座標空間に、前記画像がクラスタリングされて生成されたクラスタに対応するクラスタアイコンを表示する画像表示手段と、前記座標空間において、前記第１の座標軸の第１の座標を示す第１の座標軸アイコン、及び前記第２の座標軸の第２の座標を示す第２の座標軸アイコンを表示する座標軸アイコン表示手段と、前記第１、第２の座標軸アイコンを選択する座標軸アイコン選択手段とを備え、前記クラスタリング手段は、前記第１の座標軸アイコンが選択された場合に、前記選択された第１の座標軸アイコンに対応するクラスタの画像を再度クラスタリングする一方、前記第２の座標軸アイコンが選択された場合に、前記選択された第２の座標軸アイコンに対応するクラスタの画像を再度クラスタリングし、前記画像表示手段は、再度のクラスタリングにより生成されたクラスタを前記座標空間に表示することを特徴とする。

上記第１の態様によれば、画像のタグ情報（例えば、日時情報や撮影場所を示す位置情報等）や画像の類似度等を基準として、画像が自動的にクラスタリングされて、２次元以上の座標空間に表示される。これにより、検索（クラスタリング）の対象画像の数が膨大であっても、所望の画像を容易に取り出すことができる。更に、上記第１の態様によれば、第１、第２の画像情報のうち所望の画像情報を基準として画像のクラスタリングを行うことができる。これにより、所望の画像情報を基準とした画像の検索を容易に行うことができる。

本発明の第２の態様に係る画像分類表示装置は、上記第１の態様において、前記クラスタリング手段は、前記第１の画像情報として前記入力された画像の類似度を算出して、前記類似度に基づいて前記画像をクラスタリングし、前記第２の画像情報として前記画像が撮影又は更新された日時情報に基づいて前記画像をクラスタリングすることを特徴とする。上記第２の態様は、画像のクラスタリングの基準を、画像の日時情報と類似度に限定したものである。

本発明の第３の態様に係る画像分類表示装置は、上記第１又は第２の態様において、前記座標空間に表示されたクラスタアイコンを指示することにより、前記指示されたクラスタアイコンに対応するクラスタを選択するクラスタ選択手段を更に備え、前記画像表示手段は、前記選択されたクラスタに属する画像を一覧表示することを特徴とする。

上記第３の態様によれば、上記した効果に加え、クラスタ内の画像を一覧表示させることにより、所望の画像の検索を容易にできる。

本発明の第４の態様に係る画像分類表示装置は、上記第１又は第２の態様において、前記座標空間に表示されたクラスタアイコンを指示することにより、前記指示されたクラスタアイコンに対応するクラスタを選択するクラスタ選択手段を更に備え、前記クラスタリング手段は、前記選択されたクラスタに属する画像の数が所定数以上の場合に、前記選択されたクラスタに属する画像を再度クラスタリングし、前記画像表示手段は、再度のクラスタリングにより生成されたクラスタを前記座標空間に表示することを特徴とする。

上記第４の態様によれば、選択クラスタに属する画像の数が多く、一覧表示による検索が適さない場合に、選択クラスタに属する画像を更にクラスタリングすることができる。これにより、画像の検索を容易に行うことができる。

本発明の第５の態様に係る画像分類表示装置は、上記第４の態様において、前記画像表示手段は、前記選択されたクラスタに属する画像の数が所定数未満の場合に、前記選択されたクラスタに属する画像を一覧表示することを特徴とする。

上記第５の態様によれば、選択クラスタに属する画像のクラスタリングを繰り返して、選択クラスタに属する画像の数が一覧表示による検索に適する程度に減った場合に、画像を一覧表示することにより、所望の画像に到達できる。

本発明の第６の態様に係る画像分類表示プログラムは、画像を入力する画像入力機能と、少なくとも第１の画像情報及び第２の画像情報に基づいて前記画像をクラスタリングするクラスタリング機能と、前記第１の画像情報に対応する第１の座標軸及び前記第２の画像情報に対応する第２の座標軸の少なくとも２本の座標軸により定義される座標空間に、前記画像がクラスタリングされて生成されたクラスタに対応するクラスタアイコンを表示する画像表示機能と、前記座標空間において、前記第１の座標軸の第１の座標を示す第１の座標軸アイコン、及び前記第２の座標軸の第２の座標を示す第２の座標軸アイコンを表示する座標軸アイコン表示機能と、前記第１、第２の座標軸アイコンを選択する座標軸アイコン選択機能と、前記第１の座標軸アイコンが選択された場合に、前記選択された第１の座標軸アイコンに対応するクラスタの画像を再度クラスタリングする機能と、前記第２の座標軸アイコンが選択された場合に、前記選択された第２の座標軸アイコンに対応するクラスタの画像を再度クラスタリングする機能と、再度のクラスタリングにより生成されたクラスタを前記座標空間に表示する機能とをコンピュータに実現させることを特徴とする。

本発明の第７の態様に係る画像分類表示プログラムは、上記第６の態様において、前記座標空間に表示されたクラスタアイコンを指示することにより、前記指示されたクラスタアイコンに対応するクラスタを選択するクラスタ選択機能と、前記選択されたクラスタに属する画像を一覧表示する機能とをコンピュータに実現させることを特徴とする。

本発明の第８の態様に係る画像分類表示プログラムは、上記第６の態様において、前記座標空間に表示されたクラスタアイコンを指示することにより、前記指示されたクラスタアイコンに対応するクラスタを選択するクラスタ選択機能と、前記選択されたクラスタに属する画像の数が所定数以上の場合に、前記選択されたクラスタに属する画像を再度クラスタリングする機能と、再度のクラスタリングにより生成されたクラスタを前記座標空間に表示する機能とをコンピュータに実現させることを特徴とする。

本発明の第９の態様に係る画像分類表示プログラムは、上記第８の態様において、前記選択されたクラスタに属する画像の数が所定数未満の場合に、前記選択されたクラスタに属する画像を一覧表示する機能をコンピュータに実現させることを特徴とする。

上記の各態様に係る画像分類表示プログラムを含むソフトウェアやファームウェアをパーソナルコンピュータ（ＰＣ）のほか、ビデオ再生装置（ビデオデッキ、テレビ）やデジタルカメラ、携帯情報端末（ＰＤＡ）、携帯フォトプレーヤー、携帯電話等の画像ストレージ、再生機能を有する装置に適用することにより、本発明の画像分類表示装置を実現することができる。

本発明によれば、画像のタグ情報（例えば、日時情報や撮影場所を示す位置情報等）や画像の類似度等を基準として、画像が自動的にクラスタリングされて、２次元以上の座標空間に表示される。これにより、検索（クラスタリング）の対象画像の数が膨大であっても、所望の画像を容易に取り出すことができる。

以下、添付図面に従って本発明に係る画像分類表示装置及び画像分類表示プログラムの好ましい実施の形態について説明する。

図１は、本発明の一実施形態に係る画像分類表示装置の主要構成を示すブロック図である。図１に示す画像分類表示装置１は、例えば、パーソナルコンピュータ（ＰＣ）等から構成されており、画像の記憶、検索、分類、プリント注文等を行うための装置である。図１に示すように、中央処理装置（ＣＰＵ）１０は、バス１２を介して画像分類表示装置１内の各ブロックに接続されており、各ブロックの動作を制御する。主メモリ１６は、制御プログラムが格納される記憶領域や、プログラム実行時の作業領域を含んでいる。ハードディスク装置１８には、画像分類表示装置１のオペレーティングシステム（ＯＳ）や、本発明に係る画像分類表示プログラム、各種のアプリケーションソフト等が格納される。ＣＤ−ＲＯＭ装置２０は、図示せぬＣＤ−ＲＯＭからのデータの読み込みを行う。本発明に係る画像分類表示プログラムは、当該画像分類表示プログラムが記録されたＣＤ−ＲＯＭをＣＤ−ＲＯＭ装置２０にセットすることにより画像分類表示装置１にインストールすることができる。カードインターフェース部（カードＩ／Ｆ）２２は、メモリカード２４から画像データを読み取る。表示メモリ２６は、表示用データを一時記憶する。モニタ２８は、例えば、ＣＲＴ（Cathode Ray Tube）モニタや液晶モニタであり、この表示メモリ２６から出力される画像データ、文字データ等に基づいて画像や文字等を表示する。キーボード３０及びマウス３２は、操作者からの操作入力を受け付けて、操作入力に応じた信号をＣＰＵ１０に入力する。なお、図１の画像分類表示装置１では、ポインティングデバイスとしては、マウス３２のほか、タッチパネルやタッチパッド等を用いることができる。マウスコントローラ３４は、マウス３２の状態を検出してモニタ２８上のマウスポインタ（図３等の符号Ｃ１）の位置や、マウス３２の状態等の信号をＣＰＵ１０に出力する。オーディオ入出力回路３６には、マイク３８及びスピーカ４０が接続され、各種の音声信号が入力されるとともに、キーボード３０等からの操作入力に応じて各種動作音が再生出力される。通信インターフェース部（通信Ｉ／Ｆ）４２は、ネットワーク４４との通信を行う。カメラ接続インターフェース部（カメラ接続Ｉ／Ｆ）４６は、撮像装置（電子カメラ、デジタルカメラ）４８との間でデータの送受信を行う。

図２は、画像分類処理部１４の主要構成を示す機能ブロック図である。図２に示すように、画像分類処理部１４は、類似度算出部５０、タグ情報取得部５２、クラスタリング部５４及び座標描画部５６を備える。

類似度算出部５０は、ハードディスク装置１８に記憶された画像の全て又は指定されたフォルダ内の画像に対して画像の分類（クラスタリング）が実行された場合に、当該画像を解析して画像の特徴量（例えば、画像の輝度や色、被写体の識別）を算出する。タグ情報取得部５２は、ハードディスク装置１８に記憶された画像のタグ情報から画像が撮影、更新された日時情報を取得する。クラスタリング部５４は、上記画像の類似度及び日時情報に基づいて、ハードディスク装置１８に記憶された画像を所定のクラスタに分類する（クラスタリング）。座標描画部５６は、クラスタリング部５４により分類された画像のクラスタの類似度の平均値を算出する。そして、座標描画部５６は、この類似度の平均値に基づいて、上記算出された画像の類似度及び日時情報を座標軸とする座標空間における座標を算出する。そして、上記算出されたクラスタの座標から、上記クラスタを座標空間にプロットして表示メモリ２６に出力する。これにより、モニタ２８に画像の分類表示画面が表示される。

図３は、画像分類表示画面を示す図である。図３に示す画像分類表示画面は、分類された画像を表示し、所望の画像を選択する際のＧＵＩ（Graphical User Interface）として用いられるもので、操作ボタン表示領域６０及び画像クラスタ分類表示領域６２を有している。また、図中の符号６４はタイトルバーであり、本発明に係る画像分類表示プログラムの名称やカレントフォルダの名称等が表示される。タイトルバー６４は、画像の分類表示画面を最小化（アイコン化）するための最小化ボタン、最大化するための最大化ボタン及び閉じるための終了ボタン等を備える。なお、このタイトルバー６４の構成は、画像分類表示装置１を構成するＰＣのオペレーションシステム（ＯＳ）により異なっていてもよい。

操作ボタン表示領域６０には、現在の画面の前に表示された画面に戻るための「Ｂａｃｋ」ボタンや、後に表示された画面に進むための「Ｆｏｒｗａｒｄ」ボタン、画像分類表示画面を閉じるための「終了」ボタン等の各種の操作ボタンが表示される。

画像クラスタ分類表示領域６２には、画像が撮影又は更新された日時情報に対応する時間軸と、画像の類似度の度合に対応する画像類似度軸によって定義される座標空間が表示される。そして、この座標空間には、画像のクラスタに対応するクラスタアイコン１〜２０が表示される。クラスタアイコンには、例えば、各クラスタに属する画像のうちの代表画像のサムネイルが表示される。ここで、代表画像とは、例えば、最も新しい画像又は古い画像、類似度の度合がクラスタ内の画像の類似度の平均値に最も近い画像等である。

図３に示す座標空間では、クラスタアイコンは、時間軸方向に４列、画像類似度軸方向に５列、合計２０個表示されている。なお、各座標軸方向の列の数はユーザが任意に設定可能である。

図３において、時間軸の左側には、時間軸方向の座標に対応する時間軸アイコンが配置されている。時間軸アイコンには、時間軸方向の座標に相当する画像が撮影又は更新された日時（年）が示されている。例えば、時間軸アイコン「〜１９９４」は１９９４年以前、時間軸アイコン「１９９５〜１９９８」は１９９５年から１９９８年までの間、時間軸アイコン「１９９９〜２００２」は１９９９年から２００２年までの間、時間軸アイコン「２００３〜２００６」は２００３年から２００６年までの間に対応している。この時間軸アイコンの１つ、例えば、時間軸アイコン「１９９５〜１９９８」がマウスカーソルＣ１によりクリックされると、時間軸アイコン「１９９５〜１９９８」に対応するクラスタ１１〜１５が選択される。そして、図４に示すように、選択クラスタ１１〜１５に属する画像が、「１９９５」、「１９９６」、「１９９７」及び「１９９８」のように時間軸方向に細分化されて座標空間に表示される。なお、図４に示す画像分類表示画面において、「Ｂａｃｋ」ボタンがクリックされると、図３に示す画像分類表示画面に戻ることができる。

一方、画像類似度軸の下側には、画像類似度軸アイコン１〜５が配置されている。画像類似度軸アイコン１〜５は、画像の類似度の度合に対応している。画像類似度軸アイコンのいずれかがクリックされると、クリックされた画像類似度軸アイコンに対応するクラスタが選択される。そして、選択クラスタに属する画像が類似度軸方向に更に細分化されて表示される。

また、図３又は図４の画像分類表示画面において、クラスタアイコンがクリックされると、そのクラスタアイコンに対応するクラスタが選択される。そして、選択クラスタに属する画像の数が計数される。選択クラスタに属する画像の数が所定数以上の場合には、該選択クラスタに属する画像が、時間軸方向及び画像類似度軸方向に細分化されて、画像分類表示画面の座標空間に表示される。一方、選択クラスタに属する画像の数が所定数未満の場合には、図５に示すように、選択クラスタに属する画像が一覧表示される。図５に示す画像一覧表示画面において、「Ｂａｃｋ」ボタンがクリックされると、画像分類表示画面に戻ることができる。なお、図５中の符号Ｂ１は、スクロールバーである。

次に、画像分類表示装置１における画像の分類、表示処理の流れについて、図６のフローチャートを参照して説明する。まず、画像分類表示装置１のハードディスク装置１８に記憶された画像の全て又は指定されたフォルダ内の画像に対して画像の分類処理が実行されると（ステップＳ１０）、分類（クラスタリング）対象の画像の類似度が算出されて、類似度の度合ごとに画像がクラスタリングされるとともに（ステップＳ１２）、画像が撮影又は更新された日時情報に基づいて、画像がクラスタリングされる（ステップＳ１４）。

次に、図３に示した座標空間に、画像のクラスタに対応するクラスタアイコンが表示される（ステップＳ１６）。そして、マウス３２によりこのクラスタアイコンがクリックされたことが検出されると、クリックされたクラスタアイコンに対応するクラスタが選択される（ステップＳ１８のＹｅｓ）。そして、選択クラスタに属する画像の数が所定数以上の場合には（ステップＳ２０のＮｏ）、ステップＳ１２の処理に戻り、選択クラスタに属する画像が、類似度及び日時情報に基づいて再度クラスタリングされて（ステップＳ１２、Ｓ１４）、座標空間上に表示される（ステップＳ１６）。一方、選択クラスタに属する画像の数が所定数未満の場合には（ステップＳ２０のＮｏ）、図５に示したように、選択クラスタに属する画像がモニタ２８に一覧表示される（ステップＳ２２）。

また、マウス３２により、時間軸アイコン又は画像類似度軸アイコンがクリックされたことが検出されると（ステップＳ２４のＹｅｓ）、図４に示したように、クリックされた座標軸アイコンに対応する列のクラスタが更に細分化されて（ステップＳ２６）、座標空間に表示される（ステップＳ１６）。

本実施形態によれば、日時情報等の画像のタグ情報や画像の類似度により画像が自動的にクラスタリングされて、２次元の座標空間に表示されるため、検索対象の画像の数が膨大であっても、所望の画像を容易に取り出すことができる。

なお、本実施形態では、例えば、画像のタグ情報に撮影場所の位置情報（ＧＰＳ情報）や撮影者、被写体の情報を含まれている場合には、これらの情報を座標軸とした表示を行うようにしてもよい。また、座標として用いることができる情報としては、例えば、輝度、色、被写体（人物の顔領域を識別）を基準とした画像類似度を用いることができる。また、画像分類表示画面に表示する座標空間は、図３又は図４に示した２次元に限定されるものではなく、１次元や３次元であってもよい。また、上記画像分類表示画面において、各座標軸の種類を変更できるようにしてもよい。例えば、図３において、時間軸を位置情報を示す座標軸に変更できるようにしてもよい。

また、上記の処理を実行するソフトウェアやファームウェアをパーソナルコンピュータ（ＰＣ）のほか、ビデオ再生装置（ビデオデッキ、テレビ）やデジタルカメラ、携帯情報端末（ＰＤＡ）、携帯フォトプレーヤー、携帯電話等の画像ストレージ、再生機能を有する装置に適用することにより、本発明の画像分類表示装置を実現することができる。

本発明の一実施形態に係る画像分類表示装置の主要構成を示すブロック図 画像分類処理部１４の主要構成を示す機能ブロック図 画像の分類表示画面を示す図 画像の分類表示画面を示す図 画像一覧表示画面を示す図 画像分類表示装置１における画像の分類、表示処理の流れを示すフローチャート

符号の説明

１…画分類表示装置、１０…ＣＰＵ、１２…バス、１４…画像分類処理部、１６…主メモリ、１８…ハードディスク装置、２０…ＣＤ−ＲＯＭ装置、２２…カードＩ／Ｆ、２４…メモリカード、２６…表示メモリ、２８…モニタ、３０…キーボード、３２…マウス、３４…マウスコントローラ、３６…オーディオ入出力回路、３８…マイク、４０…スピーカ、４２…通信Ｉ／Ｆ、４４…ネットワーク、４６…カメラ接続Ｉ／Ｆ、４８…撮像装置、５０…類似度算出部、５２…タグ情報取得部、５４…クラスタリング部、５６…座標描画部

Claims (9)

1. 画像を入力する画像入力手段と、
   少なくとも第１の画像情報及び第２の画像情報に基づいて前記画像をクラスタリングするクラスタリング手段と、
   前記第１の画像情報に対応する第１の座標軸及び前記第２の画像情報に対応する第２の座標軸の少なくとも２本の座標軸により定義される座標空間に、前記画像がクラスタリングされて生成されたクラスタに対応するクラスタアイコンを表示する画像表示手段と、
   前記座標空間において、前記第１の座標軸の第１の座標を示す第１の座標軸アイコン、及び前記第２の座標軸の第２の座標を示す第２の座標軸アイコンを表示する座標軸アイコン表示手段と、
   前記第１、第２の座標軸アイコンを選択する座標軸アイコン選択手段とを備え、
   前記クラスタリング手段は、前記第１の座標軸アイコンが選択された場合に、前記選択された第１の座標軸アイコンに対応するクラスタの画像を再度クラスタリングする一方、前記第２の座標軸アイコンが選択された場合に、前記選択された第２の座標軸アイコンに対応するクラスタの画像を再度クラスタリングし、
   前記画像表示手段は、再度のクラスタリングにより生成されたクラスタを前記座標空間に表示することを特徴とする画像分類表示装置。
2. 前記クラスタリング手段は、前記第１の画像情報として前記入力された画像の類似度を算出して、前記類似度に基づいて前記画像をクラスタリングし、前記第２の画像情報として前記画像が撮影又は更新された日時情報に基づいて前記画像をクラスタリングすることを特徴とする請求項１記載の画像分類表示装置。
3. 前記座標空間に表示されたクラスタアイコンを指示することにより、前記指示されたクラスタアイコンに対応するクラスタを選択するクラスタ選択手段を更に備え、
   前記画像表示手段は、前記選択されたクラスタに属する画像を一覧表示することを特徴とする請求項１又は２記載の画像分類表示装置。
4. 前記座標空間に表示されたクラスタアイコンを指示することにより、前記指示されたクラスタアイコンに対応するクラスタを選択するクラスタ選択手段を更に備え、
   前記クラスタリング手段は、前記選択されたクラスタに属する画像の数が所定数以上の場合に、前記選択されたクラスタに属する画像を再度クラスタリングし、
   前記画像表示手段は、再度のクラスタリングにより生成されたクラスタを前記座標空間に表示することを特徴とする請求項１又は２記載の画像分類表示装置。
5. 前記画像表示手段は、前記選択されたクラスタに属する画像の数が所定数未満の場合に、前記選択されたクラスタに属する画像を一覧表示することを特徴とする請求項４記載の画像分類表示装置。
6. 画像を入力する画像入力機能と、
   少なくとも第１の画像情報及び第２の画像情報に基づいて前記画像をクラスタリングするクラスタリング機能と、
   前記第１の画像情報に対応する第１の座標軸及び前記第２の画像情報に対応する第２の座標軸の少なくとも２本の座標軸により定義される座標空間に、前記画像がクラスタリングされて生成されたクラスタに対応するクラスタアイコンを表示する画像表示機能と、
   前記座標空間において、前記第１の座標軸の第１の座標を示す第１の座標軸アイコン、及び前記第２の座標軸の第２の座標を示す第２の座標軸アイコンを表示する座標軸アイコン表示機能と、
   前記第１、第２の座標軸アイコンを選択する座標軸アイコン選択機能と、
   前記第１の座標軸アイコンが選択された場合に、前記選択された第１の座標軸アイコンに対応するクラスタの画像を再度クラスタリングする機能と、
   前記第２の座標軸アイコンが選択された場合に、前記選択された第２の座標軸アイコンに対応するクラスタの画像を再度クラスタリングする機能と、
   再度のクラスタリングにより生成されたクラスタを前記座標空間に表示する機能と、
   をコンピュータに実現させることを特徴とする画像分類表示プログラム。
7. 前記座標空間に表示されたクラスタアイコンを指示することにより、前記指示されたクラスタアイコンに対応するクラスタを選択するクラスタ選択機能と、
   前記選択されたクラスタに属する画像を一覧表示する機能と、
   をコンピュータに実現させることを特徴とする請求項６記載の画像分類表示プログラム。
8. 前記座標空間に表示されたクラスタアイコンを指示することにより、前記指示されたクラスタアイコンに対応するクラスタを選択するクラスタ選択機能と、
   前記選択されたクラスタに属する画像の数が所定数以上の場合に、前記選択されたクラスタに属する画像を再度クラスタリングする機能と、
   再度のクラスタリングにより生成されたクラスタを前記座標空間に表示する機能と、
   をコンピュータに実現させることを特徴とする請求項６記載の画像分類表示プログラム。
9. 前記選択されたクラスタに属する画像の数が所定数未満の場合に、前記選択されたクラスタに属する画像を一覧表示する機能をコンピュータに実現させることを特徴とする請求項８記載の画像分類表示プログラム。

Images