JP4902499B2 - 画像表示装置、画像表示方法、および画像表示システム - Google Patents

Description

本発明は、画像データの検索を視覚的に支援する画像表示装置、画像表示方法、および画像表示システムに関する。

パソコンなどに保存されている大量の画像データの中から視覚的な情報を元に所望の画像データを検索する場合、ユーザが１つずつ画像データを画面に表示させ閲覧しながら検索することは効率が良くないため、１つの画面に画像を縮小して一覧で表示するサムネイル一覧表示が知られている。サムネイルとは、静止画の場合は、画素数を間引いてサイズを縮小した代表画のことであり、複数のサムネイルを一画面に表示することで、どのような画像があるのかをユーザに効率良く認識させることができる。

サムネイルを表示する際、サムネイル表示の内容をユーザに視覚的に分かりやすく伝えるために工夫している表示方法としては、例えば、元画像を構成する複数の部分画像の重要度に応じて、重要度の高い部分画像の割合が大きくなるように元画像を縮小した縮小画像を画像検索の結果として表示させるものである（例えば、特許文献１参照）。

しかし、サムネイルが一覧に表示された画面からユーザが所望の画像を見つけようとする場合には、個々のサムネイルの内容を把握し易いように表示方法を工夫し、表示されているサムネイル間にどのような関係があるかをユーザに分かりやすく伝える必要がある。従って、サムネイルの画像をただ並べて一覧として表示するのではなく、画像データの属性値情報に基づいてサムネイル表示位置が決定され、画面内にマップのように配置することで検索効率を向上させる技術が知られている（以後、このような表示を「画像マップ」と呼ぶ）。この表示の利点は、画像間の関係を視覚的に提示可能な点にあり、特に性質の似通ったサムネイル群を画面上にまとめて配置することで、表示画像データから必要なデータ群を容易に特定可能となる。

サムネイルを画像マップとして表示する画像マップ方法としては、表示対象画像から色、形、大きさ、種類、用途キーワードなどの特徴量を抽出し、特徴量ベクトルを作成した上で、自己組織化マップなどを利用して２次元座標軸上へ射影し、かつ、情報の密度を変えて奥行き方向に複数の画面を並べることで視点を３次元的に移動させ、所望のデータを容易に探索できるようにしたものが知られている（例えば、特許文献２参照）。

また、画像マップ方法としては、各表示対象の属性値が取得され、取得された各属性値に基づいて画面上の中心点が設定され、表示対象画像の属性値から当該画像のサムネイルが中心点の近傍に配置されて、同じ属性値を持つ画像のサムネイル同士が集まって表示されるものが知られている（例えば、特許文献３参照）。

また、画像マップ方法としては、画像データベースを検索した検索結果の画像集合を取得し、各検索結果画像からｎ次元の特徴量を抽出し、そのｎ次元の特徴量を多変量統計分析処理により解析して２次元の新たな特徴量を算出し、各検索結果画像を前記２次元の特徴量を２軸とした距離空間上の点とみなしてｍ個のクラスタ群にクラスタリングし、そのクラスタリング情報に基づいて各検索結果画像の表示位置と表示サイズとを決定し、決定された表示位置と表示サイズとに従って、各検索結果画像を縮小して表示装置の画面に一覧表示するものが知られている（例えば、特許文献４参照）。

一方、上述した画像マップは、デジタルカメラ等で撮影した静止画データを蓄積するデータベースを閲覧する際にも利用することができるが、近年、録画機能を有するデジタルビデオカメラが広く普及しており、その場合、撮影データは静止画データに限らず、静止画データおよび動画データが、混在した状態でデータベースに蓄積され保管されることになる。静止画データおよび動画データが混在した状態でも、データを一括で管理する場合、データベースにあるデータ全体を閲覧でき、かつ内容を容易に視認できる画像マップ形式の表示方法が必要となる。

大量の静止画、及び動画データを含むデータオブジェクトを効率良く画面に配置し、ユーザ自身の目で容易に検索できるようにする技術として、各データのアイコンを、現実空間に似せた仮想的な情報空間の中に、情報を関連付けて表示する方法がある。この方法によると、情報の種類、内容、重要性などの付加的情報を視覚的にユーザに伝える事が可能であり、情報空間を散策しながら情報の概要やその詳細を閲覧でき、直感的な検索が可能となる（例えば、特許文献５参照）。

静止画データではなく、動画データを対象として画像マップに配置して表示する方法としては、大量のデジタル放送コンテンツについて効率的な検索及び鑑賞方法を提供する事を目的としており、映像コンテンツからアイコンを作成し、各アイコンを映像コンテンツの特徴量に基づいて配置して表示するものが知られている（例えば、特許文献６参照）。

また、動画データを対象として画像マップに配置して表示する方法としては、各動画データに対し、ユーザ自らが予め提示している「年代度」、「新鮮度」、「年代別人気度」といった配置のための評価軸のうちユーザがいくつかを選択し、複数の動画像データを適当な位置に配置して表示させる。この表示画面を利用してユーザが所望の動画を高速に見付けるための表示画面を提供するものが知られている（例えば、特許文献７参照）。
特開２００７−０８００９９号公報 特許第３６１４２３５号明細書 特開２００５−０５５７４３号公報 特開２００５−２３５０４１号公報 特許第３０２２０６９号明細書 特開２００１−３０９２６９号公報 特開２００２−３１４９７９号公報

しかしながら、特許文献６に記載の発明は、デジタル放送により配信される大量の番組プログラムの中から所望の番組を効率的に選局することを目的としており、動画コンテンツに限定された集合体から所望の動画コンテンツを検索する手段であるが、デジタルカメラなどで撮影して得られたデータについては、静止画データと動画データが混在して蓄積されているため、利用者が、蓄積されたデータ全体を閲覧したり、定期的に整理したり、中身を分析する場合には、静止画、動画の別なく一覧表示が行え、かつ視覚的な特徴ごとにまとまりが形成されて表示されていることが望ましい。

特許文献７に記載の発明は、表示を決定する評価軸として意味的な情報を想定しており、ある傾向を有する画像データを検索することは可能であるが、自分が撮影した画像データなどあいまいな記憶を頼りに画像データを検索する際には、どの評価軸を設定すべきか、また表示画面のどの表示位置に配置されているかをユーザが認識することが困難である。

本発明は、上述した課題を解決するためになされたものであり、静止画データおよび特に動画データを含むデータ群を整理、閲覧、または分析する際に好適な一覧表示を行う画像表示装置、画像表示方法、および画像表示システムを提供することを目的とする。

上記課題を解決するため、本発明の画像表示装置は、複数の画像を縮小して表示領域に一覧表示する画像表示装置において、前記画像を表す画像データが動画または静止画であるか判別する属性判別部と、前記属性判別部によって前記画像データが動画であると識別されたとき該動画の画像データから静止画を抽出する静止画抽出部と、前記静止画抽出部によって抽出された静止画の画像データおよび前記属性判別部によって判別された静止画の画像データから視覚的な特徴量を取得する特徴量取得部と、前記特徴量取得部によって取得された特徴量に基づいて前記表示領域の配置位置を決定する配置位置決定部と、前記配置位置決定部によって決定された配置位置および前記表示領域に基づいて、前記静止画を縮小した表示用画像をそれぞれ生成し、生成したそれぞれの表示用画像を前記表示領域に一覧表示する表示画像生成部と、を備え、前記動画の画像データには、複数の内容が含まれており、前記静止画抽出部が、前記動画の画像データに複数の内容が含まれている場合、前記動画の画像データをイベント単位またはセグメント単位に分割し、分割した画像データから静止画を抽出し、前記配置位置決定部が、前記分割した画像データから抽出された静止画の場合、該静止画同士が近傍に配置されるように該静止画の配置位置を決定することを特徴としている。

以上のように本発明は、静止画データおよび特に動画データを含むデータ群を整理、閲覧、または分析する際に好適な一覧表示を行うことができる画像表示装置、画像表示方法、および画像表示システムを提供することを目的とする。

以下、本発明の実施の形態について、図面を用いて説明する。

（本発明の第１の実施の形態）
図１は、本発明の実施の形態に係る画像表示装置のブロック図である。図１に示すように、画像表示装置１００は、入力部１０、表示部２０、記憶部３０、および制御部４０を有する。なお、以下では動画および静止画を総称して画像といい、画像データには、動画のものと静止画のものがある。

入力部１０は、キーボードやマウスなどのポインティングデバイスなどによって構成され、検索条件の指示入力や検索条件の追加または変更の指示入力を受付けるものである。

表示部２０は、液晶ディスプレイやＣＲＴなどによって構成され、画像群の中から検索条件に従って特定された画像のサムネイルや上述した入力部１０から受付たときの指示依頼に応じた指示結果などを表示するものである。

記憶部３０は、ハードディスク装置などによって構成され、デジタルカメラなどの画像生成装置９から生成された画像や、その他の写真画像や、スキャナから読み込まれた資料類を画像データとして保存するものである。特に、画像データが複数ページから構成される場合、サムネイルデータや各ページに関する画像データは、記憶部３０内にあるフォルダＦ１〜Ｆｎに格納される。

制御部４０は、ＣＰＵなどによって構成され、属性識別部４１、画像特徴取得部４２、配置位置決定部４３、表示方法決定部４４、および表示画像生成部４５を備えている。これらの部材は、例えば、プログラムのモジュールである。

属性識別部４１は、各画像データを解析することにより、画像データが動画または静止画などを判別し、画像データが動画であると識別されたとき動画の画像データから静止画を抽出するようになっている。本発明における属性判別部および静止画抽出部は、属性識別部４１などによって構成される。

画像特徴取得部４２は、各画像データのテクスチャ情報やカラーヒストグラム情報などの画像特徴量を取得するようになっている。属性識別部４１から得られた分類結果および画像特徴取得部４２から得られた画像特徴量は、画像データ毎に対応して記憶部３０に格納される。本発明における特徴量取得部は、画像特徴取得部４２などによって構成される。

配置位置決定部４３は、サムネイル画像を配置する際、記憶部３０に格納されている各画像特徴量に基づいて、表示部２０の表示領域の配置位置を決定するようになっている。なお、表示領域は、表示部２０の画面全ての領域でもよいし、一部分の領域でもよい。本発明における配置位置決定部は、配置位置決定部４３などによって構成される。

表示方法決定部４４は、サムネイル画像を配置する際、表示部２０の表示領域における画像データの表示方法（表示位置、縮小された表示サイズなど）を決定するようになっている。

表示画像生成部４５は、各画像のサムネイルを生成すると共に、表示方法決定部４４によって決定された画像データの表示サイズ、表示位置、および表示領域などに基づいて表示用画像データを作成すると共に画像マップを生成するようになっている。本発明における表示画像生成部は、表示方法決定部４４および表示画像生成部４５などによって構成される。

以上のように構成された本発明の実施の形態に係る画像表示装置の処理について説明する。図２は、本発明の第１の実施の形態に係る処理を示すフローチャートである。

まず、入力部１０や記憶部３０などから画像データが属性識別部４１に入力され（ステップＳ１）、画像データが動画か静止画か否かが、属性識別部４１によって判定される（ステップＳ２）。画像データが動画である場合、属性識別部４１により画像マップの表示に用いる静止画が動画から抽出される（ステップＳ３）。ステップＳ２で画像データが静止画である場合、処理はステップＳ４へ進む。

動画から画像マップの表示に用いる静止画が抽出される場合、開始時刻から予め指定した時刻の静止画が抽出される方法がある。その際、動画の画像データの開始時間及び終了時間などノイズデータを含んでいる可能性が高い時刻からの抽出を避けるなどの工夫が必要である。また、予め指定した時刻は、ユーザから指定された時刻でもよい。

別の方法として、特開２００６−０６０６３６号公報に記載されている方法を用いて、属性識別部４１が動画の画像データ内のノイズを解析し、解析されたノイズ量に基づいて静止画を抽出するようにしてもよい。

画像特徴取得部４２は、抽出した静止画の画像データから特徴量を抽出する（ステップＳ４）。例えば、画像データから視覚的な特徴量の抽出を行う方法として、画像データの概観に大きく寄与する「色」、「構図」、「テクスチャ」のうちの少なくとも１つを含む特徴を画像データから抽出するのが画像マップを作成する方法がある。また、画像特徴取得部４２は、抽出した特徴量をベクトル化し、特徴ベクトルを生成するようにしてもよい。

続いて、配置位置決定部４３は、ステップＳ４で抽出された特徴量に基づいて表示用画像の配置位置を決定する（ステップＳ５）。以下、特徴量に基づいて画像データを２次元又は３次元の可視空間上に配置する方法の一例を示す。

例えば、特徴ベクトルは、「色」、「構図」、「テクスチャ」などの要素から２つ以上の要素（次元）に対応した値によって表現されるものであり、ステップＳ４で抽出された多次元の特徴ベクトルに基づいて、縦横の２次元の画面上に配置するためには、配置位置決定部４３は、自己組織化マップなどの次元圧縮方法を利用して表示部２０の画面上の表示位置を求める。

また、画像データを２次元又は３次元の可視空間上に画像データのクラス分類毎にまとまりを形成して配置する方法の一例について以下に説明する。

まず、ステップＳ４で画像特徴取得部４２は、画像データを解析しクラス分類を行う。クラス分類する技術としては、特開２００６−３９６５８号公報に開示されているものがある。この公報に開示される技術によれば、画像データが画像の大きさに比べて十分小さく予め定められた領域（窓と呼ぶ）で被覆され、各窓から画像の小領域を切り出した部分画像が作成され、切り出された全ての部分画像の間に非類似度に相当するような順序関係が決定される。そして、順序関係のみに基づいて各部分画像が任意の距離空間における点へと写像され、写像された距離空間における点の位置座標ベクトルの直積又テンソル積が特徴データとして画像特徴取得部４２によって抽出される。画像特徴取得部４２は、この特徴データを用いて、例えば表１に示すクラスに対する学習及びクラス識別を行う。また、画像特徴取得部４２は、この他に、ＳＶＭ（Support Vector Machine）などの学習アルゴリズムや統計処理などを利用して既知クラスへの分類を行ってもよい。

続いて表１に、画像データを第２階層まで分類定義した例を示す。第１階層はpeople/nature/art/landscapeの４つのクラスに分類されており、各第１階層のクラスについてさらに第２階層のクラスが定義されている。画像マップ表示ではマップ全体を眺める事でデータ全体の概観を把握できる表示が好ましい。そのためクラスを定義する上では、視覚的な条件に基づいて分類可能であるように定義することが好ましい。

次に、表１に示した分類の第１階層であるpeople、nature、Art、landscapeにそれぞれ１、２、３、４のように数値を割当て第１階層の第２階層であるevent、personをそれぞれ１、２のように数値を割当てれば、画像データの分類結果が数値化されるため、画像特徴取得部４２は、分類結果を数値化した特徴量と画像データから解析された画像特徴量を合成して特徴量ベクトルを生成し、配置位置決定部４３は、ステップＳ４で生成された特徴量ベクトルに基づいて、自己組織化マップなどの次元圧縮方法を利用して表示部２０の画面上に配置するための表示位置を決定する。

このようにして、同じクラスに属する画像データが互いに近傍に配置されるような配置位置が得られる。図６にクラス分類を反映した配置による画像マップのイメージ図を示す。斜線部分は、表示用画像を表している。なお、クラス配置を反映した配置方法はこれに限られるものではなく、クラスおよびクラスの配置位置を予め決めておき、クラスに属する画像データが、該当するクラスの配置位置の近傍に配置されてもよい。

なお、配置を決定する方法は、画像特徴を反映した配置が得られる手法であれば上述の方法に制限されるものではない。

表示方法決定部４４は、配置位置決定部４３によって決定された配置位置および表示領域に基づいて、画像データの表示位置、縮小された表示サイズなどを決定する（ステップＳ６）。例えば、画像マップのように複数の画像データを適当に表示領域に配置して一覧で表示する場合、それらの画像データが表示上重なってしまい、視認性が劣化する場合が想定される。表示方法決定部４４は、そのような場合を考慮して、画像データ数に応じて表示用画像の縦横サイズを算出し、縦横サイズが算出されたときの複数の表示用画像が重なって表示されないように配置位置を調整して実際の表示位置を決定するなどの方法が考えられる。

別の手段として、表示方法決定部４４は、大量の画像データを重ならないように表示領域に表示する場合、１つ１つのデータの縦横サイズが非常に小さく制限されてしまう場合が発生し得る。そこで、一覧表示できる画像データの数に予め上限を設けておき、予めユーザに表示／非表示などの重要度を画像データに付与してもらう。ここで、画像データ数が上限を超える場合、表示方法決定部４４は、この重要度に応じて表示する画像データ、非表示にする画像データを決定するようにしてもよい。

次に、表示画像生成部４５は、画像データの表示方法に基づいてサムネイルを表す表示用画像を生成する（ステップＳ７）。表示画像生成部４５は、全ての画像データを処理したか否かを判定し（ステップＳ８）、全ての画像データを処理しない場合、処理はステップＳ１に戻り、次の入力データについて同様の処理を行い、全ての画像データを処理した場合、表示用画像から生成される画像マップを表示して終了する（ステップＳ９）。このとき、図６に示したようにクラス毎にまとめた配置による画像マップが表示される。

なお、ステップＳ７における表示用画像生成処理では、静止画の画像データ、及び動画の画像データを含む表示用画像が生成されるが、ステップＳ９で表示用画像が表示される際、動画の画像データが再生されてもよい。後述するが、動画の画像データが再生される場合、表示用動画の再生順序などを求める処理は表示時（ステップＳ９）に行われるものとする。

以上説明したように、本発明の第１の実施の形態は、写真（静止画）データも映像（動画）データも一括して画像データとして処理するもので、画像データが動画または静止画であるか判別し、画像データが動画であると識別されたとき該動画の画像データから静止画を抽出し、静止画の画像データから特徴量を取得して得られた特徴量に基づいて表示領域の配置位置を決定し、配置位置および表示領域に基づいて静止画を縮小した表示用画像をそれぞれ生成し、生成したそれぞれの表示用画像を表示領域に一覧表示するため、静止画データおよび特に動画データを含むデータ群を整理、閲覧、または分析する際に好適な一覧表示を行うことができる。

（本発明の第２の実施の形態）
１つの動画の画像データ内に複数の内容が含まれる場合が想定される。例えば、動画の画像データは、１つのイベントを示すセグメント単位に予め分割されている場合がある。なお、音楽ライブなどで複数の演目が連続して録画されたときの動画の画像データが生成されている場合もある。そうした場合を考慮した処理について本発明の第２の実施の形態で説明する。

図３は、本発明の第２の実施の形態に係る処理を示すフローチャートである。このフローチャートは、上述したステップＳ３の周辺に処理を詳細化したものである。なお、本発明の第２の実施の形態に係る処理では、本発明の第１の実施の形態に係るステップと同じステップには、同じ符号を付している。

まず、属性識別部４１に画像データが入力され（ステップＳ１）、属性識別部４１は、画像データが動画像であるか否かを判定し（ステップＳ２）、動画像である場合、動画像の画像データがセグメントに分割されているか否かを判定する（ステップＳ１１）。

セグメントに分割されている場合、属性識別部４１は、セグメント単位に動画を抽出してセグメント単位に静止画を抽出し（ステップＳ１２）、全てのセグメントが抽出されたか否かを判定し（ステップＳ１３）、全てのセグメントが抽出されていない場合、処理がステップＳ１２に戻る。ステップＳ１１でセグメントに分割されていない場合、静止画が動画の画像データから抽出される。

また、動画の画像データを解析することで、イベントごとに静止画を抽出する方法がある。データを「ライブ−１曲目」「ライブ−２曲目」「ライブ−３曲目」などイベント単位、すなわちセグメント単位に分割した上で、それぞれのセグメント単位毎に画像データが抽出されると、結果的にそれらセグメント単位毎の画像データが画像マップ上に配置され表示されることになるため、ユーザは、動画の画像データを表示画面から容易に把握することが可能となる。

なお、映像コンテンツを解析しイベント単位に分割する方法は、特開２００５−１１７３３０号公報の文献に記載されている。この文献に記載されている発明の装置は、映像と音楽や音声などの情報と共に映像コンテンツを解析することで、映像コンテンツの時間上のカット点を取得し、カット点で区切る映像区間を正確に切り出すものである。従って、この装置は、映像と音とを含む映像コンテンツから一部の映像区間を自動的に抽出することができる。

また、１つの動画の画像データに複数の内容が含まれる場合、イベント毎などに複数の静止画の画像データが抽出されるが、各静止画の画像データをまとめて配置したい要望が考えられる。配置位置決定部４３は、１つの動画から抽出されたセグメント単位毎にある静止画を、該静止画同士が近傍に配置されるよう、すなわち、ひとまとまりで配置されるように該静止画の配置位置を決定する。また、この場合、配置位置決定部４３は、それらの静止画の表示用画像のうち代表の表示用画像を選出し、代表の表示用画像の表示位置を決定した上で、その他の表示用画像を動画の画像データの再生時間順に上下または左右などに整列して並べて配置ことで、１つの動画の画像データ内に含まれる複数の画像データを近傍に配置することが可能となる。再生時間順に表示用画像が整列されることで、動画の内容を把握する事が可能となり、画像マップ画面の視認性向上に寄与する。

以上説明したように、本発明の第２の実施の形態は、動画の画像データには種類の異なる複数のイベントが含まれる場合が想定され、例えば演奏会などで複数の演目が連続して撮影される場合など、データ閲覧時には各イベントを代表するような画像データが視認できる事が望ましく、かつそのような表示用画像を互いに近傍となるように１まとまりで配置することで、閲覧時に目的の画像データを素早く検索したり、データ整理を効率化したりする事が可能となる。

（本発明の第３の実施の形態）
本実施形態では、本発明の第１の実施の形態に係るステップＳ９で画像マップを表示する際に、表示用画像の元の画像データが動画である場合に表示用画像が再生される。以下に説明する本実施形態では、各クラスで１度に再生される動画の画像データは１つに限定される形態について主に説明する。なお、ステップＳ９で表示される各表示用画像は、画像マップ上でサムネイル用の縮小画像で表示された状態であり、動画が再生される場合には、元の動画に基づいて表示用画像の表示位置および表示サイズで再生される。

また、本実施形態では、その１例としてクラス毎にまとまりを形成して画像データを配置する場合に、各クラス内の動画像の画像データについて再生順序を決定する方法について図を用いて説明する。図４は、本発明の第３の実施の形態に係る処理を示すフローチャートである。

まず、１つのクラスに属する画像データが表示画像生成部４５に入力される（ステップＳ２１）。表示画像生成部４５は、ステップＳ２１で入力されるクラスに属する画像データに対して動画の画像データが存在するか否かを判定する（ステップＳ２２）。動画の画像データが存在しない場合、処理がステップＳ２１に戻る。

動画の画像データが存在する場合、表示画像生成部４５は、動画の画像データの再生順序を決定する（ステップＳ２３）。例えば、作成日時の新しい順に再生順序が決定される。また、ステップＳ２３において、表示される画像データが複数のイベントから構成される場合、収録されている順に再生されるように再生順序が決定されてもよい。

全てのクラスについて処理が終了したかが判定され（ステップＳ２４）、全てのクラスについて処理が終了していれば処理が終了すると共に、再生順序に従って表示用画像が再生される。

以上説明したように、本発明の第３の実施の形態は、画像マップを表示する際に、動画の画像データが再生される場合、複数の動画の再生が同時に開始されると、ユーザがどの画像データに注目して良いかわからなくなる事が想定されるが、各クラスで１度に再生される動画の画像データは１つに限定されるため、どの画像データに注目して良いかわからなくなる問題を回避する事ができる。

画像マップにある動画の属性をもつ表示用の画像を再生することは、動画の内容を閲覧できる利点があるが、複数の動画を同時に見ることはユーザにとって困難であり、動画を１つずつ確認したい場合など、複数の動画が同時に再生されると視覚の邪魔になる場合が想定される。そこで、表示部２０の画面上に１つの動画のみが再生されるように各動画の画像データの再生順序が決められてもよい。この場合、再生順序は、画面の左上にある画像から右下にある画像までとする順番でもよい。また、クラス毎に順番付け、各クラスに属する動画が１つずつ再生されてもよい。このように、画像マップにある動画を同時に再生しないことで、ユーザが１つの動画のサムネイルを集中して見る事が可能となる。

表示画像生成部４５は、図７に示すように、静止画の画像データが縮小された表示用画像の一覧表示を部分的に拡大（ズーム）して表示すると共に、拡大した一覧表示を表示する際に、該一覧表示内の表示用画像のうち動画から属性識別部４１によって抽出されていた表示用画像７がある場合、元の動画に基づいて表示用画像７を再生する。なお、表示用画像７は、動画から属性識別部４１によって抽出されていたものである。図７の上段の表示領域６の一部を拡大（ズーム１）したものが中段の表示領域５であり、さらに、中段の表示領域５の一部を拡大（ズーム２）したものが下段の表示領域４である。

また、表示画像生成部４５は、表示用画像７を生成して表示領域に一覧表示することに替えて、画像マップを１つの画像として表示領域に全体に表示してもよい。例えば、表示画像生成部４５は、配置位置決定部４３によって決定された複数の画像データの配置位置および表示領域に基づいて、静止画それぞれを縮小したものを表示領域全体に表示させるための全体表示用画像を生成すると共に表示領域に表示する。なお、全体表示用画像に、動画から抽出された静止画を縮小された画像があった場合には、元の動画に基づいてその画像が再生される。

（本発明の第４の実施の形態）
上述した本発明の第３の実施の形態で、表示部２０の画面上に１つの動画のみが再生される場合、再生対象となった動画の画像データに再生順序が決められた後、本実施形態では、再生する動画の画像データサイズがある閾値以上のものは再生しないよう制御した上で、同時に１つ以上の動画の画像データが再生されないように順序付けを行って表示する処理について図５のフローチャートを用いて説明する。

まず、再生順序を表す再生順序変数ｎの初期値として０にする。再生対象となった動画の画像データが表示画像生成部４５に入力される（ステップＳ３１）。表示画像生成部４５は、入力された画像データのサイズが予め定めた閾値αよりも小さいか否かを判定するステップＳ３２）。

閾値αよりも小さくない場合、処理がステップＳ３５に進み、閾値αよりも小さい場合、表示画像生成部４５は、再生順序変数ｎを１つインクリメントし（ステップＳ３３）、判定した画像データの再生順序を、インクリメンした再生順序変数ｎとする（ステップＳ３４）。

全ての動画の画像データについて処理が終了したかが判定され（ステップＳ３５）、全ての動画の画像データについて処理が終了していれば処理が終了する。

以上説明したように、本発明の第４の実施の形態は、動画のサイズが大きいとＣＰＵの負荷は増大し、表示動作が遅くなる要因となるため、動画のサイズが大きいものに対しては再生しない制限を設けることで、ユーザに動画の表示動作の遅れによるストレスを与えない画像マップ表示が可能となる。

以上のように、本発明は、静止画データおよび特に動画データを含むデータ群を整理・閲覧・分析する際に好適な一覧表示を行うことができるという効果を有し、サーバなどのコンピュータ、複写機、プリンタ、多機能プリンタ（ＭＦＰ：Multi Function Printer）などに有用である。

本発明の実施の形態に係る画像表示装置のブロック図 本発明の第１の実施の形態に係る処理を示すフローチャート 本発明の第２の実施の形態に係る処理を示すフローチャート 本発明の第３の実施の形態に係る処理を示すフローチャート 本発明の第４の実施の形態に係る処理を示すフローチャート 画像マップのイメージ図 拡大率に応じて画像マップを表示するときのイメージ図

符号の説明

４、５、６ 表示領域
７ 表示用画像
９ 画像生成装置
１０ 入力部
２０ 表示部
３０ 記憶部
４０ 制御部
４１ 属性識別部（属性判別部、静止画抽出部）
４２ 画像特徴取得部（特徴量取得部）
４３ 配置位置決定部
４４ 表示方法決定部（表示画像生成部）
４５ 表示画像生成部
１００ 画像表示装置

Claims (11)

1. 複数の画像を縮小して表示領域に一覧表示する画像表示装置において、
   前記画像を表す画像データが動画または静止画であるか判別する属性判別部と、
   前記属性判別部によって前記画像データが動画であると識別されたとき該動画の画像データから静止画を抽出する静止画抽出部と、
   前記静止画抽出部によって抽出された静止画の画像データおよび前記属性判別部によって判別された静止画の画像データから視覚的な特徴量を取得する特徴量取得部と、
   前記特徴量取得部によって取得された特徴量に基づいて前記表示領域の配置位置を決定する配置位置決定部と、
   前記配置位置決定部によって決定された配置位置および前記表示領域に基づいて、前記静止画を縮小した表示用画像をそれぞれ生成し、生成したそれぞれの表示用画像を前記表示領域に一覧表示する表示画像生成部と、を備え、
   前記動画の画像データには、複数の内容が含まれており、
   前記静止画抽出部が、前記動画の画像データに複数の内容が含まれている場合、前記動画の画像データをイベント単位またはセグメント単位に分割し、分割した画像データから静止画を抽出し、
   前記配置位置決定部が、前記分割した画像データから抽出された静止画の場合、該静止画同士が近傍に配置されるように該静止画の配置位置を決定することを特徴とする画像表示装置。
2. 前記配置決定部が、該静止画同士が近傍に再生時間順に整列して配置されるように該静止画の配置位置を決定することを特徴とする請求項１に記載の画像表示装置。
3. 前記表示画像生成部が、前記表示領域に一覧表示する際に、前記表示用画像の静止画が動画から前記静止画抽出部によって抽出されていた場合、該動画を前記表示用画像として再生することを特徴とする請求項１または請求項２に記載の画像表示装置。
4. 前記表示画像生成部が、前記静止画が縮小された表示用画像の一覧表示を部分的に拡大して表示すると共に、拡大した一覧表示を表示する際に、該一覧表示内に前記表示用画像の静止画が動画から前記静止画抽出部によって抽出されていた場合、該動画を前記表示用画像として再生することを特徴とする請求項３に記載の画像表示装置。
5. 前記動画の画像データには、複数の内容が含まれており、
   前記静止画抽出部が、前記動画の画像データに複数の内容が含まれている場合、前記動画の画像データをイベント単位またはセグメント単位に分割し、分割した画像データから静止画を抽出し、
   前記表示画像生成部が、前記表示領域に一覧表示する際に、複数の前記表示用画像の静止画が１つの動画から前記静止画抽出部によって抽出されていた場合、該動画に基づいて前記表示用画像を、１つの動画の画像データに収録されていた順序で再生することを特徴とする請求項３または請求項４に記載の画像表示装置。
6. 前記表示画像生成部が、前記表示領域内にある複数の前記表示用画像を１つずつ再生することを特徴とする請求項３から請求項５までの何れかに記載の画像表示装置。
7. 前記画像データを分類するためのクラスが複数設定されており、
   前記配置位置決定部が、前記特徴量取得部によって取得された特徴量に基づいて、該当する前記クラスに対応した位置の近傍に配置位置を決定し、
   前記表示画像生成部が、前記クラスに分類されている前記表示用画像を各前記クラスで１つずつ再生することを特徴とする請求項３から請求項５までの何れかに記載の画像表示装置。
8. 前記表示画像生成部が、前記動画の画像データのサイズが所定の大きさ以上である場合、前記動画の画像データに対応する前記表示用画像を再生しないことを特徴とする請求項６または請求項７に記載の画像表示装置。
9. 前記表示画像生成部が、前記表示用画像を生成して前記表示領域に一覧表示することに替えて、前記配置位置決定部によって決定された配置位置および前記表示領域に基づいて、前記静止画それぞれを縮小したものを前記表示領域全体に表示させるための全体表示用画像を生成すると共に前記表示領域に表示することを特徴とする請求項１または請求項２に記載の画像表示装置。
10. 複数の画像を縮小して表示領域に一覧表示する画像表示装置が行う画像表示方法において、
    前記画像表示装置が前記画像データが動画または静止画であるか判別する属性判別ステップと、
    前記属性判別ステップで前記画像データが動画であると識別されたとき該動画の画像データから静止画を抽出する静止画抽出ステップと、
    前記静止画抽出ステップで抽出された静止画の画像データおよび前記属性判別部によって判別された静止画の画像データから視覚的な特徴量を取得する特徴量取得ステップと、
    前記特徴量取得ステップで取得された特徴量に基づいて前記表示領域の配置位置を決定する配置位置決定ステップと、
    前記配置位置決定ステップで決定された配置位置および前記表示領域に基づいて、前記静止画を縮小した表示用画像をそれぞれ生成し、生成したそれぞれの表示用画像を前記表示領域に一覧表示する表示画像生成ステップと、を備え、
    前記動画の画像データには、複数の内容が含まれており、
    前記静止画抽出ステップでは、前記動画の画像データに複数の内容が含まれている場合、前記動画の画像データをイベント単位またはセグメント単位に分割し、分割した画像データから静止画を抽出し、
    前記配置位置決定ステップでは、前記分割した画像データから抽出された静止画の場合、該静止画同士が近傍に配置されるように該静止画の配置位置を決定することを特徴とする画像表示方法。
11. 複数の画像を縮小して表示領域に一覧表示する画像表示装置と、前記画像を画像データとして生成する画像生成装置とを有し、
    前記画像表示装置が、
    前記画像生成装置が生成した前記画像データが動画または静止画であるか判別する属性判別部と、
    前記属性判別部によって前記画像データが動画であると識別されたとき該動画の画像データから静止画を抽出する静止画抽出部と、
    前記静止画抽出部によって抽出された静止画の画像データおよび前記属性判別部によって判別された静止画の画像データから視覚的な特徴量を取得する特徴量取得部と、
    前記特徴量取得部によって取得された特徴量に基づいて前記表示領域の配置位置を決定する配置位置決定部と、
    前記配置位置決定部によって決定された配置位置および前記表示領域に基づいて、前記静止画を縮小した表示用画像をそれぞれ生成し、生成したそれぞれの表示用画像を前記表示領域に一覧表示する表示画像生成部と、を備え、
    前記動画の画像データには、複数の内容が含まれており、
    前記静止画抽出部が、前記動画の画像データに複数の内容が含まれている場合、前記動画の画像データをイベント単位またはセグメント単位に分割し、分割した画像データから静止画を抽出し、
    前記配置位置決定部が、前記分割した画像データから抽出された静止画の場合、該静止画同士が近傍に配置されるように該静止画の配置位置を決定する画像表示システム。

Images