JP5843544B2

JP5843544B2 - 情報処理装置及びその制御方法

Info

Publication number: JP5843544B2
Application number: JP2011207347A
Authority: JP
Inventors: 基起仲間
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-09-22
Filing date: 2011-09-22
Publication date: 2016-01-13
Anticipated expiration: 2031-09-22
Also published as: JP2013069127A

Description

本発明は、表示オブジェクトに対する操作性を向上する技術に関する。

電子化されたオブジェクトをテーブル型ディスプレイや壁面型ディスプレイに表示し、表示されたオブジェクトを操作可能にすることで、オブジェクトの整理を支援するシステムが注目されている。このようなシステムのディスプレイには、タッチパネルやデジタイザ等のデバイスが組み込まれており、ディスプレイに表示されたオブジェクトをタッチできる。一般的にタッチパネルを利用した操作は、機器に不慣れなユーザにも馴染みやすいため、モバイル端末やコピー機等多くの機器で利用される。このようなシステムによって、ディスプレイに表示されたオブジェクトに対して直感的な操作（移動等）を行い、視覚的に整理・分類することができる。
特許文献１では、画面上に表示された写真オブジェクトを、周囲４方向の何れかの方向に移動させる操作を行うと、その操作方向に対応するグループに写真が振り分けられる。ユーザは、振り分けられたグループ毎に写真を呼び出し、印刷等の作業を行う事が出来る。ここでは、ユーザの意思によって複数のオブジェクトを４方向に移動させた結果、その結果を示す４種類にグループ分けしているだけである。すなわち、ユーザの移動の作業は、分類するための作業である。

特開２０１０−１３４８５９号公報

上述したシステムの使い方は様々であり、特許文献１のように表示中のオブジェクトを分類することを主目的として各オブジェクトを移動させているとは限らない。しかしながら、例えユーザが分類を主目的にして作業していないとしても、会議などでオブジェクトを配置、移動した場合には、それら位置関係には何等かの意味がある可能性が高い。
本発明は上記課題を考慮してなされたものであり、何等かの目的で複数のオブジェクトを配置、移動した場合に、それらオブジェクトに対して、オブジェクト同士の関係を理解しやすくするためのメタデータを付与する一手法を提供することを目的とする。

上記の課題を解決するために、本発明は、表示部に複数のオブジェクトを表示させる情報処理装置であって、前記表示部に表示された複数のオブジェクトのレイアウトを取得する取得手段と、前記取得手段により取得されたレイアウトにおける、前記複数のオブジェクト同士の表示上の視覚的な関係を特定する特定手段と、前記特定された視覚的な関係に基づくデータを、前記複数のオブジェクトそれぞれに対してメタデータとして付与する付与手段と、前記表示される複数のオブジェクトのうち、少なくとも１つのオブジェクトを選択する操作を実行する操作手段と、前記操作手段により選択された少なくとも１つのオブジェクトにおいて、キーオブジェクトを分類する分類手段とを備え、前記取得手段は、前記操作手段により選択されたオブジェクトのうち少なくとも１つを更に移動させる操作がなされた場合には、前記移動に伴って変更されたレイアウトを取得し、前記特定手段は、前記キーオブジェクトと表示される他のオブジェクトそれぞれとの前記表示上の視覚的な関係を特定し、前記付与手段は、前記複数のオブジェクトそれぞれに前記特定手段により特定された結果に基づくメタデータを付与するものであって、前記複数のオブジェクト同士の表示上の視覚的な関係とは、オブジェクトの間の距離、またはオブジェクトが表示されるサイズ、またはオブジェクトが配置される位置のいずれか１つまたはその組み合わせに基づく関係であることを特徴とする。

本発明によれば、何等かの目的で複数のオブジェクトを配置、移動した場合に、それらオブジェクトに対して、オブジェクト同士の関係を理解しやすくするためのメタデータを付与することができる。

情報処理装置のシステム概要図情報処理装置のハードウェア及び機能構成図メタデータ付与処理の説明図情報処理装置の処理を示す処理フロー図付与されるメタデータの一例であるテーブルを示す図情報処理装置の処理を示す処理フロー図メタデータ付与処理の説明図情報処理装置の処理を示す処理フロー図付与されるメタデータの一例であるテーブルを示す図

以下、本発明の実施形態について図面を参照して詳細に説明する。尚、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すものであり、これに限るものではない。

［第１の実施形態］
第１の実施形態では、表示部に表示された複数のオブジェクトを操作して移動させた配置において、オブジェクト間の距離が小さい程、そのオブジェクト同士の関連度が高いことを示す値（度数）をメタデータとして各オブジェクトに付与する例を説明する。

図１は、本実施形態を適応可能なシステムの例を示す概要図である。図１（Ａ）は、テーブル型ディスプレイ１０１、壁面型ディスプレイ１０２を利用して、会議におけるアイデア出しや議論をインタラクティブに行うための会議システムである。参加者Ａ、Ｂは表示部であるディスプレイ１０１、１０２に表示されたオブジェクト１０３、１０４を、指や手を使ってタッチ操作、もしくはジェスチャ操作することで、オブジェクトの選択や移動等の各種操作を実行できる。図１（Ａ）では、下方と側方の両方向に投影可能なプロジェクタ１０５を利用して、ディスプレイ１０１、壁面型ディスプレイ１０２の両方にオブジェクトを投影するシステムを示す。また、オブジェクトに対するタッチまたはジェスチャによる操作を特定するために、タッチセンサおよび距離画像センサを各ディスプレイ周辺で利用する。タッチセンサはディスプレイ１０１に組み込まれており、参加者Ａ、Ｂの手が届く位置に表示されているオブジェクト１０３をタッチ操作する際のタッチ検出に利用する。また距離画像センサは壁面型ディスプレイ１０２に設置されており、参加者Ａ、Ｂの手の届かない位置に表示されているオブジェクト１０４をジェスチャ操作する際のジェスチャ検出に利用する。これらの各デバイスは、情報処理装置１００とネットワークもしくはＵＳＢによって接続されており、協調して機能する。ただし、図１（Ａ）では、２つの表示部を用い、そのそれぞれに距離画像センサ、タッチセンサを搭載する例を示したが、表示部の数やセンサの方式はこれに限定されない。例えば、表示部は１つでも良い。また、プロジェクタ１０５のような投影型表示部ではなく、液晶ディスプレイのような大画面ディスプレイをテーブルもしくは壁面に設置して利用することもできる。また、図１（Ａ）では、情報処理装置１００は天井に設置されるが、設置位置は別の場所であっても良い。

図１（Ｂ）は、情報処理装置１００がタブレット型端末である例を示す。この場合、使用者は、タッチセンサを備えた表示部であるタッチスクリーンディスプレイ１０６に表示されたオブジェクト１０７を、指等を使ってタッチ操作することでオブジェクトの選択や移動等の各種操作を実行できる。

このように、本発明は、タッチ操作やジェスチャ操作を用いて、表示部に表示されたオブジェクトを操作することが可能な情報処理装置に適応されるものである。以下、本実施形態は、図１（Ａ）のシステムにおいて、主にテーブル型ディスプレイ１０１を用いて操作する例について説明する。

図２（Ａ）は本実施形態における、情報処理装置１００のハードウェアの構成図である。情報処理装置１００は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２００、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２０１、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２０２、バス２０３から構成される。またさらに、ディスプレイＩ／Ｆ２０４、ストレージＩ／Ｆ２０５、ストレージ２０６、入力Ｉ／Ｆ２０７から構成される。ただし、さらにネットワークＩ／ＦやメモリーカードＩ／Ｆ等のインタフェースを含み、それを利用して情報処理装置を実現することもできる。以下、情報処理装置１００のハードウェア構成について、その詳細を説明する。

ＣＰＵ２００は、ＲＡＭ２０１、ＲＯＭ２０２、及びバス２０３を利用して情報処理装置１００全体の制御を行う。オペレーティングシステム（ＯＳ）をはじめ、本発明に係る各処理プログラム、デバイスドライバ等はＲＯＭ２０２に記憶されており、ＲＡＭ２０１に一時記憶され、ＣＰＵ２００によって適宜実行される。ここでＯＳおよび各処理プログラム等はストレージ２０６に記憶されていてもよく、その場合は電源投入時にＲＡＭ２０１に適宜読み込まれ、ＣＰＵ２００によって起動される。

ディスプレイＩ／Ｆ２０４は、情報処理装置１００内部で作成される表示画像をディスプレイ１０１（投影型表示部を利用する場合にはプロジェクタ１０５）が処理可能な信号に変換する。ストレージＩ／Ｆ２０５は、情報処理装置１００内部で利用可能なデータ形式とストレージ２０６に記憶するためのデータ形式を互いに変換する。入力Ｉ／Ｆ２０７は、距離画像センサ１０５からの距離情報ならびに、タッチセンサからの位置情報を入力信号として受信し、情報処理装置１００が処理可能な情報に変換する。

ストレージ２０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置であって、ストレージ２０６には情報処理装置１００で表示するためのオブジェクトのデータが膨大に格納されている。ストレージ２０６自体は、情報処理装置１００内部に搭載されていても良いし、イーサネット（登録商標）やＵＳＢ、メモリーカードＩ／Ｆ等の各種インタフェースを介して接続されていてもよい。またその際、ストレージ２０６は複数台接続されることもできる。

以下、説明済みの図を用いて説明された要素については同一の符号を付し、その説明を省略する。

図２（Ｂ）は本実施形態における情報処理装置１００の機能ブロック図である。情報処理装置１００の機能は、オブジェクト読み出し部３００、表示制御部３０１、操作部３０２、レイアウト取得部３０３、検出部３０４、特定部３０５、付与部３０６、分類部３０７から構成される。これらの各機能ブロックはハードウェア、ソフトウェアの組み合わせによって様々な形態で実現できる。本実施形態では、各機能ブロックは上述したＣＰＵ２００の機能部に相当する。

ストレージ２０６に記憶されているデータは、音声、手書き文字、テキスト、画像、動画等、様々な形式で電子化されたデータ（以下、オブジェクト）である。初期状態において、これらオブジェクトには、作成日時の情報は付与されているが、オブジェクト同士の関連を表すような情報は付与されていないものとする。また、ストレージ２０６には、システムの利用中に考え出されたオブジェクトだけでなく、過去に作成済みのオブジェクトが記憶されていても良い。本実施形態においては、オブジェクトとして特に写真等の静止画像を扱う例を示す。

オブジェクト読み出し部３００は表示するオブジェクトをストレージ２０６から読み出し、ＲＡＭ２０１に保持する。本実施形態では、簡単に説明するためにローカルに接続されたストレージ２０６からオブジェクトを読み出す例を示しているが、ネットワーク上に存在するストレージやインターネット上から表示するオブジェクトをネットワーク経由で読み出すことも可能である。読み出したオブジェクトはＲＡＭ２０１に保持される。この時、読み出したデータがＲＡＭ２０１に対して大きすぎる場合は、読み込むデータを小分けにして順次読み込んで処理しても構わない。または、即座に読み出し可能なスワップデータとしてストレージ２０６に退避させておいてもよい。

表示制御部３０１は、ＲＡＭ２０１に保持されているオブジェクトから表示画像を生成しディスプレイ１０１に出力する。表示制御部３０１で作成される表示画像の一例を図３（Ａ）の４００に示す。図３（Ａ）では、４０１ａ〜４０１ｅが、プロジェクタ１０５に投影されることによってディスプレイ１０１、１０２に表示されたオブジェクトを示している。このような表示画像上での、各オブジェクトの配置される位置やサイズ等を示す情報をレイアウト情報といい、オブジェクトを移動させる操作によって各オブジェクトが配置される位置やサイズを変えることを「レイアウトを変更する」という。

操作部３０２は、選択したオブジェクトに対して操作を行う。本実施形態で操作部３０２がオブジェクトに対して行う操作は、オブジェクトの選択、および移動操作である。また、本実施形態のシステムにおいて、情報処理装置１００に対する操作は、手や指等の物体を使い、タッチ操作もしくはジェスチャ操作することによって行う。ここでは、タッチセンサを搭載したテーブル型ディスプレイ１０１に対して、ユーザが手を使ったタッチ操作を行う例に基づいて説明する。まず、操作部３０２は、検出部３０４から、ユーザがタッチ操作で指示する位置情報を取得する。そして表示制御部３０１からオブジェクト４０１の表示位置情報を取得し、タッチされた位置とオブジェクトが表示されている位置が重なっていれば、その位置に表示されたオブジェクトを選択する。さらに、操作部３０２は、検出部３０４から取得したユーザのタッチ位置情報から、移動方向および移動距離を判断し、その位置までオブジェクトを移動させる操作を実行する。この際、表示制御部３０１は、操作部３０２から移動に関する情報を得て、移動操作に伴って表示すべき画像を生成し、ディスプレイ１０１に出力する。ここで検出部３０４は、タッチセンサがディスプレイ１０１上のタッチを検知し出力する信号を基に、ユーザによるタッチ操作を検出している。尚、壁面型ディスプレイ１０２に表示されるオブジェクトの場合は、距離画像センサが出力する信号に基づいて、検出部３０４がジェスチャ操作によって指示される位置情報を検出する。操作部３０２はその位置情報を取得して選択および移動の操作を実行する。

レイアウト取得部３０３は、表示制御部３０１から初期画像のレイアウト情報を取得し、さらに操作部３０２によって少なくとも１つのオブジェクトが移動された場合には、それに伴って変更されたレイアウト情報を取得する。例えば、図３（Ｃ）では、図３（Ａ）のの状態から、オブジェクト４０１ｃとオブジェクト４０１ｄが選択され、オブジェクト４０１ｄが移動された事に伴い変更されたレイアウトを示している。

特定部３０５は、レイアウト取得部３０３から現在表示部に表示されているレイアウトの情報を得て、複数のオブジェクトの表示上の視覚的な関係を特定する。ここで、表示上の視覚的な関係とは、例えば、オブジェクトの間の距離の大小関係、表示されるサイズの大小関係、あるいは互いの上下左右どの方向に表示されるかという位置関係等である。付与部３０６は、特定部３０５が取得した、オブジェクト同士の表示上の視覚的な関係の情報に基づき、各オブジェクトそれぞれに対してメタデータを付与する。ここで付与するメタデータは、付与する対象となるオブジェクトのある指標における程度（レベル）を示す値（度数）である。例えば、オブジェクトの間の距離が小さい程、オブジェクト同士の関連度が高いことを示す度数を、メタデータとして該当する両オブジェクトに付与する。オブジェクトに付与されたメタデータは、メタデータテーブルに格納され、ストレージに記憶される。また、本実施形態では、付与部３０６によって付与されたメタデータが示す情報が、オブジェクトと共に表示されるように、表示制御部３０１によって表示部（ディスプレイ１０１）上に出力される。例えば図３（Ｃ）おける円弧４０３ａは、オブジェクト４０１ｃとオブジェクト４０１ｄの距離を小さくする操作が行われたことに応じて、関連度を示すメタデータが両オブジェクトに付与されたことを示すために表示されている。

分類部３０７は、操作部３０２が選択したオブジェクトを、キーオブジェクトとサブオブジェクトに分類する。キーオブジェクト、サブオブジェクトという分類は、特定部３０５が注目すべきオブジェクトを限定したり、付与部３０６が付与されたメタデータが示す情報をディスプレイ１０１上に表示させたりする際に利用する。本実施形態では、移動していないオブジェクトをキーオブジェクト、移動しているオブジェクトをサブオブジェクトとしてそれぞれ分類する。例えば、図３（Ｃ）の例では、移動されたオブジェクト４０１ｄがサブオブジェクトであり、キーオブジェクト４０１ｃに対するサブオブジェクト４０１ｄの関連度を示すように、キーオブジェクト４０１ｃを中心とした円弧４０３ａが表示されているものである。この円弧４０３ａを表示させる処理については後述する。

本実施形態では、表示部に表示された複数のオブジェクトのレイアウトを取得し、オブジェクトとオブジェクトの間の距離が小さい程、そのオブジェクト同士の関連度が高いことを示す値（度数）をメタデータとして各オブジェクトに付与する。図３は、本実施形態におけるメタデータ付与処理の説明図である。また図４は本実施形態における情報処理装置１００のデータ表示処理を示す処理フロー図である。図３ならびに図４を用いて、本実施形態のデータ表示処理とメタデータ付与処理の詳細を説明する。

まず、本実施形態で表示されているオブジェクトは人物の写真であるとする。以下、
図３、図４で示すメタデータ付与処理によって、写真のオブジェクトに写っているＡさん、Ｂさん、Ｃさん、Ｄさん、Ｅさんの親密度をメタデータとして付与する例を示す。写真に対して、被写体である人物の親密度を示すメタデータを付与すると、情報処理装置１００がそのメタデータを利用することができる。例えば、親密度をオブジェクト同士の間の距離の大小関係に対応付けメタデータ付与時の表示画像を後から再現することも可能である。さらに、付与されたメタデータを基に、特定の人物とある程度以上親密な仲にある人物が写った写真だけ抽出して、アルバムを作成する等の利用方法も可能になる。

以降、本実施形態では図１（Ａ）の情報処理装置１００のシステムにおいて、テーブル型ディスプレイ１０１に対してユーザが指でタッチ操作を行うものとして説明する。

本実施形態では、情報処理装置１００の電源が投入されたのに従って、データ表示処理が開始される。情報処理装置１００は、データ表示処理を開始すると、ステップＳ１０を実行する。ステップＳ１０では、オブジェクト読み出し部３００が、ストレージ２０６から表示するオブジェクトを読み出し、ＲＡＭ２０１に保持する。次に表示制御部３０１は、ステップＳ１１において、ＲＡＭ２０１に保持されたオブジェクトをランダムに並べて表示画像を作成し、ステップＳ１２において、作成した画面を初期画像としてディスプレイ１０１に出力する。この時、ディスプレイ１０１に表示される初期画像の一例を図３（Ａ）に示す。ここで表示される写真のオブジェクトには、Ａさん、Ｂさん、Ｃさん、Ｄさん、Ｅさんという５人の人物がそれぞれ１人ずつ写っているものとする。図３（Ａ）では、計５つのオブジェクトが等しいサイズでランダムに配置されたレイアウトで表示されている。ただし、オブジェクトの名前順に画面左上から整列する等して初期画像を作成しても構わない。

ステップＳ１３では、情報処理装置１００は、表示されている複数のオブジェクトのうち、２つ以上のオブジェクトを選択する操作がなされたかを判断する。すなわち、検出部３０４がディスプレイ上の２以上の箇所でタッチ操作を検出し、その位置がオブジェクトの表示されている位置であるかを、操作部３０２が判断する。図３（Ａ）の初期画像が表示されている状態で、ユーザが選択したいオブジェクトをタッチすると、ディスプレイ１０１に埋め込まれたタッチセンサがそのタッチを検知し、検出部３０４によって位置情報に変換され、操作部３０２へ出力される。操作部３０２は、検出部３０４から出力された位置情報と、表示制御部３０１から取得した初期画像のレイアウト情報とを利用し、タッチされた位置にオブジェクトが表示されていれば、オブジェクトを選択する操作を実行する。タッチ操作に従って、２つ以上のオブジェクトが選択される場合は（Ｓ１３でＹＥＳ）、ステップＳ１４に移行する。本実施形態では、図３（Ｂ）のように、オブジェクト４０１ｃとオブジェクト４０１ｄの２つのオブジェクトがユーザのタッチ操作に従って選択されるとする。タッチ操作によって２つ以上のオブジェクトが選択されない場合は（Ｓ１３でＮＯ）、ステップＳ１７の処理ステップに進む。

ステップＳ１４では、選択したオブジェクトを移動させる操作が検出されたかを、操作部３０２が判断する。すなわち、操作部３０２は、検出部３０４から出力された位置情報により、表示されたオブジェクトを選択するタッチに続いて、そのタッチした位置の移動が検出されたかどうかを確認する。ユーザによってオブジェクトの表示された位置をタッチする指をディスプレイ１０１上で動かしたことを、タッチセンサが検知すると、検出部３０４は、移動していくタッチ位置を位置情報として操作部３０２に出力する。ステップＳ１４において操作部３０２は、ステップＳ１３で検知されていたタッチ位置のうち、少なくとも１つが移動したことを示す情報を検知部３０４から取得すれば、オブジェクトを移動させる操作が検出されたと判断する。図３（Ｂ）の例は、上述したように２つのオブジェクトを選択した状態の表示画像を示している。選択されたオブジェクトは、Ｃさんが写っているオブジェクト４０１ｃとＤさんが写っているオブジェクト４０１ｄである。選択されたオブジェクトは、選択されたことをユーザが特定できるよう強調表示される。強調表示は、図４（Ｂ）ではわかり易くするため色を変化させたが、選択されたオブジェクトのみオブジェクトを囲む枠を表示させる、チェックマークを付ける等の方法を用いても構わない。選択したオブジェクトの移動が検出されなかった場合（ステップＳ１４でＮＯ）は、ステップＳ１７の処理に移行する。選択したオブジェクトの移動が検出された場合（ステップＳ１４でＹＥＳ）は、ステップＳ１５のメタデータ付与処理が開始される。

図４（Ｂ）は、第１の実施形態のメタデータ付与処理（ステップＳ１５）の処理を示す処理フロー図である。メタデータ付与処理が開始されると、ステップＳ２０で、選択したオブジェクトのうち、移動されるのは一部のみか（２つのオブジェクトのうちの片方のみか）を判断する。選択したオブジェクトのうち、移動しないオブジェクトがある場合、すなわち片方が移動され、片方が移動されない場合（ステップＳ２０でＹＥＳ）、続くステップＳ２１において、分類部３０７によるオブジェクトの分類処理が行われる。選択したオブジェクトの全てが移動される場合、すなわち両方のオブジェクトが移動される場合（ステップＳ２０でＹＥＳ）は、ステップＳ２４の処理に移行する。本実施形態の例では、図３（Ｃ）に示すように、選択した２つのオブジェクトのうち、オブジェクト４０１ｄのみが移動操作されるので、ステップＳ２１に進む。

ステップＳ２１では、分類部３０７が、操作部３０２が選択した２つのオブジェクトをキーオブジェクトとサブオブジェクトに分類する。本実施形態では、選択したオブジェクトのうち、タッチ操作によって移動されないオブジェクトをキーオブジェクト、移動されるオブジェクトをサブオブジェクトとしてそれぞれ分類する。従って、図３の例では、移動されなかったオブジェクト４０１ｃがキーオブジェクト、移動されたオブジェクト４０１ｄがサブオブジェクトとして分類される。キーオブジェクト４０１ｃにはＣさんが写っており、サブオブジェクト４０１ｄにはＤさんが写っている。さらに、キーオブジェクトとサブオブジェクトをユーザが特定できるように、キーオブジェクトを強調表示してもよい。図３（Ｃ）では、キーオブジェクトの背景が網掛けとなり、オブジェクト４０１ｄとの相違を表現している。分類部３０７での分類処理が完了すると、ステップＳ２２において、付与部３０６がストレージ２０６にオブジェクトに付属して記憶されたメタデータテーブルが参照し、ＲＡＭ２０１に保持する。オブジェクトがメタデータテーブルを有していないときは、空のテーブルを生成して参照し、ＲＡＭ２０１に保持する。メタデータテーブルは、表示オブジェクトに付与するメタデータを保持するテーブルで、図５に示すような構造をしており、初期状態ではメタデータは付与されていない（図５Ａ）。本実施形態で付与するメタデータは、オブジェクトに写っているＡさん、Ｂさん、Ｃさん、Ｄさん、Ｅさんがそれぞれどの程度親しいのかという親密度を示す度数であり、親密度が大きい程対象となる２人は親密であるとする。ただし、ステップＳ１０において、オブジェクト読み出し部３００によってオブジェクトと共に読み出され、ＲＡＭ２０１に保持されたメタデータテーブルを、ステップＳ２２において付与部３０６が参照しても構わない。

次にステップＳ２３において、操作部３０２は移動されたオブジェクト、すなわちサブオブジェクトの移動位置の情報を検出部３０４から取得し、これをＲＡＭ２０１に保持する。ステップＳ２４において、表示制御部３０１は、ＲＡＭ２０１に保持されているメタデータの情報とサブオブジェクトの位置情報を用いて、移動操作に伴って変化した表示画像をディスプレイ１０１に出力して表示画像を更新する。図３（Ｃ）では、オブジェクト４０１ｄの移動させる手の操作に追従して、オブジェクト４０１ｄが表示される位置が変化していく様子を表示している。ステップＳ２５において、操作部３０２はサブオブジェクトの移動が完了するかを判断する。すなわち、操作部３０２が検出部３０４から取得するタッチ位置の移動が継続しているかを確認し、移動が継続している場合（ステップＳ２５でＮＯ）は、再びステップＳ２３でサブオブジェクトの移動位置を取得し、ステップＳ２４で表示画像を更新する。ユーザがサブオブジェクトを選択し移動する操作のためにディスプレイ１０１に触れていた指を離した場合、すなわち検知部３０４がタッチの解除を検知した場合には、サブオブジェクトの移動を完了し（ステップＳ２５でＹＥＳ）、ステップＳ２６に進む。

ステップＳ２６では、まずレイアウト取得部３０３が、現在表示されている表示画像におけるオブジェクトのレイアウトを取得する。本実施形態では、レイアウト取得部３０５は、ディスプレイ１０１上の表示される表示画像全体を座標平面と考えて原点を設定し、キーオブジェクトの中心座標（ｘ１、ｙ１）、サブオブジェクトの中心座標（ｘ２、ｙ２）を取得する。レイアウト取得部３０５はその他、必要に応じて表示画像におけるオブジェクトの形状やサイズ、色等のレイアウト情報を取得する。次に、特定部３０５が、取得されたレイアウト情報を基に、各オブジェクトの表示上の視覚的な関係を特定する。このような視覚的な関係は、ユーザが情報処理装置１００上に表示された複数のオブジェクトを操作する上で最も認識しやすい要素のひとつである。本実施形態では、ここで特定する表示上の視覚的な関係とは、操作部３０２によって選択されているキーオブジェクトとサブオブジェクトの間の距離ΔＬの大小関係である。所望とするオブジェクト間の距離ΔＬは、
Ｄ＝√｛（ｘ１−ｘ２）＊（ｘ１−ｘ２）＋（ｙ１−ｙ２）＊（ｙ１−ｙ２）｝
で求めることができる。さらに、特定部３０５は、求めた距離ΔＬをＲＡＭ２０１に保持する。図３（Ｃ）の例では、情報処理装置を起動した直後の初回の操作を説明しているため、ＲＡＭ２０１に保持された距離ΔＬの情報は１つである。従って大小関係を判断することはしないが、２度目以降の処理では、既にＲＡＭ２０１に保持されている他のオブジェクトに関する距離ΔＬとの大小関係を特定する。２度目以降の処理については後述する。

次にステップＳ２７では、特定部３０５が、ＲＡＭ２０１に保持されているメタデータと、オブジェクト間の距離ΔＬを利用して、各オブジェクトのメタデータに更新が必要かを判断する。特定部３０５は、具体的には、算出した距離ΔＬから定義されるメタデータを定義し、メタデータテーブルに設定されているメタデータと比較して、同じであれば更新する必要はなく、相違していれば更新する必要があると判断する。本実施形態の例では、図３（Ｃ）の状態における関連（メタデータテーブル）の状態は図５（Ａ）であり、メタデータは定義されていない。従って、Ｃさんが写っているオブジェクト４０１ｃとＤさんが写っているオブジェクト４０１ｄとの親密度を示すメタデータを新たに設定する必要がある。このように、初回使用時には常にメタデータは更新される。２度目以降の処理において、オブジェクトが移動されてもオブジェクト間の距離の大小関係に変化がない場合には、ＮＯの判断がされる。メタデータテーブルを更新する場合（ステップＳ２７でＹＥＳ）、ステップＳ２８で、特定部３０５は、図５（Ｂ）で示すように、ＣさんのメタデータテーブルとＤさんのメタデータテーブルに、互いに親密度１というメタデータを付与することを決定する。ここでメタデータの更新が必要ない場合（ステップＳ２７でＮＯ）は、メタデータ付与処理を終了し、呼び出し元にリターンする。ステップＳ２９において、付与部３０６は、決定されたメタデータに基づいて、ＲＡＭ２０１上に保持されているＣさんが写っているオブジェクト４０１ｃのテーブルに、図５（Ｂ）で示される「親密度１」、「親密な人物Ｄ」というメタデータを付与する。同様に付与部３０６は、ＲＡＭ２０１上に保持されているＤさんが写っているオブジェクト４０１ｄのテーブルに、図５（Ｂ）で示される「親密度１」、「親密な人物Ｃ」というメタデータを付与することで更新する。

以上でメタデータ付与処理（ステップＳ１５）は完了し、呼び出し元の処理にその結果がリターンされる。メタデータ付与処理（ステップＳ１５）が終了すると、ステップＳ１６において表示画像の更新が行われる。本実施形態では、ここで更新される表示画像では、複数のオブジェクトとともに、付与されたメタデータを表現するため、図３（Ｃ）に示す円弧４０３ａを表示する。円弧４０３ａは、Ｃさんが写っているオブジェクト４０１ｃを中心、ステップＳ２６で求めた距離ΔＬを半径とし、この円弧上で示される位置に表示されるオブジェクトは、オブジェクト４０１ｃに対して、被写体の人物同士の親密度が１であることを示す。この円弧は、オブジェクト同士の関係の強さ（本実施形態では、親密度の高さ）という指標での程度を視覚的に表現する手段として利用され、以降、このような表示手段を関連度スケールと定義する。

表示画像の更新（ステップＳ１６）が終了すると、情報処理装置１００ではデータ表示を終了するかどうかの判断が行われる。例えば、アプリケーションから終了の指示があった場合や、検出部３０４がユーザによる所定の終了操作を検出した場合、一定時間以上何の操作も検出されなかった場合等に、データ表示を終了する（ステップＳ１７でＹＥＳ）。そして、ステップＳ１８に進み、ＲＡＭ２０１上に保持されているレイアウト情報及びメタデータテーブルをストレージ２０６に保存する。データ表示を終了しない場合（ステップＳ１７でＮＯ）は、再びＳ１３に処理が移行し、オブジェクトの選択（ステップＳ１３）、移動処理（ステップＳ１４、ステップＳ１５）、表示画像の更新（ステップＳ１６）によって実現されるメタデータ付与処理を繰返す。図３（Ｄ）〜（Ｊ）は、図３（Ｃ）の状態から、指４０２ａで選択するオブジェクトは４０１ｃのままで、４０２ｂで選択するオブジェクトを次々変えながらメタデータ付与処理を行う様子を示している。本実施形態では、ユーザが、ＣさんはＡさん、Ｅさん、Ｄさんの順により親密であり、ＢさんはＤさんと同程度Ｃさんに対して親密であるという事実を基に操作する場合を例として、重複する処理ステップの詳細な内容を適宜省略しながら説明を続ける。

図３（Ｄ）は、Ｃさんが写っているオブジェクト４０１ｃとＡさんが写っているオブジェクト４０１ａを選択した状態を示している（ステップＳ１３）。Ａさんは、ＤさんよりもＣさんと親密であるので、ユーザは図３（Ｅ）で示すように、Ａさんが写っているオブジェクト４０１ａを、親密度１を示す円弧４０３ａよりも内側に移動させる（ステップＳ１４）。その操作に従って、情報処理装置１００はメタデータ付与処理を実行する（ステップＳ１５）。移動操作の結果、特定部３０５は、Ｃさんが写っているオブジェクト４０１ｃとＡさんが写っているオブジェクト４０１ａの間の距離ΔＬ（Ｃ、Ａ）は、ＣさんとＤさんの相対距離ΔＬ（Ｃ、Ｄ）よりも小さいと特定する（ステップＳ２６）。つまり、Ｃさんに対するＤさんの親密度１よりも、Ｃさんに対するＡさんの親密度の方が大きいと判断できる。また、この時点で参照されている（ステップＳ２２）メタデータテーブルには、ＣさんとＡさんの親密度を示すメタデータは設定されていないため、メタデータテーブルの更新が必要だと判断される（ステップＳ２７）。特定部３０５は、親密度１よりも大きい親密度を設定するためには、図５（Ｂ）で示すＣさんのメタデータテーブルに対して、Ａさんに対する親密度２を設定する必要がある。そして同様に図５（Ｂ）で示すＡさんの親密度テーブルに対してＣさんに対する親密度１を生成する必要がある、とそれぞれ決定する（Ｓ２８）。従って、付与部３０６は、図５（Ｃ）で示すように、Ｃさんのテーブルに「親密度２」、「親密な人物Ａ」というメタデータを、Ａさんのテーブルに「親密度１」、「親密な人物Ｃ」というメタデータをそれぞれ付与する（ステップＳ２９）。そして、表示制御部３０１によって親密度２を示す円弧４０３ｂが表示される（ステップＳ１６）。

図４（Ｆ）は、ユーザの操作に従って、Ｃさんが写っているオブジェクト４０１ｃと、Ｅさんが写っているオブジェクト４０１ｅが選択された状態を示している（ステップＳ１３）。Ｅさんは、ＤさんよりもＣさんと親密で、かつＡさんよりは親密でない。従って、ユーザは図４（Ｇ）で示すように、Ｅさんが写っているオブジェクト４０１ｅを、親密度１を示す円弧４０３ａよりも内側かつ、親密度２を示す円弧４０３ｂよりも外側の位置に移動させる（Ｓ１４）。その結果、Ｃさんが写っているオブジェクト図４（Ｇ）４０１ｃとＥさんが写っているオブジェクト図（Ｇ）４０１ｅの相対距離ΔＬ（Ｃ、Ｅ）は、ＣさんとＤさんの相対距離ΔＬ（Ｃ、Ｄ）よりも小さいと特定される。同様に、ＣさんとＡさんの相対距離ΔＬ（Ｃ、Ａ）よりも大きいと特定される（Ｓ２６）。そして、現在参照されているメタデータテーブルの内容と相違があるため、更新が必要であると判断できる（ステップＳ２７）。Ｃさんに対するＤさんの親密度１よりも、Ｅさんの親密度の方が大きく、Ａさんの親密度２よりも小さく、親密度１よりも大きく、親密度２よりも小さい親密度を設定するため必要がある。そのため、特定部３０５によって、図５（Ｄ）で示すように、Ｃさんのメタデータテーブルに親密度３を、Ｅさんのメタデータテーブルに親密度１を付与することが決定され、付与部３０６によってメタデータテーブルに付与される。この際、Ｃに対するＡのメタデータは「親密度２」、「親密な人物Ａ」から「親密度３」、「親密な人物Ａ」に更新される。また、表示制御部３０１によって、親密度３を示す円弧４０３ｂ、親密度２を示す円弧４０３ｃを更新表示する。このように動的に、親密度を示す値を決定、メタデータテーブルを更新（修正）することにより、柔軟にオブジェクトにメタデータを付与することが可能となる。また動的に親密度を示す値を決定する際に、図３（Ｆ）で示すように関連度スケールの間隔（図３（Ｆ）の円弧４０３ａと円弧４０３ｂの間隔）が狭いと、新しい関連度を生成し辛い。そこで本実施形態では、表示制御部３０１が、隣接する関連度円弧を外側もしくは内側へ自動的に移動させることで、関連度円弧間の隙間を自動調整する。図３（Ｇ）の例では、円弧４０３ｃを新たに表示するために、関連度円弧４０３ａを外側に自動的に移動させる。その移動に伴ってＤさんが写っているオブジェクト４０１ｄも外側に移動させる。この機能によって、常に見やすい表示状態を保つことが可能となる。

図４（Ｈ）は、Ｃさんが写っているオブジェクト４０１ｃと、Ｂさんが写っているオブジェクト４０１ｂを選択した状態を示している（Ｓ１３）。Ｂさんは、Ｄさんと同程度Ｃさんと親密であるので、ユーザは図３（Ｉ）で示すように、Ｂさんが写っているオブジェクト４０１ｂを、親密度１を示す円弧４０３ａと同じ位置になるように移動させる。その操作の結果、Ｃさんが写っているオブジェクト４０１ｃとＢさんが写っているオブジェクト４０１ｂの相対距離ΔＬ（Ｃ、Ｂ）は、ＣさんとＤさんの相対距離ΔＬ（Ｃ、Ｄ）と同程度となる。特定部３０５は、新たにΔＬ（Ｃ、Ｄ）を求めずとも円弧４０３ａが表示されている領域（円弧の太さを考慮した範囲）と、オブジェクト４０１ｂの中心座標とが重なることをレイアウト取得部３０３の取得結果から、距離ΔＬの大小関係を特定することができる。つまり、図５（Ｄ）で示すＣさんのテーブルにおいては、これまで設定された他のオブジェクトとの間の親密度を示す値を変更する必要はないが、新たに親密度１の欄にオブジェクト４０１ｂとの関係に基づく値を追加する必要がある。一方、図５（Ｄ）で示すＢさんのテーブルに対しては、新たに親密度１のメタデータを設定する必要がある（Ｓ２７でＹＥＳ）。そのために、特定部３０５は、図５（Ｅ）で示すように、Ｂさんのテーブルに親密度１の項目を生成する（Ｓ２８）。そして付与部３０６は、生成された関連度に基づいて、Ｃさんが写っているオブジェクト４０１ｃに、図７（Ｅ）で示される「親密度１」、「親密な人物Ｂ」を追加で付与する。同様に付与部３０６は、Ｂさんが写っているオブジェクト４０１ｂに、図５（Ｅ）で示される「親密度１」、「親密な人物Ｃ」を付与する（Ｓ２９）。図４（Ｊ）は、Ｃさんに対する親密さに基づいて、ユーザが人物の写真のオブジェクトを整理・分類する作業が完了した表示画像を示している。

本実施形態によって、一度でもメタデータを付与できれば、情報処理装置１００において、図４（Ｊ）で示される親密度の分類状態を簡単に復元できる。もしくは、このメタデータを他の目的で利用することも可能である。例えば、結婚式や卒業式といったイベントで撮影された大量の写真の中から、Ｃさんの写真とＣさんと親密度２以上の関係にある人物が移った写真のみを抽出して印刷したり、アルバムの作成に用いたり、といった利用方法も可能になる。その場合、同一人物が移った写真を判別可能な公知の顔特定技術等を用いて、この整理分類作業で用いたオブジェクト以外の写真のオブジェクトにも、その写真に移っている人物を示すメタデータを付与しておく。それを利用すれば、ＣさんおよびＣさんと親密度２以上であるＡさん、Ｅさんの写真を選び出すことが可能である。本実施形態の説明では、Ｃさんが移っているオブジェクト４０１ｃをキーオブジェクトとしたため、Ｃさんに対するその他の人物の親密度を示す度数をメタデータとして各オブジェクトに付与して作業を終了した。ただし、さらに他のオブジェクトをキーオブジェクトとする操作を続け、他のオブジェクト同士の親密度を示す値を各メタデータテーブルに設定できる。各人物に個別に配布するための写真を、それぞれが親密な人物に対応して抽出して印刷する事も可能になり、利便性が高まる。キーオブジェクトを変えて操作を続ける際には、それまでに設定済みのメタデータは、ステップＳ２４で表示画像を更新する段階で関連度スケールとして表示させる。そうすることで、ユーザは重複した内容を付与するための不必要な操作をせずに済む。

尚、本実施形態では、オブジェクトと別に各オブジェクトに対応したメタデータテーブルをストレージに保存することで、各オブジェクトのメタデータを付与した。こうすることで、オブジェクト自体のファイルに変更を加えたりファイルサイズを大きくしたりする必要なく、メタデータを扱うことができる。ただし、オブジェクトに対してメタデータを付与する方法はこれに限定されず、例えば、オブジェクトのファイルそのものにメタデータを埋め込むこともできる。この場合は、ファイルの保存場所を移動したり、別のアプリケーションで読み出したりする際に、対象とするファイルがオブジェクトそのものだけでよいという利点がある。

また、本実施形態では、オブジェクトの移動を移動させる操作によってメタデータが変更される際には、新たなメタデータを格納することによってメタデータテーブルを更新した。しかし、メタデータが変更される際にメタデータテーブルの項目を増やし、その履歴情報も含めたメタデータを、各オブジェクトそれぞれに付与してもよい。

これまで本実施形態では、説明を簡略化するため２つのオブジェクトを選択する場合についての説明を行ってきた。会議室システムのテーブル型ディスプレイに対して、１人の作業者が表示されたオブジェクトを任意に移動させる操作をする場合には、両腕を用いて同時に２箇所をタッチする操作が基本になるためである。ただし、指を用いる等して表示されたオブジェクトのうちの２つ以上を選択して操作し、メタデータを付与することも可能である。この場合、ステップＳ２１におけるオブジェクト分類処理では、本実施形態と同様に、動いているオブジェクトをサブオブジェクトとして分類すればよい。また、最初に選択したオブジェクトをキーオブジェクト、その後、キーオブジェクトに対するタッチを解除するまでに選択したオブジェクトをサブオブジェクトとして分類しても構わない。

また、本実施形態では、選択したオブジェクトを移動させる操作が行われた場合に限り（ステップＳ１４でＹＥＳ）、メタデータの付与が行われていた。この変形例として、初期画像において、オブジェクトが選択された段階（ステップＳ１３）で、一旦オブジェクトにメタデータを付与してしまうこともできる。その場合、選択されるオブジェクトが確定したら、分類部３０７によるオブジェクトの分類処理と、レイアウト取得部３０３による初期画像におけるレイアウトの取得処理を実行する。そして、その結果を基に特定部３０５がオブジェクト間の距離の大小関係に基づき、各オブジェクトに付与するメタデータを決定し、決定されたメタデータを付与部３０６が付与する。その後オブジェクトが移動された場合には、初期画像のレイアウトから設定されたメタデータを、必要に応じて変更していくようにする。

尚、本実施形態では、関連度スケールとして円弧を表示したが、矢印や矩形、文字等を関連度スケールとして表示してもよい。また、関連度スケールとして透明度（α値）を利用し、関連度が高いオブジェクトから関連度が低いオブジェクトになるに従って、透明度を高くして表示することもできる。さらに、表示オブジェクトが３Ｄ表示されている場合には、関連度スケールとして奥行き方向（ｚ軸方向）を利用し、関連度が低いオブジェクトは深い奥行きで表示されるように制御することも可能である。

以上のように、本実施形態によれば、表示されたオブジェクトを移動させる等の操作に応じて有用なメタデータを各オブジェクトに付与することができる。具体的には、オブジェクトの間の距離が小さい程、オブジェクト同士の関連度が高いことを示す度数を、該当する両オブジェクトにメタデータとして付与することができる。オブジェクト間の距離のような、表示されているオブジェクトの視覚的な関係は、情報処理装置１００を操作するユーザによって最も認識しやすい情報である。さらに、タッチ操作などの直感的な操作によれば、このようなオブジェクトの視覚的な関係を変更する操作が簡単に行える。従って、本実施形態は、直感的にオブジェクトの視覚的な関係を操作することで、オブジェクト同士の関係をわかりやすくするメタデータをオブジェクトに付与することができるので、ユーザにとって利便性の高いインタフェースを提供することができる。尚、メタデータを決定するのに用いるオブジェクト同士の視覚的な関係としては、オブジェクト間の距離だけでなく、オブジェクトの表示サイズの大小関係や、オブジェクトの配置位置の位置関係を組み合わせて考慮してもよい。

［第２の実施形態］
次に、本発明の第２の実施形態について図面を参照して説明する。システム概要図、ハードウェア構成図、機能ブロック図は、図１および図２を用いて説明した第１の実施形態と同様である。既に説明済みのものには同一の符号を付け、その説明を省略する。

第１の実施形態では、表示された複数のオブジェクトのうち２つ以上のオブジェクトを選択し、選択されたオブジェクトのみに、それらの間の距離の大小関係に基づくメタデータを付与していた。それに対し、第２の実施形態では、表示された複数のオブジェクトのうち少なくとも１つのオブジェクトを選択し、選択したオブジェクトとその他全てのオブジェクトとの間の距離に基づき、全てのオブジェクトにメタデータを付与する。

図６は、第２の実施形態におけるデータ表示処理を説明する処理フロー図である。データ表示処理の開始からステップＳ１２までの処理ステップは、第１の実施形態と同様に実行される。続くステップＳ１３Ａでは、表示された複数のオブジェクトのうち少なくとも１つのオブジェクトを選択するかを、操作部３０２が判断する。すなわち、検出部３０４から取得したディスプレイ１０１上でユーザによってタッチされた少なくとも１箇所の位置情報が、表示制御部３０１から取得したオブジェクトの表示された領域内を示すものであれば、ステップＳ１４に進む。ステップＳ１４では、第１の実施形態と同様、ステップＳ１３Ａで選択されたオブジェクトを移動するかどうかを判断する。オブジェクトを移動する判断がなされた場合は、ステップＳ１５Ａのメタデータ付与処理に進む。

第２の実施形態におけるメタデータ付与処理（ステップＳ１５Ａ）では、オブジェクトの分類処理を行ない。従って、まずステップＳ２２が実行され、付与部３０６が全てのオブジェクトのメタデータテーブルが参照し、現在のメタデータをＲＡＭ２０１に保持する。以降の処理では、第１の実施形態と同様に、移動されたオブジェクトの移動位置を取得し（ステップＳ２３）、それに伴って表示画像を更新し（ステップＳ２４）、移動が完了するまで繰り返す（ステップＳ２５でＮＯ）。操作部３０２がオブジェクトの移動が完了したと判断したら（ステップＳ２５でＹＥＳ）、レイアウト取得部３０５が変更されたレイアウトを取得し、特定部が表示されているレイアウトにおける全てのオブジェクトの表示上の視覚的な関係を特定する（ステップＳ２６）。第１の実施形態と同様、第２の実施形態においても、ステップＳ２６において特定する表示上の視覚的な関係とは、オブジェクト間の距離ΔＬの大小関係である。従って、特定部３０５は、表示されている全てのオブジェクトに関して、選択され移動されたオブジェクトとの間の距離ΔＬを求め、その大小関係を特定する。次のステップＳ２７では、特定部３０５は、ＲＡＭ２０１に保持された現在のメタデータとの相違を確認し、メタデータの更新が必要かを判断する。初回使用時には、常にＹＥＳの判断がされる。また、オブジェクトが移動されても、オブジェクト間の距離の大小関係に変化がない場合には、ＮＯの判断がされる。メタデータを更新する場合（ステップＳ２７でＹＥＳ）、ステップＳ２８Ａに進む。メタデータの更新が必要ない場合（ステップＳ２７でＮＯ）は、メタデータ付与処理を終了し、呼び出し元にリターンする。

ステップＳ２８において、特定部３０５は、ステップＳ２６で特定した選択されたオブジェクトとの間の距離ΔＬの大小関係に基づき、表示されている全てのオブジェクトに対して、今回のメタデータ付与処理で付与するメタデータを決定する。すなわち、オブジェクト間の距離ΔＬが小さい程、オブジェクト間の関連度が高いことを示す値（度数）を、メタデータテーブルに新たに付与するメタデータとして決定する。そして、ステップＳ２９において、付与部３０６は、表示中のすべてのオブジェクトに決定されたメタデータを付与する。すなわち、各オブジェクトのメタデータテーブルに、決定された値（度数）と該当する相手を示す情報を格納する。メタデータ付与処理（ステップＳ１５Ａ）が終了したら、呼び出し元の処理にその結果がリターンされ、第１の実施形態と同様、ステップＳ１６で表示画像を更新する。第１の実施形態では、ユーザが積極的に関連度を設定する際の操作性を向上させるため、ステップＳ１６Ａの表示更新処理において、関連度スケールの円弧を表示した。本実施形態ではこのような表示は行わず、選択したオブジェクトを強調する表示を解除する。そして、ステップＳ１７においてデータ表示処理を終了するかどうかを確認する。第１の実施形態同様、例えば、アプリケーションから終了の指示があった場合や、検出部３０４がユーザによる所定の終了操作を検出した場合、一定時間以上何の操作も検出されなかった場合等には、データ表示を終了する（ステップＳ１７でＹＥＳ）。そして、ステップＳ１８に進み、ＲＡＭ２０１上に保持されているレイアウト情報及びメタデータテーブルをストレージ２０６に保存する。終了しない場合（ステップＳ１７でＮＯ）にはステップＳ１３Ａに戻って処理を繰り返す。

第１の実施形態では、オブジェクトを選択し移動させる操作を行う度に、選択されたオブジェクトをキーオブジェクトとサブオブジェクトに分類した。そして、キーオブジェクトに対するサブオブジェクトの関連度の強さが、選択されたオブジェクトに対してのみ、メタデータとして付与された。一方で、第２の実施形態では、選択されたオブジェクトを分類する処理は行われず、選択された少なくとも１つのオブジェクトは、常に第１の実施形態におけるキーオブジェクトと同様に扱われる。すなわち、選択されたオブジェクトを移動させるたびに、選択されたオブジェクトに対する関連度の強さを、表示中のその他全てのオブジェクトそれぞれにメタデータとして付与する。また、ユーザがオブジェクト間の距離を変更すると、バックグラウンドで自動的に所定のメタデータを付与する処理を行う。つまり、ユーザがオブジェクトに関連度を付与しようと意識しながら操作を行うのではなく、表示されたオブジェクトを移動させ整理・分類するだけで自動的にメタデータが付与されるので、ユーザによってはより作業負荷の低いインタフェースを提供できる。ユーザにメタデータの付与処理を意識させないために、ステップＳ１６Ａにおいては関連度スケールを表示しない。ただし、第２の実施形態においても、メタデータを付与した後関連度スケールを表示すれば、ユーザは操作の意図とおりの関連度が正しく付与されているかを視覚的に確認することができる。従って、正確なメタデータが付与されるかどうかの確認する方法として、関連度スケールを表示させてもよい。

本実施形態では、少なくとも１つの選択オブジェクトを動かすと、すべての表示オブジェクトにメタデータを付与したが、この限りではない。変形例として、操作部３０２で選択オブジェクトを移動操作する際に、移動位置に加えて移動方向も取得すれば、移動させる方向の先に存在する１つ以上のオブジェクトに対してのみメタデータを付与することも可能である。その結果、第１の実施形態のように複数のオブジェクトを一度に選択しなくても、任意の範囲のオブジェクトに限定してメタデータを付与するといった制御が可能となる。

尚、本実施形態においても、第１の実施形態と同様、オブジェクトと別に各オブジェクトに対応したメタデータテーブルをストレージに保存することで、各オブジェクトのメタデータを付与していた。ただし、例えば、オブジェクトのファイルそのものにメタデータを埋め込んでもよい。また、本実施形態では、オブジェクトの移動を移動させる操作によってメタデータが変更される際には、新たなメタデータを格納することによってメタデータテーブルを更新した。しかし、メタデータが変更される際にメタデータテーブルの項目を増やし、その履歴情報も含めたメタデータを、各オブジェクトそれぞれに付与してもよい。

以上のように、直感的にオブジェクトの視覚的な関係を操作することで、オブジェクト同士の関係をわかりやすくするメタデータをオブジェクトに付与することができるので、本実施形態はユーザにとって利便性の高いインタフェースを提供することができる。

［第３の実施形態］
次に、本発明の第３の実施形態について図面を参照して説明する。システム概要図、ハードウェア構成図、機能ブロック図は、図１および図２を用いて説明した第１の実施形態と同様である。尚、第３の実施形態においても、説明済みの要素には同一の符号を付け、その説明を省略する。

第１、第２の実施形態では、表示されているオブジェクトの間の距離の大小関係に基づき、オブジェクト同士の関連度の高さを示す値（度数）をメタデータとして各オブジェクトに付与した。第３の実施形態では、オブジェクトの表示されるサイズ（面積）の大小関係、およびオブジェクト同士が互いの上下左右いずれの方向に存在するかという位置関係に基づいて、オブジェクトの重要度を示す値（度数）をメタデータとして各オブジェクトに付与する。第３の実施形態においても、第１、第２の実施形態と同様、図１（Ａ）の会議システムのテーブル型ディスプレイ１０１を利用し、ディスプレイ１０１に表示される複数のオブジェクトを操作する。より具体的には、フォトアルバムのレイアウトや、企画書のレイアウト、雑誌ページのレイアウト等を、一人もしくは複数人で決定する操作を行った場合に、操作したオブジェクトにメタデータが付与される例を説明する。

図７は、本実施形態におけるメタデータ付与処理の説明図である。また図８（Ａ）、（Ｂ）は本実施形態における情報処理装置１００のデータ表示処理を示す処理フロー図である。図９は、この時作成される各オブジェクトのメタデータテーブルである。なお、図９の各テーブルにおいてハイライトされている部分は、各操作によって更新される箇所を示すものとする。図７ならびに図８、図９を用いて、本実施形態のデータ表示処理とメタデータ付与処理の詳細を説明する。

情報処理装置１００は、データ表示処理を開始すると、ステップＳ３０を実行する。本実施形態においても、画像処理装置１００の電源が投入されたのに従って、データ表示処理が開始される。ステップＳ３０において、オブジェクト読み出し部３００は、表示するオブジェクトをストレージ２０６から取得し、ＲＡＭ２０１に保持する。次にステップＳ３１において、表示制御部３０１は、ＲＡＭ２０１に保持されたオブジェクトをランダムに並べて初期表示画像を作成し、ディスプレイ１０１に出力する。この時、ディスプレイ１０１に表示されている初期画像の一例を図７（Ａ）に示す。オブジェクトＩＤが１から５であるオブジェクトを含む複数のオブジェクトがランダムに表示されている。図７の領域７０２はレイアウト枠であり、ランダムに表示されたオブジェクトの中から、オブジェクトを逐次選択し、レイアウト枠内に移動させてレイアウトを決める。またｓａｖｅボタン７０３はレイアウトを調整する経過を保存するためのボタンである。

初期画像表示（ステップＳ３１）が終了すると、ステップＳ３２において、情報処理装置１００は、ディスプレイ１０１へのタッチ操作を検出し、オブジェクトが選択されたどうかの判定を行う。すなわち、操作部３０２が、検出部３０４から取得したタッチ位置情報と、表示制御部３０１から取得したオブジェクトの表示領域が重なっているかを判断し、重なっている場合に該当するオブジェクトを選択する。オブジェクトが選択されていない場合（ステップＳ３２でＮＯ）は、ステップＳ３８へ処理が移行する。オブジェクトが選択されている場合（ステップＳ３２でＹＥＳ）は、続いてステップＳ３３の処理が実行される。ステップＳ３３において、情報処理装置１００は、検出部３０４で検出されるタッチ位置情報を利用して、選択されたオブジェクトが移動するかどうかの判定を行う。すなわち、ディスプレイ１０１に対するタッチの位置が、解除されることなく移動していることを検出部３０４が検知した場合には、操作部３０２によって該当するオブジェクトを移動させる操作が実行される。オブジェクトを移動する場合（ステップＳ３３でＹＥＳ）は、レイアウト編集処理（ステップＳ３４）が開始される。オブジェクトを移動しない場合（ステップＳ３３でＮＯ）は、処理はステップＳ３８へ移行する。

図８（Ｂ）は、ステップＳ３４のレイアウト編集処理を示す処理フロー図である。レイアウト編集処理（ステップＳ３４）が開始されると、情報処理装置１００は、ステップＳ４０において、まず移動操作されたオブジェクトがレイアウト枠内部に存在するのかどうかを判定する。オブジェクトがレイアウト枠内部にない場合（ステップＳ４０でＮＯ）は、レイアウト処理はそのまま終了し、呼び出し元にリターンする。移動されたオブジェクトがレイアウト枠内部にある場合（ステップＳ４０でＹＥＳ）は、続いて、ステップＳ４１の処理が実行される。ステップＳ４１においては、付与部３０６がストレージ２０６にオブジェクトに付属して記憶されたメタデータテーブルが参照し、ＲＡＭ２０１に保持する。オブジェクトがメタデータテーブルを有していないときは、図９（Ａ）のように空のテーブルを生成して参照する。

次に、ステップＳ４２において、操作部３０２は、検出部３０４から得た位置情報からオブジェクトが移動された位置を取得する。さらに、オブジェクトを表示させるサイズを変更する操作が行われた場合には、その変更されたサイズを検出部３０４から取得する。そしてステップＳ４３において、ユーザの操作が反映されるように表示画像を更新する。次に、ステップＳ４４において、オブジェクトを移動させ、サイズを変更することによってレイアウト枠内のレイアウトを変更する一連の操作が完了したかを判断する。

図７（Ｂ）は、初期画像で表示されたオブジェクト群から、ユーザがタッチ操作によりオブジェクトＩＤが３のオブジェクト７０１ｃを選択してレイアウト枠内に移動させ、所望とするサイズに調整して配置した状態を示す。ここで、オブジェクトのサイズを調整する操作は、ユーザが２本の指（７０４ａおよび７０４ｂ）を使ってオブジェクト上をタッチし、そのタッチを維持したままディスプレイ上で指の間隔を広げるピンチと呼ばれる操作によって行う。また、図７（Ｃ）は、２度目のレイアウト編集処理において、オブジェクト群からオブジェクトＩＤが４のオブジェクトがレイアウト枠内に移動され、オブジェクト７０１ｃの左下に配置された状態を示す。レイアウトの変更が完了した場合には（ステップＳ４４でＹＥＳ）、ステップＳ４５の処理ステップに進む。レイアウトの変更が完了せず、引き続き操作される場合には（ステップＳ４４でＮＯ）、ステップＳ４１に戻る。

ステップＳ４５において、特定部３０５が、取得された結果より、現在表示されているレイアウトでは、レイアウト枠内に複数のオブジェクトが存在しているかを判断する。複数のオブジェクトが存在する場合は（ステップＳ４５でＹＥＳ）、ステップＳ４６の処理に移行する。複数のオブジェクトが存在しない場合は（ステップＳ４５でＮＯ）、ステップＳ４８に進む。図７（Ｂ）では、レイアウト枠内にオブジェクト７０１ｃしか存在しないので、処理はステップＳ４８に移行する。ステップＳ４８以降の処理は後述される。一方、図７（Ｃ）では、レイアウト枠内にはオブジェクト７０１ｃとオブジェクト７０１ｄの２つのオブジェクトが存在するので、処理ステップはステップＳ４６に移行する。

ステップＳ４６において、レイアウト取得部３０３は、レイアウト枠内に存在する複数のオブジェクトに関するレイアウト情報として位置情報および表示画像上でのオブジェクトのサイズを取得し、ＲＡＭ２０１に保持する。ここで、オブジェクトの位置情報とは、レイアウト枠を座標平面と考えた場合のオブジェクトの中心座標であり、サイズとはオブジェクトの面積に相当する。次に、ステップＳ４７では、特定部３０５が、レイアウト取得部３０３が取得したレイアウト情報に基づき、レイアウト枠内部に存在する複数のオブジェクトの表示上の視覚的な関係を特定し、その情報をＲＡＭ２０１に保持する。第３の実施形態において、表示上の視覚的な関係とは、まずオブジェクト同士のサイズの大小関係、およびオブジェクト同士が互いの上下左右いずれの方向に存在するかという位置関係である。図７（Ｃ）では、オブジェクト「３」７０１ｃはオブジェクト「４」７０１ｄの４倍大きいサイズ（面積）で表示されている。従って、特定部３０５はその大小関係を特定し、ＲＡＭ２０１上に保持する。

次に、ステップＳ４８においては、特定部３０５が、レイアウト枠内の各オブジェクトに付与されるメタデータを決定する。本実施形態では、まずステップＳ４７で特定したレイアウト枠内でのオブジェクトのサイズの大小関係に基づき、オブジェクトの重要度（ユーザにとってのお気に入り度）を示す値（度数）をメタデータとして各オブジェクトに設定する。すなわち、オブジェクトのサイズが大きいほど、そのオブジェクトの重要度は高く、逆に小さいほど、そのオブジェクトの重要度は小さく定義される。さらに、同じサイズのオブジェクトに対しては、レイアウト枠内でのオブジェクトの位置関係に基づき、レイアウト枠の左上に表示されているオブジェクト程、重要度の高いオブジェクトであるとして、重要度を設定する。このような重要度の決定方法に従い、レイアウト枠内に存在する全てのオブジェクトに付与するメタデータ（重要度の度数）を決定し、ＲＡＭ２０１に保持する。ただし、図７（Ｂ）にように、レイアウト枠内にオブジェクトが１つしか存在しない場合には、複数のオブジェクトの関係に基づくメタデータの決定法は適応されず重要度１が設定されるので、図９（Ｂ）のように、オブジェクト「３」７０１ｃの重要度は１となる。２度目の処理である図７（Ｃ）の例では、オブジェクト「３」７０１ｃが大きく、オブジェクト「４」７０１ｄが小さいので、図９（Ｃ）のようにオブジェクト「３」の重要度が１から２に変更され、オブジェクト「４」の重要度は１に設定される。また、ステップＳ４８では、レイアウト枠内で隣り合うオブジェクトに対し、関連するオブジェクトを示すメタデータとして、互いのオブジェクトのＩＤを付与することを決める。従って、メタデータテーブルのオブジェクト「３」、オブジェクト「４」の関連オブジェクトの欄には、図９（Ｃ）のようにそれぞれオブジェクト「４」、オブジェクト「３」が追加されることになる。

ステップＳ４９において、付与部３０６が、ステップＳ４８で決定されＲＡＭ２０１上に保持されているメタデータを、各オブジェクトに付与する。すなわち、ＲＡＭ２０１上に保持されている各オブジェクトのテーブルに、決定されたメタデータを格納することでテーブルを更新する。以上の処理でステップＳ３４のレイアウト編集処理は完了し、呼び出し元にその結果がリターンされる。

レイアウト編集処理が終了すると、ステップＳ３５において、表示制御部３０１は表示画像の更新を行う。表示画像の更新が終了すると、ステップＳ３６において、ｓａｖｅボタンが押されたかどうかの判定が、情報処理装置１００によって行われる。すなわち、操作部３０２が検出部３０４から得たタッチ位置情報が、ｓａｖｅボタンが表示されている領域内であるかによって、ｓａｖｅボタンを押すタッチ操作がなされたかを判断する。ｓａｖｅボタンが押されていない場合（ステップＳ３６でＮＯ）は、ステップＳ３８に処理が移行する。ｓａｖｅボタンが押された場合（ステップＳ３６でＹＥＳ）は、ステップＳ３７が実行され、情報処理装置１００は、ＲＡＭ２０１上に保持されているレイアウト枠内のレイアウト情報とメタデータテーブルをストレージ２０６に保存する。ステップＳ３８では、データ表示を終了するかどうかの判断が行われる。例えば、アプリケーションから終了の指示があった場合や、検出部３０４がユーザによる所定の終了操作を検出した場合、一定時間以上何の操作も検出されなかった場合等に、データ表示を終了する（ステップＳ３８でＹＥＳ）。データ表示を終了しない場合（ステップＳ３８でＮＯ）は、再びＳ３２に処理が移行し、本実施形態におけるレイアウト編集処理を繰返す。

図７に従って、引き続きレイアウト編集処理を繰り返す例を説明する。なお、以降の説明において重複する処理ステップについては、その詳細を省略する。図７（Ｄ）は、図７（Ｃ）の状態に続いて、オブジェクト群からオブジェクトＩＤが「１」のオブジェクトを選択し、レイアウト枠内に配置した操作によって更新された表示画像を示す（ステップＳ４３）。この場合、オブジェクト「１」は、オブジェクト「３」と比較して小さいが、オブジェクト「４」との比較では、同じ大きさである。さらに、オブジェクト「４」がオブジェクト「１」よりも左上に近い。このような、オブジェクトの表示上の視覚的な関係に従い、図９（Ｄ）で示すように、メタデータテーブルが更新される（ステップＳ４６〜Ｓ４９）。つまり、オブジェクト「３」は重要度３、オブジェクト「４」は重要度２、オブジェクト「１」は重要度１である。また関連オブジェクトの情報も、オブジェクト「３」には、オブジェクト「１」、「４」、オブジェクト「４」には、オブジェクト「１」、「３」、オブジェクト「１」には、オブジェクト「３」、「４」がそれぞれ設定されている。これは図７（Ｄ）を見て分かるように、オブジェクト「３」に隣り合うオブジェクトは、オブジェクト「１」とオブジェクト「４」だからである。オブジェクト「１」、オブジェクト「４」に関しても同様である。図７（Ｅ）は、オブジェクト群からオブジェクトＩＤが「２」のオブジェクトを選択し、レイアウト枠内に配置した操作によって更新された表示画像を示す（ステップＳ４３）。オブジェクト「２」の大きさは、オブジェクト「１」、「４」と同じかつ、オブジェクト「１」、「４」と比較してレイアウト枠左上の位置から遠いので、重要度はこれらより低くなる。その結果、図９（Ｅ）でハイライトされている部分で示すようにメタデータテーブルは更新される（ステップＳ４６〜Ｓ４９）。図７（Ｆ）は、オブジェクト群からオブジェクトＩＤが５のオブジェクトを選択し、レイアウト枠内に配置した操作によって更新された表示画像を示す（ステップＳ４３）。オブジェクト５の大きさは、オブジェクト３についで大きく、オブジェクト「１」、「２」、「４」よりも大きい。従って、重要度はオブジェクト３の次に高くなる。その結果、図９（Ｆ）でハイライトされている部分で示すような内容に関連度テーブルは更新される（ステップＳ４６〜Ｓ４９）。

オブジェクト「１」から「５」までを図７（Ｇ）で示すようにレイアウトした後、ステップＳ３６において、ユーザがｓａｖｅボタンを押すと、現状のレイアウト情報とともに、図９（Ｆ）で示したメタデータテーブルもストレージ２０６に保持される。

以上、本実施形態で述べたように、ディスプレイ上に表示されたオブジェクトをレイアウトするという簡単な操作によって、オブジェクト同士のメタデータならびに、お気に入り（重要度）情報を自動で付与することが可能となる。本実施形態では、テーブル型ディスプレイを有する会議システムにおいて、写真のオブジェクトをレイアウトする例を示した。ただし、本発明は会議システムに限らず、例えば図１（Ｂ）のようなタブレット型端末や、印刷装置、店頭に設置される写真印刷専用端末やアルバム作成装置にも利用することができる。このようなシステムを利用することで、ユーザは、フォトアルバムのレイアウトや、企画書のレイアウト、雑誌ページのレイアウト等を、直感的な操作で簡単に作成することができる。さらに、自動付与したメタデータを利用することで、別のレイアウト候補を作成する際に、関連するオブジェクトをおすすめオブジェクト情報として利用したり、重要度の高いオブジェクトを抽出して絞り込み検索する際に利用したりできる。

本実施形態ではオブジェクトの大きさをオブジェクトの重要度の指標とした。この際、例えば「オブジェクトのサイズ（面積）に２０％以上の差がある場合に、異なる重要度を設定する」といった閾値を設けても良い。こうすることでユーザが、レイアウトのバランス等の都合上少しだけ大きさを変えたいような場合にまで、意図に反した重要度の差異を付けてしまうことを避けられる。なお、オブジェクトのサイズ以外にも、例えば、レイアウト枠内でオブジェクトが編集された回数を指標として利用しても良い。また、別途画像の表示時間や表示のための演出を設定するメニューを設け、画像スライドショーのレイアウトや構成を本システムで作成する場合等は、スライドショーされる写真オブジェクトの表示時間を重要度の指標とすることもできる。つまり、長く表示されるオブジェクト程、重要度が高くし、重要度の高いオブジェクトを抽出して検索する際に利用できるようにする。また、本実施形態では、レイアウト枠の左上に表示されているオブジェクト程、重要なオブジェクトとした。このため、ステップＳ４７でオブジェクトの位置関係を特定し、その情報をＲＡＭ２０１に保持する際に、レイアウト枠左上の位置をオブジェクトの重要度を表す指標とした。ただし、これに限られない。例えば、レイアウト枠の中央を最も重要度が高い位置としても良い。また、レイアウトを実施するユーザが、レイアウトを実施する前に、どの位置を重要度が高い位置とするかを定義できるようにしても良い。

（その他の実施形態）
ここまで説明した本実施形態では、メタデータを付与するオブジェクトとして、人物の写真を用いた。ただし、上述したように情報処理装置１００は、静止画像に限らず、音声、手書き文字、テキスト、画像、動画等、様々な形式で電子化されたデータを扱うことができる。

また、レイアウトから特定されるオブジェクトの視覚的な関係は、オブジェクトの間の距離の大小関係、またはオブジェクトが表示されるサイズの大小関係、またはオブジェクトが配置される位置関係の他に、例えば色に基づく関係であってもよい。例えば、ユーザの操作によって、各オブジェクトに色による視覚的な関係を設定し、それによってオブジェクトに関連度や優先度を示すメタデータを付与することもできる。一例として、操作部３０２および検知部３０４が、選択されたオブジェクトがユーザによってタップ（ディスプレイを軽くたたく動作）されたと判断した場合に、そのタップされた回数に応じた色の枠やチェックマークをオブジェクトに付す。そして、その色に基づいて、「赤に近い色の枠がついたオブジェクトである程緊急度が高い」、「遠い色の枠が設定されたオブジェクト程、関連度は低い」といった指標を示すメタデータを付与することもできる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

表示部に複数のオブジェクトを表示させる情報処理装置であって、
前記表示部に表示された複数のオブジェクトのレイアウトを取得する取得手段と、
前記取得手段により取得されたレイアウトにおける、前記複数のオブジェクト同士の表示上の視覚的な関係を特定する特定手段と、
前記特定された視覚的な関係に基づくデータを、前記複数のオブジェクトそれぞれに対してメタデータとして付与する付与手段と、
前記表示される複数のオブジェクトのうち、少なくとも１つのオブジェクトを選択する操作を実行する操作手段と、
前記操作手段により選択された少なくとも１つのオブジェクトにおいて、キーオブジェクトを分類する分類手段とを備え、
前記取得手段は、前記操作手段により選択されたオブジェクトのうち少なくとも１つを更に移動させる操作がなされた場合には、前記移動に伴って変更されたレイアウトを取得し、
前記特定手段は、前記キーオブジェクトと表示される他のオブジェクトそれぞれとの前記表示上の視覚的な関係を特定し、
前記付与手段は、前記複数のオブジェクトそれぞれに前記特定手段により特定された結果に基づくメタデータを付与するものであって、
前記複数のオブジェクト同士の表示上の視覚的な関係とは、オブジェクトの間の距離、またはオブジェクトが表示されるサイズ、またはオブジェクトが配置される位置のいずれか１つまたはその組み合わせに基づく関係であることを特徴とする情報処理装置。
前記分類手段は、前記操作手段によって選択された２つ以上のオブジェクトのうち、初めに選択したオブジェクトをキーオブジェクトとして分類することを特徴とする請求項１に記載の情報処理装置。
前記分類手段は、前記操作手段によって選択された２つ以上のオブジェクトのうち、移動されないオブジェクトをキーオブジェクトとして分類することを特徴とする請求項１に記載の情報処理装置。
前記操作手段は、表示部に表示された複数のオブジェクトのうち２つ以上のオブジェクトを選択し、
前記付与手段は、前記表示中の複数のオブジェクトのうち、前記操作手段により選択された前記２つ以上のオブジェクトにのみ前記特定手段により特定された結果に基づいたメタデータを付与することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
前記分類手段は、前記操作手段によって選択された２つ以上のオブジェクトのうち、キーオブジェクトとして分類されない他のオブジェクトを、サブオブジェクトとして分類し、
前記特定手段は、前記キーオブジェクトとサブオブジェクトとの前記表示上の視覚的な関係を特定し、
前記付与手段は、前記特定手段により特定された結果に基づいて、前記表示中の複数のオブジェクトのうち、前記操作手段により選択された前記２つ以上のオブジェクトにのみ前記特定手段により特定された結果に基づいたメタデータを付与することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
更に、前記付与手段によりメタデータを付与されたオブジェクトと共に、前記メタデータが示す情報を前記表示部に視覚的に表示させる表示制御手段を備えることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
前記メタデータは、前記表示中の複数のオブジェクトそれぞれの、ある指標における程度を示す値であることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項１乃至７のいずれか１項に記載の情報処理装置として機能させることを特徴とするプログラム。
表示部に複数のオブジェクトを表示させる情報処理装置の制御方法であって、
取得手段により、前記表示される複数のオブジェクトのレイアウトを取得する取得工程と、
特定手段により、前記取得手段により取得されたレイアウトにおける、前記複数のオブジェクト同士の表示上の視覚的な関係を特定する特定工程と、
付与手段により、前記特定手段により特定された結果に基づいて、前記複数のオブジェクトそれぞれに対してメタデータを付与する付与工程と
操作手段により、前記表示される複数のオブジェクトのうち、少なくとも１つのオブジェクトを選択する操作を受け付けて実行する選択工程と、
分類手段により、前記選択工程で選択された少なくとも１つのオブジェクトにおいて、キーオブジェクトを分類する分類工程とを有し、
前記取得工程では、前記選択工程で選択されたオブジェクトのうち少なくとも１つを更に移動させる操作が受け付けられた場合には、前記移動に伴って変更されたレイアウトを取得され、
前記特定工程では、前記分類工程で分類されたキーオブジェクトと表示される他のオブジェクトそれぞれとの前記表示上の視覚的な関係が特定され、
前記付与工程では、前記複数のオブジェクトそれぞれに前記特定工程で特定された結果に基づくメタデータが付与されるものであって、
前記複数のオブジェクト同士の表示上の視覚的な関係とは、オブジェクトの間の距離、またはオブジェクトが表示されるサイズ、またはオブジェクトが配置される位置のいずれか１つまたはその組み合わせに基づく関係であることを特徴とする情報処理装置。