JP3674327B2

JP3674327B2 - Multimedia information conversion method, multimedia information conversion server, multimedia information conversion system, and storage medium storing multimedia information conversion program

Info

Publication number: JP3674327B2
Application number: JP24881198A
Authority: JP
Inventors: 健也鈴木; 香里上野; 勝宮本; 英昭小澤
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 1998-09-02
Filing date: 1998-09-02
Publication date: 2005-07-20
Anticipated expiration: 2018-09-02
Also published as: JP2000076104A

Description

【０００１】
【発明の属する技術分野】
本発明は、マルチメディア情報変換方法及びマルチメディア情報変換サーバ及びマルチメディア情報変換システム及びマルチメディア情報変換プログラムを格納した記憶媒体に係り、特に、マルチメディア情報の格納、検索、閲覧を目的とするシステムにおいて、マルチメディア情報の持つ構造をその情報間のリンクを用いて保持する場合に、そのリンクに付加された意味を用いて、当該マルチメディア情報の持つ意味的な表現の表示を行うための、マルチメディア情報変換方法及びマルチメディア情報変換サーバ及びマルチメディア情報変換システム及びマルチメディア情報変換プログラムを格納した記憶媒体に関する。
【０００２】
【従来の技術】
従来、マルチメディア情報の持つ構造の意味的な表現及び表示を行うためには、例えば、ＷＷＷ（World Wide Web）におけるＨＴＭＬ（Hyper Text Markup Language）で記述したリンクリストによる表現や、画像とその各点におけるリンク先の集合を記述したイメージマップと呼ばれる手法を用いて、個別にデザインされた表現及び表示を行っている。
【０００３】
このような表現／表示を用いることで、マルチメディア情報の持つ構造が可視化され、利用者の選択によるリンク遷移によって情報の構造を鳥瞰しながら必要な情報を閲覧することが可能となっている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の技術を用いた場合、マルチメディア情報の持つ構造の意味的な表現を行うためには、情報の構造に応じたデザインを個別に行う必要があるため、類似したマルチメディア情報の構造に対して、同じ様な作業をそれぞれ行う必要があり、無駄である。
【０００５】
さらに、ＨＴＭＬやイメージマップといった固定的な記述法を用いることで、利用者の好みに応じた並べ替えを行なったり、状況に応じた整理を行なうなどといった、利用者との対話的な処理を行なうことが困難である。
本発明は、上記の点に鑑みなされたもので、マルチメディア情報の階層・順序関係や集合、属性の記述などの構造情報を用いて、その構造に最適な表現／表示法を判断し、利用者との対話的な処理が行なえる装置に表示することによって、マルチメディア情報の持つ構造が自動的に可視化され、利用者との対話的な処理による表示／表現の変更を実現することが可能なマルチメディア情報変換方法及びマルチメディア情報変換サーバ及びマルチメディア情報変換システム及びマルチメディア情報変換プログラムを格納した記憶媒体を提供することを目的とする。
【０００６】
【課題を解決するための手段】
図１は、本発明の原理を説明するための図である。
本発明は、マルチメディア情報の持つ構造の意味的な表現の表示をクライアントにて行わせるための情報を生成するマルチメディア情報変換方法において、
クライアントから第１のリンクの指定を受け取ると（ステップ１）、該第１のリンクに基づいて、マルチメディア情報のリンクを管理するためのリンク番号に対して、該リンクに対応するインターネット上の情報アドレス（以下、ＵＲＬと記す）、該ＵＲＬに対応するデータのＩＤ、該データの階層レベル、該データから出ているリンクのリスト、該リンクの属性が表形式で格納されるリンク管理表と、該データをグループ化するためのグループ名、グループを構成するデータのＩＤ、グループ属性が表形式で格納するグループ管理表を有する構造情報格納手段を検索し、該リンクの記述に対応する構造情報を取得する構造情報取得ステップ（ステップ２）と、
第１のリンクによって指定されるグループを特定し、該グループがグループ属性をもっていた場合には、該グループ属性をデータ全体の型式として型式判定を終え、該グループにグループ属性がなかった場合には、該第１のリンクが指定するデータから辿ることのできる第２のリンクを全て求め、いずれかの第２のリンクによって指定されるデータの属するグループのグループ属性が「ｂｏｏｋ」の場合には、データ全体の型式を本棚型であると定めて型式判定を終え、型式判定が終えていない場合には、該第２のリンクの個々について該第２のリンクのリンク属性に基づいて本型の指標値ＢＴあるいは本棚型の指標値ＢＳＴを１増加させ、集計されたＢＴ値とＢＳＴ値の大小関係によりデータ全体の型式を本型あるいは本棚型と定めて型式判定を終える型式判定ステップ（ステップ３）と、
型式判定ステップにて判定されたデータ全体の型式に基づいて、構造情報取得ステップで得られた構造情報を変換する変換ステップ（ステップ４）と、
変換ステップで変換された構造情報をクライアントに送信する送信ステップ（ステップ５）と、からなる。
【０００８】
図２は、本発明の原理構成図である。
本発明は、クライアントと接続され、マルチメディア情報の持つ構造の意味的な表現の表示を該クライアントにて行わせるための情報を生成するマルチメディア情報変換サーバであって、
マルチメディア情報のリンクを管理するためのリンク番号に対して、該リンクに対応するインターネット上の情報アドレス（以下、ＵＲＬと記す）、該ＵＲＬに対応するデータのＩＤ、該データの階層レベル、該データから出ているリンクのリスト、該リンクの属性が表形式で格納されるリンク管理表と、該データをグループ化するためのグループ名、グループを構成するデータのＩＤ、グループ属性が表形式で格納するグループ管理表を有する構造情報格納手段１１０と、
クライアントから第１のリンクの指定を受け取ると、該第１のリンクに基づいて構造情報格納手段１１０を検索し、該リンクの記述に対応する構造情報を取得する構造情報取得手段１３０と、
第１のリンクによって指定されるグループを特定し、該グループがグループ属性をもっていた場合には該グループ属性をデータ全体の型式として型式判定を終え、該グループにグループ属性がなかった場合には該第１のリンクが指定するデータから辿ることのできる第２のリンクを全て求め、いずれかの第２のリンクを全て求め、いずれかの第２のリンクによって指定されるデータの属するグループのグループ属性が「ｂｏｏｋ」の場合には、データ全体の型式を本棚型であると定めて型式判定を終え、型式判定を終えていない場合には、該第２のリンクの個々について該第２のリンクのリンク属性に基づいて本型の指標値ＢＴあるいは本棚型のＢＳＴを１増加させ、集計されたＢＴ値とＢＳＴ値の大小関係によりデータ全体の型式を本型あるいは本棚型と定めて型式判定を終える型式判定手段１４０と、
型式判定手段１４０にて判定されたデータ全体の型式に基づいて、構造情報取得手段１１０で得られた構造情報を変換する変換手段１５０と、
変換手段１５０で変換された構造情報をクライアントに送信する送信手段１２０と、を有する。
【００１０】
本発明は、マルチメディア情報の持つ構造の意味的な表現の表示をクライアントにて行わせるための情報を生成するサーバと、該サーバと接続されたクライアントから構成されるマルチメディア情報変換システムであって、
サーバは、
マルチメディア情報のリンクを管理するためのリンク番号に対して、該リンクに対応するインターネット上の情報アドレス（以下、ＵＲＬと記す）、該ＵＲＬに対応するデータのＩＤ、該データの階層レベル、該データから出ているリンクのリスト、該リンクの属性が表形式で格納されるリンク管理表と、該データをグループ化するためのグループ名、グループを構成するデータのＩＤ、グループ属性が表形式で格納するグループ管理表を有する構造情報格納手段と、
クライアントから第１のリンクの指定を受け取ると、該第１のリンクに基づいて構造情報格納手段を検索し、該リンクの記述に対応する構造情報を取得する構造情報取得手段と、
第１のリンクによって指定されるグループを特定し、該グループがグループ属性をもっていた場合には該グループ属性をデータ全体の型式として型式判定を終え、該グループにグループ属性がなかった場合には該第１のリンクが指定するデータから辿ることのできる第２のリンクを全て求め、いずれかの第２のリンクを全て求め、いずれかの第２のリンクによって指定されるデータの属するグループのグループ属性が「ｂｏｏｋ」の場合には、データ全体の型式を本棚型であると定めて型式判定を終え、型式判定を終えていない場合には、該第２のリンクの個々について該第２のリンクのリンク属性に基づいて本型の指標値ＢＴあるいは本棚型のＢＳＴを１増加させ、集計されたＢＴ値とＢＳＴ値の大小関係によりデータ全体の型式を本型あるいは本棚型と定めて型式判定を終える型式判定手段と、
型式判定手段にて判定されたデータ全体の型式に基づいて、構造情報取得手段で得られた構造情報を変換する変換手段と、
変換手段で変換された構造情報をクライアントに送信する送信手段と、
を有し、
クライアントは、
サーバに第１のリンクを送信する手段と、
サーバから受け取った変換された構造情報の型式を特定する手段と、
特定された型式に応じ、本棚型あるいは本型にあった表示をする手段と、を有する。
【００１１】
本発明は、クライアントにおいて、
利用者個人が保存したデータを格納する個人用データ格納手段と、
マルチメディア情報変換システムのサーバから転送された変換された構造情報のデータの名称及び属性を判定する名称判定手段と、
個人用データ格納手段に格納された個人用データから判定されたデータの名称及び属性を用いて選択的に取得するデータ取得手段と、
個人用データ及び判定されたデータのいずれかの配置を優先して表示手段に表示する表示制御手段と、を更に有する。
【００１４】
本発明は、マルチメディア情報の持つ構造の意味的な表現の表示をクライアントにて行わせるための情報を生成するマルチメディア情報変換方法プログラムを格納した記憶媒体であって、
コンピュータに、
クライアントから第１のリンクの指定を受け取ると、該第１のリンクに基づいて、マルチメディア情報のリンクを管理するためのリンク番号に対して、該リンクに対応するインターネット上の情報アドレス（以下、ＵＲＬと記す）、該ＵＲＬに対応するデータのＩＤ、該データの階層レベル、該データから出ているリンクのリスト、該リンクの属性が表形式で格納されるリンク管理表と、該データをグループ化するためのグループ名、グループを構成するデータのＩＤ、グループ属性が表形式で格納するグループ管理表を有する構造情報格納手段を検索し、該リンクの記述に対応する構造情報を取得する構造情報取得ステップと、
第１のリンクによって指定されるグループを特定し、該グループがグループ属性をもっていた場合には、該グループ属性をデータ全体の型式として型式判定を終え、該グループにグループ属性がなかった場合には、該第１のリンクが指定するデータから辿ることのできる第２のリンクを全て求め、いずれかの第２のリンクによって指定されるデータの属するグループのグループ属性が「ｂｏｏｋ」の場合には、データ全体の型式を本棚型であると定めて型式判定を終え、型式判定が終えていない場合には、該第２のリンクの個々について該第２のリンクのリンク属性に基づいて本型の指標値ＢＴあるいは本棚型の指標値ＢＳＴを１増加させ、集計されたＢＴ値とＢＳＴ値の大小関係によりデータ全体の型式を本型あるいは本棚型と定めて型式判定を終える型式判定ステップと、
型式判定ステップにて判定されたデータ全体の型式に基づいて、構造情報取得ステップで得られた構造情報を変換する変換ステップと、
変換ステップで変換された構造情報をクライアントに送信する送信ステップと、
を実行させるマルチメディア情報変換プログラムを格納した記憶媒体である。
【００１６】
上記のように、本発明では、リンクの記述に対応する集合や属性といった構造情報を取得する過程では、意味的構造格納手段に格納されたマルチメディア情報の階層・順序関係や集合、属性の記述などの意味が付加された構造情報を取得し、当該構造情報を用いて、当該リンクによって指定されたデータから辿ることのできる集合の属性及び当該リンクの属性を取り出して、該当データ全体の型式を判定することで、当該リンクによって指定されたデータの集合の型式を判定している。
【００１７】
一方、該当データ全体を判定された型式を表すデータに変換する際には、該当データ全体の型式の判定処理により判定された型式を用いて、当該リンクによって指定されたデータの集合を、意味的な表現となる背景画とその上の情報一つ一つを表す記述に変換し、変換されたデータをデータ表示装置に表示する処理により、データ表示装置上に表示することで、マルチメディア情報の持つ構造に応じたデザインを個別に行うことなく、それらの意味的な表現を行うことができ、利用者の選択によるリンク遷移によって情報の構造を鳥瞰しながら必要な情報を閲覧することを可能とする。
【００１８】
従って、あるリンクが指定された場合に、マルチメディア情報の持つ構造を自動的に取得し、可視化することで、利用者が情報の構造を鳥瞰しながらリンク遷移を行うことができるようになる。このように、本発明では、従来の技術では不可能であった、マルチメディア情報の持つ構造に応じたデザインを自動的に行うことが可能となり、それらの意味的な表現を行うことが可能となり、利用者の選択によるリンク遷移によって情報の構造を鳥瞰しながら、必要な情報を閲覧することが可能となっている。
【００１９】
また、本発明では、変換されたデータの名称及び属性を判定する処理において、上記のマルチメディア情報変換表示方法の中で、該当データ全体を判定された型式のデータに変換する処理によって変換されたデータから、当該データを構文解析することによって、名称及び属性を判定し、個人用データ格納手段に格納された個人用データから当該変換されたデータの名称及び属性を用いて選択的に取得する。この時、それらの名称及び属性を用いて個人用データ格納手段に格納された利用者個人が保存した個人用データの中から、今回表示するのに適したデータのみを選択的に取得し、個人用データ及び変換されたデータのいずれかの配置を優先してデータ表示装置に表示する。そして、個人用データ及び変換されたデータをデータ表示装置に表示する際に、利用者個人の変更を重視した表現の場合は、個人用データを、一般的な分類を重視した表現の場合は、変換されたデータを優先して配置することで、該当データを利用者が保存した状態に最も近い配置で、当該変換されたデータと混合してデータ表示装置に表示することができる。
【００２０】
従って、あるリンクが指定された場合に、利用者が以前保存した状態と新たに取得されたデータを混合した形で、マルチメディア情報の持つ構造を自動的に取得し、可視化することで利用者との対話的な処理による表示／表現の変更を行いつつ、リンク遷移を行うことができるようになる。これにより、マルチメディア情報の持つ構造の意味的な表現を行った上に、利用者の好みに応じた並べ替えを行い、それを保存したり、状況に応じた整理法で表示を行うなどといった、利用者との対話的な処理を行うことが可能となる。
【００２１】
さらに、本発明では、リンクの記述に対応する集合や属性といった構造情報を取得する処理は、意味付構造格納手段に格納されたマルチメディア情報の階層・順序関係や集合、属性の記述などの意味が付加された構造情報を取得し、当該構造情報を用いて、当該リンクによって指定されたデータから辿ることのできる集合の属性及び当該リンクの属性を取り出して、該当データ全体の型式を判定する処理により、当該リンクによって指定されたデータの集合の型式を判定している。
【００２２】
一方、該当データ全体を判定された型式を表すデータに変換する処理では、該当データ全体の型式を判定する処理で判定された型式を用いて、当該リンクによって指定されたデータの集合を、意味的な表現となる背景画とその上に情報一つ一つを表す記述に変換し、変換されたデータをデータ表示装置に表示する処理によって、データ表示装置上に表示することで、マルチメディア情報の持つ構造に応じたデザインを個別に行うことなし、それらの意味的な表現を行うことができ、利用者の選択によるリンク遷移によって情報の構造を鳥瞰しながら必要な情報を閲覧することができるようにしている。
【００２３】
従って、あるリンクが指定された場合に、マルチメディア情報の持つ構造が自動的に取得、可視化され、利用者が情報の構造を鳥瞰しながらリンク遷移を行うことが可能となる。これにより、マルチメディア情報が持つ構造に応じたデザインを個別に行うことなしに、それらの意味的な表現及び表示を行うことが可能となり、利用者の選択によるリンク遷移によって情報の構造を鳥瞰しながら必要な情報を閲覧することが可能となっている。
【００２４】
さらに、本発明では、変換されたデータの名称及び属性を判定する処理において、該当データ全体を判定された型式のデータに変換する処理により変換されたデータから、当該データを構文解析することによって、名称及び属性を判定し、個人用データ格納手段に格納された個人用データから当該変換されたデータの名称及び属性を用いて選択的に取得する。それらの名称及び属性を用いて個人用データ格納手段に格納された利用者個人が保存した個人用データの中から、今回表示するのに適したデータのみを選択的に取得し、個人用データ及び変換されたデータのいずれかの配置を優先してデータ表示装置に表示する。個人用データ及び変換されたデータをデータ表示装置に表示する際に、利用者個人の変更を重視した表現の場合は、個人データを、一般的な分類を重視した表現の場合は、変換されたデータを優先して配置することで、該当データを利用者が保存した状態に最も近い配置で、当該変換されたデータと混合してデータ表示装置に表示することができる。
【００２５】
従って、あるリンクが指定された場合に、利用者が以前保存した状態と新たに取得されたデータを混合した形で、マルチメディア情報の持つ構造を自動的に取得し、可視化することで利用者との対話的な処理による表示／表現の変更を行いつつ、リンク遷移を行うことができるようになる。これにより、マルチメディア情報の持つ構造の意味的な表現及び表示を行った上に、利用者の好みに応じた並べ替えを行い、それを保存したり、状況に応じた整理法で表示を行うなどといった、利用者との対話的な処理を行うことが可能である。
【００２６】
また、本発明は、意味付構造格納手段、構造情報取得手段、型式判定手段を有するサーバと、データ表示手段を有するクライアントからなるマルチメディア情報変換表示システム、意味付構造格納手段、構造情報取得手段、型式判定手段と、データ表示手段をひとつの装置とするマルチメディア情報変換表示装置としての２つの構築パターンが実現できる。
【００２７】
【発明の実施の形態】
図３は、本発明のマルチメディア情報変換表示システム構成図である。
同図に示すシステムは、サーバ１００とクライアント２００から構成される。
なお、同図では、マルチメディア情報変換表示装置をクライアント／サーバ型で実現している例を示しているが、クライアントとサーバ間の通信を計算機内のプロセス間通信、もしくは、オブジェクト間のメッセージ通信、関数呼出しなどによみかえることで単一システム（マルチメディア情報変換表示装置）としての実現も可能である。
【００２８】
サーバ１００は、意味的構造格納部１１０、サーバ側通信制御部１２０、意味付構造取得制御部１３０、型式判定部１４０、記述変換部１５０から構成される。
サーバ１００の意味的構造格納部１１０は、マルチメディア情報の階層・順序関係や集合、属性の記述などの意味が付加された構造情報を格納する。
【００２９】
サーバ側通信制御部１２０は、クライアント２００との通信を行う。
意味付構造取得制御部１３０は、意味付構造格納部１１０からリンクの記述に対応する集合や属性といった構造情報を取得する。
型式判定部１４０は、構造情報の集合に対応する属性や、当該リンクの指定するデータから辿ることのできる集合の属性及び当該リンクの属性を用いて、該当データ全体の型式を判定する。
【００３０】
記述変換部１５０は、該当データ全体を判定された型式を表すデータに変換する。
クライアント２００は、起動部２１０、表示制御部２２０、データ取得制御部２３０、クライアント側通信制御部２４０、及びデータ表示装置２５０から構成される。
【００３１】
起動部２１０は、表示制御部２２０を起動する。
表示制御部２２０は、サーバ１００で変換されたデータをデータ表示装置２５０に表示する。
データ取得制御部２３０は、サーバ１００で変換されたデータを取得して表示制御部２２０に転送する。
【００３２】
クライアント側通信制御部２４０は、サーバ１００との通信を行う。
データ表示装置２５０は、表示制御部２２０から渡されたデータを表示する。
次に、上記の構成の動作を説明する。
サーバ１００の意味的構造取得制御部１３０は、あるリンクが指定された場合に、意味付構造格納部１１０から、当該リンクの記述に対応する集合や属性といった構造情報を取得する。
【００３３】
次に、型式判定部１４０が構造情報の集合に対する属性や、当該リンクの指定するデータから辿ることのできる集合の属性及び当該リンクの属性を用いて、該当データ全体の型式を判定する。
記述変換部１５０は、該当データ全体を型式判定部１４０で判定された型式を表すデータに変換し、サーバ側通信制御部１２０に転送する。
【００３４】
これにより、サーバ側通信制御部１２０は、ネットワークを介してクライアント２００にデータを送信する。
クライアント２００では、データ取得正誤部２３０がサーバ１００から転送されたデータを表示制御部２２０に渡し、データ表示装置２５０に表示する。
これにより、マルチメディア情報の持つ構造を自動的に取得し、可視化することが可能となり、利用者がリンク遷移を行うことができる。
【００３５】
【実施例】
以下、本発明の実施例を図面を用いて説明する。
本発明は、国際的な標準のＳＧＭＬ(Standard Generalized Markup Language)に代表される構造化記述言語等により構造化されたマルチメディア情報の変換システム全般に関して有効である。
【００３６】
本実施例では、構造化記述言語の一例としてＨＴＭＬ(Hyper Text Markup Language)を用いて説明する。
［第１の実施例］
図４は、本発明の第１の実施例のマルチメディア情報変換表示システムの構成を示す。同図に示すシステムは、マルチメディア情報変換表示システムをクライアント／サーバ型で実現しているが、クライアントとサーバ間の通信を計算機内のプロセス間通信、もしくは、オブジェクト間のメッセージ通信、関数呼出しなどに読み替えることで、単一システム（マルチメディア情報変換表示装置）としての実現も可能である。
【００３７】
同図に示すシステムは、サーバ１００とクライアント２００から構成される。
サーバ１００は、意味付構造格納部１１０、サーバ側通信制御部１２０、意味付構造取得制御部１３０、型式判定部１４０、記述変換部１５０から構成される。
クライアント２００は、起動部２１０、表示制御部２２０、本棚型データ取得制御部２３０、クライアント側通信制御部２４０及び本棚型データ表示装置２５０から構成される。
【００３８】
意味付構造格納部１１０は、図５に示すようなマルチメディア情報の階層・順序関係や集合、属性の記述などの意味が付加された構造情報を格納している。図５の例では、ｒｏｏｔというデータからグループＧ１，Ｇ２という２つのグループへの構造的リンクＬ１，Ｌ７が出ていて、グループＧ１，Ｇ２はどちらもｂｏｏｋという属性を持っていることを表している。
【００３９】
図５のような意味が付加された構造情報を格納するためのデータ形式としては、例えば、図６、図７に示したような表形式で格納することができる。
図６は、本発明の第１の実施例の図５に示すような意味が付加された構造情報を格納するためのリンク管理表の例であり、リンクを管理するためのリンク番号に対して、当該リンクに対応するＵＲＬ（Uniform Resource Locator）と呼ばれるインターネット上の情報のアドレス、ＵＲＬに対応するデータのＩＤ、該データの階層ＬＶ、該データから出ているリンクのリスト、当該リンクの属性が登録されている。この表には、リンク番号ｒｏｏｔが必ず登録される。
【００４０】
図６には、図５におけるデータｒｏｏｔは、“http://server/index.html”というＵＲＬに対応し、０階層目のデータであり、そこからＬ１、Ｌ７のリンクが張られていることが示されている。同様に、データＤ１がリンクＬ１として登録され、“http://server/book1/chap1.html”というＵＲＬに対応し、１階層目のデータであり、そこからＬ２，Ｌ３，Ｌ４のリンクが張られていることが示されている。さらに、リンク番号Ｌ１のリンクは、リンク属性によって、「構造」を表すリンクであり、「１階層下」のデータへのリンク以降、リンク番号Ｌ２からＬ１１までもＬ１と同様な形式で記述されている。ここで、Ｌ５，Ｌ６にあるリンク先の欄の「＝Ｌ３」、「＝Ｌ４」という記述は、Ｌ３，Ｌ４などで既に展開が済んでいるものを参照するという意味であり、この行は、リンク属性のみが意味を持っている。また、リンク属性「参照」は、構造的意味を全く持たないリンクであることを示している。
【００４１】
図７は、本発明の第１の実施例の図５に示すような意味が付加された構造情報を格納するためのグループ管理表の例であり、グループを管理するためのＩＤに対して、当該グループを構成する構成データ、当該グループの意味を表すグループ属性が登録されている。この表の他に、全てのデータを含み、グループ属性の無いグループｒｏｏｔが必ず存在する。
【００４２】
図７には、図５におけるグループＧ１からＧ４が登録されいる。グループＧ１は、図６のリンク管理表におけるデータＤ１からＤ４がＤ１→Ｄ２→Ｄ３→Ｄ４という順番で属していることが示されている。さらに、属性「ｂｏｏｋ」を持つことによって、このグループは本的な構造をしていることが表されている。同様に、グループＧ２は、データＤ７からＤ１１が、Ｄ７→Ｄ８→Ｄ９→Ｄ１０→Ｄ１１の順で属し、本的な構造をしていること、グループＧ３は、データＤ８のみが属していること、グループＧ４は、データＤ９からＤ１１がＤ９→Ｄ１０→Ｄ１１の順で属していることが示されている。グループＧ２からＧ４に属するデータの重なりから、グループＧ３とＧ４はグループＧ２に包含されていることが示されている。
【００４３】
次に、図４に示すマルチメディア情報変換表示システムの動作について順を追って説明する。
図４は、本発明の第１の実施例として、表現／表示する意味的な構造情報が、内容的にひとかたまりな情報が複数集まることによってできるリスト的な構造に対して、本棚型の表現／表示を行う場合について記述している。
【００４４】
利用者は、図４に示す起動部２１０によってシステムに対して指示を行う。但し、システムが初期状態の場合は、利用者による指示としてｒｏｏｔのリンクが指定されたものとして以下の処理を行う。利用者によるリンクの指定が起動部２１０に伝えられた場合、起動部２１０から表示制御部２２０に当該リンクの指定が送信される。
【００４５】
表示制御部２２０では、リンクの指定が受信されると本棚型データ取得制御部２３０に当該リンクの指定が送信される。
本棚型データ取得制御部２３０では、リンクの指定が受信されると、当該リンクの指定が自計算機内に存在する（ローカルの）リンクの指定であるかどうかを判断し、ローカルでなかった場合は、当該リンクの指定をクライアント側通信制御部２４０に送る。
【００４６】
クライアント側通信制御部２４０では、送られたリンクの指定及びクライアント／サーバ間通信に必要な情報を通信路を用いてサーバ側通信制御部１２０に送信した後、サーバ１００からの応答を待つ。キャッシュ機構を実現する場合は、このクライアント側通信制御部２４０で実装を行うことができる。
サーバ側通信制御部１２０では、常時、クライアント型通信制御部２４０からの要求を待ち受けている。クライアント側通信制御部２４０からの要求があった場合は、要求の通信情報からリンクの指定を取り出し、意味付構造取得制御部１３０に送る。
【００４７】
意味付構造取得制御部１３０では、送られたリンクの指定を用いて、意味付構造格納部１１０を検索し、当該リンクの指定に対応する構造情報を取得する。
意味付構造格納部１１０には、図５に示したような構造情報が格納されているが、まず、当該リンクの指定によって指定されるグループを取得し、型式判定部１４０へと送る。
【００４８】
型式判定部１４０では、当該リンクの指定によって指定されるグループの属性があった場合は、その属性をデータ全体の型式とする。逆に、グループの属性がなかった場合は、当該リンクの指定によって指定されるデータから辿ることのできる最初のグループの属性及びリンクの属性を用いて、データ全体の型式を判定する。本実施例では、ｒｏｏｔのリンクが指定されたものとしているので、当該リンクの指定によって指定されるグループｒｏｏｔの属性は利用できない。そこで、データｒｏｏｔから辿ることのできるグループＧ１，Ｇ２の属性「ｂｏｏｋ」及びリンクＬ１，Ｌ７の属性「構造（１層下）」を用いて「本棚型」の型式であることを判断する。本棚型の構造情報としては、「ｂｏｏｋ」属性があるグループより細かい構造情報は必要ないため、図８のような形の構造情報が抽出される。ここで、例えば、リンクＬ１がリンクの指定として与えられた場合は、リンクＬ１によって指定されるグループＧ１が属性「ｂｏｏｋ」を持つことにより、意味付構造取得制御部１３０へ同一グループ内の構造情報を取得する要求を送信することによって、図９のような構造情報が抽出される。
【００４９】
型式判定部１４０で、どうしても型式が判定できない場合は、「ネットワーク型」の型式とみなされ、要求されたリンクの指定のみによって構成される構造情報が抽出される。また、クライアント側通信制御部２４０から、要求する情報の種類をクライアント／サーバ間通信に必要な情報の一つとして含めることによって、型式判定部１４０の処理を行わずに、意味付構造取得制御部１３０において、当該要求された情報の種類に合致するように強制的に変形した構造情報の取得を行うこともできる。
【００５０】
型式判定部１４０における処理が終了した構造情報は、記述変換部１５０に送られ、図１０のような記述形式に変換される。該当の構造情報は、型式判定部１４０により「本棚型」であることが判断されてるので、本棚型の記述が行われる。図１０の例においては、＜ｂｏｏｋｌｉｓｔ＞〜＜ｂｏｏｋｌｉｓｔ＞に挟まれた区間は１つの本棚を表し、＜ｉｎｄｅｘ＞〜＜／ｉｎｄｅｘ＞はその本棚の元となったデータを表し、本棚の題名など、属性を決定するのに利用される。ここで、＜ｉｎｃｌｕｄｅｓｒｃ＝“ＵＲＬ”＞は、その部分をＵＲＬで指定されたデータで置き換えるという意味である。また、＜ｂｏｏｋｓｒｃ＝“ＵＲＬ”＞は、１冊の本を表している。本一冊ずつの属性が判断できる場合には、＜ｂｏｏｋ＞のオプションとして「ａｔｔｒｉｂｕｔｅ名＝“属性”」の型式で記述する。
【００５１】
例えば、＜ｂｏｏｋｓｒｃ＝”http://server/book1/chap1,html”ｔｉｔｌｅ＝“例の本１” ｐｓｉｚｅ＝“１００”＞では、ｓｒｃで指定されたＵＲＬ「http://server/book1/chap1.html」によって示される本型の情報のタイトルは、「例の本１」で、総ページ数は１００ページであることを示す。一方、型式判定部１４０により「本型」であることが判断された場合は、＜ｂｏｏｋ＞〜＜／ｂｏｏｋ＞に挟んだ＜ｉｎｃｌｕｄｅｓｒｃ＝“ＵＲＬ”＞によって、１冊の本を表し、＜ｉｎｃｌｕｄｅｓｒｃ＝“ＵＲＬ”＞の順序によって本内部の並び順を記述する。
【００５２】
記述変換部１５０で変換された構造情報の記述は、サーバ側通信制御部１２０に送り返される。サーバ側通信制御部１２０では、該構造情報の記述に、クライアント／サーバ側通信に必要な情報を付加した後、通信路を用いてクライアント側通信制御部２４０に応答を返す。
クライアント側通信制御部２４０では、サーバ１００からの応答を受けて、構造情報の記述を受信する。クライアント側通信制御部２４０では、受信したクライアント／サーバ間通信に必要な情報を用いて、構造情報の記述が自分の要求した情報かどうかを判断して、自分の要求した情報でない場合は、エラーを本棚型データ取得制御部２３０に送る。自分の要求した情報であった場合は、構造情報の記述を本棚型データ取得制御部２３０に送る。
【００５３】
本棚型データ取得制御部２３０では、元々ローカルのリンク指定であると判断されていた場合は、ローカルの構造情報の記述を読み取り、ローカルでなかった場合はクライアント側通信制御部２４０から送られた構造情報の記述を受け取る。当該構造情報の記述は、「本棚型」であるため、当該構造情報の記述中の本棚の属性により本棚の種類を特定し、本棚の表現となる画像と、本の配置に関するデータを作成する。このとき、当該構造情報の記述中の本の属性が利用できる場合は、その情報に従って配置する処理を付加することで、意味的な配置を実現することもできる。通常、本の属性が利用できない場合は、配置可能な順に本を配置する。
【００５４】
表示制御部２２０では、本棚型データ取得制御部２３０から送られたデータを基に、本棚の画像を取得し、本の配置を画像中の座標に変換し、本を表す背表紙などの画像の取得を行い、本の題名の配置を行い、本棚型データ表示装置２５０へと送り、図１１のような表示を得る。
図１１は、本発明の第１の実施例の本棚型の表現／表示の一例を模式的に示した図である。本棚を表す画像を背景画として、左側の机の上に、クライアント側通信制御部２４０から取得した構造情報の記述による本の表現２冊を配置している。これらの表現は、同図に示したＵＲＬと対応しており、利用者によってこれらが選択された場合、サーバに対してこのＵＲＬをリンクとして要求し、本型の情報を得ることができる。図１１では、説明のため、簡略化した画像としているが、実際はもっと写実的な表示を行うことで、利用者の経験に基づく判断を喚起することができる表現となる。さらに、図１１は、マルチメディア情報の持つ構造に対して、それが本であり、その本を整理する本棚であるという可視化を行った表現であるということができる。
【００５５】
本棚型データ表示装置２５０として、ＧＵＩ(Graphical User Interface)を備えたディスプレイを用いることで、ポインティングデバイスによるＧＵＩ上の本の表現を指定することで、対応するリンクを選択したという指示を、起動部２１０に伝えることができる。
次に、型式判定部１４０の動作を説明する。
【００５６】
図１２は、本発明の第１の実施例の型式判定部のフローチャートである。
ステップ１０１）当該ステップは、型式判定部１４０の処理全体を表し、意味付構造取得制御部１３０から送られたクライアント２００から要求されたコンテンツを指定するリンクを受け取り、処理を開始する。
ステップ１０２）その後、該当リンクによって指定されるグループを特定し、そのグループが属性を持っているかどうかを判定する。
【００５７】
ステップ１０３）属性があった場合は、その属性を当該グループの型式として採用して型式判定部１４０の処理を終了する。
ステップ１０４）ステップ１０２において属性がなかった場合は、ＢＴ及びＢＳＴを０にする。ＢＴ及びＢＳＴは、後で当該グループが「本型」であるか「本棚型」であるかを判定するための指標とするために使う。
【００５８】
ステップ１０５）その後、ステップ１０１に渡されたリンクによって指定されるデータを解析し、該当データから辿ることができる全てのリンクＬ（ｉ）に対して、以下のステップ１０６からステップ１０９の処理を繰り返す。
ステップ１０６）リンクＬ（ｉ）の属性、及びリンクＬ（ｉ）によって指定されるデータの属するグループの属性によって分岐を行う。まず、リンクＬ（ｉ）によって指定されるデータの属するグループの属性に「ｂｏｏｋ」が含まれる場合、ステップ１０１に渡されたリンクによって指定されるグループは、本の情報を管理している本棚型の構造であることがわかる。
【００５９】
ステップ１０７）このため、当該グループを「本棚」型式と判定した後、ステップ１０１、即ち、型式判定部１４０の処理を終了する。
ステップ１０８）また、リンクＬ（ｉ）の属性が、下位もしくは、同位への「構造」であった場合は、階層的な「本型」の情報構造が記述されている可能性があるため、ＢＴを１増加させ、「本型」の情報構造への寄与を表し、ステップ１０５のループを継続する。
【００６０】
ステップ１０９）同様にリンクＬ（ｉ）の属性が、上位への「構造」もしくは、単なる「参照」であった場合は、相互に階層的な関係のない種々の情報をまとめている「本棚型」の情報構造が記述されている可能性があるため、ＢＳＴを１増加させ、「本棚型」の情報構造への寄与を表し、ステップ１０５のループを継続する。その他の場合は何もせずにステップ１０５のループを継続する。
【００６１】
ステップ１１０）ステップ１０５の結果として得られたＢＴ、ＢＳＴの値を用いて分岐を行う。本実施例では、最も単純な判定法を採用して、ＢＴがＢＳＴよりも小さい場合は、ステップ１１１に移行し、そうでない場合には、ステップ１１２に移行する。
ステップ１１１）ＢＴがＢＳＴよりも小さい場合は、当該グループを「本棚」型式と判定して、ステップ１０１、即ち、型式判定部１４０の処理を終了する。
【００６２】
ステップ１１２）ＢＴがＢＳＴ以上の場合は、当該グループを「本」型式と判定してステップ１０１、即ち、型式判定部１４０の処理を終了する。
なお、ステップ１１０において、（ＢＴ＋ＢＳＴ）がある閾値以上でない場合は、当該グループを「ネットワーク」型式と判定するようにもできる。
以上のような処理によって、型式判定部１４０に渡されたリンクによって指定されるコンテンツ（グループ）の型式を判定することができ、その後、その型式のデータを構成するのに必要な情報を意味付構造取得制御部１３０を通じて取得することができるようになる。
【００６３】
上述のように、本発明の実施例に係るマルチメディア情報変換表示システムを用いることで、リンクにより指定した情報の構造を判定し、判定された情報の構造に最適なデータ表現、及びメタファなどの併用による分かりやすい表示法を用いて、マルチメディア情報の持つ構造が自動的に可視化される。
利用者は、この例では、本棚というメタファ的な表現によって、ここに表現されているのが、本のような一つ一つはある程度まとまった情報を集めたものであることを認識することができ、言い換えれば、マルチメディア情報の持つ構造を鳥瞰しながら、必要な情報、即ち、遷移すべきリンクを選択することができるようになる。
【００６４】
［第２の実施例］
以下、本発明の第２の実施例を説明する。
図１３は、本発明の第２の実施例のマルチメディア情報変換表示システム構成を示す。
同図では、図４に示した第１の実施例に係るマルチメディア情報変換表示システムに対して、本棚型データ取得制御部２３０の改変を行っている。図１３において図４の構成と同一構成部分については同一符号を付し、その説明を省略する。
【００６５】
サーバ１００は、図４の構成と同様であるため、説明を省略する。
クライアント２００は、起動部２１０、表示制御部２２０、本棚型データ取得制御部２３０、クライアント側通信制御部２４０、本棚型データ表示装置２５０、名称判定部２６０、個人用本棚データ格納部２７０、配置部２８０から構成される。
【００６６】
クライアント側通信制御部２４０でサーバ１００から受信した構造情報の記述は、エラーでなかった場合は、名称判定部２６０へと送られる。
名称判定部２６０では、クライアント側通信制御部２４０から送られた構造情報の記述を受け取り、当該記述を構文解析することによって、名称及び属性を判定する。構文解析は、例えば、＜ｉｎｄｅｘ＞〜＜ｉｎｄｅｘ＞で挟まれた部分の＜ｉｎｃｌｕｄｅｓｒｃ＝“ＵＲＬ”＞で指定されるＨＴＭＬなどの文書中から＜ｈｅａｄ＞〜＜／ｈｅａｄ＞中の＜ｔｉｔｌｅ＞でマークアップされた文字列を取得するなどの処理を行うことで実現される。取得された名称及び属性は、クライアント側通信制御部２４０から送られた構造情報の記述と共に、本棚型データ取得制御部２３０に送られる。
【００６７】
本棚型データ取得制御部２３０では、元々ローカルのリンク指定であると判断されていた場合は、ローカルの構造情報の記述を読み取り、ローカルでなかった場合は、名称判定部２６０から送られた名称及び属性、クライアント側通信制御部２４０から送られた構造情報の記述を受け取る。当該構造情報の記述は、「本棚型」であるため、個人用本棚データ格納部２７０からクライアント２００のローカルに保存されている本棚型の表現／表示を行う際のデータを取得する。
【００６８】
個人用本棚データ格納部２７０には、基本的に、図１４に示したような利用者個人のローカルに保存したデータが表型式で格納されている。もちろん、本の属性が存在する場合は、該当のＩＤに対して属性が保存されている。図１４中のＵＲＬは、クライアント側通信制御部２４０から送られた構造情報の記述に書かれている＜ｂｏｏｋｓｒｃ＝“ＵＲＬ”＞に相当する。また、「本棚の属性」欄、「位置」欄には、利用者による対話的な処理の結果、保存されたどの種類の本棚に対して表示されるのか、表示される場合は、どの位置に表示されるのかが記載されている。ＩＤ「Ｂ１」の本は、本棚の属性欄に「＜ａｌｌ＞」、位置欄が空白となっているため、全ての本棚に表示され、場所は適当に決めて良い本であり、ＩＤ「Ｂ２」の本は、「ＮＴＴ」という題名の本棚の「書籍」「中段」に表示される本であることがわかる。本棚の属性欄は、本棚の名称だけでなく、本棚を指定するＵＲＬ中に含まれるサーバ名などの文字列や、「検索結果の本棚」などといった本棚の属性そのものでも良い。位置欄も同様で、「書籍の中段右から３番目」などの細かな指定でも良いし、「机上」などの大まかな指定でもよい。
【００６９】
本棚型データ取得制御部２３０では、これらの個人用本棚データ格納部２７０に格納されたデータから、名称判定部２６０から送られた名称及び属性に適合するデータのみを選択的に取得して、ローカルもしくは、クライアント側通信制御部２４０から送られた構造情報の記述と併せて配置部２８０へ送る。
配置部２８０では、本棚型データ取得制御部２３０から送られたデータを解析／混合して本棚の表現としての配置を行うわけだが、名称判定部２６０から送られた属性から、利用者個人の変更を重視した表現や一般的な分類を重視した表現などの、本棚の特性が得られた場合は、それを用いて配置を行う。本棚の特性が得られなかた場合は、利用者個人の変更を重視した表現を用いる。
【００７０】
配置部２８０の処理では、まず、名称判定部２６０から送られた名称及び属性から、背景画となる本棚の表現となる画像と、本の配置に関するデータを生成する。その後、利用者個人の変更を重視した表現の場合は、個人用本棚データ格納部２７０から取得した個人用データを、一般的な分類を重視した表現の場合は、クライアント側通信制御部２４０から送られた構造情報の記述のデータを優先して配置することで、該当データを利用者が保存した状態に最も近い配置で、当該変換されたデータと混合する。この際、当該構造情報の記述中の本の属性が利用できる場合は、その情報に従って配置する処理を付加することで、意味的な配置を実現することもできる。通常、本の属性が利用できない場合は、配置可能な順に本を配置する。全ての本の配置が終わったら、生成したデータを表示制御部２２０に送る。
【００７１】
表示制御部２２０では、配置部２８０から送られたデータを基に、本棚の画像を取得し、本の配置を画像中の座標に変換し、本を表す背表紙などの画像の取得、本の題名の配置を行い、本棚型データ表示装置２５０へと送り、図１５のような表示を得る。
図１５は、本発明の第２の実施例の本棚の表現／表示の例を模式的に示した図である。本棚を表す画像との題名の文字列を背景画として、左側の机の上に、クライアント側通信制御部２４０から取得した構造情報の記述による本の表現２冊と、個人用本棚データ格納部２７０から取得したデータによるＢ３，Ｂ１を配置し、右側の書棚に、個人用本棚データ格納部２７０から取得したデータによるＢ２を配置している。図１５では、説明のために簡略化した画像としているが、実際はもっと写実的な表示を行うことで、利用者の経験に基づく判断を喚起することができる表現となる。さらに、図１５は、マルチメディア情報の持つ構造に対して、それが本であり、その本を整理する本棚であるという可視化を行った結果の表現であると言うことができる。
【００７２】
本棚型データ表示装置２５０として、ＧＵＩ（Graphical User Interface）を備えたディスプレイを用いることで、ポインティングデバイスによるＧＵＩ上の本の指示を、起動部２１０に伝えることができる。更に、表示した本をドラッグ＆ドロップすることによって、位置等を変化させ、表示制御部２２０から本棚型データ取得制御部２３０に伝え、個人用本棚データ格納部２７０に反映させることによって、利用者との対話的な処理による表示／表現の変更を実現することができる。
【００７３】
次に、本棚型データ取得制御部２３０、名称判定部２６０、配置部２８０における、ローカルもしくは、クライアント側通信制御部２４０から取得した構造情報の記述と、個人用本棚データ格納部２７０から取得したデータを混合する処理について説明する。
図１６は、本発明の第２の実施例の動作を示すフローチャートを示す。
【００７４】
同図では、利用者個人の変更を重視した表現の場合について説明する。
ステップ２０１）本実施例では、本棚型のデータに対する処理について記述しているため、ローカルもしくは、クライアント側通信制御部２４０から渡された構造情報が「本棚」型式かどうかを判定し、「本棚」型式以外であれば、処理を終了する。実際には、これと同様な処理を様々な型式について行うことになる。構造情報が「本棚」型式である場合は、以下のステップ２０２以降を実行する。
【００７５】
ステップ２０２）クライアント側通信制御部２４０から渡された図１０のような構造情報を解析し、＜ｉｎｄｅｘ＞〜＜／ｉｎｄｅｘ＞で挟まれた部分から本棚の名称を取得する。名称は、＜ｉｎｃｌｕｄｅｓｒｃ＝“ＵＲＬ”＞で記述されたＨＴＭＬなどの文書中から取得することができる。
ステップ２０３）空の本棚及び空の登録用リストを作成する。ここで、本棚とは、本棚の名前から特定される本棚の見かけを表す画像の指定、及び机上、本棚などに格納できる本の数や座標情報の集合を指している。また、登録用リストは、後で本棚に登録する位置の決まっていない本を登録するための順序付リストを指している。
【００７６】
ステップ２０４）個人用本棚データ格納部２７０から得られる図１４のような個人用本棚データの要素Ｂ（ｉ）全てに対して、以下のステップ２０５からステップ２０８の処理を繰り返す。
ステップ２０５）個人用本棚データの要素Ｂ（ｉ）の属性を取得し、全ての属性に整合する「＜ａｌｌ＞」もしくは、ステップ２０２で得た本棚の名称を含んでいる場合には、以下のステップ２０６からステップ２０８の処理を実行する。その他の場合には、ステップ２０４のループを継続する。
【００７７】
ステップ２０６）個人用本棚データの要素Ｂ（ｉ）の配置情報による分岐を行う。
ステップ２０７）Ｂ（ｉ）が配置情報を持たない場合、その本型情報はどこの位置に配置しても良いと見做すことができるため、Ｂ（ｉ）をステップ２０３で作成された登録用リストに追加する。
【００７８】
ステップ２０８）Ｂ（ｉ）が配置情報を持っている場合、Ｂ（ｉ）の配置情報を用いてステップ２０３で作成された本棚に配置する。この際、配置情報が重複していた場合は、ステップ２０３で作成された登録用リストの最初に追加する。
以上のようにして、個人用本棚データ格納部２７０に格納されていない本型情報のうち、必要な情報のみを作成中の本棚に登録することができる。
【００７９】
ステップ２０９）クライアント側通信制御部２４０から渡された図１０のような構造情報に登録されている＜ｂｏｏｋｓｒｃ＝“ＵＲＬ”＞などの記述の全てを、ステップ２０３で作成された登録用リストに追加する。
ステップ２１０）この登録用リストに登録された要素Ｂ（ｉ）の全てに対して、ステップ２１１の処理を繰り返す。
【００８０】
ステップ２１１）ステップ２０８で疎らに埋められた本棚の空き部分にＢ（ｉ）を配置する。この際、図１０のような構造情報に記述された＜ｂｏｏｋｓｒｃ＝“ＵＲＬ” 配置＝“本棚”＞などの属性をヒントとして、この例の場合は、本棚に配置するとか、本型情報の題名などから並べ替えを行ってから配置するなどのバリエーションを持たせることができる。
【００８１】
上述したように、本実施例に係るマルチメディア情報変換表示システムを用いることで、リンクにより指定した情報の構造を判定し、判定された情報の構造に最適なデータ表現、及びメタファなどの併用によるわかりやすい表示法を用いて、マルチメディア情報の持つ構造が自動的に可視化される上に、利用者との対話的な処理を行うことができる。これによって、利用者は、この例では、本棚というメタファ的な表現によって、ここに表現されているのが、本のような一つ一つはある程度まとまった情報を集めたものであることを認識することができ、更に、利用者との対話的な処理による表示／表現の変更・整理が実現されることによって、我々が実世界の本棚に対して行っているような整理を行うことができるようになる。
【００８２】
さらに、本棚型データ取得制御部２３０及び名称判定部２６０、配置部２８０に対して、本や本棚の属性による自動的な整理、もしくは、本棚以外の整理／表現法を用いることで、より便利なシステムを構築することもできる。
また、本発明は、図４及び図１３に示すサーバ１００及びクライアント２００の各構成要素をプログラムとして構築し、サーバまたは、クライアントとして用いられるコンピュータに接続されるディスク装置や、フロッピーディスクやＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、本発明を実施する際にインストールすることにより容易に本発明を実現することができる。
【００８３】
なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内で種々変更・応用が可能である。
【００８４】
【発明の効果】
上述のように、本発明によれば、マルチメディア情報の格納、検索、閲覧を目的とするシステムにおいて、ハイパーリンクによって情報間の構造を保持する場合に、そのハイパーリンクに付加された意味を用いて、当該マルチメディア情報の持つ意味的な表現を行う際に、マルチメディア情報の持つ構造に応じたデザインを個別に行うことなしに、それらの意味的な表現を行うことができ、利用者の選択によるリンク遷移によって情報の構造を鳥瞰しながら必要な情報を閲覧することができるようになるという効果がある。
【００８５】
また、本発明によれば、マルチメディア情報の持つ構造の意味的な表現を行った上に、利用者の好みに応じた並べ替えを行ったり、状況に応じた整理を行うなどといった、利用者との対話的／動的な処理を行うことができるようになるという効果がある。
さらに、本発明によれば、ハイパーリンクに付加された意味を用いて、当該マルチメディア情報の持つ意味的な表現を行う際に、マルチメディア情報の持つ構造に応じたデザインを個別に行うことなしに、それらの意味的な表現を行うことができ、利用者の選択によるリンク遷移によって情報の構造を鳥瞰しながら必要な情報を閲覧することができるようになるという効果がある。
【００８６】
また、本発明によれば、マルチメディア情報の持つ構造の意味的な表現を行った上に、利用者の好みに応じた並べ替えを行ったり、状況に応じた整理を行うなどといった、利用者との対話的な処理を行うことができるようになるという効果がある。
【図面の簡単な説明】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明のマルチメディア情報変換表示システムの構成図である。
【図４】本発明の第１の実施例のマルチメディア情報変換表示システムの構成図である。
【図５】本発明の第１の実施例のマルチメディア情報の階層・順序関係や集合、属性の記述などの意味が付加された構造情報の例である。
【図６】本発明の第１の実施例の図５に示すような意味が付加された構造情報を格納するためのリンク管理表の例である。
【図７】本発明の第１の実施例の図５に示すような意味が付加された構造情報を格納するためのグループ管理表の例である。
【図８】本発明の第１の実施例の型式判定部において抽出される本棚型の構造情報の例（その１）である。
【図９】本発明の第１の実施例の型式判定部において抽出される本棚型の構造情報の例（その２）である。
【図１０】本発明の第１の実施例の記述変換部から出力される本棚型の記述例である。
【図１１】本発明の第１の実施例の本棚型の表現／表示の一例を模式的に示した図である。
【図１２】本発明の第１の実施例の型式判定部のフローチャートである。
【図１３】本発明の第２の実施例のマルチメディア情報変換表示システム構成図である。
【図１４】本発明の第２の実施例の個人用本棚データ格納部に表形式で格納される個人用本棚データの例である。
【図１５】本発明の第２の実施例の本棚型の表現／表示の例を模式的に示した図である。
【図１６】本発明の第２の実施例の動作を示すフローチャートである。
【符号の説明】
１００サーバ
１１０構造情報格納手段、意味付構造格納部
１２０送信手段、サーバ側通信制御部
１３０構造情報取得手段、意味付構造取得制御部
１４０型式判定手段、型式判定部
１５０変換手段、記述変換部
２００クライアント
２１０起動部
２２０表示制御部
２３０データ取得制御部、本棚型データ取得制御部
２４０クライアント側通信制御部
２５０データ表示装置、本棚型データ表示装置
２６０名称判定部
２７０個人用本棚データ格納部
２８０配置部[0001]
BACKGROUND OF THE INVENTION
  The present invention provides multimedia information modification.ReplacementLaw andMultimedia information conversion serverAnd multimedia information changesExchangeSteAndMultimedia information changesReplacementIn particular, in a system for storing, retrieving, and browsing multimedia information, when the structure of multimedia information is held using a link between the information, it is related to the storage medium storing the program. Semantic expression of the multimedia information using the added meaningofMultimedia information changes for displayReplacementLaw andMultimedia information conversion serverAnd multimedia information changesExchangeSteAndMultimedia information changesReplacementThe present invention relates to a storage medium storing a program.
[0002]
[Prior art]
Conventionally, in order to perform semantic representation and display of the structure of multimedia information, for example, representation by a link list described in HTML (Hyper Text Markup Language) in WWW (World Wide Web), images and their respective Using a technique called an image map that describes a set of link destinations at points, individually designed expressions and displays are performed.
[0003]
By using such expression / display, the structure of the multimedia information is visualized, and necessary information can be browsed while bird's-eye view of the structure of the information by link transition selected by the user.
[0004]
[Problems to be solved by the invention]
However, in the case of using the above conventional technique, in order to express the structure of multimedia information semantically, it is necessary to individually design according to the structure of the information. It is not necessary to perform the same operation on the structure.
[0005]
  Furthermore, by using a fixed description method such as HTML or image map, interactive processing with the user such as rearranging according to the user's preference or organizing according to the situation is performed. Is difficult.
  The present invention has been made in view of the above points, and uses structure information such as a hierarchy / order relation, set, and attribute description of multimedia information to determine and use an optimum expression / display method for the structure. Interactive processing withNaBy displaying the information on the display device, the structure of the multimedia information is automatically visualized, and the multimedia information can be changed by interactive processing with the user.ReplacementLaw andMultimedia information conversion serverAnd multimedia information changesExchangeSteAndMultimedia information changesReplacementAn object is to provide a storage medium storing a program.
[0006]
[Means for Solving the Problems]
  FIG. 1 is a diagram for explaining the principle of the present invention.
  Main departureTomorrow, A semantic representation of the structure of multimedia informationGenerate information to display client on clientMultimedia information changeReplacementIn law
  When the designation of the first link is received from the client (step 1), the information on the Internet corresponding to the link number for managing the link of the multimedia information based on the first link. An address (hereinafter referred to as URL), an ID of data corresponding to the URL, a hierarchical level of the data, a list of links coming out of the data, a link management table in which attributes of the links are stored in a tabular format; The group information for grouping the data, the ID of the data constituting the group, and the structure information storage means having the group management table in which the group attributes are stored in a table format are searched, and the structure information corresponding to the description of the link is obtained. A structure information acquisition step (step 2) to acquire;
  When the group specified by the first link is specified and the group has a group attribute, the type determination is finished with the group attribute as the type of the entire data, and when the group has no group attribute, If all the second links that can be traced from the data designated by the first link are obtained, and the group attribute of the group to which the data designated by any of the second links belongs is “book”, the data If the type determination is completed after determining that the overall type is a bookshelf type and the type determination is not completed, the index value of the main type is determined based on the link attribute of the second link for each of the second links. The index value BST of the BT or bookshelf type is increased by 1, and the type of the entire data is determined to be a book type or a bookshelf type by the magnitude relationship between the aggregated BT value and BST value. A type determination step of completing a constant (Step 3),
  A conversion step (step 4) for converting the structure information obtained in the structure information acquisition step based on the type of the entire data determined in the type determination step;
  A transmission step (step 5) for transmitting the structure information converted in the conversion step to the client.
[0008]
  FIG. 2 is a principle configuration diagram of the present invention.
  Main departureTomorrow,Connected with the client,Semantic representation of the structure of multimedia informationofdisplayInformation conversion to generate information for the client to performA server,
  For a link number for managing a link of multimedia information, an information address (hereinafter referred to as URL) corresponding to the link, an ID of data corresponding to the URL, a hierarchy level of the data, A list of links from data, a link management table in which attributes of the links are stored in a table format, a group name for grouping the data, an ID of data constituting the group, and a group attribute in a table format A structure information storage means 110 having a group management table for storing;
  When the designation of the first link is received from the client, the structure information storage unit 110 is searched based on the first link, and the structure information acquisition unit 130 acquires the structure information corresponding to the description of the link;
  When the group specified by the first link is specified and the group has a group attribute, the type determination is finished with the group attribute as the type of the entire data, and when the group has no group attribute, All the second links that can be traced from the data designated by one link are obtained, all the second links are obtained, and the group attribute of the group to which the data designated by any of the second links belongs In the case of “book”, it is determined that the type of the entire data is a bookshelf type, and the type determination is completed. If the type determination is not completed, the link of the second link is set for each of the second links. Based on the attribute, the index value BT of the main model or the BST of the book shelf type is increased by 1, and the model of the entire data is converted into the main model according to the magnitude relationship between the aggregated BT value and the BST value. There is a type determining means 140 to terminate the type judgment stipulates that a bookshelf type,
  A conversion unit 150 that converts the structure information obtained by the structure information acquisition unit 110 based on the type of the entire data determined by the type determination unit 140;
  A transmission unit 120 that transmits the structure information converted by the conversion unit 150 to the client;Have
[0010]
  Main departureTomorrow, A semantic representation of the structure of multimedia informationofdisplayIt consists of a server that generates information for causing a client to perform the operation and a client connected to the serverMultimedia information changeExchangeStem,
  The server
  For a link number for managing a link of multimedia information, an information address (hereinafter referred to as URL) corresponding to the link, an ID of data corresponding to the URL, a hierarchy level of the data, A list of links from data, a link management table in which attributes of the links are stored in a table format, a group name for grouping the data, an ID of data constituting the group, and a group attribute in a table format Structure information storage means having a group management table for storing;
  Receiving the designation of the first link from the client, searching the structure information storage means based on the first link, and obtaining the structure information corresponding to the description of the link;
  When the group specified by the first link is specified and the group has a group attribute, the type determination is finished with the group attribute as the type of the entire data, and when the group has no group attribute, All the second links that can be traced from the data designated by one link are obtained, all the second links are obtained, and the group attribute of the group to which the data designated by any of the second links belongs In the case of “book”, it is determined that the type of the entire data is a bookshelf type, and the type determination is completed. If the type determination is not completed, the link of the second link is set for each of the second links. Based on the attribute, the index value BT of the main model or the BST of the book shelf type is increased by 1, and the model of the entire data is converted into the main model according to the magnitude relationship between the aggregated BT value and the BST value. There is a type determining means to end the type judgment stipulates that a bookshelf type,
  Conversion means for converting the structure information obtained by the structure information acquisition means based on the type of the entire data determined by the type determination means;
  Transmission means for transmitting the structure information converted by the conversion means to the client;
Have
  The client
  Means for sending the first link to the server;
  Means for identifying the type of transformed structural information received from the server;
  Depending on the specified model, means to display according to the bookshelf type or book type,Have
[0011]
  Main departureTomorrowAt the client,
  Personal data storage means for storing data stored by individual users;
  Multimedia informationConversionTransferred from the system serverOf converted structure informationName determination means for determining the name and attribute of data;
  From personal data stored in personal data storage meansDetermined dataData acquisition means for selectively acquiring data using the name and attribute of the data;
  Personal data andJudgedDisplay control means for displaying on the display means with priority given to any arrangement of data;,It has further.
[0014]
  Main departureTomorrow, A semantic representation of the structure of multimedia informationGenerate information to display client on clientA storage medium storing a multimedia information conversion method program,
  On the computer,
  When the designation of the first link is received from the client, the information address on the Internet corresponding to the link (hereinafter, referred to as the link number for managing the link of the multimedia information based on the first link). URL), the ID of the data corresponding to the URL, the hierarchical level of the data, a list of links coming out of the data, a link management table in which the attributes of the links are stored in tabular form, and the data as a group Structure information for retrieving the structure information corresponding to the description of the link by searching the structure information storage means having the group management table in which the group name, ID of data constituting the group, and group attributes are stored in a table format An acquisition step;
  When the group specified by the first link is specified and the group has a group attribute, the type determination is finished with the group attribute as the type of the entire data, and when the group has no group attribute, If all the second links that can be traced from the data designated by the first link are obtained, and the group attribute of the group to which the data designated by any of the second links belongs is “book”, the data If the type determination is completed after determining that the overall type is a bookshelf type and the type determination is not completed, the index value of the main type is determined based on the link attribute of the second link for each of the second links. The index value BST of the BT or bookshelf type is increased by 1, and the type of the entire data is determined to be a book type or a bookshelf type by the magnitude relationship between the aggregated BT value and BST value. And model determination step to finish a constant,
  A conversion step for converting the structure information obtained in the structure information acquisition step based on the type of the entire data determined in the type determination step;
  A transmission step of transmitting the structure information converted in the conversion step to the client;
This is a storage medium that stores a multimedia information conversion program that executes.
[0016]
As described above, in the present invention, in the process of acquiring structural information such as a set or attribute corresponding to the description of the link, the hierarchical / order relation, set, or attribute description of the multimedia information stored in the semantic structure storage means The structure information to which meanings such as are acquired is acquired, and the attribute of the set and the attribute of the link that can be traced from the data specified by the link are extracted using the structure information. By determining, the type of the data set designated by the link is determined.
[0017]
On the other hand, when converting the entire corresponding data into data representing the determined type, the set of data specified by the link is semantically converted using the type determined by the type determination process for the entire corresponding data. By converting the data into a description representing the background image and the information on each of them, and displaying the converted data on the data display device, the multimedia information is displayed. It is possible to express them semantically without having to individually design according to the structure they have, and it is possible to browse the necessary information while bird's-eye view of the information structure by link transition by user selection To do.
[0018]
Therefore, when a certain link is designated, the structure of the multimedia information is automatically acquired and visualized, so that the user can perform link transition while looking at the information structure. As described above, according to the present invention, it is possible to automatically perform design according to the structure of multimedia information, which is impossible with the conventional technology, and it is possible to express them semantically. The necessary information can be browsed while bird's-eye view of the structure of information by link transition by user's selection.
[0019]
Further, in the present invention, in the process of determining the name and attribute of the converted data, it is converted by the process of converting the entire corresponding data into the determined type data in the multimedia information conversion display method. From the data, the data is parsed to determine the name and attribute, and selectively obtained from the personal data stored in the personal data storage means using the converted data name and attribute. At this time, only the data suitable for display this time is selectively acquired from the personal data stored by the individual user stored in the personal data storage means using those names and attributes. The data display device displays the data data and the converted data with priority. When displaying personal data and converted data on the data display device, in the case of an expression that emphasizes the change of the individual user, in the case of an expression that emphasizes a general classification, By preferentially arranging the converted data, the corresponding data can be mixed with the converted data and displayed on the data display device in an arrangement closest to the state stored by the user.
[0020]
Therefore, when a certain link is specified, the user can automatically obtain and visualize the structure of multimedia information in a form that mixes the previously saved state with the newly acquired data. The link transition can be performed while the display / expression is changed by the interactive processing. In this way, after making a semantic representation of the structure of multimedia information, it can be rearranged according to the user's preference and saved, or displayed in a organized manner according to the situation, etc. It is possible to perform interactive processing with the user.
[0021]
Further, in the present invention, the process of acquiring structural information such as a set or attribute corresponding to the description of the link means the hierarchy / order relation of multimedia information stored in the semantic structure storage means, the meaning of the description of the set or attribute, Is obtained by acquiring the structure information to which is added, extracting the attribute of the set that can be traced from the data specified by the link and the attribute of the link using the structure information, and determining the type of the corresponding data as a whole Thus, the type of the data set designated by the link is determined.
[0022]
On the other hand, in the process of converting the entire corresponding data into data representing the determined type, the set of data specified by the link is semantically converted using the type determined in the process of determining the type of the entire corresponding data. By converting the background image, which is a simple expression, into a description representing each piece of information on the background image, and displaying the converted data on the data display device, the multimedia information is displayed. It is possible to express them semantically without individually designing according to the structure they have, and to browse the necessary information while bird's-eye view of the information structure by link transition by user selection I have to.
[0023]
Therefore, when a certain link is designated, the structure of the multimedia information is automatically acquired and visualized, and the user can perform link transition while looking at the information structure. This makes it possible to express and display them semantically without having to individually design according to the structure of multimedia information, and provide a bird's-eye view of the information structure through link transitions selected by the user. However, it is possible to browse the necessary information.
[0024]
Furthermore, in the present invention, in the process of determining the name and attribute of the converted data, by parsing the data from the data converted by the process of converting the entire corresponding data into the determined type data, The name and attribute are determined, and selectively obtained from the personal data stored in the personal data storage means using the name and attribute of the converted data. Only the data suitable for display this time is selectively acquired from the personal data stored by the individual user stored in the personal data storage means using those names and attributes, and the personal data and Any arrangement of the converted data is preferentially displayed on the data display device. When displaying personal data and converted data on the data display device, the personal data is converted in the case of the expression that emphasizes the change of the individual user, and the expression is converted in the case of the expression that emphasizes the general classification. By arranging the data preferentially, the corresponding data can be mixed with the converted data and displayed on the data display device in an arrangement closest to the state stored by the user.
[0025]
Therefore, when a certain link is specified, the user can automatically obtain and visualize the structure of multimedia information in a form that mixes the previously saved state with the newly acquired data. The link transition can be performed while the display / expression is changed by the interactive processing. As a result, the semantic representation and display of the structure of the multimedia information is performed, and then rearranged according to the user's preference and saved, or displayed in an organized manner according to the situation. It is possible to perform interactive processing with the user, such as.
[0026]
The present invention also provides a multimedia information conversion display system comprising a server having meaning structure storage means, structure information acquisition means, type determination means, and a client having data display means, meaning structure storage means, structure information acquisition means. Two construction patterns can be realized as a multimedia information conversion display device in which the type determination means and the data display means are one device.
[0027]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 3 is a configuration diagram of the multimedia information conversion display system of the present invention.
The system shown in the figure includes a server 100 and a client 200.
The figure shows an example in which the multimedia information conversion display device is realized in a client / server type. However, communication between the client and the server is communication between processes in a computer or message communication between objects. It can be realized as a single system (multimedia information conversion display device) by changing the function call.
[0028]
The server 100 includes a semantic structure storage unit 110, a server-side communication control unit 120, a meaningful structure acquisition control unit 130, a type determination unit 140, and a description conversion unit 150.
The semantic structure storage unit 110 of the server 100 stores structure information to which meanings such as a hierarchy / order relation, set, and attribute description of multimedia information are added.
[0029]
The server side communication control unit 120 communicates with the client 200.
The semantic structure acquisition control unit 130 acquires structural information such as a set and an attribute corresponding to the description of the link from the semantic structure storage unit 110.
The type determination unit 140 determines the type of the entire corresponding data using the attribute corresponding to the set of structure information, the attribute of the set traceable from the data designated by the link, and the attribute of the link.
[0030]
The description conversion unit 150 converts the entire corresponding data into data representing the determined type.
The client 200 includes an activation unit 210, a display control unit 220, a data acquisition control unit 230, a client side communication control unit 240, and a data display device 250.
[0031]
The activation unit 210 activates the display control unit 220.
The display control unit 220 displays the data converted by the server 100 on the data display device 250.
The data acquisition control unit 230 acquires the data converted by the server 100 and transfers it to the display control unit 220.
[0032]
The client side communication control unit 240 performs communication with the server 100.
The data display device 250 displays data passed from the display control unit 220.
Next, the operation of the above configuration will be described.
When a certain link is designated, the semantic structure acquisition control unit 130 of the server 100 acquires structural information such as a set and an attribute corresponding to the description of the link from the meaningful structure storage unit 110.
[0033]
Next, the type determination unit 140 determines the type of the entire corresponding data using the attribute for the set of structure information, the attribute of the set traceable from the data designated by the link, and the attribute of the link.
The description conversion unit 150 converts the entire corresponding data into data representing the type determined by the type determination unit 140 and transfers the data to the server-side communication control unit 120.
[0034]
Thereby, the server side communication control part 120 transmits data to the client 200 via a network.
In the client 200, the data acquisition corrector 230 passes the data transferred from the server 100 to the display controller 220 and displays it on the data display device 250.
As a result, the structure of the multimedia information can be automatically acquired and visualized, and the user can perform link transition.
[0035]
【Example】
Embodiments of the present invention will be described below with reference to the drawings.
The present invention is effective for a general multimedia information conversion system structured by a structured description language represented by an international standard SGML (Standard Generalized Markup Language).
[0036]
In this embodiment, description will be made using HTML (Hyper Text Markup Language) as an example of a structured description language.
[First embodiment]
FIG. 4 shows the configuration of the multimedia information conversion display system according to the first embodiment of the present invention. The system shown in the figure realizes the multimedia information conversion display system in the client / server type, but communication between the client and server is communication between processes in a computer, message communication between objects, function call, etc. It can be realized as a single system (multimedia information conversion display device).
[0037]
The system shown in the figure includes a server 100 and a client 200.
The server 100 includes a meaningful structure storage unit 110, a server-side communication control unit 120, a meaningful structure acquisition control unit 130, a type determination unit 140, and a description conversion unit 150.
The client 200 includes an activation unit 210, a display control unit 220, a bookshelf type data acquisition control unit 230, a client side communication control unit 240, and a bookshelf type data display device 250.
[0038]
The meaning-added structure storage unit 110 stores structure information to which meanings such as a hierarchy / order relation, set, and attribute description of multimedia information as shown in FIG. 5 are added. In the example of FIG. 5, there are structural links L1 and L7 to the two groups G1 and G2 from the data “root”, which indicate that both groups G1 and G2 have the attribute “book”. .
[0039]
As a data format for storing the structure information to which the meaning as shown in FIG. 5 is added, for example, it can be stored in a table format as shown in FIGS.
FIG. 6 is an example of a link management table for storing the structure information to which the meaning as shown in FIG. 5 of the first embodiment of the present invention is added. For the link number for managing the link, FIG. The address of information on the Internet called URL (Uniform Resource Locator) corresponding to the link, the data ID corresponding to the URL, the hierarchy LV of the data, the list of links coming out of the data, and the attributes of the link It is registered. In this table, the link number root is always registered.
[0040]
In FIG. 6, the data root in FIG. 5 corresponds to the URL “http: //server/index.html”, is the data of the 0th layer, and links L1 and L7 are extended from there. It is shown. Similarly, the data D1 is registered as the link L1, and corresponds to the URL “http: //server/book1/chap1.html”, which is the data of the first layer, from which the links L2, L3, and L4 are extended. It is shown that. Further, the link with the link number L1 is a link representing “structure” by the link attribute, and the link numbers L2 to L11 are described in the same format as that of L1 after the link to the data of “one layer lower”. Yes. Here, the description of “= L3” and “= L4” in the link destination column in L5 and L6 means that what has already been expanded in L3, L4, etc. is referred to. Only the link attribute is meaningful. The link attribute “reference” indicates that the link has no structural meaning.
[0041]
FIG. 7 is an example of a group management table for storing the structure information to which the meaning as shown in FIG. 5 of the first embodiment of the present invention is added. For the ID for managing the group, Configuration data constituting the group and a group attribute representing the meaning of the group are registered. In addition to this table, there is always a group root that includes all data and has no group attribute.
[0042]
In FIG. 7, the groups G1 to G4 in FIG. 5 are registered. The group G1 indicates that the data D1 to D4 in the link management table of FIG. 6 belong in the order of D1-> D2-> D3-> D4. Further, by having the attribute “book”, it is indicated that this group has a real structure. Similarly, the group G2 has the data D7 to D11 in the order of D7 → D8 → D9 → D10 → D11, and has a basic structure, and the group G3 has only the data D8, In the group G4, data D9 to D11 are shown to belong in the order of D9 → D10 → D11. From the overlap of data belonging to groups G2 to G4, it is shown that groups G3 and G4 are included in group G2.
[0043]
Next, the operation of the multimedia information conversion display system shown in FIG. 4 will be described in order.
As a first embodiment of the present invention, FIG. 4 shows a bookshelf-type expression / representation for a list-like structure in which semantic structure information to be expressed / displayed is a collection of a plurality of pieces of information. Describes the case of display.
[0044]
The user gives an instruction to the system by the activation unit 210 shown in FIG. However, when the system is in the initial state, the following processing is performed assuming that the root link is designated as an instruction from the user. When the link designation by the user is transmitted to the activation unit 210, the link designation is transmitted from the activation unit 210 to the display control unit 220.
[0045]
In the display control unit 220, when the link designation is received, the link designation is transmitted to the bookshelf type data acquisition control unit 230.
When the link designation is received, the bookshelf type data acquisition control unit 230 determines whether the link designation is a designation of a (local) link existing in the own computer. The link designation is sent to the client side communication control unit 240.
[0046]
The client side communication control unit 240 transmits information necessary for link designation and client / server communication sent to the server side communication control unit 120 using a communication path, and then waits for a response from the server 100. When the cache mechanism is realized, the client side communication control unit 240 can implement the cache mechanism.
The server side communication control unit 120 always waits for a request from the client type communication control unit 240. When there is a request from the client-side communication control unit 240, a link designation is extracted from the requested communication information and sent to the meaningful structure acquisition control unit 130.
[0047]
The semantic structure acquisition control unit 130 searches the semantic structure storage unit 110 using the sent link specification, and acquires the structure information corresponding to the link specification.
Although the structure information as shown in FIG. 5 is stored in the meaningful structure storage unit 110, first, a group designated by the designation of the link is acquired and sent to the type determination unit 140.
[0048]
If there is an attribute of the group specified by the designation of the link, the type determination unit 140 sets the attribute as the type of the entire data. Conversely, if there is no group attribute, the type of the entire data is determined using the first group attribute and link attribute that can be traced from the data specified by the link specification. In this embodiment, since the root link is designated, the attribute of the group root designated by the designation of the link cannot be used. Therefore, it is determined that the type is “book shelf type” using the attribute “book” of the groups G1 and G2 and the attribute “structure (one layer lower)” of the links L1 and L7 that can be traced from the data root. As the bookshelf-type structure information, the structure information finer than the group having the “book” attribute is not necessary, and thus the structure information in the form as shown in FIG. 8 is extracted. Here, for example, when the link L1 is given as the designation of the link, the group G1 designated by the link L1 has the attribute “book”, so that the structure information within the same group is sent to the meaningful structure acquisition control unit 130. 9 is extracted by transmitting a request for obtaining the information.
[0049]
If the type determination unit 140 cannot determine the type by any means, it is regarded as a “network type” type, and structural information constituted only by designation of the requested link is extracted. Further, by including the type of requested information from the client side communication control unit 240 as one of the information necessary for the communication between the client and the server, the meaningful structure acquisition control unit is performed without performing the processing of the type determination unit 140. At 130, it is also possible to obtain structural information that has been forcibly transformed to match the type of information requested.
[0050]
The structure information that has been processed by the type determination unit 140 is sent to the description conversion unit 150 and converted into a description format as shown in FIG. Since the corresponding structure information is determined to be “bookshelf type” by the type determination unit 140, the bookcase type description is performed. In the example of FIG. 10, the section between <booklist> to <booklist> represents one bookshelf, <index> to </ index> represents the data from which the bookshelf is based, the title of the bookshelf, etc. , Used to determine attributes. Here, <include src = “URL”> means that the portion is replaced with data specified by the URL. <Book src = “URL”> represents one book. When the attribute of each book can be determined, it is described in the format of “attribute name =“ attribute ”” as an option of <book>.
[0051]
For example, <book src = ”http: // server / book1 / chap1, html” title = “example book 1” psize = “100”>, URL “http: // server / book1 /” specified by src The title of the book type information indicated by “chap1.html” is “book 1 of the example”, and the total number of pages is 100 pages. On the other hand, if the type determination unit 140 determines that the book type is “book type”, it represents one book by <include src = “URL”> sandwiched between <book> to </ book>. The arrangement order in the book is described in the order of include src = “URL”>.
[0052]
The description of the structure information converted by the description conversion unit 150 is sent back to the server side communication control unit 120. The server side communication control unit 120 adds information necessary for client / server side communication to the description of the structure information, and then returns a response to the client side communication control unit 240 using the communication path.
The client-side communication control unit 240 receives a response from the server 100 and receives a description of the structure information. The client-side communication control unit 240 determines whether the description of the structure information is the information requested by itself using the received information necessary for the communication between the client and the server. Is sent to the bookshelf type data acquisition control unit 230. If it is the information requested by the user, the description of the structure information is sent to the bookshelf type data acquisition control unit 230.
[0053]
In the bookshelf type data acquisition control unit 230, when it is originally determined that the link designation is local, the description of the local structure information is read. Otherwise, the structure sent from the client side communication control unit 240 is read. Receive a description of the information. Since the description of the structure information is “book shelf type”, the type of the book shelf is specified by the attribute of the book shelf in the description of the structure information, and the image representing the book shelf and the data regarding the arrangement of the book are created. At this time, if the book attribute in the description of the structure information can be used, a semantic arrangement can be realized by adding a process of arrangement according to the information. Normally, when the book attributes cannot be used, the books are arranged in the order in which they can be arranged.
[0054]
The display control unit 220 acquires an image of the bookshelf based on the data sent from the bookshelf type data acquisition control unit 230, converts the book arrangement into coordinates in the image, and converts an image such as a spine representing the book. Acquisition is performed, the titles of the books are arranged, and the books are sent to the bookshelf type data display device 250 to obtain a display as shown in FIG.
FIG. 11 is a diagram schematically showing an example of a bookshelf type expression / display according to the first embodiment of the present invention. An image representing a bookshelf is used as a background image, and two book representations based on the description of the structure information acquired from the client side communication control unit 240 are arranged on the left desk. These expressions correspond to the URLs shown in the figure, and when these are selected by the user, this URL can be requested to the server as a link to obtain this type of information. In FIG. 11, for the sake of explanation, a simplified image is used, but in actuality, a more realistic display is used to express a decision based on the user's experience. Furthermore, FIG. 11 can be said to be a representation obtained by visualizing that the structure of multimedia information is a book and a bookshelf for organizing the book.
[0055]
By using a display equipped with a GUI (Graphical User Interface) as the bookshelf type data display device 250, an instruction that the corresponding link is selected by designating the representation of the book on the GUI by the pointing device is displayed. 210.
Next, the operation of the model determination unit 140 will be described.
[0056]
FIG. 12 is a flowchart of the type determination unit according to the first embodiment of this invention.
Step 101) This step represents the entire processing of the type determination unit 140, receives the link specifying the content requested from the client 200 sent from the meaningful structure acquisition control unit 130, and starts the processing.
Step 102) Then, a group specified by the corresponding link is specified, and it is determined whether or not the group has an attribute.
[0057]
Step 103) If there is an attribute, the attribute is adopted as the type of the group, and the process of the type determination unit 140 is terminated.
Step 104) If there is no attribute in Step 102, BT and BST are set to 0. BT and BST are used later as indices for determining whether the group is “book type” or “book shelf type”.
[0058]
Step 105) Thereafter, the data designated by the link passed to Step 101 is analyzed, and the following processing from Step 106 to Step 109 is repeated for all links L (i) that can be traced from the corresponding data. .
Step 106) Branching is performed according to the attribute of the link L (i) and the attribute of the group to which the data designated by the link L (i) belongs. First, when “book” is included in the attribute of the group to which the data designated by the link L (i) belongs, the group designated by the link passed to the step 101 is a bookshelf type managing book information. It can be seen that this is the structure.
[0059]
Step 107) For this reason, after determining that the group is the “bookcase” type, the process of Step 101, that is, the type determination unit 140 is terminated.
Step 108) Also, if the attribute of the link L (i) is “structure” to the lower level or the peer, there is a possibility that a hierarchical “main type” information structure is described. BT is incremented by 1 to represent the contribution to the “main type” information structure, and the loop of step 105 is continued.
[0060]
Step 109) Similarly, when the attribute of the link L (i) is “structure” or simply “reference” to the upper level, “bookshelf type” that collects various information not having a hierarchical relationship with each other ”Is described, the BST is incremented by 1, indicating the contribution to the“ bookshelf ”information structure, and the loop of step 105 is continued. Otherwise, do nothing and continue the loop of step 105.
[0061]
Step 110) Branch using the values of BT and BST obtained as a result of Step 105. In the present embodiment, the simplest determination method is adopted, and if BT is smaller than BST, the process proceeds to step 111, and if not, the process proceeds to step 112.
Step 111) If BT is smaller than BST, the group is determined to be a “bookcase” type, and the process of Step 101, ie, the type determination unit 140 is terminated.
[0062]
Step 112) If the BT is equal to or greater than BST, the group is determined to be the “book” type, and the process of Step 101, ie, the type determination unit 140 is terminated.
In step 110, if (BT + BST) is not equal to or greater than a certain threshold, the group may be determined to be a “network” type.
Through the processing described above, the type of content (group) specified by the link passed to the type determination unit 140 can be determined, and then the information necessary to configure the data of that type is given meaning. It can be acquired through the structure acquisition control unit 130.
[0063]
As described above, by using the multimedia information conversion display system according to the embodiment of the present invention, the structure of the information specified by the link is determined, and the optimum data representation, metaphor, etc. for the determined information structure The structure of multimedia information is automatically visualized using an easy-to-understand display method.
In this example, the user will recognize that the book shelf is represented by a metaphoric expression, and that each piece of information such as a book is a collection of a certain amount of information. In other words, it is possible to select necessary information, that is, a link to be changed, while looking at the structure of the multimedia information.
[0064]
[Second Embodiment]
The second embodiment of the present invention will be described below.
FIG. 13 shows the configuration of a multimedia information conversion display system according to the second embodiment of the present invention.
In this figure, the bookshelf type data acquisition control unit 230 is modified with respect to the multimedia information conversion display system according to the first embodiment shown in FIG. 13, the same components as those in FIG. 4 are denoted by the same reference numerals, and the description thereof is omitted.
[0065]
The server 100 has the same configuration as that shown in FIG.
The client 200 includes an activation unit 210, a display control unit 220, a bookshelf type data acquisition control unit 230, a client side communication control unit 240, a bookshelf type data display device 250, a name determination unit 260, a personal bookshelf data storage unit 270, an arrangement unit. 280.
[0066]
If the description of the structure information received from the server 100 by the client-side communication control unit 240 is not an error, it is sent to the name determination unit 260.
The name determination unit 260 receives the description of the structure information sent from the client side communication control unit 240, and determines the name and attribute by parsing the description. The syntax analysis is performed by, for example, <title> in <head> to </ head> from a document such as HTML specified by <include src = “URL”> in a portion sandwiched between <index> to <index>. This is realized by performing processing such as obtaining a character string marked up with. The acquired name and attribute are sent to the bookshelf type data acquisition control unit 230 together with the description of the structure information sent from the client side communication control unit 240.
[0067]
In the bookshelf type data acquisition control unit 230, if it is originally determined that the link designation is local, the description of the local structure information is read. If not, the name sent from the name determination unit 260 and The attribute and description of the structure information sent from the client side communication control unit 240 are received. Since the description of the structure information is “bookshelf type”, data for representing / displaying the bookshelf type stored locally in the client 200 is acquired from the personal bookshelf data storage unit 270.
[0068]
The personal bookshelf data storage unit 270 basically stores data stored locally by the user as shown in FIG. 14 in a table format. Of course, if a book attribute exists, the attribute is stored for the corresponding ID. The URL in FIG. 14 corresponds to <book src = “URL”> written in the description of the structure information sent from the client side communication control unit 240. Also, in the “Bookshelf Attributes” and “Position” columns, the type of bookshelf that is stored as a result of interactive processing by the user, and if it is displayed, in which position It is described whether it is displayed. The book of ID “B1” is “<all>” in the attribute column of the bookshelf and the position column is blank, so that it is displayed on all bookshelves and the location can be appropriately determined. It can be seen that the book “” is displayed in the “book” and “middle” of the bookshelf titled “NTT”. The bookshelf attribute field may be not only the name of the bookshelf, but also a character string such as a server name included in the URL for designating the bookshelf, or a book shelf attribute itself such as “bookcase of search results”. The same applies to the position column, and may be a fine designation such as “third from the middle right of the book” or a rough designation such as “desktop”.
[0069]
The bookshelf type data acquisition control unit 230 selectively acquires only data that matches the name and attribute sent from the name determination unit 260 from the data stored in the personal bookshelf data storage unit 270, and Alternatively, it is sent to the placement unit 280 together with the description of the structure information sent from the client side communication control unit 240.
The arrangement unit 280 analyzes / mixes the data sent from the bookshelf type data acquisition control unit 230 and arranges it as a representation of the bookshelf. However, from the attribute sent from the name determination unit 260, the user's personal change If the bookshelf characteristics such as the expression that emphasizes the generality and the expression that emphasizes the general classification are obtained, the arrangement is performed using the characteristics. If the bookshelf characteristics are not obtained, expressions that emphasize individual changes are used.
[0070]
In the processing of the arrangement unit 280, first, from the name and attribute sent from the name determination unit 260, an image that represents the bookshelf that becomes the background image and data related to the arrangement of the book are generated. Thereafter, in the case of an expression that emphasizes the change of individual users, the personal data acquired from the personal bookshelf data storage unit 270 is transmitted from the client-side communication control unit 240 in the case of an expression that emphasizes general classification. By preferentially arranging the data of the structure information description, the corresponding data is mixed with the converted data in an arrangement closest to the state stored by the user. At this time, if the book attribute in the description of the structure information can be used, a semantic arrangement can be realized by adding a process of arrangement according to the information. Normally, when the book attributes cannot be used, the books are arranged in the order in which they can be arranged. When all the books are arranged, the generated data is sent to the display control unit 220.
[0071]
The display control unit 220 acquires a book shelf image based on the data sent from the arrangement unit 280, converts the book arrangement into coordinates in the image, acquires an image such as a spine representing the book, The titles are arranged and sent to the bookshelf type data display device 250 to obtain a display as shown in FIG.
FIG. 15 is a diagram schematically showing an example of the expression / display of the bookshelf according to the second embodiment of the present invention. Using the character string of the title of the image representing the bookshelf as a background image, on the left desk, two books represented by the description of the structure information acquired from the client side communication control unit 240 and the personal bookshelf data storage unit 270 B3 and B1 based on the data acquired from the above are arranged, and B2 based on the data acquired from the personal bookshelf data storage unit 270 is arranged on the right bookshelf. In FIG. 15, the image is simplified for the sake of explanation, but in actuality, a more realistic display is used to express the judgment based on the user's experience. Furthermore, FIG. 15 can be said to be a representation of the result of visualization of the structure of multimedia information that it is a book and a bookshelf that organizes the book.
[0072]
By using a display having a GUI (Graphical User Interface) as the bookshelf type data display device 250, a book instruction on the GUI by the pointing device can be transmitted to the activation unit 210. Further, by dragging and dropping the displayed book, the position and the like are changed, and the information is transmitted from the display control unit 220 to the bookshelf type data acquisition control unit 230 and reflected in the personal bookshelf data storage unit 270. The display / expression can be changed by interactive processing.
[0073]
Next, the description of the structure information acquired from the local or client side communication control unit 240 in the bookshelf type data acquisition control unit 230, the name determination unit 260, and the arrangement unit 280, and the data acquired from the personal bookshelf data storage unit 270 The process of mixing the will be described.
FIG. 16 is a flowchart showing the operation of the second embodiment of the present invention.
[0074]
In the same figure, the case of the expression which attaches importance to the change of individual users will be described.
Step 201) Since the present embodiment describes the processing for the bookshelf type data, it is determined whether or not the structure information delivered from the local or client side communication control unit 240 is the “bookshelf” type. If it is not a model, the process ends. Actually, the same processing is performed for various types. When the structure information is the “bookcase” type, the following steps 202 and after are executed.
[0075]
Step 202) Analyze the structure information as shown in FIG. 10 delivered from the client side communication control unit 240, and obtain the name of the bookshelf from the portion sandwiched between <index> to </ index>. The name can be acquired from a document such as HTML described by <include src = "URL">.
Step 203) Create an empty bookshelf and an empty registration list. Here, the bookshelf refers to the designation of an image representing the appearance of the bookshelf specified from the name of the bookshelf, and the set of the number of books and coordinate information that can be stored on the desk, bookshelf or the like. The registration list indicates an ordered list for registering books whose positions to be registered later on the bookshelf are not determined.
[0076]
Step 204) The following processing from Step 205 to Step 208 is repeated for all elements B (i) of the personal bookshelf data as shown in FIG. 14 obtained from the personal bookshelf data storage unit 270.
Step 205) Acquire the attribute of the element B (i) of the personal bookshelf data and include “<all>” that matches all attributes or the name of the bookshelf obtained in Step 202. The processing from step 206 to step 208 is executed. In other cases, the loop of step 204 is continued.
[0077]
Step 206) Branch according to the arrangement information of the element B (i) of the personal bookshelf data.
Step 207) If B (i) has no placement information, it can be considered that the book type information may be placed anywhere, so B (i) is created in Step 203. Add to the list.
[0078]
Step 208) If B (i) has the placement information, the placement information of B (i) is used to place it on the bookshelf created in Step 203. At this time, if the arrangement information is duplicated, it is added to the beginning of the registration list created in step 203.
As described above, among the book type information not stored in the personal bookshelf data storage unit 270, only necessary information can be registered in the bookshelf being created.
[0079]
Step 209) All descriptions such as <book src = "URL"> registered in the structure information as shown in FIG. 10 delivered from the client side communication control unit 240 are added to the registration list created in Step 203. to add.
Step 210) The process of Step 211 is repeated for all the elements B (i) registered in this registration list.
[0080]
Step 211) B (i) is placed in the vacant part of the bookshelf sparsely filled in Step 208. At this time, using an attribute such as <book src = “URL” arrangement = “bookshelf”> described in the structure information as shown in FIG. 10 as a hint, in this example, it is arranged on the bookshelf, It is possible to have variations such as arranging after sorting by title.
[0081]
As described above, by using the multimedia information conversion display system according to the present embodiment, the structure of the information specified by the link is determined, and the optimum data representation for the determined information structure and the combination of the metaphor and the like are used. Using an easy-to-understand display method, the structure of multimedia information is automatically visualized and interactive processing with the user can be performed. As a result, the user recognizes that, in this example, the book shelf is represented by a metaphoric expression, where each piece of information, such as a book, is a collection of a certain amount of information. In addition, by changing the display / representation through interactive processing with the user, it is possible to organize as we do for real-world bookshelves. It becomes like this.
[0082]
Furthermore, a more convenient system can be used by automatically organizing the bookshelf type data acquisition control unit 230, the name determination unit 260, and the arrangement unit 280 based on the attributes of the books and the bookshelf, or using a sorting / expression method other than the bookshelf. Can also be built.
Further, the present invention constructs each component of the server 100 and the client 200 shown in FIGS. 4 and 13 as a program, a disk device connected to a computer used as a server or a client, a floppy disk, and a CD-ROM. The present invention can be easily realized by storing it in a portable storage medium such as the above and installing it when carrying out the present invention.
[0083]
The present invention is not limited to the above-described embodiments, and various modifications and applications are possible within the scope of the claims.
[0084]
【The invention's effect】
As described above, according to the present invention, in a system for storing, searching, and browsing multimedia information, when a structure between information is held by a hyperlink, the meaning added to the hyperlink is used. Therefore, when performing the semantic representation of the multimedia information, the semantic representation can be performed without individually designing according to the structure of the multimedia information. There is an effect that necessary information can be browsed by bird's-eye view of the information structure by link transition by selection.
[0085]
In addition, according to the present invention, the user can perform the semantic representation of the structure of the multimedia information, rearrange it according to the user's preference, and organize it according to the situation. There is an effect that interactive / dynamic processing can be performed.
Furthermore, according to the present invention, when the semantic expression of the multimedia information is expressed using the meaning added to the hyperlink, the design corresponding to the structure of the multimedia information is not performed individually. In addition, it is possible to express them semantically, and there is an effect that necessary information can be browsed while bird's-eye view of the structure of information by link transition by user selection.
[0086]
In addition, according to the present invention, the user can perform the semantic representation of the structure of the multimedia information, rearrange it according to the user's preference, and organize it according to the situation. There is an effect that it becomes possible to perform interactive processing with.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining the principle of the present invention.
FIG. 2 is a principle configuration diagram of the present invention.
FIG. 3 is a configuration diagram of a multimedia information conversion display system of the present invention.
FIG. 4 is a configuration diagram of a multimedia information conversion display system according to the first embodiment of this invention.
FIG. 5 is an example of structure information to which meanings such as description of hierarchical / order relation, set, and attribute of multimedia information according to the first embodiment of the present invention are added.
FIG. 6 is an example of a link management table for storing structure information to which a meaning as shown in FIG. 5 of the first embodiment of the present invention is added.
FIG. 7 is an example of a group management table for storing structure information to which a meaning as shown in FIG. 5 of the first embodiment of the present invention is added.
FIG. 8 is an example (part 1) of bookshelf type structure information extracted by the type determination unit of the first embodiment of the present invention;
FIG. 9 is an example (part 2) of the bookshelf type structure information extracted by the type determination unit according to the first embodiment of this invention;
FIG. 10 is a bookshelf type description example output from the description conversion unit of the first exemplary embodiment of the present invention.
FIG. 11 is a diagram schematically showing an example of a bookshelf type expression / display according to the first embodiment of the present invention.
FIG. 12 is a flowchart of a type determining unit according to the first embodiment of this invention.
FIG. 13 is a configuration diagram of a multimedia information conversion display system according to a second embodiment of the present invention.
FIG. 14 is an example of personal bookshelf data stored in a table format in the personal bookshelf data storage unit of the second embodiment of the present invention.
FIG. 15 is a diagram schematically showing an example of bookshelf type expression / display according to the second embodiment of the present invention.
FIG. 16 is a flowchart showing the operation of the second exemplary embodiment of the present invention.
[Explanation of symbols]
100 servers
110Structure information storage means, Meaningful structure storage
120Transmission means,Server side communication controller
130 Structure information acquisition means, meaningful structure acquisition control unit
140 Model determination means, model determination unit
150 Conversion means, description conversion unit
200 clients
210 Starter
220 Display control unit
230 Data acquisition control unit, bookshelf type data acquisition control unit
240 Client-side communication control unit
250 Data display device, bookshelf type data display device
260 Name determination unit
270 Personal bookshelf data storage
280 Placement section

Claims

In the multi-media information conversion formats to generate the information for causing the display of the semantic representation of the structure with the multimedia information on the client,
When the designation of the first link is received from the client, an information address on the Internet corresponding to the link (hereinafter referred to as “link number”) for managing a link of multimedia information based on the first link (hereinafter referred to as the link number). , URL), the ID of the data corresponding to the URL, the hierarchical level of the data, a list of links from the data, a link management table in which the attributes of the links are stored in tabular form, and the data A structure for retrieving structure information storage means having a group management table in which group names for grouping, IDs of data constituting the groups, and group attributes are stored in a table format, and acquiring structure information corresponding to the description of the link An information acquisition step;
When the group designated by the first link is specified and the group has a group attribute, the type determination is finished with the group attribute as the type of the entire data. When the group has no group attribute, When all the second links that can be traced from the data designated by the first link are obtained, and the group attribute of the group to which the data designated by any of the second links belongs is “book”, If the type of the entire data is determined to be a bookshelf type and the type determination is completed, and the type determination is not completed, the index of the main type is determined based on the link attribute of the second link for each of the second links. The value BT or the index value BST of the bookshelf type is increased by 1, and the type of the whole data is determined as the book type or the bookshelf type by the magnitude relation between the aggregated BT value and the BST value. And model determining step to finish the formula determination,
A conversion step of converting the structure information obtained in the structure information acquisition step based on the type of the entire data determined in the type determination step;
A transmission step of transmitting the structure information converted in the conversion step to the client;
Multimedia information conversion formats to a child and features consist of.

A multimedia information conversion server that is connected to a client and generates information for causing the client to display a semantic representation of the structure of the multimedia information ,
For a link number for managing a link of multimedia information, an information address (hereinafter referred to as URL) corresponding to the link, an ID of data corresponding to the URL, a hierarchy level of the data, A list of links from data, a link management table in which attributes of the links are stored in a table format, a group name for grouping the data, an ID of data constituting the group, and a group attribute in a table format Structure information storage means having a group management table for storing;
When receiving the designation of the first link from the client, the structure information storage unit searches the structure information storage unit based on the first link and acquires the structure information corresponding to the description of the link;
The group specified by the first link is identified, and when the group has a group attribute, the type determination is finished with the group attribute as the type of the entire data. When the group has no group attribute, the group attribute is determined. All the second links that can be traced from the data designated by the first link, all the second links are obtained, and the group attribute of the group to which the data designated by any of the second links belongs Is “book”, the type of the entire data is determined to be a bookshelf type and the type determination is completed. If the type determination is not completed, the second link is individually determined for each of the second links. Based on the link attribute, the main index value BT or the book shelf type BST is incremented by 1, and the type of the entire data is recorded by the magnitude relationship between the aggregated BT value and the BST value. Alternatively and model determining means to end the type judgment stipulates that a bookshelf type,
Conversion means for converting the structure information obtained by the structure information acquisition means based on the type of the entire data determined by the type determination means;
Transmitting means for transmitting the structure information converted by the converting means to the client;
A multimedia information conversion server characterized by comprising:

A server that generates information for causing display of a semantic representation of the structure with the multimedia information on the client, a multimedia information varying 換Shi stem constructed from a client connected with the server,
The server
For a link number for managing a link of multimedia information, an information address (hereinafter referred to as URL) corresponding to the link, an ID of data corresponding to the URL, a hierarchy level of the data, A list of links from data, a link management table in which attributes of the links are stored in a table format, a group name for grouping the data, an ID of data constituting the group, and a group attribute in a table format Structure information storage means having a group management table for storing;
When receiving the designation of the first link from the client, the structure information storage unit searches the structure information storage unit based on the first link and acquires the structure information corresponding to the description of the link;
The group specified by the first link is identified, and when the group has a group attribute, the type determination is finished with the group attribute as the type of the entire data. When the group has no group attribute, the group attribute is determined. All the second links that can be traced from the data designated by the first link, all the second links are obtained, and the group attribute of the group to which the data designated by any of the second links belongs Is “book”, the type of the entire data is determined to be a bookshelf type and the type determination is completed. If the type determination is not completed, the second link is individually determined for each of the second links. Based on the link attribute, the main index value BT or the book shelf type BST is incremented by 1, and the type of the entire data is recorded by the magnitude relationship between the aggregated BT value and the BST value. Alternatively and model determining means to end the type judgment stipulates that a bookshelf type,
Conversion means for converting the structure information obtained by the structure information acquisition means based on the type of the entire data determined by the type determination means;
Transmitting means for transmitting the structure information converted by the converting means to the client;
Have
The client
Means for transmitting the first link to the server;
Means for identifying a type of the transformed structure information received from the server;
Depending on the specified model, means to display according to the bookshelf type or book type,
Multimedia information change 換Shi stem, characterized in that it has a.

The client
Personal data storage means for storing data stored by individual users;
The name determining means for determining the name and attributes of the data of the multimedia information converted the said transformed structure information transferred from the server of the stem,
A data acquisition means for selectively acquired using the name and attributes of the determined data from the personal data stored in the personal data storing means,
The personal data and the determined multimedia information varying 換Shi stem of claim 3, further comprising display control means, a to be displayed on the display means with priority or arrangement of data.

A storage medium storing multimedia information conversion formats program that generates information for causing display of a semantic representation of the structure with the multimedia information on the client,
On the computer,
When the designation of the first link is received from the client, an information address on the Internet corresponding to the link (hereinafter referred to as “link number”) for managing a link of multimedia information based on the first link (hereinafter referred to as the link number). , URL), the ID of the data corresponding to the URL, the hierarchical level of the data, a list of links from the data, a link management table in which the attributes of the links are stored in tabular form, and the data acquisition group name to group, ID of data constituting a group, group attribute searches the structure information storage means having a group management table storing in tabular form, the structure information corresponding to the description of the link A structural information acquisition step,
When the group designated by the first link is specified and the group has a group attribute, the type determination is finished with the group attribute as the type of the entire data. When the group has no group attribute, When all the second links that can be traced from the data designated by the first link are obtained, and the group attribute of the group to which the data designated by any of the second links belongs is “book”, If the type of the entire data is determined to be a bookshelf type and the type determination is completed, and the type determination is not completed, the index of the main type is determined based on the link attribute of the second link for each of the second links. The value BT or the index value BST of the bookshelf type is increased by 1, and the type of the whole data is determined as the book type or the bookshelf type by the magnitude relation between the aggregated BT value and the BST value. And model determining step to finish the formula determination,
A conversion step of converting the structure information obtained in the structure information acquisition step based on the type of the entire data determined in the type determination step;
A transmission step of transmitting the structure information converted in the conversion step to the client;
Storage medium storing multimedia information varying 換Pu programs to this and features for execution.