JP4031822B2 - 仮想3次元ブックの画像を表示するシステム - Google Patents
仮想3次元ブックの画像を表示するシステム Download PDFInfo
- Publication number
- JP4031822B2 JP4031822B2 JP2001386942A JP2001386942A JP4031822B2 JP 4031822 B2 JP4031822 B2 JP 4031822B2 JP 2001386942 A JP2001386942 A JP 2001386942A JP 2001386942 A JP2001386942 A JP 2001386942A JP 4031822 B2 JP4031822 B2 JP 4031822B2
- Authority
- JP
- Japan
- Prior art keywords
- page
- book
- image
- virtual
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional [3D], e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
- G06F3/04855—Interaction with scrollbars
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Description
【発明の属する技術分野】
本発明は、画像表示システムの分野に関し、特に、ハイパーテキスト、3次元ブック、データベース、及び他の情報収納場所などの大きなスケールの情報源の表示及び動作のためのユーザインターフェースに関する。
【0002】
【従来の技術】
ユーザが電子形式の情報にアクセスし対話する(すなわち、データの読取り、操作、及び探索)能力は、アクセス可能な情報量が増えるにしたがって、その重要性が増している。電子情報は一般的に、文書形式で保存され、この文書はユーザの要求にしたがって表示される。情報のユーザ又は読者は、電子情報にアクセスし対話するための制御に慣れる必要がある。
【0003】
ユーザによってアクセスされる文書は、ユーザによって、ワードプロセッサなどのテキスト編集コンピュータプログラムを介して作り出される文書を含む場合がある。これに加え、文書はまた、コンピュータ内へ走査されてもよく、この結果、電子版の紙の文書が生じる。走査動作は、文書の光学式文字認識を含んでいてもよく、これにより、文書からのグラフィック情報(ページのデジタル化された画像)及び文脈上の情報(文書のテキストファイル)の両方が、共に保存されてもよく、又はそうでなければリンクされてもよい。電子文書はまた、他の電子文書源と共に、ワールドワイドウェブを介してインターネット上で広く入手可能である。文書は次に、例えば、モニタを有するコンピュータなどの表示システムや他の同様の表示装置によって表示されてもよい。
【0004】
電子文書を表示する典型的な方法に、文書を、表示された表現を進めるための関連したスクロールバーを有する連続的なスクロールとして表現する方法がある。大半のワードプロセッサプログラム及びウェブブラウザが、このスクロールの類似方法を用いて電子情報を表示している。電子文書を連続的なスクロールとして表示する従来の方法は、特定の種類の文書を表示する際にいくつかの欠点を有する。例えば、従来のスクロールが大きな文書に応用された場合に、ユーザが情報にアクセスし対話することが困難な時がある。
【0005】
電子情報を表示するためのもう1つの類似方法が、3次元ブックである。カード等(Card et al.)への米国特許第5,838,326号及び米国特許第5,847,709号は、文書作業空間を表示し、3次元ブックの形式で電子文書と対話するためのプログラムを開示する。文書作業空間の目的は、多数の文書オブジェクトを共に表示すること(小さなスクリーン空間の制限を軽減して)を可能にし、情報が集中した活動を支援することである。ページとの対話は、ワールドワイドウェブブラウザの機能性に類似する。設計は、多数のページへの遅いアクセスと円滑に一体化された、少数のページへの非常に迅速なアクセスを提供することを目的とする。
【0006】
図1に文書作業空間を例示する。文書作業空間は、対話率に基づき、3つの主要レベルに階層として配列されている。これらの3つの主要レベルは、注目空間(能動的に使用中の文書オブジェクトのため)、即時メモリ空間(使用中の文書オブジェクトのため)、そして、第三次空間(使用されていない文書オブジェクトのため)である。図1では、文書オブジェクト5が注目空間にある。即時メモリ空間は、「机」10及び注目空間の背後の領域を含む。机10もまた、例えば文書オブジェクト15などの文書オブジェクトを含んでいてもよい。
【0007】
第三次空間は、文書オブジェクトが非使用状態の時に配置されてもよい空間である。例えば、参考にする目的で使用中の文書オブジェクトは、第三次空間に配置される。図1を参照し、第三次空間は書棚20として表現される。書棚20は、例えば、文書オブジェクト30及び文書オブジェクト35を含む。
【0008】
ユーザが、書棚20の文書の1つに「触れた」場合、この文書は、自動的に注目空間に「飛ぶ」。同時に、注目空間にあった文書オブジェクトは、即時空間の1つの位置に飛ぶ。オブジェクトの「飛行」は、オブジェクトの1つの空間から他の空間への移動を示す動画である。よってユーザは、複数の表示された文書オブジェクトからの情報に、文書を注目空間に運ぶことにより、アクセスできる。ユーザは、文書の位置及び外見を、例えばドラッグアンドドロップ動作などの、いずれかの既知の方法で操作してもよい。
【0009】
ここで使われる文書オブジェクトとは、文書作業空間で操作できる、いずれかの実体(entity)である。文書オブジェクトは、2つの基本的な種類の情報を含む。これらは、内容情報と表示/操作情報である。内容情報は、その下にある文書のテキスト及び画像データのことである。表示/操作情報は、ユーザに対して、テキスト及び画像データをどのように提示するかを定義するデータのことである。
【0010】
【発明が解決しようとする課題】
既知のシステムは、ページ数が少ないブックの表示には比較的成功していた。しかしながら、数百ページ又はそれ以上のページを含む、より大きなブックの表示は、これらの大きな文書とどのように対話するかにおいて、問題を提起する。
【0011】
本発明は、ユーザの電子文書と対話する能力を改善するシステム及びコンピュータプログラム製品を開示する。これらの改善点の多くは、多くのページ数の情報を含む、大きなスケールのブックに関して説明される。しかしながら、開示される発明の特徴は、小さな文書や、ブック以外の情報形式などにも応用可能である。
【0012】
【課題を解決するための手段】
本発明は、1つ又はそれ以上の仮想ページを有する仮想3次元ブックの画像を表示するシステムを含む。システムは、表示プログラムを実行可能な表示システムを備える。仮想3次元ブックの画像は、表示システム上に生成される。
【0013】
本発明は更に、仮想3次元ブックから仮想ページを切取るための、切取り動作を含む。この切取り動作は、選択及びドラッグ動作を含んでいてもよく、また、仮想ページが仮想3次元ブックから移動することを示す動画を含んでいてもよい。切取り動作を可能にし、切取られた仮想ページ及び仮想3次元ブックを表示する方法もまた、説明される。
【0014】
表示システムはまた、「ロッカーブック」(rocker book)機能を備えていてもよく、ここでは、ブックが、第1の視点と第2の視点との間に切り替わる。第1の視点では、第1の仮想ページが、表示システムの表面に実質的に平行して示され、第2の仮想ページが、表示システムの表面に実質的に垂直に示される。第2の視点では、第1の仮想ページが、表示システムの表面に実質的に垂直に表示され、第2の仮想ページが、表示システムの表面に実質的に平行して表示される。第1の視点と第2の視点との間の切替えは、動画化されていてもよく、動画の速度は、ユーザによって任意に制御されてもよい。
【0015】
仮想ページの大きさについては、本発明の表示システムは、仮想ページを複数のサイズ形式で表示してもよい。これに加え、複数のサイズ形式間で選択するための、選択機能が設けられてもよい。
【0016】
最後に、コンピュータが使用可能な媒体を含むコンピュータプログラム製品もまた説明される。コンピュータが使用可能な媒体は、その上に、仮想3次元ブックの画像を生成するためのコンピュータ読取可能コードが組入れられる。コンピュータ読取可能コードは、本発明の表示システムについて説明される様々な機能を備えていてもよい。
【0017】
本発明の追加の目的及び利点は、以下に続く説明にその一部が示され、以下の説明からその一部が明らかであり、又は、本発明の実施から学習されてもよい。本発明の目的及び利点は、特許請求の範囲に特に示された、構成要素及びその組合せによって、実現され、達成される。
【0018】
以上の概括的な説明及び以下に続く詳細な説明の両方が、例示及び説明目的のみのものであり、本発明を限定するものではないことを理解されたい。
【0019】
添付する図面は、本明細書に組入れられ、その一部を成し、本発明のいくつかの実施形態を例示し、以下の記載と共に、本発明の原理を説明するために使われる。
【0020】
【発明の実施の形態】
本発明の例示する実施の形態を詳細に説明する。同一又は同様の部分を参照するために、図面を通じて、可能な限り同一の符号が使われる。
【0021】
仮想3次元ブックの画像を表示するためのシステム及び方法は、適切な表示システムのいずれにおいても実施できる。好適な実施の形態では、画像は、例えば、シリコングラフィックス(Silicon Graphics)の「リアリティエンジン2」(Reality Engine2)コンピュータ及びモニタを使い又はパーソナルコンピュータ(グラフィックアクセラレータを有するもの又は有さないもの)及びモニタを使い、表示できる。しかしながら、当業者には、本発明によるコンピュータプログラム製品を実行可能な、いずれの表示システムを用いることもできるであろう。ここで単語「表示」は、表示領域全体、表示領域中の境界を定められた及び/又は分割部分、又は1つの表示より多くに渡って定義された領域、を含む場合がある。
【0022】
電子文書の表示を説明するために、ブック類似方法を使うことが便利である。3次元ブック類似方法は、物理的なブック(本)の特性を模倣し、これにより、ユーザに熟知感を提供する。しかしながら、この類似方法は、ユーザが完全に文書と対話する能力に対する制限となる。例えば、ユーザは、物理的なブックを読む際に可能なように、向かい合う2ページよりも多くを閲覧することを望む場合がある。関連した問題点として、コンピュータ表示装置の大きさが小さいため、ユーザが同時に1ページより多いページと対話する能力が制限される。
【0023】
複数ページの閲覧制限の第1の解決法は、ブック類似方法を修正し、ユーザにブックからページを「切取る」ことを許可することである。ここで使う用語「切取り」は、仮想ブックの表示のみに関連する。よって、仮想ページの「切取り」は、仮想ページを、残りの仮想3次元ブックの視覚表現とは別個に、コンピュータ表示上の異なる位置に表示する働きのみを有する。このように、「切取り」は、仮想ページに関連するデータを、仮想3次元ブックの電子表現中の論理的な順序から除去することを意味しない。「切取られた」ページはそのまま、表示上では、仮想3次元ブックとは別個に現れる場合もあるが、仮想3次元ブックの電子表現にも現れる。
【0024】
図2に、2つの向かい合うページ210及び220を有する仮想3次元ブック200を示す。向かい合うページ210及び220は、例えば、ページの画像のビットマップを、メモリから、三角形の切子面から成る仮想オブジェクトにマッピングすることで形成してもよい。ビットマップを使い、テクスチャを仮想オブジェクトにマッピングする処理は、当業者には広く知られており、ここでは説明しない。
【0025】
切取り処理は、ユーザによって、例えばページ210を選択し、ブックの外にドラッグすることによって行なわれる。処理は、ページが単純にブックの外に現れることにより又はページが切取られブックの外に配置されるなどの行動を動画化することによって示すことができる。図2のBに示すように、一旦ページ210がブックの外になると、ブックの画像は、ページ210のコピーを異なる形、例えば、灰色又は着色したテキスト又は画像210’として示すか、又は、ブックを、ページ210がブックの一部では無くなったかのように見せる、すなわち、前のページを示すことによって、ブックの画像を修正してもよい。ページ210が切取られた後、図2のCに示すように、ユーザは、ページ210を視界に残したまま次のページに進み、ページ230と240を見ることができる。
【0026】
切取りページ類似方法はまた、3次元ブックを超えて、他の情報表示装置のためのユーザインターフェースに応用してもよい。例えば、表計算プログラムに切取りページ機能を含み、仮想3次元ブックから仮想ページを切り取る方法と同様の方法で、ユーザがワークブックからワークシートを切取ることを可能にしてもよい。同様に、切取りページは、プレゼンテーショングラフィックプログラムの中で個々のプレゼンテーションスライドを操作するために使われてもよい。ユーザインターフェースとして応用される切取り類似方法のこれら及び他のこのような組合せ及び置換も、本発明の範囲に含まれる。
【0027】
複数ページの閲覧制限の第2の解決法は、ブックの表現の修正である。電子文書の3次元ブック形式での表現は、視覚的にここちよい、そして熟知した情況を読者に与えるが、2つの向かい合うページが同時に視界に存在する形式(例えば、図2のページ210及び220)が、利用可能な表示空間の広すぎる部分を占有してしまう場合がある。したがって、向かい合うページの両方を完全な形で示すのではなく、3次元ブック200を、図3に示すように、ロッカーブック300として表現してもよい。ロッカーブック形式では、ページ310が通常、表示表面に平行な平面として示され、同時に、他のページ320が、ユーザに向けて角度を付けられ傾いて表現される。ページ320を構成するデータは、傾いたページにマッピングされ、これにより、ページ320に含まれる情報の少なくとも一部の閲覧を可能にし、ユーザに文脈を提供する。
【0028】
ブックのページ310からその向かい合うページ320に、視界を移行する時は、ブック類似方法を使い、ブック300が、図3に示すように、めくり運動によってめくられる動画を提供できる。動画の速度は、ブック300の3次元感を拡張するように設定できる。静止状態310から静止状態320への(又はその逆の)移行を動画化することにより、ユーザが、これらの状態を、2つの視点における単一のオブジェクトと解釈することを助ける。
【0029】
複数ページの閲覧を許可するもう1つの方法は、ページのスケールを変更し異なるサイズで表示することである。標準サイズのページは、コンピュータに走査されたブックのページの実際のサイズに対応する。この実際のページサイズは、例えば約21.6センチメートルx約27.9センチメートル(8.5インチx11インチ)であってもよく、又は、表示に合わせるために、多少低減されたサイズであってもよい。上述のように、標準サイズのページが占める表示が広すぎる場合がある。
【0030】
したがって、小さなページサイズが可能とされ、これらの小さなページサイズは、ユーザに、異なる量の情報を提供する。例えば、約27.9センチメートル(11インチ)のページサイズから縮小された、例えば約15.2センチメートル(6インチ)の、大きいサイズのページは、ユーザが、画像の所望部分のサイズを大きくする拡大機能を使うことにより読取り可能である。拡大機能は下で説明する。
【0031】
大きなページのブック400を、図4から図23に例示する。図4から図23において、点線の境界ボックス405は、例示表示装置の境界線を表し、境界ボックス405を越える画像の一部は表示されない。図4に示すように、両方のページが閲覧のために開かれている、大きな形式のブック400を使う場合、ブックの表示に使われる表示が、大きな切取りページ410を示すために不十分な場合がある。これは、例えば、高さが約7.6センチメートル(3インチ)などの、小さな形式420(図5)で切取りページを示すことにより解決できる。この形式では、ページのタイトル及び画像が読取り可能である。この代わりに、大きな形式のブックを、ロッカーブック430(図8)として示してもよく、これにより、大きなスケールの切取り410を、ロッカーブック430の隣に配置できる。
【0032】
切取りページはまた、表示空間の約2.5センチメートル(約1インチ)を占めるサムネイルサイズの切取り440としても表示できる(図6)。これよりも更に少ない空間を使用するために、切取りページの画像を提供する代わりに、アイコン450を使い、ユーザにページを表現してもよい(図7)。表現は、単純にページの存在を示すためのみに実施できるドット(図示せず)を使うなど、更に縮小されてもよい。
【0033】
図4から図23はまた、標準形ブック400(図4)及びロッカーブック430(図8)と、異なるサイズの切取りページとの、複数の異なる組合せを示す。これらは、縮小ブック470(図12)、縮小ロッカーブック480(図16)、サムネイルブック490(図20)などを含む。以下が、図4から図23に例示する組合せである。
【0034】
【表1】
【0035】
ユーザは、表示されたページを、様々な形式間に迅速に拡大及び縮小でき、これにより、異なるレベルの情報をユーザに提供できる。当業者は、間違いなく、ブックのサイズ、形式、及び切取りページの、他の置換又は組合せを見抜くであろう。このような組合せは全て、本発明の範囲に含まれる。
【0036】
画像のサイズを変更するための、例示する行動としては、マウスを使い、ページをクリックし、上方向に命令をしてページサイズを大きくする又は下方向に命令してページサイズを小さくする行動が挙げられる。様々なサイズの形式を使うことにより、ユーザがページを追跡すること、ページにしおりをはさむこと、ページ画像を示す形式の場合、情報を直接表示された画像から入手可能にすること、などを可能にする。与えられた3次元ブックについて、標準ページサイズの集合が予め決定されてもよく、これにより、利用可能な表示空間における、予め計画されたページの配置を可能にする。異なるページサイズの画像は、例えば、ページ画像のビットマップ又はテクスチャマップとして保存されてもよく、各ページは、いくつかの異なるページサイズの画像を、各ページに関連して含む。ページを選択した時には、保存されたビットマップがアクセスされ、適切なページを適切なページサイズで表示する。この代わりに、各ページの単一のビットマップを保存することもでき、この場合、表示されるページは、サイズを変更する際に、その場でサイズを決定される。
【0037】
異なる適合度のテクスチャマップの使用はまた、より迅速なページの表示及び動きを可能にするために使われてもよい。例えば、大きな形式のブックを、ページめくりに使用すると、コンピュータの、最高の情報内容テクスチャマップを使い効果的にページをめくる能力が制限される。しかしながら、めくる速度が増加するにしたがって、ページから得られる情報量は、めくる速度自体に制限される。したがって、この速度を最大化するために、より速い処理及び表示速度を可能にしつつ、低い適合度の画像のサイズを大きくし、大きな形式のブックに適合させることができる。
【0038】
図24を参照し、複数の切取りページ500(例えば、縮小形式の切取りページ420及びサムネイルサイズの切取りページ440を含む)が、上述のサイズ形式のいずれで示されてもよい。この代わりに、図25に示すように、全てのページが同一のサイズ形式を有する、1つ又はそれ以上の切取りページをビン510に配置してもよい。図25は、例として、3つのサムネイルサイズの切取りページ440をビン510に配置して示す。ビン510の隣には、もう1つのサムネイルサイズの切取りページ440(ビン510に配置されない)及び、縮小形式の切取りページ420を示す。
【0039】
使用可能な表示サイズを、表示する画像に効率的に割当てるために、自動ページ配列機能を使うことができる。自動ページ配列機能は、関心度関数を使い、適切なサイズ割当てを決定できる。関心度関数は、ユーザが、表示する各オブジェクトに対して有する関心度を計算する。関心度を計算する1つのアルゴリズムは、「フィッシュアイレンズ」アルゴリズムと呼ばれ、ジー.ダブリュ.ファーナス(G.W.Furnas)による「The Fisheye View:A New Look at Structured Files,」 Bell Laboratories Technical Memorandum #81−11221−9(Oct 12,1981)に記載されている。
【0040】
フィッシュアイレンズアルゴリズムは、2つの部分を含む。内在関心度(DOI)関数と、距離に基づくDOI関数とである。内在DOI関数は、与えられたオブジェクトの内在する関心に対応し、距離に基づくDOIは、与えられたオブジェクトの空間的又は時間的な近さに対応する。総関心度は、これらの2つの値を加算することにより得られる。
【0041】
【数1】
DOI=内在DOI+距離に基づくDOI
しかしながら、ファーナスにより記載されるように、フィッシュアイアルゴリズムは、画像の表示に使用できる、利用可能な資源の量を考慮しない。利用可能な資源の限界について便宜が図られなければ、表示される画像が、図26に示すように、ページサイズを超えてしまう場合もある。本発明はしたがって、フィッシュアイレンズアルゴリズムと、全ての画像が表示資源内に収まることを確実にする技法とを組み合わせる。
【0042】
「内在DOI」値は、オブジェクトの性質に基づいて割当てられてもよい。例えば、ユーザが切取りページよりもブックに対して関心を持つ可能性が高いと分類するため、ブックに切取りページよりも高い関心度を割当ててもよい。ブックには例えば、−1の関心度値が割当てられ、全ての他のオブジェクトには、−2の関心度値が割当てられてもよい。
【0043】
「距離に基づくDOI」値は、ページが前回アクセスされた時からの時間の間隔として選択されてもよい。この時間間隔は、ユーザがページにクリックした又はページに対して拡大機能を使った時からの、時間的な間隔を数える。ページには、前回のアクセスからの時間量の増加と共に低下する関心度が割当てられる。割当ては、例えば、最も最近にアクセスされた文書オブジェクトに−1、第2の最も最近にアクセスされた文書オブジェクトに−2、第3の最も最近にアクセスされた文書オブジェクトに−3、などであってもよい。
【0044】
関心度値はまた、ページ内での、オブジェクト同士の相対的な配置を決定するために使用できる。図26に示すように、現在閲覧中のブック600は、高い関心度値を有する。ブック600はしたがって、中央に配置され、標準形式で表示される。図26に示すレイアウトでは、ブックは、サムネイル切取りページ601から614と組み合わせて表示されている。サムネイル切取りページは、対応する参照番号の順に、すなわち、601が第1に、602が第2に、などのように、表示上に配置される。関心度関数を使用し、画像配置に関する制限と共に、画像が表示されるサイズを制限できる。画像の周囲に示される長方形680は、利用可能資源、すなわち、利用可能な表示空間を示す境界ボックスである。
【0045】
本発明によれば、自動ページ配置アルゴリズムは、各ページ及びブックの関心度関数を計算することにより機能する。レイアウトが、境界ボックスの幅又は高さを超えた場合、全てのページは、個々のページに割当てられた関心度値を使い、順序を定められる。例えば、閾値DOI1を使い、その値よりも低い関心度を有する全てのページは、縮小サイズページにそのサイズが縮小される。それでも画像の表示が、利用可能な資源を超える場合、関心度値が第2の閾値DOI2よりも低いページが、サムネイルサイズのページに縮小される。それでもレイアウトが、利用可能な資源を超える場合、関心度値とは逆の順序で、ページのサイズがアイコンサイズのページ又はドットサイズのページまで縮小されてもよい。最後に、ページは、画像が許容できるレイアウトで表示されることを保証するために、関心度値と逆の順序で、個々にえり分けられてもよい。
【0046】
ページサイズの自動制御は、関心度アルゴリズムに基づくため、ユーザには、表示空間内でのオブジェクトのサイズ及び位置を制御する選択肢も与えられる。これらの制御機能の使用は、個々の画像に適用される距離関心度関数に影響する。更に、ユーザには、関心度関数を無効にし、関心度値とは関係なく、選択されたサイズ及び位置にオブジェクトを表示する選択肢が与えられてもよい。例えば、関心度関数は、特定の仮想ページ(例えば、索引ページ)について無効にされ、これにより、このページが選択されたサイズ及び位置に残るようにしてもよい。このページが選択されたサイズ及び位置に残るのと同時に、他のページは、関心度アルゴリズムにしたがって調整されてもよい。
【0047】
単純な命令と共に最適な機能性を可能にするために、ユーザは、オブジェクトのサイズ及び位置を、例えば、オブジェクトの画像を横切って移動する間にマウスボタンを押下しその状態を保つことにより、変更してもよい。下向きの掃引は、例えば、ページのサイズを縮小でき、上向きの掃引は、サイズを拡大できる。例えば、ブックのページ上での左から右への掃引によって、ブックからブックの外の切取りページへとページを移すことができる。切取りページの生成は、例えば、ブック内のページを灰色状態で表示することにより示される。更に、ページ上から他のページへの、左から右への命令により、例えば、複数のページからページの束を生成できる。
【0048】
利用可能な資源の最適な使用は、オブジェクトの表示が、表示サイズを超える場合に重要となる。上述のように、3次元ブックの一般的な原則の1つは、現実世界のブックを仮想空間で閲覧する、感覚的な経験を提供することである。しかしながらこの類似方法は、大きな形式のブックと小さな表示サイズの場合、制限される。更に、時には、例えば、ブックの索引又は目次などの、長い条項リストの異なる部分を同時に閲覧することが有用である場合もある。
【0049】
この問題の1つの解決法は、視界からオブジェクトの一部を取り除くことである。3次元類似方法のこのような取り除きへの拡張は、オブジェクト(すなわち、ページ)を視界の中又は外へ折り曲げる、視覚的な表示である。図27のAに示すように、ページ700は、カテゴリA及びカテゴリCに含まれる情報を含んで示される。図27のBのページ702に示すように、カテゴリAに含まれる情報が選択される。図27のCにおいて、プログラムは、折畳み動画を使い、ページ704上の情報がクレバス710に折り畳まれることを示す。画像情報は、ページのその部分の視角が視界から外へと曲げられるにしたがってページによって形成される平面に、マッピングされる。図27のDに示すように、次に、ページ706のカテゴリBに含まれる情報が選択される。図27のEにおいて、カテゴリ情報は、クレバス720から、ページ708の外へと、図27のCに示す順序とは逆の順序で展開される。最後に、図27のFにおいて、新しく構成されたページ730が示される。
【0050】
3次元ブックの画像をページ上に適応させる以上に、ブック内に提供された情報に、容易に、手間を取らない方法でアクセスする能力は、3次元ブック類似方法の有用性を向上させる。物理的なブックでは、テキスト全体から特定のページを選択する能力は、ブックの厚さ方向の側辺部を使い、ブックの望まれる位置を概算することを伴う。しかしながら、一般的には、ブックの厚さ方向の側辺部は、比較的小さな空間を占めるため、詳細なページ選択には敏感に反応できない。
【0051】
図28を参照し、同様のページ探索の問題点が、仮想3次元ブック800にも見られる。ユーザが、仮想3次元ブック800の厚さ方向の、比較的小さな側辺部820に沿って選択することにより、正確にページの位置を知ることは、非常に困難である。この問題点を緩和するために、ユーザが選択可能なスライダ825が、仮想3次元ブック800の高さ方向の縁部815に配置されてもよい。ユーザは、例えば、クリックアンドドラッグ動作を使い、縁部815の長辺上に上及び下に、スライダ825を再配置できる。スライダ825を上に移動させる結果、ブック800内ではページが後向きに移動し、スライダ825を下に移動させる結果、ページが前向きに移動する。
【0052】
更に、図28に示すように、縁部815の有用性は、縁部815から伸びブックの区分を示す章タブ805を設けることにより増加できる。ユーザは、これらのタブ805上の単純なクリック選択を実行し、与えられた章タブに関連する第1の仮想ページを探索できる。
【0053】
この代わりに、つめかけを有する辞書に一般的に使われるように、タブ805を、ブックの側部に「切り込む」ように示すこともできる。これらの章タブ805は、均一のサイズであってもよく、又は章の相対的なサイズを反映して、異なるサイズにされてもよい。更なる情報を、章タブの色コード化により又は章のテキスト識別子を含むことにより、提供することもできる。タブ805の有用性は、情報をタブの両側に提供し、章に対応するページがめくられた場合にも、ページに含まれる情報を利用可能な状態に残すことにより、向上してもよい。
【0054】
ブック800の縁部815は、例えば、400の垂直画素を含んでいてもよい。よって、仮想3次元ブック800が例えば、400の仮想ページを有する場合、スライダ825の1画素分の移動の各々によって、対応する、ブック800の1ページ分のページ移動が生じる。しかしながら、ブック800が、より大きな数の仮想ページ、例えば800の仮想ページを有する場合、これらの800の仮想ページは、1画素毎に2ページの割合で、縁部の400の画素範囲にマッピングされる。よって、この例では、1画素分のスライダの移動は、2ページ分のページの移動を生じる。
【0055】
当業者には、どのような数の仮想ページでも、縁部815に沿った、どのような数の画素に比例してマッピングできることを認識できるであろう。比例画素マッピングをグラフで表現したものを、図29に示す。例えば、ユーザが、タブ805上及びスライダ825上では無い、ブック800の隣の場所をクリックすると、仮想ページは、その場所が縁部815に沿った距離に比例するページにめくられる。
【0056】
より大きなブック、例えば1200のページを有するブックの場合、縁部815に沿って移動するスライダ825は、十分なページ選択性を提供しない。したがって、ページ選択処理の有用性を向上するために、図30に示すように、縁部815に沿った比例しない画素マッピングを導入してもよい。これにより、縁部815の特定の部分において、仮想ページのより大きな区別能力が、可能となる。
【0057】
本発明の好適な実施形態では、関心度関数を使い、ブック800の縁部815と、選択が実行されるページとの対応性を歪めることもできる。この技法はまた、指示がそれほど正確である必要が無いため、より小さなブックにおけるページ選択をも助ける場合がある。より詳しくは、計算されたユーザ関心度にしたがって非均一マッピング処理を使うことができ、これにより、設けられた空間を、より効率的に利用できる。
【0058】
上述のように、使用される関心度(DOI)関数は、オブジェクトが前回閲覧された時からの時間量に基づく時間距離値と共に動作できる。この代わりに、距離値は、現在閲覧中のページが高い関心度を割当てられ、ブックのそのページから遠くに位置する他のページほど関心度が低下するような、空間的距離に基づいていてもよい。関心度の計算は、以下のような指数関数を使い、各ページpに対して実行できる。
【0059】
【数2】
DOI(p)=1/[A×exp{k|c−p|}]
ここで、A及びkは定数であり、eは自然対数の底(約2.71828)であり、|c−p|は、現在のページ番号cと各ページ番号pとの差の絶対値である。図30に、上の関心度関数を使う、非均一マッピング処理で使われる値を例示する。A及びkの値は、全てのページ番号の範囲(x軸)及び、表示される全ての仮想ページに割当てることができる表示画素の総数(ページ毎に割当てる画素数、y軸を決定する)を考慮し、DOI関数が図30に示される曲線の形状をなぞるようにすることで求めることができる。
【0060】
この非均一マッピング処理はまた、上述の章タブから更なる情報を提供するよう拡張できる。図31に示すように、選択可能なY軸の関心度マッピングにより、章サイズの非均一なマッピングが生じる。大きな章タブ1003、1004、及び1005は、現在閲覧中の章に最も近い章に対応し、例えば、図31の章タブ1004上で示すようにサブチャプタ又はセクションを表示するために使用できる余剰の空間を有する。更に、図示される章の相対的なサイズを使い、図示するように、ユーザに、ブックのセクションの相対的なページ選択性に関する情報を提供することもできる。すなわち、タブのサイズを調整することにより、ページサイズの歪みの視覚的なスケールを提供できる。
【0061】
ブック及びブック縁部類似方法において、ブックを探索するいくつかの異なる方法を利用可能としてもよい。ページをめくる1つの方法として、ブックの右辺のページ又は左辺のページのいずれかにクリックすることにより、現在のページから単一のページがめくられることを可能にする方法がある。右辺のページにクリックすることにより、1ページ分前方に移動し、左辺のページにクリックすることにより、1ページ分後方に移動する。この代わりに、この動作を、マウスボタンを押下した状態で保持し、同時に、右方向への命令を行うことにより、ページを1ページ分前方に移動させ、又は左方向への命令を行うことにより、ページを1ページ分後方に移動させることにより、物理的なページをめくる、手の動きを模擬して達成してもよい。次のページ又は前のページを開く行動は、ユーザの視界内における、ページがめくれる動画によって示される。
【0062】
この代わりに、ページめくりは、例えばブックの縁部の一点を選択し、その点を上又は下にドラッグして、選択された方向(すなわち、上方向では、ブックの前方向にめくり、下方向では、ブックの後方向にめくる)にページをめくることにより、達成されてもよい。ユーザの異なるタスクに対して、異なるページめくり速度が必要とされる場合があるため、ユーザには、例えば、ページめくり速度を、一旦ページめくりが開始された後カーソルが移動するブックの縁部に沿った距離と相関させることにより、所望のめくり速度を選択する能力が与えられる。
【0063】
遅いめくり速度の場合、すなわち、ページめくり処理を開始した後でユーザがカーソルを遠くに移動させない場合、完全な動画が提供され、個々のページめくりの各々を示す。これにより、表示されたページの全ての情報が、めくられるページにマッピングされる。更に、カーソルを前後に移動させることにより、ユーザは、例えば、めくりの途中又はめくったページを前後に移動することにより、ページめくりを非常に選択的に制御できる。
【0064】
しかしながら、ページめくり速度が増加するにしたがって、コンピュータが、個々のページめくりを十分に示すことができなくなり、動画を表示するために必要な情報全てのマッピングについていけなくなる場合がある。したがって、ブック類似方法を最大限にし、めくり進行中に、有用な情報をユーザに提供するために、代替閲覧計画を採用し、より速いめくり速度に対応することができる。このより速いめくり速度は、めくり速度が、予め選択された速度閾値を超えて高くなった場合に開始する。
【0065】
1つの例示する動画としては、少なくともページ内容の一部を含むページの小部分、例えば、ページの4分の1を折り曲げて表示することが挙げられる。このような動画の1つが、ストライプめくりと呼ばれ、めくり動画の際に、向かい合うページ及び次のページの両方のストライプが示される。この代わりに、部分的なめくり動画の際に、向かい合うページ及び次のページの、どのような対応する小部分を表示してもよい。これにより、ユーザが、めくられる開いたページ及び次のページの表示された部分上で利用可能な情報を閲覧できる。部分的なめくり動画、ストライプめくり、を図32に例示する。
【0066】
更に速いめくり速度の場合、各ページの内容の小部分だけを示すために必要な動画でさえも、ユーザにそれほどの有用性を提供できない可能性が高く、コンピュータの処理能力を超える可能性がある。その代わりとして、図33に示すように、ブックを、ページの隅のみでめくるように示し、めくられたページのページ番号及び潜在的な向かい合うページ(ここではそれぞれページ224及びページ225として示される)を見せるが他の情報を見せないように示してもよい。このモードは、ページめくり速度の第2の予め選択された閾値を超えることにより始動される。隅めくりは、ページ内容データを必要としないため、完全又は部分的なページめくりのような処理時間を必要としない。よって、隅めくりは、迅速に処理及び実行できる。動画は、3次元ブック類似方法を保つために、巻いたページを蓄積したものを含んでもよい。
【0067】
図34は、ユーザがプログラムにおいて特定の命令を実行することにしたがった、閲覧のための3次元ブックの処理を示すフローチャートである。ステップ1300において、ブックはまず、コンピュータにロードされ、例えば、図31に示すような方法で表示される。ブックは未だ開かれていないため、ブックの縁部を歪めるために、関心度関数は使われていない。ステップ1310において、ユーザは、例えば第4章に割当てられた章タブ上でクリックすることにより、第4章を選択する。ステップ1320において、コンピュータが、関心度関数を使いブックの縁部を歪め、ブックの第4章を開き、例えば、図31に示す画像を示す。ステップ1330において、ユーザはブックの縁部をクリックし、カーソルをゆっくりと下方向に移動させる。この命令に応答して、ステップ1340において、コンピュータは、ページがゆっくりとめくれていることを示す。ブック内をより素早く進むために、ユーザはステップ1350において、カーソルを更に下に移動させる。ブックの縁部は、現在のページの周囲において、関心度関数を使い歪められているため、ユーザが開始点から移動し離れるほど、図30に示すように、ページ対距離関数の傾きが増す。一旦、第1閾値速度を超えると、ステップ1360において、コンピュータは、図32に示すストライプめくり形式を採用する。ステップ1370において、ユーザはページめくり動作中に、所定の閾値時間よりも長い間、マウスを一時停止する。コンピュータは次に、ステップ1380において、ユーザが、現在部分的にめくれて開いているページを選択したと判断する。そして、選択されたページが完全にめくられ、内容全体が示される。ステップ1390において、新しく選択されたページを反映するために、ブックの縁部が再度歪められる。
【0068】
ブック類似方法とは異なる形式で示される文書の場合、上述のブックの縁部を歪める機能を、代替表示形式に適合するように修正できる。この代替表示形式の1つの形は、多くのワードプロセッサで使われるスクロール形式に例示される。表示される文書は、文書に含まれる全ての情報を含む、連続的なスクロールとして閲覧される。これらのプログラムの場合、表示はしばしば、文書内を探索するために使うことのできる「スクロールバー」を含む。スクロールバーは、スクロールバー距離の、文書内での位置への線形マッピングとして示される。この線形マッピングの代わりに、上述の関心度関数に類似する関数を使い、スクロールバーを歪めることもできる。このように現在閲覧中の部分に近い文書の一部が、現在閲覧中の部分から遠い距離の部分よりも、スクロールバーの大きな面積に相関させられる。
【0069】
図35及び図36に、修正されたスクロールバーの2つの形を例示する。図35では、文書がセクションに分けられ、関心度関数が使われて、文書内の位置とスクロールバー1400上のスクロールバー位置との相関が歪められる。例えば、スクロールバー1400では、現在のセクションである第4セクションは、第1セクション及び第10セクションよりも、スクロールバーのより大きな部分と一致される。任意に、スクロールバー1400の第4セクションに示すように、関心度の高いセクションに、サブセクション情報を含んでもよい。スライダ1405が、スクロールバー1400を探索するために設けられる。
【0070】
図36のスクロールバー1410に示すように、スクロールバーに追加の情報を付加してもよい。図36では、表位置表示1420及び図面位置表示1430が、文書内の表及び図面の位置を示す。表位置表示及び図面位置表示は、文書オブジェクトの各種類に対してテクスチャ又は色を使うことにより区別できる。ユーザは、スクロールバー1410上に設けられたスライダ1405を使い、又は表位置表示1420又は図面位置表示1430にクリックすることにより、探索してもよい。
【0071】
図27のAからFに関連して説明された折り曲げページに関して上で述べられたように、ブックの全体的なページを、ユーザがそのページ上に提供される情報を閲覧できるように十分に大きな形式で表示することが不可能な場合もある。この問題の1つの解決法として、タイトル、画像、及び文脈情報などのページ上に提供される情報の大半が利用可能であるように、全体のページを縮小形式で表示し、同時に、選択された部分を、ユーザが容易に読取ることが可能なサイズに拡大する方法が挙げられる。この拡大は、閲覧される画像の選択された部分を拡大するレンズの数学的な近似を使って実行できる。例示レンズは例えば、「“The Document Lens”,by George G.Robertson and Jock D.Mackinlay, Proceedings of UIST '93,101−108(1993)」に記載されている。
【0072】
拡大レンズ類似方法の単純な拡大レンズ表現方法を図37に示し、この図では、文書1520の領域1510を拡大する拡大レンズ1500を示す。領域1510は、図38の文書1520の拡大されていない領域1540の拡大版に対応する。図37と図38の比較からわかるように、単純な拡大レンズ1500は、領域1530(図38に示す)を視界から妨げる。
【0073】
その代わりとして、図39に示すように、伸張レンズを使うことができる。このレンズでは、図39に示す拡大と同様の方法で、閲覧される文書1610の範囲の中央領域を直接的に拡大するためにレンズの中央領域1600が使われる。中央領域の周囲の領域1620では、異なる拡大率が採用され、これにより、領域1620の、中央領域1600に隣合う一部が中央領域1600と同じ程度に拡大される。拡大率は、文書1610の非拡大領域に隣合う、領域1620の片側に向けて低減され(例えば、線形様式で)、この領域1620の片側は拡大されない。このように、図38の範囲1530に存在し妨げられていた情報が、ここでは示されるが、この範囲内のテキスト又は画像は、伸張レンズを使い、意図的に歪められたように見える。よって、この好適な実施形態では、伸張レンズが実質的に仮想角錐構造を定義する。
【0074】
図40に示すように、拡大レンズ1640は、ページ1610の幅全体に渡るように選択できる。ここでは、文書の幅全体に渡る全てのテキスト又は画像もまたユーザによって閲覧可能であり、ページ1610からの残りの情報全てもまた、拡大された領域の周囲で、低い拡大率で閲覧できる。代替構成では、異なる空間拡大率を有する3次元レンズを使うこともでき、又は複数のレンズを用いることもできる。
【0075】
ページ上に提供された情報を、割当てられた制限された範囲内に全て表示するもう1つの方法を、図41から図43に示す。この表示方法は、「伸張ページ」表示方法と呼ばれる。この構成では、図41に示すように、ページ1700が、ここでは、例えば、1710、1720、1730、1740、1750、及び1760の6つの領域などの、いくつかの領域に分割される。領域1710は、ユーザが現在関心を向けている注目範囲である。この領域が関心の対象領域であるため、一定の高い拡大率を有して表示される。それぞれ、関心対象領域1710の上及び下の領域である、領域1720及び1730は、水平方向には完全な拡大率を有して示されるが、垂直方向の拡大率は低く、これにより、領域1720及び1730は、短くなった外観を有する。領域1720及び1730内の文脈情報を見ることはできるが、領域1710の注目範囲を適合させるために、テキスト及び画像は、意図的に歪められる。
【0076】
ページのもう1つの側もまた、3つの領域に分けられる。3つの領域1740、1750、及び1760の全てが、水平方向に対しては低い倍率を有して示される。真ん中の領域1750は、関心対象範囲1710の垂直倍率と一致させるため、垂直方向に完全に拡大される。同時に、領域1740及び1760は、範囲1720及び1730の低い垂直方向の倍率を共有する。拡大されたページの例を、図42及び図43に示す。
【0077】
伸張ページ及び伸張レンズ表示形式の両方において、いくつかの異なる注目範囲移動選択肢が可能である。注目範囲移動の例は、レンズを文書を横切って移動させ、文書の異なる領域を拡大形式で表示することを含む。この代わりに、ページ上のレンズの前又は後のクリック動作を使い、ページに沿ってレンズを所定の距離だけ前方又は後方に再配置してもよい。もう1つの可能性として、レンズを次の段落に移動させ、段落が無理のない表示範囲内に収まらないほどに大きい場合を除いて、段落に合わせるようにレンズがレンズ自体のサイズを再設定してもよい。レンズはまた、一定の設定された速度でページに沿って移動されてもよく、この速度は、ユーザが読む速度に合わせてユーザが設定する。この代替案は、速読法に類似する。
【0078】
もう1つの例示する関心範囲移動計画は、視標追跡装置を用い、これにより、ユーザが現在見ている表示上の位置をコンピュータが判断できる。目の動きが、関心範囲の底部から閾値距離内になった時に、範囲が前方に移動される。このような目の動きの追跡装置は、レンズが読者のペースに合わせることを保証するために、上述の定速方法と組み合わせて使うことができる。例えば、ユーザが一時的に横を見た時など、目の素早い動きは、ユーザの関心の特定の変化に対応しない場合があるため、遅延を含み、このような一時的な変化を無視することを保証してもよい。
【0079】
もう1つのページ閲覧技法(ポップアンドピックと呼ばれる)では、文書の最初の図が、全体ページの完全な図として示される。上述のように、全体的なページが一度に閲覧される場合、テキスト又は画像が、使用のために十分に拡大されない場合もある。したがってユーザは、ページ上の特定の位置を選択し、これにより、ページのその特定部分に向けたズームインの動画が生じる。一旦ズームが完了すると、選択された範囲は使用のために十分に拡大される。ページの他の部分を閲覧するためには、ユーザは、完全なページ図への動画化されたズームアウトのための制御(ボタンの押下又はマウスの移動など)により、このことを示す。ユーザは次に、場所を選び、前と同様にズームインする。
【0080】
これらの2つのズーム機能は組み合わせることができる。例えば、表示がズームされた位置にある時に、ユーザがマウスボタンをクリックし、その状態を保つことにより、表示を完全なページ図にズームアウトさせてもよい。マウスボタンを押下したまま、ユーザが、読もうとする文書の他の部分にマウスが位置するまでマウスを移動してもよい。この時点で、ユーザがマウスボタンを開放して、読もうとする部分に表示をズームしてもよい。任意に、全てのズーム行動を動画化してもよい。
【0081】
3次元ブック類似方法を拡張し、判読性を改善するために、ブック自体の閲覧遠近法を修正してもよい。図44及び図45に示すように、ページ1800は、完全なページの見かけを提供するために、傾けられる又は角度を付けられることもできる。ページのテクスチャを、角度付きのページにマッピングすることにより、3次元空間においてユーザに近いページの部分では大きな印刷が生じ、3次元空間においてユーザから遠いページの部分では、小さな印刷が生じる。
【0082】
この方法(「ダックアンドズーム」(duck and zoom)と呼ばれる)の最初の見かけは、ユーザがテキストを読むことを可能にするよう十分にズームされた部分的なページ表示である。例えば、マウス又は他の適切な入力装置を使い、ユーザは、傾け機能を始動させ、3次元空間において仮想ページの中間の水平軸に対して、ページを回転させてもよい。表示プログラムは、ページの傾き処理にしたがって、動画を提供する。例えば、ユーザは、マウスボタンを押下し、ボタンを押下した状態を保ちながらマウスを少し上に移動させ、ページの上端部分が表示内でユーザに向けて倒してもよい。一旦傾けが完了すると、図44に示すように、ページの上端部に表示された情報が、判読できる。マウスなどの位置指示装置の位置は、カーソル1805によって示されてもよい。ユーザはまた、クリックし、ユーザが関心のある表示部分へとカーソルをドラッグしてもよい。この行動により、表示がこの関心領域にズームされる。
【0083】
ユーザがページのこの部分を閲覧することを望まなくなった時には、ユーザは、マウスボタンを押下し、カーソル1805を表示の下へと移動させてもよく、これにより、図45に示すように、ページの底部を閲覧できるように、ページが前方へと傾く。ここでも、表示プログラムは、移行を動画化する。ユーザはまたズーム機能を使い、関心対象の範囲を選択しズームしてもよい。
【0084】
この傾け機能は、3次元における視角の調整を可能にすることにより、一般化できる。それでもなお、傾け機能を単一の回転軸に制限することには、ユーザインターフェースを単純に留めるという長所を有する。
【0085】
文書内に提供された画像及びテキスト情報を示す方法に加え、3次元ブックに関する情報を探し表示する方法も開示される。広く知られた、ブック内の必要な情報を見つける方法として、ブックの索引を見る方法がある。この索引概念を拡張したものが、3次元ブックのページとして、「注目点及び文脈」(focusand context)を使って作り出される索引である。図46を参照し、索引ページ1905は、索引ページ1905及びブック1900を同時に閲覧できるように、ブック1900から切取られてもよい。
【0086】
例示する注目点及び文脈索引ページを、図47にページ2000として示す。ページ2000は、索引を作り出すための基本となる用語を入力するための検索ボックス2010を含む。用語を、例えばタイプ又はテキストの貼り付けによって、検索ボックス2010内に入力した時には、コンピュータが、その用語のためのカスタム化された索引を構築する。この独自の索引を構築するための好適な処理をここで説明する。
【0087】
この構築の開始点は、好適には、3次元ブックを作り出す基である、文書の実際の索引である。理想的には、この索引は、ブックの物理的な表現法から既に存在していてもよいが、当業者に知られる多くの索引アルゴリズムのいずれかを使い構築されてもよい。当然のことながら、既に作られた又は予備処理された実際の索引は電子形式であるべきである。
【0088】
カスタム化された索引を処理するために必要なもう1つの材料は、ブック内の用語のための用語間類似性行列である。用語間類似性行列の根本概念は、分析される文書内の単語間における関連性の意味論的な分析を提供することである。用語間類似性行列を作り出すためには、大量の処理資源が必要なため、この行列は理想的には、予備処理されているべきである。
【0089】
例示する、用語間類似性行列を作り出す方法は、窓方法(windowingmethod)と呼ばれる。この方法では、予め選択された数nの隣接する単語の集合が、ブックのテキスト内で反復して隔離される。好適には、窓は、一度に40から300の単語を含む。窓が、文書内のn個の単語の各隣接集合上を移動するにしたがって、窓内の単語のペア間の関連性を記録するために、行列が作り出される。単語のペアが窓内で共に現れるたびに、この関連性を記録する値が増やされる。よって、反復処理の終了時には、文書内で、各単語が何度窓の中で他の単語と共に存在したかを記録する、大きな行列が作り出される。最後に、行列内の値が、0と1との間の値に標準化される。
【0090】
与えられた検索用語に対する、カスタム化された索引を作り出す方法を、図48に示す。実際の索引から始まり、方法は、いくつかの異なる処理を使い、この実際の索引を、検索用語に対するカスタム化された索引へと、精製及び濃縮する。ステップ2110において、検索用語が、図47の検索ボックス2010から読み込まれる。検索ボックス2010に図示するように、この用語は、「fisheye views」である。ステップ2120において、検索用語が実際の索引内で見つかった場合、この用語には、最大の関心度値が割当てられ、実際の索引に提供された情報がユーザの関心対象である有望性を表す。この最大の関心度の割当ては、例えば、1の活性値を割当てることにより実行される。好適な実施形態では、実際の索引用語と一致する検索用語は、図47の、強調した用語2020などのように、カスタム化された索引中で、異なって表示される。
【0091】
次に、ステップ2130において、拡散活性方法(method of spreading activation)が応用され、ブック内の単語に対する、新しい一連のDOI値が作り出される。この方法は、用語間類似性行列2100を用いる。拡散活性法は、米国特許第5,835,905号に記載される。使われる拡散活性法の種類は、例えば、漏洩コンデンサ(leaky capacitor)モデルと呼ばれる。漏洩コンデンサモデルは、「"Spread of Activation",Journal of ExperimentalLearning and Cognition,Vol.10, No.4,pages 791−798 by Anderson & Pirolli,1984」に記載される。用語間類似性行列を使い拡散活性を計算するには、関心度のベクトル項が、用語間類似性行列Rによって、次の式に基づき乗算される。
【0092】
【数3】
A(t)=C+MA(t−1)
M=(1−y)I+αR
ここで、Iは単位行列、Mはノード間の活性の流れ及び減衰を決定する行列、yはノードが追加活性入力を受けない場合のノードがゼロに戻る緩和を決定する数値、αは、ノードからその近隣に拡散する活性の量を決定する数値、Rは、ノードi及びノードjの間の関連性の強さをRijの値として割当てて構築される行列、である。行列Rの主対角要素には0の値が割当てられる。
【0093】
ノードの間に流れる活性は、活性強度によって決定される。活性強度は、関係書目の連結及び共引用文強度に対応する。源活性は、ベクトルCによって表され、Ciがノードiによって吸入される活性を表す。活性の力学は、離散ステップt=1,2,...Nに対してモデル化できる。ここで、ステップtにおける活性がベクトルA(t)で表され、要素A(t,i)は、ステップtにおけるノードiでの活性を表す。
【0094】
各用語の関心度への、拡散活性の適用により、各用語に対する関心度を含む新しいベクトルが生じる。選択された用語と類似する用語は、用語間類似性行列を使い決定されるように、増加された関心度を有する。ステップ2120において、元々最大値に設定されていた(ブックの実際の索引内に見つかったため)関心度値は、最大の状態に保たれる。
【0095】
ステップ2140において、関心度(DOI)値が第1閾値を超える用語は、ユーザの関心対象として識別される。その後表示された時には、これらの用語は、例えば、用語を太字で示すなどにより、カスタム索引内で異なって表示されてもよい。この代わりに、第1閾値は、最終的な表示内で太字で示される用語の数に基づいて、動的に調整されてもよい。
【0096】
ステップ2150において、実際の索引のエントリ/サブエントリ構成が考慮される。高いDOI値、関心度値を有するサブエントリ用語の各々に対して、その親エントリ(サブエントリより上の、より一般的な用語)には、より高い関心度値が割当てられる。「兄弟」エントリ(同じ親エントリの他のサブエントリ)の関心度値にも、より高い関心度値が割当てられてもよい。これらのタスクは、ステップ2130からの一連のDOI値に対して、上で説明された「フィッシュアイレンズ」アルゴリズムと同じアルゴリズムを適用することにより達成される。ステップ2150において、「内在DOI」は、ステップ2130からのDOI値に関連し、「距離に基づくDOI」は、エントリ−サブエントリ構成を反映する。
【0097】
ステップ2160において、第2の所定の閾値、第2閾値が使われ、表示する追加の用語が選択される。第2閾値を超える関心度を有する用語が、表示のために選出される。選択された情報量によって、第2閾値は、ステップ2170において、選択された情報量を増やすよう又は減らすよう、反復調整されてもよい。調整の目的は、情報量が、割当てられた表示空間、例えば、単一の切取りページに、割当てられた空間内の空白が多くなり過ぎないように収まることを確実にするためである。
【0098】
場合によっては、第2閾値の調整は、増加又は減少に対して非常に敏感であり、最小限の変化によって、表示される項目数に大きな増加又は減少を生じる。この場合、第2閾値の2つの値のうち低い方が、少なすぎる索引エントリを生じ、第2閾値の2つの値のうち大きい方が、多すぎる索引エントリを生じる。このような場合、例えば、第2閾値は低い値に設定され、切取りページを埋めるには少なすぎるエントリを含むカスタム索引が生じる。これらのエントリを補うために、第2閾値の高い値の場合に表示されたであろう追加の用語から、ランダム数の用語が表示のために選択される。この結果、最適なサイズのカスタム索引が生じる。
【0099】
ステップ2180において、カスタム索引は、表示のための仮想ページに構築される。各用語の隣には、これらの用語が見つかるページ番号が表示される。リストから用語又はページ番号にクリックすることにより、プログラムに、用語を含む第1のページ(ユーザが用語上にクリックした場合)又は特定の選択されたページ(ユーザがページ番号上にクリックした場合)へとブックが開く動画を行うよう指示する。更に、ユーザの、選択された用語の各用法に関するブック内の移動を可能にするためのインターフェースが表示上に表示されてもよい。
【0100】
図49に示すように、更なる検索ボックスが、更なる用語の入力のために表示されてもよい。図49は、第1の検索ボックス2200と、第2の検索ボックス2210とを示し、これらの検索ボックスは、索引ページ2220の上端部に設けられる。選択された用語の一方又は他方と一致する用語には、最大の関心度値が設定され、2つの用語の各々に対応する用語は、例えば、2つの異なる強調色を使うことにより、異なって表示される。これにより、第1の検索ボックス2200内の用語と一致するエントリは、第1の色で強調された用語2230として示され、第2検索ボックス2210内の用語と一致するエントリは、第2の色で強調された用語2240として示される。
【0101】
上述の拡散活性方法が、ペアの用語を処理するために使われ、ここでは、選択された用語の両方に関連する用語は、両方の用語との関係により、必然的に高い関心度を有する。ここでも、第1の閾値、第1閾値を超える関心度を有する用語は、太字で示されてもよく、これにより、用語が関心対象である有望性を知らせてもよい。第1閾値は、可変レベルに設定されてもよく、これにより、与えられた範囲内の用語の一部が太字で表示されることを保証する。
【0102】
上述と同様の方法で、注目点及び文脈又はカスタム化された目次を、ユーザが入力した用語に基づいて作り出すこともできる。注目点及び文脈索引と同様に、注目点及び文脈目次は、3次元ブックからの切取りページとして表示されてもよい。注目点及び文脈目次2300を、図50に例示する。目次2300の開始点は、例示3次元ブックの実際の目次である。
【0103】
目次の各エントリ(章の標題、章の副標題、などを含む、全体的な目次の保存版)には、関心度値が割当てられる。与えられたエントリの関心度値は、ユーザと目次との相互作用の観点から可変である。関心度は、例えば、ユーザが目次のエントリの1つにクリックした場合に増やされる。関心度はまた、例えば、ユーザがエントリ内に含まれる用語を、検索ボックス2310内に打ち込むことにより、増やされてもよい。
【0104】
目次が最初にあけられた時、すなわち、ユーザが目次と対話する前には、例えば図50に示すように、章の標題及び詳細でない章の副標題のみを表示するために、目次は、詳細でない方法で示される。ユーザが、目次中の特定のエントリ、例えば第4章に関連するエントリをクリックすると、目次は、目次のその部分を拡張し、図51に示すように、第4章に関するより詳しい情報を提供する。表示される第4章に関する情報量の拡張は、目次の表示に割当てられた利用可能空間を越える場合がある。この問題に取り組むために、図51に示すように、割当てられた空間内に全ての表示情報を保持するために、他の章の副標題をえり分けてもよい。
【0105】
上述のように、目次の関心度値はまた、例えば、タイプすることにより検索ボックス2310内に入力される質問に応答する。図52に示すように、「fisheye」などの検索用語が検索ボックス2410にタイプされると、目次中の項目に関連する関心度値の変化を反映して、表示が変化する。目次中の項目の表示はまた、例えば、強調された用語2420で示すように、検索ボックス2410内で見つかった用語の用法を強調することによって、変化してもよい。検索用語を含む全てのエントリは、最大の関心度値に設定される。
【0106】
更に、注目点及び文脈索引の作成に関して上で述べた拡散活性処理決定を使い、検索用語に対して特定の類似性度を有する用語を、目次中のこれらの用語がユーザの関心対象である可能性を反映して、太字としてもよい。この可能性はここでも、閾値、第1閾値を設定し、どの用語を異なって表示するかを判断することにより決定される。第2の閾値、第2閾値よりも高い関心度値を有するエントリは、注目点及び文脈目次の一部として表示されるよう設定される。上述の内在関心度値は、目次のツリーのレベルを考慮して設定されてもよい。より詳しくは、章の標題は、副章の標題よりも高い内在関心度を有して設定されてもよく、これにより、章の標題が表示される可能性を高める。
【0107】
ここでも、表示されるエントリの総数は、反復調整された第2閾値を使い選択されてもよい。これにより、表示される項目が、利用可能な空間を超えないことを保証しつつ、ページの大半が空白とならないことも保証する。
【0108】
検索用語はまた、目次中の用語にクリックし、検索ボックス2410にドラッグすることにより、検索ボックス2410内に入力されてもよい。注目点及び文脈目次のサイズは、手動で又は目次に割当てられた関心度値を使い自動的に調整可能である。
【0109】
情報はまた、「動的ブックマーク」(dynamic bookmark)と呼ばれるオブジェクトを介してユーザに利用可能にされてもよい。図53に、動的ブックマーク2510が追加された3次元ブック2500を例示する。例示する動的ブックマーク2510は、バーのマークとして示される。これらのバーマークは、バーグラフ技術に基づく。バーマークは、例えば、3次元ブック(又はブラウザ、ハイパーテキストコレクション、又はコンテナミディアム(container medium))からのバーとして提示される。
【0110】
動的ブックマークは、例えば、テキスト情報を表示するために使用できる。テキスト情報は、例えば、検索質問の結果であってもよく、この場合、各バーマークが、ブック2500内の、検索用語が見つかった章の上端部から伸びる。更に、各バーマークの高さは、検索用語が個々の章に現れた回数を表示するように選択されてもよい。使用数の決定は、検索機能への適応として実行してもよい。ユーザに、質問結果を比較するための基準を提供するために、参考標準マーク2520を追加してもよい。
【0111】
図54は、図53に示す表示を、どのように複数の検索用語に対して使用するために順応させるかを示す例である。第2の検索用語は、ブック2600の上に、第1のバーマーク2620とは異なる色又はテキスチャを有するバーマーク2610として追加される。バーマークを隣合わせで示す方法の代わりに、重複して又はお互いの上に垂直に配置して示してもよい。
【0112】
別個のグラフィック表現としてのバーマークは、ユーザによって操作できる。ユーザは、例えば、バーマークの部分集合をクリックし、新しい選択に対して副質問を実行できる。ユーザはまた、バーマークを他のコンテナーにドラッグアンドドロップして結果を保存し、後に、この結果を他のデータベース動作のための基本設定として使うこともできる。
【0113】
動的ブックマークのもう1つの動作用法として、注目点及び文脈索引及び/又は目次の付属物としての用法が挙げられる。動的ブックマークは、注目点及び文脈索引及び/又は目次を作り出すために使われた用語が見つかる位置を示すために、3次元ブックに追加されてもよい。更に、動的ブックマークへのクリックを使い、検索用語が使われている3次元ブック中のページを開けてもよい。
【0114】
本物のブックのサイズに関する物理的な制限は、電子3次元ブックに移す必要のないものの1つである。例えば、「Information Visualization by Stuart Card, Jock Mackinlay,and Ben Schneiderman (San Francisco, Morgan−Kaufmann, 1999)」などのブックは、650の引用文献を含み、680のページ数を有する。ブックでない文献の各々の内容をブックのページとして追加する場合、この結果のブックは、約7000ページを有し、物理的な形式では、厚さが約30.5センチメートル(約12インチ)のブックとなるであろう。このようなブックは、例えば、「A Medium Containing Information Gathered from Material Including a Source and Interface for Graphically Displaying the Information」の題名の、米国特許出願第09/488,563号に記載されている。巨大サイズの3次元ブックを含む携帯式文書読取装置は、それほどまでには空間を使わない。
【0115】
大きなブックの3次元形式への適応は、大きなブックの将来の構図を提供する。例示する「大きなブック」を、ブック2700として図55に示す。ブック2700の側辺部のサイズは、典型的なブック2710の側辺部のサイズよりもはるかに大きいため、側辺部は、ブック2700の情報を提供するために使うことができる。
【0116】
図56及び図57に示すように、ブック2800の2つの可視の側辺部を使い、ブック2800に関する内容情報を提供できる。1つの表面2810は、例えば、米国特許第5,632,009号、米国特許第5,880,742号、米国特許第5,883,635号、及び米国特許第6,085,202号に記載されるような「テーブル画像」又は「テーブルレンズ」を表示するために使われてもよい。側面に示されるデータは、ブック内の基準に関するメタデータを表示する。ブックの第2の表面2820を、ブック2800のセクション/サブセクションを表す着色された又はテキスチャを付けられた帯と共に使うこともできる。図56においては、テーブル画像2810は、1つの状態を有する。図57においては、ユーザが柱2830内の変数に注目し、これにより、この柱が拡大し、他の柱が収縮する。同様に、情報2820も、変更された状態を有する。
【0117】
この代わりに、図58に示すように、グラフィック及び/又は数値データをブック2900の側面に表示できる。数値データは、例えば、グラフ2910として表示される、検索用語のブック内での用法を表してもよい。グラフは、ページ毎、章毎、セクション毎、又は他の基準毎に、検索用語がブック2900のテキスト中で使われた頻度を表す。この代わりに、単一又は複数ページの窓を文書のテキスト上に通過させ、検索用語使用頻度の移動平均傾向を作り出してもよい。これにより、検索用語頻度の傾向をより明確に表すために、グラフ中のページ間の変分を滑らかにできる。
【0118】
読むために表示された時のブックの側辺部は、すなわち、表示表面に平行なため、情報を表示するために十分な余白を側辺部に設けられない場合がある。3次元ブックはしたがって、代替形式で表示されてもよく、この場合、ブックの側辺部が拡大され、必要な表面積を提供する。側部が拡大されたブック3000(斜角縁部ブック)を図59に例示する。読むために読者に向かって斜めになっている時には、ブック3100は図60に示すように表示される。
【0119】
大きなブックの側辺部の使用は、可視ページ(ユーザの視界内のページ)上でのテキスト選択と共に使うことができ、ブックの側部が、選択されたテキストとブックの内容との関係のいずれかを説明する視覚化を提供するよう要求するために使うことができる。プログラムは、検索用語とページのテキスト、一連のページ、章、などとの、類似性に基づいた意味論上の関係を計算することができ、その後、計算された類似性値を側辺部に描くことができる。
【0120】
図59に示す斜角側部ブックが必要とする利用可能な表示空間が大きすぎる場合、ブックは、アイコン穴3200によって示されてもよく、これにより、必要な表示空間が大きすぎない場合にはブックの側部に示されるグラフィック情報を提供する。アイコン穴3200を有する例示ブック3210を図61に示す。検索単語が情報を生成するために使われた場合、穴は、検索単語の隣に示される。図62に示すように、ブックの側辺部は、水平に配置されたページの束として示すこともできる。別々の束3300は、ブックのセクション、章、副章、などであってもよい。この代わりに、図63に示すように水平束位置の連続的な調整を使うこともできる。この連続的な調整は、仮想3次元ブックに関連する情報のグラフィック表示を実質的に定義するよう配列された仮想ページの束を含んでいてもよい。例えば束は、水平軸に、与えられた検索用語が個々の仮想ページの各々に表れた回数を表す、グラフの形状をとってもよい。
【0121】
当業者には、本発明の範囲又は精神から逸脱することなく、本発明の仮想3次元ブック及びこのようなブックと協働して使われる機能に、様々な修正及び変更が可能であることは明らかであろう。本発明の他の実施形態は、本明細書及び本明細書に開示された発明の実施を考慮することにより、当業者には明らかであろう。本明細書及び実施例は、例としてのみ考慮されるべきであり、本発明の真の範囲及び精神は、特許請求の範囲に示されるよう企図される。
【図面の簡単な説明】
【図1】 本発明による3次元ブックを閲覧するためのインターフェースを例示する図である。
【図2】 本発明による切取りページを作り出す処理を示す図である。
【図3】 本発明によるロッカーブックの図であり、第1の位置から第2の位置に動画化されているロッカーブックを示す。
【図4】 本発明によるブック及びページサイズの異なる組合せを示す図である。
【図5】 本発明によるブック及びページサイズの異なる組合せを示す図である。
【図6】 本発明によるブック及びページサイズの異なる組合せを示す図である。
【図7】 本発明によるブック及びページサイズの異なる組合せを示す図である。
【図8】 本発明によるブック及びページサイズの異なる組合せを示す図である。
【図9】 本発明によるブック及びページサイズの異なる組合せを示す図である。
【図10】 本発明によるブック及びページサイズの異なる組合せを示す図である。
【図11】 本発明によるブック及びページサイズの異なる組合せを示す図である。
【図12】 本発明によるブック及びページサイズの異なる組合せを示す図である。
【図13】 本発明によるブック及びページサイズの異なる組合せを示す図である。
【図14】 本発明によるブック及びページサイズの異なる組合せを示す図である。
【図15】 本発明によるブック及びページサイズの異なる組合せを示す図である。
【図16】 本発明によるブック及びページサイズの異なる組合せを示す図である。
【図17】 本発明によるブック及びページサイズの異なる組合せを示す図である。
【図18】 本発明によるブック及びページサイズの異なる組合せを示す図である。
【図19】 本発明によるブック及びページサイズの異なる組合せを示す図である。
【図20】 本発明によるブック及びページサイズの異なる組合せを示す図である。
【図21】 本発明によるブック及びページサイズの異なる組合せを示す図である。
【図22】 本発明によるブック及びページサイズの異なる組合せを示す図である。
【図23】 本発明によるブック及びページサイズの異なる組合せを示す図である。
【図24】 本発明による、複数の切取りページの表示の2つの代替配置を示す図である。
【図25】 本発明による、複数の切取りページの表示の2つの代替配置を示す図である。
【図26】 本発明による、複数の切取りページの配置を例示する図である。
【図27】 本発明によるページの折り曲げ及び展開の処理を示す図である。
【図28】 本発明による、タブを有する3次元ブックを例示する図である。
【図29】 本発明による、画素数とページ番号との関係を示すグラフである。
【図30】 本発明による、画素数とページ番号との関係を示すグラフである。
【図31】 本発明による、開いた状態にある3次元ブックを例示する図である。
【図32】 本発明による、ストライプめくり状態にある、3次元ブックを例示する図である。
【図33】 本発明による、隅めくり状態にある、3次元ブックを例示する図である。
【図34】 本発明による、3次元ブックを通した探索を例示するフローチャートである。
【図35】 本発明によるスクロールバーを例示する図である。
【図36】 本発明によるスクロールバーを例示する図である。
【図37】 本発明による、一部が拡大されたページを示す図である。
【図38】 本発明による、一部が拡大されたページを示す図である。
【図39】 本発明による、ページの拡大された部分を例示する図である。
【図40】 本発明による、ページの拡大された部分を例示する図である。
【図41】 本発明による、歪曲拡大されたページを例示する図である。
【図42】 本発明による、歪曲拡大されたページを例示する図である。
【図43】 本発明による、歪曲拡大されたページを例示する図である。
【図44】 本発明による、ユーザにページを表示する方法を例示する図である。
【図45】 本発明による、ユーザにページを表示する方法を例示する図である。
【図46】 本発明による、切取りページとして表示する索引を示す図である。
【図47】 本発明による、単一の検索用語を使って作り出された索引ページを例示する図である。
【図48】 本発明による、索引ページを作り出す方法を例示するフローチャートである。
【図49】 本発明による、2つの検索用語を使って作り出された索引ページを例示する図である。
【図50】 本発明による、ユーザがページと対話する前及び後の目次ページを例示する図である。
【図51】 本発明による、ユーザがページと対話する前及び後の目次ページを例示する図である。
【図52】 本発明による、単一の検索用語を使って作り出された目次ページを例示する図である。
【図53】 本発明による、動的ブックマークを有する3次元ブックを例示する図である。
【図54】 本発明による、動的ブックマークを有する3次元ブックを例示する図である。
【図55】 本発明による、普通の大きなブックを例示する図である。
【図56】 本発明による、大きなブックに関する情報を表示するための代替技法を示す図である。
【図57】 本発明による、大きなブックに関する情報を表示するための代替技法を示す図である。
【図58】 本発明による、大きなブックに関する情報を表示する技法を示す図である。
【図59】 本発明による、大きなブックを角度を付けた形式で表示する方法を示す図である。
【図60】 本発明による、大きなブックを垂直視点形式で表示する方法を示す図である。
【図61】 本発明による、切抜き部分を含む大きなブックを表示する方法を示す図である。
【図62】 本発明による、束にされた形式で大きなブックを表示する方法を示す図である。
【図63】 本発明による、連続調整形式で大きなブックを表示する方法を示す図である。
【符号の説明】
5,15,30,35 文書オブジェクト、10 机、20 書棚、210,220 向かい合うページ、210’ ページの画像、230,240 次の向かい合うページ、310,320 ロッカーページ、400 大きなページのブック、405 境界ボックス、410 大きな切取りページ、420 縮小形式の切取りページ、430 ロッカーブック、440 サムネイルサイズの切取りページ、450 アイコン、470 縮小ブック、480 縮小ロッカーブック、490 サムネイルブック、500 複数の切取りページ、510 ビン、600 閲覧中のページ、601,602,603,604,605,606,607,608,609,610,611,612,613,614 サムネイル切取りページ、700,702,704,706,708,730 ページ、710,720 クレバス、800 仮想3次元ブック、805 章タブ、815縁部、820 側辺部、825 スライダ、1001,1002,1003,1004,1005,1006,1007,1008,1009,1010 章タブ、1400,1410 スクロールバー、1405 スライダ、1420 表位置表示、1430 図面位置表示、1500 拡大レンズ、1510 拡大領域、1520 文書、1530 隠れる領域、1540 拡大前の領域、1600 中央領域、1610 ページ、1620 領域、1640 拡大レンズ、1700 ページ、1710 拡大領域、1720,1730,1740,1750,1760 領域、1805 カーソル、1900 ブック、1905 索引ページ、2000 ページ、2010 検索ボックス、2020 強調した用語、2200 第1の検索ボックス、2210 第2の検索ボックス、2220索引ページ、2230 第1の強調された用語、2240 第2の強調された用語、2300 目次、2310 検索ボックス、2400 目次、2410 検索ボックス、2420 強調された用語。
Claims (6)
- 複数の仮想ページを有する仮想3次元ブックの画像を表示する表示プログラムを実行可能な表示システムを含む装置であって、
前記表示プログラムは、画像を表示する際に、
前記表示システム上に、前記仮想3次元ブックの製本状態で向かい合って連続する2つの仮想ページを表す第1の画像を生成する機能と、
前記第1の画像内の選択された仮想ページに対してコピーを切り取る動作を指示するユーザ入力に応答して、前記仮想3次元ブックの前記第1の画像から前記選択された仮想ページを除去してしまうことなく、前記選択された仮想ページの切取りページ画像を前記表示システム上に生成する機能と、
前記表示システム上で、前記切取りページ画像を見える状態とする際に、前記選択された仮想ページの外見を変更する機能と、
前記第1の画像で表示された仮想ページから異なるページセットを表す第2の画像へ移行するページ移行動作を指示するユーザ入力に応答して、前記表示システム上に、前記仮想3次元ブックの製本状態で向かい合って連続する2つの仮想ページを表す第2の画像を生成する機能と、
前記仮想3次元ブックの前記第2の画像内に前記選択された仮想ページが表示されていないときに、前記選択された仮想ページの前記切取りページ画像を前記表示システム上で見える状態に維持する機能と、
を前記表示システムに実現させる、
ことを特徴とする装置。 - 請求項1に記載の装置において、
前記表示プログラムは、画像を表示する際に、
ページ選択動作に応答して、前記表示システム上の前記仮想3次元ブックの画像を、前記第1の画像の第1ビューと第2ビューとの間で切り換える機能と、
前記第1ビューでは、第1の仮想ページを、前記表示システムの表示表面に対して実質的に平行に表示し、第2の仮想ページを、前記表示システムの表示表面に対して実質的に垂直に表示する機能と、
前記第2ビューでは、前記第1の仮想ページを、前記表示システムの表示表面に対して実質的に垂直に表示し、前記第2の仮想ページを、前記表示システムの表示表面に対して実質的に平行に表示する機能と、
を前記表示システムに実現させる、
ことを特徴とする装置。 - 請求項2に記載の装置において、
前記表示プログラムは、画像を表示する際に、
前記表示システムの表示表面に対して実質的に垂直な仮想ページが、
(a)前記表示システムから外側へ突出するように見える第1の側部と、
(b)(i)前記表示システムの内側へ突出するように見え、かつ、(ii)前記表示システムの表示表面に対して実質的に平行な仮想ページの一側部に固定されているように見える、第2の側部と、
を有するように前記仮想3次元ブックの画像を生成する機能、
を前記表示システムに実現させる、
ことを特徴とする装置。 - 請求項3に記載の装置において、
前記切取る動作を指示する前記ユーザ入力は、前記仮想3次元ブックの前記第1の画像から外へ、前記選択された仮想ページをドラッグすることによって実施される、
ことを特徴とする装置。 - 請求項3に記載の装置において、
前記表示プログラムは、画像を表示する際に、
前記仮想3次元ブックの前記第1の画像から移動される前記切取りページ画像を動画化 する機能、
を前記表示システムに実現させる、
ことを特徴とする装置。 - 請求項3に記載の装置において、
前記表示プログラムは、画像を表示する際に、
前記切取りページ画像を、前記仮想3次元ブックの前記第1の画像に少なくとも部分的に重なった状態と前記仮想3次元ブックの前記第1の画像から視覚的に分離された状態のうちのどちらか一方の状態で表示する機能、
を前記表示システムに実現させる、
ことを特徴とする装置。
Applications Claiming Priority (10)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/741,037 | 2000-12-21 | ||
| US09/741,036 US7015910B2 (en) | 2000-12-21 | 2000-12-21 | Methods, systems, and computer program products for the display and operation of virtual three-dimensional books |
| US09/741,034 US7139982B2 (en) | 2000-12-21 | 2000-12-21 | Navigation methods, systems, and computer program products for virtual three-dimensional books |
| US09/741,038 | 2000-12-21 | ||
| US09/741,037 US6924822B2 (en) | 2000-12-21 | 2000-12-21 | Magnification methods, systems, and computer program products for virtual three-dimensional books |
| US09/741,036 | 2000-12-21 | ||
| US09/741,035 | 2000-12-21 | ||
| US09/741,038 US7240291B2 (en) | 2000-12-21 | 2000-12-21 | Methods, systems, and computer program products for display of information relating to a virtual three-dimensional book |
| US09/741,034 | 2000-12-21 | ||
| US09/741,035 US7069518B2 (en) | 2000-12-21 | 2000-12-21 | Indexing methods, systems, and computer program products for virtual three-dimensional books |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002215285A JP2002215285A (ja) | 2002-07-31 |
| JP4031822B2 true JP4031822B2 (ja) | 2008-01-09 |
Family
ID=27542160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001386942A Expired - Fee Related JP4031822B2 (ja) | 2000-12-21 | 2001-12-20 | 仮想3次元ブックの画像を表示するシステム |
Country Status (2)
| Country | Link |
|---|---|
| EP (2) | EP1217508A1 (ja) |
| JP (1) | JP4031822B2 (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6990637B2 (en) * | 2003-10-23 | 2006-01-24 | Microsoft Corporation | Graphical user interface for 3-dimensional view of a data collection based on an attribute of the data |
| US7667703B2 (en) * | 2003-12-19 | 2010-02-23 | Palo Alto Research Center Incorporated | Systems and method for turning pages in a three-dimensional electronic document |
| US7148905B2 (en) * | 2003-12-19 | 2006-12-12 | Palo Alto Research Center Incorporated | Systems and method for annotating pages in a three-dimensional electronic document |
| EP1780634A3 (en) * | 2005-10-26 | 2008-01-16 | Alcatel Lucent | Tabbed scrolling |
| JP4787779B2 (ja) * | 2007-03-14 | 2011-10-05 | 株式会社リコー | 画像処理装置、プログラムおよびプレビュー画像表示方法 |
| GB2462589B (en) * | 2008-08-04 | 2013-02-20 | Sony Comp Entertainment Europe | Apparatus and method of viewing electronic documents |
| US20100107066A1 (en) * | 2008-10-27 | 2010-04-29 | Nokia Corporation | scrolling for a touch based graphical user interface |
| US8533622B2 (en) * | 2009-06-17 | 2013-09-10 | Microsoft Corporation | Integrating digital book and zoom interface displays |
| CN101763270B (zh) | 2010-01-28 | 2011-06-15 | 华为终端有限公司 | 组件显示处理方法和用户设备 |
| JP5444073B2 (ja) * | 2010-03-25 | 2014-03-19 | Necカシオモバイルコミュニケーションズ株式会社 | 端末装置及びプログラム |
| EP2447818A1 (en) * | 2010-10-07 | 2012-05-02 | Research in Motion Limited | Method and portable electronic device for presenting text |
| FR2971070B1 (fr) * | 2011-02-01 | 2017-11-03 | European Aeronautic Defence & Space Co Eads France | Procede de visualisation d'informations a partir d'une barre de navigation de dimensions contraintes |
| JP5699681B2 (ja) * | 2011-02-25 | 2015-04-15 | セイコーエプソン株式会社 | 表示制御方法、表示装置および電子機器 |
| EP2587361A3 (en) | 2011-10-25 | 2016-05-11 | Samsung Electronics Co., Ltd | Method and apparatus for displaying e-book in terminal having function of e-book reader |
| JP5598584B2 (ja) * | 2012-12-25 | 2014-10-01 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理方法及びプログラム |
| JP5883427B2 (ja) * | 2013-12-20 | 2016-03-15 | ヤフー株式会社 | ページ表示制御装置及びページ表示制御方法 |
| JP6269323B2 (ja) * | 2014-05-30 | 2018-01-31 | 富士ゼロックス株式会社 | 画像処理装置、画像処理方法、画像処理システムおよびプログラム |
| CN104932890A (zh) * | 2015-06-16 | 2015-09-23 | 青岛海信移动通信技术股份有限公司 | 一种视图组件处理方法 |
| JP6654201B2 (ja) * | 2015-11-25 | 2020-02-26 | 株式会社ミスミグループ本社 | 電子書籍の閲覧支援方法及び閲覧支援用プログラム |
| JP2018124468A (ja) * | 2017-02-02 | 2018-08-09 | 富士ゼロックス株式会社 | 文書表示装置 |
| JP7711420B2 (ja) * | 2021-04-27 | 2025-07-23 | セイコーエプソン株式会社 | 表示制御方法、プログラム、及び表示装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5670984A (en) * | 1993-10-26 | 1997-09-23 | Xerox Corporation | Image lens |
| US5805118A (en) * | 1995-12-22 | 1998-09-08 | Research Foundation Of The State Of New York | Display protocol specification with session configuration and multiple monitors |
| US5731805A (en) * | 1996-06-25 | 1998-03-24 | Sun Microsystems, Inc. | Method and apparatus for eyetrack-driven text enlargement |
| US5838326A (en) | 1996-09-26 | 1998-11-17 | Xerox Corporation | System for moving document objects in a 3-D workspace |
| US5847709A (en) | 1996-09-26 | 1998-12-08 | Xerox Corporation | 3-D document workspace with focus, immediate and tertiary spaces |
| US6088032A (en) * | 1996-10-04 | 2000-07-11 | Xerox Corporation | Computer controlled display system for displaying a three-dimensional document workspace having a means for prefetching linked documents |
| JP3607462B2 (ja) | 1997-07-02 | 2005-01-05 | 松下電器産業株式会社 | 関連キーワード自動抽出装置及びこれを用いた文書検索システム |
| JPH1165803A (ja) * | 1997-08-22 | 1999-03-09 | Nec Corp | 情報視覚化システム |
| US6157381A (en) * | 1997-11-18 | 2000-12-05 | International Business Machines Corporation | Computer system, user interface component and method utilizing non-linear scroll bar |
-
2001
- 2001-12-19 EP EP01310637A patent/EP1217508A1/en not_active Ceased
- 2001-12-19 EP EP07107757A patent/EP1816553B1/en not_active Expired - Lifetime
- 2001-12-20 JP JP2001386942A patent/JP4031822B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP1816553B1 (en) | 2011-08-31 |
| EP1816553A2 (en) | 2007-08-08 |
| JP2002215285A (ja) | 2002-07-31 |
| EP1816553A3 (en) | 2008-03-19 |
| EP1217508A1 (en) | 2002-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7640513B2 (en) | Navigation methods, systems, and computer program products for virtual three-dimensional books | |
| US7248269B2 (en) | Magnification methods, systems, and computer program products for virtual three-dimensional books | |
| US7015910B2 (en) | Methods, systems, and computer program products for the display and operation of virtual three-dimensional books | |
| US7069518B2 (en) | Indexing methods, systems, and computer program products for virtual three-dimensional books | |
| US7240291B2 (en) | Methods, systems, and computer program products for display of information relating to a virtual three-dimensional book | |
| JP4031822B2 (ja) | 仮想3次元ブックの画像を表示するシステム | |
| US9665258B2 (en) | Interactive input system displaying an e-book graphic object and method of manipulating a e-book graphic object | |
| CN101558373B (zh) | 在缩略图预览图标上指示文件类型 | |
| Robertson et al. | The document lens | |
| US9348938B2 (en) | Methods for manipulating web pages | |
| US8416266B2 (en) | Interacting with detail-in-context presentations | |
| JP4758051B2 (ja) | 文書表示方法 | |
| KR101068509B1 (ko) | 작은 디스플레이 창에서 큰 객체들의 개선된 표현법 | |
| US7992103B2 (en) | Scaling icons for representing files | |
| US20240281104A1 (en) | Techniques to Modify Content and View Content on Mobile Devices | |
| US20050240878A1 (en) | System and method for scaling icons | |
| US20060082901A1 (en) | Interacting with detail-in-context presentations | |
| Holmquist | The Zoom Browser: Showing Simultaneous Detail and Overview in Large Documents | |
| Brivio et al. | Browsing large image datasets through Voronoi diagrams | |
| Janssen | Document icons and page thumbnails: Issues in construction of document thumbnails for page-image digital libraries | |
| Palinko et al. | Zoomable News: Zoom and Animation-Based News Browsing for the Web | |
| Tarini | Browsing Large Image Datasets through Voronoi Diagrams |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041215 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070510 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070515 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070814 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070925 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071020 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101026 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111026 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121026 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121026 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131026 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |