JP4294348B2 - 表示システム - Google Patents
表示システム Download PDFInfo
- Publication number
- JP4294348B2 JP4294348B2 JP2003074671A JP2003074671A JP4294348B2 JP 4294348 B2 JP4294348 B2 JP 4294348B2 JP 2003074671 A JP2003074671 A JP 2003074671A JP 2003074671 A JP2003074671 A JP 2003074671A JP 4294348 B2 JP4294348 B2 JP 4294348B2
- Authority
- JP
- Japan
- Prior art keywords
- boundary
- image
- selection
- category
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Description
【発明の属する技術分野】
本発明は、広く、計算デバイスに対するユーザインタフェースに関し、より詳細には、ドキュメント画像において表示されたオブジェクトが選択されてアレンジされるアプリケーションに関する。
【0002】
【従来の技術】
現在、2つのタイプの対話型描画/スケッチ/編集アプリケーションが使用されており、これらはどちらも、描画操作を通して新しい画像材料を生成し、編集操作を通して既存の材料を選択し処理する。この対話型アプリケーションのタイプは、「スケッチ」操作に重点を置くか「編集」操作に重点を置くかによって区別される。画像「編集」プログラムでは、画像オブジェクトの選択及び処理が主な作業である。従って、スタイラス又はマウスによる対話は、主に、それらによる入力を選択ジェスチャーとして解釈するように設計されており、マウス又はスタイラスによる作業のデフォルトでの解釈は、既存の画像オブジェクトを処理のために選択することである。オブジェクトを描画するためのツールは、補助コマンドオブジェクト(通常、メニュー)によってもたらされる。
【0003】
一方、「スケッチ」プログラムでは、主な作業は「描画」操作である。このスケッチ処理を容易にするには、ユーザが、ストローク毎にメニュー開始コマンドを実行する必要が無く、手書き又はスケッチによるストロークのような一連のマーキングを迅速に行うことができる、ということが重要である。このプログラムは、マウス又はスタイラスによる作業のデフォルトでの解釈が描画操作となるように設計されている。このタイプのプログラムにおける欠点は、描画操作が最も優先されている場合、選択操作の優先順位は下がってしまうため、選択を実行させるには明示的にメニューを選択するか又はボタンをクリックする必要があり、これは、選択及び処理という多重操作の円滑な流れを妨げてしまう、という点である。
【0004】
どちらのタイプの対話型アプリケーションにおいても、主要なマーキング集合を思うとおりに選択及び移動、削除、或いは修正することは、非常に困難であり得る。特に、ユーザは、円を描くジェスチャーによる方法で画像オブジェクトをさらなる処理のために選択する場合、不正確になることがある。ユーザは、意図的にではないが、選択しようとする画像オブジェクトの一部を欠落させてしまうことがある。また、実際には、ユーザは、この画像オブジェクトの全く同じ部分を意図的に割愛することもある。既存のグラフィックエディタにおける主な欠点の1つは、事前に計算された知覚オブジェクトを考慮して選択ジェスチャーを解釈することができない点であり、このため、不正確なジェスチャーが解釈されて、そのジェスチャーによって定義されたそのとおりのオブジェクトか、或いは、事前の計算段階において識別された知覚的に重要なオブジェクトが供給されることになってしまう。
【0005】
サウンド(Saund)らによる「グラフィックオブジェクトを選択するためのジェスチャーインディケータ(Gestural Indicators for Selecting Graphic Objects)」という発明の名称である米国特許第5,485,565号には、グラフィック画像形成システムが開示されており、このグラフィック画像形成システムでは、画像におけるオブジェクトのおおよその位置、サイズ、及び形状が、各オブジェクトに対して計算されたパラメトリック「ポーズ」を表す第1の特性記述子によって要約される。また、ユーザの選択ジェスチャーに最も一致する単一オブジェクト又はオブジェクト集合を選択するために、例えば「ジェスチャー照合」関数である第2の特性記述子が付与される。最もぴったりと一致した場合、キーであるこれらの特性記述子によって、単純且つ自然なユーザのジェスチャーが、それと互いに空間的に重なり合うオブジェクトを、多数のグラフィックオブジェクト集合の中から区別することができる。ユーザのジェスチャーは、オブジェクトを横切るような単純な斜線であってもよいし、オブジェクトの形状を素早くおおまかになぞったようなものであってもよい。
【0006】
メイアー(Meier)らによる「ポインタに基づいたコンピュータシステムに対するグラフィックエディタ・ユーザインタフェース(Graphic Editor User Interface for a Pointer-Based Computer System)」という発明の名称である米国特許第5,513,309号には、グラフィックエディタが開示されており、このグラフィックエディタは、ユーザが、オブジェクトを強調表示しそれらを編集用ハンドルで移動させることによって、選択したグラフィックオブジェクトを編集することができるように構成されている。また、オブジェクトの選択部分周囲に、境界線としての囲みを描いてもよい。本発明の様々な態様では、ユーザは、オブジェクト全体或いはその選択した部分のみに対し、サイズ変更、複写、変形、及び移動のような特定の行為を行うことによって、オブジェクトを編集することができる。これらの編集操作のいずれが行われた後にも、表示は更新されて、この編集ステップ中に行われた変更が反映される。
【0007】
【特許文献1】
米国特許第5,485,565号明細書
【特許文献2】
米国特許第5,513,309号明細書
【0008】
【発明が解決しようとする課題】
本発明は、コンピュータを利用した描画に対する新しいツールを提供する。このツールによって、ユーザは不正確な選択ジェスチャーを行うことができる一方、アプリケーションは一定規則及び画像解析操作を用いてユーザの意図を推測することができる。
【0009】
【課題を解決するための手段】
簡潔に言うと、本発明の一態様によれば、画像オブジェクト要素を選択して生成するためのユーザインタフェースを有するグラフィック入力及び表示システムが開示され、このシステムは、ユーザが電子画像の要素を処理できるようにする複数の入力デバイスを備える。このシステムに接続されたプロセッサは、様々な画像オブジェクト選択操作要求を受信すると共に、メモリ構造にアクセスする。このシステムメモリ構造は、ユーザが画像オブジェクトを選択できるようにするユーザ対話モジュールと、不正確な画像オブジェクト選択経路を解釈するための画像オブジェクト選択モジュールと、データメモリとを備える。
【0010】
本発明の別の態様では、不正確な画像オブジェクト選択経路を解釈するためのグラフィック入力及び表示システムにおいてユーザインタフェースを利用する方法が開示される。画像材料が選択されると、このシステムは、選択経路の特性を評価すると共に、画像材料と選択ジェスチャーとの近接性を評価する。この画像オブジェクト選択ジェスチャーによって影響された画像オブジェクトを処理することによって、選択される画像オブジェクトが識別される。
【0011】
本発明のさらに別の態様では、コンピュータが読取り可能なプログラムコードが組み込まれた、コンピュータが使用可能な媒体の形態である、製品が提供される。プログラムコードがコンピュータにより実行されると、このコンピュータが使用可能な媒体によって、コンピュータは、不正確な画像オブジェクト選択ジェスチャーを解釈する方法ステップを行う。読取り可能なプログラムコードは、コンピュータが、ユーザによって入力された画像オブジェクト選択経路に沿って慎重度を評価できるようにする。次に、このプログラムコードによって、コンピュータは、内側トンネル境界と外側トンネル境界とを含む許容トンネルを形成する。次に、この選択ジェスチャーによって影響された画像オブジェクトを処理することによって、どの画像オブジェクトを選択するかが決定される。
【0012】
【発明の実施の形態】
本明細書中に開示するのは、ドキュメント画像における可視材料を選択してアレンジするシステムにおいて不正確な選択経路を解釈する方法である。以下の説明では、本発明が完全に理解されるように、多数の具体的な詳細について述べる。しかし、このような具体的な詳細を用いずに本発明を実施できることは、当業者には明らかであろう。他の例では、ドキュメント画像から文字を抽出する構文解析法のような具体的な実施の詳細については、本発明を不必要に分かりにくくしないように、詳しく示していない。
【0013】
以下の説明で明らかになるように、本発明は、画像に含まれたテキスト及び線画の編集において、特定の利点をもたらす。ファックスされる又はデジタルコピー機でコピーされるドキュメントには、典型的には、テキスト及びグラフィックスを主に含む画像が含まれている。従来技術に関して説明したように、画像に含まれたテキストのいずれを編集するにも、光学的文字認職(OCR:Optical Character Recognition)処理や画像情報を層(layers)に置き換える処理のような、余分な処理を行わなければならないのが普通である。これから明らかになるように、本発明は、余分な処理の必要性を最小限に抑え、テキスト及びグラフィック画像情報の定義に対する柔軟性を高めることによって、画像におけるより広い範囲のテキスト及びグラフィックデータを編集できるようにする。
【0014】
ここで図1を参照すると、システム100はプロセッサ110を備えており、このプロセッサ110は、画像入力デバイス120及びユーザ入力デバイス130に接続され、これらのデバイスから信号を受信する。画像入力デバイス120は、スキャナ、ファクシミリ受信機若しくはその他の画像受信機、カメラ、又はその他の適切なデバイスであってもよいし、画像をデジタル形式で格納するローカル若しくはリモートメモリの一部であってもよい。ユーザ入力デバイス130は、例えば、マウスを備えたキーボードであってもよい。プロセッサ110は、さらに画像出力デバイス140に接続されていてもよく、この画像出力デバイス140は、例えば、スクリーンディスプレイ、プリンタ、ファクシミリ送信機若しくはその他の画像送信機、又は、画像をデジタル形式で格納することのできるローカル若しくはリモートメモリの一部であってもよい。
【0015】
プロセッサ110は、プログラムメモリ150及びデータメモリ160をも利用できるよう接続されている。プログラムメモリ150は、ユーザ対話モジュール152、画像オブジェクト境界検出モジュール154、経路照合モジュール156を備えており、さらに任意のオブジェクト分割モジュール158を備えていてもよい。データメモリ160は、入力画像データ構造162、主要画像オブジェクトデータ構造164、オブジェクトグループデータ構造166、選択経路データ構造168、許容トンネルデータ構造170、オブジェクト境界データ構造172、及び選択オブジェクトデータ構造174を備えている。
【0016】
図2は、画像オブジェクトがそれぞれ独立した画像オブジェクトとしてディスプレイに表示されている状況において不正確な選択ジェスチャーを解釈する方法の一実施形態を示している。図2では、フローチャート200は、この状況において不正確なジェスチャーを解釈するステップを示していて、このフローチャートの横にあるイラストは、その処理ステップの例を示している。まず、ディスプレイは、例212において、文字「G」、「r」、「e」、「e」、「n」、「O」、及び「P」を含んでいる。ステップ210において、ユーザは、例212に経路216として示されているような選択ジェスチャーを入力する。この例では、ジェスチャーは、点215で始まり矢印で終わっている。経路216の左側、即ち、折り返し点218に近づき、これより遠ざかる側では、経路は高速度であり、経路216の右側、即ち、折り返し点214に近づき、これより遠ざかる側では、経路は低速度である。ユーザ対話モジュール152は、このユーザのジェスチャーの経路を収集し、その情報をステップ220に回して、この選択ジェスチャー経路に沿った慎重度を評価する。この選択ジェスチャーに沿った各位置で、ユーザのとったジェスチャーが示す慎重度が評価される。当業者には認められるであろうが、慎重度を評価するには様々な方法を用いてもよい。方法の一例としては、以下のような式を用いる方法がある。
T=p(v/r')
この式において、pは値10,000をとる定数であり、vは1秒あたりのピクセル速度であり、r’はmin(r,max_R)によって与えられる。ここで、rは経路に沿ったその位置における曲率半径であり、max_Rは値800をとる定数である。慎重度をこのように定義することによって、ピクセルの単位における許容差係数(Tolerance Factor)Tがもたらされる。この値は、画像オブジェクトに対して許される選択経路からの距離に関する許容差であり、この許容差がなければ、画像オブジェクトは慎重な選択ジェスチャーによって分割されてしまう。従って、慎重度は、速度が遅い、又は曲率半径が大きい場合には、最小値である0ピクセルに近くなり、速度が速く経路が比較的直線である場合には、最大値であるおよそ50ピクセルに近くなる。この許容差係数は、選択経路に対して内側境界及び外側境界を定義するのに用いられる。この例では、これらの境界は「許容トンネル」を形成し、その中心軸が選択経路であり、その幅が許容差係数である。この例では、境界領域を説明するのに許容トンネルを用いているが、その他多数の技法を同様に用いてもよく、これらの技法は全て、意図されるものであり、本発明の範囲内に含まれる。この例では、選択経路222の境界は、許容トンネル経路224及び226により定義された許容トンネルによって決められている。この許容トンネルは、ジェスチャー速度の遅い、選択経路222の右側を通るときには最小値に近くなり、ジェスチャー速度の速い、選択経路222の左側を通るときには最大値に近くなる。許容差係数は、許容トンネル幅228として示されている。
【0017】
ステップ230において、前景画像オブジェクトはそれぞれ、許容トンネルに関して考察される。画像オブジェクトが完全に許容トンネルの外側境界の内側にあると判断した場合、そのオブジェクトは選択される。また、画像オブジェクトが完全に許容トンネルの内側境界の外側にあると判断した場合、そのオブジェクトは除外される。画像オブジェクトの大きさが許容トンネルの両方の境界を越えている場合には、その画像オブジェクトは選択経路によって分割され、経路の内側にある部分のみが選択される。必要に応じて、この方法は、画像オブジェクトを分割するのではなく、許容トンネルの外側境界の内側にあるオブジェクト領域と許容トンネルの内側境界の外側にあるオブジェクト領域との対比に基づいて、又はその他の同様な基準に基づいて、画像オブジェクトを選択或いは選択から除外するような方式で行ってもよい。この例では、オブジェクト「G」、「r」、「e」、「e」、及び「n」は、完全に許容トンネルの外側境界224の内側にあるので、選択される。また、オブジェクト「P」は、完全に許容トンネルの内側境界226の外側にあるので、除外される。また、オブジェクト「O」は、許容トンネルの両方の境界を越えているので、参照番号232で示された選択経路によって分割される。得られた選択オブジェクト集合が参照番号234で示されていて、得られた非選択オブジェクト集合が参照番号236で示されている。
【0018】
図3及び図4は、画像オブジェクトがグループに所属し得る状況において不正確な選択ジェスチャーを解釈する方法の別の実施形態を示している。図3では、フローチャート300が、この状況において不正確なジェスチャーを解釈するステップを示していて、図4は、その処理ステップの例を示している。まず、ディスプレイは、図4に参照番号400で示された配置において、語「Green」、「O」、「Red」、及び「Purple」を形成する文字410を含んでいる。システムデータメモリ160は、図示されているように文字が4つのグループ415を形成していることを示すデータ構造を含む。リスト、配列、及びポインタの組のような多数のタイプのデータ構造によって、この機能を果たしてもよい。図3のステップ310において、ユーザ対話モジュール152は、ユーザのジェスチャーの経路を収集し、その情報をステップ320に回して、この選択ジェスチャーに沿った慎重度を評価する。図4に示された例では、ジェスチャーは、点412で始まり矢印414で終わっている。経路420は、その左側及び底部では高速度であるが、その右側では低速度であり、この右側部分では、位置425において示されているように「O」と交差している。
【0019】
ここで図3を参照すると、ステップ320では、選択ジェスチャーに沿った各位置で、ユーザのジェスチャーが示す慎重度が評価される。上述したように、選択ジェスチャーに沿った各位置において許容差係数が計算され、許容トンネルが形成される。このステップは図4に示されており、ジェスチャー420がユーザの選択経路であって、その境界は、許容トンネルの内側境界424と外側境界422とによって決められている。
【0020】
図3のステップ330において、画像オブジェクトはそれぞれ、選択ジェスチャー経路と、選択ジェスチャーの慎重度を表す許容トンネルとに関して評価される。画像オブジェクトにはそれぞれ、許容トンネルの2つの境界への近接性に応じて、カテゴリー値が付与される。可能なカテゴリー値集合の一例としては、以下のようなものが挙げられる。
I. 許容トンネルの内側境界の内側にあるもの
II. 許容トンネルの外側境界の外側にあるもの
III. 許容トンネルの内側境界と外側境界との間にあるもの
IV. 許容トンネルの内側境界にかかるもの
V. 許容トンネルの外側境界にかかるもの
VI. 許容トンネルの内側境界と外側境界との両方にかかるもの
【0021】
このステップは、図4にチャート440で示されている。このチャートに示されているように、「reen」は、許容トンネルの内側境界424の内側にあるので、カテゴリーIに属する。「R」は、許容トンネルの外側境界422の外側にあるので、カテゴリーIIに属する。オブジェクト「d」及び「urpe」は、許容トンネルの内側境界424と外側境界422との間にあるので、カテゴリーIIIに属する。オブジェクト「G」、「P」、及び「l」は、許容トンネルの内側境界424にかかっているので、カテゴリーIVに属する。オブジェクト「e」は、許容トンネルの外側境界422にかかっているのでカテゴリーVに属し、オブジェクト「O」は、許容トンネルの両方の境界422及び424にかかっているのでカテゴリーVIに属する。
【0022】
再度図3を参照すると、ステップ340において、カテゴリーVIに割り振られたオブジェクトが選択ジェスチャー経路によって分割される。このオブジェクトのうちの、選択ジェスチャー経路の内側にある部分が選択される。これは図4に示されており、オブジェクト「O」は分割され、部分オブジェクト450は選択されていて、部分オブジェクト452は選択されていない。
【0023】
図3のステップ350において、残りのグループがそれぞれ順に評価され、そのグループにおける画像オブジェクト全てが、例えばそのグループの重み付け得票に基づいて、選択或いは除外される。各票の重み付けは、画像オブジェクトのピクセル領域である。画像オブジェクトはそれぞれ、そのトンネル近接性カテゴリーによって、以下のように得票する。
カテゴリー 票
I 2
II −2
III 0
IV 1
V −1
【0024】
ステップ360において、グループ選択/除外票決を用いることによって、個々のオブジェクトに対して選択/除外決定を行う。各グループに関し、重み付け得票が0よりも多い場合、そのグループを構成する画像オブジェクト全てが選択される。また、重み付け得票が0よりも少ない場合、これらのオブジェクトはいずれも選択されない。さらに、2つ以上のグループに属する画像オブジェクトがあり、且つ、これらのグループが全て選択されるわけでも全て除外されるわけでもない場合には、その画像オブジェクトが属するグループ全てに対して、第2の重み付け票決が行われる。この重み付けは、そのグループを構成している画像オブジェクト全てのピクセル領域である。選択されるグループは値1を得票し、選択されないグループは値−1を得票する。得票結果が0よりも多い場合には、問題のオブジェクトは選択され、得票結果が0よりも少ない場合には、問題のオブジェクトは選択されない。これは図4に示されており、グループ「Purple」及び「Green」460は選択されていて、グループ「Red」470は選択されていない。また、グループ「Green O」480は評価されていない。
【0025】
図5は、選択される画像材料が、連結成分、文字、語、行、又は個々の図のような、区分されていない画像オブジェクトとして存在する状況において、不正確な選択ジェスチャーを解釈する方法の別の実施形態を示している。この方法は、背景ピクセル値のフィールド上に前景画像オブジェクトを含む単一ラスタビットマップとして画像が表されている場合に用いると、利点をもたらす。図5では、フローチャート500が、この状況において不正確なジェスチャーを解釈するステップを示している。ステップ510において、入力画像データが受信される。この実施形態では、ユーザが選択操作を行う前又は後に、ステップ520において、例えば距離変換(Distance Transform)やボロノイ図式(Voronoi diagram)(いずれも当該技術では周知)のような様々な計算幾何学法を用いて、知覚画像オブジェクト間の境界が計算される。次に、ステップ530において、距離変換の極大値(リッジ(ridges))、又はボロノイ図式によってもたらされるリッジ、又はこれらと同様のものがフィルタを通過することにより、重要なリッジのみが保持される。当業者には、生成点に対して方向ベクトルが鋭角を成しているような重要でないリッジ点を除去する技法が知られている。
【0026】
ステップ540において、ユーザの選択ジェスチャーが入力されると、ステップ550において、そのジェスチャーに沿った点における慎重度が評価される。ステップ560において、慎重度の値が閾値よりも低い選択ジェスチャーの全部又は一部に対し、重要なボロノイリッジを通る経路を見出す試みがなされ、これによってその選択経路が概算される。これは、上に引用した米国特許第5,485,565号の「グラフィックオブジェクトを選択するためのジェスチャーインディケータ」に記載されているような、経路照合と呼ばれる様々なA*探索法を用いて行ってもよい。最終的に、この経路は、ステップ570における次の処理で前景オブジェクトを選択するのに用いられる選択領域を定義するのに用いられる。
【0027】
ここで図6を参照すると、本発明の別の態様では、ユーザ選択用長方形を、選択されるべき画像材料の領域をその長方形どおりに定義するものとして用いるのではなく、選択されるべき画像材料を大まかに指定するものとして用いることができる。図6は、ユーザ選択用長方形610が文字に交わっている例600を示しているが、この例では、ユーザの意図は「on projects」という文字のみを完全に選択することのようである。上述した本発明の実施形態は、自由形式で描いた経路だけでなく、長方形をドラッグすることによる選択ジェスチャーに関して用いてもよい。後者の場合には、選択ジェスチャー部分に沿って慎重度を評価するのではなく、この長方形をドラッグする速度又はユーザによるその他の特定動作の速度に基づいて、この選択用長方形の境界全体に慎重度の値を付与する。例えば、可能なユーザインタフェース設計の1つでは、この長方形をドラッグする過程において、ユーザがドラッグしている長方形の角部を数回にわたり前後に移動させたとすると、この長方形には低い慎重度の値(例えば0.2)が付与される。この値を上述したような処理の過程で用いることによって、長方形の正確な境界を越えている又はこの境界内にある画像材料はそれぞれ、選択或いは除外される。
【図面の簡単な説明】
【図1】本発明による不正確な選択経路を解釈することのできるシステムの一般的な構成要素を示すブロック図である。
【図2】本発明の一実施形態による不正確な選択経路を解釈するステップを示すフローチャート、及びこの処理ステップを示す図である。
【図3】本発明の別の実施形態による不正確な選択経路を解釈するステップを示すフローチャートである。
【図4】図3の本発明の実施形態による処理ステップを示す図である。
【図5】本発明のさらに別の実施形態による不正確な選択経路を解釈するステップを示すフローチャートである。
【図6】本発明による選択用長方形の解釈を示す図である。
【符号の説明】
100 システム
216、222、232、420 選択経路(ジェスチャー)
224、422 許容トンネルの外側境界
226、424 許容トンネルの内側境界
228 許容トンネル幅
610 選択用長方形
Claims (3)
- 複数の画像オブジェクトを含む画像のデータを記憶する記憶手段と、
前記記憶手段により記憶されたデータに基づいて、前記複数の画像オブジェクトを含む画像を表示画面上に表示する表示手段と、
前記表示手段の表示画面上に線で領域を囲むように描くための描画手段と、
前記描画手段により描かれた線の経路と、該経路を描いた速度又は該経路の曲率半径と、を取得する取得手段と、
前記取得手段により取得された前記経路と、前記経路を描いた速度又は前記経路の曲率半径と、に基づいて、前記経路を描いた速度が遅くなり又は前記経路の曲率半径が大きくなるに従って幅が短くなる境界領域であって、該境界領域の内側境界と該領域の外側境界とにより定まる該境界領域を、前記取得した経路が、該内側境界と該外側境界との間に位置するように、定義する定義手段と、
前記データに基づいて決定される前記複数の画像オブジェクトの位置と前記定義された境界領域とに基づいて、前記複数の画像オブジェクト各々を選択除外する選択除外手段と、
を備えた表示システム。 - 前記選択除外手段は、前記境界領域の外側境界の内側に全ての部分が位置する画像オブジェクトを選択し、前記境界領域の内側境界の外側に全ての部分が位置する画像オブジェクトを除外し、前記境界領域の前記内側境界と前記外側境界との両方を横断している画像オブジェクトを分割すると共に分割された部分の内、内側の部分を選択しかつ外側の部分を除外することにより、前記画像オブジェクトを選択除外する請求項1記載の表示システム。
- 前記画像オブジェクトは文字であり、
前記データに基づいて、前記複数の画像オブジェクトを、少なくとも1つの文字で構成されるグループにクループ化して管理する管理手段と、
前記データに基づいて、前記複数の画像オブジェクト各々を、前記境界領域の内側境界の内側に全ての部分が位置する第1のカテゴリ、前記境界領域の外側境界の外側に全ての部分が位置する第2のカテゴリ、前記境界領域の前記内側境界と前記外側境界との間に全ての部分が位置する第3のカテゴリ、前記境界領域の前記内側境界の内側に一部が位置する第4のカテゴリ、前記境界領域の前記外側境界の外側に一部が位置する第5のカテゴリの何れに属するかを識別する識別手段と、
前記複数の画像オブジェクト各々について前記識別されたカテゴリと、前記第1のカテゴリ〜前記第5のカテゴリ各々について予め定められた値と、に基づいて、前記管理された各グループについて、各グループに属する画像オブジェクトの識別されたカテゴリに対応する値を加算する加算手段と、
を更に備え、
前記選択手段は、前記加算手段により各グループについて加算された値に基づいて、前記グループ化された画像オブジェクトを選択除外する、
ことを特徴とする請求項1記載の表示システム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US10/104,523 US7093202B2 (en) | 2002-03-22 | 2002-03-22 | Method and system for interpreting imprecise object selection paths |
| US104523 | 2002-03-22 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003295993A JP2003295993A (ja) | 2003-10-17 |
| JP4294348B2 true JP4294348B2 (ja) | 2009-07-08 |
Family
ID=27804322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003074671A Expired - Fee Related JP4294348B2 (ja) | 2002-03-22 | 2003-03-19 | 表示システム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7093202B2 (ja) |
| EP (1) | EP1349054A3 (ja) |
| JP (1) | JP4294348B2 (ja) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7137077B2 (en) * | 2002-07-30 | 2006-11-14 | Microsoft Corporation | Freeform encounter selection tool |
| US7631276B2 (en) * | 2003-12-29 | 2009-12-08 | International Business Machines Corporation | Method for indication and navigating related items |
| US7895537B2 (en) * | 2003-12-29 | 2011-02-22 | International Business Machines Corporation | Method and apparatus for setting attributes and initiating actions through gestures |
| US7496385B2 (en) * | 2003-12-29 | 2009-02-24 | International Business Machines Corporation | Method for viewing information underlying lists and other contexts |
| US20070152961A1 (en) * | 2005-12-30 | 2007-07-05 | Dunton Randy R | User interface for a media device |
| US8146018B2 (en) * | 2006-04-28 | 2012-03-27 | Nintendo Co., Ltd. | Gesture-based control of multiple game characters and other animated objects |
| US8882590B2 (en) * | 2006-04-28 | 2014-11-11 | Nintendo Co., Ltd. | Touch-controlled game character motion providing dynamically-positioned virtual control pad |
| JP4602371B2 (ja) | 2007-03-12 | 2010-12-22 | 株式会社コナミデジタルエンタテインメント | 情報処理装置、情報処理装置の制御方法及びプログラム |
| US9024864B2 (en) | 2007-06-12 | 2015-05-05 | Intel Corporation | User interface with software lensing for very long lists of content |
| US20090100383A1 (en) * | 2007-10-16 | 2009-04-16 | Microsoft Corporation | Predictive gesturing in graphical user interface |
| JP4958979B2 (ja) * | 2007-12-27 | 2012-06-20 | パイオニア株式会社 | 記録媒体再生装置、記録媒体再生方法、記録媒体再生プログラムおよび記録媒体再生プログラムを格納した記録媒体 |
| US8423916B2 (en) * | 2008-11-20 | 2013-04-16 | Canon Kabushiki Kaisha | Information processing apparatus, processing method thereof, and computer-readable storage medium |
| US20100281435A1 (en) * | 2009-04-30 | 2010-11-04 | At&T Intellectual Property I, L.P. | System and method for multimodal interaction using robust gesture processing |
| JP5804618B2 (ja) * | 2009-05-28 | 2015-11-04 | 任天堂株式会社 | ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法 |
| JP5999829B2 (ja) * | 2009-05-28 | 2016-09-28 | 任天堂株式会社 | ゲームプログラムおよびゲーム装置 |
| US8635555B2 (en) * | 2010-06-08 | 2014-01-21 | Adobe Systems Incorporated | Jump, checkmark, and strikethrough gestures |
| WO2012147799A1 (ja) * | 2011-04-26 | 2012-11-01 | 京セラ株式会社 | 電子機器 |
| GB2511668A (en) | 2012-04-12 | 2014-09-10 | Supercell Oy | System and method for controlling technical processes |
| US8814674B2 (en) | 2012-05-24 | 2014-08-26 | Supercell Oy | Graphical user interface for a gaming system |
| US8954890B2 (en) * | 2012-04-12 | 2015-02-10 | Supercell Oy | System, method and graphical user interface for controlling a game |
| US9007390B2 (en) * | 2012-05-15 | 2015-04-14 | Evernote Corporation | Creation and manipulation of hand drawn objects with automatic grouping |
| JP5567097B2 (ja) | 2012-10-26 | 2014-08-06 | 株式会社東芝 | 電子機器、手書き文書表示方法、及び表示プログラム |
| KR102203885B1 (ko) * | 2013-04-26 | 2021-01-15 | 삼성전자주식회사 | 사용자 단말 장치 및 그 제어 방법 |
| EP3324270A1 (en) * | 2016-11-16 | 2018-05-23 | Thomson Licensing | Selection of an object in an augmented reality environment |
| US12321189B2 (en) * | 2019-05-06 | 2025-06-03 | Apple Inc. | Conversion of handwriting to text in text fields |
| CN110704153B (zh) * | 2019-10-10 | 2021-11-19 | 深圳前海微众银行股份有限公司 | 界面逻辑解析方法、装置、设备及可读存储介质 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5347295A (en) * | 1990-10-31 | 1994-09-13 | Go Corporation | Control of a computer through a position-sensed stylus |
| US5523775A (en) * | 1992-05-26 | 1996-06-04 | Apple Computer, Inc. | Method for selecting objects on a computer display |
| US6097392A (en) * | 1992-09-10 | 2000-08-01 | Microsoft Corporation | Method and system of altering an attribute of a graphic object in a pen environment |
| US5481278A (en) * | 1992-10-21 | 1996-01-02 | Sharp Kabushiki Kaisha | Information processing apparatus |
| US5513309A (en) | 1993-01-05 | 1996-04-30 | Apple Computer, Inc. | Graphic editor user interface for a pointer-based computer system |
| CA2158988C (en) | 1993-03-25 | 2000-06-13 | Bruno Delean | Method and system for image processing |
| US6587587B2 (en) * | 1993-05-20 | 2003-07-01 | Microsoft Corporation | System and methods for spacing, storing and recognizing electronic representations of handwriting, printing and drawings |
| US5485565A (en) | 1993-08-04 | 1996-01-16 | Xerox Corporation | Gestural indicators for selecting graphic objects |
| JPH07160827A (ja) * | 1993-12-09 | 1995-06-23 | Matsushita Electric Ind Co Ltd | 手書きストローク編集装置及び方法 |
| JPH07281810A (ja) * | 1994-04-02 | 1995-10-27 | Wacom Co Ltd | マルチデバイス入力システムを有するコンピュータシステム |
| US5760773A (en) | 1995-01-06 | 1998-06-02 | Microsoft Corporation | Methods and apparatus for interacting with data objects using action handles |
| US6730862B1 (en) | 1995-12-27 | 2004-05-04 | Lsi Logic Corporation | Erase feature in pen-based computing |
| US5861886A (en) | 1996-06-26 | 1999-01-19 | Xerox Corporation | Method and apparatus for grouping graphic objects on a computer based system having a graphical user interface |
| JP4089051B2 (ja) * | 1998-02-18 | 2008-05-21 | セイコーエプソン株式会社 | 画像処理装置および画像処理方法 |
| WO1999056198A2 (en) * | 1998-04-24 | 1999-11-04 | Natural Input Solutions Inc. | Pen based edit correction interface method and apparatus |
| US6459442B1 (en) * | 1999-09-10 | 2002-10-01 | Xerox Corporation | System for applying application behaviors to freeform data |
| US6664991B1 (en) * | 2000-01-06 | 2003-12-16 | Microsoft Corporation | Method and apparatus for providing context menus on a pen-based device |
| US7142205B2 (en) * | 2000-03-29 | 2006-11-28 | Autodesk, Inc. | Single gesture map navigation graphical user interface for a personal digital assistant |
| US20020015064A1 (en) * | 2000-08-07 | 2002-02-07 | Robotham John S. | Gesture-based user interface to multi-level and multi-modal sets of bit-maps |
-
2002
- 2002-03-22 US US10/104,523 patent/US7093202B2/en not_active Expired - Fee Related
-
2003
- 2003-03-19 JP JP2003074671A patent/JP4294348B2/ja not_active Expired - Fee Related
- 2003-03-19 EP EP03251706A patent/EP1349054A3/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| EP1349054A3 (en) | 2005-07-20 |
| US7093202B2 (en) | 2006-08-15 |
| EP1349054A2 (en) | 2003-10-01 |
| US20030179202A1 (en) | 2003-09-25 |
| JP2003295993A (ja) | 2003-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4294348B2 (ja) | 表示システム | |
| US11922712B2 (en) | Technologies for content analysis | |
| US11176415B2 (en) | Assisted image annotation | |
| CN100476859C (zh) | 从像素的文档图像中提取元数据的方法和装置 | |
| US6466694B2 (en) | Document image processing device and method thereof | |
| US8583637B2 (en) | Coarse-to-fine navigation through paginated documents retrieved by a text search engine | |
| US11914951B2 (en) | Semantically-guided template generation from image content | |
| EP1351123A2 (en) | Method for gestural interpretation | |
| US7610274B2 (en) | Method, apparatus, and program for retrieving data | |
| EP1361544A2 (en) | System and method for editing electronic images | |
| JP4945813B2 (ja) | 印刷構造化文書 | |
| JPH07182445A (ja) | 計算処理上重要な対応を決定するための方法 | |
| JP2007286864A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
| US7692652B2 (en) | Selectively transforming overlapping illustration artwork | |
| US7382919B2 (en) | System and method for editing image data | |
| CN115861609B (zh) | 遥感图像的分割标注方法、电子设备及存储介质 | |
| KR102580062B1 (ko) | 이미지 분할 방법 및 장치 | |
| CN115775386A (zh) | 用户界面组件的识别方法、装置、计算机设备和存储介质 | |
| CN120471022A (zh) | 文件转换方法、装置、设备及程序产品 | |
| US9846707B2 (en) | Method for color and size based pre-filtering for visual object searching of documents | |
| JP2007317034A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
| KR101903617B1 (ko) | 복수 개의 객체 이미지를 포함한 정적인 디지털 결합 이미지의 편집 방법 | |
| US9424234B2 (en) | Methods and apparatus for automatically creating variations of original content based on searching for alternative content objects based on characteristics of the original content | |
| JP4949996B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
| US11430166B1 (en) | Facilitating generation of number-bullet objects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060320 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080821 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090310 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090408 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130417 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140417 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |