Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP3483982B2 - システム動作方法及びプロセッサ制御システム - Google Patents
[go: Go Back, main page]

JP3483982B2 - システム動作方法及びプロセッサ制御システム - Google Patents

システム動作方法及びプロセッサ制御システム

Info

Publication number
JP3483982B2
JP3483982B2 JP13193295A JP13193295A JP3483982B2 JP 3483982 B2 JP3483982 B2 JP 3483982B2 JP 13193295 A JP13193295 A JP 13193295A JP 13193295 A JP13193295 A JP 13193295A JP 3483982 B2 JP3483982 B2 JP 3483982B2
Authority
JP
Japan
Prior art keywords
gesture
corpus
data
target
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP13193295A
Other languages
English (en)
Other versions
JPH07334296A (ja
Inventor
ディー.プーン アレックス
アン.ウェバー カロン
エイ.カス トッド
Original Assignee
ゼロックス・コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ゼロックス・コーポレーション filed Critical ゼロックス・コーポレーション
Publication of JPH07334296A publication Critical patent/JPH07334296A/ja
Application granted granted Critical
Publication of JP3483982B2 publication Critical patent/JP3483982B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/36Matching; Classification
    • G06V30/373Matching; Classification using a special pattern or subpattern alphabet
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Discrimination (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、ジェスチャーを入力と
して受け取るシステムの情報処理に関し、更に詳細に
は、ジェスチャーベースのデータに対して従来の認識技
法を行わずに、ターゲット(目的)ジェスチャーベース
のデータ項目を、ジェスチャーに基づいた(ベース)デ
ータを有するデータ構造内の1つ以上の実質的に同一の
データ項目にマッピングするシステム及び方法に関す
る。
【0002】
【従来の技術及び発明が解決しようとする課題】例え
ば、ノートブックコンピュータ、パーソナルデジタルア
シスタント(PDA)、パーソナルコミュニケータ、又
はパーソナル対話型デバイスと様々な周知のポータブル
コンピューティングデバイスのようないくつかのプロセ
ッサ制御情報システムは、ペン状の入力デバイスを使用
して、データを従来のブロック体文字又はカーシブ手書
き文字の形で、及び図的なピクチャ、形状、又は記号の
形で入力する。いくつかのプログラムでは、ジェスチャ
ーデータは、入力されたとおりに記憶される。しかしな
がら、ジェスチャーベースのデータだけでは、制限され
た又は現存しないユティリティを有すると考えられるデ
ータ形式になるので、それは、一度プロセッサへのユテ
ィリティを有する従来のデータ形式に変換されると、捨
てられるのが典型的である。このように多くのジェスチ
ャーベースのデータハンドリング(取扱い)システム
は、手書き又はピクチャ入力を、例えば円、矩形又は直
線のような”認識された”予め定義された形状へ、又は
アスキー(ASCII)として知られる標準データ形式
のような文字の標準コード化表示へ変換し、データがワ
ードプロセッシング、電子メール、図画、図形、及びデ
ータベースアプリケーションのような標準プロセッサベ
ースのアプリケーションで用いるのに適するように、ジ
ェスチャーに基づいたデータに対して認識処理を行うこ
とが必要である。このようなシステムの一例には、アッ
プル(Apple; 登録商標)コンピュータ社(カリフォリニ
ア州、カパティーノ)から入手可能なニュートン(Newt
on; 登録商標)メッセージパッド(MessagePad)があり、
このシステムはユーザの手書き入力に対して手書き認識
(handwriting recognition) 処理を行い、例えばカレン
ダエントリ、住所並びに電話番号、及び電子メールメッ
セージ用のテキスト等として用いるために認識されたデ
ータを記憶する。
【0003】手書き認識に伴う現在の問題のために、ジ
ェスチャーを入力として受けるシステムのユティリティ
は、幾つかの機能性がジェスチャーに基づいたデータの
認識を明示的に要求しないで使用可能であったならば向
上されるであろう。アハ!(商品名)ソフトウェアコー
ポレーション( aha!software corporation)( カリフ
ォルニア州マウンテンビュー) の”アハ!インクライタ
(商品名)( aha! InkWriter) " として知られるソフ
トウェアプロダクトは、一見ジェスチャーベースのデー
タ自体に基づいた編集機能を提供する。アハ!インクラ
イタハンドブック(1993年)は、ソフトウェアが、
最初にユーザに手書き認識処理を明示的に呼び出すこと
を要求しないで、従来のワード処理アプリケーションで
提供された能力と同様のいくつかの機能的なジェスチャ
ーベースのデータ処理能力をユーザに提供することを示
す。該ハンドブックはまた、手書き入力が”コンピュー
タテキスト”又は単に”テキスト”呼ばれるものに”翻
訳(変換)”可能であることを示す。ハンドブックの説
明は、”翻訳(変換)”は従来の手書き認識処理に対応
することを示す。
【0004】インクライタはまた、語又は文字のサーチ
機能を提供する。サーチは、ユーザがサーチされるべき
文書(ドキュメント)を選択し、編集メニューから探索
機能(Find function) を選ぶことを必要とし、探索機能
の選択に応答して、探索ダイアログシートがオープンす
る。ユーザは自身が探索したい語をプリントする。該ハ
ンドブックには、ユーザが探索ダイアログシートにプリ
ントする語は直ぐに翻訳されることが述べられる。”
語”が探索されると、語”探索”が探索シートの結果セ
クションに表れ、語が選択される。アハ!インクライタ
ハンドブックに記載されたサーチ機能は、ユーザにより
入力されたサーチ語について手書き認識を行うことに依
存するために、ユーザが書き込みをコンピュータテキス
トへ翻訳するための肯定的なステップをとらなかったと
しても、そして書き込みがコンピュータテキストとして
ユーザにディスプレイされないにもかかわらず、手書き
認識はサーチされている文書中に書き込むことによって
行われることを結論とすることは、論理的である。次
に、インクライタソフトウェアを用いて、文書内の語を
うまく捜し出す能力は、翻訳又は認識処理の精度及び堅
牢性に依存する。該ハンドブックは、ユーザが多くのサ
ーチを行うことを予定している場合、普通の手書きで書
くよりもむしろプリントすることをユーザにアドバイス
することによりこの結論をサポートする。
【0005】認識システムは、手書きのようなジェスチ
ャーベースのデータ入力ターゲットをコンピュータコー
ド化形式又は人間が理解できる形式に、その入力ターゲ
ットを基準データ構造と呼ばれるものに記憶されるジェ
スチャーの多くの周知のテンプレート又は原型(プロト
タイプ)の1つにマッピングすること、又はその入力タ
ーゲットをそのテンプレート又は原型の1つとして分類
することによって変換する。良好なマッピングにより、
ジェスチャーのコンピュータコード化若しくは人間が理
解できる形式を識別される、又はジェスチャーの筆者を
識別する。このようなシステムは、典型的には手書き認
識、署名照合、及び筆者の識別のカテゴリの1つに属す
る。
【0006】これらのタイプの認識システムの各々の重
要な特性は、ターゲット入力がマッピングされるべき基
準データ構造の特性である。テンプレート又は原型デー
タオブジェクトの基準データ構造は”登録(記録)され
た(enrolled)" データオブジェクトと呼ばれる物即ち、
ターゲット入力を分類できる特定の目的のために基準デ
ータ構造に入力されるデータオブジェクトを含み、各登
録されたデータオブジェクトを含むデータは潜在的なタ
ーゲットから予期される得るデータの特徴、特性又は変
化を広範に準備する。次に、認識システムの精度及び信
頼度は、ターゲットジェスチャーがマッピングされる基
準テンプレートのジェスチャーベースのデータの準備及
び特性づけの品質に直接的に関係する。ユーザの通常の
手書き影響を及ぼす又はそれを変えることがある様々な
環境的な要因と共に、PDAデバイスの潜在的なユーザ
の間の手書きスタイルの多大な変わりやすさは、広いが
正確な基準テンプレートの開発を非常に困難なタスクに
している。
【0007】手書き認識システムが信頼性が低く誤りを
犯しやすい結果を生成する限り、入力としてジェスチャ
ーを受けるシステムのより広範なユーザ及びユティリテ
ィは、これらのシステムが認識処理をジェスチャーベー
スのデータに適用することに依存することによって著し
く制限されることになる。
【0008】
【課題を解決するための手段と作用】本発明は、ターゲ
ットジェスチャーベースのデータ項目が、カーシブ又は
ブロック体がプリントされた手書きを含む手書きノート
又は文書のようなジェスチャーに基づいたデータ(以
下、”ジェスチャーベースのデータ構造”と呼ぶ)のボ
ディに、認識処理をターゲットジェスチャーベースのデ
ータ又はジェスチャーベースのデータ構造に加えること
なく、生じるか否かを決定するための新規の技法を提供
する。従って、本発明は、こららのシステムが手書き認
識処理の成功に依存することを減じることにより、ジェ
スチャーを入力として受けるシステムの総体的な有用性
にとって有利である。ジェスチャーベースのデータ構造
においてターゲットジェスチャーの発生を確認すること
により、さまざまな処理機能を実行する能力が提供さ
れ、これらの能力は、ユーザにターゲットジェスチャー
のロケーション(位置)を強調するジェスチャーベース
のデータ構造の画像を提供することができるサーチ機
能、及び位置付けされたターゲットジェスチャーが第二
のターゲットジェスチャーに置き換えられることができ
るワード処理アプリケーションの”探索及び置換”機能
に類似している機能、を含む。更に、データ構造のキー
ワードインデックスを構築するソフトウェアと共に、ジ
ェスチャーをキーワードとして用いて、キーワードジェ
スチャー又はジェスチャーベースのデータ構造に対して
認識を行わずにジェスチャーベースのデータ構造にイン
デックスを付けてもよい。
【0009】本発明は、ターゲットジェスチャーとジェ
スチャーベースのデータ構造との間の合理的に適切なジ
ェスチャー整合(突合せ)を、幾つかの信号比較技法の
いずれか1つを用いることにより得ることができ、全ジ
ェスチャーがターゲットと比較されるまでターゲットジ
ェスチャーをジェスチャーベースのデータ構造内の各ジ
ェスチャーと整合(突合せ)し、ターゲットジェスチャ
ーがターゲットジェスチャーベースのデータ構造内に含
まれるか否か、及びどこで含まれるかを確認する。ジェ
スチャーベースのデータを入力する際の筆者間の可変性
のために、ターゲットとして提供された単一のジェスチ
ャーは、2つ以上のジェスチャーのシーケンスとしてジ
ェスチャーベースのデータ構造内に発生することがあ
る、又はジェスチャーベースのデータ構造内含まれた単
一のジェスチャーは、2つ以上のターゲットジェスチャ
ーのシーケンスとして入力されることがある。本発明
は、信号比較を行うためにターゲットジェスチャーのシ
ーケンスをサンプルデータ点(ポイント)の単一グルー
プへの連結を行う。次に、ターゲットが単一ジェスチャ
ー又はジェスチャーのシーケンスのいずれかによりジェ
スチャーベースのデータ構造内で整合(突合せ)される
ことは可能であるので、本発明はジェスチャーベースの
データ構造内からのサンプルデータ点のグルーピング
(グループ化)を、ターゲットジェスチャーを有する入
力として、信号比較処理に提供する。比較のためにこの
ようなジェスチャーベースのデータ構造からのサンプル
データ点のグルーピングを提供することにより、発明の
整合(突合せ)能力に基づいて筆者間の手書きのばらつ
きのインパクトが減らされるので、正確さを向上する。
【0010】従って、本発明によれば、ジェスチャーに
基づいたデータを提供する信号ソース、ジェスチャーに
基づいたデータを記憶するメモリ、及び信号を受け取る
ために接続されるプロセッサを含むシステムを動作する
方法が提供される。該方法は、信号ソースからターゲッ
トジェスチャーデータを受け取ることを含む。ターゲッ
トジェスチャーデータは第1ジェスチャーに基づき、時
間間隔にわたって動作(モーション)の第1のジェスチ
ャーパス(経路)を示す第1の複数のサンプルデータ点
を含む。システムメモリ内に記憶されたジェスチャーベ
ースのデータ構造が提供され、それは、ジェスチャーに
ついての情報を示し、それぞれのジェスチャー毎に、各
ジェスチャーの各時間間隔にわたる各動作パスを示す複
数のサンプルデータ点を含む。第2の複数のサンプルデ
ータ点は、複数のコーパス(corpus;集成) ジェスチャー
シーケンスにグループ化され、コーパスジェスチャーシ
ーケンスの各々は、少なくとも2つのサンプルデータ点
を含む。次に、ターゲットジェスチャーデータはコーパ
スジェスチャーシーケンスの各々と比較され、ターゲッ
トジェスチャーデータがコーパスジェスチャーシーケン
スの1つと整合(マッチ)するか否かを決定する。ター
ゲットジェスチャーデータと整合するコーパスジェスチ
ャーシーケンスのリストが作成される。該リストは、整
合するコーパスジェスチャーシーケンスのジェスチャー
ベースデータ構造内のロケーションを、コーパスジェス
チャーシーケンス毎に、含む。
【0011】本発明の別の態様に従って、プロセッサ制
御システムが提供され、それは、第1ジェスチャーの第
1時間間隔にわたる第1動作パスを示す第1の複数のサ
ンプルデータ点を含むターゲットジェスチャーベースデ
ータを提供する信号ソースと、信号ソースからターゲッ
トジェスチャーベースデータを受け取るために接続され
るプロセッサと、データを記憶するメモリと、を含む。
メモリに記憶されたデータは、プロセッサが実行できる
命令を示す命令データと、ジェスチャーについての情報
を示し、それぞれのジェスチャー毎に各ジェスチャーの
各時間間隔にわたる各動作パスを示す複数のサンプルデ
ータ点を含むジェスチャーベースデータ構造と、を含
む。プロセッサはまた、メモリに記憶されたデータをア
クセスするために接続される。プロセッサは、ターゲッ
トジェスチャーベースデータを信号ソースから受け取る
ことに応答して命令を実行する際に、第2の複数のサン
プルデータ点を、各々が少なくとも2つのサンプルデー
タ点を含む複数のコーパスジェスチャーシーケンスにグ
ループ化する。次にプロセッサは、ターゲットジェスチ
ャーベースデータをコーパスジェスチャーシーケンスの
各々と比較し、ターゲットジェスチャーベースデータが
コーパスジェスチャーシーケンスの1つと整合するか否
かを決定し、ターゲットジェスチャーシーケンスと整合
するコーパスジェスチャーシーケンスの整合リストを作
成する。該整合リストは、整合するコーパスジェスチャ
ーシーケンスのジェスチャーベースデータ構造内のロケ
ーションを、コーパスジェスチャーシーケンス毎に、含
む。
【0012】
【実施例】下記の用語は、添付図面に示された権利を請
求する発明の実施例を記載するために枠組みを提供す
る。
【0013】”ジェスチャー”とは、表現に富む移動(e
xpressive movement) である。図1は、英字”x”に似
ている、又は任意の図的記号とすることができるジェス
チャー10を示す。データ又は信号が、時間間隔にわた
る空間中のジェスチャーの動作パス(経路)についての
情報を含む時に、データ又は信号は、ジェスチャー”に
基づく”。例えば、ジェスチャーパスについての情報
が、時間中にほんの1点しか含まない場合、データ又は
信号はジェスチャーに基づかないが、空間内におけるパ
スの1つ以上の点及び単数又は複数の点の時間間隔につ
いての情報が含まれる場合、データ又は信号は、ジェス
チャーに基づく。ジェスチャーに基づいたデータの単純
な例は、ジェスチャー空間内の開始点及び終了点、及び
各々が発生した時間を示すデータである。2次元ジェス
チャーに基づいたより複雑なデータは、非常に高い頻度
でジェスチャーパスのx,y座標をサンプリングしてジ
ェスチャーにより提供される実質的に全ての移動内容を
捕獲することにより得られる3つの組(タプル)(x,
y,t)のベクトルとなる。このようなデータの例を図
1の表16に示す。ジェスチャーに基づいたデータは、
ジェスチャーについての情報を含むことができ、その情
報から、例えばジェスチャーの加速又は速度のような時
間にわたるジェスチャーの動作パスに関連している情報
の全部分又は一部分を感知する、計算する又は得ること
ができる。例えば、データ収集面上にジェスチャーを生
成する入力デバイスの圧力、抵抗における外乱、又は音
響表面波を表すデータようなジェスチャーについての追
加の成分情報を捕獲することもできる。本明細書におい
てジェスチャーに基づいたデータ又は信号はまた、”ジ
ェスチャーベースデータ”と呼ばれる。”ジェスチャー
ベースデータ構造”は1つ以上のジェスチャーに基づい
たデータ又は信号を含む。
【0014】本明細書で用いられた”スタイラス”は、
ジェスチャーベースデータを生成できるユーザ入力デバ
イスを示す。例えば、電子ペン状デバイスはスタイラス
であり、データ収集面を横切るスタイラスの先端の動き
がジェスチャーベースデータを作成する。スタイラスは
またマウスのような従来のポインティングデバイスを含
むことができ、ジェスチャーに基づいたデータを生成で
きる。その場合、ディスプレイデバイスのディスプレイ
領域中のカーソル画像は、スタイラスの位置を表し、デ
ィスプレイ領域はデータ収集面を表す。用語”電子イン
ク”又は”デジタルインク”は、スタイラスの先端動作
の軌跡のディスプレイ上の画像を示し、一般的にジェス
チャーベースデータの画像を示すために用いられる。
【0015】”ストローク(線素)”は、スタイラスが
ジェスチャーベースデータを生成していることが確認さ
れる時点から、スタイラスがジェスチャーベースデータ
を生成していないことが確認される次の時点まで生成さ
れるジェスチャー又はジェスチャーの一部分からのデー
タ又は信号である。例えば、スタイラスが、データ収集
面を横切って移動することによりジェスチャーベースデ
ータを生成する時、ストロークは、スタイラスがデータ
収集面と接触しているのが感知される時点から、スタイ
ラスがデータ収集面と接触していないのが感知される次
の時点まで生成されるデータである。図1においてジェ
スチャー10は、示されるように、2つのストローク1
2及び14を含む。
【0016】図1のサンプルデータ点20及び22によ
り図示されるように、データは、一定の時間間隔でスト
ロークを作成中に収集される。”ストロークセグメン
ト”又は”セグメント”は、セグメント24により示さ
れるように、2つの時間のサンプルデータ点の間のスト
ロークの部分を示す。第1ストローク12の最後の(時
間内の)サンプルデータ点が第2ストローク14の最初
のデータ点と接続される時、ストローク又はサンプル点
は”連結される”と言われる。サンプル点のシーケンス
の連結により、多くのストロークを単一のストロークグ
ループへグループ化することになる。連結サンプルデー
タ点の効果は、セグメント30をサンプルデータ点のシ
ーケンスに導入することである。
【0017】ジェスチャーベースデータを含むデータ構
造はまた、本明細書中では”未分類”データ構造と呼ば
れ、これは、ターゲット入力を分類するために用いられ
るテンプレート又は原型のような登録されたデータオブ
ジェクトを含む”分類された”データ構造と区別され得
る。
【0018】ジェスチャーベースデータをサーチし整合
(突合せ)する本発明は、一般的な構成要素、特性、及
び図2に示されたシステム100の構成を有するプロセ
ッサ制御システムを動作する。システム100は、入力
回路152を含み、信号ソース154から信号を受け取
る。信号ソース154は、本発明が必要とするタイプの
信号を生成するあらゆる信号生成ソースを含む。このよ
うなソースはヒューマンユーザにより制御可能な入力デ
バイスを含み、ジェスチャーを作成する時に、ユーザが
デバイス170のデータ収集面及びディスプレイ領域1
80の上を移動させるスタイラスデバイス156のよう
なこの入力デバイスは、ユーザの動作に応答して信号を
生成する。デバイス170は、一般的に”電子タブレッ
ト”と呼ばれるが、先に示されたように、デバイス17
0は、画像を提供することができる従来のディスプレイ
デバイスとすることもでき、またはデータ収集表面を使
用せずにジェスチャーベースデータを生成できるスタイ
ラスデバイス156だけを、デバイス170とスタイラ
スデバイス156との組み合わせの代わりとすることも
できる。あるいは、信号ソース154は、プロセッサ1
40が実行しているオペレーション(図示せず)でもよ
く、ジェスチャーに基づいたデータをターゲットジェス
チャーとして本発明に従って処理するためにプロセッサ
140へ提供する。信号ソース154はまた画像走査デ
バイス158でもよく、この画像走査デバイス158は
入力回路152を介して送られるジェスチャー画像を定
義する信号を生成する。次にプロセッサ140は、多数
の周知の技法のいずれか1つを用いてジェスチャー画像
をジェスチャーに基づいたデータへ変換することができ
る。
【0019】プロセッサ140はメモリ110のプログ
ラムメモリ114をアクセスすることによって動作し、
プロセッサ140が次に実行する命令を検索する。プロ
グラムメモリ114は、ジェスチャーデータ比較命令1
16を含み、図4及び図5のフローチャートに記載され
た発明を実現する。命令の実行中、プロセッサ140
は、入力回路152から入力信号を受け取ることに加え
て、データメモリ122にアクセスすることができ、例
えば、電子インク画像等の画像を定義するデータをデバ
イス170のディスプレイ領域180に表示する、又は
あらゆる他の適切なディスプレイデバイス上に表示する
ために出力回路(図示せず)に提供する。示される実施
例の記述において、ディスプレイ領域はディスプレイス
クリーンの可視部分に対応し、本発明の方法は、その中
に可視的にディスプレイする電子インクを提供する。メ
モリ110はまた、ジェスチャーベースデータ構造12
6、ターゲットジェスチャーデータ130、及び説明さ
れる実施例の場合にはストローク関数データ132及び
他のデータを記憶する。
【0020】マシン100の物理的構成要素が接続され
る実際の方法は変更可能であり、遠隔又は局所通信ネッ
トワーク及び赤外並びに無線通信接続等を介するワイヤ
ード又はワイヤレス通信機能(設備)を介する接続と同
様に、スタイラス156とデバイス170の間の点線の
ワイヤー接続160によって示されるような幾つかの又
は全ての構成要素の間にハードワイヤード(ハード配線
された)物理接続を含むことができる。マシン100の
物理的大きさはの範囲は、例えば、共用共同装置(share
d collaboration)用の大きな電子”ホワイトボード”デ
バイス等の非常に大きなデバイスから、かなり小さなデ
スクトップ、ラップトップ、及びポケットサイズ又はよ
り小さなディスプレイ装置まで、大きく変更可能であ
る。
【0021】図3は、本発明の概略的なステップを示
す。用語”コーパス(corpus)”は、速記用語として用い
られ、ターゲットジェスチャーとの比較のためにサーチ
されているジェスチャーベースデータ構造を意味する。
ボックス208において、ターゲットジェスチャーデー
タを信号ソースから受け取る。筆者の可変性がもたらす
整合(突合せ)誤りを減らすために、ボックス214に
おいて、ターゲットジェスチャーデータのストローク毎
にサンプルデータ点のシーケンスを、連続サンプルデー
タ点のシーケンス(以下”ターゲットジェスチャーシー
ケンス”と呼ぶ)へ連結する。ターゲットジェスチャー
データのサンプルデータ点を、接続されたサンプル点の
単一シーケンスへ連結することの効果は、ストローク同
士間に新しいセグメントを加えることである。
【0022】サーチされるジェスチャーベースデータ構
造又はコーパスは、ジェスチャーに基づいたどんなデー
タの集合でもよく、これはメモリ110(図2)中に記
憶されるか、そうでない場合にはプロセッサ140へア
クセスできる。手書きのノート、手紙d(letter) 、ログ
(記録)、日記、カレンダー、及び他の文書を表すジェ
スチャーに基づいたデータのあらゆるデータ構造は、サ
ーチされるべきコーパスになる。コーパスを、単に、多
くのジェスチャーの時間経過に従う動作のパス(経路)
を表すサンプルデータ点の連続ストリームとみなし、デ
ータストリームをストロークリストに編成することがで
きるが、編成する必要はない。ジェスチャーベースのコ
ーパスデータへのターゲットジェスチャーシーケンスの
整合(マッチング、突合せ)を可能にするために、ボッ
クス220において、コーパス内のサンプルデータ点の
複数のセット(集合)を識別して、それらをサンプルデ
ータ点の複数のシーケンス(以下、”コーパスジェスチ
ャーシーケンス”と呼ぶ)にグループ化する。サンプル
データ点のいずれか1つのコーパスジェスチャーシーケ
ンスは、サンプルデータ点の別のコーパスジェスチャー
シーケンスと部分的に重なってもよいし、又はそれと一
緒にサンプルデータ点を共有してもよい。コーパスジェ
スチャーシーケンスは、コーパス内のサンプルデータ点
のあるゆる部分集合であり、それは2つのサンプルデー
タ点と同じくらい小さくてもよい。ボックス224にお
いて、比較のために各コーパスジェスチャーシーケンス
を、単一データユニット又は信号へ連結する。
【0023】ボックス228において、ターゲットジェ
スチャーシーケンスを各コーパスジェスチャーシーケス
と比較し、整合があるか否かを確認する。この目的のた
めに、あらゆる適切な信号整合(突合せ)処理を使用す
ることができ、時間軸正規化整合法(dynamic time-warp
ing techniques;動的計画法マッチング法) に基づいた
新規の信号整合(マッチング)処理の一例が以下に詳細
に示される。次に、ボックス234において、全コーパ
スジェスチャーシーケンスに対してターゲットジェスチ
ャーシーケンスの整合(マッチング)処理結果を作成
し、そして、その結果は、ターゲットジェスチャーシー
ケンスと整合(マッチ)するコーパスジェスチャーシー
ケンスを示し、例えばコーパス内の各整合(マッチン
グ)コーパスジェスチャーシーケンスの開始及び終了サ
ンプルデータ位置のインデックス(i start,end ) 等
を含むリストを、最小限に含む。リストは、典型的には
画像中の整合(マッチング)結果を表示することにより
人間のユーザーへ若しくは別のシステムオペレーション
へ、同時もしくは後で報告すること、又は整合する(マ
ッチング)コーパスジェスチャーのリスト若しくは整合
するコーパスジェスチャーへのポインタを通過し、次の
動作によって更に処理すること、を含むが、それに限定
されない様々な目的のために使用可能である。整合(マ
ッチ)が生じない場合、整合リストは空であり得る。
【0024】図4は、本発明の実施例により実施される
ステップのシーケンスを示す。図1に示されたように、
ターゲット及びコーパス両内のジェスチャーベースデー
タは、各ストロークがサンプルデータ点のリストである
スロークのリストに編成される。ボックス308におい
て、ターゲットジェスチャーを示すデータを信号ソース
から受け取る。ボックス310において、ターゲットジ
ェスチャーデータを調べ、それが1つ以上のストローク
を含んでいるか否かを確認し、含んでいる場合は、スト
ロークi (時間内の最初のストローク)の最後のサンプ
ル点をストロークi +1 (時間内の次のストローク)の
第1のサンプル点と接続することにより、全ストローク
が、連続サンプルデータ点の単一シーケンスへ連結され
るまで、各ストロークi を次のストロークi +1 と連結
される。
【0025】ボックス314において、コーパス内のス
トロークを数えるために、カウンタnは0に初期設定さ
れる。コーパス内の全ストロークの連結されたターゲッ
トストロークデータとの比較が完了されると、ボックス
374でこのターゲットに対する処理が完了したか否か
の照会が行われる。ボックス316において、グルーピ
ング(グループ化)カウンタmは、1に初期設定され
る。グルーピングカウンタmは、整合(マッチング)処
理への入力のためにコーパス内のストロークのグルーピ
ングを制御する。ボックス320において、カウンタn
によってカウントされるようにコーパス内の各単一スト
ロークから開始し、グルーピングカウンタmが1で始ま
ると、信号比較処理330へ入力する前に、mがグルー
ピングストロークの最大数になる(これはボックス36
8で検査される)まで、コーパスストロークnからn+
m−1は、連続サンプルデータ点の単一シーケンスにグ
ループ化され、連結される。グルーピングカウンタmの
最大値は、同一又は異なる筆者により生成された様々な
形式のコーパスで実験をした後に、ヒューリスティック
(発見的)に決定することができる。あるいは、グルー
ピングカウンタmの最大値は、ターゲットジェスチャー
データ内のストローク数sの関数とすることもできる。
示された実施例では、グルーピングカウンタmはsの関
数であり、その最大値はs+2となる。
【0026】グルーピングのこの概念を実施することに
より、連結されたターゲットジェスチャーデータとのコ
ーパスストロークのグループの畜力信号比較(brute for
ce signal comparison) が導かれる。この比較は一致し
ない及び異なるストローク空間より生じる筆者間のばら
つきを補償しようとする。更に重要なことに、このアプ
ローチは、システムの能力に依存しないで、サーチ(探
索)や整合(マッチング、突合せ)に先立って、コーパ
スを語や図形記号のような離散的意味単位(discrete se
mantic unit)に分割する。しかしながら、このような畜
力比較方法は、計算効率に実質的にインパクト(影響)
を与えることになる。グルーピングカウンタmは、処理
及び性能の効率制御である。理論上、シーケンス内の点
nでk個のストロークの大きさがコーパスに与えられる
と、mの値は、1からk−n+1の範囲になり、次にス
トロークは全体のコーパスと同じくらい大きなシーケン
スにグル−プ化され、ストロークシーケンスの最大数を
信号比較プロセスに入力することを確実にする。示され
た実施例において、ストロークカウントs=3を有する
ターゲットジェスチャーは、(mの最大値=s+2の
時)1個のストロークから5個の連続ストロークの範囲
にわたる5個のコーパスジェスチャーシーケンスグルー
プとなり、各グループはコーパス内のストローク毎にタ
ーゲットジェスチャーと比較される。
【0027】理解されるように、様々な異なるアプロー
チを使用して、グループカウンタmの初期値及びその最
大値のいずれか又はその両方を変更することにより、グ
ルーピングを決定することができる。例えば、グループ
カウンタmをs−1に初期設定し、その最大値をs+1
に設定することができ、ターゲットとの比較のために、
ターゲットよりも1ストローク少ない、ターゲットと等
しい、及びターゲットよりも1ストローク多いだけのグ
ルーピングを、形成する。グルーピングカウンタmは注
意深く選択されて、少数のストロークを有するターゲッ
トジェスチャーを、多数のストロークを有するコーパス
ジェスチャーシーケンスと、確実にうまく整合(マッチ
ング)できることが必須であり、これは、実質的にカー
シブ手書きから構成されるターゲットが、実質的にプリ
ント手書きから構成されるコーパスと整合(マッチン
グ)される必要がある時に生じることがある。
【0028】以下に更に詳細に記載される信号比較プロ
セス330は、連結されたターゲットジェスチャーデー
タが連結されたストロークの特定のグループと比較して
どのくらい適切であったかを測定するスコアをリターン
する。ボックス360において、このスコアはしきい値
に対して評価され、それが比較して好ましい場合、つま
りこの場合にはスコアがしきい値よりも小さい場合、連
結されたコーパスストロークのグループは、整合(マッ
チ)するものとしてマーキング(印つけ)される。この
意味においてマーキングは単に、整合(マッチング)す
るコーパスジェスチャーシーケンスの探索に応答して取
られるあらゆるシステム動作を示す。示された実施例の
場合、サーチされるコーパスはユーザに対して電子タブ
レット上に表示される。連結されるターゲットジェスチ
ャーシーケンスの各整合するものはコーパス中にあるの
で、ボックス形のディスプレイ機能を整合(マッチン
グ)するコーパスジェスチャーシーケンスを表すコーパ
スの画像部分の回りに加え、次に描画命令(例えば、ペ
イント画像又はディスプレイ画像命令)を実行すると、
システムは整合するコーパスジェスチャーシーケンスを
含みボックスがそれらを囲むコーパス画像を提供する。
【0029】信号比較プロセス330から得られた信号
が、しきい値と比較して好ましくない場合、また成功整
合をマークした後に、ボックス366において、コーパ
スストロークの次のグループを形成するためにグルーピ
ングカウンタmは増分される。ボックス320におい
て、グルーピングカウンタmがその最大値よりも大きく
ない場合、ターゲットジェスチャーグループとの信号比
較に備えて、コーパス内のストロークの次のグループを
識別して、連結する。
【0030】グルーピングカウンタmがその最大値より
も大きい場合、ボックス370において、コーパススト
ロークカウンタnを増分し、nをコーパス内のストロー
ク数に対してテストし、全コーパスストロークを比較し
たか否かを確認する。全ての比較が完了してはいない場
合、グルーピングカクンタmをボックス316におい
て、コーパス内の次の連続ストロークでグルーピングの
新たな繰り返しを開始するために1に再設定する。
【0031】しきい値は、ターゲットジェスチャーシー
ケンスとコーパスジェスチャーシーケンスが十分に整合
していて、それを整合するものとして報告できることを
決定する信号比較のスコアのカットオフを表し、また、
しきい値は大部分は例えば正規化がどのようにして行わ
れるかのような信号比較プロセス330の実施に関して
行われる設計決定機能(関数)である。最低スコアを使
用して成功比較を示す認識システムと対照的に、しきい
値は、システム又はシステムユーザがどのくらい多くの
偽の肯定(false positive)を許容するかのいくぶん主観
的で任意な評価である。ここに示された実施例におい
て、しきい値の値は実験的に決定されたものであり、偽
の拒絶を過度に増加することなく偽の肯定を実質的に減
少することになるしきい値0.4を使用した。
【0032】示された実施例において、信号比較プロセ
ス330は時間軸正規化整合法(DTW;dynamic time-warp
ing techniques) として周知の数学的な比較法を使用す
る。この方法は、多次元空間の時間の連続関数であると
定義される軌道(trajectory)の比較を示す。時間歪化(t
ime-warping)の基本的は考え方は、同一軌道の反復が、
時間パターンを変更すること以外ほぼ同じカーブを描く
ということである。時間歪化法は、各軌道が、通常の付
加的なランダムな誤りによる変更だけでなく、一部分か
ら別の部分へのスピード変化(ばらつき)を受ける時、
時間サンプリングによって軌道から得られるシーケンス
を比較する。このようなスピード変化(ばらつき)は、
時間軸に関して圧縮及び伸張として具体的に表れ、これ
は圧縮−伸張と呼ばれる。時間歪化はこのような変化を
扱い、また時間歪化は、圧縮−伸張に対して感度がない
が他の差異に感度がある方法において、2つのシーケン
スがどのくらい異なるかを測定するために使用できる。
【0033】本発明は、時間歪化の概念を、軌道と呼ぶ
こともできるジェスチャー又はストロークの領域(範
囲)に適用する。主な重要性を有する筆者間の変化は、
ストローク形状が異なることから生じる変化であり、こ
れらの変化は、サンプルデータ点同士の間の角度及び距
離により捕獲され、この領域において、サンプル点のシ
ーケンスの”ストローク軌道”は、実際に以下”ストロ
ーク関数”と呼ばれる、セグメントの配向を先のセグメ
ントの累積長さに関連させる関数になる。文献では、こ
のタイプの表現は、”配向(orientation) ”関数又は"
配向対アーク長さ(orientation versus arc length)"関
数と呼ばれることもよくある。ストローク関数の例は図
6に示され、図6においてグラフ40は、図1のジェス
チャー10の連結されたストロークに関してのストロー
ク関数を示す。グラフ40において、連結されたストロ
ーク12及び14(図1)の各ストロークセグメントで
のグラフ40の水平軸42に沿った累積長さが、グラフ
40の垂直軸44のセグメントの角度に対してプロット
される。グラフ40のストローク関数は、DTW比較処
理に入力されるターゲットとコーパスストロークとの関
数の一例である。
【0034】数学的意味において、時間歪化(タイムワ
ーピング)の考え方は、ターゲットストローク関数の各
点と、コーパスストローク関数のある特定の点との間の
一致を、各ストローク関数の時間軸を歪ませて、2つの
ストローク関数の点同士間のマッピングを確立すること
により確立することである。2つの時間歪が全体の2つ
のストローク関数を通して同一連結を生じれば、それら
は同等物である。2つのストローク関数の間の距離Dは
当該積分又は合計を最小化する歪化により一致される点
間の重み付け点方向距離dの正規化された積分、又は離
散ケースの場合に合計である。距離Dは、ターゲットジ
ェスチャーグループ及び現在のコーパスジェスチャーグ
ループのマッチングスコア又は類似性の測度として役立
つ。参照された正規化は、歪まされたシーケンスの長さ
に基づく。点方向距離関数d(x,y)の一例は、d
(x,y)=|x−y|となる。
【0035】図5は、図4のボックス330のDTW信
号比較処理の詳細な部分ステップを示す。ボックス33
4及び338において、ターゲットジェスチャーグルー
プ及び現在のコーパスジェスチャーグループをセグメン
トに分けて、次に各セグメントの長さ及び角度を計算す
ることにより、ターゲットジェスチャーグループ及び現
在のコーパスジェスチャーグループのストローク関数を
構築する。効率性のために、ターゲットジェスチャーグ
ループ及び以前のコーパスジェスチャーグループのセグ
メント用の以前のセグメントリストを記憶し、可能な箇
所で再使用する。ターゲットジェスチャー及びコーパス
ジェスチャーグループの各々に対するセグメント、角度
及び長さのリストは、ボックス310及び320(図
4)における連結の結果として加えられたセグメントの
リストを含む。時間軸正規化整合法を使用することによ
り、連結の結果としてセグメントをストロークグループ
に加えることが精度に与える影響を最小化する。その理
由は、ストローク関数同士間のセグメント同士の一致を
調整して、セグメントの長さ及び角度がその対応するセ
グメントの長さ及び角度と実質的に異なる時に、追加さ
れたセグメントをあまり重要視しないことが可能である
からである。
【0036】次に、ボックス340において時間歪化を
ストローク関数に行い、距離スコアを計算し正規化す
る。次にそのスコアを、図4のボックス360のしきい
値とテストするためにリターンする。
【0037】示された図4の実施例に記載された方法に
様々な追加ステップを加え、その方法のマッチング精度
を向上させ、性能を最適化することは可能である。1つ
のこのようなステップは、信号比較のために、ターゲッ
ト及びコーパスのそれぞれのストロークの準備にストロ
ーク事前処理ステップを追加することを含む。事実上、
ノイズ除去ステップであるストローク事前処理ステップ
は、ユーザによる意図的な動作からというよりも、電子
タブレット又はスタイラス中の欠陥回路のような環境的
な要因から生じそうなストローク又はセグメントの不整
を検出して除去する。このような処理ステップは、周知
の方法を用いて行われ得る。
【0038】使用可能な別の方法は、ストロークデータ
点を再サンプリングしてサンプル点の数を減少する方法
である。再サンプリングステップにおいて、余計なサン
プル点を単に除去する、又は元のサンプル点を、元のカ
ーブに近くて、過度の計算時間の原因となる余計なサン
プル点を取り除くサンプル点の新しいセットと交換す
る。再サンプング方法もまた当業者に周知である。
【0039】本発明はまた、手書きの走査画像をコーパ
スの元のソースとして又は特定のターゲットのために、
又はその両方のために用いることも意図する。手書きシ
ンボルのビットマップ画像をジェスチャーに基づいたデ
ータへ変換する周知の方法がある。
【0040】また、あらゆるPDAデバイスの機能及び
ユーザインタフェースの部分として本発明を含むことが
できるので、デバイスのユーザは手書きのコーパスをサ
ーチすることができる。
【0041】システムのユーザは、マッチングされるべ
きターゲットジェスチャーをサーチされるべきコーパス
又は別のコーパスから選択することができる。ターゲッ
ト選択に使用されるコーパスの全ての又は一部分を表現
する電子インクの画像がディスプレイされ、スタイラス
を用いてユーザはターゲットジェスチャーベースデータ
として使用されることになるジェスチャーベースデータ
を表す電子インクの部分を指し示すジェスチャー選択を
おこなう。選択ジェスチャーに応答して、図3又は4の
フローチャートで説明されたステップに従って、ターゲ
ットジェスチャーベースデータとして処理するためのコ
ーパスから選択されたジェスチャーベースデータを検索
する。この機能は、第2筆者のジェスチャーをターゲッ
トジェスチャーとして使用して、第2筆者により書かれ
たコーパスの内容をサーチするために第1筆者により使
用されることができる。
【0042】実施された別のグルーピング方法は、コー
パスを意味的に有意味なユニット(単位)にグループ化
する。次にこれらのユニットは、マッチング段階の間に
ターゲットジェスチャーベースデータが比較されるコー
パスジェスチャーシーケンスとして使用される。この実
施例において、これらのユニットは、手書き文書の個々
の語に対応することが意図される。コーパスの意味的グ
ルーピングは、コーパスのストロークの第1のサーチに
より、コーパス内のストロークの平均垂直方向サイズの
少なくとも半分の大きさであるストローク同士間の水平
方向の空間を見つけることにより実施される。次に、語
とおおまかに等しいと考えられ得る意味ベースのコーパ
スジェスチャーシーケンスは、大きな水平方向空間同士
の間にあるストロークのサンプルデータ点として識別さ
れる。
【0043】ターデットジェスチャー若しくはジェスチ
ャーベースデータ構造から提供されたターゲットジェス
チャー、又はその両方の連結されたジェスチャーの順番
は、信号比較を行う前に変更されることができ、例え
ば”f”又は”t”のような交差する字の順番で他の筆
者の変化(ばらつき)を補償する。
【0044】使用され得る別の信号比較方法は、単純な
信号相関の周知の技法である。相関もまたストローク関
数を用い、それはターゲットジェスチャーの連結ストロ
ークから形成されたサンプル点シーケンスから得られ
る。該ストローク関数は、コーパス内のサンプルデータ
点のシーケンスから得られたストローク関数と相関され
る。この相関値が高いコーパスストローク関数内の部分
シーケンスは、良好な整合(マッチ)がある場所を示
す。基本的な相関に用いられる点方向乗法の代わりに、
示された実施例の時間軸正規化整合法で用いられたのと
同様の方法で、点方向絶対差(pointwise absolute dif
ference)を代わりに使用することができる。
【0045】使用可能である別の信号比較方法は、ハウ
スドルフ距離(Hausdorff distance)に基づいてマッチン
グする周知の方法である。ハウスドルフ整合は、2D
(2次元)点の2つのグループがどのくらい互いと異な
るかを測定する方法である。ジェスチャーを含むサンプ
ルデータ点に適用されると、平面の点として取られるタ
ーゲットジェスチャーのサンプルデータ点は、平面で点
として再びとられるコーパスからのサンプルデータ点の
グループと比較される。
【0046】
【発明の効果】本発明の新規の方法は、内容に関して均
等である信号のシーケンスであり、ターゲットが特に分
類されるテンプレート又は原型のデータ構造でないとい
う意味で全体的に分類されないジェスチャーベースデー
タ構造に作用する。
【0047】本発明により、システムが認識処理をジェ
スチャーベースのデータに依存しない新規のシステム及
びその方法が提供された。
【図面の簡単な説明】
【図1】ジェスチャー及びジェスチャーに基づいたデー
タを示す。
【図2】本発明が動作できるシステム及び本発明を実現
できるソフトウェアプロダクトを示す概略ブロック図。
【図3】本発明に従ってジェスチャーベースデータをサ
ーチし整合させる概略的なステップを示すフローチャー
ト。
【図4】本発明のソフトウェアの実施に従って、ターゲ
ットジェスチャーグループをジェスチャーベースデータ
構造内のジェスチャーベースデータグループに整合する
ステップを示すフローチャート。
【図5】本発明の示された実施に従って、図4に示され
た信号比較ステップの部分ステップを示すフローチャー
ト。
【図6】本発明に従って、図1のジェスチャーに関し
て、図5の信号比較プロセスを用いて構成された例示的
なストローク関数のグラフ。
フロントページの続き (72)発明者 カロン アン.ウェバー アメリカ合衆国 カリフォルニア州 94109 サンフランシスコ ユニオン ストリート 1330 ナンバー22 (72)発明者 トッド エイ.カス アメリカ合衆国 カリフォルニア州 94110 サンフランシスコ ドロレス ストリート 784 (56)参考文献 特開 平4−42316(JP,A) 特開 平1−21590(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06K 9/00 - 9/82 G06F 3/03

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 ジェスチャーに基づいたデータを提供す
    る信号ソース、ジェスチャーに基づいたデータを記憶す
    るメモリ、及び信号を受け取るために接続されたプロセ
    ッサを含むシステムを動作する方法であって、 信号ソースから、ターゲットのジェスチャーであるター
    ゲットジェスチャーに基づいたターゲットジェスチャー
    ベースデータを受け取るステップであって、ターゲット
    ジェスチャーベースデータが、ターゲットジェスチャー
    の第1の時間間隔にわたる第1の動作パスを示す時間順
    複数のターゲットサンプルデータ点を含む、ステップ
    と、 システムメモリ内に記憶され、ターゲットジェスチャ
    ーベースデータと比較されるためのコーパスジェスチャ
    ーデータを複数含むコーパスデータ構造にアクセスする
    ステップであって、コーパスジェスチャーデータはそ
    れぞれのコーパスジェスチャーのそれぞれの時間間隔に
    わたるそれぞれの動作パスを示す時間順の複数のコーパ
    サンプルデータ点を含む、ステップと、コーパスデータ構造に含まれるコーパスサンプルデータ
    点を用い、コーパスサンプルデータ点が接続されたコー
    パスジェスチャーシーケンスを複数生成する、グループ
    化オペレーションを行うステップであって、各コーパス
    ジェスチャーシーケンスは、コーパスデータ構造内の複
    数のコーパスジェスチャーデータの内の各1つのコーパ
    スジェスチャーデータに含まれている、時間順に連続し
    たコーパスサンプルデータ点を少なくとも2つ含む、
    テップと、 ターゲットジェスチャーベースデータをコーパスジェス
    チャーシーケンスの各々と比較し、ターゲットジェスチ
    ャーベースデータがコーパスジェスチャーシーケンスの
    少なくとも1つと整合するか否かを決定するステップ
    と、 ターゲットジェスチャーベースデータと整合するコーパ
    スジェスチャーシーケンスである整合コーパスジェスチ
    ャーシーケンスの整合リストを作成するステップであっ
    て、該リストが、各整合ーパスジェスチャーシーケン
    ス毎に、整合ーパスジェスチャーシーケンスのコーパ
    スデータ構造内のロケーションを含む、ステップと、 を含むシステム動作方法。
  2. 【請求項2】 プロセッサ制御システムであって、 ターゲットジェスチャーの第1の時間間隔にわたる第1
    の動作パスを示す時間順の複数のターゲットサンプルデ
    ータ点を含む、ターゲットのジェスチャーであるターゲ
    ットジェスチャーに基づいたターゲットジェスチャーベ
    ースデータを提供する信号ソースと、 信号ソースからターゲットジェスチャーベースデータを
    受け取るために接続されたプロセッサと、 データを記憶するためのメモリであって、メモリに記憶
    されるデータが、プロセッサが実行できる命令を示す命
    令データと、ターゲットジェスチャーベースデータと比
    較されるためのコーパスジェスチャーデータを複数含む
    コーパスデータ構造とを含み、それぞれのコーパスジェ
    スチャーデータは、それぞれコーパスェスチャーのそ
    れぞれの時間間隔にわたるそれぞれの動作パスを示す
    間順の複数のコーパスサンプルデータ点を含む、前記メ
    モリと、 を含み、 プロセッサがメモリに記憶されたデータをアクセスする
    ために更に接続されており、 プロセッサがターゲットジェスチャーベースデータを信
    号ソースから受け取ることに応答して命令を実行する場
    合に、コーパスデータ構造に含まれるコーパスサンプルデータ
    点を用い、コーパスサンプルデータ点が接続されたコー
    パスジェスチャーシーケンスを複数生成する、グループ
    化オペレーションを行い、各コーパスジェスチャーシー
    ケンスは、コーパスデータ構造内の複数のコーパスジェ
    スチャーデータの内の各1つのコーパスジェスチャーデ
    ータに含まれている、時間順に連続したコーパスサンプ
    ルデータ点を少なくとも2つ含み、 ターゲットジェスチャーベースデータをコーパスジェス
    チャーシーケンスの各々と比較し、ターゲットジェスチ
    ャーベースデータがコーパスジェスチャーシーケンスの
    1つと整合するか否かを決定し、 ターゲットジェスチャーベースデータと整合するコーパ
    スジェスチャーシーケンスの整合リストを作成し、該整
    合リストが、整合するコーパスジェスチャーシーケンス
    毎に、整合するコーパスジェスチャーシーケンスのコー
    パスデータ構造内のロケーションを含む、 プロセッサ制御システム。
  3. 【請求項3】 コーパスデータ構造に含まれる1つのコ
    ーパスジェスチャーデータが手書きのシンボルのシーケ
    ンスを示す場合、オーバーラップしている第1のコーパ
    スジェスチャーシーケンスと第2のコーパスジェスチャ
    ーシーケンスとが、手書きのシンボルのシーケンスにお
    けるオーバーラップしている第1のサブシーケンスと第
    2のサブシーケンスとを示すように、第1のコーパスジ
    ェスチャーシーケンスは、第2のコーパスジェスチャー
    シーケンスと時間順に連続するコーパスサンプルデータ
    点を共有する、ことを特徴とする請求項1記載の方法。
  4. 【請求項4】 コーパスデータ構造に含まれる1つのコ
    ーパスジェスチャーデータが手書きのシンボルのシーケ
    ンスを示す場合、オーバーラップしている第1のコーパ
    スジェスチャーシーケンスと第2のコーパスジェスチャ
    ーシーケンスとが、手書きのシンボルのシーケンスにお
    けるオーバーラップしている第1のサブシーケンスと第
    2のサブシーケンスとを示すように、第1のコーパスジ
    ェスチャーシーケンスは、第2のコーパスジェスチャー
    シーケンスと時間順に連続するコーパスサンプルデータ
    点を共有する、ことを特徴とする請求項2記載のプロセ
    ッサ制御システム。
JP13193295A 1994-06-06 1995-05-30 システム動作方法及びプロセッサ制御システム Expired - Lifetime JP3483982B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/254,382 US5687254A (en) 1994-06-06 1994-06-06 Searching and Matching unrecognized handwriting
US254382 2002-09-25

Publications (2)

Publication Number Publication Date
JPH07334296A JPH07334296A (ja) 1995-12-22
JP3483982B2 true JP3483982B2 (ja) 2004-01-06

Family

ID=22964086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13193295A Expired - Lifetime JP3483982B2 (ja) 1994-06-06 1995-05-30 システム動作方法及びプロセッサ制御システム

Country Status (4)

Country Link
US (1) US5687254A (ja)
EP (1) EP0686931B1 (ja)
JP (1) JP3483982B2 (ja)
DE (1) DE69515371T2 (ja)

Families Citing this family (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US5940534A (en) * 1995-07-17 1999-08-17 Nippon Telegraph And Telephone Corporation On-line handwritten character recognition using affine transformation to maximize overlapping of corresponding input and reference pattern strokes
JP3535624B2 (ja) * 1995-09-21 2004-06-07 キヤノン株式会社 検索装置及び方法
JP3744997B2 (ja) * 1996-01-12 2006-02-15 キヤノン株式会社 文字認識装置及びその方法
US5832474A (en) * 1996-02-26 1998-11-03 Matsushita Electric Industrial Co., Ltd. Document search and retrieval system with partial match searching of user-drawn annotations
US5946499A (en) * 1996-05-10 1999-08-31 Apple Computer, Inc. Method and apparatus for processing text inputs from multiple input devices in a plurality of applications
US6556712B1 (en) * 1996-05-23 2003-04-29 Apple Computer, Inc. Methods and apparatus for handwriting recognition
JP3904637B2 (ja) * 1996-09-13 2007-04-11 株式会社東芝 情報入力装置及び方法
US5970455A (en) * 1997-03-20 1999-10-19 Xerox Corporation System for capturing and retrieving audio data and corresponding hand-written notes
US5953451A (en) * 1997-06-19 1999-09-14 Xerox Corporation Method of indexing words in handwritten document images using image hash tables
US6260044B1 (en) 1998-02-04 2001-07-10 Nugenesis Technologies Corporation Information storage and retrieval system for storing and retrieving the visual form of information from an application in a database
US6285786B1 (en) * 1998-04-30 2001-09-04 Motorola, Inc. Text recognizer and method using non-cumulative character scoring in a forward search
JP4136066B2 (ja) 1998-05-11 2008-08-20 パイオニア株式会社 文書データ作成装置及び文字表示装置
US6421453B1 (en) * 1998-05-15 2002-07-16 International Business Machines Corporation Apparatus and methods for user recognition employing behavioral passwords
US6266639B1 (en) * 1998-05-22 2001-07-24 At&T Corp Method and apparatus for providing notification of pre-established shorthand notation
WO1999064982A1 (en) 1998-06-09 1999-12-16 Kent Ridge Digital Labs A recognition process
US6343148B2 (en) * 1998-07-22 2002-01-29 International Business Machines Corporation Process for utilizing external handwriting recognition for personal data assistants
US6304674B1 (en) 1998-08-03 2001-10-16 Xerox Corporation System and method for recognizing user-specified pen-based gestures using hidden markov models
WO2000019383A2 (en) 1998-09-11 2000-04-06 Loquitor Technologies Llc Generation and detection of induced current using acoustic energy
US6529643B1 (en) 1998-12-21 2003-03-04 Xerox Corporation System for electronic compensation of beam scan trajectory distortion
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US7055739B1 (en) 1999-05-25 2006-06-06 Silverbrook Research Pty Ltd Identity-coded surface with reference points
US7106888B1 (en) * 1999-05-25 2006-09-12 Silverbrook Research Pty Ltd Signature capture via interface surface
US7243835B2 (en) 1999-05-25 2007-07-17 Silverbrook Research Pty Ltd Competition entry via label
AUPQ439299A0 (en) * 1999-12-01 1999-12-23 Silverbrook Research Pty Ltd Interface system
US7142196B1 (en) * 1999-10-12 2006-11-28 Autodesk, Inc. Geographical data markup on a personal digital assistant (PDA)
US7082436B1 (en) 2000-01-05 2006-07-25 Nugenesis Technologies Corporation Storing and retrieving the visual form of data
US7142205B2 (en) 2000-03-29 2006-11-28 Autodesk, Inc. Single gesture map navigation graphical user interface for a personal digital assistant
US7266236B2 (en) * 2000-05-03 2007-09-04 California Institute Of Technology Accelerated handwritten symbol recognition in a pen based tablet computer
US6711699B1 (en) 2000-05-04 2004-03-23 International Business Machines Corporation Real time backup system for information based on a user's actions and gestures for computer users
US6993328B1 (en) * 2000-05-08 2006-01-31 Nokia Corporation Method for over the air mobile station management
US6625599B1 (en) * 2000-05-18 2003-09-23 Rajendra Kumar Bera Method and apparatus for data searching and computer-readable medium for supplying program instructions
US7397949B2 (en) * 2000-06-21 2008-07-08 Microsoft Corporation Serial storage of ink and its properties
US7298903B2 (en) * 2001-06-28 2007-11-20 Microsoft Corporation Method and system for separating text and drawings in digital ink
US6900819B2 (en) * 2001-09-14 2005-05-31 Fuji Xerox Co., Ltd. Systems and methods for automatic emphasis of freeform annotations
SE520022C2 (sv) * 2001-09-21 2003-05-06 Anoto Ab C O C Technologies Ab Förfarande och anordning för segmentering av handskrivna objekt
US7120320B2 (en) * 2001-09-21 2006-10-10 Anoto Ab Method and apparatus for displaying a handwritten message based on position and time data
AUPR824301A0 (en) * 2001-10-15 2001-11-08 Silverbrook Research Pty. Ltd. Methods and systems (npw001)
KR20030032499A (ko) * 2001-10-18 2003-04-26 한국전자통신연구원 시퀀스 데이터베이스에서 타임 워핑 기반의 서브시퀀스매칭방법
US7712028B2 (en) * 2001-10-19 2010-05-04 Xerox Corporation Using annotations for summarizing a document image and itemizing the summary based on similar annotations
US20040034832A1 (en) * 2001-10-19 2004-02-19 Xerox Corporation Method and apparatus for foward annotating documents
AUPR890201A0 (en) 2001-11-16 2001-12-06 Silverbrook Research Pty. Ltd. Methods and systems (npw005)
AUPS020302A0 (en) * 2002-01-31 2002-02-21 Silverbrook Research Pty. Ltd. Methods and systems (npw007)
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US6938222B2 (en) * 2002-02-08 2005-08-30 Microsoft Corporation Ink gestures
US7062090B2 (en) * 2002-06-28 2006-06-13 Microsoft Corporation Writing guide for a free-form document editor
AU2002952106A0 (en) * 2002-10-15 2002-10-31 Silverbrook Research Pty Ltd Methods and systems (npw008)
AU2003274546A1 (en) * 2002-11-12 2004-06-03 Koninklijke Philips Electronics N.V. Device for including use-enabling means for enabling the device to be used in dependence on a gesture recognition
US20050032030A1 (en) * 2003-08-04 2005-02-10 Tzong-Wei Uen Digital notebook
US20060277159A1 (en) * 2003-08-15 2006-12-07 Napper Jonathon L Accuracy in searching digital ink
US20050114115A1 (en) * 2003-11-26 2005-05-26 Karidis John P. Typing accuracy relaxation system and method in stylus and other keyboards
US7707039B2 (en) * 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
FI117308B (fi) * 2004-02-06 2006-08-31 Nokia Corp Eleohjausjärjestelmä
KR100587540B1 (ko) * 2004-02-14 2006-06-08 삼성전자주식회사 디지털 잉크 질의 검색 장치 및 방법
US7812860B2 (en) 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US7990556B2 (en) 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US20060081714A1 (en) 2004-08-23 2006-04-20 King Martin T Portable scanning device
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US8081849B2 (en) 2004-12-03 2011-12-20 Google Inc. Portable scanning and memory device
US8713418B2 (en) 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8489624B2 (en) 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
US7372993B2 (en) * 2004-07-21 2008-05-13 Hewlett-Packard Development Company, L.P. Gesture recognition
US7721197B2 (en) * 2004-08-12 2010-05-18 Microsoft Corporation System and method of displaying content on small screen computing devices
US8160363B2 (en) * 2004-09-25 2012-04-17 Samsung Electronics Co., Ltd Device and method for inputting characters or drawings in a mobile terminal using a virtual screen
US7561740B2 (en) * 2004-12-10 2009-07-14 Fuji Xerox Co., Ltd. Systems and methods for automatic graphical sequence completion
RU2007135945A (ru) * 2005-02-28 2009-04-10 Зи Декума Аб (Se) Граф распознавания
US8340476B2 (en) 2005-03-18 2012-12-25 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
US8102383B2 (en) * 2005-03-18 2012-01-24 The Invention Science Fund I, Llc Performing an action with respect to a hand-formed expression
US7873243B2 (en) 2005-03-18 2011-01-18 The Invention Science Fund I, Llc Decoding digital information included in a hand-formed expression
US7672512B2 (en) 2005-03-18 2010-03-02 Searete Llc Forms for completion with an electronic writing device
EP2067119A2 (en) 2006-09-08 2009-06-10 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
US20080104020A1 (en) * 2006-10-27 2008-05-01 Microsoft Corporation Handwritten Query Builder
DE102007011574A1 (de) * 2007-03-08 2008-09-11 Srs-Management Gmbh Verfahren zur Korrektur von elektronisch erfassten handschriftlichen Notizen
US8094939B2 (en) * 2007-06-26 2012-01-10 Microsoft Corporation Digital ink-based search
US8315482B2 (en) * 2007-06-26 2012-11-20 Microsoft Corporation Integrated platform for user input of digital ink
US8683582B2 (en) 2008-06-16 2014-03-25 Qualcomm Incorporated Method and system for graphical passcode security
US8146020B2 (en) * 2008-07-24 2012-03-27 Qualcomm Incorporated Enhanced detection of circular engagement gesture
CN102165396B (zh) 2008-07-25 2014-10-29 高通股份有限公司 挥动约定姿态的增强检测
US20100100866A1 (en) * 2008-10-21 2010-04-22 International Business Machines Corporation Intelligent Shared Virtual Whiteboard For Use With Representational Modeling Languages
US20100114619A1 (en) * 2008-10-30 2010-05-06 International Business Machines Corporation Customized transformation of free-form business concepts to semantically rich business models
US9501694B2 (en) 2008-11-24 2016-11-22 Qualcomm Incorporated Pictorial methods for application selection and activation
WO2010096191A2 (en) 2009-02-18 2010-08-26 Exbiblio B.V. Automatically capturing information, such as capturing information using a document-aware device
EP2406767A4 (en) 2009-03-12 2016-03-16 Google Inc AUTOMATIC CONTENT SUPPLY ASSOCIATED WITH CAPTURED INFORMATION, TYPE INFORMATION CAPTURED IN REAL TIME
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
US8306329B2 (en) * 2009-08-17 2012-11-06 Indian Institute Of Science System and method for searching handwritten texts
CN102012900B (zh) * 2009-09-04 2013-01-30 阿里巴巴集团控股有限公司 信息检索方法和系统
FR2950713A1 (fr) * 2009-09-29 2011-04-01 Movea Sa Systeme et procede de reconnaissance de gestes
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
US8827710B2 (en) 2011-05-19 2014-09-09 Microsoft Corporation Realtime user guidance for freehand drawing
US9646313B2 (en) * 2011-12-13 2017-05-09 Microsoft Technology Licensing, Llc Gesture-based tagging to view related content
CN103713730B (zh) * 2012-09-29 2018-03-20 炬才微电子(深圳)有限公司 应用于智能终端的空中手势识别方法及装置
CN105027040B (zh) * 2013-01-21 2018-09-21 要点科技印度私人有限公司 文本输入系统及方法
IN2013CH00469A (ja) 2013-01-21 2015-07-31 Keypoint Technologies India Pvt Ltd
JP5752157B2 (ja) * 2013-01-31 2015-07-22 シャープ株式会社 文字表示装置及び文字表示方法
US9880990B2 (en) 2013-03-14 2018-01-30 Microsoft Technology Licensing, Llc Leveraging previous instances of handwriting for handwriting beautification and other applications
US20140363082A1 (en) * 2013-06-09 2014-12-11 Apple Inc. Integrating stroke-distribution information into spatial feature extraction for automatic handwriting recognition
US9898187B2 (en) 2013-06-09 2018-02-20 Apple Inc. Managing real-time handwriting recognition
US9495620B2 (en) 2013-06-09 2016-11-15 Apple Inc. Multi-script handwriting recognition using a universal recognizer
SG11201601314RA (en) 2013-10-25 2016-03-30 Wacom Co Ltd Dynamic handwriting verification, handwriting-baseduser authentication, handwriting data generation, and handwriting data preservation
US10032065B2 (en) 2013-10-25 2018-07-24 Wacom Co., Ltd. Dynamic handwriting verification, handwriting-based user authentication, handwriting data generation, and handwriting data preservation
US9235748B2 (en) 2013-11-14 2016-01-12 Wacom Co., Ltd. Dynamic handwriting verification and handwriting-based user authentication
US9418281B2 (en) * 2013-12-30 2016-08-16 Google Inc. Segmentation of overwritten online handwriting input
CN104267835B (zh) * 2014-09-12 2017-08-08 西安闻泰电子科技有限公司 自适应手势识别方法
TWI569176B (zh) * 2015-01-16 2017-02-01 新普科技股份有限公司 手寫軌跡識別方法與系統
US9665786B2 (en) * 2015-02-20 2017-05-30 Conduent Business Services, Llc Confirming automatically recognized handwritten answers
JP6515603B2 (ja) * 2015-03-13 2019-05-22 日本電気株式会社 電子ホワイトボードシステム、電子ホワイトボードアクセス権付与方法およびそのプログラム
US10347016B2 (en) * 2016-01-12 2019-07-09 Monotype Imaging Inc. Converting font contour curves
DK179374B1 (en) 2016-06-12 2018-05-28 Apple Inc Handwriting keyboard for monitors
CN106127125B (zh) * 2016-06-16 2019-04-02 山东大学 基于人体行为特征的分布式dtw人体行为识别方法
US10936792B2 (en) 2017-12-21 2021-03-02 Monotype Imaging Inc. Harmonizing font contours
US10748031B1 (en) * 2019-05-22 2020-08-18 Read-Ink Corporation Handwriting recognition systems and methods
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
CN111159223B (zh) * 2019-12-31 2021-09-03 武汉大学 一种基于结构化嵌入的交互式代码搜索方法及装置
CN116756316A (zh) * 2023-06-19 2023-09-15 平安科技(深圳)有限公司 医疗文本的信息识别方法、装置、介质及设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE31200F1 (en) * 1976-01-19 1990-05-29 Raster scan display apparatus for dynamically viewing image elements stored in a random access memory array
US4731857A (en) * 1984-06-29 1988-03-15 International Business Machines Corporation Recognition system for run-on handwritten characters
JPS6282486A (ja) * 1985-10-08 1987-04-15 Hitachi Ltd オンライン手書き図形認識装置
US5191622A (en) * 1987-07-17 1993-03-02 Hitachi, Ltd. Hand-written character recognition apparatus with a personal dictionary preparation function
AU624205B2 (en) * 1989-01-23 1992-06-04 General Electric Capital Corporation Variable length string matcher
US5062143A (en) * 1990-02-23 1991-10-29 Harris Corporation Trigram-based method of language identification
US5396588A (en) * 1990-07-03 1995-03-07 Froessl; Horst Data processing using digitized images
US5161245A (en) * 1991-05-01 1992-11-03 Apple Computer, Inc. Pattern recognition system having inter-pattern spacing correction
US5267332A (en) * 1991-06-19 1993-11-30 Technibuild Inc. Image recognition system
US5235651A (en) * 1991-08-06 1993-08-10 Caere Corporation Rotation of images for optical character recognition
US5321770A (en) * 1991-11-19 1994-06-14 Xerox Corporation Method for determining boundaries of words in text
US5333209A (en) * 1992-03-24 1994-07-26 At&T Bell Laboratories Method of recognizing handwritten symbols
US5463696A (en) * 1992-05-27 1995-10-31 Apple Computer, Inc. Recognition system and method for user inputs to a computer system
US5392363A (en) * 1992-11-13 1995-02-21 International Business Machines Corporation On-line connected handwritten word recognition by a probabilistic method
US5438630A (en) * 1992-12-17 1995-08-01 Xerox Corporation Word spotting in bitmap images using word bounding boxes and hidden Markov models
US5528701A (en) * 1994-09-02 1996-06-18 Panasonic Technologies, Inc. Trie based method for indexing handwritten databases
EP0691623B1 (en) * 1994-07-04 2001-10-04 Hewlett-Packard Company, A Delaware Corporation Scribble matching

Also Published As

Publication number Publication date
DE69515371D1 (de) 2000-04-13
US5687254A (en) 1997-11-11
JPH07334296A (ja) 1995-12-22
DE69515371T2 (de) 2000-07-27
EP0686931A3 (en) 1997-01-08
EP0686931B1 (en) 2000-03-08
EP0686931A2 (en) 1995-12-13

Similar Documents

Publication Publication Date Title
JP3483982B2 (ja) システム動作方法及びプロセッサ制御システム
US5809498A (en) Method of locating a penstroke sequence in a computer
US20240362943A1 (en) Stroke based control of handwriting input
JP5211334B2 (ja) 手書き記号の認識方法及び装置
US7630962B2 (en) Electronic filing system searchable by a handwritten search query
CN113673432B (zh) 手写识别方法、触摸显示设备、计算机设备及存储介质
US20040240739A1 (en) Pen gesture-based user interface
US10691878B2 (en) Presenting associations of strokes with content
CN114937278B (zh) 基于行文本框分词算法的文本内容提取识别方法
KR20040043454A (ko) 펜 컴퓨팅 시스템에서의 펜 입력 방법 및 장치
US10372318B2 (en) Associating strokes with content
JP4346814B2 (ja) 情報処理装置及びその方法、コンピュータ可読メモリ、プログラム
US9304618B2 (en) Creating a summary of content and stroke association
JP2001084336A (ja) 文字認識装置及びその方法とプログラム記録媒体
CN115826762A (zh) 应用于空中手写的文本识别方法、装置、设备及存储介质
US8428358B2 (en) Radical-base classification of East Asian handwriting
JP2023041614A (ja) 表示装置、表示方法、表示システム
US6970877B2 (en) Reducing and controlling sizes of prototype-based recognizers
JPH05274481A (ja) 手書き認識の加速方法と装置
JPH09319764A (ja) キーワード生成装置及び文書検索装置
Inuganti et al. Online handwritten Indian character recognition and its extension to Telugu character recognition
Lopresti Ink as Multimedia Data
JP3066530B2 (ja) オンライン手書文字認識装置
JPH07117993B2 (ja) 手書き文字認識のための特定ユーザ用プロトタイプ集合生成方法
US20150142784A1 (en) Retrieval device and method and computer program product

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20031007

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071017

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081017

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091017

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091017

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101017

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111017

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121017

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121017

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131017

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term