JP3855696B2 - 手書き文字入力装置及びそれを実現するプログラム - Google Patents
手書き文字入力装置及びそれを実現するプログラム Download PDFInfo
- Publication number
- JP3855696B2 JP3855696B2 JP2001226518A JP2001226518A JP3855696B2 JP 3855696 B2 JP3855696 B2 JP 3855696B2 JP 2001226518 A JP2001226518 A JP 2001226518A JP 2001226518 A JP2001226518 A JP 2001226518A JP 3855696 B2 JP3855696 B2 JP 3855696B2
- Authority
- JP
- Japan
- Prior art keywords
- text input
- character
- input area
- text
- handwritten character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Document Processing Apparatus (AREA)
- Character Input (AREA)
- Character Discrimination (AREA)
Description
【発明の属する技術分野】
本発明は、画面上の任意の位置に、スタイラスペン等を用いて手書き文字を入力し、その手書き文字を認識し、文字コードに変換してテキスト入力を行う手書き文字入力装置及びそれを実現するコンピュータプログラムに関する。特に、画面の小さい携帯用の手書き文字入力装置及びそれを実現するコンピュータプログラムに関する。
【0002】
【従来の技術】
一般に、手書き文字入力装置は、入力・表示出来る透明タブレットにスタイラスペンを用いて手書き入力したり、パーソナルコンピュータのディスプレイにマウス等のポインティングデバイスや通常のペンタブレット等を用いて手書き入力している。
【0003】
従来の手書き文字入力装置の手書き文字入力領域と認識結果の表示領域の関係には、大別して次の3つのパターンがある。
【0004】
まず、第1のパターンは、手書き文字を入力する領域と認識結果の文字が表示される領域が別個の領域となっているパターンである。第2のパターンは、手書き文字を入力する領域と認識結果の文字が表示される領域が同一の領域になっているパターンである。第3のパターンは、手書き文字を入力可能な領域が画面全体で、入力した手書き文字を認識した結果の文字が事前に指定しておいたテキスト入力領域に入力されて表示されるパターンである。
【0005】
第1のパターンの手書き文字認識装置の場合、手書き文字入力領域とその認識結果を入力・表示するテキスト入力領域とが別個に異なる領域に存在するため、手書き文字入力領域がテキスト入力領域の上に重なる場合がある。特に、携帯型手書き文字入力装置の場合は、画面が小さいため、その傾向が顕著であり、入力したテキストが手書き文字入力領域の下になって見えないという問題があった。
【0006】
次に、第2のパターンの手書き文字入力装置の場合、手書き文字入力領域とテキスト入力領域が同じ領域なので、手書き文字を1文字入力するためには最低でも1cm四方程度の広さが必要であり、手書き文字入力装置が携帯端末の場合、画面が小さいため、多くの文字を入力可能なテキスト入力領域をとるのが難しく、画面デザイン上大きな制約となっているという問題があった。
【0007】
次に、第3のパターンの手書き文字認識装置の場合、従来は、プログラムの起動・終了・テキスト入力領域の指定等を行うコマンドモードと手書き入力を可能な状態にする手書き入力モードを持ち、手書き文字を入力するには、まず、入力するテキスト入力領域を指定してから手書き入力モードに移行し、手書き入力する必要があった。そのため、1つのテキスト入力領域の入力が終わる度に、コマンドモードに戻って、次に入力するテキスト入力領域を指定し、手書き入力モードにして、手書き入力することを繰り返す必要があり、入力するテキスト入力領域が変わる度に、モードの切り換えやテキスト入力領域の指定を行うのが非常に面倒であるという問題があった。
【0008】
また、特開平7−65114号公報に開示されている情報処理装置には、画面上に手書き入力された文字の第1ストロークの開始座標点に認識した文字を表示することが開示されている。しかし、これは、文字の表示位置を表すだけで、画面全体がテキスト入力領域である場合の手書き文字入力方法であり、テキスト入力領域が画面の一部である場合に、テキスト入力領域を選択する方法を開示していない。
【0009】
【発明が解決しようとする課題】
このように、従来の方法では、いずれの方法を用いても様々な問題点があり、利用者が手書き文字を入力しやすいように、画面全体を手書き文字入力領域にすると、テキスト入力領域が画面の一部の場合や画面上に複数のテキスト入力領域がある場合は、認識した文字をどのテキスト入力領域に転送すべきか特定出来ないという問題があった。
【0010】
今日のようにコンピュータの高性能化・小型化・低価格化が進み、携帯型端末が普及してくると、携帯型端末のように画面が小さく、テキスト入力領域と手書き文字入力領域を分けるのが困難な場合には、手書き文字入力領域を画面全体とすることが有効だが、画面上のテキスト入力領域が画面の一部である場合や画面上にテキスト入力領域が複数ある場合は、いちいち手書き入力モードとコマンドモードを切り換えて認識した文字を入力すべきテキスト入力領域を指定してから手書き文字を入力する必要があるため操作が面倒であり、モード切り換えを行うことなく、入力すべきテキスト入力領域を簡単に指定して手書き文字領域を画面全体とすることが求められている。
【0011】
本発明は、画面デザイン上の制約が少なく、手書き文字の入力に際しては、モード切り換えを行うことなく、簡単にテキスト入力領域を指定しながら手書き文字の入力を行うことを目的としている。
【0012】
【課題を解決するための手段】
簡単に述べると本発明は、画面全体を手書き文字入力領域とし、1または複数のテキスト入力領域が画面上に含まれている場合に、手書き入力したストローク情報の所定の座標点を基に入力すべきテキスト入力領域を自動選択し、選択されたテキスト入力領域に認識した文字を入力して表示することが出来るようにするものである。
【0013】
即ち、本発明にかかる画面上の任意の位置に手書き入力した文字を認識して入力する手書き文字入力装置は、画面を表示する画面表示部と、手書き文字を入力して、ストローク情報に変換する文字入力部と、前記ストローク情報に基づいて、文字認識辞書を用いて前記手書き文字を認識する文字認識部と、前記手書き文字の前記ストローク情報に含まれる座標点がテキスト入力領域と重なる場合、最初に重なる座標点を持つテキスト入力領域を、認識した文字を入力すべきテキスト入力領域として自動的に選択するテキスト入力領域判定部と、前記ストローク情報に含まれる座標点にテキスト入力領域が重なる部分がなく、文字を転送するテキスト入力領域が自動選択できない場合、新しくウィンドウを開いて、認識した文字を一時的に表示する認識文字一時表示部と、前記一時表示された文字を入力すべきテキスト入力領域の指示を受け付けるテキスト入力領域指示部と、前記選択されたテキスト入力領域又は前記指示されたテキスト入力領域に、前記認識した文字を転送して表示し、前記ウィンドウを開いた場合は、更に、前記ウィンドウを閉じる認識文字表示部を具備することを特徴とする。
【0014】
かかる構成により、本発明の手書き文字入力装置は、画面デザイン上の制約が少なく、しかも、テキスト入力領域毎に手書き入力モードとコマンドモードを切り換える必要がなく、画面上で入力された手書き文字のストローク情報に含まれる座標点で、最初にテキスト入力領域と重なる座標点に存在しているテキスト入力領域を入力すべきテキスト入力領域として自動的に選択して、認識した文字を転送して表示させ、テキスト入力領域と座標点が重なる部分がなく、文字を転送するテキスト入力領域が自動選択できない場合は、新しいウィンドウに認識した文字を一時表示し、入力すべきテキスト入力領域を指示することが可能となる。
【0015】
また、本発明にかかる画面上の任意の位置に手書き入力した文字を認識して入力出来る手書き文字入力装置は、前記テキスト入力領域判定部が、前記手書き文字の前記ストローク情報に含まれる座標点がテキスト入力領域と重なる場合、前記重なる座標点を持つテキスト入力領域に認識した文字の送出が可能か否か判定することによって、手書き文字入力可能なテキスト入力領域で最初に重なる座標点を持つテキスト入力領域を、前記認識した文字を入力すべきテキスト入力領域として自動的に選択することを特徴とする。
【0016】
かかる構成により、本発明の手書き文字入力装置は、手書き入力した文字を認識し、認識した文字を選択されたテキスト入力領域に送出し、送出した文字が適正に読み込めるかどうかを判定することが出来る。
【0017】
また、本発明にかかる画面上の任意の位置に手書き入力した文字を認識して入力出来る手書き文字入力装置は、前記テキスト入力領域判定部が、ペンタップ時のマウスカーソルの形状を判定することによって、前記認識した文字を入力すべきテキスト入力領域が選択されたか判定することを特徴とする。
【0018】
かかる構成により、本発明の手書き文字入力装置は、マウスカーソルの形状を判定するためのGetCursor()関数のカーソルのハンドルを取得し、カーソルの属性を調べることにより、テキスト入力領域かどうかを判定することが出来る。
【0019】
また、本発明にかかる画面上の任意の位置に手書き入力した文字を認識して入力出来る手書き文字入力装置は、更に、直前に送出した認識文字とその手書き文字のストローク情報を保持する認識情報保持部と、直前に送出した認識文字を削除し、手書き文字のストローク情報を復元する認識結果取消ボタンを備えることを特徴とする。
【0020】
かかる構成により、本発明の手書き文字入力装置は、認識文字を送出した後でも、直前に送出した認識文字をクリアし、再度、認識結果である文字候補から選択のやり直しや取消が可能となる。
【0021】
また、画面上の任意の位置に入力した手書き文字を認識して入力するステップを含み、コンピュータに読み込ませてコンピュータ上で稼働する本発明にかかるプログラムは、画面を表示するステップと、手書き文字を入力して、ストローク情報に変換するステップと、 前記ストローク情報に基づいて、文字認識辞書を用いて前記手書き文字を認識するステップと、前記手書き文字の前記ストローク情報に含まれる座標点がテキスト入力領域と重なる場合、最初に重なる座標点を持つテキスト入力領域を、認識した文字を入力すべきテキスト入力領域として自動的に選択するステップと、前記ストローク情報に含まれる座標点にテキスト入力領域が重なる部分がなく、文字を転送するテキスト入力領域が自動選択できない場合、新しくウィンドウを開いて、認識した文字を一時的に表示するステップと、前記一時表示された文字を入力すべきテキスト入力領域の指示を受け付けるステップと、前記選択されたテキスト入力領域又は前記指示されたテキスト入力領域に、前記認識した文字を転送して表示し、前記ウィンドウを開いた場合は、更に、前記ウィンドウを閉じるステップを含むことを特徴とする。
【0022】
かかる構成のプログラムをコンピュータに読み込ませて実行することにより、画面上の任意の位置に手書きした文字を認識して入力出来る手書き文字入力装置においても、テキスト入力領域毎に手書き入力モードとコマンドモードを切り換える必要がなく、画面上で入力された手書き文字のストローク情報に含まれる座標点で、最初にテキスト入力領域と重なる座標点に存在しているテキスト入力領域を入力すべきテキスト入力領域として自動的に選択して、認識した文字を転送して表示させ、テキスト入力領域と座標点が重なる部分がなく、文字を転送するテキスト入力領域が自動選択できない場合は、新しいウィンドウに認識した文字を一時表示し、入力すべきテキスト入力領域を指示することが可能となる。
【0023】
【発明の実施の形態】
(実施形態1)
本発明の基本的な構成図と処理の流れを、図1と図2のフローチャートを用いて説明する。
【0024】
本実施の形態では、画面が透明タブレットで、画面に表示されているテキスト入力領域に対して、画面全体を手書き文字入力領域として使用出来る携帯型装置を例にとり、テキスト入力領域を判定するための所定の座標点を入力した最初の手書き文字の第1ストローク情報の最初の座標点として説明する。なお、1度に入力される手書き文字は、1文字に限定するものではなく、複数の文字を含むものとする。
【0025】
本実施形態では透明タブレットにスタイラスペンを用いて手書き文字を入力する例をあげるが、透明タブレットのかわりに通常のパソコンのディスプレイ装置等の表示装置にマウス等のポインティングデバイスを用いて手書き入力してもよいし、入力専用のタブレットを用いて、表示装置に入力・表示してもよいし、その他の手書き入力装置を用いてもよい。透明タブレットは、入力画面と表示画面が一体となっており、画面に直接スタイラスペンを用いて手書き文字を書くと、書いた文字がそのまま表示されるものとする。
【0026】
まず、画面表示部1は、透明タブレット6の画面にテキスト入力領域を含む画面を表示する(ステップS1)。透明タブレット6の画面の例を図3にあげる。画面には、メニューバーにモード切換ボタン9・終了ボタン10と、入力画面の固定表示文字とテキスト入力領域8等が表示される。画面を表示するために、画面表示部1は、テキスト入力領域8の座標データを持っている。図3の例では、モード切換ボタン9や終了ボタン10を画面上に表示しているため、手書き文字の最初の座標点をボタン上にすることは出来ないが、ハード的にキーを持っている端末の場合は、モード切換ボタン9や終了ボタン10を特定のキーに割り当てるようにすれば、画面デザインの自由度はより高くなる。
【0027】
次に、文字入力部2は、透明タブレット6の画面からスタイラスペン7を用いて入力された手書き文字を受け取り、手書き文字の入力座標点列をストローク情報として入力し、入力された通りに透明タブレットの画面上に表示する(ステップS2)。そして、入力された手書き文字は、文字認識部3において、文字認識辞書3−1を用いて文字認識される(ステップS3)。
【0028】
手書き文字認識方法は、個々の手書き文字の認識方法として、オンライン認識方法・オフライン認識・ハイブリッド認識方法のいずれを用いてもよく、特に限定しない。また、手書き文字を入力する枠がある場合は、前記の認識方式を各枠の手書き文字に適用すればよいが、枠がない場合は、枠なし手書き文字認識方式を用いて、手書き文字を1文字づつ切りわけてから認識する必要がある。
【0029】
手書き認識された文字をどのテキスト入力領域に送るか判定するために、テキスト入力領域判定部4は、入力された手書き文字のストロークに含まれる所定の座標データとテキスト入力領域の位置情報から計算された座標データを基に、その所定の座標点に存在するテキスト入力領域を選択する(ステップS4)。本実施形態では、所定の座標点を、入力された最初の手書き文字の第1ストロークの開始座標点とし、開始座標点が存在する位置にあるテキスト入力領域を入力すべきテキスト入力領域として選択する。入力された手書き文字データは、例えば、以下のような構造体に時系列の座標データ群として格納される。
【0030】
【数1】
【0031】
この式は、入力された手書き文字データを格納するためにC言語で定義した構造体であり、x,yは手書き文字データを構成する座標点のx座標値、y座標値を表す数字であり、nPntは文字の1画を構成する座標点の数、*pPntはnPntの中の何番目の座標点かを示すためのポインタ、nStrは入力された手書き文字全体を構成する画数、*pStrはnStrの中の何番目の画数かを示すためのポインタである。手書き文字が入力された時点では、1文字単位の区切りは分からないので、入力された全ての文字について1画(=1ストローク)毎に画を構成する全てのx,y座標点が、このPATTERNという配列に手書き文字データとして格納される。
【0032】
各座標データは、入力された手書き文字の座標を所定時間単位に取得したものであり、手書き文字は、一または複数の座標点の集合体として表される。手書き入力された文字の画面表示は、1画毎のデータを基に、当該1画を構成する座標点を結ぶ線を引くことにより行われる。手書き文字のデータを前述の構造式に格納した場合、最初の手書き文字の第1ストロークの開始座標点は、(pattern.pStr[1].pPnt[1].x,pattern.pStr[1].pPnt[1].y) と表すことが出来る。
【0033】
具体的なテキスト入力領域の選定方法を、図3の(1)を例にとって説明すると、画面を表示する際に、画面を画面の左下を原点とするXY座標で表す。図3の(1)のように画面上に「あいうえ」と手書き入力すると、入力した手書き文字は、テキスト入力領域1とテキスト入力領域2の上を通過する。最初の手書き文字の第1ストロークの開始座標点を(250,412)とし、テキスト入力1のテキスト入力領域の左上のXY座標を(230,420)、右下のXY座標を(600,380)とした場合、開始座標点のX座標は230以上600以下かつY座標は380以上420以下であることから、開始座標点がこのテキスト入力領域に存在することが判定出来る。画面上に複数のテキスト入力領域がある場合でも、各テキスト入力領域において、同様の判定を行うことにより、選択すべきテキスト入力領域を特定することが出来る。
【0034】
テキスト入力領域の座標データは、画面表示部1で作成時の画面のテキスト入力領域の座標データを用いる。画面作成時のテキスト入力領域の座標は、文字単位の座標データの場合が多いが、その場合は、テキスト入力領域判定部4が画面のドット単位の座標データに変換して比較する。もちろん、画面表示部1が、テキスト入力領域の座標をドット単位の座標データに変換して記憶しておいてもよい。
【0035】
認識文字表示部5は、テキスト入力領域判定部4で選択されたテキスト入力領域に文字認識部3で認識された文字を転送して表示する(ステップS6)。通常、この時点で手書き文字の表示は消される。図3の(1)の例では、手書き入力した「あいうえ」の最初の文字の第1ストロークの最初の開始座標点は、テキスト入力1のテキスト入力領域にあるので、図3の(2)のように認識された「あいうえ」という文字の文字コードがテキスト入力1のテキスト入力領域に表示される。
【0036】
本実施形態では、最初の手書き文字の第1ストロークの開始座標点に存在するテキスト入力領域を、入力領域として自動選択したが、これ以外の方法として、筆記した文字列全体の重心位置にあるテキスト入力領域を選択するようにする場合が考えられる。この場合、重心位置は、以下の式で求められる。
【0037】
【数2】
【0038】
上記の式のpx,pyは、それぞれ、筆記した文字列全体の重心位置のx座標,y座標を表す。iは入力した手書き文字列全体の何番目のストロークかを示し、jは各ストロークの何番目の座標点かを示す。
【0039】
また、それ以外の実施形態としては、入力された手書き文字の座標が、最初にテキスト入力領域の座標と重なった場合、そのテキスト入力領域を選択するようにすることも出来る。この場合、入力された手書き文字データの各座標を最初から順番に、テキスト入力領域の座標に含まれるかチェックすればよい。
【0040】
かかる構成により、画面上の任意の位置に手書きした文字又を認識して入力出来る手書き文字入力装置において、画面デザイン上の自由度が高く、テキスト入力領域毎に手書き入力モードとコマンドモードを切り換える必要なく、画面上で入力された手書き文字のストローク情報に含まれる所定の座標点に存在しているテキスト入力領域を入力すべきテキスト入力領域として自動的に選択して、認識した文字を転送して表示させることが可能となる。
【0041】
(実施形態2)
実施形態1において、テキスト入力領域の位置情報に基づいて、入力すべきテキスト入力領域を選択する方法について述べた。本実施形態では、テキスト入力領域判定部4において、選択されたテキスト入力領域に認識した文字を転送し、実際に当該テキスト入力領域に転送した文字が読み込まれるかどうかを判定することにより、指定された領域が本当に手書き文字入力に対応したテキスト入力領域か否かを判定する方法について説明する。実施形態1とは、テキスト入力領域判定部4の内部処理のみ異なるため、実施形態1の構成図を用いて説明する。
【0042】
本実施形態の特徴は、所定の座標点にある画面上の領域に認識した文字を送出し、実際に、その領域に送出した文字が正常に読み込まれるか否かを判定する点にある。つまり、正常に送出した文字がその領域に読み込まれると、その領域はテキスト入力領域であり、読み込まれないと、その領域はテキスト入力領域ではないと見なせる。
【0043】
テキスト入力領域は、例えば、Windows95(マイクロソフト社商標)標準のPenServiceのEditBoxのようなテキスト入力部品を手書き文字入力対応として登録しておけばよい。こうすることにより、手書き入力した文字を認識した結果をその領域に送出して入力することが出来るようになる。テキスト入力領域であっても、テキスト入力部品で手書き入力対応となっておらず、キーボードから直接入力するような設定となっていれば、テキスト入力領域であっても手書き入力文字を送出するとエラーを示すリターンコードが戻ってくる。本実施形態では、この機能を用いることにより、指定された座標にある領域が手書き入力可能なテキスト入力領域か否かを判定する。以下に領域判定部15の領域判定ロジックを図4のフロチャートを用いて説明する。
【0044】
まず、テキスト入力領域判定部4において、手書き文字の所定の座標点にある領域に、認識した文字を実際に送出する(ステップS10)。認識した文字を送出した領域から、その領域に送出した文字が正しく読み込まれたか否かを表すリターンコードを受け取る(ステップS11)。そのリターンコードが正常か否か判定する(ステップS12)。リターンコードが正常であれば(ステップS12:正常)、指示された領域は手書き文字入力可能なテキスト入力領域であり、テキスト入力領域の判定処理を終わる。リターンコードが異常であれば(ステップS12:異常)、指示された領域は手書き文字入力不可能な領域であり、エラー処理を行う(ステップS13)。エラー処理の詳細は、後述の実施形態3で説明する。
【0045】
また、選択された領域がテキスト入力領域であるか判定する他の方法として、指示された領域に認識した文字を送出せずに、テキスト入力部品に当該領域が手書き入力文字対応のテキスト入力領域として登録されているか否かを判定する方法と、手書き文字をマウスで入力する場合に、テキスト入力領域が選択された時のマウスカーソルの形状を判定する方法がある。
【0046】
以下に、テキスト入力部品に当該領域が手書き入力文字対応のテキスト入力領域として登録されているか否かを判定する方法について、図5のフロチャートを用いて説明する。画面上の全ての領域は、テキスト入力部品において、手書き入力対応のテキスト入力領域か、キーボード入力対応のテキスト入力領域か、テキスト出力領域等の領域の種類を予め登録されているものとする。
【0047】
まず、手書き文字の所定の座標点がある領域のハンドルを得る(ステップS10a)。ハンドルした領域の種類を獲得する(ステップS11a)。ハンドルした領域の種類が、手書き文字入力対応のテキスト入力領域として登録されているかどうかを判定する(ステップS12a)。ハンドルした領域がテキスト入力領域の場合(ステップS13a:YES)は、認識した文字を当該テキスト入力領域に送出して表示する。ハンドルした領域が手書き文字入力対応のテキスト入力領域でない場合(ステップS13a:NO)は、エラー処理を行う(ステップS14a)。指定した領域がテキスト入力領域でなかった場合のエラー処理に関しては、実施形態3において説明する。
【0048】
次に、マウスで手書き文字を入力し、テキスト入力領域が選択された時のマウスカーソルの形状を判定する方法について説明する。例えば、携帯端末のOSがWindows(マイクロソフト社商標)系の場合、マウスで手書き文字を入力し、所定の座標がテキスト入力領域であるとすると、マウスカーソルはそのテキスト入力領域に移動し、マウスカーソルの形状が、通常、「I」型に変化するので、カーソルの形状を判定するためのGetCursor()関数のカーソルのハンドルを取得し、カーソルの属性を調べることにより、テキスト入力領域かどうか判定出来る。マウスカーソルがテキスト入力領域に移ると、マウスカーソル自体は、入力領域の先頭に移動するが、マウスカーソルの形状はテキスト入力領域の先頭に移動してもテキスト入力領域に合った形状に変化しているので、マウスカーソルがテキスト入力領域にあるか否かを判定することが可能である。取得されたカーソルの属性は、CURSORINFO構造体で表現されており、その中の要素であるhCursorの値を調べることにより、カーソルの形状を調べることが出来る。マウスカーソルの形状を変更している場合は、その形状に合ったカーソルのhCursorの値をチェックすればよい。Windows32APIで提供されているカーソルの場合は、実行環境により適切な値を設定しておけば、IDC_IBEAMの値と同じか否かを調べることにより、マウスカーソルがテキスト入力領域にあるか否か判定出来る。
【0049】
かかる構成により、テキスト入力領域の位置情報を保持しなくても、OSのテキスト入力部品を利用して、手書き文字の所定の座標点にある領域がテキスト入力領域であるか否か自動的に容易に判定することが出来る。
【0050】
(実施形態3)
本実施の形態では、実施形態1・2において、入力した手書き文字の所定の座標点が、画面上のテキスト入力領域に重ならなかったため、自動的にテキスト入力領域を選択出来なかった場合の例について、実施形態1をベースに説明する。本実施形態の構成図と処理の流れを、図6と図7を用いて説明する。実施形態1と同じ部分には同じ番号を付与し、説明を省略する。図8は、本実施形態の画面の例である。
【0051】
図7のステップS20〜ステップS22は図2のステップS1〜ステップS3と同じであり、説明を省略する。
【0052】
手書き文字を入力しても、手書き文字が、図8の(1)のように、画面上のテキスト入力領域に重なる部分がなく、テキスト入力領域判定部4において認識した文字を転送するテキスト入力領域が自動選択出来ない場合(ステップS23:NO)は、認識文字一時表示部12は、図8の(2)のように、別ウインドウ14を新しく開いて、そこに認識した文字を表示する(ステップS26)。ステップS23は、実施形態2においては、ステップS10〜S12に相当する。
【0053】
テキスト入力領域指示部13は、図8の(3)のように、利用者からの入力すべきテキスト入力領域の指示を受け付ける(ステップS27)。利用者からの指示を受け付けるためのコマンドモードへの切り換えは、認識文字一時表示部12が表示されてテキスト入力領域の指示待ち状態になると、自動的に手書き入力モードからコマンドモードに切り換えが行われ、スタイラスペン7等で入力したいテキスト入力領域を指定すると、自動的に手書き入力モードに戻る。そのため、手動でモード切り換えを行う手間は不要である。また、この時指示されたテキスト入力領域の枠を太線にしたり高輝度にして、利用者に選択された領域を明示してもよい。
【0054】
テキスト入力領域指示部13は、この指示待ち状態で、スタイラスペンでテキスト入力領域を指示しても、コマンドモードに切り換わっているので、文字入力とは見なさず、テキスト入力領域の指定と見なし、指示された座標データを基にテキスト入力領域を判定し、認識した文字と入力すべきテキスト入力領域の指示を認識文字表示部5に渡し、図8の(4)のように、認識文字表示部5は指示されたテキスト入力領域8に認識文字を転送して表示する(ステップS28)。
【0055】
ここでは、別ウィンドウ12に認識した文字とともにOKボタンとCancelボタンを表示している。この後、これで問題なければ、OKボタンを押す(ステップS29:YES)ことにより、別ウィンドウ12を消去し(ステップS31)、文字の転送をやめる場合は、Cancelボタンを押す(ステップS29:NO)ことにより、テキスト入力領域8に転送された文字を削除し(ステップS30)、別ウィンドウ12が消去される(ステップS31)。実施形態2の図4のフローチャートのステップS13のエラー処理は、ステップS26〜S31に相当する。
【0056】
この方法以外にも、OKボタンを設けずにスタイラスペン7で入力すべきテキスト入力領域8を指定しただけで無条件に認識した文字を転送するようにしてもよいし、OKボタンが押されると転送を行い、Cancelボタンを押すと、文字を転送せずに別ウィンドウ12を消すようにしてもよい。
【0057】
テキスト入力領域判定部4において認識した文字を転送するテキスト入力領域が自動選択出来る場合(ステップS23:YES)の処理ステップS24〜ステップS25は、図2のステップS4〜ステップS5と同じであり、説明を省略する。
【0058】
本実施形態では、入力した手書き文字の所定の座標が、テキスト入力領域と重ならない場合、利用者に入力すべきテキスト入力領域を指示させたが、画面上にテキスト入力領域が1つしかない場合は、利用者から指示を受けなくても、無条件にそのテキスト入力領域が指定されたと判定するようにしてもよい。また、所定の座標から最も近い距離にあるテキスト入力領域が指定されたと判定するようにしてもよい。
【0059】
また、本実施形態では、テキスト入力領域が選択出来ない時に、別ウィンドウに認識文字を一時表示し、送出先のテキスト入力領域を選択して認識文字を送出した時点でCancelすることが出来るようにしているが、最初からテキスト入力領域が正しく選択され、認識された文字が自動送出が完了した後で、間違った文字を送出したため、直前に送出した文字をCancelしたい場合がある。このような場合に対応するため、直前に送出された文字と手書き文字のストローク情報を文字認識部3内部に保持しておく認識情報保持部(不図示)と認識結果取消ボタンを設け、間違った認識文字を送出した後に、認識結果取消ボタンを押すことにより、直前に送出した認識文字をテキスト入力領域から削除し、手書き文字のストローク情報を復元出来るようにする。認識結果取消ボタンは、画面以外にハードウェアのボタンとして設けても、画面上にソフトウェアのボタンとして設けてもよい。送出された文字と手書き文字のストローク情報は、直前の1回分のみ保持してもよいし、複数回分保持してもよい。複数回数分保持する場合は、認識結果取消ボタンを1回押す度に、1つ前の入力状態に戻る。入力した手書き文字の再表示は、行っても行わなくてもよい。これにより、認識文字を送出した後でも、直前に送出した認識文字をクリアし、再度、認識結果である文字候補から選択のやり直しや取消が可能となる。
【0060】
かかる構成により、画面上の任意の位置に手書きした文字を認識して入力出来る手書き文字入力装置において、手書き文字の所定の座標点にテキスト入力領域がない場合でも、一時的に認識した文字を別ウインドウに表示し、その後で入力すべきテキスト入力領域を指示することにより、手書き文字でテキスト入力領域の指定をミスした場合でも、手動でコマンドモードと手書きモードを切り換える必要がなく、簡単にテキスト入力領域を指定出来る。
【0061】
(実施形態4)
次に、本発明の実施の形態にかかる手書き文字入力装置を実現するプログラムを記録した記録媒体は、図9に示す記録媒体の例のように、CD−ROM15−1やフロッピー(登録商標、以下同じ)ディスク15−2等の可搬型記録媒体15だけでなく、通信回線の先に蓄えられた他の記憶装置16や、コンピュータのハードディスクやRAM等の記録媒体17のいずれでも良く、本発明にかかるデータ表示装置を利用する際に、コンピュータ18により読み込まれ、主メモリ上で実行される。
【0062】
この記録媒体からプログラムをコンピュータにローディングすることにより、画面上の任意の位置に手書きした文字又は文字列を認識して入力出来る手書き文字入力装置においても、テキスト入力領域毎に手書き入力モードとコマンドモードを切り換える必要なく、画面上で入力された手書き文字のストローク情報に含まれる所定の座標点に存在しているテキスト入力領域を入力すべきテキスト入力領域として自動的に選択して、認識した文字を転送して表示させることが可能な手書き文字入力装置を実現出来るようになる。
【0063】
(付記1) 画面上の任意の位置に手書き入力した文字を認識して入力する手書き文字入力装置において、
画面を表示する画面表示部と、
手書き文字を入力して、ストローク情報に変換する文字入力部と、
文字認識辞書を用いて、前記手書き文字を認識する文字認識部と、
前記手書き文字の前記ストローク情報に含まれる所定の座標点と前記画面上のテキスト入力領域の位置情報を基に、認識した文字を入力すべきテキスト入力領域を自動的に選択するテキスト入力領域判定部と、
前記選択されたテキスト入力領域に、認識した文字を転送して表示する認識文字表示部を具備することを特徴とする手書き文字入力装置。(1)
(付記2) 付記1に記載の手書き文字入力装置において、
前記所定の座標点が、最初に入力された手書き文字の第一ストロークの開始座標点であることを特徴とする手書き文字入力装置。(2)
(付記3) 付記1または2に記載の手書き文字入力装置において、
前記テキスト入力領域判定部が、指定された領域に認識した文字の送出が可能か否か判定することによって、認識した文字を入力すべきテキスト入力領域を自動的に選択することを特徴とする手書き文字入力装置。(3)
(付記4) 付記1または2に記載の手書き文字入力装置において、
前記テキスト入力領域判定部が、ペンタップ時のマウスカーソルの形状を判定することによって、認識した文字を入力すべきテキスト入力領域が選択されたか判定することを特徴とする手書き文字入力装置。
【0064】
(付記5) 付記1乃至4に記載の手書き文字入力装置において、
前記所定の座標点にテキスト入力領域が存在しない場合、新しくウインドウを開いて、認識した文字を一時的に表示する認識文字一時表示部と、
前記一時表示された文字を入力すべきテキスト入力領域の指示を受け付けるテキスト入力領域指示部を更に備え、
前記認識文字表示部は、前記一時表示された文字を前記指示されたテキスト入力領域に転送して表示し、前記別ウィンドウを閉じることを特徴とする手書き文字入力装置。(4)
(付記6) 付記1乃至5に記載の手書き文字入力装置において、
更に、直前に送出した認識文字とその手書き文字のストローク情報を保持する認識情報保持部と、
直前に送出した認識文字を削除し、手書き文字のストローク情報情報を復元する認識結果取消ボタンを備えることを特徴とする手書き文字入力装置。
【0065】
(付記7) 画面上の任意の位置に入力した手書き文字を認識して入力するステップを含み、コンピュータに読み込ませて稼働するプログラムであって、
画面を表示するステップと、
手書き文字を入力して、ストローク情報に変換するステップと、
文字認識辞書を用いて、前記手書き文字を認識するステップと、
前記手書き文字の前記ストローク情報に含まれる所定の座標点と前記画面上のテキスト入力領域の位置情報を基に、認識した文字を入力すべきテキスト入力領域を自動的に選択するステップと、
前記選択されたテキスト入力領域に、認識した文字を転送して表示するステップを含むことを特徴とするプログラム。(5)
【0066】
【発明の効果】
本発明の手書き文字入力装置によれば、画面デザイン上の自由度が高く、テキスト入力領域毎に手書き入力モードとコマンドモードを切り換える必要なく、画面上で入力された手書き文字のストローク情報に含まれる座標点で、最初にテキスト入力領域と重なる座標点に存在しているテキスト入力領域を入力すべきテキスト入力領域として自動的に選択して、認識した文字を転送して表示させ、テキスト入力領域と座標点が重なる部分がなく、文字を転送するテキスト入力領域が自動選択できない場合は、新しいウィンドウに認識した文字を一時表示し、入力すべきテキスト入力領域を指示することが可能となる。
【0067】
また、本発明の手書き文字入力装置によれば、手書き入力した文字を認識し、認識した文字を選択されたテキスト入力領域に送出し、送出した文字が適正に読み込めるかどうかを判定することが出来る。
【0068】
また、本発明の手書き文字入力装置によれば、マウスカーソルの形状を判定するためのGetCursor()関数のカーソルのハンドルを取得し、カーソルの属性を調べることにより、テキスト入力領域かどうかを判定することが可能となる。
【0069】
また、本発明の手書き文字入力装置によれば、認識文字を送出した後でも、直前に送出した認識文字をクリアし、再度、認識結果である文字候補から選択のやり直しや取消が可能となる。
【0070】
この記録媒体からプログラムをコンピュータにローディングすることにより、テキスト入力領域毎に手書き入力モードとコマンドモードを切り換える必要なく、画面上で入力された手書き文字のストローク情報に含まれる座標点で、最初にテキスト入力領域と重なる座標点に存在しているテキスト入力領域を入力すべきテキスト入力領域として自動的に選択して、認識した文字を転送して表示させ、テキスト入力領域と座標点が重なる部分がなく、文字を転送するテキスト入力領域が自動選択できない場合は、新しいウィンドウに認識した文字を一時表示し、入力すべきテキスト入力領域を指示することが可能な手書き文字入力装置を実現出来るようになる。
【図面の簡単な説明】
【図1】 本発明の実施形態1の構成図
【図2】 本発明の実施形態1の処理の流れを示すフローチャート
【図3】 透明タブレットの画面の例1
【図4】 本発明の実施形態2のテキスト入力領域判定部の処理の流れを示すフローチャート1
【図5】 本発明の実施形態2のテキスト入力領域判定部の処理の流れを示すフローチャート2
【図6】 本発明の実施形態3の構成図
【図7】 本発明の実施形態3の処理の流れを示すフローチャート
【図8】 透明タブレットの画面の例2
【図9】 記録媒体の例示図
【符号の説明】
1 画面表示部
2 文字入力部
3 文字認識部
3−1 文字認識辞書
4 テキスト入力領域判定部
5 認識文字表示部
6 透明タブレット
7 スタイラスペン
8 テキスト入力領域
9 モード切換ボタン
10 終了ボタン
11 テキスト入力画面
12 認識文字一時表示部
13 テキスト入力領域指示部
14 認識文字一時表示ウィンドウ
15 CD−ROMやフロッピーディスク等の可搬型記録媒体
15−1 CD−ROM
15−2 フロッピーディスク
16 通信回線の先に蓄えられた他の記憶装置
17 コンピュータ上のRAM/ハードディスク等の記録媒体
18 コンピュータ
Claims (5)
- 画面上の任意の位置に手書き入力した文字を認識して入力する手書き文字入力装置において、
画面を表示する画面表示部と、
手書き文字を入力して、ストローク情報に変換する文字入力部と、
前記ストローク情報に基づいて、文字認識辞書を用いて前記手書き文字を認識する文字認識部と、
前記手書き文字の前記ストローク情報に含まれる座標点がテキスト入力領域と重なる場合、最初に重なる座標点を持つテキスト入力領域を、認識した文字を入力すべきテキスト入力領域として自動的に選択するテキスト入力領域判定部と、
前記ストローク情報に含まれる座標点にテキスト入力領域が重なる部分がなく、文字を転送するテキスト入力領域が自動選択できない場合、新しくウィンドウを開いて、認識した文字を一時的に表示する認識文字一時表示部と、
前記一時表示された文字を入力すべきテキスト入力領域の指示を受け付けるテキスト入力領域指示部と、
前記選択されたテキスト入力領域又は前記指示されたテキスト入力領域に、前記認識した文字を転送して表示し、前記ウィンドウを開いた場合は、更に、前記ウィンドウを閉じる認識文字表示部を具備することを特徴とする手書き文字入力装置。 - 請求項1に記載の手書き文字入力装置において、
前記テキスト入力領域判定部が、前記手書き文字の前記ストローク情報に含まれる座標点がテキスト入力領域と重なる場合、前記重なる座標点を持つテキスト入力領域に認識した文字の送出が可能か否か判定することによって、手書き文字の送出が可能なテキスト入力領域で最初に重なる座標点を持つテキスト入力領域を、前記認識した文字を入力すべきテキスト入力領域として自動的に選択することを特徴とする手書き文字入力装置。 - 請求項1または2に記載の手書き文字入力装置において、
前記テキスト入力領域判定部が、ペンタップ時のマウスカーソルの形状を判定することによって、前記認識した文字を入力すべきテキスト入力領域が選択されたか判定することを特徴とする手書き文字入力装置。 - 請求項1乃至3に記載の手書き文字入力装置において、
更に、直前に送出した認識文字とその手書き文字のストローク情報を保持する認識情報保持部と、
直前に送出した認識文字を削除し、手書き文字のストローク情報を復元する認識結果取消ボタンを備えることを特徴とする手書き文字入力装置。 - 画面上の任意の位置に入力した手書き文字を認識して入力するステップを含み、コンピュータに読み込ませて稼働するプログラムであって、
画面を表示するステップと、
手書き文字を入力して、ストローク情報に変換するステップと、
前記ストローク情報に基づいて、文字認識辞書を用いて前記手書き文字を認識するステップと、
前記手書き文字の前記ストローク情報に含まれる座標点がテキスト入力領域と重なる場合、最初に重なる座標点を持つテキスト入力領域を、認識した文字を入力すべきテキスト入力領域として自動的に選択するステップと、
前記ストローク情報に含まれる座標点にテキスト入力領域が重なる部分がなく、文字を転送するテキスト入力領域が自動選択できない場合、新しくウィンドウを開いて、認識した文字を一時的に表示するステップと、
前記一時表示された文字を入力すべきテキスト入力領域の指示を受け付けるステップと、
前記選択されたテキスト入力領域又は前記指示されたテキスト入力領域に、前記認識した文字を転送して表示し、前記ウィンドウを開いた場合は、更に、前記ウィンドウを閉じるステップを含むことを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001226518A JP3855696B2 (ja) | 2001-07-26 | 2001-07-26 | 手書き文字入力装置及びそれを実現するプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001226518A JP3855696B2 (ja) | 2001-07-26 | 2001-07-26 | 手書き文字入力装置及びそれを実現するプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003044214A JP2003044214A (ja) | 2003-02-14 |
| JP3855696B2 true JP3855696B2 (ja) | 2006-12-13 |
Family
ID=19059323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001226518A Expired - Fee Related JP3855696B2 (ja) | 2001-07-26 | 2001-07-26 | 手書き文字入力装置及びそれを実現するプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3855696B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10359864B2 (en) | 2016-04-27 | 2019-07-23 | Sharp Kabushiki Kaisha | Input display device and input display method |
| US11119622B2 (en) | 2013-08-26 | 2021-09-14 | Samsung Electronics Co., Ltd. | Window expansion method and associated electronic device |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4177335B2 (ja) | 2003-05-02 | 2008-11-05 | 富士通株式会社 | 手書き文字入力装置および手書き文字入力処理方法 |
| JP4297442B2 (ja) | 2004-11-30 | 2009-07-15 | 富士通株式会社 | 手書き情報入力装置 |
| KR100791370B1 (ko) * | 2006-03-07 | 2008-01-07 | 삼성전자주식회사 | 필기 데이터 입력 ui의 작업 영역 확장 및 그룹화 방법 |
| JP2011215824A (ja) * | 2010-03-31 | 2011-10-27 | Brother Industries Ltd | 画像表示装置、画像表示方法、及び画像表示プログラム |
| JP2012103776A (ja) * | 2010-11-08 | 2012-05-31 | Fuji Xerox Co Ltd | 軌跡情報処理装置、軌跡情報処理システム及びプログラム |
| JP5768777B2 (ja) * | 2012-07-27 | 2015-08-26 | コニカミノルタ株式会社 | 手書き入力システム、入力内容管理サーバ、入力内容管理プログラム |
| JP6488903B2 (ja) * | 2015-06-16 | 2019-03-27 | 富士通株式会社 | 画面転送制御システム、画面転送制御プログラム及び画面転送制御方法 |
| JP6986848B2 (ja) * | 2016-04-27 | 2021-12-22 | シャープ株式会社 | 入力表示装置および入力表示方法 |
| CN107977155B (zh) * | 2017-11-23 | 2020-12-29 | 广州视睿电子科技有限公司 | 一种手写识别方法、装置、设备和存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0348918A (ja) * | 1989-07-17 | 1991-03-01 | Toshiba Corp | 文字入力装置 |
| JP2944439B2 (ja) * | 1994-12-27 | 1999-09-06 | シャープ株式会社 | 手書き文字入力装置および方法 |
| JPH09319502A (ja) * | 1996-05-28 | 1997-12-12 | Toshiba Corp | 表示一体型座標入力装置を備えた情報機器 |
-
2001
- 2001-07-26 JP JP2001226518A patent/JP3855696B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11119622B2 (en) | 2013-08-26 | 2021-09-14 | Samsung Electronics Co., Ltd. | Window expansion method and associated electronic device |
| US10359864B2 (en) | 2016-04-27 | 2019-07-23 | Sharp Kabushiki Kaisha | Input display device and input display method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003044214A (ja) | 2003-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3486459B2 (ja) | 電子情報機器及びその制御方法 | |
| JP4762070B2 (ja) | 手書き入力装置、手書き入力方法、及びコンピュータプログラム | |
| US7634718B2 (en) | Handwritten information input apparatus | |
| US5677710A (en) | Recognition keypad | |
| CN102460353B (zh) | 电子设备、手势处理方法及手势处理程序 | |
| JP3535624B2 (ja) | 検索装置及び方法 | |
| JPH06242885A (ja) | 文書編集方法 | |
| JP3855696B2 (ja) | 手書き文字入力装置及びそれを実現するプログラム | |
| JPH07325881A (ja) | 文字入力装置 | |
| JP2017083960A (ja) | 情報処理装置、制御方法、及びプログラム | |
| JP2004046325A (ja) | データ入力装置、データ入力プログラムおよびデータ入力プログラムを記録した記録媒体 | |
| JP2963589B2 (ja) | ジェスチャー処理装置およびジェスチャー処理方法 | |
| KR100663409B1 (ko) | 펜 컴퓨팅 시스템에서의 레이어 편집 방법 및 장치 | |
| JPH06131110A (ja) | 情報処理装置 | |
| JP2000099223A (ja) | 手書き文字入力インタフェースを有するデータ処理装置及び記録媒体 | |
| JPH1049700A (ja) | ペン入力装置、ペン入力方法、入力装置及び入力方法 | |
| JP3258978B2 (ja) | ジェスチャー処理装置及びジェスチャー処理方法 | |
| JP2989084B2 (ja) | 情報処理装置 | |
| JP4584329B2 (ja) | 手書き情報入力装置 | |
| JP4148867B2 (ja) | 筆跡処理装置 | |
| JP2003140791A (ja) | 情報処理装置及び情報処理装置の制御方法 | |
| JPH05257670A (ja) | 画面作成方法およびその装置 | |
| US8629846B2 (en) | Information processing apparatus and information processing method | |
| JPH10293813A (ja) | 手書き入力認識システムおよびその方法 | |
| JP2006323502A (ja) | 情報処理装置及びその制御方法、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060704 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060904 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090922 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110922 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130922 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |