JP5972082B2 - 情報処理装置、表示方法、およびプログラム - Google Patents

Description

本発明は、情報処理装置、表示方法、およびプログラムに関し、特にユーザが手書き入力した情報を表示する情報処理装置、表示方法、およびプログラムに関する。

近年、ユーザが手書き入力可能なタッチパネルなどの表示デバイスを含む情報処理装置が広く流通されている。ユーザが指やスタイラスペンなどにより、該表示デバイスに対して文字などを入力（記述）すると、該表示デバイスは、該入力された位置に該入力された文字などを表示する。

例えば、特開２０１０−２８７０３２号公報（特許文献１）は、「ユーザが右利きか左利きかを判定し、該判定結果に基づいて、画面部品の表示位置を決定する」技術を開示している。

特開２０１０−２８７０３２号公報

上記技術では、例えば、左利きのユーザがタッチパネルに対して、日本語や英語を手書き入力すると、一般的に右方向に該日本語や英語を手書き入力する。そうすると、スタイラスペンを保持するユーザの手が手書き入力した文字を覆うために、ユーザは手書き入力した文字を目視できない、という問題があった。

本発明は、このような問題を解決するためになされたものであって、その目的は、ユーザが手書き入力した画像が、ユーザの手などにより覆われたとしても、当該ユーザが手書き入力した画像を別の領域に表示する情報処理装置、表示方法、プログラムを提供することである。

本発明のある局面に従う情報処理装置は、表示領域内で画像の手書き入力を受け付け、該手書き入力を受け付けた位置に、該手書き入力に係る画像を表示する表示手段と、手書き入力を行なう手が右手または左手かを表す手書き情報を導出する導出手段と、表示手段が第１画像の手書き入力を第１位置に受け付けた後、表示手段が第２画像の手書き入力を第２位置に受け付けた場合、該第１位置から該第２位置までの第１方向および手書き情報に応じた表示領域の端部または該端部の近傍に第１画像に基づく第３画像を第３位置に表示させた後、該第３画像を第４位置に表示させ、第２画像に基づく第４画像を第３位置に表示させる表示制御手段と、を備え、第３位置から第４位置までの方向は、第１方向と逆方向である。

好ましくは、手書き情報が、左手であることを表し、かつ、第１方向がユーザから見てＸ軸正方向である場合に、表示制御手段は表示領域の端部を該ユーザから見て右側の端部とする。

好ましくは、手書き情報が、右手であることを表し、かつ、第１方向がユーザから見てＸ軸負方向である場合に、表示制御手段は表示領域の端部を該ユーザから見て左側の端部とする。

本発明の異なる局面に従う情報処理装置は、表示領域内で画像の手書き入力を受け付け、該手書き入力を受け付けた位置に、該手書き入力に係る画像を表示する表示手段と、手書き入力を行なう手が右手または左手かを表す手書き情報を導出する導出手段と、画像の種類を検出する種類検出手段と、表示手段が第１画像の手書き入力を第１位置に受け付けた後、表示手段が第２画像の手書き入力を第２位置に受け付けた場合、該第１位置から該第２位置までの第１方向および画像の種類に応じた表示領域の端部または該端部の近傍に第１画像に基づく第３画像を第３位置に表示させた後、該第３画像を第４位置に表示させ、第２画像に基づく第４画像を第３位置に表示させる表示制御手段と、を備え、第３位置から第４位置までの方向は、第１方向と逆方向である。

好ましくは、導出手段は、手書き入力を行なう手が右手または左手かを検出することにより、手書き情報を生成する手書き検出手段を含む。

好ましくは、導出手段は、手書き入力を行なう手が右手または左手かの設定を受け付けることにより、手書き情報を生成する表示手段を含む。

本発明の異なる局面に従う情報処理装置は、表示領域内で画像の手書き入力を受け付け、該手書き入力を受け付けた位置に、該手書き入力に係る画像を表示する表示手段と、表示領域上の検出対象物を検出する対象物検出手段と、表示手段が第１画像の手書き入力を第１位置に受け付けた後、表示手段が第２画像の手書き入力を第２位置に受け付け、対象物検出手段に検出された検出対象物が第１画像および第２画像に対向または略対向している場合、該第１位置から該第２位置までの第１方向に応じた表示領域の端部または該端部の近傍に第１画像に基づく第３画像を表示させ、その後、該第３画像の表示位置を第１方向と逆方向に移動させ、該端部または該端部の近傍に第２画像に基づく第４画像を表示する表示制御手段と、を備える。

好ましくは、対象物検出手段は、表示領域にできた検出対象物の影の座標を検出し、表示制御手段は、第１画像および第２画像の座標と、検出対象物の影の座標とにおいて、同一である座標の数が予め定められた閾値以上である場合に、対象物検出手段に検出された検出対象物が第１画像および第２画像に対向または略対向しているとする。

好ましくは、表示制御手段は、手書き入力を受け付けた複数の画像それぞれの位置と、該複数の画像それぞれに基づく該複数の画像それぞれの位置とが相対的に同一になるように、該複数の画像それぞれに基づく該複数の画像それぞれを表示させる。

好ましくは、表示制御手段は、手書き入力された画像と、該手書き入力された画像に基づく画像とが重畳しないように、該手書き入力された画像に基づく画像に対して所定の処理を施して表示させる。

好ましくは、所定の処理は、手書き入力された画像の大きさに応じて、該手書き入力された画像に基づく画像を縮小する処理を含む。

好ましくは、所定の処理は、直近に手書き入力された画像に基づく画像を優先的に表示する処理を含む。

好ましくは、表示制御手段は、表示手段に２行以上の画像が手書き入力された場合に、該２行目以降の各々の行の最初の手書き入力された画像に基づく画像が表示される領域を表示する。

好ましくは、表示制御手段は、ユーザから見たＹ軸方向の、手書き入力された画像の位置に応じた表示領域の端部または該端部近傍に該画像に基づく画像を表示させる。

本発明の異なる局面に従う表示方法は、表示領域内で画像の手書き入力を受け付け、該手書き入力を受け付けた位置に、該手書き入力に係る画像を表示する表示方法であって、手書き入力を行なう手が右手または左手かを表す手書き情報を導出するステップと、表示手段が第１画像の手書き入力を第１位置に受け付けた後、表示手段が第２画像の手書き入力を第２位置に受け付けた場合、該第１位置から該第２位置までの第１方向および手書き情報に応じた表示領域の端部または該端部の近傍に第１画像に基づく第３画像を第３位置に表示させた後、該第３画像を第４位置に表示させ、第２画像に基づく第４画像を第３位置に表示させるステップと、を備え、第３位置から第４位置までの方向は、第１方向と逆方向である。

本発明の異なる局面に従うプログラムは、表示領域内で画像の手書き入力を受け付け、該手書き入力を受け付けた位置に、該手書き入力に係る画像をコンピュータに表示させるプログラムであって、プログラムは、コンピュータに、手書き入力を行なう手が右手または左手かを表す手書き情報を導出するステップと、表示手段が第１画像の手書き入力を第１位置に受け付けた後、表示手段が第２画像の手書き入力を第２位置に受け付けた場合、該第１位置から該第２位置までの第１方向および手書き情報に応じた表示領域の端部または該端部の近傍に第１画像に基づく第３画像を第３位置に表示させた後、該第３画像を第４位置に表示させ、第２画像に基づく第４画像を第３位置に表示させるステップと、を実行させ、第３位置から第４位置までの方向は、第１方向と逆方向である。

ある局面において、ユーザが手書き入力した画像が、ユーザの手などにより覆われたとしても、当該ユーザが手書き入力した画像を別の領域に表示できる。

この発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。

本実施形態の情報処理装置の概略を示した図である。 本実施形態の情報処理装置のハードウェア構成例を示した図である。 本実施形態の情報処理装置の機能構成例を示した図である。 座標記憶部に記憶された座標の集合を模式的に示した図である。 手書き検出部の検出手法例を示した図である。 表示装置に表示される画面の一例を示した図である。 他の実施形態の表示装置に表示される画面の一例を示した図である。 他の実施形態の表示装置に表示される画面の一例を示した図である。 実施形態１の処理フローの一例を示した図である。 他の実施形態の情報処理装置の機能構成例を示した図である。 操作画面の一例を示した図である。 他の実施形態の情報処理装置の機能構成例を示した図である。 ユーザの手の影等を示した図である。 表示制御部がアシスト表示する条件の一例を示した図である。 他の実施形態の情報処理装置の機能構成例を示した図である。 他の実施形態の情報処理装置の表示画面の一例を示した図である。 他の実施形態の表示制御部の処理フローの一例を示した図である。 他の実施形態の情報処理装置の表示画面の一例を示した図である。 他の実施形態の表示制御部の処理フローの一例を示した図である。 他の実施形態の情報処理装置の表示画面の一例を示した図である。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してあり、それらの名称および機能も同じである。従って、重複説明を繰り返さない。

［概略］
図１を参照して、本実施形態の情報処理装置の概略について説明する。図１は、本実施形態の情報処理装置の概略を示した図である。図１の例では、ユーザは左利きであり、左手２０４でスタイラスペン２０２を把持し、情報処理装置の表示手段に対して、該スタイラスペン２０２で、画像を手書き入力している。

ここで、情報処理装置の表示手段は、ユーザから手書き入力を受け付けた位置に、該手書き入力された画像を表示させるものであり、例えばタッチパネルである。また、画像は、文字、記号、図形などを含む。図１の例では、画像は、「う」「え」の文字である。また、スタイラスペン２０２の他に、ユーザが表示領域（入力領域）３１２ａに対して画像を手書き入力できれば、他の手段を用いてもよい。該他の手段とは、例えば、ユーザの指である。

本実施形態では、ユーザにより１つ目に手書き入力された画像を第１画像４０１とし、２つ目に手書き入力された画像を第２画像４０２とする。図１の例では、第１画像４０１は「う」の文字であり、第２画像４０２は「え」の文字である。また、ユーザが３文字目「お」以降を手書き入力する場合には、２文字目「え」を第１画像４０１とし、３文字目「お」を第２画像４０２とする。４文字目以降についても同様とする。

なお、図１の例では、第１画像４０１や第２画像４０２を明確化するために、左手２０４およびスタイラスペン２０２を透明化している。

また、ユーザがスタイラスペン２０２により、第１画像４０１を手書き入力された位置を第１位置４０１ａとする。ユーザがスタイラスペン２０２により、第２画像４０２を手書き入力された位置を第２位置４０２ａとする。また、第１位置４０１ａから第２位置４０２ａに向かう方向を「第１方向α」とする。つまり、ユーザは、第１方向αに向かって、第１画像４０１および第２画像４０２を手書き入力する。

また、第１画像４０１および第２画像４０２それぞれは、例えば、１つの独立した文字や記号である。また、本実施形態において、図１に示す原点、ｘ軸、ｙ軸、右端、左端、右方向、および左方向は、スタイラスペン２０２を扱う（手書き入力を行なう）ユーザから見た原点、ｘ軸、ｙ軸、右端、左端、右方向、および左方向である。

図１に示すように、手書き入力する画像（第１画像４０１および第２画像４０２）が日本語であり、かつ、ユーザが左利きの場合には、該ユーザは、一般的に、該ユーザから見てＸ軸の正方向α（右方向）に第１画像４０２および第２画像４０２を手書き入力する。従って、ユーザは現在手書き入力している文字以前に手書き入力された文字が、ユーザの左手２０４により覆われることにより、ユーザは該画像を目視できない。図１の例では、ユーザが現在手書き入力している画像を「え」の文字である場合では、「ユーザは現在手書き入力している文字以前に手書き入力された画像」とは、「う」の文字である。

ユーザが直近に手書き入力した文字を目視できない場合には、手書き入力処理の効率が低下する場合がある。そこで、本実施形態の情報処理装置は、第１画像４０１および第２画像４０２の手書き入力を受け付けた場合に、表示領域３１２ａの右端に第３画像４０３を表示させる。その後、第３画像４０３を第４位置４０４ａに表示させ、第４画像４０４を第３位置４０３ａに表示させる。

ここで、第３画像４０３は、第１画像４０１に基づくものである。図１の例では、第３画像４０３は、第１画像４０１「「う」の文字」と形状、大きさともに同一の画像である。また、第４画像４０４は、第２画像４０２に基づくものである。また、第４画像４０４は、第２画像４０２「「え」の文字」と形状、大きさともに同一の画像である。また、第３位置４０３ａから第４位置４０４ａに向かう方向βは第１方向αと反対方向である。また、第３画像４０３および第４画像４０４は枠２１０に囲まれて表示されることが好ましい。何故なら、ユーザは、手書き入力された画像（第１画像４０１および第２画像４０３）と、表示された画像（第３画像４０３および第４画像４０４）との区別がつきやすいからである。

つまり、情報処理装置は、第１画像４０１および第２画像４０２の手書き入力を受け付ける度に、例えば、第３画像４０３および第４画像４０４を方向βにスクロール表示する。これにより、ユーザは、第１画像４０１および第２画像４０２がユーザの手などにより覆われたとしても、第３画像および第４画像４０４を目視することにより、第１画像および第２画像４０２を認識できる。また、本実施形態の情報処理装置は、Ｘ軸正方向の手書き入力を受け付ける場合に特に効果を奏する。

［ハードウェア構成］
図２を参照して、本実施形態の情報処理装置１００のハードウェア構成を説明する。図２は、情報処理装置１００のハードウェア構成例を示したブロック図である。図２の例では、情報処理装置１００は、ＣＰＵ（Central Processing Unit）３０２と、ＲＡＭ（Random Access Memory）３０４と、ＲＯＭ（Read Only Memory）３０６と、ＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）３０８と、通信部３１０と、表示装置３１２と、操作部３１４と、外部メディアＩ／Ｆ(Interface)部３１６と、を含む。

ＣＰＵ３０２は、ＲＯＭ３０６に格納されているプログラムや各種データに基づいて、処理を行なう。ＲＡＭ３０４は、ＲＯＭ３０６から読み出された各種プログラムや各種データを一時保持する。ＲＯＭ３０６は、情報処理装置１００が、起動されるときに実行されるプログラムや各種データを格納する。

通信部３１０は、他の通信機器と通信する。操作部３１４は、ユーザからの操作を受け付ける。表示装置３１２は、例えばタッチパネル機能を備えるディスプレイである。従って、表示装置３１２は、概念的に、操作部３１４の一部を含む。

外部メディアＩ／Ｆ部３１６は、情報処理装置１００と、外部メディア３１８（例えばＳＤ（Secure Digital）メモリーカードなど）とのインターフェースの役割を果たす。

［実施形態１］
＜機能構成例＞
次に、図３を参照して、実施形態１の機能構成例について説明する。図３は、実施形態１の機能構成例を示した図である。また、以下では、画像を文字という場合もある。

図３の例では、情報処理装置１００Ａは、表示装置３１２と、座標検出部１０８と、表示制御部１１０と、座標記憶部１１２と、方向検出部１１４と、取得部１１６と、手書き検出部１０６と、を含む。表示装置３１２は、入力受付部１０２と表示部１０４とを含む。

入力受付部１０２および表示部１０４は例えば、それぞれ薄板形状である。表示装置３１２は、入力受付部１０２と表示部１０４とが積層されることにより構成される。また、表示装置３１２は、表示領域３１２ａ（図１参照）を含む。表示領域３１２ａには、ユーザが手書き入力した第１画像等、様々な情報が表示される。図１の例では、入力受付部１０２の入力領域が表示領域３１２ａである。

入力受付部１０２は、スタイラスペン２０２などにより、第１画像４０２（図１参照）の手書き入力操作などを受け付けるパネルである。ユーザは、スタイラスペン２０２を入力受付部１０２に接触させることにより、手書き入力操作を行なう。また、入力受付部１０２は、透明であり、ユーザは、入力受付部１０２の下層に配置される表示部１０４に表示される画像や情報を目視できる。

座標検出部１０８は、ユーザから入力受付部１０２への手書き入力操作を受けると、表示領域３１２ａ内において、スタイラスペン２０２が接触された位置（点）の座標を所定時間（例えば、０．１秒）毎に検出する。座標検出部１０８は、検出した座標を表示制御部１１０および認識部１１８へ出力する。

認識部１１８は、辞書記憶部１１１に記憶されている文字辞書、および、座標検出部１０８から出力された複数の座標に基づいて、手書き入力された文字を認識する。認識部１１８は、該文字の認識手法として、種々の認識手法を用いればよい。例えば、認識部１１８は、複数の座標と文字辞書とを用いて、パターンマッチング処理を行うことにより、手書き入力された文字を認識する。また、辞書記憶部１１１として、例えば、ＲＯＭ３０６を用いればよい。

座標記憶部１１２は、認識部１１８が認識した文字ごとに、座標の集合を記憶する。図４は、座標記憶部１１２に記憶された座標の集合を模式的に示した図である。図４を参照して、座標記憶部１１２の記憶形態を説明する。

図４の例では、座標記憶部１１２は、第１画像である「う」の文字について、「う」の文字を構成する複数点それぞれの座標（８、６）（９、５）・・・を記憶している。また、座標記憶部１１２は、第１画像である「え」の文字について、「え」の文字を構成する複数点それぞれの座標座標（２１、７）（２２、６）・・・を記憶している。なお、図１で説明したように、原点、ｘ軸、およびｙ軸は、スタイラスペン２０２を扱うユーザから見た原点、ｘ軸、およびｙ軸である。

表示制御部１１０は、座標検出部１０８により検出された座標に基づいて、スタイラスペン２０２の手書き入力の軌跡を表示部１０４に表示する。ユーザは、表示部１０４に表示された手書き入力の軌跡（つまり第１画像４０２）を目視することにより、該ユーザが手書き入力した第１画像を認識できる。表示制御部１１０は、入力受付部１０２が手書き入力を受け付けた、表示部１０４の位置に該手書き入力された画像を表示する。

≪方向検出≫
次に、方向検出部１１４による方向検出処理について説明する。方向検出部１１４は、座標記憶部１１２に記憶されている座標の集合に基づいて、第１方向α（図１参照）を検出する。ここで、第１方向αとは、ユーザにより画像が手書き入力される方向である。例えば、図１の例では、第１方向αは、Ｘ軸の正方向（スタイラスペン２０２を扱うユーザから見て右方向）である。以下では、右方向、左方向、上方向、下方向は、全てスタイラスペン２０２を扱うユーザから見た方向であるとする。

また、右方向は、Ｘ軸の正方向であり、左方向は、Ｘ軸の負方向である。また、上方向は、Ｙ軸の正方向であり、下方向はＹ軸の負方向である。

次に、方向検出部１１４による方向検出手法の具体例について説明する。方向検出部１１４は、基準となる文字（図４の例では、「う」）の、Ｘ座標の最大値Ｘｍａｘ１およびＹ座標の最大値Ｙｍａｘ１を取得する。また、方向検出部１１４は、該基準となる文字の次に、認識部１１８により認識された文字（図４の例では、「え」）の、Ｘ座標の最大値Ｘｍａｘ２およびＹ座標の最大値Ｙｍａｘ２を取得する。

そして、方向検出部１１４は、Ｘｍａｘ１とＸｍａｘ２とを比較する。ここで、方向検出部１１４が、Ｘｍａｘ１≦Ｘｍａｘ２であると判断すると、方向検出部１１４は、第１方向が右方向であると判断する。一方、方向検出部１１４が、Ｘｍａｘ１＞Ｘｍａｘ２であると判断すると、方向検出部１１４は、第１方向が左方向であると判断する。

また、方向検出部１１４は、Ｙｍａｘ１とＹｍａｘ２とを比較する。ここで、方向検出部１１４が、Ｙｍａｘ１≦Ｙｍａｘ２であると判断すると、方向検出部１１４は、第１方向が上方向であると判断する。一方、方向検出部１１４が、Ｙｍａｘ１＞Ｙｍａｘ２であると判断すると、方向検出部１１４は、第１方向が下方向であると判断する。

また、方向検出部１１４は、基準となる文字の、Ｘ座標の平均値Ｘａｖｇ１およびＹ座標の平均値Ｙａｖｇ１を取得する。また、方向検出部１１４は、該基準となる文字の次に手書き入力された文字の、Ｘ座標の平均値Ｘａｖｇ２およびＹ座標の平均値Ｙａｖｇ２を取得する。

そして、方向検出部１１４は、Ｘａｖｇ１とＸａｖｇ２とを比較する。ここで、方向検出部１１４が、Ｘａｖｇ１≦Ｘａｖｇ２であると判断すると、方向検出部１１４は、第１方向が右方向であると判断する。一方、方向検出部１１４が、Ｘａｖｇ１＞Ｘａｖｇ２であると判断すると、方向検出部１１４は、第１方向が左方向であると判断する。

また、方向検出部１１４は、Ｙａｖｇ１とＹａｖｇ２とを比較する。ここで、方向検出部１１４が、Ｙａｖｇ１≦Ｙａｖｇ２であると判断すると、方向検出部１１４は、第１方向が上方向であると判断する。一方、方向検出部１１４が、Ｙａｖｇ１＞Ｙａｖｇ２であると判断すると、方向検出部１１４は、第１方向が下方向であると判断する。

この方向検出部１１４の方向検出手法により、第１方向α（図１参照）を検出できる。方向検出部１１４は、第１方向を検出して、該第１方向を表す方向情報を生成する。該生成された方向情報は、表示制御部１１０へ出力される。

≪手書き情報≫
次に、手書き情報について説明する。手書き情報は、右手または左手のうち、ユーザがスタイラスペン２０２を保持している手を表す情報である。以下に、該手書き情報の生成手法について説明する。また、本明細書において、手書き情報が右手を表す情報である場合には、「ユーザは右利きである」と言及し、手書き情報が左手を表す情報である場合には、「ユーザは左利きである」と言及する場合がある。

本実施形態では、手書き検出部１０６は、表示領域３１２ａ上のユーザの手の位置を検出する。ここで、「表示領域３１２ａ上」は、ユーザの手が表示領域３１２ａに接触している場合もあり、また、ユーザの手が表示領域３１２ａから離れている場合もある。

また、ユーザの手の位置の検出方法として、例えば、赤外線や超音波をプローブに利用する場合であれば、手書き検出部１０６を表示装置３１２の周囲に配置し、赤外線や超音波の反射波の変動を電気信号として検出する。

図５を参照して手書き検出部１０６の検出手法の一例を説明する。図５は、手書き検出部１０６の検出手法例を示した図である。図５の例では、手書き検出部１０６は、表示領域３１２ａの周囲に配置された赤外線センサを含む。また、赤外センサのセンサ領域を右半分と左半分とに分ける。左半分の領域を領域１０６ａとし、右半分の領域を領域１０６ｂとする。

赤外線センサで赤外線の反射波を検出することにより、ユーザの手が、赤外線センサ上にあることが分かる。手書き検出部１０６は、赤外線センサからの反射波の検出信号が領域１０６ａからのものか、領域１０６ｂからのものかを判定する。手書き検出部１０６が、該検出信号が、領域１０６ａからのものである、と判断すると、手書き検出部１０６は、ユーザがスタイラスペン２０２を持つ手が左手である旨を表す手書き情報を生成する。一方、手書き検出部１０６が、該検出信号が、領域１０６ｂからのものである、と判断すると、手書き検出部１０６は、ユーザがスタイラスペン２０２を持つ手が右手である旨を表す手書き情報を生成する。

また、別の検出方式として、手書き検出部１０６は撮像装置を含み、該撮像装置で撮像した画像に対して画像処理を施す。手書き検出部１０６は該画像処理結果に基づいて、ユーザの手の位置を検出する。

また、別の検出方式として、手書き検出部１０６を、光センサ液晶としてもよい。光センサ液晶を簡単に説明すると、表示装置３１２は各画素内に駆動回路の他に光センサが内蔵される。そして、手書き検出部１０６は、ユーザの手の影を検出することにより、表示領域３１２ａ上のユーザの手の位置を検出する。

また、別の検出方式として、該スタイラスペン２０２が傾いてる方向を検出する傾き検出部（例えば、傾き検出センサや加速度センサ）を含ませるようにしてもよい。そして、手書き検出部１０６は、スタイラスペン２０２の入力動作中に、該傾き検出部が検出した傾き方向をスタイラスペン２０２から受信する。そして、手書き検出部１０６は、該傾き方向に基づいて、手書き情報を生成する。手書き検出部１０６が、スタイラスペン２０２が左に傾いていることを検出すると、ユーザは左手でスタイラスペン２０２を保持していることを表す手書き情報を生成する。また、手書き検出部１０６が、スタイラスペン２０２が右に傾いていることを検出すると、ユーザは右手でスタイラスペン２０２を保持していることを表す手書き情報を生成する。

手書き検出部１０６による、手書き情報の生成手法についてはこれらに限られず、他の生成手法を用いてもよい。

取得部１１６は、手書き検出部１０６が生成した手書き情報を取得する。取得部１１６は、手書き情報を取得すると、表示制御部１１０に出力する。

≪表示態様≫
次に、図６を参照して、表示制御部１１０による、第３画像４０３および第４画像４０４の表示態様について説明する。上述のように、第３画像４０３および第４画像４０４それぞれは、第１画像４０１および第２画像４０２に基づく。また、以下では、図１に示すように、第３画像４０３および第４画像４０４を表示することを「アシスト表示」という。また、ユーザが手書き入力した画像を入力画像とする。つまり入力画像は、第１画像４０１および第２画像４０２を含む。また、アシスト表示された画像をアシスト表示画像とする。つまり、アシスト表示画像は、第３画像４０３および第４画像４０４を含む。

図６（Ａ）に示すように、ユーザが、スタイラスペン２０２で、表示装置３１２に最初の第１画像「う」を手書き入力したとする。この場合には、ユーザが第１画像４０１である「う」を手書き入力した始めたときに、取得部１１６は、手書き情報を取得する。この場合には、取得部１１６は、ユーザは左手でスタイラスペン２０２を保持していることを表す手書き情報を取得する。

そうすると、座標検出部１０８は、ユーザが手書き入力したことにより、スタイラスペン２０２が接触した座標を検出する。そして、認識部１１８は、文字認識を行なうことにより、「う」の文字が手書き入力されたことを認識する。そして、認識部１１８は、第１画像４０１が認識されたことを示す、第１認識信号を表示制御部１１０へ出力する。

次に、ユーザが第２画像４０２（２個目の画像）である「え」を手書き入力したとする。この場合には、ユーザは「え」を手書き入力している途中に、方向検出部１１４は、ユーザの第１方向αを検出する。図６の例では、「え」の手書き入力始めの点のＸ座標は、「う」を構成する複数の点のうち、最大のＸ座標よりも大きい。従って、方向検出部１１４は、第１方向は右方向であることを表す方向情報を生成し、表示制御部１１０へ送信する。

表示制御部１１０は、方向情報に基づいて、アシスト表示する始点２１０ａを決定する。表示制御部１１０は、方向情報および手書き情報に応じた表示領域３１２ａの端部を決定する。

また、図６（Ｂ）を用いて、表示制御部１１０の端部の決定手法の詳細について説明する。図６（Ｂ）に示すように、第１位置４０１ａ（第１画像４０１の手書き入力受け付けた位置および第１画像４０１の表示位置）の重心を第１重心４０１ｂとする。第２位置４０２ａ（第２画像４０２の手書き入力受け付けた位置および第２画像４０２の表示位置）の重心を第２重心４０２ｂとする。

表示制御部１１０は、表示領域３１２ａの左右の端部３１２ｂおよび３１２ｃのうち、第１重心４０１ｂから第２重心４０２ｂに向かう直線Ｌと交わる端部（図６（Ｂ）の例では、端部３１２ｃ）を、アシスト表示する位置として決定する。

ここで、方向情報が右方向であることを表す方向情報であり、かつ、手書き情報が左手を表す手書き情報である場合には、アシスト表示の始点は、表示領域３１０ａの右端とする。何故なら、図１に示すように、左利きのユーザ（つまり、左手でスタイラスペン２０２を保持するユーザ）が右方向に文字などを手書き入力する場合には、右端からアシスト表示されることにより、ユーザは第１画像を手書き入力しながら該アシスト表示を目視しやすいからである。

表示制御部１１０は、アシスト表示する始点２１０ａを決定すると、該決定された始点２１０ａに、枠２１０の端部２１０ｂを表示させる。これにより、ユーザはアシスト表示される箇所を明確に認識できる。

次に、図６（Ｃ）に示すように、ユーザが第２画像４０２である「え」を手書き入力している途中に、表示制御部１１０は、直近に手書き入力された第１画像４０１である「う」に基づく第３画像４０３である「う」の文字をアシスト表示する。また、アシスト表示する方向βは、第１方向αと逆方向である。なお、第１方向αは、方向検出部１１４により検出される。

図６（Ｃ）に示すように、ユーザが直近に手書き入力した「う」の文字が、ユーザの手により覆われてしまい、ユーザは「う」の文字を目視できなくなる。そこで、本実施形態のように、「う」の文字をアシスト表示することにより、ユーザは直近に手書き入力した文字が「う」であることを認識できる。

次に、図６（Ｄ）に示すように、ユーザが第２画像４０２である「え」を手書き入力し終わって、３つ目の画像「う」の手書き入力の途中に、表示制御部１１０は、直近に手書き入力された第２画像４０２である「え」に基づく第４画像４０４を第３位置４０３ａにアシスト表示する。また、表示制御部１１０は、第３画像４０３を第４位置４０４ａにアシスト表示する。上述のように、第３位置４０３ａから第４位置４０４ａに向かう方向βは、第１方向αと反対方向である。

ここで、表示制御部１１０による、図４（Ｃ）の状態から図４（Ｄ）の状態に遷移する際の、第３画像４０３および第４画像４０４の表示態様としては例えば２つの表示態様がある。

１つ目の表示態様として、表示制御部１１０は、第３画像４０３（「う」の文字）の表示を維持しながら、該第３画像４０３を第３位置４０３ａから第４位置４０４ａまで移動させる。それと共に、表示制御部１１０は、第３位置４０３ａに第４画像４０４を表示させる。つまり、表示制御部１１０は、方向βに第３画像４０３および第４画像４０４をスクロール表示する。

２つ目の表示態様として、表示制御部１１０は、第３位置４０３ａに表示されている第３画像４０３を非表示とし、第４位置４０４ａに該第３画像４０３を表示させる。それと共に、表示制御部１１０は、第３位置４０３ａに第４画像４０４を表示させる。

これにより、ユーザが入力画像を手書き入力する毎に、該入力画像に基づくアシスト表示画像が表示される。従って、ユーザは、入力画像がユーザの手により覆われて該入力画像を認識できなくても、アシスト表示画像を目視することにより、ユーザ自身が手書き入力した入力画像を認識できる。

また、入力受付部１０２が第２画像４０２の受付を完了し、次の画像「図６（Ｄ）の例では「う」の文字」を受け付ける際には、「え」の文字が第１画像４０１とし、「う」の文字が「第２画像４０２」として、表示制御部１１０は上述の処理を行う。

また、第１画像４０１、第２画像４０２、第３画像４０３、第４画像４０４の表示態様を自然数Ｎ、Ｍを用いて説明する。図６（Ｃ）、（Ｄ）において、第Ｎ画像は第１画像４０１に対応し、第Ｎ＋１画像は第２画像４０２に対応し、第Ｎ位置は第１位置４０１ａに対応し、第Ｎ＋１位置は第２位置４０２ａに対応する。第Ｍ画像は第３画像４０３に対応し、第Ｍ＋１画像は第４画像４０４に対応し、第Ｍ位置は第３位置４０３ａに対応し、第Ｍ＋１位置は第４位置４０４ａに対応する。また、第１方向αは、第Ｎ位置から第Ｎ＋１位置に向かう方向である。

入力受付部１０２が第Ｎ画像の手書き入力を受け付け、第Ｎ＋１画像の手書き入力を受け付けている途中に、表示制御部１１０は、第Ｎ画像に基づく画像である第Ｍ画像（第３画像４０３に対応）を第Ｍ位置（第３位置に対応）にアシスト表示する。また、入力受付部１０２が、第Ｎ＋１画像（第４画像４０４に対応）の手書き入力の受付を完了し、第Ｎ＋２画像の手書き入力を受け付けている途中に、表示制御部１１０は、第Ｎ＋１画像に基づく画像である第Ｍ＋１画像（第３画像４０３に対応）を第Ｍ位置（第３位置に対応）にアシスト表示する。

また、入力受付部１０２が第Ｎ画像〜第Ｎ＋ｎ（ただし、ｎは自然数）画像の手書き入力を受け付けた場合には、表示制御部１１０は、第Ｎ画像〜第Ｎ＋ｎに基づく第Ｍ画像〜第Ｍ＋ｎ画像をアシスト表示する。また、第Ｎ画像の手書き入力を受け付けた位置第Ｎ位置から、第Ｎ＋ｎ画像の手書き入力を受け付けた第Ｎ＋ｎ位置へ向かう直線の方向α（第１方向）は、第Ｍ画像が表示される第Ｍ位置から、第Ｍ＋ｎ画像が表示される第Ｍ＋ｎ位置へ向かう方向βと逆方向となる。

≪２行目以降のアシスト表示≫
以下では、図６（Ｅ）に示すように、ユーザにより手書き入力された画像（つまり、第１画像４０１および第２画像４０２）をまとめて「入力画像４００１」とし、該入力画像に基づいてアシスト表示される画像をまとめて「アシスト表示画像４００２」という。

次に、図６（Ｅ）に示すように、ユーザが下方向に入力画像４００１を描画した場合の、表示制御部１１０などの処理について説明する。図６（Ｅ）に示すように、ユーザが下方向に入力画像４００１である「あ」を手書き入力した場合に、方向検出部１１４は、第１方向αが下方向であることを検出する。そして、表示制御部１１０は、第２画像として、「あ」の文字をアシスト表示する。

ここで、図６（Ｅ）に示すように、表示制御部１１０は、複数の入力画像４００１それぞれの位置と、複数のアシスト表示画像４００２それぞれの位置とが相対的に同一になるように、該アシスト表示画像４００２をアシスト表示する。従って、ユーザは、入力画像４００１が、複数行になる場合でも、複数の入力画像の位置関係を認識できる。

≪カーソル表示≫
また、以下の説明では、アシスト表示画像４００２が表示される領域（つまり、枠２１０内の領域）をアシスト表示領域２０８ａとする。次に、スタイラスペン２０２により２行目以降の入力画像４００１（図６（Ｅ）参照）が手書き入力される場合について説明する。図６（Ｆ）に示すように、表示制御部１１０は、２行目以降の入力画像４００１「あ」が手書き入力された場合に、該２行目以降の各々の行の最初の入力画像４００１に基づくアシスト表示画像４００２が表示される領域（以下、「カーソル」という。）２０８ｂを表示する。ユーザは、カーソル２０８ｂを視認することにより、２行目以降を手書き入力した場合に、該２行目以降それぞれに手書き入力された最初の入力画像４００１に対応するアシスト表示画像４００２が表示される位置を認識できる。

カーソル２０８ｂについてさらに説明する。２行目以降各行にそれぞれ手書き入力された最初の入力画像４００１（図６（Ｅ）（Ｆ）の例では「あ」の文字）について最初に手書き入力された点を開始点２０６ａとする。表示制御部１１０は、開始点２０６ａの座標を、座標検出部１０８から取得する。そして、表示制御部１１０は、既に手書き入力された文字（図６（Ｆ）の例では、「う，え，う」の文字）に対する開始点２０６ａの位置を把握する。そして、表示制御部１１０は、既に表示されているアシスト表示画像４００２（図６（Ｆ）の例では、「う，え，う」の文字）において、把握された該開始点２０６ａの相対的位置と同一の位置の点（以下、「同一点」とする。）２０８ｃを含む領域をカーソル２０８ｂとする。

また、取得部１１６は、ユーザは左手でスタイラスペン２０２を保持していることを表す手書き情報を取得しており、方向検出部１１４は、右方向および下方向を表す第１方向を検出していることにより、ユーザは開始点２０６ａから右方向および下方向へ手書き入力する可能性が高い。従って、同一点２０８ｃを左上隅とするカーソル２０８ｂを表示する。また、表示制御部１１０は、カーソル２０８ｂの表示態様を、他の領域の表示態様と異ならせるようにすればよい。例えば、表示制御部１１０は、カーソル２０８ｂを点滅させる。これにより、ユーザは、アシスト表示画像４００２が表示される位置を容易に認識できる。

次に、カーソル２０８ｂの大きさ（面積）について説明する。表示制御部１１０は、既に手書き入力された各文字それぞれが占有している領域（以下、「占有領域」という。）の面積を導出する。図６（Ｇ）は、文字「う」についての占有領域の一例を示した図である。表示制御部１１０は、座標記憶部１１２から、文字「う」を構成する複数の点について、Ｘ座標が最大値となる点２０６ｇ，Ｘ座標が最小値となる点２０６ｉ，Ｙ座標が最大値となる点２０６ｆ，Ｙ座標が最小値となる点２０６ｈ，のＸ座標およびＹ座標それぞれを取得する。

点２０６ｇを通る直線，点２０６ｉを通る直線において、それぞれが並行となる直線それぞれを直線２０６ｇＬ，２０６ｉＬとする。また、点２０６ｆを通る直線，点２０６ｈを通る直線において、それぞれが並行となる直線それぞれを直線２０６ｆＬ，２０６ｈＬとする。表示制御部１１０は、これら４本の直線２０６ｇＬ，２０６ｉＬ，２０６ｆＬ，２０６ｈＬで囲まれた矩形状の面積を、占有領域の面積として導出する。

表示制御部１１０は、既に手書き入力された各文字それぞれの占有面積の面積を導出し、これらの平均値を求める。表示制御部１１０は、該求められた平均値をカーソル２０８ｂの面積とする。

≪アシスト表示のＹ軸方向の位置≫
次に、図７に示すように、ユーザが表示領域３１２ａの上部に、入力画像４００１を手書き入力したとする。この場合には、ユーザのアシスト表示の視認性を鑑みて、表示制御部１１０は、下部にアシスト表示する。

例えば、表示制御部１１０は、座標検出部１０８が検出した入力画像４００１の点の集合各々の座標を検出する。表示制御部１１０は、該各々座標のうちＹ座標の平均値を算出する。そして、表示制御部１１０は、該平均値と、予め定められた閾値とを比較する。表示制御部１１０が、該平均値は該閾値以上であると判断した場合には、入力画像４００１は上方に手書き入力されたということなので、表示制御部１１０は、アシスト表示画像４００２を下方に表示する（図７の状態）。また、表示制御部１１０が、該平均値は該閾値未満であると判断した場合には、入力画像４００１は下方に手書き入力されたということなので、表示制御部１１０は、アシスト表示画像４００２を上方に表示する（図１の状態）。

このように、表示制御部１１０は、入力画像４００１のＹ軸方向の位置（Ｙ座標）に応じた表示領域３１２ａの端部または該端部近傍にアシスト表示画像４００２を表示させる。従って、ユーザは表示領域３１２ａの上部に入力画像４００１を手書き入力したとしても、下部にアシスト表示されることから、ユーザは容易にアシスト表示を認識できる。

≪ユーザが右利きで、第１方向が左方向である場合≫
次に、図８を参照して、ユーザが右利きであり、かつ、第１方向が左方向である場合について説明する。図８は、ユーザが、入力画像４００１としてアラビア語を手書き入力することを示した図である。一般的に右利きのユーザが、例えばアラビア語を手書き入力する場合には、第１方向αは、左方向となる。

この場合には、取得部１１６は、ユーザは右手でスタイラスペン２０２を保持していることを表す手書き情報を取得する。また、方向検出部１１４は、第１方向αが左方向であることを検出する。そして、表示制御部１１０は、表示領域３１２ａの端において、記述情報に応じた端として、表示領域の左端を、アシスト表示の始点として決定する。そして、表示制御部１１０は、ユーザがアラビア語を１文字を手書き入力する度に、該手書き入力されたアラビア語を方向βにアシスト表示する。

このように、表示制御部１１０は、手書き情報が、ユーザは右手でスタイラスペン２０２を保持していることを表す情報であり、かつ、第１方向αが左方向または略左方向である場合に、アシスト表示画像４００２を表示させる。

≪処理の流れ≫
次に、図９を参照して、実施形態１の情報処理装置の処理の流れについて説明する。図９は、実施形態１の処理フローの一例を示した図である。図９の処理フローでは、入力画像４００１が日本語または英語である場合について示したものである。

ステップＳ２において、表示制御部１１０は、取得部１１６が取得した手書き情報が、ユーザは左手でスタイラスペン２０２を保持していることを示す情報であるか否か、を判断する。表示制御部１１０が、手書き情報はユーザは右手でスタイラスペン２０２を保持していることを示す情報であると判断すると（ステップＳ２のＮＯ）、アシスト表示することなく、処理を終了する。一方、表示制御部１１０が、手書き情報はユーザは左手でスタイラスペン２０２を保持していることを示す情報であると判断すると（ステップＳ２のＹＥＳ）、処理はステップＳ４に移行する。

ステップＳ４において、表示制御部１１０は、設定モードを左利きモードに設定する。ステップＳ６において、表示制御部１１０は、アシスト表示準備を行なう（図６（Ａ）参照）。

ステップＳ８において、認識部１１８は、最初に手書き入力された入力画像４００１（つまり第１画像４０１）を文字認識した後に、スタイラスペン２０２の接触座標を座標記憶部１１２に格納する。

ステップＳ１０において、認識部１１８は、文字認識することにより、ユーザにより手書き入力された文字が１文字であるか否かを判断する。認識部１１８は、ユーザにより手書き入力された文字が１文字でないと判断すると（ステップＳ１０のＮＯ）、処理は、ステップＳ４に戻る。認識部１１８は、ユーザにより手書き入力された文字が１文字であると判断すると（ステップＳ１０のＹＥＳ）、処理は、ステップＳ１２に移行する。

ステップＳ１２において、表示制御部１１０は、ステップＳ１０において認識部１１８が認識した１文字（第１画像）をコピーする。

ステップＳ１４において、表示制御部１１０は、方向検出部１１４が検出した第１方向αを取得する。表示制御部１１０は、該第１方向αが、右向きであるか左向きであるか検出する。検出結果が右向きである場合には（ステップＳ１４のＹＥＳ）、処理はステップＳ１６に移行する。また、検出結果が左向きである場合には（ステップＳ１４のＮＯ）、処理はステップＳ２０に移行する。

ステップＳ１６において、ＣＰＵ３０２は、基準となる文字のＸ座標を１文字分、インクリメントする。該基準となる文字は、方向検出部１１４が第１方向を検出するために用いられる。

ステップＳ１８において、表示制御部１１０は、図１に記載のように、右端から左方向に、ステップＳ１２でコピーした入力画像４００１に基づいたアシスト表示画像４００２をアシスト表示する。

ステップＳ２０において、座標検出部１０８は、スタイラスペン２０２が、入力受付部１０２に対して非接触になったか否かを判断する。座標検出部１０８が、非接触になったと判断すると（ステップＳ２０のＹＥＳ）、処理はステップＳ２２に移行する。一方、座標検出部１０８が、スタイラスペン２０２は入力受付部１０２に対して接触されていると判断すると（ステップＳ２０のＮＯ）、処理はステップＳ２６に移行する。

ステップＳ２２において、ＣＰＵ３０２は、座標検出部１０８が、非接触になったと判断した時から、所定時間（例えば、２秒）経過したか否かを判断する。ＣＰＵ３０２は、座標検出部１０８が、非接触になったと判断した時から、所定時間経過するまで、該判断を繰り返す（ステップＳ２２のＮＯ）。ＣＰＵ３０２は、座標検出部１０８が、非接触になったと判断した時から、所定時間経過したと判断すると、処理はステップＳ２４に移行する。

ステップＳ２４において、座標検出部１０８は、スタイラスペン２０２が入力受付部１０２に対して非接触のままか否かを判断する。座標検出部１０８が非接触のままであると判断すると（ステップＳ２４のＹＥＳ）、処理はステップＳ３２に移行する。一方、座標検出部１０８は、スタイラスペン２０２が入力受付部１０２に接触されたと判断すると（ステップＳ２４のＮＯ）、処理はステップＳ２６に移行する。

ステップＳ２６において、表示制御部１１０は、方向検出部１１４が検出した第１方向αを取得する。表示制御部１１０は、該第１方向αが、上方向かを下方向か検出する。検出結果が上方向である場合には（ステップＳ２６のＮＯ）、処理はステップＳ１４に戻る。また、検出結果が下向きである場合には（ステップＳ２６のＹＥＳ）、処理はステップＳ２８に移行する。

ステップＳ２８において、ＣＰＵ３０２は、基準となる文字のＹ座標を−１文字分、インクリメントする。

ステップＳ３０において、表示制御部１１０は、２行のアシスト表示をする（図６（Ｅ）参照）。

ステップＳ３２において、表示制御部１１０は、アシスト表示を終了する（アシスト表示を消去する）。ステップＳ２４でＹＥＳと判断されたということは、ユーザが手書き入力処理を終了させた、ということである。また、ステップＳ２４でＮＯと判断されたということは、ユーザが新たな文字を手書き入力したということである。

≪まとめ≫
本実施形態の情報処理装置は、表示領域３１２ａの端において第１方向αに応じた端から、第１方向αと逆方向βに、入力画像４００１と対応するアシスト表示画像４００２をアシスト表示する。第１方向αに応じた端とは、第１方向αが右方向である場合には、表示領域３１２ａの右端であり、第１方向αが左方向である場合には、表示領域３１２ａの左端である。従って、ユーザは、直近に手書き入力した入力画像４００１が手に覆われて視認できなくても、アシスト表示画像４００２を視認することにより、入力画像４００１を認識できる。

［実施形態２］
次に、実施形態２について説明する。図１０は、実施形態２の情報処理装置１００Ｂの機能構成例を示した図である。図１０は、操作受付部１２０が追加されている点で、図３と異なる。実施形態１では、手書き検出部１０６が、ユーザの手等を検出することにより、ユーザがスタイラスペン２０２を保持している手が右手であるか左手であるかを検出する。実施形態２では、操作受付部１２０は、ユーザから、該ユーザが右利きか左利きかの入力を受け付ける。

図１１を参照して、操作受付部１２０について説明する。図１１は、実施形態２の操作画面３１２０の一例を示した図である。表示装置３１２は、該操作画面３１２０を表示する。操作画面３１２０は、左利きキー３１２０ａおよび右利きキー３１２０ｂを含む。これらのキーは、ユーザによりタッチ可能とする。

ユーザは、自身が該当する手書きに対応するキーをタッチする。操作受付部１２０は、タッチされたキーに対応する手書き情報を生成する。取得部１１６は、操作受付部１２０が生成した手書き情報を取得する。

また、図１１の例では、表示装置３１２に表示された操作画面について説明したが、ハードキー（図示せず）により、ユーザは手書きを選択可能としてもよい。

また、導出部１２２は、操作受付部１２０および手書き検出部１０６のうち少なくとも一方を含む。つまり、導出部１２２は、手書き情報を検出するものである。

本実施形態２の情報処理装置であれば、手書き検出部１０６の検出処理がなくても、ユーザから手書きを選択させることにより、取得部１１６は、手書き情報を取得できる。

［実施形態３］
次に、図１２を用いて、実施形態３の情報処理装置１００Ｃについて説明する。図１２は、実施形態３の情報処理装置１００Ｃの機能構成例である。図１２は、取得部１１６、手書き検出部１０６、表示制御部１１０がそれぞれ、取得部１３０、対象物検出部１５０、表示制御部１４０に代替されている点で、図３と異なる。

実施形態１では、表示制御部１１０は、方向検出部１１４が検出した第１方向、および、取得部１１６が取得した手書き情報に基づいて、アシスト表示をする。実施形態３の表示制御部１４０は、手書き情報を用いずに、表示領域３１２ａ上に存在する対象検出物を検出し、該検出結果と、第１方向とに基づいて、アシスト表示する。

対象物検出部１５０の構成は、大略して手書き検出部１０６と同様の構成である（例えば、図５参照）。従って、対象物検出部１５０は、検出対象物５００を検出できる。検出対象物５００は、例えば、スタイラスペン２０２およびユーザの手などである。

対象物検出部１５０は検出結果を取得部１３０へ送信する。ここで、好ましくは、検出結果は、検出対象物５００が表示領域３１２ａに接触している座標、および、表示領域３１２ａにできる検出対象物５００の影の座標を含む。図１３は、ユーザの手２０４の影２０４ａ等を示した図である。

対象物検出部１５０は、図１３に示すスタイラスペン２０２およびユーザの手の影２０４ａの座標（座標の集合）を検出する。そして、対象物検出部１５０は、該座標を取得部１３０に送信する。取得部１３０は、該送信された座標の集合Ｃ１を取得する。取得部１３０は、取得した座標の集合を表示制御部１４０へ送信する。

また、表示制御部１４０は、手書き入力された入力画像４００１を構成する座標の集合Ｃ２を座標記憶部１１２から取得する。そして、表示制御部１４０は、取得部１３０から取得した座標の集合Ｃ１と、座標記憶部１１２から取得した座標Ｃ２の集合とに基づいて、第１画像と検出対象物５００とが、対向または略対向しているか否かを判断する。

具体的には、表示制御部１４０は、座標の集合Ｃ１と座標の集合Ｃ２とを比較して、同一である座標の数が、予め定められた閾値以上あれば、第１画像と検出対象物５００とが、対向または略対向していると判断する。一方、該同一である座標の数が、該閾値未満あれば、表示制御部１４０は、第１画像と検出対象物５００とが、対向していないと判断する。

入力画像４００１と検出対象物５００とが対向または略対向している場合には、ユーザは、入力画像４００１を目視できない。従って、この場合は、表示制御部１４０は、入力画像４００１に対応する第２画像をアシスト表示する。

また、アシスト表示の開始箇所の決定手法については、実施形態１と同様なので、説明を省略する。

この実施形態３の情報処理装置１００Ｃによると、表示制御部１４０が、入力画像４００１と検出対象物５００とが対向または略対向していると判断した場合に、表示制御部１４０は、表示領域の端のうち第１方向αに応じた端から、第１方向αと逆方向βに、アシスト表示する。この手法では、手書き情報を生成せずとも、実施形態１と同様の効果を奏する。

［実施形態４］
図１４は、実施形態４の情報処理装置１００Ｄの機能構成例を示した図である。図１４は、図３と比較して、取得部１１６、表示制御部１１０がそれぞれ、取得部２３０、表示制御部２４０に代替されており、さらに言語検出部２５０が追加されている点で、図３と異なる。

実施形態４では、入力画像４００１が言語である場合に、表示制御部２４０は、言語の種類と第１方向αに基づいて、アシスト表示する。図１５は、表示制御部２４０がアシスト表示する条件の一例を示した図である。

図１５に示すように、ユーザが左利きであり、かつ、言語が日本語または英語である場合には、図１に示すように、ユーザの手により手書き入力された言語が覆われる。従って表示制御部はアシスト表示する。

また、ユーザが右利きであり、かつ、言語がアラビア語である場合には、図８に示すように、ユーザの手により手書き入力された言語が覆われる。従って表示制御部２４０はアシスト表示する。

言語検出部２５０は、認識部１１８が認識した言語の種類を検出する。言語検出部２５０の言語の種類の検出手法は、例えば、パターンマッチング方式を用いればよい。言語検出部２５０により検出された言語の種類は、表示制御部２４０に出力される。

表示制御部２４０は、取得部２３０から出力された手書き情報、および、言語検出部２５０から出力された言語の種類に基づいて、アシスト表示する。

この実施形態４の情報処理装置１００Ｄによると、第１方向を検出することなく、実施形態１と同様の効果を奏する。

［実施形態５］
図１６を参照して、実施形態５の情報処理装置について説明する。図１６は、実施形態５の情報処理装置の表示画面の一例である。ユーザが、入力画像４００１を大きく手書き入力した場合に、入力画像４００１とアシスト表示画像４００２とが重畳してしまい、ユーザがアシスト表示画像４００２を見づらくなる。そこで、図１６に示すように、実施形態５の情報処理装置は、第１画像の領域の大きさに応じて、第２画像を縮小して表示する。

また、以下の説明では、機能構成例は図３とするが、他の図面に示す機能構成例でもよい。以下では、入力画像４００１が表示される領域を第１画像領域５１０とし、アシスト表示画像４００２が表示される領域を第２画像領域５１２とする。

図１７を参照して、表示制御部１１０の処理の内容を説明する。図１７は、実施形態５の表示制御部１１０の処理フローの一例を示した図である。

ステップＳ１０２において、表示制御部１１０は、入力画像４００１とアシスト表示画像４００２とが重畳すると推定されるか否かを判断する。または、表示制御部１１０は、入力画像４００１とアシスト表示画像４００２とが重畳したか否かを判断する。入力画像４００１とアシスト表示画像４００２の重畳については、入力画像４００１を構成する複数の点の座標と、アシスト表示画像４００２を構成する複数の点の座標とに基づいて行われる。

ステップＳ１０２において、表示制御部１１０は、入力画像４００１とアシスト表示画像４００２とが重畳すると判断すると（ステップＳ１０２のＹＥＳ）、処理はステップＳ１０４に移行する。一方、表示制御部１１０は、入力画像４００１とアシスト表示画像４００２とが重畳しないと判断すると（ステップＳ１０２のＮＯ）、処理はステップＳ１０８に移行する。

ステップＳ１０４において、表示制御部１１０は、第１画像領域５１０の面積（例えば、ドット数）を算出する。

ステップＳ１０６において、表示制御部１１０は、第１画像領域５１０の面積に応じて、アシスト表示画像４００２のフォントサイズを縮小する。なお、例えば、第１画像領域５１０の面積に応じた係数ｒが、情報処理装置の製造時に予め決定される。該係数ｒの定め方として、該係数ｒが乗算されたフォントサイズで第２画像をアシスト表示した場合に、入力画像４００１と重畳しないように、該係数ｒを定める。そして、表示制御部１１０は、アシスト表示画像４００２のフォントサイズ（つまり、第１画像のフォントサイズ）に、該係数ｒを乗算する。そして、表示制御部１１０は、該係数ｒが乗算されたフォントサイズで、アシスト表示画像４００２をアシスト表示する。

一方、ステップＳ１０８において、表示制御部１１０は、アシスト表示画像４００２のフォントサイズを変えずに、アシスト表示画像４００２をアシスト表示する。

なお、ステップＳ１０２で、表示制御部１１０は、入力画像４００１とアシスト表示画像４００２とが既に重畳したか否かを判断するようにしてもよい。そして、表示制御部１１０は、入力画像４００１とアシスト表示画像４００２とが重畳したと判断すると、即座に、ステップＳ１０４とＳ１０６の処理を行なう。

この実施形態５の情報処理装置は、入力画像４００１とアシスト表示画像４００２とを重畳させずに、アシスト表示画像４００２をアシスト表示できる。

［実施形態６］
図１８を参照して、実施形態６の情報処理装置について説明する。図１８は、実施形態６の情報処理装置の表示画面の一例である。ユーザが、入力画像４００１を大きく手書き入力した場合に、入力画像４００１とアシスト表示画像４００２とが重畳してしまい、ユーザがアシスト表示画像４００２を見づらくなる。

そこで、実施形態６の表示制御部１１０は、入力画像４００１とアシスト表示画像４００２とが重畳する場合には、表示制御部１１０は、直近に手書き入力された画像に基づく画像を優先的に表示する。図１８の例では、表示制御部１１０は、直近に手書き入力された画像「かけます。交通手段は、電車です。」を優先的に表示している。つまり、表示制御部１１０は、以前に手書き入力された「今日の天気は晴れです。」の全て、および、「私は、今から買い物に出かけます。」の一部を消去して表示している。

図１９を参照して、表示制御部１１０の処理の内容を説明する。図１９は、実施形態６の表示制御部１１０の処理フローの一例を示した図である。

ステップＳ１０２において、表示制御部１１０は、入力画像４００１とアシスト表示画像４００２とをそれぞれ同じ大きさで表示した場合に、入力画像４００１とアシスト表示画像４００２とが重畳すると推定されるか否かを判断する。または、表示制御部１１０は、入力画像４００１とアシスト表示画像４００２とが重畳したか否かを判断する。

ステップＳ１０２において、表示制御部１１０は、入力画像４００１とアシスト表示画像４００２とが重畳すると判断すると（ステップＳ１０２のＹＥＳ）、処理はステップＳ１１０に移行する。一方、表示制御部１１０は、入力画像４００１とアシスト表示画像４００２とが重畳しないと判断すると（ステップＳ１０２のＮＯ）、処理はステップＳ１０８に移行する。

ステップＳ１１０において、表示制御部１１０は、直近に手書き入力された入力画像４００１に基づくアシスト表示画像４００２を優先的に表示する。また、表示制御部１１０は、アシスト表示画像４００２が表示される第２画像領域５１２の大きさを固定するようにしてもよい。

なお、ステップＳ１０２で、表示制御部１１０は、入力画像４００１とアシスト表示画像４００２とが重畳したか否かを判断するようにしてもよい。この場合には、入力画像４００１とアシスト表示画像４００２とが重畳したと判断した後に、表示制御部１１０は、直近に手書き入力された入力画像４００１に基づくアシスト表示画像４００２を優先的に表示する。

この実施形態６の情報処理装置は、入力画像４００１とアシスト表示画像４００２とを重畳させずに、アシスト表示画像４００２をアシスト表示できる。

また、実施形態５および実施形態６の手法によらず、他の手法により、表示制御部は、入力画像４００１およびアシスト表示画像４００２が重畳しないように、入力画像４００１およびアシスト表示画像４００２を表示するようにしてもよい。

［その他］
上述の通り、本実施形態の情報処理装置は表示領域の端から、アシスト表示する、と説明した。その他に、図２０（Ａ）に示すように、入力画像４００１が手書き入力された領域以外の領域にアシスト表示画像４００２をポップアップ画像で表示する手法も考えられる。しかし、図２０（Ｂ）に示すように、入力画像４００１が手書き入力された位置が変更される度に、アシスト表示画像４００２が表示される位置が変更される。従って、ユーザはアシスト表示画像４００２の表示位置が変更される度に、視線を変える必要があり、ユーザは該アシスト表示画像４００２を見づらくなる。

一方、本実施形態の情報処理装置では、アシスト表示の始点が固定されているため、図２０と比較して、ユーザはアシスト表示を見やすい。

また、本発明の情報処理装置は、ＣＰＵとその上で実行されるプログラムにより実現される。本発明を実現するプログラムは、コンピュータが読み取り可能な記録媒体、例えば半導体メモリ、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ等に格納することができ、これらの記録媒体に記録して提供され、又は、通信インタフェースを介してネットワークを利用した送受信により提供される。

また、今回開示された実施形態はすべての点で例示であって、制限的なものではない。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１０２ 入力受付部、１０４ 表示部、１０６ 手書き検出部、１０８ 座標検出部、１１０ 表示制御部、１１１ 辞書記憶部、１１２ 座標記憶部、１１４ 方向検出部、１１６ 取得部、１１８ 認識部、１２０ 操作部、１２２ 導出部、１５０ 対象物検出部、２０２ スタイラスペン。

Claims (16)

1. 表示領域内で画像の手書き入力を受け付け、該手書き入力を受け付けた位置に、該手書き入力に係る画像を表示する表示手段と、
   手書き入力を行なう手が右手または左手かを表す手書き情報を導出する導出手段と、
   前記表示手段が第１画像の手書き入力を第１位置に受け付けた後、前記表示手段が第２画像の手書き入力を第２位置に受け付けた場合、該第１位置から該第２位置までの第１方向および前記手書き情報に応じた前記表示領域の端部または該端部の近傍に前記第１画像に基づく第３画像を第３位置に表示させた後、該第３画像を第４位置に表示させ、前記第２画像に基づく第４画像を前記第３位置に表示させる表示制御手段と、を備え、
   前記第３位置から前記第４位置までの方向は、前記第１方向と逆方向である、情報処理装置。
2. 前記手書き情報が左手であることを表し、かつ、前記第１方向がユーザから見てＸ軸正方向である場合に、前記表示制御手段は前記表示領域の端部を該ユーザから見て右側の端部とする、請求項１記載の情報処理装置。
3. 前記手書き情報が右手であることを表し、かつ、前記第１方向がユーザから見てＸ軸負方向である場合に、前記表示制御手段は前記表示領域の端部を該ユーザから見て左側の端部とする、請求項１または２記載の情報処理装置。
4. 表示領域内で画像の手書き入力を受け付け、該手書き入力を受け付けた位置に、該手書き入力に係る画像を表示する表示手段と、
   手書き入力を行なう手が右手または左手かを表す手書き情報を導出する導出手段と、
   前記画像の種類を検出する種類検出手段と、
   前記表示手段が第１画像の手書き入力を第１位置に受け付けた後、前記表示手段が第２画像の手書き入力を第２位置に受け付けた場合、該第１位置から該第２位置までの第１方向および前記画像の種類に応じた前記表示領域の端部または該端部の近傍に前記第１画像に基づく第３画像を第３位置に表示させた後、該第３画像を第４位置に表示させ、前記第２画像に基づく第４画像を前記第３位置に表示させる表示制御手段と、を備え、
   前記第３位置から前記第４位置までの方向は、前記第１方向と逆方向である、情報処理装置。
5. 前記導出手段は、手書き入力を行なう手が右手または左手かを検出することにより、前記手書き情報を生成する手書き検出手段を含む、請求項１〜４いずれか１項記載の情報処理装置。
6. 前記導出手段は、手書き入力を行なう手が右手または左手かの設定を受け付けることにより、前記手書き情報を生成する表示手段を含む、請求項１〜５いずれか１項記載の情報処理装置。
7. 表示領域内で画像の手書き入力を受け付け、該手書き入力を受け付けた位置に、該手書き入力に係る画像を表示する表示手段と、
   前記表示領域上の検出対象物を検出する対象物検出手段と、
   前記表示手段が第１画像の手書き入力を第１位置に受け付けた後、前記表示手段が第２画像の手書き入力を第２位置に受け付け、前記対象物検出手段に検出された前記検出対象物が前記第１画像および前記第２画像に対向または略対向している場合、該第１位置から該第２位置までの第１方向に応じた前記表示領域の端部または該端部の近傍に前記第１画像に基づく第３画像を表示させ、その後、該第３画像の表示位置を前記第１方向と逆方向に移動させ、該端部または該端部の近傍に前記第２画像に基づく第４画像を表示する表示制御手段と、を備える情報処理装置。
8. 前記対象物検出手段は、前記表示領域にできた前記検出対象物の影の座標を検出し、
   前記表示制御手段は、前記第１画像および前記第２画像の座標と、前記検出対象物の影の座標とにおいて、同一である座標の数が予め定められた閾値以上である場合に、前記対象物検出手段に検出された前記検出対象物が前記第１画像および前記第２画像に対向または略対向しているとする、請求項７記載の情報処理装置。
9. 前記表示制御手段は、手書き入力を受け付けた複数の画像それぞれの位置と、該複数の画像それぞれに基づく該複数の画像それぞれの位置とが相対的に同一になるように、該複数の画像それぞれに基づく該複数の画像それぞれを表示させる、請求項１〜８いずれか１項記載の情報処理装置。
10. 前記表示制御手段は、手書き入力された画像と、該手書き入力された画像に基づく画像とが重畳しないように、該手書き入力された画像に基づく画像に対して所定の処理を施して表示させる、請求項１〜９いずれか１項記載の情報処理装置。
11. 前記所定の処理は、手書き入力された画像の大きさに応じて、該手書き入力された画像に基づく画像を縮小する処理を含む、請求項１０記載の情報処理装置。
12. 前記所定の処理は、直近に手書き入力された画像に基づく画像を優先的に表示する処理を含む、請求項１０記載の情報処理装置。
13. 前記表示制御手段は、前記表示手段に２行以上の画像が手書き入力された場合に、該２行以上の画像のうちの２行目以降の各々の行の最初の手書き入力された画像に基づく画像が表示される領域を表示する、請求項１〜１２いずれか１項記載の情報処理装置。
14. 前記表示制御手段は、ユーザから見たＹ軸方向の、手書き入力された画像の位置に応じた前記表示領域の端部または該端部近傍に該画像に基づく画像を表示させる、請求項１〜１３いずれか１項記載の情報処理装置。
15. 表示領域内で画像の手書き入力を受け付け、該手書き入力を受け付けた位置に、該手書き入力に係る画像を表示する表示方法であって、
    手書き入力を行なう手が右手または左手かを表す手書き情報を導出するステップと、
    第１画像の手書き入力を第１位置に受け付けた後、第２画像の手書き入力を第２位置に受け付けた場合、該第１位置から該第２位置までの第１方向および前記手書き情報に応じた前記表示領域の端部または該端部の近傍に前記第１画像に基づく第３画像を第３位置に表示させた後、該第３画像を第４位置に表示させ、前記第２画像に基づく第４画像を前記第３位置に表示させるステップと、を備え、
    前記第３位置から前記第４位置までの方向は、前記第１方向と逆方向である、表示方法。
16. 表示領域内で画像の手書き入力を受け付け、該手書き入力を受け付けた位置に、該手書き入力に係る画像をコンピュータに表示させるプログラムであって、
    前記プログラムは、コンピュータに、
    手書き入力を行なう手が右手または左手かを表す手書き情報を導出するステップと、
    第１画像の手書き入力を第１位置に受け付けた後、第２画像の手書き入力を第２位置に受け付けた場合、該第１位置から該第２位置までの第１方向および前記手書き情報に応じた前記表示領域の端部または該端部の近傍に前記第１画像に基づく第３画像を第３位置に表示させた後、該第３画像を第４位置に表示させ、前記第２画像に基づく第４画像を前記第３位置に表示させるステップと、を実行させ、
    前記第３位置から前記第４位置までの方向は、前記第１方向と逆方向である、プログラム。

Images