JP4453016B2

JP4453016B2 - 携帯端末、文字読取方法および文字読取プログラム

Info

Publication number: JP4453016B2
Application number: JP2005023036A
Authority: JP
Inventors: 利久伊藤
Original assignee: 株式会社カシオ日立モバイルコミュニケーションズ
Priority date: 2005-01-31
Filing date: 2005-01-31
Publication date: 2010-04-21
Anticipated expiration: 2025-01-31
Also published as: US20060193517A1; KR100759165B1; US7697722B2; KR20060088026A; CN1815491A; JP2006209599A; CN100437626C

Description

本発明は、携帯電話機やＰＨＳ（Personal Handyphone System）や携帯情報端末などの携帯端末に係わり、特に、カメラを搭載し撮影機能を備えた携帯端末、文字認識方法および文字認識プログラムに関する。

近年、携帯電話やＰＨＳなどの携帯端末においては、電子メールを作成し送信したり、インターネットを利用するためにＵＲＬ（Uniform Resource Locator）を入力したり、インターネット上の検索サイトを利用するためにキーワードを入力したりすることが広まり、携帯端末に文字データを入力する機会が増えている。しかし、携帯端末は、小型であるため、少数のキーしか搭載できず、ＰＣ（Personal Computer）で広く用いられている文字を入力するのに適したＱｗｅｒｔｙ配列のキーボードを搭載するのが困難である。

そこで携帯端末では、１つのキーに複数の文字を割り当て、キーを押下した回数によって入力する文字を変化させるというのが一般的である。しかしながら、上記のような１つのキーに複数の文字を割り当て、キーを押下した回数によって入力する文字を変化させる携帯端末では、文字を入力するのに多くのキー押下が必要になり、操作が煩雑で、時間がかかる。そこで、従来技術では、画像撮像装置を利用して撮影した文字の画像を利用し、それに対応する文字コードを取得することによって入力する技術が提案されている（例えば特許文献１参照）。
特開２００２−１１１８４１公報

しかしながら、上述した従来技術では、撮像装置を搭載した携帯端末で文字を撮影するには、携帯端末を文字にかなり近づけなければならず、わずかな携帯端末の動きでも撮影に大きく影響する。特に、連続して文字を入力したいときは、１つの文字を撮影した後、携帯端末を動かさなければならないので、直前まで撮影していた文字を容易に見失ってしまうという問題がある。

そこで本発明は、直前に撮影し入力した文字を追尾することによって、連続する単語や文字列を撮影して容易に読み取ることができる携帯端末、文字読取方法および文字読取プログラムを提供することを目的とする。

上記目的達成のため、請求項１記載の発明による携帯端末は、文章を撮影する画像撮像手段と、前記画像撮像手段により撮影された文章の画像を表示する表示手段と、前記画像撮像手段により撮影された文章の画像から、少なくとも１つの文字列を含む画像を切り出す文字列切り出し手段と、前記文字列切り出し手段が切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得する文字認識手段と、前記文字認識手段によって取得された文字コード列と、直前に前記画像撮像手段によって撮像された文章の画像の切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字認識手段によって取得された文字コード列の文字列を追尾対象文字列とし、当該追尾対象文字列と、前記画像撮像手段による撮影可能範囲内で、前記追尾対象文字列の近傍に存る周辺文字列との位置関係に基づいて、前記追尾対象文字列の移動方向を特定し、その移動方向を前記表示手段に視認可能に表示する文字列追尾手段とを具備し、前記画像撮影手段、前記表示手段、前記文字列切り出し手段、前記文字認識手段、及び前記文字列追尾手段による動作を所定の時間間隔で繰り返し実行する、ことを特徴とする。

また、好ましい態様として、例えば請求項２記載のように、請求項１記載の携帯端末において、前記文字列追尾手段により追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とするようにしてもよい。

また、好ましい態様として、例えば請求項３記載のように、請求項１または２に記載の携帯端末において、前記文字列追尾手段は、前記追尾対象文字列を、前記表示手段上で強調表示させるようにしてもよい。

また、好ましい態様として、例えば請求項４記載のように、請求項１ないし３のいずれかに記載の携帯端末において、前記文字列切り出し手段は、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、前記文字列の画像が前記画像撮像手段によって撮影された画像上のどこに位置するかを示す文字列画像位置情報を取得し、前記文字列追尾手段は、前記文字列画像位置情報に基づいて前記追尾対象文字列が前記画像撮像手段の撮影可能範囲外に在るか否かを判断し、前記追尾対象文字列が前記画像撮像手段の撮影可能範囲外に出ようとしている場合には、前記文字列切り出し手段に対して、次回の動作時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を前記追尾対象文字列の移動方向を特定するためのマーカー文字列として切り出すよう指示し、前記文字列切り出し手段によって前記追尾対象文字列の近傍に在るマーカー文字列が切り出されると、前記追尾対象文字列と前記マーカー文字列との位置関係に基づいて、前記画像撮像手段による撮影可能範囲に対する前記追尾対象文字列の移動方向を特定するようにしてもよい。

また、好ましい態様として、例えば請求項５記載のように、請求項１ないし４のいずれかに記載の携帯端末において、前記文字列切り出し手段は、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、前記文字列追尾手段は、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、もしくは、略同一画像サイズであるか判断し、比較する文字列が略同一位置、もしくは、略同一画像サイズであれば、同じ文字列であると判定するようにしてもよい。

また、好ましい態様として、例えば請求項６記載のように、請求項１ないし４のいずれかに記載の携帯端末において、前記文字列切り出し手段は、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、前記文字列追尾手段は、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、かつ略同一画像サイズであるか判断し、比較する文字列が略同一位置、かつ略同一画像サイズであれば、同じ文字列であると判定するようにしてもよい。

また、好ましい態様として、例えば請求項７記載のように、請求項４ないし６のいずれかに記載の携帯端末において、前記文字列追尾手段は、前記文字列切り出し手段に対して、次回の動作時に、前記マーカー文字列の在る位置から前記追尾対象文字列が在る方向へ隣接する文字列を切り出すように命令を出し、前記文字列切り出し手段がその文字列を切り出すことができれば、それを新たなマーカー文字列とし、前記追尾対象文字列と前記新たなマーカー文字列との位置関係に基づいて、前記画像撮像手段による撮影可能範囲に対する前記追尾対象文字列の移動方向を特定するようにしてもよい。

請求項１記載の発明によれば、文字列切り出し手段により、画像撮像手段により撮影された文章の画像から、少なくとも１つの文字列を含む画像を切り出し、文字認識手段により、切り出した画像に含まれる文字列を認識して該文字列の文字コード列を取得し、文字列追尾手段により、前記文字認識手段によって取得された文字コード列と、直前に前記画像撮像手段によって撮像された文章の画像の切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字認識手段によって取得された文字コード列の文字列を追尾対象文字列とし、当該追尾対象文字列と、前記画像撮像手段による撮影可能範囲内で、前記追尾対象文字列の近傍に存る周辺文字列との位置関係に基づいて、前記追尾対象文字列の移動方向を特定し、その移動方向を前記表示手段に視認可能に表示するようにしたので、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。

また、請求項２記載の発明によれば、前記文字列追尾手段により追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とするようにしたので、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。

また、請求項３記載の発明によれば、前記画像撮像手段により撮影された文章の画像を表示手段に表示する際、前記文字列追尾手段により追尾対象文字列を、前記表示手段上で強調表示するようにしたので、直前に撮影していた単語や文字列を容易に認知することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。

また、請求項４記載によれば、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、前記文字列切り出し手段により、前記文字列の画像が前記画像撮像手段によって撮影された画像上のどこに位置するかを示す文字列画像位置情報を取得し、前記文字列追尾手段により、前記文字列画像位置情報に基づいて前記追尾対象文字列が前記画像撮像手段の撮影可能範囲外に在るか否かを判断し、前記追尾対象文字列が前記画像撮像手段の撮影可能範囲外に出ようとしている場合には、前記文字列切り出し手段に対して、次回の動作時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列前記追尾対象文字列の移動方向を特定するためのマーカー文字列として切り出すよう指示し、前記文字列切り出し手段によって前記追尾対象文字列の近傍に在るマーカー文字列が切り出されると、前記追尾対象文字列と前記マーカー文字列との位置関係に基づいて、前記画像撮像手段による撮影可能範囲に対する前記追尾対象文字列の移動方向を特定するようにしたので、追尾対象文字列を随時追跡することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。

また、請求項５記載の発明によれば、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、前記文字列切り出し手段により、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、前記文字列追尾手段により、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、もしくは、略同一画像サイズであるか判断し、比較する文字列が略同一位置、もしくは、略同一画像サイズであれば、同じ文字列であると判定するようにしたので、追尾対象文字列を随時追跡することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。

また、請求項６記載の発明によれば、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、前記文字列切り出し手段により、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、前記文字列追尾手段により、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、かつ略同一画像サイズであるか判断し、比較する文字列が略同一位置、かつ略同一画像サイズであれば、同じ文字列であると判定するようにしたので、追尾対象文字列を随時追跡することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。

また、請求項７記載の発明によれば、前記文字列追尾手段により、前記文字列切り出し手段に対して、次回の動作時に、前記マーカー文字列の在る位置から前記追尾対象文字列が在る方向へ隣接する文字列を切り出すように命令を出し、前記文字列切り出し手段がその文字列を切り出すことができれば、それを新たなマーカー文字列とし、前記追尾対象文字列と前記新たなマーカー文字列との位置関係に基づいて、前記画像撮像手段による撮影可能範囲に対する前記追尾対象文字列の移動方向を特定するようにしたので、マーカー文字列を随時更新することで、追尾対象文字列を随時追跡することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。

以下、本発明の実施の形態を、図面を参照して説明する。なお、以下では、英文が記述された文章を読み取る場合について説明する。本実施形態による携帯端末は、単語毎に文字列を読み取るものとする。

Ａ．実施形態の構成
図１は、本発明の実施形態による携帯端末の略構成を示すブロック図である。図において、携帯端末は、画像撮像装置１０、文字列切り出し部２０、文字認識部３０、文字列追尾部４０および表示部５０を備えている。画像撮像装置１０は、文章の画像を撮影する。文字列切り出し部２０は、画像撮像装置１０から画像データを受け取り、そのデータから文字列の画像を切り出し、その文字列の画像が画像撮像装置１０から受け取った画像データのどこに位置するかを示す文字列画像位置情報や文字列の画像サイズを示す画像サイズ情報を取得する。文字認識部３０は、文字列切り出し部２０から受け取った文字列の画像とその文字列画像位置情報とからその文字列に対応する文字コード列を取得する。

文字列追尾部４０は、文字認識部３０から受け取った２つの文字列の文字コードや文字列画像位置情報、画像サイズ情報などを比較し、同じかどうか判定し、同じか、もしくは部分的に同じであれば、最終的に入力文字列とする追尾対象文字列または該追尾対象文字列を追尾するためのマーカー文字列として認識する。また、文字列追尾部４０は、文字列画像位置情報および画像サイズ情報に従って、追尾対象文字列またはマーカー文字列が画像撮像装置１０の撮影可能範囲から外に出たか、または撮影可能範囲から外に出る可能性があるかを判定し、追尾対象文字列またはマーカー文字列が画像撮像装置１０の撮影可能範囲から外に出た場合または撮影可能範囲から外に出ることが予想される場合に、文字列切り出し部２０に対して、その追尾対象文字列またはマーカー文字列に隣接し、かつ画像撮像装置１０の撮影可能範囲にある文字列を切り出すように命令を出す。表示部５０は、画像撮像装置１０から受け取った画像データを表示し、文字列追尾部４０から追尾対象文字列の文字列画像位置情報を受け取った場合に、その文字列画像を強調表示し、文字列追尾部４０から追尾対象文字列の有る方向の情報を受け取った場合に、その方向を示す。

なお、図１に示す文字列切り出し部２０、文字認識部３０および文字列追尾部４０は、ＣＰＵのソフトウェアとして実現されてもよい。

Ｂ．実施形態の動作
次に、上述した実施形態の動作について図を参照して説明する。ここで、図２および図３は、本実施形態による携帯端末の動作を示すフローチャートである。端末使用者が文章を画像撮像装置１０で写すと（ステップＳ１０）、画像撮像装置１０は、文字列切り出し部２０と表示部５０にその画像データを転送する。表示部５０は、その画像データを表示する（ステップＳ１０）。文字列切り出し部２０は、単語の画像を切り出し（ステップＳ１２）、切り出した画像データとその文字列画像位置情報とを文字認識部３０に転送する。

文字認識部３０は、単語の画像から文字列を認識し（ステップＳ１４）、それに対応する文字コード列を取得し、文字列追尾部４０にその文字コード列と文字列画像位置情報とを転送する。文字列追尾部４０は、文字コード列と文字列画像位置情報とを受け取ると、それらを記憶し、前に受け取った文字コード列と文字列画像位置情報との有無を調べる（ステップＳ１６）。そして、前に受け取った文字コード列と文字列画像位置情報とが無い場合には、ステップＳ１０に戻り、上述した処理を繰り返す。

一方、前に受け取った文字コード列と文字列画像位置情報とが有る場合には、前に受け取った文字コード列と、今回受け取った文字コード列とを比較し、全部、若しくは、一部が同じか調べる（ステップＳ１８）。そして、同じでなければ、ステップＳ１０に戻り、上述した処理を繰り返す。一方、全部、若しくは、一部が同じなら、その単語を追尾対象文字列として認識し、その追尾対象文字列の文字列画像位置情報および画像サイズ情報に従って、その画像データが画像撮像装置１０の撮影可能な領域の外に出ているか調べる（ステップＳ２０）。そして、撮影可能な領域の外に出ていなければ、その追尾対象文字列を強調表示し（ステップＳ２２）、ステップＳ１０に戻り、上述した処理を繰り返す。

一方、追尾対象文字列の画像データが画像撮像装置１０の撮影可能な領域外に出ていれば、文字切り出し部２０に追尾対象文字列の隣にあり、かつ画像撮像装置１０の撮影可能な領域にある単語を切り出すように命令を出す。文字切り出し部２０は、追尾対象文字列の隣にあり、かつ画像撮像装置１０の撮影可能な領域にある単語を切り出し、切り出した画像データとその文字列画像位置情報とを文字認識部３０に転送する。文字認識部３０は、単語の画像から文字列を認識し、それに対応する文字コード列を取得し、文字列追尾部４０にその文字コード列と文字列画像位置情報を転送する（ステップＳ２４）。文字列追尾部４０は、追尾対象文字列の隣の単語の文字コード列とその文字列画像位置情報とをマーカー文字列の情報と認識して記憶し、マーカー文字列追尾処理に移行する（ステップＳ２６）。

文字列追尾部４０は、図３に示すマーカー文字列追尾処理に移行する際、そのマーカー文字列が追尾対象文字列の上下に何行ずれた位置にあるか、若しくは、横に何単語ずれた位置にあるかを記憶する。マーカー文字列が追尾対象文字列から下にｘ単語、右にｙ行ずれた位置にある場合の位置情報をマーカー文字列位置情報Ｐ（ｘ、ｙ）と表す。本実施形態では、マーカー文字列が追尾対象文字列に対してどちらの方向に位置するかをグラフィカルに示すために、その方向を示す矢印を表示する。そこで、マーカー文字列位置情報Ｐ（ｘ、ｙ）のｘ、ｙの値の組み合わせに応じて取り得る、マーカー文字列の追尾対象文字列に対する方向について、予め矢印（マーク）を、図４に示すように、テーブル化して記憶している。その後、Ｐ（ｘ、ｙ）から追尾対象文字列がどの方向にあるか調べ、図４に示すテーブルからその方向を向いている矢印を取得して表示部５０に表示し（ステップＳ３０）、画像撮像装置１０に文字列を撮影し、処理を続けることを命令する（ステップＳ３２）。

画像撮像装置１０は、文字列を撮影し、その画像データを文字列切り出し部２０に転送する。文字列切り出し部２０は、マーカー文字列の文字列画像位置情報が示す位置付近にある文字列を切り出し、その画像データとその文字列画像位置情報とを文字認識部３０に転送する（ステップＳ３４）。文字認識部３０は、受け取った文字列の画像データを認識し、対応する文字コード列を取得し（ステップＳ３６）、文字列追尾部４０にその文字コード列と文字列画像位置情報とを転送する。

文字列追尾部４０は、前に記憶したマーカー文字列の文字コード列と今回受け取った文字コード列とを比較し、全部、若しくは、一部が同じかどうか調べる（ステップＳ３８）。そして、同じでなければ、文字列追尾部４０は、追尾対象文字列の文字コード列と文字列画像位置情報、及び、マーカー文字列の文字コード列と文字列画像位置情報を廃棄し、マーカー文字列追尾処理を終了し、図２のステップＳ１０に戻る。

一方、前に記憶したマーカー文字列の文字コード列と今回受け取った文字コード列とが同じであれば、文字列追尾部４０は、文字列切り出し部２０に、マーカー文字列に隣接し、追尾対象文字列がある方向に存在する文字列を切り出すように命令を出し、文字列切り出し部２０にその文字列を切り出させ（ステップＳ４０）、文字列の画像データが切り出すことができたか否かを判断する（ステップＳ４２）。そして、文字列切り出し部２０がその文字列を切り出すことができなければ、マーカー文字列をそのままとし、次の処理（ステップＳ４６）に進む。

一方、文字列切り出し部２０がその文字列を切り出すことができれば、その画像データとその文字列画像位置情報とを文字認識部３０に転送し、文字認識部３０は受け取った文字列の画像データから対応する文字コード列を取得し、文字列追尾部４０にその文字コード列と文字列画像位置情報とを転送し、文字列追尾部４０は受け取った文字コード列と文字列画像位置情報から、その文字列がマーカー文字列に対してどの方向にあるか調べ、Ｐ（ｘ、ｙ）を更新し、その文字列を新たなマーカー文字列とする（ステップＳ４４）。

文字列追尾部４０は、マーカー文字列の更新の有無にかかわらず、そのマーカー文字列の文字列画像位置情報および画像サイズ情報に従って、マーカー文字列の画像データが画像撮像装置１０の撮影可能な領域の外に出ているか調べる（ステップＳ４６）。そして、撮影可能な領域の外に出ていなければ、ステップＳ３０に戻り、上述した処理を繰り返す。

一方、マーカー文字列の画像データが撮影可能な領域の外に出ていれば、文字列追尾部４０は、マーカー文字列の隣にあり、かつ画像撮像装置１０の撮影可能な領域にある単語の認識を行う（ステップＳ４８）。すなわち、文字列追尾部４０は、マーカー文字列の隣にあり、かつ画像撮像装置１０の撮影可能な領域にある単語を切り出すように、文字切り出し部２０に命令を出す。文字切り出し部２０は、マーカー文字列の隣にあり、かつ画像撮像装置１０の撮影可能な領域にある単語を切り出し、切り出した画像データとその文字列画像位置情報とを文字認識部３０に転送する。

文字認識部３０は、単語の画像から文字列を認識し、それに対応する文字コード列を取得し、文字列追尾部４０にその文字コード列と文字列画像位置情報を転送する。文字列追尾部４０は、受け取った文字コード列と文字列画像位置情報とから、その文字列がマーカー文字列に対してどの方向にあるか調べ、Ｐ（ｘ、ｙ）を更新し、その文字列を新たなマーカー文字列とする（ステップＳ５０）。

次に、そのマーカー文字列が追尾対象文字列であるか判断する（ステップＳ５２）。すなわち、文字列追尾部４０は、Ｐ（ｘ、ｙ）がｘ＝０、かつ、ｙ＝０ならば、そのマーカー文字列を追尾対象文字列とし、マーカー文字列追尾処理を終了し、図２のステップＳ１０に戻る。これに対して、Ｐ（ｘ、ｙ）において、ｘが０でないか、または、ｙが０でなければ、マーカー文字列追尾処理のステップＳ３０に戻り、マーカー文字列の追尾を継続する。

次に、上述した本実施形態の携帯端末の動作例を、図５を参照して説明する。英文を撮影すると、画像の中央付近にある文字「Hitachi」が追尾対象文字列として認識され、枠Ｂ１で囲まれて強調表示される（図５（ａ））。その後、手ぶれ等で端末が左に動き、追尾対象文字列「Hitachi」が撮影範囲外に出そうになった場合、「Hitachi」の隣にある単語「are」がマーカー文字列として認識され、マーカー文字列位置情報Ｐ（ｘ、ｙ）はＰ（−１、０）となり、追尾対象文字列の在る方向が矢印Ａ１で示される（図５（ｂ））。この状態において、追尾対象文字列の在る方向は右なので、「are」に隣接し、右にある文字列「Hita」が認識され、マーカー文字列位置情報Ｐ（ｘ、ｙ）はＰ（０、０）となる。

したがって、「Hita」は追尾対象文字列と認識され、枠Ｂ２で囲まれて強調表示される（図５（ｃ））。しかし、「Hita」は撮影範囲外に出そうであるので、隣にある単語「are」がマーカー文字列として認識され、マーカー文字列位置情報Ｐ（ｘ、ｙ）はＰ（−１、０）となり、追尾対象文字列の在る方向が矢印Ａ１で示される（図５（ｂ））。この場合、図５（ｂ）と図５（ｃ）の動作が繰り返される。

さらに、手ぶれ等によって端末が左下に動いた場合、マーカー文字列「are」が撮影範囲外に出そうになるので、撮影範囲内に有り、かつ隣接する文字列「Inspire」を新たなマーカー文字列とする。この場合、「Inspire」は下に在るので、マーカー文字列位置情報Ｐ（ｘ、ｙ）はＰ（−１、１）となり、追尾対象文字列が在る方向が矢印Ａ２で示される（図５（ｄ））。

次に、マーカー文字列に隣接し、追尾対象文字列が在る方向に存在する文字を認識する。この場合、「are」なので、それを新たなマーカー文字列として更新し、マーカー文字列位置情報Ｐ（ｘ、ｙ）をＰ（−１、０）とする（図５（ｅ））。しかし、マーカー文字列「are」が撮影範囲外に出そうであるので、撮影範囲内に有り、かつ隣接する文字列「Inspire」を新たなマーカー文字列とし、マーカー文字列位置情報Ｐ（ｘ、ｙ）をＰ（−１、１）とする（図５（ｄ））。以降、端末が動くまで図５（ｄ）と図５（ｅ）の動作が繰り返される。

次に、ユーザが追尾対象文字列を探すために、図５（ｅ）の状態から端末を右に動かす。これにより、追尾対象文字列が在る方向に存在し、マーカー文字列に隣接する文字列「the」を認識する。認識した文字列「the」はマーカー文字列の右に在るので、マーカー文字列位置情報Ｐ（ｘ、ｙ）をＰ（０、１）とし、認識した文字列「the」を新たなマーカー文字列とする（図４（ｆ））。このとき、追尾対象文字列が在る方向に隣接する文字列は撮影範囲内に無いので、「the」がマーカー文字列のままになり、追尾対象文字列が在る方向が矢印Ａ３で示される。

さらに、追尾対象文字列の在る方向は上を指しているので、ユーザは端末を上に動かす。追尾対象文字列の在る方向に存在し、マーカー文字列に隣接する文字列を認識すると、「Hi」が認識できる。この文字列「Hi」はマーカー文字列の上に在るので、マーカー文字列位置情報Ｐ（ｘ、ｙ）を更新し、Ｐ（０、０）とする。Ｐ（０、０）となったので、この文字列「Hi」を追尾対象文字列とし、枠Ｂ３で囲んで強調表示する（図５（ｇ））。

以降、上述したように、手ぶれなどにより端末を大きく動かしてしまい、表示部５０に表示される直前に撮影していた単語や文字列（追尾対象文字列）が移動してしまっても、リアルタイムで、追尾対象文字列を強調表示するとともに、該追尾対象文字列の近傍の文字列をマーカー文字列として認識し、該マーカー文字列と追尾対象文字列との位置関係から、追尾対象文字列が存在する方向をグラフィカルな矢印で示すという動作を繰り返すようにしたので、直前に撮影していた単語や文字列（追尾対象文字列）を容易に探し出すことができる。

なお、上述した実施形態において、文字列追尾部４０が２つの単語の比較を行う際、文字コード列の比較ではなく、２つの単語の文字列画像位置情報を比較し、２つの単語の文字列画像位置の横方向の差が一文字の横方向の大きさ以内であり、かつ、２つの単語の文字列画像位置の縦方向の差が一文字の縦方向の大きさ以内であれば、同じ単語と判定するようにしても良い。

また、文字列追尾部４０が２つの単語の比較を行う際、文字コード列の比較ではなく、２つの単語の画像サイズを比較し、２つの単語の画像サイズの横方向の差が一文字の横方向の大きさ以内であり、かつ、２つの単語の画像サイズの縦方向の差が一文字の縦方向の大きさ以内であれば、同じ単語と判定するようにしても良い。

また、文字列追尾部４０が２つの単語の比較を行う際、上記２つの単語の文字列画像位置情報を比較するとともに、上記２つの単語の画像サイズを比較し、これら２種類の比較において両方とも同じ単語と判定できた場合に、同じ単語と判定するようにしても良い。

また、本実施形態においては、文字列切り出し部２０は、英文を前提にして単語を切り出すとしたが、日本語のように単語の切り出しが困難な言語の場合は、漢字とひらがなのように、複雑な文字と単純な文字との境目を区切りとして切り出しても良い。

上述した実施形態によれば、画像撮像装置１０で文字を撮影する際、直前に撮影していた単語や文字列を容易に認知することができる。すなわち、手ぶれなどにより端末を大きく動かしてしまい、直前に撮影していた単語や文字列を見失ってしまっても、表示部５０に表示される直前に撮影していた単語や文字列のある方向を示す印によって、直前に撮影していた単語や文字列を容易に探し出すことができる。

この発明の実施の形態に係る携帯端末の構成を示すブロック図である。この発明の実施の形態に係る携帯端末の動作を示すフローチャートである。この発明の実施の形態に係る携帯端末の動作を示すフローチャートである。マーカー文字列位置情報Ｐ（ｘ、ｙ）値に応じて表示部に表示する矢印の例を示す概念図である。この発明の実施の形態に係る携帯端末の動作例を示す模式図である。

符号の説明

１０画像撮像装置（画像撮像手段）
２０文字列切り出し部（文字列切り出し手段）
３０文字認識部（文字認識手段）
４０文字列追尾部（文字列追尾手段）
５０表示部（表示手段）

Claims

文章を撮影する画像撮像手段と、
前記画像撮像手段により撮影された文章の画像を表示する表示手段と、
前記画像撮像手段により撮影された文章の画像から、少なくとも１つの文字列を含む画像を切り出す文字列切り出し手段と、
前記文字列切り出し手段が切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得する文字認識手段と、
前記文字認識手段によって取得された文字コード列と、直前に前記画像撮像手段によって撮像された文章の画像の切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字認識手段によって取得された文字コード列の文字列を追尾対象文字列とし、当該追尾対象文字列と、前記画像撮像手段による撮影可能範囲内で、前記追尾対象文字列の近傍に存る周辺文字列との位置関係に基づいて、前記追尾対象文字列の移動方向を特定し、その移動方向を前記表示手段に視認可能に表示する文字列追尾手段と
を具備し、
前記画像撮影手段、前記表示手段、前記文字列切り出し手段、前記文字認識手段、及び前記文字列追尾手段による動作を所定の時間間隔で繰り返し実行する、
ことを特徴とする携帯端末。
前記文字列追尾手段により追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とすることを特徴とする請求項１記載の携帯端末。
前記文字列追尾手段は、前記追尾対象文字列を、前記表示手段上で強調表示させることを特徴とする請求項１または２に記載の携帯端末。
前記文字列切り出し手段は、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、前記文字列の画像が前記画像撮像手段によって撮影された画像上のどこに位置するかを示す文字列画像位置情報を取得し、
前記文字列追尾手段は、前記文字列画像位置情報に基づいて前記追尾対象文字列が前記画像撮像手段の撮影可能範囲外に在るか否かを判断し、前記追尾対象文字列が前記画像撮像手段の撮影可能範囲外に出ようとしている場合には、前記文字列切り出し手段に対して、次回の動作時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を前記追尾対象文字列の移動方向を特定するためのマーカー文字列として切り出すよう指示し、前記文字列切り出し手段によって前記追尾対象文字列の近傍に在るマーカー文字列が切り出されると、前記追尾対象文字列と前記マーカー文字列との位置関係に基づいて、前記画像撮像手段による撮影可能範囲に対する前記追尾対象文字列の移動方向を特定することを特徴とする請求項１ないし３のいずれかに記載の携帯端末。
前記文字列切り出し手段は、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、
前記文字列追尾手段は、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、もしくは、略同一画像サイズであるか判断し、比較する文字列が略同一位置、もしくは、略同一画像サイズであれば、同じ文字列であると判定することを特徴とする請求項１ないし４のいずれかに記載の携帯端末。
前記文字列切り出し手段は、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、
前記文字列追尾手段は、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、かつ略同一画像サイズであるか判断し、比較する文字列が略同一位置、かつ略同一画像サイズであれば、同じ文字列であると判定することを特徴とする請求項１ないし４のいずれかに記載の携帯端末。
前記文字列追尾手段は、前記文字列切り出し手段に対して、次回の動作時に、前記マーカー文字列の在る位置から前記追尾対象文字列が在る方向へ隣接する文字列を切り出すように命令を出し、前記文字列切り出し手段がその文字列を切り出すことができれば、それを新たなマーカー文字列とし、前記追尾対象文字列と前記新たなマーカー文字列との位置関係に基づいて、前記画像撮像手段による撮影可能範囲に対する前記追尾対象文字列の移動方向を特定することを特徴とする請求項４ないし６のいずれかに記載の携帯端末。
撮像部を備える携帯端末の文字読取方法において、
前記撮影部により文章を所定の時間間隔で連続して撮影する第１のステップと、
前記撮像部により撮影された文章の画像を表示部に表示する第２のステップと、
撮影した文章の画像から、少なくとも１つの文字列を含む画像を切り出す第３のステップと、
切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得する第４のステップと、
前記取得した文字コード列と、直前に撮像された文章の画像から切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記第４のステップで取得された文字コード列の文字列を追尾対象文字列とし、当該追尾対象文字列と、前記撮像部による撮影可能範囲内で、前記追尾対象文字列の近傍に存る周辺文字列との位置関係に基づいて、前記追尾対象文字列の移動方向を特定し、その移動方向を前記表示部に視認可能に表示する第５のステップと、
前記第１から第５のステップを所定の時間間隔で繰り返し実行する第６のステップと、
前記追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とする第７のステップと
を含むことを特徴とする文字読取方法。
撮像部を備える携帯端末による文字読取プログラムにおいて、
前記撮像部により文章を撮影する第１の機能、
前記撮像部により撮影された文章の画像を表示部に表示する第２の機能、
撮影した文章の画像から、少なくとも１つの文字列を含む画像を切り出す第３の機能、
切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得する第４の機能、
前記取得した文字コード列と、直前に撮像された文章の画像から切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記第４の機能で取得された文字コード列の文字列を追尾対象文字列とし、当該追尾対象文字列と、前記撮像部による撮影可能範囲内で、前記追尾対象文字列の近傍に存る周辺文字列との位置関係に基づいて、前記追尾対象文字列の移動方向を特定し、その移動方向を前記表示部に視認可能に表示する第５の機能、
前記第１から第５の機能を所定の時間間隔で繰り返し実行する第６の機能、
前記追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とする第７の機能
をコンピュータに実行させることを特徴とする文字読取プログラム。