JP5325870B2

JP5325870B2 - Character string output device, character recognition system, program, and character string output method

Info

Publication number: JP5325870B2
Application number: JP2010249031A
Authority: JP
Inventors: 直樹橋田
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2010-11-05
Filing date: 2010-11-05
Publication date: 2013-10-23
Anticipated expiration: 2030-11-05
Also published as: JP2012103755A

Description

本発明は、画像中の文字列のレイアウトに従って文字認識の結果を出力するための技術に関する。 The present invention relates to a technique for outputting a result of character recognition according to a layout of a character string in an image.

画像に対する文字認識処理の結果を、その画像中での文字（又は文字列）のレイアウトに従った内容で出力する技術がある。例えば、特許文献１は、手書き文字を含む原稿を対象としたＯＣＲ（Optical Character Recognition）処理の結果を、原稿での文字の大きさや文字間スペースを再現して印刷することにより、元原稿のレイアウトに準ずるようにすることを開示している。 There is a technique for outputting the result of character recognition processing on an image with contents according to the layout of characters (or character strings) in the image. For example, Patent Document 1 discloses the layout of an original document by printing the result of OCR (Optical Character Recognition) processing for a document including handwritten characters while reproducing the size of characters and the space between characters in the document. It is disclosed to comply with the above.

特開２００６−１９６９７６号公報JP 2006-196976 A

ところで、縦書きと横書きなどのように、文字列の文字が連なる方向（列方向）がそれぞれ異なる文字列がひとつの画像の中に混在することがある。ここで、縦書きの文字列と横書きの文字列とは別々のまとまりとして捉えるべきであるが、従来の文字認識技術では、これらを区別せずに文字認識結果を出力してしまい、ユーザがその出力結果を見たときに意味が分からない文字列になることがある。また、横書きの文字列又は縦書きの文字列のいずれか一方だけが画像に含まれている場合であっても、その画像の元原稿を書いたユーザが、例えば或る意味を持つ文字列群を或る場所にまとめて書き、また、別の意味を持つ文字列群をそれとは別の場所にまとめて書く、といった具合に、各文字列をいくつかのまとまりに分けた上で、文字列を書く場所を変えるというようなケースがある。従来の文字認識技術では、このようなグループを区別せずに文字認識結果を出力してしまい、ユーザがその出力結果を見たときに、せっかくグループ分けした文字列が混在して、見分けがつかなくなってしまうことがある。
そこで、本発明の目的は、画像に対する文字認識の結果を出力するときに、その画像に含まれる文字列群のまとまりをも表現することができる仕組みを提供することにある。 By the way, there are cases where character strings having different directions (column directions) in which the characters of a character string are continuous are mixed in one image, such as vertical writing and horizontal writing. Here, vertical character strings and horizontal character strings should be regarded as separate groups, but conventional character recognition technology outputs character recognition results without distinguishing them, and the user can When looking at the output result, it may become a character string whose meaning is unknown. Even if only one of the horizontally written character string or the vertically written character string is included in the image, the user who wrote the original document of the image, for example, has a certain character string group. Is written in a certain place, and a group of strings having different meanings is written in a different place, and so on. There are cases such as changing the place of writing. In the conventional character recognition technology, the character recognition result is output without distinguishing such groups, and when the user sees the output result, the grouped character strings are mixed together, so that it can be distinguished. It may disappear.
Accordingly, an object of the present invention is to provide a mechanism capable of expressing a group of character strings included in an image when outputting a result of character recognition for the image.

上述した課題を解決するため、本発明の文字列出力装置は、２以上の文字を配列した文字列を含む複数の文字列を画像から抽出する抽出部と、前記抽出部が抽出した一の文字列に注目して、この注目文字列の位置から当該文字列の文字が連なる方向に離れるにつれて当該方向に直交する方向に次第に広がり、かつ、当該位置からの距離が閾値以下である探索範囲に含まれる文字列を前記画像から探索し、探索した文字列と前記注目文字列とを同一グループにして、前記複数の文字列の各文字列をグループ化するグループ化部と、前記各文字列に対する文字認識を行う文字認識部と、前記文字認識部により文字認識された文字列を、前記グループ毎に分類して表示されるように出力する出力部とを備えることを特徴とする。 In order to solve the problems described above, the character string output apparatus of the present invention, an extraction unit for extracting a plurality of strings containing a string array of two or more characters from the image, one character extracted by the extracting unit Paying attention to the column, it gradually spreads in the direction orthogonal to the direction as the characters of the character string move away from the position of the character string of interest and is included in the search range where the distance from the position is less than or equal to the threshold value It searches the string from the image, and the search string and said target string to the same group, the grouping unit for grouping each string of the plurality of character strings, the character for each character string a character recognition unit for recognizing a character string character recognition by the character recognition unit, and an outputting unit that outputs to be displayed are classified before each SL group.

本発明の好ましい態様において、前記グループ化部は、決められた条件を満たす文字列を前記注目文字列として前記探索を開始し、前記探索範囲に含まれる未グループ化の文字列のうち、当該注目文字列の位置からの近さに応じて新たな注目文字列を順次探索していき、当該新たな注目文字列が、それよりも先に探索したすべての注目文字列からの前記探索範囲に含まれる場合に、当該新たな注目文字列と当該すべての文字列とを同一グループにする。この場合に、前記条件は、未グループ化の文字列のうち、前記画像の画像領域の予め決められた端部に最も近い位置にある文字列であることが好ましい。 In a preferred aspect of the present invention, the grouping unit starts the search using a character string that satisfies a predetermined condition as the attention character string, and among the ungrouped character strings included in the search range, A new attention character string is sequentially searched according to the proximity from the position of the character string , and the new attention character string is included in the search range from all the attention character strings searched earlier than that. The new attention character string and all the character strings are grouped together. In this case, it is preferable that the condition is a character string at a position closest to a predetermined end of the image area of the image among ungrouped character strings.

本発明の別の好ましい態様において、各注目文字列の前記探索範囲について、当該文字列の文字が連なる方向に対する長さにより前記閾値が定められる。
本発明の別の好ましい態様において、前記グループ化部は、前記抽出部が抽出した文字列の文字が連なる方向に基づいて、縦書きの文字列と横書きの文字列とに分けてグループ化する。
本発明の別の好ましい態様において、前記出力部は、前記グループ化の結果に従って、前記文字認識された文字列をグループ単位で改行して表示させるための表示データを出力する。 In another preferred aspect of the present invention, for the search range of each character string of interest, the threshold is determined by the length of the character string in the direction in which the characters are continuous.
In another preferable aspect of the present invention, the grouping unit divides the character string into a vertically written character string and a horizontally written character string based on the direction in which the characters of the character string extracted by the extracting unit continue.
In another preferred aspect of the present invention, the output unit outputs display data for displaying the character string recognized as a line by group, in accordance with the grouping result.

また、本発明の文字認識システムは、撮影部と、前記撮影部の撮影により得られる画像から２以上の文字を配列した文字列を含む複数の文字列を抽出する抽出部と、前記抽出部が抽出した一の文字列に注目して、この注目文字列の位置から当該文字列の文字が連なる方向に離れるにつれて当該方向に直交する方向に次第に広がり、かつ、当該位置から距離が閾値以下である探索範囲に含まれる文字列を前記画像から探索して、探索した文字列と前記注目文字列とを同一グループにして、前記複数の文字列の各文字列をグループ化するグループ化部と、前記各文字列に対する文字認識を行う文字認識部と、前記文字認識部により文字認識された文字列を、前記グループ毎に分類して表示されるように出力する出力部と、前記出力部により出力された文字列を表示する表示部とを備えることを特徴とする。 The character recognition system according to the present invention includes an imaging unit, an extraction unit that extracts a plurality of character strings including a character string in which two or more characters are arranged from an image obtained by imaging of the imaging unit, and the extraction unit includes: Paying attention to the extracted one character string, it gradually spreads in the direction orthogonal to the direction as the characters of the character string move away from the position of the character string of interest and the distance from the position is equal to or less than the threshold value. a character string included in the search range are searched from the image, and the search string and said target string to the same group, the grouping unit for grouping each string of the plurality of character strings, the a character recognition unit for performing character recognition for each character string, a character string character recognition by the character recognition unit, an output unit for outputting to appear classified before Symbol each group, output by the output unit The Characterized in that it comprises a display unit for displaying the character string.

また、本発明のプログラムは、コンピュータに、２以上の文字を配列した文字列を含む複数の文字列を画像から抽出する抽出ステップと、前記抽出ステップで抽出した一の文字列に注目して、この注目文字列の位置から当該文字列の文字が連なる方向に離れるにつれて当該方向に直交する方向に次第に広がり、かつ、当該位置からの距離が閾値以下である探索範囲に含まれる文字列を前記画像から探索して、探索した文字列と前記注目文字列とを同一グループにして、前記複数の文字列の各文字列をグループ化するグループ化ステップと、前記各文字列に対する文字認識を行う文字認識ステップと、前記文字認識ステップで文字認識された文字列を、前記グループ毎に分類して表示されるように出力する出力ステップとを実行させるためのものである。
また、本発明の文字列出力方法は、２以上の文字を配列した文字列を含む複数の文字列を画像から抽出する抽出ステップと、前記抽出ステップで抽出した一の文字列に注目して、この注目文字列の位置から当該文字列の文字が連なる方向に離れるにつれて次第に広がり、かつ、当該位置からの距離が閾値以下である探索範囲に含まれる文字列を前記画像から探索して、探索した文字列と前記注目文字列とを同一グループにして、前記複数の文字列の各文字列をグループ化するグループ化ステップと、前記各文字列に対する文字認識を行う文字認識ステップと、前記文字認識ステップで文字認識された文字列を、前記グループ毎に分類して表示されるように出力する出力ステップとを有することを特徴とする。 Further, the program of the present invention pays attention to an extraction step of extracting a plurality of character strings including a character string in which two or more characters are arranged from an image , and the one character string extracted in the extraction step. A character string that gradually spreads in a direction orthogonal to the direction as the characters in the character string move away from the position of the target character string and that is included in a search range in which the distance from the position is equal to or less than a threshold is the image. in search from the, and the search string and said target string to the same group, and grouping step of grouping each string of the plurality of character strings, the character recognition steps for each string step a, the character string character recognition in the character recognition step, also the order to execute an output step of outputting to appear classified before each Symbol group It is.
In the character string output method of the present invention, attention is paid to the extraction step of extracting a plurality of character strings including a character string in which two or more characters are arranged from the image , and the one character string extracted in the extraction step, A search was made by searching the image for a character string that gradually spreads away from the position of the character string of interest in the direction in which the characters of the character string continue and that is included in a search range in which the distance from the position is equal to or less than a threshold value. the character string and the target string in the same group, and grouping step of grouping each string of the plurality of character strings, and character recognition step of performing character recognition for each character string, said character recognition step in the character recognition string, and it is having an output step of outputting as display classified before each SL group.

本発明によれば、画像に対する文字認識の結果を出力するときに、その画像に含まれる文字列群のまとまりをも表現することができる。 According to the present invention, when outputting the result of character recognition for an image, a group of character strings included in the image can also be expressed.

文字認識システムの構成を示す図Diagram showing the configuration of the character recognition system 文字列出力装置のハードウェア構成を示すブロック図Block diagram showing the hardware configuration of the character string output device 携帯端末のハードウェア構成を示すブロック図Block diagram showing hardware configuration of portable terminal 文字列出力装置の制御部が実現する機能構成を示す機能ブロック図Functional block diagram showing the functional configuration realized by the control unit of the character string output device 撮影画像の一例を示す図The figure which shows an example of the photographed image グループ化処理の手順を説明するフローチャートFlow chart explaining the procedure of grouping processing グループ化処理の説明図Explanatory drawing of grouping process 横書きの文字列に対するグループ化処理の説明図Explanatory diagram of grouping processing for horizontal text 縦書きの文字列に対するグループ化処理の説明図Explanatory drawing of grouping processing for vertically written character strings グループ化処理の結果の説明図Explanatory drawing of the result of grouping process 文字認識システムにおいて実行される処理の手順を示すシーケンス図Sequence diagram showing procedure of processing executed in character recognition system 表示データの内容の一例を示す図The figure which shows an example of the contents of display data

以下、図面を参照しつつ本発明の一実施形態について説明する。
［実施形態の構成］
図１は、文字認識システム１の構成を示す図である。
図１に示すように、文字認識システム１は、文字列出力装置１０と携帯端末２０とを備える。文字列出力装置１０と携帯端末２０とは、通信網ＮＷを介して互いに通信可能に接続されている。通信網ＮＷは、移動通信網やインターネット、ゲートウェイ等を含む通信網である。文字列出力装置１０は、携帯端末２０から受信した撮影画像に対する文字認識等を行い、この処理により得られる文字コード（例えば、ASCII、Unicode、Shift_JIS等）で記述した文字列を携帯端末２０に対して提供するサービスを行う。携帯端末２０は、撮影機能を有しユーザが携帯可能な情報処理端末であり、ここでは携帯電話端末である。携帯端末２０は、文字列出力装置１０により提供されるサービスを受けるユーザによって所有されるものである。
なお、図１には携帯端末２０を１つだけ記載しているが、実際には更に多数の携帯端末２０が文字認識システム１に含まれる。また、携帯端末２０は、携帯電話端末のほか、スマートフォンやＰＤＡ（Personal Digital Assistant）、携帯ゲーム機等であってもよい。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
[Configuration of the embodiment]
FIG. 1 is a diagram showing a configuration of a character recognition system 1.
As shown in FIG. 1, the character recognition system 1 includes a character string output device 10 and a mobile terminal 20. The character string output device 10 and the portable terminal 20 are connected to be communicable with each other via a communication network NW. The communication network NW is a communication network including a mobile communication network, the Internet, a gateway, and the like. The character string output device 10 performs character recognition on the captured image received from the mobile terminal 20, and transmits a character string described by a character code (for example, ASCII, Unicode, Shift_JIS, etc.) obtained by this processing to the mobile terminal 20. Services provided. The mobile terminal 20 is an information processing terminal that has a photographing function and can be carried by a user, and is a mobile phone terminal here. The portable terminal 20 is owned by a user who receives a service provided by the character string output device 10.
Although only one mobile terminal 20 is illustrated in FIG. 1, a larger number of mobile terminals 20 are actually included in the character recognition system 1. The mobile terminal 20 may be a smart phone, a PDA (Personal Digital Assistant), a mobile game machine, or the like in addition to the mobile phone terminal.

図２は、文字列出力装置１０のハードウェア構成を示すブロック図である。図２に示すように、文字列出力装置１０は、制御部１１と、通信部１２と、記憶部１３とを備える。
制御部１１は、ＣＰＵ（Central Processing Unit）を含む演算装置やメモリを備え、記憶部１３に記憶されたプログラムを読み出して実行することにより、文字列出力装置１０の各部を制御する。通信部１２は、通信網ＮＷに接続するためのインタフェースである。記憶部１３は、例えばハードディスク装置を備え、ＯＣＲプログラム１３１や、ＯＣＲプログラム１３１を用いて実行可能な光学文字認識処理（以下、「ＯＣＲ処理」という。）に必要となる文字パターンファイルや辞書ファイル等の情報を記憶する。 FIG. 2 is a block diagram illustrating a hardware configuration of the character string output device 10. As shown in FIG. 2, the character string output device 10 includes a control unit 11, a communication unit 12, and a storage unit 13.
The control unit 11 includes an arithmetic device and a memory including a CPU (Central Processing Unit), and controls each unit of the character string output device 10 by reading and executing a program stored in the storage unit 13. The communication unit 12 is an interface for connecting to the communication network NW. The storage unit 13 includes a hard disk device, for example, and includes an OCR program 131, a character pattern file, a dictionary file, and the like necessary for optical character recognition processing (hereinafter referred to as “OCR processing”) that can be executed using the OCR program 131. The information is memorized.

図３は、携帯端末２０のハードウェア構成を示すブロック図である。図３に示すように、携帯端末２０は、制御部２１と、操作部２２と、無線通信部２３と、撮影部２４と、表示部２５と、記憶部２６とを備える。
制御部２１は、ＣＰＵを含む演算装置やメモリを備え、記憶部２６に記憶されたプログラムを読み出して実行することにより携帯端末２０の各部の動作を制御する。操作部２２は、テンキー等の複数の操作子を備え、ユーザによる操作子の操作を受け付けて、その操作に応じた操作信号を制御部２１に出力する。無線通信部２３は、無線通信回路やアンテナを備え、通信網ＮＷに接続するためのインタフェースである。撮影部２４は、ＣＣＤ（Charge Coupled Device）等の撮像素子を備え、撮影して撮影画像を生成する。表示部２５は、例えば液晶駆動回路や液晶ディスプレイを備え、画像の表示により情報に応じた内容を報知する。記憶部２６は、例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）を備え、文字列出力装置１０が提供されるサービスを受けるために必要なアプリケーションプログラム等を記憶する。
なお、携帯端末２０は、上記構成以外にも、受話音声を収音するマイクや送話音声を放音するスピーカ等、携帯電話端末として機能するための構成を備える。 FIG. 3 is a block diagram illustrating a hardware configuration of the mobile terminal 20. As illustrated in FIG. 3, the mobile terminal 20 includes a control unit 21, an operation unit 22, a wireless communication unit 23, a photographing unit 24, a display unit 25, and a storage unit 26.
The control unit 21 includes an arithmetic device including a CPU and a memory, and controls the operation of each unit of the mobile terminal 20 by reading and executing a program stored in the storage unit 26. The operation unit 22 includes a plurality of operation elements such as a numeric keypad, receives an operation of the operation element by a user, and outputs an operation signal corresponding to the operation to the control unit 21. The wireless communication unit 23 includes a wireless communication circuit and an antenna, and is an interface for connecting to the communication network NW. The imaging unit 24 includes an imaging device such as a CCD (Charge Coupled Device), and shoots to generate a captured image. The display unit 25 includes, for example, a liquid crystal driving circuit and a liquid crystal display, and notifies the contents according to the information by displaying an image. The storage unit 26 includes, for example, an EEPROM (Electronically Erasable and Programmable ROM), and stores an application program and the like necessary for receiving the service provided by the character string output device 10.
In addition to the above configuration, the mobile terminal 20 has a configuration for functioning as a mobile phone terminal, such as a microphone that collects received voice and a speaker that emits transmitted voice.

図４は、文字列出力装置１０の制御部１１が実現する機能構成を示す機能ブロック図である。
制御部１１はＯＣＲプログラム１３１を実行することにより、撮影画像取得部１１１と、文字列抽出部１１２と、グループ化部１１３と、文字認識部１１４と、文字列出力部１１５とに相当する機能を実現する。
撮影画像取得部１１１は、携帯端末２０での撮影により得られる撮影画像を取得する。詳しくは後述するが、携帯端末２０は撮影部２４により撮影して得た撮影画像を、文字列出力装置１０宛てに送信する。撮影画像取得部１１１は、携帯端末２０により送信された撮影画像が通信部１２により受信されると、受信された撮影画像を通信部１２から取得する。撮影画像取得部１１１は、撮像画像の一例として、図５に示される内容の撮像画像Ｐ１を取得する。この実施形態の撮影画像は、矩形の画像領域を有する画像であり、画像領域内の各位置にはｘｙ直交座標系に従って座標が割り当てられている。ｘｙ直交座標系では、撮影画像の左上隅点が原点Ｏに対応し、画像領域の一方の辺（紙面左右方向に延びる辺）に沿ってｘ軸が延び、他方の辺（紙面上下方向に延びる辺）に沿ってｙ軸が延びている。撮影画像Ｐ１の画像領域の短手方向がｘ軸方向に一致し、長手方向がｙ軸方向に一致する。また、撮像画像Ｐ１には、文字列Ｔ１〜Ｔ８という８つの文字列が含まれる。このうち、文字列Ｔ１〜Ｔ６は、横書きで記述された文字列であり、文字列Ｔ７及びＴ８は、縦書きで記述された文字列である。横書き及び縦書きいずれであっても、文字が連なる方向に文字列が延びる。
なお、「軸方向」は、この軸に平行な方向のことをいう。また、この実施形態では、複数の文字を配列した文字列を想定するが、１文字であっても本発明の文字列に含まれる。 FIG. 4 is a functional block diagram illustrating a functional configuration realized by the control unit 11 of the character string output device 10.
The control unit 11 executes functions of the captured image acquisition unit 111, the character string extraction unit 112, the grouping unit 113, the character recognition unit 114, and the character string output unit 115 by executing the OCR program 131. Realize.
The captured image acquisition unit 111 acquires a captured image obtained by capturing with the mobile terminal 20. As will be described in detail later, the mobile terminal 20 transmits a captured image obtained by photographing with the photographing unit 24 to the character string output device 10. When the captured image transmitted from the mobile terminal 20 is received by the communication unit 12, the captured image acquisition unit 111 acquires the received captured image from the communication unit 12. The captured image acquisition unit 111 acquires the captured image P1 having the contents shown in FIG. 5 as an example of the captured image. The captured image of this embodiment is an image having a rectangular image area, and coordinates are assigned to each position in the image area in accordance with an xy orthogonal coordinate system. In the xy orthogonal coordinate system, the upper left corner point of the captured image corresponds to the origin O, the x-axis extends along one side (side extending in the left-right direction on the paper surface) of the image region, and the other side (extending in the vertical direction on the paper surface). The y-axis extends along (side). The short side direction of the image area of the captured image P1 matches the x-axis direction, and the long side direction matches the y-axis direction. The captured image P1 includes eight character strings T1 to T8. Among these, the character strings T1 to T6 are character strings described in horizontal writing, and the character strings T7 and T8 are character strings described in vertical writing. In both horizontal writing and vertical writing, the character string extends in the direction in which the characters continue.
The “axial direction” refers to a direction parallel to this axis. In this embodiment, a character string in which a plurality of characters are arranged is assumed, but even a single character is included in the character string of the present invention.

文字列抽出部１１２は、撮影画像取得部１１１が取得した撮影画像から各文字列を抽出する。文字列抽出部１１２は、例えば、撮影画像に対して二値化処理を施した後に、文字列を囲む矩形状のテキスト領域を定めることによって撮影画像から文字列を抽出する。このテキスト領域は、例えば、文字列に外接する外接矩形で定義される矩形領域である。文字列抽出部１１２は、撮像画像Ｐ１について、文字列Ｔ１〜Ｔ８のそれぞれで独立したテキスト領域を定める。
なお、文字列抽出部１１２が行う文字列の抽出は、ここではＯＣＲ処理の前段階の処理として行われるものである。 The character string extraction unit 112 extracts each character string from the captured image acquired by the captured image acquisition unit 111. The character string extraction unit 112 extracts a character string from the photographed image by, for example, defining a rectangular text region surrounding the character string after performing binarization processing on the photographed image. This text area is, for example, a rectangular area defined by a circumscribed rectangle circumscribing a character string. The character string extraction unit 112 determines an independent text region for each of the character strings T1 to T8 for the captured image P1.
Note that the character string extraction performed by the character string extraction unit 112 is performed here as a process prior to the OCR process.

グループ化部１１３は、後述するグループ化処理を行うことにより、文字列抽出部１１２により抽出された各文字列をグループ化する。グループ化処理の内容については後述するが、グループ化部１１３は、撮影画像において相対的に近い位置にある文字列同士を１つのグループにするようグループ化する。 The grouping unit 113 groups the character strings extracted by the character string extraction unit 112 by performing a grouping process described later. Although the contents of the grouping process will be described later, the grouping unit 113 groups the character strings located at relatively close positions in the photographed image into one group.

文字認識部１１４は、撮影画像取得部１１１が取得した撮影画像から文字列を認識するＯＣＲ処理を行って、各文字列を文字コードで記述された文字列に変換する。文字認識部１１４は、記憶部１３に記憶された文字パターンファイルや辞書ファイル等を用いて、周知の方法によりＯＣＲ処理を行う。
なお、グループ化部１１３は、文字列抽出部１１２により文字列が抽出され、更に、文字認識部１１４により文字認識された結果を用いて、グループ化処理を行ってもよい。 The character recognition unit 114 performs OCR processing for recognizing a character string from the captured image acquired by the captured image acquisition unit 111, and converts each character string into a character string described by a character code. The character recognition unit 114 performs OCR processing by a known method using a character pattern file, a dictionary file, or the like stored in the storage unit 13.
The grouping unit 113 may perform the grouping process using the result of the character string extracted by the character string extracting unit 112 and the character recognition performed by the character recognition unit 114.

文字列出力部１１５は、文字認識部１１４により文字コード化された文字列を、グループ化部１１３のグループ化の結果に従って、各文字列がグループ毎に分類して表示されるように出力する。文字列出力部１１５は、文字コード化された文字列を表示装置に表示させるための表示データを生成し、生成した表示データを通信部１２に出力する。文字列出力部１１５が出力した表示データは、撮影画像取得部１１１の文字列の取得元（つまり、携帯端末２０）に通信部１２によって送信される。
文字認識システム１の構成の説明は以上である。 The character string output unit 115 outputs the character strings that have been character-coded by the character recognition unit 114 such that each character string is displayed in a grouped manner according to the grouping result of the grouping unit 113. The character string output unit 115 generates display data for causing the display device to display a character string that has been character-coded, and outputs the generated display data to the communication unit 12. The display data output by the character string output unit 115 is transmitted by the communication unit 12 to the character string acquisition source (that is, the mobile terminal 20) of the captured image acquisition unit 111.
The configuration of the character recognition system 1 has been described above.

［実施形態の動作］
続いて、文字認識システム１に関わる動作について説明する。
まず、文字列出力装置１０が実行するグループ化処理（つまり、グループ化部１１３に関わる機能）についてより詳細に説明する。
図６は、グループ化処理の手順を示すフローチャートである。以下では、文字列出力装置１０が、図５に示す内容の撮像画像Ｐ１を用いてグループ化処理を行う場合の動作について説明する。図７〜９は、それぞれグループ化処理の説明図である。
制御部１１は、撮影画像Ｐ１を取得すると、撮影画像Ｐ１の座標軸を変換する（ステップＳ５１）。ここで、制御部１１は、撮影画像に含まれる文字列の天地方向を撮影画像の天地方向に一致させるように撮影画像Ｐ１に対して回転処理を施す。この回転処理によって、図５に示す撮影画像Ｐ１は、図７（ａ）に示す撮影画像Ｐ２に加工される。撮影画像Ｐ２は、撮影画像Ｐ１を時計回り方向に９０度回転した画像であり、画像領域の長手方向がｘ軸方向に平行となり、短手方向がｙ軸方向に平行となる。
なお、図７（ａ）において、矩形の二点鎖線は、それぞれ各文字列に対応するテキスト領域を表したものであり、実際に撮影画像に含まれているわけではない。ただし、図が見づらくなるのを防ぐため、文字列とテキスト領域を示す二点鎖線とを若干離して図示している。矩形の二点鎖線の意味は、他の図面でも同じである。図７（ａ）に示すように、テキスト領域の長手方向は、このテキスト領域に含まれる文字列において文字が連なる方向（以下、「列方向」という。）に一致する。よって、ステップＳ５１の処理では、制御部１１は各テキスト領域の長手方向を参照して、撮影画像を９０度回転させるか、撮影画像を回転させないかといった回転処理の内容を決定する。 [Operation of the embodiment]
Next, operations related to the character recognition system 1 will be described.
First, the grouping process (that is, the function related to the grouping unit 113) executed by the character string output device 10 will be described in more detail.
FIG. 6 is a flowchart showing the procedure of the grouping process. Hereinafter, an operation when the character string output apparatus 10 performs the grouping process using the captured image P1 having the contents illustrated in FIG. 5 will be described. 7 to 9 are explanatory diagrams of the grouping process.
When acquiring the captured image P1, the control unit 11 converts the coordinate axes of the captured image P1 (step S51). Here, the control unit 11 performs a rotation process on the captured image P1 so that the vertical direction of the character string included in the captured image matches the vertical direction of the captured image. By this rotation processing, the captured image P1 shown in FIG. 5 is processed into a captured image P2 shown in FIG. The captured image P2 is an image obtained by rotating the captured image P1 by 90 degrees in the clockwise direction, and the longitudinal direction of the image area is parallel to the x-axis direction and the short side direction is parallel to the y-axis direction.
In FIG. 7A, each rectangular two-dot chain line represents a text area corresponding to each character string, and is not actually included in the captured image. However, in order to prevent the figure from becoming difficult to see, the character string and the two-dot chain line indicating the text area are shown slightly apart. The meaning of the rectangular two-dot chain line is the same in other drawings. As shown in FIG. 7A, the longitudinal direction of the text area coincides with the direction in which characters are connected in the character string included in the text area (hereinafter referred to as “column direction”). Accordingly, in the process of step S51, the control unit 11 refers to the longitudinal direction of each text area and determines the content of the rotation process such as whether to rotate the captured image by 90 degrees or not to rotate the captured image.

次に、制御部１１は、撮影画像から抽出した各文字列の列方向に基づいて、縦書きの文字列と横書きの文字列とに分類する（ステップＳ５２）。ここでは、制御部１１は、各テキスト領域の長手方向をｘ軸又はｙ軸の向きが近い方の軸と平行にするよう、各文字列を回転させる。この回転により、図７（ａ）に示す撮影画像Ｐ２は、図７（ｂ）に示す撮影画像Ｐ３に加工される。これにより、各テキスト領域の長手方向（つまり、文字列の列方向）においては、横書きの文字列についてはｘ軸に平行となり、縦書きの文字列についてはｙ軸に平行となる。
なお、制御部１１は、ＯＣＲ処理を行ってからグループ化処理を行ってもよい。この場合、制御部１１は、ステップＳ５１の処理ではＯＣＲ処理から文字の天地方向を特定し、ステップＳ５２の処理では、ＯＣＲ処理からテキスト領域を特定したり、テキスト領域に含まれる文字列の文字が連なる方向を特定したりするとよい。 Next, the control unit 11 classifies the character string into a vertically written character string and a horizontally written character string based on the column direction of each character string extracted from the photographed image (step S52). Here, the control unit 11 rotates each character string so that the longitudinal direction of each text region is parallel to the axis with the direction of the x-axis or the y-axis closer. By this rotation, the photographed image P2 shown in FIG. 7A is processed into a photographed image P3 shown in FIG. Thereby, in the longitudinal direction of each text area (that is, the column direction of the character string), the horizontally written character string is parallel to the x axis, and the vertically written character string is parallel to the y axis.
Note that the control unit 11 may perform the grouping process after performing the OCR process. In this case, the control unit 11 specifies the top / bottom direction of the character from the OCR process in the process of step S51. In the process of step S52, the control unit 11 specifies the text area from the OCR process or the character of the character string included in the text area. It is better to specify the direction of the series.

続いて、制御部１１は、横書きの文字列を対象としたグループ化処理を開始する（ステップＳ５３）。このとき、制御部１１は、例えば、横書きの文字列を対象とすることを示すフラグデータをメモリに記憶する。これにより、このフラグデータがメモリに記憶されている限りは、制御部１１は撮影画像に含まれる文字列のうち、横書きの文字列を対象として後述する処理ステップを実行する。 Subsequently, the control unit 11 starts a grouping process for a horizontally written character string (step S53). At this time, the control unit 11 stores, for example, flag data indicating that a horizontally written character string is targeted in the memory. As a result, as long as the flag data is stored in the memory, the control unit 11 executes processing steps to be described later for the horizontally written character string among the character strings included in the captured image.

次に、制御部１１は、撮影画像から抽出した文字列の中から、決められた条件を満たす文字列を基準文字列に決定する（ステップＳ５４）。基準文字列は、制御部１１により文字列の探索が開始される際に、その起点となる文字列である。具体的には、制御部１１は、横書きの文字列については、未だいずれのグループにも分類していない文字列（未グループ化の文字列）のうち、テキスト領域の頂点が最も撮影画像の上端に近い文字列（つまり、ｙ座標が最小である文字列。）を基準文字列に決定する。
なお、この実施形態の頂点は、横書きの文字列についてはテキスト領域の左上に位置するものを指すものとする。テキスト領域の頂点は、この実施形態において、このテキスト領域に含まれる文字列の位置を表すものである。ここでは、ステップＳ５４の処理において、制御部１１は「福岡」という文字列Ｔ１を基準文字列に決定する。 Next, the control unit 11 determines a character string satisfying the determined condition from the character strings extracted from the captured image as a reference character string (step S54). The reference character string is a character string that is a starting point when the control unit 11 starts searching for a character string. Specifically, for the horizontally written character string, the control unit 11 among the character strings that are not yet classified into any group (ungrouped character string) has the top of the captured image with the vertex of the text region being the highest. A character string close to (that is, a character string having the smallest y coordinate) is determined as a reference character string.
In addition, the vertex of this embodiment shall point to the thing located in the upper left of a text area about a horizontal character string. In this embodiment, the vertex of the text area represents the position of a character string included in the text area. Here, in the process of step S54, the control unit 11 determines the character string T1 "Fukuoka" as a reference character string.

次に、制御部１１は、ステップＳ５４の処理で決定した基準文字列に注目し、これを注目文字列として、この注目文字列の探索範囲に含まれる文字列を探索する（ステップＳ５５）。注目とは、制御部１１が探索範囲を設定する文字列を特定すること、つまり、探索範囲の起点となる頂点を有するテキスト領域を特定することをいう。制御部１１が実行するステップＳ５５の処理の内容について、図８（ａ）を参照しつつ説明する。図８（ａ）は、撮影画像Ｐ３のうち文字列Ｔ１付近を拡大した様子を表す。
制御部１１は、注目文字列Ｔ１の頂点ｖ１を起点として、注目文字列の列方向（つまり、ｘ軸方向）に対する両側に、それぞれ探索範囲Ｒ１（太線枠内）を設定する。探索範囲Ｒ１は、頂点ｖ１から注目文字列の列方向（つまり、ｘ軸方向）に角度θで広がり、かつ、頂点ｖ１からのｘ軸方向に対する距離が３Ｌ_１以下である三角形の範囲である。ここでは、θ＝１０°であり、頂点ｖ１よりも上側の領域（つまり、ｙ座標が小さい領域）は探索範囲Ｒ１に含まれない。３Ｌ_１という距離は、文字列Ｔ１の列方向の長さに応じて定められた閾値であり、この実施形態では、その長さの３倍となるように定められる。なお、θの値は予め決められた値である。 Next, the control unit 11 pays attention to the reference character string determined in the process of step S54, and searches for the character string included in the search range of the character string of interest using this as the character string of interest (step S55). Attention means that the control unit 11 specifies a character string that sets a search range, that is, specifies a text region having a vertex that is a starting point of the search range. The contents of the process of step S55 executed by the control unit 11 will be described with reference to FIG. FIG. 8A shows a state in which the vicinity of the character string T1 in the captured image P3 is enlarged.
The control unit 11 sets a search range R1 (within a thick line frame) on both sides of the target character string T1 with respect to the column direction (that is, the x-axis direction) starting from the vertex v1 of the target character string T1. Search range R1 is the column direction of the target string from the vertex v1 (i.e., x-axis direction) spread at an angle theta, and a range of the triangular distance to the x-axis direction is 3L ₁ or less from the vertex v1. Here, θ = 10 °, and the region above the vertex v1 (that is, the region having a small y coordinate) is not included in the search range R1. The distance of 3L ₁ is a threshold value determined according to the length of the character string T1 in the column direction, and in this embodiment, the distance is determined to be three times the length. The value of θ is a predetermined value.

ここで、制御部１１は、探索範囲Ｒ１内に未グループ化の別の文字列の頂点が含まれていれば、このうちの頂点ｖ１から最も近いものを新たに探索する。ここでいう「最も近い」とは、ｙ軸方向（撮影画像の天地方向）に対する距離が最も近いということを意味する。ただし、例えば直線距離やｘ軸方向（撮影画像の左右方向）に対する距離が近いという構成であってもよい。図８（ａ）に示すように、ここでは探索範囲Ｒ１内に「大阪」という文字列Ｔ２の頂点ｖ２と、「東京」という文字列Ｔ３の頂点ｖ３と探索範囲Ｒ１に含まれるが、制御部１１は「大阪」という文字列Ｔ２を新たに探索することになる。 Here, if the vertex of another character string that has not been grouped is included in the search range R1, the control unit 11 newly searches for the closest one from the vertex v1. Here, “closest” means that the distance to the y-axis direction (the vertical direction of the captured image) is the shortest. However, for example, a configuration in which the distance to the linear distance or the x-axis direction (the left-right direction of the captured image) is short may be employed. As shown in FIG. 8A, here, the search range R1 includes the vertex v2 of the character string T2 “Osaka” and the vertex v3 of the character string T3 “Tokyo” and the search range R1, but the control unit 11 newly searches the character string T2 “Osaka”.

次に、制御部１１は、ステップＳ５５の処理で新たな文字列を探索したか否かを判定する（ステップＳ５６）。制御部１１は、新たな文字列を探索したと判定すると（ステップＳ５６；ＹＥＳ）、当該新たな注目文字列が、それよりも先に探索したすべての未グループ化の文字列の探索範囲のそれぞれに含まれるか否かを判定する（ステップＳ５７）。ここでは、制御部１１は、ステップＳ５５の処理で探索した文字列Ｔ２が、先に探索したＴ１の探索範囲Ｒ１に含まれるか否かを判定する。図８（ａ）に示すとおり、ここでは、制御部１１はステップＳ５７の処理で「ＹＥＳ」と判定し、ステップＳ５８の処理に進む。そして、制御部１１は、直前のステップＳ５５の処理で探索した文字列Ｔ２を新たな注目文字列に決定して、ステップＳ５５の処理に戻る。 Next, the control unit 11 determines whether or not a new character string has been searched in the process of step S55 (step S56). When the control unit 11 determines that a new character string has been searched (step S56; YES), the new attention character string is searched for all ungrouped character strings searched earlier than that. (Step S57). Here, the control part 11 determines whether the character string T2 searched by the process of step S55 is included in the search range R1 of T1 searched previously. As shown in FIG. 8A, here, the control unit 11 determines “YES” in the process of step S57, and proceeds to the process of step S58. And the control part 11 determines the character string T2 searched by the process of the last step S55 as a new attention character string, and returns to the process of step S55.

次に、制御部１１は、ステップＳ５８の処理で決定した注目文字列Ｔ２の探索範囲に含まれる文字列を探索する（ステップＳ５５）。ここで、ステップＳ５５の処理の内容について、図８（ｂ）を参照しつつ説明する。図８（ｂ）は、撮影画像Ｐ３のうち文字列Ｔ２付近を拡大した様子を表す。制御部１１は、注目文字列Ｔ２の頂点ｖ２を起点として、注目文字列の列方向（つまり、ｘ軸方向）に対する両側に、それぞれ探索範囲Ｒ２（太線枠内）を設定する。探索範囲Ｒ２は、頂点ｖ２から注目文字列の列方向に角度θで広がり、かつ、頂点ｖ２からのｘ軸方向に対する距離が３Ｌ_２以下である三角形の範囲である。ここでは、θ＝１０°であり、頂点ｖ２よりも上側の領域は探索範囲Ｒ２に含まれない。３Ｌ_２という距離は、文字列Ｔ２の列方向の長さに応じて定められた閾値であり、この実施形態では、その長さの３倍となるように定められる。 Next, the control unit 11 searches for a character string included in the search range of the target character string T2 determined in the process of step S58 (step S55). Here, the contents of the process of step S55 will be described with reference to FIG. FIG. 8B shows a state in which the vicinity of the character string T2 is enlarged in the photographed image P3. The control unit 11 sets a search range R2 (within a bold frame) on both sides of the target character string with respect to the column direction (that is, the x-axis direction) starting from the vertex v2 of the target character string T2. The search range R2 is a triangular range extending from the vertex v2 in the column direction of the target character string at an angle θ and having a distance from the vertex v2 to the x-axis direction of 3L ₂ or less. Here, θ = 10 °, and the region above the vertex v2 is not included in the search range R2. The distance of 3L ₂ is a threshold value determined according to the length of the character string T2 in the column direction, and is determined to be three times the length in this embodiment.

図８（ｂ）に示すように、探索範囲Ｒ２内には「東京」という文字列Ｔ３の頂点ｖ３が含まれるので、制御部１１は、ステップＳ５５の処理で文字列Ｔ３を新たに探索する。次に、制御部１１は、ステップＳ５６の処理で「ＹＥＳ」と判定して、文字列Ｔ３よりも先に探索した、未グループ化のすべての注目文字列の探索範囲のそれぞれにこの注目文字列が含まれるか否かを判定する（ステップＳ５７）。ここでは、制御部１１は、文字列Ｔ３がそれよりも先に探索したすべての未グループ化の文字列（つまり、文字列Ｔ１及びＴ２）の探索範囲Ｒ１，Ｒ２のそれぞれに含まれるか否かを判定する。図８（ａ），（ｂ）に示すとおり、ここでは、制御部１１はステップＳ５７の処理で「ＹＥＳ」と判定し、ステップＳ５８の処理に進む。そして、制御部１１は、直前のステップＳ５５の処理で探索した文字列Ｔ３を新たな注目文字列に決定して、ステップＳ５５の処理に戻る。 As shown in FIG. 8B, since the vertex v3 of the character string T3 “Tokyo” is included in the search range R2, the control unit 11 newly searches the character string T3 in the process of step S55. Next, the control unit 11 determines “YES” in the process of step S <b> 56 and searches for each of the uncharacterized character strings searched for before the character string T <b> 3. Is included (step S57). Here, the control unit 11 determines whether or not the character string T3 is included in each of the search ranges R1 and R2 of all ungrouped character strings (that is, the character strings T1 and T2) searched earlier. Determine. As shown in FIGS. 8A and 8B, here, the control unit 11 determines “YES” in the process of step S57, and proceeds to the process of step S58. And the control part 11 determines the character string T3 searched by the process of the last step S55 as a new attention character string, and returns to the process of step S55.

次に、制御部１１は、ステップＳ５８で決定した注目文字列Ｔ３の探索範囲に含まれる文字列を探索する（ステップＳ５５）。ここで、ステップＳ５５の処理の内容について、図８（ｃ）を参照しつつ説明する。図８（ｃ）は、撮影画像Ｐ３のうち文字列Ｔ３付近を拡大した様子を表す。制御部１１は、探索範囲Ｒ１，Ｒ２と同じ根拠に基づいて、注目文字列Ｔ３の頂点ｖ３を起点とした探索範囲Ｒ３（太線枠内）を設定する。図８（ｃ）に示すように、探索範囲Ｒ３には別の文字列が含まれないから、制御部１１は、ステップＳ５５の処理では文字列を探索しない。そして、制御部１１は、ステップＳ５６の処理で「ＮＯ」と判定して、ステップＳ５９の処理に進む。
なお、制御部１１は、ステップＳ５５の処理で新たな文字列を探索した場合であっても、ステップＳ５６の処理で、それよりも先に探索した未グループ化のすべての文字列の各探索範囲に当該新たな文字列が含まれないときには、ステップＳ５７の処理で「ＮＯ」と判定して、ステップＳ５９の処理に進む。つまり、制御部１１は、基準文字列から或る程度離れた文字列については、これらが同一グループに属さないようにする。 Next, the control unit 11 searches for a character string included in the search range of the target character string T3 determined in step S58 (step S55). Here, the contents of the process of step S55 will be described with reference to FIG. FIG. 8C shows a state in which the vicinity of the character string T3 is enlarged in the photographed image P3. The control unit 11 sets a search range R3 (within a bold frame) starting from the vertex v3 of the target character string T3 based on the same ground as the search ranges R1 and R2. As shown in FIG. 8C, since the search range R3 does not include another character string, the control unit 11 does not search for a character string in the process of step S55. And the control part 11 determines with "NO" by the process of step S56, and progresses to the process of step S59.
Even if the control unit 11 searches for a new character string in the process of step S55, each search range of all ungrouped character strings searched earlier than that in the process of step S56. If the new character string is not included, the determination at step S57 is “NO” and the process proceeds to step S59. That is, the control unit 11 does not belong to the same group for character strings that are somewhat distant from the reference character string.

そして、制御部１１は、ステップＳ５４の処理で決定した基準文字列と、ステップＳ５５の処理で探索した文字列とを同一グループにして各文字列をグループ化する（ステップＳ５９）。ここでは、制御部１１は、文字列Ｔ１，Ｔ２及びＴ３を同一のグループとしてグループ化する。このグループ化によって、横書きの文字列については、撮影画像Ｐ３において天地方向に対する位置が互いに近く（つまり、ｙ座標が比較的近く）、かつ、その左右方向（ｘ座標方向）に対して相対的に近い位置にある文字列同士が同一グループに属する。 Then, the control unit 11 groups the character strings by grouping the reference character string determined in step S54 and the character string searched in step S55 into the same group (step S59). Here, the control unit 11 groups the character strings T1, T2, and T3 as the same group. As a result of this grouping, horizontal writing character strings have positions in the captured image P3 that are close to each other in the vertical direction (that is, the y coordinate is relatively close) and relatively in the left-right direction (x coordinate direction). Character strings at close positions belong to the same group.

次に、制御部１１は、横書きの文字列について未グループ化の文字列があるか否かを判定する（ステップＳ６０）。撮影画像Ｐ３には、未グループ化の横書きの文字列が別に含まれるから、制御部１１は、ステップＳ６０の処理で「ＹＥＳ」と判定して、ステップＳ５４の処理に戻る。そして、制御部１１は、文字列Ｔ４を基準文字列と決定して、上述した手順で処理ステップＳ５５〜Ｓ５９の処理ステップを実行してグループ化を行う。ここでは、制御部１１は、文字列Ｔ４のみを１つのグループにグループ化する。同様に、制御部１１は、文字列Ｔ５を基準文字列として上述した手順で処理ステップＳ５５〜Ｓ５９の処理を実行し、文字列Ｔ５及びＴ６を１つのグループにグループ化する。 Next, the control unit 11 determines whether there is an ungrouped character string for the horizontally written character string (step S60). Since the captured image P3 includes an ungrouped horizontally written character string, the control unit 11 determines “YES” in the process of step S60, and returns to the process of step S54. And the control part 11 determines the character string T4 as a reference | standard character string, performs the process step of process steps S55-S59 in the procedure mentioned above, and performs grouping. Here, the control unit 11 groups only the character string T4 into one group. Similarly, the control unit 11 executes the processing steps S55 to S59 in the above-described procedure using the character string T5 as a reference character string, and groups the character strings T5 and T6 into one group.

ステップＳ６０の処理で、制御部１１は、未グループの横書きの文字列がないと判定すると（ステップＳ６０；ＮＯ）、横書き及び縦書きの双方について、上記グループ化に係る処理が終了したか否かを判定する（ステップＳ６１）。ここでは、制御部１１は、縦書きの文字列のグループ化を完了していないので、ステップＳ６１の処理で「ＮＯ」と判定し、縦書きの文字列に対するグループ化処理を開始すると判断する（ステップＳ６２）。このとき、制御部１１は、例えば、縦書きの文字列を対象とすることを示すフラグデータをメモリに記憶（更新）する。これにより、このフラグデータがメモリに記憶されている限りは、制御部１１は撮影画像に含まれる文字列のうち、縦書きの文字列を対象として後述する処理ステップを実行する。そして、制御部１１は、ステップＳ５４の処理に戻る。 If the control unit 11 determines in the process of step S60 that there is no ungrouped horizontally written character string (step S60; NO), whether the grouping process has been completed for both horizontal writing and vertical writing. Is determined (step S61). Here, since the grouping of vertically written character strings has not been completed, the control unit 11 determines “NO” in the process of step S61 and determines to start the grouping process for vertically written character strings ( Step S62). At this time, for example, the control unit 11 stores (updates) flag data indicating that a vertically written character string is a target in the memory. As a result, as long as the flag data is stored in the memory, the control unit 11 executes processing steps to be described later for a vertically written character string among character strings included in the captured image. And the control part 11 returns to the process of step S54.

次に、制御部１１は、縦書きの文字列について上記同様の手順でステップＳ５４〜Ｓ６０の処理ステップを実行して、縦書きの文字列についてグループ化処理を行う。
図９は、縦書きの文字列のグループ化を説明する図である。図９は、撮影画像Ｐ３のうち文字列Ｔ７，８付近を拡大した様子を表す。制御部１１は、縦書きの文字列の中から基準文字列を決定する（ステップＳ５４）。ここでの基準文字列は、未グループ化の文字列のうち、頂点の座標が最も右側（つまり、ｘ座標が最大である。）である文字列を基準文字列として決定する。この実施形態の頂点は、縦書きの文字列についてはテキスト領域の右上に位置するものを指し、以下の説明でも同様とする。ここでは、制御部１１は、「連休プランが」という文字列Ｔ７を基準文字列に決定する。 Next, the control unit 11 performs the processing steps S54 to S60 on the vertically written character strings in the same procedure as described above, and performs grouping processing on the vertically written character strings.
FIG. 9 is a diagram for explaining grouping of vertically written character strings. FIG. 9 shows a state in which the vicinity of the character strings T7 and 8 is enlarged in the captured image P3. The control unit 11 determines a reference character string from vertically written character strings (step S54). The reference character string here is determined as a reference character string from among the ungrouped character strings, the character string having the vertex coordinate on the rightmost side (that is, the x coordinate is maximum). The vertex of this embodiment indicates a vertically written character string located at the upper right of the text area, and the same applies to the following description. Here, the control unit 11 determines the character string T7 “continuous holiday plan is” as a reference character string.

そして、制御部１１は、注目文字列Ｔ７の探索範囲に含まれる文字列を探索する（ステップＳ５５）。ここでは、制御部１１は、注目文字列Ｔ７の頂点ｖ７を起点として、注目文字列の列方向（つまり、ｙ軸方向）に対する両側に、それぞれ探索範囲Ｒ７（太線枠内）を設定する。文字列Ｔ７の文字列の長さはＬ_７である。探索範囲Ｒ７は、頂点ｖ７から注目文字列の列方向（つまり、ｙ軸方向）に角度θで広がり、かつ、頂点ｖ７からのｙ軸方向に対する距離が３Ｌ_７以下である範囲である。ここでは、θ＝１０°であり、頂点ｖ７よりも右側の領域（つまり、ｘ座標が大きい領域）は探索範囲Ｒ７に含まれない。３Ｌ_７という距離は、文字列Ｔ７の列方向の長さに応じて定められた閾値であり、この実施形態では、その長さの３倍となるように定められる。なお、θの値は予め決められた値である。このように、縦書きの文字列の探索範囲は横書きの文字列の探索範囲を時計回りに９０度回転したものに等しい。 Then, the control unit 11 searches for a character string included in the search range of the target character string T7 (step S55). Here, the control unit 11 sets a search range R7 (within a thick line frame) on both sides of the target character string in the column direction (that is, the y-axis direction) starting from the vertex v7 of the target character string T7. The length of the string T7 string is L _7. Search range R7 is the column direction of the target string from the vertex v7 (i.e., y-axis direction) spread at an angle theta, and a range distance is 3L ₇ or less with respect to the y-axis direction from the vertex v7. Here, θ = 10 °, and a region on the right side of the vertex v7 (that is, a region having a large x coordinate) is not included in the search range R7. Distance of 3L ₇ is a threshold determined in accordance with the length of the column direction of the string T7, in this embodiment, it is defined at 3 times the length. The value of θ is a predetermined value. Thus, the search range for vertically written character strings is equal to the search range for horizontally written character strings rotated 90 degrees clockwise.

制御部１１は、ステップＳ５５の処理で、横書きの場合と同じ手順で文字列の探索を行うが、探索範囲Ｒ７に別の文字列が含まれないから、ステップＳ５６の処理では「ＮＯ」と判定する。そして、制御部１１は、文字列Ｔ７のみを１つのグループにグループ化する。引き続き、制御部１１は、文字列Ｔ８を基準文字列として同様に探索を行うが、ステップＳ５９の処理では、文字列Ｔ８のみを１つのグループにグループ化する。このグループ化によって、縦書きの文字列については、ｙ座標が比較的近く、かつ、ｘ座標が相対的に近い位置にある文字列同士を同一にグループにグループ化される。 The control unit 11 searches for a character string in the process of step S55 in the same procedure as in the case of horizontal writing. However, since another character string is not included in the search range R7, “NO” is determined in the process of step S56. To do. Then, the control unit 11 groups only the character string T7 into one group. Subsequently, the control unit 11 searches similarly using the character string T8 as a reference character string. However, in the process of step S59, only the character string T8 is grouped into one group. With this grouping, for vertically written character strings, character strings that are relatively close in y-coordinate and relatively close in x-coordinate are grouped together into a group.

そして、制御部１１は、ステップＳ６０の処理で「ＮＯ」と判定し、さらに、ステップＳ６１の処理で「ＹＥＳ」と判定すると、グループ化処理を終了する。
以上のグループ化処理によって、制御部１１は、撮影画像中の各文字列をいずれか１つのグループに属するようにグループ化する。 And the control part 11 will complete | finish a grouping process, if it determines with "NO" by the process of step S60, and also determines with "YES" by the process of step S61.
Through the grouping process described above, the control unit 11 groups each character string in the captured image so as to belong to any one group.

図１０は、撮影画像Ｐ１に対するグループ化処理の結果を示す図である。
図１０に示すように、横書きの文字列については、文字列Ｔ１，Ｔ２及びＴ３がグループＧｒ１に属し、文字列Ｔ４がグループＧｒ２に属し、文字列Ｔ５及びＴ６がグループＧｒ３に属する。また、縦書きの文字列については、文字列Ｔ７がグループＧｒ４に属し、文字列Ｔ８がグループＧｒ５に属する。 FIG. 10 is a diagram illustrating a result of the grouping process for the captured image P1.
As shown in FIG. 10, for the horizontally written character strings, the character strings T1, T2, and T3 belong to the group Gr1, the character string T4 belongs to the group Gr2, and the character strings T5 and T6 belong to the group Gr3. For vertically written character strings, the character string T7 belongs to the group Gr4, and the character string T8 belongs to the group Gr5.

次に、文字認識システム１の全体的な動作について説明する。図１１は、文字認識システム１において実行される処理の手順を示すシーケンス図である。
まず、携帯端末２０のユーザが、文字列出力装置１０により提供されるサービスを受けようと考えると、操作部２２を操作して、それに必要なアプリケーションプログラムの起動を携帯端末２０に対して指示する。制御部２１は、この指示に応じた操作信号を操作部２２から受け取ると、このアプリケーションプログラムを記憶部２６から読み出して実行する。次に、制御部２１は、撮影部２４の撮影機能を起動させる。ユーザは表示部２５に表示される撮影内容を見ながら、撮影対象物に撮影部２４の撮影レンズを向け、撮影指示を意味する操作部２２の操作を行う。撮影対象物は、例えば、手書き文字が記述された原稿のほか、雑誌やポスター、看板、商店の陳列棚に配置された各商品を説明する札等が挙げられるが、文字が記述されたものであればどのようなものでもよい。 Next, the overall operation of the character recognition system 1 will be described. FIG. 11 is a sequence diagram illustrating a procedure of processes executed in the character recognition system 1.
First, when the user of the portable terminal 20 considers to receive a service provided by the character string output device 10, the user operates the operation unit 22 to instruct the portable terminal 20 to start an application program necessary for the operation. . When receiving an operation signal corresponding to this instruction from the operation unit 22, the control unit 21 reads out the application program from the storage unit 26 and executes it. Next, the control unit 21 activates the photographing function of the photographing unit 24. While viewing the photographing content displayed on the display unit 25, the user directs the photographing lens of the photographing unit 24 toward the photographing target and operates the operation unit 22 that represents a photographing instruction. Examples of objects to be photographed include manuscripts with handwritten characters, magazines, posters, billboards, and bills explaining each product placed on a store display shelf. Anything is acceptable.

制御部２１は、操作部２２により撮影指示の操作が受け付けられると、撮影部２４によって撮影対象物を撮影し、撮影画像を生成する（ステップＳ１）。制御部２１は、生成した撮影画像を無線通信部２３によって文字列出力装置１０宛てに送信する（ステップＳ２）。このとき、制御部２１は、携帯端末２０の電子メールアドレス等、ＯＣＲ処理の認識結果を受け取るために必要な情報も併せて送信する。 When the operation unit 22 accepts the operation of the imaging instruction, the control unit 21 captures an image of the object to be captured by the imaging unit 24 and generates a captured image (step S1). The control unit 21 transmits the generated captured image to the character string output device 10 by the wireless communication unit 23 (step S2). At this time, the control unit 21 also transmits information necessary for receiving the recognition result of the OCR process, such as the e-mail address of the mobile terminal 20.

文字列出力装置１０の制御部１１は、携帯端末２０により送信された撮影画像を通信部１２により受信し、これを取得する（ステップＳ３）。次に、制御部１１は、取得した撮影画像に含まれる文字列を抽出する（ステップＳ４）。ステップＳ４の処理では、制御部１１は各文字列に対するテキスト領域を定めることで文字列を抽出する。そして、制御部１１は、図６に示した手順に従ってグループ化処理を実行する（ステップＳ５）。次に、制御部１１は、撮影画像に含まれる各文字列に対してＯＣＲ処理を行う（ステップＳ６）。
なお、制御部１１は、ＯＣＲ処理を行ってからグループ化処理をしてもよく、ステップＳ５，Ｓ６の処理の順序を入れ替えてもよい。この場合、制御部１１は、ＯＣＲ処理からテキスト領域を特定したり、文字列の文字が連なる方向を特定したりするとよい。 The control unit 11 of the character string output device 10 receives the captured image transmitted from the portable terminal 20 by the communication unit 12 and acquires it (step S3). Next, the control part 11 extracts the character string contained in the acquired picked-up image (step S4). In step S4, the control unit 11 extracts a character string by defining a text area for each character string. And the control part 11 performs a grouping process according to the procedure shown in FIG. 6 (step S5). Next, the control unit 11 performs OCR processing on each character string included in the captured image (step S6).
The control unit 11 may perform the grouping process after performing the OCR process, or may change the order of the processes in steps S5 and S6. In this case, the control unit 11 may specify a text area from the OCR process, or specify a direction in which characters in a character string are continuous.

そして、制御部１１は、ステップＳ５のグループ化処理と、ステップＳ６のＯＣＲ処理の結果とに基づいて、表示データを生成する（ステップＳ７）。この表示データは、ＯＣＲ処理が施された文字列をグループ毎に分類して表示出力するためのデータである。制御部１１は、生成した文字コードを含み、かつ、各文字列の表示位置を特定可能な表示データを生成し、携帯端末２０を送信先と指定して通信部１２により送信する（ステップＳ８）。 And the control part 11 produces | generates display data based on the grouping process of step S5, and the result of the OCR process of step S6 (step S7). This display data is data for displaying and outputting a character string that has been subjected to OCR processing, classified into groups. The control part 11 produces | generates the display data which can specify the display position of each character string including the produced | generated character code, designates the portable terminal 20 as a transmission destination, and transmits with the communication part 12 (step S8). .

携帯端末２０の制御部２１は、文字列出力装置１０により送信された表示データを通信部１２により受信する（ステップＳ９）。そして、制御部２１は、受信した表示データに基づいて表示部２５に画像を表示させる（ステップＳ１０）。制御部２１は、撮影画像Ｐ１に基づいて生成された表示データを受信した場合、図１２に示す画像を表示部２５に表示させる。
図１２は、表示データの内容の一例を示す図である。
図１２に示すように、表示データに基づいて表示される表示画像にあっては、縦書きと横書きとに分けて表示されるとともに、ＯＣＲ処理が施された文字列がグループ単位で改行して表示される。また、表示画像にあっては、同一グループに属する各文字列はスペースを用いてそれぞれ離して配置されるとともに、撮影画像Ｐ３で左側に位置したものが表示画像でも左側に位置し、右側に位置したものが表示画像でも右側に位置する。また、撮影画像Ｐ３で上側に位置した文字列が表示画像でも上側に位置し、下側に位置した文字列が表示画像でも下側に位置する。つまり、制御部１１は、ｘ座標及びｙ座標に応じた位置に文字列が表示画像上に表示されるように表示データを生成する。図１２に示す内容の表示データにおいては、横書きの文字列が上位に表示され、縦書きの文字列が下位に表示されているが、これらが逆であってもよい。また、撮影対象物での文字列のレイアウトに近くなるように、例えば上述したテキスト領域の頂点の座標に基づいて、撮影画像上で上端に最も近いグループの文字列が横書きであれば横書きを上位にし、上端に最も近いグループの文字列が縦書きであれば縦書きを上位にしてもよい。また、行単位で横書きの文字列と縦書きの文字列とが混在していてもよく、撮影画像上で上端に近いグループの文字列ほど、表示データにおいても上位になるように文字列が配置されてもよい。
なお、携帯端末２０は文字コード化された文字列を受信するから、例えば、この文字列を操作部２２の操作に応じて編集したり、電子メールにコピー（又はカット）及びペーストしたりする、といった具合に利用することも可能である。 The control unit 21 of the portable terminal 20 receives the display data transmitted from the character string output device 10 through the communication unit 12 (step S9). And the control part 21 displays an image on the display part 25 based on the received display data (step S10). When receiving the display data generated based on the captured image P1, the control unit 21 causes the display unit 25 to display the image illustrated in FIG.
FIG. 12 is a diagram illustrating an example of the contents of display data.
As shown in FIG. 12, in the display image displayed based on the display data, it is displayed separately in vertical writing and horizontal writing, and the character string subjected to OCR processing is broken into lines in groups. Is displayed. Further, in the display image, the character strings belonging to the same group are spaced apart from each other by using a space, and the left side of the captured image P3 is positioned on the left side and the right side of the display image. The displayed image is also located on the right side of the display image. Further, the character string positioned on the upper side in the captured image P3 is positioned on the upper side of the display image, and the character string positioned on the lower side is positioned on the lower side of the display image. That is, the control part 11 produces | generates display data so that a character string may be displayed on a display image in the position according to x coordinate and y coordinate. In the display data having the contents shown in FIG. 12, the horizontally written character string is displayed at the top and the vertically written character string is displayed at the bottom, but these may be reversed. Also, if the character string of the group closest to the upper end on the photographed image is in horizontal writing so that it is close to the layout of the character string on the shooting target, for example, the horizontal writing is superior. If the character string of the group closest to the upper end is vertical writing, the vertical writing may be higher. In addition, horizontal and vertical text strings may be mixed in line units, and the text strings are arranged so that the text strings in the group closer to the upper end in the captured image are higher in the display data. May be.
Since the mobile terminal 20 receives a character-coded character string, for example, the character string is edited according to the operation of the operation unit 22, or copied (or cut) and pasted into an e-mail. It is also possible to use it.

以上説明した実施形態によれば、文字列出力装置１０が実行したグループ化処理によって、撮影画像において天地方向に対する位置が相対的に近く、かつ、左右方向に対する位置が相対的に近い文字列が表示画像中でも同一グループに分類され、撮影画像でのレイアウトを考慮した配置で表示画像中に文字列が配置される。また、探索範囲は、文字列の列方向に対して頂点から離れるほど広がるから、例えば、携帯端末２０の撮影画像の天地方向と、文字列の天地方向とが完全には一致しておらず、文字列がやや傾いてしまっていても、実施形態で説明したようなグループ化及び文字列の表示が可能である。これにより、文字列出力装置１０によれば、画像に対する文字認識の結果を出力するときに、その画像に含まれる文字列群のまとまりをも表現することができ、例えばユーザが、各文字列の撮影対象物（又は、撮影画像）上での各文字列の位置を直観的に把握できるようにすることもできる。 According to the embodiment described above, the character string output device 10 performs the grouping process to display character strings that are relatively close to the top-and-bottom direction in the captured image and relatively close to the left-right direction. Even in the image, it is classified into the same group, and the character string is arranged in the display image in an arrangement in consideration of the layout in the captured image. Further, since the search range increases as the distance from the vertex with respect to the column direction of the character string, for example, the top and bottom direction of the captured image of the mobile terminal 20 does not completely match the top and bottom direction of the character string, Even if the character strings are slightly inclined, grouping and character string display as described in the embodiment are possible. Thereby, according to the character string output device 10, when outputting the result of character recognition for an image, a group of character strings included in the image can also be expressed. It is also possible to intuitively grasp the position of each character string on the photographing object (or photographed image).

［変形例］
本発明は、上述した実施形態と異なる形態で実施することが可能である。本発明は、例えば、以下のような形態で実施することも可能である。また、以下に示す変形例は、各々を適宜に組み合わせてもよい。
［変形例１］
上述した実施形態では、探索範囲は、注目文字列の位置（頂点）からこの文字列の列方向に対して所定の角度θで広がり、かつ、この位置から当該方向に対して文字列の長さの３倍以下である範囲を表していた。これに対し、本発明の探索範囲はこの態様に限定されない。探索範囲は、注目オブジェクトの位置からｘ軸方向に離れるにつれてｙ軸方向に次第に広がる範囲であればよく、例えば、曲線的に広がる範囲を表していてもよい。また、距離については、注目文字列の位置から各方向に文字列の長さの３倍以下である範囲としてもよく、この場合探索範囲は扇形になる。また、この距離は、文字列の長さの３倍に限らず、他の倍数とされてもよいし、予め決められた固定値であってもよい。また、探索範囲は、横書きの文字列について、注目オブジェクトの頂点よりも上方の（ｙ座標が小さくなる）領域を含んでいてもよいし、縦書きの文字列において、注目オブジェクトの頂点よりも右方の（ｘ座標が大きくなる）領域を含んでいてもよい。 [Modification]
The present invention can be implemented in a form different from the above-described embodiment. The present invention can also be implemented in the following forms, for example. Further, the following modifications may be combined as appropriate.
[Modification 1]
In the embodiment described above, the search range extends from the position (vertex) of the target character string at a predetermined angle θ with respect to the string direction of the character string, and the length of the character string with respect to the direction from this position. Represents a range that is less than or equal to three times. On the other hand, the search range of the present invention is not limited to this mode. The search range may be a range that gradually expands in the y-axis direction as it moves away from the position of the object of interest in the x-axis direction. For example, the search range may represent a range that expands in a curved line. The distance may be a range that is three times or less the length of the character string in each direction from the position of the target character string. In this case, the search range is a sector. Further, this distance is not limited to three times the length of the character string, but may be other multiples, or may be a fixed value determined in advance. Further, the search range may include an area above the vertex of the object of interest (y coordinate becomes smaller) in the horizontally written character string, or may be on the right side of the vertex of the object of interest in the vertically written character string. May be included (where the x-coordinate becomes larger).

［変形例２］
上述した実施形態では、基準文字列が、縦書きの文字列については、未グループ化の文字列のうち、頂点が撮影画像の上端に近い文字列として定められ、横書きの文字列については、未グループ化の文字列のうち、頂点が撮影画像の右端に近い文字列として定められていた。これに代えて、基準文字列が、縦書きの文字列について、未グループ化の文字列のうち頂点が撮影画像の下端に近い文字列として定められ、横書きの文字列について、未グループ化の文字列のうち頂点が撮影画像の左端に近い文字列として定められてもよいし、また、画像領域の端部に最も近い文字列としないことも可能である。また、各文字列の位置は、テキスト領域の頂点に限らず、例えばテキスト領域の中心点を用いて特定されてもよく、テキスト領域内の予め定められた位置を文字列の位置と見做してよい。 [Modification 2]
In the embodiment described above, the reference character string is determined as a character string whose vertex is close to the upper end of the photographed image among ungrouped character strings for vertically written character strings, and unwritten for horizontally written character strings. Of the grouped character strings, the vertex was determined as a character string close to the right end of the photographed image. Instead, the reference character string is determined as a character string whose apex is close to the lower end of the photographed image among ungrouped character strings for vertically written character strings, and ungrouped characters for horizontally written character strings. Of the columns, the vertex may be determined as a character string close to the left end of the photographed image, or may not be the character string closest to the end of the image area. In addition, the position of each character string is not limited to the vertex of the text area, and may be specified using, for example, the center point of the text area. A predetermined position in the text area is regarded as the position of the character string. It's okay.

［変形例３］
上述した実施形態では、複数の文字列を同一グループにするための条件として、ステップＳ５６の処理で説明したように、新たな注目文字列がそれよりも先に探索したすべての文字列の探索範囲のそれぞれに含まれることを要していたが、本発明において、この条件を省くことも可能である。この場合、制御部１１は、注目文字列から探索範囲に文字列が含まれていることのみを同一グループにする条件とする。これにより、上述した実施形態よりも、文字列の列方向に対して広範囲に分布する文字列が同一グループに分類されることも考えられる。この場合であっても、撮影画像内での天地方向に対する位置が相対的に近い文字列同士が同一グループになるので、文字列出力装置１０によれば、画像に含まれる文字列群のまとまりを表現することができる。
なお、制御部１１は、ステップＳ５７の処理で「ＹＥＳ」と判定したことを契機に、既にグループが確定した文字列について先にグループ化してもよい。 [Modification 3]
In the embodiment described above, as a condition for grouping a plurality of character strings, as described in the process of step S56, a search range of all character strings searched for by a new target character string before that is performed. However, in the present invention, this condition can be omitted. In this case, the control unit 11 sets only the fact that the character string is included in the search range from the target character string as a condition for making the same group. As a result, it is conceivable that character strings distributed over a wider range in the character string column direction are classified into the same group than in the embodiment described above. Even in this case, character strings that are relatively close to each other in the top-and-bottom direction in the photographed image are in the same group. Therefore, according to the character string output device 10, a group of character strings included in the image is collected. Can be expressed.
Note that the control unit 11 may first group character strings for which groups have already been determined, when “YES” is determined in the process of step S57.

［変形例４］
上述した実施形態では、文字列出力装置１０は、グループ化の結果に従って、文字認識された文字列をグループ単位で改行して表示させるための表示データを出力していたが、表示データの内容はこれに限定されない。ユーザが各文字列をグループ単位で識別できればよいから、例えば、グループ毎に文字列が「／」（スラッシュ）や「，」（カンマ）等を用いて分類して表示されてもよいし、グループを識別する情報と対応付けて各文字列が表示されてもよい。
また、本発明の文字列出力装置は、縦書き又は横書きの一方の文字列を対象としてグループ化処理やＯＣＲ処理等を行うものであってもよい。 [Modification 4]
In the above-described embodiment, the character string output device 10 outputs display data for displaying a character string that has been character-recognized with line breaks in units of groups according to the grouping result. It is not limited to this. Since the user only needs to be able to identify each character string in groups, for example, the character strings may be classified and displayed using “/” (slash), “,” (comma), etc. Each character string may be displayed in association with information for identifying.
Further, the character string output device of the present invention may perform grouping processing, OCR processing, or the like for one of the vertical and horizontal writing character strings.

［変形例５］
本発明において、携帯端末の撮影により得られる撮影画像は、携帯端末が内蔵する撮影部により得たものであってもよいし、携帯端末に装着された外部の撮影装置により得たものであってもよい。これらのいずれであっても、携帯端末での撮影により撮影画像が得られることに変わりないからである。
また、本発明の文字列出力装置は、文字列を含む画像を処理対象とすることができる。また、本発明の文字列出力装置は、外部の情報処理端末と通信接続される態様のほか、例えば、情報処理端末に内蔵されたものであってもよい。また、本発明の文字列出力システムは、撮影部での撮影から文字認識の結果を表す文字列の表示までの一連の処理を行う、情報処理端末によって実現されてもよい。また、本発明は、上述したようグループ化処理を行って文字認識を行う文字列出力方法として特定することもできる。
また、上述した文字列出力装置１０及び携帯端末２０が実現する各機能は、複数のプログラムの組み合わせによって実現され、又は、複数のハードウェア資源の協働によって実現されうる。 [Modification 5]
In the present invention, a photographed image obtained by photographing with a portable terminal may be obtained by a photographing unit incorporated in the portable terminal, or obtained by an external photographing device attached to the portable terminal. Also good. This is because any of these methods does not change that a photographed image can be obtained by photographing with a portable terminal.
Moreover, the character string output device of the present invention can process an image including a character string. Moreover, the character string output device of the present invention may be incorporated in an information processing terminal, for example, in addition to an aspect in which communication is connected to an external information processing terminal. Further, the character string output system of the present invention may be realized by an information processing terminal that performs a series of processing from photographing at the photographing unit to display of a character string representing the result of character recognition. The present invention can also be specified as a character string output method for performing character recognition by performing grouping processing as described above.
Moreover, each function which the character string output device 10 and the portable terminal 20 which were mentioned above implement | achieve is implement | achieved by the combination of a some program, or may be implement | achieved by cooperation of a some hardware resource.

１…文字認識システム、１０…文字列出力装置、１１…制御部、１１１…撮影画像取得部、１１２…文字列抽出部、１１３…グループ化部、１１４…文字認識部、１１５…文字列出力部、１２…通信部、１３…記憶部、１３１…ＯＣＲプログラム、２０…携帯端末、２１…制御部、２２…操作部、２３…無線通信部、２４…撮影部、２５…表示部、２６…記憶部。 DESCRIPTION OF SYMBOLS 1 ... Character recognition system, 10 ... Character string output device, 11 ... Control part, 111 ... Captured image acquisition part, 112 ... Character string extraction part, 113 ... Grouping part, 114 ... Character recognition part, 115 ... Character string output part , 12 ... Communication section, 13 ... Storage section, 131 ... OCR program, 20 ... Mobile terminal, 21 ... Control section, 22 ... Operation section, 23 ... Wireless communication section, 24 ... Imaging section, 25 ... Display section, 26 ... Storage Department.

Claims

An extraction unit for extracting a plurality of strings containing a string array of two or more characters from the image,
Paying attention to the one character string extracted by the extraction unit, the distance from the position of the target character string gradually spreads in the direction orthogonal to the direction as the characters of the character string move away from each other in the direction in which the character string continues. grouping but searches the character string included in the search range is equal to or less than the threshold from the image, and the search string and said target string to the same group, grouping each string of said plurality of strings And
A character recognition unit that performs character recognition for each of the character strings;
String output apparatus characterized by comprising an output section for outputting a character string character recognition by the character recognition unit, to be displayed are classified before each SL group.

The grouping unit
The search is started by using a character string that satisfies a predetermined condition as the attention character string, and a new character string is added according to the proximity from the position of the attention character string among ungrouped character strings included in the search range. When the target character string is sequentially searched and the new target character string is included in the search range from all the target character strings searched earlier than the target character string, the new target character string and all the target character strings are searched. The character string output device according to claim 1, wherein the character string is grouped into the same group.

The character string output device according to claim 2, wherein the condition is a character string located closest to a predetermined end of an image area of the image among ungrouped character strings. .

The character string output device according to any one of claims 1 to 3, wherein the threshold value is determined for the search range of each character string of interest by a length in a direction in which characters of the character string are continuous.

The grouping unit
5. The character string extracted by the extraction unit is grouped into a vertically written character string and a horizontally written character string based on a direction in which the characters are consecutive. String output device.

The output unit is
6. The character string output device according to claim 1, wherein the character string output device outputs the display data for displaying the character string recognized as a group in a line feed according to the grouping result. .

A shooting section;
An extraction unit that extracts a plurality of character strings including a character string in which two or more characters are arranged from an image obtained by photographing of the photographing unit;
Paying attention to the one character string extracted by the extraction unit, the distance from the position of the character string of interest gradually spreads in a direction orthogonal to the direction as the characters of the character string move away from each other. searches for a character string included in the search range is equal to or less than the threshold from the image, and the search string and said target string to the same group, the grouping of grouping each string of said plurality of strings And
A character recognition unit that performs character recognition for each of the character strings;
An output unit for outputting to the character recognition string is displayed by classifying before each Symbol group by the character recognition unit,
A character recognition system comprising: a display unit that displays a character string output by the output unit.

On the computer,
An extraction step of extracting from the image a plurality of character strings including a character string in which two or more characters are arranged ;
Paying attention to the one character string extracted in the extraction step, the distance from the position gradually increases in the direction orthogonal to the direction as the characters of the character string move away from the position of the character string of interest. group but by searching the character string included in the search range is equal to or less than the threshold from the image, and the search string and said target string to the same group, grouping each string of said plurality of strings Step,
A character recognition step for performing character recognition for each of the character strings;
Program for executing an output step of outputting the character string character recognition in the character recognition step, to be displayed are classified before each SL group.

An extraction step of extracting from the image a plurality of character strings including a character string in which two or more characters are arranged ;
Focusing on the one character string extracted in the extraction step, the search range is gradually expanded from the position of the character string of interest in the direction in which the characters of the character string are connected, and the distance from the position is equal to or less than the threshold value and a character string is searched from the image, and the search string and said target string to the same group, the grouping step of grouping each string of the plurality of character strings included in,
A character recognition step for performing character recognition for each of the character strings;
String output method characterized in that it comprises an output step of outputting the character string character recognition in the character recognition step, to be displayed are classified before each SL group.