JP7670524B2 - Character recognition device, character recognition method and program - Google Patents
Character recognition device, character recognition method and program Download PDFInfo
- Publication number
- JP7670524B2 JP7670524B2 JP2021050754A JP2021050754A JP7670524B2 JP 7670524 B2 JP7670524 B2 JP 7670524B2 JP 2021050754 A JP2021050754 A JP 2021050754A JP 2021050754 A JP2021050754 A JP 2021050754A JP 7670524 B2 JP7670524 B2 JP 7670524B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- unit
- stroke data
- input
- candidates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of two-dimensional [2D] relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of two-dimensional [2D] relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03547—Touch pads, in which fingers can move on a surface
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Character Discrimination (AREA)
Description
本発明は、文字認識装置、文字認識方法およびプログラムに関する。 The present invention relates to a character recognition device, a character recognition method, and a program.
手書き入力認識された一連の文字列について、修正すべき1文字毎にその認識候補文字を順次表示させ選択操作する必要なく容易に所望の認識候補文字に修正する技術について提案されている。(例えば、特許文献1) A technology has been proposed that, for a series of handwritten input characters that have been recognized, displays candidate characters for each character to be corrected, allowing easy correction to the desired candidate character without the need for selection. (For example, Patent Document 1)
特許文献に記載された技術を含めて、修正の候補となる複数の文字中に所望する文字がない場合、再度手書きによる文字認識処理を行う必要がある。 Including the technology described in the patent literature, if the desired character is not among the multiple characters that are candidates for correction, it is necessary to perform character recognition processing again using handwritten characters.
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、手書き入力された文字の文字イメージを有効に活用して手書き入力より認識された文字に類似する候補を導出し、導出された文字の候補から所望される文字の選択を受付けることが可能な文字認識装置、文字認識方法およびプログラムを提供することにある。 The present invention has been made in consideration of the above-described circumstances, and an object of the present invention is to provide a character recognition device, a character recognition method, and a program that are capable of effectively utilizing the character image of handwritten input characters to derive candidates similar to characters recognized from handwritten input, and allowing a user to select a desired character from the derived character candidates.
本発明の一態様は、手書きにより入力された第1の文字の文字イメージを受付ける入力部と、前記入力部で受付けた文字イメージに対して認識処理を実行し、当該文字イメージと類似度が高いと評価した順序で文字の候補を導出する文字導出部と、前記文字導出部で導出された文字の候補をユーザが所望する文字の候補として表示させる表示制御部と、を備え、前記入力部は、前記表示制御部により表示された文字の候補から前記ユーザが所望する文字の導出を指定する指定操作を受付可能であり、前記文字導出部は、前記入力部により前記指定操作を受け付けた際に、前記入力部が受け付けた文字イメージのストロークデータに最も類似度が高いものとして選択された候補の文字形状から、前記第1の文字の文字イメージのストロークデータの補正ストロークデータを取得し、前記補正ストロークデータによる文字イメージに対して認識処理を実行して第2の文字を導出し、前記表示制御部は、前記文字導出部で導出された前記第2の文字を前記ユーザが所望する文字の追加候補として表示させる、ことを特徴とする。 According to one aspect of the present invention, there is provided an input unit that accepts a character image of a first character input by handwriting; a character derivation unit that performs a recognition process on the character image accepted by the input unit and derives character candidates in an order of evaluation of high similarity to the character image ; and a display control unit that displays the character candidates derived by the character derivation unit as candidates for a character desired by a user, wherein the input unit is capable of accepting a designation operation for designating the derivation of a character desired by the user from the character candidates displayed by the display control unit , and when the input unit accepts the designation operation, the character derivation unit obtains corrected stroke data of the stroke data of the character image of the first character from a character shape of a candidate selected as having the highest similarity to stroke data of the character image accepted by the input unit, and performs a recognition process on the character image based on the corrected stroke data to derive a second character, and the display control unit displays the second character derived by the character derivation unit as an additional candidate for the character desired by the user.
本発明によれば、手書き入力された文字の文字イメージを有効に活用して手書き入力より認識された文字に類似する候補を導出し、導出された文字の候補から所望される文字の選択を受付けることが可能となる。 According to the present invention, it is possible to effectively utilize the character image of handwritten input characters to derive candidates similar to characters recognized from handwritten input, and to accept the selection of a desired character from the derived character candidates .
以下、本発明を電子辞書に適用した場合の一実施形態について、図面を参照して説明する。
[構成]
図1は、同実施形態に係る電子辞書10の外観構成を示す正面図である。なお、本実施形態は、以下に説明する電子辞書10として構成されるだけでなく、辞書機能を備えたタブレット型のPC(Personal Computer)、スマートフォン、電子ブック、携帯ゲーム機、通信ネットワーク上のサーバなどとしても構成され得る。
Hereinafter, an embodiment in which the present invention is applied to an electronic dictionary will be described with reference to the drawings.
[composition]
1 is a front view showing the external configuration of an electronic dictionary 10 according to the embodiment. Note that this embodiment can be configured not only as the electronic dictionary 10 described below, but also as a tablet-type PC (Personal Computer), a smartphone, an electronic book, a portable game machine, a server on a communication network, or the like equipped with a dictionary function.
電子辞書10は、その本体ケース11と蓋体ケース12とがヒンジ部13を介して展開/閉塞可能な折り畳み型ケースを備えて構成される。折り畳み型ケースを展開した本体ケース11の表面には、[ホーム]キー14a、機能指定キー14b、文字入力キー14c、[決定]キー14d、[戻る]キー14e、[BOX]キー14f、カーソル移動キー14g、[シフト]キー14hなどを含むキー入力部14(ハードウェアキー)、音声出力部(スピーカを含む)15および音声入力部(マイクロホンを含む)16、などが設けられる。 The electronic dictionary 10 is configured with a foldable case in which the main body case 11 and the cover case 12 can be opened/closed via a hinge section 13. On the surface of the main body case 11 when the foldable case is opened, there are provided a key input section 14 (hardware keys) including a [Home] key 14a, function designation keys 14b, character input keys 14c, [Decision] key 14d, [Back] key 14e, [BOX] key 14f, cursor movement keys 14g, and a [Shift] key 14h, an audio output section (including a speaker) 15, and an audio input section (including a microphone) 16, etc.
また、蓋体ケース12の表面には、タッチパネル式表示部17が設けられる。タッチパネル式表示部17は、電子辞書10のユーザがペンや手指でタッチした位置を検出するタッチ位置検出装置と表示装置とが一体となった構造であり、バックライト付の液晶画面に透明のタッチパネルを積層して構成される。即ち、タッチパネル式表示部17は、手書き形式での入力操作に基づいて文字イメージを受付ける入力部として機能する。 A touch panel display unit 17 is also provided on the surface of the cover case 12. The touch panel display unit 17 is an integrated structure of a display device and a touch position detection device that detects the position touched by the user of the electronic dictionary 10 with a pen or finger, and is constructed by laminating a transparent touch panel onto a backlit LCD screen. In other words, the touch panel display unit 17 functions as an input unit that accepts character images based on input operations in handwritten format.
キー入力部14の[ホーム]キー14aは、キー入力部14にホーム画面を表示させるためのキーである。特に図示されないが、本電子辞書10の初期設定あるいはユーザ操作に応じて登録された複数のアイコンが表示される。各アイコンは、当該アイコンの表記に対応する機能を実現するための図面や記号である。例えば、辞書コンテンツや学習コンテンツを利用する機能(アプリケーション)を直接起動させるアプリケーションアイコンや、1つのカテゴリに属する複数の機能のアイコンの一覧画面を表示させるグループアイコンを含む。 The [Home] key 14a of the key input unit 14 is a key for displaying a home screen on the key input unit 14. Although not specifically shown, multiple icons are displayed that are registered according to the initial settings of the electronic dictionary 10 or user operations. Each icon is a drawing or symbol for realizing a function corresponding to the notation of the icon. For example, it includes an application icon that directly launches a function (application) that uses dictionary content or learning content, and a group icon that displays a list screen of icons of multiple functions belonging to one category.
キー入力部14の機能指定キー14bは、各キーに表記されている辞書コンテンツなどを直接指定するためのキーである。機能指定キー14bには、辞書コンテンツのカテゴリをあえて特定しない[複数辞書]キー、同カテゴリを指定するキー([国語]キー、[古語]キー、[漢和]キー、[英英和]キーなど)と、辞書コンテンツを一覧表示させる[コンテンツ一覧]キー、ツールの1つのカテゴリである[学習帳]キーを含む。 The function specification keys 14b of the key input section 14 are keys for directly specifying dictionary content and the like indicated on each key. The function specification keys 14b include a [Multiple Dictionaries] key that does not specify a category of dictionary content, keys for specifying the same category ([Japanese] key, [Archaeological] key, [Chinese-Japanese] key, [English-English-Japanese] key, etc.), a [Content List] key that displays a list of dictionary content, and a [Study Notebook] key, which is a category of tools.
また、キー入力部14のキーは、[シフト]キー14hが操作された後に続けて操作されることで、そのキートップに枠囲みなしで表記されたキーとしてではなく、枠囲みして表記されたキーとして機能する。例えば、[シフト]キー14hの操作の後に[削除]キーが操作されると、[削除]キーではなく[設定]キーとして機能する。 In addition, when a key on the key input unit 14 is operated after the [Shift] key 14h is operated, the key functions as a key with a frame on the key top, rather than as a key without a frame. For example, when the [Delete] key is operated after the [Shift] key 14h is operated, the key functions as a [Setting] key, not a [Delete] key.
図1では、[国語辞典]が選択され、タッチパネル式表示部17の上部に位置する検索文字列入力部41において、カナ入力タグ(あいう)、アルファベット入力タグ(ABC)のうちのカナ入力タグが選択された状態を示す。 In FIG. 1, [Japanese Dictionary] is selected, and the search string input section 41 located at the top of the touch panel display section 17 shows the state in which the kana input tag (aiu) and the alphabet input tag (ABC) are selected.
検索文字列入力部41に、すでに文字列[日光]が入力されている。検索文字列入力部41下部の候補表示部42には、文字列[日光]に対応する、例えば3つの見出し語がリスト表示された状態を示す。さらに候補表示部42の下部には、2文字分の手書き文字入力部43が表示され、文字列[日光]に続く文字の手書き入力を待機するべく、ブランクとなっている状態を示す。 The character string [Nikko] has already been entered in the search character string input section 41. The candidate display section 42 below the search character string input section 41 shows a list of, for example, three entry words that correspond to the character string [Nikko]. Furthermore, below the candidate display section 42, a handwritten character input section 43 for two characters is displayed, which shows a blank state waiting for the handwritten input of the character following the character string [Nikko].
図2は、電子辞書10の電子回路の機能構成を示すブロック図である。
電子辞書10の電子回路は、コンピュータである制御部(CPU:Central Processing Unit)21を備える。制御部21は、フラッシュROMなどの記憶部22に予め記憶された制御プログラムに従って回路各部の動作を制御する。CPU等のプロセッサは1つでも2つ以上でも良い。
FIG. 2 is a block diagram showing the functional configuration of the electronic circuit of the electronic dictionary 10. As shown in FIG.
The electronic circuit of the electronic dictionary 10 includes a control unit (CPU: Central Processing Unit) 21, which is a computer. The control unit 21 controls the operation of each part of the circuit in accordance with a control program prestored in a storage unit 22 such as a flash ROM. The number of processors such as a CPU may be one or two or more.
なお、制御プログラムおよび後述する辞書データの少なくとも一方は、メモリカードなどの外部記録媒体23から記録媒体読取部24により読み取られて記憶部22に記憶されても良いし、通信部25を介して外部の図示しないネットワーク上のウェブサーバ等からダウンロードされたものを記憶部22に記憶しても良い。 In addition, at least one of the control program and the dictionary data described later may be read by the recording medium reading unit 24 from an external recording medium 23 such as a memory card and stored in the memory unit 22, or may be downloaded via the communication unit 25 from a web server or the like on an external network (not shown) and stored in the memory unit 22.
制御部21には、データバスおよび制御バスを介して、記憶部22、記録媒体読取部24、通信部25を接続するほか、キー入力部14、音声出力部15、音声入力部16、タッチパネル式表示部17を接続する。 The control unit 21 is connected to the memory unit 22, recording medium reading unit 24, and communication unit 25 via a data bus and a control bus, as well as to the key input unit 14, audio output unit 15, audio input unit 16, and touch panel display unit 17.
記憶部22は、本電子辞書10の全体の動作を司るシステムプログラム、通信部25を介して外部の機器と通信接続するための通信プログラムのほか、検索処理プログラム記憶領域22a、辞書データ記憶領域22b、検索履歴記憶領域22c、作業データ記憶領域22dなど、本電子辞書10により各種の機能を実行するためのプログラムやデータを記憶する記憶領域が確保される。 The memory unit 22 stores a system program that controls the overall operation of the electronic dictionary 10, a communication program for connecting to external devices via the communication unit 25, and other memory areas for storing programs and data for executing various functions by the electronic dictionary 10, such as a search processing program memory area 22a, a dictionary data memory area 22b, a search history memory area 22c, and a working data memory area 22d.
検索処理プログラム記憶領域22aは、辞書データ記憶領域22bに辞書データとして記憶される各種の辞書コンテンツ(英英和辞典/英和辞典/和英辞典/英英辞典/国語辞典/百科事典/…)に基づいて、ユーザ所望の見出し語と当該見出し語に対応する訳語、語義、用例、解説などの説明情報を検索して表示させるための制御プログラムや、見出し語の文字入力以外の入力に応じた検索を実行する際に使用する各種テーブル記憶領域22a1などを記憶する領域である。 The search processing program memory area 22a is an area for storing a control program for searching and displaying a user-requested headword and its corresponding translation, meaning, usage example, explanation, and other explanatory information based on various dictionary contents (English-English-Japanese dictionary/English-Japanese dictionary/Japanese-English dictionary/English-English dictionary/Japanese dictionary/encyclopedia/...) stored as dictionary data in the dictionary data memory area 22b, as well as various table memory areas 22a1 used when performing searches in response to input other than character input of the headword.
各種テーブル記憶領域22a1には、予め漢字の各文字データに対して構成要素となる部首をどのように分割できるのかを定めた偏旁型テーブルを含む複数のテーブルを記憶している。 The various table storage area 22a1 stores multiple tables, including a radical-component table that predefines how the constituent radicals can be divided for each piece of kanji character data.
検索履歴記憶領域22cには、ユーザ操作に応じた検索に従い、見出し語とその説明情報が検索結果として表示される際に、検索対象とされた見出し語がその検索回数の情報とともに検索履歴として記憶される。 When a search is performed in response to a user operation and a heading word and its explanatory information are displayed as search results, the search history storage area 22c stores the heading word that was the subject of the search as search history together with information on the number of times it was searched.
作業データ記憶領域22dには、制御部21による制御プログラムに従った回路各部の動作の制御に伴い、ユーザ操作に応じて入力されたデータや制御部21により取得、あるいは生成されるなどした各種のデータが必要に応じて一時的に記憶(保持)される。 In the working data memory area 22d, various data input in response to user operations and data acquired or generated by the control unit 21 are temporarily stored (held) as necessary in accordance with the control of the operation of each part of the circuit according to the control program by the control unit 21.
通信部25は、例えば無線PAN(Personal Area Network)技術の1つであるBLE(Bluetooth(登録商標) Low Energy)規格に基づいて、周囲に存在する同様の電子辞書などの外部機器と無線接続するほか、無線ルータなどを介して外部の図示しないネットワーク上のウェブサーバ等と無線接続して、制御プログラムなどをダウンロードする。 The communication unit 25 wirelessly connects to external devices such as similar electronic dictionaries in the vicinity based on the BLE (Bluetooth (registered trademark) Low Energy) standard, which is one of the wireless PAN (Personal Area Network) technologies, and also wirelessly connects to web servers and the like on an external network (not shown) via a wireless router or the like to download control programs and the like.
[動作]
次に本実施形態の動作について説明する。
本実施形態では、国語辞典の機能選択時に、手書き入力された文字イメージに対して認識した結果が、ユーザの所望する漢字ではなかった場合の修正処理の動作について説明する。
[Action]
Next, the operation of this embodiment will be described.
In this embodiment, a correction process will be described in the case where the recognition result of the handwritten input character image when the Japanese dictionary function is selected is not the kanji desired by the user.
ここでは、例えば検索文字列として手書き入力により文字列[日光]の文字イメージを入力して所望する通り認識され、続けて同様に手書き入力で文字[浴]の文字イメージを入力して、入力された文字イメージの認識結果の文字候補中に、所望する文字[浴]がなかった場合について説明する。 Here, we will explain a case where, for example, the character image of the character string [sunlight] is input by handwriting as a search string and is recognized as desired, and then the character image of the character [bath] is similarly input by handwriting, but the desired character [bath] is not found among the character candidates in the recognition result of the input character image.
図5(A)は、図1に示したタッチパネル式表示部17の表示状態から、さらに電子辞書10のユーザがスタイラスペンPにより手書き文字入力部43にて文字[浴]の文字イメージを筆記入力した場合の画面を示す。 Figure 5 (A) shows the screen when the user of the electronic dictionary 10 further inputs the character image of the character [bath] by handwriting using the stylus pen P in the handwritten character input section 43, from the display state of the touch panel display section 17 shown in Figure 1.
図示するように、手書き文字入力部43は2文字分の入力エリアを有する。その一方、例えば左側で手書きの筆記入力を行った後、右側でその入力文字に対する認識処理の実行をスタイラスペンPを用いて指示する。 As shown in the figure, the handwritten character input unit 43 has an input area for two characters. After handwritten input is performed on the left side, for example, the stylus pen P is used on the right side to instruct the execution of recognition processing for the input characters.
スタイラスペンPでの認識処理の実行指示に対応して、制御部21は、文字認識処理を実行して、認識結果である文字候補を類似度が高いと評価した順序でリスト表示する。即ち、制御部21は、入力部で受付けた文字イメージに対して認識処理を実行し、当該文字イメージから第1の文字を導出する文字導出部、および文字導出部で導出された第1の文字をユーザが所望する文字の候補として表示させる表示制御部として機能する。 In response to an instruction to execute a recognition process using the stylus pen P, the control unit 21 executes a character recognition process and displays a list of the character candidates that are the recognition results in the order of how highly similar they are evaluated to be. That is, the control unit 21 executes a recognition process on the character image received by the input unit, and functions as a character derivation unit that derives a first character from the character image, and as a display control unit that displays the first character derived by the character derivation unit as a candidate for the character desired by the user.
図5(B)は、候補文字表示部44で類似度が高いと評価した漢字候補をリスト表示した状態を示す。この候補文字表示部44内には、所望する漢字[浴]が含まれていないため、ユーザは手書き入力した文字に対する修正のための操作が必要となる。 Figure 5 (B) shows a list of kanji candidates that have been evaluated as having a high degree of similarity in the candidate character display section 44. Since the desired kanji character [bath] is not included in the candidate character display section 44, the user needs to perform an operation to correct the handwritten input character.
図3は、制御部21が実行する、手書き入力された文字に対する処理内容を示すフローチャートである。 Figure 3 is a flowchart showing the processing performed by the control unit 21 for handwritten input characters.
処理当初に制御部21は、認識結果として該当する候補文字の情報を取得し(ステップS101)、図5(B)で示したように、それら候補の文字を候補文字表示部44にリスト表示する。 At the beginning of the process, the control unit 21 obtains information on the candidate characters that correspond to the recognition results (step S101), and displays a list of these candidate characters in the candidate character display unit 44, as shown in FIG. 5(B).
この漢字候補をリスト表示した状態から、制御部21は最も近いと思われる一つの候補が長押し操作されたか否か(ステップS103)、一つの候補が選択されたか否か(ステップS107)、リスト表示に対するキャンセルの操作がなされたか否か(ステップS109)、を繰り返し判断することで、これらいずれかの入力がなされるのを待機する。 With the kanji candidates displayed as a list, the control unit 21 repeatedly determines whether a candidate that appears to be the closest has been pressed and held (step S103), whether a candidate has been selected (step S107), and whether a cancel operation has been performed on the list display (step S109), while waiting for any of these inputs to be made.
ステップS107において、リスト表示に対するキャンセルの操作がなされたと判断した場合(ステップS109のYES)、制御部21は以上で図3の処理を終了する。 If it is determined in step S107 that a cancel operation has been performed on the list display (YES in step S109), the control unit 21 ends the processing in FIG. 3.
図7(A)は、図5(B)で示したタッチパネル式表示部17の画面から、ユーザがスタイラスペンPで手書き文字入力部43中の漢字候補[洽]を長押し操作している状態を掲示している。 Figure 7 (A) shows the screen of the touch panel display unit 17 shown in Figure 5 (B) in which the user is pressing and holding the kanji candidate [洽] in the handwritten character input section 43 with the stylus pen P.
ステップS103において、1つの候補に対する長押し操作がなされたと判断した場合、制御部21は、手書き入力された元の入力ストロークデータと、最も類似度が高いものとして選択された候補の漢字の文字形状から、複数の補正ストロークデータを導出するべくストロークデータ補正処理を実行する(ステップS104)。 If it is determined in step S103 that a long press operation has been performed on one candidate, the control unit 21 executes a stroke data correction process to derive multiple pieces of corrected stroke data from the original handwritten input stroke data and the character shape of the kanji character of the candidate selected as having the highest similarity (step S104).
図6は、複数の補正ストロークデータを導出する過程を例示する図である。図6(A)に示す手書き入力された文字のストロークデータと、図6(B)に示すユーザが選択した最も近いと判断して選択した文字[洽]の形状とに合わせて、制御部21は図6(C)に示す補正ストロークデータ1と、図6(D)に示す補正ストロークデータ2とを導出する。 Figure 6 is a diagram illustrating the process of deriving multiple pieces of correction stroke data. Based on the stroke data of the handwritten input character shown in Figure 6 (A) and the shape of the character [洽] selected by the user as being the closest as shown in Figure 6 (B), the control unit 21 derives correction stroke data 1 shown in Figure 6 (C) and correction stroke data 2 shown in Figure 6 (D).
図4は、制御部21がステップS104で実行するストロークデータの補正処理の詳細を示すサブルーチンのフローチャートである。その当初にユーザの入力ストロークデータを走査し、外形枠、空白情報、密集情報を含む字形解析データを導出する(ステップS201)。 Figure 4 is a flowchart of a subroutine showing the details of the stroke data correction process executed by the control unit 21 in step S104. First, the stroke data input by the user is scanned, and character shape analysis data including outline, white space information, and crowding information is derived (step S201).
制御部21は、導出した字形解析データに基づいて各種テーブル記憶領域22a1に記憶された偏旁型テーブルを参照し、ユーザが入力したストロークデータに対する偏旁型候補を導出する(ステップS202)。 Based on the derived character shape analysis data, the control unit 21 refers to the radical type table stored in the various table storage area 22a1, and derives radical type candidates for the stroke data input by the user (step S202).
図9は、各種テーブル記憶領域22a1に記憶される偏旁型テーブルの一部を例示する図である。同図に示すように漢字の部首構成は、図9(A)に示す偏と旁からなるもの、図9(B)に示す冠と脚からなるもの、図9(C)に示す繞(にょう)を含むもの、図9(D)に示す垂(たれ)を含むもの、図9(E)に示すその他の構(かまえ)を含むもの、図9(F)に示すその他の部首に分けられないもの、などに分類できる。 Figure 9 is a diagram showing an example of a part of the radical-component type table stored in the various table storage area 22a1. As shown in the figure, the radical configuration of kanji can be classified into those consisting of radicals and components as shown in Figure 9(A), those consisting of crowns and feet as shown in Figure 9(B), those including 繞 (nyou) as shown in Figure 9(C), those including 垂 (tare) as shown in Figure 9(D), those including other structures as shown in Figure 9(E), and those that cannot be divided into other radicals as shown in Figure 9(F).
図10は、ユーザが入力したストロークデータから偏旁型の漢字候補を導出する過程を説明する図である。図10(A)に示すように、図5(A)、図6(A)で示したユーザ入力のストロークデータに対し、上下方向と左右方向にそれぞれ一方向で順次走査を行う。 Figure 10 is a diagram explaining the process of deriving radical-type kanji candidates from stroke data input by the user. As shown in Figure 10 (A), the stroke data input by the user shown in Figures 5 (A) and 6 (A) is sequentially scanned in one direction, vertically and horizontally.
図10(B)は、走査した結果から文字イメージの粗密に基づいたストロークデータの外形枠OF、空白情報SI、密集情報CIを導出した結果を示す。これら導出結果から、図10(C)に示すように図9(A)で示した偏Rix1と旁Rix2の2つの部首からなるものと認識して、長押し操作された漢字候補を勘案して、類似度の高い偏旁型候補を導出する。 Figure 10 (B) shows the results of deriving the outline frame OF, white space information SI, and density information CI of the stroke data based on the density of the character image from the scanned results. From these derived results, as shown in Figure 10 (C), it is recognized as consisting of two radicals, radical Rix1 and side radical Rix2, shown in Figure 9 (A), and taking into account the kanji candidate that was pressed and held, a side radical candidate with a high degree of similarity is derived.
図10(C)においては、ユーザが入力したストロークデータが図9(A)に示す偏と旁からなるもの、として認識した一方で、図7(A)において、ユーザがスタイラスペンPで手書き文字入力部43中の漢字候補[洽]も図9(A)に示す偏と旁からなるものである。このように、手書き入力された文字イメージから判断した偏旁型と、より字形が近いものとして選択された文字の偏旁型とが一致した場合には、偏旁型候補を1つに限定する。一方で、手書き入力された文字イメージから判断した偏旁型と、より字形が近いものとして選択された文字の偏旁型とが一致しない場合には、各々を偏旁型候補として導出する。即ち、2つの偏旁型候補を導出する
制御部21は、導出した偏旁型候補の中から未選択のもの1つを選択する(ステップS203)。制御部21は、未選択の候補の一つ、例えば図9(A)に示す偏と旁を選択ですると、その選択した偏旁型候補に対するストロークデータの構成要素数として、例えば[偏]と[旁]から[2]を導出する(ステップS204)。
In Fig. 10C, the stroke data input by the user is recognized as being composed of the radical and radicals shown in Fig. 9A, while in Fig. 7A, the user uses the stylus pen P to input the kanji candidate [洽] in the handwritten character input unit 43, which is also composed of the radical and radicals shown in Fig. 9A. In this way, when the radical type determined from the handwritten input character image matches the radical type of the character selected as being more similar in character shape, the radical type candidates are limited to one. On the other hand, when the radical type determined from the handwritten input character image does not match the radical type of the character selected as being more similar in character shape, each of them is derived as a radical type candidate. That is, the control unit 21 derives two radical type candidates. The control unit 21 selects one of the derived radical type candidates that has not been selected (step S203). When the control unit 21 selects one of the unselected candidates, for example the radical and side character shown in FIG. 9A, it derives the number of components of the stroke data for the selected radical and side character candidate, for example [2] from [radical] and [side character] (step S204).
次いで制御部21は、ユーザ入力の構成要素の一つ、例えば[偏]を選択する(ステップS205)。制御部21は、選択した構成要素[偏]に対して、ユーザが選択した最近文字(上述の図6(A)に示す手書き入力された文字のストロークデータと図6(B)に示すユーザが選択した最も近いと判断して選択した文字)[洽]の構成要素を一つ、例えば[さんずい(三水)]を選択する(ステップS206) Next, the control unit 21 selects one of the components of the user input, for example, [radical] ( step S205). The control unit 21 selects one of the components of [洽], for example, [三水], from the most recent character selected by the user (the character selected by determining that it is closest to the stroke data of the handwritten input character shown in FIG. 6(A) and the user selected character shown in FIG. 6(B)) for the selected component [radical] (step S206).
制御部21は、さらにその選択した構成要素、例えば[さんずい(三水)]に対して、後述する置換等の処理を省略することが可能であるか否かを判断する(ステップS207)。これは、例えば偏の構成要素を旁の構成要素には配置しない等の制約を設けることで、不要なユーザ入力のストロークデータと最近文字の各構成要素の置換等の処理工程を軽減するための処置である。 The control unit 21 further judges whether it is possible to omit processing such as replacement, which will be described later, for the selected component, for example [sanzui (three water)] (step S207). This is a measure to reduce processing steps such as replacing unnecessary user-input stroke data with each component of the nearest character by imposing a constraint, for example, that a radical component cannot be placed in a side component.
ステップS207において、例えばユーザ入力のストロークデータで選択している構成要素が[偏]であり、最近文字[洽]で構成要素として選択しているのが[旁]側の[合]である場合などには、置換等の処理が省略可能であると判断し(ステップS207のYES)、制御部21は、その時点で選択している構成要素に対する置換等の処理は省略するものとして、ステップS206からの処理に戻り、次の最近文字の形状の構成要素の選択を行なう。 In step S207, for example, if the component selected in the stroke data input by the user is [Ren] and the component selected in the most recent character [Kaku] is [Go] on the [Han] side, it is determined that processing such as replacement can be omitted (YES in step S207), and the control unit 21 omits processing such as replacement for the component selected at that time, and returns to the processing from step S206 to select a component of the shape of the next most recent character .
またステップS207において、選択した構成要素が省略することができないと判断した場合(ステップS207のNO)、制御部21は、例えばユーザ入力のストロークデータで選択している[偏]側の構成要素を、最近文字[洽]の同一の構成要素[さんずい(三水)]に置換する(ステップS208)。そして、置換した構成要素に基づいた漢字候補を補正ストロークデータとして保存する(ステップS209)。 If it is determined in step S207 that the selected component cannot be omitted (NO in step S207), the control unit 21 replaces, for example, the component on the [Ren] side selected in the stroke data input by the user with the same component [Sanzui (three water)] of the most recent character [洽] (step S208). Then, the control unit 21 saves a kanji candidate based on the replaced component as corrected stroke data (step S209).
制御部21は、すべての最近文字の構成要素の選択を終了したか否かを判断することで、未選択の最近の文字の構成要素があり、すべての最近文字の構成要素を選択終了後ではないことを確認する(ステップS210)。 The control unit 21 determines whether or not the selection of all the most recent character components has been completed, thereby confirming that there are unselected most recent character components and that the selection of all the most recent character components has not yet been completed (step S210).
ステップS210において、すべての最近文字の構成要素の選択を終了していないと判断した場合(ステップS210のNO)、ステップS206からの処理に戻って、最近文字の他の構成要素に対応する処理を実行する。 In step S210, if it is determined that the selection of all the components of the nearest character has not been completed (NO in step S210), the process returns to step S206 and executes processes corresponding to other components of the nearest character .
こうして、ユーザ入力のストロークデータの構成要素[旁]側に関しても、最近文字[洽]の[旁]側の構成要素[合]に置換して補正ストロークデータとする処理を実行する。 In this way, the process is also performed for the [side character] component of the stroke data entered by the user, replacing it with the [side character] component [combined] of the most recent character [洽] to create corrected stroke data.
ステップS210において、すべての最近の文字の構成要素の選択が終了して、未選択の最近文字の構成要素がないと判断した場合(ステップS210のYES)、制御部21は、ユーザ入力のストロークデータのすべての構成要素の選択を終了したか否かを判断することで、未選択の構成要素があり、すべての構成要素を選択終了後ではないことを確認する(ステップS211)。 In step S210, if it is determined that selection of all recent character components has been completed and there are no unselected recent character components (YES in step S210), the control unit 21 determines whether selection of all components of the stroke data input by the user has been completed, thereby confirming that there are unselected components and that selection of all components has not yet been completed (step S211).
ステップS211において、ユーザ入力のストロークデータのすべての構成要素の選択が終了しておらず、未選択の構成要素があると判断した場合(ステップS211のNO)、制御部21は、ステップS205からの処理に戻り、ユーザ入力のストロークデータの他の構成要素について、同様の処理を実行する。 If it is determined in step S211 that selection of all components of the user-input stroke data has not been completed and that there are unselected components (NO in step S211), the control unit 21 returns to the process from step S205 and performs similar processing on the other components of the user-input stroke data.
また、ステップS211において、ユーザ入力のストロークデータのすべての構成要素の選択が終了し、未選択の構成要素がないと判断した場合(ステップS211のYES)、制御部21は、すべての偏旁型候補の選択を終了したか否かを判断することで、未選択の偏旁型候補があり、すべての候補の選択終了後ではないことを確認する(ステップS212)。 In addition, in step S211, if it is determined that the selection of all components of the stroke data input by the user has been completed and there are no unselected components (YES in step S211), the control unit 21 checks whether the selection of all the side-type candidates has been completed, thereby confirming that there are unselected side-type candidates and that the selection of all the candidates has not been completed (step S212).
ステップS212において、すべての偏旁型候補の選択を終了していないと判断した場合(ステップS212のNO)、制御部21は、ステップS203からの処理に戻って、選択していない偏旁型の候補に基づく同様の処理を実行する。 If it is determined in step S212 that selection of all side-group candidates has not been completed (NO in step S212), the control unit 21 returns to the process from step S203 and executes the same process based on the side-group candidates that have not been selected.
また、ステップS212において、すべての偏旁型候補の選択を終了したと判断した場合(ステップS212のYES)、制御部21は、以上で図4のストロークデータの補正処理に関するサブルーチンを終了し、図3のメインルーチンに戻る。 Also, in step S212, if it is determined that the selection of all bias type candidates has been completed (YES in step S212), the control unit 21 ends the subroutine related to the stroke data correction process in FIG. 4 and returns to the main routine in FIG. 3.
前述したように、手書き入力された文字イメージから判断した偏旁型と、より字形が近いものとして選択された文字の偏旁型とが一致した場合には、偏旁型候補を1つに限定する。 As mentioned above, if the radical type determined from the handwritten input character image matches the radical type of the character selected as having a closer character shape, the radical type candidates are limited to one.
一方で、手書き入力された文字イメージから判断した偏旁型と、より字形が近いものとして選択された文字の偏旁型とが一致しない場合には、手書き入力された文字イメージから判断した偏旁型候補とより字形が近いものとして選択された文字の偏旁型候補との2つの偏旁型候補を導出することになるため、ステップS203以下を繰り返し実行する。 On the other hand, if the radical type determined from the handwritten input character image does not match the radical type of the character selected as having a closer character shape, two radical type candidates, that is, the radical type candidate determined from the handwritten input character image and the radical type candidate of the character selected as having a closer character shape, are derived, and step S203 and subsequent steps are repeatedly executed.
図11は、ユーザによりタッチパネル式表示部17の候補文字表示部44で長押し操作された文字[洽]に対応して、ユーザ入力のストロークデータを偏旁型の最近文字の構成要素に置換した補正ストロークデータの例を示す。ユーザ入力のストロークデータに対して、図11(A)が選択した最近文字の形状の漢字候補[洽]である。その偏Rix1である[三水(さんずい)]に対応したものが図11(C)に示す補正ストロークデータ2となり、同様にその旁Rix2である[合]に対応したものが図11(B)に示す補正ストロークデータ1となる。この図11では、最終的な補正ストロークデータ数は[2]となり、それらに対して後述する文字認識処理を行う。 11 shows an example of corrected stroke data in which stroke data input by a user is replaced with the components of a radical-type recent character corresponding to the character [洽] that is long-pressed by the user on the candidate character display section 44 of the touch panel display section 17. FIG. 11(A) shows the kanji candidate [洽] with the shape of the most recent character selected from the stroke data input by the user. The data corresponding to the radical Rix1 [三水 (sanzui)] is the corrected stroke data 2 shown in FIG. 11(C), and similarly the data corresponding to the radical Rix2 [合] is the corrected stroke data 1 shown in FIG. 11(B). In FIG. 11, the final number of corrected stroke data is [2], and character recognition processing is performed on these data, which will be described later.
図3では、ステップS104でストロークデータの補正処理を実行した後、複数の補正データに対する手書き認識処理を順次実行して、複数の補正データに対する認識結果としての補正漢字候補を導出する(ステップS105)。 In FIG. 3, after performing stroke data correction processing in step S104, handwriting recognition processing is sequentially performed on multiple pieces of corrected data to derive corrected kanji candidates as recognition results for the multiple pieces of corrected data (step S105).
制御部21は、導出した補正漢字候補をあらためてタッチパネル式表示部17でリスト表示した上で(ステップS106)、その表示した漢字候補に対する操作を待機するべく、ステップS103からの処理に戻る。 The control unit 21 displays the derived correction kanji candidates again in a list on the touch panel display unit 17 (step S106), and then returns to the process from step S103 to wait for an operation on the displayed kanji candidates.
図7(B)は、図7(A)において漢字[洽]をスタイラスペンPで長押し操作により選択した状態から、前述した一連の処理により、手書き入力によるストロークデータを参照して漢字候補を表示させた状態を例示する図である。図7(B)では、補正漢字候補表示部45の中心を、選択した漢字[洽]の位置として、その左側45Aに旁[合]に対応する2つの漢字候補[哈][恰]をリスト表示し、同様に漢字[洽]を挟んでその右側45Bに2つの漢字候補[浴][沿]をリスト表示している。左側45Aの2つの漢字候補[哈][恰]は、図6(C)で示した補正ストロークデータ1に対して、ステップS105での手書き認識処理を実行して導出された候補が表示されたものである。一方、右側45Bの2つの漢字候補[浴][沿]は、図6(D)で示した補正ストロークデータ2に対して、ステップS105での手書き認識処理を実行して導出された候補が表示されたものである。 Figure 7 (B) is a diagram illustrating a state in which the kanji character [洽] is selected by long pressing the stylus pen P in Figure 7 (A), and kanji candidates are displayed by referring to the stroke data input by handwriting through the above-mentioned series of processes. In Figure 7 (B), the center of the corrected kanji candidate display section 45 is the position of the selected kanji character [洽], and two kanji candidates [哈] and [恰] corresponding to the side character [合] are displayed in a list on the left side 45A, and two kanji candidates [湯] and [行] are similarly displayed in a list on the right side 45B, sandwiched between the kanji character [洽]. The two kanji candidates [哈] and [恰] on the left side 45A are displayed as candidates derived by executing the handwriting recognition process in step S105 on the corrected stroke data 1 shown in Figure 6 (C). On the other hand, the two kanji candidates on the right side 45B, [Bath] and [Align], are displayed as candidates derived by performing the handwriting recognition process in step S105 on the corrected stroke data 2 shown in FIG. 6(D).
この場合、同じ偏旁型の漢字同士、例えば[哈]と[恰]、[浴]と[沿]は、それぞれ同一色の枠で囲って表示することで、同一の偏旁型であることを表現しても良い。 In this case, kanji characters with the same radical type, for example [哈] and [恰], [湯] and [行], may be displayed in frames of the same color to indicate that they have the same radical type.
また、色に限らず、枠線の種類や表示位置などを同一の偏旁型毎に視覚的に識別できるよう区分表示を行うことで、ユーザは容易に文字認識された結果を理解できる。 In addition to colors, the type of border and display position can be used to visually distinguish between characters with the same radical type, allowing users to easily understand the results of character recognition.
電子辞書10のユーザが、リスト表示された漢字候補の中に所望する漢字を見つけた場合、当該ユーザはその所望する漢字をタッチ操作により選択する。 When a user of the electronic dictionary 10 finds a desired kanji among the kanji candidates displayed in the list, the user selects the desired kanji by a touch operation.
制御部21は、図3において前述した如く、最も近いと思われる一つの候補が長押し操作されたか否か(ステップS103)、一つの候補が選択されたか否か(ステップS107)、リスト表示に対するキャンセルの操作がなされたか否か(ステップS109)を繰り返し判断することで、それらいずれかの入力がなされるのを待機している。 As described above in FIG. 3, the control unit 21 waits for any of the following inputs by repeatedly determining whether or not a long press has been performed on one of the candidates that appears to be the closest (step S103), whether or not a candidate has been selected (step S107), and whether or not a cancel operation has been performed on the list display (step S109).
したがって、ユーザが所望する一つの文字がタッチ操作により選択された場合、制御部21はステップS107において一つの候補が選択されたと判断し(ステップS107のYES)、選択された漢字候補を確定して、すでに入力されている文字列に続けて入力し(ステップS108)、以上で図3の処理を終了する。 Therefore, when a single character desired by the user is selected by a touch operation, the control unit 21 determines in step S107 that one candidate has been selected (YES in step S107), confirms the selected kanji candidate, and inputs it following the character string that has already been input (step S108), thus completing the processing in FIG. 3.
図8(A)は、図7(A)の表示状態から補正漢字候補表示部45の右側45Bの漢字候補[浴]がタッチ操作された状態を示している。このタッチ操作に対応して制御部21は、漢字候補[浴]を、検索文字列入力部41のすでに入力されている文字列[日光]に続く文字であるものとして確定する。 Fig. 8 (A) shows a state in which the kanji candidate [bath] on the right side 45B of the corrected kanji candidate display section 45 is touched from the display state of Fig. 7 (A). In response to this touch operation, the control section 21 confirms the kanji candidate [bath] as the character following the character string [sunlight] already input in the search character string input section 41.
したがって、図8(B)に示すように検索文字列入力部41においては、仮の入力状態である誤認識の文字[信]を含む文字列[日光信]から補正処理を伴って確定した結果[日光浴]に代わる。同時に手書き文字入力部43においては、漢字確定後に次の手書き入力に備えるべく、表示内容をクリアする。 Therefore, as shown in FIG. 8(B), in the search string input section 41, the character string [nikkoshin], which includes the erroneously recognized character [shin], which is in a provisional input state, is changed to the confirmed result [nikkoyu] after correction processing. At the same time, in the handwritten character input section 43, the display content is cleared in preparation for the next handwritten input after the kanji has been confirmed.
このように、手書き入力により所望の漢字が認識されなかった場合でも、通常のタッチ操作とは異なる操作として、例えば認識結果に最も近いと思われる他の文字を長押し操作するなどの操作を行うことにより、ユーザが入力したストロークデータを漢字の部首毎に分解して補正ストロークデータを得、あらたに文字解析を行う。そのため、手書き入力する漢字の一部が多少不正確な形で入力された場合でも、それを補正して所望する漢字が得られる可能性を向上することができ、手書き入力の効率化に寄与できる。 In this way, even if the desired kanji is not recognized through handwritten input, an operation other than a normal touch operation, such as long pressing another character that is thought to be closest to the recognition result, can be performed to break down the stroke data entered by the kanji radical, obtain corrected stroke data, and perform new character analysis. Therefore, even if part of the kanji to be handwritten input is input somewhat inaccurately, it is possible to correct it and improve the possibility of obtaining the desired kanji, which contributes to the efficiency of handwritten input.
なお、例えば国語辞典などの辞書機能選択時には、ユーザが見出し語の一部として入力する検索文字列で手書き入力された文字に対して、その前後にすでに入力されている文字列を勘案した上で、候補とはなり得ないと考えられる文字に関しては、候補から除外することで、無闇に多くの候補がリスト表示されるのを回避できる。 For example, when selecting a dictionary function such as a Japanese dictionary, the system takes into account the characters already entered before and after the handwritten characters in the search string that the user enters as part of the headword, and excludes characters that are deemed unlikely to be candidates from the list of candidates, thereby avoiding the display of an unnecessarily large number of candidates.
また、図7(B)および図8(A)で示したタッチパネル式表示部17の表示画面において、補正漢字候補表示部45の漢字候補45A、45Bのいずれにも依然として所望する漢字が表示されていない場合には、再度それらの中から最も形状が近いと思われる文字を選択して長押し操作することにより、図4に示したストロークデータの補正処理を繰り返し実行する。 In addition, on the display screen of the touch panel display unit 17 shown in Figures 7 (B) and 8 (A), if the desired kanji is still not displayed in either of the kanji candidates 45A, 45B in the correction kanji candidate display section 45, the character that is thought to be closest in shape is again selected from among them and pressed and held down, thereby repeatedly executing the stroke data correction process shown in Figure 4.
さらに、長押し操作により形状が近いと思われる漢字を何度か繰り返し選択しても、所望する漢字が候補として表示されない場合には、手書き文字入力部43で手書き入力自体を再度行うことも考えられる。そのような再度の手書き入力に際しては、その前に候補として表示されながらも所望の文字として選択されなかった文字の候補としての出現率を下げるような選択処理を行うことで、認識の精度を向上できる。 Furthermore, if the desired kanji is not displayed as a candidate even after repeatedly selecting kanji that appear to be similar in shape by using a long press operation, it is possible to perform handwritten input again using the handwritten character input unit 43. When performing such handwritten input again, a selection process is performed that reduces the appearance rate as candidates of characters that were previously displayed as candidates but were not selected as the desired character, thereby improving the accuracy of recognition.
[実施形態の効果]
以上詳述した如く本実施形態によれば、手書き入力された内容を有効に活用し、広い範囲の候補から所望される文字の選択を受付けることが可能となる。
[Effects of the embodiment]
As described above in detail, according to this embodiment, it is possible to effectively utilize handwritten input contents and accept the selection of desired characters from a wide range of candidates.
また特に、本実施形態においては、ユーザによる手書き入力されたストロークデータを、各種テーブル記憶領域22a1に記憶された偏旁型テーブルを参照して部首毎の構成要素をどのように分割できるか解析した結果に基づく、偏旁型の候補として導出して補正ストロークデータを得るものとした。このような処理過程を採用することで、他にも例えば文字認識処理における学習や機械学習データ等に基づいた重み付けを行う画像処理を併せて実行しても良いが、いずれにしても制御部21での回路処理の負担を軽減して、より迅速に認識結果を取得できる。 In particular, in this embodiment, stroke data handwritten by the user is analyzed by referring to the radical type table stored in the various table storage area 22a1 to analyze how the components of each radical can be divided, and corrected stroke data is obtained by deriving radical type candidates based on the results. By adopting such a processing process, other image processing such as weighting based on learning in character recognition processing or machine learning data may also be performed, but in any case, the burden on the circuit processing in the control unit 21 can be reduced and recognition results can be obtained more quickly.
また、本実施形態では説明しなかったが、最終的に所望する文字の候補をユーザが選択した際には、その選択された文字と手書き入力された文字それぞれを偏旁型に応じて分割し、分割した部位毎にその対応関係を学習データとして各種テーブル記憶領域22a1に更新記憶させても良い。その場合、各種テーブル記憶領域22a1が、手書き入力された文字を分割した部位と、確定結果となる文字の対応する部位との関連性を示す情報を記憶し、制御部21が新たに文字認識を行う際に用いる情報として記憶する記憶部として機能する。次回以降の手書き入力の文字認識の際に同様の筆跡が含まれていた場合に、学習した内容に応じて自動的に補正を行うことで、使い込む程にユーザの手書きの癖を学習して、認識率をより向上させることができる。 Although not described in this embodiment, when the user finally selects a desired character candidate, the selected character and the handwritten input character may each be divided according to the radical type, and the correspondence between each divided portion may be updated and stored as learning data in the various table storage area 22a1. In this case, the various table storage area 22a1 functions as a storage unit that stores information indicating the relationship between the divided portions of the handwritten input character and the corresponding portions of the finalized character, and stores the information as information to be used when the control unit 21 performs new character recognition. If a similar handwriting is included during character recognition of the handwritten input from the next time onwards, automatic correction is performed according to the learned content, and the user's handwriting habits are learned the more it is used, thereby further improving the recognition rate.
その他、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。 In addition, the present invention is not limited to the above-mentioned embodiment, and various modifications can be made in the implementation stage without departing from the gist of the invention. Furthermore, the embodiments may be implemented in combination as appropriate as possible, in which case the combined effects can be obtained. Furthermore, the above-mentioned embodiment includes inventions at various stages, and various inventions can be extracted by appropriate combinations of the multiple constituent elements disclosed. For example, even if some constituent elements are deleted from all the constituent elements shown in the embodiment, if the problem stated in the "Problem to be Solved by the Invention" column can be solved and the effect stated in the "Effect of the Invention" column can be obtained, the configuration from which the constituent elements are deleted can be extracted as the invention.
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[請求項1]
手書き形式での入力操作に基づいて文字イメージを受付ける入力部と、
前記入力部で受付けた文字イメージに対して認識処理を実行し、当該文字イメージから第1の文字を導出する文字導出部と、
前記文字導出部で導出された前記第1の文字をユーザが所望する文字の候補として表示させる表示制御部と、
を備え、
前記入力部は、前記第1の文字について、前記ユーザが所望する文字ではないが前記ユーザが所望する文字に類似する文字である旨を示す指定操作を受付可能であり、
前記文字導出部は、前記入力部により前記指定操作を受け付けた際に、前記第1の文字と所定の関連性を有する第2の文字をさらに導出し、
前記表示制御部は、前記文字導出部で導出された前記第2の文字を前記ユーザが所望する文字の追加候補として表示させる、
ことを特徴とする文字認識装置。
[請求項2]
前記文字導出部は、さらに前記入力部で受付けた文字イメージとの関連性も用いて前記第2の文字を導出する、
ことを特徴とする請求項1記載の文字認識装置。
[請求項3]
前記文字導出部は、前記文字イメージの粗密に応じて分割した部位毎に、前記第1の文字の対応する部位との所定の関連性に応じて前記第2の文字を導出する、
請求項1または2記載の文字認識装置。
[請求項4]
前記文字導出部は、前記文字イメージの粗密に応じて分割した部位に対応して、前記第1の文字との所定の関連性を有する複数の前記第2の文字を導出し、
前記表示制御部は、導出した複数の前記第2の文字を、前記文字イメージの粗密に応じて分割した部位に対応して区分して表示させる、
ことを特徴とする請求項1乃至3いずれか記載の文字認識装置。
[請求項5]
前記文字導出部は、前記入力部で受付ける文字イメージが入力済の文字列に続いて入力されたものである場合に、前記入力済の文字列との関連性に応じて前記第2の文字を導出する、
ことを特徴とする請求項1乃至4いずれか記載の文字認識装置。
[請求項6]
前記入力部は、追加候補として表示させた前記第2の文字に対する確定操作を受付け可能であり、
前記文字イメージの粗密に応じて分割した部位と、前記確定操作を受付けた前記第2の文字の対応する部位との関連性を示す情報を、前記文字導出部が前記第2の文字を導出する際に用いる情報として記憶する記憶部をさらに備える、
ことを特徴とする請求項1乃至5いずれか記載の文字認識装置。
[請求項7]
手書き形式での入力操作に基づいて文字イメージを受付ける入力部と、前記入力部で受付けた文字イメージに対して認識処理を実行し、当該文字イメージから第1の文字を導出する文字導出部と、前記文字導出部で導出された前記第1の文字をユーザが所望する文字の候補として表示させる表示制御部と、を備える装置での文字認識方法であって、
前記入力部は、前記第1の文字について、前記ユーザが所望する文字ではないが前記ユーザが所望する文字に類似する文字である旨を示す指定操作を受付可能とし、
前記文字導出部は、前記入力部により前記指定操作を受け付けた際に、前記第1の文字と所定の関連性を有する第2の文字をさらに導出し、
前記表示制御部は、前記文字導出部で導出された前記第2の文字を前記ユーザが所望する文字の追加候補として表示させる、
ことを特徴とする文字認識方法。
[請求項8]
手書き形式での入力操作に基づいて文字イメージを受付ける入力部と、前記入力部で受付けた文字イメージに対して認識処理を実行し、当該文字イメージから第1の文字を導出する文字導出部と、前記文字導出部で導出された前記第1の文字をユーザが所望する文字の候補として表示させる表示制御部と、を備える装置が内蔵したコンピュータが実行するプログラムであって、前記コンピュータにより、
前記入力部は、前記第1の文字について、前記ユーザが所望する文字ではないが前記ユーザが所望する文字に類似する文字である旨を示す指定操作を受付可能とし、
前記文字導出部は、前記入力部により前記指定操作を受け付けた際に、前記第1の文字と所定の関連性を有する第2の文字をさらに導出し、
前記表示制御部は、前記文字導出部で導出された前記第2の文字を前記ユーザが所望する文字の追加候補として表示させる、
ように機能させることを特徴とするプログラム。
The invention as originally claimed in the present application is set forth below.
[Claim 1]
an input unit that accepts character images based on an input operation in handwriting format;
a character deriving unit that executes a recognition process on the character image received by the input unit and derives a first character from the character image;
a display control unit that displays the first character derived by the character derivation unit as a candidate for a character desired by a user;
Equipped with
the input unit is capable of accepting a designation operation indicating that the first character is not a character desired by the user but is similar to the character desired by the user;
the character deriving unit further derives a second character having a predetermined correlation with the first character when the specifying operation is received by the input unit;
The display control unit displays the second character derived by the character derivation unit as an additional candidate for a character desired by the user.
A character recognition device comprising:
[Claim 2]
The character deriving unit further derives the second character by using a correlation with the character image received by the input unit.
2. The character recognition apparatus according to claim 1.
[Claim 3]
the character derivation unit derives the second character for each portion divided according to density of the character image in accordance with a predetermined correlation with a corresponding portion of the first character;
3. The character recognition device according to claim 1.
[Claim 4]
the character derivation unit derives a plurality of second characters having a predetermined correlation with the first character in correspondence with portions divided according to density of the character image;
The display control unit displays the derived second characters in a divided manner corresponding to the portions divided according to the density of the character image.
4. The character recognition device according to claim 1, wherein the character recognition device further comprises:
[Claim 5]
the character derivation unit, when a character image received by the input unit is input following a previously input character string, derives the second character in accordance with a relevance to the previously input character string.
5. The character recognition device according to claim 1, wherein the character recognition device further comprises a first input unit.
[Claim 6]
the input unit is capable of accepting a confirmation operation for the second character displayed as an additional candidate,
a storage unit configured to store information indicating a relationship between a portion divided according to density of the character image and a corresponding portion of the second character for which the confirmation operation has been received, as information used by the character derivation unit when deriving the second character,
6. The character recognition device according to claim 1, wherein the character recognition device further comprises:
[Claim 7]
A character recognition method for a device including an input unit that accepts a character image based on an input operation in a handwritten format, a character derivation unit that executes a recognition process on the character image accepted by the input unit and derives a first character from the character image, and a display control unit that displays the first character derived by the character derivation unit as a candidate for a character desired by a user,
the input unit is capable of accepting a designation operation indicating that the first character is not a character desired by the user but is similar to the character desired by the user;
the character deriving unit further derives a second character having a predetermined correlation with the first character when the specifying operation is received by the input unit;
The display control unit displays the second character derived by the character derivation unit as an additional candidate for a character desired by the user.
A character recognition method comprising:
[Claim 8]
A program executed by a computer having a device including: an input unit that accepts a character image based on an input operation in a handwritten format; a character derivation unit that executes a recognition process on the character image accepted by the input unit and derives a first character from the character image; and a display control unit that displays the first character derived by the character derivation unit as a candidate for a character desired by a user, the program being executed by the computer:
the input unit is capable of accepting a designation operation indicating that the first character is not a character desired by the user but is similar to the character desired by the user;
the character deriving unit further derives a second character having a predetermined correlation with the first character when the specifying operation is accepted by the input unit;
The display control unit displays the second character derived by the character derivation unit as an additional candidate for a character desired by the user.
The program is characterized by causing the program to function as follows.
10…電子辞書
11…本体ケース
12…蓋体ケース
13…ヒンジ部
14…キー入力部
14a…[ホーム]キー
14b…機能指定キー
14c…文字入力キー
14d…[決定]キー
14e…[戻る]キー
14f…[BOX]キー
14g…カーソル移動キー
14h…[シフト]キー
15…音声出力部
16…音声入力部
17…タッチパネル式表示部
21…制御部(CPU)
22…記憶部
22a…検索処理プログラム記憶領域
22a1…各種テーブル記憶領域
22b…辞書データ記憶領域
22c…検索履歴記憶領域
22d…作業データ記憶領域
23…外部記録媒体
24…記録媒体読取部
25…通信部
41…検索文字列入力部
42…候補表示部
43…手書き文字入力部
44…候補文字表示部
45…補正漢字候補表示部
45A、45B…漢字候補
P…スタイラスペン
10... Electronic dictionary 11... Main body case 12... Lid case 13... Hinge section 14... Key input section 14a... [Home] key 14b... Function designation key 14c... Character input key 14d... [Decision] key 14e... [Back] key 14f... [BOX] key 14g... Cursor movement key 14h... [Shift] key 15... Audio output section 16... Audio input section 17... Touch panel display section 21... Control section (CPU)
22...Memory unit 22a...Search processing program memory area 22a1...Various table memory area 22b...Dictionary data memory area 22c...Search history memory area 22d...Work data memory area 23...External recording medium 24...Recording medium reading unit 25...Communication unit 41...Search string input unit 42...Candidate display unit 43...Handwritten character input unit 44...Candidate character display unit 45...Corrected kanji candidate display unit 45A, 45B...Kanji candidate P...Stylus pen
Claims (6)
前記入力部で受付けた文字イメージに対して認識処理を実行し、当該文字イメージと類似度が高いと評価した順序で文字の候補を導出する文字導出部と、
前記文字導出部で導出された文字の候補をユーザが所望する文字の候補として表示させる表示制御部と、
を備え、
前記入力部は、前記表示制御部により表示された文字の候補から前記ユーザが所望する文字の導出を指定する指定操作を受付可能であり、
前記文字導出部は、前記入力部により前記指定操作を受け付けた際に、前記入力部が受け付けた文字イメージのストロークデータに最も類似度が高いものとして選択された候補の文字形状から、前記第1の文字の文字イメージのストロークデータの補正ストロークデータを取得し、前記補正ストロークデータによる文字イメージに対して認識処理を実行して第2の文字を導出し、
前記表示制御部は、前記文字導出部で導出された前記第2の文字を前記ユーザが所望する文字の追加候補として表示させる、
ことを特徴とする文字認識装置。 an input unit that accepts a character image of a first character input by handwriting;
a character derivation unit that executes a recognition process on the character image received by the input unit and derives character candidates in the order of the degree of similarity evaluated to the character image ;
a display control unit that displays the character candidates derived by the character derivation unit as character candidates desired by a user;
Equipped with
The input unit is capable of receiving a designation operation for designating derivation of a character desired by the user from character candidates displayed by the display control unit ,
the character derivation unit, when receiving the designation operation by the input unit, acquires corrected stroke data of the stroke data of the character image of the first character from a character shape of a candidate selected as a candidate having the highest similarity to the stroke data of the character image received by the input unit, and derives a second character by performing a recognition process on the character image based on the corrected stroke data;
The display control unit displays the second character derived by the character derivation unit as an additional candidate for a character desired by the user.
A character recognition device comprising:
前記文字導出部は、前記入力部により前記指定操作を受け付けた際に、粗密に応じて前記第1の漢字のイメージから認識されるべき第1の漢字の偏旁型を判断し、判断された偏旁型の部首に対応する文字イメージのストロークデータを、前記第1の漢字のイメージのストロークデータの補正ストロークデータとして取得することを特徴とする請求項1記載の文字認識装置。 the character image of the first character is an image of a first Chinese character having a radical composition;
2. The character recognition device according to claim 1, wherein, when the designation operation is accepted by the input unit , the character derivation unit determines a radical type of the first Chinese character to be recognized from the image of the first Chinese character depending on density, and acquires stroke data of a character image corresponding to a radical of the determined radical type as corrected stroke data of the stroke data of the image of the first Chinese character.
ことを特徴とする請求項2記載の文字認識装置。 the display control unit displays the derived second Chinese characters, which are the plurality of second characters, in a manner corresponding to the determined radicals;
3. The character recognition apparatus according to claim 2.
前記入力部にて、前記表示部に表示された文字の候補から前記ユーザが所望する文字の導出を指定する指定操作を受付けるステップと、
前記入力部により前記指定操作を受け付けた際に、前記入力部が受け付けた文字イメージのストロークデータに最も類似度が高いものとして選択された候補の文字形状から、前記第1の文字の文字イメージのストロークデータの補正ストロークデータを取得し、前記補正ストロークデータによる文字イメージに対して認識処理を実行して第2の文字を導出するステップと、
前記導出された前記第2の文字を前記ユーザが所望する文字の追加候補として前記表示部に表示させるステップと、
を含むことを特徴とする文字認識方法。 A character recognition method for a device including an input unit and a display unit that accepts a character image of a first character input by handwriting, a character derivation unit that executes a recognition process on the character image accepted by the input unit and derives character candidates in an order of evaluation of high similarity to the character image , and a display unit that displays the character candidates derived by the character derivation unit as character candidates desired by a user,
receiving, by the input unit, a designation operation for designating derivation of a character desired by the user from character candidates displayed on the display unit;
acquiring corrected stroke data of the stroke data of the character image of the first character from a character shape of a candidate selected as a candidate having the highest similarity to the stroke data of the character image accepted by the input unit when the input unit accepts the specifying operation, and executing a recognition process on the character image based on the corrected stroke data to derive a second character;
displaying the derived second character on the display unit as an additional candidate for a character desired by the user;
A character recognition method comprising:
前記入力部にて、前記表示部に表示された文字の候補から前記ユーザが所望する文字の導出を指定する指定操作を受付けるステップ、
前記入力部により前記指定操作を受け付けた際に、前記入力部が受け付けた文字イメージのストロークデータに最も類似度が高いものとして選択された候補の文字形状から、前記第1の文字の文字イメージのストロークデータの補正ストロークデータを取得し、前記補正ストロークデータによる文字イメージに対して認識処理を実行して第2の文字を導出するステップ、
前記導出された前記第2の文字を前記ユーザが所望する文字の追加候補として前記表示部に表示させるステップ、
を実現させるためのプログラム。 A computer includes an input unit and a display unit that accepts a character image of a first character input by handwriting, a character derivation unit that executes a recognition process on the character image accepted by the input unit, and derives character candidates in an order of evaluation of high similarity to the character image , and a device that displays the character candidates derived by the character derivation unit as character candidates desired by a user on the display unit,
receiving, via the input unit, a designation operation for designating derivation of a character desired by the user from character candidates displayed on the display unit;
acquiring corrected stroke data of the stroke data of the character image of the first character from a character shape of a candidate selected as a candidate having the highest similarity to the stroke data of the character image accepted by the input unit when the input unit accepts the specifying operation, and executing a recognition process on the character image based on the corrected stroke data to derive a second character;
displaying the derived second character on the display unit as an additional candidate for a character desired by the user;
A program to achieve this.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021050754A JP7670524B2 (en) | 2021-03-24 | 2021-03-24 | Character recognition device, character recognition method and program |
| CN202210249269.8A CN115131799B (en) | 2021-03-24 | 2022-03-14 | Character recognition device, character recognition method, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021050754A JP7670524B2 (en) | 2021-03-24 | 2021-03-24 | Character recognition device, character recognition method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022148901A JP2022148901A (en) | 2022-10-06 |
| JP7670524B2 true JP7670524B2 (en) | 2025-04-30 |
Family
ID=83376683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021050754A Active JP7670524B2 (en) | 2021-03-24 | 2021-03-24 | Character recognition device, character recognition method and program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7670524B2 (en) |
| CN (1) | CN115131799B (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016523406A (en) | 2013-06-09 | 2016-08-08 | アップル インコーポレイテッド | Real-time handwriting recognition management |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0696266A (en) * | 1992-09-11 | 1994-04-08 | Hitachi Ltd | Correction support method for character recognition results |
| JPH08123896A (en) * | 1994-10-28 | 1996-05-17 | Hitachi Ltd | Handwritten character input device |
| JP3299875B2 (en) * | 1995-11-27 | 2002-07-08 | シャープ株式会社 | Character processor |
| JPH1021325A (en) * | 1996-06-28 | 1998-01-23 | Baazu Joho Kagaku Kenkyusho:Kk | Method for recognizing character |
| JP3452774B2 (en) * | 1997-10-16 | 2003-09-29 | 富士通株式会社 | Character recognition method |
| JP4698308B2 (en) * | 2005-07-06 | 2011-06-08 | シャープ株式会社 | Character input device, character input program, and recording medium for recording character input program |
| JP2011209814A (en) * | 2010-03-29 | 2011-10-20 | Casio Computer Co Ltd | Character input device and character input method |
| CN103324330B (en) * | 2012-03-17 | 2017-10-13 | 阿尔派株式会社 | Input device and character input method |
| KR101665223B1 (en) * | 2012-05-17 | 2016-10-11 | 샤프 가부시키가이샤 | Display control device, electronic apparatus, recording medium and display device control method |
| CN109388249B (en) * | 2017-08-02 | 2023-03-10 | 北京搜狗科技发展有限公司 | Input information processing method and device, terminal and readable storage medium |
-
2021
- 2021-03-24 JP JP2021050754A patent/JP7670524B2/en active Active
-
2022
- 2022-03-14 CN CN202210249269.8A patent/CN115131799B/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016523406A (en) | 2013-06-09 | 2016-08-08 | アップル インコーポレイテッド | Real-time handwriting recognition management |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022148901A (en) | 2022-10-06 |
| CN115131799A (en) | 2022-09-30 |
| CN115131799B (en) | 2026-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5703711B2 (en) | Electronic dictionary device and program | |
| KR100931466B1 (en) | Electronic dictionary device and dictionary search method of electronic dictionary device | |
| US8199112B2 (en) | Character input device | |
| JP7670524B2 (en) | Character recognition device, character recognition method and program | |
| EP2581836A2 (en) | Electronic device and dictionary data display method | |
| CN102081499A (en) | Electronic dictionary apparatus and search method therefor | |
| JP5440229B2 (en) | Electronic dictionary device and program | |
| US8335680B2 (en) | Electronic apparatus with dictionary function background | |
| JP5652251B2 (en) | Information display device and program | |
| JP5321661B2 (en) | Electronic device and program with dictionary function | |
| JP2011159066A (en) | Electronic dictionary device and program | |
| JP5487898B2 (en) | Electronic device and program with dictionary function | |
| JP5903902B2 (en) | Information display control device and program | |
| JP7711406B2 (en) | Information search device, information search support method and program | |
| JP6451790B2 (en) | Electronic device having dictionary function, control program thereof, and display method | |
| JP4967820B2 (en) | Handwritten character input device and control program thereof | |
| JP2009042939A (en) | Electronic device and program having dictionary function | |
| JP6167508B2 (en) | Electronic device, program, and display method | |
| JP6264412B2 (en) | Information display device, information display method, and information display program | |
| JP7515242B2 (en) | Character input device, character input support method and program | |
| JP5733380B2 (en) | Electronic equipment and programs | |
| JP2009134728A (en) | Electronic dictionary apparatus and program | |
| JP2011258007A (en) | Electronic dictionary device and program | |
| CN102081646A (en) | Electronic dictionary apparatus and search method therefor | |
| JP2018164169A (en) | Character input device, character input method, and input control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220131 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230327 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230725 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230921 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240409 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20240423 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20240607 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241217 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250417 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7670524 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |