JP7515697B2 - 画像サンプル生成方法、テキスト認識方法、装置、電子機器、記憶媒体及びコンピュータプログラム - Google Patents

Description

相互参照

本願は、２０２２年１月１７日に提出された、出願番号２０２２１００５１６６３.０の中国特許出願の優先権を主張し、その全ての内容は、引用によって本願に組み込まれる。

本開示は、人工知能技術分野に関し、特に、ディープラーニング技術及びコンピュータビジョン技術に関する。より具体的に、本開示は、画像サンプル生成方法、テキスト認識方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提供する。

ディープラーニングモデルにより、プリント書体のテキストをテキスト認識することができるが、手書き書体のテキストについて、人工的な方式でテキスト認識することができる。

本開示は、画像サンプル生成方法、テキスト認識方法、装置、機器及び記憶媒体を提供する。

第一態様によれば、画像サンプル生成方法を提供し、該方法は、少なくとも１つの手書き書体サンプル画像に基づいて、手書き書体テキスト画像を生成することと、前記手書き書体テキスト画像と、背景画像とに基づいて、マーカーフレームを有する目標サンプル画像を生成することとを含み、前記マーカーフレームは、前記手書き書体テキスト画像の前記背景画像に位置する領域を表す。

第二態様によれば、テキスト認識方法を提供し、該方法は、検出モデルを用いてテキスト画像に対して目標検出を行い、前記テキスト画像におけるテキストの位置する領域を表す検出フレームを有するテキスト画像を取得することと、前記検出フレイムを有するテキスト画像を分割し、被認識画像を取得することと、前記被認識画像に基づいて、テキスト認識を行い、前記テキスト画像におけるテキストを取得することとを含み、前記検出モデルは、本開示に提供の方法により生成された複数の画像サンプルに基づいてトレーニングして得られた。

第三態様によれば、画像サンプル生成装置を提供し、該装置は、少なくとも１つの手書き書体サンプル画像に基づいて、手書き書体テキスト画像を生成する第１の生成モジュールと、前記手書き書体テキスト画像と、背景画像とに基づいて、マーカーフレームを有する目標サンプル画像を生成する第２の生成モジュールとを含み、前記マーカーフレームは、前記手書き書体テキスト画像の前記背景画像に位置する領域を表す。

第四態様によれば、テキスト認識装置を提供し、該装置は、検出モデルを用いてテキスト画像に対して目標検出を行い、前記テキスト画像におけるテキストの位置する領域を表す検出フレイムを有するテキスト画像を取得する検出モジュールと、前記検出フレイムを有するテキスト画像を分割し、被認識画像を取得する分割モジュールと、前記被認識画像に基づいて、テキスト認識を行い、前記テキスト画像におけるテキストを取得する認識モジュールとを含み、前記検出モデルは、本開示に提供の装置により生成された複数の画像サンプルに基づいてトレーニングして得られた。

第五態様によれば、電子機器を提供し、該電子機器は、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサに通信接続されたメモリと備え、メモリには、少なくとも１つのプロセッサにより実行可能な命令が記憶されており、命令は、少なくとも１つのプロセッサが本開示に提供の方法を実行することができるように、少なくとも１つのプロセッサにより実行される。

第六態様によれば、コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体を提供し、該コンピュータ命令はコンピュータに本開示に提供の方法を実行させる。

第七態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムはプロセッサにより実行される時に本開示に提供の方法を実現する。

理解されるべきこととして、本部分に記載された内容は、本開示の実施例のキーポイント又は重要な特徴を示すことを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明により容易に理解される。

ここで、図面は、本開示の発明をよりよく理解するために用いられ、本開示を限定するものではない。
図１は、本開示の一実施例に係る画像サンプル生成方法及びテキスト認識方法を適用できる例示的なシステムアーキテクチャの模式図である。 図２は、本開示の一実施例に係る画像サンプル生成方法のフローチャートである。 図３Ａは、本開示の一実施例に係る手書き書体サンプル画像の模式図である。 図３Ｂは、本開示の一実施例に係る手書き書体テキスト画像の模式図である。 図３Ｃは、本開示の一実施例に係る傾きの手書き書体テキスト画像の模式図である。 図３Ｄは、本開示の一実施例に係る背景画像の模式図である。 図３Ｅは、本開示の一実施例に係る目標サンプル画像の模式図である。 図４は、本開示の一実施例に係るテキスト認識方法のフローチャートである。 図５は、本開示の一実施例に係る認識画像サンプルの模式図である。 図６Ａは、本開示の一実施例に係る検出モデルの原理図である。 図６Ｂは、本開示の一実施例に係る認識モデルの原理図である。 図７は、本開示の一実施例に係る画像サンプル生成装置のブロック図である。 図８は、本開示の一実施例に係るテキスト認識装置のブロック図である。 図９は、本開示の一実施例に係る画像サンプル生成方法及び／又はテキスト認識方法を適用できる電子機器のブロック図である。

以下、図面を参照して本開示の例示的な実施例を説明する。ここで、より理解しやすいために本開示の実施例の様々な詳細は含まれ、それらが例示的なものであると考えられるべきである。したがって、当業者であれば、ここで記載される実施例に対して様々な変更・修正を行うことができ、本開示の範囲及び精神から逸脱することはないと分かるべきである。同様に、明確かつ簡潔に説明するために、以下の記載において周知の機能や構成に対する説明を省略する。

手書き書体のテキスト筆跡は、変化が様々であり、統一の様式がない。手書き書体のテキストを人工的に認識してもよいが、高い人力のコストが必要となる。ディープラーニングモデルを用いて手書き書体のテキストを認識してもよいが、手書き書体のテキスに対応する画像サンプルが少なく、ディープラーニングモデルを有効的にトレーニングすることが困難である。

図１は、本開示の一実施例に係る画像サンプル生成方法及びテキスト認識方法を適用できる例示的なシステムアーキテクチャの模式図である。

留意されるべきこととして、図１に示すのは、本開示の実施例のシステムアーキテクチャを適用できる例示に過ぎず、当業者が本開示の技術内容を理解することに役立つが、本開示の実施例は、別の機器、システム、環境又はシーンに適用できないことを意味するものではない。

図１に示すように、該実施例に係るシステムアーキテクチャ１００は、端末機器１０１、１０２、１０３と、ネットワーク１０４と、サーバ１０５とを含んでもよい。ネットワーク１０４は、端末機器１０１、１０２、１０３とサーバ１０５との間に通信リンクの媒体を提供する。ネットワーク１０４は、例えば、有線及び／又は無線通信リンクなどの様々な接続タイプを含んでもよい。

ユーザは、端末機器１０１、１０２、１０３を使用して、ネットワーク１０４を介してサーバ１０５とインタラクションすることにより、メッセージ等を受信又は送信してもよい。端末機器１０１、１０２、１０３は、表示スクリーンを備え、ウェブブラウシングをサポートする様々な電子機器であってもよく、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ及びデスクトップコンピュータなどを含むが、それらに限定されない。

サーバ１０５は、様々なサービスを提供するサーバであってもよく、例えば、ユーザが端末機器１０１、１０２、１０３を用いてブラウシングされたサイトをサポートするバックグラウンド管理サーバ（例に過ぎない）である。バックグラウンド管理サーバは、受信されたユーザ要求等のデータを解析する等の処理を行い、処理結果（例えば、ユーザの要求に応じて取得又は生成されたウェブページ、情報、又はデータ等）を端末機器にフィードバックしてもよい。

説明すべきこととして、本開示の実施例が提供する画像サンプル生成方法及び／又はテキスト認識方法は、一般的に、サーバ１０５により実行されてもよい。それに対して、本開示の実施例が提供する画像サンプル生成装置及び／又はテキスト認識装置は、一般的に、サーバ１０５に設置されてもよい。本開示の実施例が提供する画像サンプル生成方法及び／又はテキスト認識方法は、サーバ１０５と異なり、端末機器１０１、１０２、１０３及び／又はサーバ１０５と通信可能なサーバ又はサーバクラスタにより実行されてもよい。それに対して、本開示の実施例が提供する画像サンプル生成装置及び／又はテキスト認識装置は、サーバ１０５と異なり、端末機器１０１、１０２、１０３及び／又はサーバ１０５と通信可能なサーバ又はサーバクラスタに設置されてもよい。

図２は、本開示の一実施例に係る画像サンプル生成方法のフローチャートである。

図２に示すように、該方法２００は、操作Ｓ２１０～Ｓ２２０を含んでもよい。

操作Ｓ２１０において、少なくとも１つの手書き書体サンプル画像に基づいて、手書き書体テキスト画像を生成する。

例えば、手書き書体サンプル画像は、１つの手書き書体文字の画像であってもよい。

例えば、手書き書体サンプル画像は、所定のテキストシーケンスに対応する手書き書体テキストの画像であってもよい。一例において、所定のテキストシーケンスは、「趙は昨日地方に行った」であってもよい。該所定のテキストシーケンスに対応する手書き書体テキス画像は、８個手書き書体テキスト画像に基づいて生成されてもよい。

操作Ｓ２２０において、手書き書体テキスト画像と、背景画像とに基づいて、マーカーフレームを有する目標サンプル画像を生成する。

本開示の実施例において、マーカーフレームは、手書き書体テキスト画像の背景画像に位置する領域を表してもよい。

例えば、背景画像は、１つのビデオフレームに対応する画像であってもよい。

例えば、目標サンプル画像を生成するように、マーカーフレームと、手書き書体テキスト画像と、背景画像とに基づいて画像合成を行ってもよい。一例において、テキストシーケンスである「趙は昨日地方に行った」に対応する手書き書体テキスト画像、該画像のマーカーフレーム及び背景画像に基づいて、画像合成を行って、１つの目標サンプル画像を取得してもよい。

本開示の実施例によれば、マーカーフレームを有するサンプル画像を大量に生成して、それらのサンプル画像に基づいてトレーニングされた検出モデルは、手書き書体テキストを効率よく検出することができる。

本開示の実施例によれば、検出モデルをトレーニングするためのサンプル画像を大量に生成して、検出モデルのトレーニング効果を向上させることができる。例えば、サンプル画像を検出モデルに入力し、検出フレームを有するサンプル画像を取得してもよい。該検出フレームは、サンプル画像におけるテキストの位置する領域を表してもよい。一例において、検出モデルは、DBNet（Differentiable Binarization Network）モデルであってもよい。

いくつかの実施例において、手書き書体テキスト画像と、背景画像とに基づいて、マーカーフレームを有する目標サンプル画像を生成することは、傾きの手書き書体テキスト画像を背景画像に追加することと、傾きの手書き書体テキスト画像に基づいてマーカーフレームを生成することと、マーカーフレームに基づいて目標サンプル画像を生成することとを含む。

例えば、傾きの手書き書体テキスト画像は、手書き書体テキスト画像を回転して得られる。

一例において、手書き書体テキスト画像は、傾き角度に応じて回転されてもよい。

一例において、傾き角度は、値の範囲が－９０°～９０°であってもよい。

一例において、手書き書体テキスト画像を回転させるように、ランダムに傾き角度を生成してもよい。

一例において、傾き角度が３０°を例とする。手書き書体テキスト画像の左上の頂点を基準として時計回りに３０°回転させることで、傾きの手書き書体テキスト画像を取得してもよい。

例えば、様々な方式で、傾きの手書き書体テキスト画像を背景画像に追加してもよい。

本開示の実施例において、マーカーフレームは、傾きの手書き書体テキスト画像の背景画像に位置する領域を表してもよい。

例えば、傾き角度に基づいて、マーカーフレームの幅方向と背景画像の幅方向との夾角を特定してもよい。

一例において、傾き角度が３０°を例とする。

マーカーフレームの幅方向と背景画像の幅方向との夾角は、３０°としてもよい。次に、マーカーフレームの特定された領域が傾きの手書き書体テキスト画像の位置する領域以上となるように、マーカーフレームの幅と高さを特定してもよい。傾きのマーカーフレームを有するサンプル画像を大量に生成して、それらのサンプル画像に基づいてトレーニングされた検出モデルは、傾きの手書き書体テキストを効率よく検出することができる。

いくつかの実施例において、傾きの手書き書体テキスト画像を背景画像に追加することは、目標画素を特定することと、目標画素と、傾きの手書き書体テキスト画像における所定の画素とに基づいて、傾きの手書き書体テキスト画像を背景画像に追加することとを含む。

例えば、目標画素は、背景画像に位置する。

例えば、背景画像における１つの画素をランダムに目標画素として特定してもよい。

例えば、所定の画素は、手書き書体テキスト画像の左上の頂点に対応する画素であってもよい。

例えば、傾きの手書き書体テキスト画像を背景画像に追加した後、所定の画素が目標画素と重なる。背景画像における所定の画素の座標は、目標画素の座標であってもよい。

いくつかの実施例において、傾きの手書き書体テキスト画像に基づいて、マーカーフレームを生成することは、手書き書体サンプル属性に基づいて、手書き書体テキスト画像の幅及び高さを特定することと、目標画素の座標と、傾きの手書き書体テキスト画像の傾斜角度と、手書き書体テキスト画像の幅及び高さとに基づいて、マーカーフレームの頂点座標を特定することと、マーカーフレームの頂点座標に基づいて、マーカーフレームを生成することとを含む。

例えば、手書き書体サンプル属性は、手書き書体サンプル画像の幅と高さを含んでもよい。一例において、各手書き書体サンプル画像の高さは、同じであってもよく、一方、各手書き書体サンプル画像の幅は、異なってもよい。これによれば、手書き書体テキスト画像の高さは、手書き書体サンプル画像の高さであってもよい。手書き書体テキスト画像の幅は、複数の手書き書体テキストサンプル画像の幅の和であってもよい。

例えば、手書き書体テキスト画像の幅と高さが特定された後、マーカーフレームの頂点の座標は、目標画素の座標と傾き角度に合わせて特定されてもよい。一例において、目標画素の座標、傾斜角度、手書き書体テキスト画像の幅、手書き書体テキスト画像の高さ、余弦関数及び正弦関数に基づいて、マーカーフレームの少なくとも３つの頂点座標を特定してもよい。

さらに、３つの頂点座標に基づいてマーカーフレームを特定してもよい。例えば、３つの頂点座標及び目標画素の座標に基づいてマーカーフレームを特定する。

いくつかの実施例において、少なくとも１つの手書き書体サンプル画像に基づいて、手書き書体テキスト画像を生成することは、所定のテキストシーケンスに基づいて、少なくとも１つの手書き書体サンプル画像を特定することと、少なくとも１つの手書き書体サンプル画像と手書き書体サンプル属性とに基づいて、手書き書体テキスト画像を生成することとを含む。

例えば、手書き書体サンプル属性は、手書き書体サンプル画像の高さ及び幅を含む。

例えば、少なくとも１つの手書き書体サンプル画像を特定するように、所定のテキストシーケンスに対応する手書き書体サンプル画像を取得してもよい。

例えば、手書き書体サンプルの属性は、手書き書体サンプルの色と、手書き書体サンプルの回転角度とを含んでもよい。回転角度は、手書き書体サンプルの有する角度を指してもよい。一例において、手書き書体サンプルは、色が黒で、回転角度が１０°であることを例とする。少なくとも１つの手書き書体サンプル画像が取得された後、各手書き書体サンプル画像の書体色を黒に調整し、各手書き書体サンプル画像を１０°回転させる。次に、所定のテキストシーケンスにおける文字の順序に従って、手書き書体テキスト画像を生成してもよい。

図３Ａは、本開示の一実施例に係る手書き書体サンプル画像の模式図である。

図３Ａに示すように、該手書き書体サンプル画像３０１は、文字である「趙」に対応する。

図３Ｂは、本開示の一実施例に係る手書き書体テキスト画像の模式図である。

図３Ｂに示すように、該手書き書体テキスト画像３０２は、所定のテキストシーケンスである「趙は昨日地方に行った」に対応する。手書き書体テキスト画像３０２は、所定の画素３０３を含み、該所定の画素３０３は、手書き書体テキスト画像３０２の左上の頂点に対応する画素であってもよい。

図３Ｃは、本開示の一実施例に係る傾きの手書き書体テキスト画像の模式図である。

図３Ｃに示すように、傾きの手書き書体テキスト画像３０４は、１５°の傾き角度に基づいて、例えば図３Ｂにおける手書き書体テキスト画像を回転させて得られてもよい。

図３Ｄは、本開示の一実施例に係る背景画像の模式図である。

図３Ｄに示すように、背景画像３０５は、１つのソーシャルサイトからの画像であってもよい。背景画像３０５における画素３０６を目標画素として特定してもよい。

図３Ｅは、本開示の一実施例に係る目標サンプル画像の模式図である。

図３Ｅに示すように、例えば、図３Ｃに示すような傾きの手書き書体サンプル画像３０４を、図３Ｄに示すような背景画像３０５に追加してもよい。また、傾きの手書き書体サンプル画像が追加された背景画像において、所定の画素３０３と画素３０６とが重なってもよい。画素３０６の座標と、傾き角度（例えば１５°）と、手書き書体テキスト画像３０２の幅及び高さとに基づいて、マーカーフレームの頂点座標を特定してもよい。次に、マーカーフレームの頂点座標に基づいて、マーカーフレーム３０７を取得する。次に、マーカーフレーム３０７と、傾きの手書きテキスト画像３０４と、背景画像３０５とに基づいて、目標サンプル画像３０８を取得してもよい。

いくつかの実施例において、複数の手書き書体サンプル画像を取得して手書き書体サンプルのライブラリを生成してもよく、複数の背景画像を取得して背景画像のライブラリを生成してもよく、複数の所定のテキストシーケンスを取得してテキストのライブラリを生成してもよい。

例えば、方法２００における操作Ｓ２１０が実行される前に、先にテキストのライブラリから１つの所定のテキストシーケンスをランダムに取得し、その後、背景画像のライブラリから１つの背景画像を取得してもよい。該所定のテキストシーケンスに基づいて、手書き書体サンプルのライブラリから少なくとも１つの手書き書体サンプル画像を特定する。その後、操作Ｓ２１０を実行してもよい。

図４は、本開示の一実施例に係るテキスト認識方法のフローチャートである。

図４に示すように、該方法４００は、操作Ｓ４１０～Ｓ４３０を含んでもよい。

操作Ｓ４１０において、検出モデルを用いて、テキスト画像に対して目標検出を行い、検出フレイムを有するテキスト画像を取得する。

例えば、検出フレイムは、テキスト画像におけるテキストの位置する領域を表す。

例えば、検出モデルは、本開示に提供の方法により生成された複数の画像サンプルに基づいてトレーニングして得られる。

操作Ｓ４２０において、検出フレイムを有するテキスト画像を分割し、被認識画像を取得する。

本開示の実施例において、検出フレイムに基づいて、検出フレイムを有するテキスト画像を切り分け、検出フレイムを含む局所テキスト画像を取得してもよい。

例えば、検出フレイムに基づいて検出フレイムの外接矩形を特定してもよい。該外接矩形の幅方向は、テキスト画像の幅方向と平行であり、該外接矩形の高さ方向は、テキスト画像の高さ方向と平行である。該外接矩形に基づいて、切り分けを行い、検出フレイムを含む局所テキスト画像を取得してもよい。

本開示の実施例において、局所テキスト画像をアフィン変換し、変換された画像を取得する。

アフィン変換とは、例えば、２次元座標から２次元座標への線形変換であり、２次元図形の「平直性」と「平行性」を維持するものである。平直性とは、変換された後も直線が曲がらなく依然として直線であり、円弧が変換された後も依然として円弧であることを指してもよい。平行性とは、２次元の図形間の相対位置が変わらないことを維持し、変換された後も平行な２本の線が依然として平行であり、交差する２本の線の交角が変換された後もそのままにすることを指してもよい。アフィン変換は、平行移動、ズーム、反転、回転、クリッピングなどの方式で実現してもよい。

本開示の実施例において、変換された画像を二値化処理し、被認識画像を取得する。

例えば、変換された画像は、背景とテキストとを含む。各種の方式で、背景に対応する画素の画素値を０とし、テキストに対応する画素の画素値を２５５として、被認識画像を取得してもよい。

操作Ｓ４３０において、被認識画像に基づいて、テキスト認識を行い、テキスト画像におけるテキストを取得する。

例えば、認識モデルを用いてテキスト認識を行ってもよい。

本開示の実施例によれば、検出モデルの出力する検出フレイムを有するテキスト画像を分割することにより、大量の背景情報が除去されたため、テキスト認識の精度を向上させることができる。

いくつかの実施例において、認識モデルは、複数の認識画像サンプルに基づいてトレーニングして得られた。例えば、手書き書体テキスト画像に基づいて、TextRenderer（テキストレンダラー）モデルを用いてランダムなノイズ情報を付加することで、認識画像サンプルを取得することができる。

図５は、本開示の一実施例に係る認識画像サンプルの模式図である。

図５に示すように、認識画像サンプルにおけるテキストは、例えば、図３Ｅの目標サンプル画像におけるテキストと異なってもよい。

理解できるように、検出モデルと認識モデルは別々にトレーニングされる。

図６Ａは、本開示の一実施例に係る検出モデルの原理図である。

図６Ａに示すように、検出モデル６１０は、第１の特徴抽出ネットワーク６１１を含んでもよい。例えば、第１の特徴抽出ネットワークは、軽量な特徴抽出ネットワークであってもよく、例えば、ShuffleNet（Shuffleネットワーク）Ｖ２であってもよい。

第１の特徴抽出ネットワークは、テキスト画像６０１を処理し、第１の特徴マップ６０２を出力することができる。次に、第１の特徴マップ６０２から、確率マップ６０３と閾値マップ６０４とを取得することができる。確率マップ６０３及び閾値マップ６０４から、近似二値マップ６０５を取得することができる。例えば、第１の特徴量マップ６０２における特徴値のそれぞれは、確率マップ６０３における１つの確率値に対応し、閾値マップ６０４における１つの閾値にも対応し、近似二値マップ６０５における１つの画素値にも対応する。一例において、一つの特徴値Ｆｅａｔ＿ｉについては、該特徴値Ｆｅａｔ＿ｉに対応する確率値Ｐｒｏｂ＿ｉが、該特徴値Ｆｅａｔ＿ｉに対応する閾値Ｔｈ＿ｉ以上であれば、該特徴値に対応する画素値Ｐｉｘ＿ｉが２５５である。一例において、別の特徴値Ｆｅａｔ＿ｊについては、該特徴値Ｆｅａｔ＿ｊに対応する確率値Ｐｒｏｂ＿ｊが、該特徴値に対応する閾値Ｔｈ＿ｊより小さければ、該特徴値Ｆｅａｔ＿ｊに対応する画素値Ｐｉｘ＿ｊが０である。類似した方式により、確率マップ６０３及び閾値マップ６０４から、近似二値マップ６０５の各画素値を取得することができる。

次に、近似二値マップ６０５から検出フレイムを有するテキスト画像６０６を取得することができる。検出モデルに軽量な特徴抽出ネットワークを採用することで、検出効率を向上させることができる。また、確率マップ及び閾値マップを用いて処理を行うことで、検出の正確率を向上させることができる。

いくつかの実施例において、検出フレイムを有するテキスト画像６０６を分割することによって、被認識画像を取得することができる。

図６Ｂは、本開示の一実施例に係る認識モデルの原理図である。

図６Ｂに示すように、認識モデル６２０は、第２の特徴抽出ネットワーク６２１と、ＬＳＴＭ（Long and Short Term Memory、長短時記憶）エンコーダ６２２と、ＬＳＴＭデコーダ６２３と、アテンションネットワーク６２４とを含んでもよい。

第２の特徴抽出ネットワーク６２１は、軽量な特徴抽出ネットワークであってもよく、例えばMobileNet（Mobileネットワーク）であってもよい。第２の特徴抽出ネットワーク６２１は、被認識画像６０７を処理して、第２の特徴マップ６０８を出力することができる。第２の特徴マップ６０８は、それぞれＬＳＴＭエンコーダ６２２及びアテンションネットワーク６２４に入力してもよい。

ＬＳＴＭエンコーダ６２２は、２５６個のＬＳＴＭ符号化層を含んでもよく、それぞれのＬＳＴＭ符号化層は、入力された特徴を符号化するために使用される。ＬＳＴＭデコーダ６２３は、３２個のＬＳＴＭ復号層を含んでもよく、それぞれのＬＳＴＭ復号層は、入力された特徴を復号するために使用される。ＬＳＴＭデコーダ６２３の出力は、重み行列Ｍ＿１であってもよい。

アテンションネットワーク６２４は、２Ｄ Attention（２次元アテンションメカニズム）に基づいて構築してもよい。アテンションネットワーク６２４は、第２の特徴マップ６２４及び重み行列Ｍ＿１に基づいて、重み行列Ｍ＿２を出力ことができる。ＬＳＴＭデコーダ６２３は、さらに重み行列Ｍ＿１及び重み行列Ｍ＿２に基づいて、目標重み行列Ｍを出力する。一例において、ＬＳＴＭデコーダ６２３は、重み行列Ｍ＿１と重み行列Ｍ＿２とを加算して、目標重み行列Ｍを出力してもよい。

目標重み行列Ｍに基づいて、テキスト画像におけるテキスト６０９を取得することができる。認識モデルは、軽量な特徴抽出ネットワークを採用するとともに、エンコーダおよびデコーダのパラメータ量を低減することにより、モデルの効率をさらに向上させることができる。

図７は、本開示の一実施例に係る画像サンプル生成装置のブロック図である。

図７に示すように、該装置７００は、第１の生成モジュール７１０と、第２の生成モジュール７２０とを含んでもよい。

第１の生成モジュール７１０は、少なくとも１つの手書き書体サンプル画像に基づいて、手書き書体テキスト画像を生成する。

第２の生成モジュール７２０は、前記手書き書体テキスト画像と、背景画像とに基づいて、マーカーフレームを有する目標サンプル画像を生成する。例えば、前記マーカーフレームは、前記手書き書体テキスト画像の前記背景画像に位置する領域を表す。

いくつかの実施例において、前記第２の生成モジュールは、前記手書き書体テキスト画像を回転して得られた傾きの手書き書体テキスト画像を背景画像に追加する追加サブモジュールと、前記傾きの手書き書体テキスト画像に基づいて、前記マーカーフレームを生成する第１の生成サブモジュールと、前記マーカーフレームに基づいて、前記目標サンプル画像を生成する第２の生成サブモジュールとを含む。

いくつかの実施例において、前記追加サブモジュールは、例えば前記背景画像に位置する目標画素を特定する第１の特定ユニットを含む。前記目標画素と、前記傾きの手書き書体テキスト画像に位置する所定の画素とに基づいて、前記傾きの手書き書体テキスト画像を前記背景画像に追加する追加ユニットをさらに含む。

いくつかの実施例において、前記第１の生成サブモジュールは、例えば前記手書き書体サンプル画像の高さ及び幅を含む手書き書体サンプル属性に基づいて、前記手書き書体テキスト画像の幅及び高さを特定する第２の特定ユニットを含む。前記目標画素の座標と、前記傾きの手書き書体テキスト画像の傾き角度と、前記手書き書体テキスト画像の幅及び高さとに基づいて、前記マーカーフレームの頂点座標を特定する第３の特定ユニットをさらに含む。前記マーカーフレームの頂点座標に基づいて、前記マーカーフレームを生成する第１の生成ユニットをさらに含む。

いくつかの実施例において、前記第１の生成モジュールは、所定のテキストシーケンスに基づいて、前記少なくとも１つの手書き書体サンプル画像を特定する第１の特定サブモジュールを含む。前記少なくとも１つの手書き書体サンプル画像と、前記手書き書体サンプル画像の高さ及び幅を含む手書き書体サンプル属性とに基づいて、手書き書体テキスト画像を生成する第３の生成サブモジュールをさらに含む。

いくつかの実施例において、前記第２の生成サブモジュールは、前記マーカーフレームと、前記傾きの手書き書体テキスト画像と、前記背景画像とに基づいて、目標サンプル画像を生成する第２の生成ユニットを含む。

図８は、本開示の一実施例に係るテキスト認識装置のブロック図である。

図８に示すように、該装置８００は、検出モジュール８１０と、分割モジュール８２０と、認識モジュール８３０とを含んでもよい。

検出モジュール８１０は、検出モデルを用いてテキスト画像に対して目標検出を行い、例えば前記テキスト画像におけるテキストの位置する領域を表す検出フレイムを有するテキスト画像を取得する。

分割モジュール８２０は、前記検出フレイムを有するテキスト画像を分割し、被認識画像を取得する。

認識モジュール８３０は、前記被認識画像に基づいて、テキスト認識を行い、前記テキスト画像におけるテキストを取得する。

例えば、前記検出モデルは、本開示に提供の装置により生成された複数のサンプル画像に基づいてトレーニングして得られた。

いくつかの実施例において、前記分割モジュールは、前記検出フレイムに基づいて、前記検出フレイムを有するテキスト画像を切り分け、前記検出フレイムを含む局所テキスト画像を取得する切り分けサブモジュールを含む。前記局所テキスト画像をアフィン変換し、変換された画像を取得するアフィン変換サブモジュールをさらに含む。前記変換された画像を二値化処理し、前記被認識画像を取得する二値化処理サブモジュールをさらに含む。

本開示の技術案において、係わるユーザ個人情報の収集、記憶、使用、加工、伝送、提供、開示及び応用などの処理は、いずれも相関法律法規の規定に適合し、必要な秘密保持措置を行い、かつ公序良俗に反しない。

本開示の技術案において、ユーザ個人情報を取得または収集する前に、ユーザの承認または同意を得ました。

本開示の実施例によれば、本開示は、電子機器、可読記憶媒体及びコンピュータプログラムをさらに提供する。

図９は、本開示の実施例を実施できる例示的な電子機器９００を模式的に示すブロック図である。電子機器は、様々な形態のデジタルコンピュータを示すことを目的とし、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータである。電子機器は、さらに様々な形態の移動装置を示してもよく、例えば、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブル装置及び他の類似の演算装置である。本明細書に示された部材、それらの接続及び関係、及びそれらの機能は、例示に過ぎず、本明細書に記載された及び／又は要求された本開示の実現を限定しない。

図９に示すように、電子機器９００は、演算ユニット９０１を含み、演算ユニット９０１は、リードオンリーメモリ（ＲＯＭ）９０２に記憶されたコンピュータプログラム又は記憶ユニット９０８からランダムアクセスメモリ（ＲＡＭ）９０３にロードされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行してもよい。ＲＡＭ９０３には、さらに電子機器９００の操作に必要な様々なプログラム及びデータを記憶してもよい。演算部９０１、ＲＯＭ９０２及びＲＡＭ９０３は、バス９０４を介して相互に接続される。入出力（Ｉ／Ｏ）インタフェース９０５も、バス９０４に接続される。

電子機器９００における複数の部品は、Ｉ／Ｏインタフェース９０５に接続され、例えばキーボード、マウス等の入力ユニット９０６と、例えば様々な種類のディスプレイ、スピーカ等の出力ユニット９０７と、例えば磁気ディスク、光ディスク等の記憶ユニット９０８と、例えばネットワークカード、モデム、無線通信トランシーバ等の通信ユニット９０９とを含む。通信部９０９は、電子機器９００がインターネットのようなコンピュータネットワーク及び／又は各種の電気通信ネットワークを介して他の機器と情報／データをやり取りすることを可能にする。

演算部９０１は、処理及び演算能力を有する各種の汎用及び／又は専用の処理モジュールであってもよい。演算部９０１の幾つかの例としては、中央処理ユニット（ＣＰＵ）、図形処理ユニット（ＧＰＵ）、各種専用の人工知能（ＡＩ）演算チップ、各種動作機械学習モデルアルゴリズムをランニングする演算部、ＤＳＰ（DIGITAL SIGNAL PROCESSOR）、並びに任意の適切なプロセッサ、コントローラ、マイクロコントローラ等が挙げられるが、それらに限定されない。演算ユニット９０１は、例えば画像サンプル生成方法及び／又はテキスト認識方法のような上記に記載の各方法及び処理を実行する。例えば、いくつかの実施例において、画像サンプル生成方法及び／又はテキスト認識方法は、例えば記憶ユニット９０８のような機械可読媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ＲＯＭ９０２及び／又は通信ユニット９０９を介して電子機器９００にロード及び／又はインストールされてもよい。コンピュータプログラムがＲＡＭ９０３にロードされて演算ユニット９０１により実行される場合、上記に記載の画像サンプル生成方法及び／又はテキスト認識方法の１つ又は複数の操作を実行してもよい。代替的に、他の実施例において、演算ユニット９０１は、他の任意の適切な方式（例えば、ファームウェアを介する）により画像サンプル生成方法及び／又はテキスト認識方法を実行するように構成されてもよい。

本明細書で説明したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現されてもよい。これらの様々な実施例は、１つ又は複数のコンピュータプログラムにおいて実施され、該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラムマブルプロセッサを含むプログラムマブルシステムで実行され及び／又は解釈されることが可能であり、該プログラムマブルプロセッサは、専用又は汎用のプログラムマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、かつデータ及び命令を該記憶システム、該少なくとも１つの入力装置、及び該少なくとも１つの出力装置に伝送することができることを含んでもよい。

本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラムマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよく、それによって、プログラムコードがプロセッサ又はコントローラにより実行される時に、フローチャート及び／又はブロック図に規定された機能／操作が実施される。プログラムコードは、機器に完全に実行されてもよく、部分的に機器で実行されてもよく、独立したソフトウェアパッケージとして部分的に機器で実行され、かつ部分的に遠隔機器で実行されるか又は完全に遠隔機器又はサーバで実行されてもよい。

本開示のコンテキストにおいて、機械可読媒体は、有形の媒体であってもよく、命令実行システム、装置又は電子機器に使用され、又は命令実行システム、装置又は電子機器と組み合わせて使用されるプログラムを含んでか又は記憶してもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子の、磁気的、光学的、電磁的、赤外線の、又は半導体システム、装置又は電子機器、又は上記内容の任意の適切な組み合わせを含んででもよいが、それらに限定されない。機械可読記憶媒体のより具体的な例としては、１つ以上の線による電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記内容の任意の適切な組み合わせを含む。

ユーザとの対話を提供するために、コンピュータにここで説明されたシステム及び技術を実施させてもよく、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを備え、ユーザは、該キーボード及び該ポインティングデバイスを介して入力をコンピュータに提供することができる。他の種類の装置は、さらにユーザとの対話を提供してもよく、例えば、ユーザに提供されたフィードバックは、いかなる形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、かついかなる形態（声入力、音声入力又は、触覚入力を含む）でユーザからの入力を受信してもよい。

ここで説明されたシステム及び技術は、バックグラウンド部品を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア部品を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド部品を含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザが該グラフィカルユーザインタフェース又は該ネットワークブラウザを介してここで説明されたシステム及び技術の実施例と対話することができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロントエンド部品のいずれかの組み合わせを含むコンピューティングシステムに実施されることが可能である。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によりシステムの部品を互いに接続することができる。通信ネットワークの例としては、局所エリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを例示的に含む。

コンピュータシステムは、クライアント及びサーバを含んでもよい。クライアントとサーバ同士は、一般的に離れており、通常、通信ネットワークを介して対話する。クライアントとサーバとの関係は、該当するコンピュータ上でランニングし、クライアント－サーバの関係を有するコンピュータプログラムによって生成される。

理解されるべきこととして、以上に示した様々な形態のフローを使用してもよく、操作を改めてソーティングしたり、追加したり又は削除してもよい。例えば、本発明に記載の各ステップは、並列的に実行されたり、順次に実行されたり、又は異なる順序で実行されてもよく、本開示の発明の所望の結果を実現することができれば、本明細書はここで限定されない。

上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション及び代替を行うことが可能であると理解されるべきである。本開示の精神と原則内で行われた任意の修正、均等置換及び改良などは、いずれも本開示の保護範囲内に含まれるべきである。

Claims (17)

1. 手書き書体テキストを検出する検出モデルのトレーニングに用いる画像サンプルを生成する画像サンプル生成方法であって、
   少なくとも１つの手書き書体サンプル画像に基づいて、手書き書体テキスト画像を生成することと、
   前記手書き書体テキスト画像を回転して、傾きの手書き書体テキスト画像を得ることと、
   前記傾きの手書き書体テキスト画像を背景画像に追加することと、
   前記傾きの手書き書体テキスト画像に基づいて、傾きのマーカーフレームを生成することと、
   前記傾きのマーカーフレームに基づいて、傾きのマーカーフレームと前記傾きの手書き書体テキスト画像を有する目標サンプル画像を生成することとを含み、
   前記マーカーフレームは、前記手書き書体テキスト画像の前記背景画像に位置する領域を表す画像サンプル生成方法。
2. 請求項１に記載の方法であって、
   前記傾きの手書き書体テキスト画像を背景画像に追加することは、
   前記背景画像に位置する目標画素を特定することと、
   前記目標画素と、前記傾きの手書き書体テキスト画像に位置する所定の画素とに基づいて、前記傾きの手書き書体テキスト画像を前記背景画像に追加することとを含む画像サンプル生成方法。
3. 請求項２に記載の方法であって、
   前記傾きの手書き書体テキスト画像に基づいて、前記マーカーフレームを生成することは、
   前記手書き書体サンプル画像の高さ及び幅を含む手書き書体サンプル属性に基づいて、前記手書き書体テキスト画像の幅及び高さを特定することと、
   前記目標画素の座標と、前記傾きの手書き書体テキスト画像の傾き角度と、前記手書き書体テキスト画像の幅及び高さとに基づいて、前記マーカーフレームの頂点座標を特定することと、
   前記マーカーフレームの頂点座標に基づいて、前記マーカーフレームを生成することとを含む画像サンプル生成方法。
4. 請求項１に記載の方法であって、
   前記少なくとも１つの手書き書体サンプル画像に基づいて、手書き書体テキスト画像を生成することは、
   所定のテキストシーケンスに基づいて、前記少なくとも１つの手書き書体サンプル画像を特定することと、
   前記少なくとも１つの手書き書体サンプル画像と、前記手書き書体サンプル画像の高さ及び幅を含む手書き書体サンプル属性とに基づいて、手書き書体テキスト画像を生成することとを含む画像サンプル生成方法。
5. 請求項１に記載の方法であって、
   前記マーカーフレームに基づいて、前記目標サンプル画像を生成することは、
   前記マーカーフレームと、前記傾きの手書き書体テキスト画像と、前記背景画像とに基づいて、前記目標サンプル画像を生成することを含む画像サンプル生成方法。
6. 検出モデルを用いてテキスト画像に対して目標検出を行い、前記テキスト画像におけるテキストの位置する領域を表す検出フレイムを有するテキスト画像を取得することと、
   前記検出フレイムを有するテキスト画像を分割し、被認識画像を取得することと、
   前記被認識画像に基づいて、テキスト認識を行い、前記テキスト画像におけるテキストを取得することとを含み、
   前記検出モデルは、請求項１に記載の方法により生成された複数の画像サンプルに基づいてトレーニングして得られたテキスト認識方法。
7. 請求項６に記載の方法であって、
   前記検出フレイムを有するテキスト画像を分割し、被認識画像を取得することは、
   前記検出フレイムに基づいて、前記検出フレイムを有するテキスト画像を切り分け、前記検出フレイムを含む局所テキスト画像を取得することと、
   前記局所テキスト画像をアフィン変換し、変換された画像を取得することと、
   前記変換された画像を二値化処理し、前記被認識画像を取得することとを含むテキスト認識方法。
8. 手書き書体テキストを検出する検出モデルのトレーニングに用いる画像サンプルを生成する画像サンプル生成装置であって、
   少なくとも１つの手書き書体サンプル画像に基づいて、手書き書体テキスト画像を生成し、前記手書き書体テキスト画像を回転して、傾きの手書き書体テキスト画像を得る第１の生成モジュールと、
   前記傾きの手書き書体テキスト画像を背景画像に追加する追加サブモジュールと、前記傾きの手書き書体テキスト画像に基づいて、傾きのマーカーフレームを生成する第１の生成サブモジュールと、前記傾きのマーカーフレームに基づいて、傾きのマーカーフレームと前記傾きの手書き書体テキスト画像を有する目標サンプル画像を生成する第２の生成サブモジュールと、を含む第２の生成モジュールとを含み、
   前記マーカーフレームは、前記手書き書体テキスト画像の前記背景画像に位置する領域を表す画像サンプル生成装置。
9. 請求項８に記載の装置であって、
   前記追加サブモジュールは、
   前記背景画像に位置する目標画素を特定する第１の特定ユニットと、
   前記目標画素と、前記傾きの手書き書体テキスト画像に位置する所定の画素とに基づいて、前記傾きの手書き書体テキスト画像を前記背景画像に追加する追加ユニットとを含む画像サンプル生成装置。
10. 請求項９に記載の装置であって、
    前記第１の生成サブモジュールは、
    前記手書き書体サンプル画像の高さ及び幅を含む手書き書体サンプル属性に基づいて、前記手書き書体テキスト画像の幅及び高さを特定する第２の特定ユニットと、
    前記目標画素の座標と、前記傾きの手書き書体テキスト画像の傾き角度と、前記手書き書体テキスト画像の幅及び高さとに基づいて、前記マーカーフレームの頂点座標を特定する第３の特定ユニットと、
    前記マーカーフレームの頂点座標に基づいて、前記マーカーフレームを生成する第１の生成ユニットとを含む画像サンプル生成装置。
11. 請求項８に記載の装置であって、
    前記第１の生成モジュールは、
    所定のテキストシーケンスに基づいて、前記少なくとも１つの手書き書体サンプル画像を特定する第１の特定サブモジュールと、
    前記少なくとも１つの手書き書体サンプル画像と、前記手書き書体サンプル画像の高さ及び幅を含む手書き書体サンプル属性とに基づいて、手書き書体テキスト画像を生成する第３の生成サブモジュールとを含む画像サンプル生成装置。
12. 請求項８に記載の装置であって、
    前記第２の生成サブモジュールは、
    前記マーカーフレームと、前記傾きの手書き書体テキスト画像と、前記背景画像とに基づいて、前記目標サンプル画像を生成する第２の生成ユニットを含む画像サンプル生成装置。
13. 検出モデルを用いてテキスト画像に対して目標検出を行い、前記テキスト画像におけるテキストの位置する領域を表す検出フレイムを有するテキスト画像を取得する検出モジュールと、
    前記検出フレイムを有するテキスト画像を分割し、被認識画像を取得する分割モジュールと、
    前記被認識画像に基づいて、テキスト認識を行い、前記テキスト画像におけるテキストを取得する認識モジュールとを含み、
    前記検出モデルは、請求項８～１２のいずれか１項に記載の装置により生成された複数の画像サンプルに基づいてトレーニングして得られたテキスト認識装置。
14. 請求項１３に記載の装置であって、
    前記分割モジュールは、
    前記検出フレイムに基づいて、前記検出フレイムを有するテキスト画像を切り分け、前記検出フレイムを含む局所テキスト画像を取得する切り分けサブモジュールと、
    前記局所テキスト画像をアフィン変換し、変換された画像を取得するアフィン変換サブモジュールと、
    前記変換された画像を二値化処理し、前記被認識画像を取得する二値化処理サブモジュールとを含むテキスト認識装置。
15. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信接続されたメモリとを備え、
    前記メモリには、前記少なくとも１つのプロセッサにより実行可能な命令を記憶しており、
    前記命令は、前記少なくとも１つのプロセッサが請求項１～７のいずれか１項に記載の方法を実行することができるように、前記少なくとも１つのプロセッサにより実行される電子機器。
16. コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体であって、
    前記コンピュータ命令は、コンピュータに請求項１～７のいずれか１項に記載の方法を実行させる記憶媒体。
17. プロセッサにより実行される場合に、請求項１～７のいずれか１項に記載の方法を実現するコンピュータプログラム。

Images