JP6163344B2 - ナンバープレート画像の確実なクロッピング - Google Patents

Description

本発明の実施形態は、データ処理システム及びその方法に関する。本発明の実施形態はさらに、ナンバープレート認識技術に関する。また実施形態は、ナンバープレート及びナンバープレートのデータのクロッピング、及び正確な認識に関する。

自動ナンバープレート認識（「ＡＬＰＲ」）システムは、ビデオカメラや静止カメラにより撮影された画像内から車両ナンバープレートの番号を見つけ出し、読み取るために、警備員や警察官により使用されている。しかし、実在するほとんどのナンバープレート画像内には、例えば、暗い影、不均一な照明（車両と車両との間、昼間と夜間との間等の）、厄介な光学幾何形状（傾斜、せん断、投影歪み等）、文字の一部を覆うプレートのフレーム、及び／又はステッカー、部分的な文字の遮蔽（例えば、トレーラのヒッチボール）、僅かな濃淡差、及び一般的な画像ノイズ（ごま塩ノイズ等）等の複数の厄介なノイズ源が存在する。実際のノイズの条件のもとでは、ナンバープレートの文字を含む部分画像だけを正確に抽出することは非常に難しい。

この問題で特に難しい点は、ナンバープレートの部分画像を水平クロッピングすることに関連したものである。例えば、縁のアーチファクト、ロゴや特別な記号、及び実際のナンバープレート領域の外側にある目立つ画像コンテンツは、特に厄介である。これらの無関係な画像アーチファクトは大抵の場合、有効な文字（特に「１」）と識別することが簡単ではなく、その後の文字区分や文字認識に大きな影響を与える。

従来から、提案される方法は、ぴったりと合う水平クロッピングを行うために用いられる程きめの細かくはなく、その代り、不正確で、大ざっぱなプレートの位置確認（即ち、「プレートは、この辺のどこかにある」のような結果）に依存している。従来の位置確認の方法で用いる分類子は、個々の記号や文字よりは、むしろナンバープレート全体を認識するために構築されている。

したがって、ナンバープレートを確実にクロッピングし、正確に認識して、ノイズ源、及び干渉アーチファクトを撃退する方法及びシステムが必要となる。

ナンバープレートを確実にクロッピングし、正確に認識して、ノイズ源や干渉アーチファクトを撃退する、方法、システム、及びコンピュータ使用可能有形記憶装置を開示する。画像ベースの分類子、及び諧調度ベースのクロッピングを用いて、ナンバープレート画像、及びその部分画像をぴったりと合わせてクロッピングすることができる。画像ベースの分類子により、画像内の有効な文字の位置を特定することができる。画像ベースの分類子は、例えば、残余プレートローテーション、及び画像内の文字のせん断等の複数のノイズ源が存在するため、画像の縁を「大ざっぱ」にしか分類しない。諧調度ベースのクロッピングを用いた追加の処理ステップを行って、ナンバープレート画像の縁を微調整する。この諧調度ベースのクロッピングにより、分割及びナンバープレートの文字認識結果に大きな影響を及ぼす可能性のある、不要な縁のアーチファクトを取り除く。

図１は、開示した実施形態による、固定データを処理するために使用することができる例示的なデータ処理装置の例示的なブロック図である。 図２は、開示した実施形態による、オペレーティングシステム、アプリケーションソフトウェア、及びユーザインターフェースを含む例示的なソフトウェアシステムの例示的な概略図である。 図３は、開示した実施形態による、ナンバープレート文字の分割を実行するための例示的な処理の流れを示す、例示的なブロック図である。 図４は、開示した実施形態による、傾斜が取り除かれ、垂直方向にクロッピングされた（「ＴＲＶＣ」）状態のナンバープレートを示す例示的な写真画像である。 図５は、開示した実施形態による、干渉アーチファクトを示す例示的な写真画像である。 図６は、開示した実施形態による、実際のナンバープレート領域の外側の無関係な画像コンテンツを示す例示的な写真画像である。 図７は、開示した実施形態による、ナンバープレート画像を正確にクロッピングするための投影分割を示す例示的なグラフ図である。 図８は、開示した実施形態による、ナンバープレートに水平クロッピングを行うための諧調度ベースの方法を示す例示的な写真画像である。 図９は、開示した実施形態による、ナンバープレート縁が不明瞭のため失敗した諧調度ベースのクロッピングを示す例示的な写真画像である。 図１０は、開示した実施形態による、ナンバープレート縁が不明瞭のため失敗した諧調度ベースのクロッピングを示す例示的な写真画像である。 図１１Ａ〜図１１Ｄは、開示した実施形態による、ナンバープレート位置確認のために用いた画像ベースの分類子に関連した失敗モードを示す、例示的な写真画像である。 図１２は、開示した実施形態による、開示したナンバープレートのクロッピング方法を示す例示的な高レベルのフローチャートである。 図１３は、開示した実施形態による、特別な記号により失敗した諧調度ベースのクロッピングを示す例示的な写真画像である。 図１４は、開示した実施形態による、分類子ベースの方法を用いて、特別な記号を正確に退けた様子を示す例示的な写真画像である。 図１５は、開示した実施形態による、画像ベースの分類子を用いて、ナンバープレート画像のクロッピング成功した様子を示す例示的な写真画像である。 図１６は、開示した実施形態による、プレートの縁のアーチファクトにより失敗した分類子ベースのクロッピングを示す例示的な写真画像である。 図１７は、開示した実施形態による、プレートの縁のアーチファクトにより失敗した分類子ベースのクロッピングを示す例示的な写真画像である。 図１８は、開示した実施形態による、誤り検出により失敗した分類子ベースのクロッピングを示す例示的な写真画像である。 図１９は、開示した実施形態による、諧調ベースのクロッピングの座標微調整を示す例示的な高レベルのフローチャートである。 図２０は、開示した実施形態による、左右の階調の連結成分（ＣＣ）、及び所望のクロッピング座標を示す例示的なグラフ図である。 図２１は、開示した実施形態による、正確にクロッピングされたナンバープレートの画像を示す例示的な写真画像である。 図２２は、開示した実施形態による、正確にクロッピングされたナンバープレートの画像を示す例示的な写真画像である。 図２３は、開示した実施形態による、正確にクロッピングされたナンバープレートの画像を示す例示的な写真画像である。 図２４は、開示した実施形態による、正確にクロッピングされたナンバープレートの画像を示す例示的な写真画像である。

当業者が理解されるように、開示した実施形態のうちの１つ以上を、方法、システム、或いは、コンピュータプログラム使用可能媒体、又はコンピュータプログラム製品として具体化することが可能である。したがって、開示している実施形態は、いくつかの例では、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、又はソフトウェアの様態とハードウェアの様態を組み合わせた実施形態の形態をとり、本明細書では、これらは全て全体を通して「モジュール」と呼ぶ。さらに、開示した実施形態は、コンピュータ使用可能媒体、コンピュータプログラム製品、コンピュータプログラムコードを格納するコンピュータ可読有形記憶装置の形態をとることができ、このコンピュータプログラムコードは、プログラム命令を含み、このプログラム命令は、その媒体内で具体化されるコンピュータ使用可能プログラムコードを有するコンピュータ使用可能記憶媒体上で、プロセッサにより実行可能である。全ての好適なコンピュータ可読媒体を用いることができ、その中にはハードディスク、ＵＳＢフラッシュドライブ、ＤＶＤ、ＣＤーＲＯＭ、光記憶装置、磁気記憶装置等が含まれる。

本発明における動作を実行するためのコンピュータプログラムコードを、オブジェクト指向のプログラム言語（例えば、Ｊａｖａ（登録商標）、Ｃ＋＋、等）で書き込むことができる。しかし、本発明における動作を実行するためのコンピュータプログラムコードを、従来の「Ｃ」プログラム言語等の手続き型プログラム言語で、又は、Ｖｉｓｕａｌ Ｂａｓｉｃ等のプログラム環境で書き込むこともできる。

プログラムコードを、独立型ソフトウェアパッケージとして、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上、且つ、部分的に遠隔のコンピュータ上で、又は完全に遠隔のコンピュータ上で実行することができる。後者のシナリオでは、遠隔コンピュータを、ローカルエリアネットワーク（ＬＡＮ）、又はワイドエリアネットワーク（ＷＡＮ）、例えば、ＷｉＦｉ、Ｗｉｍａｘ、８０２．ｘｘ、及び移動体通信ネットワーク等の無線データネットワークを通してユーザのコンピュータに接続することができる、又は、ほとんど第三者にサポートするネットワーク（例えばインターネットサービスプロバイダを介してインターネットを通して）を通して、外部のコンピュータと接続することもできる。

本発明の実施形態による方法、システム、コンピュータプログラム製品、及びデータ構造のフローチャート図、及び／又はブロック図を参照して、開示されている実施形態を以下に説明する。図内の各ブロック、及びブロックの組合せは、コンピュータプログラムの命令により実行可能であることは理解されよう。これらのコンピュータプログラム命令を汎用コンピュータのプロセッサ、専用コンピュータのプロセッサ、又はその他のプログラマブルデータ処理装置に供給して、コンピュータのプロセッサ、又はその他のプログラマブルデータ処理装置を介して実行される命令により、ブロック、又は複数のブロック内で規定された機能／動作を実行する手段が得られるよう、装置を設定することができる。

図１には、サンプルデータ処理装置１００のブロック図が示され、このデータ処理装置１００は、改善されたナンバープレートの認識方法及びそのシステムをために用いることができる。データ処理装置１００は、開示した実施形態に従って用いることができる、多くの利用可能なデータ処理装置、及び／又はコンピュータ装置のうちの一例を示す。データ処理装置１００、及びその構成部品は、一般に説明のためにだけ提示されており、開示した実施形態の特徴の限定にはならないことを理解されたい。

図１に示す通り、メモリ１０５、大容量記憶装置１０７（ハードディスク等）、プロセッサ（ＣＰＵ）１１０、リードオンリーメモリ（ＲＯＭ）１１５、ランダムアクセスメモリ（ＲＡＭ）１２０は、一般にデータ処理装置１００内のシステムバス１２５に接続される。メモリ１０５をＲＯＭ、ＲＡＭ、それらの組合せ、又は単純に一般メモリユニットとして実装することができる。モジュール１１１は、ルーチン、及び／又はサブルーチンの形態をとるソフトウェアモジュールを含み、このソフトウェアモジュールが本発明の機能を実行し、さらにメモリ１０５内に格納され、次いで、プロセッサ１１０を介して検索され処理されて、特定の作業を実行することができる。キーボード、マウス、又はその他のポインティングディバイス等の、ユーザ入力装置１４０を、ＰＣＩ（ペリフェラル・コンポーネント・インターコネクト）バス１４５に接続することができる。

データ処理装置１００は、ＣＰＵ１１０、ＲＯＭ１１５、及びＲＡＭ１２０を含むことができ、これらもまたＰＣＩのホストブリッジ１３５を通して、データ処理装置１００のＰＣＩ（ペリフェラル・コンポーネント・インターコネクト）ローカルバス１４５に接続する。ＰＣＩホストブリッジ１３５は、低遅延経路を提供することができ、プロセッサ１１０は、この低遅延経路を通して、バスメモリ内、及び／又は入力／出力（Ｉ／Ｏ）アドレス空間内のどこかにマッピングされたＰＣＩ装置に直接アクセスすることができる。ＰＣＩホストブリッジ１３５は、高帯域幅経路を提供することもでき、これによりＰＣＩ装置が直接ＲＡＭ１２０にアクセスすることができる。

通信アダプタ１５５、スモール・コンピュータ・システム・インターフェース（ＳＣＳＩ）１５０及び拡張バスブリッジ１７０もＰＣＩローカルバス１４５に接続することができる。この通信アダプタ１５５を用いて、データ処理装置１００とネットワーク１６５とを接続させることができる。ＳＣＳＩ１５０を用いて、高速のＳＣＳＩディスクドライブ１６０を制御することができる。ＰＣＩ−ＩＳＡバスブリッジ等の拡張バスブリッジ１７０を用いて、ＩＳＡバス１７５をＰＣＩローカルバス１４５に接続することができる。但し、ＰＣＩローカルバス１４５は、モニタ１３０とさらに接続することができ、このモニタ１３０が、ディスプレイ（例えば、ビデオモニタ）として機能して、ユーザに対するデータ及び情報を表示し、且つ、対話形式のグラフィカル・ユーザ・インターフェース（ＧＵＩ）１８５を表示する。ユーザは、ＧＵＩ １８５上で適切なキー作動させて、データファイルのオプションを選択する。但し、用語「ＧＵＩ」とは一般に、コンピュータのモニタ画面上に映像として表示されるアイコン、メニュー、及びダイアログボックスを用いて、プログラム、ファイル、オプション等を表す環境の一種類のことを指す。

本明細書に記載する実施形態を、オペレーティングシステム、及び１つ以上のモジュールと関連させて実装することができる。これらのモジュールが、例えば、コンピュータシステムの電子構成要素等のハードウェアモジュールを構成することができる。このようなモジュールは、ソフトウェアモジュールを構成することもできる。コンピュータプログラミングの技術において、一般にソフトウェア「モジュール」を、特定の作業を行う、又は特定な抽象データ型を実装する、ルーチン及びデータ構造の集まりとして実装することがでる。

ソフトウェアモジュールは、一般に画像処理装置の記憶場所に格納可能な命令媒体を含むことができ、一般的には２つのパートで構成される。第１のパートでは、ソフトウェアモジュールは、別のモジュール、又はルーチンからアクセス可能な定数、データ型、変数、ルーチン等を表示することができる。第２のパートでは、ソフトウェアモジュールは、非公開（即ち、おそらくそのモジュールだけがアクセス可能な）にすることができ、且つ、そのモジュールが基づいたルーチン又はサブルーチンを実際に実行するソースコードを含む実装手段として設定することができる。したがって、本明細書で用いられる用語「モジュール」とは、一般にソフトウェアモジュール、又はその実装手段のことを指すことができる。そのようなモジュールを、単独で用いて、又はいくつか用いて、プログラム製品を形成することができ、このプログラム製品は、伝送媒体、及び／又は、記録可能媒体を含む信号搬送媒体を介して実装可能である。そのような本発明の機能を具体化することができるモジュールの一例として、図２に示すナンバープレート認識モジュール１５５が挙げられる。

本発明の実施形態を、完全機能的なデータ処理システム（コンピュータシステム等）と関連して説明しているが、当業者なら理解されるように、本発明の実施形態のメカニズムは、様々な形態のプログラム製品として配信させることができ、本発明は、実際に配信を実行するために用いられる特定な種類の信号搬送媒体に関係なく平等に適用されるということに留意することが重要である。信号搬送媒体の例には、記憶媒体、即ちＣＤーＲＯＭ等の記録可能型媒体、及びアナログ通信リンクやデジタル通信リンク等の伝送型媒体が含まれるが、これらには限定されない。

図２には、ソフトウェアシステム１５０の概略図が示され、このソフトウェアシステム１５０は、開示した実施形態を実行するためのオペレーティングシステム、アプリケーションソフトウェア、及びユーザインターフェースを含む。コンピュータソフトウェアシステム１５０は、図１に示すデータ処理システム１００の動作に関する。メモリ１０５、及び大容量記憶装置１０７内に格納されるソフトウェアアプリケーション１５２は、カーネル、又はオペレーティングシステム１５１、及びシェル、又はインターフェース１５３を含む。データ処理システム１００により実行するために、ソフトウェアアプリケーション１５２等の１つ以上のアプリケーションプログラムを「読み込む」ことができる（即ち、大容量記憶装置１０７からメインメモリ１０５に移動させる）。図２に示す通り、データ処理システム１００は、ユーザからのコマンド、及びデータを、インターフェース１５３を通して受信する。次いで、ユーザからのコマンド入力が、オペレーティングモジュール１５１、及び／又は、アプリケーションモジュール１５２から命令に従ってデータ処理システム１００により実行される。

インターフェース１５３は、ナンバープレートを表示し認識する役割も果たし、そこでは、ユーザが追加のコマンドを入力することができる、又はセッションを終了させることができる。ある実施形態では、オペレーティングシステム１５１、及びインターフェース１５３を、「Ｗｉｎｄｏｗｓ（登録商標）」システムと関連して実行することができる。もちろん、その他の種類のシステムでも実行可能であることは言うまでもない。例えば、従来の「Ｗｉｎｄｏｗｓ（登録商標）」システムよりむしろ、例えば、Ｌｉｎｕｘ（登録商標）等の別のオペレーションシステムも、オペレーティングシステム１５１、及びインターフェース１５３に対して用いることも可能である。ソフトウェアアプリケーション１５２は、ナンバープレート認識モジュールを含むことができる。ソフトウェアアプリケーション１５２を、インターフェース１５３、及び種々の構成要素、及び本明細書に記載するその他のモジュールや機構と通信するよう設定することもできる。

本明細書で使用する用語モジュールは、特定の作業を行う、又は特定の抽象データ型を実行するルーチンやデータ構造の集まりのことを指すことに留意されたい。モジュールは、次の２つのパート、別のモジュール又は別のルーチンがアクセス可能な定数、データ型、変数、及びルーチンを表示するインターフェースと、非公開であり（そのモジュールだけがアクセス可能）モジュール内のルーチンを実際に実行するソースコードを含む実装手段と、から構成され得る。またモジュールという用語は、単にアプリケーション、文書処理、会計、在庫管理、音楽プログラムの予定管理等の、特定な作業の実行を支援するよう設計されたコンピュータプログラムを指すこともできる。

一般にプログラムモジュールは、特定の作業を行う、又は抽象データ型を実行するルーチン、プログラム、オブジェクト、構成要素、データ構造等を含む。さらに、当業者なら理解されようが、開示した方法及びシステムを、例えば、携帯型装置、マルチプロセッサシステム、マイクロプロセッサベースの、又はプログラマブル大衆消費電子製品、ネットワークに接続するＰＣ、ミニコンピュータ、メインフレームコンピュータ等のその他のコンピュータのシステム構成を用いて実施することも可能である。

図３には、開示した実施形態による、ナンバープレートの文字分割を実行するための例示的な処理の流れの例示的なブロック図２００が示される。２０１で示す通り、ＡＬＰＲ処理では、ブロックナンバープレートの画像を取得する。次いで、ブロック２０２で示す通り、このナンバープレートをローカライズする。ブロック２０３で示す通り、計算負荷を最小にし、ナンバープレートの画像内に存在する無関係なノイズ削減するため、ぴったりと合う境界ボックス（「ＴＢＢ」）内の部分画像を抽出により特定する。ナンバープレートＴＢＢの部分画像からのナンバープレートの文字の抽出には、次の動作、例えば、傾斜の除去、垂直クロッピング、及び水平クロッピングが含まれる。ブロック２０４で示す通り、文字を分割することで、その後の、ブロック２０５で示す文字認識に劇的な効果を及ぼす。分割２０４に関する課題は、文字認識２０５、及びブロック２０６で示すナンバープレートの管轄地域の特定を非常に正確に行うことができる、確実で、非常に正確で、計算効率のよい方法を提供することである。

図４には、開示した実施形態による、傾斜が取り除かれ垂直方向にクロッピングされた（「ＴＲＶＣ」）状態の、例示的なナンバープレートの写真画像２５０が示される。図４に示すような画像こそ、確実な水平クロッピングの方法を必要とする画像である。水平クロッピングは、次の事象に、例えば、ナンバープレートの縁アーチファクト、ロゴ、特別な記号、及びその他のナンバープレート自体の中の非有効な文字コンテンツ、並びに実際のナンバープレート領域の外側で目立つ画像コンテンツの影響を受ける恐れがある。

図５には、開示した実施形態による、例示的な干渉アーチファクトの写真画像３００が示される。ナンバープレート、プレートのフレームと、車両の背景画像と、の間の大きな濃淡差のよる画像内のハードエッジにより、縁のアーチファクは発生し得る。しかし、文字分割の過程では、大抵の場合これらの縁を実際の文字と区別することが難しい。ほとんどの場合、これらの縁が、有効な「１」と極めて類似し得る。その結果、これらの縁の存在により、実際の文字に関する分割カットが歪んでしまうこと、及び／又は、この縁のコンテンツが文字として分割結果に含まれてしまうことうちの１つ以上のことが発生する恐れがある。したがって、ナンバープレートの画像を水平クロッピングすることで、ナンバープレートの縁、及び／又はプレートのフレームと無関係な縁を適切に取り除かれなければ、文字分割、及びその後の認識においてエラーが発生する恐れがある。図５に示す通り、有効な文字とナンバープレートの縁との間の距離の長さを変更することで、特別な記号やロゴ、及びナンバープレートのフレームの共用部分が存在することで、特に厄介な縁のアーチファクトを分離し取り除くことができる。

図６には、開示した実施形態による、実際のナンバープレート領域の外側の無関係な画像コンテンツの例示的な写真画像３５０が示される。図６に示す通り、実際のナンバープレート領域の外側に存在する大量の無関係な画像コンテンツ（即ち、ノイズ源）は、適切にナンバープレートをクロッピングし、文字を分割するための、特に厄介なもう１つの問題である。質感ベースの方法、又は完全に諧調度ベース方法だけを用いて、ナンバープレートの文字を分割すること、有効なナンバープレートの文字コンテンツを識別することが難しくなる。上記に概説したノイズ源が、適切に取り除かれなければ、分割が不完全となり、最終的に文字認識の過程でエラーが発生する。

図７には、開示した実施形態による、ナンバープレート画像を水平寸法で正確にクロッピングするための投影分割の例示的なグラフ図４００が示される。ナンバープレート画像を水平寸法で正確にクロッピングするために、投影分割を用いて、ナンバープレートの文字を分割することができる。投影分割では、画像の縦列に沿って、平均値（即ちヒストグラム４０１）をとる。次いで、得られたデータの山と谷の分析結果を用いて、ナンバープレートコンテンツと背景４０２との間の切れ目らしき場所を特定する。クロッピングを行うための、投影分割は、次の、不均一な照明、ナンバープレートと車両の背景との間の僅かな濃淡差、画像内のナンバープレートの過度のせん断、ナンバープレート領域の外側の目立つ画像コンテンツのような実在のノイズに対して著しく安定しているわけではないため問題がある。

図８には、開示した実施形態による、ナンバープレートの水平クロッピングに関する、諧調度ベースの成功した方法の例示的な写真画像４５０が示される。この諧調度ベースの方法は、ナンバープレートの水平クロッピングにも応用可能である。図８には、元のＴＲＶＣ画像が４５１で示され、続いて二値化した諧調度４５２（ナンバープレートの縁の検知結果）が示され、そして最後に、この諧調度情報４５３を用いてクロッピングした画像が示される。

図９には、開示した実施形態による、無関係な縁のコンテンツにより失敗した諧調度ベースのクロッピングの例示的な写真画像５００が示される。この諧調度ベースの技術では、ナンバープレート領域の外側の目立つ縁コンテンツにより、水平クロッピングの縁を正確には特定しない。

図１０には、開示した実施形態による、不明瞭なナンバープレートの縁により失敗した諧調度ベースのクロッピングの例示的な写真画像が示される。ナンバープレートと背景画像との間の濃淡差が僅かだと、諧調度ベースのクロッピングは失敗する。

図１１Ａ〜図１１Ｄには、開示した実施形態による、ナンバープレートの位置確認のための画像ベースの分類子に関連した、いくつかの失敗モードの例示的な写真画像６００が示される。画像ベースの分類子のいくつかの形態に依存するクロッピング技術を用いることもできる。画像ベース分類子は、プレートのローカライジング（即ち元画像の領域内のプレートの存在の検知）には非常に適し得るが、ナンバープレートの部分画像の正確な水平クロッピングには適し得ない。このことは、成功した位置確認の例の中から、クロッピング失敗モードがいくつか見られることから容易に確認することができる。例えば、画像６０２、６０３は、文字が欠け、画像６０１、６０４は、縁のアーチファクトを含んでいる。

図１２には、開示した実施形態による、開示したナンバープレートのクロッピングの方法を示す例示的な高レベルフローチャート６５０が示される。開示された実施形態では、有効なナンバープレート領域を特定し、水平クロッピングを行う方法が提供される。この方法は、画像内の縁のアーチファクト、ロゴ、特別な記号、及び有効なナンバープレート領域の外側の目立つ画像コンテンツに対して安定している。正確な水平クロッピングにより、その後の文字分割ステップ、及び文字の認識ステップの正確さが著しく改善される。

ブロック６５１で示す通り、ナンバープレートの特定は開始される。次に、ブロック６５２で示す通り、候補のプレート画像を垂直方向にクロッピングしながら、その画像から傾斜を取り除く。ブロック６５３で示す通り、分類子テンプレートの標準垂直寸法に各ＲＯＩをサイズ変更する。次に、ブロック６５４で示す通り、画像ベースの分類子を適用し、候補のナンバープレート画像を走査して、候補の文字位置を特定する。この分類子が、有効な文字の検知器として機能して、文字画像が存在しそうな画像のサブセットを示す。有効なナンバープレートの部分画像の最も左の検知文字と、最も右の検知文字とにより境界されると仮定することができる。文字の数６５５が最小数６５６を超える場合、ブロック６５７で示す通り、検知文字の位置で大ざっぱな水平クロッピングを実行する。このステップの後で、ブロック６５８で示す通り、諧調度ベースの縁検知を適用して、残余の縁のアーチファクトを取り除く。次いでブロック６６１で示す通り、特定処理は終了する。文字の数６５５が最小数６５９を超えない場合、ブロック６６０で示す通り、このＲＯＩを無効とマークする。その後、ブロック６６１で示す通り、この処理は終了する。

図１５には、開示した実施形態による、画像ベースの分類子を用いて、成功したナンバープレート画像のクロッピングの例示的な写真画像８００が示される。画像ベースの分類子を訓練して、有効な文字／記号と、その他のナンバープレート／車両のコンテンツとを区別させることができる。例えば、好ましい実施形態では、Ｓｐａｒｓｅ Ｎｅｔｗｏｒｋ ｏｆ Ｗｉｎｎｏｗｓ（「ＳＮｏＷ」）の分類子を用いて、有効な記号の位置を特定し、その位置結果に基づいて、ナンバープレートをクロッピングする。ＳＮｏＷベースの分類子が、実行時間で計算効率を維持しながら、高次元特徴を活用する。有効なナンバープレートの文字、ナンバープレートの縁と、プレート上の特別な記号又はロゴとの間の様々な距離を処理するためには、ＳＮｏＷベースの技術の方が諧調度ベースのアプローチよりも確実である（図１３の例示的な写真画像７００と、図１４の例示的な写真画像７５０に示す通り）。ＳＮｏＷベースの方法では、クロッピングに関して必要なぴったりと合う位置確認を行うことができる。開示した実施形態では、逐次平均量子化変換（「ＳＭＱＴ」）を用いて生成されるローカル画像の特徴上で動作するＳＮｏＷベースの機械学習の分類子アーキテクチャーを、有効な文字位置を検知するときに用いる。ＳＭＱＴの特徴は、例えば、一般にナンバープレートの画像内で見られる強力な照明の変化等のスケール、及びオフセットノイズに対して安定している。

図１６及び図１７には、開示した実施形態による、プレートの縁のアーチファクトのために失敗した分類子ベースのクロッピングの例示的な写真画像８５０、９００がそれぞれ示される。

図１８には、開示した実施形態による、誤り検出により失敗した分類子ベースのクロッピングの例示的な写真画像９５０が示される。濃淡差が極端に僅かな条件でも、有効な文字を検知する必要があるため、分類子ベースの方法では誤り検出が起こり得る。より具体的には、暗い照明の条件のもとでは、ナンバープレートの周りの領域内の垂直なコンテンツは大抵「１」又は「誤り検出」と間違われる可能性がある。

画像ベースの文字検知器は、ロゴ、特別な記号、及びその他のプレート領域の外側の目立つ画像コンテンツを廃棄することができる。しかし、図１６及び図１７で示す通り、この種類の分類子は、縁のアーチファクトをうまく処理することができない。これらの残余アーチファクトを取り除くため、本発明では諧調度ベースの分析ステップを適用して、画像ベースの分類子から得られたクロッピングの縁を微調整する。

図１９には、開示した実施形態による、クロッピング座標を諧調ベースで微調整することに関する例示的な高レベルのフローチャート１０００が示される。ブロック１００１で示す通り、微調整の処理が開始される。ブロック１００２で示す通り、２Ｄメディアンフィルタを用いて画像を滑らかにした後、ブロック１００３で示す通り、各画素位置でエッジ画像の諧調度を算出する。次いで、水平（ｘ）成分と垂直（ｙ）成分との荷重和を用いて、以下の通り諧調度大きさを算出する。

但し、画素位置（ｘ，ｙ）おいて、Ｇ（ｘ，ｙ）は、全ての重み付けされた諧調度の大きさであり、ｇ_ｘ（ｘ，ｙ）は、未処理の水平の諧調度の大きさであり、ｇ_ｙ（ｘ，ｙ）は、未処理の垂直の諧調度の大きさである。好ましい実施形態では、この合計のｘ成分とｙ成分に関する重み、即ちα_ｘとα_ｙとを、それぞれ１０．０と１．０とに設定する。次いで、等式（１）内の諧調度行列を正規化し二値画像（即ち、エッジ画像）に変換する。ブロック１００４で示す通り、結合成分（「ＣＣ」）を特定しスクリーニングを実行して、最も可能性のあるプレートの縁のブロブ（ｂｌｏｂ）を判定する。この一連の枝刈り工程は、次のような特性を有する。例えば、

縁のアーチファクトは、短すぎるものは破棄して、垂直方向にクロッピングされた画像内の上から下まで延在していなければならない。

縁のエッジは、大きく傾いているものは破棄して、実質的に垂直でなければならない。

プレートの縁による、ＣＣのアスペクト比（即ち、高さを幅で割った値）は、所定の閾値を超えなければならない。その幅と比較して、十分に高くないものは全て破棄する。

枝刈り終了後、ブロック１００５で示す通り、候補のプレートの縁／エッジのＣＣを用いて、位置情報に基づいて、ナンバープレートの左と右の縁と思われる部分を特定する。ゼロ以上の縁のアーチファクトの全ての組合せを、プレートの左右で残すことができる（例えば、左ではなに見つからず、右ではアーチファクトが１つ見つかる、複数のアーチファクトが左右両方で見つかる等）。ブロック１００６で示す通り、画像の中心線に沿った縁のアーチファクトで最も左のエッジ座標、及び縁のアーチファクトで最も右のエッジ座標を推定する。それらの水平中心座標に基づいて、ＣＣを分類する。次に、その中心座標がプレートの中心より小さいＣＣを「左の縁」と分類し、プレートの中心以上のＣＣを全て「右の縁」と分類する。この時点で、ゼロ以上のＣＣが、左の縁のグループ内と右の縁のグループ内の両方に存在する可能性がある。少なくとも１つの左の縁のＣＣが存在する場合、等式（２）により、最も大きな諧調度を選択する。ブロック１００７で示す通り、このクロッピング座標をその画像に関する左右のクロッピング座標として用いることができる。プレートの濃淡値は、背景の濃淡値より高いものと仮定する。暗が明に変遷する大きな諧調度の部分を検索する。

但し、Ｇ_ｘ（ｘ，ｙ）は、画素位置（ｘ，ｙ）での画像諧調度の水平（ｘ）成分の大きさであり、ｉは結合成分のブロブの指数であり、Ｓ_ｉは、結合成分ＣＣ_ｉの領域内に含まれる画像の画素のサブセットである。左の縁が見つからない場合、画像分類子のステップでは、生成される画像の左側に沿ってクロッピングは行われない。

プレートの右の縁のクロッピング座標も、暗が明に変遷する最も大きな諧調度の部分を検索することを除外して、同様に求めることができる。

等式（２）と等式（３）の両方とも、プレートの縁と思われるエッジの分析から得られる結合成分の指数を表す。ブロック１００８で示す通り、クロッピング処理は終了する。

図２０には、開示した実施形態による、選択された左右の階調度のＣＣ、及び所望のクロッピング座標の例示的なグラフ図１０５０が示される。所望のクロッピング座標を得るために、特定したＣＣのブロブの縁の内側（ナンバープレートの内側に向かって）で、画像の中心線に沿った水平座標を見出す。

図２１、図２２、図２３、及び図２４には、開示した実施形態による、正確にクロッピングされたナンバープレート画像の例示的な写真画像１１００、１１５０、１２００、１２５０がそれぞれ示される。これらの場合では、図中の一連の部分画像はそれぞれ、１）元のＴＲＶＣ画像１１０１、１１５１、１２０１、１２５１、２）画像分類子段階での出力画像１１０２、１１５２、１２０２、１２５２、３）諧調度ベース分析の一部であるエッジ画像１０３、１１５３、１２０３、１２５３、４）画像分類子と諧調度情報の両方を用いて得られたクロッピング済みのＴＢＢ画像１１０４、１１５４、１２０４、１２５４である。

上述の内容に基づいて、複数の異なる実施形態、好ましい実施形態、及び代替的な実施形態が、本明細書で開示されていることを理解されたい。例えば、ある実施形態では、ナンバープレート画像の確実なクロッピングを行う方法が開示される。この方法は、画像ベースの分類子を用いて、ナンバープレート画像の第１の詳細を特定するステップと、諧調度ベース分類子を用いて、ナンバープレート画像の第２の詳細を特定するステップと、特定された第１の詳細、及び特定された第２の詳細を用いて、ナンバープレートの画像内のナンバープレートを正確に認識し、特定するステップと、を含むことができる。

別の実施形態では、画像ベースの分類子を用いて、ナンバープレート画像の第１の詳細を特定するステップには、大ざっぱにナンバープレート画像上の文字の位置を特定するステップが含まれ得る。第１の詳細には、文字、有効な文字、記号、特別な記号、ロゴ、ナンバープレートの縁、僅かな濃淡差のナンバープレートの縁、検知不能なプレートの縁、及びナンバープレートの外側の無関係なエッジ情報のうちの少なくとも１つが含まれ得る。第１の詳細にはまた、ノイズ源も含まれ得、このノイズ源には、残余プレートローテーション、ナンバープレート画像内の文字のせん断、暗い影、不均一な照明、厄介な光幾何学形状、傾斜、せん断、投影歪み、ナンバープレートのフレーム、ナンバープレートのステッカー、ナンバープレート上の文字を部分的に覆うナンバープレートのフレーム、ナンバープレート上の文字を部分的に覆うナンバープレートのステッカー、部分的な文字の遮蔽、トレーラのヒッチボール、僅かな濃淡差、一般的なナンバープレート画像ノイズ、及びごま塩ノイズのうちの少なくとも１つが含まれ得る。

他の実施形態では、諧調度ベースの分類子を用いて、ナンバープレートの画像の第２の詳細を特定するステップには、ナンバープレートのエッジ効果、ナンバープレートのフレーム、ナンバープレートの縁のアーチファクト、及び過度の文字のせん断に対する安定性に関する第２の詳細を微調整して、分割及び文字認識の結果を改善するステップが含まれ得る。第２の詳細には、文字、有効な文字、記号、特別な記号、ロゴ、ナンバープレートの縁、僅かな濃淡差のナンバープレートの縁、検知不能なプレートの縁、ナンバープレートの外側の無関係なエッジ情報のうちの少なくとも１つが含まれ得る。

さらに他の実施形態では、この方法は、画像ベースの分類子、及び諧調度ベース分類子を用いて、ナンバープレート画像をぴったりと合わせてクロッピングして、ナンバープレートの部分画像を生成するステップであって、ナンバープレート画像を水平クロッピングして、ナンバープレート画像内のノイズ源、及び干渉アーチファクトを撃退するステップと、ナンバープレート部分画像からロゴを取り除くステップ、ナンバープレート部分画像から記号を取り除くステップ、及びナンバープレート部分画像を文字認識に提出する前に、ナンバープレート部分画像からアーチファクトにフラッギングするステップのうちの少なくとも１ステップと、ナンバープレートの部分画像上の諧調度ベースの分類子を用いて、ナンバープレートの縁のアーチファクトを特定して、有効なナンバープレートの文字を誤って破棄することなく、ナンバープレートの縁のアーチファクトを取り除くため正確に判定するステップと、ナンバープレートの画像を保存するステップと、ナンバープレート画像をローカライジングするステップと、を含むことができる。

別の実施形態では、この方法は、ぴったりと合う境界ボックスナンバープレートの部分画像を抽出して、ナンバープレートの画像内のノイズの存在を削減するステップと、ぴったりと合う境界ボックスナンバープレート部分画像から、傾斜の削除、垂直クロッピング、及び水平クロッピングのうちの少なくとも１つを介して、ナンバープレートの文字を抽出するステップと、ナンバープレート文字を認識し、ナンバープレートを特定する、確実な、非常に正確で、計算効率のよい方法のために、ぴったりと合う境界ボックスのナンバープレートの部分画像内のナンバープレートの文字を分割するステップと、Ｓｐａｒｓｅ ｎｅｔｗｏｒｋ ｏｆ Ｗｉｎｎｏｗｓの分類子を用いて、第１の詳細及び第２の詳細を特定し、このＳｐａｒｓｅ ｎｅｔｗｏｒｋ ｏｆ Ｗｉｎｎｏｗｓの分類子が、ナンバープレート上の文字間の様々な距離、ナンバープレートの縁、記号、特別な記号、及びナンバープレート上のロゴのうちの少なくとも１つを撃退するステップと、を含むことができる。

他の実施形態では、ナンバープレート画像を確実にクロッピングするためのシステムが開示される。このシステムは、プロセッサ、プロセッサに接続したデータバス、及びコンピュータプログラムコードを格納したコンピュータ使用可能有形記憶装置を含むことができ、このコンピュータプログラムコードが、ナンバープレート画像の確実なクロッピングのために、プロセッサにより実行可能なプログラム命令を含む。このプログラム命令には、画像ベースの分類子を用いて、ナンバープレート画像の第１の詳細を特定するためのプログラム命令と、諧調度ベースの分類子を用いて、ナンバープレート画像の第２の詳細を特定するためのプログラム命令と、特定された第１の詳細、及び特定された第２の詳細を用いて、ナンバープレート画像内のナンバープレートを正確に認識するためのプログラム命令と、が含まれ得る。

Claims (4)

1. ナンバープレート画像をクロッピングする方法であって、
   画像ベースの分類子を用いて、前記ナンバープレート画像の第１の詳細を特定するステップと、
   諧調度ベース分類子を用いて、前記ナンバープレート画像の第２の詳細を特定するステップと、
   前記特定された第１の詳細、及び前記特定された第２の詳細を用いて、前記ナンバープレート画像内のナンバープレートを認識し、特定するステップと、を含み、
   前記第１の詳細には、ノイズ源が含まれ、前記ノイズ源には、残余プレートローテーション、前記ナンバープレート画像内の文字のせん断、ナンバープレートステッカー、前記ナンバープレート上の文字を部分的に覆うナンバープレートのフレーム、前記ナンバープレート上の文字を部分的に覆うナンバープレートのステッカー、部分的な文字の遮蔽、トレーラヒッチボール、濃淡差、が含まれる、
   方法。
2. 前記画像ベースの分類子を用いて、前記ナンバープレート画像の第１の詳細を特定するステップには、前記ナンバープレート画像上の文字の位置を特定することが含まれる、請求項１に記載の方法。
3. 前記第１の詳細には、文字、文字、記号、記号、ロゴ、ナンバープレートの縁、濃淡差のナンバープレートの縁、検知不能なプレートの縁、及び前記ナンバープレートの外側の無関係なエッジ情報のうちの少なくとも１つが含まれる、請求項１に記載の方法。
4. 前記諧調度ベース分類子を用いて、前記ナンバープレート画像の前記第２の詳細を特定するステップには、ナンバープレートエッジ効果、ナンバープレートのフレーム、ナンバープレートの縁のアーチファクト、及び文字のせん断に対する安定性に関する前記第２の詳細を微調整して、分割及び文字認識の結果を改善することがさらに含まれる、請求項１に記載の方法。