JP7228045B2 - ナンバープレート情報特定装置、課金システム、ナンバープレート情報特定方法及びプログラム - Google Patents

Description

本発明は、ナンバープレート情報特定装置、課金システム、ナンバープレート情報特定方法及びプログラムに関する。

有料道路における料金所では、車線に設置されたＲＦＩＤのリーダ装置と、車線を走行する車両に付されたＲＦＩＤタグとの間で無線通信による情報のやり取りを行い、料金を収受する料金収受システムが利用されている場合がある。また、上記のような料金所では、ＲＦＩＤタグが付されていない不正車両の発見及び特定のため、走行する車両のナンバープレート情報（車両ナンバー等）を自動的に認識して取得するナンバープレート認識装置が設置されている場合がある。

ナンバープレート認識装置は、走行する車両の車体に付されているナンバープレートを撮影し、ＯＣＲ（Optical Character Recognition）処理を施す。ナンバープレート認識装置は、このＯＣＲ処理により、撮影されたナンバープレートから、ナンバープレート情報を文字列データとして抽出する。

特開２００２－２２２７２６号公報

ナンバープレートに傷や凹みがあったり、飾りなどをつけていたりしているため、ＯＣＲ処理によりナンバープレート情報を正しく認識できない場合がある。また、ナンバープレートに様々な書体（フォント）を用いることが認められている場合もあり、中にはＯＣＲ処理による文字列の認識を失敗しやすい書体が用いられていることもある。このような事情により、有料道路を利用する車両に付されているナンバープレートのうちいくつかのナンバープレートに対しては、ＯＣＲ処理に失敗する場合がある。

本発明の課題は、ナンバープレートの自動認識精度を高めることが可能なナンバープレート情報特定装置、課金システム、ナンバープレート情報特定方法及びプログラムを提供することにある。

本発明の第１の態様によれば、ナンバープレート情報特定装置（２）は、ナンバープレート画像を取得する画像取得部（２００）と、前記ナンバープレート画像の特徴点を抽出する特徴点抽出部（２０２）と、複数の特徴点と複数のナンバープレート情報とが関連付けられて記録されている学習データセット（ＤＳ）を参照し、前記ナンバープレート画像から抽出された特徴点に対する前記学習データセットに記録されている各特徴点の類似度を演算する類似度演算部（２０３）と、前記学習データセットに記録されている各特徴点の前記類似度を、当該学習データセットに記録されているナンバープレート情報ごとに集約してなる得票値を演算する得票値演算部（２０４）と、前記得票値が最も高いナンバープレート情報を、前記ナンバープレート画像に表示されるナンバープレート情報として特定する特定部（２０５）と、を備える。
このような構成によれば、ナンバープレート情報特定装置は、ナンバープレート画像に対応するナンバープレート情報を、ナンバープレート画像から抽出された特徴点どうしの類似度を集約した結果（得票値）に基づいて特定することができる。ここで、ナンバープレート画像から抽出される特徴点には、ナンバープレートに刻印された文字列（ナンバープレート情報）だけでなく、ナンバープレートの傷、凹み、飾り、特殊な書体に現れる特徴も加味して抽出されるので、ＯＣＲ処理が困難な、変形したナンバープレートやフリーフォントのナンバープレートに対しても、正しいナンバープレート情報を特定することができる。

また、本発明の第２の態様によれば、前記特定部は、最も高い得票値が所定の閾値以下であった場合に、オペレータから、前記ナンバープレート画像に示されるナンバープレート情報の入力を受け付ける。
このようにすることで、特徴点の対比に基づくナンバープレート情報の特定精度が低いことが想定される場合には、ナンバープレート情報特定装置のみの判断でナンバープレート情報を特定するのではなく、オペレータの目視判断に基づいてナンバープレート情報が特定される。したがって、ナンバープレート情報の特定精度を高めることができる。

また、本発明の第３の態様によれば、前記特定部は、最も高い得票値が所定の閾値以下であった場合に、前記得票値が最も高いナンバープレート情報と前記ナンバープレート画像とをオペレータに通知するとともに、当該オペレータから、前記得票値が最も高いナンバープレート情報を、前記ナンバープレート画像に表示されるナンバープレート情報として特定してよいか否かの判断結果を示す情報の入力を受け付ける。
このように、得票値が高いナンバープレート情報の候補を通知することで、オペレータによるナンバープレート情報入力処理の手間を軽減することができる。

また、本発明の第４の態様によれば、上述のナンバープレート情報特定装置は、前記オペレータからの入力に基づいて特定されたナンバープレート情報と、前記ナンバープレート画像から抽出された特徴点とを関連付けて、前記学習データセットに追加記録する学習部（２０６）を更に備える。
このようにすることで、有料道路の運用に伴い、取得されたナンバープレート画像と、オペレータの目視判断によって特定されたナンバープレート情報との関係が学習データセットに蓄積される。したがって、特徴点の対比に基づく特定精度を、運用中に向上させることができる。

また、本発明の第５の態様によれば、課金システム（１）は、上述のナンバープレート情報特定装置と、車両に付された情報記録媒体から課金対象とする利用者を識別するための利用者識別情報を読み取るリーダ装置（３２）と、カメラ（３３）を通じて取得したナンバープレート画像に対しＯＣＲ処理を行い、当該ナンバープレート画像からナンバープレート情報を抽出するナンバープレート認識装置（３０）と、を備える。
このようにすることで、課金システム１は、リーダ装置による課金処理を行う際に、ナンバープレート情報特定装置２によるナンバープレートの特定処理だけでなく、通常のＯＣＲ処理に基づいてナンバープレート情報を抽出することができる。

また、本発明の第６の態様によれば、前記ナンバープレート認識装置は、前記ＯＣＲ処理の結果、前記ナンバープレート画像からナンバープレート情報を抽出できなかった場合に、当該ナンバープレート画像を前記ナンバープレート情報特定装置に送信する。
このようにすることで、ＯＣＲ処理によってナンバープレート情報を抽出できたナンバープレート画像は、ナンバープレート情報特定装置によるナンバープレート情報の特定処理の対象とはならない。したがって、ナンバープレート情報特定装置２の処理負荷を軽減することができる。

また、本発明の第７の態様によれば、前記ナンバープレート認識装置は、前記ＯＣＲ処理により前記ナンバープレート画像から抽出した第１のナンバープレート情報と、前記情報記録媒体から読み取った第２のナンバープレート情報とが一致しない場合に、前記ナンバープレート画像を前記ナンバープレート情報特定装置に送信する。
このようにすることで、ＯＣＲ処理の結果が、情報記録媒体に記録されているナンバープレート情報と一致しなかったナンバープレート画像も、ナンバープレート情報特定装置によるナンバープレート情報の特定処理の対象となる。したがって、ＯＣＲ処理が誤っている蓋然性が高いナンバープレート画像についても、ナンバープレート情報特定装置を通じて、正しいナンバープレート情報を得ることができる。

また、本発明の第８の態様によれば、ナンバープレート情報特定方法は、ナンバープレート画像を取得するステップと、前記ナンバープレート画像の特徴点を抽出するステップと、複数の特徴点と複数のナンバープレート情報とが関連付けられて記録されている学習データセットを参照し、前記ナンバープレート画像から抽出された特徴点に対する前記学習データセットに記録されている各特徴点の類似度を演算するステップと、前記類似度に基づいて、前記学習データセットに記録されている各ナンバープレート情報の得票値を演算するステップと、前記得票値が最も高いナンバープレート情報を、前記ナンバープレート画像に表示されるナンバープレート情報として特定するステップと、を有する。

また、本発明の第９の態様によれば、プログラムは、ナンバープレート情報特定装置のコンピュータに、ナンバープレート画像を取得するステップと、前記ナンバープレート画像の特徴点を抽出するステップと、複数の特徴点と複数のナンバープレート情報とが関連付けられて記録されている学習データセットを参照し、前記ナンバープレート画像から抽出された特徴点に対する前記学習データセットに記録されている各特徴点の類似度を演算するステップと、前記類似度に基づいて、前記学習データセットに記録されている各ナンバープレート情報の得票値を演算するステップと、前記得票値が最も高いナンバープレート情報を、前記ナンバープレート画像に表示されるナンバープレート情報として特定するステップと、を実行させる。

上述のナンバープレート情報特定装置、課金システム、ナンバープレート情報特定方法及びプログラムによれば、ナンバープレートの自動認識精度を高めることができる。

第１の実施形態に係る課金システムの全体構成を示す図である。 第１の実施形態に係る課金システムの機能構成を示す図である。 第１の実施形態に係るナンバープレート認識装置の処理フローを示す図である。 第１の実施形態に係るナンバープレート情報特定装置の処理フローを示す図である。 第１の実施形態に係るナンバープレート情報特定装置の処理の具体的な内容を説明するための図である。 第１の実施形態に係る学習データセットのデータ構造を示す図である。 第１の実施形態に係るナンバープレート情報特定装置の処理の具体的な内容を説明するための図である。 第１の実施形態に係るナンバープレート情報特定装置のモニタに表示される画像の例である。

＜第１の実施形態＞
以下、図１～図８を参照しながら、第１の実施形態に係る課金システムについて詳細に説明する。

（課金システムの全体構成）
図１は、第１の実施形態に係る課金システムの全体構成を示す図である。
図１に示す課金システム１は、有料道路を利用する利用者から利用料金を収受するために、当該有料道路の料金所に設置されるシステムである。
図１に示すように、課金システム１の路側装置３は、有料道路の料金所（入口料金所又は出口料金所）の車線Ｌの路側に敷設されたアイランドＩに設置されている。また、ナンバープレート情報特定装置２は、路側装置３から離れた位置に設置され、路側装置３と通信可能に接続されている。なお、図示を省略しているが、ナンバープレート情報特定装置２は、他の車線及び他の料金所にそれぞれ設置された複数の路側装置とも通信可能に接続されている。

図１に示すように、課金システム１の路側装置３は、ナンバープレート認識装置３０と、車両検知器３１と、リーダ装置３２と、カメラ３３とを備えている。

車両検知器３１は、車線Ｌの車両進入側に設けられ、車両Ａの車線Ｌへの進入を検知する。

リーダ装置３２は、車両Ａが車線Ｌに進入した際（車両検知器３１から検知信号を受信した際）に、車両Ａに付されたＲＦＩＤタグ（情報記録媒体）であるタグＴＧと無線通信を行い、課金処理に必要な情報を取得する。ここで、課金処理に必要な情報とは、課金対象とする利用者を識別するための利用者識別情報（タグＩＤ）である。課金システム１では、ここで読み取られた利用者識別情報が課金処理用の上位装置に送信され、利用者に対して課金が行われる。
なお、後述するように、タグＴＧには、利用者識別情報の他、車両Ａのナンバープレート情報（車両番号）や車種区分（普通、大型など）なども記録されている。

カメラ３３は、車両Ａが車線Ｌに進入した際に撮影を行い、車両Ａの車体前方に付されたナンバープレートＮＰを含む画像を取得する。カメラ３３の撮影により取得された画像（以下、「ナンバープレート画像」とも記載する。）は、直ちにナンバープレート認識装置３０に送信される。

ナンバープレート認識装置３０は、カメラ３３によって取得されたナンバープレート画像に対しＯＣＲ処理を施し、当該ナンバープレート画像からナンバープレート情報を抽出する。ナンバープレート情報とは、ナンバープレートの板面に表記されている、数字や記号からなる文字列の情報であって、例えば、分類番号や車両番号（一連指定番号）などである。
ナンバープレート認識装置３０は、ＯＣＲ処理に失敗した場合には、当該ＯＣＲ処理に失敗したナンバープレート画像をナンバープレート情報特定装置２に送信する。
「ＯＣＲ処理に失敗した場合」の態様の一つとしては、ＯＣＲ処理の結果、何等の文字列データも抽出できなかった場合である。この場合、ナンバープレート認識装置３０は、ナンバープレート画像から文字列データを抽出できなかったことをもって“ＯＣＲ処理の失敗”と認識する。
「ＯＣＲ処理に失敗した場合」の他の態様としては、ＯＣＲ処理によって文字列データを誤って抽出した場合である。この場合、ナンバープレート認識装置３０は、抽出した文字列データだけでは“失敗”と認識することはできない。そこで、ナンバープレート認識装置３０は、リーダ装置３２を介してタグＴＧから読み取ったナンバープレート情報（車両番号）と、ＯＣＲ処理を介してナンバープレート画像から抽出したナンバープレート情報とを比較する。そして、ナンバープレート認識装置３０は、２つのナンバープレート情報が一致していなかった場合、ＯＣＲ処理に失敗したものとみなす。
なお、ＯＣＲ処理を介してナンバープレート画像からナンバープレート情報を抽出でき、かつ、当該抽出したナンバープレート情報がリーダ装置３２を介してタグＴＧから読み取ったナンバープレート情報と一致していた場合には、通常の課金処理がなされる。したがって、この場合には、ナンバープレート認識装置３０は、ナンバープレート画像をナンバープレート情報特定装置２に送信しない。

ナンバープレート情報特定装置２は、路側装置３（ナンバープレート認識装置３０）においてＯＣＲ処理に失敗したナンバープレート画像を受信する。そして、ナンバープレート情報特定装置２は、当該ナンバープレート画像について正しいナンバープレート情報を特定し、その特定結果をナンバープレート認識装置３０に返す。ナンバープレート情報特定装置２の具体的な機能及び処理フローについては後述する。

（課金システムの機能構成）
図２は、第１の実施形態に係る課金システムの機能構成を示す図である。
図２に示すように、ナンバープレート情報特定装置２は、ＣＰＵ２０と、通信インタフェース２１と、モニタ２２と、記録媒体２３とを備えている。
ＣＰＵ２０は、予め用意されたプログラムに従って動作することで、各種機能を発揮する。ＣＰＵ２０の機能については後述する。

通信インタフェース２１は、路側装置３（ナンバープレート認識装置３０）との通信用の接続インタフェースである。

モニタ２２は、液晶ディスプレイモニタ等の表示装置である。

記録媒体２３は、いわゆる補助記憶装置であって、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の大容量記録装置である。記録媒体２３には、ナンバープレート情報を特定するために用いる学習データセットＤＳが記録されている。学習データセットＤＳには、複数の特徴点と複数のナンバープレート情報とが関連付けられて記録されている。学習データセットＤＳの具体的なデータ構造については後述する。

ＣＰＵ２０の機能について詳しく説明する。
ＣＰＵ２０は、画像取得部２００、プレート判定部２０１、特徴点抽出部２０２、類似度演算部２０３、得票値演算部２０４、特定部２０５、学習部２０６としての機能を有する。

画像取得部２００は、ナンバープレート認識装置３０からナンバープレート画像を受信して取得する。

プレート判定部２０１は、画像取得部２００によって取得されたナンバープレート画像にナンバープレートが写されているか否かを判定する。

特徴点抽出部２０２は、画像取得部２００によって取得されたナンバープレート画像の特徴点を抽出する。

類似度演算部２０３は、学習データセットＤＳを参照し、ナンバープレート画像から抽出された特徴点に対する学習データセットＤＳに記録されている各特徴点の類似度（ハミング距離）を演算する。

得票値演算部２０４は、類似度演算部２０３によって算出された各特徴点の類似度を、学習データセットＤＳに記録されているナンバープレート情報ごとに集約してなる得票値を演算する。「得票値」の具体的態様については後述する。

特定部２０５は、得票値演算部２０４によって算出された得票値が最も高いナンバープレート情報を、画像取得部２００によって取得されたナンバープレート画像に表示されるナンバープレート情報として特定する。

学習部２０６は、ナンバープレート情報特定装置２のオペレータからの入力に基づいて特定されたナンバープレート情報と、画像取得部２００によって取得されたナンバープレート画像から抽出された特徴点とを関連付けて、学習データセットに追加記録する。

（ナンバープレート認識装置の処理フロー）
図３は、第１の実施形態に係るナンバープレート認識装置の処理フローを示す図である。
図３に示す処理フローは、車両検知器３１によって車両Ａ（図１）の進入検知があった場合に、路側装置３のナンバープレート認識装置３０によって実行される。

ナンバープレート認識装置３０は、車両Ａの進入があった場合に、リーダ装置３２によるタグＴＧの読み取り、及び、カメラ３３による車両Ａの撮影を行う（ステップＳ００）。

次に、ナンバープレート認識装置３０は、カメラ３３によって取得された全体画像（車両Ａの全体が写された画像）から、ナンバープレートＮＰ（図１）が写されている小領域を切り出してナンバープレート画像を生成する。ナンバープレート認識装置３０は、生成したナンバープレート画像に対しＯＣＲ処理を施す（ステップＳ０１）。

次に、ナンバープレート認識装置３０は、ステップＳ０１で行ったＯＣＲ処理の結果、文字列データを抽出できたか否かを判定する（ステップＳ０２）。

ＯＣＲ処理の結果、文字列データを抽出できた場合（ステップＳ０２；ＹＥＳ）、次に、ナンバープレート認識装置３０は、ＯＣＲ処理によって抽出した文字列データと、タグＴＧから読み取ったナンバープレート情報（文字列データ）とが一致するか否かを判定する（ステップＳ０３）。

ＯＣＲ処理によって抽出した文字列データが、タグＴＧから読み取ったナンバープレート情報と一致する場合（ステップＳ０３；ＹＥＳ）、ナンバープレート認識装置３０は、ナンバープレート情報の取得に成功したものとみなし、通常の課金処理（利用者識別情報の送信）を実行する（ステップＳ０４）。

ＯＣＲ処理の結果、文字列データを抽出できなかった場合（ステップＳ０２；ＮＯ）、又は、ＯＣＲ処理によって抽出した文字列データが、タグＴＧから読み取ったナンバープレート情報と一致しなかった場合（ステップＳ０３；ＮＯ）、ナンバープレート認識装置３０は、ステップＳ０１で生成したナンバープレート画像をナンバープレート情報特定装置２に送信する（ステップＳ０５）。

（ナンバープレート情報特定装置の処理フロー）
図４は、第１の実施形態に係るナンバープレート情報特定装置の処理フローを示す図である。
図５、図７は、第１の実施形態に係るナンバープレート情報特定装置の処理の具体的な内容を説明するための図である。
図６は、第１の実施形態に係る学習データセットのデータ構造を示す図である。
図８は、第１の実施形態に係るナンバープレート情報特定装置のモニタに表示される画像の例である。
以下、図４～図８を参照しながら、第１の実施形態に係るナンバープレート情報特定装置２が実行する処理の流れについて詳しく説明する。

図４に示すように、まず、ナンバープレート情報特定装置２の画像取得部２００は、ナンバープレート認識装置３０からナンバープレート画像を受信して取得する（ステップＳ１０）。

次に、ナンバープレート情報特定装置２のプレート判定部２０１は、ステップＳ１０で取得したナンバープレート画像にナンバープレートＮＰが写されているか否かを判定する（ステップＳ１１）。これは、ナンバープレート認識装置３０が、全体画像から、ナンバープレートＮＰが写っている領域の切り出しに失敗し、ナンバープレートＮＰが写っていない画像を生成する場合があるため、これを排除する目的で実行される。

ステップＳ１０で取得したナンバープレート画像にナンバープレートＮＰが写っていない場合（ステップＳ１１；ＮＯ）、プレート判定部２０１は、特段の処理を行うことなく、受信したナンバープレート画像についての処理フローを終了する。なお、この場合、ナンバープレート情報特定装置２は、受信したナンバープレート画像にナンバープレートＮＰが写っていなかったことを示す情報をナンバープレート認識装置３０に返してもよい。

ステップＳ１０で取得したナンバープレート画像にナンバープレートＮＰが写っていた場合（ステップＳ１１；ＹＥＳ）、次に、ナンバープレート情報特定装置２の特徴点抽出部２０２は、取得されたナンバープレート画像から特徴点を抽出する（ステップＳ１２）。

ここで、ステップＳ１２の特徴点抽出処理について、図５を参照しながら説明する。

特徴点抽出部２０２は、取得したナンバープレート画像から、その画像の特徴を示す特徴点を複数抽出する。画像としての特徴が際立って表れている箇所（点）であり、例えば、ナンバープレート画像のうち、エッジの形状、曲線の終点、曲率が極大である曲線上の点などが特徴点として抽出される。
図５に示すように、１つの特徴点は、複数次元のベクトル量（１８２、１５５、１０１、・・）で表現される。特徴点抽出部２０２は、１つのナンバープレート画像から、例えば、２００点前後の特徴点を抽出する（ステップＳ１２）。

次に、ナンバープレート情報特定装置２の類似度演算部２０３は、学習データセットＤＳ（図２）を参照して、ステップＳ１２で抽出された特徴点に対する、学習データセットＤＳに記録されている各特徴点の類似度を演算する（ステップＳ１３）。
更に、ナンバープレート情報特定装置２の得票値演算部２０４は、類似度演算部２０３によって算出された各特徴点の類似度に基づいて、学習データセットＤＳに記録されている各ナンバープレート情報の得票値を演算する（ステップＳ１４）。ここで、「得票値」とは、学習データセットＤＳに記録されている各特徴点の類似度を、当該学習データセットＤＳに記録されているナンバープレート情報ごとに集計して得られる値である。本実施形態においては、「得票値」とは、ハミング距離の逆数の合計値である。

ここで、類似度演算部２０３によるステップＳ１３の処理、及び、得票値演算部２０４によるステップＳ１４の処理を説明する前に、学習データセットＤＳのデータ構造について、図６を参照しながら詳しく説明する。

図６に示すように、記録媒体２３に記録されている学習データセットＤＳは、これまでに蓄積された特徴点を示すデータテーブルＤＳ１と、各特徴点に関連付けられる車両ナンバーが記録されたデータテーブルＤＳ２とを有している。

具体的には、データテーブルＤＳ１には、オブジェクトＩＤと、特徴点を示すベクトル量とが関連付けられて記録されている。「オブジェクトＩＤ」とは、各特徴点に割り振られた通し番号である。

データテーブルＤＳ２には、画像ファイル名と、車両ナンバーと、オブジェクトＩＤ（ｆｒｏｍ）と、オブジェクトＩＤ（ｔｏ）とが関連付けられて記録されている。「画像ファイル名」とは、各特徴点の抽出元となったナンバープレート画像を識別する情報である。「車両ナンバー」とは、「画像ファイル名」で指定されるナンバープレート画像に写されているナンバープレートの情報（車両ナンバー）である。データテーブルＤＳ２に記録されている「車両ナンバー」は、オペレータがナンバープレート画像を目視判断した結果に基づいて決定されたものであり、当該ナンバープレート画像に表示されるナンバープレート情報の真値として扱うことができる。「オブジェクトＩＤ（ｆｒｏｍ）」及び「オブジェクトＩＤ（ｔｏ）」は、データテーブルＤＳ１の参照先を示す情報であって、「画像ファイル名」で指定されるナンバープレート画像から抽出された特徴点を示している。

例えば、図６に示す例の場合、“ａａａ．ｊｐｇ”で指定されるナンバープレート画像からは、オブジェクトＩＤ“００００１”～“００２００”で指定される２００点の特徴点が抽出されたことを示している。同様に、“ｂｂｂ．ｊｐｇ”で指定されるナンバープレート画像、及び、“ｃｃｃ．ｊｐｇ”で指定されるナンバープレート画像からは、それぞれ、オブジェクトＩＤ“００２０１”～“００４００”、オブジェクトＩＤ“００４０１”～“００６００”で指定される特徴点が抽出されたことを示している。
また、上述の３つのナンバープレート画像“ａａａ．ｊｐｇ”、“ｂｂｂ．ｊｐｇ”及び“ｃｃｃ．ｊｐｇ”は、いずれも、“ＡＢＣ１２３”なるナンバープレート情報（車両ナンバー）が撮影されたナンバープレート画像である。したがって、図６に示す学習データセットＤＳによれば、オブジェクトＩＤ“００００１”～“００６００”の特徴点は、全て“ＡＢＣ１２３”なるナンバープレート情報に関連付けられている。
なお、これらのナンバープレート画像“ａａａ．ｊｐｇ”、“ｂｂｂ．ｊｐｇ”、・・・、ナンバープレート情報（車両ナンバーの真値）、及び、当該ナンバープレート画像から抽出された特徴点は、後述する学習部２０６の処理により、有料道路に設けられた複数の料金所の運用に伴い、逐次、学習データセットＤＳに蓄積される。即ち、学習データセットＤＳは、有料道路の各料金所及び各車線Ｌに設置された複数のナンバープレート認識装置３０から受信するナンバープレート画像が蓄積されてなる。

次に、図７を参照しながら、類似度演算部２０３によるステップＳ１３の処理、及び、得票値演算部２０４によるステップＳ１４の処理について詳しく説明する。

ステップＳ１３の処理において、類似度演算部２０３は、まず、ナンバープレート画像から抽出された複数の特徴点のうちの一つ（例えば、第１特徴点（図５））と、学習データセットＤＳ（データテーブルＤＳ１）に記録されている全ての特徴点とのハミング距離を演算する。ハミング距離とは、多次元のベクトル値で表される特徴量どうしの距離を示すものであり、ハミング距離が小さいほど類似しているといえる。類似度演算部２０３は、第１特徴点に対してハミング距離が小さい特徴点を複数個（例えば、上位２０個）抽出する（図７、ステップＳ１３参照）。
類似度演算部２０３は、ナンバープレート画像から抽出された他の特徴点（第２特徴点、第３特徴点、・・、第２００特徴点）のそれぞれに対しても、同様に、学習データセットＤＳから、ハミング距離が小さい特徴点を複数個（例えば、上位２０個）抽出する（図７、ステップＳ１３参照）。

次に、得票値演算部２０４は、ナンバープレート画像から抽出された各特徴点（第１特徴点、第２特徴点、・・、第２００特徴点）のそれぞれについて類似度が高いものとして特定された特徴点、及び、そのハミング距離を用いて、各ナンバープレート情報の得票値を演算する。
具体的には、得票値演算部２０４は、ステップＳ１３で特定された複数の特徴点のうち、データテーブルＤＳ２において各特徴点に関連付けられたナンバープレート情報が同一のものを抽出する。そして、得票値演算部２０４は、同一のナンバープレート情報に関連付けられた各特徴点のハミング距離の逆数を積算する。
例えば、図７に示す例によれば、ステップＳ１３で特定された複数の特徴点のうち、“ＡＢＣ１２３”なるナンバープレート情報（車両ナンバー）に関連付けられているものは、オブジェクトＩＤ“００４２５”、“００１１０”、“００２４７”の３つである。そこで、得票値演算部２０４は、“ＡＢＣ１２３”なるナンバープレート情報について、上記３つの特徴点のハミング距離の逆数の和を算出する。この場合、オブジェクトＩＤ“００４２５”で示される特徴点のハミング距離は“１５”であり、オブジェクトＩＤ“００１１０”で示される特徴点のハミング距離は“８”であり、オブジェクトＩＤ“００２４７”で示される特徴点のハミング距離は“２４”であるから、得票値演算部２０４は、“ＡＢＣ１２３”なるナンバープレート情報の得票値を、１／１５＋１／８＋１／２４＝０．２３として算出する。
同様に、図７に示す例によれば、得票値演算部２０４は、オブジェクトＩＤ“０２０２３”の特徴点のハミング距離“７”を用いて、“ＤＥＦ４５６”なるナンバープレート情報の得票値を１／７＝０．１４と演算する。また、得票値演算部２０４は、オブジェクトＩＤ“１０１９４”の特徴点のハミング距離“１４７”、及び、オブジェクトＩＤ“１０４９３”の特徴点のハミング距離“３６”を用いて、“ＧＨＩ７８９”なるナンバープレート情報の得票値を、１／１４７＋１／３６＝０．０３と演算する。

次に、ナンバープレート情報特定装置２の特定部２０５は、得票値演算部２０４によって算出された各ナンバープレート情報の得票値に基づいて、ステップＳ１０で受信したナンバープレート画像に表示されているナンバープレート情報（車両ナンバー）を特定する。この処理において、特定部２０５は、まず、ステップＳ１４で算出された得票値のうち、最も高い得票値（最高得票値）が所定の判定閾値を上回っているか否かを判定する（ステップＳ１５）。

最高得票値が判定閾値を上回っている場合（ステップＳ１５；ＹＥＳ）、最高得票値となったナンバープレート情報が、ナンバープレート画像に表示されるナンバープレート情である可能性が高いと判断できる。したがって、この場合、特定部２０５は、直ちに、ナンバープレート情報最高得票値となったナンバープレート情報を、ナンバープレート画像に表示されているナンバープレート情報として特定する（ステップＳ１６）。この場合、オペレータによる入力操作を要することなく、ナンバープレート情報特定装置２によって自動的にナンバープレート情報が特定される。

他方、最高得票値が判定閾値以下であった場合（ステップＳ１５；ＮＯ）、最高得票値となったナンバープレート情報が、ナンバープレート画像に表示されるナンバープレート情報であるとは言い切れないと判断される。そこで、特定部２０５は、高い得票値を得たいくつかのナンバープレート情報（例えば、得票値上位３つのナンバープレート情報）を、ナンバープレート画像に表示されているナンバープレート情報の候補として、モニタ２２に表示して通知する（ステップＳ１７）。
次に、特定部２０５は、オペレータからの入力を受け付ける（ステップＳ１８）。オペレータからの入力とは、モニタ２２に表示した候補のうちの一つを指定するもの、又は、オペレータの直接入力によって指定されたナンバープレート情報である。
次に、特定部２０５は、オペレータの入力によって指定されたナンバープレート情報を、ナンバープレート画像に表示されているナンバープレート情報として特定する（ステップＳ１９）。

以上のステップＳ１７～ステップＳ１９の処理について、図８を参照しながら詳しく説明する。
図８は、車両Ａの進入時に、ナンバープレート情報特定装置２のモニタ２２に表示される表示画面Ｄの例を示している。図８に示すように、表示画面Ｄの「ターゲット情報」の欄には、進入してきた車両Ａの全体画像（カメラ画像）、及び、当該全体画像から切り出されたナンバープレート画像が表示される。また、表示画面Ｄの「詳細情報」の欄には、車両Ａの進入が検知された年月日、時刻、料金所等を示す情報の他、タグＴＧから読み取られた車種区分、ナンバープレート情報、及び、ＯＣＲ処理によって認識された文字列データ（ナンバープレート情報）が表示される。なお、図８に示す例では、ＯＣＲ処理によって文字列データが認識できなかったため、「ＯＣＲ」の欄は空欄となっている。

更に、図８に示すように、表示画面Ｄの「候補」の欄には、特定部２０５によるステップＳ１７の処理により、得票値が上位となった３つのナンバープレート情報の候補が表示される。オペレータは、「ターゲット情報」の欄に表示されたナンバープレート画像を目視して、３つのナンバープレート情報の候補のうち正しい文字列データを選択して指定する入力操作を行う。オペレータによる入力操作は、マウスを用いたクリック操作、タッチパネルへのタッチ操作等であってよい。
また、３つのナンバープレート情報の候補に正しいものがない場合などにおいては、オペレータは、「直接入力」の欄に設けられた入力フォームに、目視で確認した、正しいナンバープレート情報を直接入力してもよい。

図４に戻り、特定部２０５がステップＳ１７～ステップＳ１９の処理を行った後、ナンバープレート情報特定装置２の学習部２０６は、ステップＳ１８でオペレータの入力によって指定されたナンバープレート情報と、ステップＳ１０で受信したナンバープレート画像から抽出された特徴点とを関連付けて学習データセットＤＳに追加記録する（ステップＳ２０）。これにより、学習データセットＤＳに新たな学習結果が追加される。

（作用、効果）
以上の通り、第１の実施形態に係るナンバープレート情報特定装置２は、ナンバープレート画像を取得する画像取得部２００と、ナンバープレート画像の特徴点を抽出する特徴点抽出部２０２と、事前に用意された学習データセットＤＳを参照し、ナンバープレート画像から抽出された特徴点に対する学習データセットＤＳに記録されている各特徴点の類似度を演算する類似度演算部２０３と、類似度に基づいて、学習データセットＤＳに記録されている各ナンバープレート情報の得票値を演算する得票値演算部２０４と、得票値が最も高いナンバープレート情報を、ナンバープレート画像に表示されるナンバープレート情報として特定する特定部２０５とを備える。
このような構成によれば、ナンバープレート情報特定装置２は、ナンバープレート画像に対応するナンバープレート情報を、ナンバープレート画像から抽出された特徴点どうしの対比によって特定することができる。ここで、ナンバープレート画像から抽出される特徴点には、ナンバープレートに刻印された文字列（ナンバープレート情報）だけでなく、ナンバープレートの傷、凹み、飾り、特殊な書体に現れる特徴も全て加味して抽出されるので、ＯＣＲ処理が困難な、変形したナンバープレートやフリーフォントのナンバープレートに対しても、正しいナンバープレート情報を特定することができる。

また、第１の実施形態に係るナンバープレート情報特定装置２によれば、特定部２０５は、最も高い得票値が所定の閾値以下であった場合に、オペレータから、ナンバープレート画像に示されるナンバープレート情報の入力（入力フォームへの直接入力）を受け付ける（図４のステップＳ１８、図８参照）。
このようにすることで、特徴点の対比に基づくナンバープレート情報の特定精度が低いことが想定される場合には、自動的にナンバープレート情報を特定するのではなく、オペレータの目視判断に基づいてナンバープレート情報が特定される。したがって、ナンバープレート情報の特定精度を高めることができる。

また、第１の実施形態に係るナンバープレート情報特定装置２によれば、特定部２０５は、最も高い得票値が所定の閾値以下であった場合に、得票値が上位のナンバープレート情報と、画像取得部２００によって取得されたナンバープレート画像とをオペレータに、対比可能に通知（表示）する（図８参照）。そして、特定部２０５は、オペレータから、得票値が最も高いナンバープレート情報を、ナンバープレート画像に表示されるナンバープレート情報として特定してよいか否かの判断結果を示す情報の入力を受け付ける（図４のステップＳ１８、図８参照）。
このように、得票値が高いナンバープレート情報の候補を選択可能に表示することで、オペレータの入力処理の手間を軽減することができる。

また、第１の実施形態に係るナンバープレート情報特定装置２によれば、オペレータからの入力に基づいて特定されたナンバープレート情報と、ナンバープレート画像から抽出された特徴点とを関連付けて、学習データセットＤＳに追加記録する学習部２０６を更に備える。
このようにすることで、有料道路の運用に伴い、ＯＣＲ処理に失敗したナンバープレート画像と、オペレータの目視判断によって特定されたナンバープレート情報との関係が蓄積される。したがって、特徴点の対比に基づく特定精度を、運用中に向上させることができる。
また、学習部２０６によれば、学習データセットＤＳに追加記録されるのは、得票値が低かった（判定閾値以下となった）ためにオペレータに目視判断されたナンバープレート画像、及び、そのナンバープレート情報のみである。即ち、高い得票値を得られたナンバープレート画像及びナンバープレート情報の対については、既に高い特定精度を得られているため、これ以上学習させることに大きなメリットは生じない。したがって、上記のようにすることで、学習データセットＤＳの情報量を増加させすぎず、効率的に学習させることができる。
例えば、有料道路を初めて利用する車両のナンバープレートについては、ナンバープレート情報特定装置２では全く学習されていない。そのため、当該車両のナンバープレート画像がＯＣＲ処理に失敗した場合、ナンバープレート情報特定装置２は、既存の学習データセットＤＳの中からナンバープレート情報を特定しようとするが、（一致するものが存在しないため、）いずれのナンバープレート情報も得票値が低いものとなる。この場合、当該ナンバープレート画像は、オペレータによって目視判断され（図４のステップＳ１７～Ｓ１８）、正しいナンバープレート情報と関連付けられて学習データセットＤＳに追加記録される。有料道路の料金所を通過する度にこれが繰り返されることで、徐々に当該車両のナンバープレートについての学習結果が蓄積され、これに伴い得票値も上昇する。そして、学習結果が十分に蓄積されて得票値が所定の判定閾値に達したところで自動特定処理（図４のステップＳ１６）に切り替わり、学習が完了する（追加記録されなくなる）。

また、第１の実施形態に係る課金システム１は、ナンバープレート情報特定装置２と、カメラ３３を通じて取得したナンバープレート画像に対しＯＣＲ処理を行い、当該ナンバープレート画像からナンバープレート情報を抽出するナンバープレート認識装置３０と、車両Ａに付されたタグＴＧ（情報記録媒体）から課金対象とする利用者を識別するための利用者識別情報を読み取るリーダ装置３２とを備えている。
このようにすることで、課金システム１は、リーダ装置３２による課金処理を行う際に、ナンバープレート情報特定装置２によるナンバープレートの特定処理だけでなく、通常のＯＣＲ処理に基づいてナンバープレート情報を抽出することができる。

また、ナンバープレート認識装置３０は、ＯＣＲ処理の結果、カメラ３３を通じて取得されたナンバープレート画像からナンバープレート情報を抽出できなかった場合に、当該ナンバープレート画像をナンバープレート情報特定装置２に送信する（図３のステップＳ０２参照）。
このようにすることで、ＯＣＲ処理によってナンバープレート情報を抽出できたナンバープレート画像は、ナンバープレート情報特定装置２によるナンバープレート情報の特定処理の対象とはならない。したがって、ナンバープレート情報特定装置２の処理負荷を軽減することができる。

また、ナンバープレート認識装置３０は、ＯＣＲ処理によりナンバープレート画像から抽出した第１のナンバープレート情報と、タグＴＧから読み取った第２のナンバープレート情報とが一致しない場合に、ナンバープレート画像をナンバープレート情報特定装置２に送信する（図３のステップＳ０３参照）。
このようにすることで、ＯＣＲ処理の結果が、タグＴＧに記録されているナンバープレート情報と一致しなかったナンバープレート画像も、ナンバープレート情報特定装置２によるナンバープレート情報の特定処理の対象となる。したがって、ＯＣＲ処理が誤っている蓋然性が高いナンバープレート画像についても、ナンバープレート情報特定装置２を通じて、正しいナンバープレート情報を得ることができる。

（変形例）
以上、第１の実施形態に係るナンバープレート情報特定装置２、及び、これを備える課金システム１について詳細に説明したが、ナンバープレート情報特定装置２及び課金システム１の具体的な態様は、上述のものに限定されることはなく、要旨を逸脱しない範囲内において種々の設計変更等を加えることは可能である。

例えば、第１の実施形態に係るナンバープレート認識装置３０は、ＯＣＲ処理に失敗したナンバープレート画像のみをナンバープレート情報特定装置２に送信するものとして説明したが、他の実施形態においてはこの態様に限定されない。
他の実施形態に係る課金システム１において、ナンバープレート認識装置３０は、ＯＣＲ処理に成功したものも含め、全てのナンバープレート画像をナンバープレート情報特定装置２に送信してもよい。このようにすることで、各ナンバープレートについての学習速度を高めることができる。

また、第１の実施形態に係るナンバープレート情報特定装置２は、最高得票値が所定の判定閾値以下となった場合に、得票値が上位の３つの候補をオペレータに通知（モニタ２２に表示）するものとして説明したが、他の実施形態ではこの態様に限定されない。例えば、他の実施形態に係るナンバープレート情報特定装置２は、得票値が最も高い１つの候補のみを通知するものであってよい。

また、第１の実施形態に係るナンバープレート情報特定装置２（得票値演算部２０４）は、各ナンバープレート情報についての得票値を、ハミング距離の逆数の和によって算出するものとして説明したが、他の実施形態においてはこの態様に限定されない。
例えば、他の実施形態に係るナンバープレート情報特定装置２は、学習データセットＤＳに記録されている特徴点のうち、ハミング距離が所定値以下となった特徴点の個数を、各ナンバープレート情報についての得票値としてもよい。即ち、得票値演算部２０４は、ハミング距離が所定値以下となったか否かの判定結果（類似度）を、学習データセットＤＳに記録されているナンバープレート情報ごとに集約してなる得票値を演算する。

また、第１の実施形態に係るナンバープレート認識装置３０は、ＯＣＲ処理によってナンバープレート情報を抽出できなかった場合には当該ナンバープレート画像をナンバープレート情報特定装置２に送信し、ＯＣＲ処理によりナンバープレート情報を抽出できた場合であっても、当該ナンバープレート情報（第１のナンバープレート情報）がタグＴＧから読み取った第２のナンバープレート情報と一致しない場合には、当該ナンバープレート画像をナンバープレート情報特定装置に送信するものとして説明した。しかし、他の実施形態においてはこの態様に限定されない。
例えば、他の実施形態に係るナンバープレート認識装置３０は、ＯＣＲ処理によってナンバープレート情報を抽出できなかった場合には、第１のナンバープレート情報として、予め用意された仮のナンバープレート情報を特定してもよい。この仮のナンバープレート情報は、実際には使用されていない情報（番号）としておく。このようにすることで、ＯＣＲ処理によってナンバープレート情報を抽出できなかった場合には、図３のステップＳ０３で、予め用意された仮のナンバープレート情報とタグＴＧから読み取られたナンバープレート情報との対比がなされ、両者が一致しないことにより、ナンバープレート画像がナンバープレート情報特定装置に送信されることになる。
上記仮のナンバープレート情報は、ＯＣＲ処理によって抽出されたナンバープレート情報が設定される前の初期値として、予め第１のナンバープレート情報に設定されている情報であってもよい。

なお、上述したナンバープレート情報特定装置２における各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
また、ナンバープレート情報特定装置２は、１台のコンピュータで構成されていても良いし、通信可能に接続された複数のコンピュータで構成されていてもよい。

その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。

上述のナンバープレート情報特定装置２、課金システム１、ナンバープレート情報特定方法及びプログラムによれば、ナンバープレートの自動認識の精度を高めることができる。

１ 課金システム
２ ナンバープレート情報特定装置
２０ ＣＰＵ
２００ 画像取得部
２０１ プレート判定部
２０２ 特徴点抽出部
２０３ 類似度演算部
２０４ 得票値演算部
２０５ 特定部
２０６ 学習部
２１ 通信インタフェース
２２ モニタ
２３ 記録媒体
３ 路側装置
３０ ナンバープレート認識装置
３１ 車両検知器
３２ リーダ装置
３３ カメラ
ＤＳ 学習データセット
Ａ 車両
ＮＰ ナンバープレート
ＴＧ タグ

Claims (9)

1. ナンバープレート画像を取得する画像取得部と、
   前記ナンバープレート画像の特徴点を抽出する特徴点抽出部と、
   複数の特徴点と複数のナンバープレート情報とが関連付けられて記録されている学習データセットを参照し、前記ナンバープレート画像から抽出された特徴点に対する前記学習データセットに記録されている各特徴点の類似度を演算する類似度演算部と、
   前記学習データセットに記録されている各特徴点の前記類似度を、当該学習データセットに記録されているナンバープレート情報ごとに集約してなる得票値を演算する得票値演算部と、
   前記得票値が最も高いナンバープレート情報を、前記ナンバープレート画像に表示されるナンバープレート情報として特定する特定部と、
   を備えるナンバープレート情報特定装置。
2. 前記特定部は、最も高い得票値が所定の閾値以下であった場合に、オペレータから、前記ナンバープレート画像に示されるナンバープレート情報の入力を受け付ける
   請求項１に記載のナンバープレート情報特定装置。
3. 前記特定部は、最も高い得票値が所定の閾値以下であった場合に、前記得票値が最も高いナンバープレート情報と前記ナンバープレート画像とをオペレータに通知するとともに、当該オペレータから、前記得票値が最も高いナンバープレート情報を、前記ナンバープレート画像に表示されるナンバープレート情報として特定してよいか否かの判断結果を示す情報の入力を受け付ける
   請求項１又は請求項２に記載のナンバープレート情報特定装置。
4. 前記オペレータからの入力に基づいて特定されたナンバープレート情報と、前記ナンバープレート画像から抽出された特徴点とを関連付けて、前記学習データセットに追加記録する学習部を更に備える
   請求項２又は請求項３に記載のナンバープレート情報特定装置。
5. 請求項１から請求項４のいずれか一項に記載のナンバープレート情報特定装置と、
   車両に付された情報記録媒体から課金対象とする利用者を識別するための利用者識別情報と、当該情報記録媒体に記録されたナンバープレート情報とを読み取るリーダ装置と、
   カメラを通じて取得したナンバープレート画像に対しＯＣＲ処理を行い、当該ナンバープレート画像からナンバープレート情報を抽出するナンバープレート認識装置と、
   を備え、
   前記ナンバープレート認識装置は、
   前記ナンバープレート画像に対するＯＣＲ処理に失敗した場合に、前記ナンバープレート画像を前記ナンバープレート情報特定装置に送信し、
   前記ナンバープレート情報特定装置は、
   前記ナンバープレート認識装置から受信した前記ナンバープレート画像に表示されるナンバープレート情報を特定し、当該特定したナンバープレート情報を前記ナンバープレート認識装置に送信し、
   前記ナンバープレート認識装置は、
   前記ＯＣＲ処理により前記ナンバープレート画像から抽出したナンバープレート情報と前記記録媒体に記録されたナンバープレート情報とが一致した場合、または、前記ナンバープレート情報特定装置によって特定されたナンバープレート情報と前記記録媒体に記録されたナンバープレート情報とが一致した場合に、課金処理を行う、
   課金システム。
6. 前記ナンバープレート認識装置は、
   前記ＯＣＲ処理の結果、前記ナンバープレート画像からナンバープレート情報を抽出できなかった場合に、当該ナンバープレート画像を前記ナンバープレート情報特定装置に送信する
   請求項５に記載の課金システム。
7. 前記ナンバープレート認識装置は、
   前記ＯＣＲ処理により前記ナンバープレート画像から抽出した第１のナンバープレート情報と、前記情報記録媒体から読み取った第２のナンバープレート情報とが一致しない場合に、前記ナンバープレート画像を前記ナンバープレート情報特定装置に送信する
   請求項５又は請求項６に記載の課金システム。
8. ナンバープレート情報特定装置が、ナンバープレート画像を取得するステップと、
   前記ナンバープレート情報特定装置が、前記ナンバープレート画像の特徴点を抽出するステップと、
   前記ナンバープレート情報特定装置が、複数の特徴点と複数のナンバープレート情報とが関連付けられて記録されている学習データセットを参照し、前記ナンバープレート画像から抽出された特徴点に対する前記学習データセットに記録されている各特徴点の類似度を演算するステップと、
   前記ナンバープレート情報特定装置が、前記学習データセットに記録されている各特徴点の前記類似度を、当該学習データセットに記録されているナンバープレート情報ごとに集約してなる得票値を演算するステップと、
   前記ナンバープレート情報特定装置が、前記得票値が最も高いナンバープレート情報を、前記ナンバープレート画像に表示されるナンバープレート情報として特定するステップと、
   を有するナンバープレート情報特定方法。
9. ナンバープレート情報特定装置のコンピュータに、
   ナンバープレート画像を取得するステップと、
   前記ナンバープレート画像の特徴点を抽出するステップと、
   複数の特徴点と複数のナンバープレート情報とが関連付けられて記録されている学習データセットを参照し、前記ナンバープレート画像から抽出された特徴点に対する前記学習データセットに記録されている各特徴点の類似度を演算するステップと、
   前記学習データセットに記録されている各特徴点の前記類似度を、当該学習データセットに記録されているナンバープレート情報ごとに集約してなる得票値を演算するステップと、
   前記得票値が最も高いナンバープレート情報を、前記ナンバープレート画像に表示されるナンバープレート情報として特定するステップと、
   を実行させるプログラム。

Images