JP5957403B2 - 車両番号撮像装置 - Google Patents

Description

本発明の実施形態は、走行する車両のナンバプレート上の車両番号を撮像する車両番号撮像装置に関する。

高速道路等の有料道路を走行する車両に対しノンストップで利用料金の収受処理を自動的に行なうＥＴＣ（ＥＴＣ：登録商標）システムと称される料金収受システムにおいては、料金所の料金収受レーン（道路）を走行する車両のナンバプレート（車両番号）をを読取るナンバプレート読取装置が用いられる。

ナンバプレート読取装置は、走行する車両の前方あるいは後方からナンバプレート（車両番号）を撮像し、得られる画像を処理することによりナンバプレート上の車両番号を認識するもので、車両番号を撮像する車両番号撮像装置が用いられる。

最近、このような車両番号撮像装置において、車両番号（ナンバプレート）を撮像する撮像手段として、水平方向が２０００画素以上の高解像度のカメラが市販化され、１レーン以上（１レーンは約３．５ｍ）の広視野を撮像した場合でも車両番号の読取りに充分な解像度を得ることが可能となっている。

また、高解像度のカメラからはデジタル化した画像として出力されるが、デジタル出力が１２ビット以上の高ダイナミックレンジのカメラも市販され、複雑な露光制御が不要となる可能性がある。ところが、このような大容量の画像を用いることは、汎用性や処理時間、コストの面などから現実的ではない。

それに対して、カメラから連続して送られてくる画像から車両を検出し、検出した車両画像からナンバプレート部分だけの画像を抽出し、抽出した画像を車両番号認識の画像として用いる手法が公知である。

しかしながら、この公知技術では、一般に進入車両の検出から車両番号の撮像までの時間が非常に短いため、短時間での高性能な画像処理は困難であり、結果として正確なナンバプレート位置の切り出しができない危険性がある。

特開２００４−９４４１２号公報 特開２０１０−２０６５９２号公報

本発明が解決しようとする課題は、汎用的な画像処理で高精度かつ簡潔な車両番号の読取りを可能とする車両番号撮像装置を提供することである。

実施形態に係る車両番号撮像装置は、道路を走行する車両の前方あるいは後方から少なくとも車両番号を含む画像を所定のフレーム周期で撮像する撮像手段と、この撮像手段から得られる各フレーム画像を前記車両の進行方向に対し少なくとも上方向の画像と下方向の画像の２つに分割する画像分割手段と、この画像分割手段により分割されたフレーム画像間に差分があるか否かを判定する差分処理手段と、この差分処理手段によりフレーム画像間に差分があると判定された場合、当該分割されたフレーム画像を順次フレームごとに出力する画像出力手段とを具備する。

第１の実施形態に係る車両番号撮像装置が適用されるナンバプレート読取装置の構成を概略的に示すブロック図。 第１の実施形態に係る各構成部、時間での画像の状態を示す模式図。 画像の水平、垂直方向の画素の関係を示す模式図。 第１の実施形態に係るカメラの設置例を説明する模式図。 第１の実施形態に係る動作を説明するフローチャート。 第１の実施形態に係る動作を説明するフローチャート。 画像保管部に保管された分割されたフレーム画像の例を示す模式図。 画像保管部に保管された分割画像、フレーム間差分の有無、保管画像数、転送する画像の状態の具体例を示す図。 第２の実施形態に係る各構成部、時間での画像の状態を示す模式図。 第３の実施形態に係る画像分割を説明する模式図。

以下、実施形態に係る車両番号撮像装置について図面を参照して説明する。
まず、第１の実施形態について説明する。

図１は、第１の実施形態に係る車両番号撮像装置が適用されるナンバプレート読取装置の構成を概略的に示すものである。第１の実施形態に係るナンバプレート読取装置は、撮像手段としてのビデオカメラ（以降、単にカメラと略称する）１１、画像保管部１２、画像出力制御部１３、フレーム間差分処理部１４、画像処理部１５、全体的な制御を司るＣＰＵ（セントラル・プロセッシング・ユニット）１６、および、これらを通信可能に接続するデータバスおよびアドレスバス１７により構成されている。

以下、各部について詳細に説明する。
カメラ１１は、料金所の料金収受レーン（道路）を走行する車両の前方（あるいは後方でもよい）から少なくともナンバプレート（車両番号）を含む画像を所定のフレーム周期で撮像し、デジタル化したフレーム画像として出力するもので、本実施形態では、水平方向２０００画素以上、デジタル出力が１２ビット以上、フレーム速度３０ｆｐｓ以上の高解像度カメラで、たとえば、ＦＡ（ファクトリオートメーション）／監視用途の産業用カメラで実現できる。

画像保管部１２は、主に後述するように分割されたフレーム画像を保管（記憶）するもので、たとえば、大容量のＨＤＤ（ハードディスク記憶装置）などで実現できる。

画像出力制御部１３は、たとえば、当該画像出力制御部１３内にあらかじめ設定されたプログラムをＣＰＵ１６で実行することにより実現され、図２に示すように、カメラ１１から得られた各フレーム画像を車両の進行方向に対し少なくとも上方向の画像と下方向の画像の２つに分割し、画像保管部１２に保管（記憶）する機能と、フレーム間差分処理部１４の判定結果に基づき、その分割画像を順次フレームごとに画像処理部１５に転送する機能を備えている。

フレーム間差分処理部１４は、たとえば、当該フレーム間差分処理部１４内にあらかじめ設定されたプログラムをＣＰＵ１６で実行することにより実現される。初めに、画像保管部１２に順次取込んだ分割されたフレーム画像間の輝度差の絶対値を求める画像処理を行なう。ここで、ｎフレーム目の画像の輝度値をＰｎ［ｉ，ｊ］（ただし、ｉ、ｊは図３に示すように、画像の水平、垂直方向の画素のアドレスを示すものとする）と表すと、差分画像Ｑｎは以下のような（式１）で計算できる。
Ｑｎ［ｉ，ｊ］＝｜Ｐｎ［ｉ，ｊ］−Ｐｎ−１［ｉ，ｊ］｜……（式１）
ここでは、ｎとｎ−１の差分を求めているが、被写体の速度などの条件により、ｎとｎ−ｋ（ｋは条件により可変）の差分を求めるなどの工夫を行なうことも可能である。

次に、下記（式２）のように画素ごとの差分Ｑｎを画像内で足し合わせる。
Ｒ＝Σ（０≦ｉ＜ｉｍａｘ、０≦ｊ＜ｊｍａｘ）Ｑｎ［ｉ，ｊ］……（式２）
ただし、ｉｍａｘは画像の水平方向画素数を示しており、ｊｍａｘは垂直方向画素数を示している。

最後に、フレーム間差分処理部１４内にあらかじめ記憶される閾値Ｔを用いて下記（式３）を満たす場合はフレーム間差分が有りとの判定を行ない、画像出力制御部１３にその判定結果を送る。
Ｒ＞Ｔ……（式３）
画像処理部１５は、たとえば、当該画像処理部１５内にあらかじめ設定されたプログラムをＣＰＵ１６で実行することにより実現され、画像出力制御部１３により転送されてくる分割画像により文字認識処理（車両番号の認識処理）を行なう。文字認識処理は、種々の手法が公知であるので、それらを利用することで実現できる。

次に、上記のような構成において、第１の実施形態に係る動作を図５および図６に示すフローチャートを参照して説明する。

以下の説明では、たとえば、図４に示すように、車両２１が走行する道路（料金収受レーン）２２の側部に立設された支柱２３上にカメラ１１を設置し、道路２２を走行してくる遠方の車両２１の車両番号を前方から撮像する例で動作を説明する。

初めに、カメラ１１は、図４の右方向から進行してくる車両２１に対し、たとえば、前方から３０ｆｐｓのレートで２０００画素×１０００画素の画像として撮像し、フレーム画像として出力する（ステップＳ１）。

カメラ１１から得られるフレーム画像（以降、単に画像とも言う）は画像出力制御部１３に送られ、ここで、図２に示したように、たとえば、２０００画素×５００画素ずつの上下方向の２つのフレーム画像に分割され（ステップＳ２）、画像保管部１２に保管される（ステップＳ３）。
画像保管部１２に保管された分割されたフレーム画像の例を図７に示す。図７において、破線Ｌよりも上が上方向の画像、破線Ｌよりも下が下方向の画像である。

フレーム間差分処理部１４は、画像保管部１２に保管された分割画像に対し、前記（式１）〜（式３）の処理（フレーム間差分処理）を行なうことで、フレーム画像間に閾値以上の差分があるか否かを判定し、閾値以上の差分がある場合は判定結果「１」を出力し、閾値以上の差分がない場合は判定結果「０」を出力する（ステップＳ４、Ｓ５）。この場合、１フレーム目と２フレーム目、次に２フレーム目と３フレーム目、次に３フレーム目と４フレーム目、……というように順次フレーム間差分処理を行なうものとする。また、フレーム間差分処理は、上方向の画像同士、下方向の画像同士で行なうものとする。

図７の具体例において、前記（式１）〜（式３）の処理を行なった場合、（ａ）の１フレーム目と２フレーム目間は上方向の画像、下方向の画像の双方とも大きな差分があるが、（ｂ）の５フレーム目と６フレーム目間は上方向の画像しか大きな差分がない。

次に、フレーム間差分処理部１４は、上記判定結果に基づき内部のメモリ（図示省略）に格納される保管画像数を更新する（ステップＳ６）。すなわち、閾値以上の差分がある場合は保管画像数を「＋１」し、閾値以上の差分がない場合はステップＳ４に戻る。図７の具体例において、（ａ）の保管画像数は２つ加算され、（ｂ）の保管画像数は１つ加算される。

次に、画像出力制御部１３は、フレーム間差分処理部１４内のメモリに格納された保管画像数を読込み（ステップＳ１１）、値が「０」でないか否かを判定し（ステップＳ１２）、値が「０」である場合は当該処理を終了し、値が「０」でない場合は、画像保管部１２から３０ｆｐｓのフレームレートで分割画像を読出し（ステップＳ１３）、画像処理部１５へ転送する（ステップＳ１４）。

ここで、分割され画像保管部１２に保管された分割画像（上は上方向の画像、下は下方向の画像）、フレーム間差分の有無（０は差分無、１は差分有）、保管画像数、転送する画像の状態の具体例を図８に示す。この例は、図７の具体例に対応していて、１フレーム目と２フレーム目間に上方向の画像、下方向の画像の双方とも大きな差分があり、５フレーム目と６フレーム目間に上方向の画像にのみ大きな差分があった事例を示している。

この具体例では、２フレーム目に２フレーム目の上方向の画像が、３フレーム目に２フレーム目の下方向の画像が、４フレーム目に３フレーム目の上方向の画像が、５フレーム目に３フレーム目の下方向の画像が、６フレーム目に５フレーム目の上方向の画像が、画像処理部１５へ転送される。

次に、画像出力制御部１３は、保管画像数の値を１つ減算（−１）し（ステップＳ１５）、当該処理を終了する。

画像処理部１５は、画像出力制御部１３により転送されてくる分割画像により文字認識処理（車両番号の認識処理）を行なう。文字認識処理は、種々の手法が公知であるので、それらを利用することが可能である。

このように、画像を分割して差分処理することにより、不必要な画像を画像処理部１５に送らないため、画像処理の負担を著しく軽減できる効果がある。また、差分がない時間帯も画像転送に使うことができるため、解像度の大きな画像であっても、大きな時間遅れがなく、画像処理部１５に転送できる。昼間に交通量の多い道路で差分がない時間が短い場合であっても、夜間の交通量の少ない時間帯に画像を送信するため、本装置の実現が可能である。

次に、第２の実施形態について説明する。
第２の実施形態に係るナンバプレート読取装置の全体的な構成は、前述した第１の実施形態と同様であるので説明は省略し、第１の実施形態と異なる画像出力制御部１３について以下に説明する。

画像出力制御部１３は、第１の実施形態とはカメラ１１から得られるフレーム画像の分割方法が異なる。第１の実施形態（図２）では、空間的に上方向の画像と下方向の画像とに分割したが、第２の実施形態では、カメラ１１のデジタル出力（１２ビット）の階調方向に対し少なくとも６ビットずつの２つに分割する。

具体的には、たとえば、図９に示すように、上位６ビット（７〜１２ビット）の画像と下位６ビット（１〜６ビット）の画像の２つに分割する。分割された各画像の容量は第１の実施形態と同様であり、画像分割以降の処理も第１の実施形態と同様である。

このように、画像出力制御部１３で画像を明るさ方向に分割することにより、たとえば、夜は上位ビットはほとんど変化がなく、下位ビットの画像のみを転送するため、３０ｆｐｓの高解像度画像をそのままの解像度で送れるなどの効果がある。

次に、第３の実施形態について説明する。
第３の実施形態に係るナンバプレート読取装置の全体的な構成は、前述した第１の実施形態と同様であるので説明は省略し、第１の実施形態と異なる画像出力制御部１３について以下に説明する。

画像出力制御部１３は、第１の実施形態とはカメラ１１から得られるフレーム画像の分割方法が異なる。第１の実施形態（図２）では、空間的に上方向の画像と下方向の画像とに分割したが、第３の実施形態では、図１０に示すように、画像を上方向の画像と下方向の画像に分割する際、当該フレーム画像の中央領域Ｓが上方向の画像と下方向の画像で互いに所定ビット分重なるように分割する。これにより、ナンバプレート（車両番号）部分が上下の画像に分割されてしまうリスクを軽減できる。
なお、第２の実施形態に対しても同様に適用が可能である。

以上述べた少なくとも１つの実施形態の車両番号撮像装置によれば、車両番号撮像のための車両検知はリアルタイム性が必要とされるため、複雑な処理が困難であり、精度の良い検出ができないと思われるが、本実施形態では、従来に比べて高解像度化・高速化・高ビット化したカメラからの入力画像に対し、分割して従来同等の容量にしてストックするとともに、差分のある画像（車両と疑わしい）領域のみを画像処理側に与えることにより、従来同等の簡潔な処理を実現し、かつ、従来は遊休時間であった車両のいない時間の有効利用を実現できる点が優位である。

したがって、高速・高解像度・高ダイナミックレンジのカメラで撮像する場合でも、車両がきたときの画像を分割して送るしくみを用いることにより、汎用的な画像処理で高精度かつ簡潔な車両番号の読取りが可能となる。

なお、前記実施形態では、カメラ１１からのフレーム画像を車両の進行方向に対し２つに分割する場合について説明したが、２つ以上に分割する場合にも同様に適用可能である。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１１…カメラ（撮像手段）、１２…画像保管部、１３…画像出力制御部、１４…フレーム間差分処理部、１５…画像処理部、１６…ＣＰＵ（セントラル・プロセッシング・ユニット）、１７…データバスおよびアドレスバス。

Claims (4)

1. 道路を走行する車両の前方あるいは後方から少なくとも車両番号を含む画像を所定のフレーム周期で撮像する撮像手段と、
   この撮像手段から得られる各フレーム画像を前記車両の進行方向に対し少なくとも上方向の画像と下方向の画像の２つに分割する画像分割手段と、
   この画像分割手段により分割された画像の異なるフレーム間の上方向の画像同士及び下方向の画像同士に差分があるか否かを判定する差分処理手段と、
   この差分処理手段により差分があると判定された場合、当該分割されたフレーム画像を順次フレームごとに画像処理部へ出力する画像出力手段と、
   を具備する車両番号撮像装置。
2. 前記画像分割手段は、各フレーム画像を少なくとも上方向の画像と下方向の画像に分割する際、当該フレーム画像の中央領域が上方向の画像と下方向の画像で互いに重なるように分割する請求項１記載の車両番号撮像装置。
3. 道路を走行する車両の前方あるいは後方から少なくとも車両番号を含む画像を所定のフレーム周期で撮像し、デジタル化したフレーム画像として出力する撮像手段と、
   この撮像手段から得られるデジタル化された各フレーム画像を前記撮像手段のデジタル出力の階調方向に対し少なくとも上位ビットの画像と下位ビットの画像の２つに分割する画像分割手段と、
   この画像分割手段により分割された画像の異なるフレーム間の上方向の画像同士及び下方向の画像同士に差分があるか否かを判定する差分処理手段と、
   この差分処理手段により差分があると判定された場合、当該分割されたフレーム画像を順次フレームごとに画像処理部へ出力する画像出力手段と、
   を具備する車両番号撮像装置。
4. 前記画像分割手段は、各フレーム画像を少なくとも上位ビットの画像と下位ビットの画像に分割する際、当該フレーム画像の中央領域が上位ビットの画像と下位ビットの画像で互いに重なるように分割する請求項３記載の車両番号撮像装置。

Images