JP7533426B2 - 画像処理システムおよび画像処理方法 - Google Patents

Description

本開示は、画像処理システムおよび画像処理方法に関し、より特定的には、車両を撮影するための技術に関する。

運転が好きなユーザは、自身の走行中の車両の外観を撮影したいという欲求を有し得る。ユーザは、撮影した画像を、たとえばソーシャル・ネットワーキング・サービス（以下、「ＳＮＳ」と記載する）に投稿（アップロード）することで多くの人に見てもらうことができる。しかし、ユーザが自身による運転中に走行中の車両の外観を撮影することは困難である。そこで、走行中の車両の外観を撮影するサービスが提案されている。

たとえば特開２０１９－１２１３１９号公報（特許文献１）は車両撮影支援装置を開示する。車両撮影支援装置は、撮影装置により撮影された画像に車両のナンバープレートのナンバーが写っている場合に、当該画像に当該車両が写っていると判定し、当該撮影をＳＮＳに投稿する。

特開２０１９－１２１３１９号公報 特開２００９－２４５３８５号公報 特開２０１９－２１１９２１号公報

走行中の車両のナンバープレートを撮影可能とは必ずしも限らない。ナンバープレートが写らないアングルから撮影された画像（たとえば車両の真横から撮影された画像）、ナンバープレートが小さくしか写らない画像（たとえば車両の遠方から撮影された画像）など、様々な画像に対する要望が存在し得る。特許文献１に開示された装置は、そのような要望について特に考慮していない点において改善の余地がある。

本開示は上記課題を解決するためになされたものであり、本開示の目的は、ナンバープレートのナンバーが写っていなくても車両を特定することである。

（１）本開示のある局面に従う画像処理システムは、第１のカメラと、第２のカメラと、プロセッサとを備える。第１のカメラは、ナンバプレートを撮影可能な第１のアングルから対象車両を含む複数の車両を撮影する。第２のカメラは、第１のアングルとは異なる第２のアングルから、走行中の複数の車両の動画を撮影する。プロセッサは、第１のカメラにより撮影された第１の動画データおよび第２のカメラにより撮影された第２の動画データを取得する。プロセッサは、第１の動画データに含まれる複数の車両のうち、対象車両のナンバーに一致するナンバーを有する車両を対象車両として選択する。プロセッサは、第１の動画データにおいて選択された対象車両から得られる、対象車両のナンバー以外の対象車両情報に基づいて、第２の動画データに含まれる複数の車両のなかから対象車両を特定し、特定された対象車両を含む画像を生成する。

（２）対象車両情報は、対象車両の走行状態に関する情報を含む。プロセッサは、第２の動画データに含まれる複数の車両のなかから、対象車両の走行状態で走行中の車両を対象車両として特定する。

（３）対象車両情報は、対象車両の外観に関する情報を含む。プロセッサは、第２の動画データに含まれる複数の車両のなかから、対象車両の外観と同じ外観を有する車両を対象車両として特定する。

上記（１）～（３）の構成によれば、ナンバープレートのナンバーが撮影可能な第１のアングルから撮影された第１の動画を用いて対象車両情報（対象車両のナンバー以外の情報であり、対象車両の走行状態、外観に関する情報）が抽出される。そして、抽出された対象車両情報に基づいて、第２のアングルから撮影された第２の動画中の車両が特定される。このように、第１の動画と第２の動画とを対象車両情報により結び付けることで、たとえ第２の動画中では車両のナンバーが写っていなくても、車両を特定できる。

（４）プロセッサは、第１の動画データから複数の車両を抽出し、抽出された複数の車両の各々のナンバプレートのナンバーを認識する。プロセッサは、抽出された複数の車両の各々と当該車両に最も近いナンバーとを対応付け、対象車両のナンバーに一致するナンバーを有する車両を対象車両として選択する。

上記（４）の構成によれば、複数の車両の各々と、当該車両に最も近いとナンバーとが対応付けられる。そして、対象車両のナンバーに一致するナンバーを有する車両が対象車両として選択される。これにより、第１の動画データ中の対象車両を高精度に選択できる。

（５）画像処理システムは、対象車両特定モデルが格納された第１のメモリをさらに備える。対象車両特定モデルは、車両が抽出された動画を入力とし、かつ、動画における車両を出力とする学習済みモデルである。プロセッサは、対象車両特定モデルおよび対象車両情報に基づいて、第２の動画データから対象車両を特定する。

（６）画像処理システムは、車両抽出モデルが格納された第２のメモリをさらに備える。車両抽出モデルは、車両を含む動画を入力とし、かつ、動画における車両を出力とする学習済みモデルである。プロセッサは、車両抽出モデルを用いて、第１の動画データから複数の車両を抽出する。

（７）画像処理システムは、ナンバー認識モデルが格納された第３のメモリをさらに備える。ナンバー認識モデルは、ナンバーを含む動画を入力とし、かつ、動画におけるナンバーを出力とする学習済みモデルである。プロセッサは、ナンバー認識モデルを用いて、第１の動画データからナンバプレートのナンバーを認識する。

上記（５）～（７）の構成によれば、機械学習により準備された学習済みモデルを用いることで、対象車両特定、車両抽出およびナンバー認識の各処理の精度を向上させることができる。

（８）本開示の他の局面に従うコンピュータによる画像処理方法は、第１～第４の方法を含む。第１の方法は、ナンバプレートを撮影可能な第１のアングルから対象車両を含む複数の車両が撮影された第１の動画データを取得するステップである。第２のステップは、第１のアングルとは異なる第２のアングルから走行中の複数の車両が撮影された第２の動画データを取得するステップである。第３のステップは、第１の動画データに含まれる複数の車両のうち、対象車両のナンバーに一致するナンバーを有する車両を対象車両として選択するステップである。第４のステップは、第１の動画データにおいて選択された対象車両から得られる、対象車両のナンバー以外の対象車両情報に基づいて、第２の動画データに含まれる複数の車両のなかから対象車両を特定し、特定された対象車両を含む画像を生成するステップである。

上記（８）の方法によれば、上記（１）の構成と同様に、たとえ第２の動画中では車両のナンバーが写っていなくても、車両を特定できる。

本開示によれば、ナンバープレートのナンバーが写っていなくても車両を特定できる。

本実施の形態に係る画像処理システムの全体構成を概略的に示す図である。 撮影システムの典型的なハードウェア構成を示すブロック図である。 撮影システムによる車両撮影の様子を示す第１の図（斜視図）である。 撮影システムによる車両撮影の様子を示す第２の図（上面図）である。 識別動画の１フレームの一例を示す図である。 鑑賞動画の１フレームの一例を示す図である。 サーバ２の典型的なハードウェア構成を示すブロック図である。 撮影システムおよびサーバの機能的構成を示す機能ブロック図である。 車両抽出処理に用いられる学習済みモデル（車両抽出モデル）の一例を説明するための図である。 ナンバー認識処理に用いられる学習済みモデル（ナンバー認識モデル）の一例を説明するための図である。 対象車両特定処理に用いられる学習済みモデル（対象車両特定モデル）の一例を説明するための図である。 本実施の形態における車両の撮影処理の処理手順を示すフローチャートである。

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付して、その説明は繰り返さない。

［実施の形態］
＜システム構成＞
図１は、本実施の形態に係る画像処理システムの全体構成を概略的に示す図である。画像処理システム１００は、複数の撮影システム１と、サーバ２とを備える。複数の撮影システム１の各々とサーバ２とは、ネットワークＮＷを介して互いに通信可能に接続されている。なお、図１には３台の撮影システム１が示されているが、撮影システム１の台数は特に限定されない。撮影システム１は１台だけであってもよい。

撮影システム１は、たとえば道路近傍に設置され、当該道路を走行中の車両９（図３参照）を撮影する。本実施の形態では、撮影システム１は、撮影された動画に所定の演算処理（後述）を施し、その演算処理結果を動画とともにサーバ２に送信する。

サーバ２は、たとえば、車両撮影サービスを提供する事業者の自社サーバである。サーバ２は、クラウドサーバ管理会社が提供するクラウドサーバであってもよい。サーバ２は、撮影システム１から受信した動画からユーザが鑑賞するための画像（以下、「鑑賞画像」とも記載する）を生成し、生成された鑑賞画像をユーザに提供する。鑑賞画像は、一般的には静止画であるが、短い動画であってもよい。ユーザは、多くの場合、車両９のドライバであるが、特に限定されない。

図２は、撮影システム１の典型的なハードウェア構成を示すブロック図である。撮影システム１は、プロセッサ１１と、メモリ１２と、認識用カメラ１３と、鑑賞用カメラ１４と、通信インターフェイス（ＩＦ）１５とを備える。メモリ１２は、ＲＯＭ（Read Only Memory）１２１と、ＲＡＭ（Random Access Memory）１２２と、フラッシュメモリ１２３とを含む。撮影システム１の構成要素はバス等によって互いに接続されている。

プロセッサ１１は、撮影システム１の全体的な動作を制御する。メモリ１２は、プロセッサ１１により実行されるプログラム（オペレーティングシステムおよびアプリケーションプログラム）と、そのプログラムで使用されるデータ（マップ、テーブル、数式、パラメータなど）とを記憶する。また、メモリ１２は、撮影システム１により撮影された動画を一時的に格納する。

認識用カメラ１３は、車両９に設けられたナンバープレートのナンバーをプロセッサ１１が認識するための動画（以下、「識別動画」とも記載する）を撮影する。鑑賞用カメラ１４は、鑑賞画像の生成に用いられる動画（以下、「鑑賞動画」とも記載する）を撮影する。認識用カメラ１３および鑑賞用カメラ１４の各々は、偏光レンズ付の高感度タイプのカメラであることが好ましい。

なお、認識用カメラ１３は、本開示に係る「第１のカメラ」に相当する。識別動画は「第１の動画データ」に相当する。鑑賞用カメラ１４は、本開示に係る「第２のカメラ」に相当する。鑑賞動画は「第２の動画データ」に相当する。

通信ＩＦ１５は、サーバ２との通信を行うためのインターフェイスである。通信ＩＦ１５は、たとえば４Ｇ（Generation）または５Ｇに準拠する通信モジュールである。

図３は、撮影システム１による車両撮影の様子を示す第１の図（斜視図）である。図４は、撮影システム１による車両撮影の様子を示す第２の図（上面図）である。図３および図４を参照して、認識用カメラ１３は、ナンバープレートを撮影可能なアングル（第１のアングル）から識別動画を撮影する。この例では、車両９のほぼ正面から識別動画が撮影される。一方、鑑賞用カメラ１４は、写真映りがよい（いわゆるＳＮＳ映えする）アングル（第２のアングル）から鑑賞動画を撮影する。この例では、車両９の真横から鑑賞動画が撮影される。

図５は、識別動画の１フレームの一例を示す図である。図５に示すように、識別動画には複数台の車両９（９１，９２）が写る場合がある。以下、複数台車両のうち撮影対象の車両（鑑賞画像を撮影しようとしている車両）を「対象車両」と記載し、それ以外の車両から区別する。

図６は、鑑賞動画の１フレームの一例を示す図である。鑑賞動画に関しては、対象車両のナンバープレートが写っていることは要求されない。しかし、対象車両のナンバープレートが鑑賞動画に写っていてもよい。

なお、車両９（対象車両を含む）は、図３～図５に示したような四輪車に限られず、たとえば二輪車（バイク）であってもよい。二輪車のナンバープレートは後方にしか取り付けられていないので、ナンバープレートを撮影できない状況が生じやすい。

図７は、サーバ２の典型的なハードウェア構成を示すブロック図である。サーバ２は、プロセッサ２１と、メモリ２２と、入力装置２３と、ディスプレイ２４と、通信ＩＦ２５とを備える。メモリ２２は、ＲＯＭ２２１と、ＲＡＭ２２２と、ＨＤＤ２２３とを含む。サーバ２の構成要素はバス等によって互いに接続されている。

プロセッサ２１は、サーバ２における各種演算処理を実行する。メモリ２２は、プロセッサ２１により実行されるプログラムと、そのプログラムで使用されるデータとを記憶する。また、メモリ２２は、サーバ２による画像処理に使用されるデータを格納したり、サーバ２により画像処理されたデータを格納したりする。入力装置２３は、サーバ２の管理者の入力を受け付ける。入力装置２３は、典型的にはキーボード、マウスである。ディスプレイ２４は様々な情報を表示する。通信ＩＦ２５は、撮影システム１との通信を行うためのインターフェイスである。

＜画像処理システムの機能的構成＞
図８は、撮影システム１およびサーバ２の機能的構成を示す機能ブロック図である。撮影システム１は、識別動画撮影部３１と、鑑賞動画撮影部３２と、通信部３３と、演算処理部３４とを含む。演算処理部３４は、車両抽出部３４１と、ナンバー認識部３４２と、マッチング処理部３４３と、対象車両選択部３４４と、特徴量抽出部３４５と、動画バッファ３４６と、動画切り出し部３４７とを含む。

識別動画撮影部３１は、ナンバー認識部３４２がナンバープレートのナンバーを認識するための識別動画を撮影する。識別動画撮影部３１は、識別動画を車両抽出部３４１に出力する。識別動画撮影部３１は、図２の認識用カメラ１３に対応する。

鑑賞動画撮影部３２は、車両９のユーザが鑑賞するための鑑賞動画を撮影する。鑑賞動画撮影部３２は、鑑賞動画を動画バッファ３４６に出力する。鑑賞動画撮影部３２は、図２の鑑賞用カメラ１４に対応する。

通信部３３は、ネットワークＮＷを介してサーバ２の通信部４２（後述）と双方向の通信を行う。通信部３３は、サーバ２から対象車両のナンバーを受信する。また、通信部３３は、鑑賞動画（より詳細には、鑑賞動画のなかから対象車両を含むように切り出された動画）をサーバ２に送信する。通信部３３は図２の通信ＩＦ１５に対応する。

車両抽出部３４１は、識別動画から車両（対象車両に限らず、車両全般）を抽出する。この処理を「車両抽出処理」とも記載する。車両抽出処理には、たとえば、ディープラーニング（深層学習）などの機械学習の技術により生成された学習済みモデルを用いることができる。本例では、車両抽出部３４１は「車両抽出モデル」によって実現される。車両抽出モデルについては図９にて説明する。車両抽出部３４１は、識別動画のうち車両が抽出された動画（車両を含むフレーム）をナンバー認識部３４２に出力するとともにマッチング処理部３４３に出力する。

ナンバー認識部３４２は、車両抽出部３４１により車両が抽出された動画からナンバープレートのナンバーを認識する。この処理を「ナンバー認識処理」とも記載する。ナンバー認識処理にもディープラーニングなどの機械学習の技術により生成された学習済みモデルを用いることができる。本例では、ナンバー認識部３４２は「ナンバー認識モデル」によって実現される。ナンバー認識モデルについては図１０にて説明する。ナンバー認識部３４２は、認識したナンバーをマッチング処理部３４３に出力する。また、ナンバー認識部３４２は、認識したナンバーを通信部３３に出力する。これにより、各車両のナンバーがサーバ２に送信される。

マッチング処理部３４３は、車両抽出部３４１により抽出された車両と、ナンバー認識部３４２により認識されたナンバーとを対応付ける。この処理を「マッチング処理」とも記載する。具体的には、再び図５を参照して、２台の車両９１，９２が抽出され、かつ、２つのナンバー８１，８２が認識された状況を例に説明する。マッチング処理部３４３は、ナンバー毎に、ナンバーと車両との間の距離（フレーム上でのナンバーの座標と車両の座標との間の距離）を算出する。そして、マッチング処理部３４３は、ナンバーと、そのナンバーとの間の距離が短い車両とをマッチングする。この例では、ナンバー８１と車両９１との間の距離の方がナンバー８１と車両９２との間の距離よりも短いので、マッチング処理部３４３は、ナンバー８１と車両９１とを対応付ける。同様にして、マッチング処理部３４３は、ナンバー８２と車両９２とを対応付ける。マッチング処理部３４３は、マッチング処理の結果（ナンバーが対応付けられた車両）を対象車両選択部３４４に出力する。

対象車両選択部３４４は、マッチング処理によってナンバーが対応付けられた車両のなかから、ナンバーが対象車両のナンバー（サーバ２から受信したもの）に一致する車両を対象車両として選択する。対象車両選択部３４４は、対象車両として選択された車両を特徴量抽出部３４５に出力する。

特徴量抽出部３４５は、対象車両を含む動画を解析することで対象車両の特徴量を抽出する。より具体的には、特徴量抽出部３４５は、対象車両を含むフレームにおける対象車両の時間的変化（たとえば、フレーム間での対象車両の移動量、フレーム間での対象車両のサイズの変化量）に基づいて、対象車両の走行速度を算出する。特徴量抽出部３４５は、対象車両の走行速度に加えて、たとえば対象車両の加速度（減速度）を算出してもよい。また、特徴量抽出部３４５は、公知の画損認識技術を用いて対象車両の外観（ボディ形状、ボディ色など）に関する情報を抽出する。特徴量抽出部３４５は、対象車両の特徴量（走行状態および外観）を動画切り出し部に出力する。また、特徴量抽出部３４５は、対象車両の特徴量を通信部３３に出力する。これにより、対象車両の特徴量がサーバ２に送信される。

動画バッファ３４６は、鑑賞動画を一時的に記憶する。動画バッファ３４６は、代表的にはリングバッファ（循環バッファ）であって、１次元配列の先頭と末尾とが論理的に連結された環状の記憶領域を有する。新たに撮影された鑑賞動画は、記憶領域に格納可能な所定の時間分だけ動画バッファ３４６に記憶される。当該所定の時間を超えた分の鑑賞動画（古い動画）は、動画バッファ３４６から自動的に消去される。

動画切り出し部３４７は、動画バッファ３４６に記憶された鑑賞動画から、特徴量抽出部３４５により抽出された特徴量（対象車両の走行速度、加速度、ボディ形状、ボディ色など）に基づいて、対象車両が撮影されている可能性が高い部分を切り出す。より詳細に説明すると、識別動画撮影部３１（認識用カメラ１３）により撮影される地点と、鑑賞動画撮影部３２（鑑賞用カメラ１４）により撮影される地点との間の距離は既知である。したがって、対象車両の走行速度（および加速度）が分かれば、動画切り出し部３４７は、識別動画撮影部３１により対象車両が撮影されるタイミングと、鑑賞動画撮影部３２により対象車両が撮影されるタイミングとの間の時間差を算出できる。動画切り出し部３４７は、識別動画撮影部３１により対象車両が撮影されたタイミングと上記の時間差とに基づいて、鑑賞動画撮影部３２により対象車両が撮影されるタイミングを算出する。そして、動画切り出し部３４７は、動画バッファ３４６に記憶された鑑賞動画から、対象車両が撮影されるタイミングを含む所定の時間幅（たとえば数秒間～数十秒間）の動画を切り出す。動画切り出し部３４７は、切り出された鑑賞動画を通信部３３に出力する。これにより、対象車両を含む鑑賞動画がサーバ２に送信される。

なお、動画切り出し部３４７は、特徴量抽出部３４５により抽出された特徴量に拘わらず、所定のタイミングで鑑賞動画を切り出してもよい。つまり、動画切り出し部３４７は、識別動画撮影部３１により対象車両が撮影されたタイミングから所定の時間差後に鑑賞動画撮影部３２により撮影された鑑賞動画を切り出してもよい。

サーバ２は、記憶部４１と、通信部４２と、演算処理部４３とを含む。記憶部４１は、画像記憶部４１１と、登録情報記憶部４１２とを含む。演算処理部４３は、車両抽出部４３１と、対象車両特定部４３２と、画像加工部４３３と、アルバム作成部４３４と、ウェブサービス管理部４３５と、撮影システム管理部４３６とを含む。

画像記憶部４１１は、サーバ２による演算処理の結果、得られる鑑賞画像を格納する。より具体的には、画像記憶部４１１は、画像加工部４３３による加工前後の画像を記憶するとともに、アルバム作成部４３４により作成されたアルバムを格納する。

登録情報記憶部４１２は、車両撮影サービスに関する登録情報を記憶している。登録情報は、車両撮影サービスの提供を申し込んだユーザの個人情報と、そのユーザの車両情報とを含む。ユーザの個人情報は、たとえば、ユーザの識別番号（ＩＤ）、氏名、生年月日、住所、電話番号、メールアドレスなどに関する情報を含む。ユーザの車両情報は、車両のナンバープレートのナンバーに関する情報を含む。車両情報は、たとえば、車種、年式、ボディ形状（セダン型、ワゴン型、ワンボックス型）、ボディ色などに関する情報を含んでもよい。

通信部４２は、ネットワークＮＷを介して撮影システム１の通信部３３と双方向の通信を行う。通信部４２は、対象車両のナンバーを撮影システム１に送信する。また、通信部４２は、撮影システム１から対象車両を含む鑑賞動画と、対象車両の特徴量（走行状態および外観）とを受信する。通信部４２は図７の通信ＩＦ２５に対応する。

車両抽出部４３１は、鑑賞動画から車両（対象車両に限らず、車両全般）を抽出する。この処理には、撮影システム１の車両抽出部３４１による車両抽出処理と同様に、車両抽出モデルを用いることができる。車両抽出部４３１は、鑑賞動画のうち車両が抽出された動画（車両を含むフレーム）を対象車両特定部４３２に出力する。

対象車両特定部４３２は、車両抽出部４３１により抽出された車両のなかから、対象車両の特徴量（すなわち、走行速度、加速度などの走行状態、および、ボディ形状、ボディ色などの外観）に基づいて対象車両を特定する。この処理を「対象車両特定処理」とも記載する。対象車両特定処理にもディープラーニングなどの機械学習の技術により生成された学習済みモデルを用いることができる。本例では、対象車両特定部４３２は「対象車両特定モデル」によって実現される。対象車両特定については図１１にて説明する。対象車両特定部４３２によって対象車両が特定されることで鑑賞画像が生成される。鑑賞画像は、通常は複数の画像（時間的に連続した複数のフレーム）を含む。対象車両特定部４３２は、鑑賞画像を画像加工部４３３に出力する。

画像加工部４３３は鑑賞画像を加工する。たとえば、画像加工部４３３は、複数の画像のなかから最も写真映りがよい画像（いわゆるベストショット）を選択する。そして、画像加工部４３３は、抽出された鑑賞画像に対して様々な画像補正（トリミング、色補正、歪み補正など）を行う。画像加工部４３３は、加工済みの鑑賞画像をアルバム作成部４３４に出力する。

アルバム作成部４３４は、加工済みの鑑賞画像を用いてアルバムを作成する。アルバム作成には公知の画像解析技術（たとえば、スマートホンで撮影された画像からフォトブック、スライドショーなどを自動で作成する技術）を用いることができる。アルバム作成部４３４は、アルバムをウェブサービス管理部４３５に出力する。

ウェブサービス管理部４３５は、アルバム作成部４３４により作成されたアルバムを用いたウェブサービス（たとえばＳＮＳに連携可能なアプリケーションプログラム）を提供する。なお、ウェブサービス管理部４３５は、サーバ２とは別のサーバに実装されてもよい。

撮影システム管理部４３６は、撮影システム１を管理（監視および診断）する。撮影システム管理部４３６は、管理下の撮影システム１に何らかの異常（カメラ故障、通信不具合など）が発生した場合に、そのことをサーバ２の管理者に通知する。これにより、管理者が撮影システム１点検、修理などの対応を取ることができる。撮影システム管理部４３６もウェブサービス管理部４３５と同様に、別サーバとして実装され得る。

＜学習済みモデル＞
図９は、車両抽出処理に用いられる学習済みモデル（車両抽出モデル）の一例を説明するための図である。学習前モデルである推定モデル５１は、たとえば、ニューラルネットワーク５１１と、パラメータ５１２とを含む。ニューラルネットワーク５１１は、ディープラーニングによる画像認識処理に用いられる公知のニューラルネットワークである。そのようなニューラルネットワークとしては、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）、再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）などが挙げられる。パラメータ５１２は、ニューラルネットワーク５１１による演算に用いられる重み付け係数などを含む。

多数の教師データが開発者により予め準備される。教師データは、例題データと、正解データとを含む。例題データは、抽出対象である車両を含む画像データである。正解データは、例題データに対応する抽出結果を含む。具体的には、正解データは、例題データに含まれる車両が抽出された画像データである。

学習システム６１は、例題データおよび正解データを用いて推定モデル５１を学習させる。学習システム６１は、入力部６１１と、抽出部６１２と、学習部６１３とを含む。

入力部６１１は、開発者により準備された多数の例題データ（画像データ）を受け付けて抽出部６１２に出力する。

抽出部６１２は、入力部６１１からの例題データを推定モデル５１に入力することによって、例題データに含まれる車両を例題データ毎に抽出する。抽出部６１２は、その抽出結果（推定モデル５１からの出力）を学習部６１３に出力する。

学習部６１３は、抽出部６１２から受けた例題データからの車両の抽出結果と、その例題データに対応する正解データとに基づいて、推定モデル５１を学習させる。具体的には、学習部６１３は、抽出部６１２によって得られた車両の抽出結果が正解データに近づくように、パラメータ５１２（たとえば重み付け係数）を調整する。

以上のように推定モデル５１の学習が行われ、学習が完了した推定モデル５１が車両抽出モデル７１として車両抽出部３４１（および車両抽出部４３１）に格納されている。車両抽出モデル７１は、識別動画を入力とし、かつ、車両が抽出された識別動画を出力とする。車両抽出モデル７１は、識別動画のフレーム毎に、抽出された車両を当該フレームの識別子と関連付けてマッチング処理部３４３に出力する。フレームの識別子とは、たとえばタイムスタンプ（フレームの時刻情報）である。

図１０は、ナンバー認識処理に用いられる学習済みモデル（ナンバー認識モデル）の一例を説明するための図である。例題データは、認識対象であるナンバーを含む画像データである。正解データは、例題データに含まれるナンバープレートの位置およびナンバーを示すデータである。例題データおよび正解データが異なるものの、学習システム６２による推定モデル５２の学習手法は、学習システム６１（図９参照）による学習手法と同様であるため、詳細な説明は繰り返さない。

学習が完了した推定モデル５２がナンバー認識モデル７２としてナンバー認識部３４２に格納されている。ナンバー認識モデル７２は、車両抽出部３４１によって車両が抽出された識別動画を入力とし、かつ、ナンバープレートの座標およびナンバーを出力とする。ナンバー認識モデル７２は、識別動画のフレーム毎に、認識されたナンバープレートの座標およびナンバーを当該フレームの識別子に関連付けてマッチング処理部３４３に出力する。

図１１は、対象車両特定処理に用いられる学習済みモデル（対象車両特定モデル）の一例を説明するための図である。例題データは、特定対象である対象車両を含む画像データである。例題データは、対象車両の特徴量（具体的には走行状態および外観）に関する情報をさらに含む。正解データは、例題データに含まれる対象車両が特定された画像データである。学習システム６３による推定モデル５３の学習手法も学習システム６１，６２（図９および図１０参照）による学習手法と同様であるため、詳細な説明は繰り返さない。

学習が完了した推定モデル５３が対象車両特定モデル７３として対象車両特定部４３２に格納されている。対象車両特定モデル７３は、車両抽出部４３１によって車両が抽出された鑑賞動画、ならびに、対象車両の特徴量（走行状態および外観）を入力とし、かつ、対象車両が特定された鑑賞動画を出力とする。対象車両特定モデル７３は、鑑賞動画のフレーム毎に、特定された鑑賞動画を当該フレームの識別子に関連付けて画像加工部４３３に出力する。

なお、車両抽出処理は、機械学習を用いた処理に限定されない。機械学習を用いない公知の画像認識技術（画像認識モデル、アルゴリズム）を車両抽出処理に適用できる。ナンバー認識処理および対象車両特定処理に関しても同様である。

＜処理フロー＞
図１２は、本実施の形態における車両の撮影処理の処理手順を示すフローチャートである。このフローチャートは、たとえば予め定められた条件成立時または所定の周期毎に実行される。図中、左側に撮影システム１による処理を示し、右側にサーバ２による処理を示す。各ステップは、プロセッサ１１またはプロセッサ２１によるソフトウェア処理により実現されるが、ハードウェア（電気回路）により実現されてもよい。以下、ステップをＳと略す。

Ｓ１１において、撮影システム１は、識別動画に対して車両抽出処理（図９参照）を実行することで車両を抽出する。さらに、撮影システム１は、車両が抽出された識別動画に対してナンバー認識処理（図１０参照）を実行することでナンバーを認識する（Ｓ１２）。撮影システム１は、認識されたナンバーをサーバ２に送信する。

サーバ２は、撮影システム１からナンバーを受信すると、登録情報を参照することで、受信したナンバーが登録済みのナンバーであるかどうか（つまり、撮影システム１により撮影された車両が車両撮影サービスの提供を申し込んだユーザの車両（対象車両）であるかどうか）を判定する。受信したナンバーが登録済みのナンバー（対処車両のナンバー）である場合、サーバ２は、対象車両のナンバーを送信するとともに、対象車両を含む鑑賞動画の送信を撮影システム１に要求する（Ｓ２１）。

Ｓ１３において、撮影システム１は、認識動画における各車両と各ナンバーとのマッチング処理を実行する。そして、撮影システム１は、ナンバーが対応付けられた車両のなかから、対象車両のナンバーと同じナンバーが対応付けられた車両を対応車両として選択する（Ｓ１４）。さらに、撮影システム１は、対象車両の特徴量（走行状態および外観）を抽出し、抽出された特徴量をサーバ２に送信する。

Ｓ１６において、撮影システム１は、メモリ２２（動画バッファ３４６）に一時的に格納された鑑賞動画のなかから、対象車両を含む部分を切り出す。この切り出しに際しては、前述のように対象車両の走行状態（走行速度、加速度など）および外観（ボディ形状、ボディ色など）を用いることができる。撮影システム１は、切り出された鑑賞動画をサーバ２に送信する。

Ｓ２２において、サーバ２は、撮影システム１から受信した鑑賞動画に対して車両抽出処理（図９参照）を実行することで、車両を抽出する。

Ｓ２３において、サーバ２は、Ｓ２２にて抽出された車両のなかから、対象車両の特徴量（走行状態および外観）に基づいて対象車両を特定する（図１１の対象車両特定処理）。対象車両の特徴量として対象車両の走行状態および外観のうちの一方のみを用いることも考えられる。しかし、鑑賞動画中に、ボディ形状およびボディ色が同じ複数台の車両が含まれたり、走行速度および加速度がほぼ等しい複数台の車両が含まれたりする可能性がある。これに対し、本実施の形態では、ボディ形状およびボディ色が同じ複数台の車両が鑑賞動画中に含まれる場合であっても、それらの車両の間で走行速度および／または加速度が異なれば、対象車両を他の車両から区別できる。あるいは、走行速度および加速度がほぼ等しい複数台の車両が鑑賞動画中に含まれる場合であっても、それらの車両の間でボディ形状および／またはボディ色が異なれば、対象車両を他の車両から区別できる。このように、対象車両の特徴量として対象車両の走行状態および外観の両方を用いることによって、対象車両の特定精度を向上させることができる。

ただし、対象車両の走行状態および外観の両方を用いることは必須ではなく、いずれか一方のみを用いてもよい。対象車両の走行状態および／または外観に関する情報は、本開示に係る「対象車両情報」に相当する。また、対象車両の外観に関する情報は、撮影システム１（特徴量抽出部３４５）による解析によって得られた車両情報に限らず、登録情報記憶部４１２に予め記憶された車両情報であってもよい。

Ｓ２４において、サーバ２は、対象車両を含む鑑賞動画（複数の鑑賞画像）のなかから、最適な鑑賞画像（ベストショット）を選択する。さらに、サーバ２は、最適な鑑賞画像に対して画像補正を行う。そして、サーバ２は、補正後の鑑賞画像を用いてアルバムを作成する（Ｓ２５）。ユーザは、作成されたアルバムを鑑賞したり、アルバム内の所望の画像をＳＮＳに投稿したりすることができる。

以上のように、本実施の形態においては、ナンバープレートのナンバーが撮影可能なアングルから撮影された識別動画を用いて、対象車両の特徴量（走行情報および外観）が抽出される。そして、抽出された特徴量に基づいて、別のアングルから撮影された鑑賞動画中の対象車両が特定される。このように、識別動画と鑑賞動画とを対象車両の特徴量により結び付けることで、たとえ鑑賞動画中では対象車両のナンバーが写っていなくても、対象車両を特定できる。

なお、本実施の形態では、撮影システム１とサーバ２とが画像処理を分担して実行する例について説明した。したがって、撮影システム１のプロセッサ１１およびサーバ２のプロセッサ２１の両方が本開示に係る「プロセッサ」に相当する。しかし、撮影システム１がすべての画像処理を実行し、画像処理済みのデータ（鑑賞画像）をサーバ２に送信してもよい。よって、サーバ２は本開示に係る画像処理に必須の構成要素ではない。この場合、撮影システム１のプロセッサ１１が本開示に係る「プロセッサ」に相当する。あるいは逆に、撮影システム１は撮影されたすべての動画をサーバ２に送信し、サーバ２がすべての画像処理を実行してもよい。この場合には、サーバ２のプロセッサ２１が本開示に係る「プロセッサ」に相当する。

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１００ 画像処理システム、１ 撮影システム、１１ プロセッサ、１２ メモリ、１２１ ＲＯＭ、１２２ ＲＡＭ、１２３ フラッシュメモリ、１３ 認識用カメラ、１４ 鑑賞用カメラ、１５ 通信ＩＦ、２ サーバ、２１ プロセッサ、２２ メモリ、２２１ ＲＯＭ、２２２ ＲＡＭ、２３ 入力装置、２４ ディスプレイ、２５ 通信ＩＦ、３１ 識別動画撮影部、３２ 鑑賞動画撮影部、３３ 通信部、３４ 演算処理部、３４１ 車両抽出部、３４２ ナンバー認識部、３４３ マッチング処理部、３４４ 対象車両選択部、３４５ 車両情報解析部、３４６ 動画バッファ、３４７ 動画切り出し部、４１ 記憶部、４１１ 画像記憶部、４１２ 登録情報記憶部、４２ 通信部、４３ 演算処理部、４３１ 車両抽出部、４３２ 対象車両特定部、４３３ 画像加工部、４３４ アルバム作成部、４３５ ウェブサービス管理部、４３６ 撮影システム管理部、５１，５２，５３ 推定モデル、５１１，５２１，５３１ ニューラルネットワーク、５１２，５２２，５３２ パラメータ、６１，６２，６３ 学習システム、６１１，６２１，６３１ 入力部、６１２ 抽出部、６２２ 認識部、６３２ 特定部、６１３，６２３，６３３ 学習部、７１ 車両抽出モデル、７２ ナンバー認識モデル、７３ 対象車両特定モデル、７１２，７２２，７３２ パラメータ、８１，８２ ナンバー、９，９１，９２ 車両、ＮＷ ネットワーク。

Claims (6)

1. 地面に対して動かないように固定され、ナンバプレートを撮影可能な第１のアングルから対象車両を含む複数の車両を撮影する第１のカメラと、
   地面に対して動かないように固定され、前記第１のアングルとは異なる第２のアングルから、走行中の前記複数の車両を撮影する第２のカメラと、
   前記第１のカメラにより撮影された第１の動画データおよび前記第２のカメラにより撮影された第２の動画データを取得するプロセッサとを備え、
   前記プロセッサは、
   前記第１の動画データに含まれる前記複数の車両のうち、前記対象車両のナンバーに一致するナンバーを有する車両を前記対象車両として選択し、
   前記第１の動画データにおいて選択された前記対象車両から、前記対象車両のナンバー以外の対象車両情報を取得し、
   前記対象車両情報は、前記対象車両の走行状態に関する情報と、前記対象車両の外観に関する情報とを含み、
   前記プロセッサは、さらに、
   前記対象車両情報に基づいて、前記第２の動画データに含まれる前記複数の車両のなかから、前記対象車両の走行状態で走行中であり、かつ、前記対象車両の外観と同じ外観を有する車両を前記対象車両として特定し、
   特定された前記対象車両を含む画像を生成する、画像処理システム。
2. 前記プロセッサは、
   前記第１の動画データから前記複数の車両を抽出し、
   抽出された前記複数の車両の各々の前記ナンバプレートのナンバーを認識し、
   抽出された前記複数の車両の各々と当該車両に最も近いナンバーとを対応付け、前記対象車両のナンバーに一致するナンバーを有する車両を前記対象車両として選択する、請求項１に記載の画像処理システム。
3. 対象車両特定モデルが格納された第１のメモリをさらに備え、
   前記対象車両特定モデルは、車両が抽出された動画を入力とし、かつ、前記動画における前記車両を出力とする学習済みモデルであり、
   前記プロセッサは、前記対象車両特定モデルおよび前記対象車両情報に基づいて、前記第２の動画データから前記対象車両を特定する、請求項１または２に記載の画像処理システム。
4. 車両抽出モデルが格納された第２のメモリをさらに備え、
   前記車両抽出モデルは、車両を含む動画を入力とし、かつ、前記動画における前記車両を出力とする学習済みモデルであり、
   前記プロセッサは、前記車両抽出モデルを用いて、前記第１の動画データから前記複数の車両を抽出する、請求項２に記載の画像処理システム。
5. ナンバー認識モデルが格納された第３のメモリをさらに備え、
   前記ナンバー認識モデルは、ナンバーを含む動画を入力とし、かつ、前記動画におけるナンバーを出力とする学習済みモデルであり、
   前記プロセッサは、前記ナンバー認識モデルを用いて、前記第１の動画データから前記ナンバプレートのナンバーを認識する、請求項１または２に記載の画像処理システム。
6. コンピュータによる画像処理方法であって、
   地面に対して動かないように固定された第１のカメラを用いて、ナンバプレートを撮影可能な第１のアングルから対象車両を含む複数の車両が撮影された第１の動画データを取得するステップと、
   地面に対して動かないように固定された第２のカメラを用いて、前記第１のアングルとは異なる第２のアングルから走行中の前記複数の車両が撮影された第２の動画データを取得するステップと、
   前記第１の動画データに含まれる前記複数の車両のうち、前記対象車両のナンバーに一致するナンバーを有する車両を前記対象車両として選択するステップと、
   前記第１の動画データにおいて選択された前記対象車両から、前記対象車両のナンバー以外の対象車両情報を取得するステップとを含み、
   前記対象車両情報は、前記対象車両の走行状態に関する情報と、前記対象車両の外観に関する情報とを含み、
   前記画像処理方法は、
   前記対象車両情報に基づいて、前記第２の動画データに含まれる前記複数の車両のなかから、前記対象車両の走行状態で走行中であり、かつ、前記対象車両の外観と同じ外観を有する車両を前記対象車両として特定するステップと、
   特定された前記対象車両を含む画像を生成するステップとをさらに含む、画像処理方法。

Images