JP7533429B2 - 画像処理システムおよび画像処理方法 - Google Patents

Description

本開示は、画像処理システムおよび画像処理方法に関し、より特定的には、車両を撮影するための技術に関する。

運転が好きなユーザは、自身の走行中の車両の外観を撮影したいという欲求（ニーズ）を有し得る。ユーザは、撮影した画像を、たとえばソーシャル・ネットワーキング・サービス（以下、「ＳＮＳ」と記載する）に投稿（アップロード）することで多くの人に見てもらうことができる。しかし、ユーザが自身による運転中に走行中の車両の外観を撮影することは困難である。そこで、走行中の車両の外観を撮影するサービスが提案されている。たとえば特開２０２１－４８４４９号公報（特許文献１）は車両撮影システムを開示する。

特開２０２１－４８４４９号公報 特開２０１９－１２１３１９号公報 特開２０１９－８６３７２号公報

特許文献１に開示された車両撮影システムは、車両を特定するための情報に基づいて車両を特定し、特定された車両を撮影し、撮影された車両の画像データを通信装置に送信する。つまり、特許文献１に開示された車両撮影システムでは、車両を撮影可能なタイミングが車両の特定後に限定されている。したがって、車両の特定前にユーザのニーズに合う写真映りがよい瞬間（期間であってもよい）があったとしても、特許文献１に開示の車両撮影システムでは、そのような瞬間の画像は撮影できない。

本開示は上記課題を解決するためになされたものであり、本開示の目的は、ユーザのニーズに合う瞬間の画像の撮影を可能にすることである。

（１）本開示のある局面に従う画像処理システムは、カメラにより撮影された動画データを格納するメモリと、メモリに格納された動画データに対して画像処理を行うプロセッサとを備える。プロセッサは、カメラにより撮影された車両のなかから予め登録された対象車両を選択する。プロセッサは、メモリに格納された動画データから、選択される前の対象車両を含む複数のフレームを切り出す。プロセッサは、切り出された複数のフレームを用いて、対象車両を含む画像を生成する。

（２）プロセッサは、対象車両がカメラの撮影可能範囲に入ってから、対象車両が撮影可能範囲から出るまでのすべてのフレームを切り出す。

（３）プロセッサは、すべてのフレームに加えて、対象車両が撮影可能範囲に入る前のフレームと、対象車両が撮影可能範囲から出た後のフレームとを切り出す。

（４）メモリは、リングバッファを含む。リングバッファは、新たに撮影された動画データを所定容量分だけ格納可能な記憶領域を有し、所定容量を超えた分の古い動画データについては記憶領域から自動的に消されるように構成されている。

上記（１）～（４）の構成においては、プロセッサは、対象車両が含むフレーム（対象車両が選択される前のフレームも含む）を切り出す。プロセッサは、好ましくは、対象車両が含まれている全フレームを切り出し、より好ましくは、当該全フレームの前後のフレームを切り出す。これにより、対象車両がカメラの撮影可能範囲に入る前から撮影可能範囲から出た後までの一連の流れのなかから、対象車両を含む画像（後述する鑑賞画像）を生成できる。よって、上記（１）～（４）の構成によれば、ユーザのニーズに合う瞬間の画像を撮影できる。

（５）プロセッサは、対象車両のナンバプレートのナンバーに基づいて、対象車両を選択する。

（６）画像処理システムは、ナンバー認識モデルが格納された第１のメモリをさらに備える。ナンバー認識モデルは、ナンバープレートのナンバーを含む動画を入力とし、かつ、動画におけるナンバーを出力とする学習済みモデルである。プロセッサは、ナンバー認識モデルを用いて、動画データからナンバーを認識する。

（７）プロセッサは、対象車両に搭載された通信機器の識別情報に基づいて、対象車両を選択する。

（８）画像処理システムは、車両抽出モデルが格納された第２のメモリをさらに備える。車両抽出モデルは、車両を含む動画を入力とし、かつ、動画における車両を出力とする学習済みモデルである。プロセッサは、車両抽出モデルを用いて、動画データから対象車両を含む複数の車両を抽出する。

（９）画像処理システムは、対象車両特定モデルが格納された第３のメモリをさらに備える。対象車両特定モデルは、車両が抽出された動画を入力とし、かつ、動画における車両を出力とする学習済みモデルである。プロセッサは、対象車両特定モデルに基づいて、動画データから対象車両を特定する。

上記（５），（６）の構成によれば、ナンバー認識により対象車両を高精度に選択できる。上記（７）の構成によれば、ナンバー認識に限らず、通信機器の識別情報に基づいて対象車両を選択できる。上記（８）の構成によれば、対象車両を含む複数の車両を高精度に抽出できる。上記（９）の構成によれば、動画データから対象車両を高精度に特定できる。

（１０）本開示の他の局面に従うコンピュータによる画像処理方法は、第１～第４のステップを含む。第１のステップは、カメラにより車両が撮影された動画データをメモリに格納するステップである。第２のステップは、カメラにより撮影された車両のなかから予め登録された対象車両を選択するステップである。第３のステップは、メモリに格納された動画データから、選択される前の対象車両を含む複数のフレームを切り出すステップである。第４のステップは、切り出された複数のフレームを用いて、対象車両を含む画像を生成するステップである。

上記（１０）の方法によれば、上記（１）の構成と同様に、ユーザのニーズに合う瞬間の画像を撮影できる。

本開示によれば、ユーザのニーズに合う瞬間の画像を撮影できる。

本開示の実施の形態１に係る画像処理システムの全体構成を概略的に示す図である。 実施の形態１における撮影システムの典型的なハードウェア構成を示すブロック図である。 カメラによる車両撮影の様子を示す図である。 サーバの典型的なハードウェア構成を示すブロック図である。 比較例に係る画像処理システムにおける車両撮影の様子を説明するための図である。 実施の形態１における撮影システムおよびサーバの機能的構成を示す機能ブロック図である。 マッチング処理部および対象車両選択部による処理を説明するための図である。 車両抽出処理に用いられる学習済みモデル（車両抽出モデル）の一例を説明するための図である。 ナンバー認識処理に用いられる学習済みモデル（ナンバー認識モデル）の一例を説明するための図である。 対象車両特定処理に用いられる学習済みモデル（対象車両特定モデル）の一例を説明するための図である。 実施の形態１における車両撮影の処理手順を示すフローチャートである。 実施の形態２における撮影システムの典型的なハードウェア構成を示すブロック図である。 実施の形態２における撮影システムの機能的構成を示す機能ブロック図である。 実施の形態２における車両撮影の処理手順を示すフローチャートである。

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付して、その説明は繰り返さない。

［実施の形態１］
＜システム構成＞
図１は、本開示の実施の形態１に係る画像処理システムの全体構成を概略的に示す図である。画像処理システム１００は、複数の撮影システム１と、サーバ２とを備える。複数の撮影システム１の各々とサーバ２とは、ネットワークＮＷを介して互いに通信可能に接続されている。なお、図１には３台の撮影システム１が示されているが、撮影システム１の台数は特に限定されない。撮影システム１は１台だけであってもよい。

撮影システム１は、たとえば道路近傍に設置され、当該道路を走行中の車両９（図３参照）を撮影する。本実施の形態では、撮影システム１は、撮影された動画に所定の演算処理（後述）を施し、その演算処理結果を動画とともにサーバ２に送信する。

サーバ２は、たとえば、車両撮影サービスを提供する事業者の自社サーバである。サーバ２は、クラウドサーバ管理会社が提供するクラウドサーバであってもよい。サーバ２は、撮影システム１から受信した動画からユーザが鑑賞するための画像（以下、「鑑賞画像」とも記載する）を生成し、生成された鑑賞画像をユーザに提供する。鑑賞画像は、一般的には静止画であるが、規定時間（たとえば数秒間程度の短い時間）の動画であってもよい。ユーザは、多くの場合、車両９のドライバであるが、特に限定されない。

図２は、実施の形態１における撮影システム１の典型的なハードウェア構成を示すブロック図である。撮影システム１は、プロセッサ１１と、メモリ１２と、カメラ１３と、通信インターフェイス（ＩＦ）１４とを備える。メモリ１２は、ＲＯＭ（Read Only Memory）１２１と、ＲＡＭ（Random Access Memory）１２２と、フラッシュメモリ１２３とを含む。撮影システム１の構成要素はバス等によって互いに接続されている。

プロセッサ１１は、撮影システム１の全体的な動作を制御する。メモリ１２は、プロセッサ１１により実行されるプログラム（オペレーティングシステムおよびアプリケーションプログラム）と、そのプログラムで使用されるデータ（マップ、テーブル、数式、パラメータなど）とを記憶する。また、メモリ１２は、撮影システム１により撮影された動画を一時的に格納する。

カメラ１３は、車両９の動画を撮影する。カメラ１３は、偏光レンズ付の高感度タイプのカメラであることが好ましい。

図３は、カメラ１３による車両撮影の様子を示す図である。カメラ１３は、車両９に設けられたナンバープレートを撮影可能であるとともに、写真映りがよい車両９の車体についても撮影可能である。カメラ１３により撮影された動画は、ナンバープレートのナンバーを認識するために用いられるとともに、鑑賞画像を生成するためにも用いられる。

図２に戻り、通信ＩＦ１４は、サーバ２との通信を行うためのインターフェイスである。通信ＩＦ１４は、たとえば４Ｇ（Generation）または５Ｇに準拠する通信モジュールである。

図４は、サーバ２の典型的なハードウェア構成を示すブロック図である。サーバ２は、プロセッサ２１と、メモリ２２と、入力装置２３と、ディスプレイ２４と、通信ＩＦ２５とを備える。メモリ２２は、ＲＯＭ２２１と、ＲＡＭ２２２と、ＨＤＤ２２３とを含む。サーバ２の構成要素はバス等によって互いに接続されている。

プロセッサ２１は、サーバ２における各種演算処理を実行する。メモリ２２は、プロセッサ２１により実行されるプログラムと、そのプログラムで使用されるデータとを記憶する。また、メモリ２２は、サーバ２による画像処理に使用されるデータを格納したり、サーバ２により画像処理されたデータを格納したりする。入力装置２３は、サーバ２の管理者の入力を受け付ける。入力装置２３は、典型的にはキーボード、マウスである。ディスプレイ２４は様々な情報を表示する。通信ＩＦ２５は、撮影システム１との通信を行うためのインターフェイスである。

＜比較例＞
本実施の形態に係る画像処理システム１００の特徴の理解を容易にするため、比較例に係る画像処理システム９００について説明する。

図５は、比較例に係る画像処理システム９００における車両撮影の様子を説明するための図である。ここでは、左から右に走行する車両９がカメラ９３によって撮影される状況を想定する。カメラ９３から延びる点線は、カメラ９３により撮影可能な範囲を示す。

時刻ｔ１において、車両９の先端が撮影可能範囲内に入る。しかし、この時点ではナンバープレートは撮影可能範囲外である。時刻ｔ２において、ナンバープレートが撮影可能範囲内に入り、ナンバプレートが撮影される。ナンバーを認識して車両９が撮影対象の車両（以下、「対象車両」とも記載する）であるかどうかを特定するには多少の処理時間がかかる。その間も車両９は走行する。時刻ｔ３において、車両９が対象車両と特定される。時刻ｔ３から、車両９が撮影可能範囲から出る時刻ｔ４までの間の期間が、比較例において車両９を撮影可能な期間である。

しかしながら、この場合、車両９が特定される時刻ｔ３よりも前にユーザのニーズに合う写真映りがよい瞬間（または期間）があったとしても、そのような瞬間の画像は撮影できない。また、車両９が撮影可能範囲内に入り、その後、撮影可能範囲外から出て行くまでの一連の流れを撮影することもできない。

そこで、本実施の形態においては、車両９が特定される時刻ｔ３よりも前の動画についてもメモリ２２に格納しておく構成を採用する。本実施の形態では、車両９が撮影可能範囲内に入り、撮影可能範囲外から出て行くまでの一連の流れを撮影した上で、その流れのなかの一部または全部が切り出される。これにより、ユーザのニーズに合う瞬間の画像を撮影することが可能になる。

なお、車両９は、図５に示したような四輪車に限られず、たとえば二輪車（バイク）であってもよい。二輪車のナンバープレートは後方にしか取り付けられていないので、ナンバープレートを撮影して車両を特定するまでの期間が長くなりやすい。したがって、二輪車に対しては、ユーザのニーズに合う瞬間の画像を撮影するとの画像処理システム１００の効果がより顕著になる。

＜画像処理システムの機能的構成＞
図６は、実施の形態１における撮影システム１およびサーバ２の機能的構成を示す機能ブロック図である。撮影システム１は、撮影部３１と、通信部３２と、演算処理部３３とを含む。演算処理部３３は、動画バッファ３３１と、車両抽出部３３２と、ナンバー認識部３３３と、マッチング処理部３３４と、対象車両選択部３３５と、特徴量抽出部３３６と、動画切り出し部３３７とを含む。

撮影部３１は、車両９の動画を撮影し、撮影された動画を動画バッファ３３１に出力する。撮影部３１は、図２のカメラ１３に対応する。

通信部３２は、ネットワークＮＷを介してサーバ２の通信部４２（後述）と双方向の通信を行う。通信部３２は、サーバ２から対象車両のナンバーを受信したり、撮影部３１により撮影された各車両のナンバーをサーバに送信したりする。また、通信部３２は、動画（より詳細には、対象車両を含むように切り出された動画）をサーバ２に送信する。通信部３２は図２の通信ＩＦ１４に対応する。

動画バッファ３３１は、撮影部３１により撮影された動画を一時的に記憶する。動画バッファ３３１は、代表的にはリングバッファ（循環バッファ）であって、１次元配列の先頭と末尾とが論理的に連結された環状の記憶領域を有する。新たに撮影された動画は、記憶領域に格納可能な所定容量分（所定枚数のフレーム、所定時間であってもよい）だけ動画バッファ３３１に記憶される。当該所定の時間を超えた分の古い動画は、動画バッファ３３１から自動的に消去される。動画バッファ３３１は、動画を車両抽出部３３２および動画切り出し部３３７に出力する。

車両抽出部３３２は、動画から車両（対象車両に限らず、車両全般）を抽出する。この処理を「車両抽出処理」とも記載する。車両抽出処理には、たとえば、ディープラーニング（深層学習）などの機械学習の技術により生成された学習済みモデルを用いることができる。本例では、車両抽出部３３２は「車両抽出モデル」によって実現される。車両抽出モデルについては図８にて説明する。車両抽出部３３２は、動画のうち車両が抽出された部分（車両を含むフレーム）をナンバー認識部３３３に出力するとともにマッチング処理部３３４に出力する。

ナンバー認識部３３３は、車両抽出部３３２により車両が抽出された動画からナンバープレートのナンバーを認識する。この処理を「ナンバー認識処理」とも記載する。ナンバー認識処理にもディープラーニングなどの機械学習の技術により生成された学習済みモデルを用いることができる。本例では、ナンバー認識部３３３は「ナンバー認識モデル」によって実現される。ナンバー認識モデルについては図９にて説明する。ナンバー認識部３３３は、認識したナンバーをマッチング処理部３３４に出力する。また、ナンバー認識部３３３は、認識したナンバーを通信部３２に出力する。これにより、各車両のナンバーがサーバ２に送信される。

図７は、マッチング処理部３３４および対象車両選択部３３５による処理を説明するための図である。２台の車両が抽出され、かつ、２つのナンバーが認識された状況を例に説明する。マッチング処理部３３４は、車両抽出部３３２により抽出された車両と、ナンバー認識部３３３により認識されたナンバーとを対応付ける（マッチング処理）。より詳細には、マッチング処理部３３４は、ナンバー毎に、ナンバーと車両との間の距離（フレーム上でのナンバーの座標と車両の座標との間の距離）を算出する。そして、マッチング処理部３３４は、ナンバーと、そのナンバーとの間の距離が短い車両とを対応付ける。マッチング処理部３３４は、上記のマッチング処理の結果（ナンバーが対応付けられた車両）を対象車両選択部３３５に出力する。

対象車両選択部３３５は、マッチング処理によってナンバーが対応付けられた車両のなかから、ナンバーが対象車両のナンバー（サーバ２から受信したもの）に一致する車両を対象車両として選択する。対象車両選択部３３５は、対象車両として選択された車両を特徴量抽出部３３６に出力するとともに動画切り出し部３３７に出力する。

図６を再び参照して、特徴量抽出部３３６は、対象車両を含む動画を解析することで対象車両の特徴量を抽出する。特徴量は、対象車両の走行状態および外観を含み得る。より具体的には、特徴量抽出部３３６は、対象車両を含むフレームにおける対象車両の時間的変化（たとえば、フレーム間での対象車両の移動量、フレーム間での対象車両のサイズの変化量）に基づいて、対象車両の走行速度を算出する。特徴量抽出部３３６は、対象車両の走行速度に加えて、たとえば対象車両の加速度（減速度）を算出してもよい。また、特徴量抽出部３３６は、公知の画損認識技術を用いて対象車両の外観（ボディ形状、ボディ色など）に関する情報を抽出する。特徴量抽出部３３６は、対象車両の特徴量（走行速度、加速度、ボディ形状、ボディ色など）を動画切り出し部に出力する。また、特徴量抽出部３３６は、対象車両の特徴量を通信部３２に出力する。これにより、対象車両の特徴量がサーバ２に送信される。

動画切り出し部３３７は、動画バッファ３３１に格納された動画から対象車両を含む部分を切り出す。好ましくは、動画切り出し部３３７は、対象車両選択部３３５により選択された対象車両が含まれているフレームをすべて切り出す。より好ましくは、動画切り出し部３３７は、対象車両が含まれている全フレームに加えて、当該フレームよりも前の所定数のフレーム（対象車両が撮影部３１の撮影可能範囲に入る前のフレーム）と、当該フレームよりも後の所定数のフレーム（対象車両が撮影部３１の撮影可能範囲から出た後のフレーム）についても切り出しの対象とする。すなわち、動画切り出し部３３７は、対象車両が撮影部３１の撮影可能範囲に入る前から撮影可能範囲から出た後までの一連の流れの動画を切り出すことが好ましい。動画切り出し部３３７は、切り出された動画を通信部３２に出力する。これにより、対象車両が走行する様子を撮影部３１の撮影可能範囲の全範囲に亘って撮影した動画がサーバ２に送信される。

なお、動画切り出し部３３７は、特徴量抽出部３３６により抽出された特徴量を用いて動画を切り出してもよい。たとえば、動画切り出し部３３７は、対象車両の走行速度に応じて、動画を切り出す時間の長さを変えてもよい。言い換えると、動画切り出し部３３７は、対象車両が含まれている全フレームの前後のフレームの数（上記「所定数」）を可変に設定してもよい。動画切り出し部３３７は、対象車両の走行速度が遅いほど、動画を切り出す時間を長くすることができる。これにより、より確実に、対象車両が走行する様子を撮影可能範囲の全範囲に亘って切り出すことができる。

サーバ２は、記憶部４１と、通信部４２と、演算処理部４３とを含む。記憶部４１は、画像記憶部４１１と、登録情報記憶部４１２とを含む。演算処理部４３は、車両抽出部４３１と、対象車両特定部４３２と、画像加工部４３３と、アルバム作成部４３４と、ウェブサービス管理部４３５と、撮影システム管理部４３６とを含む。

画像記憶部４１１は、サーバ２による演算処理の結果、得られる鑑賞画像を格納する。より具体的には、画像記憶部４１１は、画像加工部４３３による加工前後の画像を記憶するとともに、アルバム作成部４３４により作成されたアルバムを格納する。

登録情報記憶部４１２は、車両撮影サービスに関する登録情報を記憶している。登録情報は、車両撮影サービスの提供を申し込んだユーザの個人情報と、そのユーザの車両情報とを含む。ユーザの個人情報は、たとえば、ユーザの識別番号（ＩＤ）、氏名、生年月日、住所、電話番号、メールアドレスなどに関する情報を含む。ユーザの車両情報は、車両のナンバープレートのナンバーに関する情報を含む。車両情報は、たとえば、車種、年式、ボディ形状（セダン型、ワゴン型、ワンボックス型など）、ボディ色などに関する情報を含んでもよい。

通信部４２は、ネットワークＮＷを介して撮影システム１の通信部３２と双方向の通信を行う。通信部４２は、対象車両のナンバーを撮影システム１に送信したり、撮影システム１により撮影された各車両のナンバーを受信したりする。また、通信部４２は、撮影システム１から対象車両を含む動画と、対象車両の特徴量（走行状態および外観）とを受信する。通信部４２は図４の通信ＩＦ２５に対応する。

車両抽出部４３１は、動画から車両（対象車両に限らず、車両全般）を抽出する。この処理には、撮影システム１の車両抽出部３３２による車両抽出処理と同様に、車両抽出モデルを用いることができる。車両抽出部４３１は、動画のうち車両が抽出された動画（車両を含むフレーム）を対象車両特定部４３２に出力する。

対象車両特定部４３２は、車両抽出部４３１により抽出された車両のなかから、対象車両の特徴量（走行速度、加速度などの走行状態、および、ボディ形状、ボディ色などの外観）に基づいて対象車両を特定する。この処理を「対象車両特定処理」とも記載する。対象車両特定処理にもディープラーニングなどの機械学習の技術により生成された学習済みモデルを用いることができる。本例では、対象車両特定部４３２は「対象車両特定モデル」によって実現される。対象車両特定については図１０にて説明する。対象車両特定部４３２によって対象車両が特定されることで鑑賞画像が生成される。鑑賞画像は、通常は複数の画像（時間的に連続した複数のフレーム）を含む。対象車両特定部４３２は、鑑賞画像を画像加工部４３３に出力する。

画像加工部４３３は鑑賞画像を加工する。たとえば、画像加工部４３３は、複数の画像のなかから最も写真映りがよい画像（いわゆるベストショット）を選択する。そして、画像加工部４３３は、抽出された鑑賞画像に対して様々な画像補正（トリミング、色補正、歪み補正など）を行う。画像加工部４３３は、加工済みの鑑賞画像をアルバム作成部４３４に出力する。

アルバム作成部４３４は、加工済みの鑑賞画像を用いてアルバムを作成する。アルバム作成には公知の画像解析技術（たとえば、スマートホンで撮影された画像からフォトブック、スライドショーなどを自動で作成する技術）を用いることができる。アルバム作成部４３４は、アルバムをウェブサービス管理部４３５に出力する。

ウェブサービス管理部４３５は、アルバム作成部４３４により作成されたアルバムを用いたウェブサービス（たとえばＳＮＳに連携可能なアプリケーションプログラム）を提供する。なお、ウェブサービス管理部４３５は、サーバ２とは別のサーバに実装されてもよい。

撮影システム管理部４３６は、撮影システム１を管理（監視および診断）する。撮影システム管理部４３６は、管理下の撮影システム１に何らかの異常（カメラ故障、通信不具合など）が発生した場合に、そのことをサーバ２の管理者に通知する。これにより、管理者が撮影システム１点検、修理などの対応を取ることができる。撮影システム管理部４３６もウェブサービス管理部４３５と同様に、別サーバとして実装され得る。

＜学習済みモデル＞
図８は、車両抽出処理に用いられる学習済みモデル（車両抽出モデル）の一例を説明するための図である。学習前モデルである推定モデル５１は、たとえば、ニューラルネットワーク５１１と、パラメータ５１２とを含む。ニューラルネットワーク５１１は、ディープラーニングによる画像認識処理に用いられる公知のニューラルネットワークである。そのようなニューラルネットワークとしては、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）、再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）などが挙げられる。パラメータ５１２は、ニューラルネットワーク５１１による演算に用いられる重み付け係数などを含む。

多数の教師データが開発者により予め準備される。教師データは、例題データと、正解データとを含む。例題データは、抽出対象である車両を含む画像データである。正解データは、例題データに対応する抽出結果を含む。具体的には、正解データは、例題データに含まれる車両が抽出された画像データである。

学習システム６１は、例題データおよび正解データを用いて推定モデル５１を学習させる。学習システム６１は、入力部６１１と、抽出部６１２と、学習部６１３とを含む。

入力部６１１は、開発者により準備された多数の例題データ（画像データ）を受け付けて抽出部６１２に出力する。

抽出部６１２は、入力部６１１からの例題データを推定モデル５１に入力することによって、例題データに含まれる車両を例題データ毎に抽出する。抽出部６１２は、その抽出結果（推定モデル５１からの出力）を学習部６１３に出力する。

学習部６１３は、抽出部６１２から受けた例題データからの車両の抽出結果と、その例題データに対応する正解データとに基づいて、推定モデル５１を学習させる。具体的には、学習部６１３は、抽出部６１２によって得られた車両の抽出結果が正解データに近づくように、パラメータ５１２（たとえば重み付け係数）を調整する。

以上のように推定モデル５１の学習が行われ、学習が完了した推定モデル５１が車両抽出モデル７１として車両抽出部３３２（および車両抽出部４３１）に格納されている。車両抽出モデル７１は、動画を入力とし、かつ、車両が抽出された動画を出力とする。車両抽出モデル７１は、動画のフレーム毎に、抽出された車両を当該フレームの識別子と関連付けてマッチング処理部３３４に出力する。フレームの識別子とは、たとえばタイムスタンプ（フレームの時刻情報）である。

図９は、ナンバー認識処理に用いられる学習済みモデル（ナンバー認識モデル）の一例を説明するための図である。例題データは、認識対象であるナンバーを含む画像データである。正解データは、例題データに含まれるナンバープレートの位置およびナンバーを示すデータである。例題データおよび正解データが異なるものの、学習システム６２による推定モデル５２の学習手法は、学習システム６１（図８参照）による学習手法と同様であるため、詳細な説明は繰り返さない。

学習が完了した推定モデル５２がナンバー認識モデル７２としてナンバー認識部３３３に格納されている。ナンバー認識モデル７２は、車両抽出部３３２によって車両が抽出された動画を入力とし、かつ、ナンバープレートの座標およびナンバーを出力とする。ナンバー認識モデル７２は、動画のフレーム毎に、認識されたナンバープレートの座標およびナンバーを当該フレームの識別子に関連付けてマッチング処理部３３４に出力する。

図１０は、対象車両特定処理に用いられる学習済みモデル（対象車両特定モデル）の一例を説明するための図である。例題データは、特定対象である対象車両を含む画像データである。例題データは、対象車両の特徴量（具体的には走行状態および外観）に関する情報をさらに含む。正解データは、例題データに含まれる対象車両が特定された画像データである。学習システム６３による推定モデル５３の学習手法も学習システム６１，６２（図８および図９参照）による学習手法と同様であるため、詳細な説明は繰り返さない。

学習が完了した推定モデル５３が対象車両特定モデル７３として対象車両特定部４３２に格納されている。対象車両特定モデル７３は、車両抽出部４３１によって車両が抽出された動画、ならびに、対象車両の特徴量（走行状態および外観）を入力とし、かつ、対象車両が特定された動画を出力とする。対象車両特定モデル７３は、動画のフレーム毎に、特定された動画を当該フレームの識別子に関連付けて画像加工部４３３に出力する。

なお、車両抽出処理は、機械学習を用いた処理に限定されない。機械学習を用いない公知の画像認識技術（画像認識モデル、アルゴリズム）を車両抽出処理に適用できる。ナンバー認識処理および対象車両特定処理に関しても同様である。

＜処理フロー＞
図１１は、実施の形態１における車両撮影の処理手順を示すフローチャートである。このフローチャートは、たとえば予め定められた条件成立時または所定の周期毎に実行される。図中、左側に撮影システム１による処理を示し、右側にサーバ２による処理を示す。各ステップは、撮影システム１のプロセッサ１１またはサーバ２のプロセッサ２１によるソフトウェア処理により実現されるが、ハードウェア（電気回路）により実現されてもよい。以下、ステップをＳと略す。

Ｓ１１において、撮影システム１は、動画に対して車両抽出処理（図８参照）を実行することで車両を抽出する。さらに、撮影システム１は、車両が抽出された動画に対してナンバー認識処理（図９参照）を実行することでナンバーを認識する（Ｓ１２）。撮影システム１は、認識されたナンバーをサーバ２に送信する。

サーバ２は、撮影システム１からナンバーを受信すると、登録情報を参照することで、受信したナンバーが登録済みのナンバーであるかどうか（つまり、撮影システム１により撮影された車両が車両撮影サービスの提供を申し込んだユーザの車両（対象車両）であるかどうか）を判定する。受信したナンバーが登録済みのナンバー（対処車両のナンバー）である場合、サーバ２は、対象車両のナンバーを送信するとともに、対象車両を含む動画の送信を撮影システム１に要求する（Ｓ２１）。

Ｓ１３において、撮影システム１は、認識動画における各車両と各ナンバーとのマッチング処理を実行する。そして、撮影システム１は、ナンバーが対応付けられた車両のなかから、対象車両のナンバーと同じナンバーが対応付けられた車両を対応車両として選択する（Ｓ１４）。さらに、撮影システム１は、対象車両の特徴量（走行状態および外観）を抽出し、抽出された特徴量をサーバ２に送信する（Ｓ１５）。

Ｓ１６において、撮影システム１は、メモリ２２（動画バッファ３３１）に一時的に格納された動画のなかから、対象車両を含む部分をナンバー認識前（対象車両が選択される前）の時点から切り出す。切り出し手法については図６にて詳細に説明したため、ここでの説明は繰り返さない。撮影システム１は、切り出された動画をサーバ２に送信する。

Ｓ２２において、サーバ２は、撮影システム１から受信した動画に対して車両抽出処理（図８参照）を実行することで、車両を抽出する。

Ｓ２３において、サーバ２は、Ｓ２２にて抽出された車両のなかから、対象車両の特徴量（走行状態および外観）に基づいて対象車両を特定する（図１０の対象車両特定処理）。対象車両の特徴量として対象車両の走行状態および外観のうちの一方のみを用いることも考えられる。しかし、動画中に、ボディ形状およびボディ色が同じ複数台の車両が含まれたり、走行速度および加速度がほぼ等しい複数台の車両が含まれたりする可能性がある。これに対し、本実施の形態では、ボディ形状およびボディ色が同じ複数台の車両が動画中に含まれる場合であっても、それらの車両の間で走行速度および／または加速度が異なれば、対象車両を他の車両から区別できる。あるいは、走行速度および加速度がほぼ等しい複数台の車両が動画中に含まれる場合であっても、それらの車両の間でボディ形状および／またはボディ色が異なれば、対象車両を他の車両から区別できる。このように、対象車両の特徴量として対象車両の走行状態および外観の両方を用いることによって、対象車両の特定精度を向上させることができる。

ただし、対象車両の走行状態および外観の両方を用いることは必須ではなく、いずれか一方のみを用いてもよい。対象車両の走行状態および／または外観に関する情報は、本開示に係る「対象車両情報」に相当する。また、対象車両の外観に関する情報は、撮影システム１（特徴量抽出部３３６）による解析によって得られた車両情報に限らず、登録情報記憶部４１２に予め記憶された車両情報であってもよい。

Ｓ２４において、サーバ２は、対象車両を含む動画（複数の鑑賞画像）のなかから、最適な鑑賞画像（ベストショット）を選択する。さらに、サーバ２は、最適な鑑賞画像に対して画像補正を行う。そして、サーバ２は、補正後の鑑賞画像を用いてアルバムを作成する（Ｓ２５）。ユーザは、作成されたアルバムを鑑賞したり、アルバム内の所望の画像をＳＮＳに投稿したりすることができる。

以上のように、実施の形態１においては、撮影システム１は、ナンバープレートのナンバー認識によって対象車両を選択する。そして、撮影システム１は、対象車両が含まれている全フレーム（対象車両が選択される前のフレームも含む）を切り出してサーバ２に送信する。より好ましくは、撮影システム１は、対象車両が含まれている全フレームに加えて、その前後のフレームを切り出してサーバ２に送信する。これにより、対象車両がカメラ１３の撮影可能範囲に入る前から撮影可能範囲から出た後までの一連の流れがサーバ２に収集される。したがって、サーバ２が上記の一連の流れのなかから最適なフレームを選択して鑑賞画像を生成することが可能になる。よって、実施の形態１によれば、ユーザのニーズに合う瞬間の画像を撮影できる。

［実施の形態２］
実施の形態１では、ナンバープレートのナンバーを用いて対象車両を特定する構成について説明した。しかし、対象車両の特定手法は、これに限定されない。実施の形態２では、無線通信の識別番号を用いて対象車両が特定される。

図１２は、実施の形態２における撮影システム１Ａの典型的なハードウェア構成を示すブロック図である。撮影システム１Ａは、通信ＩＦ１４に代えて通信ＩＦ１５を含む点において、実施の形態１における撮影システム１（図２参照）と異なる。通信ＩＦ１５は、遠距離無線モジュール１５１と、近距離無線モジュール１５２とを含む。

遠距離無線モジュール１５１は、通信ＩＦ１４と同様に、たとえば４Ｇまたは５Ｇに準拠する通信モジュールである。遠距離無線モジュール１５１は、撮影システム１Ａとサーバ２との間の遠距離通信に用いられる。

近距離無線モジュール１５２は、Ｗｉ－Ｆｉ（登録商標）またはBluetooth（登録商標）などの近距離通信規格に準拠する通信モジュールである。近距離無線モジュール１５２は、車両９に設けられた近距離無線モジュール９５と通信したり、車両９内のユーザが保持するユーザ端末９６（スマートホン、タブレット端末など）と通信したりするように構成されている。

車両９の近距離無線モジュール９５およびユーザ端末９６の各々は、近距離通信規格に準拠する各無線機器に固有の識別番号（デバイスアドレスとも呼ばれる）を有している。撮影システム１Ａの近距離無線モジュール１５２は、近距離無線モジュール９５および／またはユーザ端末９６の識別番号を取得できる。

以下、近距離無線モジュール９５およびユーザ端末９６を包括的に「無線機器」とも記載する。また、無線機器の識別番号を「無線機ＩＤ」とも記載する。対象車両の無線機ＩＤは、ユーザから事前（たとえば車両撮影サービスの申込時）に取得されて登録情報記憶部４１２（図６参照）に記憶されている。

図１３は、実施の形態２における撮影システム１Ａの機能的構成を示す機能ブロック図である。撮影システム１は、近距離通信部８１と、撮影部８２と、遠距離通信部８３と、演算処理部８４とを含む。演算処理部８４は、無線機ＩＤ取得部８４１と、動画バッファ８４２と、車両抽出部８４３と、マッチング処理部８４４と、対象車両選択部８４５と、特徴量抽出部８４６と、動画切り出し部８４７とを含む。

近距離通信部８１は、車両９に搭載された無線機器と近距離通信を行う。近距離通信部８１は、図１２の近距離無線モジュール１５２に対応する。

無線機ＩＤ取得部８４１は、近距離無線モジュール９５および／またはユーザ端末９６の識別番号（無線機ＩＤ）を取得する。無線機ＩＤ取得部８４１は、取得した無線機ＩＤをマッチング処理部８４４に出力する。

撮影部８２、動画バッファ８４２および車両抽出部８４３は、実施の形態１における撮影部３１、動画バッファ３３１および車両抽出部３３２（図６参照）とそれぞれ同等である。

マッチング処理部８４４は、車両抽出部８４３により抽出された車両と、無線機ＩＤ取得部８４１により取得された無線機ＩＤとを対応付ける（マッチング処理）。より詳細には、マッチング処理部３３４は、無線機器が搭載された車両が接近したタイミングで、車両抽出部８４３により抽出された車両に当該無線機器から取得された無線機ＩＤを対応付ける。車両９が撮影システム１Ａに接近するに従って近距離無線の強度が向上する。したがって、マッチング処理部８４４は、無線機ＩＤに加えて近距離無線の強度に基づいて、車両と無線機ＩＤとの対応付けを行ってもよい。マッチング処理部８４４は、上記のマッチング処理の結果（無線機ＩＤが対応付けられた車両）を対象車両選択部８４５に出力する。

対象車両選択部８４５は、マッチング処理によって無線機ＩＤが対応付けられた車両のなかから、無線機ＩＤが対象車両の無線機ＩＤ（サーバ２から受信したもの）に一致する車両を対象車両として選択する。対象車両選択部８４５は、対象車両として選択された車両を特徴量抽出部８４６に出力するとともに動画切り出し部８４７に出力する。

特徴量抽出部８４６、動画切り出し部８４７および遠距離通信部８３は、実施の形態１における特徴量抽出部３３６、動画切り出し部３３７および通信部３２（図６参照）とそれぞれ同等である。また、サーバ２も実施の形態１におけるサーバ２と基本的に同等であるため、紙面の都合上、サーバ２の機能ブロック図（図６参照）については図示していない。

図１４は、実施の形態２における車両撮影の処理手順を示すフローチャートである。このフローチャートは、ナンバープレートのナンバーに代えて無線機ＩＤを用いる点以外は、実施の形態１におけるフローチャート（図１１）と同等であるため、説明は繰り返さない。

以上のように、実施の形態２においては、撮影システム１Ａは、車両９に搭載された近距離無線モジュール９５および／またはユーザ端末９６の識別番号（無線機ＩＤ）を用いて対象車両を選択する。そして、撮影システム１Ａは、対象車両が含まれている全フレーム（対象車両が選択される前のフレームも含む）を切り出してサーバ２に送信する。より好ましくは、撮影システム１Ａは、対象車両が含まれている全フレームに加えて、その前後のフレームを切り出してサーバ２に送信する。これにより、対象車両がカメラ１３の撮影可能範囲に入る前から撮影可能範囲から出た後までの一連の流れがサーバ２に収集される。したがって、サーバ２が上記の一連の流れのなかから最適なフレームを選択して鑑賞画像を生成することが可能になる。よって、実施の形態２によれば、ユーザのニーズに合う瞬間の画像を撮影できる。

なお、実施の形態１，２では、撮影システム１，１Ａとサーバ２とが画像処理を分担して実行する例について説明した。したがって、撮影システム１，１Ａのプロセッサ１１およびサーバ２のプロセッサ２１の両方が本開示に係る「プロセッサ」に相当する。しかし、撮影システム１，１Ａがすべての画像処理を実行し、画像処理済みのデータ（鑑賞画像）をサーバ２に送信してもよい。よって、サーバ２は本開示に係る画像処理に必須の構成要素ではない。この場合、撮影システム１，１Ａのプロセッサ１１が本開示に係る「プロセッサ」に相当する。

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１００ 画像処理システム、１，１Ａ 撮影システム、１１ プロセッサ、１２ メモリ、１２１ ＲＯＭ、１２２ ＲＡＭ、１２３ フラッシュメモリ、１３ カメラ、１４ 通信ＩＦ、１５ 通信ＩＦ、１５１ 遠距離無線モジュール、１５２ 近距離無線モジュール、２ サーバ、２１ プロセッサ、２２ メモリ、２２１ ＲＯＭ、２２２ ＲＡＭ、２３ 入力装置、２４ ディスプレイ、２５ 通信ＩＦ、３１ 撮影部、３２ 通信部、３３ 演算処理部、３３１ 動画バッファ、３３２ 車両抽出部、３３３ ナンバー認識部、３３４ マッチング処理部、３３５ 対象車両選択部、３３６ 特徴量抽出部、３３７ 動画切り出し部、４１ 記憶部、４１１ 画像記憶部、４１２ 登録情報記憶部、４２ 通信部、４３ 演算処理部、４３１ 車両抽出部、４３２ 対象車両特定部、４３３ 画像加工部、４３４ アルバム作成部、４３５ ウェブサービス管理部、４３６ 撮影システム管理部、５１，５２，５３ 推定モデル、５１１ ニューラルネットワーク、５１２ パラメータ、６１，６２，６３ 学習システム、６１１，６２１，６３１ 入力部、６１２ 抽出部、６２２ 認識部、６３２ 特定部、６１３，６２３，６３３ 学習部、７１ 車両抽出モデル、７２ ナンバー認識モデル、７３ 対象車両特定モデル、８１ 近距離通信部、８２ 撮影部、８３ 遠距離通信部、８４ 演算処理部、８４１ 無線機ＩＤ取得部、８４２ 動画バッファ、８４３ 車両抽出部、８４４ マッチング処理部、８４５ 対象車両選択部、８４６ 特徴量抽出部、８４７ 動画切り出し部、９ 車両、９３ カメラ、９５ 近距離無線モジュール、９６ ユーザ端末、９００ 画像処理システム、ＮＷ ネットワーク。

Claims (8)

1. カメラにより撮影された動画データを格納するメモリと、
   前記メモリに格納された前記動画データに対して画像処理を行うプロセッサとを備え、
   前記プロセッサは、
   前記カメラにより撮影された車両のなかから予め登録された対象車両を選択し、
   前記対象車両の時間変化に基づいて、前記対象車両の走行速度を算出し、
   前記メモリに格納された前記動画データから、前記対象車両が前記カメラの撮影可能範囲に入ってから前記撮影可能範囲から出るまでのすべてのフレームと、前記対象車両が前記撮影可能範囲に入る前の所定数のフレームと、前記対象車両が前記撮影可能範囲から出た後の前記所定数のフレームとを含む複数のフレームを切り出し、
   前記対象車両の走行速度が遅いほど、前記所定数は多く設定され、
   前記プロセッサは、切り出された複数のフレームを用いて、前記対象車両を含む画像を生成する、画像処理システム。
2. 前記メモリは、リングバッファを含み、
   前記リングバッファは、新たに撮影された前記動画データを所定容量分だけ格納可能な記憶領域を有し、前記所定容量を超えた分の古い前記動画データについては前記記憶領域から自動的に消されるように構成されている、請求項１に記載の画像処理システム。
3. 前記プロセッサは、前記対象車両のナンバプレートのナンバーに基づいて、前記対象車両を選択する、請求項１または２に記載の画像処理システム。
4. ナンバー認識モデルが格納された第１のメモリをさらに備え、
   前記ナンバー認識モデルは、ナンバープレートのナンバーを含む動画を入力とし、かつ、前記動画における前記ナンバーを出力とする学習済みモデルであり、
   前記プロセッサは、前記ナンバー認識モデルを用いて、前記動画データから前記ナンバーを認識する、請求項３に記載の画像処理システム。
5. 前記プロセッサは、前記対象車両に搭載された通信機器の識別情報に基づいて、前記対象車両を選択する、請求項１または２に記載の画像処理システム。
6. 車両抽出モデルが格納された第２のメモリをさらに備え、
   前記車両抽出モデルは、車両を含む動画を入力とし、かつ、前記動画における前記車両を出力とする学習済みモデルであり、
   前記プロセッサは、前記車両抽出モデルを用いて、前記動画データから前記対象車両を含む複数の車両を抽出する、請求項１または２に記載の画像処理システム。
7. 対象車両特定モデルが格納された第３のメモリをさらに備え、
   前記対象車両特定モデルは、車両が抽出された動画を入力とし、かつ、前記動画における前記車両を出力とする学習済みモデルであり、
   前記プロセッサは、前記対象車両特定モデルに基づいて、前記動画データから前記対象車両を特定する、請求項１または２～４のいずれか１項に記載の画像処理システム。
8. コンピュータによる画像処理方法であって、
   カメラにより車両が撮影された動画データをメモリに格納するステップと、
   前記カメラにより撮影された車両のなかから予め登録された対象車両を選択するステップと、
   前記対象車両の時間変化に基づいて、前記対象車両の走行速度を算出するステップと、
   前記メモリに格納された前記動画データから、前記対象車両が前記カメラの撮影可能範囲に入ってから前記撮影可能範囲から出るまでのすべてのフレームと、前記対象車両が前記撮影可能範囲に入る前の所定数のフレームと、前記対象車両が前記撮影可能範囲から出た後の前記所定数のフレームとを含む複数のフレームを切り出すステップとを含み、
   前記対象車両の走行速度が遅いほど、前記所定数は多く設定され、
   前記画像処理方法は、切り出された複数のフレームを用いて、前記対象車両を含む画像を生成するステップをさらに含む、画像処理方法。

Images