JP2024078984A - 画像処理システム - Google Patents

Abstract

【課題】車両を識別しつつ、車両の躍動感を表現する。【解決手段】画像処理システム１は、カメラ１４により撮影された動画データを格納するメモリ１２と、動画データに対して画像処理を行うプロセッサ１１とを備える。プロセッサ１１は、動画データに含まれる１以上の車両の中から対象車両２を特定し、動画データを構成する複数のフレームのうちの対象車両２を含む対象フレームを背景領域と車両領域とに分離する。プロセッサ１１は、対象フレームの前または後のフレームから推定される対象車両の走行情報と、対象車両との通信により取得される対象車両の走行情報とのうちの少なくとも一方に基づいて、背景領域にブラーを付与する。【選択図】図２

Description

本開示は、画像処理システムに関し、より特定的には、車両を撮影するための画像処理システムに関する。

運転が好きなユーザは、自身が運転している車両の外観を撮影したいという欲求を有し得る。ユーザは、撮影した画像をＳＮＳ（Social Networking Service）に投稿（アップロード）することで多くの人に見てもらうことができる。しかし、ユーザが自身による運転中に走行中の車両の外観を撮影することは困難である。そこで、走行中の車両の外観を撮影するサービスが提案されている。たとえば特開２０２１－４８４４９号公報（特許文献１）は車両撮影システムを開示する。

特開２０２１－４８４４９号公報 特開２０２１－６８０８３号公報 特開２０１８－１６０２３５号公報

走行中の車両を撮影する際に、カメラの撮影条件の調整によってブラー（ぼかし）を生じさせることが考えられる。ブラーによって車両の速度感／加速度感を可視化することで車両の躍動感を表現できる。一方で、カメラの前を複数の車両が通過しており、それらのうちのどの車両を撮影するかを決定する場合（言い換えれば、どの車両がユーザの車両かを特定する場合）には、ナンバープレート情報などの外観情報を用いて車両を識別することが一般的である。車両の識別には、車両が鮮明に撮影されていることを要する。このように、車両の識別と躍動感の表現とが求められるが、これらを同時に実現することは容易ではない。

本開示は上記課題を解決するためになされたものであり、本開示の目的の１つは、車両を識別しつつ、車両の躍動感を表現可能な画像処理システムを提供することである。

本開示のある態様に係る画像処理システムは、カメラにより撮影された動画データを格納するメモリと、動画データに対して画像処理を行うプロセッサとを備える。プロセッサは、動画データに含まれる１以上の車両の中から対象車両を、たとえば機械学習により特定し、動画データを構成する複数のフレームのうちの対象車両を含む対象フレームを第１領域と第２領域とに分離する。第１領域は、対象車両の背景領域および車輪領域のうちの少なくとも一方を含む。第２領域は、対象フレームのうちの第１領域以外の領域である。プロセッサは、対象フレームの前または後のフレームから推定される対象車両の走行情報と、対象車両との通信により取得される対象車両の走行情報とのうちの少なくとも一方に基づいて、第１領域にブラーを付与する。

本開示によれば、車両を識別しつつ、車両の躍動感を表現できる。

本開示の実施の形態に係る画像処理システムの構成例を示す図である。 本実施の形態に係る画像処理および画像処理の処理手順を示すフローチャートである。 本実施の形態に係る画像処理が施される画像の一例を示す図である。

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付して、その説明は繰り返さない。

図１は、本開示の実施の形態に係る車両撮影システムの構成例を示す図である。車両撮影システム１は、プロセッサ１１と、メモリ１２と、通信インターフェイス１３と、カメラ１４とを含む。車両撮影システム１は、たとえば道路近傍に設置され、当該道路を走行中の１以上の車両の動画を撮影する。図１には撮影対象である「対象車両２」が図示されている。車両撮影システム１は、撮影された動画データに対して後述する画像処理を実行する。車両撮影システム１は、画像処理が施された画像をサーバ３に送信する。

なお、車両撮影システム１は、本開示に係る画像処理システムに相当する。本開示に係る画像処理システムは、カメラによる撮影は行わずに画像処理に特化した構成（たとえば画像処理装置のみの構成）であってもよい。本開示に係る画像処理システムは、たとえば、カメラにより撮影された動画データを収集して遠隔地で処理するように構成されていてもよい。たとえば、サーバ３により後述する画像処理が実行されてもよい。

走行中の対象車両２を撮影する際に、カメラ１４の撮影条件（シャッタースピード、ピントなど）の調節によりブラーを生じさせることが考えられる。ブラーによって対象車両２の速度感／加速度感を可視化することで対象車両２の躍動感を表現できる。

一方で、上記の道路には対象車両２以外にも様々な車両が走行し得るため、対象車両２を識別することを要する。一般に、車両の識別には、ナンバープレート情報などの車両の外観情報が利用される。そのため、走行中の各車両が鮮明に撮影されていることが求められる。

しかしながら、車両の識別と躍動感の表現とを同時に実現することは容易ではない。特に、識別用の画像と鑑賞用の画像との両方を単一のカメラで撮影する図１に示すようなシステム構成では、この課題が顕著になり得る。

そこで、本実施の形態においては、対象車両２を撮影した動画データを構成する複数のフレームのうちの対象車両２を含むフレーム（以下、「対象フレーム」と称する）を、たとえば車両領域と背景領域とに分離した上で、対象車両２の走行情報に基づいて、背景領域に選択的にブラーが付与されるように画像処理を実行する。対象車両２の走行情報とは、ブラーの方向および長さを決定するための情報であって、具体的には対象車両２の移動速度（背景との相対的な速度差）、移動方向（背景との相対的な移動方向の違い）、位置などに関する情報を含み得る。対象車両２の走行情報は、対象フレームの前または後のフレームから推定されてもよいし、車両撮影システム１と対象車両２との通信により取得されてもよい。

図２は、本実施の形態に係る車両撮影および画像処理の処理手順を示すフローチャートである。このフローチャートに示される処理は、予め定められた条件成立時（たとえば所定の周期ごと）に実行される。各ステップは、車両撮影システム１のプロセッサ１１によるソフトウェア処理により実現されるが、車両撮影システム１内に配置されたハードウェア（電気回路）により実現されてもよい。以下、ステップをＳと略す。

図３は、本実施の形態に係る画像処理が施された画像の一例を示す図である。以下、図２および図３を参照しながら、車両撮影および画像処理における各処理の詳細について説明する。

Ｓ１において、プロセッサ１１は、カメラ１４の撮影条件（シャッタースピード、ピント、ＩＳＯ感度、絞り値など）を、道路を走行中の車両の識別に適した条件になるように調整する。

Ｓ２において、プロセッサ１１は、カメラ１４により撮影された動画データに基づいて、車両撮影システム１への車両の接近を検出する。たとえば、カメラ１４の画角内に車両が入った場合に車両の接近が検出される。

Ｓ３において、プロセッサ１１は、カメラ１４に接近した車両を識別する。プロセッサ１１は、たとえば、車両のナンバープレートに記載されたナンバーを認識する。このナンバー認識処理には、ディープラーニングなどの機械学習の技術により生成された学習済みモデルを用いることができる。なお、車両の識別に使用可能な情報はナンバー情報に限定されない。ナンバー情報に代えてまたは加えて、車体の形状、サイズ、色などの他の外観情報を用いてもよい。

Ｓ４において、プロセッサ１１は、Ｓ３にて識別された情報に基づいて、カメラ１４に接近した車両が撮影対象の車両（対象車両２）かどうかを判定する。たとえば、サーバ３は、対象車両２のナンバープレートに記載されたナンバーが格納された車両情報データベース（図示せず）を含む。プロセッサ１１は、Ｓ３にて認識したナンバーをサーバ３に送信し、当該ナンバーが対象車両２のナンバーと一致するかどうかを問い合わせる。

カメラ１４に接近した車両が対象車両２であると識別された場合（Ｓ４においてＹＥＳ）、プロセッサ１１は、対象車両２が適切な撮影ポイントを通過したときのフレーム（対象フレーム）を取得する（Ｓ５）。対象フレーム（画像処理前の元画像）の一例を図３（Ａ）に示す。なお、カメラ１４に接近した車両が対象車両２でないと識別された場合（Ｓ４においてＮＯ）にはＳ５以降の処理が実行されることなく、一連の処理が終了する。

Ｓ６において、プロセッサ１１は、Ｓ５にて取得された対象フレームから対象車両２を抽出する。車両抽出には、ナンバー認識と同様に、ディープラーニングなどの機械学習の技術により生成された学習済みモデルを用いることができる。より具体的には、セマンティックセグメンテーションを好適に用いることができる。さらに、プロセッサ１１は、抽出された車両領域と背景領域とを分離する。この分離には、移動体と背景とを分離する背景差分法などのアルゴリズムを好適に用いることができる。対象フレームから車両が抽出および分離）された画像の一例を図３（Ｂ）に示す。

Ｓ７において、プロセッサ１１は、対象車両２の移動速度、移動方向、位置などを対象車両２の走行情報として取得する。前述のように、プロセッサ１１は、対象フレームの前または後のフレームからの推定により対象車両２の走行情報を取得してもよい。より具体的には、プロセッサ１１は、フレーム間で車両領域を比較して車両領域の差分を演算することにより、対象車両２の走行情報（移動速度、移動方向など）を推定できる。あるいは、プロセッサ１１は、通信インターフェイス１３を介した対象車両２との通信により対象車両２の走行情報を取得してもよい。

Ｓ８において、プロセッサ１１は、Ｓ７にて取得した対象車両２の走行情報に基づいて、対象フレームにブラー（モーションブラー）を付与する。たとえば、車両の移動方向および移動速度と、ブラーの方向および長さ（大きさ）との間の対応関係が予め定められていてもよい。車両の移動方向とブラーの方向とは同一方向である。車両の移動速度が速いほどブラーの長さは長くなる。これにより、プロセッサ１１は、対象車両２の走行情報に基づいてブラーの方向および長さを決定し、決定されたブラーを付与することが可能になる。ブラーが付与された画像の一例を図３（Ｃ）に示す。

Ｓ９において、プロセッサ１１は、Ｓ６にて抽出された車両を、Ｓ８にてブラーが付与された対象フレームに上書き合成する。この合成後の画像の一例を図３（Ｄ）に示す。

Ｓ１０において、プロセッサ１１は、一連の画像処理が施された画像をサーバ３に送信する。サーバ３は、車両撮影システム１から受信した画像をデータベース（図示せず）に格納する。

以上のように、本実施の形態においては、図３（Ｄ）から視覚的にも理解されるように、対象車両２（車両領域）が鮮明に写り、かつ、対象車両２の背景（背景領域）にはブラーが付与される。これにより、シャッタースピード、ピント等の調整によるブラーと同様の背景効果が得られ、対象車両２の速度感／加速度感が表現される。よって、本実施の形態によれば、対象車両２を識別しつつ、対象車両２の躍動感を表現できる。

なお、図２および図３にて説明した例では、背景領域が本開示に係る「第１領域」に相当し、車両領域が本開示に係る「第２領域」に相当する。本開示に係る「第１領域」は、対象車両２の車輪領域（ホイール部分）であってもよい。車輪領域を抽出して選択的にブラーを付与することによって、ホイールの高速回転による対象車両２の躍動感を表現できる。また、本開示に係る「第１領域」は、対象車両２の背景領域および車輪領域の両方であってもよい。

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 車両撮影システム、１１ プロセッサ、１２ メモリ、１３ 通信インターフェイス、１４ カメラ、２ 対象車両、３ サーバ。

Claims (1)

1. カメラにより撮影された動画データを格納するメモリと、
   前記動画データに対して画像処理を行うプロセッサとを備え、
   前記プロセッサは、
   前記動画データに含まれる１以上の車両の中から対象車両を識別し、
   前記動画データを構成する複数のフレームのうちの前記対象車両を含む対象フレームを第１領域と第２領域とに分離し、
   前記第１領域は、前記対象車両の背景領域および車輪領域のうちの少なくとも一方を含み、
   前記第２領域は、前記対象フレームのうちの前記第１領域以外の領域であり、
   前記プロセッサは、
   前記対象フレームの前または後のフレームから推定される前記対象車両の走行情報と、前記対象車両との通信により取得される前記対象車両の走行情報とのうちの少なくとも一方に基づいて前記第１領域にブラーを付与する、画像処理システム。
   

Images