JP6941472B2 - 映像再生装置、映像再生システム、及び映像再生方法 - Google Patents

Description

本発明は、映像を再生する技術に関する。

従来、例えば、交通事故の原因究明や、運送事業者によるドライバの安全運転状況の監視等を目的として、ドライブレコーダが使用されている。

一般的なドライブレコーダは、車両の前方を撮影するフロントカメラの撮影画像を記録するタイプ、車両の前方を撮影するフロントカメラの撮影画像と車内を撮影する車内カメラの撮影画像とを記録するタイプ、車両の前方を撮影するフロントカメラの撮影画像と車両の後方を撮影するバックカメラの撮影画像とを記録するタイプ、の３つに大別される。

一方、車両の周辺を撮影する複数のカメラそれぞれで得られた撮影画像に基づいて生成される俯瞰画像が駐車支援や運転支援に利用されている（例えば特許文献１参照）。例えば、俯瞰画像の生成に必要な撮影画像をドライブレコーダが記録することによって、ドライブレコーダに保存されたデータを再生する際に再生映像を俯瞰画像にすることができる。

特開２０１２−９１６２５号公報

しかしながら、ドライブレコーダに保存されたデータを再生する際に特許文献１で開示されている画像の選択手法を単純に適用するだけでは、俯瞰画像の視点位置を選択することができないため、撮影場所との関係でユーザーが望む視点位置の俯瞰画像を得ることができない。

本発明は、上記の課題に鑑み、撮影場所との関係でユーザーが望む視点位置の仮想視点画像を再生映像として容易に選択することができる映像再生技術を提供することを目的とする。

本発明の一局面に係る映像再生装置は、車両の走行中に前記車両の周辺を撮影する複数のカメラそれぞれで得られた撮影画像及び前記撮影画像が撮影された撮影場所に関する情報を取得する取得部と、前記撮影画像を仮想投影面に投影して投影画像に変換する変換部と、複数の前記投影画像に基づいて仮想視点からみた仮想視点画像を生成する生成部と、前記撮影場所を示す自車位置マークを含む地図画像を表示装置に表示させ、前記仮想視点画像の仮想視点方向を選択するための複数の指標を前記自車位置マーク近傍に表示させる表示制御部と、を備え、前記生成部は、ユーザー操作によって選択された前記指標に対応する仮想視点方向の前記仮想視点画像を再生映像として生成する構成（第１の構成）である。

本発明の他の局面に係る映像再生装置は、車両の走行中に前記車両の周辺を撮影する複数のカメラそれぞれで得られた撮影画像を仮想投影面に投影して得られる投影画像に基づいて生成されるそれぞれ異なる仮想視点からみた複数の仮想視点画像及び前記撮影画像が撮影された撮影場所に関する情報を取得する取得部と、前記撮影場所を示す自車位置マークを含む地図画像を表示装置に表示させ、前記仮想視点画像の仮想視点方向を選択するための複数の指標を前記自車位置マーク近傍に表示させる表示制御部と、ユーザー操作によって選択された前記指標に対応する仮想視点方向の前記仮想視点画像を再生映像として選択する選択部と、を備える構成（第２の構成）である。

上記第１又は第２の構成の映像再生装置において、前記仮想投影面が曲面を含む構成（第３の構成）であってもよい。

上記第１〜第３いずれかの構成の映像再生装置において、前記表示制御部は、前記自車位置マークに重畳する前記指標を前記表示装置に表示させ、前記自車位置マークに重畳する前記指標がユーザー操作によって選択された場合に、前記車両の真上からみた仮想視点方向の前記仮想視点画像が前記再生映像となる構成（第４の構成）であってもよい。

上記第１〜第４いずれかの構成の映像再生装置において、前記表示制御部は、前記再生映像に複数の前記指標を重畳して表示させる構成（第５の構成）であってもよい。

上記第１〜第５いずれかの構成の映像再生装置において、前記表示制御部は、前記車両の外部からみた仮想視点方向に対応する前記指標と、前記車両の内部からみた仮想視点方向に対応する前記指標と、を前記自車位置マーク近傍に表示させる構成（第６の構成）であってもよい。

上記第１〜第６いずれかの構成の映像再生装置において、前記表示制御部は、第１の俯角でみた仮想視点方向に対応する前記指標と、前記第１の俯角と異なる第２の俯角でみた仮想視点方向に対応する前記指標と、を前記自車位置マーク近傍に表示させる構成（第７の構成）であってもよい。

本発明に係る映像再生システムは、車両の走行中に前記車両の周辺を撮影する複数のカメラそれぞれで得られた撮影画像及び前記撮影画像が撮影された撮影場所に関する情報を記録する記録装置と、前記記録装置で記録された前記撮影画像に基づく再生映像を出力する上記第１〜第７いずれかの構成の映像再生装置と、を備える構成（第８の構成）である。

本発明の一局面に係る映像再生方法は、車両の走行中に前記車両の周辺を撮影する複数のカメラそれぞれで得られた撮影画像及び前記撮影画像が撮影された撮影場所に関する情報を取得する取得工程と、前記撮影画像を仮想投影面に投影して投影画像に変換する変換工程と、複数の前記投影画像に基づいて仮想視点からみた仮想視点画像を生成する生成工程と、前記撮影場所を示す自車位置マークを含む地図画像を表示装置に表示させ、前記仮想視点画像の仮想視点方向を選択するための複数の指標を前記自車位置マーク近傍に表示させる表示制御工程と、を備え、前記生成工程は、ユーザー操作によって選択された前記指標に対応する仮想視点方向の前記仮想視点画像を再生映像として生成する構成（第９の構成）である。

本発明の他の局面に係る映像再生方法は、車両の走行中に前記車両の周辺を撮影する複数のカメラそれぞれで得られた撮影画像を仮想投影面に投影して得られる投影画像に基づいて生成されるそれぞれ異なる仮想視点からみた複数の仮想視点画像及び前記撮影画像が撮影された撮影場所に関する情報を取得する取得工程と、前記撮影場所を示す自車位置マークを含む地図画像を表示装置に表示させ、前記仮想視点画像の仮想視点方向を選択するための複数の指標を前記自車位置マーク近傍に表示させる表示制御工程と、ユーザー操作によって選択された前記指標に対応する仮想視点方向の前記仮想視点画像を再生映像として選択する選択工程と、を備える構成（第１０の構成）である。

本発明によれば、撮影場所との関係でユーザーが望む視点位置の仮想視点画像を再生映像として容易に選択することができる映像再生技術を提供することができる。

ドライブレコーダの一構成例を示す図 ４つの車載カメラが車両に配置される位置を例示する図 仮想投影面の例を示す図 ドライブレコーダの映像再生動作例を示すフローチャート 地図画像の一例を示す図 地図画像の他の例を示す図 地図画像の更に他の例を示す図 指標が重畳された再生映像の一例を示す図 指標の変形例を示す図 指標の他の変形例を示す図 指標の更に他の変形例を示す図 指標の更に他の変形例を示す図 再生映像の他の例を示す図

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。

＜１．ドライブレコーダの構成＞
図１は、ドライブレコーダ１の一構成例を示す図である。ドライブレコーダ１は本発明に係る映像再生システムの一例である。ドライブレコーダ１は車両に搭載される。以下、ドライブレコーダ１が搭載されている車両を自車ともいう。

ドライブレコーダ１は、自車に搭載される４つの車載カメラ（フロントカメラ２、バックカメラ３、左サイドカメラ４、及び右サイドカメラ５）によって撮影される自車周辺の画像を取得する。

図２は、４つの車載カメラ（フロントカメラ２、バックカメラ３、左サイドカメラ４、及び右サイドカメラ５）が自車Ｖ１に配置される位置を例示する図である。

フロントカメラ２は自車Ｖ１の前端に設けられる。フロントカメラ２の光軸２ａは上からの平面視で自車Ｖ１の前後方向に沿っている。フロントカメラ２は自車Ｖ１の前方向を撮影する。バックカメラ３は自車Ｖ１の後端に設けられる。バックカメラ３の光軸３ａは上からの平面視で自車Ｖ１の前後方向に沿っている。バックカメラ３は自車Ｖ１の後方向を撮影する。フロントカメラ２及びバックカメラ３の取付位置は、自車Ｖ１の左右中央であることが好ましいが、左右中央から左右方向に多少ずれた位置であってもよい。

左サイドカメラ４は自車Ｖ１の左側ドアミラーＭ１に設けられる。左サイドカメラ４の光軸４ａは上からの平面視で自車Ｖ１の左右方向に沿っている。左サイドカメラ４は自車Ｖ１の左方向を撮影する。右サイドカメラ５は自車Ｖ１の右側ドアミラーＭ２に設けられる。右サイドカメラ５の光軸５ａは上からの平面視で自車Ｖ１の左右方向に沿っている。右サイドカメラ５は自車Ｖ１の右方向を撮影する。なお、自車Ｖ１がいわゆるドアミラーレス車である場合には、左サイドカメラ４は左サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく取り付けられ、右サイドカメラ５は右サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく取り付けられる。

各車載カメラの水平方向の画角θは１８０度以上である。このため、４つの車載カメラ（フロントカメラ２、バックカメラ３、左サイドカメラ４、及び右サイドカメラ５）によって、自車Ｖ１の水平方向における全周囲を撮影することができる。なお、本実施形態では、車載カメラの数を４つとしているが、車載カメラの数は４つに限られることなく、複数のカメラであればよい。一例として、各車載カメラの水平方向の画角θが比較的広い場合は、４つよりも少ない３つのカメラから取得される３つの撮影画像に基づき仮想視点画像を生成してもよい。さらに、別の例として、各車載カメラの水平方向の画角θが比較的狭い場合は、４つよりも多い５つのカメラから得られる５つの撮影画像に基づき仮想視点画像を生成してもよい。

図１に戻って、ドライブレコーダ１の記録方式は、例えば、車載カメラによって撮影された画像を含む運転状況に関する情報を定期的にメモリカード８に記録する常時記録方式であってもよく、白線からのはみ出し（車線逸脱）、急ブレーキ、衝突等のイベントが検出された場合に、車載カメラで撮影された画像、及び、イベント内容を含む画像以外の運転状況に関する情報をメモリカード８に記録するイベント記録方式であってもよい。

ドライブレコーダ１は、装置全体を制御する制御部としてマイクロコンピュータを備える。詳細には、ドライブレコーダ１は、演算処理を行うことで各種の制御機能を実現するＣＰＵ１１と、演算処理の作業領域となるＲＡＭ１２と、各種のデータを記憶する不揮発性メモリ１３と、を備える。不揮発性メモリ１３は、例えばハードディスクやフラッシュメモリで構成される。不揮発性メモリ１３は、ファームウェアとしてのプログラムや設定パラメータ等を記憶する。不揮発性メモリ１３は、全国又は一定の広域の道路情報を含む情報である地図情報を記憶している。ドライブレコーダ１の各部を制御する機能は、不揮発性メモリ１３に予め記憶されるプログラムに従ってＣＰＵ１１が演算処理を実行することによって実現される。

ドライブレコーダ１には、４つの車載カメラ（フロントカメラ２、バックカメラ３、左サイドカメラ４、及び右サイドカメラ５）と、マイク６とが接続される。４つの車載カメラ（フロントカメラ２、バックカメラ３、左サイドカメラ４、及び右サイドカメラ５）と、マイク６とは、ドライブレコーダ１に含まれてよい。各車載カメラは、レンズと撮像素子とを備え、電子的に画像データを取得することができる。各車載カメラの配置例については上述した通りである。マイク６は、例えば、ドライブレコーダ１の本体部や自車の適所に配置される。マイク６は、自車付近の音を集音して音声データを取得する。マイク６の数及び配置は、適宜変更されてよい。例えば、自車の外部で発生する音を主として集音する車外音用マイクと、運転者が発する音声を主として集音する車内音用マイクとが備えられてよい。

ドライブレコーダ１は、４つの車載カメラ（フロントカメラ２、バックカメラ３、左サイドカメラ４、及び右サイドカメラ５）で撮影された画像データを処理する画像処理部１４を備える。本実施形態では、画像処理部１４はハードウェア回路である。画像処理部１４は、４つの車載カメラ（フロントカメラ２、バックカメラ３、左サイドカメラ４、及び右サイドカメラ５）から入力される画像データの信号に対して所定の画像処理を行い、所定の形式のデジタル画像データを生成する。所定の画像処理には、例えば、Ａ／Ｄ変換、輝度補正、コントラスト補正等が含まれる。所定の形式は、例えばＪＰＥＧ形式等であってよい。画像処理部１４で処理された画像データは、ＲＡＭ１２に記憶される。

ＲＡＭ１２の記憶領域のうちの一部は、リングバッファとして利用される。このリングバッファに対して、画像処理部１４で処理された画像データ、及び、マイク６で取得された音声データが撮影時刻や撮影場所等の情報と関連付けられて常時に記憶される。リングバッファでは、最後の領域までデータが記憶されると、最初の領域に戻って新たなデータが記憶される。すなわち、リングバッファでは、最も古いデータに対して新たなデータが順次に上書きされていく。このため、ＲＡＭ１２においては、常に過去一定時間分の画像データ及び音声データが記憶された状態になる。

ドライブレコーダ１は、運転者等からの指示を受け付ける操作部７に接続されている。操作部７はドライブレコーダ１に含まれてよい。操作部７は、自車の適所に配置される。操作部７としては、例えば、タッチパネル、機械式のボタン等を用いることができる。なお、操作部７は、後述する表示装置９と一体として構成してもよい。また、操作部７は、マイクロフォンを有し、運転者等が発した音声を認識して運転者等からの指示を受け付けてもよい。また、ドライブレコーダ１は、カードスロット１５と、計時回路１６と、加速度センサ１７と、ＧＰＳ（Global Positioning System）受信部１８と、を備える。

カードスロット１５は、メモリカード８を着脱可能に構成される。なお、メモリカード８の代わりに、ハードディスクドライブ、光ディスク、光磁気ディスク、フレキシブルディスク等の他の記録媒体を用いてもよい。

ＲＡＭ１２のリングバッファに記憶された画像データ及び音声データ等は、ＣＰＵ１１の指示によって定期的にカードスロット１５に装着されたメモリカード８に記録される。

計時回路１６は、現在時刻に対応した信号を発生してＣＰＵ１１に出力する。

加速度センサ１７は、自車に加わる衝撃の大きさを示す加速度を、重力加速度のＧを単位として検出する。検出される加速度は、現在時刻における加速度の瞬間値であり、例えば、互いに直交する３軸あるいは２軸に応じた向きに大きさを持つ。加速度センサ１７は、このような加速度に対応した信号をＣＰＵ１１に出力する。

ＧＰＳ受信部１８は、複数のＧＰＳ衛星からの信号を受信して、現在時刻における車両の位置である自車位置を取得する。ＧＰＳ受信部１８は、地球上における経度緯度で表現された位置情報として自車位置を取得して、ＣＰＵ１１に出力する。なお、ＧＰＳ受信部１８は、ＧＰＳ衛星からの信号に基づき、正確な時刻を検出できる。このために、ＧＰＳ受信部１８が、計時回路１６に代わりに用いられてもよい。また、ＧＰＳ受信部１８は、計時回路１６の時刻を修正するために利用されてよい。

また、ＣＰＵ１１は、表示装置９に接続される。表示装置９は、自車の適所に配置される。表示装置９としては、例えば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、画像をフロントガラスに投影するヘッドアップディスプレイ等を用いることができる。

＜２．ドライブレコーダの映像再生機能＞
不揮発性メモリ１３に予め記憶されるプログラムに従ってＣＰＵ１１が演算処理を実行することによって、ＣＰＵ１１は、取得部１１ａと、変換部１１ｂと、生成部１１ｃと、表示制御部１１ｄと、を備える構成になる。

取得部１１ａは、メモリカード８に記憶されている撮影画像及び撮影場所に関する情報を取得する。

変換部１１ｂは、取得部１１ａによって取得された撮影画像を仮想投影面に投影して投影画像に変換する。具体的には、変換部１１ｂは、図３に示す仮想的な三次元空間における仮想投影面１００の第１領域Ｒ１にフロントカメラ２の撮影画像を投影して、フロントカメラ２の撮影画像を第１の投影画像に変換する。同様に、変換部１１ｂは、図３に示す仮想投影面１００の第２〜第４領域Ｒ２〜Ｒ４それぞれにバックカメラ３の撮影画像、左サイドカメラ４の撮影画像、及び右サイドカメラ５の撮影画像を投影して、バックカメラ３の撮影画像、左サイドカメラ４の撮影画像、及び右サイドカメラ５の撮影画像それぞれを第２〜第４の投影画像に変換する。

図３に示す仮想投影面１００は、例えば略半球状（お椀形状）をしている。仮想投影面１００の中心部分（お椀の底部分）は、自車Ｖ１が存在する位置として定められている。このように仮想投影面１００が曲面を含むようにすることで、自車Ｖ１から離れた位置に存在する物体の像の歪みを少なくすることができる。これにより、仮想視点画像において遠方まで風景を確認することができ、その結果、例えば事故・ヒヤリハットの検証や駐車場の出入口・インターチェンジの形状確認等が容易になる。また、第１〜第４領域Ｒ１〜Ｒ４それぞれは、隣接する他の領域と重複する部分を有している。このような重複部分を設けることで、領域の境界部分に投影される物体の像が投影画像から消失することを防止することができる。

生成部１１ｃは、複数の投影画像に基づいて仮想視点からみた仮想視点画像を生成する。具体的には、生成部１１ｃは、変換部１１ｂから第１〜第４の投影画像のデータを受け取り、第１〜第４の投影画像を仮想投影面１００の第１〜第４領域Ｒ１〜Ｒ４に仮想的に貼り付ける。

また、生成部１１ｃは、自車Ｖ１の三次元形状を示すポリゴンのモデルを仮想的に構成する。この自車Ｖ１のモデルは、仮想投影面１００が設定される仮想的な三次元空間において、自車Ｖ１が存在する位置として定められた位置（仮想投影面１００の中心部分）に第１領域Ｒ１が前側、第４領域Ｒ４が後ろ側に成るように配置される。

さらに、生成部１１ｃは、仮想投影面１００が設定される仮想的な三次元空間において、仮想視点を設定する。仮想視点は、視点位置及び視野方向によって規定される。仮想投影面１００の少なくとも一部が視野に入る限り、仮想視点の視点位置及び視野方向は、任意の視点位置及び任意の視野方向に設定することができる。

生成部１１ｃは、設定した仮想視点に応じて、仮想投影面１００における必要な領域（仮想視点からみえる領域）の画像を仮想的に切り出す。また、生成部１１ｃは、設定した仮想視点に応じて、ポリゴンのモデルに関してレンダリングを行い、自車Ｖ１のレンダリング像を生成する。そして、生成部１１ｃは、切り出した画像に対して自車Ｖ１のレンダリング像を重畳して仮想視点からみた仮想視点画像を生成する。なお、生成部１１ｃは、運転者等の操作部７に対する操作によって選択された指標に対応する仮想視点方向の仮想視点画像を再生映像として生成する。指標の詳細については後述する。

表示制御部１１ｄは、撮影場所を示す自車位置マークを含む地図画像を表示装置９に表示させ、仮想視点画像の仮想視点方向を選択するための複数の指標を自車位置マーク近傍に表示させる。また、表示制御部１１ｄは、再生画像を表示装置９に表示させる。

図４は、ドライブレコーダ１の映像再生動作例を示すフローチャートである。運転者等が操作部７に対して所定の操作を行うと、図４に示すフロー動作が開始される。

まず、表示制御部１１ａは、不揮発性メモリ１３に記憶されている地図情報及びメモリカード８に記憶されている運転状況を用いて、例えば図５に示すような自車の走行履歴経路２００を含む地図画像を表示装置９に表示させる（ステップＳ１０）。

次に、ＣＰＵ１１は、再生開始位置の選択があったか否かを判定する（ステップＳ２０）。運転者等が操作部７に対して走行履歴経路２００内の任意の位置を指定する操作を行った場合、ＣＰＵ１１は、指定された位置を再生開始位置とする。そして、表示制御部１１ａは、例えば図６に示すように再生開始位置に自車位置マーク３００を表示させ、自車位置マーク３００の近傍に仮想視点画像の仮想視点方向を選択するための指標「１」〜「１２」を表示させる（ステップＳ３０）。なお、図６に示す例では、自車位置マーク３００に対応する撮影場所を撮影されたフロントカメラ２１の撮影画像４００を表示装置９の表示画面の右上に表示しているが、撮影画像４００を表示しない表示形態であってもよい。また、本実施形態では指標の表記として数字を用いているが、アルファベット等の他の表記を用いてもよい。また、指標の数も１２個に限定されることはなく複数であればよい。

ドライブレコーダ１の記録方式がイベント記録方式である場合は、撮影場所が離散的であるためステップＳ１０において例えば図７に示すような各撮影場所に自車位置マーク３００及び指標を含む地図画像を表示させ、ステップＳ２０及びＳ３０を省略し、後述するステップＳ４０において再生開始位置及び指標が選択されているかを判定するようにしてもよい。

ステップＳ３０に続くステップＳ４０において、ＣＰＵ１１は、指標の選択があったか否かを判定する。一旦指標が選択されると、指標の選択変更する操作が行われるまでは同一の指標が選択され続ける。指標の選択操作としては、例えばタッチパネルを用いた選択操作、自車のステアリングやフロントパネルに設けられるアップ・ダウンキーを用いた選択操作等を挙げることができる。

指標の選択があった場合、生成部１１ｃは、選択された指標に対応する仮想視点方向の仮想視点画像を再生映像として生成する（ステップＳ５０）。これにより、地図画像に含まれる自車位置マーク３００の近傍に表示される指標を選択することで、自車位置マーク３００に対応する撮影場所での仮想視点画像の仮想視点方向を選択することができる。したがって、撮影場所との関係で運転者等が望む視点位置の仮想視点画像を再生映像として容易に選択することができる。

そして、表示制御部１１ｄは、生成部１１ｃによって生成された再生映像に仮想視点画像の仮想視点方向を選択するための指標「１」〜「１２」を重畳して表示させる（ステップＳ６０）。ステップＳ６０の処理が終わると、ステップＳ４０に戻ってフロー動作が継続される。

例えば図６に示す地図画像において指標「１」が選択された場合、表示装置９の表示画面は図６に示す地図画像から図８に示す再生映像に切り替わる。図８に示す再生映像は、指標「１」に対応する仮想視点方向の仮想視点画像、すなわち自車の前方右側の上方から俯瞰した仮想視点画像である。なお、仮想視点画像は自車のレンダリング像ＲＤ１を含んでいる。

図８に示す例では、生成部１１ｃによって生成された再生映像に仮想視点画像の仮想視点方向を選択するための指標「１」〜「１２」が重畳して表示されているので、図８に示す再生映像から図６に示す地図画像に戻ることなく、仮想視点方向の選択を変更することができる。したがって、仮想視点方向の選択変更に関する操作性が向上する。

上述したステップＳ３０及びＳ６０における指標の表示において、例えば図９に示すように、表示制御部１１ｄは、自車位置マーク３００に重畳する指標５００を表示装置９に表示させ、自車位置マーク３００に重畳する指標５００が選択された場合に、自車の真上からみた仮想視点方向の仮想視点画像が再生映像となるようにしてもよい。これにより、自車の真上からみた仮想視点方向を選択することが容易になる。なお、自車位置マーク３００と指標５００とを同一のマークとし、自車位置マーク３００が選択されたときに自車の真上からみた仮想視点方向が選択されるようにしてもよい。

また、上述したステップＳ３０及びＳ６０における指標の表示において、例えば図１０に示すように、自車の外部からみた仮想視点方向に対応する指標「１」〜「１２」と、自車の内部からみた仮想視点方向に対応する指標「１’」〜「１２’」と、を自車位置マーク３００近傍に表示させてもよい。これにより、自車の外部からみた仮想視点方向のみならず、自車の内部からみた仮想視点方向も選択することが容易になる。例えば、指標「１’」が選択された場合、自車の運転者が自車の後方左側を自車が透過した状態でみたような仮想視点画像が表示される。このような仮想視点画像では自車のレンダリング像を透明又は半透明としている。なお、指標「１’」〜「１２’」を表示する代わりに、自車のステアリングやフロントパネルに設けられるアップ・ダウンキーを用いた選択操作によって自車の外部からみた仮想視点方向と自車の内部からみた仮想視点方向とを切り替えるようにしてもよい。

また、上述したステップＳ３０及びＳ６０における指標の表示において、例えば図１１に示すように、第１の俯角でみた仮想視点方向に対応する指標「１」〜「１２」と、第１の俯角と異なる第２の俯角でみた仮想視点方向に対応する指標「１’」〜「１２’」と、第１の俯角及び第２の俯角と異なる第３の俯角でみた仮想視点方向に対応する指標「１”」〜「１２”」と、を自車位置マーク３００近傍に表示させてもよい。これにより、撮影場所との関係で運転者等が望む俯角の仮想視点画像を選択することが容易になる。なお、指標「１’」〜「１２’」及び「１”」〜「１２”」を表示する代わりに、自車のステアリングやフロントパネルに設けられるアップ・ダウンキーを用いた選択操作によって俯角を切り替えるようにしてもよい。また、俯角の切り替えは３段階に限定されることはなく、２段階であってもよく４段階以上であってもよい。

＜３．変形例＞
上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。上述した実施形態において説明した種々の変形例は互いに矛盾しない限り適宜組合せて実施することができる。

例えば上述した実施形態では、仮想投影面１００が曲面を含んでいたが、仮想投影面を平面にすることも可能である。また、上述した実施形態では、生成部１１ｃが、車両の外部からみた仮想視点画像のみならず、車両の内部からみた仮想視点画像も生成できたが、車両の外部からみた仮想視点画像のみを生成するようにしてもよい。

また、上述したドライブレコーダ１のＣＰＵ１１が備える取得部１１ａ、変換部１１ｂ、生成部１１ｃ、及び表示制御部１１ｄと同様の機能をドライブレコーダ１以外の装置（例えばパーソナルコンピュータ）に搭載し、そのドライブレコーダ１以外の装置がメモリカード８で記録された撮影画像に基づく再生映像を出力するようにしてもよい。

また、自車に車内撮影用カメラを搭載し、ドライブレコーダ１が車内撮影用カメラの撮影画像もメモリカード８に記録するようにし、車内撮影用カメラの撮影画像が再生映像として選択できるようにしてもよい。

例えば上述した実施形態では、メモリカード８に記憶された撮影画像に基づく仮想視点画像の仮想視点方向を選択するために指標を用いたが、運転支援等を目的として自車の走行中に仮想視点画像をリアルタイムで表示装置に表示させる際にも同様の指標を用いて仮想視点方向を選択できるようにしてもよい。すなわち、現在走行中である自車の位置を示す自車位置マークを含む地図画像を表示装置に表示させ、仮想視点画像の仮想視点方向を選択するための複数の指標を自車位置マーク近傍に表示させてもよい。

なお、現在走行中である自車の位置を示す自車位置マークを含む地図画像の表示は、自車の進行方向を常に上に表示するヘッドアップ表示と、北を上に表示するノースアップ表示とがある。図６に示す地図画像もノースアップ表示であるため、現在走行中である自車の位置を示す自車位置マークを含む地図画像をノースアップ表示にしている場合には図６に示す地図画像と同様に図１２（ａ）に示すように自車の進行方向に「１２」の数字を割り当て、現在走行中である自車の位置を示す自車位置マークを含む地図画像をヘッドアップ表示にしている場合には図６に示す地図画像と異なり例えば図１２（ｂ）に示すように自車の進行方向に「０」の数字を割り振ればよい。これにより、指標を確認する事でヘッドアップ表示とノースアップ表示との混同を容易に防止することができる。

また、現在走行中である自車の位置を示す自車位置マークを含む地図画像の表示として、ノーマル表示（平面表示）とスカイビュー表示（鳥瞰表示）との切替が可能である場合、例えばノーマル表示では指標近傍に表示される円盤を真円形状とし、スカイビュー表示では指標近傍に表示される円盤を歪んだ円形状としてもよい。

例えば上述した実施形態では、図８に示すように再生映像を全画面表示したが、図１３に示すように、再生映像である仮想視点画像６００をピクチャー・イン・ピクチャー（ＰｉｎＰ）表示してもよい。この場合、ステップＳ６０において、図６に示す表示から図１３に示す表示に切り替わっても、自車位置マーク３００及び仮想視点画像の仮想視点方向を選択するための指標が重畳された地図画像の表示は維持される。図１３に示す表示においても、図８に示す表示と同様に、仮想視点画像の仮想視点方向を選択するための指標が表示されるので、図１３に示す表示から図６に示す表示に戻ることなく、仮想視点方向の選択を変更することができる。

例えば上述した実施形態では、運転者等の操作部７に対する操作によって指標が選択された後、選択された指標に応じた仮想視点画像が生成されたが、運転者等の操作部７に対する操作によって指標が選択される前に複数の仮想視点方向の仮想視点画像を生成してメモリカード８に記憶し、運転者等の操作部７に対する操作によって指標が選択された場合に、選択された指標に応じた仮想視点画像を再生映像として選択するようにしてもよい。このような構成では、上述した実施形態と比較して、必要なメモリカード８の記録容量が大きくなるものの、上述した実施形態と同様の効果を得ることができる。

１ ドライブレコーダ（映像再生システム）
２ フロントカメラ
３ バックカメラ
４ 左サイドカメラ
５ 右サイドカメラ
９ 表示装置
１１ａ 取得部
１１ｂ 変換部
１１ｃ 生成部
１１ｄ 表示制御部
３００ 自車位置マーク
５００ 指標

Claims (10)

1. 車両の走行中に前記車両の周辺を撮影する複数のカメラそれぞれで得られた撮影画像及び前記撮影画像が撮影された撮影場所に関する情報を取得する取得部と、
   前記撮影画像を仮想投影面に投影して投影画像に変換する変換部と、
   複数の前記投影画像に基づいて仮想視点からみた仮想視点画像を生成する生成部と、
   前記撮影場所を示す自車位置マークを含む地図画像を表示装置に表示させ、前記仮想視点画像の仮想視点方向を選択するための複数の指標を前記自車位置マーク近傍に表示させる表示制御部と、を備え、
   前記生成部は、ユーザー操作によって選択された前記指標に対応する仮想視点方向の前記仮想視点画像を再生映像として生成し、
   前記表示制御部は、前記再生映像に複数の前記指標を重畳して表示させる、映像再生装置。
2. 車両の走行中に前記車両の周辺を撮影する複数のカメラそれぞれで得られた撮影画像を仮想投影面に投影して得られる投影画像に基づいて生成されるそれぞれ異なる仮想視点からみた複数の仮想視点画像及び前記撮影画像が撮影された撮影場所に関する情報を取得する取得部と、
   前記撮影場所を示す自車位置マークを含む地図画像を表示装置に表示させ、前記仮想視点画像の仮想視点方向を選択するための複数の指標を前記自車位置マーク近傍に表示させる表示制御部と、
   ユーザー操作によって選択された前記指標に対応する仮想視点方向の前記仮想視点画像を再生映像として選択する選択部と、を備え、
   前記表示制御部は、前記再生映像に複数の前記指標を重畳して表示させる、映像再生装置。
3. 前記仮想投影面が曲面を含む、請求項１又は請求項２に記載の映像再生装置。
4. 前記表示制御部は、前記自車位置マークに重畳する前記指標を前記表示装置に表示させ、
   前記自車位置マークに重畳する前記指標がユーザー操作によって選択された場合に、前記車両の真上からみた仮想視点方向の前記仮想視点画像が前記再生映像となる、請求項１〜３のいずれか一項に記載の映像再生装置。
5. 車両の走行中に前記車両の周辺を撮影する複数のカメラそれぞれで得られた撮影画像及び前記撮影画像が撮影された撮影場所に関する情報を取得し、
   前記撮影画像を仮想投影面に投影して投影画像に変換し、
   複数の前記投影画像に基づいて仮想視点からみた仮想視点画像を生成し、
   前記撮影場所を示す自車位置マークを含む地図画像を表示装置に表示させ、前記仮想視点画像の仮想視点方向を選択するための複数の指標を前記自車位置マーク近傍に表示させる、制御装置を備え、
   前記制御装置は、ユーザー操作によって選択された前記指標に対応する仮想視点方向の前記仮想視点画像を再生映像として生成し、前記再生映像に複数の前記指標を重畳して表示させる、映像再生装置。
6. 車両の走行中に前記車両の周辺を撮影する複数のカメラそれぞれで得られた撮影画像及び前記撮影画像が撮影された撮影場所に関する情報を取得する取得部と、
   前記撮影画像を仮想投影面に投影して投影画像に変換する変換部と、
   複数の前記投影画像に基づいて仮想視点からみた仮想視点画像を生成する生成部と、
   前記撮影場所を示す自車位置マークを含む地図画像を表示装置に表示させ、前記仮想視点画像の仮想視点方向を選択するための複数の指標を前記自車位置マーク近傍に表示させる表示制御部と、を備え、
   前記生成部は、ユーザー操作によって選択された前記指標に対応する仮想視点方向の前記仮想視点画像を再生映像として生成し、
   前記表示制御部は、前記車両の外部からみた仮想視点方向に対応する前記指標と、前記車両の内部からみた仮想視点方向に対応する前記指標と、を前記自車位置マーク近傍に表示させる、映像再生装置。
7. 車両の走行中に前記車両の周辺を撮影する複数のカメラそれぞれで得られた撮影画像及び前記撮影画像が撮影された撮影場所に関する情報を取得する取得部と、
   前記撮影画像を仮想投影面に投影して投影画像に変換する変換部と、
   複数の前記投影画像に基づいて仮想視点からみた仮想視点画像を生成する生成部と、
   前記撮影場所を示す自車位置マークを含む地図画像を表示装置に表示させ、前記仮想視点画像の仮想視点方向を選択するための複数の指標を前記自車位置マーク近傍に表示させる表示制御部と、を備え、
   前記生成部は、ユーザー操作によって選択された前記指標に対応する仮想視点方向の前記仮想視点画像を再生映像として生成し、
   前記表示制御部は、第１の俯角でみた仮想視点方向に対応する前記指標と、前記第１の俯角と異なる第２の俯角でみた仮想視点方向に対応する前記指標と、を前記自車位置マーク近傍に表示させる、映像再生装置。
8. 車両の走行中に前記車両の周辺を撮影する複数のカメラそれぞれで得られた撮影画像及び前記撮影画像が撮影された撮影場所に関する情報を記録する記録装置と、
   前記記録装置で記録された前記撮影画像に基づく再生映像を出力する請求項１〜７のいずれか一項に記載の映像再生装置と、を備える、映像再生システム。
9. 車両の走行中に前記車両の周辺を撮影する複数のカメラそれぞれで得られた撮影画像及び前記撮影画像が撮影された撮影場所に関する情報を取得する取得工程と、
   前記撮影画像を仮想投影面に投影して投影画像に変換する変換工程と、
   複数の前記投影画像に基づいて仮想視点からみた仮想視点画像を生成する生成工程と、
   前記撮影場所を示す自車位置マークを含む地図画像を表示装置に表示させ、前記仮想視点画像の仮想視点方向を選択するための複数の指標を前記自車位置マーク近傍に表示させる表示制御工程と、を備え、
   前記生成工程は、ユーザー操作によって選択された前記指標に対応する仮想視点方向の前記仮想視点画像を再生映像として生成し、
   前記表示制御工程は、前記再生映像に複数の前記指標を重畳して表示させる、映像再生方法。
10. 車両の走行中に前記車両の周辺を撮影する複数のカメラそれぞれで得られた撮影画像を仮想投影面に投影して得られる投影画像に基づいて生成されるそれぞれ異なる仮想視点からみた複数の仮想視点画像及び前記撮影画像が撮影された撮影場所に関する情報を取得する取得工程と、
    前記撮影場所を示す自車位置マークを含む地図画像を表示装置に表示させ、前記仮想視点画像の仮想視点方向を選択するための複数の指標を前記自車位置マーク近傍に表示させる表示制御工程と、
    ユーザー操作によって選択された前記指標に対応する仮想視点方向の前記仮想視点画像を再生映像として選択する選択工程と、を備え、
    前記表示制御工程は、前記再生映像に複数の前記指標を重畳して表示させる、映像再生方法。

Images