JP7600076B2 - 画像処理装置、移動装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、移動装置の後方を撮影可能な画像処理装置、移動装置、画像処理方法およびプログラムに関するものである。

特許文献１には、通常走行時は画像の中心部を表示部に表示し、後続車との距離が閾値以下である場合には、圧迫感を減らすために広角の画像を表示部に表示する方法が記載されている。

特開２０１８－７４５５８号公報

しかしながら、特許技術１では、表示部内に表示されている後続車との距離に基づいて広角の画像への切替を判定しているため、表示部外の領域から危険な車が接近して来たときに危険に気づくことが困難であるという課題がある。

そこで、本発明では、後方の状況を視認できるようにすることを目的とする。

上記の課題を解決するために、本発明に係る画像処理装置は低歪曲領域と高歪曲領域を有する光学像を受光面に形成する光学系を有すると共に第１の移動装置の後方を撮影する撮像手段と、
前記撮像手段で生成された撮像データを歪曲補正して画像データを生成する画像処理手段と、
前記画像データから前記低歪曲領域の光学像に対応する領域が切り出された第１の画像データを表示部に表示させる表示制御手段と、
前記画像データから所定の条件を満たす第２の移動装置を検知する検知手段と、
を有し、
前記表示制御手段は、前記検知手段により前記第２の移動装置が検知された場合に、前記第２の移動装置を含むように、前記画像データから前記高歪曲領域および前記低歪曲領域の光学像に対応する領域が切り出された第２の画像データを前記表示部に表示させ、
前記第２の画像データは、前記画像データから前記第１の画像データより広い領域が切り出されて生成される。

本発明によれば、後方の状況を視認することができる。

図１（Ａ）は実施形態１における移動装置および撮像装置システムの側面図である。図１（Ｂ）は実施形態１の光学系２０１による撮像素子の受光面上での各半画角における像高ｙを等高線状に示した図、図１（Ｃ）は実施形態１の光学系２０１の像高ｙと半画角θとの関係を表す射影特性を表した図である。 実施形態１における画像処理装置２００の構成例を説明するためのブロック図である。 処理部２２０が実行する画角切り替え処理プログラムの１例を示すフローチャートである。 実施形態２における画像処理装置４００の構成例を説明するためのブロック図である。 実施形態２において、後方車両のウィンカー動作をもとに表示画角を変更する制御を行う例を示すフローチャートである。 実施形態３における画像処理装置６００の構成例を説明するためのブロック図である。 実施形態４において、後方車両の蛇行運転を検知して表示画角を変更する制御を行う例を示すフローチャートである。 実施形態４における画像処理装置８００の構成例を説明するためのブロック図である。 実施形態４において、後方車両とのパッシング動作を検知して表示画角を変更する制御を行う例を示すフローチャートである。

以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。なお、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。

［実施形態１］
図１（Ａ）は、実施形態１における移動装置および撮像装置システムの側面図である。図１（Ａ）に示すように、移動装置１０（第１の移動装置）には、撮像手段としての撮像装置２０が搭載されている。ここで述べる移動装置１０とは、例えば自動車のような公道を走る車両であり、運転者４０が搭乗し、任意の場所へ移動可能なものである。

移動装置１０には、移動装置１０を移動させるためのエンジンやモータ等の駆動源、駆動源を制御する駆動制御部、撮像装置２０で撮影された画像データを表示するための表示部を含む画像処理装置２００が設けられている。また、それらを含めて移動装置が構成されている。

撮像装置２０の光学系２０１は、複数枚のレンズを組み合わせ、２つの異なる画角を撮像部２１０の受光面上に結像させる。１つ目の画角は、通常視野範囲３０を撮像範囲とする、高解像度で低歪曲の狭画角である。この画角は、移動装置１０の通常走行時に高解像度で移動装置１０の後方を観測する場合などに用いられる。もう１つの画角は、広角視野範囲３１を撮像範囲とする、通常視野範囲３０を含んだより広い範囲を写す広画角である。この画角は移動装置１０の例えばバック走行時などに自車後方を広角に撮像するために用いられる。

図１（Ｂ）および図１（Ｃ）を参照して、光学系２０１の光学特性を説明する。図１（Ｂ）は、撮像部２１０に含まれる撮像素子の受光面上での各半画角における像高ｙを等高線状に示した図である。図１（Ｃ）は、実施形態１の光学系２０１の像高ｙと半画角θとの関係を表す射影特性を表した図である。図１（Ｃ）では、半画角（光軸と入射光線とがなす角度）θを横軸とし、撮像部２１０に含まれる撮像素子の受光面上（像面上）での結像高さ（像高）ｙを縦軸として示している。

光学系２０１は、図１（Ｃ）に示すように、所定の半画角θａ未満の領域と半画角θａ以上の領域でその射影特性ｙ（θ）が異なるように構成されている。従って、単位あたりの半画角θに対する像高ｙの増加量を解像度というとき解像度が領域によって異なる。この局所的な解像度は、射影特性ｙ（θ）の半画角θでの微分値ｄｙ（θ）／ｄθで表されるともいえる。例えば、図１（Ｃ）の射影特性ｙ（θ）の傾きが大きいほど解像度が高いといえる。また、図１（Ｂ）の等高線状の各半画角における像高ｙの間隔が大きいほど解像度が高いともいえる。

実施形態１においては、半画角θが所定の半画角θａ未満のときに撮像素子の受光面上に生成される中心寄りの領域を高解像度領域２０１ａ、半画角θが所定の半画角θａ以上の外寄りの領域を低解像度領域２０１ｂと呼ぶ。なお、高解像度領域２０１ａの画角は前述の通常視野範囲３０に対応しており、高解像度領域２０１ａの画角と低解像度領域２０１ｂの画角を合わせた画角は広角視野範囲３１に対応している。また、実施形態１において、高解像度領域２０１ａは歪曲が相対的に少ない低歪曲領域であり、低解像度領域２０１ｂは歪曲が相対的に多い高歪曲領域となっている。従って、実施形態１においては、高解像度領域、低解像度領域をそれぞれ低歪曲領域、高歪曲領域と呼ぶことがある。

光学系２０１は、高解像度領域（低歪曲領域）２０１ａにおいてその射影特性ｙ（θ）がｆ×θよりも大きくなるように構成されている（ｆは光学系２０１の焦点距離）。また、高解像度領域（低歪曲領域）における射影特性ｙ（θ）は低解像度領域（高歪曲領域）における射影特性とは異なるように設定されている。

θｍａｘを光学系２０１が有する最大の半画角とする場合は、θａとθｍａｘの比θａ／θｍａｘは所定の下限値以上であることが望ましく、例えば所定の下限値として０．１５～０．１６が望ましい。また、θａとθｍａｘの比θａ／θｍａｘは所定の上限値以下であることが望ましく、例えば０．２５～０．３５とすることが望ましい。例えば、θａを９０°とし、所定の下限値を０．１５、所定の上限値０．３５とする場合、θａは１３．５～３１．５°の範囲で決定することが望ましい。

さらに、光学系２０１は、その射影特性ｙ（θ）が、以下の数１も満足するように構成されている。

ここで、ｆは前述のように光学系２０１の焦点距離であり、Ａは所定の定数である。下限値を１とすることで、同じ最大結像高さを有する正射影方式（ｙ＝ｆ×ｓｉｎθ）の魚眼レンズよりも中心解像度を高くすることができ、上限値をＡとすることで、魚眼レンズ同等の画角を得つつ良好な光学性能を維持することができる。所定の定数Ａは、高解像度領域と、低解像度領域の解像度のバランスを考慮して決めればよく、１．４～１．９となるようにするのが望ましい。

以上のように光学系２０１を構成することで、高解像度領域２０１ａにおいては、高解像度が得られる一方、低解像度領域２０１ｂでは、単位あたりの半画角θに対する像高ｙの増加量を小さくし、より広い画角を撮像することが可能になる。従って、魚眼レンズと同等の広画角を撮像範囲としつつ、高解像度領域２０１ａにおいては、高い解像度を得ることができる。

実施形態１では、高解像度領域（低歪曲領域）においては、通常の撮像用の光学系の射影特性である中心射影方式（ｙ＝ｆ×ｔａｎθ）や等距離射影方式（ｙ＝ｆ×θ）に近似した射影特性としている。従って、光学歪曲が小さく、精細に表示することが可能となる。従って、後方車両などを目視する際における自然な遠近感が得られると共に、画質の劣化を抑えて良好な視認性を得ることができる。

なお、上述の数式１の条件を満たす射影特性ｙ（θ）であれば、同様の効果を得ることができるため、実施形態１は図２に示した射影特性に限定されない。なお、実施形態１では、上述の数式１の条件を満たす射影特性ｙ（θ）を有する光学系２０１を異画角レンズと呼ぶ場合がある。

図２は、実施形態１における画像処理装置２００の構成例を説明するためのブロック図である。なお、図２に示す１つ以上の構成要素は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよい。後述の図４、図６，図８に示すブロック図についても同様である。

画像処理装置２００は、車両後方に設置された撮像装置２０にて撮像した画像を、車内の表示装置に表示するシステムである。画像処理装置２００は、撮像装置２０、処理部２２０、表示部２３０を有している。撮像装置２０は、図１（Ｂ）、図１（Ｃ）で説明した構成の光学系２０１と撮像部２１０により構成されている。ここで、撮像装置２０は、低歪曲領域と高歪曲領域を有する光学像を受光面に形成する光学系２０１を有すると共に第１の移動装置の後方を撮影する撮像ステップを実行する撮像部として機能している。

処理部２２０は、画像処理部２２１、表示画角判定部２２４、ユーザー設定変更部２２６、後方車両距離検知部２２３、バックギア検知部２２５、表示画角変更部２２２により構成されている。なお、処理部２２０に含まれるコンピュータ（ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロコンピュータなど）は、記憶媒体に記憶されたコンピュータプログラムに基づき、画像処理装置２００の各構成要素の動作を制御する制御部として機能している。

撮像部２１０は、撮像素子（ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等）を含み、光学系２０１により結像された光学的な被写体像を撮像データに変換し、画像処理部２２１に供給する。

画像処理部２２１は、画像処理手段として機能し、撮像部２１０から取得した撮像データに対してＷＤＲ（Ｗｉｄｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）補正、ガンマ補正、ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）処理、歪曲補正等の処理を行い画像データを生成する。

なお、歪曲補正は少なくとも高歪曲領域（低解像度領域２０１ｂ）の撮像データに対して行われる。これにより、表示部２３０に表示した際に視認しやすく、また後方車両距離検知部２２３における認識率が向上する。なお、低歪曲領域（高解像度領域２０１ａ）の撮像データに対しては歪曲補正をしなくてもよい。画像処理部２２１は上記のような画像処理ステップを実行し、それにより生成された画像データは表示画角変更部２２２と後方車両距離検知部２２３に供給される。

表示画角判定部２２４は後述する後方車両距離検知部２２３にて取得した距離情報、後述するバックギア検知部２２５の検知結果をもとに表示部２３０に表示する画像を広角視野範囲３１にするか、通常視野範囲３０にするかを判定する。そして、判定結果に応じて表示画角変更部２２２に通知する。例えば、後方車両距離検知部２２３にて取得した距離情報がある閾値以下（例えば、３ｍ）となった場合は、表示画角を広角視野範囲３１と判定し、閾値より大きくなった場合は通常視野範囲３０と判定する。

また、バックギア検知部２２５よりトランスミッションがバックギアに入っているという通知があった場合は、表示画角を広角視野範囲３１とし、バックギアに入っていない場合は、表示画角を通常範囲とする。さらに、バックギアが検知されている状態では、後方車両距離検知部２２３の結果にかかわらず表示画角を広角視野範囲３１とする。バックギアに入っていない場合は、後方車両距離検知部２２３の結果に応じて表示画角を決定する。また、後述する後方車両距離検知部２２３より、車種情報を受け取ることで、車種に応じて画角変更の判定基準を変えてもよい。例えば、トラックなどの大型車両の場合は制動距離が普通車と比較して長くなるため、普通車と比較して前記閾値を例えば１０ｍなどと長くする。

ユーザー設定変更部２２６は、表示画角判定部２２４にて広角画角に変更するかどうかの判定基準をユーザー自身で変更するためのものである。変更した内容は表示画角判定部２２４に入力される。

後方車両距離検知部２２３は、検知手段として機能しており、画像処理部２２１が処理した画像を用いて、広角視野範囲３１のうち通常視野範囲３０を含まない領域内の画像データに存在する後方車両の距離を取得する。例えば、後方車両距離検知部２２３は、高歪曲領域を含む領域の画像データのうち、後述の第１の画像データ以外の画像データに基づき車両を検出し、検出した車両の位置およびに大きさの変化などから、自車と検出した車両の距離を計算する。後方車両距離検知部２２３が計算した距離情報を表示画角判定部２２４へ通知する。

さらに、後方車両距離検知部２２３は、予め収集された多数の車両の画像から深層学習などの機械学習の結果として抽出さえた車種ごとの形状や色彩などの画像的特徴に関するデータに基づいて、車種の判定をしてもよい。そして、車種情報も併せて表示画角判定部２２４へ通知してもよい。

バックギア検知部２２５は、自車がバックギアに入っているかどうかを検知する。検知結果は表示画角判定部２２４に通知する。

表示画角変更部２２２は、表示部２３０で表示する画像の生成を行う。表示画角判定部２２４にて、通常視野範囲３０での表示をすることが通知された場合は、画像処理部２２１で処理された画像データ内の通常視野範囲３０（低歪曲領域）の中から矩形の挟角画像（第１の画像データ）の切り出しを行い表示部２３０に供給する。それによって表示部２３０に第１の画像データを表示させる。

また、高歪曲領域を含む領域の画像データから所定の条件を満たす第２の移動装置を検知した場合には、高歪曲領域の第２の移動装置を含む第２の画像データを表示させる。なお、第２の画像データは低歪曲領域の画像を含んでもよい。ここで、表示画角変更部２２２は、表示制御部として、画像データ内の低歪曲領域から切り出した第１の画像データを表示させる第１の表示制御ステップと、所定の条件において上記の第２の画像データを表示させる第２の表示制御ステップとを有する。

画像の切り出しは、画像処理部２２１にて処理された画像のデータをＲＡＭなどのメモリに格納し、切り出したい画像の読み出しを行うことで行われる。第１の画像データの切り出しを行う位置は、光学系２０１にて結像された画像のうち、高解像度領域２０１ａに対応した通常視野範囲３０内の矩形領域である。また、前記第２の移動装置が検知されて表示画角判定部２２４にて、広角視野範囲３１での表示をすることが通知された場合は、広角視野範囲３１であって、第２の移動装置を含む矩形の広角画像（第２の画像データ）を表示部２３０に供給する。従って、高歪曲領域の第２の移動装置を含む第２の画像データが表示される。

表示画角変更部２２２が表示部２３０に供給する画像は、表示部２３０の大きさに最適なサイズになるように画像の拡大、縮小処理を施して表示部２３０に供給する。表示領域を第１の画像データから第２の画像データへ切り替える際には遷移時間ｔ１をかけて徐々に広がっていくように遷移する。また、第２の画像データから第１の画像データに戻すときには、遷移時間ｔ２をかけて徐々に狭まっていくように遷移する。例えば、表示制御部は、第１の画像データと第２の画像データの表示の切替をする際に所定の遷移時間を持たせる。ここで遷移時間ｔ１と遷移時間ｔ２は異なり、例えば０＜ｔ１＜ｔ２とする。

また、遷移時間ｔ１は緊急度に応じて時間を変更してもよい。例えば、急速に移動装置１０に近づく後方からの第２の移動装置が検出されたときには、遷移時間ｔ１を、より短い時間になるようにする。なお、短時間で第２の画像データに切替える条件を満たす／満たさないを繰り返してしまうと表示部２３０の画像を視認しにくくなるので、第２の画像データから第１の画像データに切替える際には所定の待機時間ｔ３を設ける。待機時間ｔ３の設定範囲は０ｓｅｃより長い時間を設定する。なお、第２の画像データから第１の画像データに表示を切替える際の条件（閾値）と、第１の画像データから第２の画像データに表示を切替える際の条件（閾値）は異ならせることが望ましい。

表示部２３０は、液晶ディスプレイや有機ＥＬなどの表示部で、表示制御手段としての表示画角変更部２２２から供給されてきた画像データの表示を行う表示手段として機能している。また、表示部２３０は例えば移動装置１０のウインドシールドの上側に配置され、電子ルームミラーとして使われる。

図３は、処理部２２０が実行する画角切り替え処理プログラムの１例を示すフローチャートである。図３におけるフローは移動装置１０の動力源が始動状態になることで開始され、動力源が駆動中は継続的に実行される。また、図３に示す各ステップは、処理部２２０に含まれるコンピュータが記憶媒体に記憶されたコンピュータプログラムを実行することによって制御される。

ステップＳ３０１では、バックギア検知部２２５が自車がバックギアに入っているか否かを判定し、判定結果を表示画角判定部２２４に通知する。自車がバックギアに入っていると判定された場合は、ステップＳ３０２の処理に移行する。バックギアに入っていないと判定された場合は、ステップＳ３０３の処理に移行する。

ステップＳ３０２では、表示画角変更部２２２が表示画角判定部２２４より広角画像への切替え通知を受け取り、画像処理部２２１で処理された広角視野範囲３１を含む矩形の広角画像（第３の画像データ）を表示部２３０に供給する。例えば、ステップＳ３０２において、表示画角変更部２２２は、第１の移動装置の後退時に、第１の移動装置の後方の高歪曲領域を含む第３の画像データを表示させている。なお、第３の画像データの広角画像は第２の画像データの広角画像とは異なる範囲でよい。表示部２３０は、表示画角変更部２２２から供給された広角画像（第３の画像データ）を表示し、ステップＳ３０４に移行する。

ステップＳ３０４では、バックギア検知部２２５が自車が継続してバックギアに入っているか否かを判定し、判定結果を表示画角判定部２２４に通知する。バックギアに入っている状態が継続している間は、ステップＳ３０４の処理が繰り返される。バックギアが検出されなくなった場合は、ステップＳ３０５の処理に移行する。

ステップＳ３０５では、表示画角変更部２２２が表示画角判定部２２４より通常画角画像への切替え通知を受け取り、画像処理部２２１が処理した画像から通常画角範囲から切り取った矩形の挟角画像（第１の画像データ）を表示部２３０に供給する。表示部２３０は表示画角変更部２２２から供給された挟角画像（第１の画像データ）を表示し、一連の処理を終了する。

ステップＳ３０３では、表示画角変更部２２２が表示画角判定部２２４より通常画角画像への切替え通知を受け取り、画像処理部２２１が処理した画像から通常画角範囲の切り取りを行った挟角画像（第１の画像データ）を表示部２３０に供給する。表示部２３０が表示画角変更部２２２から供給された挟角画像（第１の画像データ）に切り替わったら、ステップＳ３０６に移行する。

ステップＳ３０６では、後方車両距離検知部２２３において、高歪曲領域を含む領域の画像データのうち、第１の画像データ以外の画像データに基づき、自車と後方車両の距離の計測を行い、距離が閾値（例えば３ｍ）未満となっているか否かを判定する。自車との距離が閾値未満の後方車両がある場合は、ステップＳ３０７に移行する。この場合、ステップＳ３０６は、高歪曲領域を含む領域の画像データから所定の条件を満たす第２の移動装置を検知する検知ステップとして機能している。

実施形態１においては、上記の所定の条件を満たす第２の移動装置とは、高歪曲領域を含む領域の画像データのうち、第１の画像データ以外の画像データにおいて、自車との距離が所定距離未満（例えば３ｍ未満）に存在する（斜め）後方の車両を指す。高歪曲領域を含む領域の画像データのうち、第１の画像データ以外の画像データにおいて、自車との距離が閾値以下である後方車両が存在しない場合は、斜め後方に車両がいないと判定される。そして、表示部２３０における挟角画像の表示を変更せずに、そのまま一連の処理を終了する。上記の距離の閾値は、ユーザー設定変更部２２６にてユーザーが変更可能とする。

ステップＳ３０７では、表示画角変更部２２２が表示画角判定部２２４より広角画像への切替え通知を受け取り、高歪曲領域の前記第２の移動装置を含む広角画像（第２の画像データ）を表示部２３０に供給する。表示部２３０が表示画角変更部２２から供給された広角画像（第２の画像データ）に切り替わったら、ステップＳ３０８に移行する。

ステップＳ３０８では、高歪曲領域を含む領域の画像データのうち、第１の画像データ以外の画像データにおいて、自車と後方車両の距離の計測を行う。そして、距離が閾値より以上（例えば、３ｍ）となっているかどうかの判定を表示画角判定部２２４にて行う。例えば、斜め後方車両との距離が所定の閾値以上となっているか否か判定する。自車との距離が閾値未満である斜め後方車両等がある場合は、ステップＳ３０８の処理が繰り返される。

自車と斜め後方車両との距離が閾値以上となった場合はステップＳ３０９に移行する。ステップＳ３０８における距離の閾値もユーザー設定変更部２２６にてユーザーが変更可能とする。さらに、ステップＳ３０６で設定した閾値とステップＳ３０８で設定した閾値は別の値とすることも可能である。

ステップＳ３０９では、表示画角変更部２２２が表示画角判定部２２４より通常画角画像への切替え通知を受け取った後、所定の待機時間ｔ３の間は広角画像（第２の画像データ）の表示状態のままとする。待機時間ｔ３経過後、挟角画像（第１の画像データ）を表示部２３０に供給し、表示部２３０が表示画角変更部２２２から供給された挟角画像（第１の画像データ）に切り替わえた後、一連の処理を終了する。

なお、前述のように、後方車両距離検知部２２３により第２の移動装置の種類を検知可能としてもよい。そして、当該種類に応じて、第２の画像データを表示させる条件（例えば第２の移動装置として検知する際の、後方の車両までの距離の閾値等）を異ならせるようにしてもよい。

［実施形態２］
図４は、実施形態２における画像処理装置４００の構成例を説明するためのブロック図である。画像処理装置４００と実施形態１の画像処理装置２００との違いは、処理部２２０が、後方車両距離検知部２２３の代わりに後方車両ウィンカー検知部４２４を有している点である。また、画像処理部２２１が処理した画像が表示画角変更部２２２と後方車両ウィンカー検知部４２４に供給される点である。

表示画角判定部２２４は、後方車両ウィンカー検知部４２４からの検知情報、バックギア検知部２２５の検知結果をもとに表示部２３０に表示する画像を広角視野範囲３１にするか、通常視野範囲３０にするかを判定する。そして、判定結果を表示画角変更部２２２に通知する。後方車両ウィンカー検知部４２４にて後方よりウィンカーを出す車が検知されたと通知された場合は、表示画角を広角視野範囲３１（第２の画像データ）とし、検知されない場合は通常視野範囲３０（第１の画像データ）とする。

また、バックギア検知部２２５よりバックギアに入っているという通知があった場合は、表示画角を広角視野範囲３１（第３の画像データ）とし、バックギアに入っていない場合は、表示画角を通常視野範囲３０（第１の画像データ）とする。さらに、バックギアが検知されている状態では、後方車両ウィンカー検知部４２４の結果にかかわらず表示画角を広角視野範囲３１（第３の画像データ）とする。バックギアに入っていない場合は、後方車両ウィンカー検知部４２４の結果に応じて第１の画像データまたは第２の画像データを表示する。

後方車両ウィンカー検知部４２４は、画像処理部２２１が処理した画像に対して、後方車両のウィンカー動作を検知し、検知した情報を表示画角判定部２２４へ通知する。ここで、後方車両ウィンカー検知部４２４は、所定の条件（例えば連続して３回以上）でウィンカーを点滅させている移動装置を第２の移動装置として検知する。

図５は、実施形態２において、後方車両のウィンカー動作をもとに表示画角を変更する制御を行う例を示すフローチャートである。図５におけるフローは移動装置１０の動力源が始動状態になることで開始され、動力源が駆動中は継続的に実行される。また、図５に示す各ステップは、処理部２２０に含まれるコンピュータが記憶媒体に記憶されたコンピュータプログラムを実行することによって制御される。

ステップＳ５０１では、バックギア検知部２２５は自車がバックギアに入っているか否かを判定し、表示画角判定部２２４に通知する。自車がバックギアに入っていると判定された場合は、ステップＳ５０２の処理に移行する。バックギアに入っていないと判定された場合は、ステップＳ５０３の処理に移行する。

ステップＳ５０２では、表示画角変更部２２２が表示画角判定部２２４より広角画像への切替え通知を受け取り、矩形の広角画像（第３の画像データ）を表示部２３０に供給する。表示部２３０において表示画角変更部２２から供給された広角画像（第３の画像データ）の表示に切り替わったら、ステップＳ５０４に移行する。

ステップＳ５０４では、バックギア検知部２２５が自車が継続してバックギアに入っているか否かを判定し、表示画角判定部２２４に通知する。バックギアに入っている状態が継続している間は、ステップＳ５０４の処理が繰り返される。バックギアが検出されなくなった場合は、ステップＳ５０５の処理に移行する。

ステップＳ５０５では、表示画角変更部２２２が表示画角判定部２２４より通常画角画像への切替え通知を受け取り、画像処理部２２１が処理した画像から通常画角範囲から切り取った矩形の挟角画像（第１の画像データ）を表示部２３０に供給する。表示部２３０は表示画角変更部２２２から供給された挟角画像（第１の画像データ）を表示し、一連の処理を終了する。

ステップＳ５０３では、表示画角変更部２２２が表示画角判定部２２４より通常画角画像への切替え通知を受け取り、挟角画像（第１の画像データ）を表示部２３０に供給する。表示部２３０が表示画角変更部２２２から供給された挟角画像（第１の画像データ）の表示を行ったら、ステップＳ５０６に移行する

ステップＳ５０６では、後方車両ウィンカー検知部４２４において、高歪曲領域を含む領域の画像データのうち、第１の画像データ以外の画像データにおいて、ウィンカーを出している車両を検知し、検知した情報を表示画角判定部２２４に通知する。自車の後方にウィンカーを出す車を検知した場合は、ステップＳ５０７に移行する。自車の後方にウィンカーを出す車を検知しない場合は、表示部２３０における挟角画像（第１の画像データ）の表示は変更させずに、そのまま一連の処理を終了する。

ステップＳ５０７では、表示画角変更部２２２が表示画角判定部２２４より広角画像への切替え通知を受け取り、高歪曲領域の前記第２の移動装置を含む矩形の広角画像（第２の画像データ）を表示部２３０に供給する。表示部２３０が表示画角変更部２２から供給された広角画像（第２の画像データ）に切り替わったら、ステップＳ５０８に移行する。

ステップＳ５０８では、後方車両ウィンカー検知部４２４において、高歪曲領域を含む領域の画像データのうち、第１の画像データ以外の画像データにおいて、ウィンカーを出している車両を検知する。自車の後方にウィンカーを出す車を検知した場合は、ステップＳ５０８の処理が繰り返される。自車の後方にウィンカーを出す車を検知しなくなった場合はステップＳ５０９に移行する。

ステップＳ５０９では、表示画角変更部２２２が表示画角判定部２２４より通常画角画像への切替え通知を受け取った後、待機時間ｔ３の間は第２の画像データを表示し続ける。待機時間ｔ３経過後、挟角画像（第１の画像データ）を表示部２３０に供給し、表示部２３０が表示画角変更部２２２から供給された挟角画像（第１の画像データ）に切り替えた後、一連の処理を終了する。

なお、実施形態２において、ステップＳ５０６やステップＳ５０８では、後方車両ウィンカー検知部４２４は、高歪曲領域を含む領域の画像データのうち、第１の画像データ以外の画像データにおいて、ウィンカーを出している車両を検知している。しかし、ステップＳ５０６やステップＳ５０８において、後方車両ウィンカー検知部４２４は、広角視野範囲３１において、ウィンカーを出している車両を検知してもよい。

［実施形態３］
図６は、実施形態３における画像処理装置６００の構成例を説明するためのブロック図である。画像処理装置６００と実施形態１の画像処理装置２００とは、処理部２２０が、後方車両距離検知部２２３の代わりに蛇行運転検知部６２４を有し、画像処理部２２１が処理した画像が表示画角変更部２２２と蛇行運転検知部６２４に供給される点が異なる。

表示画角判定部２２４は蛇行運転検知部６２４からの検知情報、バックギア検知部２２５の検知結果をもとに表示部２３０に表示する画像を広角視野範囲３１にするか、通常視野範囲３０にするかを判定し、判定結果を表示画角変更部２２２に通知する。蛇行運転検知部６２４にて検知された後方車両が白線を境に左右に交互に移動を繰り返した往復回数が、閾値以上の場合は、第２の画像データを表示し、閾値未満の場合は、第１の画像データを表示する。また、バックギア検知部２２５よりバックギアに入っているという通知があった場合は、第３の画像データを表示し、バックギアに入っていない場合は、第１の画像データを表示する。

さらに、バックギアが検知されている状態では、蛇行運転検知部６２４の結果にかかわらず第３の画像データを表示する。バックギアに入っていない場合は、蛇行運転検知部６２４の結果に応じて第１の画像データまたは第２の画像データを表示する。また、後述する蛇行運転検知部６２４より、車種情報を受け取ることで、車種に応じて画角変更の判定基準を変えてもよい。

例えば、トラックなどの大型車両の場合、衝突時の危険度が大きいので、普通車の蛇行運転より早く認知できるように往復回数の閾値を少なくする。例えば、蛇行運転検知部６２４により第２の移動装置の種類を検知可能とし、前記種類に応じて、第２の画像データを表示させる条件（例えば蛇行運転車として検知する際の、通行区分の境界を横切った回数の閾値等）を異ならせるようにしてもよい。

蛇行運転検知部６２４は、様々な物体を検出するための画像認識パターンを予め記憶するとともに、その画像認識パターンに基づいて所定の画像認識アルゴリズムを用いて画像に写るパターンを検出する。画像のパターンは深層学習などの機械学習によって定義されてもよいし、撮像装置によって撮影し得る物体である、四輪車、二輪車、歩行者、道路設置物、車線、白線などの道路およびに周辺に存在し得る物へ特化した画像認識パターンであってもよい。

蛇行運転検知部６２４では、画像処理部２２１が処理した画像に対して、車両を検出し、その検出位置が白線を境に左右に交互に移動を繰り返す動きの回数の検知を行う。白線を境に左右に交互に移動を繰り返す動きを検知した際には、その往復回数を表示画角判定部２２４へ通知する。

蛇行運転検知部６２４では、予め収集された多数の車両の画像から深層学習などの機械学習の結果として抽出さえた車種ごとの形状や色彩などの画像的特徴に関するデータを保持し、車種の判定をし、車種情報も併せて表示画角判定部２２４へ通知する。ここで、蛇行運転検知部６２４は、通行区分の境界を横切る動作を繰り返す移動装置を第２の移動装置として検知する検知部として機能している。

図７は、実施形態４において、後方車両の蛇行運転を検知して表示画角を変更する制御を行う例を示すフローチャートである。図７におけるフローは移動装置１０の動力源が始動状態になることで開始され、動力源が駆動中は継続的に実行される。また、図７に示す各ステップは、処理部２２０に含まれるコンピュータが記憶媒体に記憶されたコンピュータプログラムを実行することによって制御される。

ステップＳ７０１では、バックギア検知部２２５は自車がバックギアに入っているか否かを判定し、表示画角判定部２２４に通知する。自車がバックギアに入っていると判定された場合は、ステップＳ７０２の処理に移行する。バックギアに入っていないと判定された場合は、ステップＳ７０３の処理に移行する。

ステップＳ７０２では、表示画角変更部２２２が表示画角判定部２２４より広角画像への切替え通知を受け取り、広角画像（第３の画像データ）を表示部２３０に供給する。表示部２３０において表示画角変更部２２から供給された広角画像（第３の画像データ）の表示に切り替わったら、ステップＳ７０４に移行する。

ステップＳ７０４では、バックギア検知部２２５が自車が継続してバックギアに入っているか否かを判定し、表示画角判定部２２４に通知する。バックギアに入っている状態が継続している間は、ステップＳ７０４の処理が繰り返される。バックギアが検出されなくなった場合は、ステップＳ７０５の処理に移行する。

ステップＳ７０５では、表示画角変更部２２２が表示画角判定部２２４より通常画角画像への切替え通知を受け取り、画像処理部２２１が処理した画像から通常画角範囲から切り取った矩形の挟角画像（第１の画像データ）を表示部２３０に供給する。表示部２３０は表示画角変更部２２２から供給された挟角画像（第１の画像データ）を表示し、一連の処理を終了する。

ステップＳ７０３では、表示画角変更部２２２が表示画角判定部２２４より通常画角画像への切替え通知を受け取り、挟角画像（第１の画像データ）を表示部２３０に供給する。表示部２３０が表示画角変更部２２２から供給された挟角画像（第１の画像データ）の表示に切り替わったら、ステップＳ７０６に移行する。

ステップＳ７０６では、蛇行運転検知部６２４が、高歪曲領域を含む領域の画像データのうち、第１の画像データ以外の画像データにおいて、検出した車両が車線の境界線としての例えば白線（や黄線等）を境に左右に移動を繰り返した往復回数を検知する。そして、検知した情報を表示画角判定部２２４に通知する。検出した車両が白線を境に左右に交互に移動を繰り返した往復回数が閾値（例えば、往復回数が２回）を超えた場合は、蛇行運転車とし、ステップＳ７０７に移行する。検出した車両が白線を境に左右に交互に移動を繰り返した往復回数が閾値を超えない場合は、表示部２３０における挟角画像（第１の画像データ）の表示は変更させずに、そのまま一連の処理を終了する。

ステップＳ７０７では、表示画角変更部２２２が表示画角判定部２２４より広角画像への切替え通知を受け取り、広角画像（第２の画像データ）を表示部２３０に供給する。例えば、高歪曲領域の第２の移動装置を含む広角画像である第２の画像データを表示部２３０に供給する。表示部２３０が表示画角変更部２２から供給された広角画像（第２の画像データ）に切り替わったら、ステップＳ７０８に移行する。

ステップＳ７０８では、蛇行運転検知部６２４において、高歪曲領域を含む領域の画像データのうち、第１の画像データ以外の画像データにおいて、検出した車両が例えば白線を境に左右に交互に移動を繰り返した往復回数を検知する。そして、検知した情報を表示画角判定部２２４に通知する。検出した車両が例えば白線を境に左右に交互に移動を繰り返した往復回数が閾値（例えば、往復回数が２回）を超えた場合は、蛇行運転車とし、ステップＳ７０８の処理が繰り返される。検出した車両が例えば白線を境に左右に交互に移動を繰り返した往復回数が閾値を超えない場合は、ステップＳ７０９に移行する。

ステップＳ７０９では、表示画角変更部２２２が表示画角判定部２２４より通常画角画像への切替え通知を受け取った後、待機時間ｔ３の間は第２の画像データを表示し続ける。待機時間ｔ３経過後、挟角画像（第１の画像データ）を表示部２３０に供給し、表示部２３０が表示画角変更部２２２から供給された挟角画像（第１の画像データ）に切り替わったら、一連の処理を終了する。

なお、実施形態３のステップＳ７０６やステップＳ７０８では、高歪曲領域を含む領域の画像データのうち、第１の画像データ以外の画像データにおいて、検出した車両が車線の境界線を境に交互に移動を繰り返した往復回数を検知し蛇行運転車を検知している。しかし、ステップＳ５０６やステップＳ５０８で、広角視野範囲３１において、検出した車両が車線の境界線を境に左右に交互に移動を繰り返した往復回数を検知し、それによって蛇行運転車を検知してもよい。

［実施形態４］
図８は、実施形態４における画像処理装置８００の構成例を説明するためのブロック図である。画像処理装置８００と実施形態１の画像処理装置２００との違いは、処理部２２０が、後方車両距離検知部２２３の代わりに後方車両パッシング検知部８２４を有している点である。また、画像処理部２２１が処理した画像が表示画角変更部２２２と後方車両パッシング検知部８２４に供給される点である。

表示画角判定部２２４は後方車両パッシング検知部８２４からの検知情報、バックギア検知部２２５の検知結果をもとに表示部２３０に表示する画像を広角視野範囲３１にするか、通常視野範囲３０にするかを判定する。そして、判定結果を表示画角変更部２２２に通知する。後方車両パッシング検知部８２４により、後方にパッシングをする車両が検知された場合は、第２の画像データを表示し、検知されない場合は第１の画像データを表示する。

また、バックギア検知部２２５よりバックギアに入っているという通知があった場合は、第３の画像データを表示し、バックギアに入っていない場合は、第１の画像データを表示する。さらに、バックギアが検知されている状態では、後方車両パッシング検知部８２４の結果にかかわらず第３の画像データを表示する。バックギアに入っていない場合は、後方車両パッシング検知部８２４の結果に応じて第１の画像データまたは第２の画像データを表示する。

後方車両パッシング検知部８２４では、画像処理部２２１が処理した画像に対して、後方車両のパッシング動作を検知し、検知した情報を表示画角判定部２２４へ通知する。ここで、後方車両パッシング検知部８２４はパッシング動作をしている移動装置を第２の移動装置として検知する検知部として機能している。

図９は、実施形態４において、後方車両とのパッシング動作を検知して表示画角を変更する制御を行う例を示すフローチャートである。図９におけるフローは移動装置１０の動力源が始動状態になることで開始され、動力源が駆動中は継続的に実行される。また、図９に示す各ステップは、処理部２２０に含まれるコンピュータが記憶媒体に記憶されたコンピュータプログラムを実行することによって制御される。

ステップＳ９０１では、バックギア検知部２２５は自車がバックギアに入っているか否かを判定し、表示画角判定部２２４に通知する。自車がバックギアに入っていると判定された場合は、ステップＳ９０２の処理に移行する。バックギアに入っていないと判定された場合は、ステップＳ９０３の処理に移行する。

ステップＳ９０２では、表示画角変更部２２２が表示画角判定部２２４より広角画像への切替え通知を受け取り、広角画像（第３の画像データ）を表示部２３０に供給する。表示部２３０において表示画角変更部２２２から供給された広角画像（第３の画像データ）の表示に切り替わったら、ステップＳ９０４に移行する。

ステップＳ９０４では、バックギア検知部２２５が自車が継続してバックギアに入っているか否かを判定し、表示画角判定部２２４に通知する。バックギアに入っている状態が継続している間は、ステップＳ９０４の処理が繰り返される。バックギアが検出されなくなった場合は、ステップＳ９０５の処理に移行する。

ステップＳ９０５では、表示画角変更部２２２が表示画角判定部２２４より通常画角画像への切替え通知を受け取り、画像処理部２２１が処理した画像から通常画角範囲の切り取りを行った矩形の挟角画像（第１の画像データ）を表示部２３０に供給する。表示部２３０は表示画角変更部２２２から供給された挟角画像（第１の画像データ）を表示し、一連の処理を終了する。

ステップＳ９０３では、表示画角変更部２２２が表示画角判定部２２４より通常画角画像への切替え通知を受け取り、挟角画像（第１の画像データ）を表示部２３０に供給する。表示部２３０が表示画角変更部２２２から供給された挟角画像（第１の画像データ）の表示に切り替わったら、ステップＳ９０６に移行する

ステップＳ９０６では、後方車両パッシング検知部８２４において、高歪曲領域を含む領域の画像データのうち、第１の画像データ以外の画像データにおいて、パッシングをしている車両を検知し、検知した情報を表示画角判定部２２４に通知する。自車の後方にパッシングをしている車を検知した場合は、ステップＳ９０７に移行する。自車の後方にパッシングをしている車を検知しない場合は、表示部２３０における挟角画像（第１の画像データ）の表示は変更させずに、そのまま一連の処理を終了する。

ステップＳ９０７では、表示画角変更部２２２が表示画角判定部２２４より広角画像への切替え通知を受け取り、広角画像（第２の画像データ）を表示部２３０に供給する。例えば、高歪曲領域の第２の移動装置を含む広角画像である第２の画像データを表示部２３０に供給する。表示部２３０が表示画角変更部２２から供給された広角画像（第２の画像データ）に切り替わったら、ステップＳ９０８に移行する。

ステップＳ９０８では、後方車両パッシング検知部８２４が、高歪曲領域を含む領域の画像データのうち、第１の画像データ以外の画像データにおいて、パッシングをしている車両を検知し、検知した情報を表示画角判定部２２４に通知する。自車の後方にパッシングをしている車を検知した場合は、ステップＳ９０８の処理が繰り返される。自車の後方にパッシングをしている車を検知しなくなった場合はステップＳ９０９に移行する。

ステップＳ９０９では、表示画角変更部２２２が表示画角判定部２２４より通常画角画像への切替え通知を受け取った後、待機時間ｔ３の間は第２の画像データを表示し続ける。待機時間ｔ３経過後、挟角画像（第１の画像データ）を表示部２３０に供給する。表示部２３０が表示画角変更部２２２から供給された挟角画像（第１の画像データ）に切り替わったら、一連の処理を終了する。

なお、実施形態４のステップＳ９０６やステップＳ９０８では、高歪曲領域を含む領域の画像データのうち、第１の画像データ以外の画像データにおいて、パッシングをしている車両を検知している。しかし、ステップＳ５０６やステップＳ５０８で、広角視野範囲３１において、パッシングをしている車両を検知し、それによってパッシング車を検知してもよい。

［実施形態５］
上述した実施形態において説明された様々な機能、処理および方法の少なくとも一つは、プログラムを用いて実現することができる。以下、実施形態５では、上述した実施形態において説明された様々な機能、処理および方法の少なくとも一つを実現するためのプログラムを「プログラムＸ」と呼ぶ。さらに、実施形態５では、プログラムＸを実行するためのコンピュータを「コンピュータＹ」と呼ぶ。パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などは、コンピュータＹの一例である。上述した実施形態における画像処理装置等のコンピュータも、コンピュータＹの一例である。

上述した実施形態において説明された様々な機能、処理および方法の少なくとも一つは、コンピュータＹがプログラムＸを実行することによって実現することができる。この場合において、プログラムＸは、コンピュータ読み取り可能な記憶媒体を介してコンピュータＹに供給される。実施形態５におけるコンピュータ読み取り可能な記憶媒体は、ハードディスク装置、磁気記憶装置、光記憶装置、光磁気記憶装置、メモリカード、ＲＯＭ、ＲＡＭなどの少なくとも一つを含む。さらに、実施形態５におけるコンピュータ読み取り可能な記憶媒体は、ｎｏｎ－ｔｒａｎｓｉｔｏｒｙな記憶媒体である。

［実施形態６］
上述の実施形態における移動装置１０は、自動車に限るものではなく、自動二輪車、自転車、車椅子、船舶、飛行機、ロボット、ドローンなどの移動が可能な装置であれば、どのようなものであってもよい。

１０：移動装置
２０：撮像装置
３０：通常視野範囲
３１：広角視野範囲
４０：運転者
２００：画像処理装置
２０１：光学系
２０１ａ：高解像度領域
２０１ｂ：低解像度領域
２１０：撮像部
２２０：処理部
２２１：画像処理部
２２２：表示画角変更部
２２３：後方車両距離検知部
２２４：表示画角判定部
２２５：バックギア検知部
２２６：ユーザー設定変更部
２３０：表示部
４００：画像処理装置
４２４：後方車両ウィンカー検知部
６００：画像処理装置
６２４：蛇行運転検知部
８００：画像処理装置
８２４：後方車両パッシング検知部

Claims (14)

1. 低歪曲領域と高歪曲領域を有する光学像を受光面に形成する光学系を有すると共に第１の移動装置の後方を撮影する撮像手段と、
   前記撮像手段で生成された撮像データを歪曲補正して画像データを生成する画像処理手段と、
   前記画像データから前記低歪曲領域の光学像に対応する領域が切り出された第１の画像データを表示部に表示させる表示制御手段と、
   前記画像データから所定の条件を満たす第２の移動装置を検知する検知手段と
   を有し、
   前記表示制御手段は、前記検知手段により前記第２の移動装置が検知された場合に、前記第２の移動装置を含むように、前記画像データから前記高歪曲領域および前記低歪曲領域の光学像に対応する領域が切り出された第２の画像データを前記表示部に表示させ、
   前記第２の画像データは、前記画像データから前記第１の画像データより広い領域が切り出されて生成される
   ことを特徴とする画像処理装置。
2. 前記光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）とする場合に、
   前記低歪曲領域におけるｙ（θ）はｆ×θより大きく、前記高歪曲領域における前記射影特性とは異なることを特徴とする請求項１に記載の画像処理装置。
3. θｍａｘを前記光学系が有する最大の半画角とする場合に、
   １＜ｆ×ｓｉｎ（θｍａｘ）／ｙ（θｍａｘ）≦１．９
   を満足するように構成されていることを特徴とする請求項２に記載の画像処理装置。
4. 前記表示制御手段は、前記第１の移動装置の後退時に、前記第１の移動装置の後方の前記高歪曲領域を含む第３の画像データを表示させることを特徴とする請求項１～３のいずれか１項に記載の画像処理装置。
5. 前記検知手段は、前記高歪曲領域を含む領域の前記画像データであって、前記第１の画像データ以外の前記画像データにおいて、前記第１の移動装置から所定距離未満に存在する移動装置を前記第２の移動装置として検知することを特徴とする請求項１～４のいずれか１項に記載の画像処理装置。
6. 前記検知手段は、所定の条件でウィンカーを点滅させている移動装置を前記第２の移動装置として検知することを特徴とする請求項１～５のいずれか１項に記載の画像処理装置。
7. 前記検知手段は、通行区分の境界を横切る動作を繰り返す移動装置を前記第２の移動装置として検知することを特徴とする請求項１～６のいずれか１項に記載の画像処理装置。
8. 前記検知手段は、パッシング動作をしている移動装置を前記第２の移動装置として検知することを特徴とする請求項１～７のいずれか１項に記載の画像処理装置。
9. 前記表示制御手段は、前記第１の画像データと前記第２の画像データの表示の切替をする際に所定の遷移時間を持たせることを特徴とする請求項１～８のいずれか１項に記載の画像処理装置。
10. 前記第１の画像データから前記第２の画像データへ表示を切替える際の前記遷移時間と、前記第２の画像データから前記第１の画像データへ表示を切替える際の前記遷移時間が異なることを特徴とする請求項９に記載の画像処理装置。
11. 前記検知手段は、前記第２の移動装置の種類を検知可能であって、前記表示制御手段は、前記種類に応じて、前記第２の画像データを表示させる条件を異ならせることを特徴とする請求項１～１０のいずれか１項に記載の画像処理装置。
12. 移動装置であって
    低歪曲領域と高歪曲領域を有する光学像を受光面に形成する光学系を有する撮像手段と、
    前記撮像手段で生成された撮像データを歪曲補正して画像データを生成する画像処理手段と、
    前記画像データから前記低歪曲領域の光学像に対応する領域が切り出された第１の画像データを表示させる表示制御手段と、
    前記画像データから所定の条件を満たす第２の移動装置を検知する検知手段と、
    を有し、
    前記撮像手段は前記移動装置の後方を撮影し、
    前記表示制御手段は、前記検知手段により前記第２の移動装置が検知された場合に、前記第２の移動装置の全体を含むように、前記画像データから前記高歪曲領域および前記低歪曲領域の光学像に対応する領域が切り出された第２の画像データを表示させ、
    前記第２の画像データは、前記画像データから前記第１の画像データより広い領域が切り出されて生成される
    ことを特徴とする移動装置。
13. 低歪曲領域と高歪曲領域を有する光学像を受光面に形成する光学系を有する撮像手段を用いて第１の移動装置の後方を撮影する撮像ステップと、
    前記撮像ステップにより取得した撮像データを歪曲補正して画像データを生成する画像処理ステップと、
    前記画像データから前記低歪曲領域の光学像に対応する領域が切り出された第１の画像データを表示させる第１の表示制御ステップと、
    前記画像データから所定の条件を満たす第２の移動装置を検知する検知ステップと、
    前記検知ステップにより前記第２の移動装置が検知された場合に、前記第２の移動装置を含むように、前記画像データから前記高歪曲領域および前記低歪曲領域の光学像に対応する領域が切り出された第２の画像データを表示させる第２の表示制御ステップと、を有し、
    前記第２の画像データは、前記画像データから前記第１の画像データより広い領域が切り出されて生成される
    ことを特徴とする画像処理方法。
14. 画像処理装置のコンピュータに、
    低歪曲領域と高歪曲領域を有する光学像を受光面に形成する光学系を有する撮像手段を用いて第１の移動装置の後方を撮影する撮像ステップと、
    前記撮像ステップにより取得した撮像データを歪曲補正して画像データを生成する画像処理ステップと、
    前記画像データから前記低歪曲領域の光学像に対応する領域が切り出した第１の画像データを表示させる第１の表示制御ステップと、
    前記画像データから所定の条件を満たす第２の移動装置を検知する検知ステップと、
    前記検知ステップにより前記第２の移動装置が検知された場合に、前記第２の移動装置を含むように、前記画像データから前記高歪曲領域および前記低歪曲領域の光学像に対応する領域が切り出された第２の画像データを表示させる第２の表示制御ステップと
    を実行させるためのプログラムであって、
    前記第２の画像データは、前記画像データから前記第１の画像データより広い領域が切り出されて生成される
    ことを特徴とするプログラム。