JP7150709B2

JP7150709B2 - 画像処理装置、画像処理方法、及び、プログラム

Info

Publication number: JP7150709B2
Application number: JP2019522095A
Authority: JP
Inventors: 智詞中山
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2017-05-30
Filing date: 2018-05-16
Publication date: 2022-10-11
Anticipated expiration: 2038-05-16
Also published as: US20200110947A1; CN110651295A; JPWO2018221209A1; EP3633598A4; US11521395B2; WO2018221209A1; EP3633598B1; EP3633598A1; CN110651295B

Description

本技術は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、例えば、起立物を認識しやすくすることができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。

例えば、車載カメラに関連する車載カメラ関連技術としては、広角レンズを用いて撮影された撮影画像の歪みを補正する歪み補正処理（例えば、特許文献１及び２）や、レンズ歪みパラメータと消失点位置を求めるカメラキャリブレーション（例えば、特許文献３）がある。

特開2009-081496号公報特開2013-110712号公報特開2011-185753号公報

ところで、例えば、自動車では、フロントグリルに設定されたカメラ（フロントカメラ）で前方の画像を撮像し表示するようなシステムや、リアのナンバープレートやトランクの開閉操作の取っ手等に設置されたカメラ（リアカメラ）で後方の画像を撮像し表示するようなシステム（ビューイングシステム：viewing system）がある。

Viewing systemで提供される画像（以下、viewing画像ともいう）は、車載カメラで撮影された撮影画像を用いて生成される。例えば、viewing systemでは、車載カメラで撮影された撮影画像を、ドライバの視点等の所定の視点から見た視点変換画像に変換する視点変換を行い、その視点変換により得られる視点変換画像を、viewing画像として表示することができる。

撮影画像の視点変換は、例えば、撮影画像のアフィン変換により行うことができるが、アフィン変換は、撮影画像に映る被写体が、すべて、例えば、道路等の定義した任意の平面又は曲面内に存在することを仮定してその面に対象の像が存在することを前提に行われる。そのため、例えば被写体が道路上の平面内に存在することを前提とした場合、視点変換の対象となる撮影画像に、道路上の面にない立体物となる車両（自動車や自動二輪車等）や、歩行者、その他の、道路上に起立する起立物が、被写体として映っている場合、視点変換により得られる視点変換画像に映る起立物は、道路に対して倒れた状態（傾斜した状態）の画像に変換されることになる。

以上のように、視点変換画像において、起立物が倒れた状態で映る場合には、視点変換画像を見る運転者等のユーザが、起立物を、起立物（あるいは立体物）として認識しにくくなることがある。

本技術は、このような状況に鑑みてなされたものであり、起立物を認識しやすくすることができるようにするものである。

本技術の画像処理装置又はプログラムは、処理対象の対象画像を取得する取得部と、前記対象画像における消失点から被写体が映る被写体位置までの被写体距離が閾値以上の前記被写体位置を、前記被写体距離が長いほど、前記消失点に近づけるように移動させる移動変換を行う移動変換部とを備える画像処理装置又はそのような画像処理装置としてコンピュータを機能させるためのプログラムである。

本技術の画像処理方法は、処理対象の対象画像を取得することと、前記対象画像における消失点から被写体が映る被写体位置までの被写体距離が閾値以上の前記被写体位置を、前記被写体距離が長いほど、前記消失点に近づけるように移動させる移動変換を行うこととを含む画像処理方法である。

本技術の画像処理装置、画像処理方法、及び、プログラムにおいては、処理対象の対象画像が取得され、前記対象画像における消失点から被写体が映る被写体位置までの被写体距離が閾値以上の前記被写体位置を、前記被写体距離が長いほど、前記消失点に近づけるように移動させる移動変換が行われる。

なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本技術によれば、起立物を認識しやすく表示することが可能となる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。画像処理システムが搭載され得る移動体の外観構成例を示す斜視図である。画像処理部２２の構成例を示すブロック図である。カメラユニット１０での撮影画像の撮影の様子と、その撮影によって得られる撮影画像との例を示す図である。視点変換部４３の視点変換を説明する図である。移動変換部４４の移動変換を説明する図である。移動変換部４４の移動変換を説明する図である。移動変換部４４の移動変換を説明する図である。移動変換部４４の移動変換を説明する図である。視点変換画像の移動変換により得られる移動変換画像の例を示す図である。移動変換に用いる変換特性の切り替えの例を説明する図である。画像処理システムの処理の例を説明するフローチャートである。ステップＳ１２の画像処理の例を説明するフローチャートである。視点変換と画像の見え方との例を示す図である。視点変換と画像の見え方との他の例を示す図である。撮影画像に映る起立物としてのパイロンを説明する図である。等距離射影方式のカメラユニット１０で撮影される撮影範囲と撮影画像との例を示す図である。撮影画像の射影変換及び視点変換により得られる視点変換画像と、視点変換で行われる仮想的なカメラユニットの設定との例を示す図である。視点変換画像に映るパイロンが倒れる方向を説明する図である。移動変換の対象の視点変換画像と、その視点変換画像の移動変換により得られる移動変換画像のとの例を示す図である。画像処理部２２で行われる画像変換を説明する図である。画像処理部２２で行われる画像変換を、さらに説明する図である。画像処理部２２で行われる移動変換を説明する図である。閾値THrの決定方法の例を説明する図である。変換特性の切り替えの例を説明する図である。変換特性が切り替え可能な場合の、画像処理部２２で行われる画像変換を説明する図である。変換特性が切り替え可能な場合の、重畳部４７でのOSD情報の重畳の例を説明する図である。本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

＜本技術を適用した画像処理システム＞

図１は、本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。

図１において、画像処理システムは、カメラユニット１０、操作部２１、画像処理部２２、設定記憶メモリ２３、画像出力部２４、及び、表示部２５を有する。

カメラユニット１０は、光学系１１、イメージセンサ１２、及び、画質制御部１３を有する。

光学系１１は、図示せぬレンズや絞り等の光学部品で構成され、被写体からの光を、イメージセンサ１２に入射させる。

イメージセンサ１２は、画像を撮影する。すなわち、イメージセンサ１２は、光学系１１から入射する光を受光して光電変換することにより、その光に対応する電気信号としての画像信号を生成する。イメージセンサ１２の撮影によって得られる画像である撮影画像（の画像信号）は、イメージセンサ１２から画質制御部１３に供給される。

画質制御部１３は、イメージセンサ１２が撮影画像を撮影するときの制御、例えば、露出時間の制御や、ビニングの制御等を行う。また、画質制御部１３は、イメージセンサ１２から供給される撮影画像に、NR(Noise Reduction)や、現像（デモザイク）等の画質に関係する信号処理を施し、画像処理部２２に供給する。

操作部２１は、ユーザによって操作され、その操作に対応する操作信号を、画像処理部２２に供給する。ここで、操作部２１の操作には、物理的な操作（例えば、タッチパネルへのタッチ等）の他、コマンド等となる音声の発話や、ジェスチャ、視線の移動等の、物理的な操作の代替手段となるユーザのあらゆる行動が含まれる。

画像処理部２２は、カメラユニット１０（の画像制御部１３）から供給される撮影画像に画像処理を施し、その画像処理によって得られる画像を、画像出力部２４に供給する。

画像処理部２２の画像処理は、操作部２１からの操作信号や、設定記憶メモリ２３に記憶された情報に応じて行われる。

設定記憶メモリ２３は、画像処理部２２の画像処理の設定その他の必要な情報を記憶する。

画像出力部２４は、画像処理部２２から供給される画像を、表示部２５に出力して表示させる表示制御を行う。

表示部２５は、例えば、LCD(Liquid Crystal Display)その他の表示デバイスで構成され、画像出力部２４が出力する画像を、例えば、viewing画像として表示する。

ここで、図１において、画質制御部１３から画像処理部２２への撮影画像の供給は、ディジタル伝送で行われることとする。画質制御部１３から画像処理部２２への撮影画像の供給が、ディジタル伝送で行われる場合には、画質制御部１３と画像処理部２２とを接続する接続線を比較的長く引き回しても、画質制御部１３と画像処理部２２との間のディジタル伝送において、撮影画像の画像信号の劣化がないからである。

なお、仮に、画像処理部２２から画像出力部２４への撮影画像の供給が、アナログ伝送で行われる場合、画質出力部２４以前でディジタル信号をアナログ信号に変換する必要があり、その際、画像リサイズによる解像度低下等の画質の低下が伴うケースが多い。この場合には、カメラユニット１０を、光学系１１ないし画質制御部１３に、画像処理部２２を含めて構成するとともに、画質制御部１３から画像処理部２２への画像の供給を、ディジタル伝送で行うこととする。カメラユニット１０に、画像処理部２２を含めることで、画質制御部１３と画像処理部２２とを接続する接続線を短く構成し、画像信号の劣化を抑制する他、ディジタル信号をそのまま画質制御部１３から画像処理部２２に入力し、画像切り出し等の処理を行った後、アナログ信号への変換を行うことで、解像度低下を抑制することができるからである。

また、図１では、画像処理部２２の画像処理後の画像を、viewing画像として表示することとしたが、画像処理部２２の画像処理後の画像は、viewing画像として表示する他、その他の運転アシストの用に供することができる。

＜画像処理システムが搭載され得る移動体の構成例＞

図２は、図１の画像処理システムが搭載され得る移動体の外観構成例を示す斜視図である。

ここで、図１の画像処理システムが搭載され得る移動体としては、例えば、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等を採用することができる。

図２では、図１の画像処理システムが搭載され得る移動体として、自動車である車両３０が採用されている。

車両３０の前方中央部には、カメラユニット３１が設けられ、後方中央部には、カメラユニット３２が設けられている。また、車両３０の前方に向かって左側のサイドミラーが設けられる部分には、カメラユニット３３が設けられ、右側のサイドミラーが設けられる部分には、カメラユニット３４が設けられている。なお、図２において、点線は、カメラユニット３１ないし３４の撮影範囲を表している。

カメラユニット３１は、車両３０の前方を撮影し、カメラユニット３２は、車両３０の後方を撮影する。カメラユニット３３は、車両３０の左方を撮影し、カメラユニット３４は、車両３０の右方を撮影する。

カメラユニット３１ないし３４については、なるべく広い撮影範囲の撮影をすることができるように、例えば、魚眼レンズ等の広角レンズを採用することができる。

以下、カメラユニット３１ないし３４のうちの、例えば、後方中央部のカメラユニット３２として、カメラユニット１０が採用され、図１の画像処理システムが、車両３０に搭載されていることとして、図１の画像処理システムの説明を行う。

ここで、図２に示したように、カメラユニット３１ないし３４が搭載された車両３０について、例えば、駐車のアシスト等のために、車両３０を上方から見たviewing画像である俯瞰画像を生成する場合、カメラユニット３１として、そのカメラユニット３１の取り付け位置を中心とする画角が180度に近い広角の画像を撮影することができる、魚眼レンズ等を採用した超広角カメラを採用し、車両３０の周囲の画像を撮影する必要がある。カメラユニット３２ないし３４についても同様である。

また、例えば、車両３０の左右の後方から接近する他の車両等を、ユーザが確認することができるように、広範囲の画像を生成する場合には、車両３０の後方中央部のカメラユニット３２、並びに、車両３０の左右のカメラユニット３３及び３４を用いて、広角の画像を撮影する必要がある。

車両３０には、用途ごと等に、撮影可能な画像の画角が異なる複数のカメラユニットを設けることができるが、この場合、車両３０に設けるカメラユニットの数が多くなる。

そこで、車両３０には、広角の画像を撮影することができるカメラユニットをより少ない数だけ設け、すなわち、例えば、カメラユニット３１ないし３４の４台を設け、そのカメラユニット３１ないし３４で撮影される広角の画像から、様々なviewing画像を生成することが望ましい。

但し、カメラユニット３１ないし３４で撮影される広角の画像は、例えば、魚眼レンズを用いて撮影されるため、人が視覚で知覚する画像との比較で歪みを有する。そのため、カメラユニット３１ないし３４で撮影される広角の画像から、ユーザに提示されるviewing画像を生成する場合には、ユーザが見やすいように、広角の画像の歪みを必要に応じて補正すること、すなわち、射影方式を変換することが必要になる。

人が日常で見慣れた世界を表現する画像の射影方式としては、中心射影方式が適している。例えば、ピンフォールカメラで撮影される画像の射影方式は、中心射影方式である。

一方、カメラユニット３１ないし３４において、例えば、魚眼レンズが採用され、広角な画像が撮影される場合には、カメラユニット３１ないし３４で撮影される画像の射影方式は、例えば、等距離射影方式である。

したがって、ユーザが見やすいviewing画像を生成するには、カメラユニット３１ないし３４で撮影された等距離射影方式の画像を、中心射影方式の画像に射影変換する必要がある。

但し、等距離射影方式の画像を、中心射影方式の画像に射影変換することにより得られる射影変換後の画像は、パースペクティブの問題で、視覚的な奥行き感が喪失した画像になる。さらに、射影変換後の画像では、地面に起立する起立物が傾斜した状態になることがあり、また、光軸から離れるほど、さらに遠方に広がるような状態になる。

中心射影方式の画像については、像高（光軸からの距離）h1は、式h1=f×tanθで表され、等距離射影方式の画像については、像高h2は、式h2=fθで表される。ここで、fは、画像を撮影するときのレンズの焦点距離を表し、θは、レンズに入射する光線と光軸とがなす角度を表す。

式h1=f×tanθ及び式h2=fθから、等距離射影方式から中心射影方式への射影変換は、式h1=f×tan(h2/f)で表される。したがって、等距離射影方式の画像を、中心射影方式の画像に射影変換することにより得られる射影変換後の画像では、等距離射影方式の画像の像高h2が大の位置ほど、像高h1が、より大の位置に移動する。すなわち、等距離射影方式の画像において、光軸から離れた位置ほど、射影変換後の画像において、光軸からより離れた位置に移動する。

したがって、例えば、俯瞰画像を生成する場合等に、等距離射影方式から中心射影方式に射影変換を行った射影変換後の画像について、その画像を撮影する仮想的なカメラユニットの光軸を下方に向ける視点変換を行うと、その視点変換後の画像では、道路（路面）上の立体物が、光軸からより離れた位置に映り、外側（光軸から離れる方向）に引き伸ばされたようになりやすい。

画像処理部２２では、以上のような射影変換や、その他の画像処理が行われる。

＜画像処理部２２の構成例＞

図３は、図１の画像処理部２２の構成例を示すブロック図である。

図３において、画像処理部２２は、画像取得部４１、射影変換部４２、視点変換部４３、移動変換部４４、切り替え部４５、表示領域切り出し部４６、及び、重畳部４７を有する。

画像取得部４１は、カメラユニット１０の画質制御部１３から供給される撮影画像を、画像処理の処理対象となる対象画像として取得し、射影変換部４２に供給する。

射影変換部４２は、画像取得部４１から供給される対象画像としての撮影画像の射影方式を変換する。

すなわち、カメラユニット１０（図１）の光学系１１を構成するレンズとしては、例えば、撮影画像として、広い撮影範囲を撮影した画像を得ることができるように、魚眼レンズ等の広角レンズが採用され、カメラユニット１０では、例えば、等距離射影方式の撮影画像が撮影される。

等距離射影方式の撮影画像に映る被写体の像は歪むため、射影変換部４２は、等距離射影方式の撮影画像を、例えば、像が歪まない中心射影方式の撮影画像に変換する射影変換を行う。射影変換部４２の射影変換は、カメラユニット１０の光学系１１を構成するレンズの像高特性を考慮して行われる。

射影変換部４２は、画像取得部４１からの対象画像としての撮影画像の射影変換により得られる射影変換画像を、視点変換部４３に供給する。

なお、ここでは、射影変換部４２の射影変換において、等距離射影方式の撮影画像を、中心射影方式の撮影画像に変換することとしたが、射影変換の対象となる撮影画像の射影方式は、等距離射影方式に限定されるものではない。同様に、射影変換後の撮影画像（射影変換画像）の射影方式は、中心射影方式に限定されるものではなく、例えば、立体射影方式その他の消失点が存在する任意の射影方式を採用することができる。

視点変換部４３は、射影変換部４２から供給される射影変換画像を、所定の視点から見た視点変換画像に変換する視点変換を行う。

ここで、視点には、視点位置と視線方向が含まれる。カメラユニット１０で撮影された撮影画像の視点としての視点位置と視線方向は、それぞれ、カメラユニット１０の位置とカメラユニット１０の光軸方向で表される。

視点変換部４３は、例えば、仮想的なカメラユニットを設定（想定）し、射影変換画像を、その仮想的なカメラユニットから見た（撮影した）視点変換画像に変換する視点変換を行う。

例えば、仮想的なカメラユニットは、その仮想的なカメラユニットの光軸が、視点変換画像における消失点に合致するように設定される。

したがって、視点変換部４３の視点変換は、仮想的なカメラユニットから撮影を行ったときの光軸が、視点変換画像における消失点に合致するように行われる。

ここで、光軸が、視点変換画像における消失点に合致するとは、光軸と視点変換画像との交点が、視点変換画像における消失点に一致することを意味する。

視点変換部４３は、射影変換画像の視点変換により得られる視点変換画像を、移動変換部４４に供給する。

なお、ここでは、射影変換を行った後に、視点変換を行うが、射影変換及び視点変換の順番は、逆でもよい。すなわち、視点変換を行った後に、射影変換を行うことができる。

移動変換部４４は、視点変換部４３から供給される視点変換画像における消失点から被写体が映る被写体位置までの被写体距離に応じて、視点変換画像における被写体位置を移動させる移動変換を行う。本実施形態においては視点変換画像における消失点から被写体が映る被写体位置までの被写体距離を変換領域のパラメータと定義しているが、距離ではなく等価の異なるパラメータを用いて定義しても良い。例えば仮想的なカメラユニットから撮影を行ったときの光軸が、視点変換画像における消失点に合致する場合、仮想的なカメラユニットの方角は被写体距離と置き換えることができる。

例えば、移動変換部４４は、視点変換画像について、被写体距離に応じて、被写体距離が、移動変換の前より短くなるように、被写体位置を移動させる移動変換を行う。

ここで、移動変換部４４は、切り替え部４５から供給される変換特性に従って、移動変換を行う。変換特性は、移動変換の前の被写体距離と、移動変換の後の被写体距離との関係を表す。

移動変換部４４は、視点変換画像の移動変換により得られる移動変換画像を、表示領域切り出し部４６に供給する。

切り替え部４５は、設定記憶メモリ２３に記憶された変換特性を取得し（読み出し）、移動変換部４４に供給する。

ここで、設定記憶メモリ２３には、例えば、複数（種類）の変換特性を記憶させることができる。切り替え部４５は、例えば、ユーザの操作、すなわち、操作部２１から供給される操作信号に応じて、設定記憶メモリ２３から読み出す変換特性を切り替え、切り替え後の変換特性を、移動変換部４４に供給する。

したがって、画像処理部２２では、ユーザの操作に応じて、移動変換に用いる変換特性を切り替えることができる。

表示領域切り出し部４６は、移動変換部４４から供給される移動変換画像から、表示部２５に表示させる表示領域の画像を、切り出し画像として切り出し、重畳部４７に供給する。

ここで、表示領域切り出し部４６では、移動変換画像の一部の画像の他、移動変換画像の全部を、切り出し画像として切り出すことができる。

重畳部４７は、表示領域切り出し部４６から供給される切り出し画像に、OSD(On Screen Display)で表示するOSD情報を必要に応じて重畳し、画像出力部２４に供給する。なお、射影変換部４２の射影変換、視点変換部４３の視点変換、移動変換部４４の移動変換、及び、表示領域切り出し部４６の切り出し画像の切り出しの処理は、どのような順番で行ってもよいし、これらの処理のすべてを包括的に一度の処理で行ってもよい。

＜カメラユニット１０での撮影画像の撮影＞

図４は、カメラユニット１０での撮影画像の撮影の様子と、その撮影によって得られる撮影画像との例を示す図である。

カメラユニット１０は、車両３０の後方中央部に、光軸をやや下方に向けて設置されている。

車両３０は、３車線の道路上に存在し（又は３区画の駐車場の道路上に存在し）、車両３０の後方の左右には、道路上の、車線を区分する車線区分線の近くに、起立物としてのパイロンが置かれている。

なお、車線を区分する区画線には、車道中央線や、車線境界線、車道外側線等があるが、ここでは、まとめて、車線区分線ということとする。

以上のような状況において、カメラユニット１０が撮影する撮影画像は、図４に示すように、車両３０の後方の道路と、その道路上に置かれた起立物としてのパイロンとが映った画像になる。

撮影画像では、カメラユニット１０の光軸が、車両３０の後方に続く道路の車線区分線の消失点と合致するとは限らない。

光軸が消失点に合致しない場合、撮影画像では、例えば、消失点に向かう車線区分線等の、実世界で直線状になっている被写体の直線性が保たれず、撮影画像を見るユーザに違和感を感じさせることがある。

そこで、視点変換部４３（図３）では、仮想的なカメラユニットが、その仮想的なカメラユニットの光軸が、視点変換画像における消失点に合致するように設定され、撮影画像（射影変換部４２の射影変換により得られる射影変換画像）が、仮想的なカメラユニットから撮影したような視点変換画像に視点変換される。

ここで、カメラユニット１０が撮影する撮影画像は、例えば、広角の画像であり、図４の撮影画像に映る範囲よりも広い画角の範囲が映った画像であるが、図面では、そのような広い画角の範囲が映った画像のうちの、一部の範囲が映り、かつ、消失点を含む部分を、撮影画像として示す。したがって、実際には、図４に撮影画像として示す矩形の外側にも、撮影画像としての画像は続いている。視点変換画像やその他の画像についても同様である。

＜視点変換部４３の視点変換＞

図５は、視点変換部４３の視点変換を説明する図である。

視点変換部４３は、上述のように、仮想的なカメラユニットの光軸が、視点変換画像における消失点に合致するように、仮想的な視点の設定、すなわち、仮想的なカメラユニットの設定を行う。

図５では、仮想的なカメラユニットが、カメラユニット１０よりも、車両３０の前方に位置し、光軸が道路と平行になるように設定されている。言い換えれば、仮想的なカメラユニットは、カメラユニット１０よりも、撮影画像に映るパイロンや道路等の被写体から遠ざかり、かつ、光軸が、カメラユニット１０よりも上を向くように設定されている。

視点変換部４３は、撮影画像（射影変換部４２の射影変換により得られる射影変換画像）を、仮想的なカメラユニットから撮影したような視点変換画像に視点変換する。視点変換部４３の視点変換は、例えば、アフィン変換によって行うことができる。

以上のように、撮影画像を、光軸が視点変換画像における消失点に合致する仮想的なカメラユニットから撮影した視点変換画像に視点変換することにより、視点変換画像では、例えば、図５に示すように、消失点に向かう車線区分線等の、実世界で直線状になっている被写体の直線性が保たれる。その結果、視点変換画像を見るユーザに違和感を感じさせることを抑制することができる。

ところで、本実施の形態では、射影変換画像に映る被写体の奥行き情報がなく、そのため、射影変換画像の視点変換は、３次元空間における被写体の位置を考慮しない、例えば、アフィン変換等によって行われる。

視点変換としてのアフィン変換は、その視点変換の対象の射影変換画像に映る被写体が、すべて、道路上の平面内に存在することを前提に行われる。そのため、仮想的なカメラユニットが、射影変換画像に映るパイロンや道路等の被写体から遠ざかる位置に設定される場合、射影変換画像の視点変換によって得られる視点変換画像では、消失点から離れた位置（実世界で、カメラユニット１０に近い位置）の左右にある起立物が、道路に倒れた状態になる。

例えば、図５に示した視点変換画像では、実世界で、カメラユニット１０に近い位置の左右にある起立物としてのパイロンが、図４に示した視点変換前の撮影画像の場合よりも、道路に倒れた状態になっている。

以上のように、視点変換画像において、起立物が倒れた状態で映る場合には、ユーザが、視点変換画像を見たときに、起立物を、起立物（あるいは立体物）として認識しにくくなることがある。

そこで、画像処理部２２（図３）では、ユーザが起立物を認識しやすくするために、移動変換部４４が移動変換を行う。

＜移動変換部４４の移動変換＞

図６、図７、図８、及び、図９は、移動変換部４４の移動変換を説明する図である。

すなわち、図６は、視点変換により、起立物が倒れた状態になった視点変換画像の例を示す図である。

図６の視点変換画像では、道路上の、カメラユニット１０の手前側の左右の位置それぞれに、起立物としてのパイロンが１個ずつ置かれ、奥側の中央の位置に、起立物としての２個のパイロンが置かれている。

視点変換画像において、手前側の左右の位置に置かれた起立物としてのパイロンは、視点変換によって倒れた状態になっており、起立物として認識しにくい表示になっている。

図７は、図６の視点変換画像を対象とする移動変換の例を示す図である。

移動変換部４４の移動変換では、視点変換画像における消失点から被写体が映る被写体位置までの被写体距離に応じて、視点変換画像における被写体位置が移動される。

図７の視点変換画像では、手前側の左右の位置に置かれた起立物としてのパイロン（の先端）の被写体距離（消失点からパイロンまでの距離）は、距離r1になっている。

図７では、かかる視点変換画像を対象とする移動変換によって、手前側の左右の位置に置かれたパイロンの移動変換前の被写体距離r1に応じて、パイロンの移動変換後の被写体距離が、移動変換前の被写体距離r1より短い距離R1になるように、手前側の左右の位置に置かれたパイロンの被写体位置が移動される。

ここで、視点変換において、仮想的なカメラユニットが、撮影画像に映るパイロンや道路等の被写体から遠ざかる位置に設定される場合には、視点変換画像において、消失点の近くに映る起立物（仮想的なカメラユニットから遠方にある起立物）は、倒れた状態にならないが、消失点から離れた位置に映る起立物は、消失点から離れるほど倒れた状態になる。

そこで、移動変換では、消失点の近くに映る被写体については、被写体位置を移動させず、消失点から離れた位置に映る被写体については、消失点から離れるほど、被写体位置を、消失点に向かって近づけるように移動させる。

図８は、図６の視点変換画像の移動変換によって得られる移動変換画像の例を示す図である。

移動変換によれば、視点変換画像において、図６で説明したように、視点変換によって倒れた状態になっている、手前側の左右の位置に置かれた起立物としてのパイロンが、図８に示すように起きた状態になる。

したがって、視点変換画像の移動変換によって得られる移動変換画像では、手前側の左右の位置に置かれたパイロンが、道路上の起立物として認識しやすくなる。

なお、移動変換において、被写体位置を位置Ａから位置Ｂに移動させることは、例えば、被写体位置Ａの画素の画素値を、被写体位置Ｂの画素の画素値に変更することにより行うことができる。

また、移動変換は、移動変換前の被写体距離と、移動変換後の被写体距離との関係を表す変換特性に従って行うことができる。

図９は、変換特性の例を示す図である。

図９において、横軸は、移動変換前の被写体距離rを表し、縦軸は、移動変換後の被写体距離Rを表す。

図９の変換特性は、移動変換前の被写体距離rが閾値THr以下である場合については、移動変換後の被写体距離Rが、移動変換前の被写体距離rに等しくなっており、移動変換前の被写体距離rが閾値THrより大である場合については、移動変換後の被写体距離Rが、移動変換前の被写体距離rより短くなっている。

図９の変換特性によれば、移動変換前の被写体距離rが閾値THr以下の被写体位置は、移動変換後の被写体距離Rが、移動変換前の被写体距離rに等しくなるように移動される。したがって、移動変換前の被写体距離rが閾値THr以下の被写体位置は、実質的に移動しない。

また、図９の変換特性によれば、移動変換前の被写体距離rが閾値THrを超える被写体位置は、その被写体距離rに応じて、移動変換後の被写体距離Rが、移動変換前の被写体距離rよりも、より短くなるように、消失点に向かって移動される。

すなわち、移動変換前の被写体距離rが閾値THrを超える被写体位置は、その被写体距離rに応じて、被写体距離rが大であるほど、消失点に近づく程度（距離）が大になるように移動される。

図１０は、図５に示した視点変換画像の移動変換により得られる移動変換画像の例を示す図である。

図５で説明したように、視点変換画像では、カメラユニット１０に近い位置の左右にある起立物としてのパイロンが、道路に倒れた状態になっている。

かかる視点変換画像の移動変換を、例えば、図９の変換特性に従って行うことにより、図１０に示すように、視点変換画像において道路に倒れた状態のパイロンが起きた状態になった移動変換画像を得ることができる。

＜変換特性の切り替え＞

図１１は、移動変換に用いる変換特性の切り替えの例を説明する図である。

図３で説明したように、切り替え部４５は、例えば、ユーザの操作等に応じて、設定記憶メモリ２３から読み出して移動変換部４４に供給する変換特性を切り替えることができる。

図１１では、変換特性として、第１の特性と第２の特性とが用意されている。

変換特性としての第１の特性では、移動変換後の被写体距離Rが、移動変換前の被写体距離rに等しくなっている。したがって、第１の特性に従った移動変換では、被写体位置は、その被写体位置に移動されるので、実質的に移動しない。

変換特性としての第２の特性では、図９の変換特性と同様に、移動変換前の被写体距離rが閾値THr以下である場合には、移動変換後の被写体距離Rが、移動変換前の被写体距離rに等しくなっており、移動変換前の被写体距離rが閾値THrより大である場合には、移動変換後の被写体距離Rが、移動変換前の被写体距離rより短くなっている。

第１の特性に従った移動変換によれば、視点変換画像と同様の移動変換画像、すなわち、図１１に示すように、起立物としてのパイロンが視点変換により倒れた状態になったままの移動変換画像を得ることができる。

第２の特性に従った移動変換によれば、図１１に示すように、視点変換により倒れた状態になった起立物としてのパイロンが起きた状態になった移動変換画像を得ることができる。

なお、切り替え部４５で切り替えの対象とする変換特性としては、第１及び第２の特性の他、閾値THrが第２の特性と異なる特性や、閾値THr以降の被写体距離rとRとの関係が第２の特性とは異なる特性（閾値THr以降の被写体距離rとRとの関係が、第２の特性よりも急峻又は緩やかに変換する特性）を採用することができる。

変換特性を切り替えることにより、移動変換により得られる移動変換画像において、視点変換により倒れた状態になった起立物を起こす程度を調整することができる。
変換特性は、本発明のカメラシステムが搭載された車が出荷前に（工場において）/販売される前に（販売店において）調整されても良い。また、販売後に車のユーザが変換特性を調整できるようにしても良い。車のユーザが変換特性を調整する場合は、ユーザごとにその調整値を保存しておいて、ユーザに応じて適宜読み出すような処理を行っても良い。

ここで、変換特性の切り替えによれば、移動変換画像における起立物を起こす程度の調整の他、移動変換画像に映る範囲の画角を調整することができる。

すなわち、例えば、上述の第１及び第２の特性を切り替える場合には、第１及び第２の特性のいずれの特性であっても、消失点から閾値THr以内の被写体位置は、実質的に移動しないので、移動変換画像において、消失点を中心とする半径THrの円内の領域については、見え方は同一である。

一方、視点変換画像において、消失点から閾値THrを超える被写体位置は、第１の特性では、実質的に移動しないが、第２の特性では、被写体距離rが遠いほど、消失点の方向に移動される。

したがって、第１の特性に従った移動変換により得られる移動変換画像と、第２の特性に従った移動変換により得られる移動変換画像とでは、消失点を中心とする半径THrの円の外側の領域については、その領域に映る範囲が変化する。

すなわち、第１の特性では、被写体位置は、移動しないが、第２の特性では、被写体位置は、被写体距離rが遠いほど、消失点の方向に移動されるため、第２の特性に従った移動変換により得られる移動変換画像には、第１の特性に従った移動変換により得られる移動変換画像よりも広い画角の範囲が映る。

したがって、変換特性を切り替えることによって、移動変換画像に映る範囲の画角を切り替える（調整する）ことができる。

＜画像処理システムの処理＞

図１２は、図１の画像処理システムの処理の例を説明するフローチャートである。

ステップＳ１１において、カメラユニット１０は、撮影画像を撮影し、画像処理部２２に供給して、処理は、ステップＳ１２に進む。

ステップＳ１２では、画像処理部２２は、カメラユニット１０からの撮影画像を取得し、その撮影画像に画像処理を施す。そして、画像処理部２２は、画像処理の結果得られる画像を、画像出力部２４に供給し、処理は、ステップＳ１２からステップＳ１３に進む。

ステップＳ１３では、画像出力部２４が、画像処理部２２からの画像処理後の画像を、表示部２５に出力することで表示させ、処理は終了する。

図１３は、図１２のステップＳ１２の画像処理の例を説明するフローチャートである。

ステップＳ２１において、画像取得部４１は、カメラユニット１０から供給される撮影画像を、画像処理の処理対象となる対象画像として取得し、射影変換部４２に供給して、処理は、ステップＳ２２に進む。

ステップＳ２２では、射影変換部４２は、画像取得部４１からの対象画像としての撮影画像の射影変換を行い、その射影変換により得られる射影変換画像を、視点変換部４３に供給して、処理は、ステップＳ２３に進む。

ステップＳ２３では、視点変換部４３は、仮想的なカメラユニットを設定（想定）し、射影変換部４２からの射影変換画像の視点変換を、仮想的なカメラユニットの光軸が、視点変換画像における消失点に合致するように行う。そして、視点変換部４３は、射影変換画像の視点変換により得られる視点変換画像を、移動変換部４４に供給し、処理は、ステップＳ２３からステップＳ２４に進む。

ステップＳ２４では、切り替え部４５が、設定記憶メモリ２３から変換特性を取得し、移動変換部４４に供給して、処理は、ステップＳ２５に進む。

ステップＳ２５では、移動変換部４４は、直前のステップＳ２４で切り替え部４５から供給された変換特性（最新の変換特性）に従って、視点変換部４３からの視点変換画像の移動変換を行う。そして、移動変換部４４は、視点変換画像の移動変換により得られる移動変換画像を、表示領域切り出し部４６に供給し、処理は、ステップＳ２５からステップＳ２６に進む。

ステップＳ２６では、表示領域切り出し部４６は、移動変換部４４からの移動変換画像から、表示部２５に表示させる表示領域の画像を、切り出し画像として切り出す。そして、表示領域切り出し部４６は、切り出し画像を、重畳部４７に供給し、処理は、ステップＳ２６からステップＳ２７に進む。

ステップＳ２７では、切り替え部４５が、移動変換に用いられる変換特性を切り替えるかどうかを判定する。

ステップＳ２７において、移動変換に用いられる変換特性を切り替えると判定された場合、すなわち、例えば、変換特性を切り替えるように、操作部２１が操作された場合、処理は、ステップＳ２４に戻る。

ステップＳ２４では、切り替え部４５は、設定記憶メモリ２３から前回取得した変換特性とは異なる変換特性を新たに取得して、移動変換部４４に供給し、以下、同様の処理が繰り返される。

ここで、以上のように、切り替え部４５が新たに取得した変換特性が移動変換部４４に供給されることで、移動変換に用いられる変換特性が切り替えられる。

一方、ステップＳ２７において、移動変換に用いられる変換特性を切り替えないと判定された場合、すなわち、例えば、変換特性を切り替えるように、操作部２１が操作されなかった場合、処理は、ステップＳ２８に進む。

ステップＳ２８では、重畳部４７が、表示領域切り出し部４６からの切り出し画像に、OSD情報を必要に応じて重畳し、画像出力部２４に供給して、処理はリターンする。なお、ステップＳ２２の射影変換、ステップＳ２３の視点変換、ステップＳ２４及びＳ２５の変換特性の取得及びその変換特性を用いての移動変換、並びに、ステップＳ２６の切り出し画像（表示領域の画像）の切り出しの処理は、どのような順番で行ってもよいし、これらの処理のすべてを包括的に一度の処理で行ってもよい。

＜視点変換と画像の見え方＞

図１４は、視点変換と画像の見え方との例を示す図である。

すなわち、図１４は、中心射影方式で撮影された撮影画像と、その撮影画像の視点変換により得られる視点変換画像との例を示している。

図１４のＡは、カメラユニット１０が中心射影方式の撮影を行う場合の撮影状況（を表す平面図）と、カメラユニット１０で撮影される撮影画像との例を示している。なお、図１４の撮影状況を示す図は、平面図である。

図１４のＡでは、起立物としてのパイロンが置かれている道路が中心射影方式で撮影され、道路と、その道路上に置かれたパイロンとが映った撮影画像が得られている。

図１４のＢは、仮想的なカメラユニットを、被写体（パイロン）に近づく位置（本実施の形態では、車両３０の後方）に設定した場合の撮影状況と、仮想的なカメラユニットが被写体に近づく位置に設定された場合の、撮影画像の視点変換により得られる視点変換画像との例を示している。

仮想的なカメラユニットが被写体に近づく位置に設定された場合、図１４のＢの視点変換画像に示すように、消失点から離れた位置のパイロンが、内側（消失点側）に倒れた状態になる。

図１４のＣは、仮想的なカメラユニットを、被写体から遠ざかる位置（本実施の形態では、車両３０の前方）に設定した場合の撮影状況と、仮想的なカメラユニットが被写体から遠ざかる位置に設定された場合の、撮影画像の視点変換により得られる視点変換画像との例を示している。

仮想的なカメラユニットが被写体から遠ざかる位置に設定された場合、図１４のＣの視点変換画像に示すように、消失点から離れた位置のパイロンが、外側（消失点側とは反対側）に倒れた状態になる。

図１５は、視点変換と画像の見え方との他の例を示す図である。

すなわち、図１５は、中心射影方式で撮影された撮影画像と、その撮影画像の視点変換により得られる視点変換画像との他の例を示している。

図１５のＡは、カメラユニット１０が中心射影方式の撮影を行う場合の撮影状況（を側面から見た図）と、カメラユニット１０で撮影される撮影画像との例を示している。なお、図１５の撮影状況を示す図は、車両３０の前方に向かって撮影状況を左側から見た図である。

図１５のＡでは、図１４のＡの場合と同様に、起立物としてのパイロンが置かれている道路が中心射影方式で撮影され、道路と、その道路上に置かれたパイロンとが映った撮影画像が得られている。

図１５のＢは、仮想的なカメラユニットを、カメラユニット１０の下側に移動した位置（本実施の形態では、道路に近づく方向）に設定した場合の撮影状況と、仮想的なカメラユニットが下側に移動した位置に設定された場合の、撮影画像の視点変換により得られる視点変換画像との例を示している。

仮想的なカメラユニットが下側に移動した位置に設定された場合、図１５のＢの視点変換画像に示すように、消失点から離れた位置のパイロンが、（やや）内側に倒れた状態になる。

図１５のＣは、仮想的なカメラユニットを、カメラユニット１０の上側に移動した位置（本実施の形態では、道路から遠ざかる方向）に設定した場合の撮影状況と、仮想的なカメラユニットが上側に移動した位置に設定された場合の、撮影画像の視点変換により得られる視点変換画像との例を示している。

仮想的なカメラユニットが上側に移動した位置に設定された場合、図１５のＣの視点変換画像に示すように、消失点から離れた位置のパイロンが、（やや）外側に倒れた状態になる。

図１６は、撮影画像に映る起立物としてのパイロンを説明する図である。

図１６は、起立物としてのパイロンが置かれた道路を撮影する場合の撮影状況と、その撮影により得られる撮影画像との例を示している。なお、図１６では、撮影状況を示す図として、平面図と、車両３０の前方に向かって撮影状況を左側から見た図とが示されている。

道路に起立する起立物としてのパイロンが映った１枚の撮影画像だけでは、その撮影画像に映るパイロンが、道路上に置かれた起立物であるのか、又は、起立物としてのパイロンを道路上に射影した射影像であるのかを区別することはできない。

すなわち、起立物としてのパイロンが置かれた道路を撮影しても、パイロンの射影像が描かれた道路を撮影しても、同様の撮影画像が得られる。

図１７は、等距離射影方式のカメラユニット１０で撮影される撮影範囲と撮影画像との例を示す図である。

車両３０の近傍（カメラユニット１０の近傍でもある）を撮影画像の画角に収めるため、カメラユニット１０では、例えば、魚眼レンズのような、等距離射影方式の広角レンズが採用される。

等距離射影方式では、広い画角の撮影画像を撮影することができるが、撮影画像に映る被写体に、等距離射影方式に起因する歪みが生じる。例えば、直線である車線が湾曲する。

さらに、等距離射影方式の撮影画像では、図１７に示すように、車両３０の近傍の被写体（例えば、パイロン）は、大きく映るが、車両３０から離れた被写体は、車両３０から離れるほど、実際の見え方よりも小さく映る。

したがって、等距離射影方式の撮影画像では、その撮影画像に映る被写体までの距離感がつかみにくいことがある。

そこで、画像処理部２２では、射影変換及び視点変換が行われる。

図１８は、図１７の撮影画像の射影変換及び視点変換により得られる視点変換画像と、視点変換で行われる仮想的なカメラユニットの設定との例を示す図である。

射影変換では、等距離射影方式の撮影画像が、中心射影方式の射影変換画像に変換され、これにより、撮影画像に映る被写体に生じていた歪みが補正される。

視点変換では、車両３０の近傍の被写体を画角内に収めるため、仮想的なカメラユニットが、図中、点線の矢印で示すように、被写体から遠ざかる位置、すなわち、図１７のカメラユニット１０の位置より車両３０の前方の位置に設定され、視点変換画像が求められる。

以上により、等距離射影方式で生じる歪みが補正され、かつ、車両３０の近傍にある被写体が映った視点変換画像を得ることができる。

しかしながら、視点変換において、仮想的なカメラユニットが被写体から遠ざかる位置に設定される場合には、視点変換で得られる視点変換画像において、図１４のＣに示したように、特に、車両３０の近傍に位置する起立物としてのパイロンが、外側に倒れた状態になる。

すなわち、図１６で説明したように、撮影画像だけでは、その撮影画像に映るパイロンが、道路上に置かれた起立物であるのか、又は、起立物としてのパイロンを道路上に射影した射影像であるのかを区別することはできない。

そして、撮影画像（射影変換画像）の視点変換としての、例えば、アフィン変換は、撮影画像に映るパイロンが、パイロンの射影像であることを前提として行われる。

そのため、視点変換により得られる視点変換画像に映るパイロンは、倒れた状態になる。

図１９は、視点変換画像に映るパイロンが倒れる方向を説明する図である。

図１９のＡは、視点変換画像に映るパイロンが、内側（消失点側）に倒れる場合を説明する図である。すなわち、図１９のＡは、撮影状況を示す平面図、及び、視点変換画像の例を示す図である。

視点変換において、図１９のＡに示すように、仮想的なカメラユニットの撮影範囲の境界を表す画角線に対して、撮影画像に映るパイロンの射影の向きが、画角線の内側（仮想的なカメラユニットの光軸側）を向いている場合（パイロンの射影の向きが画角からはみ出さない場合）、視点変換画像では、パイロンが内側に倒れた状態になる。

仮想的なカメラユニットが、被写体に近づく位置に設定される場合、画角線に対して、パイロンの射影の向きが、画角線の内側を向くことがある。

図１９のＢは、視点変換画像に映るパイロンが、外側（消失点と反対側）に倒れる場合を説明する図である。すなわち、図１９のＢは、撮影状況を示す平面図、及び、視点変換画像の例を示す図である。

視点変換において、図１９のＢに示すように、仮想的なカメラユニットの撮影範囲の境界を表す画角線に対して、撮影画像に映るパイロンの射影の向きが、画角線の外側（仮想的なカメラユニットの光軸側と反対側）を向いている場合（パイロンの射影の向きが画角からはみ出す場合）、視点変換画像では、パイロンが外側に倒れた状態になる。

仮想的なカメラユニットが、被写体から遠ざかる位置に設定される場合、画角線に対して、パイロンの射影の向きが、画角線の外側を向くことがある。

図２０は、移動変換の対象の視点変換画像と、その視点変換画像の移動変換により得られる移動変換画像のとの例を示す図である。

図２０の視点変換画像では、道路上に置かれた起立物としてのパイロンが、外側に倒れた状態で映っている。

そして、その視点変換画像の移動変換が行われ、消失点から閾値THr以内の被写体距離にある被写体は、視点変換画像に映ったままで、かつ、消失点から閾値THrを超える被写体距離にある被写体は、消失点に近づけられた移動変換画像が得られている。

移動変換画像では、消失点から閾値THrを超える被写体距離にある被写体が、消失点に近づけられているので、外側に倒れた状態のパイロンが、移動変換前よりも起きた状態になっている。したがって、移動変換画像によれば、その起立物が認識しやすくなる。

なお、移動変換において、消失点から閾値THr以内の被写体距離にある被写体をそのままとすることで、ユーザは、消失点から閾値THr以内の被写体距離にある被写体については、射影変換で歪みが補正された状態の被写体を見ることができる。

また、本実施の形態では、移動変換において、被写体位置を、消失点に近づけるように移動することにより、外側に倒れた状態の起立物としてのパイロンを起きた状態にすることとしたが、移動変換では、その他、被写体距離に応じて、被写体位置を、消失点から遠ざかるように移動することができる。

移動変換において、被写体位置を、消失点から遠ざかるように移動する場合には、内側に倒れた状態の起立物を起きた状態にすることができる。

＜画像処理部２２で行われる画像変換の説明＞

図２１は、画像処理部２２で行われる画像変換を説明する図である。

なお、ここでは、画像変換とは、画像処理部２２で行われる射影変換、視点変換、及び、移動変換のそれぞれ、又は、射影変換、視点変換、及び、移動変換のうちの２以上をまとめた変換を意味する。

また、画像変換の対象の画像を、入力画像ともいい、入力画像の画像変換により得られる画像を、出力画像もいう。

画像変換では、入力画像Inputの各座標（位置）の点（画素）を、出力画像Outputのどの座標の点（画素）に対応させるかを表す座標対応情報に従って、入力画像Inputが出力画像Outputに変換される。

座標対応情報は、例えば、LUT（Look Up Table）や数式の形で保持することができる。すなわち、座標対応情報は、LUTとしてメモリ（例えば、設定記憶メモリ２３）に記憶しておくことや、画像処理部２２において、数式に従って生成する（演算により求める）ことができる。

なお、画像変換では、座標対応情報に従って、入力画像Inputを変換した後、その変換後の画像の一部を切り出す切り出し処理を行い、その切り出し処理後の画像を、画像変換の結果得られる出力画像Outputとすることができる。

図２２は、画像処理部２２で行われる画像変換を、さらに説明する図である。

図２２において、画像Image0は、撮影画像であり、画像Image1は、撮影画像Image0の射影変換及び視点変換を行って得られる視点変換画像である。また、画像image2は、視点変換画像Image1の移動変換を行って得られる移動変換画像である。

撮影画像Image0を、視点変換画像Image1に変換する座標対応情報を、座標対応情報1とするとともに、視点変換画像Image1を、移動変換画像Image2に変換する座標対応情報を、座標対応情報2とする。

画像処理部２２では、座標対応情報1と座標対応情報2、又は、座標対応情報1と座標対応情報2を掛け合わせた座標対応情報3をメモリに記憶しておくか、又は、数式に従って生成し、その座標対応情報1と座標対応情報2、又は、座標対応情報3に従って、撮影画像Image0を移動変換画像Image2に変換することができる。

ここで、例えば、座標対応情報1及び座標対応情報2が行列で表される場合、座標対応情報3は、座標対応情報1としての行列と座標対応情報2としての行列との積としての行列で表すことができる。

また、実際の実装では、画像処理部２２は、撮影画像Image0から、座標対応情報1に従って、視点変換画像Image1を生成し、その後、視点変換画像Image1から、座標対応情報2に従って、移動変換画像Image2を生成するのではなく、例えば、撮影画像Image0から、座標対応情報3に従って、移動変換画像Image2を、直接生成することができる。この場合、視点変換画像Image1は生成されない。

図２３は、画像処理部２２で行われる移動変換を説明する図である。

ここで、移動変換の対象の視点変換画像Image1については、左上の点を原点とし、横軸をU軸とするとともに、縦軸をV軸とする２次元座標系によって、視点変換画像Image1の各点（画素）の座標を表す。

また、視点変換画像Image1の移動変換により得られる移動変換画像Image2については、左上の点を原点とし、横軸をX軸とするとともに、縦軸をY軸とする２次元座標系によって、移動変換画像Image2の各点（画素）の座標を表す。

いま、視点変換画像Image1の消失点の座標を(U_vp,V_vp)と表し、U軸の方向を基準（０度）として、反時計回りの角度αの方向にある、消失点(U_vp,V_vp)からの距離（被写体距離）がrの点（の座標）を、(U_s,V_t)と表す。

同様に、移動変換画像Image2の消失点の座標を(X_vp,Y_vp)と表し、X軸の方向を基準として、反時計回りの角度αの方向にある、消失点(X_vp,Y_vp)からの距離がRの点を、(X_s,Y_t)と表す。

移動変換では、視点変換画像Image1の点(U_s,V_t)が、移動変換画像Image2の点(X_s,Y_t)に変換される。このように、移動変換において、点(U_s,V_t)が点(X_s,Y_t)に変換される関係にあることを、点(U_s,V_t)が点(X_s,Y_t)と対応する、（点(U_s,V_t)と点(X_s,Y_t)とが対応する）、ともいう。

対応する点(U_s,V_t)及び点(X_s,Y_t)については、式（１）が成り立つ。

U_s-U_vp=r×cosα，V_t-V_vp=r×sinα
X_s-X_vp=R×cosα，Y_t-Y_vp=R×sinα
・・・（１）

式（１）の距離（被写体距離）rとRとの関係として、図９に示したような変換特性を採用することにより、視点変換画像Image1の消失点(U_vp,V_vp)から、閾値THr以内の被写体距離rにある点(U_s,V_t)は、その点(U_s,V_t)と同一の、移動変換画像Image2の点(X_s,Y_t)に移動される。また、視点変換画像Image1の消失点(U_vp,V_vp)から、閾値THrを超える被写体距離rにある点(U_s,V_t)は、被写体距離rが大であるほど、移動変換画像Image2の消失点(X_vp,Y_vp)の方向に近づいた点(X_s,Y_t)に移動される。その結果、視点変換画像Image1において、消失点(U_vp,V_vp)から遠い位置の、倒れた状態になった起立物が起きた状態になる。

ここで、例えば、図２３に示すように、変換特性において、閾値THr以下の被写体距離rについては、被写体距離r及びRの関係は、式r=Rで表すことができる。また、閾値THrを超える被写体距離rについては、被写体距離r及びRの関係は、例えば、a,b,cを所定の係数として、式r=aR²+bR+cで表すことができる。係数a,b,cを変えることにより、変換特性を切り替えることができる。

また、変換特性は、視点変換画像Image1における被写体距離rと、移動変換画像Image2における被写体距離Rとを、いわば直接的に関係付けるが、被写体距離rと被写体距離Rとは、その他、例えば、角度αをパラメータとして関係付けることができる。

図２４は、閾値THrの決定方法の例を説明する図である。

閾値THrは、例えば、ユーザの操作に応じて決定することができる。また、閾値THrは、例えば、視点変換画像に映る起立物に応じて決定することができる。

すなわち、図２４は、起立物が置かれた道路（駐車場）の例を示す平面図である。

図２４に示すように、道路上の、カメラユニット１０が設けられた車両３０の車幅の両端から500mm以内等の所定の距離内に、パイロン等の起立物を置き、視点変換画像において、45度等の所定の角度だけ倒れた状態になる起立物が映る点と、視点変換画像の消失点との距離を、閾値THrに決定することができる。

図２５は、変換特性の切り替えの例を説明する図である。

図１１で説明したように、移動変換に用いる変換特性は、切り替えることができる。

図２５では、移動変換に用いる変換特性として、変換特性p及びp'が用意されている。

変換特性p及びp'では、移動変換前の（視点変換画像における）被写体距離rが、閾値THr以下である場合には、移動変換前の被写体距離rと、移動変換後の（移動変換画像における）被写体距離Rとが一致している。

そして、変換特性p及びp'では、移動変換前の被写体距離rが、閾値THrを超える場合には、移動変換後の被写体距離Rが、移動変換画像の消失点に近づくように、移動変換が行われる。

但し、閾値THrを超える被写体距離rについては、被写体距離rが大になるほど、変換特性p'よりも変換特性pの方が、被写体距離Rの変化の割合が小になるようになっている。

したがって、移動変換に変換特性pを用いる場合には、変換特性p'を用いる場合に比較して、移動変換において、被写体位置が、消失点の方向により近づくように（倒れた状態の起立物がより起きた状態になるように）移動される。

図２５では、変換特性p及びp'の閾値THrが同一になっているので、変換特性pとp'との切り替えによれば、消失点から閾値THrの距離の範囲の見え方を変化させずに、移動変換により得られる移動変換画像において、視点変換により倒れた状態になった起立物を起こす程度を変化させるとともに、移動変換画像に映る範囲の画角を調整することができる。

図２６は、変換特性が切り替え可能な場合の、画像処理部２２で行われる画像変換を説明する図である。

図２６では、図２２と同様に、画像Image0，Image1，Image2は、それぞれ、撮影画像視点変換画像、移動変換画像である。また、図２６において、画像Image2'は、移動変換画像Image2とは別の移動変換画像である。

ここで、撮影画像Image0を、視点変換画像Image1に変換する座標対応情報を、座標対応情報1とする。また、視点変換画像Image1を、図２５の変換特性pに従って、移動変換画像Image2に変換する座標対応情報を、座標対応情報2とする。さらに、視点変換画像Image1を、図２５の変換特性p'に従って、移動変換画像Image2'に変換する座標対応情報を、座標対応情報2'とする。

画像処理部２２では、座標対応情報1をメモリに記憶しておくか、又は、数式に従って生成し、かつ、座標対応情報2、又は、座標対応情報1と座標対応情報2を掛け合わせた座標対応情報3をメモリに記憶しておくか、又は、数式に従って生成するとともに、座標対応情報2'、又は、座標対応情報1と座標対応情報2'を掛け合わせた座標対応情報3をメモリに記憶しておくか、又は、数式に従って生成することにより、変換特性pとp'とを切り替えて、図２２で説明したように、画像変換を行うことができる。

図２７は、変換特性が切り替え可能な場合の、重畳部４７（図３）でのOSD情報の重畳の例を説明する図である。

変換特性が切り替え可能な場合、重畳部４７は、移動変換に用いられる変換特性に応じて異なるOSD情報を生成し、移動変換画像（から、表示領域切り出し部４６で切り出された切り出し画像）に重畳する。

図２７は、車両３０が後進するときに、車両３０の運転をアシストするガイドラインとしてのOSD情報と、そのOSD情報を移動変換画像に重畳して得られる重畳画像との例を示している。

すなわち、図２７のＡは、移動変換に、図２５の変換特性pが用いられる場合のOSD情報（変換OSD情報）と、そのOSD情報が重畳された重畳画像の例を示している。

図２７のＢは、移動変換に、図２５の変換特性p'が用いられる場合のOSD情報と、そのOSD情報が重畳された重畳画像の例を示している。

重畳部４７では、例えば、視点変換画像に適切な（マッチした）ガイドラインとしてのOSD情報（以下、標準OSD情報ともいう）（図示せず）が用意され、移動変換に用いられる変換特性に応じて、標準OSD情報が変換される。

例えば、移動変換に、図２５の変換特性pが用いられる場合には、標準OSD情報は、図２６の座標対応情報2に従って変換され、移動変換に、図２５の変換特性p'が用いられる場合には、標準OSD情報は、図２６の座標対応情報2'に従って変換され、変換OSD情報とされる。

変換OSD情報は、移動変換により得られる移動変換画像に適切なOSD情報（移動変換画像と整合がとれたOSD情報）となる。

その後、変換特性p又はp'に従った標準OSD情報の変換によって得られる変換OSD情報は、その変換特性p又はp'に従った移動変換により得られる移動変換画像に重畳される。

図２５で説明したように、移動変換に変換特性pを用いる場合には、変換特性p'を用いる場合に比較して、移動変換において、被写体位置が、消失点の方向により近づくように移動される。

そのため、図２７においても、図２７のＡの変換特性pが用いられる場合の変換OSD情報であるガイドラインを構成する、特に、下部の線Ｌは、図２７のＢの変換特性p'が用いられる場合よりも、消失点に近づいた状態になっている。

なお、本技術は、移動体に搭載され得る画像処理システムの他、画像を加工するアプリケーション、その他の画像を扱う任意の装置に適用することができる。

＜本技術を適用したコンピュータの説明＞

次に、上述した画像処理部２２の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

図２８は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。

あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。

CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。

これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。

なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

なお、本技術は、以下の構成をとることができる。

＜１＞
処理対象の対象画像を取得する取得部と、
前記対象画像における消失点から被写体が映る被写体位置までの被写体距離に応じて、前記対象画像における前記被写体位置を移動させる移動変換を行う移動変換部と
を備える画像処理装置。
＜２＞
前記移動変換部は、前記被写体距離に応じて、前記被写体距離が、前記移動変換の前より短くなるように、前記被写体位置を移動させる前記移動変換を行う
＜１＞に記載の画像処理装置。
＜３＞
前記移動変換部は、前記被写体距離が長いほど、前記消失点に近づくように、前記被写体位置を移動させる前記移動変換を行う
＜２＞に記載の画像処理装置。
＜４＞
前記移動変換部は、前記被写体距離が閾値以上の前記被写体位置を移動させる前記移動変換を行う
＜３＞に記載の画像処理装置。
＜５＞
前記対象画像を、所定の視点から見た視点変換画像に変換する視点変換を行う視点変換部をさらに備え、
前記移動変換部は、前記視点変換画像の前記移動変換を行う
＜１＞ないし＜４＞のいずれかに記載の画像処理装置。
＜６＞
前記視点変換部は、前記所定の視点から撮影を行ったときの光軸が、前記視点変換画像における消失点に合致するように、前記視点変換を行う
＜５＞に記載の画像処理装置。
＜７＞
前記移動変換部は、前記移動変換前の前記被写体距離と、前記移動変換後の前記被写体距離との関係を表す変換特性に従って、前記移動変換を行い、
前記移動変換に用いられる前記変換特性を切り替える切り替え部をさらに備える
＜１＞ないし＜６＞のいずれかに記載の画像処理装置。
＜８＞
前記移動変換により得られる移動変換画像に、前記移動変換に用いられる前記変換特性に応じて異なるOSD(On Screen Display)情報を重畳する重畳部をさらに備える
＜７＞に記載の画像処理装置。
＜９＞
処理対象の対象画像を取得することと、
前記対象画像における消失点から被写体が映る被写体位置までの被写体距離に応じて、前記対象画像における前記被写体位置を移動させる移動変換を行うことと
を含む画像処理方法。
＜１０＞
処理対象の対象画像を取得する取得部と、
前記対象画像における消失点から被写体が映る被写体位置までの被写体距離に応じて、前記対象画像における前記被写体位置を移動させる移動変換を行う移動変換部と
して、コンピュータを機能させるためのプログラム。

１０カメラユニット，１１光学系，１２イメージセンサ，１３画質制御部，２１操作部，２２画像処理部，２３設定記憶メモリ，２４画像出力部，２５表示部，３０車両，３１ないし３４カメラユニット，４１画像取得部，４２射影変換部，４３視点変換部，４４移動変換部，４５切り替え部，４６表示領域切り出し部，４７重畳部，１０１バス，１０２ CPU，１０３ ROM，１０４ RAM，１０５ハードディスク，１０６出力部，１０７入力部，１０８通信部，１０９ドライブ，１１０入出力インタフェース，１１１リムーバブル記録媒体

Claims

処理対象の対象画像を取得する取得部と、
前記対象画像における消失点から被写体が映る被写体位置までの被写体距離が閾値以上の前記被写体位置を、前記被写体距離が長いほど、前記消失点に近づけるように移動させる移動変換を行う移動変換部と
を備える画像処理装置。
前記対象画像を、所定の視点から見た視点変換画像に変換する視点変換を行う視点変換部をさらに備え、
前記移動変換部は、前記視点変換画像の前記移動変換を行う
請求項１に記載の画像処理装置。
前記視点変換部は、前記所定の視点から撮影を行ったときの光軸が、前記視点変換画像における消失点に合致するように、前記視点変換を行う
請求項２に記載の画像処理装置。
前記移動変換部は、前記移動変換前の前記被写体距離と、前記移動変換後の前記被写体距離との関係を表す変換特性に従って、前記移動変換を行い、
前記移動変換に用いられる前記変換特性を切り替える切り替え部をさらに備える
請求項１に記載の画像処理装置。
前記移動変換により得られる移動変換画像に、前記移動変換に用いられる前記変換特性に応じて異なるOSD(On Screen Display)情報を重畳する重畳部をさらに備える
請求項４に記載の画像処理装置。
処理対象の対象画像を取得することと、
前記対象画像における消失点から被写体が映る被写体位置までの被写体距離が閾値以上の前記被写体位置を、前記被写体距離が長いほど、前記消失点に近づけるように移動させる移動変換を行うことと
を含む画像処理方法。
処理対象の対象画像を取得する取得部と、
前記対象画像における消失点から被写体が映る被写体位置までの被写体距離が閾値以上の前記被写体位置を、前記被写体距離が長いほど、前記消失点に近づけるように移動させる移動変換を行う移動変換部と
して、コンピュータを機能させるためのプログラム。