JP7108855B2

JP7108855B2 - 画像合成装置、及び、制御方法

Info

Publication number: JP7108855B2
Application number: JP2018160826A
Authority: JP
Inventors: 正人湯田; 智秀松田; 尚毅大谷; 直史吉田
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2018-02-27
Filing date: 2018-08-29
Publication date: 2022-07-29
Anticipated expiration: 2038-08-29
Also published as: JP2019149143A

Description

本発明は、画像合成装置、及び、制御方法に関する。

車両が備える複数のカメラによって車両の後方を撮影し、撮影した画像を表示する画像表示装置がある。例えば、車両の後方が映った画像を運転者に視認させる画像表示装置、いわゆる車両用電子ミラーがある。

この画像表示装置は、車両の左側ドア近傍及び右側ドア近傍に固定されたカメラが撮影した車両の左側後方及び右側後方の画像と、車両のリアバンパー又はトランクフード付近に固定されたカメラが撮影した車両の中央後方の画像とを取得する。そして、これらの画像をつなぎあわせることで、左側後方、中央後方及び右側後方が映った１つの画像を生成し、生成した画像をルームミラー型の表示装置に表示する。

従来、画像をつなぎあわせることで合成する画像合成装置がある（例えば、特許文献１参照）。

特開２０００－２１５３１７号公報

しかしながら、特許文献１に記載の画像合成装置による画像の合成では、合成する画像の境界付近において生ずる二重化によって違和感が生じ得る。二重化とは、一の物が画像に二重に映ることをいう。

そこで、本発明は、画像合成に伴う違和感を抑制しながら画像を合成する画像合成装置を提供することを目的とする。

本発明の一態様に係る画像合成装置は、一の対象を互いに異なる撮像条件の下で撮像した第一画像及び第二画像を取得し、取得した前記第一画像及び前記第二画像を一部が重なる所定の位置関係で配置する取得部と、前記取得部が配置した前記第一画像における１以上の第一特徴点と、前記取得部が配置した前記第二画像における１以上の第二特徴点とを決定する特徴点決定部と、同一の物が撮像された点である、前記１以上の第一特徴点のうちの一の第一特徴点と、前記１以上の第二特徴点のうちの一の第二特徴点とのペアを複数決定するペア決定部と、配置された前記第一画像及び前記第二画像が第一方向に延びる分割線によって分割された複数の部分画像ごとに、当該部分画像に含まれるペアに係る一の第一特徴点から、一の第一特徴点及び一の第二特徴点の中点に至るベクトルを代表する第一代表ベクトルを算出し、前記ペアに係る一の第二特徴点から前記中点に至るベクトルを代表する第二代表ベクトルを算出する第一算出部と、前記第一算出部が算出した前記複数の部分画像ごとの前記第一代表ベクトルを補間することで前記第一画像及び前記第二画像に含まれる画素列ごとの第一個別ベクトルを算出し、前記第一算出部が算出した前記複数の部分画像ごとの前記第二代表ベクトルを補間することで前記第一画像及び前記第二画像に含まれる画素列ごとの第二個別ベクトルを算出する第二算出部と、前記第一画像に含まれる画素列に対し前記第一個別ベクトルを用いて画素値を演算し、前記第二画像に含まれる画素列に対し前記第二個別ベクトルを用いて画素値を演算してから、前記第一画像及び前記第二画像を合成する合成部とを備える。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明に係る画像合成装置は、画像合成に伴う違和感を抑制しながら画像を合成することができる。

図１は、実施の形態１に係る画像合成装置が合成する画像を取得するカメラが搭載された車両の一例を示す模式図である。図２は、実施の形態１に係る画像合成装置による合成前の画像と合成後の画像を示す説明図である。図３は、異なるカメラで撮像した画像における被写体の二重化の説明図である。図４は、実施の形態１に係る画像合成装置の機能構成を示すブロック図である。図５は、実施の形態１に係る画像合成装置による特徴点及びペアの決定方法を示す説明図である。図６は、実施の形態１に係る画像合成装置により算出された代表ベクトルを示す説明図である。図７は、実施の形態１に係る画像合成装置による代表ベクトルの線形補間による個別ベクトルの算出方法を示す説明図である。図８は、実施の形態１に係る画像合成装置により算出された個別ベクトルを示す説明図である。図９は、実施の形態１に係る画像合成装置による個別ベクトルを用いた合成処理を示す説明図である。図１０は、実施の形態１に係る画像合成装置の処理を示すフロー図である。図１１は、実施の形態２に係る画像合成装置の機能構成を示すブロック図である。図１２は、実施の形態２に係る車両の右側後方画像の一例を示す説明図である。図１３は、実施の形態２に係る車両の中央後方画像の一例を示す説明図である。図１４は、関連技術に係る車両の左側後方画像と中央後方画像とをつなぎ合わせた画像の一例を示す説明図である。図１５は、実施の形態２に係る車両の左側後方画像と中央後方画像とを一部を重ねて配置した状態を示す説明図である。図１６は、実施の形態２に係る画像の合成のための境界線の一例を示す説明図である。図１７は、図１６における枠ＸＶＩＩの拡大図である。図１８は、実施の形態２に係る車両の左側後方画像から抜き出した画像の一例を示す説明図である。図１９は、実施の形態２に係る車両の中央後方画像から抜き出した画像の一例を示す説明図である。図２０は、実施の形態２に係る車両の左側後方画像と中央後方画像とをつなぎ合わせた画像の一例を示す説明図である。図２１は、実施の形態２に係る画像合成装置の処理を示すフロー図である。図２２は、実施の形態２に係る車両の左側後方画像と中央後方画像とを合成する境界線の別の一例を示す説明図である。図２３は、実施の形態２の変形例に係る画像合成装置により算出された個別ベクトルと境界線とを示す説明図である。

上記態様によれば、画像合成装置は、第一画像と第二画像とに映っている、同一の物が撮像された特徴点を互いに近づけるような画素値の演算を施した上で、第一画像と第二画像とを合成する。この演算の際に、第一代表ベクトル等を一旦算出した後に、算出した第一代表ベクトルを用いて画素列ごとの個別ベクトルを算出し、個別ベクトルを用いて画素値の演算が行われる。このように第一代表ベクトル等を一旦算出することにより、特徴点の誤マッチングにより生じ得る、他と大きく異なるベクトルの影響が画像合成に及ぶことを排除することができる。その結果、画像合成装置は、画像合成に伴う違和感を抑制しながら画像を合成することができる。

例えば、前記第一算出部は、前記複数の部分画像ごとに、当該部分画像に含まれる複数のペアに係る一の第一特徴点から、一の第一特徴点及び一の第二特徴点の中点に至るベクトルの中央値を前記第一代表ベクトルとして算出し、前記ペアに係る一の第二特徴点から前記中点に至るベクトルの中央値を前記第二代表ベクトルとして算出する。

上記態様によれば、画像合成装置は、複数のベクトルの中央値を第一代表ベクトル等として算出する。これにより、特徴点の誤マッチングにより生じ得る、他と大きく異なるベクトルの影響が個別ベクトルに及ぶことを排除することができる。よって、画像合成装置は、より容易に、画像合成に伴う違和感を抑制しながら画像を合成することができる。

例えば、前記第二算出部は、前記第一画像及び前記第二画像に含まれる画素列ごとに、前記複数の部分画像それぞれの中心画素列に当該部分画像における前記第一代表ベクトルを対応付けて、線形補間によって前記第一個別ベクトルを算出し、前記第一画像及び前記第二画像に含まれる画素列ごとに、前記複数の部分画像それぞれの中心画素列に当該部分画像における前記第二代表ベクトルを対応付けて、線形補間によって前記第二個別ベクトルを算出する。

上記態様によれば、画像合成装置は、代表ベクトルの線形補間により個別ベクトルを算出する。よって、画像合成装置は、より具体的な構成に基づいて、より容易に、画像合成に伴う違和感を抑制しながら画像を合成することができる。

例えば、前記第一算出部は、前記複数の部分画像ごとの前記第一代表ベクトル及び前記第二代表ベクトルそれぞれと、当該部分画像に隣接する部分画像の前記第一代表ベクトル及び前記第二代表ベクトルそれぞれとの差分を小さくする統計処理を施し、前記第二算出部は、前記第一算出部による前記統計処理の後に、前記第一個別ベクトル及び前記第二個別ベクトルを算出する。

上記態様によれば、画像合成装置は、一の部分画像の代表ベクトルと、それと隣接する部分画像の代表ベクトルとの差分を小さくすることで、部分画像間での個別ベクトルの差分を小さくし、その結果、合成画像において歪が生ずることを回避することができる。よって、画像合成装置は、画像における部分の間で歪が生ずることを未然に回避することで、画像合成に伴う違和感を抑制しながら画像を合成することができる。

例えば、前記取得部は、互いに異なる時刻に撮像された複数の前記第一画像及び前記第二画像を取得し、前記第一算出部は、前記複数の部分画像ごとの前記第一代表ベクトル及び前記第二代表ベクトルそれぞれと、当該部分画像と同じ位置に位置し、当該部分画像より前に取得された部分画像の前記第一代表ベクトル及び前記第二代表ベクトルそれぞれとの差分を小さくする統計処理を施し、前記第二算出部は、前記第一算出部による前記統計処理の後に、前記第一個別ベクトル及び前記第二個別ベクトルを算出する。

上記態様によれば、画像合成装置は、一の部分画像の代表ベクトルと、それと同じ位置の過去の部分画像の代表ベクトルとの差分を小さくすることで、個別ベクトルの時間的な変化量を小さくし、その結果、合成画像において歪が生ずることを回避することができる。よって、画像合成装置は、画像における部分の間で歪が生ずることを未然に回避することで、画像合成に伴う違和感を抑制しながら画像を合成することができる。

例えば、前記取得部は、互いに異なる時刻に撮像された複数の前記第一画像及び前記第二画像を取得し、前記第一算出部は、一の時刻に撮像された前記第一画像及び前記第二画像が分割された前記複数の部分画像のうち、当該部分画像に含まれる前記ペアの数が所定以上である場合には、前記一の時刻より後の時刻に撮像された前記第一画像及び前記第二画像についての当該部分画像のサイズを小さくし、当該部分画像に含まれる前記ペアの数が所定以下である場合には、前記一の時刻より後の時刻に撮像された前記第一画像及び前記第二画像についての当該部分画像のサイズを大きくする。

上記態様によれば、画像合成装置は、部分画像に含まれる特徴点のペアの数を適正範囲に収めることができる。部分画像に含まれる特徴点の数が適正範囲より大きい場合、特徴点と、特徴点間の中点を結ぶベクトルのばらつきが多くなり、算出される代表ベクトルから離れたベクトルも多くなる。そのため、適切な代表ベクトルが算出されないことがある。一方、部分画像に含まれる特徴点の数が適正範囲より小さい場合、計算の基礎となる特徴点の数が少なく、算出される代表ベクトルが必ずしも、部分画像に含まれるベクトルを代表するベクトルでない場合も生じ得る。そこで、部分画像に含まれる特徴点のペアの数を適正範囲に収めることで、適切な代表ベクトルを算出することによって、画像合成に伴う違和感を抑制しながら画像を合成することができる。

例えば、前記第一方向は、水平方向である。

上記態様によれば、画像合成装置は、水平方向の分割線を用いて部分画像を生成する。よって、画像合成装置は、より容易に、画像合成に伴う違和感を抑制しながら画像を合成することができる。

例えば、前記第二算出部は、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）によるハードウェア処理により前記第一代表ベクトル及び前記第二代表ベクトルを算出し、前記合成部は、前記ＧＰＵによるハードウェア処理により前記第一画像及び前記第二画像を合成する。

上記態様によれば、画像合成装置は、ＧＰＵによるハードウェア処理を用いて第一代表ベクトルをもとに画像合成を行う。よって、画像合成装置は、処理量及び処理時間を削減しながら、画像合成に伴う違和感を抑制しながら画像を合成することができる。

例えば、前記画像合成装置は、さらに、決定された複数の前記ペアのうち、当該ペアに係る前記一の第一特徴点と前記一の第二特徴点との離間距離が所定以下である複数の近距離ペアの近傍を通る一の曲線を決定する曲線決定部を備え、前記合成部は、前記曲線決定部により決定された前記一の曲線を境界として、前記第一画像及び前記第二画像を合成する。

上記態様によれば、画像合成装置は、第一画像と第二画像との内容に応じて定められる境界線を用いて、第一画像と第二画像とを合成する。この境界線は、同一の物が撮像された、第一画像における特徴点と、第二画像における特徴点とのペアのうち、特徴点の離間距離が比較的小さいものの近傍を通るように設定されているので、境界の近くで発生し得る画像の二重化又は消失が抑制される。その結果、画像合成装置は、画像合成に伴う違和感を抑制しながら画像を合成することができる。

例えば、前記曲線決定部は、決定された前記複数の近距離ペアの近傍を通る一の近似曲線を、前記一の曲線として決定する。

上記態様によれば、画像合成装置は、近似曲線を用いて、画像の合成に用いる境界線を決定する。よって、画像合成装置は、より容易に、画像合成に伴う違和感を抑制しながら画像を合成することができる。

例えば、前記曲線決定部は、非線形最小二乗法により前記一の曲線を決定する。

上記態様によれば、画像合成装置は、非線形最小二乗法を用いて、画像の合成に用いる境界線を決定する。よって、画像合成装置は、より具体的な構成に基づいて、より容易に、画像合成に伴う違和感を抑制しながら画像を合成することができる。

例えば、前記曲線決定部は、決定された複数の前記ペアのうち、当該ペアに係る前記一の第一特徴点と前記一の第二特徴点との離間距離が所定以上である複数の遠距離ペアの近傍を通らない前記一の曲線を決定する。

上記態様によれば、画像合成装置は、遠距離ペアの近傍、つまり、遠距離ペアに係る第一画像の特徴点及び第二画像の特徴点の近傍、並びに、これらの特徴点を結ぶ直線の近傍を通らない境界線を設定する。よって、境界の近くで発生し得る二重化又は消失がより一層抑制される。その結果、画像合成装置は、画像合成に伴う違和感をより一層抑制しながら画像を合成することができる。

例えば、前記第一画像及び前記第二画像は、一の車両に固定された２つのカメラにより同時に撮像された画像であり、前記所定の位置関係は、前記２つのカメラの位置及び向きに応じて予め定められた位置関係である。

上記態様によれば、画像合成装置は、車両に搭載されたカメラの位置及び向きを用いて、第一画像と第二画像とが配置される位置関係を予め定める。よって、画像合成装置は、予め定められた位置関係を用いて、より容易に、画像合成に伴う違和感を抑制しながら画像を合成することができる。

例えば、前記画像合成装置は、（ａ）一の車両の左側の後方を映す左カメラにより撮像された左後方画像と、（ｂ）前記一の車両の右側の後方を映す右カメラにより撮像された右後方画像と、（ｃ）前記一の車両の中央の後方を映す中央カメラにより撮像された中央後方画像と、を取得し、前記左後方画像と前記右後方画像との一方、及び、前記中央後方画像を、それぞれ、前記第一画像及び前記第二画像として前記取得部により取得し、前記特徴点決定部及び前記ペア決定部それぞれによる決定と、前記第一算出部及び前記第二算出部それぞれによる算出とを行い、前記合成部による合成により第三画像を生成し、前記第三画像、及び、前記左後方画像と前記右後方画像との他方を、それぞれ、前記第一画像及び前記第二画像として前記取得部により取得し、前記特徴点決定部及び前記ペア決定部それぞれによる決定と、前記第一算出部及び前記第二算出部それぞれによる算出とを行い、前記合成部による合成により第四画像を生成する。

上記態様によれば、画像合成装置は、車両に当該された左カメラ、右カメラ及び中央カメラそれぞれにより撮像された画像を合成する。これにより、画像合成装置は、画像合成に伴う違和感を抑制しながら、車両の左側後方から中央後方を経て右側後方まで、あるいは、車両の右側後方から中央後方を経て左側後方までの広い範囲を合成した画像を合成することができる。

また、本発明の一態様に係る画像合成装置は、一の対象を互いに異なる撮像条件の下で撮像した第一画像及び第二画像を取得し、取得した前記第一画像及び前記第二画像を一部が重なる所定の位置関係で配置する取得部と、前記取得部が配置した前記第一画像における１以上の第一特徴点と、前記取得部が配置した前記第二画像における１以上の第二特徴点とを決定する特徴点決定部と、同一の物が撮像された点である、前記１以上の第一特徴点のうちの一の第一特徴点と、前記１以上の第二特徴点のうちの一の第二特徴点とのペアを複数決定するペア決定部と、決定された複数の前記ペアのうち、当該ペアに係る前記一の第一特徴点と前記一の第二特徴点との離間距離が所定以下である複数の近距離ペアの近傍を通る一の曲線を決定する曲線決定部と、決定された前記一の曲線を境界として、前記第一画像及び前記第二画像を合成する合成部とを備える。

上記態様によれば、上記画像合成装置と同様の効果を奏する。

本発明の一態様に係る画像合成装置の制御方法は、画像合成装置の制御方法であって、一の対象を互いに異なる撮像条件の下で撮像した第一画像及び第二画像を取得し、取得した前記第一画像及び前記第二画像を一部が重なる所定の位置関係で配置する取得ステップと、前記取得ステップで配置した前記第一画像における１以上の第一特徴点と、前記取得ステップで配置した前記第二画像における１以上の第二特徴点とを決定する特徴点決定ステップと、同一の物が撮像された点である、前記１以上の第一特徴点のうちの一の第一特徴点と、前記１以上の第二特徴点のうちの一の第二特徴点とのペアを複数決定するペア決定ステップと、配置された前記第一画像及び前記第二画像が第一方向に延びる分割線によって分割された複数の部分画像ごとに、当該部分画像に含まれるペアに係る一の第一特徴点から、一の第一特徴点及び一の第二特徴点の中点に至るベクトルを代表する第一代表ベクトルを算出し、前記ペアに係る一の第二特徴点から前記中点に至るベクトルを代表する第二代表ベクトルを算出する第一算出ステップと、前記第一算出ステップで算出した前記複数の部分画像ごとの前記第一代表ベクトルを補間することで前記第一画像及び前記第二画像に含まれる画素列ごとの第一個別ベクトルを算出し、前記第一算出ステップで算出した前記複数の部分画像ごとの前記第二代表ベクトルを補間することで前記第一画像及び前記第二画像に含まれる画素列ごとの第二個別ベクトルを算出する第二算出ステップと、前記第一画像に含まれる画素列に対し前記第一個別ベクトルを用いて画素値を演算し、前記第二画像に含まれる画素列に対し前記第二個別ベクトルを用いて画素値を演算してから、前記第一画像及び前記第二画像を合成する合成ステップとを含む。

例えば、前記制御方法は、さらに、決定された複数の前記ペアのうち、当該ペアに係る前記一の第一特徴点と前記一の第二特徴点との離間距離が所定以下である複数の近距離ペアの近傍を通る一の曲線を決定する曲線決定ステップを含み、前記合成ステップでは、前記曲線決定ステップにより決定された前記一の曲線を境界として、前記第一画像及び前記第二画像を合成する。

例えば、画像合成装置の制御方法であって、一の対象を互いに異なる撮像条件の下で撮像した第一画像及び第二画像を取得し、取得した前記第一画像及び前記第二画像を一部が重なる所定の位置関係で配置する取得ステップと、前記取得ステップで配置した前記第一画像における１以上の第一特徴点と、前記取得ステップで配置した前記第二画像における１以上の第二特徴点とを決定する特徴点決定ステップと、同一の物が撮像された点である、前記１以上の第一特徴点のうちの一の第一特徴点と、前記１以上の第二特徴点のうちの一の第二特徴点とのペアを複数決定するペア決定ステップと、決定された複数の前記ペアのうち、当該ペアに係る前記一の第一特徴点と前記一の第二特徴点との離間距離が所定以下である複数の近距離ペアの近傍を通る一の曲線を決定する曲線決定ステップと、決定された前記一の曲線を境界として、前記第一画像及び前記第二画像を合成する合成ステップとを含む。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
本実施の形態において、画像合成に伴う違和感を抑制しながら画像を合成する画像合成装置について説明する。

図１は、本実施の形態に係る車両１の一例を示す模式図である。図２は、本実施の形態に係る画像合成装置１０による合成前の画像と合成後の画像とを示す説明図である。

図１に示されるように、車両１は、画像合成装置１０と、カメラ１２、１３及び１４と、電子ミラー４０とを備える。なお、以降の説明において特に断らない場合には、前後左右の方向は、車両１の進行方向を前方とした場合の方向とし、これは車両１の運転手にとっての前後左右の方向ともいえる。

カメラ１２は、車両１の左側ドア付近に固定され、車両１の左側後方を撮影するカメラである。カメラ１２は、車両１の左側後方を撮影して画像を生成する。カメラ１２が生成した画像を左側後方画像ともいう。

カメラ１３は、車両１の右側ドア付近に固定され、車両１の右側後方を撮影するカメラである。カメラ１３は、車両１の右側後方を撮影して画像を生成する。カメラ１３が生成した画像を右側後方画像ともいう。

カメラ１４は、車両１のリアバンパー又はトランクフード付近に固定され、車両１の中央後方を撮影するカメラである。カメラ１４は、車両１の中央後方を撮影して画像を生成する。カメラ１４が生成した画像を中央後方画像ともいう。

カメラ１２及び１４の撮影範囲の一部が重なっており、カメラ１３及び１４の撮影範囲の一部が重なっている。そのため、左側後方画像と中央後方画像との一部には共通の対象が映っている。また、右側後方画像と中央後方画像との一部には共通の対象が映っている。

カメラ１２、１３及び１４のそれぞれは、互いに異なる撮影条件の下で撮像することで画像を生成する。具体的には、カメラ１２、１３及び１４のそれぞれは、互いに異なる位置に配置され、また、互いに異なる方向を向いて配置されており、例えば６０ｆｐｓで画像を取得する。また、カメラ１２、１３及び１４のそれぞれの光学系の光学特性は異なっていてもよい。

電子ミラー４０は、車両１の後方が映った画像である後方画像５０を表示する画像表示装置である。電子ミラー４０は、画像合成装置１０が出力する映像信号に基づいて画像を表示する。電子ミラー４０は、車両１の後方を、光の反射を利用して映す従来のルームミラーの代用として用いられ得る。

画像合成装置１０は、カメラ１２、１３及び１４それぞれが生成した画像を合成して電子ミラー４０が表示する画像を生成する装置である。カメラ１２、１３及び１４のそれぞれが生成する画像の一例を、図２に画像５１、５２及び５３として示す。

上記のとおり、カメラ１２、１３及び１４のそれぞれは、一の対象を互いに異なる撮像条件の下で撮像しているので、画像合成装置１０が、カメラ１２、１３及び１４それぞれが生成した画像を単純につなぎあわせただけでは、自然な後方画像５０は得られない。具体的には、単純につなぎあわせただけの画像では、つなぎあわせの境界付近において、二重化又は消失が生じ得ることで、自然な後方画像５０が得られない。ここで、自然な後方画像５０とは、車両１の運転手が従来のルームミラー（いわゆる物理ミラー）を通して見る、車両１の後方の光景と同じ画像をいう。二重化とは、一の物が画像に二重に映ることをいい、消失とは実際には存在するものが画像に映らないことをいう。

例えば、異なる位置に設置されたカメラで撮像した画像を合成すると、被写体の二重化が生じ得る。図３は、２つの異なる位置に設置されたカメラＡ及びＢで撮像した画像における被写体の二重化の説明図である。

一般に画像の合成の際には、仮想空間内においてカメラＡ及びＢからそれぞれ所定の距離だけ離れた仮想投影面を設定し、その仮想投影面に画像を投影して合成処理を行う。図３の（ａ）及び（ｂ）は、仮想空間内に配置されたカメラＡ及びＢと仮想投影面とを示している。

図３の（ａ）に示されるように、実空間におけるカメラＡ及びＢそれぞれから被写体までの距離ＬＲＡ及びＬＲＢと、仮想空間におけるカメラＡ及びＢそれぞれから仮想投影面までの距離ＬＶＡ及びＬＶＢとが等しい場合には、仮想投影面における画像の二重化は生じない（ＬＲＡ＝ＬＶＡ、ＬＲＢ＝ＬＶＢ）。

一方、図３の（ｂ）に示されるように、実空間におけるカメラＡ及びＢそれぞれから被写体までの距離ＬＲＡ及びＬＲＢより、仮想空間におけるカメラＡ及びＢそれぞれから仮想投影面までの距離ＬＶＡ及びＬＶＢが大きい場合には、仮想投影面における画像の二重化が生ずる。なお、実空間におけるカメラＡ及びＢから被写体までの距離より、仮想空間におけるカメラＡ及びＢから仮想投影面までの距離が小さい場合にも、仮想投影面における画像の二重化が生ずる（不図示）。

そこで、画像合成装置１０は、カメラ１２、１３及び１４それぞれが生成した画像に応じてこれらの画像に適切な処理を施した上でつなぎ合わせることで、合成により生じうる画像の二重化が抑制された自然な後方画像５０を生成し、電子ミラー４０に表示させる。

以降において、画像合成装置１０の機能及び処理を説明する。

図４は、本実施の形態に係る画像合成装置１０の機能構成を示すブロック図である。ここでは、画像合成装置１０が、一の対象が撮像された２つの画像である第一画像及び第二画像を取得して合成する場合を例として説明する。この２つの画像は、左側後方画像と中央後方画像とであってもよいし、右側後方画像と中央後方画像とであってもよい。

なお、２つの画像である第一画像及び第二画像を合成する方法を利用することで、３つの画像を合成することも可能である。例えば、画像合成装置１０が、（１）左側後方画像と中央後方画像とを、それぞれ、第一画像及び第二画像として合成して画像を得た後に、（２）その得た画像と右側後方画像とを、それぞれ、改めて第一画像及び第二画像として合成すれば、最終的に、左側後方画像、中央後方画像及び右側後方画像をすべてつなぎあわせた後方画像５０が得られる。ここで、第一画像と第二画像とを合成した画像を第三画像ともいい、第三画像と右後方画像とを合成した画像を第四画像ともいう。

ここで、上記した３つの画像の合成については、画像合成装置１０が、（１）左側後方画像と中央後方画像とを、それぞれ、第一画像及び第二画像として合成して画像を得た後に、（２）その得た画像と右側後方画像とを、それぞれ、改めて第一画像及び第二画像として合成しているが、この合成に限定されるものではない。例えば、画像合成装置１０が、（１）右側後方画像と中央後方画像とを、それぞれ、第一画像及び第二画像として合成して画像を得た後に、（２）その得た画像と左側後方画像とを、それぞれ、改めて第一画像及び第二画像として合成してもよい。つまり、画像合成装置１０は、左後方画像と右後方画像の一方、及び、中央後方画像を、それぞれ、第一画像及び第二画像として取得部２１により取得し、特徴点決定部３１及びペア決定部３２それぞれによる決定と、第一算出部３３及び第二算出部３４それぞれによる算出を行い、合成部２３による合成により第三画像を生成し、この第三画像、及び、左後方画像と右後方画像の他方を、それぞれ、第一画像及び第二画像として取得部２１により取得し、特徴点決定部３１及びペア決定部３２それぞれによる決定と、第一算出部３３及び第二算出部３４それぞれによる算出を行い、合成部２３による合成により第四画像を生成する。これにより、最終的に、左側後方画像、中央後方画像及び右側後方画像をすべてつなぎあわせた後方画像５０が得られる。

以降では、第一画像が左後方画像であり、第二画像が中央後方画像である場合について詳しく説明する。この場合、画像合成装置１０は、カメラ１２及び１４により例えば６０ｆｐｓで第一画像及び第二画像を取得し、取得のたびに、第一画像及び第二画像の合成画像を生成して電子ミラー４０に表示する。

図４に示されるように、画像合成装置１０は、取得部２１と、決定部２２と、合成部２３と、表示制御部２４とを備える。上記の各構成要素は、プロセッサがメモリ等を用いて所定のプログラムを実行することで実現されてもよいし、専用ハードウェアで実現されてもよい。

取得部２１は、一の対象を互いに異なる撮像条件の下で撮像した第一画像及び第二画像を取得し、取得した第一画像及び第二画像を一部が重なる所定の位置関係で配置する処理部である。取得部２１は、コンピュータによる演算により、仮想的な空間内に第一画像及び第二画像を配置する。取得部２１が第一画像及び第二画像を仮想的な空間内に配置するときには、配置する画像に対して、当該画像を撮影したカメラ等の光学系の光学特性に応じた補正をかけた上で、画像を配置してもよい。補正は、具体的には、レンズのゆがみに基づく修正、並びに、サイズ及び角度の調整のための補正、色調補正等を含む。この補正をかけることで、カメラごとの光学系の差異を抑制し、つなぎ合わせて生成される後方画像５０に含まれる、第一画像に由来する画像と、第二画像に由来する画像との間の色又は大きさ等の差異を、より小さくすることができる。第一画像及び第二画像が配置される所定の位置関係は、第一画像及び第二画像を取得したカメラの位置及び向きに応じて定められたものである。これを静的変換と呼ぶことにする。

決定部２２は、第一画像及び第二画像を合成するための境界を決定する処理部である。決定部２２は、その詳細な構成要素として、特徴点決定部３１と、ペア決定部３２と、第一算出部３３と、第二算出部３４を有する。

特徴点決定部３１は、取得部２１が配置した第一画像における１以上の第一特徴点と、取得部２１が配置した第二画像における１以上の第二特徴点とを決定する処理部である。決定部２２は、第一画像及び第二画像のそれぞれにおける特徴点を抽出する。特徴点の抽出処理は、画像から、当該画像に含まれる画素又は画素の集合であって、その周囲と異なる色又は形状等を有する画素又は画素の集合を発見する処理などにより実現され、公知の画像認識技術によりなされ得る。

ペア決定部３２は、特徴点決定部３１が決定した第一特徴点及び第二特徴点に基づいて、同一の物が撮像された点である、１以上の第一特徴点のうちの一の第一特徴点と、１以上の第二特徴点のうちの一の第二特徴点とのペアを複数決定する処理部である。具体的には、特徴点決定部３１が第一画像において特徴点として発見した画素又は画素の集合と、第二画像において特徴点として発見した画素又は画素の集合との色又は形状、あるいはＳＵＲＦ（Ｓｐｅｅｄ－ＵｐＲｏｂｕｓｔＦｅａｔｕｒｅｓ）、ＯＲＢ（ＯｒｉｅｎｔｅｄＦＡＳＴａｎｄＲｏｔａｔｅｄＢＲＩＥＦ）等による局所特徴量等を比較すること（いわゆるマッチング処理）により、同一の物が撮像されたものを発見して、上記ペアとして決定する。

第一算出部３３は、ペア決定部３２により決定されたペアについて代表ベクトルを算出する処理部である。具体的には、第一算出部３３は、取得部２１により配置された第一画像及び第二画像が第一方向に延びる分割線によって分割された複数の部分画像ごとに、当該部分画像に含まれるペアに係る一の第一特徴点から、一の第一特徴点及び一の第二特徴点の中点に至るベクトルを代表する第一代表ベクトルを算出し、また、ペアに係る一の第二特徴点から中点に至るベクトルを代表する第二代表ベクトルを算出する。

第一代表ベクトルを算出する際には、ペアに係る一の特徴点から中点に至るベクトルが複数ある場合には、複数のベクトルを統計処理することで第一代表ベクトルを算出する。統計処理は、中央値を取る処理、及び、平均値をとる処理などが含まれる。第二代表ベクトルについても同様ある。また、部分画像とは複数の画素列を含む領域に含まれる画像である。

具体的には、第一算出部３３は、複数の部分画像ごとに、当該部分画像に含まれる複数のペアに係る一の第一特徴点から、一の第一特徴点及び一の第二特徴点の中点に至るベクトルの中央値を第一代表ベクトルとして算出してもよい。また、ペアに係る一の第二特徴点から中点に至るベクトルの中央値を第二代表ベクトルとして算出してもよい。ペア決定部３２によるマッチング処理において、異なる物が撮像された特徴点がペアとして決定される（「誤マッチング」ともいう）場合がある。このような場合には、複数のベクトルのうち、誤マッチングが起こったベクトルだけが他と大きく異なる。第一代表ベクトル等の算出に中央値を用いることで、誤マッチングにより生じ得る、他と大きく異なるベクトルの第一代表ベクトル等への寄与を排除することができる。

なお、上記第一方向は例えば水平方向である。言い換えれば、分割線は例えば水平方向の分割線である。以降ではこの場合を例として説明するが、これに限られない。

また、第一算出部３３は、第一代表ベクトル等の算出の際に、第一代表ベクトル等を空間的に平均化する処理をしてもよい。すなわち、第一算出部３３は、複数の部分画像ごとの第一代表ベクトル及び第二代表ベクトルそれぞれと、当該部分画像に隣接する部分画像の第一代表ベクトル及び第二代表ベクトルそれぞれとの差分を小さくする統計処理を施してもよい。この統計処理は、例えば、平均又は加重平均をとる処理を含む。

また、第一算出部３３は、第一代表ベクトル等の算出の際に、第一代表ベクトル等を時間的に平均化する処理をしてもよい。すなわち、複数の部分画像ごとの第一代表ベクトル及び第二代表ベクトルそれぞれと、当該部分画像と同じ位置に位置し、当該部分画像より前に取得された部分画像の第一代表ベクトル及び第二代表ベクトルそれぞれとの差分を小さくする統計処理を施してもよい。この統計処理は、例えば、平均又は加重平均をとる処理を含む。

また、第一算出部３３は、部分画像に含まれるペアの数が適正範囲内に入るように部分画像の大きさを調整してもよい。すなわち、第一算出部３３は、一の時刻に撮像された第一画像及び第二画像が分割された複数の部分画像のうち、当該部分画像に含まれるペアの数が第一所定値以上である場合には、一の時刻より後の時刻に撮像された第一画像及び第二画像についての当該部分画像のサイズを小さくし、当該部分画像に含まれるペアの数が第二所定値以下である場合には、一の時刻より後の時刻に撮像された第一画像及び第二画像についての当該部分画像のサイズを大きくしてもよい。ここで、第一所定値は適正範囲の上限であり、例えば５０個程度とすることができる。また、第二所定値は適正範囲の下限であり、例えば５個程度とすることができる。

第二算出部３４は、第一算出部３３が算出した代表ベクトルを用いて個別ベクトルを算出する処理部である。第二算出部３４は、第一算出部３３が算出した複数の部分画像ごとの第一代表ベクトルを補間することで第一画像及び第二画像に含まれる画素列ごとの第一個別ベクトルを算出し、第一算出部３３が算出した複数の部分画像ごとの第二代表ベクトルを補間することで第一画像及び第二画像に含まれる画素列ごとの第二個別ベクトルを算出する。

ここで、第二算出部３４は、第一画像及び第二画像に含まれる画素列ごとに、複数の部分画像それぞれの中心画素列に当該部分画像における第一代表ベクトルを対応付けて、線形補間によって第一個別ベクトルを算出してもよい。また、第二算出部３４は、第一画像及び第二画像に含まれる画素列ごとに、複数の部分画像それぞれの中心画素列に当該部分画像における第二代表ベクトルを対応付けて、線形補間によって第二個別ベクトルを算出してもよい。

合成部２３は、第二算出部３４により算出された個別ベクトルを用いて、第一画像及び第二画像を合成することで合成画像を生成する処理部である。合成部２３は、第一画像に含まれる画素列に対し第一個別ベクトルを用いて画素値を演算し、第二画像に含まれる画素列に対し第二個別ベクトルを用いて画素値を演算してから、第一画像及び第二画像を合成する。合成は、原則、第一画像及び第二画像を境界線によって切断してつなぎ合わせることでなされる。その際、合成部２３は、境界付近において、第一画像及び第二画像の画素値の加重平均をとるなどの処理を施してもよい。

表示制御部２４は、合成部２３が生成した合成画像の表示を制御する処理部である。表示制御部２４は、合成画像を表示装置である電子ミラー４０に表示させるように、合成画像に含まれる各画素を電子ミラー４０に出力する。

なお、第二算出部３４による処理と、合成部２３による処理とは、汎用的なＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）によるハードウェア処理によりなされ得る。これにより、処理量及び処理時間の削減に寄与する。

以降において画像の例を示しながら画像の合成処理について具体的に説明する。

図５は、本実施の形態に係る画像合成装置１０による特徴点及びペアの決定方法を示す説明図である。

取得部２１は、カメラ１３及びカメラ１４を用いてそれぞれ画像５１及び画像５３を取得して、各画像の一部が重なる所定の位置関係で配置する。この位置関係は、カメラ１３及びカメラ１４の車両１に対する位置及び方向に応じて予め定められている。より具体的には、図５のように画像５１が紙面上の左側に配置され、画像５１に対して紙面上の右方向に所定の距離だけずらして画像５３が配置されている。このように、画像５１に対して画像５３が所定の距離だけ紙面右方向にずれているという位置関係が、所定の位置関係に相当する。なお、画像５１と画像５２との外形は、カメラ等の光学系の光学特性に応じた補正、及び静的変換がかけられたことにより、矩形から歪んでいる。

特徴点決定部３１は、画像５１及び画像５３の特徴点を決定する。特徴点決定部３１が決定する各画像の特徴点を図５に示している。これらの特徴点は、公知の画像認識技術などにより、画像に含まれる画素又は画素の集合であって、その周囲と異なる色又は形状等を有する画素又は画素の集合を発見することでなされ得る。

例えば、図５に示される特徴点ｐは、特徴点決定部３１が画像５１上で決定した特徴点であり、特徴点ｑは、特徴点決定部３１が画像５１上で決定した特徴点である。なお、図５において、黒丸は画像５１上で決定された特徴点を、黒三角は画像５３上で決定された特徴点を、それぞれ示す。

そして、ペア決定部３２は、図５に示されるように配置された画像５１及び画像５３において、特徴点決定部３１によって決定された特徴点同士のペアを決定する。このペアは、同一の対象物が撮像された点同士のペアである。ペアと決定された特徴点同士が図５において線で結ばれている。例えば特徴点ｐ及びｑがペアである。

第一算出部３３は、特徴点決定部３１が決定した特徴点ｐ及びｑ等を用いて代表ベクトルを算出する。第一算出部３３は、特徴点ｐ及びｑの中点ｍを求め、特徴点ｐから中点ｍに至るベクトルｕと、特徴点ｑから中点ｍに至るベクトルｖとを算出する。なお、図５において、白丸は第一算出部３３が求めた中点を示す。

そして、第一算出部３３は、画像５１及び画像５３が分割された複数の部分画像６１、６２、６３及び６４ごとに代表ベクトルを算出する。第一算出部３３は、例えば、当該部分画像に含まれる複数のベクトルｕの中間値を、ベクトルｕの代表ベクトルとし、当該部分画像に含まれる複数のベクトルｖの中間値を、ベクトルｖの代表ベクトルとする。ここで、ベクトルｕの代表ベクトルを第一代表ベクトルともいい、ベクトルｖの代表ベクトルを第二代表ベクトルともいう。

なお、ペア決定部３２によるマッチング処理において誤マッチングが生ずると、ベクトルｕ又はｖが、周囲のベクトルと大きく異なる。上記のとおり第一算出部３３が、ベクトルｕ又はｖの中間値を代表ベクトルとすることで、誤マッチングにより生じたベクトルの代表ベクトルへの寄与を排除することができる利点がある。

図６は、本実施の形態に係る画像合成装置１０により算出された代表ベクトルを示す説明図である。

図６において、ベクトル７１は、部分画像６１に含まれるベクトルｕの代表ベクトルである。ベクトル７２は、部分画像６１に含まれるベクトルｖの代表ベクトルである。

同様に、ベクトル７３、７５及び７７は、それぞれ、部分画像６２、６３及び６４に含まれるベクトルｕの代表ベクトルである。ベクトル７４、７６及び７８は、それぞれ、部分画像６１に含まれるベクトルｖの代表ベクトルである。

次に、第二算出部３４による個別ベクトルの算出処理を説明する。

図７は、本実施の形態に係る画像合成装置１０による代表ベクトルの線形補間による個別ベクトルの算出方法を示す説明図である。

図７は、図６のうちの部分画像６２と部分画像６３とを含む部分の拡大図である。

第二算出部３４は、部分画像６２の中央画素列６２ｃに代表ベクトルであるベクトル７３を対応付け、また、部分画像６３の中央画素列６３ｃに代表ベクトルであるベクトル７５を対応付ける。ここで、中央画素列６２ｃとは、部分画像６２に含まれる水平方向の画素列であり、部分画像６２の垂直方向における中央に位置する画素列である。同様に、中央画素列６３ｃとは、部分画像６３に含まれる水平方向の画素列であり、部分画像６３の垂直方向における中央に位置する画素列である。なお、ここでは代表ベクトル終点のＹ座標を基準に対応付けている場合を説明しているが、代表ベクトル始点や代表ベクトル中点のＹ座標を基準に対応付けしてもかまわない。

そして、第二算出部３４は、中央画素列６２ｃと中央画素列６３ｃとの間における線形補間によって、中央画素列６２ｃと中央画素列６３ｃとの間の画素列の個別ベクトルを算出する。つまり、第二算出部３４は、中央画素列６２ｃのＹ座標をＹ１とし、中央画素列６３ｃのＹ座標をＹ２とするとき、Ｙ座標がＹである画素列６６の個別ベクトルｗを以下の式により求める。ここで、個別ベクトルｗ＝（ｗＸ，ｗＹ）、ベクトル７３＝（Ｘ７３，Ｙ７３）、ベクトル７５＝（Ｘ７５，Ｙ７５）とする。

ｗＸ＝Ｘ７３＋｛（Ｙ－Ｙ１）／（Ｙ２－Ｙ１）｝×（Ｘ７５－Ｘ７３）
ｗＹ＝Ｙ７３＋｛（Ｙ－Ｙ１）／（Ｙ２－Ｙ１）｝×（Ｙ７５－Ｙ７３）

図８は、本実施の形態に係る画像合成装置１０により算出された個別ベクトルを示す説明図である。図９は、本実施の形態に係る画像合成装置１０による個別ベクトルを用いた合成処理を示す説明図である。

図８には、図６と同じベクトル７１～７８に加えて、第二算出部３４により算出された個別ベクトル８１～８４が示されている。個別ベクトル８１～８４は、代表ベクトルの間の画素列ごとに算出される。

次に、合成部２３が境界線９０を境界として、第一画像と第二画像とを接合する。合成部２３は、個別ベクトルを用いて画素値の演算をすることによって第一画像及び第二画像を合成する。なお、境界線９０が紙面上の上下方向の直線である場合を例として説明するが、境界線９０の形状はこれに限られず、斜め方向の直線であってもよいし、曲線であってもよい。

具体的には、合成部２３は、境界線９０の近傍の画素において、当該画素が属する画素列の個別ベクトルを用いて画素値の演算を行う。例えば、図９の（ａ）に示すように、境界線９０に隣接する画素９１については、画素９１を終点とする個別ベクトル８１の始点に位置する画素９２の画素値との演算を行う。このとき、図９の（ｂ）に示すように、境界線９０から遠ざかるにつれて個別ベクトル８１の影響を弱めるようにして個別ベクトル８１の始点に位置する画素９２を求めてもよい。この場合、合成領域を境界線９０からの所定画素距離Ｈ以内の範囲とした場合、境界線９０からの画素距離Ｘの位置の画素９１ｉにおける個別ベクトル８１ｉの個別ベクトル８１に対する影響度Ｖｔは、
Ｖｔ＝（１－Ｘ／Ｈ）、（Ｘ＝０～Ｈ）
で表される。したがって、この影響度Ｖｔを個別ベクトル８１に乗じて、個別ベクトル８１ｉの始点に位置する画素９２ｉが求められる。具体的には、次のようにして画素９２ｉの位置が求められる。

図９の（ｂ）において、画素９１ｉの位置座標を（Ｘ９１，Ｙ９１）、個別ベクトル８１をｗＸ８１＝（ｗＸ８１，ｗＹ８１）とすると、画素９２ｉの位置座標（Ｘ９２，Ｙ９２）は、
Ｘ９２＝Ｘ９１－ｗＸ８１×Ｖｔ
Ｙ９２＝Ｙ９１－ｗＹ８１×Ｖｔ
で表される。

こうして求めた画素９１、９２におけるそれぞれの画素値に対し、合成部２３は、画素９２の画素値を、画素９１の画素値に上書きする演算を行ってもよいし、画素９２の画素値と画素９１の画素値との境界線９０からの距離を加味した加重平均をとる演算を行ってもよいし、その他の演算を行ってもよい。

また、合成部２３は、第一画像と第二画像とのそれぞれの画素値を算出して、重複領域に対しては第一画像と第二画像との画素値を加重平均する演算を行ってもよい。具体的には、図９の（ｃ）に示すように、画素９１ｊについて、画素９１ｊを終点とする個別ベクトル８１ｊの始点に位置する画素９２ｊ（第一画像内）の画素値と、画素９１ｊを終点とする個別ベクトル８１ｋの始点に位置する画素９２ｋ（第二画像内）の画素値を加重平均することにより混ぜ合わせてもよい。

この図９の（ｃ）における合成部２３の処理をまとめると、次のようになる。合成部２３は、部分画像６１～６４の各領域内の各画素（例えば画素９１ｊ）に対し、個別ベクトル８１ｊ（第一個別ベクトル）をもとに演算した位置（例えば位置座標（Ｘ９２，Ｙ９２））に基づいて第一画像内の画素９２ｊを参照する。同様に、合成部２３は、部分画像６１～６４の各領域内の各画素（例えば画素９１ｊ）に対し、個別ベクトル８１ｋ（第二個別ベクトル）をもとに演算した位置に基づいて第二画像内の画素９２ｋを参照する。そして、合成部２３は、参照した画素９２ｊ、９２ｋのそれぞれの画素値を演算（例えば加重平均）することで第一画像及び第二画像を合成する。

なお、境界線９０の近傍の画素とは、境界線９０から所定距離以内の範囲に含まれる画素である。ここで、所定距離は、部分画像６１～６４の各領域における幅であり、例えば、画像５１又は５３の紙面上の左右方向の全幅の１０～２０％程度とすることができる。

以降において、画像合成装置１０の処理について説明する。

図１０は、本実施の形態に係る画像合成装置１０の処理を示すフロー図である。

図１０に示されるように、ステップＳ１０１において、取得部２１は、第一画像及び第二画像を取得する。例えば、第一画像は左側後方画像であり、第二画像は中央後方画像である。

ステップＳ１０２において、特徴点決定部３１は、ステップＳ１０１で取得した第一画像及び第二画像における特徴点を決定する。

ステップＳ１０３において、ペア決定部３２は、ステップＳ１０２で決定した特徴点について、ペアを決定する。

ステップＳ１０４において、第一算出部３３は、ステップＳ１０１で取得した第一画像及び第二画像における部分画像ごとの代表ベクトルを算出する。

ステップＳ１０５において、第二算出部３４は、ステップＳ１０４で算出された代表ベクトルを用いて、画素列ごとの個別ベクトルを算出する。

ステップＳ１０６において、合成部２３は、ステップＳ１０５で算出された画素列ごとの個別ベクトルを用いて境界線９０付近の画素値の演算を行うことによって、第一画像及び第二画像を合成する。

ステップＳ１０７において、表示制御部２４は、ステップＳ１０６で合成した合成画像を電子ミラー４０に表示するよう制御する。

このようにして、画像合成装置１０は、画像合成に伴う違和感を抑制しながら画像を合成することができる。

以上のように本実施の形態にかかる画像合成装置は、第一画像と第二画像とに映っている、同一の物が撮像された特徴点を互いに近づけるような画素値の演算を施した上で、第一画像と第二画像とを合成する。この演算の際に、第一代表ベクトル等を一旦算出した後に、算出した第一代表ベクトルを用いて画素列ごとの個別ベクトルを算出し、個別ベクトルを用いて画素値の演算が行われる。このように第一代表ベクトル等を一旦算出することにより、特徴点の誤マッチングにより生じ得る、他と大きく異なるベクトルの影響が画像合成に及ぶことを排除することができる。その結果、画像合成装置は、画像合成に伴う違和感を抑制しながら画像を合成することができる。

また、画像合成装置は、複数のベクトルの中央値を第一代表ベクトル等として算出する。これにより、特徴点の誤マッチングにより生じ得る、他と大きく異なるベクトルの影響が個別ベクトルに及ぶことを排除することができる。よって、画像合成装置は、より容易に、画像合成に伴う違和感を抑制しながら画像を合成することができる。

また、画像合成装置は、代表ベクトルの線形補間により個別ベクトルを算出する。よって、画像合成装置は、より具体的な構成に基づいて、より容易に、画像合成に伴う違和感を抑制しながら画像を合成することができる。

また、画像合成装置は、一の部分画像の代表ベクトルと、それと隣接する部分画像の代表ベクトルとの差分を小さくすることで、部分画像間での個別ベクトルの差分を小さくし、その結果、合成画像において歪が生ずることを回避することができる。よって、画像合成装置は、画像における部分の間で歪が生ずることを未然に回避することで、画像合成に伴う違和感を抑制しながら画像を合成することができる。

また、画像合成装置は、一の部分画像の代表ベクトルと、それと同じ位置の過去の部分画像の代表ベクトルとの差分を小さくすることで、個別ベクトルの時間的な変化量を小さくし、その結果、合成画像において歪が生ずることを回避することができる。よって、画像合成装置は、画像における部分の間で歪が生ずることを未然に回避することで、画像合成に伴う違和感を抑制しながら画像を合成することができる。

また、画像合成装置は、部分画像に含まれる特徴点のペアの数を適正範囲に収めることができる。部分画像に含まれる特徴点の数が適正範囲より大きい場合、特徴点と、特徴点間の中点を結ぶベクトルのばらつきが多くなり、算出される代表ベクトルから離れたベクトルも多くなる。そのため、適切な代表ベクトルが算出されないことがある。一方、部分画像に含まれる特徴点の数が適正範囲より小さい場合、計算の基礎となる特徴点の数が少なく、算出される代表ベクトルが必ずしも、部分画像に含まれるベクトルを代表するベクトルでない場合も生じ得る。そこで、部分画像に含まれる特徴点のペアの数を適正範囲に収めることで、適切な代表ベクトルを算出することによって、画像合成に伴う違和感を抑制しながら画像を合成することができる。

また、画像合成装置は、水平方向の分割線を用いて部分画像を生成する。よって、画像合成装置は、より容易に、画像合成に伴う違和感を抑制しながら画像を合成することができる。

また、画像合成装置は、ＧＰＵによるハードウェア処理を用いて画像合成を行う。よって、画像合成装置は、処理量及び処理時間を削減しながら、画像合成に伴う違和感を抑制しながら画像を合成することができる。

また、画像合成装置は、車両に搭載されたカメラの位置及び向きを用いて、第一画像と第二画像とが配置される位置関係を予め定める。よって、画像合成装置は、予め定められた位置関係を用いて、より容易に、画像合成に伴う違和感を抑制しながら画像を合成することができる。

また、画像合成装置は、車両に当該された左カメラ、右カメラ及び中央カメラそれぞれにより撮像された画像を合成する。これにより、画像合成装置は、画像合成に伴う違和感を抑制しながら、車両の左側後方から中央後方を経て右側後方まで、あるいは、車両の右側後方から中央後方を経て左側後方までの広い範囲を合成した画像を合成することができる。

（実施の形態２）
本実施の形態において、画像合成に伴う違和感を抑制しながら画像を合成する画像合成装置について説明する。なお、本実施の形態での画像の合成の方法は、実施の形態１の画像の合成の方法と独立に実行されてもよいし、組み合わせて実行されてもよい。組み合わせて実行される場合の形態は、下記の変形例で説明される。

以降において、本実施の形態に係る画像合成装置１１０の機能及び処理を説明する。本実施の形態に係る画像合成装置１１０は、実施の形態１における画像合成装置１０に相当する。

図１１は、本実施の形態に係る画像合成装置１１０の機能構成を示すブロック図である。

図１１に示されるように、画像合成装置１１０は、取得部１２１と、決定部１２２と、合成部１２３と、表示制御部１２４とを備える。上記の各構成要素は、プロセッサがメモリ等を用いて所定のプログラムを実行することで実現されてもよいし、専用ハードウェアで実現されてもよい。

取得部１２１は、一の対象を互いに異なる撮像条件の下で撮像した第一画像及び第二画像を取得し、取得した第一画像及び第二画像を一部が重なる所定の位置関係で配置する処理部である。取得部１２１は、コンピュータによる演算により、仮想的な空間内に第一画像及び第二画像を配置する。取得部１２１が第一画像及び第二画像を仮想的な空間内に配置するときには、配置する画像に対して、当該画像を撮影したカメラ等の光学系の光学特性に応じた補正をかけた上で、画像を配置してもよい。補正は、具体的には、レンズのゆがみに基づく修正、並びに、サイズ及び角度の調整のための補正を含む。この補正をかけることで、カメラごとの光学系の差異を抑制し、つなぎ合わせて生成される後方画像５０に含まれる、第一画像に由来する画像と、第二画像に由来する画像との間の色又は大きさ等の差異を、より小さくすることができる。第一画像及び第二画像が配置される所定の位置関係は、第一画像及び第二画像を取得したカメラの位置及び向きに応じて定められたものである。

決定部１２２は、第一画像及び第二画像を合成するための境界を決定する処理部である。決定部１２２は、その詳細な構成要素として、特徴点決定部１３１と、ペア決定部１３２と、曲線決定部１３３とを有する。

特徴点決定部１３１は、取得部１２１が配置した第一画像における１以上の第一特徴点と、取得部１２１が配置した第二画像における１以上の第二特徴点とを決定する処理部である。決定部１２２は、第一画像及び第二画像のそれぞれにおける特徴点を抽出する。特徴点を抽出処理は、画像から、当該画像に含まれる画素又は画素の集合であって、その周囲と異なる色又は形状等を有する画素又は画素の集合を発見する処理などにより実現され、公知の画像認識技術によりなされ得る。

ペア決定部１３２は、特徴点決定部１３１が決定した第一特徴点及び第二特徴点に基づいて、同一の物が撮像された点である、１以上の第一特徴点のうちの一の第一特徴点と、１以上の第二特徴点のうちの一の第二特徴点とのペアを複数決定する。具体的には、特徴点決定部１３１が第一画像において特徴点として発見した画素又は画素の集合と、第二画像において特徴点として発見した画素又は画素の集合との色又は形状等を比較することで、同一の物が撮像されたものを発見して、上記ペアとして決定する。

曲線決定部１３３は、ペア決定部１３２により決定された複数のペアのうち、当該ペアに係る一の第一特徴点と一の第二特徴点との離間距離が所定以下である複数のペア（近距離ペアともいう）の近傍を通る一の曲線を決定する。複数の近距離ペアの近傍とは、当該近距離ペアに係る一の第一特徴点又は一の第二特徴点の近傍と、第一特徴点及び一の第二特徴点を結ぶ線分の近傍を含む。

例えば、曲線決定部１３３は、決定された複数の近距離ペアを順に辿ることで上記一の曲線を決定する。例えば、曲線決定部１３３は、決定された複数の近距離ペアの近似曲線を上記曲線として決定してもよい。また、この曲線は、非線形最小二乗法により決定されたものであってもよい。また、曲線決定部１３３は、決定された複数のペアのうち、当該ペアに係る一の第一特徴点と一の第二特徴点との離間距離が所定以上である複数の遠距離ペアの近傍を通らない一の曲線を決定してもよい。

合成部１２３は、決定部１２２により決定された境界、つまり、曲線決定部１３３により決定された曲線を境界として、第一画像及び第二画像を合成することで合成画像を生成する処理部である。合成は、原則、第一画像及び第二画像を境界線によって切断してつなぎ合わせることでなされる。その際、境界付近において、第一画像及び第二画像の画素値の加重平均をとるなどの処理を施してもよい。

表示制御部１２４は、合成部１２３が生成した合成画像の表示を制御する処理部である。表示制御部１２４は、合成画像を表示装置である電子ミラー４０に表示させるように、合成画像に含まれる各画素を電子ミラー４０に出力する。

図１２は、本実施の形態に係る車両１の右側後方画像である画像１５１の一例を示す説明図である。図１２に示される画像１５１は、図１におけるカメラ１３による撮像により生成される画像の一例であり、図２の画像５１に相当する。画像１５１には、車両１の右側後方に存在する車両、道路及び橋脚などが映っている。画像１５１のうちの領域１６１は、車両の中央後方画像（画像１５３）と重なりを有する部分である。

図１３は、本実施の形態に係る車両１の中央後方画像である画像１５３の一例を示す説明図である。図１３に示される画像１５３は、図１におけるカメラ１４による撮像により生成される画像の一例であり、図２の画像５３に相当する。画像１５３には、車両１の右側後方に存在する車両、道路及び橋脚の他、車両１の中央後方の風景も映っている。画像１５３のうちの領域１６３は、車両の右側後方画像（画像１５１）と重なりを有する部分である。

ここで画像１５１と画像１５３とを合成する関連技術を説明する。関連技術は、画像１５１と画像１５３とを直線状の境界線を用いて合成する技術である。

図１４は、関連技術に係る車両１の左側後方画像と中央後方画像とをつなぎ合わせた画像の一例を示す説明図である。

ここでは、画像１５１と画像１５３とが、境界線１７０を境界として合成される例を示す。図１４において、画像１５１Ａは、画像１５１を境界線１７０で切断した画像のうちの左側の画像である。画像１５３Ａは、画像１５３を境界線１７０で切断した画像のうちの右側の画像である。合成画像である画像１５５Ａは、画像１５１Ａと画像１５３Ａとを境界線１７０を境界としてつなぎあわせることで構成された画像である。

画像１５５Ａは、車両１の右側後方と中央後方とを含む後方画像である。しかしながら、画像１５５Ａにおいて、車両１の右側後方に存在する車両が歪んでおり、言い換えれば、車両１の右側後方に存在する車両に対応する画像の一部に消失が生じている。

画像１５５Ａは、車両１の運転手が物理ミラーを通してみる車両１の後方の光景とは異なる。そのため、画像１５５Ａが電子ミラー４０に表示されると、運転者には違和感が生じ得る。

次に、画像合成装置１１０による画像の合成方法を説明する。

図１５は、本実施の形態に係る車両１の左側後方画像である画像１５１と、中央後方画像である画像１５３とを一部を重ねて配置した状態を示す説明図である。

取得部１２１は、カメラ１３及びカメラ１４を用いてそれぞれ画像１５１及び画像１５３を取得して、各画像の一部が重なる所定の位置関係で配置する。この位置関係は、カメラ１３及びカメラ１４の車両１に対する位置及び方向に応じて予め定められている。より具体的には、図１５のように画像１５１が紙面上の左側に配置され、画像１５１に対して紙面上の右方向に距離Ｍずらして画像１５３が配置されている。このように、画像１５１に対して画像１５３が距離Ｍだけ紙面右方向にずれているという位置関係が、所定の位置関係に相当する。

そして、特徴点決定部１３１が、画像１５１及び画像１５３の特徴点を決定する。特徴点決定部１３１が決定する各画像の特徴点を図１２及び図１３に示している。図１２の特徴点は丸印で、図１３の特徴点は三角印で、それぞれ示される。これらの特徴点は、公知の画像認識技術などにより、画像に含まれる画素又は画素の集合であって、その周囲と異なる色又は形状等を有する画素又は画素の集合を発見することでなされ得る。

なお、図１５では、画像１５１及び画像１５３のうちの重なり部分である、画像１５１における領域１６１、及び、画像１５３における領域１６３を、特に処理を施さずに領域１６４として示している。

図１６は、本実施の形態に係る画像の合成のための境界線の一例を示す説明図である。図１７は、図１６における枠ＸＶＩＩの拡大図である。

ペア決定部１３２は、図１６に示されるように配置された画像１５１及び画像１５３において、特徴点決定部１３１によって決定された特徴点同士のペアを決定する。このペアは、同一の対象物が撮像された点同士のペアである。例えば、図１６において特徴点ｐ１及びｑ１は、それぞれ、画像１５１及び１５３における橋脚の右端が映った点である。よって、ペア決定部１３２は特徴点ｐ１及びｑ１をペアと決定する。同様に、特徴点ｐ２及びｑ２は、それぞれ、画像１５１及び１５３における橋脚上の道路照明灯の屈曲部が映った点であるので、ペアと決定される。特徴点ｐ３及びｑ３は、それぞれ、画像１５１及び１５３における車両の車体の一部が映った点であるのでペアと決定される。その他も同様である。

なお、２枚の画像１５１、１５３で検出した特徴点におけるペアの決定に関しては、例えば検出した特徴点の特徴量を算出し、特徴量の比較（マッチング）を行い、同じ特徴量をもった特徴点をペアとしてみなせばよい。

また、ペア決定部１３２は、ペアと決定した特徴点の離間距離を計測する。そして、ペア決定部１３２は、離間距離が第一所定値以下のペアを近距離ペアとする。ここで第一所定値は、電子ミラー４０に表示される画像を視認した運転手が、近距離ペアに係る２つの特徴点を同一の点であると判断する程度の距離であり、例えば、図１６に示されるように配置された画像１５１及び１５３の全幅Ｌが１０インチ程度のフルハイビジョンの画素（ピクセル）数のものであったとすると、１０～２０ピクセル程度以下の距離とすることができる。また、ペア決定部１３２は、特徴点間の離間距離が第二所定値以上のペアを遠距離ペアとする。ここで、第二所定値は、電子ミラー４０に表示される画像を視認した運転手が、遠距離ペアに係る２つの特徴点が明らかに離れた点であると判断する程度の距離であり、例えば、図１６に示されるように配置された画像１５１及び１５３の全幅Ｌが１０インチ程度のフルハイビジョンの画素（ピクセル）数のものであったとすると、３０～４０ピクセル程度以上の距離とすることができる。

曲線決定部１３３は、ペア決定部１３２が決定したペアに基づいて、曲線を決定する。ここで、曲線決定部１３３は、ペア決定部１３２が決定した近距離ペアの近傍を通る一の曲線を決定する。なお、近距離ペアの近傍とは、近距離ペアに係る特徴点（特徴点ｐ１、ｑ１など）の近傍と、近距離ペアに係る２つの特徴点を結ぶ線分の近傍とを含む。また、必ずしもすべての近距離ペアの近傍を通ることを要しない。

ここで、一の曲線は、図１６に示されるように配置された画像１５１及び１５３の上辺及び下辺に端点を有する曲線である。このように一の曲線は、画像の辺上に始点及び終点を有する曲線である。なお、一の曲線は、その一部に直線の部分を含んでいてもよい。

一例として、画像１５１及び１５３の下辺から特徴点を辿って曲線を決定する方法を図１７を参照しながら説明する。

まず、曲線決定部１３３は、下辺の近傍に位置するペアｓを発見し、下辺上におけるペアｓの近傍から曲線を開始する。曲線決定部１３３は、ペアｓの近くのペアを探索し、ペアａとペアｂとを発見する。ここで、曲線決定部１３３は、ペアａとペアｂとのどちらへ曲線を延ばすかを以下のように決定する。ペアａの近傍には２個のペアが存在しており、ペアｂの近傍にはペアが存在していない。そこで、曲線決定部１３３は、ペアａに向かって曲線を延ばすと決定する。

次に、曲線決定部１３３は、ペアｃとペアｄとのどちらへ曲線を延ばすかを以下のように決定する。ペアｃの近傍には、特徴点の離間距離が比較的大きいペアが多く存在している。一方、ペアｄの近傍には、特徴点の離間距離が比較的小さいペアが存在するだけである。そこで、曲線決定部１３３は、ペアｄに向かって曲線を延ばすと決定する。

このようにして、曲線決定部１３３は、ペアを順にたどって一の曲線を決定する。

次に合成部１２３が画像１５１と画像１５３とを合成する。合成部１２３は、曲線決定部１３３が決定した一の曲線を境界として画像１５１と画像１５３とを合成する。

図１８は、本実施の形態に係る車両１の左側後方画像である画像１５１から抜き出した画像の一例を示す説明図である。図１９は、本実施の形態に係る車両１の中央後方画像である画像１５３から抜き出した画像の一例を示す説明図である。図２０は、本実施の形態に係る車両１の左側後方画像である画像１５１と中央後方画像である画像１５３とをつなぎ合わせた画像の一例を示す説明図である。

合成部１２３は、図１２に示される画像１５１のうち、曲線決定部１３３が決定した曲線である境界線１７１より紙面上左側の部分である画像１５１Ｂを切断して抜き出す（図１８参照）。また、合成部１２３は、図１３に示される画像１５３のうち、境界線１７１より紙面上右側の部分である画像１５３Ｂを切断して抜き出す（図１９参照）。そして、合成部１２３は、所定の位置関係で配置された画像１５１Ｂと画像１５３Ｂとを接合することで、合成画像である画像１５５として得る。

図１４に示される画像１５５Ａと比較して、画像１５５では車両の歪、つまり画像の消失が抑制されている。これは、画像を合成する境界が、合成前の２つの画像における特徴点の離間距離が比較的小さい特徴点の近傍に設定されたことによる効果であるといえる。これにより、画像合成装置１１０は、画像合成に伴う違和感を抑制しながら画像を合成することで、違和感が抑制された自然な後方画像５０（図２参照）を生成することができる。

以降において、画像合成装置１１０の処理について説明する。

図２１は、本実施の形態に係る画像合成装置１１０の処理を示すフロー図である。

図２１に示されるように、ステップＳ２０１において、取得部１２１は、第一画像及び第二画像を取得する。例えば、第一画像は左側後方画像であり、第二画像は中央後方画像である。

ステップＳ２０２において、特徴点決定部１３１は、第一画像及び第二画像における特徴点を決定する。

ステップＳ２０３において、ペア決定部１３２は、ステップＳ２０２で決定した特徴点のペアを決定し、さらに、ペアのうち特徴点間の離間距離が比較的小さい近距離ペアを決定する。

ステップＳ２０４において、曲線決定部１３３は、ステップＳ２０３で決定した特徴点の近距離ペアの近傍を通る曲線を決定する。

ステップＳ２０５において、合成部１２３は、ステップＳ２０４で決定した曲線を境界として第一画像及び第二画像を合成することで合成画像を生成する。

ステップＳ２０６において、表示制御部１２４は、ステップＳ２０５で合成した合成画像を電子ミラー４０に表示するよう制御する。

このようにして、画像合成装置１１０は、画像合成に伴う違和感を抑制しながら画像を合成することができる。

なお、曲線決定部１３３による曲線の決定は、以下のように、できるだけ多くの近距離ペアの近傍を通るようにしてもよい。

図２２は、本実施の形態に係る車両１の左側後方画像である画像１５１と中央後方画像である画像１５３とを合成する境界線の別の一例を示す説明図である。

図２２に示される境界線１７１は、曲線決定部１３３によって、できるだけ多くの近距離ペアの近傍を通るようにして決定されたものである。このような曲線は、近距離ペアと当該曲線との離間距離がなるべく小さくなるような曲線として、公知の算出方法により決定され得る。具体的には、非線形最小二乗法により決定されるものを採用し得る。

（実施の形態２の変形例）
本変形例において、画像合成装置が、実施の形態２での画像の合成の方法と、実施の形態１の画像の合成の方法とを組み合わせて実行する形態について説明する。

図２３は、本変形例に係る画像合成装置により算出された個別ベクトルと境界線とを示す説明図である。

図２３に示される境界線９０Ａは、実施の形態２の曲線決定部１３３が決定した境界線１７１である。本変形例に係る画像合成装置は、実施の形態１の合成部２３が第一画像と第二画像とを接合するときに用いる境界線９０Ａとして、実施の形態２の曲線決定部１３３が決定した境界線１７１を用いる。

また、図２３には、図６と同じベクトル７１～７８に加えて、第二算出部３４により算出された個別ベクトル８１～８４が示されている。これらのベクトルは、図８に示されるものと同一であるが、境界線９０Ａを終点とするように平行移動して描かれている。

そして、実施の形態１の合成部２３は、境界線９０Ａを境界として、個別ベクトルを用いて画素値の演算をすることによって第一画像及び第二画像を接合する。接合の方法の詳細は、実施の形態１における方法と同じであるので説明を省略する。

以上のように、本実施の形態及び本変形例の画像合成装置は、第一画像と第二画像との内容に応じて定められる境界線を用いて、第一画像と第二画像とを合成する。この境界線は、同一の物が撮像された、第一画像における特徴点と、第二画像における特徴点とのペアのうち、特徴点の離間距離が比較的小さいものの近傍を通るように設定されているので、境界の近くで発生し得る画像の二重化又は消失が抑制される。その結果、画像合成装置は、画像合成に伴う違和感を抑制しながら画像を合成することができる。

また、画像合成装置は、近似曲線を用いて、画像の合成に用いる境界線を決定する。よって、画像合成装置は、より容易に、画像合成に伴う違和感を抑制しながら画像を合成することができる。

また、画像合成装置は、非線形最小二乗法を用いて、画像の合成に用いる境界線を決定する。よって、画像合成装置は、より具体的な構成に基づいて、より容易に、画像合成に伴う違和感を抑制しながら画像を合成することができる。

また、画像合成装置は、遠距離ペアの近傍、つまり、遠距離ペアに係る第一画像の特徴点及び第二画像の特徴点の近傍、並びに、これらの特徴点を結ぶ直線の近傍を通らない境界線を設定する。よって、境界の近くで発生し得る二重化又は消失がより一層抑制される。その結果、画像合成装置は、画像合成に伴う違和感をより一層抑制しながら画像を合成することができる。

なお、本実施の形態における画像合成装置は、車両の後方画像を合成するものとして説明したが、それに限定されるものではなく、車両の前方や周囲の画像を合成するものであってもよいし、車両以外の任意の画像合成に適用してもよい。

以上、一つまたは複数の態様に係る画像合成装置などについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

本発明は、画像合成に伴う違和感を抑制しながら画像を合成する画像合成装置等に利用可能である。具体的には、車両に搭載したカメラの映像を合成して電子ミラーに表示する画像合成装置に利用可能である。

１車両
１０、１１０画像合成装置
１２、１３、１４カメラ
２１、１２１取得部
２２、１２２決定部
２３、１２３合成部
２４、１２４表示制御部
３１、１３１特徴点決定部
３２、１３２ペア決定部
３３第一算出部
３４第二算出部
４０電子ミラー
５０後方画像
５１、５２、５３、１５１、１５１Ａ、１５１Ｂ、１５３、１５３Ａ、１５３Ｂ、１５５、１５５Ａ画像
６１、６２、６３、６４部分画像
６２ｃ、６３ｃ中央画素列
６６画素列
７１、７２、７３、７４、７５、７６、７７、７８、ｕ、ｖベクトル
８１、８１ｉ、８１ｊ、８１ｋ、８２、８３、８４、ｗ個別ベクトル
９０、９０Ａ、１７０、１７１、１７２境界線
９１、９１ｉ、９１ｊ、９２、９２ｉ、９２ｊ、９２ｋ、９３、９４画素
１３３曲線決定部
１６１、１６３、１６４領域
ａ、ｂ、ｃ、ｄ、ｓペア
ｍ中点
ｐ、ｑ特徴点
ｐ１、ｐ２、ｐ３、ｑ１、ｑ２、ｑ３特徴点

Claims

一の対象を互いに異なる撮像条件の下で撮像した第一画像及び第二画像を取得し、取得した前記第一画像及び前記第二画像を一部が重なる所定の位置関係で配置する取得部と、
前記取得部が配置した前記第一画像における１以上の第一特徴点と、前記取得部が配置した前記第二画像における１以上の第二特徴点とを決定する特徴点決定部と、
同一の物が撮像された点である、前記１以上の第一特徴点のうちの一の第一特徴点と、前記１以上の第二特徴点のうちの一の第二特徴点とのペアを複数決定するペア決定部と、
配置された前記第一画像及び前記第二画像が第一方向に延びる分割線によって分割された複数の部分画像ごとに、当該部分画像に含まれるペアに係る一の第一特徴点から、一の第一特徴点及び一の第二特徴点の中点に至るベクトルを代表する第一代表ベクトルを算出し、前記ペアに係る一の第二特徴点から前記中点に至るベクトルを代表する第二代表ベクトルを算出する第一算出部と、
前記第一算出部が算出した前記複数の部分画像ごとの前記第一代表ベクトルを補間することで前記第一画像及び前記第二画像に含まれる画素列ごとの第一個別ベクトルを算出し、前記第一算出部が算出した前記複数の部分画像ごとの前記第二代表ベクトルを補間することで前記第一画像及び前記第二画像に含まれる画素列ごとの第二個別ベクトルを算出する第二算出部と、
前記第一画像に含まれる画素列に対し前記第一個別ベクトルを用いて画素値を演算し、前記第二画像に含まれる画素列に対し前記第二個別ベクトルを用いて画素値を演算してから、前記第一画像及び前記第二画像を合成する合成部とを備える
画像合成装置。
前記第一算出部は、前記複数の部分画像ごとに、
当該部分画像に含まれる複数のペアに係る一の第一特徴点から、一の第一特徴点及び一の第二特徴点の中点に至るベクトルの中央値を前記第一代表ベクトルとして算出し、
前記ペアに係る一の第二特徴点から前記中点に至るベクトルの中央値を前記第二代表ベクトルとして算出する
請求項１に記載の画像合成装置。
前記第二算出部は、
前記第一画像及び前記第二画像に含まれる画素列ごとに、前記複数の部分画像それぞれの中心画素列に当該部分画像における前記第一代表ベクトルを対応付けて、線形補間によって前記第一個別ベクトルを算出し、
前記第一画像及び前記第二画像に含まれる画素列ごとに、前記複数の部分画像それぞれの中心画素列に当該部分画像における前記第二代表ベクトルを対応付けて、線形補間によって前記第二個別ベクトルを算出する
請求項１又は２に記載の画像合成装置。
前記第一算出部は、
前記複数の部分画像ごとの前記第一代表ベクトル及び前記第二代表ベクトルそれぞれと、当該部分画像に隣接する部分画像の前記第一代表ベクトル及び前記第二代表ベクトルそれぞれとの差分を小さくする統計処理を施し、
前記第二算出部は、
前記第一算出部による前記統計処理の後に、前記第一個別ベクトル及び前記第二個別ベクトルを算出する
請求項１～３のいずれか１項に記載の画像合成装置。
前記取得部は、互いに異なる時刻に撮像された複数の前記第一画像及び前記第二画像を取得し、
前記第一算出部は、
前記複数の部分画像ごとの前記第一代表ベクトル及び前記第二代表ベクトルそれぞれと、当該部分画像と同じ位置に位置し、当該部分画像より前に取得された部分画像の前記第一代表ベクトル及び前記第二代表ベクトルそれぞれとの差分を小さくする統計処理を施し、
前記第二算出部は、
前記第一算出部による前記統計処理の後に、前記第一個別ベクトル及び前記第二個別ベクトルを算出する
請求項１～４のいずれか１項に記載の画像合成装置。
前記取得部は、互いに異なる時刻に撮像された複数の前記第一画像及び前記第二画像を取得し、
前記第一算出部は、
一の時刻に撮像された前記第一画像及び前記第二画像が分割された前記複数の部分画像のうち、当該部分画像に含まれる前記ペアの数が所定以上である場合には、前記一の時刻より後の時刻に撮像された前記第一画像及び前記第二画像についての当該部分画像のサイズを小さくし、
当該部分画像に含まれる前記ペアの数が所定以下である場合には、前記一の時刻より後の時刻に撮像された前記第一画像及び前記第二画像についての当該部分画像のサイズを大きくする
請求項１～５のいずれか１項に記載の画像合成装置。
前記第一方向は、水平方向である
請求項１～６のいずれか１項に記載の画像合成装置。
前記第二算出部は、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）によるハードウェア処理により前記第一代表ベクトル及び前記第二代表ベクトルを算出し、
前記合成部は、前記ＧＰＵによるハードウェア処理により前記第一画像及び前記第二画像を合成する
請求項１～７のいずれか１項に記載の画像合成装置。
前記画像合成装置は、さらに、
決定された複数の前記ペアのうち、当該ペアに係る前記一の第一特徴点と前記一の第二特徴点との離間距離が所定以下である複数の近距離ペアの近傍を通る一の曲線を決定する曲線決定部を備え、
前記合成部は、前記曲線決定部により決定された前記一の曲線を境界として、前記第一画像及び前記第二画像を合成する
請求項１～８のいずれか１項に記載の画像合成装置。
前記曲線決定部は、決定された前記複数の近距離ペアの近傍を通る一の近似曲線を、前記一の曲線として決定する
請求項９に記載の画像合成装置。
前記曲線決定部は、非線形最小二乗法により前記一の曲線を決定する
請求項１０に記載の画像合成装置。
前記曲線決定部は、決定された複数の前記ペアのうち、当該ペアに係る前記一の第一特徴点と前記一の第二特徴点との離間距離が所定以上である複数の遠距離ペアの近傍を通らない前記一の曲線を決定する
請求項９～１１のいずれか１項に記載の画像合成装置。
前記第一画像及び前記第二画像は、一の車両に固定された２つのカメラにより同時に撮像された画像であり、
前記所定の位置関係は、前記２つのカメラの位置及び向きに応じて予め定められた位置関係である
請求項１～１２のいずれか１項に記載の画像合成装置。
前記画像合成装置は、
（ａ）一の車両の左側の後方を映す左カメラにより撮像された左後方画像と、
（ｂ）前記一の車両の右側の後方を映す右カメラにより撮像された右後方画像と、
（ｃ）前記一の車両の中央の後方を映す中央カメラにより撮像された中央後方画像と、
を取得し、
前記左後方画像と前記右後方画像との一方、及び、前記中央後方画像を、それぞれ、前記第一画像及び前記第二画像として前記取得部により取得し、前記特徴点決定部及び前記ペア決定部それぞれによる決定と、前記第一算出部及び前記第二算出部それぞれによる算出とを行い、前記合成部による合成により第三画像を生成し、
前記第三画像、及び、前記左後方画像と前記右後方画像との他方を、それぞれ、前記第一画像及び前記第二画像として前記取得部により取得し、前記特徴点決定部及び前記ペア決定部それぞれによる決定と、前記第一算出部及び前記第二算出部それぞれによる算出とを行い、前記合成部による合成により第四画像を生成する
請求項１～９のいずれか１項に記載の画像合成装置。
画像合成装置の制御方法であって、
一の対象を互いに異なる撮像条件の下で撮像した第一画像及び第二画像を取得し、取得した前記第一画像及び前記第二画像を一部が重なる所定の位置関係で配置する取得ステップと、
前記取得ステップで配置した前記第一画像における１以上の第一特徴点と、前記取得ステップで配置した前記第二画像における１以上の第二特徴点とを決定する特徴点決定ステップと、
同一の物が撮像された点である、前記１以上の第一特徴点のうちの一の第一特徴点と、前記１以上の第二特徴点のうちの一の第二特徴点とのペアを複数決定するペア決定ステップと、
配置された前記第一画像及び前記第二画像が第一方向に延びる分割線によって分割された複数の部分画像ごとに、当該部分画像に含まれるペアに係る一の第一特徴点から、一の第一特徴点及び一の第二特徴点の中点に至るベクトルを代表する第一代表ベクトルを算出し、前記ペアに係る一の第二特徴点から前記中点に至るベクトルを代表する第二代表ベクトルを算出する第一算出ステップと、
前記第一算出ステップで算出した前記複数の部分画像ごとの前記第一代表ベクトルを補間することで前記第一画像及び前記第二画像に含まれる画素列ごとの第一個別ベクトルを算出し、前記第一算出ステップで算出した前記複数の部分画像ごとの前記第二代表ベクトルを補間することで前記第一画像及び前記第二画像に含まれる画素列ごとの第二個別ベクトルを算出する第二算出ステップと、
前記第一画像に含まれる画素列に対し前記第一個別ベクトルを用いて画素値を演算し、前記第二画像に含まれる画素列に対し前記第二個別ベクトルを用いて画素値を演算してから、前記第一画像及び前記第二画像を合成する合成ステップとを含む
制御方法。
前記制御方法は、さらに、
決定された複数の前記ペアのうち、当該ペアに係る前記一の第一特徴点と前記一の第二特徴点との離間距離が所定以下である複数の近距離ペアの近傍を通る一の曲線を決定する曲線決定ステップを含み、
前記合成ステップでは、前記曲線決定ステップにより決定された前記一の曲線を境界として、前記第一画像及び前記第二画像を合成する
請求項１５に記載の制御方法。