JP6664082B2

JP6664082B2 - 画像処理システム、画像処理装置および画像処理方法

Info

Publication number: JP6664082B2
Application number: JP2018060585A
Authority: JP
Inventors: 純哉桑田; 亮司荻野
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2018-03-27
Filing date: 2018-03-27
Publication date: 2020-03-13
Anticipated expiration: 2035-02-06
Also published as: JP2018142963A

Description

本発明は、隣接するカメラ同士で撮像エリアが一部重複するよう配置される複数のカメラから取得した複数の撮像画像に対して画像合成処理を行ってパノラマ合成画像を表示部に出力する画像処理システム、画像処理装置および画像処理方法に関するものである。

複数のカメラにより撮像された画像を合成して１つの合成画像（パノラマ画像）を生成する、いわゆるスティッチング処理を行うことで、１台のカメラでは得ることができない広角画像をシームレスな状態で生成することができる。このようなスティッチング処理では、隣り合う２つのカメラを、各々の撮像エリアが一部重複するように配置して、２つのカメラの撮像エリアの重複部分に対応する境界部の画像領域を重ね合わせ、また、適宜にトリミングを行って画像を合成する。

一方、２つのカメラの撮像エリアの重複部分に、カメラからの距離が大きく異なる被写体が存在する、すなわち、遠景となる被写体と近影となる被写体とが存在すると、２つのカメラの各撮像画像の間には、遠景となる被写体の像と近影となる被写体の像との位置関係がずれた状態、いわゆる視差が発生し、合成画像に、近影の像が２重に現れたり、近影の像の一部が消失したりする不具合が発生する。そこで、スティッチングでは、視差に起因する画像の不具合を抑制する視差補正が行われる。

このような視差補正に関するものとして、従来、エッジや特徴量に基づくブロックマッチングにより、２つのカメラの各撮像画像に現れる被写体の像の位置関係を取得して、この情報に基づいて画像を変形させる視差補正を行う技術が知られている（特許文献１参照）。特にこの技術では、視差補正時の画像の変形度合いを規定するスティッチングポイントをフレームごとに変化させて、フレームごとに適切な合成画像を生成するようにしている。

また、人物など近景の像が現れている画像領域、すなわちコスト関数が高い画像領域を回避するように、２つの画像に対して屈曲したスティッチング境界を設定し、このスティッチング境界に沿って２つの画像を切り出すトリミングを行った上で画像合成する技術が知られている（特許文献２参照）。特にこの技術では、フレームの連続性を考慮してスティッチング境界の最適化を行うようにしており、これにより時間的に安定したスティッチング境界を設定することができるため、動画で表示する際に、画像に現れる被写体の像に不自然な動きが発生することを避けることができる。

特開２０１０−５０８４２号公報特許第５２２５３１３号公報

本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、隣接するカメラ同士で撮像エリアが一部重複するよう複数のカメラを配置して、複数のカメラから取得した複数の撮像画像に対して画像合成を行って合成画像を出力する場合に、撮像エリアの重複部分に対応する境界部の画像領域に近影の像と遠景の像とが現れる状態でも、適切な合成画像を生成することができるように構成された画像処理システム、画像処理装置および画像処理方法を提供することにある。

本発明の画像処理システムは、隣接するカメラ同士で撮像エリアが一部重複するよう配置される複数のカメラと、前記複数のカメラから取得した複数の撮像画像に対して画像合成処理を行ってパノラマ合成画像を表示部に出力する画像処理装置と、を備える画像処理システムであって、前記画像処理装置は、前記撮像エリアの重複部分に対応する境界部の画像領域に現れる遠景の像を基準にして前記隣接するカメラの撮像画像を合成し、前記境界部の画像領域に近影の像と前記遠景の像とが現れる状態では、前記隣接するカメラの撮像画像のそれぞれに対して、前記近影の像が現れる画像領域の画像を変形させて画像合成する構成とする。

また、本発明の画像処理装置は、隣接するカメラ同士で撮像エリアが一部重複するよう配置される複数のカメラから取得した複数の撮像画像に対して画像合成処理を行ってパノラマ合成画像を表示部に出力する画像処理装置であって、前記撮像エリアの重複部分に対応する境界部の画像領域に現れる遠景の像を基準にして前記隣接するカメラの撮像画像を合成し、前記境界部の画像領域に近影の像と前記遠景の像とが現れる状態では、前記隣接するカメラの撮像画像のそれぞれに対して、前記近影の像が現れる画像領域の画像を変形させて画像合成する構成とする。

また、本発明の画像処理方法は、隣接するカメラ同士で撮像エリアが一部重複するよう配置される複数のカメラから取得した複数の撮像画像に対して画像合成処理を行ってパノラマ合成画像を表示部に出力する画像処理方法であって、前記撮像エリアの重複部分に対応する境界部の画像領域に現れる遠景の像を基準にして前記隣接するカメラの撮像画像を合成し、前記境界部の画像領域に近影の像と前記遠景の像とが現れる状態では、前記隣接するカメラの撮像画像のそれぞれに対して、前記近影の像が現れる画像領域の画像を変形させて画像合成する構成とする。

本発明によれば、隣接するカメラ同士で撮像エリアが一部重複するよう複数のカメラを配置して、複数のカメラから取得した複数の撮像画像に対して画像合成を行って合成画像を出力する場合に、撮像エリアの重複部分に対応する境界部の画像領域に近影の像と遠景の像とが現れる状態でも、適切な合成画像を生成することができる。

第１実施形態に係る画像処理システムを示す全体構成図画像処理装置３で生成されて表示装置４で表示される合成画像を示す説明図視差補正を実施しない場合および視差補正を実施した場合の画像の状態を模式的に示す説明図視差補正を実施しない場合および視差補正を実施した場合の画像の実際の状態を示す説明図画像処理装置３の概略構成を示す機能ブロック図画像処理装置３で行われる処理の概要を説明する説明図第２実施形態に係るカメラユニット２１を示す説明図第２実施形態に係る画像処理装置２３の概略構成を示す機能ブロック図第３実施形態に係る画像処理システムを示す全体構成図図９に示したＰＣ３１の概略構成を示す機能ブロック図図９に示した表示装置４に表示される画面を示す説明図

前記課題を解決するためになされた第１の発明は、隣接するカメラ同士で撮像エリアが一部重複するよう配置される複数のカメラと、前記複数のカメラから取得した複数の撮像画像に対して画像合成処理を行ってパノラマ合成画像を表示部に出力する画像処理装置と、を備える画像処理システムであって、前記画像処理装置は、前記撮像エリアの重複部分に対応する境界部の画像領域に現れる遠景の像を基準にして前記隣接するカメラの撮像画像を合成し、前記境界部の画像領域に近影の像と前記遠景の像とが現れる状態では、前記隣接するカメラの撮像画像のそれぞれに対して、前記近影の像が現れる画像領域の画像を変形させて画像合成する構成とする。

これによると、隣接するカメラ同士で撮像エリアが一部重複するよう複数のカメラを配置して、複数のカメラから取得した複数の撮像画像に対して画像合成を行って合成画像を出力する場合に、撮像エリアの重複部分に対応する境界部の画像領域に近影の像と遠景の像とが現れる状態でも、適切な合成画像を生成することができる。

また、第２の発明は、前記画像処理装置は、前記境界部の画像領域に近影の像と前記遠景の像とが現れる状態では、前記隣接するカメラの撮像画像のそれぞれに対して、前記近影の像が現れる画像領域の画像を横方向にずらすように変形させて画像合成する構成とする。

また、第３の発明は、前記画像処理装置は、前記境界部の画像領域に近影の像と前記遠景の像とが現れる状態では、前記境界部の画像領域に近影の像と前記遠景の像との位置関係が整合するように、前記隣接するカメラの撮像画像のそれぞれに対して、前記近影の像が現れる画像領域の画像を変形させて画像合成する構成とする。

また、第４の発明は、前記画像処理装置は、前記境界部の画像領域に前記近影の像がない状態で求められる前記遠景の像の位置関係を基準として前記隣接するカメラの撮像画像を合成し、前記境界部の画像領域に近影の像と前記遠景の像とが現れる状態では、前記遠景の像と前記近影の像との位置関係のずれを補正するように、前記隣接するカメラの撮像画像のそれぞれに対して、前記近影の像が現れる画像領域の画像を変形させて画像合成する構成とする。

また、第５の発明は、前記画像処理装置は、前記近影の像がない状態で前記遠景の像の位置関係を予め求めて、前記隣接するカメラの撮像画像を合成する構成とする。

また、第６の発明は、前記画像処理装置は、前記画像合成をフレームごとに行って前記表示部に動画で表示し、前記境界部の画像領域において前記近影の像が変化する場合、前記隣接するカメラの各撮像エリアの重複部分を前記近影の像が横切って移動する場合又は前記境界部の画像領域において前記近影の像が現れている状態から前記近影の像がなくなって前記遠景の像のみとなる状態に変化する場合には、前記境界部の画像領域における画像の変形を段階的に行う構成とする。

また、第７の発明は、隣接するカメラ同士で撮像エリアが一部重複するよう配置される複数のカメラから取得した複数の撮像画像に対して画像合成処理を行ってパノラマ合成画像を表示部に出力する画像処理装置であって、前記撮像エリアの重複部分に対応する境界部の画像領域に現れる遠景の像を基準にして前記隣接するカメラの撮像画像を合成し、前記境界部の画像領域に近影の像と前記遠景の像とが現れる状態では、前記隣接するカメラの撮像画像のそれぞれに対して、前記近影の像が現れる画像領域の画像を変形させて画像合成する構成とする。

また、第８の発明は、隣接するカメラ同士で撮像エリアが一部重複するよう配置される複数のカメラから取得した複数の撮像画像に対して画像合成処理を行ってパノラマ合成画像を表示部に出力する画像処理方法であって、前記撮像エリアの重複部分に対応する境界部の画像領域に現れる遠景の像を基準にして前記隣接するカメラの撮像画像を合成し、前記境界部の画像領域に近影の像と前記遠景の像とが現れる状態では、前記隣接するカメラの撮像画像のそれぞれに対して、前記近影の像が現れる画像領域の画像を変形させて画像合成する構成とする。

以下、本発明の実施の形態を、図面を参照しながら説明する。

（第１実施形態）
図１は、第１実施形態に係る画像処理システムを示す全体構成図である。図２は、図１に示した画像処理装置３で生成されて表示装置４で表示される合成画像を示す説明図である。

本画像処理システムは、図１に示すように、第１〜第７のカメラ１ａ〜１ｇを有するカメラユニット２と、画像処理装置３と、表示装置４と、を備えている。

カメラ１ａ〜１ｇは、広角な画角（例えば１２０°）を有し、第１〜第６のカメラ１ａ〜１ｆは、光軸が略水平方向の放射状となるように周方向に等間隔をおいて配置され、第７のカメラ１ｇは、光軸が略垂直方向上向きとなるように配置されている。カメラ１ａ〜１ｇは、隣り合う２つのカメラ１ａ〜１ｇ同士で撮像エリアが一部重複するように配置されている。

画像処理装置３では、図２に示すように、第１〜第７のカメラ１ａ〜１ｇにより撮像された撮像画像を合成して１つの合成画像（パノラマ画像）を生成する処理（スティッチング）がフレームごとに行われ、このフレームごとの合成画像が表示装置４に出力されて、表示装置４に合成画像が動画で表示される。

次に、図１に示した画像処理装置３で行われる視差補正について説明する。図３は、視差補正を実施しない場合および視差補正を実施した場合の画像の状態を模式的に示す説明図である。図４は、視差補正を実施しない場合および視差補正を実施した場合の画像の実際の状態を示す説明図である。なお、ここでは、説明の便宜上、隣り合う２つのカメラ１ａ，１ｂの画像を処理する例を示す。

図３（Ａ）は、隣り合う２つのカメラ１ａ，１ｂによる撮像状況を示している。この図３（Ａ）に示す例では、人物とその背景となる山とが２つのカメラ１ａ，１ｂにより同時に撮像される。

図３（Ｂ−１），（Ｂ−２）は、２つのカメラ１ａ，１ｂによる撮像画像を示している。この図３（Ｂ−１），（Ｂ−２）に示すように、２つのカメラ１ａ，１ｂによる撮像画像には、２つのカメラ１ａ，１ｂの撮像エリアの重複部分に対応する境界部の画像領域に、山を表す遠景の像と人物を表す近影の像とが現れる。ここで、遠景となる山と近影となる人物とでは、カメラ１ａ，１ｂからの距離が大きく異なり、２つの撮像画像では、遠景の像と近影の像との位置関係がずれた状態となる。

図３（Ｃ−１），（Ｃ−２）は、２つのカメラ１ａ，１ｂによる撮像画像に対して遠景の像を基準にした単純合成を行って得られた合成画像を示している。前記のように、２つの撮像画像では遠景の像と近影の像との位置関係がずれているため、遠景の像を基準にして２つの撮像画像を単純に合成すると、図３（Ｃ−１），（Ｃ−２）に示すように、合成画像に、近影の像が２重に現れたり、近影の像の一部が消失したりする不具合が発生する。

ここで、遠景の像を基準にしたときの近影の像のずれは、２つのカメラ１ａ，１ｂの各撮像画像の間の視差を表している。２つのカメラ１ａ，１ｂにそれぞれ現れる遠景の像の位置関係は、近影がない状態で予め求めておくことができ、この情報に基づいて画像合成が行われる。したがって、近影の像がない状態では２つのカメラ１ａ，１ｂの撮像画像には視差は存在せず、近影の像が現れると、２つのカメラ１ａ，１ｂの撮像画像間に視差が発生する。

このように、２つのカメラ１ａ，１ｂの撮像画像における境界部の画像領域に遠景の像と近影の像とが現れる状態では、２つの撮像画像間に発生する視差が原因で、合成画像に近影の像が２重に現れるなどの不具合が発生する。そこで、この不具合を解消するための視差補正が必要となり、この視差補正には代表的には２種類の補正方式がある。図３（Ｃ−３）は、第１の補正方式による場合であり、図３（Ｃ−４）は、第２の補正方式による場合である。

図３（Ｃ−３）に示すように、第１の補正方式は、２つのカメラ１ａ，１ｂの撮像画像の間で遠景の像と近影の像との位置関係が整合するように、２つのカメラ１ａ，１ｂの撮像画像に対して、主に近影の像が現れる画像領域を横方向にずらすように画像を変形させる視差補正を行った上で画像合成するものである。

図３（Ｃ−４）に示すように、第２の補正方式は、近影の像が現れる画像領域を避けるように屈曲したスティッチング境界を設定し、このスティッチング境界に沿って２つのカメラ１ａ，１ｂの撮像画像を切り出すトリミングを行った上で画像合成するものである。

図４（Ａ−１）は、視差補正を実施しない単純合成による合成画像を示し、図４（Ａ−２）は、視差補正を実施した合成画像を示している。図４（Ｂ−１），（Ｂ−２）はそれぞれ、図４（Ａ−１），（Ａ−２）に示した合成画像における近景の像の周辺部を拡大して示している。

図４（Ａ−１），（Ｂ−１）に示すように、視差補正を実施しない単純合成では、合成画像に、近影の像の一部が消失したり、近影の像が２重に現れたりする不具合が発生しているが、図４（Ａ−２），（Ｂ−２）に示すように、視差補正を実施すると、単純合成のような不具合が改善され、適切な画像を生成することができる。

このように視差補正を行うことで適切な画像を生成することができ、本実施形態では、第１の補正方式、すなわち、２つのカメラ１ａ，１ｂの撮像画像の間で遠景の像と近影の像との位置関係が整合するように、２つのカメラ１ａ，１ｂの撮像画像に対して、主に近影の像が現れる画像領域を横方向にずらすように画像を変形させる視差補正を行う。

ここで、人物などの近影の像は、その背景となる山などの遠景の像とは異なり、短時間に大きく変化する場合があり、この近影の像の変化により２つの撮像画像間の視差が短時間で大きく異なる状態になると、視差補正時の画像の変形度合いを規定する視差補正量が急激に変化して、フレーム間で顕著な画像変化が発生し、合成画像を動画で表示する際に、画像に現れる被写体の像に不自然な動きが生じて見る人に違和感を与える。

例えば、２つのカメラ１ａ，１ｂの各撮像エリアの重複部分を近景となる人物が横切るように移動すると、２つのカメラ１ａ，１ｂの撮像画像における境界部の画像領域は、近影の像が現れている状態から近影の像がなくなって遠景の像のみとなる状態に変化し、このとき、近影の像の有無に応じて境界部の画像領域の奥行き、すなわち、境界部の画像領域に現れる被写体までの距離が急激に変化する。このように境界部の画像領域の奥行きが急激に変化すると、これに応じて視差補正量も急激に変化し、視差補正時の画像変形も急激なものとなる。

特に、画像を見る人にとっては近影の像が重要となることから、近影の像に注目して、近影の像に不具合が生じないように近影の像を優先させた処理を行うと、近影の像が現れている状態では、遠景の像は、実際の形状とは多少異なるものとなる。このため、２つのカメラ１ａ，１ｂの各撮像エリアの重複部分を人物が横切る場合のように、近影の像が現れている状態から近影の像がなくなって遠景の像のみとなる状態に変化して、視差補正量が急激に変化すると、遠景の像に大きな変化が現れ、例えば変化することがない山の像が変化するようになり、見る人に大きな違和感を与える。

そこで、本実施形態では、第１の補正方式による視差補正、すなわち、２つのカメラ１ａ，１ｂの撮像画像に対して、主に近影の像が現れる画像領域を横方向にずらすように画像を変形させる視差補正を行う際に、２つのカメラ１ａ，１ｂの撮像画像間の視差から求められた視差補正量にフィルタを適用して、視差補正量に対して時間的な変化量を制限する処理を実施するようにする。これにより、視差補正時の急激な画像変形を抑え、視差補正による画像変形を目立ちにくくして、合成画像を動画で表示する際に見る人に違和感を与えることがないようにする。

次に、図１に示した画像処理装置３で行われる処理について説明する。図５は、画像処理装置３の概略構成を示す機能ブロック図である。図６は、画像処理装置３で行われる処理の概要を説明する説明図である。

画像処理装置３は、視差補正量算出部１１と、フィルタ１２と、視差補正量蓄積部１３と、パノラマ画像生成部１４と、視差補正部１５と、画像合成部１６と、を備えている。

なお、ここでは、２つのカメラ１ａ．１ｂの撮像画像を処理する部分のみを示しているが、図１に示したように、本実施形態では、７つのカメラ１ａ〜１ｇが設けられており、視差補正量算出部１１およびフィルタ１２は、隣り合う２つのカメラ１ａ〜１ｇの組み合わせごとに設けられ、また、パノラマ画像生成部１４および視差補正部１５はカメラ１ａ〜１ｇごとに設けられる。

視差補正量算出部１１では、視差補正時の画像の変形度合いを規定する視差補正量をフレームごとに算出する処理が行われる。具体的には、図６に示すように、平行化（円柱への投影）、処理領域切り出し、および視差算出の各処理が行われる。視差算出処理では、２つの撮像画像間のブロックマッチングにより視差（ずれ量）を算出する。すなわち、２つの撮像画像を少しずつずらしながら２つの撮像画像間の差分を算出し、その差分が最も小さくなる位置関係から視差を求める。ここで、撮像画像に近影の像が現れる場合には、通常、近影の像が大きな面積を占めていることから、近影の像がブロックマッチングの結果に大きく影響し、ブロックマッチングにより得られる画像のずれは、近影の像のずれとなる。

フィルタ１２では、視差補正量算出部１１から出力される視差補正量に対して時間的な変化量を制限する処理が行われる。本実施形態では、視差補正量蓄積部１３に、フィルタ１２から出力される視差補正量が蓄積され、フィルタ１２では、現在（今回）のフレームの視差補正量を、視差補正量蓄積部１３に蓄積された直前（前回）のフレームの視差補正量からの変化量が所定の許容範囲に収まるように制限する処理が行われる。

具体的には、視差補正量蓄積部１３から直前のフレームの視差補正量Ｐ_ｔ−１'を取得し、これを、視差補正量算出部１１から入力された現在のフレームの視差補正量Ｐ_ｔと比較して、変化量（ΔＰ＝Ｐ_ｔ−Ｐ_ｔ−１'）を求める。そして、この変化量ΔＰを、変化量の許容範囲を規定する制限値（最小値および最大値）−Ａ，Ａと比較して、変化量ΔＰが許容範囲内に収まる場合には、視差補正量算出部１１から入力された視差補正量Ｐ_ｔをそのまま出力し、変化量ΔＰが許容範囲から外れる場合には、視差補正量蓄積部１３から取得した直前のフレームの視差補正量Ｐ_ｔ−１'に制限値±Ａを加算して出力する。このフィルタ１２で行われる処理を数式で示すと、次のようになり、この数式によりフィルタ１２から出力させる視差補正量Ｐ_ｔ'を求めることができる。
Ｐ_ｔ'＝ｍｉｎ（ｍａｘ（Ｐ_ｔ−Ｐ_ｔ−１'，−Ａ），Ａ）＋Ｐ_ｔ−１'

なお、本実施形態では、現在のフレームの視差補正量と直前のフレームの視差補正量との差分（変化量）で視差補正量を制限するようにしたが、直前のフレームの視差補正量に対する現在のフレームの視差補正量の比率（変化率）で視差補正量を制限するようにしてもよい。この場合、フィルタ１２で行われる処理を数式で示すと、次のようになる。ここで、Ｂ_ｍｉｎ，Ｂ_ｍａｘは、変化率の許容範囲を規定する制限値（最小値および最大値）である。
Ｐ_ｔ'＝ｍｉｎ（ｍａｘ（Ｐ_ｔ／Ｐ_ｔ−１'，Ｂ_ｍｉｎ），Ｂ_ｍａｘ）×Ｐ_ｔ−１'

この他、今回のフレームの視差補正量を、過去または前後の複数のフレームごとの視差補正量の平均値として算出するようにしてもよい。

パノラマ画像生成部１４では、２つのカメラ１ａ，１ｂからそれぞれ出力される撮像画像に対してパノラマ化（球への投影）を行って、２つのパノラマ画像を生成する処理が行われる。

視差補正部１５では、フィルタ１２から出力される視差補正量に基づいて、パノラマ画像生成部１４で生成した２つのパノラマ画像に対して視差補正を行って、２つの視差補正画像を生成する処理が行われる。

画像合成部１６では、視差補正部１５でそれぞれ生成した２つの視差補正画像に対して画像合成処理を行って、１つの合成画像を生成する処理が行われる。この画像合成部１６で生成した合成画像は表示装置４に出力され、表示装置４に合成画像が表示される。

なお、図５に示した画像処理装置３の各部は、情報処理装置のＣＰＵで画像処理用のプログラムを実行させることで実現される。このプログラムは、情報処理装置に予め導入して専用の画像処理装置として構成されるようにする他、情報処理装置としてのＰＣにおいて汎用ＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録して、またネットワークを介して、ユーザに提供されるようにしてもよい。

以上のように本実施形態では、フィルタ１２において、視差補正量算出部１１で取得した視差補正量に対して時間的な変化量を制限するようにしたため、２つの撮像画像間の視差が大きく異なる変化が生じた場合でも、視差補正量が急激に変化することなく段階的に変化するようになる。これにより、視差補正量に基づいて視差補正部１５で行われる画像変形を小さく抑える、例えば、１つのフレームで１ピクセルしか移動させないようにして、画像変形が段階的に行われるようになる。このため、合成画像を動画で表示する際に、画像に現れる被写体の像に不自然な動きが生じて見る人に違和感を与えることを避けることができる。

特に、本実施形態では、視差補正量蓄積部１３において、フィルタ１２から出力される視差補正量を蓄積し、フィルタ１２において、今回のフレームの視差補正量を、視差補正量蓄積部１３に蓄積された前回のフレームの視差補正量からの変化量が所定の許容範囲に収まるように制限するようにしており、未来のフレームの情報が不要となるため、カメラで撮像された画像を合成処理しながらリアルタイムに出力するリアルタイム処理を実現することができる。

（第２実施形態）
次に、第２実施形態について説明する。図７は、第２実施形態に係るカメラユニット２１を示す説明図である。図８は、第２実施形態に係る画像処理装置２３の概略構成を示す機能ブロック図である。なお、ここで特に言及しない点は前記の実施形態と同様である。

第１実施形態では、カメラ１ａ〜１ｇによる撮像画像から視差補正量を算出するようにしたが、この第２実施形態では、図７に示すように、カメラユニット２１に、デプスセンサ（距離検出装置）２２ａ〜２２ｆを設けて、このデプスセンサ２２ａ〜２２ｆの検出結果に基づいて視差補正量を算出するようにしている。

デプスセンサ２２ａ〜２２ｆは、ＴＯＦ（Time-Of-Flight）方式などにより、画像の奥行き、すなわち、画像に現れる近景の像に対応する被写体までの距離を検出する距離画像センサである。このデプスセンサ２２ａ〜２２ｆは、隣り合う２つのカメラ１ａ〜１ｆの撮像エリアの重複部分に対応する境界部の画像領域の奥行きを検出することができるように、各カメラ１ａ〜１ｆの間に配置されている。

図８に示すように、画像処理装置２３は、第１実施形態と同様に、視差補正量算出部２４を備えているが、この視差補正量算出部２４には、デプスセンサ２２ａの検出結果が入力され、視差補正量算出部２４において、デプスセンサ２２ａの検出結果に基づいて視差補正量を算出する処理が行われる。ここで、被写体までの距離と視差との間には相関関係があり、この相関関係に基づいて、デプスセンサ２２ａの検出結果から視差補正量を算出することができる。

（第３実施形態）
次に、第３実施形態について説明する。図９は、第３実施形態に係る画像処理システムを示す全体構成図である。図１０は、図９に示したＰＣ３１の概略構成を示す機能ブロック図である。図１１は、図９に示した表示装置４に表示される画面を示す説明図である。なお、ここで特に言及しない点は前記の実施形態と同様である。

この第３実施形態に係る画像処理システムは、図９に示すように、カメラユニット２と、ＰＣ（情報処理装置）３１と、表示装置４と、マウス（操作入力装置）３２と、を備えている。

図１０に示すように、ＰＣ３１は、画像蓄積部４１と、第１の画像処理部４２と、第２の画像処理部４３と、画像異常検出部４４と、補正領域設定部４５と、視差補正量設定部４６と、入出力制御部４７と、を備えている。

画像蓄積部４１は、カメラ１ａ，１ｂごとに設けられ、各カメラ１ａ，１ｂによる撮像画像が蓄積される。

第１の画像処理部４２および第２の画像処理部４３では、カメラ１ａ，１ｂの撮像画像を合成して合成画像を生成する処理が行われる。第１の画像処理部４２は、視差補正に、第１実施形態と同様に、第１の補正方式を採用したものであり、２つのカメラ１ａ，１ｂの撮像画像に対して、主に近影の像が現れる画像領域を横方向にずらすように画像を変形させる視差補正を行った上で画像を合成する処理が行われる。この第１の画像処理部４２は、第１実施形態の画像処理装置３（図５参照）と同様の構成となっている。第２の画像処理部４３は、視差補正に第２の補正方式を採用したものであり、近影の像が現れる画像領域を避けるように屈曲したスティッチング境界を設定して、このスティッチング境界に沿って２つの画像を切り出して合成する処理が行われる。

画像異常検出部４４では、合成画像における異常な画像領域、すなわち、近影の像が２重に現れたり、近影の像の一部が消失したりする不具合が発生している画像領域を検出する処理が行われる。補正領域設定部４５では、マウス３２を用いたユーザの入力操作に応じて、第１の画像処理部４２で行われる視差補正の対象となる補正領域を設定する処理が行われる。視差補正量設定部４６では、マウス３２を用いたユーザの入力操作に応じて、第１の画像処理部４２で用いられる視差補正量を設定する処理が行われる。入出力制御部４７では、第１の画像処理部４２および第２の画像処理部４３で生成した合成画像を表示装置４に出力して表示させ、また、マウス３２を用いたユーザの入力操作に応じた操作入力情報を取得する処理が行われる。

本実施形態では、画像異常警告モードと、視差補正量調整モードと、スティッチング境界指定モードと、がある。以下に、各モードについて説明する。

まず、画像異常警告モードについて説明する。画像異常警告モードは、合成画像における異常な画像領域を検出して、その異常な画像領域に関する警告を表示装置４に出力する。ユーザは、この警告を見て、異常な画像領域を認識することができ、これに続けて、図１１（Ｂ），（Ｃ）に示すように、視差補正に関する操作を行う。

このとき、ＰＣ３１では、第１の画像処理部４２または第２の画像処理部４３において、撮像画像に対して視差補正を実施しない単純合成が行われ、画像異常検出部４４において、合成画像における異常な画像領域が検出され、入出力制御部４７において、画像異常検出部４４の検出結果に基づいて、表示装置４の画面に、合成画像上に異常な画像領域を表す警告の画像を重畳して表示される処理が行われる。

具体的には、図１１（Ａ）に示すように、第１の画像処理部４２または第２の画像処理部４３から出力される合成画像５１が、表示装置４の画面に表示される。この表示装置４の画面に表示される合成画像上には、異常な画像領域を表す警告の画像５２が表示されている。この警告の画像５２は、異常な画像領域、すなわち、近影の像が２重に現れたり、近影の像の一部が消失したりする不具合が発生している画像領域を取り囲むように表示され、さらに、赤色などの着色が施されるとともに透過性の塗り潰しが施されている。これにより、ユーザが、異常な画像領域を容易に識別することができる。

このように、画像異常警告モードでは、異常な画像領域に関する警告が行われるため、合成画像における異常な画像領域、すなわち視差補正を行うべき画像領域をユーザが容易に認識することができる。

なお、画像異常検出部４４では、視差補正部１５から出力される２つの画像同士でブロックマッチングを行い、差分が大きくなる画像領域を、合成画像における異常な画像領域として検出するようにすればよい。

次に、視差補正量調整モードについて説明する。この視差補正量調整モードは、第１の画像処理部４２で行われる第１の補正方式による視差補正、すなわち、撮像画像に対して、主に近影の像が現れる画像領域を横方向にずらすように画像を変形させる視差補正を行った上で画像を合成する処理において、視差補正に用いられる視差補正量をユーザが調整するものであり、この視差補正量調整モードでは、マウス３２を用いたユーザの入力操作に応じて視差補正量が設定されて、その視差補正量に基づく合成画像が表示装置４に表示される。

このとき、ＰＣ３１では、入出力制御部４７において、マウス３２の操作に応じた入力情報を取得し、補正領域設定部４５において、入出力制御部４７で取得した操作入力情報に基づいて補正領域を設定する処理が行われ、視差補正量設定部４６において、入出力制御部４７で取得した操作入力情報に基づいて視差補正量を設定する処理が行われ、第１の画像処理部４２の視差補正部１５において、補正領域設定部４５および視差補正量設定部４６でそれぞれ設定された補正領域および視差補正量に基づいて視差補正処理が行われる。

具体的には、図１１（Ｂ）に示すように、第１の画像処理部４２から出力される合成画像が表示装置４の画面に表示され、この表示装置４の画面に表示される合成画像をユーザが見て、異常な画像領域をユーザがマウスポインタ５３で指定する。すると、第１の画像処理部４２において、マウスポインタ５３で指定された位置の周辺の画像領域を対象にして視差補正が行われる。このとき、ユーザがマウスホイール３３を操作することで、視差補正量が調整され、ユーザの操作に応じた視差補正量で視差補正が行われた合成画像が表示装置４の画面に表示される。

したがって、視差補正量調整モードでは、ユーザが、表示装置４の画面に表示される合成画像の状態を見ながら、適切な合成画像が得られるように視差補正量を調整することができる。

なお、本実施形態では、マウスホイール３３で視差補正量を調整するようにしたが、タブレット端末のようにタッチパネルディスプレイを備えた情報処理装置では、ピンチインおよびピンチアウトなどのタッチ操作により視差補正量を調整することができるようにするとよい。また、マウス３２を用いる場合でも、ドラッグ操作などの別の操作で視差補正量を調整することができるようにしてもよい。

次に、スティッチング境界指定モードについて説明する。このスティッチング境界指定モードは、第２の画像処理部４３で行われる第２の補正方式による視差補正、すなわち、近影の像が現れる画像領域を避けるように屈曲したスティッチング境界を設定して、このスティッチング境界に沿って２つの画像を切り出して画像合成する処理において、スティッチング境界をユーザが指定するものであり、このスティッチング境界指定モードでは、マウス３２を用いたユーザの入力操作に応じて、スティッチング境界に関する操作入力情報を取得し、この操作入力情報に基づいてスティッチング境界を設定する。

このとき、ＰＣ３１では、入出力制御部４７において、マウス３２の操作に応じた操作入力情報を取得し、第２の画像処理部４３において、入出力制御部４７で取得した操作入力情報に基づいてスティッチング境界を設定し、このスティッチング境界に沿って画像を切り出して合成する処理が行われる。

具体的には、図１１（Ｃ）に示すように、ユーザが、マウス３２のドラッグ操作で、異常な画像領域を避けるようにスティッチング境界を指定する。このとき、マウスポインタ５３の軌跡がスティッチング境界となり、このスティッチング境界に基づいて画像合成処理が行われる。

ここで、ユーザにより指定されたスティッチング境界をそのまま実際のスティッチング境界として画像合成処理を行うようにしてもよいが、ユーザにより指定されたスティッチング境界を参考にして、コスト関数に基づくスティッチング境界の最適化を行うようにしてもよい。

このスティッチング境界の最適化では、人物などの近景の像が現れている画像領域、すなわちコスト関数が高い画像領域を避けるようにスティッチング境界が設定される。換言すると、人物などの近景の像が現れておらず、画素値に大きな変化がない領域、すなわちコスト関数が低い画像領域を通過するようにスティッチング境界が設定される。このとき、ユーザにより指定されたスティッチング境界の周辺を、特にコスト関数が低い画像領域とすることで、ユーザにより指定されたスティッチング境界の周辺部が優先的にスティッチング境界に設定される。

このように、スティッチング境界指定モードでは、ユーザが、表示装置４の画面に表示される合成画像の状態を見ながら、スティッチング境界を指定することができる。また、ユーザにより指定されたスティッチング境界を参考にしてスティッチング境界の最適化を行う場合には、スティッチング境界の最適化が容易になり、適切なスティッチング境界を効率よく設定することができる。

なお、本実施形態では、マウス３２のドラッグ操作でスティッチング境界を指定するようにしたが、タブレット端末のようにタッチパネルディスプレイを備えた情報処理装置では、画面上を指でなぞるタッチ操作によりスティッチング境界を指定することができるようにするとよい。

以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係る画像処理装置の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

例えば、前記の実施形態では、複数のカメラを備えたカメラユニットと別に設けられた画像処理装置（ＰＣを含む）で、視差補正処理および画像合成処理を行って合成画像を出力するようにしたが、画像処理装置を内蔵するカメラユニット（撮像装置）として構成することもできる。

また、前記の実施形態では、被写体までの距離を検出する距離検出装置として距離画像センサ（デプスセンサ）を用いた例を示したが、本発明の距離検出装置は、撮像画像に現れる近景の像に対応する被写体までの距離を検出することができるものであればよく、距離画像センサに限定されるものではない。

本発明に係る画像処理システム、画像処理装置および画像処理方法は、複数のカメラの撮像エリアの重複部分に対応する境界部の画像領域に近影の像と遠景の像とが現れる状態でも、適切な合成画像を生成できる効果を有し、隣接するカメラ同士で撮像エリアが一部重複するよう配置される複数のカメラから取得した複数の撮像画像に対して画像合成処理を行ってパノラマ合成画像を表示部に出力する画像処理システム、画像処理装置および画像処理方法などとして有用である。

１ａ〜１ｇカメラ
２カメラユニット
３画像処理装置
４表示装置
１１視差補正量算出部
１２フィルタ
１３視差補正量蓄積部
１４パノラマ画像生成部
１５視差補正部
１６画像合成部
２１カメラユニット
２１ａデプスセンサ（距離検出装置）
２３画像処理装置
２４視差補正量算出部
３２マウス（操作入力装置）
３３マウスホイール
５２警告の画像

Claims

隣接するカメラ同士で撮像エリアが一部重複するよう配置される複数のカメラと、
前記複数のカメラから取得した複数の撮像画像に対して画像合成処理を行ってパノラマ合成画像を表示部に出力する画像処理装置と、を備える画像処理システムであって、
前記画像処理装置は、
前記撮像エリアの重複部分に対応する境界部の画像領域に近影の像が無い状態で現れる遠景の像に基づいて前記隣接するカメラの撮像画像を合成し、
前記近影の像が無い状態で前記遠景の像が現れる前記境界部の画像領域に前記近影の像が現れると、前記隣接するカメラの撮像画像の単純合成画像上における異常な画像領域を検出し、前記異常な画像領域に関する警告を表示し、
前記画像処理装置は、前記単純合成画像に対するユーザの指定を入力する入力部をさらに備え、
前記入力部により前記異常な画像領域が指定されると、前記隣接するカメラの撮像画像のそれぞれに対して、前記近影の像が現れる画像領域の画像を横方向にずらすように変形させて画像合成する、
画像処理システム。
請求項１に記載の画像処理システムであって、
前記画像処理装置は、前記異常な画像領域に関する警告として、前記近影の像が二重に現れるか、または前記近影の像の一部が消失している画像領域を取り囲むように、前記異常な画像領域を表す警告の画像を重畳して表示する、
画像処理システム。
請求項１に記載の画像処理システムであって、
前記画像処理装置は、前記近影の像が無い状態で前記遠景の像の位置関係を予め求めて、前記隣接するカメラの撮像画像を合成する、
画像処理システム。
請求項１又は請求項２に記載の画像処理システムであって、
前記入力部により前記異常な画像領域およびスティッチング境界が指定されると、前記スティッチング境界に基づいて前記隣接するカメラの撮像画像を合成する、
画像処理システム。
請求項４に記載の画像処理システムであって、
前記画像処理装置は、前記入力部により指定された前記スティッチング境界に基づいて、前記近影の像が現れていない画像領域を通過するように前記スティッチング境界を設定する、
画像処理システム。
隣接するカメラ同士で撮像エリアが一部重複するよう配置される複数のカメラから取得した複数の撮像画像に対して画像合成処理を行ってパノラマ合成画像を表示部に出力する画像処理装置であって、
前記撮像エリアの重複部分に対応する境界部の画像領域に近影の像が無い状態で現れる遠景の像に基づいて前記隣接するカメラの撮像画像を合成し、
前記近影の像が無い状態で前記遠景の像が現れる前記境界部の画像領域に前記近影の像が現れると、前記隣接するカメラの撮像画像の単純合成画像上における異常な画像領域を検出し、前記異常な画像領域に関する警告を表示し、
前記単純合成画像に対するユーザの指定を入力する入力部をさらに備え、
前記入力部により前記異常な画像領域が指定されると、前記隣接するカメラの撮像画像のそれぞれに対して、前記近影の像が現れる画像領域の画像を横方向にずらすように変形させて画像合成する、
画像処理装置。
隣接するカメラ同士で撮像エリアが一部重複するよう配置される複数のカメラから取得した複数の撮像画像に対して画像合成処理を行ってパノラマ合成画像を表示部に出力する画像処理方法であって、
前記撮像エリアの重複部分に対応する境界部の画像領域に近影の像が無い状態で現れる遠景の像に基づいて前記隣接するカメラの撮像画像を合成し、
前記近影の像が無い状態で前記遠景の像が現れる前記境界部の画像領域に前記近影の像が現れると、前記隣接するカメラの撮像画像の単純合成画像上における異常な画像領域を検出し、前記異常な画像領域に関する警告を表示し、
ユーザにより前記異常な画像領域が指定されると、前記隣接するカメラの撮像画像のそれぞれに対して、前記近影の像が現れる画像領域の画像を横方向にずらすように変形させて画像合成する、
画像処理方法。