JP7838271B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本開示は、画像処理装置及び画像処理方法に関する。

撮影装置から被写体までの距離（深度）を測定する技術の一つとして、ＴｏＦ（Time of Flight）方式が知られている。ＴｏＦ方式を用いたＴｏＦセンサは、赤外光による測距光を被写体に向けて照射し、被写体で反射された測距光を赤外線用の撮像素子で受光する。ＴｏＦセンサは、照射から受光までの時間差を画素ごとに検出することで、被写体と撮影装置との距離を算出することができる。

関連する技術として、例えば、特許文献１は、第１のタイプのセンサと、第２のタイプのセンサと、制御回路とを含む画像処理装置を開示する。この画像処理装置において、制御回路は、第１のタイプのセンサから入力カラー画像フレームを受け取り、第２のタイプのセンサから入力カラー画像フレームに対応する入力深度画像を受け取る。

特表２０２１－５２１５４３号公報

ＴｏＦセンサで得られる被写体までの距離（深度値）は、被写体の色によって測距の精度が異なる。これは、被写体の色によって反射率が異なるためである。そのため、例えば、異なる色の被写体がＴｏＦセンサから同じ距離に位置する場合でも、被写体の色によって測定される距離が異なる場合がある。

また、黒い被写体は反射率が小さいため、ＴｏＦセンサにおいて深度値を正常に取得できない場合がある。そのため、深度値に基づいて３Ｄ画像を生成した場合、黒い被写体の深度値が存在しないこととなり、本来は平面であるべき部分が空洞化したり、平面的な被写体が凸凹のある物体として３Ｄ化されたりするなどの問題が生じる。

本開示の目的は、上述した課題を鑑み、被写体の色に応じて深度情報を適切に補正することが可能な画像処理装置及び画像処理方法を提供することにある。

本開示にかかる画像処理装置は、
撮影画像から被写体領域を検出する検出部と、
前記被写体領域に含まれる画素の色情報と深度情報とを前記画素ごとに取得する取得部と、
前記色情報に基づいて、前記画素の色を判定する色判定部と、
前記色判定部における判定結果に基づいて、前記画素の前記深度情報を補正する補正部と、を備え、
前記補正部は、前記画素が黒画素である場合、前記画素の近傍にある有彩色画素の前記深度情報に基づいて、前記画素の前記深度情報を補正する。

本開示にかかる画像処理方法は、
撮影画像から被写体領域を検出する検出ステップと、
前記被写体領域に含まれる画素の色情報と深度情報とを前記画素ごとに取得する取得ステップと、
前記色情報に基づいて、前記画素の色を判定する色判定ステップと、
前記色判定ステップにおける判定結果に基づいて、前記画素の前記深度情報を補正する補正ステップと、を含み、
前記補正ステップでは、前記画素が黒画素である場合、前記画素の近傍にある有彩色画素の前記深度情報に基づいて、前記画素の前記深度情報が補正される。

本開示にかかる画像処理装置及び画像処理方法によれば、被写体の色に応じて深度情報を適切に補正することができる。

実施形態にかかる撮影システムの構成を示すブロック図である。 撮影画像の一例として、複数の被写体を含む撮影画像を示す図である。 被写体領域におけるＲＧＢ値及び深度値の配列化の一例を示す図である。 黒画素に対する第１の補正方法の説明図である。 黒画素に対する第１の補正方法の変形例を説明する図である。 黒画素に対する第２の補正方法の説明図である。 黒画素に対する第３の補正方法の説明図である。 黒画素に対する第３の補正方法の説明図である。 黒画素に対する第３の補正方法の変形例を説明する図である。 黒画素に対する第４の補正方法の説明図である。 黒画素に対する第４の補正方法の説明図である。 画像処理装置が実行する処理を示すフローチャートである。 有彩色画素に対する深度補正処理を示すフローチャートである。

以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されている。説明の明確化のため、必要に応じて重複説明は省略される。

図１は、本実施形態にかかる撮影システム１０００の構成を示すブロック図である。
撮影システム１０００は、ＲＧＢセンサ（撮影部）２００、測距センサ３００、及び画像処理装置１００を備えている。撮影システム１０００は、ＲＧＢセンサ２００及び測距センサ３００を用いて被写体を撮影し、画像処理装置１００において所定の画像処理を行うことが可能な情報処理システムである。

ＲＧＢセンサ２００は、被写体を撮影して色情報を検出することが可能なセンサである。色情報は、例えばｓＲＧＢ空間上にて定義されるＲＧＢ値である。色情報は、Ａｄｏｂｅ（登録商標）ＲＧＢ空間上で定義されるＲＧＢ値、又はＬａｂ空間上で定義されるＬａｂ値などの形式であってもよい。

ＲＧＢセンサ２００は、オートホワイトバランス（Automatic White Balance、以下ＡＷＢと呼ぶ）処理及びオートエクスポージャ（Automatic Exposure、以下ＡＥと呼ぶ）処理の少なくとも一方を含む処理を行い、被写体を撮影する。ＡＷＢ処理は、撮影対象の光源の状況を自動判断し、適正な色の状態を再現するものである。ＲＧＢセンサ２００は、ＡＷＢ処理を常時行ってもよいし撮影準備のタイミングで行ってもよい。ＡＥ処理は、撮影視野の輝度情報に基づいて絞り値やシャッタ速度などを制御し、撮影画像の明るさを一定に保つものである。

本実施形態では、ＲＧＢセンサ２００は、ＡＷＢ及びＡＥ処理の両方を行い、撮影画像を画像処理装置１００に出力する。撮影画像は、静止画像でもよいし動画像でもよい。またＲＧＢセンサ２００は、撮影画像の各画素におけるＲＧＢ値を画像処理装置１００に出力する。ＲＧＢセンサ２００は、例えば、カラースチルカメラ（例えば、ＲＧＢカメラ）又はカラービデオカメラなどである。

測距センサ３００は、被写体を撮影して深度情報を検出することが可能なセンサである。深度情報は、被写体の奥行き方向の深さを示す情報である。深度情報は、例えば、測距センサ３００からの距離を示す深度値を用いて表される。深度値は、測距センサ３００から被写体までの距離がミリメートル等の物理的単位で表現されたものであってもよいし、当該距離を０～１の範囲で正規化表現されたものなどであってもよい。

測距センサ３００は、撮影画像の各画素に対応する深度値を画像処理装置１００に出力する。測距センサ３００は、例えばＴｏＦセンサやステレオカメラである。これに限らず、測距センサ３００には、測距センサ３００と被写体との間の距離を検出可能な種々のセンサが用いられてよい。

画像処理装置１００は、ＲＧＢセンサ２００及び測距センサ３００からＲＧＢ値及び深度値を取得し、画像処理を行う情報処理装置である。画像処理装置１００は、検出部１１０、取得部１２０、色判定部１３０、補正部１４０、及び記憶部１８０を備えている。

検出部１１０は、ＲＧＢセンサ２００から撮影画像を取得し、撮影画像から被写体領域を検出する。図２は、撮影画像の一例として、複数の被写体を含む撮影画像Ｐを示す図である。被写体は、人、動物、車両などどのようなものでもよい。撮影画像Ｐは、被写体として、犬、自転車、及びトラックを含んでいる。なお、本実施形態では、撮影画像Ｐが３つの被写体を含む例を示しているが、被写体の数は３つに限定されない。被写体は１つであってもよい。

被写体領域は、撮影画像Ｐにおいて検出対象となる被写体を含む領域である。被写体領域は、例えば被写体の外接矩形内の領域を示すものであってよい。図２に示すように、検出部１１０は、犬、自転車、及びトラックのそれぞれに対応する被写体領域５０ａ～５０ｃを検出する。

被写体領域の検出には、周知の物体検出技術が用いられてよい。例えば、検出部１１０は、撮影画像Ｐに含まれる被写体を検出するように予め学習されたディープニューラルネットワーク（ＤＮＮ）を用いて被写体の検出を行う。物体検出アルゴリズムとして、例えば、Ｆａｓｔｅｒ Ｒ－ＣＮＮ(Region-based Convolutional Neural Network)、ＹＯＬＯ(You Only Look Once)、又はＳＳＤ(Single Shot Multibox Detector）などが用いられてよい。これらに限らず、検出部１１０は、任意の方法を用いて被写体領域の検出を行ってよい。
なお、以下では、被写体領域５０ａ～５０ｃをまとめて単に「被写体領域」と称して説明する場合がある。

検出部１１０は、撮影画像Ｐから検出した被写体領域を識別するための識別番号を、それぞれの被写体領域に対して付与する。例えば、検出部１１０は、犬、自転車、トラックに対して「１」、「２」、「３」などのように識別番号を付与する。本実施形態では、上述した「５０ａ」、「５０ｂ」、「５０ｃ」を識別番号として用いることとする。

図１に戻り説明を続ける。
取得部１２０は、検出部１１０で検出された被写体領域に含まれる画素の色情報と深度情報とを画素ごとに取得し、これらを配列化する。本実施形態では、色情報はＲＧＢセンサ２００から出力されたＲＧＢ値であり、深度情報は測距センサ３００から出力された深度値である。図３は、被写体領域５０ａにおけるＲＧＢ値及び深度値の配列化の一例を示す図である。図３の例では、一例として１５行７列の配列を示している。

また、取得部１２０は、ＲＧＢセンサ２００からＡＷＢ処理に関するＡＷＢ情報と、ＡＥ処理に関するＡＥ情報を検出部１１０から取得する。取得部１２０は、撮影画像に基づいてＡＷＢ情報及びＡＥ情報を取得してもよい。

図１に戻り説明を続ける。
色判定部１３０は、取得部１２０で取得された色情報に基づいて、各画素の色を判定する。例えば、色判定部１３０は、まず各画素が黒色であるか否かを判定する。色判定部１３０は、例えば、各画素のＲＧＢ値と所定の閾値とを比較して、各画素が黒色であるか否かを判定する。色判定部１３０は、厳密な黒（#000000）から所定の閾値までの濃さのグレー（例えば#0C0C0C）を「黒」に含めて各画素が黒色であるか否かを判定してよい。色判定部１３０は、画素が黒色でないと判定した場合、当該画素がどのような色であるかを識別する。色判定部１３０は、各画素のＲＧＢ値と所定の閾値とを比較して、各画素の色を、赤、青、緑、マゼンタ、黄色、及びシアンのいずれであるかを判定する。同様にして、色判定部１３０は、画素が白色であるか否かを判定してもよい。黒色の場合と同様、色判定部１３０は、厳密な白（#ffffff）から所定の閾値までの濃さのグレー（例えば#e2e2e2）を「白」に含めて各画素が白色であるか否かを判定してもよい。なお、各色の判定には、任意の閾値が用いられてよい。色判定部１３０は、判定結果を各画素と対応付けて記憶部１８０に記憶する。

なお、以下では、白及び黒のいずれでもない色を「有彩色」と称して説明する場合がある。有彩色は、例えば、赤、青、緑、マゼンタ、黄色、及びシアンである。また、有彩色の画素を「有彩色画素」と称して説明する場合がある。さらに、白の画素を「白画素」、黒の画素を「黒画素」と称して説明する場合がある。

補正部１４０は、色判定部１３０おける判定結果に基づいて、各画素の深度情報を補正する。補正部１４０は、図３に示す被写体領域５０ａの左上の画素から順に、各画素の深度値の補正処理を行う。具体的には、補正部１４０は、ｄ［０］［０］、ｄ［０］［１］、ｄ［０］［２］、・・・、ｄ［０］［６］、ｄ［１］［０］、ｄ［１］［１］、・・・の順に補正処理を行う。補正部１４０は、右下のｄ［１４］［６］まで補正処理が完了すると、被写体領域５０ａと同様にして被写体領域５０ｂ及び５０ｃについて補正処理を行う。

補正部１４０は、補正を行おうとする補正対象画素の色に応じて、異なる補正処理を行う。具体的には、補正部１４０は、補正対象画素が白画素、黒画素、及び有彩色画素のいずれであるかに応じて異なる補正処理を行う。具体的には、補正部１４０は、補正対象画素が白画素である場合には深度情報を補正せず、黒画素又は有彩色画素の場合には、以下で説明する方法で深度情報を補正する。

＜有彩色画素に対する補正方法＞
まず、有彩色画素に対する補正方法について説明する。
補正部１４０は、補正対象画素が有彩色画素である場合、補正対象画素の色に対応付けられた補正情報に基づいて、補正対象画素の深度情報を補正する。ここで、補正情報は深度情報の補正に関する情報を含むものである。本実施形態では、記憶部１８０に予め記憶された補正テーブル１８１を補正情報として用いる。これに限らず、補正情報は任意の形式により設けられてもよい。

補正テーブル１８１は、例えば、色判定部１３０において判定される色と、深度情報の補正値とが対応付けられたものである。補正テーブル１８１は、色ごとに設けられてもよいし、１つのテーブルで複数の色の補正が可能となるように設けられてもよい。また、補正テーブル１８１は、ＲＧＢセンサ２００の特性などに応じて複数設けられてもよい。また、撮影環境が屋内であるか屋外であるかに応じて異なる補正テーブル１８１が設けられてもよい。

また、補正部１４０は、撮影画像の撮影環境が屋内であるか屋外であるかに応じて、画素の深度情報をさらに補正する。補正部１４０は、ＡＷＢ情報とＡＥ情報に応じて撮影環境の色温度と露光量を検出し、これらに基づいて、撮影環境が屋内であるか屋外であるかを判別する。補正部１４０は、撮影環境に応じて、補正テーブル１８１による補正量をオフセットし、有彩色画素における深度値をさらに補正する。

＜黒画素に対する補正方法＞
続いて、黒画素に対する補正方法について説明する。
補正部１４０は、補正対象画素が黒画素である場合、補正対象画素の近傍にある有彩色画素の深度情報に基づいて、補正対象画素の深度情報を補正する。具体的には、補正部１４０は、補正対象画素が黒画素である場合、取得部１２０において取得された補正対象画素の深度情報を破棄する。補正部１４０は、破棄された補正対象画素の深度情報を、近傍にある有彩色画素の深度情報に基づいて補間することで当該補正対象画素の深度情報を補正する。なお、「破棄する」には、元の値を破棄する場合だけでなく、元の値を記憶したまま、補間した値を用いる態様が含まれ得る。

黒画素に対する補正方法には、破棄された深度情報の補間方法により、以下で説明するように複数のパターンがある。補正部１４０は、これらのパターンから１つを選択して実行してもよいし、複数を選択して実行してもよい。
なお、以下の説明では、位置１、２、・・・、ｎに対応する画素を画素１、２、・・・、ｎと表し、各画素に対応する深度値をＤ１、Ｄ２、・・・、Ｄｎのように表して説明を行う場合がある。

（第１の補正方法）
まず、黒画素に対する第１の補正方法について説明する。
第１の補正方法において、補正部１４０は、黒画素の上下左右の４方向のそれぞれにおいて近傍にある有彩色画素の深度値に基づいて、補正対象画素の深度値を補間する。

図４は、黒画素に対する第１の補正方法の説明図である。図４に示す配列６０ａは、上述した被写体領域の一部分の例を示すものであり、以降の図についても同様である。配列６０ａは、被写体領域内の画素０、１、２、・・・、８を含んでいる。配列６０ａにおいて、画素４は黒画素である。また、画素４の近傍にある画素０～３、５～８は有彩色画素である。なお、これらの有彩色画素に示す赤、青、黄などの色は一例であり、以降の図についても同様である。

補正部１４０は、画素４の上下左右の４方向で最も近傍にある有彩色画素を特定する。図４の例では、補正部１４０は、画素４の上、左、右、下の各方向で画素４に隣接する有彩色の画素１、３、５、７を特定する。補正部１４０は、取得部１２０で取得された画素４の深度値を破棄し、特定された有彩色の画素１、３、５、７の深度値に基づいて、破棄された深度値を補間する。具体的には、補正部１４０は、特定された４つの画素１、３、５、７の深度値Ｄ１、Ｄ３、Ｄ５、Ｄ７の平均値が画素４の深度値Ｄ４となるように、画素４の深度値を補間する。

補間後のＤ４は、以下の式（１）のように表される。
Ｄ４＝（Ｄ１＋Ｄ３＋Ｄ５＋Ｄ７）／４ ・・・（１）
なお、補正部１４０は、上述のように黒画素に隣接する有彩色画素の深度値に基づいて黒画素の深度値を補間することが望ましいが、それに限らず、近傍にある範囲の有彩色画素の深度値に基づいて、黒画素の深度値を補間してもよい。

（第１の補正方法の変形例）
上記第１の補正方法において、補正部１４０は、黒画素に隣接しない有彩色画素の深度値を用いて式（１）に表される補間を行ってもよい。

図５は、黒画素に対する第１の補正方法の変形例を説明する図である。図５に示す配列６０ｂは、画素１０、１１、１２、・・・、３０を含んでいる。配列６０ｂにおいて、画素１８～２１は黒画素である。また、これらの黒画素近傍にある、黒画素以外の画素は有彩色画素である。

例えば、補正部１４０が画素１８に対する補正処理を行うとする。
画素１８の上、左、右、下の各方向には、それぞれ画素１１、１７、１９、２５が隣接している。ここで、上述した第１の補正方法と同様にして画素１１、１７、１９、２５を特定し、これらの深度値を用いて画素１８の深度値を補間するとする。画素１８の右方向に隣接する画素１９は黒画素であるため、画素１９の深度値を用いることで補間後の深度値の精度が低下するおそれがある。

そのため、補正部１４０は、補間に用いる隣接画素が黒画素である場合、当該隣接画素が位置する方向で最も近傍にある有彩色画素を特定し、特定された有彩色画素の深度値を用いて深度値を補間する。したがって、補正部１４０は、画素１９に代えて、画素１８の右方向において最も近傍にある有彩色の画素２２を特定し、画素２２の深度値を用いて画素１８の深度値を補間する。

補正部１４０は、取得部１２０で取得された画素１８の深度値を破棄し、特定された画素１１、１７、２２、２５の深度値Ｄ１１、Ｄ１７、Ｄ２２、Ｄ２５を用いて、画素１８の深度値を補間する。

補間後における画素１８の深度値Ｄ１８は、以下の式（２）のように表される。
Ｄ１８＝（Ｄ１１＋Ｄ１７＋Ｄ２２＋Ｄ２５）／４ ・・・（２）

また、同様に、補正部１４０が画素１９に対する補正処理を行うとする。画素１９は黒画素であり、左方向に隣接する画素１８も黒画素である。補正部１４０は配列順に従い補正処理を行うため、画素１９の補正処理を行う際、画素１８の深度値は上記の式（２）で表された補間後の深度値Ｄ１８となっている。そのため、補正部１４０は、画素１９に対する補正を行う場合、左方向に隣接する画素１８の深度値Ｄ１８を用いて画素１９の深度値を補間することができる。

なお、画素１９の右方向に隣接する画素２０は黒画素であり、その深度値は補正前のものである。したがって、補正部１４０は、右方向においては、上述した画素１８の場合と同様、最も近傍にある有彩色の画素２２を特定し、特定された画素２２の深度値を用いて補間を行う。よって、補正部１４０は、画素１２、１８、２２、２６を特定する。補正部１４０は、取得部１２０で取得された画素１９の深度値を破棄し、特定された画素１２、１８、２２、２６の深度値Ｄ１２、Ｄ１８、Ｄ２２、Ｄ２６を用いて、画素１９の深度値を補間する。

補間後における画素１９の深度値Ｄ１９は、以下の式（３）のように表される。
Ｄ１９＝（Ｄ１２＋Ｄ１８＋Ｄ２２＋Ｄ２６）／４ ・・・（３）

（第２の補正方法）
続いて、黒画素に対する第２の補正方法について説明する。
第２の補正方法において、補正部１４０は、黒画素の近傍にある有彩色画素の中で、最も輝度の小さい画素の深度値に基づいて、補正対象画素の深度値を補間する。

図６は、黒画素に対する第２の補正方法の説明図である。図６に示す配列６０ｃは、被写体領域内の画素４０、４１、・・・、４８を含んでいる。配列６０ｃにおいて、画素４４は黒画素である。画素４４の近傍にある画素４０～４３、４５～４８は、それぞれ色１～４、５～８の有彩色画素である。または、画素４０～４３は、深度値が補間された後の黒画素であってもよい。
以下では、画素４４の周囲にある８つの画素４０～４３、４５～４８を、まとめて「８画素」と称して説明を行う。

まず補正部１４０は、各画素のＲＧＢ値に基づいて、８画素における輝度値Ｙをそれぞれ計算する。輝度値Ｙは、ＲＧＢの各成分に基づいて、以下の式（４）により計算することができる。なお、各成分に乗じる係数は下記に限らず、適宜変更されてよい。
Ｙ＝０．２１２６×Ｒ＋０．７１５２×Ｇ＋０．０７２２×Ｂ ・・・（４）

補正部１４０は、式（４）の計算結果に基づいて、８画素の中で最も輝度値Ｙの小さい画素を特定し、特定された画素の深度値を用いて補正対象画素の深度値を補間する。図６の例では、８画素の中で画素４８の輝度値Ｙが最も小さいものとする。したがって、補正部１４０は、画素４８を特定する。補正部１４０は、取得部１２０で取得された画素４４の深度値を破棄し、特定された画素４８の深度値Ｄ４８を画素４４の深度値Ｄ４４とすることで画素４４の深度値を補間する。

このようにすることで、輝度が小さい、つまり黒色に最も近い画素の深度値を用いて補正対象の黒画素の深度値を補間することができる。

なお、ここでは補正対象画素の近傍の８画素を用いて説明したが、これに限られない。補正部１４０は、８画素より多い又は少ない画素の輝度値を用いて深度値を補間してもよい。例えば、黒画素が被写体領域の端部に位置している場合などにおいて近傍の８画素の輝度値を取得できない場合、補正部１４０は、取得可能な数の輝度値を用いて補間を行ってもよい。

（第３の補正方法）
続いて、黒画素に対する第３の補正方法について説明する。
第３の補正方法において、補正部１４０は、複数の黒画素が連続する黒画素領域に隣接する複数の有彩色画素のそれぞれの深度値に基づいて、黒画素領域内における複数の補正対象画素の深度値を補間する。

図７及び図８は、黒画素に対する第３の補正方法の説明図である。図７及び図８に示す配列６０ｄは、被写体領域内の画素５０、５１、・・・、５８を含んでいる。配列６０ｄにおいて、画素５２～５６は黒画素であり、黒画素領域ｂ１を形成している。黒画素領域ｂ１の左方向には画素５０、５１があり、右方向には画素５７、５８がある。画素５０、５１、５７、５８は有彩色画素である。

また、以下では説明のために、黒画素領域ｂ１の左方向で隣接する画素を隣接画素ｃ１、右方向で隣接する画素を隣接画素ｃ２と称して説明を行う。図７及び図８の例では、隣接画素ｃ１は画素５１であり、隣接画素ｃ２は画素５７である。

まず、補正部１４０は、配列６０ｄにおける各画素の輝度レベルを計算する。輝度レベルは、各画素における輝度の大きさを示すものである。ここでは、上述した式（４）で計算される各画素の輝度値Ｙを輝度レベルとして用いる。これに限らず、他の方法で輝度レベルを計算してもよい。

図７に示す輝度レベル曲線７０は、配列６０ｄにおける各画素の輝度レベルの一例を示すものである。補正部１４０は、各画素の輝度レベルから、配列６０ｄの輝度レベル曲線７０を生成する。また、輝度レベル曲線７０のうち、黒画素領域ｂ１に対応する部分を輝度レベル曲線７０ｂ１とする。
なお、図７に示すＹ_ｍａｘ及びＹ_ｍｉｎは、それぞれ黒画素領域ｂ１における輝度値Ｙの最大値及び最小値である。

図８に示す深度値曲線８０は、配列６０ｄにおける各画素の深度値の一例を示すものである。補正部１４０は、各画素の深度値から、配列６０ｄの深度値曲線８０を生成する。
補正部１４０は、黒画素領域ｂ１の左方向又は右方向に隣接する隣接画素ｃ１、ｃ２を特定する。図７の例では、黒画素領域ｂ１の左端の画素５２の左側に隣接する画素５１を隣接画素ｃ１として特定し、黒画素領域ｂ１の右端の黒画素５６に隣接する画素５７を隣接画素ｃ２として特定する。

補正部１４０は、隣接画素ｃ１及びｃ２の深度値の差分範囲を求める。隣接画素ｃ１及びｃ２の深度値をそれぞれＤ_ｃ１、Ｄ_ｃ２で表すと、差分範囲は（Ｄ_ｃ１－Ｄ_ｃ２）により表される。補正部１４０は、取得部１２０で取得された黒画素領域ｂ１内の各画素の深度値を破棄し、各画素の深度値が当該差分範囲内に収まるように、黒画素領域ｂ１の各画素の深度値を、図７に示した輝度レベル曲線７０ｂ１を用いて補間する。

黒画素領域ｂ１における各画素の位置をｎとし、黒画素領域ｂ１内の補正対象の黒画素の輝度値をＹｎ、黒画素領域ｂ１の輝度最小値をＹ_ｍｉｎ、黒画素領域ｂ１の輝度最大値をＹ_ｍａｘ、隣接画素ｃ１の深度値をＤ_ｃ１、隣接画素ｃ２の深度値をＤ_ｃ２とすると、黒画素領域ｂ１における補正対象の黒画素の深度値Ｄｎは以下の式（５）で表される。
Ｄｎ＝（Ｙｎ－Ｙ_ｍｉｎ）×｛（Ｄ_ｃ１－Ｄ_ｃ２）／（Ｙ_ｍａｘ－Ｙ_ｍｉｎ）｝＋Ｄ_ｃ２ ・・・（５）

補正部１４０は、上述の式（５）を用いて黒画素領域ｂ１内の黒画素５２～５６の深度値を補間する。このようにすることで、補正部１４０は、黒画素領域ｂ１内の各画素の深度値を、黒画素領域ｂ１の両隣の隣接画素ｃ１、ｃ２の深度値Ｄ_ｃ１、Ｄ_ｃ２の範囲内に収まるように補間することができる。図８では、補間後の黒画素領域ｂ１内の各画素の深度値を深度値曲線８０ｂ１で示している。

なお、図７及び図８では、配列６０ｄとして１行９列の配列を用いて説明したが、これに限られない。第３の補正方法は、複数の行を有する配列に適用されてもよい。したがって、黒画素領域ｂ１が複数行にわたって形成されている場合においても第３の補正方法が用いられてよい。この場合、補正部１４０は、例えば黒画素領域ｂ１の中で最も左側又は右側にある黒画素に隣接する有彩色画素をそれぞれ隣接画素ｃ１、ｃ２として特定する。

また、黒画素領域ｂ１が複数行にわたって形成される場合、補正部１４０は、隣接画素ｃ１、ｃ２を黒画素領域ｂ１の左右方向の画素から特定せず、上下方向の画素から特定してもよい。例えば、黒画素領域ｂ１を上方向又は下方向から挟むように隣接する隣接画素ｃ１、ｃ２を特定してもよい。これらに限らず、補正部１４０は、隣接画素ｃ１及びｃ２を他の方法で特定してもよい。

（第３の補正方法の変形例）
図９は、第３の補正方法の変形例を説明する図である。
例えば、測距センサ３００側に照明が設けられており、照明が被写体に対して照明光を照射しているとする。この場合、測距センサ３００と被写体との距離が近くなるほど照明光が強く当たり、距離が遠くなるほど照明光が弱く当たる。

被写体において照明光が強く当たる部分は、測距センサ３００から見て手前側に位置している。したがって、輝度値の大きい画素は、輝度値の小さい画素と比べて深度値が小さくなる。一方、被写体において照明光が弱く当たる部分は、測距センサ３００から見て奥側に位置している。したがって、輝度値の小さい画素は、輝度値の大きい画素と比べて深度値が大きくなる。これを利用して、補正部１４０は、補正対象画素の輝度レベルに応じて、第３の補正方法により補正した補正対象画素の深度値をさらに補正してもよい。

補正部１４０は、例えば図７に示す輝度レベル曲線７０ｂ１と、図８に示す深度値曲線８０ｂ１とに基づいて、黒画素領域ｂ１内の各黒画素の深度値をさらに補正する。補正部１４０は、各画素の輝度値が大きくなるにつれて各画素の深度値が小さくなるように、各画素の深度値を変換することにより、各黒画素の深度値をさらに補正する。図９に示す深度値曲線８１ｂ１は、変換後の深度値曲線の一例である。このようにすることで、黒画素領域ｂ１内における各画素の輝度レベルの大小関係に基づいて、黒画素の深度値を補正することができる。

（第４の補正方法）
続いて、黒画素に対する第４の補正方法について説明する。
第４の補正方法において、補正部１４０は、データとデータとの間を補間するためのスプライン補間を用いて補正対象画素の深度値を補間する。

図１０及び図１１は、黒画素に対する第４の補正方法の説明図である。
図１０は、被写体領域内に黒画素領域ｂ２を有する配列６０ｅの深度値をグラフ化したものである。図１０において、横軸は配列６０ｅの各画素に対応する座標を示し、縦軸は各画素の深度値を示している。また、図中の白丸は有彩色画素のデータを示し、黒丸は黒画素のデータを示している。

補正部１４０は、黒画素領域ｂ２を特定し、取得部１２０で取得された黒画素領域ｂ２内の各画素の深度値を破棄する。補正部１４０は、破棄された深度値を、近傍の有彩色画素の深度値に基づいて、スプライン補間を用いて補間する。補正部１４０は、黒画素領域ｂ２の各画素の深度値が近傍の有彩色画素と連続するように、各画素の深度値を補間する。

図１１は、スプライン補間を行った後のデータを示す図である。補間後の黒画素のデータを網掛けにより示している。このようにすることで、黒画素の深度値を、近傍の有彩色画素の深度値を用いて補間することができる。なお、これに限らず、補正部１４０は、例えば線形補間や多項式補間などの周知の補間方法を用いて黒画素の深度値を補間してもよい。

以上が黒画素に対する第１～第４の補正方法である。
補正部１４０は、これらの補正方法から１つを選択して補正を行ってもよいし、これらの内いくつかの補正方法を組み合わせて補正を行ってもよい。例えば補正部１４０は、黒画素領域に含まれる黒画素の数や黒画素領域の形状などに応じて、第１～第４の補正方法から１つの補正方法を選択し、補正対象画素の補正を行うようにしてもよい。これに限らず、補正部１４０は、黒画素の近傍の有彩色画素の数や、被写体領域全体における黒画素又は有彩色画素の比率など、任意の条件に応じて補正方法を選択してよい。

補正部１４０は、上述したような補正方法を用いて、有彩色画素及び黒画素に対する補正を被写体領域５０ａ内の全ての配列に対して行う。被写体領域５０ａにおける補正が終了した場合、補正部１４０は続いて被写体領域５０ｂについて補正処理を行う。撮影画像Ｐで検出された被写体領域５０ａ～５０ｃについて処理が終了した場合は補正処理を終了する。

図１に戻り説明を続ける。
記憶部１８０は、各種情報を記憶するための記憶装置である。記憶部１８０は、上述した補正テーブル１８１を予め記憶する。また、記憶部１８０は、画像処理装置１００の各機能を実現するためのプログラムを格納する。

続いて、図１２を用いて画像処理装置１００が実行する処理について説明する。図１２は、画像処理装置１００が実行する処理を示すフローチャートである。以下で用いる各機能部は、図１と対応するものである。また、図２～図１１を適宜参照して説明を行う。

検出部１１０は、ＲＧＢセンサ２００から撮影画像を取得する（Ｓ１１）。ここでは図２に示す撮影画像Ｐが取得されたものとして説明を行う。なお、撮影画像Ｐには、ＲＧＢセンサ２００によりＡＷＢ処理及びＡＥ処理が施されているものとする。

検出部１１０は、周知の物体検出技術を用いて、撮影画像Ｐから被写体を検出する（Ｓ１２）。図２に示す例では、検出部１１０は、被写体である犬、自転車、及びトラックのそれぞれに対応する被写体領域５０ａ～５０ｃを検出する。被写体領域５０ａ～５０ｃは、例えば各被写体の外接矩形内の領域である。

続いて、検出部１１０は、検出された被写体ごとに識別番号を付与する（Ｓ１３）。検出部１１０は、犬、自転車、及びトラックを含む被写体領域のそれぞれについて、識別番号として「５０ａ」、「５０ｂ」、「５０ｃ」を付与する。

取得部１２０は、被写体領域５０ａに含まれる画素の色情報及び深度情報を取得し、図３に示すようにこれらを配列化する（Ｓ１４）。色情報はＲＧＢセンサ２００から出力されたＲＧＢ値であり、深度情報は測距センサ３００から出力された深度値である。画像処理装置１００は、この配列順に従い、被写体領域５０ａ内の補正対象画素に対して以下の処理を実行する。

色判定部１３０は、取得部１２０で取得された色情報に基づいて、画素ごとに画素の色を判定する（Ｓ１５）。例えば、色判定部１３０は、各画素のＲＧＢ値と所定の閾値とを比較して、当該画素が黒色であるか否かを判定する。色判定部１３０は、画素が黒色でないと判定した場合、当該画素がどのような色であるかを識別する。色判定部１３０は、各画素のＲＧＢ値と所定の閾値とを比較して、各画素の色が、赤、青、緑、マゼンタ、黄色、及びシアンのいずれであるかを判定する。同様にして、色判定部１３０は、画素が白色であるか否かを判定してもよい。なお、各色の判定には、任意の閾値が用いられてよい。色判定部１３０は、判定結果を各画素と対応付けて記憶部１８０に記憶する。

補正部１４０は、被写体領域５０ａの左上の画素から順次、各画素を補正対象画素として補正処理を実行する。補正部１４０は、色判定部１３０における判定結果を取得し、各画素の色に応じて異なる補正処理を行う（Ｓ１６）。補正対象画素が白画素である場合（Ｓ１６の「白」）、補正部１４０は、補正を行わずにステップＳ１９の処理へ進む。

補正対象画素が黒画素である場合（Ｓ１６の「黒」）、補正部１４０は、図４～図１１を用いて説明した、黒画素に対する第１～第４の補正方法を用いて、黒画素の深度補正処理を行う（Ｓ１７）。具体的には、補正部１４０は、取得部１２０で取得された黒画素の深度値を破棄し、破棄された深度値を、黒画素の近傍にある有彩色画素の深度値に基づいて補間することにより、黒画素の深度値を補正する。それぞれの補正方法については、既に説明しているため、ここでは詳細な説明を省略し、適宜簡略化して説明する。

第１の補正方法を用いる場合、補正部１４０は、黒画素の上下左右の４方向のそれぞれにおいて最も近傍にある有彩色画素の深度値に基づいて、画素の深度値を補間する。例えば補正部１４０は、図４を用いて説明したように、上下左右に隣接する有彩色画素の深度値を用いて補正対象画素の深度値を補間する。また補正部１４０は、図５を用いて説明したように、黒画素に隣接しない有彩色画素の深度値を用いて補間してもよい。

第２の補正方法を用いる場合、補正部１４０は、黒画素の近傍にある有彩色画素の中で、最も輝度の小さい画素の深度値に基づいて、画素の深度値を補間する。図６を用いて説明したように、補正部１４０は補正対象画素の周囲の８画素について、それぞれの輝度値を計算する。補正部１４０は、最も輝度の小さい画素の深度値を補正対象画素の深度値とするように補間を行う。

第３の補正方法を用いる場合、補正部１４０は、複数の黒画素を含む黒画素領域に隣接する複数の有彩色画素のそれぞれの深度値に基づいて、複数の画素の深度値を補間する。図７を用いて説明したように、補正部１４０は、配列に含まれる各画素の輝度値を計算し、輝度レベル曲線を生成する。補正部１４０は、黒画素領域の両隣の有彩色画素を特定し、特定された有彩色画素の深度値の差分を求める。補正部１４０は、図８を用いて説明したように、当該差分範囲以内に黒画素の深度値が収まるように、黒画素領域の各画素の深度値を補間する。また、図９を用いて説明したように、補正部１４０は、黒画素領域内の黒画素の輝度値が大きいほど、深度値が小さくなるように、補正対象画素の深度値を変換することにより、深度値をさらに補正してもよい。

第４の補正方法を用いる場合、補正部１４０は、データとデータとの間を補間するためのスプライン補間を用いて補正対象画素の深度値を補間する。図１０及び図１１を用いて説明したように、補正部１４０は、黒画素領域における補正前の深度値を破棄し、各画素の深度値が近傍の有彩色画素と連続するように、黒画素領域の深度値を補間する。

図１２に戻り説明を続ける。
補正対象画素が有彩色画素である場合（Ｓ１６の「有彩色」）、補正部１４０は、有彩色画素の深度補正処理を行う（Ｓ１８）。
ここで、図１３を用いて、有彩色画素の深度補正処理について説明する。図１３は、有彩色画素に対する深度補正処理を示すフローチャートである。

補正部１４０は、補正対象画素の色に対応付けられた補正テーブル１８１を参照し、補正テーブル１８１に基づいて補正対象画素の深度値を補正する（Ｓ２１）。次に、補正部１４０は、撮影画像Ｐの撮影環境が屋内であるか屋外であるかを判定する（Ｓ２２）。例えば補正部１４０は、ＲＧＢセンサ２００で行われたＡＷＢ及びＡＥの情報を取得し、撮影画像Ｐの色温度及び露光量に基づいて、当該判定を行う。

補正部１４０は、上記の判定結果に応じて、深度値の補正量をオフセットする（Ｓ２３）。これにより、補正部１４０は、予め設けられた補正テーブル１８１を用いた補正に加え、撮影画像Ｐの撮影環境が屋内であるか屋外であるかに応じて、深度値をさらに補正することができる。

図４に戻り説明を続ける。
補正部１４０は、被写体領域５０ａの全ての配列について、補正処理を実行済みであるか否かを判定する（Ｓ１９）。未処理の配列がある場合（Ｓ１９のＮＯ）、補正部１４０は、ステップＳ１６に戻って以降の処理を繰り返す。被写体領域５０ａの全ての配列について補正処理を実行済みである場合（Ｓ１９のＹＥＳ）は次の処理へ進む。

続いて補正部１４０は、撮影画像Ｐで検出された全ての被写体について画像処理を実行済みであるか否かを判定する（Ｓ２０）。全ての被写体について画像処理を実行済みである場合（Ｓ２０のＹＥＳ）は処理を終了する。未処理の被写体がある場合（Ｓ２０のＮＯ）はステップＳ１４の処理に戻って以降の処理を繰り返す。

以上説明したように、本実施形態にかかる撮影システム１０００では、ＲＧＢセンサ２００及び測距センサ３００が被写体を撮影し、色情報及び深度情報を画像処理装置１００に出力する。画像処理装置１００において、検出部１１０は撮影画像から被写体領域を検出し、取得部１２０は被写体領域に含まれる画素の色情報と深度情報とを取得して配列化する。

色判定部１３０は色情報に基づいて各画素の色を判定し、補正部１４０は判定結果に基づいて、各画素の深度情報を補正する。補正部１４０は、画素の色に応じて異なる補正処理を行うことができる。例えば補正対象画素が有彩色画素の場合、補正部１４０は、画素の色に対応付けられた補正テーブル１８１に基づいて、補正対象画素の深度情報を補正する。また、補正部１４０は、撮影画像の撮影環境が屋内であるか屋外であるかを判定し、判定結果に応じて補正対象画素の深度情報をさらに補正する。

また、補正対象画素が黒画素の場合、補正部１４０は、複数の補正方法から１つ以上を選択して、黒画素の深度情報を補正することができる。
例えば、第１の補正方法では、補正部１４０は、補正対象画素の近傍にある有彩色画素の深度情報に基づいて補正対象画素の深度情報を補正する。補正部１４０は、黒画素の上下左右に隣接する有彩色画素を特定し、その深度情報を用いて補正を行う。または、補正部１４０は、隣接する画素が黒画素の場合には、隣接しない有彩色画素で最も近傍にある画素を特定し、その深度情報を用いてもよい。
このようにすることで、補正対象画素の周囲にある有彩色画素の深度情報を用いて黒画素の深度情報を補正することができる。

また、第２の補正方法では、補正部１４０は、黒画素の近傍にある有彩色画素の中で、最も輝度の小さい画素を特定し、その深度情報に基づいて補正対象画素の深度情報を補正する。
このようにすることで、より黒色に近い有彩色画素の深度情報を用いて黒画素の深度情報を補正することができる。

さらに、第３の補正方法では、補正部１４０は、複数の黒画素を含む黒画素領域に隣接する複数の有彩色画素のそれぞれの深度情報に基づいて、複数の補正対象画素の深度情報を補正することができる。例えば補正部１４０は、黒画素領域の両端の画素に隣接する有彩色画素の深度値の差分を計算し、その差分範囲内に収まるように補正対象画素の深度値を補正する。
このようにすることで、黒画素領域の深度情報を両隣の有彩色画素の深度情報の差分範囲内に収めることができる。また、補正部１４０は、黒画素領域内の画素の輝度レベルに応じて、さらに補正を行うこともできる。補正部１４０は、各画素の輝度レベルから被写体が手前側にあるか奥側にあるかを推定することで、各画素の深度値を補正することができる。

そして、第４の補正方法では、補正部１４０は、スプライン補間などの周知の補間方法を用いて補正対象画素の深度情報を補正することができる。このようにすることで、黒画素領域の深度値と周囲の有彩色画素の深度値とが不連続な場合に、これらが連続するように、黒画素領域の深度値を補正することができる。

このように、本実施形態にかかる撮影システム１０００によれば、補正対象画素の色に応じて異なる補正処理を行うことができるので、被写体の色に応じて深度情報を適切に補正することが可能となる。

なお、図１に示される撮影システム１０００の構成は一例に過ぎない。撮影システム１０００の各構成は、複数の構成が集約された装置などを用いて構成されてもよい。例えば、画像処理装置１００、ＲＧＢセンサ２００、及び測距センサ３００の機能の一部又は全部が同一の装置に集約されていてもよい。例えば、ＲＧＢセンサ２００及び測距センサ３００は一方又は両方が画像処理装置１００に内蔵されていてもよい。また、画像処理装置１００における各機能部は、複数の装置などを用いて分散処理されてもよい。

なお、画像処理装置１００は、補正処理の前又は後における撮影画像Ｐを出力するための出力部（不図示）を備えていてもよい。出力部は、例えばディスプレイなどである。出力部はタッチパネルなどの入力機能を有していてもよい。また、画像処理装置１００は、深度値に基づいて３Ｄ画像を出力可能に構成されてもよい。

＜ハードウエアの構成例＞
画像処理装置１００、ＲＧＢセンサ２００、及び測距センサ３００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。例えば、本開示は、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。

プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、ＲＡＭ（random-access memory）、ＲＯＭ（read-only memory）、フラッシュメモリ、ＳＳＤ（solid-state drive）又はその他のメモリ技術、ＣＤ－ＲＯＭ、ＤＶＤ（digital versatile disc）、Ｂｌｕ－ｒａｙ（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述の説明では、補正部１４０は白画素の深度値に対する補正処理を行わないものとして説明したが、これに限られない。補正部１４０は、白画素の深度値に対して何らかの補正を行うようにしてもよい。

１００ 画像処理装置
１１０ 検出部
１２０ 取得部
１３０ 色判定部
１４０ 補正部
１８０ 記憶部
１８１ 補正テーブル
２００ ＲＧＢセンサ（撮影部）
３００ 測距センサ
１０００ 撮影システム
Ｐ 撮影画像
５０ａ～５０ｃ 被写体領域
６０ａ～６０ｅ 配列
７０、７０ｂ１ 輝度レベル曲線
８０、８０ｂ１、８１ｂ１ 深度値曲線
０～８ 画素
１０～３０ 画素
４０～４８ 画素
５０～５８ 画素
ｃ１、ｃ２ 隣接画素
ｂ１、ｂ２ 黒画素領域

Claims (5)

1. 撮影画像から被写体領域を検出する検出部と、
   前記被写体領域に含まれる画素の色情報と深度情報とを前記画素ごとに取得する取得部と、
   前記色情報に基づいて、前記画素の色を判定する色判定部と、
   前記色判定部における判定結果に基づいて、前記画素の前記深度情報を補正する補正部と、を備え、
   前記補正部は、前記被写体領域内に前記色判定部が黒色と判定した複数の黒画素が連続する黒画素領域を含む場合、前記黒画素領域に隣接する複数の有彩色画素をそれぞれ隣接画素として特定し、前記黒画素領域内の各黒画素の前記深度情報を、複数の前記隣接画素の前記深度情報の差分範囲内に収まるように、前記各黒画素の輝度レベルから生成した輝度レベル曲線を用いて補正する
   画像処理装置。
2. 前記補正部は、異なる方向から前記黒画素領域を挟むように前記黒画素領域に隣接する複数の有彩色画素を前記隣接画素として特定する
   請求項１に記載の画像処理装置。
3. 前記補正部は、補正した前記黒画素の前記深度情報を、前記黒画素の輝度レベルに応じてさらに補正する
   請求項１又は２に記載の画像処理装置。
4. 前記補正部は、補正した前記黒画素の前記深度情報を、前記黒画素の輝度レベルが大きくなるにつれて小さくなるように補正する
   請求項３に記載の画像処理装置。
5. 撮影画像から被写体領域を検出する検出ステップと、
   前記被写体領域に含まれる画素の色情報と深度情報とを前記画素ごとに取得する取得ステップと、
   前記色情報に基づいて、前記画素の色を判定する色判定ステップと、
   前記色判定ステップにおける判定結果に基づいて、前記画素の前記深度情報を補正する補正ステップと、を含み、
   前記補正ステップでは、前記被写体領域内に前記色判定ステップにおいて黒色と判定された複数の黒画素が連続する黒画素領域を含む場合、前記黒画素領域に隣接する複数の有彩色画素をそれぞれ隣接画素として特定し、前記黒画素領域内の各黒画素の前記深度情報を、複数の前記隣接画素の前記深度情報の差分範囲内に収まるように、前記各黒画素の輝度レベルから生成した輝度レベル曲線を用いて補正する
   画像処理方法。