JP7680977B2 - 画像処理装置、測距装置、及び画像処理方法 - Google Patents

Description

本発明の一実施形態は、画像処理装置、測距装置、及び画像処理方法に関する。

自動運転などに用いられるＬｉＤＡＲ（Light Detection and Ranging）装置の距離計測精度を高めるには、光信号のビーム径を絞るのが望ましいが、ビーム径を絞るには、レンズの口径を大きくしたり、レンズ枚数を多くしなければならず、ＬｉＤＡＲの筐体サイズが大きくなり、部品コストも上昇してしまう。

ビーム径よりも小さい画素幅で光信号を受光して測距を行うことで、距離画像の高解像度化を図ることも可能だが、画素ごとの受光光量が低下するため、Ｓ／Ｎ比が低下して、距離の測定精度が低下する。

また、ビーム径のサイズに合わせて、複数の画素を単位として測距を行うと、Ｓ／Ｎ比は高くなるが、実効的な解像度が低下してしまう。

国際公開番号２０２０／１１０８０１

そこで、本発明の一実施形態では、光源から出射される光信号のビーム径によらずに、高解像度でＳ／Ｎ比に優れた距離画像を生成可能な画像処理装置、測距装置、及び画像処理方法を提供するものである。

上記の課題を解決するために、本発明の一実施形態によれば、所定の時間間隔で光信号を出射する光源と、
前記光信号の走査範囲及び走査タイミングの少なくとも一方をフレームごとに変更可能な走査部と、
前記光信号が物体に照射されて反射された反射光信号を受光する受光部と、
前記受光部で受光された反射光信号に基づいて、前記フレームごとに距離画像を生成する距離画像生成部と、
複数の前記フレームの距離画像同士を合成して、高解像度距離画像を生成する画像合成部と、を備える、画像処理装置が提供される。

第１の実施形態に係る画像処理装置の概略構成を示すブロック図。 反射光信号のビーム幅が受光素子のサイズの３倍である例を示す図。 反射光信号のビーム幅に合わせて３つの受光素子を単位として反射光信号を受光する例を示す図。 反射光信号のビーム幅が受光素子の幅と同一である例を示す図。 物体の輝度情報を示す図。 物体の距離情報を示す図。 反射光信号のビーム幅が３画素分のサイズである例を示す図。 物体の輝度情報を示す図。 物体の距離情報を示す図。 距離情報に誤差情報が含まれる理由を説明する図。 光源から出射される光信号の光強度分布を示す図。 物体の反射率を示す図。 物体の輝度情報を示す図。 物体の距離情報を示す図。 一比較例に係る測距装置の測距シーケンスを示す図。 図７の測距装置で検出された１フレーム目の輝度情報を示す図。 図７の測距装置で検出された２フレーム目の輝度情報を示す図。 図７の測距装置で検出された１フレーム目の物体の距離情報を示す図。 図７の測距装置で検出された２フレーム目の物体の距離情報を示す図。 本実施形態に係る画像処理装置及び測距装置の測距シーケンスを示す図。 図１の測距装置で検出された１フレーム目の輝度情報を示す図。 図１の測距装置で検出された２フレーム目の輝度情報を示す図。 図１１Ａと図１１Ｂの輝度情報を合成した図。 図１０の画像処理装置及び測距装置で検出された１フレーム目の物体の距離情報を示す図。 図１０の画像処理装置及び測距装置で検出された２フレーム目の物体の距離情報を示す図。 図１２Ａと図１２Ｂの距離情報を合成した図。 図１の第１具体例に係る画像処理装置のブロック図。 図１の第２具体例に係る画像処理装置のブロック図。 走査部が光信号の走査範囲及び走査タイミングの少なくとも一方をフレームごとに変える例を模式的に示す図。 第１の実施形態に係る画像処理装置１及び測距装置２の処理動作の第１例を示すフローチャート。 図１６のステップＳ１で生成される距離画像を模式的に示す図。 図１６のステップＳ２で生成される距離画像を模式的に示す図。 図１６のステップＳ３で生成される距離画像を模式的に示す図。 第１の実施形態に係る画像処理装置及び測距装置の処理動作の第２例を示すフローチャート。 図１８のステップＳ１１で生成される距離画像を模式的に示す図。 図１８のステップＳ１２で生成される距離画像を模式的に示す図。 図１８のステップＳ１３で生成される距離画像を模式的に示す図。 第２の実施形態に係る画像処理装置の概略構成を示すブロック図。 図２０のボケ解消処理部をより具体化した画像処理装置のブロック図。 ボケ解消処理部の処理動作を説明する図。 第３の実施形態に係る画像処理装置の概略構成を示すブロック図。 図２３の特徴物認識部をより具体化した画像処理装置のブロック図。 第３の実施形態に係る画像処理装置及び測距装置の処理動作の第１例を示すフローチャート。 図２５のステップＳ２１で生成される距離画像を模式的に示す図。 図２５のステップＳ２２で生成される距離画像を模式的に示す図。 図２５の処理により最終的に生成される奇数フレームの距離画像を模式的に示す図。 偶数フレームの距離画像を模式的に示す図。 第３の実施形態に係る画像処理装置及び測距装置の処理動作の第２例を示すフローチャート。 図２７のステップＳ３１で生成される距離画像を模式的に示す図。 図２７のステップＳ３３で生成される特徴物画像を模式的に示す図。 図２７の処理により最終的に生成される奇数フレームの距離画像を模式的に示す図。 偶数フレームの距離画像を模式的に示す図。 第３の実施形態に係る画像処理装置及び測距装置の処理動作の第３例を示すフローチャート。 図２９のステップＳ４１で生成される距離画像を模式的に示す図。 図２９のステップＳ４２で生成される距離画像を模式的に示す図。 図２９のステップＳ４３で生成される距離画像を模式的に示す図。 図２９のステップＳ４４で生成される距離画像を模式的に示す図。 図２９の画像処理装置及び測距装置により最終的に生成される距離画像を模式的に示す図。 道路上に陥没が発生した例を示す図。 道路上の陥没を特徴物として認識して、２フレーム目では１フレーム目とは１／２画素ずらして光信号を走査させる例を示す図。 道路上の陥没を特徴物として認識して、２フレーム目では１フレーム目とは１／３画素ずらして光信号を走査させ、３フレーム目では１フレーム目とは２／３画素ずらして光信号を走査させる例を示す図。 道路上の陥没を特徴物として認識し、道路上の陥没の領域については１／２画素ずらして光信号を出射して、陥没からの反射光信号を受光して特徴物画像を生成し、１フレーム目と２フレーム目の特徴物画像を合成して、高解像度の特徴物画像を生成する例を示す図。 第１～第３の実施形態に係る画像処理装置及び測距装置をハードウェアで構成する場合のブロック図。 第１～第３の実施形態に係る画像処理装置及び測距装置のより具体的なハードウェア構成を示すブロック図。

以下、図面を参照して、画像処理装置、測距装置、及び画像処理方法の実施形態について説明する。以下では、画像処理装置及び測距装置の主要な構成部分を中心に説明するが、画像処理装置及び測距装置には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。

（第１の実施形態）
図１は第１の実施形態に係る画像処理装置１の概略構成を示すブロック図である。図１の画像処理装置１は、例えば測距装置２に内蔵される。画像処理装置１及び測距装置２のハードウェア構成は後述する。

図１の画像処理装置１は、光源３と、走査部４と、受光部５と、距離画像生成部６と、画像合成部７とを備えている。図１の光源３と走査部４は投光器８を構成し、受光部５と、距離画像生成部６と、画像合成部７は受光器９を構成している。

光源３は、所定の時間間隔で複数の光信号を出射する。光源３が出射する光信号は、より正確には、所定のパルス幅を有する光パルス信号である。光源３は、例えば、レーザ光又はＬＥＤ光からなる光パルス信号を出射する。光源３は、複数の発光素子を有し、各発光素子が同タイミングで複数の光信号を出射してもよい。

走査部４は、光信号の走査範囲及び走査タイミングの少なくとも一方をフレームごとに変えることができる。走査部４は、例えばポリゴンミラー又はＭＥＭＳ（Micro Electro Mechanical System）ミラー等を用いて構成される。走査部４は、光源３から出射された光信号の進行方向を時間に応じて変化させることで、一次元方向又は二次元方向に光信号を走査させる。フレームとは、測距装置２のＦｏＶ（Field of View）を走査して取得される１コマの静止画である。後述する距離画像生成部６は、フレーム単位で距離画像を生成する。

走査部４は、各フレームにおける光信号の走査範囲を変化させることができる。すなわち、隣接する２以上の所定数のフレームのそれぞれは、光信号の走査範囲の少なくとも一部が異なっていてもよい。

走査部４は、各フレームにおける光信号の走査タイミングを変えることができる。この場合、各フレームにおける光信号の走査範囲は同じでもよいし、異なっていてもよい。走査部４が走査タイミングを変えるには、例えば、光源３からの光信号の出射タイミングをフレームごとに変えることにより実現可能である。

受光部５は、光信号が物体１３に照射されて反射された反射光信号を受光する。受光部５は、一次元方向又は二次元方向に配列された複数の受光素子を有する。各受光素子が受光した受光信号は、例えば輝度信号に変換され、最終的には距離信号が生成される。本明細書では、各受光素子の受光信号に対応する輝度信号又は距離信号を画素と呼ぶことがある。このように、フレーム単位で生成される距離画像には複数の画素が含まれており、各画素はそれぞれ異なる受光素子に対応している。走査部４が走査した光信号が物体１３に照射され、物体１３からの反射光信号はいずれか、または複数の受光素子で受光される。走査部４は、光信号の走査範囲をフレームごとに画素単位で変化させることができる。

距離画像生成部６は、受光部５で受光された反射光信号に基づいて、フレームごとに距離画像を生成する。距離画像生成部６は、光源３から光信号を出射した時刻と、受光部５で反射光信号が受光された時刻との時間差に基づいて、距離画像を生成する。

画像合成部７は、複数のフレームの距離画像同士を合成して、高解像度距離画像を生成する。後述するように、距離画像生成部６は、光信号の走査範囲及び走査タイミングの少なくとも一方をフレームごとに相違させて複数の距離画像を生成することができる。よって、画像合成部７は、これらの複数の距離画像を合成することで、高解像度距離画像を容易に生成できる。

受光部５で受光される反射光信号のビーム幅は、受光部５内の各受光素子のサイズと必ずしも一致せず、ビーム幅が受光素子の幅よりも広いと、Ｓ／Ｎ比が低下したり、計測可能な距離が制限されたり、距離画像の解像度が低下する要因になりうる。

図１の画像処理装置１のブロック構成に測距部１０を追加することで、測距装置２を構成することができる。測距部１０は、受光部５で反射光信号が受光された時刻と、光源３から光信号が出射された時刻とに基づいて、物体１３までの距離を計測する。

図２Ａ及び図２Ｂは、受光部５で受光される反射光信号のビーム幅と、受光部５内の受光素子５ａのサイズとの関係を示す図である。図２Ａ及び図２Ｂの破線枠１１はビーム幅を示し、一点鎖線枠１２は物体１３の検出範囲を示している。図２Ａ及び図２Ｂは、ビーム幅が３画素分のサイズを有し、物体１３が４画素分のサイズを有する例を示している。

図２Ａは、反射光信号のビーム幅が受光素子５ａのサイズの３倍である例を示している。この場合、距離画像の各画素での受光強度Ｓは、反射光信号の光強度の１／３になる。各画素に入射される環境光雑音Ｎを１とすると、Ｓ／Ｎ比は１／３になる。よって、受光強度Ｓと環境光雑音Ｎを合わせたトータルの信号強度（Ｓ＋Ｎ）＝１．３３になる。図２Ａの場合、ビーム幅を３°とすると、画素分解能は１°となる。

このように、図２Ａの場合、距離画像の実効解像度は画素幅と同じであるが、トータルの信号強度が低いために、計測可能な距離が限定される。

図２Ｂは、反射光信号のビーム幅に合わせて、３つの受光素子５ａを単位として反射光信号を受光する例を示している。図２Ｂでは、３つの受光素子５ａで１画素を構成するため、各画素での受光強度Ｓは、反射光信号の光強度と同じ（Ｓ＝１）である。１画素に入射される環境光雑音Ｎは、１画素内に３つの受光素子５ａが存在するため、Ｎ＝３である。よって、Ｓ／Ｎ比は１／３になる。受光強度Ｓと環境光雑音Ｎを合わせたトータルの信号強度（Ｓ＋Ｎ）＝４になる。図２Ｂの場合、ビーム幅を３°とすると、実効解像度は３°になる。

このように、図２Ｂの場合、反射光信号のビーム幅に合わせて３画素を単位として反射光信号を受光するため、計測可能な距離範囲を広げることができるが、実効解像度が画素分解能より劣化する。

図２Ａと図２Ｂからわかるように、距離画像の解像度を上げると、Ｓ／Ｎ比が劣化して、計測可能な距離範囲が狭まる。一方、複数の受光素子５ａを単位として反射光信号を受光すると、計測可能な距離範囲を広げることができるが、距離画像の解像度が低くなる。

また、反射光信号のビーム幅が大きいほど、距離画像のエッジがぼやけて解像度が下がるという問題がある。

図３Ａは反射光信号のビーム幅が受光素子５ａの幅と同一である例を示す図である。図３Ａの破線枠１１はビーム幅を示し、一点鎖線枠１２は物体１３の検出範囲を示している。ビーム幅が１画素分のサイズを有し、物体１３が４画素分のサイズを有する例を示している。

図３Ｂは物体１３の輝度情報を示す図、図３Ｃは物体１３の距離情報を示す図である。図３Ｂと図３Ｃの横軸は各受光素子５ａに対応する画素番号、図３Ｂの縦軸は物体１３の輝度値、図３Ｃの縦軸は物体１３の距離である。図３Ａの場合、反射光信号のビーム幅と受光素子５ａの幅が一致するため、輝度情報と距離情報はいずれも急峻に変化し、エッジが鮮明になる。

図４Ａは反射光信号のビーム幅が３画素分のサイズである例を示す図である。図４Ａの破線枠１１はビーム幅を示し、一点鎖線枠１２は物体１３の検出範囲を示している。ビーム幅が３画素分のサイズを有し、物体１３が４画素分のサイズを有する例を示している。

図４Ｂは物体１３の輝度情報を示す図、図４Ｃは物体１３の距離情報を示す図である。図４Ｂと図４Ｃの横軸は各受光素子５ａに対応する画素番号、図４Ｂの縦軸は物体１３の輝度値、図４Ｃの縦軸は物体１３の距離である。図４Ｂ及び図４Ｃの２つの破線の範囲内が本来の物体１３の位置であるが、これら破線の外側でも物体１３の情報が検出される。２つの破線の外側の物体情報は誤差情報である。

図４Ａの場合、反射光信号のビーム幅が３画素分あるため、画素分解能よりも粗い解像度しか得られず、輝度情報のエッジが不鮮明になる。よって、この輝度情報に基づいて距離情報を求めると、図４Ｂ及び図４Ｃに示すように誤差情報を含んだものになる。

図５は測距情報に誤差情報が含まれる理由を説明する図である。図５は図４Ａと同様に、反射光信号のビーム幅が３画素分のサイズを有し、物体１３が４画素分のサイズを有する例を示している。

図６Ａは光源３から出射される光信号の光強度分布を示す図であり、横軸は水平（走査）方向の画素番号、縦軸は光強度である。図６Ａの光強度分布は既知である。

図６Ｂは物体１３の反射率を示す図であり、横軸は水平（走査）方向の画素番号、縦軸は反射率である。物体１３の反射率は物体１３ごとに異なる。また、物体１３のサイズにより、横軸の長さが異なる。

図６Ｃは物体１３の輝度情報を示す図、図６Ｄは物体１３の距離情報を示す図である。図６Ｃと図６Ｄの横軸は各受光素子５ａに対応する画素番号、図６Ｃの縦軸は物体１３の輝度値、図６Ｄの縦軸は物体１３の距離である。

物体１３の輝度値は、以下の式（１）に示すように、光信号の光強度ｇ［ｎ］と物体１３の反射率ｆ［ｎ］との畳み込み処理を行うことで得られる。
ｆ［ｎ］×ｇ［ｎ］＝Σｆ［ｍ］×ｇ［ｎ－ｍ］ …（１）

反射光信号のビーム幅が受光素子５ａの幅よりも広い場合、式（１）に示すように物体１３の輝度分布は走査方向に畳み込まれるため、本来の物体１３の検出位置に該当する画素の外側の画素でも、ある程度の輝度値が検出されてしまい、物体１３のエッジが不鮮明になる。

図７は一比較例に係る測距装置２の測距シーケンスを示す図である。図７は、各フレームが走査方向に４画素を有する例を示している。図７の破線枠１１は反射光信号のビーム幅を示し、一点鎖線枠１２は物体１３の検出範囲を示している。

図８Ａは図７の測距装置２で検出された１フレーム目の輝度情報を示す図、図８Ｂは図７の測距装置２で検出された２フレーム目の輝度情報を示す図である。図８Ａと図８Ｂの横軸は画素番号、縦軸は反射光信号の輝度情報である。図８Ａと図８Ｂの各プロットは、実線は反射光信号の受光位置、破線は理想的に物体を検出できた場合をそれぞれ示している。

図７に示すように、１画素目では物体１３は検出されず、２画素目の一部だけで物体１３が検出され、３画素目の全域で物体１３が検出され、４画素目では物体１３は検出されない。このため、図８Ａと図８Ｂに示すように、２画素目では輝度情報が中間レベルになり、３画素目では輝度情報が最大レベルになり、１画素目と４画素目では輝度情報が最低レベルになる。

図９Ａは図７の測距装置２で検出された１フレーム目の物体１３の距離情報を示す図、図９Ｂは図７の測距装置２で検出された２フレーム目の物体１３の距離情報を示す図である。図９Ａと図９Ｂの横軸は画素番号、縦軸は物体１３の距離である。図９Ａと図９Ｂの各プロットは、実線は反射光信号の受光位置、破線は理想的に物体を検出できた場合をそれぞれ示している。

図８Ａと図８Ｂ、図９Ａと図９Ｂに示すように、常に同じFoVで測距を行うため画素番号２と３では常に同じ距離、同じ輝度情報が検出される。このため解像度は、1°相当になる。

図１０は本実施形態に係る画像処理装置１及び測距装置２の測距シーケンスを示す図である。図１０は、図７と同様に、各フレームが走査方向に４画素を有する例を示している。図１０の破線枠１１は反射光信号のビーム幅を示し、一点鎖線枠１２は物体１３の検出範囲を示している。

図１１Ａは図１の測距装置２で検出された１フレーム目の輝度情報を示す図、図１１Ｂは図１の測距装置２で検出された２フレーム目の輝度情報を示す図、図１１Ｃは図１１Ａと図１１Ｂの輝度情報を合成した図である。図１１Ａ～図１１Ｃの横軸は画素番号、縦軸は反射光信号の輝度情報である。図１１Ａ～図１１Ｃの各プロットは、実線は反射光信号の受光位置、破線は理想的に物体を検出できた場合をそれぞれ示している。

図１０の１フレーム目は図７の１フレーム目と同様であり、図１１Ａに示す１フレーム目の反射光信号の輝度情報は図８Ａの輝度情報と同じになる。

図１０の２フレーム目は、１フレーム目から１／２画素分遅らせて、光源３から光信号を出射する。よって、２フレーム目の反射光信号の輝度情報は、図１１Ｂに示すように、図１１Ａから１／２画素分遅れて検出される。走査部４が一定の速度で光信号を走査する場合、分遅らせて光源３から光信号を出射すると、物体１３の１／２画素分ずれた箇所に光信号が放射され、受光部５の１／２画素分ずれた位置に反射光信号が受光される。

反射光信号の１フレーム目と２フレーム目の輝度情報を合成すると、図１１Ｃに示すような輝度情報が得られる。図１１Ｃの輝度情報は、図１１Ａと図１１Ｂの輝度情報よりも解像度が２倍になっており、輝度情報をより正確に検出できる。

図１２Ａは図１０の画像処理装置１及び測距装置２で検出された１フレーム目の物体１３の距離情報を示す図、図１２Ｂは図１０の画像処理装置１及び測距装置２で検出された２フレーム目の物体１３の距離情報を示す図、図１２Ｃは図１２Ａと図１２Ｂの距離情報を合成した図である。図１２Ａ～図１２Ｃの各プロットは距離情報の検出位置を示している。

２フレーム目では、１フレーム目から１／２画素分遅らせて、光源３から光信号を出射して物体１３の距離情報を検出するため、物体１３の距離情報は、１フレーム目から１／２画素分遅れて検出される。

１フレーム目と２フレーム目の距離情報を合成すると、図１２Ｃに示すように、物体１３のエッジ付近の距離を正確に検出でき、距離解像度を向上させることができる。

図１の走査部４は、光信号の走査範囲及び走査タイミングの少なくとも一方をフレームごとに変えることができることを特徴とする。走査部４が光信号を走査する手法には複数の具体例が考えられる。

図１３は図１の第１具体例に係る画像処理装置１のブロック図である。図１３では、図１と共通する構成部分には同一の符号を付しており、以下では、相違点を中心に説明する。図１３の光源３と走査部４は投光器８を構成している。また、図１３の受光部５と、測距部１０と、距離画像生成部６と、画像合成部７は、受光器９を構成している。

図１３の画像処理装置１は、図１の構成に加えて、走査制御部１５を備えている。走査制御部１５は、走査部４を制御する。例えば、走査制御部１５は、走査部４の光出射方向を切替制御する。後述するように、走査部４は、例えばポリゴンミラー又はＭＥＭＳミラーのように、光源３から出射された光信号の進行方向を切り替えるミラー部材を有する。走査制御部１５は、ミラー部材のミラー面を回転させる制御を行うだけでなく、ミラー部材自体を所定の角度範囲で回転させるなどして、走査部４から出射される光信号の向きをフレームごとに可変させてもよい。

あるいは、走査制御部１５は、光源３が内蔵された筐体部の光出射方向を切替制御してもよい。これにより、光源３から出射される光信号の進行方向を可変させることができ、走査部４から出射される光信号の走査範囲をフレームごとに変化させることができる。

あるいは、走査制御部１５は、走査部４が光信号の進行方向を切り替える速度を可変制御してもよい。すなわち、走査制御部１５にて、走査部４による光信号の走査速度を切替制御することで、距離画像の解像度を可変制御できる。

図１４は図１の第２具体例に係る画像処理装置１のブロック図である。図１４の画像処理装置１は、図１３の構成に加えて、タイミング制御部１６を備えている。

タイミング制御部１６は、光源３が光信号の出射を開始する出射開始タイミングを制御する。走査部４は、光源３による光信号の出射開始タイミングに基づいて、光信号の走査タイミングをフレームごとに切り替える。タイミング制御部１６は、光源３から出射される光信号の出射間隔は変えずに、光信号の出射開始タイミングをフレームごとに可変制御する。

より具体的には、光源３は、連続したｎ（ｎは２以上の整数）個のフレームのそれぞれでは、それぞれ異なる出射開始時刻を起点として、同一の出射間隔で複数の光信号を出射する。画像合成部７は、ｎ個のフレームのそれぞれで生成された距離画像同士を合成する。

図１５は走査部４が光信号の走査範囲及び走査タイミングの少なくとも一方をフレームごとに変える例を模式的に示す図である。図１５のフレームＦ１では、走査部４は水平方向に光信号を走査させ、１水平ライン分の走査が終了すると、次の水平ラインを左から右に向かって光信号を走査させる動作をすべての水平ラインについて繰り返す。フレームＦ１内の各マス目は、各受光素子５ａが受光する画素を示している。

フレームＦ１の距離画像が生成されると、次のフレームＦ２では、１／３画素分遅らせて光源３から光信号を出射し、物体１３からの反射光信号を受光部５で受光して距離画像を生成する。次のフレームＦ３では、２／３画素分遅らせて光源３から光信号を出射し、物体１３からの反射光信号を受光部５で受光して距離画像を生成する。次のフレームＦ４では、フレームＦ１と同じタイミングで光源３から光信号を出射して距離画像を生成する。

画像合成部７は、フレームＦ１～Ｆ３の３つの距離画像を合成して、高解像度距離画像を生成する。図１５では、フレームＦ１～Ｆ３の３つの距離画像を合成する例を示したが、合成する距離画像の数は任意である。

図１６は第１の実施形態に係る画像処理装置１及び測距装置２の処理動作の第１例を示すフローチャートである。まず、１フレーム目では、走査範囲をずらさずに光信号を走査させて距離画像Ｇ１を生成する（ステップＳ１）。図１７Ａは、図１６のステップＳ１で生成される距離画像Ｇ１を模式的に示す図である。図１７Ａは、水平方向に６画素、垂直方向に４画素の距離画像Ｇ１の例を示している。

次に、２フレーム目では、走査範囲を１／２画素分水平方向にずらして（遅らせて）、距離画像Ｇ２を生成する（ステップＳ２）。図１７Ｂは、図１６のステップＳ２で生成される距離画像Ｇ２を模式的に示す図である。

次に、１フレーム目の距離画像Ｇ１と２フレーム目の距離画像Ｇ２とを合成して、高解像度距離画像Ｇ３を生成する（ステップＳ３）。図１７Ｃは、図１６のステップＳ３で生成される距離画像Ｇ３を模式的に示す図である。図１７Ｃに示すように、２フレーム分の距離画像Ｇ１、Ｇ２を合成することで、水平方向の解像度を２倍に上げた高解像度距離画像Ｇ３を生成することができる。

図１８は第１の実施形態に係る画像処理装置１及び測距装置２の処理動作の第２例を示すフローチャートである。まず、１フレーム目では、基準の走査範囲で光信号を走査させて距離画像を生成する（ステップＳ１１）。図１９Ａは、図１８のステップＳ１１で生成される距離画像Ｇ１を模式的に示す図である。

次に、２フレーム目では、走査範囲を１／２画素分垂直方向にずらして（遅らせて）、距離画像を生成する（ステップＳ１２）。図１９Ｂは、図１８のステップＳ１２で生成される距離画像Ｇ２を模式的に示す図である。

次に、１フレーム目の距離画像と２フレーム目の距離画像とを合成して、高解像度距離画像Ｇ３を生成する（ステップＳ１３）。図１９Ｃは、図１８のステップＳ１３で生成される距離画像を模式的に示す図である。図１９Ｃに示すように、２フレーム分の距離画像を合成することで、垂直方向の解像度を２倍に上げることができる。

このように、第１の実施形態では、光信号の走査範囲及び走査タイミングの少なくとも一方をフレームごとに変えて生成した複数の距離画像同士を合成して、高解像度距離画像を生成する。これにより、光源３から出射される光信号のビーム幅を小さくするためのレンズ等を設けることなく、簡易な構成で距離画像の高解像度化が可能になる。

（第２の実施形態）
図２０は第２の実施形態に係る画像処理装置１の概略構成を示すブロック図である。図２０の画像処理装置１は、図１４の構成にボケ解消処理部１７を追加したものである。

ボケ解消処理部１７は、画像合成部７で生成された高解像度距離画像をより鮮明にする処理を行う。具体的には、ボケ解消処理部１７は、距離画像のエッジ部分のボケを解消して、エッジを強調する処理を行う。

図２１は図２０のボケ解消処理部１７をより具体化した画像処理装置１のブロック図である。図２１のボケ解消処理部１７は、逆畳み込み処理部１８と、エッジ強調部１９とを有する。

逆畳み込み処理部１８は、画像合成部７で生成された高解像度距離画像に対して、光源３から出射される光信号の光強度分布を用いて逆畳み込み処理を行って、物体１３の反射率を生成する。

エッジ強調部１９は、逆畳み込み処理部１８で生成された物体１３の反射率に基づいて、画像合成部７で生成された高解像度距離画像のエッジを強調する。

図２２はボケ解消処理部１７の処理動作を説明する図である。距離画像生成部６は、受光部５で受光された受光信号に基づいて、輝度情報と距離情報を生成する。距離画像生成部６で生成される輝度情報は例えば波形ｗ１で表され、距離情報は例えば波形ｗ２で表される。波形ｗ１、ｗ２からわかるように、反射光信号のビーム幅が受光素子５ａの幅よりも広い場合には、輝度情報と距離情報は誤差を含んだ値になる。

光源３から出射される光信号の光強度ｇ［ｎ］は既知である。よって、逆畳み込み処理部１８は、輝度情報に対してｇ［ｎ］の逆畳み込み処理を行うことで、物体１３の反射率を生成することができる。物体１３の反射率は、例えば図２２の波形ｗ３で表される。逆畳み込み処理部１８で生成される物体１３の反射率は、誤差を含まない情報である。なお、光強度ｇ［ｎ］は、事前に光強度の測定を行うことで得られる。あるいは、投光器内に設けた受光素子を用いて測距のたびにレーザ光の強度分布を取得すること等でも得られる。

エッジ強調部１９は、逆畳み込み処理部１８で生成された物体１３の反射率に基づいて、距離画像生成部６で生成された輝度情報を補正するとともに、距離情報も補正する。これにより、波形ｗ４、ｗ５に示すように、エッジの鮮明な輝度情報と距離情報が得られる。

図２２では、距離画像生成部６で生成された距離画像に含まれる輝度情報に対して逆畳み込み処理を行っているが、図２１のように、画像合成部７で生成された高解像度距離画像に含まれる輝度情報に対して逆畳み込み処理を行うことも可能である。この場合、エッジ強調部１９は、逆畳み込み処理部１８で生成された物体１３の反射率に基づいて、受光部５で受光された反射光信号に応じた輝度信号の閾値を設定し、閾値に基づいて輝度信号を二値化し、二値化された輝度値に基づいて画像合成部７で生成された高解像度距離画像を補正する。あるいは、エッジ強調部１９は、逆畳み込み処理部１８で生成された物体１３の反射率に基づいて、受光部５で受光された反射光信号に応じた輝度値を推定し、輝度値に基づいて画像合成部７で生成された高解像度距離画像を補正する等の方法が考えられる。

このように、第２の実施形態では、受光部５で受光された受光信号に基づく輝度情報に対して、光信号の光強度の逆畳み込み処理を行うことで物体１３の反射率を生成し、生成された物体１３の反射率に基づいて輝度情報と距離情報を補正する。これにより、画像合成部７で生成された高解像度距離画像のボケを解消して、エッジを強調することができる。

（第３の実施形態）
図２３は第３の実施形態に係る画像処理装置１の概略構成を示すブロック図である。図２３の画像処理装置１は、図２０の構成に加えて、特徴物認識部２０を備えている。

特徴物認識部２０は、距離画像生成部６で生成された距離画像に含まれる特徴物を認識する。特徴物とは、例えば、所定の条件を満たす静止物である。所定の条件とは、例えば、所定の期間より前には存在しなかった静止物である。具体的な一例としては、道路の陥没や、道路上に置かれた障害物などである。

画像合成部７は、特徴物については第１フレームレートで生成された高解像度距離画像を生成し、特徴物以外については解像度を変えずに第１フレームレートよりも高い第２フレームレートで距離画像を生成する。なお、後述するように、特徴物認識部２０は、移動体を認識してもよい。画像合成部７は、特徴物認識部２０が認識した移動体については解像度を変えずに第２フレームレートで距離画像を生成する。

図２４は図２３の特徴物認識部２０をより具体化した画像処理装置１のブロック図である。図２４の特徴物認識部２０は、フレームメモリ２１と、フレーム間差分検出部２２とを有する。

フレームメモリ２１は、少なくとも１フレーム分の距離画像を記憶する。フレーム間差分検出部２２は、複数のフレームの距離画像同士の差分を検出して、特徴物を認識する。

より詳細には、フレーム間差分検出部２２は、第１認識部と第２認識部を有していてもよい。第１認識部は、距離画像生成部６で生成された距離画像と、所定の期間より前に生成された距離画像との差分を取ることにより、所定の期間より前には存在せず、かつ静止している特徴物を認識する。第２認識部は、距離画像生成部６で直近に生成された複数の距離画像同士の差分を取ることにより、移動している物体１３を認識する。

画像合成部７は、例えば第１認識部による認識結果に基づいて、特徴物を含む領域では第１フレームレートで高解像度距離画像を生成し、特徴物を含まない領域では第１フレームレートよりも低い第２フレームレートで距離画像を生成する。あるいは、画像合成部７は、第１認識部により認識された特徴物を含む領域では第１フレームレートで高解像度距離画像を生成し、第２認識部により認識された移動体を含む領域では第２フレームレートで距離画像を生成する。

図２５は第３の実施形態に係る画像処理装置１及び測距装置２の処理動作の第１例を示すフローチャートである。まず、１フレーム目では、予め定めた基準の走査範囲内で光信号を走査させて距離画像を生成する（ステップＳ２１）。図２６Ａは、図２５のステップＳ２１で生成される距離画像Ｇ１を模式的に示す図である。

次に、２フレーム目では、走査範囲を半画素分水平方向にずらして（遅らせて）、距離画像Ｇ２を生成する（ステップＳ２２）。図２６Ｂは、図２５のステップＳ２２で生成される距離画像Ｇ２を模式的に示す図である。

次に、特徴物認識部２０にて特徴物を認識し、距離画像に含まれる特徴物の位置を特定する（ステップＳ２３）。特定される特徴物は、例えば静止物である。なお、特徴物は距離画像Ｇ１、Ｇ２のそれぞれにて認識される。次に、画像合成部７は、特徴物については、１フレーム目及び２フレーム目の特徴物画像ＰＧ同士を合成して、高解像度の特徴物画像ＰＧを生成する（ステップＳ２４）。また、画像合成部７は、特徴物以外については、画像合成なしで、通常のフレームレートで距離画像を生成する（ステップＳ２５）。

図２６Ｃは図２５の処理により最終的に生成される奇数フレームの距離画像Ｇ３を模式的に示す図、図２６Ｄは偶数フレームの距離画像Ｇ４を模式的に示す図である。図２６Ｃ及び図２６Ｄに示すように、距離画像に含まれる特徴物の領域のみ高解像で低フレームレートの特徴物画像ＰＧが生成され、特徴物以外の領域は低解像度で高フレームレートの距離画像Ｇ３、Ｇ４が生成される。

図２７は第３の実施形態に係る画像処理装置１及び測距装置２の処理動作の第２例を示すフローチャートである。まず、１フレーム目では、予め定めた基準の走査範囲内で光信号を走査させて距離画像を生成する（ステップＳ３１）。図２８Ａは、図２７のステップＳ３１で生成される距離画像Ｇ１を模式的に示す図である。

次に、距離画像に含まれる特徴物の位置を特定する（ステップＳ３２）。特定される特徴物は、例えば静止物である。次に、特徴物については、２フレーム目で１／２画素ずらして（遅らせて）光源３から光信号を出射して、物体１３からの反射光信号を受光して特徴物画像ＰＧを生成する（ステップＳ３３）。図２８Ｂは、図２７のステップＳ３３で生成される特徴物画像ＰＧを模式的に示す図である。次に、１フレーム目の特徴物画像ＰＧと２フレーム目の特徴物画像ＰＧを合成して、高解像度の特徴物画像ＰＧを生成する（ステップＳ３４）。

一方、特徴物以外については、２フレーム目では１フレーム目と同じ走査範囲又は走査タイミングで光源３から光信号を出射して、物体１３からの反射光信号を受光して、フレームごとに距離画像を生成する（ステップＳ３５）。

図２８Ｃは図２７の処理により最終的に生成される奇数フレームの距離画像Ｇ３を模式的に示す図、図２８Ｄは偶数フレームの距離画像Ｇ４を模式的に示す図である。これらの図に示すように、特徴物の領域では、高解像度で低フレームレートの特徴物画像ＰＧが生成され、特徴物以外の領域では高フレームレートの距離画像Ｇ３、Ｇ４が生成される。

図２９は第３の実施形態に係る画像処理装置１及び測距装置２の処理動作の第３例を示すフローチャートである。まず、１フレーム目では、予め定めた基準の走査範囲内で光信号を走査させて距離画像を生成する（ステップＳ４１）。図３０Ａは、図２９のステップＳ４１で生成される距離画像Ｇ１を模式的に示す図である。

次に、２フレーム目では、走査範囲を１／２画素分水平方向にずらして（遅らせて）、距離画像Ｇ２を生成する（ステップＳ４２）。図３０Ｂは、図２９のステップＳ４２で生成される距離画像Ｇ２を模式的に示す図である。

次に、３フレーム目では、走査範囲を１／２画素分垂直方向にずらして（遅らせて）、距離画像Ｇ３を生成する（ステップＳ４３）。図３０Ｃは、図２９のステップＳ４３で生成される距離画像Ｇ３を模式的に示す図である。

次に、４フレーム目では、走査範囲を水平方向及び垂直方向に１／２画素分ずつずらして（遅らせて）、距離画像Ｇ４を生成する（ステップＳ４４）。図３０Ｄは、図２９のステップＳ４４で生成される距離画像Ｇ４を模式的に示す図である。

次に、距離画像に含まれる特徴物の位置を特定する（ステップＳ４５）。特徴物については、１～４フレーム目の特徴物画像ＰＧを合成して、高解像度の特徴物画像ＰＧを生成する。また、特徴物以外については、フレームごとに距離画像Ｇ５を生成する（ステップＳ４６）。

図３０Ｅは、図２９の画像処理装置１及び測距装置２により最終的に生成される距離画像Ｇ５を模式的に示す図である。特徴物の領域については高解像度で低フレームレートの特徴物画像ＰＧが生成され、特徴物以外の領域では高フレームレートの距離画像Ｇ５が生成される。

図３１～図３４は、第３の実施形態に係る画像処理装置１及び測距装置２を用いて、インフラストラクチャの監視を行う様子を模式的に示す図である。より具体的には、図３１～３４は、道路上に陥没３４が発生したか否かを監視する様子を示している。画像処理装置１及び測距装置２は、光源３から出射された光信号を走査部４にて走査させて距離画像を生成する。また、図２７の様に先に特徴物を認識し、特徴物のみフレーム毎に１／２画素ずらしてもよい。

図３１は道路上に陥没３４が発生した例を示している。道路上の陥没３４を特徴物として認識する前は、図３１に示すように、１フレーム目と２フレーム目では、走査部４による光信号の走査範囲及び走査タイミングは同じである。

図３２は、道路上の陥没３４を特徴物として認識して、２フレーム目では１フレーム目とは１／２画素ずらして光信号を走査させる例を示している。画像合成部７は、１フレーム目と２フレーム目の距離画像同士を合成することで、高解像度の距離画像を生成する。図３２は、フレームの全域で高解像度の距離画像を生成する例を示している。

図３３は、道路上の陥没３４を特徴物として認識して、２フレーム目では１フレーム目とは１／３画素ずらして光信号を走査させ、３フレーム目では１フレーム目とは２／３画素ずらして光信号を走査させる。画像合成部７は、１～３フレーム目の特徴物画像ＰＧ同士を合成して、図３２よりも高解像度の特徴物画像ＰＧを生成する。図３３も、フレームの全域で高解像度の距離画像を生成する例を示している。

図３４は、道路上の陥没３４を特徴物として認識し、道路上の陥没３４の領域については１／２画素ずらして光信号を出射して、陥没３４からの反射光信号を受光して特徴物画像ＰＧを生成し、１フレーム目と２フレーム目の特徴物画像ＰＧを合成して、高解像度の特徴物画像ＰＧを生成する。一方、特徴物以外の領域では、移動している車両が存在するため、フレームごとに高フレームレートで距離画像を生成する。上述した第２認識部２４にて、移動体を認識して、高フレームレートで距離画像を生成してもよい。

このように、第３の実施形態に係る特徴物認識部２０は、新たに生成された距離画像と、所定の期間より前に生成された距離画像との差分を取ることにより、所定の期間より前には存在せず、かつ静止している特徴物を認識することができる。また、特徴物認識部２０は、直近に生成された複数の距離画像同士の差分を取ることにより、移動している物体１３を認識することができる。画像合成部７は、所定の期間より前には存在せず、かつ静止している特徴物については、複数のフレームでの特徴物画像ＰＧを合成して、高解像度の特徴物画像ＰＧを生成できる。また、移動体については、フレームごとに距離画像を生成するため、移動体を精度よく追尾することができる。

（第４の実施形態）
上述した第１～第３の実施形態に係る画像処理装置１及び測距装置２の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。

図３５は第１～第３の実施形態に係る画像処理装置１及び測距装置２をハードウェアで構成する場合のブロック図である。図３５の画像処理装置１及び測距装置２は、光源３と、スキャンデバイス３１と、受光デバイス３２と、信号処理プロセッサ３３と、を備えている。

光源３は、レーザ光源でもＬＥＤ光源でもよい。光源３は、複数のレーザ光源又は複数のＬＥＤ光源を有していてもよい。

スキャンデバイス３１は、第１～第３の実施形態に係る走査部４に対応する。スキャンデバイス３１は、例えばポリゴンミラーやＭＥＭＳミラーなどのように、光信号を所定の走査範囲で走査する機能を有する。

受光デバイス３２は、第１～第３の実施形態に係る受光部５に対応する。受光デバイス３２は、複数の受光素子５ａを有していてもよい。

信号処理プロセッサ３３は、ＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）などの半導体チップでもよいし、ＰＣ（Personal Computer）、ワークステーション、サーバなどのコンピュータ機器でもよい。信号処理プロセッサ３３は、第１～第３の実施形態に係る走査制御部１５とタイミング制御部１６の機能を兼ねている。また、信号処理プロセッサ３３は、測距部１０の機能を備えていてもよい。

図３６は第１～第３の実施形態に係る画像処理装置１及び測距装置２のより具体的なハードウェア構成を示すブロック図である。図３６は、スキャンデバイス３１の一例としてポリゴンミラー３１ａを採用している。

図３６の画像処理装置１及び測距装置２は、受光デバイス３２と信号処理プロセッサ３３を同一のパッケージに内蔵するＳＩＰ（Silicon in Package）を採用している。図３６において、支持基板４１上には、第１ダイ４２と第２ダイ４３が設けられている。

第１ダイ４２上には、複数の受光デバイス３２が二次元方向に配置されている。個々の受光デバイス３２は、ＳｉＰＭ（Silicon Photomultiplier）４４とアクティブクエンチ回路（ＡＱｓ）４５を有する。各ＳｉＰＭ４４は、１個又は複数のＡＰＤ（Avalanche Photo Diode）を有する。なお、アクティブクエンチ回路４５の代わりに、パッシブクエンチ回路を設けてもよい。

第２ダイ４３上には、各ＳｉＰＭ４４で受光された受光信号をデジタルの画素データに変換する複数のＡ／Ｄ変換器（以下、ＡＤＣ）４６と信号処理プロセッサ３３が設けられている。第１ダイ４２上のパッド４７と、第２ダイ４３上の対応するパッド４８とは、ボンディングワイヤ４９で接続されている。

図３６の画像処理装置１及び測距装置２では、光源３とスキャンデバイス３１以外は一つの半導体チップで構成できるため、小型化及び低消費電力化を実現できる。

本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

１ 画像処理装置、２ 測距装置、３ 光源、４ 走査部、５ 受光部、５ａ 受光素子、６ 距離画像生成部、７ 画像合成部、８ 投光器、９ 受光器、１０ 測距部、１１ 破線枠、１２ 一点鎖線枠、１３ 物体、１５ 走査制御部、１６ タイミング制御部、１７ ボケ解消処理部、１８ 処理部、１９ エッジ強調部、２０ 特徴物認識部、２１ フレームメモリ、２２ フレーム間差分検出部、２４ 第２認識部、３１ スキャンデバイス、３１ａ ポリゴンミラー、３２ 受光デバイス、３３ 信号処理プロセッサ、３４ 陥没、４１ 支持基板、４２ 第１ダイ、４３ 第２ダイ、４５ アクティブクエンチ回路（ＡＱｓ）、４６ 変換器（以下、ＡＤＣ）、４７ パッド、４８ パッド、４９ ボンディングワイヤ

Claims (19)

1. 所定の時間間隔で光信号を出射する光源と、
   前記光信号の走査範囲及び走査タイミングの少なくとも一方をフレームごとに変更可能な走査部と、
   前記光信号が物体に照射されて反射された反射光信号を受光する受光部と、
   前記受光部で受光された反射光信号に基づいて、前記フレームごとに距離画像を生成する距離画像生成部と、
   前記反射光信号を受光する前記受光部の画素位置がフレームごとに１画素未満でずれて生成される複数の前記フレームの距離画像同士を合成して、前記複数のフレームの各距離画像よりも高解像度の距離画像を生成する画像合成部と、
   前記画像合成部で生成された前記高解像度の距離画像のボケを解消する処理を行うボケ解消処理部と、
   前記光源から出射する光信号の光強度分布を測定する測定部と、を備え、
   前記ボケ解消処理部は、
   前記画像合成部で生成された前記高解像度の距離画像の輝度情報に対して、前記測定部で測定された前記光源から出射される光信号の光強度分布を用いて逆畳み込み処理を行って、前記物体の反射率を生成する逆畳み込み処理部と、
   前記逆畳み込み処理部で生成された前記物体の反射率に基づいて、前記画像合成部で生成された前記高解像度の距離画像のエッジを強調するエッジ強調部と、を有する、画像処理装置。
2. 前記逆畳み込み処理部は、前記光源から出射される光信号の既知の光強度分布を用いて逆畳み込み処理を行って、前記物体の反射率を生成する、
   請求項１に記載の画像処理装置。
3. 前記走査部は、連続した２以上の所定数の前記フレームのそれぞれにおいて、前記光信号の走査範囲及び走査タイミングの少なくとも一方を相違させ、前記所定数のフレームを単位として、前記光信号の走査範囲及び走査タイミングの少なくとも一方の切替を繰り返し周期的に行い、
   前記画像合成部は、前記所定数のフレームの距離画像同士を合成して、前記高解像度の距離画像を生成する、請求項１又は２に記載の画像処理装置。
4. 前記走査部は、前記光源から出射された光信号の走査範囲を前記フレームごとに変化させる、請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記走査部の光出射方向をフレームごとに切替制御する走査制御部を備える、請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記光源が内蔵された筐体部の光出射方向をフレームごとに切替制御する走査制御部を備え、
   前記走査部は、前記走査制御部にて前記筐体部の光出射方向を切替制御することにより、前記光信号の走査範囲をフレームごとに変える、請求項１乃至４のいずれか一項に記載の画像処理装置。
7. 前記走査部が前記光信号の進行方向を切り替える速度をフレームごとに可変制御する走査制御部を備える、請求項１乃至４のいずれか一項に記載の画像処理装置。
8. 前記光源における前記光信号の出射開始タイミングを制御するタイミング制御部を備え、
   前記走査部は、前記光源における前記光信号の出射開始タイミングに基づいて、前記光信号の走査タイミングをフレームごとに切り替える、請求項１乃至３のいずれか一項に記載の画像処理装置。
9. 前記タイミング制御部は、前記光源から出射される前記光信号の出射間隔は変えずに、前記光信号の出射開始タイミングを前記フレームごとに可変制御する、請求項８に記載の画像処理装置。
10. 前記光源は、連続したｎ（ｎは２以上の整数）個の前記フレームのそれぞれでは、それぞれ異なる出射開始時刻を起点として、同一の出射間隔で複数の前記光信号を出射し、
    前記画像合成部は、前記ｎ個のフレームのそれぞれで生成された距離画像同士を合成する、請求項９に記載の画像処理装置。
11. 前記エッジ強調部は、前記逆畳み込み処理部で生成された前記物体の反射率に基づいて、前記受光部で受光された前記反射光信号に応じた輝度信号の閾値を設定し、前記閾値に基づいて前記輝度信号を二値化し、二値化された輝度値に基づいて前記画像合成部で生成された前記高解像度の距離画像を補正する、請求項１乃至１０のいずれか一項に記載の画像処理装置。
12. 前記エッジ強調部は、前記逆畳み込み処理部で生成された前記物体の反射率に基づいて、前記受光部で受光された前記反射光信号に応じた輝度値を推定し、前記輝度値に基づいて前記画像合成部で生成された前記高解像度の距離画像を補正する、請求項１乃至１０のいずれか一項に記載の画像処理装置。
13. 前記距離画像生成部で生成された距離画像に含まれる特徴物を認識する特徴物認識部を備え、
    前記画像合成部は、前記特徴物については第１フレームレートで生成された前記高解像度の距離画像を出力し、前記特徴物以外については解像度を変えずに前記第１フレームレートよりも高い第２フレームレートで距離画像を出力する、請求項１乃至１２のいずれか一項に記載の画像処理装置。
14. 前記特徴物は、所定の条件を満たす静止物である、請求項１３に記載の画像処理装置。
15. 前記特徴物認識部は、前記距離画像生成部で生成された距離画像と、所定の期間より前に生成された距離画像との差分を取ることにより、前記所定の期間より前には存在せず、かつ静止している前記特徴物を認識する第１認識部を有する、請求項１３又は１４に記載の画像処理装置。
16. 前記特徴物認識部は、前記距離画像生成部で直近に生成された複数の距離画像同士の差分を取ることにより、移動している前記物体を認識する第２認識部を有する、請求項１５に記載の画像処理装置。
17. 前記画像合成部は、前記第１認識部及び前記第２認識部による認識結果に基づいて、前記特徴物を含む部分領域では前記第１フレームレートで生成された前記高解像度の距離画像を出力し、前記移動している物体を含む部分領域では前記第２フレームレートで生成された距離画像を出力する、請求項１６に記載の画像処理装置。
18. 請求項１乃至１７のいずれか一項に記載の画像処理装置と、
    前記受光部で前記反射光信号が受光された時刻と、前記光源から前記光信号が出射された時刻とに基づいて、前記物体までの距離を計測する測距部と、を備える、測距装置。
19. 所定の時間間隔で光信号を出射する光源から所定の時間間隔で出射される光信号の走査範囲及び走査タイミングの少なくとも一方をフレームごとに可変させ、
    前記光信号が物体に照射されて反射された反射光信号を受光し、
    前記受光された反射光信号に基づいて、前記フレームごとに距離画像を生成し、
    それぞれの画素位置が１画素未満でずれた複数の前記フレームの距離画像同士を合成して、前記複数のフレームの各距離画像よりも高解像度の距離画像を生成し、
    前記生成された前記高解像度の距離画像のボケを解消する処理を行い、
    前記光源から出射する光信号の光強度分布を測定し、
    前記ボケを解消する処理では、
    前記生成された前記高解像度の距離画像の輝度情報に対して、前記測定された光強度分布を用いて逆畳み込み処理を行って、前記物体の反射率を生成し、
    前記生成された前記物体の反射率に基づいて、前記生成された前記高解像度の距離画像のエッジを強調する、画像処理方法。