次に、図面を参照して、実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。但し、図面は模式的なものであり、厚みと平面寸法との関係、各層の厚みの比率等は現実のものとは異なることに留意すべきである。従って、具体的な厚みや寸法は以下の説明を参酌して判断すべきものである。又、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることはもちろんである。
又、以下に示す実施の形態は、この発明の技術的思想を具体化するための装置や方法を例示するものであって、この発明の実施の形態は、構成部品の材質、形状、構造、配置等を下記のものに特定するものでない。この発明の実施の形態は、特許請求の範囲において、種々の変更を加えることができる。
[実施の形態]
本実施の形態は、2次元フォトニック結晶面発光レーザー素子並びにその2次元アレイ化素子と撮像素子との組み合わせによる3次元センシングシステムを開示する。
本実施の形態に係る3次元センシングシステムは、レーザー光を放射状に照射し、測定対象物からの散乱光を受光することで距離と方位を算定する。フォトニック結晶は、レーザービームの自在な制御性を有し、そのため、機械稼働部を設けなくても(ソリッドステート)ビーム方向(レーザー光の出射方向)を自在に制御できる。
特に、フォトニック結晶の持つ、自在な発光制御機能(時間、強度、方向)、高出力、高品質ビーム、小型、堅牢(壊れにくい)、安価などの特徴を活用した複数の動作モードを有する3次元センシング用光源を実現可能とする。
また、フォトニック結晶レーザーの特徴である対称的な出射ビームの制御方法(センシング対象となる領域を満たすためのビーム配置設計方法とそれに対応した発光パターン制御(デバイスの法線方向に出射する単一のビームの場合も含む))を実現可能とする。
本実施の形態に係る3次元センシングシステムは、レーザー光源の動作モードを変化させることで、1つの3次元センシングシステムで次の(1)~(3)の3つのセンシングモードを構成可能である。
(1)LiDAR:ある方向にレーザー光を出射し、測定対象物からの反射光を捉え、ビーム毎に測定対象物までの距離を算定するセンシングモード(ビーム走査型)。
(2)フラッシュLiDAR:ある領域(センシング空間)に対し一定時間光を照射し、測定対象物からの散乱光を撮像素子で受光し、その撮像素子の画素毎の戻り時間を基に照射領域に測定対象物までの距離を算定するセンシングモード(フラッシュ型)。
(3)構造化光(Structured Light)投影:ある光パターンを測定対象物に照射し、そのパターンの画像と撮像素子で得られた画像との間でマッチングを行い、測定対象物の距離を算定するセンシングモード。
ビームスキャン型LiDARでは、測定対象物を検知する範囲内にビーム(送出信号)を走査し、測定対象物からの散乱反射光(反射信号)を捉え、どの方向に向けて出した光に対する反射なのかを認識することで方位を算定し、反射して戻ってくるまでの時間から距離を算定する(TOF(Time of Flight))。
レーザレーダーに関する種々の技術は、距離や方位を算定する信号処理のロジックとそれに対応するビームの走査方法、そしてその走査を実現するための空間変調の方法への工夫である。空間変調の手段としては、ポリゴンミラー、ガルバノミラー、MEMS(Micro Electro Mechanical Systems)、レーザー光源をアレイ化して(面発光レーザー(VCSEL:Vertical Cavity Surface Emitting Laser)など)それらを点灯制御するなどの方法、或いは、光フェーズドアレイなどの方法がある。
本実施の形態に係る3次元センシングシステムでは、ビーム走査型のセンシングモードにおいても従来のラスター走査とは異なる走査(回転走査等)が可能である。また、アレイ状の受光素子により、複数のレーザービームからの反射光を区別でき、フラッシュライダーとしても機能する。また、フラッシュ型のセンシングモードにおいても、ある領域のみのセンシングも可能である。
本実施の形態に係る3次元センシングシステムの発光制御機能は、ソフトウェア制御(プログラム制御)との親和性(センシング領域、複数システムの連携動作、学習制御)が高いので、学習機能などを取り込んだ適応型センシングへも容易に対応できる。これらの特徴により、出射ビームの符号化や複数のシステムの連係動作などの応用にも容易に対応できる。
本実施の形態に係る3次元センシングシステムは、ソリッドステート式であり、小型で壊れにくく、設置場所の自由度が広がる。また、雑音、干渉への耐性を有する(ハードやソフトで優れた制御性を活用)。
本実施の形態に係る3次元センシングシステムの発光部は、ビーム走査機構が不要であるため、半導体パッケージレベルの大きさであり、しかも出射ビームを収束させるための光学系(コリメート光学系)も必要ない。従って、自在な方向に独立した駆動条件で出射が可能であり、複数デバイスの連携動作も可能である。また、LiDAR応用に必要な回転ミラーやMEMSミラーのようなビーム走査機構も必要としないので、超小型で堅牢かつ設置場所の自由なシステムが実現できる。
[3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザー]
ここでは、特許文献3に記載の2次元フォトニック結晶面発光レーザーを用いて説明するが、代わりに特許文献2に記載の変調フォトニック結晶レーザーを用いてもよい。いずれもビーム制御原理は同じであり、本実施形態において、いずれを用いても良い。図1は、本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザー120の模式的鳥瞰構成を例示しており、図2は、該2次元フォトニック結晶面発光レーザー120の裏面にフィードバック用のレーザー光C(FB)を透過する透明電極251Tを備える模式的鳥瞰構成を例示している。
図1および図2は、表面からレーザー光A,Bを出射し、裏面からフィードバック用のレーザー光C(FB)を出射する様子を模式的に説明している。
本実施の形態に係る3次元センシングシステムに適用可能なフォトニック結晶レーザーは、透明電極251Tと、下部基板241と、第1クラッド層231と、2次元フォトニック結晶層221と、活性層222と、第2クラッド層232と、上部基板242と、窓状電極252とをこの順に積層したものである。本実施の形態におけるフォトニック結晶レーザーでは、レーザービーム(レーザー光A,B)は、窓状電極252の中央部に設けられた空洞(窓)を通って、上部基板242の窓状電極252側の表面に対する垂線から出射角θだけ傾斜した方向に出射される。尚、2次元フォトニック結晶層221と、活性層222の順番は上記のものとは逆であってもよい。また、本実施の形態では便宜上、「上」および「下」という語を用いるが、これらの語は実際にフォトニック結晶レーザーを使用する際の向き(上下)を規定するものではない。
本実施の形態では、下部基板241にはp型半導体のガリウムヒ素(GaAs)を、上部基板242にはn型GaAsを、第1クラッド層231にはp型半導体のアルミニウム・ガリウム砒素(AlGaAs)を、第2クラッド層232にはn型AlGaAsを、それぞれ用いる。活性層222には、インジウム・ガリウム砒素/ガリウムヒ素(InGaAs/GaAs)から成る多重量子井戸(Multiple-Quantum Well; MQW)を有するものを用いる。窓状電極252の材料には金を用いる。また、透明電極251Tの材料には、SnO2、In2O3などを用いる。透明電極251Tの代わりに、絶縁層の多層構造で、レーザー光を透過可能なDBR(Distributed Bragg Reflector)層を用いることもできる。尚、これら各層の材料は上記のものには限定されず、従来のフォトニック結晶面発光レーザーで用いられている各層の材料をそのまま用いることができる。また、上記各層の間には、スペーサ層などの他の層が介挿されていてもよい。
2次元フォトニック結晶層221は、板状の母材(スラブ)214内に空孔(異屈折率領域)211を、後述の格子点上に周期的に配置したものである。本実施の形態では、スラブ214の材料にはp型GaAsを用いた。空孔211の形状は、本実施の形態では正三角形であるが、円形などの他の形状を用いてもよい。尚、スラブ214の材料は上記のものには限られず、従来のフォトニック結晶レーザーで用いられているものを用いることができる。また、異屈折率領域には、空孔211の代わりに、スラブ214とは屈折率が異なる部材(異屈折率部材)を用いてもよい。空孔は容易に加工することができるという点において優れているのに対して、異屈折率部材は加工時の加熱などにより母材が変形するおそれがある場合に有利である。
図3(a)は、本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセル120において、2次元フォトニック結晶層221に空孔(異屈折率領域)が配置される格子点として、光共振状態形成用格子212Aが配置された状態を例示する平面図であり、図3(b)は、光出射用格子212Bが配置された状態を例示する平面図であり、図3(c)は、光共振状態形成用格子212A+光出射用格子212Bが配置された状態を例示する平面図であり、図3(d)は、空孔211が配置された状態を例示する平面図である。
図3用いて、2次元フォトニック結晶層221において空孔211が配置される格子点について説明する。本実施の形態の2次元フォトニック結晶層221は、光共振状態形成用フォトニック結晶構造を形成する光共振状態形成用格子212A(図3(a))と、光出射用フォトニック結晶構造を形成する光出射用格子212B(図3(b))を有する。
光共振状態形成用格子212Aは、格子定数aを有する正方格子から成る。以下、この正方格子において、格子点213Aが間隔aで並ぶ2方向のうちの一方をx方向と呼び、他方をy方向と呼ぶ。従って、格子点213Aのx-y座標は、整数mおよびnを用いて(ma,na)と表される。
それに対して光出射用格子212Bでは、c1↑=(r1,1)aおよびc2↑=(r2,1)aの基本並進ベクトルを有する斜方格子が構成される。この斜方格子の格子定数c1、c2はそれぞれ、基本並進ベクトルc1↑およびc2↑の大きさである(r1
0.5+1)aおよび(r2
0.5+1)aであり、c1↑とc2↑のなす角度αはcosα=(r1r2+1)×(r1
2+1)-0.5×(r2
2+1)-0.5の関係を満たす。格子点213Bは、y方向には、光共振状態形成用格子212Aおよび光出射用格子212Bともに、間隔aで並ぶ。
本実施の形態では、出射波長λは980nmとした。また、2次元フォトニック結晶層221の有効屈折率neffは、スラブ214の材料であるp型GaAsの屈折率(3.55)およびスラブ214中で空孔211(屈折率1)の占める割合により定まる。本実施の形態では空孔211の面積を調整することにより、2次元フォトニック結晶層221の有効屈折率neffは3.5とした。従って、本実施の形態における格子定数aは、後述する式(3)より2-0.5×980nm/3.4≒200nmとする。
本実施の形態の2次元フォトニック結晶層221では、これら光共振状態形成用格子212Aおよび光出射用格子212Bを重ね合わせた格子212C(図3(c))の格子点に空孔211を配置することにより、フォトニック結晶構造が形成されている(図3(d))。
本実施の形態の2次元フォトニック結晶層221では、格子点213Bの位置を示すパラメータであるr1およびr2が、後述する式(1),式(2)を満たす方向にレーザービームが出射される。
図4(a)は、本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセル120において、出射光(ビーム)A,Bの模式図であり、図4(b)は、同一平面上に存在する出射光A,Bが回転する様子を説明する模式図である。
フォトニック結晶構造に周期的な駆動変調を与え、共振作用に加え上方への回折効果も持たせることで、2軸方向の範囲にわたるビーム出射方向制御(ビーム走査)を行うことができる。
図4(a)に例示するように、原点Oから出射される基本の2つのビームA,B(双ビームともいう)は、同時に出射される。2つのビームA,Bは、同一の平面PSに存在する。ビームA,Bは、それぞれ、90°方向から傾斜角-θおよび+θの範囲でビームA,Bの方向を任意に変化させることができる。但し、ビームA,Bの出射方向は、傾斜角θに関して対称であり、2つのビームΑおよびΒは同時に且つ同出力で出射される。傾斜角θに関して非対称性を導入することで一方のビーム(ビームΑまたはビームΒ)の出力を相対的に減少させることも可能だが、完全に零にまで減少させることはできない。
図4(b)に例示するように、平面PSは、原点Oを中心に任意に(例えば、PS0→PS1→PS2の方向に)回転(rotation)することができる。従って、平面PS内の走査と平面PSの回転とを組み合わせることで、原点Oを中心とする円錐内のビーム走査が可能となる。また、同時走査を行うことにより、円錐内で原点Oを対称とする2つのビームΑおよびΒで任意の軌跡を描くことができる。さらに、複数の素子アレイにおける複数の双ビーム(A,B)を独立して制御することができる(例えば、図4(b)に例示した平面PS1や平面PS2におけるビームΑ,Βを同時に出射し、それぞれ傾斜角θや回転(rotation)を独立して制御することができる。
具体的な双ビームA,Bの例としては、1つのビーム(ΑまたはΒ)の広がり角は0.34°、双ビームA,Bの出力は1~10W、変調可能周波数は数百MHz、|θ|<50°である。厳密には、すべてのビームが原点Oから出射されるわけではないが、多くてもμm程度の推移であるので、数メートルから数百メートルのセンシング向けのLiDAR応用においては、同一点からの出射と見做してよい。
図5(a)は、本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセル120において、2次元フォトニック結晶層221に空孔(異屈折率領域)が配置される格子点として、正方格子からなる光共振状態形成用格子212Aが配置された状態を例示しており、図5(b)は、斜方格子からなる光出射用格子212Bが配置された状態を示す平面図、図5(c)は、光共振状態形成用格子212A+光出射用格子212Bが配置された状態を例示している。
図5(a)に例示するような正方格子からなる光共振状態形成用格子と図5(b)に例示するような斜方格子からなる光出射用格子とを重ねあわせた図5(c)に例示するようなビーム走査用フォトニック結晶を用いる。
本実施の形態の2次元フォトニック結晶層221では、格子点の位置を示すパラメータであるr1およびr2が、次式(1)および(2)を満たす方向にレーザービームが出射される。
ここで、θはフォトニック結晶層の法線に対する傾斜角であり、φはx方向を基準とする方位角であり、neffは有効屈折率である。
また、本実施の形態の2次元フォトニック結晶層221における格子定数aは、次式(3)により求められる。
ここで、λは出射波長である。
このように設計された本実施の形態の2次元フォトニック結晶層221により、ビームA,Bの2軸方向への出射が可能になる。
[2次元フォトニック結晶面発光レーザーのフィードバック制御]
本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセル120において、出射光A,Bのレーザー光強度Lと注入電流Iとの関係を示す出力特性例は、図6(a)に示すように模式的に表される。また、裏面にフィードバック用のレーザー光C(FB)を透過する透明電極(若しくはDBR層)251Tと、レーザー光C(FB)を検出するフォトダイオード118PDとを備える2次元フォトニック結晶面発光レーザセル120の構成例は、図6(b)に示すように模式的に表される。
図7は、本実施の形態に係る3次元センシングシステムにおいて、2次元フォトニック結晶面発光レーザセルアレイ120ARと、2次元フォトダイオードセルアレイ118PDARとを組み合わせたフィードバック制御機構のブロック構成例を模式的に示している。
このフィードバック制御機構は、2次元フォトニック結晶面発光レーザセルアレイ120ARと、2次元フォトニック結晶面発光レーザセルアレイ120ARの裏面から出射される各セルからのフィードバック用のレーザー光C(FB)を検出する2次元フォトダイオードセルアレイ118PDARと、2次元フォトダイオードセルアレイ118PDARによる検出結果に基づいて2次元フォトダイオードアレイ駆動部140ARを制御するフィードバック制御部130と、フィードバック制御部130による制御に従って、2次元フォトニック結晶面発光レーザセルアレイ120ARを駆動する2次元フォトダイオードアレイ駆動部140ARとを備える。
例えば、2次元フォトニック結晶面発光レーザセルアレイ120ARの各セルに同じ電流Iを注入しても、方向(位置)によって光強度Lに差が生じる場合がある。しかし、図7に例示するようなフィードバック制御機構を構成することで、フィードバック用のレーザー光C(FB)から2次元フォトニック結晶面発光レーザセルアレイ120AR内の光強度Lのばらつきを検出し、2次元フォトニック結晶面発光レーザセルアレイ120ARのセル毎に注入電流Iを変えるように駆動制御することで、光強度Lを均一化することができる。
図8は、本実施の形態に係る3次元センシングシステムにおける、フィードバック制御機構の別の構成例を模式的に示す。図8に例示するフィードバック制御機構は、2次元フォトニック結晶面発光レーザセルアレイ120ARと2次元フォトダイオード(2DPD)セルアレイ118PDARとの間に透明電極(若しくはDBR層+透明電極)251Tを介入して積層化し組み合わせた例を示している。
尚、本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルアレイ120ARの平面構成例は、図9に示すように模式的に表され、2次元フォトダイオードセルアレイ118PDARの平面構成例は、図10に示すように模式的に表される。
図9に例示するように、2次元フォトニック結晶面発光レーザセルアレイ120ARは、n列×m行の2次元フォトニック結晶面発光レーザセルから構成される。例えば、1行目にはn個の2次元フォトニック結晶面発光レーザセルC11~C1nが配置され、2行目にはn個の2次元フォトニック結晶面発光レーザセルC21~C2nが配置され、…、m行目にはn個の2次元フォトニック結晶面発光レーザセルCm1~Cmnが配置される。
また、図10に例示するように、2次元フォトダイオードセルアレイ118PDARは、n列×m行の2次元フォトダイオードセルから構成される。例えば、1行目にはn個の2次元フォトダイオードセルPD11~PD1nが配置され、2行目にはn個の2次元フォトダイオードセルPD21~PD2nが配置され、…、m行目にはn個の2次元フォトダイオードセルPDm1~PDmnが配置される。
[実施の形態に係る3次元センシングシステム]
(3次元センシングシステムの概略構成)
本実施の形態に係る3次元センシングシステムの概略構成例は、図11に模式的に示すように表される。
本実施の形態に係る3次元センシングシステムは、図11に例示するように、フォトニック結晶レーザー素子が平面上に配置されたフォトニック結晶レーザーアレイ10と、レーザー光源の動作モードを制御する制御部14と、制御部14によって制御される動作モードに従って、フォトニック結晶レーザーアレイ10の駆動制御を行う駆動部12と、フォトニック結晶レーザーアレイ10から出射され測定対象物で反射した散乱反射光を受光する受光部(撮像レンズ16およびTOF用イメージセンサ(或いはTOF計測の機能を有するアレイ状の受光素子、これ以降単にイメージセンサ、アレイ状の受光素子と記す)18)と、制御部14によって制御される動作モードに従って、受光部が受光した反射光を信号処理する信号処理部20と、制御部14によって制御される動作モードに従って、信号処理部20が処理した信号に対して、測定対象物までの距離の算定処理を行い、算定結果を距離データDMとして出力する距離演算部22とを備える。
フォトニック結晶レーザーアレイ10は、図1~図5に例示したようなフォトニック結晶レーザー素子が平面上に配置されたデバイスである。
制御部14は、3つの動作モード(すなわち、LiDAR動作モード、フラッシュLiDAR動作モード、光切断法動作モード)に基づいて、各部の動作制御を行う。
駆動部12は、制御部14によって制御される動作モード(LiDAR動作モード/フラッシュLiDAR動作モード/光切断法動作モード)に従って、フォトニック結晶レーザーアレイ10から出射されるビームの駆動制御を行う。
尚、駆動部12による駆動制御には、図6~10に例示したフィードバック制御を含む。すなわち、フィードバック用のレーザー光C(FB)を透過する透明電極若しくはDBR層(251T)と、フィードバック用のレーザー光C(FB)を検出するフォトダイオード(118PD)とをさらに備え、駆動部12は、フィードバック用のレーザー光C(FB)からフォトニック結晶レーザーアレイ10内の光強度Lのばらつきを検出し、フォトニック結晶レーザーアレイ10のセル毎に注入電流Iを変えるように駆動制御することで、光強度Lを均一化することができる。
撮像レンズ16とイメージセンサ(或いはアレイ状の受光素子)18とを備える受光部は、フォトニック結晶レーザーアレイ10から出射され対象物で反射した散乱反射光を、撮像レンズ16を介してイメージセンサ(或いはアレイ状の受光素子)18で受光する。
信号処理部20は、制御部14によって制御される動作モード(LiDAR動作モード/フラッシュLiDAR動作モード/光切断法動作モード)に従って、受光部が受光した反射レーザー光を信号処理して距離演算部22に送る。LiDAR動作モードとフラッシュLiDAR動作モードはフォトニック結晶レーザーアレイ10から出射された複数のビームからの反射をイメージセンサで捉えその時間計測機能によって距離を算定することにおいて計測原理は等しい。違いは、測定する空間の分解能(位置精度)である。分解能はLiDARモードは出射ビームの出射方向精度、フラッシュLiDAR動作モードはある画角に対する画素の数に依存する。
距離演算部22は、制御部14によって制御される動作モード(LiDAR動作モード/フラッシュLiDAR動作モード/光切断法動作モード)に従って、イメージセンサ18の撮像面での受光位置と出射から受光までの時間(到達時間)とから測定対象物までの距離を算定し、算定結果を距離データDMとして出力する。
(距離算定処理)
本実施の形態に係る3次元センシングシステムにおける3つの動作モードの距離算定手順の例は、図12に示すように表される。
ステップS0において、距離算定処理が開始される。
ステップS1において、制御部14によって制御される動作モードに従って、駆動部12がフォトニック結晶レーザーアレイ10の駆動制御を行い、フォトニック結晶レーザーアレイ10からレーザービームが出射される。より具体的には、3つの動作モード(LiDAR動作モード(M1)/フラッシュLiDAR動作モード(M2)/光切断法動作モード(M3))に従って、双ビームを出射/領域状に出射/光パターンを出射のいずれかが選択されて、フォトニック結晶レーザーアレイ10から出射される。すなわち、動作モードがLiDAR動作モードである場合には1つのレーザー素子を駆動して双ビーム(A,B)をある方向に出射し、動作モードがフラッシュLiDAR動作モードである場合にはある領域(センシング空間)に対し一定時間光を照射し、動作モードが光切断法動作モードである場合には測定対象物にストライプ状のパターン光を投影する。
ステップS2において、受光部(16、18)は、フォトニック結晶レーザーアレイ10から出射され測定対象物で反射した散乱反射光を、撮像レンズ16を介してイメージセンサ(或いはアレイ状の受光素子)18で受光する。
ステップS3において、制御部14は、動作モードに従って、ステップS4、ステップS5、若しくはステップSのいずれかに処理を振り分ける。より具体的には、動作モードがLiDAR動作モード(M1)(双ビームを出射)である場合にはステップS4に遷移し、動作モードがフラッシュLiDAR動作モード(M2)(領域状に出射)である場合にはステップS5に遷移し、動作モードが光切断法動作モード(M3)(光パターンを出射)である場合にはステップS6に遷移する。
動作モードがLiDAR動作モード(M1)(双ビームを出射)である場合、ステップS4において、距離演算部22は、各ビームから出射されて測定対象物にて反射された反射光を分離し、反射光到達時間から測定対象物までの距離を算定する(TOF)。その結果として、ビームの出射された方向に存在する測定対象物までの方向と距離の情報が得られ、距離演算部22は、ステップS5において、距離データDM1(図13)として出力する。ここで、反射光の分離処理においては、イメージセンサ18のどのピクセル(画素)で受光したのかを検知することによって反射光を分離する。フォトニック結晶レーザーアレイ10からの双ビームの出射方向は明らかであるため、それらによる反射光の到来方向も識別可能である。もし何らかの反射光があったとすれば、反射光の到来方向に対応するイメージセンサ18内のピクセルが受光したか否かを判断し、その到来時間も計測することができる。イメージセンサで分離が可能であれば複数の双ビームを同時に出射することもできる。
動作モードがフラッシュLiDAR(M2)(領域状に出射)である場合、ステップS5において、距離演算部22は、画素毎の画素位置と反射光到達時間から、画素毎に距離を算定する。その結果として、出射領域に存在する測定対象物までの距離の画素毎の距離情報が得られ、距離演算部22は、ステップS5において、距離データDM2(図13)として出力する。
動作モードが光切断法(M3)(光パターンを出射)である場合、ステップS6において、距離演算部22は、測定対象物に投影したストライプ状の撮像パターンにより三角測距を行い、測定対象物までの距離を算定する。その結果として、投影したストライプ状のパターン光に沿った距離情報、ラインを移動させることで測定対象物の立体的なデータが得られ、距離演算部22は、ステップS5において、距離データDM3(図13)として出力する。
(3次元センシングシステムにおける動作モード)
本実施の形態に係る3次元センシングシステムにおいて、3つの動作モードの動作フローチャートの例は、図13に示すように表される。
ステップS11において、制御部14は、3つの動作モード(すなわち、LiDAR動作モード、フラッシュLiDAR動作モード、光切断法動作モード)に基づいて、駆動部12および距離演算部22の動作制御を行う。
ステップS12において、駆動部12は、以下の3つの動作モードに従って、フォトニック結晶レーザーアレイ10の駆動制御を行う。
(1)LiDAR動作モード(M1):1つのレーザー素子を駆動して双ビーム(A,B)を、ある方向に出射させる。
(2)フラッシュLiDAR動作モード(M2):領域に対し一定時間光を照射させる(2つのビームを出射する複数の素子を同時に駆動するか、若しくは、広がり角を制御した単一・複数の素子を同時に出射させる)。
(3)光切断法動作モード(M3):複数の素子を同時に駆動して、測定対象物にストライプ状のパターン光を投影させる。
その後、受光部(16、18)が、フォトニック結晶レーザーアレイ10から出射され測定対象物で反射した散乱反射光を受光すると、信号処理部20および距離演算部22は、動作モードに従って処理を実行する。
具体的には、ステップS13において動作モードがM1若しくはM2である場合、距離演算部22は、ステップS14において、画素毎に反射光の到達時間を計測し、さらに、ステップS16において動作モードがM1である場合には、距離演算部22は、ステップS17において、出射ビームとの対応処理を行い、射光到達時間から測定対象物までの距離を算定して距離データDM1として出力する。逆に、ステップS16において動作モードがM2である場合には、距離演算部22は、ステップS14において計測した反射光の到達時間に基づいて求められた情報を距離データDM2として出力する。
一方で、ステップS13において動作モードがM3である場合には、距離演算部22は、ステップS15において、反射光像(撮像パターン)を取得し(画素)、ステップS18において、距離演算部22は、撮像パターンにより三角測距を行い、測定対象物までの距離を算定し、距離データDM3として出力する。
(LiDAR動作モード(M1)の動作原理)
本実施の形態に係る3次元センシングシステムのLiDAR動作モードにおいて、出射光A,Bに対する反射光RA,RBをイメージセンサ18で検出する動作原理は、図14(a)に模式的に例示するように表され、反射光RA,RBを検出するイメージセンサ18の概念図は、図14(b)に例示するように表される。
フォトニック結晶レーザーアレイ10の1つの素子から、その設計に基づく角度仕様に従って2つのビーム(双ビーム)A,Bを出射する。図14(a)の例では、出射光Aは、測定対象物24T1にて反射し、反射光RAとして、撮像レンズ16を介してイメージセンサ18にて受光され、出射光Bは、測定対象物24T2にて反射し、反射光RBとして、撮像レンズ16を介してイメージセンサ18にて受光される。ここで、反射光がなければ、該当する方向に物体(測定対象物)が存在しないものと認識することができる。
反射光RA,RBを検出した場合、距離演算部22はイメージセンサ18の撮像面での受光位置(x、y)から出射光A,Bのどちらのビームに対する反射光であるのかを判定し、出射から受光までの時間を計測する。例えば、図14(b)に例示したイメージセンサ18の受光位置24I1は、測定対象物24T1からの反射光RAの受光位置に対応し、受光位置24I2は、測定対象物24T2からの反射光RBの受光位置に対応することを識別可能であることから、イメージセンサ18の撮像面での受光位置(x、y)によって出射光A,Bのどの方向に対応する反射光RA,RBであるかを識別することができる。双ビームA,Bの角度分解能をカバーするのに十分な解像度を備えるイメージセンサ18であれば、ビーム毎の撮像位置(x、y)の分離は可能である。
距離演算部22は、以上の情報に基づいて、双ビームA,Bの出射方向に存在する測定対象物24T1,24T2までの距離を算定する。ここで、測定対象物24T1,24T2までの距離=光速×到達時間/2である。
本実施の形態に係る3次元センシングシステムのLiDAR動作モードにおいては、以上の距離算定を、異なる出射方向に対して繰り返し実行する。
(フラッシュLiDAR動作モード(M2)の動作原理)
本実施の形態に係る3次元センシングシステムのフラッシュLiDAR動作モードにおいて、出射光FLに対する反射光RFLをイメージセンサで検出する動作原理は、図15(a)に模式的に例示するように表され、反射光RFLを検出するイメージセンサの概念図は、図15(b)に例示するように表される。
フォトニック結晶レーザーアレイ10の複数の素子から、特定の領域に対して、レーザー光FLを同時に出射する。図15(a)の例では、出射光FLは、測定対象物24T1,24T2にて反射し、反射光RFLとして、撮像レンズ16を介してイメージセンサ18にて受光される。ここで、反射光がなければ、該当する方向に物体(測定対象物)が存在しないものと認識することができる。
距離演算部22は、反射光RFLを検出した場合、各画素における反射光の到達時間(出射から受光までの時間)を計測する。例えば、図15(b)に例示したイメージセンサ18の照明エリアILL内の受光位置24I1は、測定対象物24T1からの反射光RFLの受光位置に対応し、受光位置24I2は、測定対象物24T2からの反射光RFLの受光位置に対応することを識別可能である。
距離演算部22は、以上の情報に基づいて、撮像範囲に存在する測定対象物24T1,24T2までの距離を画素毎に算定する。フラッシュLiDAR動作モードにおいては、照明エリアILL内の画素の数に応じた距離情報を一度に獲得することができる。
(光切断法(構造化光投)動作モード(M3)の動作原理)
本実施の形態に係る3次元センシングシステムの光切断法動作モード(構造化光投動作モードともいう)において、回転するストライプ状出射光STに対する反射光RSTをイメージセンサで検出する動作原理は、図16(a)に模式的に例示するように表され、反射光RSTを検出するイメージセンサの概念図は、図16(b)に例示するように表される。また、本実施の形態に係る3次元センシングシステムの光切断法動作モードにおいて、回転するストライプ状出射光STに対する反射光RSTをイメージセンサで検出する動作の詳細例は、図17に例示するように表される。
構造化光投影による3次元計測の例を、図16~図17を参照しながら、光切断法の動作で説明する。この方法だけでなく、パターン照明を利用した、いくつかの計測にも対応できる。光切断法では、基準となる形状に対するストライプ光やドランダムなドットパターン光の受光パターンと実際の受光パターンとを比較し、そのズレから形状を算定する方法などへも適用できる(例えば、携帯電話の顔認証機能)。
光切断法動作モードでは、フォトニック結晶レーザーアレイ10で生成したストライプ状のレーザー光STを測定対象物24Tに照射する。図16(a)の例では、出射光STは、測定対象物24Tにて反射し、反射光RSTとして、撮像レンズ16を介してイメージセンサ18にて受光される(24I)。ここで、反射光がなければ、該当する方向に物体(測定対象物)が存在しないものと認識することができる。
距離演算部22は、反射光RSTを検出した場合、反射光像(撮像パターン)を取得し(画素)、撮像パターンにより三角測距を行い、測定対象物24Tまでの距離を算定して、ストライプ光1ライン分の3次元距離データを取得する。
さらに、図16(a)に例示するように、ストライプ光STを回転走査することで(ROT)、測定対象物24T全体の3次元データを取得することができる。
また、図17に例示する、フォトニック結晶レーザーアレイ10と測定対象物24Tと撮像レンズ16およびイメージセンサ18との位置関係は、次式により求められる。
X=Dcosθa sinθb/sin(θa+θb) (4)
Y=Dsinθa sinθb/sin(θa+θb) (5)
Z=Dtanφa/sinθa (6)
但し、θa=tan-1(f/Xa)であり、φa=tan-1(Yacosθa/Xa)である。また、Dは基線長、fは撮像レンズ16の焦点距離、Xa,Yaはイメージセンサ18上のスポット光像の位置である。
(LiDAR動作モード(M1)の動作フロー)
本実施の形態に係る3次元センシングシステムにおいて、LiDAR動作モードのフローチャートは、図18に例示するように表される。
まず、ステップS101において、フォトニック結晶レーザーアレイ10の1つの素子(特定素子)から、特定の方向に双ビームA,Bを出射する。
次に、ステップS102において、フォトニック結晶レーザーアレイ10から出射されて測定対象物24T1,24T2にて反射した反射光RA,RBを、撮像レンズ16を介してイメージセンサ18で捉える。ここで、反射光がなければ、該当する方向に物体(測定対象物)が存在しないものと認識することができる。
次に、ステップS103において、距離演算部22は、イメージセンサ18の撮像面での受光位置(画素の位置)から出射光A,Bのどちらのビームに対する反射光であるのかを区別する。
次に、ステップS104において、距離演算部22は、測定対象物24T1,24T2からイメージセンサ18の画素への反射光の到達時間を測定する。
次に、ステップS105において、距離演算部22は、イメージセンサ18の画素の位置で区別された出射光A,Bの情報とイメージセンサ18の画素への測定対象物からの反射光RA,RBの到達時間の情報から、レーザー光A,Bの出射方向に存在する測定対象物24T1,24T2までの距離をそれぞれ算定する。
以上の距離算定を、異なる出射方向に対して繰り返し実行する(ステップS106)。
(フラッシュLiDAR動作モード(M2)の動作フロー)
本実施の形態に係る3次元センシングシステムにおいて、フラッシュLiDAR動作モードのフローチャートは、図19に例示するように表される。
まず、ステップS201において、フォトニック結晶レーザーアレイ10の複数の素子から、特定の領域に対して、レーザー光FLを同時に出射する。
次に、ステップS202において、フォトニック結晶レーザーアレイ10から出射されて測定対象物24T1,24T2にて反射した反射光RFLを、撮像レンズ16を介してイメージセンサ18で捉える。ここで、反射光がなければ、該当する方向に物体(測定対象物)が存在しないものと認識することができる。
次に、ステップS203において、反射光RFLを検出した場合、距離演算部22は、各画素における反射光の到達時間(出射から受光までの時間)を計測する。
次に、ステップS204において、距離演算部22は、撮像範囲に存在する測定対象物24T1,24T2までの距離を画素毎に算定する。フラッシュLiDAR動作モードにおいては、照明エリアILL内の画素の数に応じた距離情報を一度に獲得することができる。
(光切断法(構造化光投)動作モード(M3)の動作フロー)
本実施の形態に係る3次元センシングシステムにおいて、光切断法動作モードのフローチャートは、図20に例示するように表される。
まず、ステップS301において、フォトニック結晶レーザーアレイ10で生成したストライプ状の光STを測定対象物24Tに照射する。
次に、ステップS302において、フォトニック結晶レーザーアレイ10から出射されて測定対象物24Tにて反射した反射光RSTを、撮像レンズ16を介してイメージセンサ18にて受光する。距離演算部22は、反射光像(撮像パターン)を取得し(画素)、撮像パターンにより三角測距を行い、測定対象物24Tまでの距離を算定して、ストライプ光1ライン分の3次元距離データを取得する。
次に、ステップS303において、ストライプ光STを回転走査することで(ROT)、測定対象物24T全体の3次元データを取得する。
(3次元センシングシステムのブロック構成)
本実施の形態に係る3次元センシングシステム100のブロック構成例は、図21Aに模式的に示すように表される。また、本実施の形態に係る3次元センシングシステムの別のブロック構成例は、図21Bに模式的に示すように表される。図21Aと図21Bとの違いは、図21Aでは、信号送信部200はフィードバックフォトダイオード(FBPD)アレイ204を備えているのに対して、図21Bでは、フィードバックフォトダイオード(FBPD)アレイ204を備えない点である。このようにフィードバックフォトダイオード(FBPD)アレイ204を備えていても良いし省略しても良い。フィードバック動作は、カメラでも対応できるため、フィードバックフォトダイオード(FBPD)アレイ204を省略しても良い。
本実施の形態に係る3次元センシングシステム100は、図21Aに例示するように、測定対象物に対してレーザー光を出射する2次元フォトニック結晶(2DPC)セルアレイ202を備える信号送信部200と、信号送信部200から出射され測定対象物で反射した反射光を受光する光学系304およびイメージセンサ302を備える信号受信部300と、レーザー光源の動作モードを制御する制御部(CPU)408と、2DPCセルアレイ202から出射されたレーザー光の出射方向を認識する送信方向認識部404と、CPU408によって制御される動作モードに従って、送信方向認識部404が認識したレーザー光の出射方向を基に2DPCセルアレイ202の駆動制御を行う2DPCセルアレイ駆動部402と、CPU408によって制御される動作モードに従って、イメージセンサ18の撮像面での受光位置と出射から受光までの時間とから測定対象物までの距離を算定する距離検出部(TOF)412とを備える信号送信部200と、を備える。
信号送信部200は、出射したレーザー光のフィードバック制御を行うフィードバックフォトダイオード(FBPD)アレイ204をさらに備え、送信方向認識部404は、FBPDアレイ204からのフィードバック情報に従って、信号送信部200から出射されたレーザー光の出射方向を認識する。
信号送信部200は、イメージセンサ18の撮像面での受光位置から反射光の受信方向を認識する受信方向認識部406を備えることもでき、2DPCセルアレイ駆動部402は、送信方向認識部404が認識したレーザー光の出射方向と受信方向認識部406が認識した反射光の受信方向とを基に2DPCセルアレイ202の駆動制御を行う。
信号送信部200は、距離検出部(TOF)412の算定結果に基づいて、測定対象物の同定を行う対象物認識ロジック414をさらに備える。
より具体的には、本実施の形態に係る3次元センシングシステム100は、図21Aに例示するように、信号送信部200と、信号受信部300と、信号処理部400と、メイン制御部(MCPU)500と、人工知能(AI)部502とを備える。
信号送信部200は、測定対象物に対してレーザー光を出射する2DPCセルアレイ202と、出射したレーザー光のフィードバック制御を行うフィードバックフォトダイオード(FBPD)アレイ204とを備える。2DPCセルアレイ202は、例えば、図11に例示したフォトニック結晶レーザーアレイ10に対応し、FBPDアレイ204は、図6に例示したフォトダイオード118PDや図8に例示した2DPC118PDARに対応する。
信号受信部300は、信号送信部200から出射され測定対象物で反射した散乱反射光を受光する光学系304およびイメージセンサ(ライン/エリア)302を備える。光学系304、イメージセンサ302は、図11に例示した撮像レンズ16およびイメージセンサ18にそれぞれ対応する。
信号処理部400は、2DPCセルアレイ駆動部402と、送信方向認識部404と、受信方向認識部406と、CPU408と、3Dイメージ記憶部410と、距離検出部(TOF)412と、対象物認識ロジック414とを備える。CPU408は、3つの動作モード(すなわち、LiDAR動作モード、フラッシュLiDAR動作モード、光切断法動作モード)に基づいて各部の動作制御を行う。CPU408は、図11に例示した制御部14に対応する。
2DPCセルアレイ駆動部402は、CPU408によって制御される動作モード(LiDAR動作モード/フラッシュLiDAR動作モード/光切断法動作モード)に従って、送信方向認識部404が認識したレーザー光の出射方向と受信方向認識部406が認識した反射光の受信方向とを基に2DPCセルアレイ202の駆動制御を行う。2DPCセルアレイ202から出射されるビームの駆動制御を行う。
送信方向認識部404は、FBPDアレイ204からのフィードバック情報に従って、信号送信部200から出射されたレーザー光の出射方向を認識し、認識結果をCPU408や2DPCセルアレイ駆動部402に提供する。受信方向認識部406は、イメージセンサ18の撮像面での受光位置から反射光の受信方向を認識し、認識結果をCPU408に提供する。3Dイメージ記憶部410は、イメージセンサ18が撮像したイメージデータを記憶し、距離検出部(TOF)412などに提供する。
距離検出部(TOF)412は、CPU408によって制御される動作モード(LiDAR動作モード/フラッシュLiDAR動作モード/光切断法動作モード)に従って、イメージセンサ18の撮像面での受光位置と出射から受光までの時間(到達時間)とから測定対象物までの距離を算定する。距離検出部(TOF)412は、図11に例示した距離演算部22に対応する。
対象物認識ロジック414は、距離検出部(TOF)412の算定結果に基づいて、測定対象物の同定を行う。
MCPU500は、本実施の形態に係る3次元センシングシステム100が搭載されるメインシステム全体を制御する。例えば、3次元センシングシステム100が車両に搭載される場合には、MCPU500は、車両側のメインCPUに相当する。
MCPU500には、ユーザインタフェース(I/F)部504が接続される。ユーザI/F部504は、ユーザが3次元センシングシステム100に対する指示(例えば、センシング処理の開始/終了や、動作モードの選択など)を入力するための入力部506と、3次元センシングシステム100が検知したセンシング情報をユーザに提示するための出力部508とを備える。3次元センシングシステム100が検知したセンシング情報は、測定対象物を描いた画像として出力しても良いし、警告音などの音情報として出力しても良い。
AI部502は、3Dイメージ記憶部410に記憶され蓄積されたイメージデータを基に、3次元センシングシステム100のセンシング結果を学習し、3次元センシングシステム100によるセンシング処理をより適切に支援する。
(3次元センシングシステムの変形例1)
本実施の形態の変形例1に係る3次元センシングシステム100のブロック構成例は、図22Aに模式的に示すように表される。また、本実施の形態の変形例1に係る3次元センシングシステムの別のブロック構成例は、図22Bに模式的に示すように表される。図22Aと図22Bとの違いは、図22Aでは、信号送信部200はフィードバックフォトダイオード(FBPD)アレイ204を備えているのに対して、図22Bでは、フィードバックフォトダイオード(FBPD)アレイ204を備えない点である。このようにフィードバックフォトダイオード(FBPD)アレイ204を備えていても良いし省略しても良い。フィードバック動作は、カメラでも対応できるため、フィードバックフォトダイオード(FBPD)アレイ204を省略しても良い。
変形例1に係る3次元センシングシステム100の図21Aに例示した3次元センシングシステム100との相違点は、図22Aに例示するように、信号処理部400が受信方向認識部406を備えていない点である。
本実施の形態の変形例1に係る3次元センシングシステム100においては、2DPCセルアレイ駆動部402は、送受信方向認識部405が認識したレーザー光の出射方向を基に2DPCセルアレイ202の駆動制御を行う。
変形例1に係る3次元センシングシステム100のブロック構成例は、上記相違点以外は、図21Aに例示した本実施の形態に係る3次元センシングシステム100のブロック構成例と同様である。
(2DPCセルアレイ駆動部のブロック構成)
本実施の形態に係る3次元センシングシステムに適用可能な2DPCセルアレイ駆動部402のブロック構成例は、図23に模式的に示すように表される。
2DPCセルアレイ駆動部402は、図23に例示するように、動作選択部4022と、ライダー動作制御部4024と、フラッシュライダー制御部4026と、構造化光切断制御部4028とを備える。
動作選択部4022は、CPU408によって制御される動作モード(LiDAR動作モード(M1)/フラッシュLiDAR動作モード(M2)/光切断法動作モード(M3))に従って、ライダー動作制御部4024、フラッシュライダー制御部4026、および構造化光切断制御部4028を制御する。
具体的には、動作モードがLiDAR動作モード(M1)である場合には、ライダー動作制御部4024は、1つのレーザー素子を駆動して双ビーム(A,B)を出射するように2DPCセルアレイ202を駆動制御する。動作モードがフラッシュLiDAR動作モード(M2)である場合には、フラッシュライダー制御部4026は、ある領域(センシング空間)に対し一定時間光を照射するように2DPCセルアレイ202を駆動制御する。動作モードが光切断法動作モード(M3)である場合には、構造化光切断制御部4028は、測定対象物にストライプ状のパターン光を投影するように2DPCセルアレイ202を駆動制御する。
動作選択部4022は、例えば、3つの動作モードを以下のように選択制御する。
最初に、フラッシュライダー制御部4026に、フラッシュLiDAR動作モード(M2)による駆動制御を実行させる(例えば数100W程度の高出力)。次に、ライダー動作制御部4024に、LiDAR動作モード(M1)による駆動制御を実行させる(例えば数W~数10W程度の出力)。次に、構造化光切断制御部4028に、光切断法動作モード(M3)による駆動制御を実行させる。
その後、動作選択部4022は、動作モードを、最初のフラッシュLiDAR動作モード(M2)に戻しても良いし、或いは処理を終了しても良い。また、フラッシュLiDAR動作モード(M2)と光切断法動作モード(M3)との処理の順番を逆にしても良い。また、3つの動作モードのうち、1つ若しくは2つの動作モードも組み合わせても良い。
このように、3つの動作モードの組み合わせ方は任意に選択することができるが、原則的には1つの動作モードでのセンシング処理が終わるまでは、次の動作モードには移行しない。
(3次元センシングシステムの変形例2)
本実施の形態の変形例2に係る3次元センシングシステム100のブロック構成例は、図24Aに模式的に示すように表される。また、本実施の形態の変形例2に係る3次元センシングシステムの別の模式的ブロック構成例は、図24Bに模式的に示すように表される。図24Aと図24Bとの違いは、図24Aでは、信号送信部200はフィードバックフォトダイオード(FBPD)アレイ204を備えているのに対して、図24Bでは、フィードバックフォトダイオード(FBPD)アレイ204を備えない点である。このようにフィードバックフォトダイオード(FBPD)アレイ204を備えていても良いし省略しても良い。フィードバック動作は、カメラでも対応できるため、フィードバックフォトダイオード(FBPD)アレイ204を省略しても良い。
変形例2に係る3次元センシングシステム100の変形例1に係る3次元センシングシステム100(図22A)との相違点は、図24Aに例示するように、AI部407が信号処理部400内に設けられる点である。
本実施の形態の変形例2に係る3次元センシングシステム100においては、AI部407は、3Dイメージ記憶部410に記憶され蓄積されたイメージデータを基に、3次元センシングシステム100のセンシング結果を学習し、3次元センシングシステム100による次回以降のセンシング処理(特に、送受信方向認識部405や距離検出部(TOF)412)を、より適切に制御する。
変形例2に係る3次元センシングシステム100のブロック構成例は、上記相違点以外は、図22Aに例示した変形例1に係る3次元センシングシステム100のブロック構成例と同様である。
(3次元センシングシステムの変形例3)
本実施の形態の変形例3に係る3次元センシングシステムであって、タイムオブフライト(TOF)測距システム600のブロック構成例は、図25に模式的に示すように表される。尚、ここでは、主にLiDAR動作モードによるセンシング例を説明する。
TOF測距システム600は、測定対象物700にレーザー光A,Bを照射し、反射光RA,RBが反射して戻ってくるまでの時間を計測することで、測定対象物700までの距離を測定する。
TOF測距システム600は、2DPCセルアレイ202と、PWM変調制御部203と、位相差検出部205と、イメージセンサ302と、光学系304と、距離検出部412とを備える。尚、本出願の応用ではフラッシュLiDARと同じ時間計測原理を使うため、ある程度のハルス幅が必要となる可能性があるが、パルス幅は変化させない動作も可能である。通常こうした測定のための応用では、なるべく時間の短い数nsから十数nsのパルスを繰り返し発生させる。繰り返し周波数は検出距離に応じて決める。最初のパルスの設定した距離からの反射が戻ってきて処理が完了した後に次のパルスを出す動作を行っている。
2DPCセルアレイ202は、PWM変調制御部203によって基本周波数(例えば数100MHz)に振幅変調された双ビームA,Bを出射する。出射光A,Bは、測定対象物700にて反射し、反射光RA,RBとして、光学系304を介してイメージセンサ302にて受光される。ここで、反射光がなければ、該当する方向に物体(測定対象物)が存在しないものと認識することができる。
位相差検出部205は、出射光A,Bと反射光RA,RBとの間の周波数の位相差を検出する。
距離検出部412は、位相差検出部205が検出した位相差から時間を求める距離演算回路4121と、距離演算回路4121が求めた時間に光速を乗算することで測定対象物700までの距離を検出する距離データ検出部4122とを備える。
変形例3に係るTOF測距システム600のLiDAR動作モードでは、以上の距離算定を、異なる出射方向に対して繰り返し実行する。
尚、図示していないが、変形例3に係るTOF測距システム600においても、図21Aなどに例示したAI部502や3Dイメージ記憶部410、対象物認識ロジック414、入力部506と出力部508を含むユーザI/F部504などを備えても良い。
(3次元センシングシステム適用可能なイメージセンサ(エリア))
本実施の形態に係る3次元センシングシステムに適用可能なイメージセンサ(エリア)302のブロック構成例は、図26に模式的に示すように表される。
イメージセンサ(エリア)302は、TOF方式で測定対象物までの距離を測定するイメージセンサであり、PWM変調されたレーザー光を用い、発光/受光タイミングの位相差情報を出力する。イメージセンサ(エリア)302は、図26に例示するように、受光部3021と、垂直シフトレジスタ3022と、バイアス発生回路3023と、タイミング回路3024と、サンプル/ホールド回路3025と、水平シフトレジスタ3026と、バッファアンプ3027A,3027Bとを備える。受光部3021からの出力される信号は、サンプル/ホールド回路3025で必要な信号処理が行われ、水平シフトレジスタ3026で順次走査されて電圧出力として読み出される。出力端子Vout1,Vout2から距離情報に相当する2つの位相信号が出力される。
(ビーム配置)
本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルアレイ10から出射される双ビーム配置例は、図27(a)に模式的に示すように表され、中央ビームとそれに隣接するビームの拡大図は、図27(b)に模式的に示すように表される。
3次元センシングシステムのセンシング時には以下の機能を有する。
(1)同時に生じる2つのビーム(双ビーム)を扱う。そのため、センシングのための双ビームの発光と受光の扱いが重要になる。
(2)発光では、ビーム走査面を回転系(点対称)で構成する。
(3)受光では、回転系で走査される2つのビームからの反射光を区別可能とする。
(4)同時に任意の双ビームを出射可能とする。
図27(a)において、双ビーム配置(走査面、出射角度)0.34°ビームの円錐を、走査面を考慮して配置する(円の最稠密充填)ビームの直径(解像度)は、200m:1.19m、100m:0.59m、50m:0.29m、10m:0.06mである。
図27(b)に例示する配置の仕方は、ビーム配置の一例であり、実際には、センシング空間に対し漏れのないビーム配置を考える必要がある。1つの例として、無限平面への円の最稠密充填を利用する。レーザービームの強度分布に応じてこれらの円領域の重なりを制御して最適なビーム配置を設計する。
本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルアレイから出射される双ビーム配置例であって、円の最稠密充填パターンを利用するビーム配置は、図28に模式的に示すように表される。図28において、対応する番号が1組の双ビームを表す。
図28では、円の最稠密充填パターンを利用したビーム配置の例を示しており、ビーム位置0を中心とする点対称の位置に双ビームが配置されるようにフォトニック結晶レーザーのビーム広がり角度とビームを含む平面を設計する。本実施の形態に係る3次元センシングシステムによる実際のセンシング時のビーム走査は、従来のラスタースキャンのような方式とは異なり、全く異なる方向を順番に走査することも可能である。隣接する領域を順に走査するのであれば、ビーム位置0→1→5→8→2→11→6→4→9→13→2→・・・といった順序が考えられる。例えば自動車に搭載するケースでは、高速道路を走行するような場合は中央付近だけを走査するなど、走行場面に応じた制御の自由度が高い。また、ビーム位置0,1,2,3を同時に出射すればライン状のパターン投影となり、ビーム位置0,1,5,8を出射すれば中心領域への照明となる。
本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルアレイから出射される円の最稠密充填パターンを利用する双ビーム例において、センシング範囲を表す球面の一部における最大水平角度MHD、最大垂直角度MVDの説明図は、図29(a)に例示するように表され、ビーム発散角BDAおよびビームの中心位置を表す正三角形配置の説明図は、図29(b)に例示するように表され、レーザービームの配置の例は、図29(c)に例示するように表される。
図28では、センシングのためのビーム配置を、わかりやすさのために平面上での複数の円として描いているが、厳密には、図29に例示するように、ある距離を半径とする球面とビームのなす円錐との交線である。図29(b)のように、ある距離にある平面との交線として描けば「0」番目のビーム位置を除きすべて楕円となり、ビーム位置「0」の場合の距離とはならない。
図29(a)は、センシング範囲を表す球面(原点Oからある距離を半径とする球面を、センシング範囲を表す角度範囲で切り取った球面)SFの一部を例示しており、MHD(1/2)は、最大水平角度範囲(1/2)であり、MVD(1/2)は、最大垂直角度範囲(1/2)である。
図29(b)において、θhは水平方向の角度であり、θvは垂直方向の角度であり、BDAはビームの発散角である。図29(b)は、ビームの中心位置を表す正三角形配置(極座標)を例示しており、頂点がビーム中心となり、三角形の一辺がビームの発散角に相当する。水平垂直方向の角度範囲を定めれば、必要なビームの数を算定することができる。
図29(c)は、レーザービームの配置の例を角度で表現した座標系であり、長さは角度を表し、ある距離における投影面での長さには対応しない。以下のように具体的な条件を定め、必要なビームの数を試算する。すなわち、水平角度範囲:-50°~50°、垂直角度範囲:-10°~10°、ビームの発散角度:0.34°、100m先で水平方向238m、垂直方向35mの範囲(25mなら水平60m、垂直9m)、水平方向のビーム数:100/0.34+1=295、垂直方向のビーム数:20/(0.34×0.87)+1=69(垂直方向は重なりがあるため水平方向のsin60°に短縮)、総ビーム数:20,355、総PCSEL数:10,178である。
2次元アレイをなす個々のPCSEL(Photonic Crystal Surface Emitting Laser)のビームの仕様は、図29(c)のレーザービームの配置例の対応する番号のように、原点対称の頂点対を選ぶことで定まる。双ビームの開き角度は、頂点間の長さから算定され(正三角形の一辺の長さはビームの発散角度に対応する)、ビームの回転角度は、頂点対を結ぶ線分が軸となす角度で定まる。
例えば、5番の双ビームでは、ビームの開き角度は発散角度の2倍、回転角度は水平軸に対して反時計方向に60°である。
(受光システム)
本実施の形態に係る3次元センシングシステムにおいて、反射光Rを受光する受光システム(16、18)の模式図は、図30(a)に例示するように表され、図30(a)のイメージセンサの模式図は、図30(b)に例示するように表される。
本実施の形態に係る3次元センシングシステムにおける受光システムは、図30(a)に例示するように、撮像レンズ16とイメージセンサ(或いはアレイ状の受光素子)18とを備え、反射光Rを受光する。本実施の形態における受光システムは、フォトニック結晶レーザーの特徴である中心対象に出射される2つのレーザービームからの反射光をそれぞれ区別可能である。さらにフォトニック結晶の特徴を利用し、同時に多数のレーザービームを、ある領域に対する照明光として出射することでフラッシュLiDARとしても機能させることができる。
(レーザー光強度と注入電流との関係)
比較例に係る3次元センシングシステムにおいて、2次元フォトニック結晶面発光レーザセルアレイ120ARの各セル121,122,123,124に等しい電流値Iを注入しても方向(位置)によって光強度に差が生じる例は、図31(a)~図31(e)に例示するように表される。図31(a)は、2次元フォトニック結晶面発光レーザセルアレイ120AR及び各セル121,122,123,124を表し、各セル121,122,123,124に等しい電流値Iを注入した場合のビームBMの放射の様子を模式的に示す。また、図31(b)は、ビームBMの放射角度θ=0度のときのFFP、図31(c)は、θ=20度のときのFFP、図31(d)は、θ=40度のときのFFP、図31(e)は、θ=60度のときのFFPの様子を模式的に示す。
図31(a)~図31(e)の比較例に示すように、例えば、2次元フォトニック結晶面発光レーザセルアレイ120ARの各セル121,122,123,124に、等しい電流値Iを注入しても、角度θによって、光強度Lに差が生じる場合がある。
一方で、本実施の形態に係る3次元センシングシステムにおいて、2次元フォトニック結晶面発光レーザセルアレイ120ARの各セル121,122,123,124に位置毎にそれぞれ異なる電流値I1,I2,I3,I4を注入して、方向(位置)によって光強度を均一化した例は、図32(a)~図32(e)に例示するように表される。図32(a)は、2次元フォトニック結晶面発光レーザセルアレイ120AR及び各セル121,122,123,124を表し、各セル121,122,123,124に異なる電流値I1,I2,I3,I4を注入した場合のビームBMの放射の様子を模式的に示す。また、図32(b)は、ビームBMの放射角度θ=0度のときのFFP、図32(c)は、θ=20度のときのFFP、図32(d)は、θ=40度のときのFFP、図32(e)は、θ=60度のときのFFPの様子を模式的に示す。
図32(a)~図32(e)に例示するように、2次元フォトニック結晶面発光レーザセルアレイ120AR内の光強度のばらつきを検出し、2次元フォトニック結晶面発光レーザセルアレイ120ARのセル121,122,123,124毎にそれぞれ異なる電流値I1,I2,I3,I4を注入するように、2次元フォトニック結晶面発光レーザセルアレイ120ARを駆動制御することで、光強度を均一化することができる。例えば、図7に例示したようなフィードバック制御機構を構成することで、フィードバック用のレーザー光C(FB)から2次元フォトニック結晶面発光レーザセルアレイ120AR内の光強度のばらつきを検出することができる。
(2次元フォトニック結晶面発光レーザセルアレイの出射ビーム制御)
本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルアレイ120ARの出射ビーム制御例であって、1セル内に光共振状態形成用格子212A+光出射用格子212Bが配置された状態は、図33(a)に例示するように表され、1セルの模式的平面図は、図33(b)に例示するように表され、一軸方向の走査を実現する電極配置の構成例は、図33(c)に例示するように表される。
図33(a)に例示する光共振状態形成用格子212A+光出射用格子212Bの配置状態例は、図5に示した配置状態例に対応しており、格子点の位置を示すパラメータである(r1,r2)が、先に示した式(1)および(2)を満たす方向にレーザービームが出射される。
図33(c)に例示するように、電極E1~E4に向かい格子点の位置を示すパラメータである(r1,r2)を連続的に変化させる。例えば、電極E2にのみ電流を流すと(θ,φ)=(20,0)方向にビームが出射する。隣接する電極(E1~E4)に与える電流バランスにより、連続的に角度を振ることが可能となる。
また、本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルアレイ120ARの出射ビーム制御例であって、r1,r2と角度θとの関係は、図34(a)に例示するように表され、一軸方向の走査を実現する電極配置の別の構成例は、図34(b)に例示するように表される。図34(b)においても、電極E1~E4にかけて、r1,r2を連続的に変化させている。図34(b)に例示した一軸方向に走査が行われる。
また、本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルアレイ120ARの出射ビーム制御例であって、二軸方向の走査を実現する電極配置の構成例は、図35(a)に表され、走査方向の模式図は、図35(b)に例示するように表される。図35(b)に例示した二軸方向(SV1,SV2およびSH1,SH2)に走査が行われる。
また、本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルアレイ120ARの出射ビーム制御例であって、回転走査を実現する電極配置の構成例は、図36(a)に表され、走査方向の模式図は、図36(b)に例示するように表される。図36(b)に例示した走査方向(SV1,SV2,SC,およびSH1,SH2)に回転走査が行われる。
(短冊状の電極配置)
本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルにおいて、2次元フォトニック結晶層に空孔(異屈折率領域)が配置される格子点として、光共振状態形成用格子212Aが配置された状態を示す平面図は、図37(a)に例示するように表され、光出射用格子212Bが配置された状態を示す平面図は、図37(b)に例示するように表され、短冊状の上部電極252が配置された状態を示す平面図は、図37(c)に例示するように表され、短冊状の上部電極252が配置された別の状態を示す平面図は、図37(d)に例示するように表される。
ここでは、図1や図2などに図示されていない下部電極の代わりに、以下に述べる短冊状の電極E1~E19を下部電極として用いる。それ以外のフォトニック結晶レーザーの構成は、図1や図2などに例示したフォトニック結晶レーザーの構成と同様である。
図37に例示する2次元フォトニック結晶層は、光共振状態形成用格子212A(図37(a))と光出射用格子212B(図37(b))とを組み合わせ重ね合わせた格子(図示せず)の格子点上に空孔(異屈折率領域)が配置されたものである。光共振状態形成用格子212Aは、格子定数aの正方格子である。光出射用格子212Bは、y方向には格子点が間隔aで並んでおり、x方向には、光出射用格子212Bが仮想的に分割された複数の領域66(異周期領域と呼ぶ。これは、異屈折率領域とは異なるものである。)毎に異なる間隔で格子点が並んでいる。
上部基板242の上面には、図37(c)に例示するように、上部電極252として短冊状の電極(E1~E5)、(E6~E12)、(E13~E19)が設けられている。これら短冊状の電極(E1~E5)、(E6~E12)、(E13~E19)は、x方向の幅が異周期領域66の幅よりも狭い電極が多数、X方向に並べられたものである(図37(c))。
また、図37(d)では、短冊状の電極(E1,E3,E5)、(E7,E10)、(E13,E16,E19)がx方向に配置された状態を例示している。
図37に例示するフォトニック結晶レーザーでは、上部電極252として設けられた多数の電極E1~E19のうち、1つの異周期領域66の直上および/または直下にあるもののみから電流を活性層222に注入する。これにより、その異周期領域66の直下にある活性層222において所定の波長の光を含む波長域の光が発光し、その所定波長の光がその異周期領域66において共振を起こし、傾斜ビームが出射する。ここで、異周期領域66毎に光出射用格子212Bの構造が異なるため、光が共振を起こす異周期領域66を切り替える、すなわち、電流を注入する上短冊状の電極E1~E19中の個別の電極を切り替えることにより、レーザー発振位置を徐々に変化させ、ビーム傾斜角を連続的に変化させることができる。
以上、2次元のPCSELアレイ及びイメージセンサと、2次元のPCSELアレイ及びイメージセンサの駆動、制御について説明し、フラッシュを含む複数の動作モードに対応する点も説明した。
特定の領域全面に対するフラッシュ動作を常時固定的に用いるようなシステムの場合は、PCSELアレイのほかに、レーザーやLEDなどを用いたフラッシュ専用の光源を用いることも本実施の他の様態に含まれる。以下に詳述する。
(フラッシュ動作モードとLiDAR動作モードとの組み合わせ動作モードによる3次元センシングシステム)
本実施の形態に係る3次元センシングシステムにおいて、フラッシュ動作モードとLiDAR動作モードとの組み合わせによる動作モード(以降、単に「組み合わせ動作モード」ともいう)の概念図は、図38に示すように表される。
本実施の形態に係る組み合わせ動作モードによる3次元センシングシステムにおいては、光源として、全面照射用のフラッシュ(FL)光源250と、狙った領域照射用の2次元フォトニック結晶(2DPC)面発光レーザセルアレイ202とを備える。
FL光源250は、特定の領域(センシング領域)の全面に対してレーザー光FLを出射する。図38に示す例では、領域内に、車両VH、車両VB、および歩行者(人)HMの3つの測定対象物が存在するものとする。
FL光源250から出射されて測定対象物VH、VB、HMにてそれぞれ反射した反射光RVH、RVB、RHMを、タイムオブフライト(TOF)カメラ350で観測し、測定対象物VH、VB、HMまでの距離を測定する。
このとき、車両VHのボディカラーと歩行者HMの服装の色合いが比較的明るい色(例えば、白色系、黄色系など)であり、車両VBのボディカラーが比較的暗い色(例えば、黒色系、紺色系、茶色系など)であるとする。そうすると、比較的明るい色をもつ車両VHや歩行者HMの反射率は比較的高く、信号対雑音比(S/N)も高いため、TOFカメラ350での観測が可能である。ところが、比較的暗い色をもつ車両VBの反射率は比較的低く、S/Nも低いため、TOFカメラ350での観測が難しい。
そこで、反射率が低くS/Nが十分でない測定対象物(この場合、車両VB)に対して、2DPC面発光レーザセルアレイ202から狙った領域のみにスポット的にビームを照射し、この反射光を観測することで、車両VBのような測定対象物についても、高感度での距離の測定を可能にする。
(比較例)
ここで、図39を参照しながら、比較例に係るフラッシュLiDARシステムの動作フローについて説明する。比較例に係るフラッシュLiDARシステムでは、図38に示した3次元センシングシステムにおいて、フラッシュLiDAR動作モードのみを用いる。
ステップS400において、FL光源250から、特定の領域の全面に対して、レーザー光FLを照射する。
次に、ステップS401において、FL光源250から出射されて測定対象物VH、VB、HMにて反射した反射光RVH、RVB、RHMを、TOFカメラ350で観測する。ここで、反射光がなければ、該当する方向に物体(測定対象物)が存在しないものと認識することができる。
次に、ステップS402において、反射光のS/Nが所定の閾値Tよりも低い領域があるか否かを判定する。ステップS402の判定の結果、反射光のS/Nが所定の閾値Tよりも低い領域がない場合(ステップS402でNOの場合)、ステップS403において、距離画像(3次元画像)を出力する。
一方で、ステップS402の判定の結果、反射光のS/Nが所定の閾値Tよりも低い領域がある場合(ステップS402でYESの場合)、当該領域の距離を算定して距離画像を出力することができないため、ステップS404において、FL光源250からの照射強度を引き上げて、再度、特定の領域の全面に対してレーザー光FLを照射する。
次に、ステップS405において、FL光源250から出射されて測定対象物にて反射した反射光を、TOFカメラ350で観測する。しかしながら、S/Nが所定の閾値Tよりも低い領域以外の領域は、雑音により飽和してしまい、距離画像を出力することができない。このように、反射率が低い測定対象物が含まれる場合、S/Nの低下により、距離測定が困難になる。
(組み合わせ動作モードによる3次元センシングシステムの動作フロー)
図40を参照しながら、図38に示した3次元センシングシステムの動作フローについて説明する。
ステップS500において、FL光源250から、特定の領域の全面に対して、レーザー光FLを照射する(フラッシュ型)。
次に、ステップS501において、FL光源250から出射されて測定対象物VH、VB、HMにて反射した反射光RVH、RVB、RHMを、TOFカメラ350で観測する。ここで、反射光がなければ、該当する方向に物体(測定対象物)が存在しないものと認識することができる。
次に、ステップS405において、反射光のS/Nが所定の閾値Tよりも低い領域があるか否かを判定する。ステップS502の判定の結果、反射光のS/Nが所定の閾値Tよりも低い領域がない場合(ステップS502でNOの場合)、ステップS503において、距離画像(3次元画像)を出力する。
一方で、ステップS502の判定の結果、反射光のS/Nが所定の閾値Tよりも低い領域がある場合(ステップS502でYESの場合)、例えば、反射率が比較的低くてS/Nも低い車両VBのような場合、当該領域の距離を算定して距離画像を出力することができない。そこで、ステップS504において、S/Nが所定の閾値Tよりも低い領域に対してのみ、2DPCセルアレイ202からスポット的にビームを照射する(ビーム走査型)。
次に、ステップS505において、2DPC面発光レーザセルアレイ202から出射されて測定対象物にて反射した反射光をTOFカメラ350で観測し、ステップS506において、反射光のS/Nが所定の閾値Tよりも低い領域があるか否かを判定する。
ステップS506の判定の結果、反射光のS/Nが所定の閾値Tよりも低い領域がない場合(ステップS506でNOの場合)、ステップS507において、距離画像(3次元画像)を出力する。
一方で、ステップS506の判定の結果、反射光のS/Nが所定の閾値Tよりも低い領域がある場合(ステップS506でYESの場合)、何らかの測定対象物が存在すると推測されるものの、当該領域の距離を算定して距離画像を出力することができない。
そこで、ステップS508において、2DPCセルアレイ202から出射される光の強度を引き上げて、ステップS504に戻って、当該領域に対してのみ、2DPC面発光レーザセルアレイ202からスポット的にビームを照射する。ここで、ステップS508における光の強度を引き上げるための調整方法としては、例えば、2DPC面発光レーザセルアレイ202の発光部に供給する電圧を上げる方法などを適用することができる。
そして、反射光のS/Nが所定の閾値Tよりも低い領域がなくなるまで、すなわち、領域内のすべての測定対象物を検知するまで、ステップS504~S508の処理を繰り返す。
このように、本実施の形態に係る3次元センシングシステムにおいて、フラッシュ動作モードとLiDAR動作モードとの組み合わせ動作モードを導入することにより、センシング領域内に反射率が低い測定対象物が含まれる場合でも、反射率が低い測定対象物の距離の測定が可能になる。
また、予め最初に、特定の領域の全面に対してFL光源250からレーザー光FLを照射して、特定の領域全体に含まれる測定対象物を検知し(フラッシュ動作モード)、その際に検知できなかった測定対象物のみについて、次に、2DPC面発光レーザセルアレイ202からスポット的にビームを照射して検知する(LiDAR動作モード)ように構成しているため、最初から最後までLiDAR動作モードで動作するよりも効率的に処理を行うことができる。
(狙った領域照射用変調フォトニック結晶レーザー光源)
図41は、本実施の形態に係る3次元センシングシステムにおいて、全面照射用フォトニック結晶レーザー光源の例であって、照射パターン例の断面を模式的に示している。また、図42は、本実施の形態に係る3次元センシングシステムにおいて、全面照射用フォトニック結晶レーザー光源の例であって、照射パターン例の照射面を模式的に示している。
図41及び図42は、本実施の形態に係る3次元センシングシステムにおいて、スポット的に狙った領域への照射用変調フォトニック結晶レーザー光源(2DPC面発光レーザセルアレイ202)の例を示している。狙った領域照射用変調フォトニック結晶レーザー光源(2DPC面発光レーザセルアレイ202)は、例えば、水平方向±60°、垂直方向±60°の指定位置(例えば図42における狙って照射する位置)にレーザー光を照射する。狙った領域照射用変調フォトニック結晶レーザー光源から出射される双ビームA,Bのうちの片方、例えばビームBを用いるが、ビームA,Bの双方を用いても良い。
出射角度は、例えば、指定した方向の1点当たり約2°であり、アレイ全体で水平方向±約60°、垂直方向±約60°である。
出力は、例えば、1点あたり約0.2W超である。複数の光源Bを並べることで、高出力化も可能となるが、パルス幅が長い場合や、繰り返し周波数が高い場合においては、放熱の工夫が必要となる場合がある。
(全面照射用フォトニック結晶レーザー光源)
図41は、本実施の形態に係る3次元センシングシステムにおいて、全面照射用フォトニック結晶レーザー光源(FL光源250)の例であって、照射パターン例の断面を模式的に表している。図42は、本実施の形態に係る3次元センシングシステムにおいて、全面照射用フォトニック結晶レーザー光源(FL光源250)の例であって、照射パターン例の照射面を模式的に表している。
FL光源250として用いるレーザーは、例えば、面垂直型PCSEL若しくはVCSELであり、出射されるレーザー光をレンズ若しくは拡散板等で適宜拡げて、±60°範囲を照射する。ここで用いるレンズとしては、例えば、ボールレンズ、グレーテッドインデックスレンズ(GI(Graded Index)レンズ)又は複数レンズを組み合わせたレンズなどである。より発展的には、レンズや拡散板を用いずに±60°範囲の照射が可能となる。
全面照射用フォトニック結晶レーザー光源は、例えば、水平方向±60°、垂直方向±60°の全面照射型であり、単体素子の発光を広げて照射することにより、センシング領域の全面に対してレーザー光FLを照射する。出射角度は、例えば、素子単体で約2°であり、より発展的には、水平方向±約60°、垂直方向±約60°の範囲を一様に照射する。
出力は、例えば、約5W超である。長いパルス幅と高繰り返しにおいては、放熱の工夫が必要な場合がある。また、使用するパッケージは、例えば、5.6mmφステムである。
(組み合わせ動作モードによる3次元センシングシステムのブロック構成)
本実施の形態に係る組み合わせ動作モードによる3次元センシングシステムにおいて、フラッシュ動作モードとLiDAR動作モードとの組み合わせ動作モードによるブロック構成は、図43Aに模式的に示すように表される。尚、図21Aに示したブロック構成と同一又は類似の部分には同一又は類似の符号を付して、その説明を省略若しくは簡略化する。
本実施の形態に係る3次元センシングシステムにおいて、フラッシュ動作モードと、LiDAR動作モードの組み合わせ動作モードの模式的ブロック構成は、図43Aに示すように表される。また、本実施の形態に係る3次元センシングシステムにおいて、フラッシュ動作モードと、LiDAR動作モードの組み合わせ動作モードの別の模式的ブロック構成は、図43Bに示すように表される。図43Aと図43Bとの違いは、図43Aでは、信号送信部200はフィードバックフォトダイオード(FBPD)アレイ204を備えているのに対して、図43Bでは、フィードバックフォトダイオード(FBPD)アレイ204を備えない点である。このようにフィードバックフォトダイオード(FBPD)アレイ204を備えていても良いし省略しても良い。フィードバック動作は、カメラでも対応できるため、フィードバックフォトダイオード(FBPD)アレイ204を省略しても良い。
本実施の形態に係る3次元センシングシステム100は、図43Aに示すように、特定の領域(センシング領域)の全面に対してレーザー光を出射する全面照射用のフラッシュ光源250と、特定の領域のうち狙った領域に対してレーザー光を出射する2DPC面発光レーザセルアレイ202と、レーザー光源(202,250)の動作モードを制御する制御部(CPU)408と、制御部408によって制御される動作モードに従って、フラッシュ光源250の駆動制御を行うフラッシュ駆動部415および2DPC面発光レーザセルアレイ202の駆動制御を行う2DPCセルアレイ駆動部402と、フラッシュ光源250から出射されたレーザー光が特定の領域内に含まれる測定対象物で反射した反射光を受信し、2DPC面発光レーザセルアレイ202から出射されたレーザー光が狙った領域内に含まれる測定対象物で反射した反射光を受信する信号受信部300と、動作モードに従って、信号受信部300が受信した反射光を信号処理する信号処理部400と、動作モードに従って、信号処理部400が処理した信号に対して、測定対象物までの距離の算定処理を行う距離検出部412とを備える。
信号処理部400は、フラッシュ光源250から出射されて反射してきた反射光のS/Nが所定の閾値よりも低い領域が特定の領域内にあるか否かを判定し、S/Nが所定の閾値よりも低い領域がある場合、信号処理部400は、S/Nが所定の閾値よりも低い領域のみを狙って、2DPC面発光レーザセルアレイ202からスポット的にレーザー光を照射するように2DPCセルアレイ駆動部402を制御する。
また、信号処理部400は、2DPC面発光レーザセルアレイ202からスポット的に出射されて反射してきた反射光のS/Nが所定の閾値Tよりも低い領域があるか否かを判定する。判定の結果、S/Nが所定の閾値Tよりも低い領域がある場合、信号処理部400は、2DPC面発光レーザセルアレイ202から出射される光の強度を引き上げて、当該領域のみを狙って、2DPC面発光レーザセルアレイ202からスポット的にレーザー光を照射するように2DPCセルアレイ駆動部402を制御する。
ここで、動作モードには、フラッシュ動作モードと、LiDAR動作モードとがあり、フラッシュ駆動部415は、動作モードがフラッシュ動作モードである場合にフラッシュ光源250の駆動制御を行い、2DPCセルアレイ駆動部402は、動作モードがLiDAR動作モードである場合に2DPC面発光レーザセルアレイ202の駆動制御を行う。
より詳細に本実施の形態に係る3次元センシングシステム100を説明する。
本実施の形態に係る3次元センシングシステム100は、図43Aに示すように、信号送信部200と、信号受信部300と、信号処理部400とを備える。
信号送信部200は、特定の領域の全面に対してレーザー光FLを出射する全面照射用のフラッシュ(FL)光源250と、特定の領域のうち狙った領域に対してレーザー光を出射する2DPC面発光レーザセルアレイ202を備える。
信号受信部300は、信号送信部200から出射され測定対象物で反射した反射光を受光する光学系304およびイメージセンサ302を備える。
信号処理部400は、レーザー光源の動作モードを制御する制御部(CPU)408と、2DPC面発光レーザセルアレイ202から出射されたレーザー光の出射方向を認識する送信方向認識部404と、CPU408によって制御される動作モードに従って、送信方向認識部404が認識したレーザー光の出射方向を基に2DPC面発光レーザセルアレイ202の駆動制御を行う2DPCセルアレイ駆動部402と、FL光源250の駆動制御を行うFL駆動部415と、CPU408によって制御される動作モードに従って、イメージセンサ18の撮像面での受光位置と出射から受光までの時間とから測定対象物までの距離を算定する距離検出部(TOF)412とを備える。
FL光源250は、まず、特定の領域の全面に対してレーザー光FLを出射する。FL光源250から出射されて測定対象物から反射した反射光を、信号受信部300で受信し、信号処理部400の距離検出部412にて測定対象物までの距離を測定する。
このとき、信号処理部400は、反射光のS/Nが所定の閾値Tよりも低い領域があるか否かを判定し、判定の結果、反射光のS/Nが所定の閾値Tよりも低い領域がない場合には、距離画像を出力する。一方で、反射光のS/Nが所定の閾値Tよりも低い領域がある場合、信号処理部400は、S/Nが所定の閾値Tよりも低い領域のみを狙って、2DPC面発光レーザセルアレイ202からスポット的にビームを照射するように2DPCセルアレイ駆動部402を制御する。
2DPC面発光レーザセルアレイ202から出射されて測定対象物にて反射した反射光は、信号受信部300にて受信される。信号処理部400は、反射光のS/Nが所定の閾値Tよりも低い領域があるか否かを判定し、判定の結果、反射光のS/Nが所定の閾値Tよりも低い領域がない場合、距離画像を出力する。一方で、反射光のS/Nが所定の閾値Tよりも低い領域がある場合、信号処理部400は、2DPC面発光レーザセルアレイ202から出射される光の強度を引き上げて、当該領域のみを狙って、2DPC面発光レーザセルアレイ202からスポット的にビームを照射するように2DPCセルアレイ駆動部402を制御する。
信号送信部200は、出射したレーザー光のフィードバック制御を行うフィードバックフォトダイオード(FBPD)アレイ204をさらに備え、送信方向認識部404は、FBPDアレイ204からのフィードバック情報に従って、信号送信部200から出射されたレーザー光の出射方向を認識する。
信号送信部200は、イメージセンサ18の撮像面での受光位置から反射光の受信方向を認識する受信方向認識部406を備えることもでき、2DPCセルアレイ駆動部402は、送信方向認識部404が認識したレーザー光の出射方向と受信方向認識部406が認識した反射光の受信方向とを基に2DPCセルアレイ202の駆動制御を行う。
信号処理部400は、距離検出部(TOF)412の算定結果に基づいて、測定対象物の同定を行う対象物認識ロジック414をさらに備える。
本実施の形態に係る3次元センシングシステム100は、より具体的には、図43Aに例示するように、信号送信部200と、信号受信部300と、信号処理部400と、メイン制御部(MCPU)500と、人工知能(AI)部502とを備える。
信号送信部200は、特定の領域の全面に対してレーザー光FLを出射する全面照射用のFL光源250と、測定対象物に対してレーザー光を出射する2DPC面発光レーザセルアレイ202と、出射したレーザー光のフィードバック制御を行うFBPDアレイ204とを備える。FBPDアレイ204は、図6に示したフォトダイオード118PDや図8に示した2DPC118PDARに対応する。
信号受信部300は、信号送信部200から出射され測定対象物で反射した散乱反射光を受光する光学系304およびイメージセンサ(ライン/エリア)302を備える。
信号処理部400は、2DPCセルアレイ駆動部402と、送信方向認識部404と、受信方向認識部406と、CPU408と、3Dイメージ記憶部410と、距離検出部(TOF)412と、対象物認識ロジック414とを備える。CPU408は、3つの動作モード(すなわち、LiDAR動作モード、フラッシュLiDAR動作モード、光切断法動作モード)に基づいて各部の動作制御を行う。CPU408は、図11に例示した制御部14に対応する。
2DPCセルアレイ駆動部402は、CPU408によって制御される動作モード(LiDAR動作モード/フラッシュLiDAR動作モード/光切断法動作モード)に従って、送信方向認識部404が認識したレーザー光の出射方向と受信方向認識部406が認識した反射光の受信方向とを基に2DPC面発光レーザセルアレイ202の駆動制御を行い、FL駆動部415は、FL光源250の駆動制御を行う。
送信方向認識部404は、FBPDアレイ204からのフィードバック情報に従って、信号送信部200から出射されたレーザー光の出射方向を認識し、認識結果をCPU408や2DPCセルアレイ駆動部402およびFL駆動部415に提供する。受信方向認識部406は、イメージセンサ18の撮像面での受光位置から反射光の受信方向を認識し、認識結果をCPU408に提供する。3Dイメージ記憶部410は、イメージセンサ18が撮像したイメージデータを記憶し、距離検出部(TOF)412などに提供する。
距離検出部(TOF)412は、CPU408によって制御される動作モード(LiDAR動作モード/フラッシュLiDAR動作モード/光切断法動作モード)に従って、イメージセンサ18の撮像面での受光位置と出射から受光までの時間(到達時間)とから測定対象物までの距離を算定する。距離検出部(TOF)412は、図11に例示した距離演算部22に対応する。
対象物認識ロジック414は、距離検出部(TOF)412の算定結果に基づいて、測定対象物の同定を行う。
MCPU500は、本実施の形態に係る3次元センシングシステム100が搭載されるメインシステム全体を制御する。例えば、3次元センシングシステム100が車両に搭載される場合には、MCPU500は、車両側のメインCPUに相当する。
MCPU500には、ユーザインタフェース(I/F)部504が接続される。ユーザI/F部504は、ユーザが3次元センシングシステム100に対する指示(例えば、センシング処理の開始/終了や、動作モードの選択など)を入力するための入力部506と、3次元センシングシステム100が検知したセンシング情報をユーザに提示するための出力部508とを備える。3次元センシングシステム100が検知したセンシング情報は、測定対象物を描いた画像として出力しても良いし、警告音などの音情報として出力しても良い。
AI部502は、3Dイメージ記憶部410に記憶され蓄積されたイメージデータを基に、3次元センシングシステム100のセンシング結果を学習し、3次元センシングシステム100によるセンシング処理をより適切に支援する。
(組み合わせ動作モードによる3次元センシングシステムの変形例4)
本実施の形態の変形例4に係る3次元センシングシステムにおいて、フラッシュ動作モードと、LiDAR動作モードの組み合わせ動作モードの模式的ブロック構成は、図44Aに示すように表される。また、本実施の形態の変形例4に係る3次元センシングシステムにおいて、フラッシュ動作モードと、LiDAR動作モードの組み合わせ動作モードの別の模式的ブロック構成は、図44Bに示すように表される。図44Aと図44Bとの違いは、図44Aでは、信号送信部200はフィードバックフォトダイオード(FBPD)アレイ204を備えているのに対して、図44Bでは、フィードバックフォトダイオード(FBPD)アレイ204を備えない点である。このようにフィードバックフォトダイオード(FBPD)アレイ204を備えていても良いし省略しても良い。フィードバック動作は、カメラでも対応できるため、フィードバックフォトダイオード(FBPD)アレイ204を省略しても良い。
変形例4に係る3次元センシングシステム100と、図43Aに例示した3次元センシングシステム100との相違点は、信号処理部400が受信方向認識部406を備えていない点である。
本実施の形態の変形例4に係る3次元センシングシステム100においては、2DPCセルアレイ駆動部402は、送受信方向認識部405が認識したレーザー光の出射方向を基に2DPC面発光レーザセルアレイ202の駆動制御を行う。
変形例4に係る3次元センシングシステム100のブロック構成例は、上記相違点以外は、図43Aに例示した本実施の形態に係る3次元センシングシステム100のブロック構成例と同様である。
(2DPCセルアレイ駆動部とFL駆動部のブロック構成)
本実施の形態に係る3次元センシングシステムに適用可能な2DPCセルアレイ駆動部402とFL駆動部415のブロック構成例は、図45に模式的に示すように表される。尚、図23に示したブロック構成内の同一又は類似の部分には同一又は類似の符号を付して、その説明を省略若しくは簡略化する。
2DPCセルアレイ駆動部402は、図23と同様に、動作選択部4022と、ライダー動作制御部4024と、フラッシュライダー制御部4026と、構造化光切断制御部4028とを備え、CPU408による制御に従って、2DPCセルアレイ202の駆動制御を行う。
FL駆動部415は、CPU408による制御に従って、FL光源250の駆動制御を行う。
(組み合わせ動作モードによる3次元センシングシステムの変形例5)
本実施の形態の変形例5に係る3次元センシングシステムにおいて、フラッシュ動作モードと、LiDAR動作モードの組み合わせ動作モードの模式的ブロック構成は、図46Aに示すように表される。また、本実施の形態の変形例5に係る3次元センシングシステムにおいて、フラッシュ動作モードと、LiDAR動作モードの組み合わせ動作モードの別の模式的ブロック構成は、図46Bに示すように表される。図46Aと図46Bとの違いは、図46Aでは、信号送信部200はフィードバックフォトダイオード(FBPD)アレイ204を備えているのに対して、図46Bでは、フィードバックフォトダイオード(FBPD)アレイ204を備えない点である。このようにフィードバックフォトダイオード(FBPD)アレイ204を備えていても良いし省略しても良い。フィードバック動作は、カメラでも対応できるため、フィードバックフォトダイオード(FBPD)アレイ204を省略しても良い。
変形例5に係る3次元センシングシステム100と、変形例4に係る3次元センシングシステム100(図44A)との相違点は、AI部407が信号処理部400内に設けられる点である。
本実施の形態の変形例5に係る3次元センシングシステム100においては、AI部407は、3Dイメージ記憶部410に記憶され蓄積されたイメージデータを基に、3次元センシングシステム100のセンシング結果を学習し、3次元センシングシステム100による次回以降のセンシング処理(特に、送受信方向認識部405や距離検出部(TOF)412)を、より適切に制御する。
変形例5に係る3次元センシングシステム100のブロック構成例は、上記相違点以外は、図44Aに例示した変形例4に係る3次元センシングシステム100のブロック構成例と同様である。
(組み合わせ動作モードによる3次元センシングシステムの変形例6)
本実施の形態の変形例6に係る組み合わせ動作モードによる3次元センシングシステムであって、タイムオブフライト(TOF)測距システム600のブロック構成例は、図47に模式的に示すように表される。尚、ここでは、主にLiDAR動作モードによるセンシング例を説明する。
フラッシュ動作モードでは、TOF測距システム600は、測定対象物700にレーザー光FLを照射し、反射光が反射して戻ってくるまでの時間を計測することで、測定対象物700までの距離を測定する。また、LiDAR動作モードでは、TOF測距システム600は、測定対象物700にレーザー光A,Bを照射し、反射光RA,RBが反射して戻ってくるまでの時間を計測することで、測定対象物700までの距離を測定する。
TOF測距システム600は、FL光源250と、2DPCセルアレイ202と、PWM変調制御部203と、位相差検出部205と、イメージセンサ302と、光学系304と、距離検出部412とを備える。尚、本出願の応用では、LiDAR動作モードにおいても、フラッシュLiDARと同じ時間計測原理を使うため、ある程度のハルス幅が必要となる可能性があるが、パルス幅は変化させない動作も可能である。通常こうした測定のための応用では、なるべく時間の短い数nsから十数nsのパルスを繰り返し発生させる。繰り返し周波数は検出距離に応じて決める。最初のパルスの設定した距離からの反射が戻ってきて処理が完了した後に次のパルスを出す動作を行っている。
LiDAR動作モードでは、2DPC面発光レーザセルアレイ202は、PWM変調制御部203によって基本周波数(例えば数100MHz)に振幅変調された双ビームA,Bを出射する。出射光A,Bは、測定対象物700にて反射し、反射光RA,RBとして、光学系304を介してイメージセンサ302にて受光される。ここで、反射光がなければ、該当する方向に物体(測定対象物)が存在しないものと認識することができる。
位相差検出部205は、出射光A,Bと反射光RA,RBとの間の周波数の位相差を検出する。
距離検出部412は、位相差検出部205が検出した位相差から時間を求める距離演算回路4121と、距離演算回路4121が求めた時間に光速を乗算することで測定対象物700までの距離を検出する距離データ検出部4122とを備える。
変形例6に係るTOF測距システム600のLiDAR動作モードでは、以上の距離算定を、異なる出射方向に対して繰り返し実行する。
尚、図示していないが、変形例6に係るTOF測距システム600においても、図21Aなどに例示したAI部502や3Dイメージ記憶部410、対象物認識ロジック414、入力部506と出力部508を含むユーザI/F部504などを備えても良い。
以上説明したように、本実施の形態によれば、高精度、高出力、小型化、堅牢性を有するとともに、センシング領域やセンシング対象への適応性が高く、複数のセンシングモードに対応可能な3次元センシングシステムを提供することができる。
[その他の実施の形態]
上記のように、実施の形態によって記載したが、この開示の一部をなす論述および図面は例示的なものであり、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなろう。
このように、本実施の形態はここでは記載していない様々な実施の形態などを含む。