JP7565282B2 - 複数個の通過域を有するバンドパスフィルタを備える三次元センサ - Google Patents

Description

（関連出願への相互参照）
本願では２０１９年１月２０日付米国暫定特許出願第６２／７９４６３１号に基づき優先権を主張するので、参照によりその全容を本願に繰り入れることにする。

米国特許出願第１４／９２０２４６号、第１５／１４９３２３号及び第１５／１４９４２９号には様々な構成の距離センサが記載されている。これらの距離センサは、保安、ゲーミング、無人車両制御その他の用途を初め、様々な用途に役立てることができる。

これらの出願に記載されている距離センサは、実質的に人間の目に見えない波長の光ビーム（例．赤外線）を視野内に投射する投光システム（例．レーザ、回折性光学素子及び／又はその他の協働する諸部材を備えるもの）を有している。それら光ビームの拡散・散開により（ドット、ダッシュその他の人為像の）パターンを発生させることができ、相応な受光システム（例．レンズ、撮像デバイス及び／又はその他の部材）によりそれを検出することができる。そのパターンが視野内の物体上に入射しているときには、その視野の画像１枚又は複数枚におけるそのパターンの外見（例．ドット、ダッシュその他の人為像の位置関係）、例えばそのセンサの受光システムにより捉えた画像でのそれに基づき、そのセンサからその物体までの距離を計算することができる。その物体の形状及び寸法も求めることができる。

例えば、そのパターンの外見はその物体までの距離で以て変化しうる。一例としては、そのパターンがドットのパターンで以て構成されている場合、それらのドットは、その物体がそのセンサに近いほど互いに近くに見えるであろうし、その物体がそのセンサから遠ざかるほど互いに離れて見えるであろう。

一例に係る装置は投光システム、受光システム及びコントローラを有する。その投光システムは、人眼不可視波長（人間の目にとり不可視な波長）の光ビームを複数本投射する。それら複数本の光ビームが、表面上への入射時にその面上でパターンを形成する。受光システムは、その面上のパターンの画像を捉える。コントローラは、その面上パターン画像に基づきその面までの距離を計算する。受光システムはレンズ、撮像センサ、並びにそれらレンズ・撮像センサ間に配置された第１バンドパスフィルタを有する。その撮像センサは、人眼可視波長群（人間の目にとり可視な波長群）の光に感応する第１サブセットのフォトディテクタ群、並びに上掲の人眼不可視波長の光に感応する第２サブセットのフォトディテクタ群を有する。バンドパスフィルタは、少なくとも、その範囲がその人眼可視波長群の光に対応している第１通過域、並びにその範囲がその人眼不可視波長の光に対応している第２通過域を有する。

別例に係る方法では、距離センサの処理システムによりその距離センサの投光システムを制御することで、人眼不可視波長の光を含む複数本の光ビームを投射させ、ひいてはそれら複数本の光ビームを表面上に入射させることでそれらビームによりその面上にパターンを形成させ、同処理システムによりその距離センサの受光システムを制御することでその面上のパターンの画像を捉え、そして同処理システムによりその面上パターン画像に基づきその面までの距離を計算する。その受光システムは、レンズと、複数個のフォトディテクタを備える撮像センサ、但しそれら複数個のフォトディテクタのなかに人眼可視波長群の光に感応する第１サブセットのフォトディテクタ群並びに上掲の人眼不可視波長の光に感応する第２サブセットのフォトディテクタ群が含まれている撮像センサと、それらレンズ・撮像センサ間に配置された第１バンドパスフィルタ、但しその範囲がその人眼可視波長群の光に対応している第１通過域並びにその範囲がその人眼不可視波長の光に対応している第２通過域を少なくとも有する第１バンドパスフィルタとを有する。

別例に係る非一時的機械可読格納媒体は、距離センサのプロセッサにより実行可能な命令群で以て符号化されており、実行時にはその命令群の許でそのプロセッサが諸動作を実行するものである。それら動作には、投光システムを制御することで人眼不可視波長の光を含む複数本の光ビームを投射させ、ひいてはそれら複数本の光ビームを表面上に入射させることでそれらビームによりその面上にパターンを形成させる動作と、受光システムを制御することでその面上のパターンの画像を捉える動作と、その面上パターン画像に基づきその面までの距離を計算する動作とが含まれる。その受光システムは、レンズと、複数個のフォトディテクタを備える撮像センサ、但しそれら複数個のフォトディテクタのなかに人眼可視波長群の光に感応する第１サブセットのフォトディテクタ群並びに上掲の人眼不可視波長の光に感応する第２サブセットのフォトディテクタ群が含まれる撮像センサと、それらレンズ・撮像センサ間に配置された第１バンドパスフィルタ、但しその範囲がその人眼可視波長群の光に対応している第１通過域並びにその範囲がその人眼不可視波長の光に対応している第２通過域を少なくとも有する第１バンドパスフィルタとを有する。

本件開示の距離センサの例を描いたブロック図である。 図１の撮像センサの一例を描いた図である。 図１に描かれている距離センサ例の受光システムに備わるフィルタ及び撮像センサの波長伝達特性例を描いたグラフである。 図１に描かれている距離センサ例の受光システムに備わるフィルタ及び撮像センサの波長伝達特性例を描いたグラフである。 図１に描かれている距離センサに備わる投光システム及び照明システムからの放射の相対タイミングを示すタイミングチャート例を描いた図である。 本件開示に係る三次元深さ感知及び二次元画像捕捉用距離センサ動作方法の一例を描いたフロー図である。 三次元深さ感知及び二次元画像捕捉用距離センサを動作させる電子デバイス例の上位ブロック図である。

本件開示では、複数個の通過域を有するバンドパスフィルタが備わる三次元センサを動作させる装置、方法及び非一時的コンピュータ可読媒体について、幅広く記述する。先に論じた通り、距離センサ例えば米国特許出願第１４／９２０２４６号、第１５／１４９３２３号及び第１５／１４９４２９号に記載のそれでは、光ビームを投射しその拡散・散開により物体所在視野内に（例．ドット、ダッシュその他の人為像からなる）パターンを発生させることで、その物体までの距離（及び潜在的にはその物体の形状及び寸法）を求めている。それら光ビームは、実質的に人眼不可視だが（例．その受光システムに備わる）相応な検出器にとっては可視な波長にて発光する１個又は複数個のレーザ光源から投射することができる。その上で、その物体までの三次元距離を、その検出器にとってのそのパターンの外見に基づき、計算することができる。

諸例によれば、その受光システムの検出器を、赤色、緑色、青色、赤外（ＲＧＢ＋ＩＲ）センサを備えるものとすることができる。ＲＧＢ＋ＩＲセンサでは、通常、個別の感知素子（例．フォトディテクタにバンドパスフィルタを組み合わせたもの）によって可視光，不可視光（例．赤外線）双方の画像を捉える。これにより、その距離センサにて、物体の二次元（例．ＲＧＢ）画像及び三次元（例．ＩＲ）深さマップを同時作成することが可能となる。そうした用途では、通常、ＲＧＢ＋ＩＲセンサの赤外線感知素子にて、その投光システムにより投射される赤外光の波長を中心とする狭帯域フィルタリング動作が行われる。

しかしながら、ＲＧＢ＋ＩＲセンサの主目的は多くの場合通常の赤外線画像を捉えることであるので、赤外線感知素子（より具体的にはその赤外バンドパスフィルタ）の伝達帯域幅が広過ぎて、二次元画像及び三次元画像の同時捕捉を行えないことがある。例えば、（二次元画像の捕捉に用いられる）可視波長群の光に発する雑音により、（三次元深さマッピングに際し距離計算に用いられる）不可視波長群の光の検出が難しくなることがある。更に、その赤外バンドパスフィルタをより狭帯域な干渉フィルタ（例．被覆フィルタ）で以て置き換えるにしても、サイズ及び／又はコスト上の懸念故に現実的ではなかろう。

本件開示の諸例にて距離センサに備わる受光システムでは、撮像センサがバンドパスフィルタを有し、そのバンドパスフィルタが少なくとも２個の通過域（即ち通過可能な周波数域又は波長域）、即ち可視光（即ち人間の目にとり可視な光、例えばＲＧＢ波長の光）を通す第１通過域並びに不可視光（即ち人間の目にとり可視でない光、例えば赤外波長の光）を通す第２通過域を有する。即ち、不可視光を、撮像センサに備わるフォトディテクタのうちその不可視光を検出しうるよう構成されているフォトディテクタ群には通す一方、その不可視光を検出しうるようには構成されていないフォトディテクタ群に対しては阻止する。

本件開示の諸例につきＲＧＢ＋ＩＲセンサの文脈例に沿い記述するけれども、本願開示の受光システムに備わる検出器を、それに代え、シアン、マゼンタ、黄色（ＣＭＹ）＋ＩＲセンサを備えるものとしてもよい。即ち、下記の諸例ではＲＧＢ＋ＩＲセンサやＲＧＢ域内波長群の光を参照するけれども、察せられる通り、そうした参照は何れもＣＭＹ＋ＩＲセンサ及びＣＭＹ域内波長群の光に遜色なく適用することができる。

図１は本件開示の距離センサの例１００を描いたブロック図である。本距離センサ１００は、物体又は表面１０２までの距離を検出するのに用いることができる。一例に係る距離センサ１００は、米国特許出願第１４／９２０２４６号、第１５／１４９３２３号及び第１５／１４９４２９号に記載の距離センサと、多くの部材を同じくしている。例えば、一例に係る距離センサは投光システム１０４、受光システム１０６及びコントローラ１０８を備えている。必須ではないが、距離センサ１００が更に照明システム１１０を備えていてもよい。

一例としては、その投光システムを、米国特許出願第１６／７０１９４９号に記載の構成のうち何れかに似た要領に従い構成することができる。例えば、投光システム１０４を、大略、レーザ発光器１１２、レンズ１１４及び回折性光学素子（ＤＯＥ）１１６を備えるものとすることができる。そのレーザ発光器１１２を、実質的に人眼不可視な波長の光ビーム（例．赤外光）を放射するレーザ発光ダイオード（ＬＥＤ）を少なくとも１個備えるものとすることができる。一例としては、そのレーザ発光器１１２を、少なくとも１個の垂直共振器面発光レーザ（ＶＣＳＥＬ）又は少なくとも１個の端面発光レーザ（ＥＥＬ）を備えるものとする。

レンズ１１４は、レーザ発光器１１２により放射された光ビームを拡大するよう構成されたレンズを備えるものとすることができる。例えば、そのレンズ１１４を、正の屈折力を有する集束レンズ（例．両凸又は平凸レンズ）を備えるものとすることができる。この場合、レンズ１１４を通る平行化光ビームをそのレンズ１１４の後方にある焦点に収束させ、その後にその焦点から散開・拡散させることができる。

回折性光学素子１１６は、円錐鏡、ホログラフィック膜、格子その他、干渉及び回折を利用し平行化（例．単一）ビームから光ビーム分布を生成する位相素子を備えるものとすることができる。回折性光学素子１１６はレンズ１１４の焦点又はその付近、例えばレンズ１１４・表面１０２間に配置することができる。即ち、それら光ビームを回折性光学素子１１６に通すこと、またそのときにそれらビームがそのレンズ１１４の焦点にて収束し又は平行光化されるようにすることができる。その上で、回折性光学素子１１６によりその平行化光を複数本の光ビームへと分岐させ分布させることで、面１０２上に投射パターンを発生させることができる。

図１にはレーザ発光器１１２、レンズ１１４及び回折性光学素子１１６の連携体が１個しか描かれていないが、注記すべきことに、投光システム１０４に備わるレーザ発光器／レンズ／回折性光学素子連携体の個数は何個にもすることができる。例えば、複数個のレーザ発光器／レンズ／回折性光学素子連携体を、受光システム１０６を巡り配列し、例えばその受光システム１０６がそれら複数個のレーザ発光器／レンズ／回折性光学素子連携体の中心に位置するようにすることができる。その場合、それら複数個のレーザ発光器／レンズ／回折性光学素子連携体の個々のレーザ発光器／レンズ／回折性光学素子連携体を、図１に描かれているレーザ発光器１１２、レンズ１１４及び回折性光学素子１１６に類する要領で構成することができる。

一例としては、投光システム１０４により放射される複数本の光ビームを、中心軸に発する複数通りの方向に沿い扇状に拡がらせる。それら複数本の光ビームにおける各対ビーム間の角度を等しくすることができる。それら複数本の光ビームが面１０２上に入射される際に、個々のビームによりその面１０２上に光点（例．ドット、ダッシュ等）を発生させることができる。全体としては、それら複数本の光ビームにより生成される光点群により上述のパターン、即ちそれをもとに面１０２までの距離を計算できるパターンが形成される。例えば、そのパターンを、複数本のロー及びカラムをなし複数個の点が並ぶグリッドを有するものとすることができる。

本距離センサ１００の受光システム１０６は、投光システム１０４により面１０２上に投射されたパターンの反射像を捉えるよう配置されている。一例としては、その受光システム１０６を、大略、レンズ１１８、フィルタ１２０及び撮像センサ１２２を備えるものとすることができる。

一例としては、そのレンズ１１８を、最大１８０°に及ぶ視野（例．半球視野）を発生させる広角レンズ、例えば魚眼レンズを備えるものとすることができる。

一例としては、そのフィルタ１２０を、複数個の通過域を有する第１バンドパスフィルタ（例．干渉フィルタ）を備えるものとし、それら複数個の通過域のうち少なくとも第１通過域及び第２通過域を、別々の波長の光を通す（が他の全ての波長の光を阻止する）よう構成することができる。例えば、その第１通過域では一通り又は複数通りの人眼可視波長の光（例．ＲＧＢ波長群）が伝達される一方、第２通過域では一通り又は複数通りの人眼不可視波長の光（例．赤外波長）が伝達されるようにすることができる。一例としては、第１バンドパスフィルタのうち第２通過域対応部分を被覆付とすることができる。

一例としては、その撮像センサ１２２を、複数個のフォトディテクタ（或いは画素）を備え、それら複数個のフォトディテクタがアレイ状に配列されたものとすることができる。例えば図２には、図１の撮像センサ１２２の一例が描かれている。図２に描かれている通り、撮像センサ１２２を、複数個のフォトディテクタ２００_１～２００_ｎ（以下、個別には「フォトディテクタ２００」と呼び集合としては「フォトディテクタ群２００」と呼ぶ）を備え、それらフォトディテクタ２００が正方形（例．６×６）アレイの態で配列されたものとすることができる。とはいえ、他例にて、アレイがより大きなもの又は小さなものとされること及び別の形状とされることもあろう。フォトディテクタ２００は、相補型金属酸化物半導体（ＣＭＯＳ）フォトディテクタで以て構成することができる。

図２のキー欄に示されている通り、それら複数個のフォトディテクタ２００のなかに、相異なる波長の光に感応するフォトディテクタを含めることができる。例えば、それら複数個のフォトディテクタのなかに、人眼可視波長群の光に感応するフォトディテクタ群、例えば赤色フォトディテクタ（例．フォトディテクタ２００_１）、緑色フォトディテクタ（例．フォトディテクタ２００_２）及び青色フォトディテクタ（例．フォトディテクタ２００_ｎ－１）を含めることができる。それら複数個のフォトディテクタのなかに、人眼不可視波長の光に感応するフォトディテクタ群、例えば赤外フォトディテクタ（例．フォトディテクタ２００_ｎ）も含めることができる。即ち、それら複数個のフォトディテクタのなかに、人眼可視波長群の光に感応する第１サブセットのフォトディテクタ群（例．ＲＧＢフォトディテクタ）と、上記人眼不可視波長の光に感応する第２サブセットのフォトディテクタ群（例．ＩＲフォトディテクタ）とを含めることができる。

フィルタ１２０の通過域はそれに従い配置すればよい。例えば、可視赤色光を通す通過域を撮像センサ１２２の赤色フォトディテクタ２００上、可視緑色光を通す通過域を撮像センサ１２２の緑色フォトディテクタ２００上、可視青色光を通す通過域を撮像センサ１２２の青色フォトディテクタ２００上、不可視赤外光（又はその他の人眼不可視波長の光）を通す通過域を撮像センサ１２２の赤外フォトディテクタ２００上に配置すればよい。即ち、三次元距離感知向けに放射された赤外光をＩＲフィルタ付のフォトディテクタ２００のみに入射させる一方、他の波長の光をＲＧＢフィルタ付のフォトディテクタによりカラー画像として記録することができる。即ち、撮像センサ１２２により、赤色、緑色、青色及び赤外を同時検出し、赤外のみを検出し、或いは赤色、緑色及び青色のみを検出することができる。三次元距離感知は投光パターンの強度に依存し二次元撮像は外の明るさに依存するので、撮像センサ１２２のＩＲ部分に相応しい露出時間とＲＧＢ部分のそれとは異なりうる。

照明システム１１０を本距離センサ１００に設ける場合、人眼不可視波長の光（例．赤外光）を生成するようそれを構成することができる。一例としては、照明システム１１０を、光源１２４、反射器１２６及びフィルタ１２８を備えるものとすることができる。

その光源１２４はＬＥＤ光源、例えばパルス電流により駆動される１個又は複数個の白色ＬＥＤを備えるものとすることができる。光源１２４は、可視波長，不可視（例．赤外）波長双方を含む光スペクトルを放射可能なものとすることができる。反射器１２６は、光源１２４により放射された光を均等要領で散開・拡散させうるよう形状設定された反射面（例．鏡）を備えるものと、することができる。例えば、その反射器１２６を、フラッシュディフューザを備えるものとすることができる。その反射器１２６を、円錐、放物その他の形状を有するものとすることができる。フィルタ１２８は、人眼不可視波長の光（例．赤外光）を通す一方で光源１２４により放射されたその他の波長の光を阻止する第２バンドパスフィルタを備えるものと、することができる。

コントローラ１０８は、投光システム１０４、受光システム１０６及び照明システム１１０に信号を送るよう動作させることができる。例えば、コントローラ１０８から投光システム１０４に信号を送ることで、その投光システム１０４から面１０２上へと光パターンを投射させることができる。コントローラ１０８により、投光システム１０４が面１０２上に光パターンを投射する期間（持続時間）、並びにその投光システム１０４が面１０２上に光パターンを投射するタイミング（時点）を、制御することもできる。例えば、コントローラ１０８により、投光システム１０４のレーザ発光器１１２により放射されるパルスの持続時間を制御することができる。

コントローラ１０８から受光システム１０６に信号を送ることで、その受光システム１０６にて、面１０２上に投射された光パターンを捉えさせること及び／又はその面１０２の二次元（例．ＲＧＢ）画像を捉えさせることもできる。更に例えば、コントローラ１０８により、受光システム１０６の露出時間（例．その受光システムのシャッタが開いている期間）、並びにその受光システム１０６が（面１０２の画像を含め）画像を捉えるタイミングを制御することができる。一例としては、コントローラ１０８にて、受光システム１０６向けに二通りの別々な露出持続時間を設定すること、即ちその間に投光システム１０４により面１０２上に光又はパターンが投射されそれと同時にその面１０２の画像が捉えられる（例．三次元距離感知向けの）第１露出持続時間と、その期間のうち投光システム１０４により面１０２上に光パターンが投射されていないときにその面１０２の画像が捉えられる（例．二次元画像捕捉向けの）第２露出持続時間とを設定することができる。一例としては、コントローラ１０８により第１露出持続時間・第２露出持続時間の間で交番させることができる。

コントローラ１０８から照明システム１１０に信号を送り、その照明システム１１０を発光させることもできる。コントローラ１０８により、その照明システム１１０が発光している期間、並びにその照明システム１１０が発光するタイミングを制御することもできる。例えば、コントローラ１０８により、照明システム１１０の光源１２４により放射されるパルスの持続時間を制御することができる。

更に例えば、コントローラ１０にて、受光システム１０６が捉えた画像を処理することができる。例えば、コントローラ１０８を、捉えた画像のデータ（例．三次元距離データ及び二次元画像データ）を処理することで面１０２までの距離を計算するよう、構成することができる。例えば、米国特許出願第１４／９２０２４６号、第１５／１４９３２３号及び第１５／１４９４２９号に記載の方法に従い距離を計算することができる。即ち、一例としては、コントローラ１０８を、プロセッサ、例えば図６に描かれており後に詳述されるプロセッサ６０２を備えるものとすることができる。

図３Ａ及び図３Ｂは、図１に描かれている距離センサ例１００の受光システム１０６に備わるフィルタ１２０及び撮像センサ１２２の波長伝達特性例を描いたグラフである。より具体的には、図３Ａ及び図３Ｂには、同例に係るフィルタ１２０及び撮像センサ１２２に関し、（伝達された光の百分率たる）量子効率と波長（ナノメートル単位）との関係がプロットされている。

図３Ａに描かれている例では、フィルタ１２０の赤外通過域が、撮像センサ１２２の赤外フォトディテクタの通過域と実質一致し又はより狭くなっている。更に、投光システム１０４により投射されるコヒーレント光の波長が、フィルタ１２０の赤外通過域と撮像センサ１２２の赤外フォトディテクタの通過域との重複域に一致している。

図３Ｂに描かれている例では、フィルタ１２０の赤外通過域が撮像センサ１２２の赤外フォトディテクタの通過域と部分一致している。更に、投光システム１０４により投射されるコヒーレント光の波長が、フィルタ１２０の赤外通過域と撮像センサ１２２の赤外フォトディテクタの通過域との重複域に一致している。

先に論じた通り、このコヒーレント光は投光システム１０４により放射され、面１０２によって反射され、受光システム１０６の撮像センサ１２２上で像を形成し、そしてその撮像センサ１２２では赤外フォトディテクタ群のみにて捉えられる（その撮像センサ１２２がＲＧＢフォトディテクタをも有している場合）。更に、バンドパスフィルタ例えばフィルタ１２０が受光システム１０６内に設けられているときには、投光システム１０６により放射され赤外フォトディテクタにより受光されることとなる波長以外の波長の光（例．可視又は非赤外波長）が顕著にカットされるので、受光システム１０６の信号対雑音比（ＳＮＲ）及びその受光システム１０６にて捉えられる画像を改善することができる。同時に、その撮像センサ１２２の他のフォトディテクタ群（例．ＲＧＢフォトディテクタ）にて可視波長の光を捉え、通常の二次元（例．ＲＧＢ）画像を得ることができる。

即ち、（可視光，不可視光双方を含め）複数個の通過域を有するバンドパスフィルタ１２０を距離センサの受光システム１０６内に設けることで、投光システム１０４により放射された赤外光が撮像センサ１２２の赤外フォトディテクタ２００にて受光されるようにしつつ、投光システム１０４により放射された赤外光がＲＧＢフォトディテクタ２００にて受光されないようにすることができる。更に、バンドパスフィルタ１２０により、投光システム１０４により放射される波長（群）周辺の諸波長をカットすることで、受光システム１０６のＳＮＲを低減すること及び本距離センサ１００の三次元感知能を改善することもできる。

本件開示の更なる例によれば、本願開示の構成（バンドパスフィルタ１２０を有するもの）を、多様な種類のＲＧＢ＋ＩＲ撮像センサとの組合せで実施することができる。

更に例えば、本願開示の構成を、ＲＧＢ二次元画像ではなく赤外二次元画像（例．暗視野像）を生成する構成の距離センサとの組合せで、用いることもできる。その場合に、二次元撮像に用いられる赤外照明を、三次元距離感知向けに放射される赤外光とは別個に放射させること（例．別個の赤外光源から及び／又は異なる時点で放射させて干渉を減らすこと）ができる。二次元撮像に用いられる赤外照明向けの露出時間と、三次元距離感知向けに放射される赤外光向けのそれとを、異なるものにすることもできる（そしてその相違を撮像対象物体（群）の変化に従い変化させることができる）。とはいえ、二次元撮像に用いられる赤外照明には、なおも、バンドパスフィルタ１２０の赤外通過域内にある赤外波長が含まれうる。

更に例えば、本件開示の距離センサ１００を、投射画像を特徴点として用い距離を検出するよう構成されたステレオカメラ構成の態で実施することができる。

図４には、図１に描かれている距離センサ１００に備わる投光システム１０４及び照明システム１１０からの放射の相対タイミングを示すタイミングチャート例が描かれている。上述の通り、照明システム１１０により放射される光の波長群のなかに、可視領域，不可視（例．赤外）領域又は波長を共に含めることができる。

照明システム１１０により放射される光の波長が赤外である場合、受光システムの撮像センサ１２２に備わる赤外フォトディテクタ群によって、その照明システム１１０により放射された光を検出することができる。この場合、照明システム１１０により放射された光が、投光システム１０４により放射された光ビーム（これも赤外波長を含みうる）と干渉しうる。これにより受光システムの能力、特に投光システム１０４により投射された光パターンを正確に検出する能力が損なわれうる。

即ち、図４に描かれている通り、投光システム１０４及び照明システム１１０を（例．コントローラ１０８により）制御し、それら投光システム１０４及び照明システム１１０が別々の時点で自身の光を放射するようにすることで、撮像センサ１２２における干渉を減らすことができる。

加えて、タイミングオフセットｏ_１及びｏ_２により描かれている通り、受光システムのシャッタタイミングを制御することで、シャッタが開いている時間が、（投光システム１０４又は照明システム１１０により）光が放射されている時間と、厳密に同一にならないようにすることができる。例えば、発光開始の直前又は直後にシャッタを開かせること、及び／又は、発光開始の直前又は直後にシャッタを閉じることができる。

図５は、本件開示に係る三次元深さ感知及び二次元画像捕捉用距離センサ動作方法の一例５００を描いたフロー図である。本方法５００は、例えば、図１に描かれているコントローラ１０８により実行することも、図６に描かれており後に詳論されるプロセッサ６０２により実行することもできる。例示を目的として、本方法５００を、処理システムにより実行されるものとして記述する。

ステップ５０２にて本方法５００を開始することができる。ステップ５０４では、処理システムにより距離センサの投光システムを制御することで、表面上（例．その距離を検出すべき物体等）に光パターンを投射させること、特に人眼不可視波長を有する複数本の光ビームにより光パターンを生成することができる。例えば、それら複数本の光ビームを、赤外光を含むものとすることができる。先に論じた通り、その光パターンを、その面上でグリッド等のパターンを形成するよう配列された光点群を含むものとすることができる。

ステップ５０６では、その処理システムによりその距離センサの受光システムを制御することで、その面上の光パターンの三次元画像を捉えることができる；但し、その受光システムを、ＲＧＢ＋ＩＲ撮像センサ及びバンドパスフィルタを有するものとし、そのバンドパスフィルタを、不可視波長を通す少なくとも１個の通過域を含め複数個の通過域を有するものとする。

例えば、そのＲＧＢ＋ＩＲ撮像センサを、複数個のフォトディテクタ（又は画素）を備えるものとし、それら複数個のフォトディテクタのなかに、相異なる波長の光に感応するフォトディテクタ群を含めることができる。一例としては、それら複数個のフォトディテクタのなかに、人眼可視波長群の光に感応するフォトディテクタ群、例えば赤色フォトディテクタ、緑色フォトディテクタ及び青色フォトディテクタを含めることができる。それら複数個のフォトディテクタのなかに、人眼不可視波長の光に感応するフォトディテクタ群、例えば赤外フォトディテクタを含めることもできる。

この場合に、バンドパスフィルタに備わる複数個の通過域のなかに、少なくとも第１通過域及び第２通過域を含めることができる。それら第１通過域及び第２通過域を、相異なる波長の光を通す（が他の全ての波長の光を阻止する）よう構成することができる。例えば、第１通過域を、一通り又は複数通りの人眼可視波長（例．ＲＧＢ波長）の光を伝達するものとする一方、第２通過域を、一通り又は複数通りの人眼不可視波長（例．赤外波長）の光を伝達するものとすればよい。

即ち、ステップ５０６の場合、ステップ５０４にて放射された不可視（例．赤外）光を、撮像センサのフォトディテクタのうち不可視光を検出しうるよう構成されているものにて受光すること（そこへと通すこと）ができ、それでいて、その撮像センサの他のフォトディテクタ（例．ＲＧＢフォトディテクタ）ではその不可視光が受光されない（阻止される）ようにすることができる。

ステップ５０８では、ステップ５０６にて捉えられた画像に基づき、処理システムにより、その面までの距離を計算することやその面の三次元深さマップを計算することができる。これらの計算は、米国特許出願第１４／９２０２４６号、第１５／１４９３２３号及び第１５／１４９４２９号に記載の通り実行することができる。

オプション的なステップ５１０（仮想線で描出）では、処理システムによりその距離センサの照明システムを制御することで、その面を照明することができ、またその照明システムにより放射される光に、人眼不可視波長を有する光及び人眼可視波長を有する光を含めることができる。

オプション的なステップ５１２（仮想線で描出）では、処理システムによりその距離センサの受光システムを制御することで、照明されている面の二次元画像を捉えることができる。即ち、ステップ５１２の場合、ステップ５１０にて放射された可視（例．ＲＧＢ）光を、撮像センサのフォトディテクタのうち可視光を検出しうるよう構成されているものにて受光すること（そこへと通すこと）ができ、それでいて、その撮像センサの他のフォトディテクタ（例．赤外フォトディテクタ）ではその可視光が受光されない（阻止される）ようにすることができる。

ステップ５１４では本方法５００を終了させることができる。

注記すべきことに、明示的には特定しないが、上述した方法５００を構成する諸ブロック、機能又は動作のうち幾つかに、具体的用途向けの格納、表示及び／又は出力を組み込むことができる。言い換えれば、本方法５００で論じたあらゆるデータ、レコード、フィールド及び／又は中間結果を、その具体的用途を踏まえ格納し、表示させ及び／又は他デバイスへと出力することができる。更に、図５中の諸ブロック、機能又は動作のうち判別動作に言及し又は決定を伴うものに、その判別動作の両分岐が実行されるという含意はない。言い換えれば、その判別動作の結果次第で、その判別動作の分岐のうち一方が実行されなくてもよい。

図６に、三次元深さ感知及び二次元画像捕捉用距離センサを動作させる電子デバイスの例６００の上位ブロック図を示す。このように、本電子デバイス６００を、電子デバイス又はシステム例えば距離センサに備わるプロセッサとして（例．図１中のコントローラ１０８として）実施することができる。

図６記載の通り、本電子デバイス６００は、ハードウェアプロセッサ素子６０２例えば中央処理ユニット（ＣＰＵ）、マイクロプロセッサ又はマルチコアプロセッサと、メモリ６０４例えばランダムアクセスメモリ（ＲＡＭ）及び／又はリードオンリメモリ（ＲＯＭ）と、三次元深さ感知及び二次元画像捕捉用距離センサを動作させるモジュール６０５と、様々な入出力デバイス６０６例えば格納装置、その非限定的な例たるテープドライブ、フロッピードライブ、ハードディスクドライブ又はコンパクトディスクドライブ、受信機、送信機、ディスプレイ、出力ポート、入力ポート、並びにユーザ入力デバイス例えばキーボード、キーパッド、マウス、マイクロフォン、カメラ、レーザ光源、ＬＥＤ光源等とを備えている。

プロセッサ素子が１個しか示されていないが、注記すべきことに、本電子デバイス６００にて複数個のプロセッサ素子を用いることもできる。更に、図では電子デバイス６００が１個しか示されていないが、先に論じた（諸）方法を個別実証例向けに分散的又は並列的要領にて実施する場合、即ち上掲の（諸）方法の諸ブロック又はその（諸）方法全体を複数個の又は並列的な電子デバイス上で実行する場合には、それら複数個の電子デバイスそれぞれをこの図の電子デバイス６００により想定上表すことができる。

注記すべきことに、本件開示は、機械可読命令群により実施すること、及び／又は、機械可読命令群とハードウェアとの組合せ、例えば用途特化集積回路（ＡＳＩＣ）、プログラマブル論理アレイ（ＰＬＡ）、その例たるフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、或いはハードウェアデバイス上に展開されたステートマシン、汎用コンピュータ又は他の何らかのハードウェア等価物を用いるそれとの組合せで実施することができ、例えば先に論じた（諸）方法に関するコンピュータ可読命令群を用いることで、先に開示した（諸）方法の諸ブロック、機能及び／又は動作を実行するようハードウェアプロセッサを構成することができる。

一例としては、本モジュール或いは三次元深さ感知及び二次元画像捕捉用距離センサ動作プロセス６０５に係る命令群及びデータ、例えば機械可読命令群を、メモリ６０４にロードしてハードウェアプロセッサ素子６０２により実行することで、方法５００との関連で先に論じた諸ブロック、機能又は動作を実施することができる。更に、ハードウェアプロセッサにより命令群を実行することで「諸動作」を実行する場合、そのなかに、それらの動作を直接実行するハードウェアプロセッサ、及び／又は、他のハードウェアデバイス又は部材例えばコプロセッサ等を支援し、それに指図し又はそれと協働してそれら動作を実行するハードウェアプロセッサを含めることができよう。

上述の（諸）方法に関する機械可読命令群を実行するプロセッサのことを、プログラムドプロセッサ又は専用プロセッサと考えることができる。従って、本件開示の三次元深さ感知及び二次元画像捕捉用距離センサを動作させる本件モジュール６０５を、実体的又は有形的な（広義には非一時的な）コンピュータ可読格納デバイス又は媒体、例えば揮発性メモリ、不揮発性メモリ、ＲＯＭメモリ、ＲＡＭメモリ、磁気若しくは光ドライブ、デバイス若しくはディスケット等に格納することができる。より具体的には、そのコンピュータ可読格納デバイスを、プロセッサ又は電子デバイス例えばセーフティセンサシステムのコンピュータ又はコントローラによりアクセスされるべき情報例えばデータ及び／又は命令群を格納する能力を提供する、何れの有形デバイスを備えるものとすることもできる。

察せられる通り、先に論じたものその他の諸特徴及び諸機能或いはその代替物の諸類型を組み合わせ、多様なシステム又はアプリケーションの態にすることができる。現在のところ発見も予期もされていない様々な代替物、修正物又はそれらの変形物であり今後作成されるものも、想定上、後掲の特許請求の範囲に包含される。

Claims (18)

1. 人眼不可視波長の光を含む複数本の光ビームを投射し、ひいてはそれら複数本の光ビームを表面上に入射させることでそれら複数本のビームによりその面上にパターンを形成させる投光システムと、
   前記表面上のパターンの第１の画像と前記表面の第２の２次元画像とを取得する受光システムであり、
   レンズ、
   複数個のフォトディテクタを備える撮像センサであり、それら複数個のフォトディテクタのなかに、人眼可視波長群の光に感応する第１サブセットのフォトディテクタ群、並びに上記人眼不可視波長の光に感応する第２サブセットのフォトディテクタ群が含まれる撮像センサ、並びに、
   前記レンズと前記撮像センサとの間に配置された第１バンドパスフィルタであって、少なくとも、その範囲が前記人眼可視波長群の光のスペクトルに対応している第１通過域と、その範囲が前記人眼不可視波長の光に対応している第２通過域とを含む第１バンドパスフィルタ、
   を備える受光システムと、
   照明システムであり、
   前記人眼可視波長群の光と前記人眼不可視波長の光とを含む光のスペクトルを放射する光源、及び、
   前記光源によって放射される前記人眼不可視波長の光を通過させて前記表面を照らす一方、前記光源によって放射される前記人眼可視波長群の光を遮断する第２バンドパスフィルタ、
   を備える照明システムと、
   前記面上のパターンの前記第１の画像に基づきその面までの距離を計算するコントローラと、
   を備え、
   前記コントローラは、前記投光システムにより前記面上に前記複数本の光ビームが投射され前記面の画像が捉えられる第１露出持続時間と、前記投光システムにより前記面上に前記複数本の光ビームが投射されていないときに前記面の画像が捉えられる第２露出持続時間と、を設定し、
   前記コントローラは、第１期間中に複数本の光ビームを投射するように前記投光システムを制御し、前記第１期間と重ならない第２期間中に前記人眼可視波長群の光と前記人眼不可視波長の光とを含む光のスペクトルを放射するように前記照明システムを制御し、前記第１期間中に前記受光システムによって前記第１画像が捕捉される前記第１露出持続時間を設定し、前記第２期間中に前記第２の２次元画像が捕捉される前記第２露出持続時間を設定する、
   装置。
2. 請求項１の装置であって、上記人眼不可視波長の光が赤外光を含んでいる装置。
3. 請求項１の装置であって、上記人眼可視波長群の光が赤色、緑色及び青色光を含んでいる装置。
4. 請求項１の装置であって、上記人眼可視波長群の光がシアン、マゼンタ及び黄色光を含んでいる装置。
5. 請求項１の装置であって、第２通過域が、第２サブセットのフォトディテクタ群が感応する光の波長と重なる装置。
6. 請求項１の装置であって、第２通過域が、第２サブセットのフォトディテクタ群が感応する光の波長より狭い装置。
7. 請求項１の装置であって、第１通過域が、第１サブセットのフォトディテクタ群が感応する光の波長域と同じである装置。
8. 請求項１の装置であって、上記複数本の光ビームがコヒーレント光を含む装置。
9. 請求項１の装置であって、上記投光システムが垂直共振器面発光レーザを備える装置。
10. 請求項１の装置であって、上記バンドパスフィルタが干渉フィルタを備える装置。
11. 請求項１の装置であって、上記コントローラが、更に、上記投光システムによる上記複数本のビームの投射を制御し且つ上記受光システムによる上記画像の捕捉を制御する装置。
12. 請求項１の装置であって、第１バンドパスフィルタが、上記人眼不可視波長の光を第２サブセットのフォトディテクタ群へと通せるよう、しかし第１サブセットのフォトディテクタ群への通過は阻止するよう、配置されている装置。
13. 請求項１２の装置であって、第１バンドパスフィルタが、更に、上記人眼可視波長群の光を第１サブセットのフォトディテクタ群へと通せるよう、しかし第２サブセットのフォトディテクタ群への通過は阻止するよう、配置されている装置。
14. 距離センサの処理システムによりその距離センサの投光システムを制御することで、人眼不可視波長の光を含む複数本の光ビームを投射させ、それら複数本の光ビームを表面上に入射させることでそれら複数本の光ビームによりその面上にパターンを形成し、
    上記距離センサの受光システムを上記処理システムにより制御することで前記面上のパターンの第１の画像と前記表面の第２の２次元画像とを取得し、但しその受光システムを、
    レンズ、
    複数個のフォトディテクタを備える撮像センサであり、それら複数個のフォトディテクタのなかに、人眼可視波長群の光に感応する第１サブセットのフォトディテクタ群、並びに上記人眼不可視波長の光に感応する第２サブセットのフォトディテクタ群が含まれる撮像センサ、並びに
    前記レンズと前記撮像センサとの間に配置された第１バンドパスフィルタであって、少なくとも、その範囲が前記人眼可視波長群の光のスペクトルに対応している第１通過域と、その範囲が前記人眼不可視波長の光に対応している第２通過域とを含む第１バンドパスフィルタ、
    を備えるものとし、
    光源が、前記人眼可視波長群の光と前記人眼不可視波長の光とを含む光のスペクトルを放射し、
    第２バンドパスフィルタが、前記光源によって放射される前記人眼不可視波長の光を通過させて前記表面を照らす一方、前記光源によって放射される前記人眼可視波長群の光を遮断し、
    前記投光システムにより前記面上に前記複数本の光ビームが投射され前記面の画像が捉えられる第１露出持続時間と、前記投光システムにより前記面上に前記複数本の光ビームが投射されていないときに前記面の画像が捉えられる第２露出持続時間と、を設定し、
    第１期間中に複数本の光ビームを投射するように前記投光システムを制御し、前記第１期間と重ならない第２期間中に前記人眼可視波長群の光と前記人眼不可視波長の光とを含む光のスペクトルを放射するように前記光源を制御し、前記第１期間中に前記受光システムによって前記第１画像が捕捉される前記第１露出持続時間を設定し、前記第２期間中に前記第２の２次元画像が捕捉される前記第２露出持続時間を設定する、
    前記処理システムにより、前記面上のパターンの前記第１の画像に基づきその面までの距離を計算する方法。
15. 請求項１４の方法であって、上記人眼不可視波長の光が赤外光を含んでいる方法。
16. 請求項１４の方法であって、更に、
    上記処理システムにより上記距離センサの照明システムを制御することで上記面を照明し、但しその照明システムにより放射される光に上記人眼可視波長群の光及び上記人眼不可視波長の光を含め、
    上記処理システムにより上記受光システムを制御することで、上記面の画像をその面が照明されている間に捉える方法。
17. 請求項１４の方法であって、第１バンドパスフィルタを、上記人眼不可視波長の光を第２サブセットのフォトディテクタ群へと通せるよう、しかし第１サブセットのフォトディテクタ群への通過は阻止するよう配置し、第１バンドパスフィルタを、更に、上記人眼可視波長群の光を第１サブセットのフォトディテクタ群へと通せるよう、しかし第２サブセットのフォトディテクタ群への通過は阻止するよう配置する方法。
18. 距離センサのプロセッサにより実行可能な命令群で以て符号化されており、実行時にはその命令群の許でそのプロセッサが諸動作を実行する非一時的機械可読格納媒体であって、当該諸動作が、
    投光システムを制御することで人眼不可視波長の光を含む複数本の光ビームを投射させ、ひいてはそれら複数本の光ビームを表面上に入射させることでそれら複数本の光ビームによりその面上にパターンを形成する動作と、
    受光システムを制御することで前記面上のパターンの第１の画像と前記表面の第２の２次元画像とを取得する動作であり、その受光システムが、
    レンズ、
    複数個のフォトディテクタを備える撮像センサであり、それら複数個のフォトディテクタのなかに、人眼可視波長群の光に感応する第１サブセットのフォトディテクタ群、並びに上記人眼不可視波長の光に感応する第２サブセットのフォトディテクタ群が含まれる撮像センサ、並びに
    前記レンズと前記撮像センサとの間に配置された第１バンドパスフィルタであって、少なくとも、その範囲が前記人眼可視波長群の光のスペクトルに対応している第１通過域と、その範囲が前記人眼不可視波長の光に対応している第２通過域とを含む第１バンドパスフィルタ、
    を備えるものである動作と、
    上記面上のパターンの上記画像に基づきその面までの距離を計算する動作と、
    を含み、
    光源が、前記人眼可視波長群の光と前記人眼不可視波長の光とを含む光のスペクトルを放射し、
    第２バンドパスフィルタが、前記光源によって放射される前記人眼不可視波長の光を通過させて前記表面を照らす一方、前記光源によって放射される前記人眼可視波長群の光を遮断し、
    前記投光システムにより前記面上に前記複数本の光ビームが投射され前記面の画像が捉えられる第１露出持続時間と、前記投光システムにより前記面上に前記複数本の光ビームが投射されていないときに前記面の画像が捉えられる第２露出持続時間と、が設定され、
    第１期間中に複数本の光ビームを投射するように前記投光システムが制御され、前記第１期間と重ならない第２期間中に前記人眼可視波長群の光と前記人眼不可視波長の光とを含む光のスペクトルを放射するように前記光源が制御され、前記第１期間中に前記受光システムによって前記第１画像が捕捉される前記第１露出持続時間が設定され、前記第２期間中に前記第２の２次元画像が捕捉される前記第２露出持続時間が設定される、
    非一時的機械可読格納媒体。

Images