JP6914158B2

JP6914158B2 - 測距センサ

Info

Publication number: JP6914158B2
Application number: JP2017184002A
Authority: JP
Inventors: 卓磨平松; 清水　隆行; 隆行清水
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2017-09-25
Filing date: 2017-09-25
Publication date: 2021-08-04
Anticipated expiration: 2037-09-25
Also published as: CN109596091A; JP2019060652A; CN109596091B; US11307293B2; US20190094342A1

Description

本発明は対象物の距離を測定する測距センサに関し、特にモバイル機器に好適に使用可能なTOF（Time-Of-Flight）方式の測距センサに関する。

スマートフォンなどのモバイル機器に内蔵されるカメラのオートフォーカス（AF：Auto Focus）制御に関して、実際の画像コントラストを利用してフォーカスを設定する従来の方式（CDAF：Contrast Detection AF）、または視差演算専用画素をRGB画素とともに集積化したイメージャを用いるPDAF（Phase Detection AF）方式が一般的である。これらに加えて、暗所でも動作可能なTOF（Time Of Flight）方式の測距センサを採用し、より高速なAF動作をアシストする方式が実用化されている。スマートフォンに実装可能な小型かつ低消費電力のTOF測距センサは、ドローンなどの自動化・無人化ロボティクス分野での衝突防止用途にも極めて有用である。

また、２次元画像に対してdepth情報（距離情報）を付与し、３次元空間マッピングを可能にするdepthカメラまたは３次元カメラ（３Ｄカメラ）は、VR／AR（Virtual Reality/Augmented Reality）、MR（Mixed Reality）またはSLAM（Simultaneous Localization and Mapping）技術を用いた新しいユーザインターフェースに向けたキーデバイスとなるが、これを実現するためのアプローチは、以下に述べるように多岐にわたっている。

まず、一般的なRGBカメラをベースとするシステムとしては、２台のカメラの視差からステレオマッチングをとり、対象物を抽出した上で距離マップへと逆演算するもの、または対象物に投影されたパターン光（structured light）を１台のカメラで観測した像の歪みから距離マップを逆演算するものなどが挙げられる。当然ながら、これらのシステムの演算コストは相当に大きくなる。

また、VR技術の先駆けとなった据え置き型ゲーム機の分野で、赤外線を定常的に振幅変調（CW-AM）して全空間に照射し、反射光の位相差を画素単位で抽出するTOF方式専用のイメージャ、いわゆるTOFカメラが実用化された（RGBカメラと組み合わせてRGBD（RGB＋Depth）カメラと称される場合がある。）。

一方、軍事または車載用途向けのLIDAR（Light Detection and Ranging）として、屋外で比較的長距離・高精度の測距性能が求められる場合には、送受信視野が数mrad以下と狭く外乱光を排除し易い１次元測距センサを、メカニカルスキャンする構成が古くから用いられてきた。この場合、TOF方式による測距は１ショットで極短時間に完了するが、３次元空間のマッピングデータを生成する際はフレームレートが著しく低下する。

また、最近では、上記structured lightの走査パターン生成部、または送信光のメカニカルスキャン部をMEMSミラーによる高速プロジェクション技術で実現し、受信系をこれと同期動作させたTOFイメージャとして専用設計することにより、depthカメラの低消費電力化および高画素化が進んでいる（例えば特許文献１）。

ところで、特に光無線通信の分野においては、空間分割多重化による高速化や低消費電力化を図る提案がこれまでにも多くなされている（例えば特許文献２）。受光素子をアレイ化し、フォーカルプレーンアレイとして機能させることによって、各画素の視野を狭窄化することでS/Nの向上を図るものである。これらの発明は、ハブとして機能する親局（基地局）を含む比較的高価かつ大規模な光送受信システムに対して有用な技術であるが、収容する端末ノードも含めて特定のハードウェアおよび共通の通信プロトコルを実装する必要があるため、特定用途に限定され本格的な普及には至っていない。

特開２０１４−５９３０１号公報（２０１４年４月３日公開）特表２００４−５０３１７５号公報（２００４年１月２９日公開）

先述したような従来の３次元空間マッピングシステムは、下記に述べる理由によって、スマートフォンなどのモバイル機器（携帯端末）への展開は実質的に困難な状況にあり、VR／ARまたはMRといった技術の普及に対する障壁の一つになっている。

例えば、RGBカメラによる演算ベースのシステムでフルdepthマップを生成する場合には、全空間が常時照明されることが前提となる。また、structured light方式を用いる場合には、RGBカメラに影響を与えないように照射光を赤外線とし、TOF専用の高画素赤外線イメージャが必要となる。暗所での使用も含めれば、いずれの場合でも全空間への光照射が必須となるため、depthマップを一般的なビデオフレームレート（30fps/60fps）で更新するために必要となるトータル消費電力は容易に数Wのオーダに達する。

structured light照射系のシステムの小型化・低消費電化は、MEMSミラーによる光プロジェクション技術とともに進展しているが、高速フレームレートへの対応は依然として難しく、システム全体が複雑化し構成部品点数が増大することによる高コスト化も避けられない。また、言うまでもなく、メカニカルスキャンを必要とするシステムは、サイズ面の制約からモバイル機器への使用には適さない。

このように、VR/AR空間において、対象物のdepth情報を、モバイル機器にフィードバックするために好適に使用可能な３次元カメラシステムは未だ実現されていない。

本発明の一態様は、上記一連の問題点を鑑みてなされたものであり、モバイル機器に搭載されるRGBカメラモジュールと連携動作し、低消費電力化と小型・低コスト化とを両立したTOF方式の測距センサを提供することにある。

上記の課題を解決するために、本発明の一態様に係る測距センサは、カメラモジュールと連携動作し、空間へ照射したビームが対象物により反射されて往復する時間を計測して、前記カメラモジュールが取得した画像情報と組み合わせて３次元位置情報を生成するための前記対象物の距離情報を生成するTOF方式の測距センサであって、面状配置された複数の発光素子を有し、前記空間を分割した各部分空間へ向けて、部分空間ごとに割り当てられた前記発光素子からの光を、発光レンズ系によってビーム形成して照射する発光ユニットと、面状配置された複数の受光素子を有し、前記各部分空間からの反射光を、受光レンズ系によって前記部分空間ごとに割り当てられた前記受光素子上に結像させて受光する受光ユニットと、共通する前記各部分空間に割り当てられた前記発光素子および前記受光素子を含む素子群ごとに、独立して制御を行う空間制御部と、を少なくとも備え、前記発光ユニットが有する前記発光素子の数よりも少ないチャネル数で並的にTOF信号処理を行い、前記距離情報を取得するTOF信号処理部をさらに備え、前記TOF信号処理部は、前記チャネル数に等しい数、または前記チャネル数より少ない数の前記距離情報を取得し、前記空間制御部は、前記画像情報に基づいて予め指定される１つまたは複数の前記部分空間を含む部分空間群を設定し、前記TOF信号処理は、前記部分空間群に関する前記距離情報を取得し、前記受光ユニットが有する前記受光素子の数は、前記発光ユニットが有する前記発光素子の数の倍数であり、前記受光素子の各受光素子は、前記倍数の単位で単位素子として構成され、前記単位素子を構成する前記受光素子が受光する反射光の光量変化に基づいて、前記対象物の移動方向を推定する移動方向推定部をさらに備える。

上記の構成によれば、モバイル機器に搭載されるカメラモジュールと連携動作し、低消費電力化と小型・低コスト化とを両立したTOF方式の測距センサを提供することができるという効果を奏する。

本発明の実施形態１に係る３次元カメラシステムの概略的な構成を示す斜視図である。（ａ）および（ｂ）は、図１に示されるTOF測距センサの動作中の状態を示す模式図である。（ａ）〜（ｅ）は、図２に示されるTOF測距センサにおける距離情報を生成する方法の一例を説明するための模式図である。図２に示されるTOF測距センサにおける信号処理の流れを説明するための平面図である。（ａ）および（ｂ）は、本発明の実施形態２に係るTOF測距センサの動作中の状態を示す模式図である。図５に示すTOF測距センサの回路ブロック構成を示す平面図である。（ａ）および（ｂ）は、図６に示される受光素子アレイの詳細な構成を示す平面図である。

〔実施形態１〕
以下、本発明の実施形態について、図１〜図４に基づいて説明すれば以下のとおりである。本実施形態では、本発明に係る測距センサを備えた３次元カメラシステムの一例を説明する。

［３次元カメラシステムの概要］
まず、図１を参照して、本実施形態に係る３次元カメラシステムの概要について説明する。図１は、本実施形態に係る３次元カメラシステムの概略構成を示す斜視図である。本実施形態に係る３次元カメラシステムは、スマートフォン、スマートグラス、ヘッドマウントディスプレイ、またはそれらの発展型デバイスなどのモバイル機器（携帯端末）に搭載されるものである。

３次元カメラシステムは、TOF測距センサ（測距センサ）２、およびRGBカメラモジュール（カメラモジュール）３を備えている。３次元カメラシステムは、RGBカメラモジュール３によって撮像した対象物（測定対象物）の２次元撮像データ（画像情報）に対し、TOF測距センサ２によって生成した対象物の距離情報（depth情報）を付与して、３次元画像（３次元位置情報）を生成する。

TOF測距センサ２は、通信部２５を介してRGBカメラモジュール３と連携して動作可能なTOF（Time-of-Flight）方式の測距センサである。TOF測距センサ２は、照射光（通常はパルス光）が照射される空間（照射空間）に存在する対象物によって反射された反射光を受光して光の飛行時間（遅れ時間）として検出することにより、TOF測距センサ２から対象物までの距離を測定する。

RGBカメラモジュール３は、モバイル機器に搭載される標準的なカメラモジュールである。RGBカメラモジュール３は、複数の撮像素子（画素）３１１が面状（マトリクス状）に配置されたAPS（Active Pixel Sensor）３１、撮像レンズ系３２、およびISP（Image Signal Processor）３３を少なくとも含んでいる。RGBカメラモジュール３としては、APS（撮像素子アレイ）３１および撮像レンズ系３２が実装されたもの、これらに加えてさらにISP３３まで統合されたもの、またはAPS３１とISP３３とがCSP（Chip-Size Package）化されたものなど各種構成のものが使用可能であり、これらを含む画像処理システム全体が、３次元カメラシステムを構成する。

モバイル機器において、RGBカメラモジュール３、およびディスプレイ（不図示）などのデバイスは、MIPI規格に準拠してホストシステム１のアプリケーションプロセッサ４にインターフェースされるのが一般的である。同様に、TOF測距センサ２においても、アプリケーションプロセッサ４と直接インターフェースされてもよい。あるいは、３次元画像生成のための専用プロセッサ（不図示）を介してアプリケーションプロセッサ４に接続される場合もあり得る。この場合、RGBカメラモジュール３のAPS３１、ISP３３、およびTOF測距センサ２のいずれもが前記専用プロセッサに接続され相互にインターフェースされることになる。

また、本実施形態に係るTOF測距センサ２の出力データは、RGBカメラモジュール３の出力データに比べて小規模であることを特徴とするため、I2CやI3CまたはSPIなどの一般的なシリアル通信規格に準じてISP３３、前記専用プロセッサまたはアプリケーションプロセッサ４にTOF測距センサ２を接続してもよい。いずれの場合であっても、通信部２５を通じて、TOF測距センサ２がRGBカメラモジュール３の画像処理系と連携可能であればよい。なお、本発明でいうこれらの連携動作はさらに別の重要な意味合いを含むが、その詳細については別途後述する。

［TOF測距センサの詳細］
次に、図２を参照して、本実施形態に係るTOF測距センサ２の構成および動作について説明する。図２の（ａ）および（ｂ）は、図１に示されるTOF測距センサ２の動作中の状態を示す模式図である。図２の（ａ）および（ｂ）に示すように、TOF測距センサ２は、発光ユニット２０、受光ユニット２１、空間制御部２２、発光素子駆動部２３、TOF信号処理部２４、および通信部２５を少なくとも含んでいる。

（TOF測距センサの構成）
まず、TOF測距センサ２の構成の一例について説明する。このTOF測距センサ２は、空間分割多重化技術を応用したものである。TOF測距センサ２は、空間ｓを複数に分割した各部分空間ｄｓへ各ビーム光（ビーム）Ｌoutを照射する。そして、TOF測距センサ２は、任意の対象物によって反射して往復した反射光Ｌinをそれぞれ角度分解して受光し、各部分空間ｄｓごとに対象物までの距離情報を出力可能なよう構成される。

図中には、例として２つの部分空間ｄｓ_(i,j)およびｄｓ_(m,n)と、それぞれに対応するビーム光Ｌout_(i,j)およびＬout_(m,n)と、反射光Ｌin_(i,j)およびＬin_(m,ｎ)とが示されている。すなわち、ビーム光Ｌout_(i,j)は、部分空間ｄｓ_(i,j)へ照射されるビーム光Ｌoutの成分であり、反射光Ｌin_(i,j)は、ビーム光Ｌout_(i,j)が部分空間ｄｓ_(i,j)に存在する対象物によって反射され、部分空間ｄｓ_(i,j)を通じて受光される反射光成分である。同様に、ビーム光Ｌout_(m,n)は、部分空間ｄｓ_(m,n)へ照射されるビーム光Ｌoutの成分であり、反射光Ｌin_(m,n)は、ビーム光Ｌout_(m,n)のうち、部分空間ｄｓ_(m,n)に存在する対象物によって反射され、部分空間ｄｓ_(m,n)を通じて受光される反射光成分である。

ここで、添字（i,j）および（m,n）は、角度領域において２次元格子状に並ぶ各部分空間ｄｓの序列を示す自然数である。図２に示すように、特定の部分空間ｄｓ、ビーム光Ｌoutｍ、および反射光Ｌinを区別する必要がある場合は（i,j）あるいは（m,n）を付記する。また、特定の部分空間ｄｓ、ビーム光Ｌout、および反射光Ｌinとして区別せず一般化して表現する場合は添字を付記せず、任意の部分空間ｄｓ、ビーム光Ｌout、および反射光Ｌinとして表現する場合は（p,q）と付記する。

発光ユニット２０は、発光素子アレイ２０１、および発光レンズ系２０２を有している。発光素子アレイ２０１は、各ビーム光Ｌoutによって空間ｓ全体をカバーするために、複数の発光素子２０３が面状（マトリクス状）に配列されたものである。本実施形態では、発光素子アレイ２０１は、６４個×６４個で正方配列された４０９６個の発光素子２０３を少なくとも含んでいる（前記各自然数の上限値は、余剰素子も含めると、６４個以上となる）。各発光素子２０３は、例えばVCSEL（垂直共振器面発光レーザ：Vertical-Cavity Surface-Emitting Laser）などから構成され、各発光素子２０３は、それぞれ個別に駆動制御が可能になっている。

TOF測距センサ２では、部分空間ｄｓごとに発光素子２０３が割り当て（対応付け）られている。すなわち、発光レンズ系２０２を通して部分空間ｄｓごとに割り当てられた各発光素子２０３から部分空間ｄｓへのビーム光Ｌoutとして所望の出射角度特性となるよう、各発光素子２０３単体のFFP（Far-Field Pattern，遠視野像）を調整し、かつ隣接する部分空間に間隙（照射不可能な空間領域）が発生することを抑圧するために発光素子アレイ２０１の発光面と発光レンズ系２０２の像面との距離が調整されている。さらに、後述する部分空間群の定義にしたがって、各発光素子２０３を個別にＯＮ／ＯＦＦ可能とすることで、空間分割多重化した空間ｓ全体をカバーしつつ、各部分空間ｄｓに独立してビーム照射することができる。

受光ユニット２１は、受光素子アレイ２１１、および受光レンズ系２１２を有している。受光素子アレイ２１１は、空間ｓを複数に分割した各部分空間ｄｓへ各ビーム光Ｌoutを照射した際の反射光Ｌinをそれぞれ角度分解して受光し、部分空間ｄｓごとに対象物までの距離情報を出力するために、複数の受光素子（画素）２１３が面状（マトリクス状）に配置されたものである。本実施形態では、受光素子アレイ２１１は、発光素子アレイ２０１と同一ピッチで６４×６４個で正方配列された４０９６個の受光素子２１３を少なくとも含んでいる（前記各自然数の上限値は、余剰素子も含めると、６４以上となる）。各受光素子２１３は、例えばSPAD（単一光子アバランシェダイオード：single-photon avalanche diode）などから構成され、各受光素子２１３の出力は、後述する部分空間群の定義にしたがって、受光素子２１３の受光素子群ごとに、アクティブクエンチ抵抗およびインバータなどの初段ゲートを少なくとも含むフロントエンド回路に接続される。このようなSPADを用いた最小の構成は、アレイ集積化およびコンパクトな多点TOF計測を行う観点から、最も好ましい選択の一例である。

TOF測距センサ２では、部分空間ｄｓごとに受光素子２１３が割り当て（対応付け）られている。すなわち、各部分空間ｄｓからの反射光Ｌinが、受光レンズ系２１２を通して、所定の受光素子２１３によって受光されるように受光素子２１３上に結像し、かつ隣接する部分空間に間隙（受光不可能な空間領域）が発生することを抑圧するために受光素子アレイ２１１の受光面（受光素子面）と受光レンズ系２１２の像面との距離が調整されている。受光レンズ系２１２および受光素子アレイ２１１によって、各受光素子２１３が張る部分空間ｄｓの集合全体が空間ｓを成す。

このように、受光レンズ系２１２は、受光素子アレイ２１１がいわゆるFPA（focal plane array）として機能するように、像面歪みに配慮して設計されたレンズシステムである。なお、受光レンズ系２１２は、一般的なカメラの撮像レンズ系とは異なり、ビーム光Ｌoutおよびその反射光Ｌinで使用する波長帯に対してのみ最適設計がなされていれば十分であり、必ずしも多群を成す高度なレンズ設計は要しないが、モバイル用途に向け、実装が容易で低コストかつ低背化を実現するためのその他の周知技術を取り入れて設計することが望ましい。

本実施形態では、発光素子アレイ２０１および受光素子アレイ２１１の素子サイズを６４×６４素子とし、発光レンズ系２０２および受光レンズ系２１２は概ね同形状である。さらに、各発光素子２０３と各受光素子２１３とのピッチを同一として、モバイル用カメラの一般的な画角の例である６４°を満たすように設計されている。したがって、各発光素子２０３および各受光素子２１３が張る部分空間ｄｓについて、TOF測距センサ２はそれぞれ約１°の角度分解能を有することとなる。

ここで、本実施形態においては、各発光素子２０３および各受光素子２１３が張る部分空間ｄｓが、互いに共通となる（すなわち、空間的に遠視野で一致する）ように設計することが必須である。なぜなら、発光ユニット２０と受光ユニット２１とが配置される位置は同一面上に隣接してはいるものの、両者を完全に同じ位置に配置することはできないためである。このため、この位置シフトを予め考慮した角度ズレ補正が必要となる。これは主としてTOF測距センサ２の製造工程における部材実装上の課題であるが、後述するように、いわゆるアクティブアラインメントを実施することで一般的には解決することができる。

例えば、発光ユニット２０の実装が完了し、受光素子２１３のダイボンドおよびワイヤボンド実装までを完了（センサとしての電気的動作も可能な状態）した後、受光ユニット２１の受光レンズ系２１２の位置を決めて実装する際、実際に特定の発光素子２０３からのビーム光Ｌoutを外部の拡散反射板に照射し、本来それに対応して入射すべき特定の受光素子２１３への反射光量が最大となるよう、受光レンズ系２１２の位置を調整しながら固定する。その際、紫外線硬化樹脂などを接着剤に用いて適切なタイミングで硬化させることにより、必要な精度を確保することができる。

以上、部分空間群についての詳細説明を除き、TOF測距センサ２における光学系の概要を説明した。以下では、電気的な各信号を適切に接続処理する空間制御部２２について説明し、上記部分空間群については、TOF測距センサ２の具体的な動作の内容とともに別途後述することとする。

空間制御部２２は、発光素子２０３への接続および受光素子２１３またはフロントエンド回路からの接続をそれぞれ個別に制御する。空間制御部２２による上記接続の制御によって、先述の互いに共通する部分空間ｄｓ_(p,q)に割り当てられるべき発光素子２０３および受光素子２１３を含む素子群を形成し、これらの素子群ごとに、発光駆動および受信信号処理を独立して実行することが可能となる。例えば空間制御部２２は、後述するように、TOF測距センサ２のホストシステム１から指定された１つまたは複数の空間領域（部分空間群）に対応する部分空間ｄｓの集合体を形成し、それら部分空間群に対して、予め定められたチャネル（TOFチャネル）数のTOF信号処理を同時実行すべく、各素子群の駆動および信号処理を独立制御する。

発光素子駆動部２３は、空間制御部２２からの制御信号に基づいて駆動信号を生成する。具体的には、発光素子駆動部２３は、空間制御部２２からの制御信号にしたがって、各発光素子２０３の駆動のＯＮ／ＯＦＦを個別に切り替える。ここで、完全に同一のタイミングで同一の符号により駆動された少数の隣接する発光素子群は、同一のタイミングおよび概ね同一の強度で発光する隣接した複数のビームの集合体（ビーム群）を形成し、より広い空間を照射する単一のビーム源として作用する。

TOF信号処理部２４も同様に、空間制御部２２からの制御信号に基づいて、例えば、受光素子アレイ２１１から出力された出力信号を直接束ねてフロントエンド回路に入力してデジタル信号に変換する。あるいは、TOF信号処理部２４は、フロントエンド回路のデジタル出力のOR信号を生成し、これらに対してTOF計測信号処理を行う。

上述のように発光素子駆動部２３によって隣接する発光素子群単位で駆動を同期させることによってビーム光の集合体として形成された１つまたは複数のビーム群（ビーム光Ｌout）に対応する、１つまたは複数の部分空間ｄｓの集合体のそれぞれに対して、さらに１つまたは複数のTOF信号処理を行うべく、TOF信号処理部２４に至る信号ラインの接続が適切に制御される。空間制御部２２によるこのような制御は、後述するように、TOF測距センサ２の動作として予めホストシステム１から指定された情報に基づいて実行される。TOF信号処理部２４により取得した距離情報は、部分空間群を構成する特定の各部分空間と対応付けてレジスタへ格納され、通信部２５を介してTOF測距センサ２の外部へ出力される。

なお、TOF信号処理については各種方式が周知でありここでは詳細は記載しないが、各受光素子２１３からの出力信号を並列的に処理することが容易な、コンパクトな信号処理方式（信号処理回路規模）であることが好ましい。

（TOF測距センサの動作）
次に、TOF測距センサ２の動作の一例について説明する。本実施形態におけるTOF測距センサ２の検出角度範囲（送受信視野角）は±３２°、発光素子アレイ２０１および受光素子アレイ２１１には等しいピッチで少なくとも６４個×６４個の有効素子領域が正方配列され、不感領域が存在しないよう設計されるため、フォーカルプレーンアレイの各素子（画素）が有する角度分解能は約１°である。

なお、受光素子アレイ２１１の各受光素子（各画素）２１３にはフロントエンド回路が接続されるため、純粋に受光素子アレイ２１１の受光面上で受光に寄与する部分のフィルファクタが小さくなる場合がある。この場合、フロントエンド回路を含む受光面上にマイクロレンズを凋密に形成して光学的なフィルファクタを１に近づけるなど、周知の技術を援用することで上記の角度分解能を実現することができる。

先述のようにして定まる約１°の最小角度分解能は、実空間においては１ｍの距離で約１．８ｃｍの像高に相当する。このため、モバイル機器で使用する場合の３次元マッピング精度として実用上十分な粒度が実現できる。ここで、本実施形態においては、上記十分な粒度の最小角度分解能により、視野角全体を常時TOF計測することは前提としない。すなわち、視野角全体へ常時ビーム光を照射することをせず、必要十分な距離情報のみを、十分な精度と並列数で継続的に取得することが可能である。

本実施形態に係るTOF測距センサ２の受信回路の例では、同時に１６チャネルのTOF信号を並列処理し、一度の測定サイクルで１６個の距離情報を取得可能なように構成されているものとする。この並列処理数は、受信回路を設計する際に定められた有限の値であり、任意に大きくすることはできない。逆に、この並列処理数をアレイ画素数（素子数）よりも大幅に小さくすることで、発光側消費電力の大幅な低減を可能にする。この場合、当然ながら、画角全体にわたって同時に最小角度分解能（１°）で距離情報を得ることはできないが、以下に述べる方法によって、部分空間群を定義した上でTOF測距センサ２を動作させることにより、ステレオカメラやstructured lightなどの従来方式による３次元カメラシステムと比較し、主に発光（発光ユニット２０）側で消費されるTOF測距センサ２のトータル消費電力を、少なくとも１桁以上、大幅に低減することが可能となる。

図３の（ａ）〜（ｅ）は、図２に示されるTOF測距センサ２における距離情報を生成する方法の一例を説明するための模式図である。ここでは、先述の画角６４°に対して１６チャネルのTOF信号処理部２４を用い、同時に１６チャネルのTOF信号を並列処理して１６個の距離情報を生成する方法の一例を説明する。TOF測距センサ２は、例えば以下に示す５つのパターンで空間ｓ（画角）を分割して第１部分空間群ｄｓｇ_１（部分空間群）を定義し、定義した第１部分空間群ｄｓｇ_１に基づいて距離情報を生成する。なお、第１部分空間群ｄｓｇ_１を定義するパターンは後述のものに限られない。

図３の（ａ）に示すように、動作モード（ａ）では、第１部分空間群ｄｓｇ_１は１個の部分空間ｄｓ（すなわち、１個の受光素子２１３）に対応しており、画角全体において任意の位置で同時に１６個まで第１部分空間群ｄｓｇ_１を指定可能である。各第１部分空間群ｄｓｇ_１の成す角度幅は最小角度分解能と同じ１°となる。１６個の各第１部分空間群ｄｓｇ_１それぞれに対して１チャネルTOF信号処理を行うことにより、合計１６点の距離情報を取得することができる（角度分解能１°）。

図３の（ｂ）に示すように、動作モード（ｂ）では、第１部分空間群ｄｓｇ_１は正方隣接した４個（２×２個）の部分空間ｄｓ（すなわち、２×２個の受光素子２１３）に対応しており、画角全体において任意の位置で同時に４個まで第１部分空間群ｄｓｇ_１を指定可能である。各第１部分空間群ｄｓｇ_１の角度幅は最小角度分解能×２倍の２°となる。４個の各第１部分空間群ｄｓｇ_１それぞれに対して４チャネル並列にTOF信号処理を行うことにより、４個の第１部分空間群ｄｓｇ_１ごとに４点、合計１６点の距離情報を取得することができる（角度分解能１°）。

図３の（ｃ）に示すように、動作モード（ｃ）では、第１部分空間群ｄｓｇ_１は正方隣接した１６個（４×４個）の部分空間ｄｓ（すなわち、４×４個の受光素子２１３）に対応しており、画角全体において任意の位置で１個の第１部分空間群ｄｓｇ_１を指定可能である。第１部分空間群ｄｓｇ_１の角度幅は最小角度分解能×４倍の４°となる。この第１部分空間群ｄｓｇ_１に対して１６チャネル並列にTOF信号処理を行うことにより、合計１６点の距離情報を取得することができる（角度分解能１°）。

図３の（ｄ）に示すように、動作モード（ｄ）では、第１部分空間群ｄｓｇ_１には、正方隣接した１６個（４×４個）の部分空間ｄｓ（すなわち、４×４個の受光素子２１３）に対応した領域の各送受信号をOR操作で１チャネルに纏めた第２部分空間群ｄｓｇ_２がさらに定義されている。画角全体において任意の位置で１６個の第２部分空間群ｄｓｇ_２を指定可能である。例えば図示のように正方隣接した１６個（４×４個）の第２部分空間群ｄｓｇ_２から成る第１部分空間群ｄｓｇ_１を定義した場合、画角全体において任意の位置で１個の第１部分空間群ｄｓｇ_１を指定可能である。各第２部分空間群ｄｓｇ_２の角度幅は最小角度分解能の４×４倍の１６°となる。１６個の各第２部分空間群ｄｓｇ_２それぞれに対して１チャネル並列にTOF信号処理を行うことにより、合計１６点の距離情報を取得することができる（角度分解能４°）。

図３の（ｅ）に示すように、動作モード（ｅ）では、第１部分空間群ｄｓｇ_１には、正方隣接した２５６個（１６×１６個）の部分空間ｄｓ（すなわち、１６×１６個の受光素子２１３）に対応した領域の各送受信号をOR操作で１チャネルに纏めた第２部分空間群ｄｓｇ_２がさらに定義されている。各第２部分空間群ｄｓｇ_２の角度幅は最小角度分解能の１６倍の１６°となる。図示のように正方隣接した１６個（４×４個）の第２部分空間群ｄｓｇ_２から成る第１部分空間群ｄｓｇ_１を定義した場合、画角全体がカバーされるため、第２部分空間群ｄｓｇ_２の位置を指定する必要はない。１６個の各第２部分空間群ｄｓｇ_２それぞれに対して１チャネルのTOF信号処理を並列して行うことにより、合計１６点の距離情報を取得することができる（角度分解能１６°）。

このように、動作モード（ａ）および（ｂ）では、最大１６個までの複数のオブジェクト（対象物）の距離情報をRGBカメラモジュール３のフレームレートで同時に捕捉することができる。第１部分空間群ｄｓｇ_１のサイズと位置を適切に選択することで、オブジェクトトラッキングに有用なデータを継続して取得することができる。一方、動作モード（ｃ）においては、特定の領域（この例では任意位置の４°×４°の正方領域）に対して、角度分解能１°、４×４＝１６チャネルのdepthマップを、RGBカメラモジュール３のフレームレートで生成することができる。例えばカメラ画像（画像情報）からオブジェクトを抽出する際、局所的に複数の対象物が入り組んで存在する特定領域の画像解析において有用な距離情報を高精度に取得することができる。

また、動作モード（ｄ）では、アレイ素子を４×４＝１６個ごとに束ねて角度分解能を４倍に粗くした上で、動作モード（ｃ）と同様に、特定の領域（１６°×１６°のより広い正方領域）に対して、オブジェクト抽出に有用な距離情報を取得することができる。

最後に、動作モード（ｅ）では、画角６４°の全体を４×４＝１６個に正方分割することで角度分解能は１６°まで粗くなるものの、いわゆる高速AF用途の多点化に対応することができる。すなわち、この例では、動作モード（ｅ）の場合は画角全体にビーム光Ｌoutを照射する必要があるが、１つのTOF測距センサ２で、一般的な全視野角（全幅視野角）１６°の１次元TOFセンサを仮想的に４×４＝１６個を稠密に配置して並列動作させたかのように、RGBカメラモジュール３の画角全体をカバーしつつ、１６点の距離情報を取得することに相当する。

例示した動作モードの各数値や詳細は、当然ながら上記内容に限定されるものではなく任意の派生展開が可能である。ここで重要なことは、TOF測距センサ２に対し、ホストシステム１側からシリアル通信によって動作モードを予め指定したり、任意のタイミングで即時に切り替えることで、状況によって変化する所望の距離情報を、極く少数のチャネル数および発光ビーム数、すなわち極めて低いTOF測距センサ２の消費電力で取得することができる点にある。以上の説明から明らかなように、TOF測距センサ２では、モバイル端末向けの３次元マッピング応用に真に有用なdepth情報を、モバイル端末のバッテリーに与える影響を低減しつつ取得することが可能となる。

上記ホストシステム１側からの部分空間群（第１部分空間群ｄｓｇ_１、第２部分空間群ｄｓｇ_２）の指定については、具体的な設計内容に過ぎないので詳細を述べることはしないが、図３の例に基づけば、基本的に、各部分空間ごとに｛x,y,d｝のようなベクトルをTOF測距センサ２のレジスタに書き込むことなどにより指定可能である。例えば、前記サブベクトル｛x,y｝は、カメラ（RGBカメラモジュール３）の画角内の２次元位置を表す位置ベクトル（単位は角度に相当）であり、｛x,y｝を始点として１辺のサイズ｛d｝の部分空間を指定することができる。または、｛x,y,dx,dy｝のように部分空間のサイズを長方形として定義することもできる。図３の例では、このようなベクトルを最大１６個まで指定することができる。

なお、１６チャネルのTOF信号処理部２４を用いて、１６個より少ない数の距離情報を取得することも可能である。これにより、TOF測距センサ２の消費電力をさらに低減することができる。

次に、図４を参照して、より具体的にTOF測距センサ２における信号処理の詳細を説明する。図４は、本実施形態に係るTOF測距センサ２の回路ブロック構成を示す平面図であり、図１および図２に示した斜視図に示す構成要素をより詳細に示している。

発光素子アレイ２０１の各発光素子２０３への駆動信号ｓ１は、アクティベータ２６を経由した、空間制御部２２からの制御信号ｓ２に基づき、発光素子駆動部２３において生成される。なお、この場合、発光素子２０３ごとの駆動のＯＮ／ＯＦＦを切り替える各駆動信号ｓ１には、互いにタイミングスキューが発生しないように注意が必要である。発光素子駆動部２３は、駆動（発光）させる発光素子２０３に対してＯＮ／ＯＦＦ信号を分配し、駆動しない発光素子２０３に対してはＯＦＦ信号のみを出力する。図示はしないが、各発光素子２０３には、閾値電流を補償するような可変値または固定値のバイアス電流が供給されてもよい。

TOF測距センサ２では、空間分割多重化した部分空間ｄｓの集合体のうち、先述した、TOF測距センサ２に対しホストシステム１側が予め指定した動作モードとして定められる第１部分空間群ｄｓｇ_１を形成する、各部分空間ｄｓに割り当てられた発光素子２０３の発光素子群のみを発光させ、ホストシステム１に指定されていない発光素子２０３の発光素子群はシャットダウンするなどの制御を行う。これにより、実際にTOF測距センサ２がセンシングする空間（角度）領域を精緻に制御することができる。

このようにして、上記指定された第１部分空間群ｄｓｇ_１に対してのみビーム光Ｌout（あるいはその集合体）を照射することで、TOF測距センサ２は、上記指定された第１部分空間群ｄｓｇ_１に対してのみビーム光Ｌoutを照射し、TOF測距センサ２の消費電力を劇的に低減することが可能になる。例えば、図３を用いて説明した動作モード（ｃ）の例では、６４°×６４°の画角のうち、実際にセンシング動作を行う空間（角度）領域の全体は４°×４°に過ぎない。このため、必要なトータル発光パワーは、画角全体を照射する場合に比べ約１／２５６倍となる。動作モード（ｄ）の例でも、必要なトータル発光パワーは約１／１６倍に低減されるので、TOF測距センサ２は同等レベルの精度（角度分解能）を有する従来技術と比べ、２桁乃至３桁もの消費電力低減を達成することができる。

また、受光素子アレイ２１１の各受光素子２１３からの出力信号ｓ３は、一旦すべてがセレクタ２７に入力される。この場合も同様に、出力信号ｓ３に互いにタイミングスキューが発生しないよう注意が必要である。TOF測距センサ２では、空間制御部２２からの制御信号ｓ４に基づき、セレクタ２７内部への入力部分（不図示）で、受光素子２１３単位で電流出力和が取られる（アナログOR操作）。あるいは、セレクタ２７からTOF信号処理部２４への出力部分（不図示）においてデジタル信号の論理和が取られる（デジタルOR操作）。なお、図３において動作モード（ａ）として示した例では、各第１部分空間群ｄｓｇ_１と受光素子２１３との各画素が一対一で対応づけられるため、上記のようなOR操作は不要である。

TOF測距センサ２では、空間分割多重化した部分空間ｄｓの集合体のうち、先述した、TOF測距センサ２に対しホストシステム１側が予め指定した動作モードとして定められる第１部分空間群ｄｓｇ_１を形成する、各部分空間ｄｓに割り当てられた受光素子２１３の素子群の出力のみを選択あるいは結合してTOF信号処理部２４へ入力し、それら以外のホストシステム１に指定されていない受光素子２１３の素子群の出力はTOF信号処理部２４へ入力しないなどのきめ細かい制御を行う。これにより、実際にTOF測距センサ２がセンシングする空間（角度）領域を精緻に制御することができる。

このようにして、TOF測距センサ２は、上記指定された第１部分空間群ｄｓｇ_１に対してのみ、１つまたは複数の対象物から反射された反射光ＬoutのTOF信号処理を行う。これにより、TOF測距センサ２は、上記指定された第１部分空間群ｄｓｇ_１、すなわち任意に所望の空間（角度）分解能を設定して、１つまたは複数の対象物の任意の部分からの反射光Ｌoutの往復時間から、それらの距離情報を取得することが可能になる。

以上説明したようにして、TOF測距センサ２では、予め指定された、部分空間ｄｓから成る２次元部分空間群（実空間に対する２次元角度領域）において、予め指定された角度分解能で取得された複数の（本実施形態では１６個のチャネル分の）距離情報がレジスタに格納される。RGBカメラモジュール３（ホストシステム１）は、通信部２５を介して上記距離情報へアクセスし、予め指定した第１部分空間群ｄｓｇ_１、すなわち実空間における２次元の角度座標に対して得られる１次元距離方法から、所望の３次元depth情報を生成することができる。

先述したような、TOF測距センサ２が、ホストシステム１の側からの第１部分空間群ｄｓｇ_１の指定よって距離情報を取得する手法は、ホストシステム１における画像レンダリング処理の負荷軽減に非常に有用である。一方で、以下で説明するように、TOF測距センサ２においては、予め指定された２次元部分空間群（実空間に対する２次元角度領域）を成す各部分空間ｄｓに、対象物が存在しているか否かの判定を行うことも可能である。

一般的に、TOF測距センサ２から出力される距離情報（TOF信号処理に基づく距離推定値）は、測定距離限界（遠距離、低反射率、外乱光大など）における信号光量あるいはSNR（Signal-to-Noise Ratio）の不足によって大きく変動し再現性が低下する。また、SNRが許容限界値を下回ると、TOF距離推定値は平均値が定義できない状態にまで発散する。このような信頼度の低いデータをそのままホストシステム１に通知し動作させることは好ましくないため、通常、TOF信号処理部２４は、エラーフラグを出力距離情報ごとに付与する。このフラグは、距離推定値やその変動偏差が予め定めた範囲を逸脱したため無効とするInvalidビット、あるいはTOF信号処理の過程で得られる何らかの実測値や推定値の挙動に基づくWarningまたはErrorビットとして表現され、距離情報の信頼度を示す情報となる。なお、ホストシステム１側においても、TOF測距センサ２から出力された距離情報に対してランニングアベレージを取得しSNRの状況をモニタリングするなど、致命的な動作不具合を避けるための処理が一般的に行われている。

上記のような判定処理の例に基づき、TOF測距センサ２の内部においてSNRが著しく低下した（距離情報の信頼度が不足している）と判断される場合、各部分空間ｄｓもしくは２次元部分空間群には測距の対象となる反射物（対象物）が「存在しない」と解釈する（該当する距離推定値をホストシステム１が採用しないよう前記フラグでマスクする）ことができる。

さらに、上記のように予め指定された第１部分空間群ｄｓｇ_１に含まれる部分空間ｄｓごとに判定した対象物の有無の情報に基づいて、空間制御部２２は、部分空間ｄｓごとに対応する各発光素子２０３あるいは素子群の駆動や各受光素子２１３あるいは素子群の接続（前記アナログ和あるいはデジタル論理和）を制御することもできる。これにより、TOF測距センサ２は、予め指定された第１部分空間群ｄｓｇ_１の中で有益な距離情報を取得することができない部分空間ｄｓに対しては、ビーム光Ｌoutを発しない、あるいはTOF信号処理を行わないなど、TOF測距センサ２の内部動作を空間制御部２２から局所的に停止させることで、さらに消費電力の低減を図ることができる。

（TOF測距センサの効果）
以上のように、本実施形態に係る測距センサ２は、BGBカメラモジュール３と連携動作し、空間ｓへ照射したビーム光Ｌoutが対象物により反射されて往復する時間を計測して、RBGカメラモジュール３が取得した画像情報と組み合わせて３次元位置情報を生成するための対象物の距離情報を出力するTOF方式の測距センサであって、面状配置された複数の発光素子２０３を有し、空間ｓを分割した各部分空間ｄｓへ向けて、該部分空間ｄｓごとに割り当てられた発光素子２０３からの発光を発光レンズ系２０２でビーム形成して照射する発光ユニット２０と、面状配置された複数の受光素子２１３を有し、各部分空間ｄｓから受光した反射光Ｌoutを受光レンズ系２１２で受光素子２１３上に結像させ、該部分空間ｄｓごとに割り当てられた受光素子２１３によって受光する受光ユニット２１と、共通する各部分空間ｄｓに割り当てられた発光素子２０３および受光素子２１３を含む素子群ごとに、独立して制御を行う空間制御部２２とを備える。

TOF測距センサ２は、各部分空間ｄｓに割り当てられた発光素子２０３および受光素子２１３を含む素子群ごとに独立して制御可能であるため、必要最小限の素子群のみを選択的に駆動して、TOF測距センサ２を効率よく動作させることができる。また、従来のように、MEMSミラーなどを備える必要がないため、高い測距精度および空間分解能を維持したまま装置構成を単純化し、小型化および低コスト化を容易にすることができる。

また、TOF測距センサ２は、連携動作可能なRGBなカメラモジュール３（ホストシステム１）から、その画像情報に基づいて、各部分空間ｄｓの全体を、予め定められたチャネル数に等しい整数個の第１部分空間群ｄｓｇ_１に分割するよう、予め指定して動作を開始する。これにより、チャネル数に等しい数の距離情報を任意の第１部分空間群ｄｓｇ_１に対して取得し、ホストシステム１へ出力することができる。

したがって、本実施形態によれば、モバイル機器への搭載に最適な、RGBカメラモジュール３と連携動作し、低消費電力化および小型・低コスト化を両立可能な、TOF方式のTOF測距センサ２を実現することができる。

なお、予めカメラモジュール３（ホストシステム１）によって指定された第１部分空間群ｄｓｇ_１の中に存在すると判定した対象物の位置が時間変化する場合（対象物が動く場合）、それ以降のTOF信号処理は、TOF測距センサ２自身が対象物を自動的に補足して（すなわち、TOF測距センサ２自身が対象物の位置および移動量を推定して）TOF信号処理を継続する、２次元トラッキングTOF測距を実行することも可能である。あるいは、予めホストシステム１によって第１部分空間群ｄｓｇ_１を指定することに代えて、TOF測距センサ２自身が、動作に先立って、全画角を分割してスキャンし対象物の存在する部分空間を判定した上で、上記と同様にTOF測距センサ２自身が対象物を自動的に補足して２次元トラッキングTOF測距を実行することも可能である。これらの詳細については、実施形態２で詳細を説明する。

〔実施形態２〕
以下、本発明の他の実施形態について、図５〜図７に基づいて説明すれば、以下の通りである。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

（TOF測距センサの構成）
図５（ａ）および（ｂ）は、実施形態１の図２と同様に、本実施形態におけるTOF測距センサ１２の動作中の状態を示す模式図である。TOF測距センサ１２は、発光ユニット２００、受光ユニット２１０、空間制御部２２、発光素子駆動部２３、TOF信号処理部２４、および通信部２５を少なくとも含んでいる。TOF測距センサ１２は、実施形態１と同様に空間分割多重化技術を応用し、空間ｓを複数に分割した各部分空間ｄｓを各ビーム光Ｌoutで照射し、任意の対象物によって反射・往復した反射光Ｌinをそれぞれ角度分解して受光し、部分空間ｄｓごとに対象物までの距離情報を出力可能なよう構成される。

図６は、本実施形態に係るTOF測距センサ１２の回路ブロック構成を示す平面図である。本実施形態に係るTOF測距センサ１２では、発光素子アレイ２０４の発光素子２０５が、先述した発光素子アレイ２０１の発光素子２０３よりも密に配置されている点、並びに、受光素子アレイ２１４の受光素子２１５が、先述した受光素子アレイ２１１の受光素子２１３よりも密に配置されている点において、上記実施形態にて説明したTOF測距センサ２と主に相違している。

本実施形態における発光素子アレイ２０４は、正方配列された７２×７２個の発光素子２０５を含む。また、受光素子アレイ２１４は、発光素子アレイ２０１と同じ外形サイズであるが、ハーフピッチで正方配列された１４４×１４４個の受光素子２１５を含む。すなわち、受光素子アレイ２１４に配置された受光素子２１５の数は、発光素子アレイ２０４に配置された発光素子２０５の４倍（倍数）である。

図７（ａ）および（ｂ）には、図６の受光素子アレイ２１４の詳細な構成を示す上面図である。受光素子アレイ２１４では、４つの受光素子２１５、およびフロントエンド回路を少なくとも含む単位が、TOF信号処理の単位素子２１６として機能する。単位素子２１６は、４つの受光素子２１５ａ〜２１５ｄと、各受光素子２１５ａ〜２１５ｄにそれぞれ接続されたフロントエンド回路２１７と、移動方向推定部２１８を少なくとも含む。各フロントエンド回路２１７の出力は、セレクタ２７内部でOR操作を取った上でTOF信号処理部２４に入力される。

すなわち、受光素子アレイ２１４においては、１つの部分空間ｄｓに対し４つの受光素子２１５ａ〜２１５ｄが割り当てられているが、TOF信号処理用にはこれらは束ねられて１つの単位素子２１６として機能する。ただし、詳細は後述するように、上記４つの受光素子２１５ａ〜２１５ｄの出力は、対象物の移動方向を推定するために、それぞれ独立にフロントエンド回路２１７を介して移動方向推定部２１８に入力される。

TOF測距センサ１２においても実施形態１の場合と同様に、発光ユニット２００の発光レンズ系２０２および受光ユニット２１０の受光レンズ系２１２は、不感領域が存在しないよう、発光素子アレイ２０４および受光素子アレイ２１４とともに強調設計され、モバイル用カメラの一般的な画角である７２°を満足している。したがって、TOF測距センサ１２として、ホストシステム１から指定可能な第１部分空間群ｄｓｇ_１を形成する各部分空間ｄｓが有する角度分解能は、発光ユニット２００と受光ユニット２１０ともに、実施形態１と同じく約１°となる。

各受光素子２１５ａ〜２１５ｄは、実施形態１で示した受光素子アレイ２１１の受光素子２１３よりも小さいため、相対的に無効領域面積の割合が増大する。このため、受光素子アレイ２１４全体の面積は同一であっても、トータルの光感度が低下する可能性がある。この場合も、先述したように、受光素子アレイ２１４全体を覆うように凋密にマイクロレンズを形成することで、光感度低下の問題を改善することが可能である。

また、本実施形態に係るTOF測距センサ１２の受信回路では、同時に３６チャネルのTOF信号を並列処理し、一度の測定サイクルで３６個の測距データを出力可能なように構成されている。この並列処理数は実施形態１と同様にアレイ画素数よりも大幅に小さいので、発光側消費電力の大幅な低減が可能になる。実施形態１において図３を用いて説明した場合と同様に、動作モードを指定し第１部分空間群ｄｓｇ_１を構成した上でTOF測距センサ１２を動作させることにより、主に発光（発光ユニット２００）側で消費されるTOF測距センサ１２のトータル消費電力を、ステレオカメラやstructured lightなどの従来方式による３次元カメラシステムと比較し、少なくとも1桁以上、大幅に低減することが可能となる。
（TOF測距センサの動作）
次に、TOF測距センサ１２の動作について説明する。動作モードの指定について、本実施例では再び図示をすることはしないが、例えば以下の例のように設定することができる。

動作モード（ａ）では、第１部分空間群ｄｓｇ_１は１個の部分空間ｄｓ（すなわち、１個の単位素子２１６）に対応しており、画角全体において任意の位置で同時に３６個まで第１部分空間群ｄｓｇ_１を指定可能である。各第１部分空間群ｄｓｇ_１の成す角度幅は最小角度分解能と同じ１°となる。３６個の各第１部分空間群ｄｓｇ_１それぞれに対して１チャネルTOF信号処理を行うことにより、合計３６点の距離情報を取得することができる（角度分解能１°）。

動作モード（ｂ）では、第１部分空間群ｄｓｇ_１は、正方隣接した４個（２×２個）の部分空間ｄｓ（すなわち、２×２個の単位素子２１６）に対応しており、画角全体において任意の位置で同時に９個まで第１部分空間群ｄｓｇ_１を指定可能である。各第１部分空間群ｄｓｇ_１の角度幅は、最小角度分解能×２倍の２°となる。９個の各第１部分空間群ｄｓｇ_１それぞれに対して4チャネル並列にTOF信号処理を行うことにより、各第１部分空間群ｄｓｇ_１ごとに４点、合計３６点の距離情報を取得することができる（角度分解能1°）。

動作モード（ｃ）では、第１部分空間群ｄｓｇ_１は、正方隣接した９個の部分空間ｄｓ（すなわち、３×３個の単位素子２１６）に対応しており、画角全体において任意の位置で同時に４個まで第１部分空間群ｄｓｇ_１を指定可能である。各第１部分空間群ｄｓｇ_１の角度幅は最小角度分解能×３倍の３°となる。４個の各第１部分空間群ｄｓｇ_１に対して９チャネル並列にTOF信号処理を行うことにより、合計３６点の距離情報を取得することができる（角度分解能１°）。

動作モード（ｄ）では、第１部分空間群ｄｓｇ_１には、正方隣接した１６個（４×４個）の部分空間ｄｓ（すなわち、４×４個の単位素子２１６）に対応した領域の各送受信号をOR操作で１チャネルに纏めた第２部分空間群ｄｓｇ_２がさらに定義されている。画角全体において任意の位置で３６個の第２部分空間群ｄｓｇ_２を指定可能である。例えば正方隣接した３６個（６×６個）の第２部分空間群ｄｓｇ_２を含む第１部分空間群ｄｓｇ_１を定義した場合、画角全体において任意の位置で１個の第１部分空間群ｄｓｇ_１を指定可能である。各第２部分空間群ｄｓｇ_２の角度幅は最小角度分解能×４倍×６倍の２４°となる。３６個の各第２部分空間群ｄｓｇ_２それぞれに対して１チャネルTOF信号処理を行うことにより、合計３６点の距離値を取得することができる（角度分解能４°）。

動作モード（ｅ）では、第１部分空間群ｄｓｇ_１には、正方隣接した１４４個（１２×１２個）の部分空間ｄｓ（すなわち、１２×１２個の単位素子２１６）に対応した領域の各送受信号をOR操作で１チャネルに纏めた第２部分空間群ｄｓｇ_２がさらに定義されている。各第２部分空間群ｄｓｇ_２の角度幅は最小角度分解能×１２倍の１２°となる。正方隣接した３６個（６×６個）の第２部分空間群ｄｓｇ_２から成る第１部分空間群ｄｓｇ_１を定義した場合、分画角全体がカバーされるため、第２部分空間群ｄｓｇ_２の位置を指定する必要はない。３６個の各第２部分空間群ｄｓｇ_２それぞれに対して1チャネルでのTOF信号処理を行うことにより、合計３６点の距情報を取得することができる（角度分解能１２°）。

このように、動作モード（ａ）〜（ｃ）では、最大３６個までの複数のオブジェクト（対象物）の距離情報をRGBカメラモジュール３のフレームレートで同時に捕捉することができる。第１部分空間群ｄｓｇ_１のサイズと位置を適切に選択することで、オブジェクトトラッキングに有用なデータを継続して取得することができる。

一方、動作モード（ｄ）においては、特定の領域（この例では任意位置の２４°×２４°の正方領域）に対して、角度分解能４°で６×６＝３６チャネルのdepthマップを、RGBカメラモジュール３のフレームレートで生成することができる。例えばカメラ画像（画像情報）からオブジェクトを抽出する際、局所的に複数の対象物が入り組んで存在する特定領域の画像解析において有用な距離情報を高精度に取得することができる。

また、動作モード（ｅ）では、角度分解能を１２°まで粗くした上で、画角７２°の全体を６×６=３６個に正方分割した、いわゆる高速AF用途の多点化に対応することができる。すなわち、この例では、１つのTOF測距センサ１２で、全幅視野角（全幅視野角）１２°の１次元TOFセンサを仮想的に６×６=３６個稠密に配置して並列動作させたかのように、RGBカメラモジュール３の画角全体をカバーしつつ、３６点の距離情報を取得することに相当する。

例示した動作モードの各数値や詳細は、当然ながら上記内容に限定されるものではなく任意の派生展開が可能である。ここで重要なことは、TOF測距センサ１２に対し、ホストシステム１側からシリアル通信によって動作モードを予め指定したり任意のタイミングで即時に切り替えることで、状況によって変化する所望の距離情報を、極く少数のチャネル数および発光ビーム数、すなわち極めて低いTOF測距センサ１２の消費電力で取得することができる点にある。

実施形態１および２の比較から、チャネルの数および各アレイ素子の画素数は、TOF測距センサ１２の消費電力および角度分解能や画角とトレードオフの関係となることが理解されるが、TOF測距センサ１２は、実施形態１と同様に、同等レベルの精度（角度分解能）を有する従来技術と比べ、主に発光（発光ユニット２００）側で消費されるTOF測距センサ１２のトータル消費電力を２桁乃至３桁低減し、モバイル端末向けの３次元マッピング応用に真に有用なdepth情報を、端末のバッテリー寿命に影響を与えることなく取得することが可能となる。

次に、TOF測距センサ１２における対象物の移動方向推定動作について説明する。移動方向推定部２１８は、部分空間ｄｓ_(p,q)に存在する対象物からの反射光Ｌin_(p,q)（レーザ光Ｌout_(p,q)の反射成分）が、単位素子２１６を構成する各受光素子２１５ａ〜２１５ｄに入射する際の受光量分布の時間変化に基づいて、対象物の移動方向を推定する。

移動方向推定部２１８は、単位素子２１６ごとに１つずつ配置されている。移動方向推定部２１８に対しては、単位素子２１６に含まれる各フロントエンド回路２１７の出力信号が全て入力される。移動方向推定部２１８は、各受光素子２１５ａ〜２１５ｄに接続された少なくとも４つのカウンタ回路２１９、およびロジック回路２２０を含み、TOF測定の周期に合わせて以下のように動作する。

まず、カウンタ回路２１９は、測定周期の先頭または該測定周期の直前の測定周期の末尾においてリセットされた後、少なくとも測定周期のTOF測定シーケンスを含む特定期間の間、単位素子２１６の各フロントエンド回路２１７の出力信号に含まれるパルス数をカウントする。これにより、カウンタ回路２１９は、各受光素子２１５ａ〜２１５ｄの受光量に相当する光量値を測定周期ごとに取得する。ロジック回路２２０は、測定周期ごとの光量値の変化を比較できるように、上記各光量値をレジスタまたはSRAMなどのメモリー素子に格納する。なお、このメモリー素子は、ロジック回路２２０に含まれていてもよい。

次に、ロジック回路２２０は、連続する２つの測定周期の光量値を比較することにより、対象物の移動方向を推定する。

ここで、各受光素子２１５ａ〜２１５ｄの受光量分布に相当する上記各光量値（カウント値）とは別に、各受光素子２１５ａ〜２１５ｄのダークカウント（発光ユニット２００が全く自発光を行わない、環境光のみの状態）をカウンタ回路２１９によってカウントし、ロジック回路２２０において、上記各光量値から減算すると、外乱光の影響を軽減できる。

また、ロジック回路２２０は、各受光素子２１５ａ〜２１５ｄのそれぞれの受光量が時間変化し対象物の像が移動する方向を推測し易いように、かつ、ダークカウントの各受光素子２１５ａ〜２１５ｄの個体差を吸収し易いように、単位素子２１６の上下左右の４方向、もしくは斜め４５°を含む６方向について、各フロントエンド回路２１７の出力信号のカウント値の和をとり、次の測定周期の結果と比較できるように各光量値をレジスタまたはSRAMなどのメモリー素子に格納してもよい。これにより、移動方向推定部２１８は、単位素子２１６の上下左右４方向、もしくは斜め４５°を含む６方向について、各受光素子２１５ａ〜２１５ｄの受光量が増大する方向、すなわち対象物の像が移動する方向を推定することが可能になる。なお、実際の推定には、ロジック回路２２０において、複数デジタルコンパレータによる大小比較が必要になる。使用するウェハプロセスのノードにも依存するが、単位素子２１６ごとにこのようなロジック回路２２０を実装することは十分可能である。

（TOF測距センサの効果）
本実施形態に例示した構成によれば、先述した移動方向推定と、実施形態１で詳細を説明した距離情報の信頼度（情報対象物の有無判定）とを組み合わせることが、極めて容易に実現できる。すなわち、各受光素子２１５ａ〜２１５ｄを束ねた単位素子２１６に対するTOF信号処理の結果から予めホストシステム１によって指定された第１部分空間群ｄｓｇ_１の中に対象物が存在するか否かを判定し、各受光素子２１５ａ〜２１５ｄの出力を直接カウントした結果を比較することで上記対象物の位置が時間変化する方向を推定する。これらの結果を基に、TOF測距センサ１２自身が空間制御部２２を介して、発光素子アレイ２０４への信号接続および受光素子アレイ２１４からの信号接続を制御し、TOF測距センサ１２自身が形成すべき第１部分空間群ｄｓｇ_１の位置や移動量を指定して、対象物を自動的に補足しつつTOF測距動作を継続することができる。このように、３次元空間を角度領域において２次元的に分割し、各領域で距離情報を得る際に、実際に距離情報を取得すべき２次元の角度領域を自動的に更新することができるので、TOF測距センサ１２は、従来技術と比べ、主に発光（発光ユニット２００）側で消費されるTOF測距センサ１２のトータル消費電力を大幅に低減した上で、ホストシステム１に過大な画像信号処理の負荷をかけることなく、真に有用な３次元depth情報を取得することが可能となる。

このようにして、予めホストシステム１の画像解析結果を基に指定された第１部分空間群ｄｓｇ_１に対して、一度対象物の有無の判定を含むTOF信号処理を行った後は、必要な第１部分空間群ｄｓｇ_１に対してのみ、TOF測距センサ１２自身が対象物を自動的に補足してTOF信号処理を継続するという、操作性および消費電力の面から実用上非常に有益な、２次元トラッキング動作を実現することができる。あるいは、ホストシステム１の側から第１部分空間群ｄｓｇ_１を指定するかわりに、TOF測距センサ１２自身が、継続的な動作に先立って、全画角を分割してスキャンし対象物の存在する部分空間を判定した上で、上記と同様に対象物を自動的に補足する完全な２次元トラッキングTOF測距を実行することも可能である。

〔まとめ〕
本発明の態様１に係る測距センサ（TOF測距センサ２，１２）は、カメラモジュール（RGBカメラモジュール３）と連携動作し、空間へ照射したビーム（ビーム光Ｌout）が対象物により反射されて往復する時間を計測して、前記カメラモジュールが取得した画像情報と組み合わせて３次元位置情報を生成するための前記対象物の距離情報を生成するTOF方式の測距センサであって、面状配置された複数の発光素子を有し、前記空間を分割した各部分空間へ向けて、部分空間ごとに割り当てられた前記発光素子からの光を、発光レンズ系によってビーム形成して照射する発光ユニットと、面状配置された複数の受光素子を有し、前記各部分空間からの反射光を、受光レンズ系によって前記部分空間ごとに割り当てられた前記受光素子上に結像させて受光する受光ユニットと、共通する前記各部分空間に割り当てられた前記発光素子および前記受光素子を含む素子群ごとに、独立して制御を行う空間制御部と、を少なくとも備える。

上記の構成によれば、TOF測距センサは、各部分空間に割り当てられた発光素子および受光素子を含む素子群ごとに独立して制御可能であるため、必要最小限の素子群のみを選択的に駆動して、TOF測距センサを効率よく動作させることができる。また、従来のように、MEMSミラーなどを備える必要がないため、高い測距精度および空間分解能を維持したまま装置構成を単純化し、小型化および低コスト化を容易にすることができる。

また、本発明の態様２に係る測距センサは、上記態様１において、前記発光ユニットが有する前記発光素子の数よりも少ないチャネル数で並的にTOF信号処理を行い、前記距離情報を取得するTOF信号処理部をさらに備え、前記TOF信号処理部は、前記チャネル数に等しい数、または前記チャネル数より少ない数の前記距離情報を取得してもよい。

上記の構成によれば、TOF信号処理部は、発光ユニットが有する発光素子の数よりも少ないチャネル数で並的にTOF信号処理を行うため、主に発光（発光ユニット）側で消費されるTOF測距センサのトータル消費電力を低減することができる。

また、本発明の態様３に係る測距センサは、上記態様２において、前記空間制御部は、前記画像情報に基づいて予め指定される１つまたは複数の前記部分空間を含む部分空間群（第１部分空間群ｄｓｇ_１、第２部分空間群ｄｓｇ_２）を設定し、前記TOF信号処理は、前記部分空間群に関する前記距離情報を取得してもよい。

上記の構成によれば、カメラモジュールと連携動作して、カメラモジュールが取得した画像情報に基づいて予め指定される必要な部分空間群に関する距離情報を選択的に取得することができる。

また、本発明の態様４に係る測距センサでは、上記態様３において、前記TOF信号処理部は、特定の前記部分空間または前記部分空間群に関する前記距離情報の信頼度を示す情報を、前記各距離情報に付加してもよい。

上記の構成によれば、信頼度の低い距離情報を用いて３次元位置情報が生成されることを抑制することができる。

また、本発明の態様５に係る測距センサは、上記態様３または４において、前記受光ユニットが有する前記受光素子の数は、前記発光ユニットが有する前記発光素子の数の倍数であり、前記受光素子の各受光素子は、前記倍数の単位で単位素子として構成され、前記単位素子を構成する前記受光素子が受光する反射光の光量変化に基づいて、前記対象物の移動方向を推定する移動方向推定部をさらに備えていてもよい。

上記の構成によれば、対象物の移動方向に基づいて、必要最小限の素子群のみを選択的に駆動させて、測距センサを効率的に動作させることができる。

また、本発明の態様６に係る測距センサでは、上記態様５において、前記空間制御部は、前記移動方向推定部の推定結果に基づいて、前記部分空間群の設定を更新し、前記TOF信号処理は、更新された前記部分空間群に関する前記距離情報を取得してもよい。

上記の構成によれば、測距センサが対象物を継続的に捕捉して該対象物の距離情報を取得することができるため、測距センサが実装される機器のホストシステムに過大な画像信号処理の負荷をかけることなく、有用な距離情報を測距センサ側で取得することができる。

また、本発明の態様７に係る測距センサでは、上記態様１から６において、前記発光素子の数および前記受光素子の数は、前記カメラモジュールが有する撮像素子の有効画素数以下であってもよい。

上記の構成によれば、TOF測距センサのトータル消費電力を効率的に低減することができる。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

２、１２：TOF測距センサ（測距センサ）
３：RGBカメラモジュール（カメラモジュール）
２０、２００：発光ユニット
２１、２１０：受光ユニット
２２：空間制御部
２４：TOF信号処理部
３１ APS
２０２：発光レンズ系
２０３、２０５：発光素子
２１２：受光レンズ系
２１３、２１５、２１５ａ〜２１５ｄ：受光素子
２１６：単位素子
２１８：移動方向推定部
３１１撮像素子
Ｌout：ビーム光（ビーム）
Ｌin：反射光
ｓ空間
ｄｓｇ_１：第１部分空間群（部分空間群）
ｄｓｇ_２：第２部分空間群（部分空間群）

Claims

カメラモジュールと連携動作し、空間へ照射したビームが対象物により反射されて往復する時間を計測して、前記カメラモジュールが取得した画像情報と組み合わせて３次元位置情報を生成するための前記対象物の距離情報を生成するTOF方式の測距センサであって、
面状配置された複数の発光素子を有し、前記空間を分割した各部分空間へ向けて、部分空間ごとに割り当てられた前記発光素子からの光を、発光レンズ系によってビーム形成して照射する発光ユニットと、
面状配置された複数の受光素子を有し、前記各部分空間からの反射光を、受光レンズ系によって前記部分空間ごとに割り当てられた前記受光素子上に結像させて受光する受光ユニットと、
共通する前記各部分空間に割り当てられた前記発光素子および前記受光素子を含む素子群ごとに、独立して制御を行う空間制御部と、
を少なくとも備え、
前記発光ユニットが有する前記発光素子の数よりも少ないチャネル数で並的にTOF信号処理を行い、前記距離情報を取得するTOF信号処理部をさらに備え、
前記TOF信号処理部は、前記チャネル数に等しい数、または前記チャネル数より少ない数の前記距離情報を取得し、
前記空間制御部は、前記画像情報に基づいて予め指定される１つまたは複数の前記部分空間を含む部分空間群を設定し、
前記TOF信号処理は、前記部分空間群に関する前記距離情報を取得し、
前記受光ユニットが有する前記受光素子の数は、前記発光ユニットが有する前記発光素子の数の倍数であり、
前記受光素子の各受光素子は、前記倍数の単位で単位素子として構成され、
前記単位素子を構成する前記受光素子が受光する反射光の光量変化に基づいて、前記対象物の移動方向を推定する移動方向推定部をさらに備える
ことを特徴とする測距センサ。
TOF信号処理部は、特定の前記部分空間または前記部分空間群に関する前記距離情報の信頼度を示す情報を、前記各距離情報に付加する
ことを特徴とする請求項１に記載の測距センサ。
前記空間制御部は、前記移動方向推定部の推定結果に基づいて、前記部分空間群の設定を更新し、
前記TOF信号処理は、更新された前記部分空間群に関する前記距離情報を取得する
ことを特徴とする請求項１に記載の測距センサ。
前記発光素子の数および前記受光素子の数は、前記カメラモジュールが有する撮像素子の有効画素数以下である
ことを特徴とする請求項１から３のいずれか１項に記載の測距センサ。