JP4869246B2 - 一つのシーン内の距離値を３ｄイメージセンサの出力から計算する方法 - Google Patents

Description

本発明は一般に撮像システムに基づく自動車用占有者感知システム、特に３Ｄ伝搬（飛行）時間型カメラによる距離測定を改良する方法と、３Ｄカメラ用の誤差補償方法に関する。

自動車におけるエアバッグ等の二次拘束システムを適切に制御するには、この二次拘束システムが随伴する車両シートの占有状態を確実に感知することが要求される。二次拘束システムはその配置が車両シートの実際の占有状態に適している場合、極めて有効である。更に、可能な占有者の位置を確実に感知することは、占有者が間違った位置にあるとき、例えばエアバッグの展開が結果としておそらく搭乗者に重傷を負わすことになる位置に占有者がいるとき、エアバッグを無効にするために極めて重要である。

一つの占有者感知システムは、占有者の存在及び／又はその現在の着座位置及び／又は例えば占有者の頭部位置付けを測定する光学的撮像システムに基づく。そのような光学的撮像システムは、例えば特定感知部を監視するＣＣＤ又はＣＭＯＳカメラと、カメラの撮る画像を評価する随伴制御装置とを含む。この制御装置は、例えば搭乗者の存在を表す所定パターンを検出し、また特定部、例えば搭乗者の頭部の位置を検出する適宜の画像処理アルゴリズムを用いる。この位置に基づいて、制御装置は搭乗者の着座位置に付き決定を下し、エアバッグ制御装置のための対応制御信号を発生することができる。

搭乗者の位置は３次元空間内に決定されなければならないので、状況画像の記録と同時に深さ情報を記録する３Ｄカメラを用いるのが有利である。そのような３Ｄカメラは一般に、対象までの距離が、撮像器の画素内の特定の積分時間中に蓄積される電荷に基づいて決定される飛行時間（ＴＯＦ：Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）原理に基づいている。従って、そのようなカメラによれば、3次元空間内の位置の決定を可能にする必須のデータが直ちに提供される。

だが、現在知られている４タップ画像化センサには、固有のゲイン及びオフセット誤差が付き纏う。これ等の誤差は結果として、３Ｄ−ＴＯＦカメラによる距離測定における誤差となる。

本発明の目的は、修正距離値を３Ｄカメラのセンサ応答から決定する方法を提供することにある。

上記問題を克服するため、本発明はシーン（場面）内の距離値ｄを４タップ３Ｄイメージセンサの出力から、該イメージセンサの画素に所定の積分時間間隔Ｔ_intg中に蓄積される電荷に基づいて決定する方法であって、上記所定積分時間間隔Ｔ_intgを多数の部分積分時間間隔に分割し、上記距離値ｄを上記部分積分時間間隔の各々の端における４タップの個々のタップ応答に基づいて計算する方法を提供する。

この方法の好適な実施例では、部分積分時間間隔の数が４であり、該部分積分時間間隔の時間長が略同一である。

シーンの記録中に、該シーンは通常、照明発生光源で照射される。本発明の好適な実施例では、該照明の位相は前記部分積分時間間隔の各々ごとに異なる。上記シーンは例えば、照明発生光源で照射され、該照明の位相が２つの連続する部分積分時間間隔間で９０°移相されようにする。

修正距離値を決定する方法は好ましくは、次の工程、即ち
ａ）前記所定積分時間間隔Ｔ_intgを４つの部分積分時間間隔Ｔ₁、Ｔ₂、Ｔ₃、Ｔ₄に分割し、ここで該部分積分時間間隔の時間長は略同一であり、
ｂ）第１の積分時間間隔Ｔ₁の端で、４タップＴap₀、Ｔap₁、Ｔap₂、Ｔap₃の出力電圧を決定し、これ等決定電圧をＡ_{0_0}(Ｔap₀)、Ａ_{1_0}(Ｔap₁)、Ａ_{2_0}(Ｔap₂)、Ａ_{3_0}(Ｔap₃)として蓄積し、ここで上記出力電圧値は上記４タップの各々における部分積分時間間隔Ｔ₁中に蓄積される電荷に比例し、
ｃ）第１の積分時間間隔Ｔ₁の端で、且つ第２の積分時間間隔Ｔ2の開始前に、シーン照明の位相をＴ₁中に印加される照明に対して９０°移相し、
ｄ）第２の時間間隔Ｔ₂の端で、４タップＴap₀、Ｔap₁、Ｔap₂、Ｔap₃の出力電圧を決定し、これ等決定電圧をＡ_{0_９0}(Ｔap₀)、Ａ_{1_９0}(Ｔap₁)、Ａ_{2_９0}(Ｔap₂)、Ａ_{3_９0}(Ｔap₃)として蓄積し、ここで上記出力電圧値は上記タップの各々における部分積分時間間隔Ｔ₂中に蓄積される電荷に比例し、
ｅ）第２の積分時間間隔Ｔ_２の端で、且つ第３の積分時間間隔Ｔ_３の開始前に、シーン照明の位相をＴ₁中に印加される照明に対して１８０°移相し、
ｆ）第３の時間間隔Ｔ_３の端で、４タップＴap₀、Ｔap₁、Ｔap₂、Ｔap₃の出力電圧を決定し、これ等決定電圧をＡ_{0_１８0}(Ｔap₀)、Ａ_{1_１８0}(Ｔap₁)、Ａ_{2_１８0}(Ｔap₂)、Ａ_{3_１８0}(Ｔap₃)として蓄積し、ここで上記出力電圧値は上記タップの各々における部分積分時間間隔Ｔ_３中に蓄積される電荷に比例し、
ｇ）第３の積分時間間隔Ｔ_３の端で、且つ第４の積分時間間隔Ｔ_４の開始前に、シーン照明の位相をＴ₁中に印加される照明に対して２７０°移相し、
ｈ）第４の時間間隔Ｔ_４の端で、４タップＴap₀、Ｔap₁、Ｔap₂、Ｔap₃の出力電圧を決定し、これ等決定電圧をＡ_{0_２７0}(Ｔap₀)、Ａ_{1_２７0}(Ｔap₁)、Ａ_{2_２７0}(Ｔap₂)、Ａ_{3_２７0}(Ｔap₃)として蓄積し、ここで上記出力電圧値は上記タップの各々における部分積分時間間隔Ｔ_４中に蓄積される電荷に比例する
を含んで成る。

修正距離値ｄ（ｍ）は次式で決定される。

ここで、
ｄは、距離値であり、
Ａ _{0_0} 、Ａ _{１_0} 、Ａ _{２_0} 、及びＡ _{３_0} は、第１の積分時間間隔Ｔ _１ の端で４タップについて求められた電圧値であり；
Ａ _{0_９0} 、Ａ _{１_９0} 、Ａ _{２_９0} 、及びＡ _{３_９0} は、第２の積分時間間隔Ｔ _２ の端で４タップについて求められた電圧値であり；
Ａ _{0_１８0} 、Ａ _{１_１８0} 、Ａ _{２_１８0} 、及びＡ _{３_１８0} は、第３の積分時間間隔Ｔ _３ の端で４タップについて求められた電圧値であり；
Ａ _{0_２７0} 、Ａ _{１_２７0} 、Ａ _{２_２７0} 、及びＡ _{３_２７0} は、第４の積分時間間隔Ｔ _４ の端で４タップについて求められた電圧値であり；
ａｔａｎ２（ｘ，ｙ）はエレメントｘ及びｙの実数部の４クワドラント逆正接関数であり；
ｃは光の速度（ｍ/ｓ）であり；
ｆは照明の変調周波数（Ｈｚ）である。

好適な実施態様では、合計及び差操作がディジタルハードウェア加算及び減算機構として実行され、そして/或いは除法及びａｔａｎ操作がディジタル逐次近似装置による直交座標から極座標への変換として実行される。

従って、本発明の基礎をなす思想は、積分時間間隔を４つの同じ長さの短い積分時間間隔に分割し、各短い積分間隔の端における４つの積分タップ応答を記録し、誤差の少ない距離計算としてこれ等１６値を用いることである。

その利点は、この方法に基づく距離計算が結果として誤差の少ない距離出力を生ずることである。時間に亘って一定のゲイン及びオフセット誤差が完全に除かれる。

従来技術において３Ｄ画像を測定するには、撮像器は変調の数周期に亘る、即ち複数の照明周期からなる積分時間間隔T_intgを必要とする。ここで述べられる改良方法はこの時間間隔を４つの時間間隔Ｔ₁、Ｔ₂、Ｔ₃、Ｔ₄に分割し、ここで該時間間隔の時間長は略同一、即ちＴ₁=Ｔ₂＝Ｔ₃＝Ｔ₄＝T_intg/４）である。

第1の積分時間間隔T₁の端において、４タップＴap₀、Ｔap₁、Ｔap₂、Ｔap₃の出力電圧が測定され、Ａ_{0_0}＝Ｔap₀、Ａ_{1_0}＝Ｔap₁、Ａ_{2_0}＝Ｔap₂、Ａ_{3_0}＝Ｔap₃として蓄積される。これ等出力電圧は、積分時間間隔T₁中に累積される電荷に比例する。

次の積分期間間隔T₂中に、照明の位相はT₁中に印加される照明に対して９０°移相される。第２の時間間隔T₂の端において、４タップＴap₀、Ｔap₁、Ｔap₂、Ｔap₃の出力が測定され、Ａ_{0_９0}＝Ｔap₀、Ａ_{1_９0}＝Ｔap₁、Ａ_{2_９0}＝Ｔap₂、Ａ_{3_９0}＝Ｔap₃として蓄積される。これ等出力電圧は、積分時間間隔T_２中に累積される電荷に比例する。

次の積分期間間隔T_３中に、照明の位相はT₁中に印加される照明に対して１８０°移相される。第３の時間間隔T_３の端において、４タップＴap₀、Ｔap₁、Ｔap₂、Ｔap₃の出力が測定され、Ａ_{0_１８０}＝Ｔap₀、Ａ_{1_１８０}＝Ｔap₁、Ａ_{2_１８０}＝Ｔap₂、Ａ_{3_１８０}＝Ｔap₃として蓄積される。これ等出力電圧は、積分時間間隔T_３中に累積される電荷に比例する。

次の積分期間間隔T_４中に、照明の位相はT₁中に印加される照明に対して２７０°移相される。第４の時間間隔T_４の端において、４タップＴap₀、Ｔap₁、Ｔap₂、Ｔap₃の出力が測定され、Ａ_{0_２７０}＝Ｔap₀、Ａ_{1_２７０}＝Ｔap₁、Ａ_{2_２７０}＝Ｔap₂、Ａ_{3_２７０}＝Ｔap₃として蓄積される。これ等出力電圧は、積分時間間隔T_４中に累積される電荷に比例する。

次いで、これ等蓄積値を用い、修正距離ｄ（ｍ）が次の式で計算される：

ここで、
ｄは、距離値であり、
Ａ _{0_0} 、Ａ _{１_0} 、Ａ _{２_0} 、及びＡ _{３_0} は、第１の積分時間間隔Ｔ _１ の端で４タップについて求められた電圧値であり；
Ａ _{0_９0} 、Ａ _{１_９0} 、Ａ _{２_９0} 、及びＡ _{３_９0} は、第２の積分時間間隔Ｔ _２ の端で４タップについて求められた電圧値であり；
Ａ _{0_１８0} 、Ａ _{１_１８0} 、Ａ _{２_１８0} 、及びＡ _{３_１８0} は、第３の積分時間間隔Ｔ _３ の端で４タップについて求められた電圧値であり；
Ａ _{0_２７0} 、Ａ _{１_２７0} 、Ａ _{２_２７0} 、及びＡ _{３_２７0} は、第４の積分時間間隔Ｔ _４ の端で４タップについて求められた電圧値であり；
ａｔａｎ２（ｘ，ｙ）はエレメントｘ及びｙの実数部の４クワドラント逆正接関数であり；
ｃは光の速度（ｍ/ｓ）であり；
ｆは照明の変調周波数（Ｈｚ）である。

Claims (9)

1. 一つのシーン内の距離値ｄを４タップ３Ｄイメージセンサの出力から、該イメージセンサの画素に所定の積分時間間隔Ｔ_intg中に蓄積される電荷に基づいて決定する方法であって、上記所定積分時間間隔Ｔ_intgを複数の部分積分時間間隔に分割し、前記複数の部分積分時間間隔の各々の端において、４タップについて個々のタップ応答が求められ、ここで上記タップ応答はタップの各々において部分積分中に蓄積される電荷に比例し、上記距離値ｄを上記部分積分時間間隔の各々の端における４タップの個々のタップ応答に基づいて計算することを特徴とする方法。
2. 前記部分積分時間間隔の時間長が略同一である、請求項１に記載の方法。
3. 部分積分時間間隔の数が４である、請求項１〜２の何れか１つに記載の方法。
4. 前記シーンを照明発生光源で照射し、該照明の位相が前記部分積分時間間隔の各々ごとに異なる、請求項１〜３の何れか１つに記載の方法。
5. 前記シーンを照明発生光源で照射し、該照明の位相が２つの連続する部分積分時間間隔間で９０°移相される、請求項１〜４の何れか１つに記載の方法。
6. 次の工程、即ち
   ａ）前記所定積分時間間隔Ｔ_intgを４つの部分積分時間間隔Ｔ₁、Ｔ₂、Ｔ₃、Ｔ₄に分割し、ここで該部分積分時間間隔の時間長は実質的に同一であり、
   ｂ）第１の積分時間間隔Ｔ₁の端で、４タップＴap₀、Ｔap₁、Ｔap₂、Ｔap₃の出力電圧を決定し、これ等決定電圧をＡ_{0_0}(Ｔap₀)、Ａ_{1_0}(Ｔap₁)、Ａ_{2_0}(Ｔap₂)、Ａ_{3_0}(Ｔap₃)として蓄積し、ここで上記出力電圧値は上記タップの各々における部分積分時間間隔Ｔ₁中に蓄積される電荷に比例し、
   ｃ）第１の積分時間間隔Ｔ₁の端で、且つ第２の積分時間間隔Ｔ₂の開始前に、シーン照明の位相をＴ₁中に印加される照明に対して９０°移相し、
   ｄ）第２の時間間隔Ｔ₂の端で、４タップＴap₀、Ｔap₁、Ｔap₂、Ｔap₃の出力電圧を決定し、これ等決定電圧をＡ_{0_９0}(Ｔap₀)、Ａ_{1_９0}(Ｔap₁)、Ａ_{2_９0}(Ｔap₂)、Ａ_{3_９0}(Ｔap₃)として蓄積し、ここで上記出力電圧値は上記タップの各々における部分積分時間間隔Ｔ₂中に蓄積される電荷に比例し、
   ｅ）第２の積分時間間隔Ｔ_２の端で、且つ第３の積分時間間隔Ｔ_３の開始前に、シーン照明の位相をＴ₁中に印加される照明に対して１８０°移相し、
   ｆ）第３の時間間隔Ｔ_３の端で、４タップＴap₀、Ｔap₁、Ｔap₂、Ｔap₃の出力電圧を決定し、これ等決定電圧をＡ_{0_１８0}(Ｔap₀)、Ａ_{1_１８0}(Ｔap₁)、Ａ_{2_１８0}(Ｔap₂)、Ａ_{3_１８0}(Ｔap₃)として蓄積し、ここで上記出力電圧値は上記タップの各々における部分積分時間間隔Ｔ_３中に蓄積される電荷に比例し、
   ｇ）第３の積分時間間隔Ｔ_３の端で、且つ第４の積分時間間隔Ｔ_４の開始前に、シーン照明の位相をＴ₁中に印加される照明に対して２７０°移相し、
   ｈ）第４の時間間隔Ｔ_４の端で、４タップＴap₀、Ｔap₁、Ｔap₂、Ｔap₃の出力電圧を決定し、これ等決定電圧をＡ_{0_２７0}(Ｔap₀)、Ａ_{1_２７0}(Ｔap₁)、Ａ_{2_２７0}(Ｔap₂)、Ａ_{3_２７0}(Ｔap₃)として蓄積し、ここで上記出力電圧値は上記タップの各々における部分積分時間間隔Ｔ_４中に蓄積される電荷に比例する
   を含んで成る、請求項１〜５の何れか１つに記載の方法。
7. 前記距離値ｄ（ｍ）を次式
   

   

   ここで、
   ｄは、距離値であり、
   Ａ_{0_0}、Ａ_{１_0}、Ａ_{２_0}、及びＡ_{３_0}は、第１の積分時間間隔Ｔ_１の端で４タップについて求められた電圧値であり；
   Ａ_{0_９0}、Ａ_{１_９0}、Ａ_{２_９0}、及びＡ_{３_９0}は、第２の積分時間間隔Ｔ_２の端で４タップについて求められた電圧値であり；
   Ａ_{0_１８0}、Ａ_{１_１８0}、Ａ_{２_１８0}、及びＡ_{３_１８0}は、第３の積分時間間隔Ｔ_３の端で４タップについて求められた電圧値であり；
   Ａ_{0_２７0}、Ａ_{１_２７0}、Ａ_{２_２７0}、及びＡ_{３_２７0}は、第４の積分時間間隔Ｔ_４の端で４タップについて求められた電圧値であり；
   ａｔａｎ２（ｘ，ｙ）はエレメントｘ及びｙの実数部の４クワドラント逆正接関数であり；
   ｃは光の速度（ｍ/ｓ）であり；
   ｆは照明の変調周波数（Ｈｚ）である
   で決定する工程を含んで成る、請求項１〜６の何れか１つに記載の方法。
8. 前記和及び差操作がディジタルハードウェア加算及び減算機構として実行される、請求項７に記載の方法。
9. 除法及びａｔａｎ操作がディジタル逐次近似装置による直交座標から極座標への変換として実行される、請求項７又は８の何れか１つに記載の方法。