JP6480824B2 - 距離画像センサのパラメータ調整方法、パラメータ調整装置、およびエレベータシステム - Google Patents

Description

本発明は、距離画像センサのパラメータ調整方法、パラメータ調整装置、およびエレベータシステムに関する。

エレベータシステムでは、乗客の乗り過ぎの超過や過重積載などに対する対策を実施している。例えば乗客の乗り過ぎによる運転を防止するために、荷重センサによりかご内の荷重を検出している。かご内荷重が定格積載荷重を超過した場合には、かご内の警報器を鳴らし続けて戸閉動作を行わないようにしている。

これに対し近年、従来の荷重センサよりもより高度なセンサをエレベータのかご内に備え、そのセンサで認識した乗客の認識結果を利用してエレベータを高度に制御する技術が検討されている。例えば特許文献１では、画像中の各画素の距離値が計算できる距離画像センサを用いて、エレベータ内で乗客が占める占有面積を計測する。特許文献１では、乗客の占有面積から混雑度を計測して、エレベータの運行を制御する。

これにより、特許文献１では、例えば車椅子に乗る乗客やショッピングカートを押す乗客のように、通常の乗客との重量差は小さいが通常の乗客よりも占有面積の大きな乗客が乗った場合の混雑を適切に計測することができる。さらに、特許文献１では、かご内の混雑度が高く、ドアを開けても新たな乗客が乗車できないと判断した場合に、目的階まで途中階でのドア開をスキップする運行制御も可能となる。

特許文献１では、距離画像センサの撮像系モデルと距離画像センサの設置角度と設置位置の情報とから、距離画像センサで計測した距離値の群を三次元点群へと変換する。そして、特許文献１では、三次元点群の中で、かごの床面よりも高い三次元点群の集合を乗客として認識する。

特許文献１では、距離値の群を三次元点群へ変換する際、距離画像センサの設置角度や設置位置といった外部パラメータを対象に、計算機内のパラメータを較正して最適化する必要がある。この較正（キャリブレーション）では、実空間と計算機内とでずれが小さくなるように、計算機内のパラメータを最適化する。

エレベータシステムには様々な寸法が存在するため、距離画像センサを設置する現地毎の、かごの寸法に応じて外部パラメータを較正する必要がある。加えて、距離値群の三次元点群への変換をより正確に計測するためには、距離画像センサの撮像系モデルに含まれる焦点距離等の内部パラメータを対象に、実空間と計算機内とでずれが小さくなるように較正するのが望ましい。

特許文献２では、パラメータのキャリブレーションに関して、作業員が使う情報端末上のユーザインタフェースを用いて、カメラが適切な方位角および俯角で設置されるように作業員をガイダンスする技術を開示する。特許文献２では、作業員がユーザインターフェースを介してかごの型式を指定すると、カメラの取付方法がユーザインターフェースに表示される。

特許文献２では、かご内の床の角を目印として、カメラ画像中の重畳表示を用いて、カメラのパンおよびチルトの設置角度が大凡適切となるようにガイダンスする。さらに、特許文献２では、ガイダンス後に床の角を画像認識し、床の角のガイダンス位置と実際の位置とのカメラ画像中のずれ量から、実空間と計算機内とでカメラのパンおよびチルトの設置角度が最小となるように較正する。

なお、２つの点群を位置合わせするためのアルゴリズムとしては、ＩＣＰ（Iterative Closest Point）アルゴリズムが知られている（非特許文献１）。

特開２０１４−０２１８１６号公報 特開２０１２−２０５２９９号公報

Besl, P. and McKay, N. "A Method for Registration of 3-D Shapes", Trans. PAMI, Vol. 14, No. 2, 1992.

特許文献２では、キャリブレーションに使う目印が１つだけであり、目印の画像座標からは２つの拘束式しか定めることができない。このため特許文献２では、キャリブレーションできるパラメータの数が２個以下に限られる。従って、特許文献２では、距離画像センサの設置角度の方位角と俯角に加えて、ロール角もキャリブレーションしようとすると拘束式が不足する。特許文献２では、ロール角の較正はできない。さらに、特許文献２では、方位角および俯角に加えて、焦点距離等の距離画像センサの内部パラメータをキャリブレーションしようとする場合も拘束式が不足する。特許文献２では、距離画像センサの内部パラメータを較正することはできない。

拘束式を増やすためには、キャリブレーションの目印を増やす必要がある。しかし、かごの仕様によっては、キャリブレーションの目印に乏しい場合がある。特に、距離画像センサをかごの入口付近に設置して、かごの奥側を監視する場合、目印に乏しい。かごの奥側では、かごの入口側と異なり、行き先階を示すインジケータや開閉ボタン、ドアなどの目印が存在しないためである。

かご内にキャリブレーション用の目印を意図的に追加することも考えられるが、この場合は、それら目印のかご内における三次元座標のデータベースを用意する必要があり、較正の準備作業に手間がかかる。

本発明は、上述の課題に鑑みてなされたもので、その目的は、パラメータを調整するための目印に乏しい場合でも、複数のパラメータを調整することのできるようにした距離画像センサのパラメータ調整方法、パラメータ調整装置、およびエレベータシステムを提供することにある。

上記課題を解決すべく、本発明に係る距離画像センサのパラメータ調整方法は、対象領域の画像と対象領域までの距離を含む距離画像を取得する距離画像センサの複数パラメータを調整する方法であって、以下のステップ：距離画像センサから所定の対象領域についての距離画像を取得し、予め登録されている三次元形状情報の中から所定の対象領域の三次元形状情報を取得し、予め登録されている仕様情報の中から距離画像センサの設置および撮影に関する仕様情報を取得し、取得した所定の対象領域の三次元形状情報から、所定の対象領域に基づいて設定される所定の座標系における、所定の対象領域の実寸形状を計算し、取得した距離画像センサの仕様情報と所定の対象領域についての距離画像とから、距離画像の各画素の距離値を所定の座標系に対応付けた三次元点群を生成し、三次元点群を実寸形状に当てはめる際の誤差を計算する、を含む。

本発明によれば、距離画像センサの検出した距離値から得られる三次元点群と、所定の対象領域の実寸形状とを当てはめる際の誤差を算出することができるため、この誤差を用いれば、距離画像センサの複数パラメータを調整することができる。

パラメータ調整装置を備えるエレベータシステムの概要を示す説明図。 かご内の装置構成を示す説明図。 距離画像センサを基準とする座標系を示す説明図。 かご内を基準とする座標系を示す説明図。 型式選択部の一つの画面構成例を示す。 型式選択部の他の画面構成例を示す。 距離画像から生成する三次元点群をかごの実寸形状に当てはめる処理を示すフローチャート。 かごの実寸形状の一例を示す模式図。 かご内を撮影した距離画像から生成される三次元点群の例を示す。 かごの実寸形状と三次元点群とを重畳表示した様子を示す。 複数パラメータを較正する処理の全体を示すフローチャート。 第２実施例に係り、パラメータ調整装置の機能ブロック図。 実寸形状の対応箇所を入力するためのマーカを距離画像内に設定する様子を示す画面例。 距離画像に設定したマーカの実寸形状での対応位置を示す画面例。 点状のマーカに代えて線分で、対応箇所を距離画像内に設定する様子を示す画面例。 距離画像に設定した線分の実寸形状での対応位置を示す画面例。 複数パラメータを較正する処理の全体を示すフローチャート。 第３実施例に係り、パラメータ調整装置の機能ブロック図。 距離画像から生成する三次元点群をかごの実寸形状に当てはめる処理を示すフローチャート。 複数パラメータを較正する処理の全体を示すフローチャート。 第４実施例に係り、ステレオカメラを用いて距離画像を得る処理を示すフローチャート。

以下、図面に基づいて、本発明の実施の形態を説明する。本実施形態では、以下に詳述するように、監視対象である所定の対象領域を監視するための距離画像センサについて、その外部パラメータまたは内部パラメータの少なくともいずれか一方、または両方を自動または手動で調整できるようにしている。本実施形態では、距離画像センサのパラメータを調整（較正）する方法または装置に限らず、距離画像センサの設置を支援する方法または装置も開示している。ここで、所定の対象領域とは、例えば、エレベータシステムのかごの内部である。

エレベータシステムは、例えば最大乗車人数や移動速度などの顧客要求に応じて種々相違するため、かごの型式も複数存在する。さらに、かご内に取り付ける距離画像センサにも複数の型式がある。また、エレベータシステムは、世界各国で使用されるため、かご内部に距離画像センサを設置する作業や保守点検作業も現地の作業者が行う。

このように、エレベータシステムでは、複数の型式のかごを使い分けており、かつ、様々な国の現地作業者がかご内の距離画像センサを設置したり保守点検したりするという性質を持つ。本実施形態では、このような性質を踏まえて、型式毎に寸法の異なるかごの内部に、型式毎にパラメータの異なる距離画像センサを適切に設置することができ、複数パラメータを調整（または較正）できるようにしている。

本実施形態において、距離画像取得部は、距離画像センサから距離画像を取得し、情報取得部としての型式選択部は、かごの型式および距離画像センサの型式を読込む。当てはめ部は、かごの型式に応じて定まる寸法から計算した実寸形状に対して、距離画像から生成される三次元点群を当てはめる。当てはめ部は、距離画像センサの型式から定まる内部パラメータおよび外部パラメータの初期値と距離画像センサの距離値とから、三次元点群を計算することができる。そして、当てはめ部は、三次元点群が実寸形状に最も良く当て嵌まるように、距離画像センサの外部パラメータおよび内部パラメータの中で少なくとも一部の（好ましくは３つ以上の）パラメータを最適化する。当てはめ部は、パラメータの最適化を自動的に行うこともできるし、パラメータの最適化に役立つ情報（実寸形状と三次元点群との重畳表示、誤差の値）をユーザインターフェースから作業者に提供することもできる。作業者は、ユーザインターフェースから提供された情報を用いて、所望のパラメータを調整することができる。

このように構成される本実施形態では、様々な寸法のかごにおいて、キャリブレーションのための目印が乏しい状況下であっても、距離画像センサの外部パラメータもしくは内部パラメータの一方もしくは両方の中の所定パラメータを対象に、距離画像センサのパラメータをキャリブレーションすることができる。また、本実施形態では、キャリブレーション後の距離画像センサのパラメータを用いて、距離画像センサで取得したかご内の距離画像を画像認識することができる。そして、画像認識の結果に基づいて、かご内の装置を制御したり、かごの運行を制御したりすることができる。

図１〜図１１を用いて第１実施例を説明する。図１は、カメラパラメータ調整装置１を備えるエレベータシステムの全体概要を示す。エレベータシステムは、例えばカメラパラメータ調整装置１と、画像処理部２と、エレベータ制御部３と、かご４と、距離画像センサ５と、駆動機構６を備える。

かご４は、建築物内に設けられた昇降路（不図示）を駆動機構６により昇降する。かご４の運行等はエレベータ制御部３により制御される。かご４の内部に設置された距離画像センサ５は、カメラパラメータ調整装置１に接続されており、かご４内の距離画像を撮影してカメラパラメータ調整装置１へ送信する。

ここで、距離画像センサ５は、距離画像を検出するセンサである。距離画像とは、二次元平面の画像だけでなく、その奥行き情報（距離値）を持つ三次元画像である。距離画像センサ５としては、例えば、対象に向けて照射した赤外線などの反射光が戻る時間から距離値を計算する方式のセンサを使用できる。さらに後述の実施例では、距離画像センサとして、ステレオカメラを用いる場合を説明する。以下では、距離画像センサ５をカメラと称する場合がある。

カメラパラメータ調整装置１は、「距離画像センサのパラメータ調整装置」の一例であり、例えば、距離画像取得部１１と、型式選択部１２と、当てはめ部１３を備える。カメラパラメータ調整装置１の具体的構成例は後述するが、例えば、マイクロプロセッサ、メモリ、通信インターフェースなどを備えるコンピュータを用いて構成される。

距離画像取得部１１は、距離画像センサ５の撮影した画像中の距離値を画素単位で計測した距離画像を取得する。型式選択部１２は、かご４の型式を選択するユーザインターフェース（以下、ＵＩと略記する場合がある）である。

当てはめ部１３は、かご４の実寸形状に対して、距離画像から生成する三次元点群を当てはめる。当てはめ部１３を、かご実寸形状当てはめ部１３と呼ぶこともできる。当てはめ部１３は、距離画像取得部１１の距離値と距離画像センサ５の撮像系のモデルとから、三次元点群を求める。かご４の実寸形状は、型式選択部１２で選択されたかご形式により定まる。当てはめ部１３は、かご４の実寸形状に最もよく当て嵌まるように、距離画像センサ５の外部パラメータまたは内部パラメータのいずれか一方もしくは両方の中で指定された所定のパラメータを対象に、キャリブレーションする。

画像処理部２は、キャリブレーションの終了した所定パラメータを用いて、距離画像取得部１１が取得した距離画像を画像処理し、そこに存在する物体（エレベータの乗客や荷物など）を認識する。画像処理部２による画像認識の結果は、エレベータ制御部３に送られる。エレベータ制御部３は、画像認識の結果に基づいて、例えばかご４の運行を制御したり、かご４内の乗客に指示したり、乗客に情報を提供したりする。

図２は、かご４に着目した装置構成例である。距離画像センサ５は、例えばかご４のドア４１の上方に位置して、かご４の奥を向いて設置されている。距離画像センサ５は、かご４内に乗客がいない場合、例えば、ドア４１に対向する側の壁部および床面４２を撮影する。

信号処理装置４３は、例えば、かご４の天井部に設置されている。信号処理部４３は、かご４の内部等に設けてもよい。設置場所は問わない。図２に示す座標系４０は、「所定の対象領域に基づいて設定される所定の座標系」の例である。

信号処理装置４３は、カメラパラメータ調整装置１と画像処理部２を実現する。すなわち、信号処理装置４３は、図１で述べた距離画像取得部１１、型式選択部１２、当てはめ部１３、および画像処理部２の機能を実現する。本実施例では、情報端末７０を作業者との間で情報を交換するためのユーザインターフェースとして利用する。従って、本実施例では、信号処理部３４が距離画像取得部１１、型式選択部１２、当てはめ部１３、画像処理部２を実現し、情報端末７０がユーザインターフェース機能を担当する。

信号処理装置４３は、距離画像センサ５とは独立した筐体を持つ計算機として構成することもできるし、距離画像センサ５の内部に設けることもできる。距離画像センサ５と信号処理装置４３とが別体に構成される場合、信号処理装置４３は、距離画像センサ５に有線または無線で接続される。信号処理装置４３を距離画像センサ５内に設ける場合、信号処理装置４３は、例えば、距離画像センサ５内のマイクロプロセッサやメモリ、およびメモリ内のコンピュータプログラムなどを用いて実現される。以下では、図２に示すように信号処理装置４３と距離画像センサ５とを別々に形成する場合を例に挙げて説明するが、上述のように距離画像センサ５内に信号処理装置４３を設けてもよい。

信号処理装置４３は、距離画像センサ５から距離画像を取得して画像処理し、画像を認識する。信号処理装置４３は、エレベータ制御部３と接続されており、エレベータ制御部３は、画像認識の結果に応じて、かご４内のインジケータなどの各装置を制御したり、かご４の運行を制御したりすることができる。

距離画像センサ５、信号処理装置４３、情報端末７０について上述した構成は例示であって、上述の例に限らない。かご４内の距離画像を取得でき、距離画像から三次元点群を生成でき、かご４の実寸形状を生成でき、三次元点群をかご４の実寸形状へ当てはめることができるのであれば、上述の構成例以外の他の構成を採用することができる。

かご４内を基準とする座標系４０は、原点Oおよび３つの座標軸(X, Y, Z)を持って定義されている。座標系４０の原点Oは、かご４内の床面４２の四隅の角のうちいずれか一つに設定される。座標系４０のＹ軸は、鉛直方向に設定される。座標系４０のＸ軸は、ドア４１からかご４内を見た場合の左方向に設定される。座標系４０のZ軸は、ドア４１からかご４内を見た場合の奥行き方向に設定される。

距離画像センサ５は、俯角θ、方位角φ、ロール角ρの設置角度を持って、ドア４１の上部にかご４内を向くようにして取り付けられている。俯角θと方位角φは、距離画像センサ５がＺ軸方向を見るときに共に０°であり、このとき俯角θ、方位角φ、ロール角ρの回転軸はそれぞれX軸、Y軸、Z軸と一致する。

エレベータシステムの保守管理を行う作業者は、情報端末７０を用いて、距離画像センサ５の設置方法のガイダンスを受けたり、距離画像センサ５の設置角度を確認したりすることができる。

情報端末７０は、例えば、ノート型パーソナルコンピュータ、タブレット型パーソナルコンピュータ、ＰＤＡ（パーソナルデジタルアシスタント）、携帯電話などにより実現することができる。または例えば、エレベータシステムの外部に設けられている図外のパーソナルコンピュータと信号処理装置４３をインターネットやＬＡＮ（Local Area Network）などの通信ネットワークを介して接続して、情報端末７０を実現してもよい。情報端末７０は、距離画像センサ５と直接通信してもよいし、信号処理装置４３を介して通信してもよい。

情報端末７０は、ユーザインターフェース部７１を備える。ユーザインターフェース部７１は、情報入力装置と情報出力装置を備える。情報入力装置は、作業員が距離画像センサ５または信号処理装置４３に情報を入力するための装置であり、例えば、キーボード、マウス、タッチパネル、音声入力装置などで構成することができる。情報出力装置は、作業員に情報を提供する装置であり、例えば、ディスプレイ、音声合成装置などで構成することができる。

作業者は、距離画像センサ５の設置に先立ち、ユーザインターフェース部７１に表示されるガイダンスを見ることで、正しい設置方法を確認することができる。さらに、作業者は、ユーザインターフェース部７１に表示されるかご４内の画像に基づいて、距離画像センサ５の設置角度などを手動で調整したり、距離画像センサ５の内部パラメータを調整するための指示を入力したりすることができる。

距離画像センサ５は、監視カメラと同様の撮像面を有しており、撮像面中の各画素において、各画素に対応した空間中の物体までの距離を計測するセンサである。画像中の各画素の距離値を計測した画像を、距離画像と呼ぶ。距離画像センサ５は、取得した距離画像を距離画像取得部１１に送信する。

距離画像の計測方式としては、例えば、Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔを用いることができる。この方式に従う距離画像センサは、その内部に近赤外光を照射する発光体を有しており、照射した近赤外光が視野角内の物体に反射してから戻ってくるまでの時間を計測することで物体までの距離を計測する。後述の実施例では、距離画像の計測方式として、ステレオカメラを用いる場合を説明する。

図３を用いて、距離画像中の各画素の空間中の対応点の三次元座標を、座標系４０で計算できることを述べる。まず、距離画像中の各画素の空間中の三次元座標を、距離画像センサ５を基準とした座標系５０で計算できることを示す。

図３において、距離画像５００は、複数の画素５０１を有する。画素５０１は、空間中の点４０１に対応しており、距離画像５００において座標i(u,v)を持つ。空間中の点４０１は、距離画像センサ５を基準とする座標系５０において、座標I_S (X_S,Y_S,Z_S)を持つ。

座標系５０の原点ＯＳは、距離画像センサ５の投影の中心である。座標系５０の座標軸X_S,Y_S,Z_Sは、距離画像センサ５から見て左方向、上方向、奥方向にそれぞれ対応する。座標I_Sの要素Z_Sが、画素５０１の距離値に等しい。ここで、距離画像センサ５の撮像系モデルをピンホールモデルとし、距離画像センサ５の焦点距離をfとすると、座標I_Sの要素X_Sは下記数１から求めることができ、要素Y_Sは下記数２から求めることができる。

図４を用いて、距離画像センサ５を基準とした座標系５０の座標から、かご４内の座標系４０で定義した座標が計算できることを述べる。図４において、I(X,Y,Z)は空間中の点４０１の座標系５０における三次元座標である。このI(X,Y,Z)は下記数３を用いて計算できる。

数３において、位置(X_C,Y_C,Z_C)は、座標系４０における距離画像センサ５の設置位置である。数３において、角度(θ, φ, ρ)は、図２に示すように座標系４０における距離画像センサ５の設置角度である。

距離画像５００中において距離値が求められた画素では、画素５０１の対応点４０１から座標系４０における三次元座標I(X,Y,Z)を求めるのと同様の手順で、空間中の対応点の座標系４０を求めることができる。距離画像５００に含まれる各画素の三次元座標を求めたものは、三次元点群と呼ばれる。ここで、距離画像５００の持つ全ての画素について三次元座標を求める必要はなく、必要な範囲で三次元座標を計算すればよい。すなわち距離画像５００から部分的に三次元点群を算出することができる。

ここで、距離画像センサ５の外部パラメータとは、設置位置(X_C,Y_C,Z_C)および設置角度(θ, φ, ρ)である。距離画像センサ５の内部パラメータとは、数１および数２に示すように、点４０１の座標X_SおよびY_Sの値に関わるパラメータである。一つの例として、焦点距離fは内部パラメータである。

ただし、数１および数２では、焦点距離fに加えて、画素５０１のアスペクト比等のより多くの距離画像センサ５の撮像系モデルを反映したパラメータを加味して計算することもできる。その場合、アスペクト比等が距離画像センサの内部パラメータに加わる。さらに、距離画像センサ５の撮像系モデル中のパラメータに応じて、点４０１の座標Z_Sの値が変化する場合、距離画像センサ５の撮像系モデル中のパラメータは、距離画像センサ５の内部パラメータに相当する。

距離画像センサ５には、設置角度(θ, φ, ρ)の１つ以上を調整するための調整機能を設けることができる。例えば設置角度(θ, φ, ρ)のそれぞれについて調整可能な軸を有する取付具を用いて、距離画像センサ５をかご４に取り付けてもよい。さらに、設置角度(θ, φ, ρ)の調整基準を作業マニュアルなどに記載しておき、作業員が調整基準を見ながら設置角度を調整できるようにしてもよい。設置基準を示す作業マニュアルは、例えば電子的ガイダンス情報として作成することができ、ユーザインターフェース部７１を通じて作業者に提供することができる。

設置角度の調整基準の例としては、かご４の床面４２の過半が距離画像５００として映ること、を挙げられる。なお、かご４の床面４２を目印として、距離画像センサ５の設置角度を作業員に事前にガイダンスしてもよい。

図５は、型式選択部１２の画面例を示す。型式選択画面Ｇ１０は、ユーザインターフェース部７１を介して作業者に提供される。型式選択画面Ｇ１０では、かご４の型式と距離画像センサ５の型式の両方をそれぞれ個別に選択することができる。

作業者が情報端末７０を操作してかご型式選択用のプルダウンメニューＧＰ１１を選択すると、プルダウンメニューＧＰ１１はかご４の型式の一覧表示ＧＰ１２を出力する。作業者は、一覧表示ＧＰ１２の中から、現場のかご４（調整対象のセンサ５が設置されているかご）に対応した型式を一つ選択する。

画面Ｇ１０には、距離画像センサ５の型式を選択するセンサ型式選択用プルダウンメニューＧＰ１３も設けられている。作業者が情報端末７０を操作してプルダウンメニューＧＰ１３を選択すると、プルダウンメニューＧＰ１３は、距離画像センサ５の型式の一覧表示１１４を出力する。作業者は、この一覧表示１１４の中から、現地の距離画像センサ５に対応した型式を選択する。

一覧表示ＧＰ１２中のかご型式は、かご４の形状を定める。本実施例では、かご４の形状を直方体で近似するので、かご４の寸法の高さと間口と奥行きを一意に定める。なお、かご４の高さとは、図２のＹ軸方向の長さである。かご４の間口とは、図２のＸ軸方向の長さである。かご４の奥行きとは、図２のZ軸方向の長さである。

一覧表示ＧＰ１４中の距離画像センサ型式は、距離画像センサ５の装置の型式を一意に定める。一意に定められた距離画像センサ５の型式は、距離画像センサ５の内部パラメータを一意に定める。内部パラメータとしては、上述のように焦点距離が挙げられるが、これに限らない。

さらに、一覧表示ＧＰ１４中の距離画像センサ５の型式は、かご４中における距離画像センサ５の設置位置を一意に定める。一覧表示ＧＰ１４中の距離画像センサ型式と距離画像センサ５の設置位置との対応付けは、距離画像センサ５の設置基準を設けておくことで実現できる。

図６は、型式選択部１２の他の画面例ＧＰ１０Ａを示す。かご４に対して、距離画像センサ５の設置位置が１カ所あるいは小数カ所に限られ、かつかご４に取り付ける距離画像センサ５の型式が１つあるいは小数に限られる場合、かご型式と距離画像センサ型式とを組にしてもよい。

図６に示す型式選択画面Ｇ１０Ａは、かご型式と距離画像センサ型式を組にするときの、型式選択部１２の画面例であり、プルダウンメニューＧＰ１５と一覧表示ＧＰ１６を備えている。プルダウンメニューＧＰ１５は、かご型式と距離画像センサ型式の組を選択するためのメニューである。一覧表示ＧＰ１６は、プルダウンメニューＧＰ１５を作業者が選択したときに出力される。

作業者は、一覧表示ＧＰ１６の中から、現場のかご４と距離画像センサ５とに対応した、かご型式と距離画像センサ型式の組を一つ選択する。なお、かご型式に対して距離画像センサの型式が一意に定まる場合、かご型式と距離画像センサ型式の組を、かご型式に代表させてもよい。

かご４に対する距離画像センサ５の設置位置を１カ所あるいは小数カ所に限ることは、例えば現場での作業前に、かご４に距離画像センサ５の設置用の事前工事を施しておくことで実現できる。

事前工事としては、例えば、距離画像センサ５の設置位置に、距離画像センサ５の冶具を固定するための取付穴を、かご４の筺体に加工しておく工事を挙げることができる。さらに、事前工事として、距離画像センサ５に接続する各配線（電源ケーブル、映像信号伝送ケーブル）を通すための穴を、かご４に設けておく工事を挙げることもできる。

かご４に対する距離画像センサ５の型式を１つあるいは小数に限定することは、かご４の型式の所定範囲のグループに対して、適用する距離画像センサ５の型式および設置位置を共通化しておくことで実現できる。

なお、図５に示す画面Ｇ１０と図６に示す画面Ｇ１０Ａとにおいて、プルダウンメニューＧＰ１１，ＧＰ１３，ＧＰ１５は、ＵＩの一例であって、他の表示形態をとることもできる。例えば、テキストボックスやチェックボックス等のグラフィカルユーザインタフェース（以下、ＧＵＩ）で、プルダウンメニューＧＰ１１，ＧＰ１３，ＧＰ１５を代替してもよい。

図７のフローチャートを用いて、当てはめ部１３を説明する。当てはめ部１３は、図７に示す処理を実行することで、所定パラメータのキャリブレーションを行う。所定パラメータとは、距離画像センサ５の外部パラメータまたは内部パラメータの少なくともいずれか一方もしくは両方のパラメータの中から指定されるパラメータである。なお、図７において、前記所定パラメータの中に前記外部パラメータが含まれない場合にはＳ４のステップが除かれ、前記内部パラメータが含まれない場合にはＳ５のステップが除かれる。

図７の概略について述べる。まず、当てはめ部１３は、型式選択部１２の選択結果に応じて、図８に示すかご４の座標系４０における実寸形状４００を求める（Ｓ１）。

当てはめ部１３は、距離画像センサ５の内部パラメータおよび外部パラメータの初期値を設定する（Ｓ２）。当てはめ部１３は、距離画像センサ５の内部パラメータおよび外部パラメータを用いて、距離画像センサ５の距離値から図９に示すような座標系４０における三次元点群５０２を計算する（Ｓ３）。

当てはめ部１３は、実寸形状４００と三次元点群５０２が最も良く当て嵌まるように、キャリブレーション対象として指定された外部パラメータを更新（Ｓ４）。さらに、当てはめ部１３は、実寸形状４００と三次元点群５０２が最も良く当て嵌まるように、キャリブレーション対象として指定された内部パラメータを更新する（Ｓ５）。

当てはめ部１３は、所定の終了条件を満たしか判定し（Ｓ６）、満たしたと判定したら（Ｓ６：ＹＥＳ）、本処理を完了する。当てはめ部１３は、終了条件を満たしていないと判定したら（Ｓ６：ＮＯ）、ステップＳ３に戻る。

ステップＳ３における距離画像センサ５の内部パラメータおよび外部パラメータには、ステップＳ３からＳ６までの反復において、最初の一回ではステップＳ２で設定した初期値を用い、２回目以降はステップＳ４およびＳ５で更新した値を用いる。

キャリブレーション対象となる内部パラメータがひとつもない場合、ステップＳ５は省略する。キャリブレーション対象となる外部パラメータが一つも無くても、ステップＳ４の処理結果はステップＳ５で参照するため省かない。

以下、図７の各ステップの詳細について述べる。ステップＳ１で求める実寸形状４００は、型式選択部１２で選択されたかご型式に応じて定まる、間口、奥行、高さを持つ直方体である。実寸形状４００のデータの形式は、例えば、直方体の表面を所定間隔で格子分割した三次元点群から構成される。

ステップＳ２では、距離画像センサ５の内部パラメータおよび外部パラメータ中の設置位置には、型式選択部１２で選択した距離画像センサ５の型式に応じて予め設定されている値を初期値として使用する。

ここで、一つの例として、型式選択部１２の選択に応じた距離画像センサ５の、全ての内部パラメータの初期値と外部パラメータ中の設置位置の初期値とは、図示せぬデータベースに予め登録されている。当てはめ部１３は、このデータベースから、距離画像センサ５の型式に応じた値を読み出して使用する。

もしも、現場の距離画像センサ５の型式に対応するパラメータの一部がデータベースに登録されていない場合、無登録パラメータの初期値として、ゼロまたは乱数などの値を使用すればよい。

距離画像センサ５の外部パラメータに含まれる設置角度に関しては、例えば、作業者に対してガイダンスする際の、距離画像センサ５の設置角度の値を初期値として用いることもできる。ガイダンスを受けた作業者は、通常の場合、ガイダンスで指示された通りの角度で距離画像センサ５を取り付けると期待できるためである。ガイダンスを行う場合、ステップＳ２での距離画像センサ５の設置角度の初期値を、実空間中の設置角度に近づけることができる。

ステップＳ２では、ステップＳ４およびＳ５において参照する、キャリブレーション対象となる距離画像センサ５の外部パラメータおよび内部パラメータの指定も読み込む。その指定は、当てはめ部１３に予め設定された設定データに従う。設定データは、型式選択部１２で選択されるかご型式もしくは距離画像センサ型式に応じて、定まるようにしても良い。もしくは、後述のように、当てはめ部１３は、作業者から三次元点群５０２を実寸形状４００に当てはめる際に利用する基準点または基準線などの指示を、ＵＩを介して受け取り、その指示を利用してキャリブレーション対象のパラメータ（所定パラメータ）を調整してもよい。

ステップＳ３での三次元点群５０２の計算方法を説明する。当てはめ部１３は、距離画像センサ５の内部パラメータおよび外部パラメータと数１、数２、数３とを用い、距離画像５００中の各画素５０１について、各画素５０１に対応する点４０１の座標系４０における三次元座標I(X,Y,Z)を求める。これにより、当てはめ部１３は、三次元点群５０２を取得することができる。なお、画素５０１のうち、距離値が求まらない画素は、三次元点群の計算対象とはならない。

以上述べた三次元点群５０２中の各点の座標系４０における三次元座標は、距離画像取得部１１の説明で述べたように、ステップＳ３で用いる距離画像センサ５の内部パラメータおよび外部パラメータによって変化する。そして、ステップＳ３で用いる距離画像センサ５の内部パラメータおよび外部パラメータは、ステップＳ３からＳ６までの反復により変化していく。

ステップＳ４において、当てはめ部１３は、三次元点群５０２と実寸形状４００が最も良く当て嵌まる距離画像センサ５の外部パラメータを、ＩＣＰアルゴリズムを用いて計算する。

ＩＣＰアルゴリズムでは、三次元点群中の各点p_iに対する実寸形状の対応点y_iを、両者の距離が最も小さくなる下記数４の条件に従って探索する。この段階で求まる対応点y_iは仮の対応点であり、必ずしも各点p_iに対して正確な対応点でなくてよい。

数４において、xは実寸形状中の点であり、Xはxの集合である。数４では、かご４内の座標系４０に従って三次元座標が定義されている。対応点y_iの座標も、座標系４０で定義されている。

ＩＣＰアルゴリズムでは、下記数５に示すように、三次元点群中の各点p_iと実寸形状中の対応点y_iとの集合から求めた当て嵌り誤差ｅが小さくなるように、キャリブレーション対象として指定された外部パラメータを最適化する。

詳しくは、ステップＳ３の距離画像センサ５の内部パラメータから求めた点p_iの座標系５０における座標I_S(X_S,Y_S,Z_S)と 、点p_iの座標系４０おける座標I_S(X_S,Y_S,Z_S)とに対し、これら２つの座標間にある数３の関係を用いて、キャリブレーション対象のパラメータを、当てはまり誤差ｅが小さくなるように最適化する。キャリブレーション対象パラメータとは、距離画像センサ５の外部パラメータである設置位置(X_C,Y_C,Z_C)と設置角度(θ, φ, ρ)の中で、キャリブレーション対象として指定されたパラメータである。

なお、数５において、Ｎは三次元点群中の点の数を示す自然数である。ＩＣＰアルゴリズムでは以降、数４に示す対応点の探索と、数５を用いたキャリブレーション対象の外部パラメータの最適化とを、当て嵌り誤差ｅが最小になるまで繰り返し行う。ＩＣＰアルゴリズムでは、三次元点群中の点の数Ｎが十分に多ければ、繰り返しを十分な回数行うことにより、点p_iに対して正しい対応点y_iが求まること、および距離画像センサ５のあらゆる外部パラメータが精度良く求まることが知られている。

ステップＳ５では、数５に示す当て嵌り誤差eが最小になるように、ステップＳ２でキャリブレーション対象として指定された内部パラメータを最適化する。

ここで、距離画像センサ５の内部パラメータのうち、焦点距離fをキャリブレーション対象とする場合を例に挙げて説明する。数５中の点p_iの座標系４０での座標をI(X,Y,Z)、座標系５０での座標をI_S(X_S,Y_S,Z_S)とする。このとき、焦点距離Zを変化させると、焦点距離ｆの変化に応じて、数１および数２中の座標X_S,Y_Sは変化する。その結果、数３においてI(X,Y,Z)も変化する。

ステップＳ５では、上記の性質を利用して、当て嵌り誤差eが最小となるように、焦点距離fを変化させる。焦点距離f以外の内部パラメータをキャリブレーションとする場合も同様である。焦点距離f以外の内部パラメータを調整すれば、座標系５０における座標 I_S(X_S,Y_S,Z_S)に応じて座標系４０の座標I(X,Y,Z_ｘ)が変化する、という性質を利用して、当て嵌り誤差eが最小となるように焦点距離f以外の内部パラメータを最適化する。

２以上のM個の内部パラメータをキャリブレーション対象とする場合、数５中の各点p_i とその対応点y_iとのユークリッド距離を０とする拘束式を加える。各点p_iの数NをM個よりも多くすることで、M個の内部パラメータを求めるために必要十分な数の拘束式を得ることができる。

ステップＳ６では、当て嵌り誤差eが予め定めた閾値以下になったら、本処理は終了と判定する。あるいは、当て嵌り誤差eが収束したとき、もしくはステップＳ３からステップＳ６までの反復の繰り返しが所定回数以上になったときに、本処理は終了と判定することもできる。

当てはめ部１３は、以上述べたように、ステップＳ２で指定されたキャリブレーション対象パラメータを最適化する。これにより、当てはめ部１３は、図１０に示すような実寸形状４００に当て嵌まった三次元点群５０２Ａを取得する。さらに、当てはめ部１３は、最適化されたキャリブレーション対象パラメータ（所定パラメータ）を、キャリブレーションの結果として出力することができる。上述のように、キャリブレーション対象パラメータは、外部パラメータまたは内部パラメータのいずれか一方もしくは両方の中から、複数指定することができる。

画像処理部２は、当てはめ部１３でキャリブレーションをした距離画像センサ５の外部パラメータおよび内部パラメータを用いて、距離画像５００を対象とした画像認識を行うことができる。画像処理部２は、画像認識の結果をエレベータ制御部３へ通知する。エレベータ制御部３は、画像認識の結果に応じて、かご４内の装置の動作やかご４の運行を制御することができる。

制御としては、例えば、混雑度に応じた満車通過の運行制御が挙げられる。つまり例えば、かご４の総荷重が上限値未満であっても、かご４の床面４２のうち空いている面積が小さくなった場合は、そのかご４に乗り場呼びを割り当てず、または、割当済みの乗り場呼びを取り消す、といった制御を行うことができる。これ以外にも、画像認識によりかご４内の状況を把握し、その把握結果に応じて適切な制御をすることができる。

なお、画像処理部２は、所定の制御については、エレベータ制御部３を介さずに、画像処理部２が直接行うこともできる。例えば、かご４内のドア４１側に乗客が集まっており、かご４の奥側が空いている場合、画像処理部２は、「奥にお詰めください」などのメッセージをかご４内に流すことができる。

本実施例におけるキャリブレーション方法の全体を、図１１のフローチャートを用いて説明する。図１１中、作業者が行うステップは点線で示す。図１１に示すフローチャートは、図１に示すカメラパラメータ調整装置１０（キャリブレーション装置１０と呼ぶこともできる）の機能を１１〜１３を用いて実現される。

まず作業者は、ユーザインターフェース部７１を通じて型式選択部１２を操作することで、かご４の型式および距離画像センサ５の型式をそれぞれ選択する（Ｓ１１）。

当てはめ部１３は、ステップＳ１１で選択されたかご型式に応じて、図示せぬデータベースから「三次元形状情報」としてのかご４のデータを読み込む（Ｓ１２）。読込み対象のかご４のデータとは、実寸形状４００を生成するために必要なデータであり、具体的には高さ寸法、幅寸法、奥行き寸法である。もしも、かごの形状が円筒状の場合は、半径と高さが読込み対象のデータとなる。

当てはめ部１３は、ステップＳ１１で選択されたセンサ型式に応じて、図示せぬデータベースから距離画像センサ５のデータを読み込む（Ｓ１３）。これにより、当てはめ部１３は、図７のステップＳ２で述べたように、距離画像センサ５の内部パラメータおよび外部パラメータの初期値をそれぞれ設定する。

当てはめ部１３は、ステップＳ１２で読み込んだデータに基づいて、かご４の実寸形状４００を生成する（Ｓ１４）。さらに、当てはめ部１３は、距離画像センサ５の撮影した距離画像５００を距離画像取得部１１から読み込み、距離画像５００から三次元点群５０２の初期値を計算する（Ｓ１５）。当てはめ部１３は、ステップＳ２で設定した距離画像センサ５の外部パラメータおよび内部パラメータのそれぞれの初期値を用いて、距離画像５００から三次元点群５０２の初期値を計算する。

当てはめ部１３は、三次元点群５０２と実寸形状４００の当て嵌り誤差ｅが最小となることを条件に、ステップＳ２で指定された所定パラメータ（距離画像センサ５の外部パラメータまたは内部パラメータのうち少なくともいずれか一方を含む、キャリブレーション対象パラメータ）を最適化する（Ｓ１６）。

このように構成される本実施例によれば、距離画像から生成する三次元点群とかご４の実寸形状とを比較し、両者が最もよく当てはまるように、距離画像センサ５の持つ外部パラメータ群および内部パラメータ群の中から選択する所定パラメータを、調整することができる。

従って、本実施例によれば、かご４の床面４２に複数の目印を設けることなく、距離画像センサ５の複数の（３以上の）所定パラメータを較正することができ、距離画像センサ５の設置作業、調整作業の効率を高めることができる。

そして、本実施例によれば、複数の所定パラメータが適切に較正された距離画像センサ５を用いて、かご４内の状況を画像認識することができ、この画像認識の結果に応じてかご４内の装置を制御したり、かご４の運行を制御したりすることができる。

図１２〜図１７を用いて第２実施例を説明する。本実施例を含む以下の各実施例は第１実施例の変形例に該当するため、第１実施例との相違を中心に説明する。

図１２は、カメラパラメータ調整装置１Ａの機能ブロック図である。本実施例のカメラパラメータ調整装置１Ａは、距離画像取得部１１と、型式選択部１２と、当てはめ部１３Ａと、対応箇所入力部１４とを備える。当てはめ部１３Ａは、画像処理部２に接続されている。本実施例の当てはめ部１３Ａは、第１実施例の当てはめ部１３と処理内容が相違するため、符号を変えている。

対応箇所入力部１４は、実寸形状４００の所定箇所と対応した距離画像５００中の対応箇所の情報を作業者が入力するためのＵＩである。対応箇所入力部１４は、情報端末７０上のユーザインターフェース部７１を利用して実現される。当てはめ部１３Ａは、対応箇所入力部１４からの入力を、図７のステップＳ２で設定する初期値に反映する。

図１３は、対応箇所入力部１４の画面Ｇ２０の一例を示す。対応箇所入力画面Ｇ２０は、実寸形状４００と距離画像５００との対応箇所をマーカＧＰ２２で特定するためのＵＩ画面である。

対応箇所入力画面Ｇ２０は、距離画像５００を表示するための距離画像表示部ＧＰ２１を有する。作業者は、距離画像表示部ＧＰ２１に表示された距離画像５００において、実寸形状４００と対応する箇所にマーカＧＰ２２を設定する。本実施例では、かご４の床面４２が有する四隅のうち、距離画像センサ５に対向する角を位置合わせの基準点として使用する。作業者は、ガイダンスなどで事前に指示された位置合わせ基準点を距離画像５００の中から見つけて、その基準点にマーカＧＰ２２を設定する。

作業者は、マウスやタッチパネルなどを操作することで、マーカＧＰ２２を所望の位置に置くことができる。マーカＧＰ２２の位置は、変更可能である。

図１４は、かご４の実寸形状４００において、図１３に示すマーカＧＰ２２の対応箇所を示す。マーカＧＰ２２は、実寸形状４００の床面４２に対応する四隅のうち、距離画像センサ５に対向する位置４０２に対応するものとして設定されている。従って、作業者が距離画像５００上でマーカＧＰ２２を置くと、当てはめ部１３は、マーカＧＰ２２の置かれた場所が実寸形状４００中の位置４０２に対応する場所であると認識する。

当てはめ部１３Ａは、図７に示す処理と同様に、距離画像センサ５の持つパラメータ群のうちステップＳ２で指定された所定パラメータを調整する。ただし、本実施例では、図７のステップＳ２において、マーカＧＰ２２と点４０２とが座標系４０上で重なるように、所定パラメータの初期値を設定する。

マーカＧＰ２２の三次元座標は、次の手順で求める。当てはめ部１３は、距離画像の表示ＧＰ２１におけるマーカＧＰ２２の座標と同一座標の距離画像５００中の点１５０の距離値Z_Sと数１および数２から、マーカＧＰ２２の座標系５０における座標I_S(X_S,Y_S,Z_S)を求める。

当てはめ部１３は、座標I_S(X_S,Y_S,Z_S)と数３とから、座標系４０における座標I(X,Y,Z)を求める。当てはめ部１３は、座標I(X,Y,Z)が、座標系４０において点４０２との距離がゼロに近づくように、設置位置(X_C,Y_C,Z_C)と設置角度(θ, φ, ρ)とからなる距離画像センサ５の外部パラメータのうち、ステップＳ２で指定された外部パラメータの値を計算する。

ここで、ステップＳ２でキャリブレーション対象に指定された外部パラメータの数が多く、座標系４０において点４０２との距離がゼロに近づくという制約だけでは一意に値が定まらない場合は、その制約を満たす範囲で任意とする。以上の説明では、制約から距離画像センサ５の外部パラメータの値を求める方法を述べたが、これに代えて、制約を満たすことを条件に距離画像センサ５の内部パラメータの値を求めても良い。

本実施例では、ステップＳ２において、点４０２とマーカＧＰ２２とから求めた初期値を用いるため、ステップＳ４およびステップＳ５でのパラメータ最適化の精度を高めることができる。ＩＣＰアルゴリズムでは、以上のようにして、ステップＳ２の初期値が適切であるほど、対応点の探索やパラメータの最適化を高精度で行うことができる。

図１５は、対応箇所入力部１４の他の画面例Ｇ３０を示す。対応箇所入力画面Ｇ３０は、実寸形状４００と距離画像５００との対応箇所を線状マーカＧＰ３２Ａ，ＧＰ３２Ｂ，ＧＰ３２Ｃで特定するためのＵＩ画面である。対応箇所入力画面Ｇ３０は、距離画像５００を表示するための距離画像表示部ＧＰ３１を有する。

図１３，図１４では位置合わせ基準として点４０２を用いたが、これに代えて、線分４０３Ａ，４０３Ｂ，４０３Ｃを位置合わせ基準に用いてもよい（図１６参照）。作業者は、距離画像表示部ＧＰ３１に表示された距離画像５００において、実寸形状４００と対応する線分４０３Ａ，４０３Ｂ，４０３Ｃに、線状マーカＧＰ３２Ａ，ＧＰ３２Ｂ，ＧＰ３２Ｃをそれぞれ設定する。

線状マーカＧＰ３２Ａ、ＧＰ３２Ｂ、ＧＰ３２Ｃは順に、図１６に示すように、実寸形状４００中の辺４０３Ａ，４０３Ｂ，４０３Ｃに対応している。このとき、当てはめ部１３Ａは、線状マーカＧＰ３２Ａ，ＧＰ３２Ｂ，ＧＰ３２Ｃと実寸形状４００の辺４０３Ａ，４０３Ｂ，４０３Ｃとがなるべく重なるように、初期値を求める。

初期値の計算方法を説明する。当てはめ部１３Ａは、例えば、線状マーカＧＰ３２Ａ，ＧＰ３２Ｂ，ＧＰ３２Ｃおよび辺４０３Ａ，４０３Ｂ，４０３Ｃを、それぞれ所定間隔で当分した分割点を求める。当てはめ部１３Ａは、マーカＧＰ２２と点４０２の計算で述べたと同様に、それら分割点同士が近づくようにステップＳ２の初期値を計算する。当てはめ部１３Ａは、すべての分割点でステップＳ２の初期値を計算し、それらの平均値を計算することで、初期値を求めることができる。図１５において、位置合わせ基準用の線状マーカＧＰ３２Ａ等の数は、図１５に示した３つに限らない。線状マーカは１つ以上の任意の数だけ設けることができる。

図１７は、本実施例によるキャリブレーション方法の全体処理を示すフローチャートである。作業者が行うステップは点線で示す。図１７の処理は、図１２のカメラパラメータ調整装置１Ａの有する機能１１，１２，１３Ａ，１４を用いて実現される。図１７において、ステップＳ２１とステップＳ２２を除く他の各ステップＳ１１〜Ｓ１６は、第１実施例と共通である。

最初にステップＳ２１において、作業者は、対応箇所入力部１４を操作することで、距離画像５００において実寸形状４００の対応箇所４０３Ａ〜４０３Ｃに対応する線状マーカＧＰ３２Ａ〜ＧＰ３２Ｃを入力する。

ステップＳ２２では、ステップＳ２１での入力を反映することで、図７のステップＳ２においてキャリブレーション対象パラメータの初期値を設定する。図１７の処理では、複数の線状マーカＧＰ３２Ａ〜ＧＰ３２Ｃを用いて、複数の所定パラメータの初期値を精度良く設定できるため、ステップＳ１６においてより高精度に所定パラメータを最適化することができる。

このように構成される本実施例も第１実施例と同様の作用効果を奏する。本実施例では、マーカを用いて実寸形状４００と距離画像５００との位置合わせを部分的に行うため、キャリブレーション対象の複数の所定パラメータの初期値をより正確に求めることができ、各所定パラメータを最適化することができる。

図１８〜図２０を用いて第３実施例を説明する。本実施例のカメラパラメータ調整装置１Ｂは、距離画像取得部１１と、型式選択部１２と、当てはめ部１３Ｂと、対応箇所入力部１４とを備える。当てはめ部１３Ｂは画像処理部２に接続されている。

当てはめ部１３Ｂは、三次元点群５０２が実寸形状４００に当て嵌まるように、ステップＳ２で指定された所定パラメータを作業者が調整するためのＵＩである。当てはめ部１３Ｂは、情報端末７０上のユーザインターフェース部７１を用いて実現される。

図１９を用いて、当てはめ部１３Ｂの処理を説明する。ステップＳ１、Ｓ２、Ｓ３は第１実施例と共通である。本実施例の当てはめ部１３Ｂは、三次元点群５０２と実寸形状４００の重畳表示を出力する（Ｓ７）。ステップＳ７では、距離画像センサ５の内部パラメータおよび外部パラメータがそれぞれ適切であれば、図１０中の三次元点群５０２Ａと実寸形状４００のように、両者の位置関係が適切な重畳表示が出力される。これとは逆に、内部パラメータまたは外部パラメータのいずれかが不適切であれば、三次元点群５０２Ａと実寸形状４００との位置関係も不適切となる。この結果、重畳表示において、両者の位置が重ならないか、あるいは両者の角度がずれたりする。

当てはめ部１３Ｂは、作業者からの終了指示の受付を待つ（Ｓ８）。すなわち、作業者は、所定パラメータの手動調整が完了した場合は、情報端末７０を介して終了指示を入力する。例えば、作業者は、ＵＩ画面に表示された終了ボタン（ＯＫボタン）を操作することで、終了を指示することができる。終了指示を出すための判断基準としては、例えば、ステップＳ７の重畳表示中の三次元点群５０２Ａと実寸形状４００との位置関係が適切になった場合、が挙げられる。この判断基準は、作業マニュアルやガイダンスなどを通じて、作業者にあらかじめ伝えておけばよい。

作業者からの終了指示を受け取った場合（Ｓ８：ＹＥＳ）、当てはめ部１３Ｂは本処理を終了する。作業者からの終了指示を受け取るまでの間（Ｓ８：ＮＯ）、当てはめ部１３Ｂは、作業者からパラメータ調整指示を受取り（Ｓ９）、その調整指示に従って三次元点群５０２を修正する（Ｓ３）。

すなわち、当てはめ部１３Ｂは、キャリブレーション対象パラメータの調整指示を作業から受け取ると、ステップＳ３へ戻り、ステップＳ９の調整指示を反映して三次元点群５０２の各点の三次元座標を計算し直す。なお、作業者は、例えば、テキストボックスに数値を入力したり、または、スライドバーなどを操作することで、パラメータを調整するための指示を当てはめ部１３Ｂへ与えることができる。

図２０は、本実施例によるキャリブレーション方法の全体処理を示すフローチャートである。作業者の実行するステップは点線で示す。図２０の処理は、図１８に示すカメラパラメータ調整装置１Ｂの有する機能１１，１２，１３Ｂ，１４を用いて実現される。

図２０において、ステップＳ１１〜Ｓ１５は第１実施例と共通である。ステップＳ３１では、作業者が当てはめ部１３Ｂを操作することで、図１０中の三次元点群５０２Ａと実寸形状４００のように、両者の位置関係が適切な重畳表示が表示されるように、距離画像センサ５の複数の所定パラメータを調整できる。

このように構成される本実施例も第１実施例と同様の作用効果を奏する。さらに本実施例では、作業者は、三次元点群５０２と実寸形状４００の重畳表示を目視しながら、距離画像センサ５の所定パラメータを手動で調整することができる。

なお、第１実施例と本実施例を組み合わせることで、三次元点群５０２を実寸形状４００に第１精度で当てはめることで所定パラメータを自動的に調整し（第１段階の調整）、そこから先は、作業者が重畳表示を見ながら手動で調整し（第２段階の調整）、最終的に第１精度よりも高い第２精度で所定パラメータを較正することができる。

さらに、本実施例と第１実施例および第２実施例を組み合わせることで、第１段階の調整の精度をさらに向上させることができる。

さらに本実施例では、三次元点群５０２と実寸形状４００の重畳表示を出力することができるため、その重畳表示画面を電子的にまたは印刷物として記録しておけば、パラメータ調整作業の履歴として使用できる。この調整履歴を用いて、保守点検が適切に行われたことを確認したり、作業員のスキルを評価したりすることができる。

図２１を用いて第４実施例を説明する。Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ方式の距離画像センサ５に代えて、画像中の各画素の距離値を三次元データに変換できる任意方式の距離画像センサを適用できる。ステレオカメラやレーザレーダがその一例であるが、これらに限らない。

距離画像センサ５がステレオカメラの場合、２台以上のカメラから構築される。以下、ステレオカメラが２台のカメラから構築される場合を述べる。なお、ステレオカメラが３台以上のカメラを含んで構成される場合、２台のカメラから構成されるステレオカメラの組み合わせの集合と考えれば良い。

２台のカメラからなるステレオカメラでは、図２１に示す処理により、左右に設置されたカメラ間の視差から、距離画像５００中の画素５０１の距離値Z_Sを計算することができる。なお、カメラを上下に設置する場合は、画像を９０度回転させれば、左右にカメラを設置した場合と等価である。

距離画像取得部１１は、まず最初に、左右のカメラの画像を取得する（Ｓ４１）。距離画像取得部１１は、左右のカメラそれぞれで、レンズ歪みを補正する（Ｓ４２）。ステップＳ４２では、左右のカメラのレンズ歪み係数k_L、k_Ｒをパラメータに用いる。レンズ歪み係数k_L、k_Ｒは、１次元以上の実数のベクトルである。

距離画像取得部１１は、左右のカメラ内の対応点（空間中の同一物体が左右のカメラそれぞれに映る点）が同一のｖ座標（画像の縦方向の座標）に現れるように、左右のカメラそれぞれを同次座標変換することで平行化する（Ｓ４３）。ここで、同次座標変換の行列M_L,M_Rは、左右のカメラの焦点f_L、f_Rと、左右のカメラ間の相対角度(θ_d, φ_d, ρ_d)と、相対位置(X_d, Y_d, Z_d)と、距離画像５００の画像サイズとにより一意に定まる。

距離画像取得部１１は、右カメラ内の画素i_R(u_R,v_R)の左カメラでの対応点i_L(u_L,v_R)を、近傍画素内の明度差が最小となる条件で探索し、視差Δ=u_R - u_Lを計算する。これを右カメラの画像の全ての点で行う（Ｓ４４）。

距離画像取得部１１は、平行化後の右カメラの各画素の視差Δから距離値Z_Sを下記数６で計算する（Ｓ４５）。数６において、fは平行化後の右カメラの焦点距離であり、Ｓ４３中の各パラメータにより一意に定まる。

距離画像センサ５がステレオカメラの場合、以上述べたＳ４３，Ｓ４４の左右カメラのレンズ歪係数k_L、k_Ｒと、焦点距離k_L、k_Ｒと、左右カメラ間の相対角度(θ_d, φ_d, ρ_d)と、相対位置(X_d, Y_d, Z_d)とが、ステレオカメラの内部パラメータとなる。これら内部パラメータを変化させると数６で計算する距離値Z_Sが変化する。

例えば、X軸座標X_dが変化すると、距離値Z_Sは座標X_dに反比例して変化し、同次座標変換の行列M_L，M_Rが変化すると、それに応じて視差Δuが変化する。また、距離値Z_Sが変化すると、数１、数２で計算される点４０１のＸｓ座標およびZ_S座標も変化する。よって、ステレオカメラを距離画像センサ５とする場合、多くの内部パラメータが点４０１の座標I_S (X_S,Y_S,Z_S)に影響する。上述した第１実施例〜第３実施例において、ステレオカメラを距離画像センサ５とする場合、以上述べたステレオカメラの内部パラメータの一つ以上をキャリブレーション対象とすることができる。

以上、本発明の実施形態について説明したが、本発明はこれに限定されず、本発明の種子を逸脱しない範囲で次の様な変更や機能追加ができる。

当てはめ部は、キャリブレーション後の三次元点群と実寸形状の重畳表示を情報端末に表示しても良い。これによりキャリブレーションが適切に行えた否かを作業者が目視で確認できる。

当てはめ部は、当て嵌り誤差を情報端末に通知することもできる。さらに、当て嵌り誤差が所定の閾値を超過した場合には、キャリブレーションが失敗したことを示すアラートを発報しても良い。これにより、作業者は、キャリブレーションがどの程度精度よく行えたかを知ることができる。

所定パラメータのキャリブレーションは、所定の契機で実行できる。所定の契機としては、例えば、エレベータシステムの納入時、エレベータシステムの点検時、距離画像センサへの通電時などである。距離画像センサの所定パラメータを所定の契機で（例えば所定の周期で）繰り返し実行することで、距離画像センサの経年劣化に対応できる。加えて、このときの当て嵌り誤差を情報端末に通知すれば、作業者は、経年劣化の程度を知ることができる。また、作業者は、経年劣化によるキャリブレーションの精度の低下を知ることができる。また、当て嵌り誤差が所定の閾値を超過した場合のアラートを情報端末に通知すれば、作業者は、経年劣化が過度になったことを知ることができ、距離画像センサの交換を検討することもできる。

ここで経年劣化には、長時間の使用による自然な劣化に限らず、例えば、かごの運行に伴う振動で距離画像センサの設置角度がずれた場合、乗客または乗客の手荷物が距離画像センサに接触して設置角度がずれた場合などがある。

当てはめ部は、前記各実施例の構成に限らない。三次元点群と実寸形状の当て嵌まりの誤差を図ることができる他の手法を用いてもよい。例えば、外部パラメータの最適化と内部パラメータの最適化とを同時に行ってもよい。

実寸形状は、三次元のワイヤフレームモデルに限らない。三次元点群との当て嵌り誤差が定義できればよく、メッシュ等の他のデータ構造でも良い。例えば、実寸形状を複数の面（３つの面）として定義してもよい。さらに、面の全体に点が配置されている必要はなく、当て嵌り誤差を計算できる程度の密度で点を含んでいればよい。

距離画像から、距離値の精度が高い、もしくは実寸形状との当て嵌りが判断しやすいような一部領域を切り出して、当て嵌り誤差を計算しても良い。切り出し対象の領域の指定には、例えば、対応箇所入力部のようなユーザインタフェースを用いればよい。

かごの実寸形状は直方体に限らない。円筒状でもよい。さらに例えば、かご内に椅子が備え付けられているような場合には、直方体の形状に加えて椅子の形状も実寸形状に含めることができる。

各実施例で述べたフローチャートでは、ステップの順番を入れ替えたり、複数のステップを一つのステップにまとめたり、一つのステップの内容を複数ステップに分割したり、一部のステップの内容を変更したりすることができる。それらの変形例も本発明の範囲に含まれる。

また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１，１Ａ，１Ｂ：カメラパラメータ調整装置、２：画像処理部、３：エレベータ制御部、４：かご、５：距離画像センサ、１１：距離画像取得部、１２：型式選択部、１３，１３Ａ，１３Ｂ：当てはめ部、１４：対応箇所入力部、４００：実寸形状、５０２，５０２Ａ：三次元点群

Claims (14)

1. 対象領域の画像と対象領域までの距離を含む距離画像を取得する距離画像センサの複数パラメータを調整する方法であって、
   以下のステップ：
   前記距離画像センサから所定の対象領域についての距離画像を取得し、
   予め登録されている三次元形状情報の中から前記所定の対象領域の三次元形状情報を取得し、
   予め登録されている仕様情報の中から前記距離画像センサの設置および撮影に関する仕様情報を取得し、
   取得した前記所定の対象領域の前記三次元形状情報から、前記所定の対象領域に基づいて設定される所定の座標系における、前記所定の対象領域の実寸形状を計算し、
   取得した前記距離画像センサの前記仕様情報と前記所定の対象領域についての前記距離画像とから、前記距離画像の各画素の距離値を前記所定の座標系に対応付けた三次元点群を生成し、
   前記三次元点群を前記実寸形状に当てはめる際の誤差を計算し、
   前記計算された誤差を情報端末に送信し、
   前記誤差が小さくなるように、前記距離画像センサの持つ複数パラメータのうち所定のパラメータの値を調整する、
   を、前記距離画像センサへの通電時を含む所定の契機で実行する、距離画像センサのパラメータ調整方法。
2. 前記誤差を出力する場合は、前記誤差を目視で確認できるようにユーザインターフェースから表示出力し、
   前記所定のパラメータの値を調整するための指示を受け付ける、
   請求項１に記載の距離画像センサのパラメータ調整方法。
3. 前記ユーザインターフェースは、前記実寸形状と前記三次元点群を重畳表示することで前記誤差を出力する、および／または、前記誤差の値を表示出力する、ものである
   請求項２に記載の距離画像センサのパラメータ調整方法。
4. 前記三次元点群を前記実寸形状に当てはめる際の誤差を計算する場合は、前記距離画像センサを設置するためにユーザインターフェースから提供する作業者向けガイダンス情報に含まれている設置角度の目標値を使用する、
   請求項１に記載の距離画像センサのパラメータ調整方法。
5. 前記三次元点群を前記実寸形状に当てはめる際には、前記距離画像と前記実寸形状の対応箇所を指示する入力を受け付け、受け付けた前記入力を用いて前記三次元点群を前記実寸形状に当てはめる、
   請求項１〜４のいずれか一項に記載の距離画像センサのパラメータ調整方法。
6. 前記距離画像センサは、ステレオカメラである、
   請求項５に記載の距離画像センサのパラメータ調整方法。
7. 前記所定のパラメータとして前記距離画像センサの設置に関する外部パラメータが選択されている場合、ＩＣＰ（Iterative Closest Point）アルゴリズムを用いて前記外部パラメータの値を調整する、請求項１に記載の距離画像センサのパラメータ調整方法。
8. 前記所定の対象領域は、エレベータのかご内部の領域である、
   請求項５に記載の距離画像センサのパラメータ調整方法。
9. 対象領域の画像と対象領域までの距離を含む距離画像を取得する距離画像センサの複数パラメータを調整する装置であって、
   距離画像取得部と、
   情報取得部と、
   当てはめ部とを備え、
   前記距離画像取得部は、前記距離画像センサから所定の対象領域についての距離画像を取得し、
   前記情報取得部は、予め登録されている三次元形状情報の中から前記所定の対象領域の三次元形状情報を取得し、さらに、予め登録されている仕様情報の中から前記距離画像センサの設置および撮影に関する仕様情報を取得し、
   前記当てはめ部は、前記距離画像センサへの通電時を含む所定の契機において、前記所定の対象領域の前記三次元形状情報から、前記所定の対象領域に基づいて設定される所定の座標系における、前記所定の対象領域の実寸形状を計算し、前記距離画像センサの前記仕様情報と前記所定の対象領域についての前記距離画像とから、前記距離画像の各画素の距離値を前記所定の座標系に対応付けた三次元点群を生成し、前記三次元点群を前記実寸形状に当てはめる際の誤差を計算し、前記計算された誤差を情報端末に送信し、前記誤差が小さくなるように、前記距離画像センサの持つ複数パラメータのうち所定のパラメータの値を調整する、距離画像センサのパラメータ調整装置。
10. 前記当てはめ部は、前記誤差が小さくなるように、前記距離画像センサの持つ複数パラメータのうち所定のパラメータの値を調整する、
    請求項９に記載の距離画像センサのパラメータ調整装置。
11. 前記当てはめ部は、前記誤差を目視で確認できるようにユーザインターフェースから表示出力し、前記所定のパラメータの値を調整するための指示を受け付ける、
    請求項１０に記載の距離画像センサのパラメータ調整装置。
12. 前記当てはめ部は、前記三次元点群を前記実寸形状に当てはめる際に、前記距離画像と前記実寸形状の対応箇所を指示する入力を受け付け、受け付けた前記入力を用いて前記三次元点群を前記実寸形状に当てはめる、
    請求項９〜１１のいずれか一項に記載の距離画像センサのパラメータ調整装置。
13. 請求項９〜１２のいずれか一項に記載の前記距離画像センサのパラメータ調整装置を備える、
    エレベータシステム。
14. 請求項９〜１２にいずれか一項に記載の前記距離画像センサのパラメータ調整装置を備え、前記距離画像センサの前記距離画像を画像認識することを特徴とする画像処理装置。

Images