JP5508963B2 - 駅ホームの監視カメラシステム - Google Patents

Description

本発明は、駅ホームの監視カメラシステムに関し、特に、複数のステレオカメラを含む駅ホームの監視カメラシステムに関する。

従来より、駅ホームを監視する監視カメラシステムが実用化されている。例えば、駅ホームを監視するための監視用カメラは、ホームの天井の下に設置され、略水平方向をカメラの画角内に入るように、ホームを撮像する。長いホームに、例えば４台のカメラが設置される。
しかし、各カメラは、斜め方向からホームを撮像するため、朝日あるいは夕日等の影響を受けて画像そのものが適切に得られない場合があり、さらに他の乗客のために陰になる乗客がカメラに映らない場合があることから、人の線路転落の確実な検知ができないという問題がある。そこで、駅の線路側のホーム端に複数のステレオカメラを設置して監視し、距離情報と画像情報を得て、人と他のものを識別するシステムが提案されている（例えば、特許文献１参照）。

特開２００４−５８７３７号（特許第３７８５４５６号）公報

しかし、各カメラをホーム上に設置し、各カメラのケーブルをセンタ装置に接続するように配線し、設置しなければならないので、多くのステレオカメラを監視場所に設置することは、容易ではなくコストも掛かるという問題がある。

さらに、上記提案に係るシステムでは、人が電車とホームの隙間に落ちて電車とホームの間で宙吊り状態にあることの検出については、何ら開示されていない。

そこで、本発明は、カメラの設置が容易で、かつ人が電車とホームの隙間に落ちて電車とホームの間で宙吊り状態にあることを検出することができる駅ホームの監視カメラシステムを提供することを目的とする。

本発明の一態様によれば、数珠繋ぎ接続された複数のステレオカメラと、数珠繋ぎ接続された前記複数のステレオカメラの末端のステレオカメラに接続された制御装置と、を含み、各ステレオカメラは、ステレオ撮像のための少なくとも２つの撮像素子と、前記少なくとも２つの撮像素子からの撮像信号を取り込み、少なくとも２つの画像信号を生成する画像取込部と、前記少なくとも２つの画像信号を処理して距離画像を生成するステレオ処理部と、前記ステレオ処理部で生成された前記距離画像の情報に基づいて、立体形状を認識し、かつホームの高さ方向において所定の高さの範囲内であって、前記ホームの縁と電車との間の隙間から所定の空間内における、人の頭部を検出する立体形状認識部と、前記立体形状認識部により認識された立体形状の認識情報及び前記少なくとも２つの画像信号の１つを送信する通信制御部と、を有し、前記制御装置は、前記立体形状の認識情報及び前記少なくとも２つの画像信号の１つを受信するデータ受信部と、前記複数のステレオカメラの画像信号を合成して得られたパノラマ画像に基づいて、指定された表示形態の表示画像を生成する画像処理部と、前記画像処理部において生成された前記指定された表示形態の表示画像の画像信号を、画像表示装置に出力する画像出力部と、を有する駅ホームの監視カメラシステムを提供することができる。

本発明によれば、カメラの設置が容易で、かつ人が電車とホームの隙間に落ちて電車とホームの間で宙吊り状態にあることを検出することができる。

本発明の実施の形態に係る監視カメラシステムの複数のステレオカメラの設置状況を説明するための図であり、電車の進行方向に対して直交する水平方向からホームを見た図である。 本発明の実施の形態に係る監視カメラシステムの複数のステレオカメラの設置状況を説明するための図であり、ホームを電車の進行方向から見た図である。 本発明の実施の形態に係る、ホームHの監視カメラシステムの構成図である。 本発明の実施の形態に係る、ステレオカメラSCの外観図である。 本発明の実施の形態に係る、ステレオカメラSCの構成を示すブロック図である。 本発明の実施の形態に係る、センタ装置としての制御装置１１の構成を示すブロック図である。 本発明の実施の形態に係る、複数の動画像を繋げて、連続した動画像のパノラマ画像PIが生成された様子を示す図である。 本発明の実施の形態に係る、各ステレオカメラSCのDSPにおける処理の内容を示すフローチャートである。 本発明の実施の形態に係る、各ステレオカメラによりパノラマ画像が生成される処理の流れを示すフローチャートである。 本発明の実施の形態に係る、各ステレオカメラSCのステレオ処理可能な領域を示す図である。 本発明の実施の形態に係る、隣り合う２台のカメラの、お互いに近い方のCMOSセンサ３１を２台利用して、より広範囲なステレオ処理可能な領域OAを示す図である。 本発明の実施の形態に係る、画像の射影変換の例を説明するための図である。 本発明の実施の形態に係る、画像IBの視点位置の変更を説明するための図である。 本発明の実施の形態に係る、人が電車とホームの隙間に落ちて電車とホームの間で宙吊り状態を説明するための図である。 本発明の実施の形態に係るステレオカメラSCにより撮像された、宙吊り状態の人Mを含む画像の例を示す図である。 本発明の実施の形態に係る、人Mが宙吊り状態にあるときの頭部の検出を行う処理の流れのフローチャートである。 本発明の実施の形態に係る、複数のステレオカメラSCが撮像する範囲を説明するための図である。 本発明の実施の形態に係る、モニタ１２及び車掌用モニタ１２ａに出力された切り出し画像IRaの例を示す図である。 本発明の実施の形態に係る、電車Tにおける車掌の動作を説明するための図である。 本発明の実施の形態に係る、電車Tの外側面上に設けられた４つの領域HR1,HR2,HR3,HR4が、指示線BLと文字によって示されている例を示す図である。

以下、図面を参照して本発明の実施の形態を説明する。
（全体構成）
図１と図２は、本発明の実施の形態に係る駅ホームの監視カメラシステムの複数のステレオカメラの設置状況を説明するための図である。ここでは、鉄道の駅のホーム端上に設置された複数のステレオカメラを例に挙げて説明する。図１は、電車の進行方向に対して直交する水平方向からホームを見た図であり、図２は、ホームを電車の進行方向から見た図である。

鉄道の線路が敷かれる地面G上のホームHは、天井Ｒの下に設置された複数のステレオカメラSCによって監視される。複数のステレオカメラSCは、固定部材SMにより天井Rの下に固定された配線ダクトD内を通る通信ケーブルにより、後述するようにデイジーチェーン接続されている。

各ステレオカメラSCは、それぞれが２つの撮像素子を有しており、各撮像素子の光学系は、所定の間隔を開けて光軸が互いに平行になるように配置されている。各ステレオカメラSCは、図２に示すように、その撮像方向がホームHの線路側の端の床面に対して直交する方向となるように、固定されて設置されている。

また、図１に示すように、各ステレオカメラSCによる距離情報が得られる撮像範囲R1は、隣りのステレオカメラSCの撮像範囲R1と重なり合って、後述するように、幾何補正及びアルファブレンドしてパノラマ画像を作成できるように、複数のステレオカメラSCは、配置され設置されている。

各ステレオカメラSCは、ホームHの端を監視する監視用カメラである。複数のステレオカメラSCは、ホームHの端上に死角が無いように、ホームHの端から端まで撮像している。例えば、１００台のステレオカメラが３００ｍの長さのホームHに設置される。

図３は、ホームHの監視カメラシステムの構成図である。図３に示すように、ホームＨの監視カメラシステム１は、複数のステレオカメラSCと、隣り合う２台のステレオカメラSCを接続する通信ケーブルCBと、制御装置１１と、画像表示装置であるモニタ１２と、操作パネル１３とを含んで構成されている。

複数のステレオカメラSCは、所謂数珠繋ぎ接続であるデイジーチェーン接続され、末端の通信ケーブルCBにより、制御装置１１に接続される。通信ケーブルCBは、電源供給可能な信号線であり、例えば、電源供給も可能なパワー・オーバ・イーサネット（登録商標）（PoE）対応の信号線である。

制御装置１１は、デジタルシグナルプロセッサ（以下、DSPという）を含み、DSPは、画像処理、認識処理、通信制御等を行うための処理部と、受信した画像、処理した画像等を一次的に記憶するRAM等のメモリ（図示せず）を有している。
さらに、制御装置１１は、電源回路１１ａを含み、電源回路１１ａの電源は、通信ケーブルCBを介して各ステレオカメラSCに供給される。

モニタ１２、車掌用モニタ１２ａ及び操作パネル１３が、制御装置１１に接続されている。ホームHを監視する監視者は、モニタ１２に駅ホームの様子を映し出して見ることができる。監視者は、後述するように、操作パネル１３を操作して、モニタ１２に表示される表示画像の表示形態を変更することができる。制御装置１１、モニタ１２及び操作パネル１３は、例えば、駅の監視室に配置される。また、車掌用モニタ１２ａは、駅ホームにおいて、電車が停止したときに、電車のドアの開閉を操作する車掌が見ることができる位置に設けられている。車掌は、車掌用モニタ１２ａを見て、ホームの安全を確認することができる。

ステレオカメラSC間の通信及びステレオカメラSCと制御装置１１間の通信は、イーサネット（登録商標）を利用した通信である。制御装置１１は、デイジーチェーン接続のネットワークを介して、全てのあるいは所望のステレオカメラSCへ、画像情報等の転送要求のコマンドを供給することができる。よって、ステレオカメラSCからの動画像の画像情報、認識情報、イベント情報等は、制御装置１１からのコマンドに応じて、あるいは所定のタイミングで、デイジーチェーン接続のネットワークを介して、制御装置１１へ供給される。

（ステレオカメラSCの構成）
図４は、ステレオカメラSCの外観図である。ステレオカメラSCは、細長い直方体の形状の筐体２１を有する。筐体２１は、例えば、縦が２ｃｍ、奥行きが２ｃｍで、幅が２０ｃｍのサイズを有する。２つの対物光学系２２は、細長い筐体２１の一側面に、所定の距離だけ離れて光軸が互いに平行になるように設けられている。２つの対物光学系２２は、対物レンズであり、筐体２１内の各対物レンズの後ろ側には、CMOSセンサ等のカメラが設けられている。２つの対物光学系２２の設けられた面が、ホームHの床面に対向するように、ステレオカメラSCは、駅のホームH上に設置される。

なお、ここでは、各ステレオカメラSCは、ステレオ撮像のために２つの撮像素子を有している例で説明するが、ステレオ撮像のために３つ以上の撮像素子を有していてもよく、少なくとも２つの撮像素子を有していればよい。

また、筐体２１の両端面には、通信ケーブルCBを接続するためのコネクタ２３が設けられている。ステレオカメラSCは、他のステレオカメラとデイジーチェーン接続するための２つのコネクタ２３を有する。ケーブルCB側のコネクタを、コネクタ部としてのコネクタ２３に接続することによって、２つのステレオカメラSC同士をデイジーチェーン接続することができる。
ここでは、ケーブルCBは、イーサネット（登録商標）通信用のケーブルであって、電源供給も可能なイーサネット（登録商標）PoE対応のケーブルである。さらに、デイジーチェーン接続であるので、ホームHの一端に設置された１台のステレオカメラSCだけが、ケーブルCBによって、制御装置１１に接続される。隣り合う２台のステレオカメラSC間は、１本のケーブルCBで接続されるので、ステレオカメラSCの設置及び増設は容易である。

なお、ここでは、通信は、イーサネット（登録商標）を利用し、ケーブルCBは、電源供給も可能なパワー・オーバ・イーサネット（登録商標）（PoE）対応のケーブルであるが、通信プロトコルが異なる場合は、ケーブルCBは、そのプロトコルに対応する電源供給可能な通信ケーブルとなる。

ステレオカメラSCは、電源供給可能なデイジーチェーン接続であるため、監視領域の長さに応じて増設すれば、適宜追加し拡張に対応可能であり、かつ設置コストも安価となる。さらに、ステレオカメラSCの撤去も安価である。

図５は、ステレオカメラSCの構成を示すブロック図である。ステレオカメラSCは、カメラとしての２つのCMOSセンサ３１、２つの画像取込部３２、ステレオ処理部３３、立体認識部３４、通信制御部３５、それぞれが通信用インターフェース（以下、I/Fと略す）である２つのI/F３６、及び２つのコネクタ２３を有しており、筐体２１内の図示しない基板上に設けられている。本実施の形態では、２つの画像取込部３２、ステレオ処理部３３、立体認識部３４及び通信制御部３５は、DSPにより構成される。

各CMOSセンサ３１は、対物光学系２２からの光を受けて撮像信号を、対応する画像取込部３２に出力する撮像素子である。

各画像取込部３２は、CMOSセンサ３１からの撮像信号を取り込み、その撮像素子から画像信号を生成して、ステレオ処理部３３に供給する処理部である。

ステレオ処理部３３は、入力された２つの動画像の画像信号に基づき、距離画像を生成する処理部である。距離画像は、各画素値が距離値である画像情報である。なお、距離画像は、画素値が３次元空間内の位置情報であってもよい。

立体認識部３４は、ステレオ処理部３３で得られた距離画像の情報に基づいて、立体形状を認識して立体形状の情報を出力する、あるいは所定のルールに基づいて所定のイベントの発生を検知し、所定の検知信号を出力する処理部である。立体認識部３４は、距離情報に基づいて、後述する人の頭部の検出処理も行う。

なお、立体認識部３４は、２つの画像取込部３２の少なくとも１つの画像信号に基づいて、所定のイベントの発生の検知を、行うようにしてもよい。
すなわち、立体認識部３４は、ステレオ処理部３３で生成された距離画像の情報に基づいて、画像中の対象物の立体形状を認識し、画像中に含まれる立体形状の認識情報を出力する立体形状認識部を構成する。立体形状の認識は、例えば、人の頭部の認識、線路上の人の認識、手の形状の認識等である。さらに、立体認識部３４は、ステレオ処理部３３で生成された距離画像の情報又は少なくとも２つの画像信号の少なくとも１つに基づいて、所定のイベントを検出するイベント検出部を構成する。イベントとしては、線路に人が落下した等のイベントがある。

さらになお、ステレオカメラSCは、立体認識処理だけでなく、ステレオ処理部３３等において、画像取込部３２の画像信号に基づいて通常の画像認識を行うようにしてもよい。例えば、画像信号に基づいて、人の認識、傘の認識等を行うようにしてもよい。

通信制御部３５は、立体認識部３４から立体形状の認識情報を受信すると、その認識情報を制御装置１１へ送信し、さらに他のステレオカメラSCから立体形状の認識情報を受信すると制御装置１１へ転送する処理部である。

さらに、通信制御部３５は、画像取込部３２にも接続されており、CMOSセンサ３１の両方あるいは一方から得られた動画像の画像信号を、所定のタイミングで制御装置１１へ送信することができるようになっている。さらに、通信制御部３５は、他のステレオカメラSCから受けた動画像の画像信号を中継する中継機能も有する。
よって、通信制御部３５は、認識された立体形状の認識情報及び少なくとも２つの画像信号のデータの１つを送信し、かつ他のステレオカメラから受信した立体形状の認識情報及び画像信号のデータを転送する。

各I/F３６は、ケーブルCBとの接続のためのI/F回路である。ここでは、各I/F３６は、コネクタ２３に接続されたパワー・オーバ・イーサネット（登録商標）（PoE）用のI/F回路である。２つのI/F３６は、それぞれコネクタ２３を介してケーブルCBと電気的に接続される。各I/F３６は、電源供給可能なI/Fであるため、ステレオカメラSB内に回路基板上の２つのCMOSセンサ３１及びDSPへの電源Vを出力する。

（センタ装置としての制御装置の構成）
図６は、センタ装置としての制御装置１１の構成を示すブロック図である。制御装置１１は、電源回路１１ａ、コネクタ４１、I/F４２、通信制御部４３、画像処理部４４及び画像出力部４５を含む。

コネクタ４１は、ケーブルCBを接続するためのコネクタである。
I/F４２は、パワー・オーバ・イーサネット（登録商標）（PoE）用のI/F回路である。
通信制御部４３は、各ステレオカメラSCからの画像信号及び立体形状の認識情報を受信するデータ受信部を構成する。さらに、通信制御部４３は、各ステレオカメラSCに各種コマンドを送信するコマンド送信部も構成する。
画像処理部４４は、後述するような画像処理を行う処理部である。具体的には、画像処理部４４は、通信制御部４３において受信した各ステレオカメラSCからの画像信号に基づいてパノラマ画像を生成する画像合成部を構成する。さらに、画像処理部４４は、複数のステレオカメラSCの画像信号を合成して得られたパノラマ画像に基づいて、指定された表示形態の表示画像を生成する。

画像出力部４５は、画像処理部４４において生成された指定された表示形態の表示画像の画像信号をモニタ１２及び車掌用モニタ１２ａへ出力するための回路部である。具体的には、画像出力部４５は、操作パネル１３からの指示信号に応じて、各ステレオカメラSCの画像信号に基づき生成されたパノラマ画像信号、パノラマ画像から切り出した１つの画像、複数の画像あるいはスクロール画像をモニタ１２及び車掌用モニタ１２ａに出力する。

モニタ１２及び車掌用モニタ１２ａに表示される画像の表示形態は、操作パネル１３からの指示信号に基づいて指定される。すなわち、画像出力部４５は、操作パネル１３からの指示信号に基づいて、モニタ１２及び車掌用モニタ１２ａ上に表示する画像の表示形態を変更する。よって、操作パネル１３は、所定の表示形態の中から表示形態を指定する表示形態指定部を構成する。所定の表示形態としては、後述するように、モニタ１２及び車掌用モニタ１２ａの１つの画面上に、１つの画像を表示するのか、複数の画像を表示するのか、あるいはスクロール画像を表示するのか等の形態がある。

また、車掌用モニタ１２ａに表示される画像は、後述するように、ステレオカメラSCにおいて得られた２次元画像若しくは距離画像に基づいて認識された車掌の動作に基づき、変更可能となっている。

なお、駅毎に混雑する車両の位置、駆け込みの多いドアが決まっているので、モニタ１２に表示される各画像の優先順位を、例えば時間帯に応じて、予め決めておくようにしてもよい。

さらになお、駅毎に予め決められた安全手順に従って、映像、文字情報、地図等の補助情報も、モニタ１２の画面上に時系列的に表示させるようにしてもよい。

（パノラマ画像）
図７は、複数のステレオカメラSCで得られた複数の動画像SIに対して幾何補正処理とアルファブレンド処理を施して、複数の動画像を繋げてあるいは貼り合わせて、連続した１枚の動画像のパノラマ画像PIが生成された様子を示す図である。

図７に示すように、複数の動画像SIが連続したパノラマ画像PIは、隣り合う２つの画像を繋ぎ合わせたときに連結部分に歪みがなく、かつ自然に合成されるように、隣り合う２つの画像SIの重なり領域あるいは繋ぎ目領域の画素位置に対して幾何的な画素位置補正をし、さらにアルファブレンド処理により画素値を補正することによって生成された動画像である。パノラマ画像PIの生成方法は、公知であり、その詳細な説明は、省略する。

制御装置１１は、各ステレオカメラSCからの動画像SIを取得して、図７のパノラマ画像PIを生成する。例えば、ホームの一端から他端まで得られた複数の動画像SIを繋ぎ合わせて１枚のパノラマ画像PIを生成し、図示しないメモリに記憶し、モニタ１２に出力する。

（処理の内容）
図８は、各ステレオカメラSCのDSPにおける処理の内容を示すフローチャートである。各ステレオカメラSCの通信制御部３５は、主に、画像信号の転送処理と、立体形状の認識情報あるいはイベント検知信号の出力処理と、自己の画像信号の送信処理とを行う。転送処理は、デイジーチェーン接続された隣りのステレオカメラSCから画像信号が転送されると、逆側の、すなわち制御装置１１に近い方のステレオカメラSCへ画像信号を転送する処理である。立体形状の認識情報あるいはイベント検知信号の出力処理は、ステレオ処理により得られた距離画像に基づき認識された立体形状の認識情報あるいは他のステレオカメラSCからの認識情報を制御装置１１へ出力する、あるいは距離画像又はCMOSセンサ３１から出力された画像に基づき、所定のイベントが検知されると、そのイベントを制御装置１１へ通知するために、イベント検知信号を出力する処理である。また、自己の画像信号の送信処理は、２つのCMOSセンサ３１の一方の画像を、制御装置１１へ送信するための処理である。

各ステレオカメラSCが上述したこれらの処理を行うことによって、最終的には、制御装置１１が各ステレオカメラSCからの動画像SIに基づいてパノラマ画像PIを生成し、かつ立体形状の認識情報を取得しあるいは所定のイベントの発生を検知することができる。

まず、通信制御部３５は、他のステレオカメラSCからの転送された画像信号のデータを受信したか否かを判定する（ステップ（以下、Sと略す）1）。通信制御部３５は、他のステレオカメラSCからの画像信号、すなわち転送画像、を受信した場合は、S1でYESとなり、２つのI/F３６のうち、転送画像を受信した一方のI/F３６でない他方のI/F３６へ受信した画像信号のデータを出力して転送する（S2）。

S1でNOの場合及びS2の後は、立体認識部３４からあるいは他のステレオカメラSCから立体形状の認識情報を取得あるいは所定のイベントを検知したか否かが判定される（S3）。立体形状の認識情報を取得あるいは所定のイベント検知信号を受信すると、S3でYESとなり、通信制御部３５は、取得した認識情報あるいは検知したイベントのイベント検知信号を制御装置１１側のI/F３６を介して出力する（S4）。

S3でNOの場合及びS4の後は、２つのCMOSセンサ３１の内の少なくとも一方の画像信号のデータを得て、制御装置１１側のI/F３６を介して出力する画像信号のデータ送信処理を実行する（S5）。S5の処理の後は、S1の処理に戻り、上述した処理が繰り返される。

従って、制御装置１１は、S2及びS5の処理による各ステレオカメラSCからの画像信号のデータを得て、図７に示すような動画像のパノラマ画像PIを生成することができる。
監視者は、操作パネル１３を操作して、モニタ１２に表示される画像の表示形態を変更することができる。そのとき、監視者は、表示画像のパノラマ画像上の位置、言い換えると、ホームHの所望の位置を指定することができる。

例えば、監視者は、ホームHの端部の連続画像であるパノラマ画像PIの中で所望の１つの位置を指定することによって、図７において一点鎖線で示すように、その所望の１つの位置における動画像を切り出してモニタ１２の１つの画面上に表示させることもできる。

さらに、監視者は、パノラマ画像PIの中で所望の複数の位置を指定することによって、図７において二点鎖線で示すように、その複数の位置における動画像を切り出して、モニタ１２の１つの画面上にマルチ画像で表示させることもできる。図７では、４つの位置の画像がモニタ１２の１つの画面上に表示されている例を示している。なお、所望の１つの位置あるいは所望の複数の位置は、各ステレオカメラの画像の位置に一致しなくてもよい。すなわち、所望の１つの位置あるいは所望の複数の位置は、パノラマ画像PI上の任意の位置でよい。

また、パノラマ画像PIを、指定された任意の位置からスクロールするように画像をモニタ上に表示させるようにすることもできる。例えば、操作パネル１３上のスクロールキー、ジョイスティック等を操作することによって、表示画像の位置を指定してパノラマ画像PI上を連続的に移動させることもできる。図７において破線で示すように、破線で示す範囲の画像が、左側から右側に向かって移動して、移動する位置の画像がスクロール画像として表示している例が示されている。スクロール画像も、複数の位置におけるスクロール画像で、１つの画面上にマルチ画像で表示されるようにしてもよい。

後述するように、車掌も、所定の操作を行うことによって、車掌モニタ１２ａに表示されるスクロール画像を、速くスクロールさせたり、遅くスクロールさせたり、スクロールを戻したり、スクロールを停止させることができる。

なお、上述した例では、制御装置１１が複数のステレオカメラSCからの複数の画像を合成してパノラマ画像を生成しているが、制御装置１１がパノラマ画像の生成を行わずに、各ステレオカメラSCが、隣のステレオカメラSCからの画像信号に自己の画像信号を追加して繋げるようにして、制御装置１１が最終的にパノラマ画像PIのデータを受信するようにしてもよい。例えば、連結された１００台のステレオカメラSCの一番端の１番目のステレオカメラSCが、制御装置１１側の隣のステレオカメラSCへ自己のCMOSセンサ３１の画像を送信する。２番目のステレオカメラSCは、１番目のステレオカメラSCからの画像に、自己の画像に追加する。このとき２番目のステレオカメラSCは、繋ぎ目領域について幾何的な画素位置補正処理とアルファブレンド処理を行って、その自己の画像を追加した画像を３番目のステレオカメラSCへ送信する。３番目のステレオカメラSCは、２番目のステレオカメラSCと同様に、受信した画像に自己の画像を追加し、繋ぎ目領域について幾何的な画素位置補正処理とアルファブレンド処理を行って、その自己の画像を追加した画像を４番目のステレオカメラSCへ送信する。以上の処理を、１００番目のステレオカメラSCまでの各ステレオカメラSCが実行することにより、制御装置１１は、最終的にパノラマ画像PIを得ることができる。

図９は、そのようにしてパノラマ画像が生成される処理の流れを示すフローチャートである。図９において、図８と同じ処理については、同じステップ番号が付されている。
図９の処理も、通信制御部３５によって行われる。まず、通信制御部３５は、隣のステレオカメラSCから転送された画像信号のデータを受信したか否かを判定する（S1）。通信制御部３５は、転送画像を受信した場合は、S1でYESとなり、受信した画像信号に、自己の画像信号を追加する画像追加処理を実行する（S11）。画像追加処理は、受信した画像信号に自己の画像信号を追加し、繋ぎ目領域について幾何的な画素位置補正処理とアルファブレンド処理を施して合成画像を生成する処理である。

そして、通信制御部３６は、その合成画像を、２つのI/F３６のうち、転送画像を受信した一方のI/F３６でない他方のI/F３６へ出力して転送する画像信号のデータ送信処理を実行する（S12）。

S1でNOの場合及びS12の後は、立体認識部３４あるいは他のステレオカメラSCから立体形状の認識情報を取得したかあるいは所定のイベントを検知したか否かが判定され（S3）、立体形状の認識情報を取得したあるいは所定のイベントが検知されると、通信制御部３５は、立体形状の認識情報あるいはイベント検知信号を制御装置１１側のI/F３６を介して出力する（S4）。S3とS4の処理は、図８と同様である。S3とS4の処理の後は、S1の処理に戻り、上述した処理が繰り返される。

従って、制御装置１１は、S11及びS12の処理によるパノラマ画像PIを最終的に得ることができる。
よって、制御装置１１は、図９の処理によってもパノラマ画像PIを得ることができるので、パノラマ画像PIから、一部を抜き出して、単一の画像表示、マルチ画像表示、あるいはスクロール表示を、モニタ上に行うことができる。

以上の監視カメラシステム１は、各ステレオカメラSCはデイジーチェーン接続されているので、ホームの監視範囲を拡げるのであれば、制御装置１１から最も遠い位置のステレオカメラSCにケーブルCBにより新たなステレオカメラSCを追加したり、デイジーチェーン接続されている途中に新たなステレオカメラSCを追加する等も容易である。

上述した実施の形態の監視カメラシステムによれば、例えば、ホーム等における人の線路への落下は、パノラマ画像中の禁止領域における一定体積の物（すなわち人）を検知（すなわち認識）することにより検知することができる。また、ホームの混雑状況、異常状況を判定して、イベントとしてセンタ装置へ通知することができる。

なお、隣り合う２つのステレオカメラSCにより、監視範囲を拡げることが可能である。１台のステレオカメラSCのステレオ処理可能な範囲は、２つのCMOSセンサ３１の視野の重なる領域である。図１０は、各ステレオカメラSCのステレオ処理可能な領域を示す図である。図１０は、２台のステレオカメラSCの場合のステレオ処理可能な領域を示す。

図１０に示すように、各ステレオカメラSCの２つのCMOSセンサ３１によってステレオ処理可能な領域SAは、斜線で示されている。すなわち領域SAは、単独のステレオカメラSCによりステレオ処理可能な範囲である。

図１１は、隣り合う２台のカメラの、お互いに近い方のCMOSセンサ３１を２台利用して、より広範囲なステレオ処理可能な領域OAを示す図である。
図１１に示すように、隣り合う２台のステレオカメラの、お互いに近い方のCMOSセンサ３１の画像を利用すると、ステレオ処理可能な範囲が得られる。そのステレオ処理可能な領域OAは、斜線で示されている。図１１の領域OAは、図１０の領域SAと重なる部分があるが、図１０の領域SAとは異なっている。

この場合、隣り合う２台のステレオカメラSCの一方が、他方から画像データを受信して、ステレオ処理部３３においてステレオ処理を行い、その一方の立体認識部３４が立体形状の認識及びイベント検知処理を行うことにより、領域OAにおける立体認識処理が可能となる。
各ステレオカメラSCが、図１０の処理と図１１の処理を交互に行うことにより、複数のステレオカメラSCによる監視領域を、結果として拡げることができる。

上述したように、立体認識部３４は、ステレオ処理部３３からの距離情報を受信して、各画素の距離情報から対象物の形状を認識することができる。よって、立体認識部３４は、所定の立体形状パターンと、距離情報から把握される形状とを比較して、両者が一致したときに所定のイベントが発生したとして、所定のイベント信号を出力する。その処理の例を説明する。

また、パノラマ画像PIをそのまま表示するのではなく、例えばホームH上の人の視点からの画像に射影変換して画像を表示するようにしてもよい。
図１２は、画像の射影変換の例を説明するための図である。画像IAは、ステレオカメラSCから見たホームHの画像である。制御装置１１の画像処理部４１は、画像IAを画像IBに射影変換する。図１３は、画像IBの視点位置の変更を説明するための図である。図１３に示すように、画像IAの視点は、ステレオカメラSCの位置であるが、射影変換により、画像IBの視点位置VPは、ホームＨ上の通常の人の目の高さの位置となる。

射影変換は、ホームHの床面と、電車の側面の位置は決まっているので、その面を基準として射影変換を行うことができる。

よって、モニタ１２に表示される画像の視点位置が、ホームH上の人の目の高さの位置であるので、監視者は、ホームH上に立って、ホームHを監視しているように感じられるので、違和感無く、ホームHの監視をすることができる。

（電車とホームの間における人の宙吊り状態の検出）
人が電車とホームの隙間に落ちて電車とホームの間で宙吊り状態になる場合がある。図１４は、その宙吊り状態を説明するための図である。図１５は、ステレオカメラSCにより撮像された、宙吊り状態の人Mを含む画像の例を示す図である。

図１４は、電車の進行方向から見たときの人が宙吊り状態にある様子を示す。図１４に示すように、電車Tを降りようとした人Ｍが誤って停止している電車TとホームHの端の間に落ちると、頭だけが電車TとホームHの間の隙間Gから飛び出た状態となる。図１５は、距離画像の画像IRの例である。
ステレオカメラSCは、電車TとホームHの位置関係は予め決まっているので、頭部が隙間Gの近傍に存在することを検出することによって、人が宙吊り状態になっていると推定してアラーム信号を出力する。

図１６は、人Mが宙吊り状態にあるときの頭部の検出を行う処理の流れのフローチャートである。ステレオカメラSCは、制御装置１１からのコマンドに応じて、図１６の処理を実行する。

立体認識部３４は、画像IR中の所定の検出領域４１内に対応する距離画像から、ホームHから所定の高さまでの範囲の距離画像を抽出する（S1）。図１５に示すように、人Ｍがホームから落ちて宙吊り状態になる場所は、電車TとホームHの間の隙間Gである。よって、例えば、ドアの近傍の所定の領域が、検出領域４１として予め設定されている。

そして、図１４に示すように、宙吊り状態の人Ｍの頭部は、ホームＨの上から所定の高さ、例えば５０ｃｍ以下になる。

S1では、そのような場所と高さの範囲に対応する検出領域４１内において、所定の高さ以下の範囲の距離画像が抽出される。なお、検出領域は、ドアの近傍だけでなく、電車TとホームHの間の隙間Gを含む細長い領域でもよい。

次に、立体認識部３４は、頭部立体モデルに基づき、S1で抽出された距離画像の中に、人の頭部が有るか否かを判定する（S2）。人の頭部の大きさ及び形状は、略決まっている。よって、その大きさと形状をモデル化して、頭部立体モデル情報としてステレオカメラSC内のメモリに記憶しておく。立体認識部３４は、予め記憶された頭部立体モデル情報と、抽出された距離画像とのマッチングを行い、抽出された距離画像の中に頭部と推定される形状のものがあるか否かを判定する。

以上のように、立体形状認識部としての立体認識部３４は、ステレオ処理部３３で生成された距離画像の情報に基づいて、立体形状を認識し、かつホームＨの高さ方向において所定の高さの範囲内であって、ホームＨの縁と電車Ｔとの間の隙間から所定の空間内に、人の頭部を検出する処理を実行する。

立体認識部３４は、S2の判定結果を出力する判定結果出力処理を実行する（S3）。具体的には、立体認識部３４は、所定の頭部立体モデル情報とS1で抽出された距離画像とのマッチングの結果、距離画像中に、所定の頭部立体モデルと合致する部分があると判定されると、頭部があるというイベントを示すイベント信号を生成して出力する。このイベント信号は、人の頭部の検出情報を構成する。

なお、以上の例では、人の頭部の検出は、頭部立体モデル情報を用いて行っているが、頭部の位置に顔があるか否かを検出することに行うようにしてもよい。例えば、距離画像から頭部と思われる形状が検出された場合、頭部と思われる形状の位置に人の顔があるか否かを、画像処理による顔検出処理により判定し、顔が検出されると、人の頭部があるとするようにしてもよい。

以上のようにして、立体認識部３４は、人Mが宙吊り状態にあるときの頭部の検出を行う。そのイベント信号は、人の頭部の検出情報として、通信制御部３５から制御装置１１へ伝達される。

なお、１つのステレオカメラSCが人の宙吊り状態を検出した場合に、隣りのステレオカメラSCにより、同じ処理を行って、人の宙吊り状態の検出処理を実行させて、宙吊り状態の検出の確認を行うようにしてもよい。すなわち、一のステレオカメラSCの通信制御部３５が、人の頭部の検出情報を制御装置１１へ送信した場合、制御装置１１は、人の頭部の検出情報を受信すると、人の頭部の検出情報を送信したステレオカメラSC以外の他のステレオカメラSC、例えば隣のステレオカメラSCに対して、人の頭部を検出する処理を実行させる。これにより、人の頭部の検出の精度を上げることができる。

図１７は、複数のステレオカメラSCが撮像する範囲を説明するための図である。図１７に示すように、各ステレオカメラSCの撮像範囲において頭部を検出する範囲が、隣のステレオカメラSCと重なるように、複数のステレオカメラSCをホームH上に取り付ける。

複数のステレオカメラSCがそのように設置された場合に、図１７中のステレオカメラSC(A)が、図１６の処理により、頭部があるというイベントを示すイベント信号を生成したとする。そのイベント信号は、制御装置１１に伝達される。制御装置１１は、隣のステレオカメラSC（A+1）に対して、ステレオカメラSC(A)の検出領域４１に対応する領域を検出領域として、図１６の処理を実行するようにコマンドを出力する。

その結果、図１７の場合、最初に人の宙吊りを検出したステレオカメラSC(A)の隣のステレオカメラSC(A+1)によっても、人の宙吊り状態の検出処理が実行され、その結果が制御装置１１に送信される。よって、監視システムにおいて、人の宙吊り状態の検出の精度を上げることができる。

さらに、人の宙吊り状態が検出された場合、監視者がその状態をモニタで確認する場合、図１５のような画像IRでは、人の宙吊り状態を確認し難い。そこで、人の宙吊り状態の検出のイベント信号を受信すると、制御装置１１は、例えば、図１７の場合、隣のステレオカメラSC(A+1)で撮像された２次元画像から、人Mの宙吊り状態が検出された位置あるいは方向の画像を切り出して、モニタ１２及び車掌用モニタ１２ａに出力するようにしてもよい。

図１８は、モニタ１２及び車掌用モニタ１２ａに出力された切り出し画像IRaの例を示す図である。図１８に示すように、人Ｍを斜め上から撮像した画像IRaは、監視者にとっては、人Mの頭部の形などが判別し易い画像である。

以上のように、制御装置１１は、人の頭部の検出情報を受信すると、人の頭部の検出情報を送信したステレオカメラ以外のステレオカメラで撮像された画像から、人の頭部を検出した位置の画像を切り出して、画像出力部４５を介して、画像表示装置であるモニタ１２へ出力する。その結果、監視者は、人Mの頭部の形などが判別し易い。

また、ステレオカメラSCが電車Tの車掌も撮像するように設置されている場合、ステレオカメラSCは、画像処理により、車掌の動作を認識するようにしてもよい。例えば、車掌は、ホームH上に設けられた車掌用モニタ１２ａを見ることができる。そこで、ステレオカメラSCに車掌の動作を認識させ、車掌は、自己の動作に基づいて、車掌用モニタ１２ａに表示される画像の表示操作を行うことができるようにしてもよい。

図１９は、電車Tにおける車掌の動作を説明するための図である。車掌MMは、電車の車掌室内に立って、電車Tの車体の外側面上に自由に手HDを置くことができる。その手HDがおける位置は、所定の範囲に限られるが、その所定の範囲内では自由である。ステレオカメラSCは、車掌MMの手HDが、電車Tの車体壁上の所定の領域内のどの位置にあるかを認識し、その位置に応じたイベント信号を制御装置１１へ送信する。

ここでは、電車Tの外側面上の所定の領域に所定の複数のマークが設けられる。車掌MMは、車掌MMは、その複数のマークに対する手HDの位置に応じて、車掌用モニタ１２ａに表示される画像の指示を行うことができる。

例えば、車掌ＭＭが電車Tのドアを閉めてから、安全を確認する場合に、車掌用モニタ１２ａに、図７で説明したパノラマ画像のスクロール画像を、表示させることができる。その場合、車掌ＭＭは、車掌用モニタ１２ａに表示される、電車の先頭車両から最後尾車両までのスクロール画像を見て、安全を確認する。

図２０は、電車Tの外側面上に設けられた４つの領域HR1,HR2,HR3,HR4が、指示線BLと文字によって示されている例を示す図である。
図２０に示すように、領域HR1は、上から１つ目と２つ目の指示線BL間で挟まれた領域であり、その領域HR1に手HDが置かれると、スクロール画像の早送りを指示することになる。立体認識部３４において、２次元画像あるいは距離画像から、領域HR１に点があることを認識することができる。

同様に、領域HR2は、上から２つ目と３つ目の指示線BL間で挟まれた領域であり、その領域HR1に手HDが置かれると、スクロール画像の遅い送りを指示することになる。領域HR3は、上から３つ目と４つ目の指示線BL間で挟まれた領域であり、その領域HR3に手HDが置かれると、スクロール画像の送りの停止を指示することになる。領域HR4は、上から４つ目と５つ目の指示線BL間で挟まれた領域であり、その領域HR4に手HDが置かれると、スクロール画像の戻り、すなわち逆方向の送りを指示することになる。

従って、車掌MMは、これらのマークに対する手HDの位置を移動させることによって、車掌用モニタ１２ａの操作を容易に行うことができる。

以上のように、上述した本実施の形態の駅ホームの監視カメラシステムによれば、カメラの設置が容易で、かつ人が電車とホームの隙間に落ちて電車とホームの間で宙吊り状態にあることを検出することができる。
なお、上述した実施の形態では、監視員の操作により、モニタ１２及び車掌用モニタ１２ａに表示される画像が変更されているが、ステレオカメラSCが、ホーム上の駅員の動作、例えば旗を振る動作を検出するようにして、駅員の所定の動作に応じて、モニタ１２及び車掌用モニタ１２ａに表示される画像を変更するようにしてもよい。

さらに、ステレオカメラSCは、画像処理により駅員の所定の動作を検出すると、その動作に応じたイベント信号を出力する。所定の動作は、例えば駅員が手に持つ旗により方向を示す動作である。制御装置１１は、そのイベント信号を受信すると、パノラマ画像PIの中からその方向の映像を切り出して、ズームアップ等してモニタ１２に出力する。その結果、監視員は、駅員の示す方向の映像を素早く見ることができる。

さらになお、上述した実施の形態では、数珠繋ぎ接続された複数のステレオカメラの中の末端のステレオカメラに、制御装置が接続されているシステムであるが、制御装置は、末端のステレオカメラに接続しない形態のシステムでもよい。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

１ 駅ホームの監視カメラシステム、２１ 筐体、２２ 対物光学系、２３ コネクタ

Claims (10)

1. 数珠繋ぎ接続された複数のステレオカメラと、
   数珠繋ぎ接続された前記複数のステレオカメラの末端のステレオカメラに接続された制御装置と、
   を含み、
   各ステレオカメラは、
   ステレオ撮像のための少なくとも２つの撮像素子と、
   前記少なくとも２つの撮像素子からの撮像信号を取り込み、少なくとも２つの画像信号を生成する画像取込部と、
   前記少なくとも２つの画像信号を処理して距離画像を生成するステレオ処理部と、
   前記ステレオ処理部で生成された前記距離画像の情報に基づいて、立体形状を認識し、かつホームの高さ方向において所定の高さの範囲内であって、前記ホームの縁と電車との間の隙間から所定の空間内における、人の頭部を検出する立体形状認識部と、
   前記立体形状認識部により認識された立体形状の認識情報及び前記少なくとも２つの画像信号の１つを送信する通信制御部と、
   を有し、
   前記制御装置は、
   前記立体形状の認識情報及び前記少なくとも２つの画像信号の１つを受信するデータ受信部と、
   前記複数のステレオカメラの画像信号を合成して得られたパノラマ画像に基づいて、指定された表示形態の表示画像を生成する画像処理部と、
   前記画像処理部において生成された前記指定された表示形態の表示画像の画像信号を、画像表示装置に出力する画像出力部と、
   を有することを特徴とする駅ホームの監視カメラシステム。
2. 前記立体形状認識部は、所定の立体モデル情報と前記距離画像とのマッチングを行うことにより、前記人の頭部の検出を行うことを特徴とする請求項１に記載の駅ホームの監視カメラシステム。
3. 一のステレオカメラの前記通信制御部が、前記人の頭部の検出情報を前記制御装置へ送信した場合、前記制御装置は、前記人の頭部の検出情報を受信すると、前記人の頭部の検出情報を送信した前記一のステレオカメラ以外の他のステレオカメラに対して、前記人の頭部を検出する処理を実行させることを特徴とする請求項１又は２に記載の駅ホームの監視カメラシステム。
4. 前記制御装置は、前記人の頭部の検出情報を受信すると、前記人の頭部の検出情報を送信したステレオカメラ以外のステレオカメラで撮像された画像から、前記人の頭部を検出した位置の画像を切り出して、前記画像出力部を介して、画像表示装置へ出力することを特徴とする請求項１から３のいずれか１つに記載の駅ホームの監視カメラシステム。
5. 前記指定された表示形態の表示画像は、前記パノラマ画像の一部を切り出した１枚の動画像あるいは複数の動画像であることを特徴とする請求項１から４のいずれか１つに記載の駅ホームの監視カメラシステム。
6. 前記パノラマ画像の一部を切り出した１枚の動画像あるいは複数の動画像のそれぞれは、前記パノラマ画像中の指定された位置からのスクロール画像であることを特徴とする請求項５に記載の駅ホームの監視カメラシステム。
7. 前記表示画像の前記表示形態を指定する表示形態指定部を有し、
   前記画像出力部は、前記表示形態指定部において指定された表示形態に応じて、前記指定された表示形態の表示画像の画像信号を前記表示装置に出力することを特徴とする請求項１から６のいずれか１つに記載の駅ホームの監視カメラシステム。
8. 前記制御装置は、画像合成部を有し、
   前記画像合成部は、前記データ受信部において受信した画像信号に基づいて前記パノラマ画像を生成することを特徴とする請求項１から７のいずれか１つに記載の駅ホームの監視カメラシステム。
9. 前記各ステレオカメラの前記通信制御部は、前記画像取込部で生成された前記少なくとも２つの画像信号の１つを、前記他のステレオカメラから受信した画像信号に連結して、転送し、
   前記制御装置の前記画像出力部は、前記データ受信部において受信した連結された画像を、前記パノラマ画像として出力することを特徴とする請求項１から６のいずれか１つに記載の駅ホームの監視カメラシステム。
10. 前記通信制御部は、他のステレオカメラから受信した立体形状の認識情報及び画像信号を転送することを特徴とする請求項１から９のいずれか１つに記載の駅ホームの監視カメラシステム。

Images