JP7598779B2 - 混雑率測定システム及びプログラム - Google Patents

Description

本発明は、列車の混雑の程度を示す混雑率を測定する混雑率測定システム及びプログラムに関する。

電車の混雑率（乗車率ともいう）は、輸送人員÷輸送力で算出され、定員乗車の状態で１００％となる。混雑度の目安は、１００％で「座席につくか、吊り革につかまるか、ドア付近の柱につかまることができる」、１５０％で「広げて楽に新聞を読める」、１８０％で「折りたたむなど無理をすれば新聞を読める」、２００％で「体が触れ合い相当圧迫感があるが、週刊誌程度なら何とか読める」、２５０％で「電車がゆれるたびに体が斜めになって身動きできず、手も動かせない」とされている。電車の混雑率は、国土交通省の指針として年に数回の計測が義務付けられている。従来、人が測定対象となる駅に赴いて、電車の車内の状態を目視で確認し、上記目安に照らして混雑度を判断していた。しかし、人が目視で判断することから、個人差が発生すること、同一編成の全ての車両ごとの計測が困難であること、年間を通じて全ての車両、編成で計測することができず、サンプル的な計測しかできないこと等の問題があった。

車両の扉付近にカメラを設置し、乗降人数を計測する方法や、駅のホーム階段付近にカメラを設置し、階段を通る人数を計測する方法が検討されたが、前者は扉の枚数分のカメラが必要となること、後者はホームへの出入り人数は把握できるものの車両ごとの乗車率は計測できず、また併用ホームの場合にはどちらの電車の乗客か判別できないことから現実的なものではなかった。車内にカメラを設置し、乗車人数を計測する方法も提案されているが、各車両にカメラが必要であり、また、カメラの死角になる乗客も多く、正確な計測は不可能であった。さらに、これらのカメラを使用した方法では肖像権を含むプライバシーや個人情報の保護の点からも問題となるが生じる提起されている。

さらに、応荷重と呼ばれる、車両の重量をセンサにより計測したものも混雑率の算出に利用されることもある（特許文献１、２）。特許文献１には、応荷重データを用いた方法が開示されており、これは列車の加減速における駆動力またはブレーキ力を補正するために使用される応荷重装置の積載量検知機構により測定された重量データをもとに、乗車中の乗客に相当する重量を求め、乗車人数を推定し乗車率を算出している。特許文献２には、利用者の意向に応じた情報配信サービスを提供すると共に、利用者の意向を運行管理に利用する鉄道情報配信システムにおいて、重量センサで計測した乗車人数を無線装置、無線基地局及びネットワークを介して運行管理システムに送り、列車の混雑度を把握し、運転整理を行う場合や、運行情報を作成する場合に参照することが開示されている。

また、乗車率を測定するシステムも提案されている（特許文献３、４）。特許文献３には、駅のホームに進入又はホームから進出していく列車を撮像する撮像装置と、撮像装置により撮像された複数枚の画像を時系列順に結合して車両毎の画像を生成する画像処理装置とを有し、ユーザが車両毎の画像を見て該当車両の乗車率を判断し、乗車率を入力する乗車率測定システムが開示されている。さらに、特許文献３では、車両の画像（特に、車内が見える窓枠内の画像部分）から、エッジの画素数（エッジ量）、画像中に占める人領域の面積、又はコーナーの数を特徴量として抽出し、車両の画像と乗車率との関係を学習して乗車率を自動で算出する機能を設けてもよいことが開示されている。

特許文献４には、列車の側方からレーザ距離計を走査して窓を透過して車両内に入射したレーザ光から車両内の３次元形状を把握し、３次元形状のパターン認識によって、乗客を区別し、車両内に存在する乗客数をカウントすることにより乗客の混雑度を検出するシステムが開示されている。さらに、特許文献４には、計測部としてカメラ又は赤外線カメラを使用し、画像内のパターン認識又はフレーム内における乗客の存在を表す領域の面積によって、混雑度を判定することも開示されている。

特開昭６０－８１５５号公報 特開２００６－４１００号公報 国際公開第２０１８／６１９７７号 特開２０１７－１４４９８９号公報

特許文献１の方法は、乗車率を列車の外でリアルタイムに利用するために、車両設備として装備される応荷重装置により取得される応荷重データを車両内の情報処理装置に集約したのち無線回線が地上設備へ伝送する必要があり、無線設備の追加や車両専用設備の改造に関するコストならびに無線回線サービス利用のランニングコストの問題があった。

また、特許文献１及び２のように重量に基づく混雑率の算出は、複数の鉄道事業者が列車を相互利用する場合においては、他の鉄道事業者が所有し管理する列車の乗車率のデータを利用するために、その列車を所有する鉄道事業者からデータの提供を受ける必要があり、鉄道事業者間でデータ授受を行うためのシステムや鉄道事業者間での運用ルールの整備が必要となり、システムの複雑さおよびコスト面での問題ならびに運用面での煩雑さを伴う問題があった。

特許文献３の乗車率測定システムは、ユーザが車両毎の画像を見て該当車両の乗車率を判断しており、自動で測定するものではないし、主観による判断となり客観的に乗車率を測定できない。車両の画像から特徴量を抽出し、乗車率を自動で算出する機能も開示しているが、画像情報から特徴量を抽出することからデータ量及び処理量が大きいという問題がある。

この点、特許文献４のシステムにおいても、３次元形状や画像情報からパターン認識や乗客の識別をしており、データ量及び処理量が大きいという問題は変わらない。特に、乗車率の測定は、通勤、通学時間帯のように混雑時における状況を把握することが目標の一つであり、必然、列車の本数も多く、撮像する画像情報のデータ量も、処理量も膨大になり、リアルタイムでの処理は困難であった。さらに、ネットワーク回線を通じてシステムを構築した場合は、送受信するデータ量が大きいため、回線を圧迫して通信速度が低下したり、通信システム自体がダウンしたりする可能性がある。また、肖像権をはじめとするプライバシーや個人情報の問題も解決できていない。しかも、車両側面から一方向にスキャンして得られる３次元分布データでは混雑が激しい状態にあってはスキャンできないエリアの乗客をカウントできないため検出する乗客数が不正確になる問題があった。特許文献４のパノラマ画像による方法においても、混雑が激しい状態にあっては乗客の２次元形状のパターン認識では乗客の誤検出、偽検出による精度の低下が生じる問題があった。

本発明は、前述した問題の少なくとも一部を解決することを目的とするものであり、低コストで導入可能であって、データ量及び処理量を小さくし、既存の資源を利用しつつ高速で測定可能な列車の混雑率の自動測定システム及びプログラムを提供することを目的の一つとする。また、本発明は、走行中の車両の混雑状況を安価にかつ混雑が激しい状態でも推定精度が高く、更に車両設備を鉄道事業者間で相互に利用する運用形態であってもシステムの複雑化を生じず適用可能な混雑率推定手段を得ることを目的とするものである。

本発明は、車両内の画像データから乗客の外形上の特徴により識別することなく、車両内の被写体の３次元形状の分布の特徴により混雑率を推定するものである。

上記課題を解決するため、本発明の列車の混雑率測定システムは、二次元画像の画素単位で被写体までの距離情報を有する距離画像を取得できる撮像手段であって、列車の進行方向の側方から前記列車の距離画像を撮像する撮像手段と、前記撮像手段により撮像した前記列車の距離画像を高さ方向に分割して複数のライン画像を生成するライン画像生成手段と、前記ライン画像生成手段で生成したライン画像から距離を階級としたヒストグラムデータを生成するヒストグラム生成手段と、前記ヒストグラム生成手段で生成したヒストグラムデータから、高さに関する要素、ヒストグラムの度数に関する要素及び距離に関する要素を含む特徴データを取得する特徴データ取得手段と、前記特徴データを用いて前記列車の混雑率を推定する推定手段と、を含む。

さらに、上記混雑率測定システムにおいて、前記特徴データは、高さに関する要素を一方の軸とし、距離に関する要素を他方の軸とした平面に、度数の要素を各座標に表示した二次元特徴データであることが好ましい。

さらに、上記混雑率測定システムにおいて、前記特徴データ取得手段は、複数の距離画像に基づいて生成された総括ヒストグラムデータから特徴データを生成することが好ましい。

さらに、上記混雑率測定システムにおいて、前記混雑率測定システムは、前記特徴データを取得する前に、距離画像のフレーム数によって前記総括ヒストグラムデータを正規化する機能を有することが好ましい。

さらに、上記混雑率測定システムにおいて、前記混雑率測定システムは、前記特徴データを取得する前に、前記距離画像又は前記ヒストグラムデータに基づいて前記列車の単位判定領域を検出する機能を有することが好ましい。

さらに、上記混雑率測定システムにおいて、前記ヒストグラム生成手段は、前記距離画像の画素のうち、被写体までの距離が所定の範囲内の画素の距離情報を用いてヒストグラムデータを生成することが好ましい。

さらに、上記混雑率測定システムにおいて、前記混雑率測定システムは、前記特徴データを取得する前に、前記距離画像における窓の領域を検出する機能を有することが好ましい。

さらに、上記混雑率測定システムにおいて、前記ヒストグラム生成手段は、前記距離画像の画素のうち、前記窓の領域内の画素の距離情報を用いてヒストグラムデータを生成し、前記推定手段は、前記窓の領域内の混雑率を推定してもよい。さらに、前記推定手段は、前記列車の単位判定領域内に含まれる前記窓の領域内の混雑率を集計して前記列車の単位判定領域の混雑率を推定してもよい。さらに、前記推定手段は、前記窓の領域の幅、大きさ又は形状により異なる重み付けを行い集計してもよい。

さらに、上記混雑率測定システムにおいて、前記推定手段は、被写体までの距離が前記列車の中央までの混雑率に所定の倍数を乗じて混雑率を推定してもよい。

さらに、上記混雑率測定システムにおいて、前記推定手段は、前記特徴データにおける度数分布に応じて、混雑率計算におけるパラメータを変更してもよい。

さらに、上記混雑率測定システムにおいて、前記推定手段は、前記特徴データにおける度数分布を前記列車内の構造物の配置に応じて補正してもよい。さらに、前記混雑率測定システムは、乗客が乗車していない状態の列車に対して撮影した距離画像に基づく特徴データから前記列車内の構造物の配置に関する情報を取得してもよい。

さらに、上記混雑率測定システムにおいて、前記混雑率測定システムは、前記列車の車両種別を判定し、当該車両種別に応じたパラメータを使用して混雑率を推定してもよい。

さらに、上記混雑率測定システムにおいて、前記推定手段は、前記特徴データを独立変数とし、混雑率を従属変数として学習させた回帰モデルを用いて前記列車の混雑率を推定することが好ましい。

また、本発明の混雑率測定システムの処理装置は、二次元画像の画素単位で被写体までの距離情報を有する距離画像を取得できる撮像手段を用いて、列車の進行方向の側方から撮像することで得られた前記列車の距離画像を取得する画像取得部と、前記画像取得部で取得した前記列車の距離画像を高さ方向に分割して複数のライン画像を生成するライン画像生成部と、前記ライン画像生成手段で生成したライン画像から距離を階級としたヒストグラムデータを生成するヒストグラム生成部と、前記ヒストグラムデータを出力するデータ出力部と、を含む。

また、本発明の混雑率測定システムの処理装置は、二次元画像の画素単位で被写体までの距離情報を有する距離画像を取得できる撮像手段を用いて、列車の進行方向の側方から撮像することで得られた前記列車の距離画像を高さ方向に分割して生成された複数のライン画像から生成された距離を階級としたヒストグラムデータを取得するデータ取得部と、前記データ取得部で取得したヒストグラムデータから、高さに関する要素、ヒストグラムの度数に関する要素及び距離に関する要素を含む特徴データを取得する特徴データ取得部と、前記特徴データを用いて前記列車の混雑率を推定する推定部と、を含む。

また、本発明のプログラムは、コンピュータに、二次元画像の画素単位で被写体までの距離情報を有する距離画像を取得できる撮像手段を用いて、列車の進行方向の側方から撮像することで得られた前記列車の距離画像を取得する画像取得機能と、前記画像取得部で取得した前記列車の距離画像を高さ方向に分割して複数のライン画像を生成するライン画像生成機能と、前記ライン画像生成手段で生成したライン画像から距離を階級としたヒストグラムデータを生成するヒストグラム生成機能と、前記ヒストグラムデータを出力するデータ出力機能と、を実現させる。

また、本発明のプログラムは、コンピュータに、二次元画像の画素単位で被写体までの距離情報を有する距離画像を取得できる撮像手段を用いて、列車の進行方向の側方から撮像することで得られた前記列車の距離画像を高さ方向に分割して生成された複数のライン画像から生成された距離を階級としたヒストグラムデータを取得するデータ取得機能と、
を取得する画像取得機能と、前記データ取得部で取得したヒストグラムデータから、高さに関する要素、ヒストグラムの度数に関する要素及び距離に関する要素を含む特徴データを取得する特徴データ取得機能と、前記特徴データを用いて前記列車の混雑率を推定する推定機能と、を実現させる。

本発明の混雑率測定システム、処理装置又はプログラムは、比較的安価で製品化されている二次元の距離画像を撮像可能な撮像手段と、コンピュータによって実現可能なデータ変換処理によって簡単に列車の混雑率を測定することができる。特に、撮像手段によって撮像された距離画像をライン画像生成手段によって高さ方向に分割して複数の高さのライン画像を生成し、各ライン画像から距離を階級としたヒストグラムデータを生成し、生成したヒストグラムデータを集計して、高さに関する要素、度数に関する要素及び距離に関する要素を含む特徴データを取得し、特徴データを用いて列車の混雑率を推定することにより、高さごとに生じる空間的な特徴の違いを分割数で担保しつつヒストグラムデータに反映させることができ、データ量を著しく低減することができ、処理速度や通信速度を早くすることができ、リアルタイム性を高めることができる。このように、比較的安価に導入可能なシステムによって、容易に混雑率を把握できるので、列車の運営会社は、効率が良い運用計画を立てることができ、ホームの改善や本数の改善を行うことができる。また、混雑率をユーザに表示することにより、空いている列車を選択することが容易となり、混雑緩和につながる。また、本発明では混雑が激しい状態や空いた状態でも高い精度で混雑率を推定することができ、車両内の構造の違いがあっても高い推定精度で混雑率を推定することができる。

本発明の混雑率測定システムの一実施形態 全体的な処理のフローチャート 全体処理におけるデータ変換の説明図 座位の乗客のみの場合の車内の状況、距離画像及びヒートマップの例。 座位及び立位の乗客がいる場合の車内の状況、距離画像及びヒートマップの例。 高乗車率における車内の状況、距離画像及びヒートマップの例。 本発明の一実施例のシステム構成図 カメラ及び乗客位置を示す車両断面図 撮像手段の一実施例の構成図 処理装置の一実施例の構成図 ステレオカメラの原理を説明する図。 カメラの撮影方向と被写体の位置関係及び水平方向の位置の関係図。 分割処理、ヒストグラム化処理を説明する図 単位判定領域の判定処理の一例を説明する図 単位判定領域の判定処理の一例を説明する図 各単位判定領域から集計ヒストグラムデータ群を生成する処理を説明する図 特徴データ取得処理を説明する図 ヒートマップより混雑率を推定する処理構成の説明図 混雑率（真値）と混雑率（推定値）の散布図 図７のシステム構成図におけるメインプログラムのフローチャートの例 混雑率推定処理において使用するデータのテーブル構成例 列車の端及び連結部の検出方法の説明図 混雑率の計算を行う部分のプログラムのフローチャートの例 １車両分の混雑率推定値集計方法の説明図 窓幅及び窓高さの検出方法の説明図 一つの窓に対する複数画像より得られる混雑率推定方法の説明図 混雑率推定処理において使用する車種別のパラメータを格納したテーブル構成例 車種情報取得のプログラムのフローチャートの例 列車在線情報の説明図 撮像手段の変形例の構成図 混雑率推定における補正方法に関するヒートマップの例 混雑率推定における補正処理のための処理構成の説明図 混雑率推定に使用する範囲の説明図 混雑率推定に使用する範囲の説明図 混雑率推定に使用する範囲の説明図 車両ドア付近の車内及びヒートマップの例 列車先頭車両を撮影するカメラ位置とその画像の例

本発明の混雑率測定システム又はプログラムは、走行中の列車を側面の窓から観察した場合、混雑率が低ければ乗客同士のスペースが広くなり、奥側の座席や壁面などが見えるようになり、逆に混雑率が高ければ乗客同士のスペースが狭くなり、立っている乗客が手前側の座席や窓に接近し、奥が見えなくなっていく。このような現象を空間的な特徴として捉えるため、画素単位で被写体までの距離情報（奥行き、深度、デプスともいう）を有する距離画像を取得できる撮像手段（デプスカメラ）を用いて撮影を行う。これにより、被写体までの距離の空間的な分布を情報として含む距離画像を取得することができ、混雑率の判断材料として利用する。さらに、本発明では、距離画像をそのまま利用するとデータ量が大きいため処理速度や通信速度が重くなることから、距離画像を高さ方向に分割して複数の横方向のライン状の分割画像（以下「ライン画像」という）を生成し、各ライン画像から距離を階級としたヒストグラムデータを生成する。そして、本発明では、生成したヒストグラムデータを集計して、高さに関する要素、ヒストグラムの度数に関する要素及び距離に関する要素を含む特徴データを取得し、かかる特徴データを用いて列車の混雑率を推定する。このように、本願発明の特徴データは、高さに関する要素、ヒストグラムの度数に関する要素及び距離に関する要素を含んでおり、各距離画像の横方向の情報は捨象されるが、他の高さ方向についてはライン画像の分割数に応じた分解能で、また、距離方向についてはヒストグラムの階級に応じた分解能で、高さ方向と距離方向の空間的な分布の特徴を含めることができるので、データ量を著しく低減することができ、処理速度や通信速度を早くすることができ、リアルタイム性を高めることができる。各距離画像の横方向の情報を捨象しても、各画像における横方向の距離の分布は、それぞれ走行中の列車の撮像時における撮像範囲内の一部分を一側面から撮像した特定の一状態を示すだけであり、撮像するタイミングに依存するものであること、さらに、画像の横方向の変化の情報は窓枠や連結部を示す情報のほかに混雑率の推定のために詳細な分析を行う利用価値が少ないことから、その他の情報を含む特徴データから列車の混雑率を推定できる。特徴データは、例えば、高さに関する要素を一方の軸とし、距離に関する要素を他方の軸とした平面に、度数の要素を各座標に表示した二次元特徴データとしてもよい。ここで、度数の要素を色の濃淡で表すとヒートマップとなる。なお、本発明においては、例えば、特徴データを独立変数とし、混雑率を従属変数として学習させた回帰モデルを用いて列車の混雑率を推定することができ、回帰モデルはデータを増やすことにより精度を向上させることができる。

以下、図面を参照し、本発明の実施形態に係る車両混雑率推定システムについて説明する。図中、同一又は対応する部分に同一の符号を付す。

［混雑率測定システムの構成］
図１は、本発明の混雑率測定システム１（以下「測定システム」とも称す）の一実施形態である。測定システム１は、列車２の進行方向７の側方に配置された撮像手段１１によって撮像された列車の距離画像Ｆをライン画像生成手段１２に伝達し、ライン画像生成手段１２で生成されたライン画像Ｆ－１～Ｆ－４をヒストグラム生成手段１３に伝達し、ヒストグラム生成手段１３で生成されたヒストグラムデータＨ－１～Ｈ－４を特徴データ取得手段１４に伝達し、特徴データ取得手段１４で取得した特徴データＣを推定手段１５に伝達し、推定手段１５において列車の混雑率を推定する。推定した混雑率は出力手段１６に出力してもよい。列車２の混雑率は、列車２における実際の搬送物（人又は物）の量の程度を示す指標であり、乗車率を含む。限定されるものではないが、例えば、人を搬送する場合は、定員乗車を１００％とした場合の実際の乗車人員の比率を混雑率としてもよい。また、混雑度の目安として、１００％で「座席につくか、吊り革につかまるか、ドア付近の柱につかまることができる」、１５０％で「広げて楽に新聞を読める」、１８０％で「折りたたむなど無理をすれば新聞を読める」、２００％で「体が触れ合い相当圧迫感があるが、週刊誌程度なら何とか読める」、２５０％で「電車がゆれるたびに体が斜めになって身動きできず、手も動かせない」という基準で判定してもよい。

列車２は、人または物を搬送物として移動させる手段であり、電車、汽車、貨車、モノレール等を含む。ただし、列車２は、搬送物（人又は物）の少なくとも一部を撮像手段１１によって外部から確認可能な搬送物確認領域を備える必要がある。電車の場合は、側面に設けられた窓（車両窓）５ａや扉に設けられた窓（ドア窓）５ｂが搬送物確認領域となる。本発明は、特に、多数の乗客を搬送する列車に適用することが好ましい。また、本発明は、複数の車両３が連結部４で連結された列車２の各車両のように、混雑度等を判定する領域の単位となる単位判定領域（車両）を複数有する列車に対しても利用可能であるし、一両編成の列車２のように単位判定領域が一つの列車にも利用可能である。

撮像手段１１は、二次元画像の画素単位で被写体までの距離を測定できる撮像手段であり、列車２の進行方向７の側方から列車の二次元の距離画像を撮像する。距離画像とは、各画素に被写体までの距離（奥行き、深度、デプスともいう）の情報を含む二次元画像である。撮像手段１１として、デプスカメラや赤外線カメラを使用することができる。デプスカメラは、例えば、赤外光のレーザーパターンを被写体に照射し、反射して戻ってきた光を赤外線カメラで受光して光の到達時間で距離を測定するＴＯＦ（Time Of Flight）方式のものを使用してもよいし、ステレオカメラ方式のものを使用してもよい。撮像手段１１は、距離画像に加えて、可視光による通常の二次元画像を撮像可能であってもよい。

ライン画像生成手段１２は、取得した距離画像を高さ方向に分割して複数のライン画像Ｆ－１～Ｆ－４を生成し、ヒストグラム生成手段１３は、各ライン画像からヒストグラムデータＨ－１～Ｈ－４を生成し、データ量を軽量化してその後の処理及びネットワークによる送受信を容易にすることができる。また、特徴データ取得手段１４は、ヒストグラムデータＨ－１～Ｈ－４から、高さに関する要素、ヒストグラムの度数に関する要素及び距離に関する要素を含む特徴データを取得し、推定手段１５は、特徴データを用いて列車の混雑率を推定する。各手段における具体的な処理については後述する。これらの手段としては、ライン画像生成プログラム、ヒストグラム生成プログラム、特徴データ取得プログラム、推定プログラムがインストールされた情報処理装置、例えば、パーソナルコンピュータ、サーバ、タブレット端末、ＰＤＡ（Personal Digital Assistant）、多機能携帯電話（スマートフォン、ｉ－ｐｈｏｎｅ（登録商標））、半導体集積回路などを利用できる。これらの手段を含む装置は、データを取得するデータ取得部と、処理したデータを出力するデータ出力部とを有している。データ取得部は、当該装置に接続された前段の手段（例えば、ライン画像生成手段１２に対する撮像手段１１）でもよいし、取得するデータが記憶された記憶媒体でもよいし、記憶媒体を接続する接続手段（例えば、ＵＳＢ端子、メモリースロット、光学ドライブ）でもよいし、ネットワークを通じてデータを受信するための通信手段（例えば、有線通信手段、無線通信手段など）でもよい。データ出力部は、当該装置に接続された後段の手段（例えば、ライン画像生成手段１２に対するヒストグラム生成手段１３）でもよいし、データを記憶媒体に出力するための接続手段（例えば、ＵＳＢ端子、メモリースロット、光学ドライブ）でもよいし、ネットワークを通じてデータを送信するための通信手段（例えば、有線通信手段、無線通信手段など）でもよい。

出力手段１６は、推定結果を出力する手段であり、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ（音声出力）等を適宜使用でき、パーソナルコンピュータ、タブレット端末、ＰＤＡ（Personal Digital Assistant）、多機能携帯電話（スマートフォン、ｉ－ｐｈｏｎｅ（登録商標））のディスプレイを使用してもよい。駅のホーム、待合所等に出力手段１６を設置してもよいし、ユーザの端末装置（タブレット端末、ＰＤＡ、多機能携帯電話等）を出力手段としてネットワークを通じて推定結果を送信してもよいし、インターネットのウェブページに推定結果を表示してもよい。

撮像手段１１、ライン画像生成手段１２、ヒストグラム生成手段１３、特徴データ取得手段１４、推定手段１５及び出力手段１６は、それぞれ別々のハードウェアにおいて実現されてもよいし、幾つかの手段を一つのハードウェアで実現してもよいし、全ての手段を一つのハードウェアで実現してもよい。特に撮像手段１１からライン画像生成手段１２には、データ量が大きい距離画像Ｆが伝達されるので、一体化するか専用の回線で連結することが好ましい。さらに、ライン画像生成手段１２からヒストグラム生成手段１３についても高さ方向に分割されているが、比較的データ量が大きいライン画像Ｆ－１～Ｆ－４が伝達されるので、一体化するか専用の回線で連結することが好ましい。ヒストグラムデータＨ－１～Ｈ－４は、比較的データ量が小さいため、ネットワークを介して外部の特徴データ取得手段１４に伝達してもよい。特徴データ取得手段１４及び推定手段１５は、比較的データ処理に高性能の演算処理能力が求められるため、ネットワークを介して接続可能な別体のハードウェア、例えばサーバで実現してもよい。この場合、複数の地点に撮像手段１１、ライン画像生成手段１２及びヒストグラム生成手段１３を設置し、ネットワークを通じて特徴データ取得手段１４及び推定手段１５を含むサーバにヒストグラムデータを伝達することにより、同一の又は別々の列車の混雑率を推定することができ、総合的な混雑率に関するデータを収集することができる。さらに、この収集したデータを使用して推定手段を学習させることにより、混雑率の正確性を高めることができる。

［全体処理］
図２は、本発明の混雑率測定システム１における全体的な処理のフローチャートであり、図３は、本発明の全体処理におけるデータ変換を説明するための図であり、（Ａ）は距離画像Ｆ１、（Ｂ）は車内を上から見た乗客の配置、（Ｃ）は距離画像を高さ方向に分割したライン画像Ｆ１－ｃ、（Ｄ）はライン画像Ｆ１－ｃから生成されたヒストグラムデータＨ１－ｃ、（Ｅ）はヒストグラムデータを集計した奥行き方向と高さ方向を座標とした度数分布（特徴データ）Ｈ１、（Ｆ）は奥行き方向の階級を示す。

まず、測定システム１は、Ｓ１において、撮像手段１１によって列車の側方から二次元の距離画像を撮像する。図３（Ａ）は、図３（Ｂ）に示す車内を撮像手段１１で撮像した距離画像Ｆ１である。二次元の距離画像Ｆ１は、各画素に被写体までの距離情報を有しており、例えば、図３（Ｆ）に示す階級に応じた画素の濃淡によって各被写体までの距離を示してもよい。

次に、測定システム１は、Ｓ２において、ライン画像生成手段１２によって二次元の距離画像Ｆ１を高さ方向（縦方向）にｎ分割し、ライン画像Ｆ１－１～Ｆ１－ｎを生成する。図３（Ａ）においては、例示的に３つのライン画像Ｆ１－ａ、Ｆ１－ｂ、Ｆ１－ｃを示しているが、少なくとも距離画像の搬送物確認領域を含む領域全体を高さ方向に分割することが好ましい。ただし、搬送物確認領域の一部分でもよいし、距離画像の全体を高さ方向に分割してもよい。図３（Ｃ）は、一つのライン画像Ｆ１－ｃを抽出したものである。本発明のライン画像は、距離画像を高さ方向に分割して生成する。高さ方向にＨ画素、幅方向にＷ画素であるＨ×Ｗの画素数の画像だった場合、縦方向の分割数ｎは２≦ｎ≦Ｈであり、ライン画像のサイズはＨ／ｎ×Ｗとなる。車内状況は、列車の車両によっても、時間によっても、曜日によっても大きく異なるものであり、非常に多様性に富んでいる。被写体の多様性を鑑みると、分割数が少なすぎると搬送物の高さ方向の空間的特徴を潰し過ぎてしまうおそれがあること、分割数が多すぎるとデータのサイズが肥大化することを考慮して分割数を決定する。さらに、距離画像の解像度によって分割数を変更してもよい。限定するものではないが、ｎ＝４、ｎ＝８、ｎ＝１６、ｎ＝３２又はｎ＝Ｈとしてもよい。また、尺度を均一にするため、等間隔で分割するのが好ましいが、分割幅に比重を付けて、多くの搬送物が重なる領域は高さ方向の特徴の分解能を高くするため分割幅を狭くし、搬送物が少ない領域は分割幅を大きくしてもよい。一実施例では、Ｈ×Ｗ＝８４８×４８０の解像度のデプスカメラを使用して等間隔で８分割した場合は、１０８×４８０のライン画像が８枚生成される。

さらに、測定システム１は、Ｓ３において、ヒストグラム生成手段１３によってライン画像からヒストグラムデータＨを生成する。加えて、測定システム１は、必要に応じて、Ｓ４において、ヒストグラムデータから単位判定領域（例えば車両）を判定してもよい。図３（Ｄ）は、ライン画像Ｆ１－ｃから生成されたヒストグラムデータＨ１－ｃであり、横軸が被写体までの距離の階級であり、縦軸の度数が画素数である。本発明のヒストグラムデータは、一定の幅の距離を階級とし、各階級に含まれる距離の画素の数を頻度としてカウントしたものである。典型的には、柱状グラフとして表現されているが、グラフで表現したものに限定されず、各階級幅に含まれる度数の分布を把握できるデータであればよく、例えば、度数分布表の形式や文字情報として表現されたものも含む。また、ヒストグラムデータは、１枚の距離画像に対して生成してもよいし、連続して撮影した複数枚（例えば単位判定領域）の距離画像（動画の各フレーム画像を含む）のライン画像に対して生成してもよい。複数のフレーム画像のヒストグラムを生成する場合は、各フレーム画像における同じ高さのライン画像のヒストグラムを集計して総括ヒストグラムデータを生成してもよい。なお、総括ヒストグラムデータは、ヒストグラム生成手段で生成してもよいし、総括ヒストグラム生成手段を別途設けてもよい。例えば、特徴データ取得手段の一部として総括ヒストグラム生成手段を設けてもよい。

また、測定システム１は、必要に応じて、Ｓ５において、ヒストグラムデータを正規化してもよい。ヒストグラムデータは、データの基礎となった単位判定領域のフレーム数、画素数、搬送物確認領域の大きさ等によって正規化することが好ましい。例えば、ｈ１×ｗ１のライン画像に基づく第１のヒストグラムデータＨ１と、ｈ２×ｗ２のライン画像に基づく第２のヒストグラムデータＨ２とをそのまま使用するのではなく、画素数によって度数を正規化した第１のヒストグラムデータ（例えば、Ｈ１／ｈ１×ｗ１）と第２のヒストグラムデータ（例えば、Ｈ２／ｈ２×ｗ２）とすることで、データを規格化することができ比較対象として相互に利用することが容易となる。また、１号車のフレーム画像が２４０枚であり、２号車のフレーム画像が１５０枚であった場合は、１号車のフレーム画像に基づいて集計された総括ヒストグラムデータＨ３をフレーム数で正規化し、正規化総括ヒストグラムデータ（Ｈ３／２４０）を生成し、２号車のフレーム画像に基づいて集計された総括ヒストグラムデータＨ４をフレーム数で正規化し、正規化総括ヒストグラムデータ（Ｈ４／１５０）を生成することで、データを規格化することができ比較対象として相互に利用することが容易となる。なお、搬送物確認領域を含まないフレーム画像を除外して搬送物確認領域を含むフレーム画像のみを使用して単位判定領域の総括ヒストグラムデータを生成した場合、単位判定領域における搬送物確認領域を含むフレーム画像の枚数で正規化してもよいし、単位判定領域における全フレーム画像数（搬送物確認領域を含まないフレーム画像の枚数も含む）で正規化してもよい。

測定システム１は、Ｓ６において、特徴データ取得手段１４によってヒストグラムデータから特徴データＣを取得する。本発明の特徴データは、少なくとも高さに関する要素、ヒストグラムの度数に関する要素及び距離に関する要素を含むものである。例えば、高さに関する要素を一方の軸とし、距離に関する要素を他方の軸とした平面に、度数の要素を各座標に表示した二次元特徴データとしてもよいが、これに限定されない。図３（Ｅ）は、奥行き方向、高さ方向及び画素数の３つの軸からなる三次元の度数分布で特徴データを表示しているが、図１の特徴データＣのように、画素数の度数を画素の濃淡で示した二次元特徴データ（ヒートマップ）で表示してもよい。各度数に関する要素は、各階級の頻度（ヒストグラムのカウント単位、典型的には画素数）に基づくものであり、頻度それ自体、相対度数、累積度数、累積相対度数、正規化された度数、重み付けされた度数等を含み、距離に関する要素は、各階級における距離範囲に基づくものであり、階級、階級値等を含み、高さに関する要素は、被写体における高さ方向の特徴を含むものであり、高さ方向に分割された度数分布等を含む。また、特徴データは、１枚のフレーム画像に基づいて生成されてもよいし、複数のフレーム画像（例えば単位判定領域）に基づいて生成された総括ヒストグラムデータから生成されてもよい。さらに、特徴データは、データの基礎となったフレーム数、解像度（画素数）によって正規化されていてもよい。

測定システム１は、Ｓ７において、推定手段１５によって特徴データＣから混雑率を推定する。推定手段１５は、特徴データを独立変数とし、混雑率を従属変数として学習させた回帰モデルを用いて、各車両における列車の混雑率を推定することができる。特徴データは、学習時において使用した形式の特徴データを使用する。例えば、単位判定領域の複数のフレーム画像に基づく総括ヒストグラムデータから生成した特徴データを使用して学習した回帰モデルを用いる場合には、同様に、単位判定領域の複数のフレーム画像に基づく総括ヒストグラムデータから特徴データを生成し、その特徴データと回帰モデルを用いて混雑率を推定する。また、１枚のフレーム画像に基づくヒストグラムデータから生成した特徴データを使用して学習した回帰モデルを用いる場合には、１枚のフレーム画像に基づくヒストグラムデータから特徴データを生成し、その特徴データと回帰モデルを用いて混雑率を推定する。さらに、測定システム１は、必要に応じて、Ｓ８において、次のデータ、例えば、別の距離画像に基づく特徴データや、別の単位判定領域の有無を判定し、次のデータを有する場合（Ｙｅｓ）は、再びＳ７に戻り次のデータの混雑率を推定し、無い場合（Ｎｏ）は、必要に応じて推定結果を出力し、処理を終了する。なお、Ｓ４は、単位判定領域が一つの場合は省略してもよい。さらに、測定システム１は、Ｓ２～Ｓ５の何れかにおいて所定の範囲外の画素を除去する除去処理を実行してもよい。

図４～６は、車内の状況とそれを撮像した距離画像から取得した特徴データの傾向を説明する図であり、それぞれ座位のみの乗客の場合、座位と立位で吊り革を持つ乗客がいる場合及び混雑レベルが高い場合の距離画像に基づいて生成された特徴データ４１、車窓から見た車内の画像４２及び車両上部から見た車内の様子４３の例をそれぞれ示している。特徴データ４１は、撮像手段１１で撮像した画像４２をライン画像に分割し、そこからヒストグラムデータを生成し、奥行きと高さ方向を座標として画素数の多さを濃淡としたヒートマップで表示したものである。ここで、奥行き方向の軸と高さ方向の軸とで構成される各座標を「セル」と呼ぶ。ヒートマップにおけるセルの濃淡と画素数の関係を図に併記した。ヒートマップで表すことにより、車内における乗客１０の分布を視覚的に捉えることができる。

図４は、車内に座位の乗客１０ａ、１０ｂのみの場合であり、ヒートマップ４１上では車両の手前側の低い位置のエリア４１ａ及び奥側の低い位置のエリア４１ｂに被写体の画素が存在する分布となっており、その濃淡は画像内の着座している乗客数と相関がある。図５では、座位の乗客１０ａ、１０ｂのほかに立位の乗客１０ｃ、１０ｄがいるため、図４と同様に座位乗客１０ａに対応するヒートマップのエリア４１ａが濃くなっているが、さらに吊り革付近の立位乗客１０ａ、１０ｂに対応するヒートマップのエリア４１ｃ、４１ｄも比較的濃い分布となっており、高い位置にも被写体の画素が分布している。しかし、通路中央付近に対応するエリア４１ｅについては比較的薄い分布となる。図６は、図５と比べて更に立位の乗客１０ｅが多く乗車した場合であり、手前側の座位の乗客１０ａと、吊り革付近及び通路中央に重なって乗車した立位の乗客１０ｅに対応して、ヒートマップ上の手前側の低い位置から奥側の吊り革付近の高い位置にかけて広いエリアで濃い分布となっている。一方、図６においてカメラ１１から見て奥側の座位の乗客付近のエリア４１ｆが薄い分布となっているが、これは手前側の立位の乗客及び通路中央に重なって立つ乗客によって奥側のようすがカメラ画像に写らなくなっているために生じるものである。このように、特徴データは、車内の状況を反映するものであり、特徴データを用いて混雑率を推定することが可能なのである。

なお、本発明では乗客を画像認識せずに被写体の画素数を求めるものであるためエリア４１ａ、４１ｂの一部に座席シートを写す画素も含まれているが、混雑率の推定ではヒートマップ上の座席シートに該当する座標の画素は集計対象から除外するか集計における重み付けを小さくする処理を行ってもよい。

本発明は、車窓を通して撮影した車内の画像データに写る被写体の分布をもとに混雑率を求めるものであるが、その一つの実施例として前述のヒートマップを奥行き及び高さで分割したセルの数に対して各セルの座標位置に対応した重み付けを行い集計することで混雑率を得てもよい。

図７は、本発明の一実施例のシステム構成図であり、図７（Ａ）は上から見た図であり、（Ｂ）は前から見た図である。図７（Ａ）に示すように、複数の車両３が連結部４により連結された列車２が停車した駅ホーム８の列車２の停車位置よりも進行方向７の前方の端に撮像手段１１及び処理装置２１を設置し、列車２が進行方向７に進む際に車両側面の画像を撮像手段１１により取得し、処理装置２１のメモリに蓄積ならびに混雑率の推定を行うもので、処理装置２１は、図１のライン画像生成手段１２、ヒストグラム生成手段１３、特徴データ取得手段１４及び推定手段１５に対応する。撮像手段１１は、例えば、ホーム安全柵８ａに取り付けられ、列車２の搬送物確認領域（窓）を撮影範囲１１ａに含むような距離及び高さに配置される。撮像手段１１と列車２との位置関係により、列車２が含まれるように最小距離Ｌ１と最大距離Ｌ２とを設定し、最小距離Ｌ１と最大距離Ｌ２との間の処理対象範囲Ｌに含まれる距離情報の画素のみを処理の対象に設定してもよい。撮像手段１１は、列車側面に対して光軸が垂直となるように設置すること、つまり列車側面の法線と平行となるように設置することが好ましい。垂直に設置した場合は、列車側面までの距離が略均一となり、列車の車内と車外との情報の分離が容易であり、精度を高くできる。ただし、光軸が傾いても、機械学習によって誤差の影響を減らすことができるし、後述する図１２のように誤差を補正してもよい。図７においては駅のホームに撮像手段１１を設置しているが、ホームの先の線路の横でもよい。また、例えば、反対の側方にも撮像手段を配置して、両側から距離画像を撮像すれば、より推定のための情報を増やすことができ精度を高めることができる。なお、図示しないが、撮像手段と同じ位置か、撮像手段から停車位置までの間に、列車の接近を確認して撮像手段による撮像を開始させるセンサを設けてもよい。

処理装置２１は、ホーム８上に設置され、撮像手段１１と有線の専用回線で接続されている。さらに、処理装置２１は、ネットワークＮに接続されており、ネットワークＮを介して、列車運行管理システム２２、情報配信サーバ２３、ユーザ１０（乗客を含む）が持つ携帯端末２４等と接続されてもよい。列車運行管理システム２２は、計画ダイヤを基に列車の運行を管理するシステムであり、各列車の列車番号、車種及び現在位置等の情報を有しており、必要に応じて処理装置２１は列車運行管理システム２２から情報を取得できる。情報配信サーバ２３は、ユーザ１０の携帯端末２４や駅ホーム８の掲示板等に対して、混雑率を提供する。

図８は、車両内の座位の乗客１０ａと立位の乗客１０ｂが乗車した状態を 撮像手段１１により側面から車両窓５を通して撮影している状態を示している。乗客１０ａは、車両の側方に設けられた座席シート６に着座しており、乗客１０ｂは車両の中央付近で立っている。図８においては、混雑率推定の処理対象範囲Ｌを手前側の境界Ｌ１から奥側の境界Ｌ２の車内の範囲としている。このように、車内を処理対象範囲Ｌとすれば、車窓に貼られたステッカーやシールを対象外とすることができる。ただし、車両の揺れや振動によって撮像手段１１までの距離が変動すること、満員時などはドア窓に乗客が接触していることもあり、車内のみを処理対象範囲Ｌとするのではなく、図７（ｂ）のように車両の外側を含むように処理対象範囲Ｌを設定してもよい。

図９は、 撮像手段１１の一実施例の構成図であり光学レンズ１００と被写体画像の２次元データとして取得するイメージセンサー１０１並びにこれをデータとして読み出すイメージメモリ１０２、 撮像手段１１全体の制御を行うＣＰＵ１０３とカメラを制御するプログラムと撮影した画像を記録するストレージ１０４並びにその実行で使用するＲＡＭ１０５、外部ネットワークＮとの通信を処理する通信インタフェース１０６及び内部の各部をつなぐ内部バス１０７により構成される。なお、外部ネットワークＮは、処理装置１５と接続するための専用回線を含んでいる。

図１０は、処理装置２１の一実施例の構成図であり本発明における混雑率推定の主な演算を行うＣＰＵ１１０と、プログラム１１１、演算で使用するパラメータ１１２、演算で使用するデータならびに演算結果のデータ等の測定データ１１３を記憶するストレージ１１４と、積和演算などを行う演算部１１５と、プログラムの実行にて使用するＲＡＭ１１６と、外部ネットワークＮとの通信を処理する通信インタフェース１１７と、及び内部の各部をつなぐ内部バス１１８とにより構成される。

図１１は、本発明の撮像手段の一実施例として、立体構造を認知するメカニズムの一つであるステレオカメラの原理を説明するための図である。図１１（Ａ）に示すように、カメラレンズ１００ａ及び２次元イメージセンサー１０１ａを内蔵する左側のカメラと、同じくカメラレンズ１００ｂ及び２次元イメージセンサー１０１ｂを内蔵する右側のカメラとを距離Ｌだけ離して配置し、両方のカメラで車内を撮影すると、図１１（Ｂ）に示すように、左側のイメージセンサー１０１ａに写る画像１０８ａと右側のイメージセンサー１０１ｂに写る画像１０８ｂとでは被写体がずれて撮影される。図１１（Ｂ）の画像１０８ａ、１０８ｂは撮像手段のＣＰＵ１０３又は処理装置１５において、図１１（Ｃ）に示すように、両画像間のずれを検出するよう比較され、乗客１０ｃ、乗客１０ｄにそれぞれ視差ｄＷ₁、ｄＷ₂が検出される。前述の視差は、２つのカメラレンズ１００ａ及び１００ｂの焦点間の距離Ｌとカメラの焦点距離ｆにより図１１（Ｃ）に示す式を用いて乗客１０ｃまでの距離Ｄ₂及び乗客１０ｄまでの距離Ｄ₁に変換され、その距離は２次元のカメラ画像に写る被写体の各画素に距離データとして関連付けられ距離画像（３次元空間のデータ）が生成される。なお、

図１２は、撮像手段１１の光軸１１ｂが傾いた場合の誤差を補正する方法を説明する図である。撮像手段１１は、列車側面に対して光軸が垂直となるように設置することが好ましいが、安全面や車窓を通じて車内を見渡せる場所及び角度を考慮して設置されるため、実際には、撮像手段１１の光軸１１ｂが被写体である列車側面の法線から傾く場合があり、この傾きが大きい場合は撮像手段１１から被写体までの水平方向の距離Ｄとレンズの焦点から光軸方向への被写体までの距離Ｒとの誤差が大きくなる。この場合は、例えば、法線と光軸との角度θ、被写体である乗客１０と光軸との角度φから図１２に示す座標変換により距離画像における被写体までの距離Ｒを水平方向の距離Ｄに変換することが好ましい。

［複数のフレーム画像からの特徴データ取得の一例］
図１３～図１７は、複数のフレーム画像から特徴データを取得するまでの一実施形態を説明する図であり、走行中の列車２の先頭車両から最終車両までを側面から撮像した一連の動画を用いて特徴データを取得する例を示す。なお、列車２の各車両３は連結部４で相互に連結されている。

図１３は、ライン画像生成手段１２における分割処理Ｓ２、ヒストグラム生成手段１３におけるヒストグラム化処理Ｓ３を説明するものである。図７（Ａ）は、距離画像の動画における１フレーム画像Ｆ１であり、ライン画像生成手段１２によって高さ方向について等間隔に８分割され、８枚の横長のライン画像Ｆ１－１～Ｆ１－８が生成される。本実施形態では、Ｈ×Ｗ＝８４８×４８０の解像度のデプスカメラを使用して等間隔で８分割しており、１０８×４８０のライン画像が８枚生成される。

図１３（Ｂ）は、ライン画像Ｆ１－１～Ｆ１－８から生成されたヒストグラムデータ群Ｈ１であり、ヒストグラムデータ群Ｈ１に含まれる各ヒストグラムデータＨ１－１～Ｈ１－８は、それぞれ各高さのライン画像Ｆ１－１～Ｆ１－８から生成されたものであり、各高さにおける距離の度数分布を示す。図１３（Ｃ）は、下から５番目のライン画像Ｆ１－５から生成したヒストグラムデータＨ１－５を拡大したものである。ヒストグラムデータは、縦軸が頻度（画素数）であり、横軸が距離の階級であり、各階級幅に含まれる距離の画素の数を頻度としている。また、測定システム１は、分割処理の前、又はヒストグラム化処理の前に、不要な画素情報を除去する処理を実行してもよい。図１３（Ｂ）では、ヒストグラム化処理の前に、各画素の距離情報について処理対象となる範囲を設定し、範囲外となる距離情報の画素は無視する除去処理を行っている。具体的には、距離情報について、処理対象となる最小距離Ｌ１を５００ｍｍ、最大距離Ｌ２を３５００ｍｍに設定し、５００ｍｍ～３５００ｍｍを処理対象範囲Ｌとした（Ｌ，Ｌ１，Ｌ２は図７、図８参照）。さらに、ヒストグラムのビンの数を３５、階級の幅を１００ｍｍに設定し、各階級幅に含まれる画素数をカウントし、ヒストグラムデータを生成する。なお、処理対象範囲、ビンの数、階級の幅は一例であり、これに限定されるものではない。

この分割処理及びヒストグラム化処理については、撮像手段１１で走行中の列車２を撮像した一連の動画の各フレーム画像に対して実行され、生成されたヒストグラムデータが特徴データ取得手段１４に伝達される。例えば、撮像手段１１が６０ｆｐｓ（フレーム／秒）で列車を撮像した場合、１０両編成の列車全体を撮像するのに２０秒程度の撮影時間が必要だとすると、約１２００枚のフレーム画像が撮影される。そして、Ｈ×Ｗ＝８４８×４８０画素の１枚の距離画像（１フレーム画像）は、各画素に１６ｂｉｔの距離情報が格納されている場合は約８００ＫＢ（キロバイト）であり、１２００枚では約９３２ＭＢ（メガバイト）という膨大なデータ量となる。これに対し、ヒストグラム化を含む前処理をすることにより、１０両編成の列車全体を約１．５ＭＢまで軽量化することができる。

［単位判定領域の判定処理］
図１４及び図１５は、単位判定領域（車両）の判定処理の一例を説明する図である。単位判定領域（車両）の判定処理は、前処理手段１２若しくは推定手段１３の何れか、又は単位判定領域（車両）の判定処理用に別途設けられた処理手段において実行される。図１４（Ａ）は、各フレーム画像に対応するヒストグラムデータ群Ｈ１、Ｈ２…Ｈｎ（ｎはフレーム数）であり、ヒストグラムデータ群Ｈｎには、高さ方向に分割された８段階のライン画像に対応して、８段階のヒストグラムデータＨｎ－１～Ｈｎ－８が含まれている。図１４（Ｂ）は、各段階のヒストグラムデータ毎にフレーム番号順に集計した各高さにおける時系列の頻度分布データＴ１～Ｔ８であり、図１４（Ｃ）は、下から５番目の高さのヒストグラムデータＨｎ－５に関する時系列の頻度分布データＴ５を拡大したものである。時系列の頻度分布データＴ１～Ｔ８は、縦軸が距離の階級であり、横軸がフレーム数であり、各座標に濃淡で頻度（画素数）が表示される。この時系列の頻度分布データから、時系列変化の特徴を捉え、単位判定領域を判定することができる。

図１５（Ａ）は、車両の連結部４の距離画像Ｆ２であり、図１５（Ｂ）は、図１４（Ｃ）の時系列の頻度分布データの一部を拡大した図である。通常、連結部４は車両３の幅よりも狭く、高さも低いため、連結部４が存在する特定の高さの頻度分布データにおいて、特定の距離（撮像手段から連結部までの距離）における頻度分布が高くなるという特徴が周期的に現れる。図１５（Ｂ）の白で囲んだ部分４ａにおいて、周期的に高い頻度分布の信号が検出されており、検出されたフレーム番号において連結部４が位置していると判定し、連結部４までの領域を単位判定領域（１車両）と判定することができる。このように、単位判定領域の境界（連結部）を判定してもよいが、単位判定領域内で検出される特徴から単位判定領域を判定してもよい。例えば、通常は列車の車体を検出し、連結部４では検出範囲外となる高さの頻度分布データにおいては、通常は検出される列車の車体に起因する信号が検出されないことから単位判定領域を判定してもよい。さらに複数の高さの頻度分布データから複合的に判定してもよい。図１５（Ｃ）は、下から５番目の高さの時系列の頻度分布データＴ５（図１４（Ｃ））について、判定処理で判定した連結部４の位置を区切り、単位判定領域（車両）を明らかにした図である。なお、単位判定領域が一つだけの列車においては、当該判定処理は不要である。

［正規化処理］
図１６は、各単位判定領域から総括ヒストグラムデータ群を生成する処理を説明する図である。図１６（Ａ）は、図１５（Ｃ）の下から５番目の高さの時系列の頻度分布データＴ５の向きを９０度右に回転させた図であり、図１６（Ｂ）は、各単位判定領域におけるヒストグラムデータを集計して生成された下から５番目の高さの総括ヒストグラムデータ群Ａ５である。総括ヒストグラムデータ群Ａ５は、１両目の１号車の総括ヒストグラムデータＡ５－１から１０両目の１０号車の総括ヒストグラムデータＡ５－１０までを含み、それぞれ縦軸が頻度（画素数）であり、横軸が距離の階級である。さらに、撮像手段を駅のホームに設置した場合は、列車が出発してから徐々に加速するため、撮像手段の前を通過する速度の違いにより各車両によって撮像できるフレーム数が異なる。このように、列車の通過速度に差がある場合は、総括ヒストグラムデータ群Ａ５をフレーム数に基づいて正規化することが好ましい。例えば、１号車の総括ヒストグラムデータＡ５－１は、フレーム番号１～２４０までの画像における下から５番目の高さのライン画像の度数分布を集計したものであり、さらに正規化する場合は、各頻度をフレーム数の２４０で除算して、１フレーム画像当たりの平均的な度数分布を求める。２号車の総括ヒストグラムデータＡ５－２は、フレーム番号２４１～３９０までの画像における下から５番目の高さのライン画像の度数分布を集計したものであり、さらに正規化する場合は、各頻度をフレーム数の１５０で除算して、１フレーム画像当たりの平均的な度数分布を求める。この正規化を全ての車両について実行することにより、通過速度によるフレーム数の違いを正規化できるため、推定の精度を向上させることができるので正規化処理することが好ましい。ただし、精度は下がるが正規化処理しなくてもよい。また、一定速度で移動する列車を撮像したり、列車の速度に応じて撮像手段のｆｐｓを変化させたりして、一車両当たりのフレーム数を一定範囲としてもよい。そして、８段階の高さ全てについて、総括ヒストグラムデータ群の生成処理を実行する。

さらに、総括ヒストグラムデータの頻度は、計算上扱いやすくするため、距離画像の面積（８４８×４８０）で除算して、画像面積（解像度）に対する距離ごとの頻度の割合としてもよい。これにより、各頻度は、画像面積によって正規化される。

［特徴データ生成］
図１７は、特徴データ取得手段１４によって特徴データを生成する処理を説明する図である。図１７（Ａ）は、８段階の各高さにおける総括ヒストグラムデータ群Ａ１～Ａ８であり、各総括ヒストグラムデータ群Ａｍ（ｍは高さ）は、各単位判定領域（１号車～１０号車）における総括ヒストグラムデータＡｍ－１～Ａｍ－１０を含んでおり、フレーム数及び／又は画像面積による正規化されていることが好ましい。図１７（Ｂ）は、各単位判定領域（１号車～１０号車）毎に８段階の高さの総括ヒストグラムデータを高さ順に結合した二次元特徴データＣ１～Ｃ１０であり、図１７（Ｃ）は、２号車の二次元特徴データＣ２を拡大した図である。二次元特徴データＣ２は、縦軸が高さ、横軸が階級であり、各座標に濃淡で標準化された頻度（画素数）が表示される。図１７（Ｃ）において縦軸は、距離画像におけるライン画像の高さ方向の画素範囲で示されており、７４２～８４８の行は、２号車における１番下の高さ（１段目）の総括ヒストグラムデータＡ１－２の頻度（柱の高さ）を濃淡で表示したものであり、６３６～７４２の行は、２号車における２段目の高さの総括ヒストグラムデータＡ２－２の頻度を濃淡で表示したものであり、以下同様に、２号車におけるｍ段目の高さの総括ヒストグラムデータＡｍ－２の頻度を濃淡で表示したものが順番に結合される。かかる特徴データは、各高さにおける各画素に含まれる距離情報の度数分布を示すものであり、混雑率の傾向を反映したものである。この二次元特徴データＣ１～Ｃ１０に対し、特徴データを独立変数とし、混雑率を従属変数として学習させた回帰モデルを用いて、各車両における列車の混雑率を推定することができる。

本実施形態では、列車全体を撮像した動画を処理するため、膨大な画像を処理する必要がある。このため、個別の距離画像に対して処理や解析（例えば車窓の判定、抽出や連結部の検出等）を極力減らし、車窓を含む距離画像だけではなく、車窓を含まない距離画像も使用し、又、距離画像内においても、車窓の領域だけを抽出するのではなく、２次元画像全体について、処理対象範囲内の画素を対象として一律で処理することで処理速度を上げている。そして、ライン画像をヒストグラム化してデータ量を軽量化した後に、時系列データとして車両又は連結部を判定し、車両単位で総括ヒストグラムデータを生成して特徴データを生成している。このため、本実施形態の方法は、個別の距離画像に撮像された瞬間の一カ所の状況ではなく、車両全体における度数分布を統計的に当てはめて推定している。なお、各距離画像について、車窓の判定、抽出や連結部の検出等の処理や解析を実施したり、車窓を含む距離画像だけを選択したりしてから、車両単位又は車窓単位で総括ヒストグラムデータを生成して特徴データを生成してもよい。

［学習フェーズ］
本発明の混雑率測定システム又はプログラムを用いて回帰モデルの学習が可能である。既知の混雑率と対応する特徴データとを取得し、特徴データを独立変数とし、混雑率を従属変数として学習させ、回帰モデルを構築する。例えば、クラウド上に蓄積された軽量化データ（ヒストグラムデータ、特徴データ）を用いて、蓄積データに対応する混雑率を応荷重などの指標を実測して取得し、蓄積データから算出した特徴と対応付けて回帰モデルを学習させてもよい。さらに、曜日、時間、天候などの情報を対応付けてデータを十分に集積し、これに機械学習を組み合わせることで、ブラインドや結露などで車内が確認できない場合であっても、同様な曜日、時間、天候などの情報を利用し、測定できなかった車内の度数分布を推定することも可能である。学習フェーズで回帰モデルを構築した後、運用フェーズに移行し、実際の列車における距離画像を撮像し、特徴データから混雑率を推定する。なお、運用中でも、引き続きデータを収集し、学習フェーズを並行して実施してもよい。

［混雑率推定方法の他の実施例］
図１８は、個別の距離画像から取得したヒートマップ４１をもとに混雑率を求める処理方法の他の実施例を示すものである。測定系の雑音除去や処理の簡略化のためにヒートマップ４１の濃淡分布の特徴量を損なわない程度にいくつかの隣接する複数のセル４４を一つのセグメント４５としてまとめる前処理を実施してもよい。各セグメント４５の座標はｘ（ｉ，ｊ）で表すことができる。

前処理部４６は、複数のセル４４を一つのセグメント４５に丸める処理を実行する。前処理部４６では、カメラ画像の１画素に対応する被写体面積がカメラから被写体までの距離が異なる２点間でその距離の比の２乗に比例するため、その補正として各セルの画素数を２乗する処理と、そのセグメントに対する代表値ｙ（ｉ，ｊ）としてセグメント内の各セル画素数の平均値や中央値を求める処理を行う。

前処理部の出力は、積和演算の乗算器４７において、各セグメントに対応する重み係数ｗ（ｉ，ｊ）を乗じる処理をすべてのセグメントに対して行ったのち、積和演算の加算器４８においてバイアス値ｂを加算することで混雑率の推定値Ｚを得るものである。

ここで重み係数ｗ（ｉ，ｊ）は、例えばカメラ寄りの座席シートに座る乗客は上半身の一部だけが写り、立位の乗客は手前の座位の乗客の有無によりカメラ画像に写る下半身の範囲の画素数が誤差要因になるなどカメラ設置位置によってその程度は変わるものであり、混雑率推定においてヒートマップ上の座標位置に応じた重み付けを変えることでこれら誤差要因の影響を軽減することが可能である。

図１９は、前述の処理にて得られた混雑率の推定値と、これに対応する混雑率の真値との関係を説明するために作成した散布図である。混雑率の真値は特許文献１に記載の応荷重データを用いて取得し、その車両に対して本発明の一実施例を適用して推定値を求めてプロットした。ここで、混雑率５０％は座席シート全てに乗客が着座した程度、１００％が全ての乗客が着座又は吊り革につかまるかドア付近の柱に掴まることができる状態、１５０％は肩が触れ合う程度で新聞は楽に読める程度に相当するもので、車窓から見た車内の画像において手前側ならびに奥側の座位の乗客が全て見える状態から、混雑していても奥側の立位の乗客が見える状態までに相当するもので本発明の一実施例として示したヒートマップの分布にその特徴が表れる範囲である。

混雑率の推定に使用する図１８の重み係数ｗ（ｉ，ｊ）及びバイアスｂのパラメータ値は、ヒートマップの分布に特徴が表れる混雑率５０％～１５０％の範囲において、応荷重データをもとに取得された混雑率Ｖ_ｋを従属変数、その車両の画像データに対して本発明により取得されたｙ_ｋ（ｉ，ｊ）を独立変数とした重回帰式（１）により求まる推定混雑率Ｚ_ｋとの残差をｍ個のサンプルデータに対して２乗和を取った式（２）に示すＱが最小となるようパラメータを決定するもので、その計算は最小二乗法により求めることができる。

本発明の実施においては、あらかじめ試験的に測定したデータをもとに重み係数ｗ（ｉ，ｊ）及びバイアスｂを前述の方法により求め、その値を処理装置２１に記憶させておけばよい。処理装置２１において推定された混雑率は、例えば特許文献２に示す鉄道情報配信システムにおける情報配信サーバにネットワークを介して伝送され、ユーザの携帯端末等で利用されてもよい。

［システム処理の他の一例］
図２０は、図７のシステム構成図におけるメインプログラムのフローチャートを示し、図２１は、処理装置２１のストレージ１１４に格納され、混雑率推定処理において書き込み及び読み出しを行う各データテーブルの構成例であり、列車別測定テーブル２４０、号車別測定テーブル２４１、測定画像データテーブル２４２、ヒートマップテーブル２４３が格納されている。処理装置２１は起動後にストレージ１１４にある測定データを記録する列車別測定データ２４０の記録開始ポインタを設定し、列車在線情報の情報を利用する場合（例えば変形例７）においては列車運行管理システム２２への接続を行い、処理装置内の初期化２００を行うとともにカメラ１１に対して起動２１０を行った後、複数のカメラに対して同じタイミングでの画像を取得すべく同時に複数のカメラで撮影２１１を実行させる。

処理装置２１は、複数のカメラ１１より撮影された画像を取得し、例えば、図１１に示したステレオカメラの原理により被写体の３次元空間の分布データを生成する処理２０１を実行する。処理２０１の結果に対して、列車の進入を検知する処理２０２を続け、列車の進入が検知されるまで処理２０１に戻りカメラからの画像を繰り返し取得する。

図２２は、本発明の一実施例の車両の連結部及び車両の端を検出する方法の一例を示すもので、（Ａ）は列車の先頭車両３ａとカメラ１１の位置関係及び列車の側面とカメラの撮影範囲３１を示す図であり、（Ｂ）は車両３ａと車両３ｂとの連結部４とカメラ１１の位置関係及び列車の側面とカメラの撮影範囲３２を示す図であり、（Ｃ）は先頭車両がカメラの撮影範囲３１に入ってきた時に撮影した画像、（Ｄ）は連結部４がカメラ撮影範囲３２に入ってきた時に撮影した画像、（Ｅ）は（Ｃ）の鎖線３４の高さにおける被写体画素の奥行き方向のグラフ３５を、（Ｆ）は（Ｄ）の鎖線３４ａと鎖線３４ｂの高さにおける被写体画素の奥行き方向のそれぞれのグラフ３５ａ、３５ｂを示す。

列車の先頭車両の進入検出は、例えば図２２（Ｃ）のカメラ画像において車両の背景３３のところが車両３ａに変わることでカメラ画像全体に縦方向に連続して発生する大きな変化の発生を検出する方法やカメラ１１から被写体までの距離の測定方法を使用し、鎖線３４の高さの画素の奥行き方向のグラフ３５が境界Ｌ２よりも遠方から境界Ｌ１よりも手前に変化することを検出することでも実現することができる。

列車の連結部４の通過検出は、例えば図２２（Ｄ）のカメラ画像において縦方向に連続する帯状の色又は明るさなど画像の特徴量の変化を検出することで実現する方法や、車窓を含む鎖線３４ａの高さの画素の奥行き方向のグラフ３５ａや鎖線３４ｂの高さの画素の奥行き方向のグラフ３５ｂが、境界Ｌ１よりも手前から境界Ｌ１を超えて境界Ｌ１と境界Ｌ２の間の処理対象範囲に入ることを検出することでも実現することができる。

列車の最終車両の端の通過検出は、例えば先に述べたカメラ１１から被写体までの距離の測定方法により被写体の画素の奥行きが境界Ｌ２よりも連続して存在することを検出することで実現することができる。なお、図２２の境界Ｌ１、Ｌ２は、図８のように車内の範囲に設定した場合であり、図７のように境界を車外に設定した場合には、境界Ｌ１ではなく画素の奥行きで連結部及び車両の端を検出すればよい。

図２０の処理２０２において、図２２（Ｅ）に示した被写体画像の奥行き方向が境界Ｌ２より遠方の背景３３から境界Ｌ２より手前の距離に出現することにより、列車の進入が検知された場合は複数の車両が連結された一の列車の混雑率を推定するための処理２０３を開始する。列車在線情報の情報を利用する場合（例えば変形例７）においては、後述する図２８に示すプログラムにより列車運行管理システム２２より該当する列車番号及び車種を取得し列車別測定テーブル２４０に書き込み、これから測定する車両を計数するための号車番号カウンターをリセットする。

列車混雑率の推定の処理は、複数台のカメラ画像の取得及び被写体の３次元空間の分布データを生成する２０１の処理から、車両の連結部の検出処理２０４、車窓の検出２０５及びヒートマップの生成を列車の終了端の検出２０６まで繰り返し実行した後、その間に測定されたデータをもとに検出した窓画像ごとの混雑率の推定から号車ごとの混雑率の推定及び一の列車の混雑率の計算とその結果を送信する処理２０９により構成されている。

連結部検出処理２０４は、図２２（Ｆ）に示した被写体画像の奥行き方向が境界Ｌ１より手前から境界Ｌ１から境界Ｌ２までの処理対象範囲内に一定の横方向の長さ検出したことにより車両の連結部４であることを検知してもよい。検知した場合（２０４のＹｅｓ）は、号車別測定テーブル２４１（図２１参照）へ直前の車両に対する号車番号カウンターの値と直前の車両の測定にて検出された窓画像数及び測定画像テーブルのインデックスを記録し、号車番号カウンターをインクリメントし、及び車両ごとに検出した窓の画像を計数する窓画像検出カウンターをリセットし次の車両の測定準備を行う処理２０７を実行する。

窓画像検出２０５では、画像内に車窓から見た車内の画像があるか否かを検出し、車内の画像が有る場合（２０５のＹｅｓ）は、図３にて示した処理により被写体画像の画素の分布を奥行きと高さごとに集計したヒートマップを生成し、その結果を測定画像データテーブル２４２及びヒートマップテーブル２４３（図２１参照）に記録し、窓画像検出カウンターをインクリメントする処理２０８を実行する。画像内に車窓から見た車内の画像があるか否かは、例えば、図２２（Ｆ）のグラフ３５ａに示すように、車窓を含む鎖線３４ａの高さの画素の奥行き方向のグラフ３５ａが境界Ｌ１から境界Ｌ２までの処理対象範囲内に位置することで撮影した画像に車窓から見た車内の画像があることを検出してもよい。

列車終了端の検出２０６は、列車先頭車両の検出と同様に被写体画像の奥行き方向が境界Ｌ２より手前の距離から境界Ｌ２より遠い距離に一定の長さ出現することにより検知すればよい。

処理装置２１は、処理２０９にてストレージ１１４より列車別測定テーブル２４０と号車別測定テーブル２４１を読み出し情報配信サーバ２３に送信し、送信完了後、列車別測定テーブルの書き込みポインタをインクリメントし、次の列車の測定に備える。情報配信サーバ２３は、処理２１２にて処理装置２１からの情報を受信し、列車番号によって特定された列車について、カメラ１１の測定場所及び測定時間における列車及び各号車の混雑率推定値を得ることができ、鉄道情報として一般利用者に提供される配信コンテンツ２１３として利用する。

図２３は処理２０９における混雑率の計算を行う部分のプログラムのフローチャートを示す。図２３に示すプログラムの処理の流れは、処理２３０にて１列車分のデータを図２１の列車別測定テーブル２４０から車両数Ｎと号車別測定テーブルのポインタを取得する。以下、１車両ごとに号車を示すカウンターｇにより指定する号車の混雑率を計算する処理２３１～２３５のループを回したのち、処理２３６にて全号車に対する混雑率の計算結果を号車別測定テーブル２４１から取得しその平均値として列車の混雑率Ｚ_trainを求め、その結果を処理２３７にて列車別測定テーブル２４０に記録して終了する。

処理２３１～２３５は、１車両分の混雑率を計算するためのループであり、号車別測定テーブル２４１より検出窓画像数Ｍ_gと各画像に対するヒートマップテーブル２４３のポインタをもとに、当該車両で検出された窓画像に対するヒートマップＨ_g,hを順次読み出し、図１８に示す演算を行い窓画像ごとの混雑率推定値を求め、これを測定画像データテーブル２４２に書き込み、当該車両の全ての窓画像に対する混雑率推定値の計算が終了した後、測定画像データテーブル２４２に記録された窓幅と各画像から求めた混雑率推定値をもとに、例えば図２４に示す方法により当該号車の混雑率推定値Ｚ_carを求めこれをテーブル２４１に書き込む。

図２４は、車窓を写した画像より推定した混雑率より１車両分の混雑率を推定する方法の一例を示したものであり、（Ａ）は車両の側面であり、（Ｂ）は１車両分の混雑率推定値Ｚ_carの計算式を示す。図２４（Ａ）において、破線の四角はカメラで撮影した範囲７０であり、その中の灰色のエリアは画像中における混雑率を推定した窓の範囲７１であり、窓の範囲７１の横幅は窓幅Ｗ_iであり、各画像から得られた混雑率の推定値Ｚ_iが示されている。図２４（Ｂ）におけるβ_iは窓幅Ｗ_iによって重み付けを変えるための係数であり、混雑率の推定を行った窓画像数Ｎ個の混雑率推定値に対して窓幅が一定の大きさ以下の場合に小さな値にすることでドア窓のような狭い窓幅から得られた混雑率推定値の影響を小さくすることができるものであり、小さな値をゼロとすることでドア窓から得られた混雑率推定値を除外することもできる。

図２５は、本発明の一実施例の列車の窓の範囲の検出方法の一例を示すもので、カメラから被写体までの距離を水平方向ａ１－ａ２断面でプロットしたグラフ３６において窓の範囲内で奥行き方向が境界Ｌ１よりも奥側の値を示しており、境界Ｌ１の手前側から奥側に横断する点を検出することで窓の水平方向の開始点を、境界Ｌ１の奥側から手前側に横断する点を検出することで窓の水平方向の終了点を検出することができ、その幅は窓幅に相当する。同様に垂直方向ｂ１－ｂ２断面でプロットしたグラフ３７において窓の範囲内で奥行き方向が境界Ｌ１よりも奥側の値を示しており、境界Ｌ１の横断する点を検出することで窓の垂直方向の枠を検出することができ、その幅は窓の高さに相当する。検出した窓幅や窓の高さは測定画像データテーブル２４２に記録する。

本実施形態では、カメラにより撮影された画像より車窓内の混雑率を求めるものであるが、窓幅がカメラの水平方向の撮影範囲を超える大きさの場合や、カメラの撮影タイミングによりカメラ画像に車窓全体ではなく一部が撮影された場合、それぞれカメラ画像に写る車窓内の混雑率をカメラ画像に写る車窓の幅で加重平均を取ることでカメラ画像をつなぎ合わせて車窓全体が写るデジタル画像を生成せずとも正しく混雑率を求めることができる。

図２６は、画像に写る車窓の幅で加重平均を取る処理の一例を示すもので、（Ａ）は横幅の長い車窓の全体を示す図であり、（Ｂ）は車窓の左側を撮影した画像であり、（Ｃ）は車窓の中央部分を撮影した画像であり、（Ｄ）は車窓の右側を撮影した画像である。それぞれの画像で検出された窓幅をＷ₁、Ｗ₂及びＷ₃、それぞれの画像から推定された混雑率をＺ₁、Ｚ₂、Ｚ₃とした場合、（Ａ）に示す車窓全体から推定する混雑率Ｚ_windowは（Ｅ）の式で求めることができる。この方法によれば、特許文献４に示される連続して撮影される画像を繋ぎ合わせたパノラマ画像を生成したのちに混雑率推定を行う方法と異なり、データ処理の簡素化及び高速化に寄与するものである。なお、窓幅によって混雑率推定の計算を変える場合は測定画像データテーブル２４２に記録された窓幅を使用する。

また、図２３の処理２３３にてヒートマップから混雑率を計算する際に使用するパラメータを車種ごとに切り替える場合は、列車別測定テーブル２４０から車種を取得し、車種ごとのパラメータが記録されたパラメータテーブル２４４を用いて、該当する車種のパラメータを選択し使用する。図２７は、処理装置２１のストレージ１１４に格納されたパラメータテーブル２４４の例である。パラメータテーブル２４４は、車種によってパラメータを異なる値とすることができる構造とし、例えば列車運行管理システム２２から取得した車種の情報により該当するパラメータを選択して使用する。

図２８は、列車運行管理システム２２にアクセスするプログラムのフローチャートを示す。本プログラムは、図２０の処理２０３より呼び出され実行されるプログラムであり、処理装置２１は、列車運行管理システム２２から列車在線情報２２３の取得処理２２０を実行し、列車位置がカメラ１１の設置場所にある列車の列車番号及び車種の抽出処理２２１を行い、これを列車別測定テーブル２４０に書き込む処理２２２を実行する。図２８は、メインプログラムで列車の先頭車両を検出する都度、列車運行管理システム２２にアクセスしているが、メインプログラムとは非同期に一定時間ごとに列車運行管理システムへアクセスし、最新の列車在線情報を処理装置２１の中に保持し、参照することで列車運行管理システムとのアクセスに要する時間がメインプログラムの処理タイミングからの影響をなくしても構わない。

図２９は、列車在線情報２２３を説明する図であり、（Ａ）は列車位置８０、次の混雑率推定対象の列車８１及び本発明によるカメラ測定位置８２の関係を示し、（Ｂ）は列車運行管理システム２２に保持される列車を識別する列車番号、列車位置及び車種の情報を有する列車在線情報の例を示す。処理装置２１は、一定の周期で運行管理システム２２より列車在線情報を取得し最新の情報に更新しておくことで次にカメラ１１の前を通過する列車の車種の情報をあらかじめ知ることができ、車種に応じた混雑率推定のパラメータを予め設定しておくことで車両構造の違いを考慮した混雑率推定を行うことができる。

［変形例１］
図３０は、撮像手段１１の変形例を説明する図である。図９の撮像手段は、１台ごとに一つの光学レンズを有するものとしていたが、本実施形態では、二つのレンズ１２０、１２１及びイメージセンサー１２２、１２３が２つ設けられており、２つのレンズから同時に取得できるデジタル画像にアクセスできるイメージメモリ１２４を具備する撮像手段１１である。

図３０に例として示した二つのレンズ１２０、１２１を備えたカメラは、自動運転やロボットにおいて３次元画像データを取得するものとして開発されたものであり、光学レンズのほかにステレオカメラの原理により３次元画像データを求めるためのプログラム１２５と演算部１２６及びＣＰＵ１０３、ＲＡＭ１０５を内蔵し、通信インタフェース１０６より３次元画像データを、ネットワークＮを介してライン画像生成手段に伝達できる。

［変形例２］
図３１及び図３２は、図１８の混雑率推定方法の変形例を説明する図である。図１８においては、重み係数ｗ（ｉ，ｊ）及びバイアスｂを予め設定した固定値を使用していたが、本実施形態では、ヒートマップ４１のデータによって重み係数及びバイアスを可変としたものである。図１９の散布図において、エリア５３では、混雑率の真値に対して推定値が低くなる誤差が生じているが、これは高い混雑率において立位の乗客の重なりによって奥側の乗客が見えなくなる確率が高くなるために生じる誤差である。重み係数及びバイアスを可変とすることにより、かかる誤差を補正することができる。

図３１（Ａ）は例として５×５のセグメントで構成されるヒートマップ４１であり、（Ｂ）は通常時の各セグメントにおける重み係数の補正値を示し、（Ｃ）は補正時の各セグメントにおける重み係数の補正値を示す。補正の有無は、例えば、ヒートマップ４１における所定のセグメント範囲の画素数の総和を条件として判定してもよい。図３１では、セグメント（３，２）、（３，３）、（３，５）のエリア５４における画素数の総和が一定以上の場合は、乗客が吊り革付近及び通路付近に多くいると判定し、（Ｃ）に示すように、エリア５５について、重み係数ｗ（ｉ，ｊ）の各ｉ、ｊに対応して係数を乗じた重み係数を使用することで立位の乗客によって被写体の画素数が減少するヒートマップの左下側の画素数を補正し、それ以外の場合は、（Ｂ）に示すように係数の補正を行わない構成としてもよい。あるいは、重みに対する係数は変えずにバイアスｂを変更してもよく、例えば、セグメント（３，２）、（３，３）、（３，５）の画素数の総和が一定以上である場合は、その総和の値に応じてバイアス値を大きくしても構わない。

図３２は、ヒートマップ４１のデータによって重み係数及びバイアスを可変とした構成図の一例であり、図１８の構成に加えて、ヒートマップの各セグメントに対して前処理４６を施した値を入力として、補正の有無を判定し、通常又は補正後の重み係数ｗ（ｉ，ｊ）及びバイアスｂを出力する重み係数及びバイアス値の制御部４９を追加した。

［変形例３］
図３３は、混雑率推定時における座席シート６の影響を補正する変形例を説明する図である。図１９の散布図において、エリア５１では、混雑率の真値に対して推定値が高くなる傾向があるが、これは座席シート上に着座する乗客が少なくカメラ画像に写る奥側の座席シートの画素数が混雑率の推定に影響と考えらえる。このため、図３３に示すように、混雑率推定のために使用する範囲として、境界Ｌ１及びＬ２だけではなく、奥側の座席シート６ｂに該当する位置のセグメントを集計対象から除外したエリア５６とすることで座席シート６の影響を補正することができる。

［変形例４］
図３４は、混雑率推定時における座席シート６の影響を補正する他の変形例を説明する図である。変形例３においては混雑率推定のための領域を予め車両の設計情報等を用いて求めていたが、本実施形態では、空車状態で走行した際に得られるカメラ画像に対するヒートマップのデータよりカメラから見た車両内の構造物の被写体が占めるセルやその陰で見えないセルの位置を処理装置２１に記録しておくことで、混雑率推定のための対象セル又はセグメントの情報を得ることができる。図３４は、空車の状態で走行した際に取得できるヒートマップ４１の例を示したものであり、ヒートマップ４１のセル４４のうち車両構造物が占めるセル４４ａをハッチングし、車両構造物の陰で見えないセル４４ｂを灰色で示している。このうち、乗客の有無によって画素数が変わるセルは混雑率の推定における誤差の要因となるものでありカメラから遠い側の座席シート６ｂが位置するセル又はセルを含むセグメントがこれに該当するものとして混雑率推定の対象外とし、乗客の有無によって画素数が変化しない例えば網棚９等は固定値として発生するものであり混雑率推定におけるバイアスｂにより補正することができる。

本発明はカメラ画像を用いて混雑率を推定するものでありカメラ設置位置などにより混雑率推定において使用するパラメータが変わる可能性があるが、空車走行時に取得するヒートマップのデータを使用することで複数の箇所で測定を行い場合におけるカメラ設置位置の違いによるパラメータの調整を簡略化することができる。

［変形例５］
図３５は、混雑率推定方法における更なる変形例を説明する図であり、（Ａ）は混雑率２００％以上における車内の状態を示し、（Ｂ）はそのヒートマップ４１を示す。本実施形態では、車両の構造が進行方向に向かって左右対称である場合、高い混雑率では乗客が大きな隙間なく乗車する必要があるため、乗客の配置は概ね左右均等になるとみなし、演算の簡略化と精度の高い推定値を得るものである。変形例２においては、高い混雑率において立位の乗客の重なりによって奥側の乗客が見えなくなる確率が高くなるために生じる誤差を補正するため、ヒートマップの分布に応じて重み係数及びバイアスを可変としたものであるが、図３５（Ｂ）のヒートマップ４１における左下のエリア６１のように、被写体の画素数がゼロとなるエリアについては、重み係数を乗じる補正ができない。高い混雑率では車内の乗客の配置が左右均等とみなせることを考慮し、例えば中心線６０に対してカメラ寄りのエリア６２に対する混雑率を奥側の推定混雑率として使用することで高い混雑率の状態でも精度の高い推定値を得ることができる。しかも、図１８に示す混雑率推定の構成の中でエリア６２に対する演算のみを行うものとすることで実現でき、処理の簡便化が図れる。また、同様の処理は、変形例２の重み係数ｗ（ｉ，ｊ）の補正によっても実現でき、例えば、図３１（Ａ）の中心よりも右側セグメント（ｎ，４）、（ｎ，５）に対応するｙ（ｉ，ｊ）に乗ずる重み係数ｗ（ｉ，ｊ）を２とし、中心よりも左側セグメント（ｎ，１）、（ｎ，２）に対応するｙ（ｉ，ｊ）に乗ずる重み係数ｗ（ｉ，ｊ）を０とすることでも実現できる。そして、この係数の切り替えは例えば変形例２で説明した図３１のエリア５６の値を条件として実施してもよい。

［変形例６］
図３６は、車両ドアのドア窓５ｂに基づく混雑率推定を説明する図であり、（Ａ）はドア窓５ｂ間近に立つ乗客１０ｅがいる場合の車両側面から見た図であり、（Ｂ）は車両内の状況を示し、（Ｃ）はドア窓５ｂに対応するヒートマップ４１の例を示す。車両のドア窓５ｂに関しても混雑率推定の対象となるものであり、座席シートが空いていても車両のドア間近に立位で乗車する乗客がいることがあり幅の狭いドア窓間近に立つ乗客１０ｅによって車内の視界が制限されるなど座席シート近くの車窓とは異なるヒートマップの分布を呈することがある。図３６（Ｃ）のヒートマップにはドア窓間近に立位する乗客１０ｅに対応して手前側の低い位置から高い位置のエリア６５の全体において高い画素の分布となっている。一方、それ以外のエリアでは狭いドア窓間近に立つ乗客１０ｂによって被写体の画像の分布は僅かとなっている。このため、図２４（Ｂ）に示したように、１車両分の混雑率推定値Ｚ_carの計算式において、窓幅Ｗ_iによる重み付け係数β_iを窓幅が一定の大きさ以下の場合に小さな値にすることによって、１車両分の混雑率推定の中でドア窓の影響を小さくすることができる。なお、ドア窓の係数β_iをゼロとすることでドア窓から得られた混雑率推定値を除外することもできる。

［変形例７］
本実施形態は、混雑率の推定に車両の構造に関するパラメータを使用する場合に、さまざまな車両タイプが運用されるケースにおいても混雑率の推定精度を高めるための方法に関する。例えば、変形例３のカメラ画像に写る座席シートなど車両構造物の範囲を考慮した測定範囲、変形例６のドア窓など横幅の狭い窓から得られる混雑率推定値に対する重み付けなどは、車両の構造によってこれらのパラメータが変化する。本発明において車両の混雑率を推定する際に使用するパラメータを車両の構造に対応した車種の情報により切り替えるため、列車運行管理システム２２より列車位置とその車種の情報を取得することであらかじめ複数の車種に対するパラメータのセットを処理装置２１に記憶しておき、列車の検出の都度、対応する車種に対するパラメータを混雑率の推定に使用することで実現できる。

例えば、処理装置２１は、一定の周期で運行管理システム２２にアクセスし、図２９（Ｂ）に示すような列車在線情報を取得し、最新の情報に更新することによって、次にカメラの前を通過する列車の車種の情報を予め判別することができ、パラメータテーブル２４４（図２７）を参照して、車種に応じた混雑率推定のパラメータを設定することで車両構造の違いを考慮した混雑率推定を行うことができる。また、図３７（Ａ）に示すように、車両側面の距離画像を撮影する撮像手段１１とは別のカメラ２５を列車の先頭車両３ａの前面を撮影する方向２５ａに設置し、処理装置２１に実装した画像認識プログラムによって、カメラ２５により取得される図３７（Ｂ）の列車前面の画像から車種を判定することでも、パラメータテーブル２４４（図２７）を参照して、車種に応じた混雑率推定のパラメータを設定し、車両構造の違いを考慮した混雑率推定を行うことができる。なお、画像認識プログラムは、列車前面のデザインから車種を判定してもよいし、列車前面の列車番号９１及び／又は車種に対応する車両型式９２の文字を判定してもよい。

上記変形例１～７では、個別の距離画像に基づくヒートマップについて説明したが、複数の距離画像に基づく総括ヒストグラムデータから生成された特徴データ（ヒートマップ：例えば図１７）についても利用可能である。また、本明細書において説明した構成は一例であり、これらを相互に組み合わせること、ある実施形態における一部の構成を別の実施形態に適用することも可能である。

１ 混雑率測定システム
２ 列車
３ 車両
４ 連結部
５、５ａ、５ｂ 車窓
１１ 撮像手段
１２ ライン画像生成手段
１３ ヒストグラム生成手段
１４ 特徴データ取得手段
１５ 推定手段
１６ 出力手段

Claims (20)

1. 二次元画像の画素単位で被写体までの距離情報を有する距離画像を取得できる撮像手段であって、列車の進行方向の側方から前記列車の距離画像を撮像する撮像手段と、
   前記撮像手段により撮像した前記列車の距離画像を高さ方向に分割して複数のライン画像を生成するライン画像生成手段と、
   前記ライン画像生成手段で生成したライン画像から距離を階級としたヒストグラムデータを生成するヒストグラム生成手段と、
   前記ヒストグラム生成手段で生成したヒストグラムデータから、高さに関する要素、ヒストグラムの度数に関する要素及び距離に関する要素を含む特徴データを取得する特徴データ取得手段と、
   前記特徴データを用いて前記列車の混雑率を推定する推定手段と、
   を含む混雑率測定システム。
2. 前記特徴データは、高さに関する要素を一方の軸とし、距離に関する要素を他方の軸とした平面に、度数の要素を各座標に表示した二次元特徴データである請求項１に記載の混雑率測定システム。
3. 前記特徴データ取得手段は、複数の距離画像に基づいて生成された総括ヒストグラムデータから特徴データを生成する請求項１又は２に記載の混雑率測定システム。
4. 前記混雑率測定システムは、前記特徴データを取得する前に、距離画像のフレーム数によって前記総括ヒストグラムデータを正規化する機能を有する請求項３に記載の混雑率測定システム。
5. 前記混雑率測定システムは、前記特徴データを取得する前に、前記距離画像又は前記ヒストグラムデータに基づいて前記列車の単位判定領域を検出する機能を有する請求項１乃至４の何れか１項に記載の混雑率測定システム。
6. 前記ヒストグラム生成手段は、前記距離画像の画素のうち、被写体までの距離が所定の範囲内の画素の距離情報を用いてヒストグラムデータを生成する請求項１乃至５の何れか１項に記載の混雑率測定システム。
7. 前記混雑率測定システムは、前記特徴データを取得する前に、前記距離画像における窓の領域を検出する機能を有する請求項１乃至６の何れか１項に記載の混雑率測定システム。
8. 前記ヒストグラム生成手段は、前記距離画像の画素のうち、前記窓の領域内の画素の距離情報を用いてヒストグラムデータを生成し、
   前記推定手段は、前記窓の領域内の混雑率を推定する請求項７に記載の混雑率測定システム。
9. 前記推定手段は、前記列車の単位判定領域内に含まれる前記窓の領域内の混雑率を集計して前記列車の単位判定領域の混雑率を推定する請求項８に記載の混雑率測定システム。
10. 前記推定手段は、前記窓の領域の幅、大きさ又は形状により異なる重み付けを行い集計することを特徴とする請求項９に記載の混雑率測定システム。
11. 前記推定手段は、被写体までの距離が前記列車の中央までの混雑率に所定の倍数を乗じて混雑率を推定する請求項１乃至１０の何れか１項に記載の混雑率測定システム。
12. 前記推定手段は、前記特徴データにおける度数分布に応じて、混雑率計算におけるパラメータを変更する請求項１乃至１１の何れか１項に記載の混雑率測定システム。
13. 前記推定手段は、前記特徴データにおける度数分布を前記列車内の構造物の配置に応じて補正することを特徴とする請求項１乃至１２の何れか１項に記載の混雑率測定システム。
14. 前記混雑率測定システムは、乗客が乗車していない状態の列車に対して撮影した距離画像に基づく特徴データから前記列車内の構造物の配置に関する情報を取得する請求項１３に記載の混雑率測定システム。
15. 前記混雑率測定システムは、前記列車の車両種別を判定し、当該車両種別に応じたパラメータを使用して混雑率を推定する請求項１乃至１４の何れか１項に記載の混雑率測定システム。
16. 前記推定手段は、前記特徴データを独立変数とし、混雑率を従属変数として学習させた回帰モデルを用いて前記列車の混雑率を推定する請求項１乃至１５の何れか１項に記載の混雑率測定システム。
17. 二次元画像の画素単位で被写体までの距離情報を有する距離画像を取得できる撮像手段を用いて、列車の進行方向の側方から撮像することで得られた前記列車の距離画像を取得する画像取得部と、
    前記画像取得部で取得した前記列車の距離画像を高さ方向に分割して複数のライン画像を生成するライン画像生成部と、
    前記ライン画像生成部で生成したライン画像から距離を階級としたヒストグラムデータを生成するヒストグラム生成部と、
    前記ヒストグラムデータを出力するデータ出力部と、
    を含む混雑率測定システムの処理装置。
18. 二次元画像の画素単位で被写体までの距離情報を有する距離画像を取得できる撮像手段を用いて、列車の進行方向の側方から撮像することで得られた前記列車の距離画像を高さ方向に分割して生成された複数のライン画像から生成された距離を階級としたヒストグラムデータを取得するデータ取得部と、
    前記データ取得部で取得したヒストグラムデータから、高さに関する要素、ヒストグラムの度数に関する要素及び距離に関する要素を含む特徴データを取得する特徴データ取得部と、
    前記特徴データを用いて前記列車の混雑率を推定する推定部と、
    を含む混雑率測定システムの処理装置。
19. コンピュータに、
    二次元画像の画素単位で被写体までの距離情報を有する距離画像を取得できる撮像手段を用いて、列車の進行方向の側方から撮像することで得られた前記列車の距離画像を取得する画像取得機能と、
    前記画像取得機能で取得した前記列車の距離画像を高さ方向に分割して複数のライン画像を生成するライン画像生成機能と、
    前記ライン画像生成機能で生成したライン画像から距離を階級としたヒストグラムデータを生成するヒストグラム生成機能と、
    前記ヒストグラムデータを出力するデータ出力機能と、
    を実現させるプログラム。
20. コンピュータに、
    二次元画像の画素単位で被写体までの距離情報を有する距離画像を取得できる撮像手段を用いて、列車の進行方向の側方から撮像することで得られた前記列車の距離画像を高さ方向に分割して生成された複数のライン画像から生成された距離を階級としたヒストグラムデータを取得するデータ取得機能と、
    前記データ取得機能で取得したヒストグラムデータから、高さに関する要素、ヒストグラムの度数に関する要素及び距離に関する要素を含む特徴データを取得する特徴データ取得機能と、
    前記特徴データを用いて前記列車の混雑率を推定する推定機能と、
    を実現させるプログラム。