JP7559567B2

JP7559567B2 - 異常状態判定装置、モデル学習装置、異常状態判定方法、モデル学習方法、及びプログラム

Info

Publication number: JP7559567B2
Application number: JP2021008069A
Authority: JP
Inventors: 裕理竹内; 美也子平野
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2020-05-07
Filing date: 2021-01-21
Publication date: 2024-10-02
Anticipated expiration: 2041-01-21
Also published as: JP2021179967A

Description

本発明は、異常状態判定装置、モデル学習装置、異常状態判定方法、モデル学習方法、及びプログラムに関する。

車両の状態によって、車内への侵入検出と車載装置の制御のための乗員の動作検出とを切替え、それぞれに最適なセンシングを可能とする動き検出システムが知られている（例えば、特許文献１）。

特許文献１に記載の動き検出システムは、車室内の人又は物の動きを検出する動きセンサと、車両のエンジン作動及びドアロックを含む車両情報を取得する車両情報取得手段と、動きセンサにより車室内の人又は物の動きを検出し、異常と判断した場合に所定の警報を行うセキュリティモード、及び動きセンサにより車室内の乗員の動作を検出し、該動作に対応する所定の車載装置の制御を行う操作検出モード、を含む動作モードにより動作する制御手段と、車両情報取得手段により取得した車両情報に基づいて車両の車両状態を判断し、その車両状態によって制御手段の動作をセキュリティモード又は操作検出モードに切り替える切替手段と、を備える。

また、乗りかご内で横転した乗客の異常を判断するエレベータかご内異常通報システムが知られている（例えば、特許文献２）。

特許文献２に記載のエレベータかご内異常通報システムは、乗りかご内に入ってくる乗客を感知する乗客検知センサと、乗りかご内の乗客を撮影する複数の監視カメラと、乗りかごのサイドパネルのかご床近傍に設けられ、乗客の転倒等を検知する乗客転倒検知センサと、乗客検知センサで乗客有りと感知したとき、監視カメラにて乗りかご内の乗客を撮影し、今回撮影の映像と前回撮影の映像とから乗客位置が変化したとき、乗客転倒検知センサの出力から所定時間にわたって乗客の立ち位置の変化の有無（転倒の有無）を判断する乗客位置観察手段とを備える。

特許第６４５１３９０号公報特開２０１１－２３６０３６号公報

本発明は、空間内における人物の異常状態を精度よく判定することを目的とする。

上記目的を達成するために、第１態様に係る異常状態判定装置は、判定対象の空間内の人物の密集度の分布を算出する算出部と、前記算出部によって算出された前記人物の密集度の分布に基づいて、前記判定対象の空間内の異常状態を判定する判定部と、を含んで構成されている。

また、第２態様に係る異常状態判定方法は、算出部が、判定対象の空間内の人物の密集度の分布を算出し、判定部が、前記算出部によって算出された前記人物の密集度の分布に基づいて、前記判定対象の空間内の異常状態を判定する方法である。

また、第３態様に係るプログラムは、判定対象の空間内の人物の密集度の分布を算出し、前記算出された前記人物の密集度の分布に基づいて、前記判定対象の空間内の異常状態を判定することをコンピュータに実行させるためのプログラムである。

また、第４態様に係るモデル学習装置は、判定対象の空間内の人物の密集度の分布を算出する算出部と、前記算出部によって算出された前記人物の密集度の分布と、前記判定対象の空間内の異常状態との組み合わせである訓練データに基づいて、前記人物の密集度の分布から、前記判定対象の空間内の異常状態を判定する判定モデルを学習する学習部と、を含んで構成されている。

また、第５態様に係るモデル学習方法は、算出部が、判定対象の空間内の人物の密集度の分布を算出し、学習部が、前記算出部によって算出された前記人物の密集度の分布と、前記判定対象の空間内の異常状態との組み合わせである訓練データに基づいて、前記人物の密集度の分布から、前記判定対象の空間内の異常状態を判定する判定モデルを学習する方法である。

また、第６態様に係るプログラムは、判定対象の空間内の人物の密集度の分布を算出し、前記算出された前記人物の密集度の分布と、前記判定対象の空間内の異常状態との組み合わせである訓練データに基づいて、前記人物の密集度の分布から、前記判定対象の空間内の異常状態を判定する判定モデルを学習することをコンピュータに実行させるためのプログラムである。

本発明に係る異常状態判定装置、方法、及びプログラムによれば、判定対象の空間内の人物の密集度の分布に基づいて、前記判定対象の空間内の異常状態を判定することにより、空間内における人物の異常状態を精度よく判定することができる。

本発明に係るモデル学習装置、方法、及びプログラムによれば、判定対象の空間内の人物の密集度の分布に基づいて、前記判定対象の空間内の異常状態を判定する判定モデルを学習することができる。

本発明の第１の実施の形態に係る異常状態判定装置の機能ブロック図である。車室内の領域を分割した分割領域の一例を示す図である。（Ａ）通常時の車室内の人物の分布の一例を示す図、（Ｂ）人物が倒れた時の車室内の人物の分布の一例を示す図、及び（Ｃ）自然災害又は事故が起こった時の車室内の人物の分布の一例を示す図である。本発明の第１の実施の形態における異常状態判定処理の一例を示すフローチャートである。本発明の第２の実施の形態に係る異常状態判定装置の機能ブロック図である。（Ａ）危険人物が発生した時の車室内の人物の分布の一例を示す図、（Ｂ）混雑している時の車室内の人物の分布の一例を示す図、及び（Ｃ）汚損又は破損が発生した時の車室内の人物の分布の一例を示す図である。複数種類の指標と複数種類の異常状態との相関関係を示す図である。本発明の第２の実施の形態における異常状態判定処理の一例を示すフローチャートである。本発明の第２の実施の形態におけるモデル判定処理の一例を示すフローチャートである。

本発明の実施の形態の詳細について説明する。

［第１の実施の形態］
＜異常状態判定装置の構成＞
本発明の第１の実施の形態に係る異常状態判定装置１０は、ＣＰＵと、ＲＡＭと、後述する各種処理を実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。異常状態判定装置１０は、自動運転で乗客を輸送し、かつ、運転手及び車掌不在のバスである自動運転ロボバスに搭載されている。

図１に示すように、異常状態判定装置１０は、センサ１２、検知部１４、密集度算出部１６、異常状態判定部１８、及び運転制御部２０を備えている。

センサ１２は、例えば、カメラや赤外線カメラ、ライダー（ＬＩＤＡＲ：ＬｉｇｈｔＤｅｔｅｃｔｉｏｎａｎｄＲａｎｇｉｎｇ）などであり、車室内の情報を検知し、センサ情報を出力する。具体的には、カメラによって撮影された画像、赤外線カメラによって撮影された赤外線画像、又はライダーによって得られた点群データを、センサ情報として出力する。

検知部１４は、センサ１２から出力されたセンサ情報に基づいて、車室内の人物に関する情報を検知する。具体的には、車室内の人物の各々について、当該人物の位置を検知する。

密集度算出部１６は、検知された人物に関する情報に基づいて、車室内の人物の密集度の分布を算出する。具体的には、密集度算出部１６は、車室内の乗車可能領域を分割した分割領域毎の密集度を、人物の密集度の分布として算出する。ここで、密集度とは、単位面積あたりの人数である。例えば、車室内の乗車可能領域を、図２のように複数の分割領域（例えば、５０ｃｍ×５０ｃｍ）に分割して、それぞれの密集度を以下の式に従って算出する。

密集度＝人数／面積

図２では、乗車可能領域を、８×１６個の分割領域に分割する例を示している。図３（Ａ）に示すように、通常時の車内では、人物が分散しているため、各分割領域の密集度が偏らない。

異常状態判定部１８は、密集度算出部１６によって算出された人物の密集度の分布から得られる、分割領域毎の密集度の時間的変化、又は分割領域間の密集度の変化に基づいて、車室内の異常状態を判定する。

具体的には、まず、異常状態判定部１８は、少なくとも一つの分割領域で、算出された密集度を時間で微分した傾きが閾値以上のとき、車室内が異常状態であると判定する。あるいは、少なくとも一つの分割領域でのみ密集度が閾値以上のとき、車室内が異常状態であると判定してもよい。

また、異常状態判定部１８は、一部の分割領域でのみ密集度が閾値以上である場合、又は一部の分割領域でのみ密集度の時間的変化量が閾値以上の場合、車室内で人物が倒れたことによる異常状態であると判定する。

例えば、一部の分割領域でのみ、密集度が閾値以上であり、かつ、前回の判定時に密集度が閾値未満である場合に、倒れた一人の人の周りに人が集まり、集まった人達と当該倒れた人との距離が近距離に変化したと判断し（図３（Ｂ）参照）、車室内で人物が倒れたことによる異常状態であると判定する。また、分割領域毎に計算した密集度を一定時間分保持し、分割領域毎に、時刻ａの密集度Ｘ（ａ）から時刻ｂの密集度Ｘ（ｂ）への密集度の時間的変化量（Ｘ（ｂ）－Ｘ（ａ））／（ｂ－ａ）を計算し、一部の分割領域のみについて、時間的変化量の絶対値が閾値以上である場合に、車室内で人物が倒れたことによる異常状態であると判定する。

なお、一部の分割領域のみで、密集度が閾値以上であり、かつ、前回の判定時に密集度が閾値未満である場合であって、かつ、一部の分割領域のみについて、時間的変化量の絶対値が閾値以上である場合に、車室内で人物が倒れたことによる異常状態であると判定してもよい。

異常状態判定部１８は、特定の分割領域でのみ密集度が閾値以上である場合、又は特定の分割領域でのみ密集度の時間的変化量が閾値以上の場合、自然災害又は事故が発生したことによる異常状態であると判定する。

例えば、車内外側又はつり革位置である特定の分割領域のみで、密集度が閾値以上であり、かつ、前回の判定時に密集度が閾値未満である場合に、大体の人がものに掴まるために、車内外側又はつり革位置に移動したと判断し（図３（Ｃ）参照）、自然災害又は事故が発生したことによる異常状態であると判定する。また、分割領域毎に計算した密集度を一定時間分保持し、分割領域毎に、時刻ａの密集度Ｘ（ａ）から時刻ｂの密集度Ｘ（ｂ）への密集度の時間的変化量（Ｘ（ｂ）－Ｘ（ａ））／（ｂ－ａ）を計算し、車内外側又はつり革位置である特定の分割領域のみについて、時間的変化量の絶対値が閾値以上である場合に、車室内で人物が倒れたことによる異常状態であると判定する

上記センサ１２、検知部１４、密集度算出部１６、及び異常状態判定部１８の各処理を、定期的に繰り返し行う。例えば、３０秒に１回、繰り返す。

運転制御部２０は、異常状態判定部１８によって、車室内で人物が倒れたことによる異常状態であると判定された場合、または自然災害又は事故が発生したことによる異常状態であると判定された場合に、緊急性のある異常状態であると判断し、特定の運転動作となるように自動運転ロボバスを制御する。具体的には、自動運転ロボバスを、路肩に緊急停車させた後、ドアを開けるように制御する。

＜異常状態判定装置の作用＞
異常状態判定装置１０を搭載した自動運転ロボバスのドアが閉められており、かつ、自動運転ロボバスが走行しているときに、異常状態判定装置１０において、図４に示す異常状態判定処理が実行される。このとき、センサ１２から、車室内の情報を表すセンサ情報が逐次出力されている。

まず、ステップＳ１００において、検知部１４は、センサ１２から出力されたセンサ情報に基づいて、車室内の人物に関する情報を検知する。

ステップＳ１０２において、密集度算出部１６は、上記ステップＳ１００で検知された人物に関する情報に基づいて、車室内の人物の密集度の分布を算出する。

ステップＳ１０４では、異常状態判定部１８は、密集度算出部１６によって算出された人物の密集度の分布に基づいて、車室内が異常状態であるか否かを判定する。例えば、少なくとも一つの分割領域で、算出された密集度を時間で微分した傾きが閾値以上のとき、車室内が異常状態であると判定し、ステップＳ１０６へ移行する。一方、全ての分割領域で、算出された密集度を時間で微分した傾きが閾値未満のとき、車室内が異常状態でないと判定し、ステップＳ１００へ戻る。

ステップＳ１０６では、ネットワークを介して、外部オペレータに、車内が異常状態であることを通報するメッセージを送信する。

ステップＳ１０８では、異常状態判定部１８は、密集度算出部１６によって算出された人物の密集度の分布に基づいて、車室内の異常状態の種別を判定する。例えば、一部の分割領域でのみ密集度が閾値以上である場合、又は一部の分割領域でのみ密集度の時間的変化量が閾値以上の場合、車室内で人物が倒れたことによる異常状態であると判定する。また、特定の分割領域でのみ密集度が閾値以上である場合、又は特定の分割領域でのみ密集度の時間的変化量が閾値以上の場合、自然災害又は事故が発生したことによる異常状態であると判定する。

ステップＳ１１０では、緊急性のある異常状態であるか否かを判定する。上記ステップＳ１０８で、車室内で人物が倒れたことによる異常状態であると判定された場合、または自然災害又は事故が発生したことによる異常状態であると判定された場合に、緊急性のある異常状態であると判定し、ステップＳ１１２へ移行し、そうでない場合には、ステップＳ１１４へ移行する。

ステップＳ１１２では、運転制御部２０は、自動運転ロボバスを、路肩に緊急停車させた後、ドアを開けるように制御する。

ステップＳ１１４では、運行を終了したか否かを判定し、運行を終了していない場合には、上記ステップＳ１００へ戻り、一方、運行を終了した場合には、異常状態判定処理を終了する。

以上説明したように、本発明の第１の実施の形態に係る異常状態判定装置は、走行している車両の車室内の人物の密集度の分布に基づいて、車室内の異常状態を判定することにより、車室内における人物の異常状態を精度よく判定することができる。

＜変形例＞
なお、上記の第１の実施の形態では、緊急性のある異常状態として、車室内で人物が倒れたことによる異常状態や、自然災害又は事故が発生したことによる異常状態であるかを判定する場合を例に説明したが、これに限定されるものではない。緊急性のある異常状態として、車室内の人物が嘔吐したことによる異常状態、車室内の人物が危険物を持っていたことによる異常状態、車室内の人物が暴れたことによる異常状態、車室内の人物同士の喧嘩がおこったことによる異常状態、及び車室内で痴漢が起こったことによる異常状態の少なくとも一つについて判定してもよい。このとき、人物の密集度の分布が、一人に対してスペースを空けるように他の人物が離れ、当該一人に対して離れた位置で人物が密集するものであれば、車室内の人物が嘔吐したことによる異常状態、車室内の人物が危険物を持っていたことによる異常状態、又は車室内の人物が暴れたことによる異常状態であると判定すればよい。また、人物の密集度の分布が、数人に対してスペースを空けるように他の人物が離れ、当該数人に対して離れた位置で人物が密集するものであれば、車室内の人物同士の喧嘩がおこったことによる異常状態であると判定すればよい。また、人物の密集度の分布が、二人を囲んでいた人物が離れるものであれば、車室内で痴漢が起こったことによる異常状態であると判定すればよい。

［第２の実施の形態］
次に、本発明の第２の実施の形態に係る異常状態判定装置について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第２の実施の形態では、人物の密集度の分布を含む複数種類の指標を算出し、複数種類の異常状態を判定する点と、複数種類の指標と、複数種類の異常状態の判定結果とを訓練データとして、判定モデルを学習している点とが、第１の実施の形態と異なっている。

＜異常状態判定装置の構成＞
本発明の第２の実施の形態に係る異常状態判定装置２１０は、ＣＰＵと、ＲＡＭと、後述する各種処理を実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。異常状態判定装置２１０は、自動運転で乗客を輸送し、かつ、運転手及び車掌不在のバスである自動運転ロボバスに搭載されている。

図５に示すように、異常状態判定装置２１０は、センサ１２、検知部１４、指標算出部２１６、異常状態判定部２１８、運転制御部２０、訓練データ記憶部２２２、学習部２２４、モデル記憶部２２６、及びモデル判定部２２８を備えている。

指標算出部２１６は、検知された人物に関する情報に基づいて、車室内の人物の密集度の分布を含む、車室内の人物に関する複数種類の指標を算出する。

具体的には、指標算出部２１６は、上記密集度算出部１６と同様に、車室内の乗車可能領域を分割した分割領域毎の密集度を、人物の密集度の分布として算出する。

また、指標算出部２１６は、特定の人物が継続して動き、かつ、特定の人物とは異なる複数の人物の位置が変化しない第１継続時間を算出すると共に、分割領域毎の密集度の時間的変化が継続する第２継続時間を算出する。例えば、検知された人物に関する情報に基づいて、各人物の追跡処理を行い、特定の人物のみが継続して動き、かつ、特定の人物とは異なる複数の人物の位置が変化しない第１継続時間を算出すると共に、分割領域の密集度の時間的変化がある分割領域が少なくとも１つ存在する状態が継続する第２継続時間を算出する。

また、指標算出部２１６は、人物間の距離、複数の人物からなる群衆間の距離、又はセンサ情報上の人物を表す領域間の重なり度合いを算出する。例えば、複数の人物が同じ仲間であるか否かを判定する群衆判定を行い、複数の人物が同じ仲間ではないと判定された場合には、人物間の重心距離を算出する。一方、複数の人物が同じ仲間ではあると判定された場合には、当該複数の人物を一塊の群衆と判定し、群衆間の重心距離を算出する。また、センサ情報上での人物を表すバウンディングボックス間の重なり面積を算出する。

また、指標算出部２１６は、特定の分割領域の密集度が０に対応する値であり、特定の分割領域とは異なる分割領域の密集度が閾値以上である偏り状態が継続する度合いを算出する。例えば、特定の分割領域の密集度が０に対応する値であり、特定の分割領域とは異なる分割領域の密集度が閾値以上である偏り状態が、停留所間で連続する連続回数を算出する。

また、指標算出部２１６は、人物の数が、車室内の座席数より多く、かつ、座られていない座席数が閾値以上である座席偏り状態が継続する度合いを算出する。例えば、座席位置情報を予め保持しておき、人物の数が、車室内の座席数より多い場合に、複数の人物の位置と、座席位置とを照合し、座られていない座席数を算出し、人物の数が、車室内の座席数より多く、かつ、座られていない座席数が閾値以上である座席偏り状態が、停留所間で連続する連続回数を算出する。

異常状態判定部２１８は、指標算出部２１６によって算出された複数種類の指標に基づいて、車室内の複数種類の異常状態を判定する。

異常状態判定部２１８は、指標算出部２１６によって算出された人物の密集度の分布から得られる、分割領域毎の密集度の時間的変化、又は分割領域間の密集度の変化に基づいて、車室内の異常状態を判定する。

具体的には、まず、異常状態判定部２１８は、少なくとも一つの分割領域で、算出された密集度を時間で微分した傾きが閾値以上のとき、車室内が異常状態であると判定する。あるいは、少なくとも一つの分割領域でのみ密集度が閾値以上のとき、車室内が異常状態であると判定してもよい。

また、異常状態判定部２１８は、一部の分割領域でのみ密集度が閾値以上である場合、又は一部の分割領域でのみ密集度の時間的変化量が閾値以上の場合、車室内で人物が倒れたことによる異常状態であると判定する。

異常状態判定部２１８は、特定の分割領域でのみ密集度が閾値以上である場合、又は特定の分割領域でのみ密集度の時間的変化量が閾値以上の場合、自然災害又は事故が発生したことによる異常状態であると判定する。

異常状態判定部２１８は、第１継続時間が閾値以上、又は第２継続時間が閾値以上の場合、危険人物が存在することによる異常状態であると判定する。例えば、第１継続時間が又は第２継続時間が判定閾値Ｘ秒以上である場合に、危険人物が存在することによる異常状態であると判定する（図６（Ａ）参照）。図６（Ａ）では、車室内を特定の人物が歩き回り、他の人物の各々が継続して同じ位置に存在するにもかかわらず、特定の人物のみが動き続けている例を示している。

異常状態判定部２１８は、少なくとも一つの分割領域の密集度が閾値以上の場合、人物間又は群衆間の距離が閾値以下の場合、又はバウンディングボックスの重なり面積が閾値以上の場合、混雑による異常状態であると判定する。例えば、人物または群衆の重心間の距離が１ｍ以内の場合、またはバウンディングボックスの重なり面積がｘｍ²以上の場合、混雑による異常状態であると判定する（図６（Ｂ）参照）。図６（Ｂ）に、群衆の重心間の距離が閾値以下である例を示している。

また、異常状態判定部２１８は、偏り状態が継続する度合いが閾値以上の場合、汚損又は破損が発生したことによる異常状態であると判定する。例えば、偏り状態が、停留所間で連続する連続回数が、ｙ回以上である場合に、汚損又は破損が発生したことによる異常状態であると判定する（図６（Ｃ）参照）。図６（Ｃ）では、ある箇所で密集度が高く、かつ、別の箇所で密集度が０である例を示している。

また、異常状態判定部２１８は、座席偏り状態が継続する度合いが閾値以上の場合、汚損又は破損が発生したことによる異常状態であると判定する。例えば、座席偏り状態が、停留所間で連続する連続回数が、ｚ回以上である場合に、汚損又は破損が発生したことによる異常状態であると判定する。

以上のように、異常状態判定部２１８は、複数種類の指標に基づいて、複数種類の異常状態を判定する。ここで、指標の種類と、異常状態の種類との相関関係について図７に示す。図７に示すように、分割領域毎の密集度が閾値以上であること、分割領域毎の密集度の時間的変化量が閾値以上であること、及び密集度が閾値以上である分割領域が一部のみであるという形状が、車室内で人物が倒れたことによる異常状態であることと相関している。

また、分割領域毎の密集度が閾値以上であること、分割領域毎の密集度の時間的変化量が閾値以上であること、及び密集度又は密集度の時間的変化量が閾値以上である分割領域が、特定の分割領域のみであるという形状が、自然災害又は事故が発生したことによる異常状態であることと相関している。

また、分割領域毎の密集度の時間的変化が継続すること、及び特定の人物が継続して動き、かつ、特定の人物とは異なる複数の人物の位置が変化しない、という形状が、危険人物が存在することによる異常状態であることと相関している。

また、分割領域毎の密集度が閾値以上であること、人物間又は群衆間の距離が閾値以下であること、及びセンサ情報上の人物を表す領域間の重なり度合いが閾値以上であることが、混雑による異常状態であることと相関している。

また、分割領域毎の密集度、特定の分割領域の密集度が０に対応する値であり、特定の分割領域とは異なる分割領域の密集度が閾値以上である、という形状、人物の数が、車室内の座席数より多いこと、及び座られていない座席数が閾値以上であることが、汚損又は破損が発生したことによる異常状態であることと相関している。

運転制御部２０は、異常状態判定部２１８又はモデル判定部２２８によって、車室内で人物が倒れたことによる異常状態であると判定された場合、または自然災害又は事故が発生したことによる異常状態であると判定された場合に、緊急性のある異常状態であると判断し、特定の運転動作となるように自動運転ロボバスを制御する。なお、危険人物が存在することによる異常状態であると判定された場合、混雑による異常状態であると判定された場合、汚損又は破損が発生したことによる異常状態であると判定された場合には、緊急性のある異常状態でないと判断され、自動運転ロボバスを制御せずに、外部オペレータに、車内が異常状態であることを通報するメッセージを送信することとする。また、異常状態の種類に応じて、通報先を変えてもよい。例えば、危険人物が存在することによる異常状態であると判定された場合には、車室内で異常状態であることを音声出力した後に、時間経過しても、異常状態が継続した場合に、外部オペレータに、車内が異常状態であることを通報するメッセージを送信してもよい。また、混雑による異常状態であると判定された場合には、停留所間で、１回、車室内で異常状態であることを音声出力し、停留所毎の異常状態が継続した場合に、外部オペレータに、車内が異常状態であることを通報するメッセージを送信してもよい。また、汚損又は破損による異常状態であると判定された場合には、外部オペレータに、車内が異常状態であることを通報するメッセージを送信し、その後に、外部オペレータにより、乗客に対して異常状態であることを音声出力するようにしてもよい。

訓練データ記憶部２２２は、異常状態判定部２１８によって異常状態であると判定されたときの、当該異常状態の種類と、指標算出部２１６によって算出された複数種類の指標との組み合わせである訓練データを記憶する。具体的には、訓練データ記憶部２２２は、異常状態判定部２１８によって異常状態であると判定されたときの、当該異常状態の種類と、指標算出部２１６によって算出された、分割領域毎の密集度の時系列データ、第１継続時間、第２継続時間、人物間の距離、複数の人物からなる群衆間の距離、センサ情報上の人物を表す領域間の重なり度合い、偏り状態が、停留所間で連続する連続回数、及び

座席偏り状態が停留所間で連続する連続回数との組み合わせを、訓練データとして記憶する。

訓練データ記憶部２２２には、異常状態判定部２１８によって異常状態であると判定される度に得られる訓練データが記憶され、訓練データ記憶部２２２には、複数の訓練データが記憶される。

学習部２２４は、訓練データ記憶部２２２に記憶されている複数の訓練データに基づいて、複数種類の指標から、車室内の複数種類の異常状態を判定する判定モデルを学習する。

具体的には、分割領域毎の密集度の時系列データ、第１継続時間、第２継続時間、人物間の距離、複数の人物からなる群衆間の距離、センサ情報上の人物を表す領域間の重なり度合い、偏り状態が、停留所間で連続する連続回数、及び座席偏り状態が、停留所間で連続する連続回数を入力とし、複数種類の異常状態の何れに該当するか、又は何れの異常状態でもないかを判定する判定モデルを学習する。

モデル記憶部２２６は、学習部２２４によって学習された判定モデルを記憶する。

モデル判定部２２８は、指標算出部２１６によって算出された複数種類の指標と、判定モデルとに基づいて、車室内の複数種類の異常状態を判定する。

具体的には、分割領域毎の密集度の時系列データ、第１継続時間、第２継続時間、人物間の距離、複数の人物からなる群衆間の距離、センサ情報上の人物を表す領域間の重なり度合い、偏り状態が、停留所間で連続する連続回数、及び座席偏り状態が、停留所間で連続する連続回数を判定モデルに入力し、複数種類の異常状態の何れに該当するか、又は何れの異常状態でもないかを判定する。

＜異常状態判定装置の作用＞
まず、異常状態判定装置２１０を搭載した自動運転ロボバスのドアが閉められており、かつ、自動運転ロボバスが走行しているときに、異常状態判定装置２１０において、図８に示す異常状態判定処理が実行される。このとき、センサ１２から、車室内の情報を表すセンサ情報が逐次出力されている。なお、第１の実施の形態の異常状態判定処理と同様の処理については、同一符号を付して詳細な説明を省略する。

ステップＳ２００において、指標算出部２１６は、上記ステップＳ１００で検知された人物に関する情報に基づいて、車室内の人物の密集度の分布を含む複数種類の指標を算出する。

ステップＳ１０４では、異常状態判定部２１８は、指標算出部２１６によって算出された人物の密集度の分布に基づいて、車室内が異常状態であるか否かを判定する。例えば、少なくとも一つの分割領域で、算出された密集度を時間で微分した傾きが閾値以上のとき、車室内が異常状態であると判定し、ステップＳ１０６へ移行する。一方、全ての分割領域で、算出された密集度を時間で微分した傾きが閾値未満のとき、車室内が異常状態でないと判定し、ステップＳ１００へ戻る。

ステップＳ２０１では、異常状態判定部２１８は、指標算出部２１６によって算出された複数種類の指標に基づいて、車室内の異常状態の種別を判定する。例えば、一部の分割領域でのみ密集度が閾値以上である場合、又は一部の分割領域でのみ密集度の時間的変化量が閾値以上の場合、車室内で人物が倒れたことによる異常状態であると判定する。また、特定の分割領域でのみ密集度が閾値以上である場合、又は特定の分割領域でのみ密集度の時間的変化量が閾値以上の場合、自然災害又は事故が発生したことによる異常状態であると判定する。また、第１継続時間が閾値以上、又は第２継続時間が閾値以上の場合、危険人物が存在することによる異常状態であると判定する。また、少なくとも一つの分割領域の密集度が閾値以上の場合、人物間又は群衆間の距離が閾値以下の場合、又はバウンディングボックスの重なり面積が閾値以上の場合、混雑による異常状態であると判定する。また、偏り状態が継続する度合いが閾値以上の場合、汚損又は破損が発生したことによる異常状態であると判定する。また、座席偏り状態が継続する度合いが閾値以上の場合、汚損又は破損が発生したことによる異常状態であると判定する。

ステップＳ２０２では、上記ステップＳ２０１で判定された異常状態の種別と、指標算出部２１６によって算出された複数種類の指標との組み合わせである訓練データを生成し、訓練データ記憶部２２２に格納する。

ステップＳ１１０では、緊急性のある異常状態であるか否かを判定する。上記ステップＳ２０１で、車室内で人物が倒れたことによる異常状態であると判定された場合、または自然災害又は事故が発生したことによる異常状態であると判定された場合に、緊急性のある異常状態であると判定し、ステップＳ１１２へ移行し、そうでない場合には、ステップＳ１１４へ移行する。

そして、訓練データが所定数記憶され、訓練データの数が、判定モデルを学習するのに十分な数となると、異常状態判定装置２１０において、学習部２２４は、訓練データ記憶部２２２に記憶されている複数の訓練データに基づいて、複数種類の指標から、車室内の複数種類の異常状態を判定する判定モデルを学習する。

そして、異常状態判定装置２１０を搭載した自動運転ロボバスのドアが閉められており、かつ、自動運転ロボバスが走行しているときに、異常状態判定装置２１０において、図９に示すモデル判定処理が実行される。このとき、センサ１２から、車室内の情報を表すセンサ情報が逐次出力されている。なお、上記の異常状態判定処理と同様の処理については、同一符号を付して詳細な説明を省略する。

ステップＳ２１０では、モデル判定部２２８は、指標算出部２１６によって算出された複数種類の指標と、判定モデルとに基づいて、車室内の複数種類の異常状態を判定する。

ステップＳ２１２では、上記ステップＳ２１０で何れかの異常状態であると判定されたか否かを判定する。上記ステップＳ２１０で何れかの異常状態であると判定された場合には、ステップＳ１０６へ移行する。一方、上記ステップＳ２１０で何れかの異常状態でもないと判定された場合には、ステップＳ１００へ戻る。

ステップＳ１１０では、緊急性のある異常状態であるか否かを判定する。上記ステップＳ２１０で、車室内で人物が倒れたことによる異常状態であると判定された場合、または自然災害又は事故が発生したことによる異常状態であると判定された場合に、緊急性のある異常状態であると判定し、ステップＳ１１２へ移行し、そうでない場合には、ステップＳ１１４へ移行する。

ステップＳ１１４では、運行を終了したか否かを判定し、運行を終了していない場合には、上記ステップＳ１００へ戻り、一方、運行を終了した場合には、モデル判定処理を終了する。

以上説明したように、本発明の第２の実施の形態に係る異常状態判定装置は、車室内の人物の密集度の分布を含む複数種類の指標と、複数種類の異常状態の判定結果とに基づいて、車室内の複数種類の異常状態を判定する判定モデルを学習することができる。また、車室内の人物の密集度の分布を含む複数種類の指標と、学習された判定モデルとに基づいて、車室内の複数種類の異常状態を判定することにより、車室内における人物の複数種類の異常状態を精度よく判定することができる。

＜変形例＞
なお、上記の第２の実施の形態では、判定モデルの学習と、判定モデルを用いた異常状態の判定とを一つの装置で実現する場合を例に説明したが、これに限定されない。判定モデルの学習と、判定モデルを用いた異常状態の判定とを別装置で実現するようにしてもよい。この場合には、判定モデルの学習を行うモデル学習装置が、少なくとも、センサ１２、検知部１４、指標算出部２１６、異常状態判定部２１８、訓練データ記憶部２２２、学習部２２４、及びモデル記憶部２２６を備えていればよい。また、判定モデルを用いた異常状態の判定を行う異常状態判定装置が、センサ１２、検知部１４、指標算出部２１６、運転制御部２０、モデル記憶部２２６、及びモデル判定部２２８を備えていればよい。

また、上記の第１の実施の形態、第２の実施の形態では、判定対象となる空間が、走行している車両の車室である場合を例に説明したが、これに限定されるものではなく、車室以外の空間を判定対象としてもよい。

また、異常状態判定装置１０、２１０は、自動運転で乗客を輸送し、かつ、運転手及び車掌不在のバスである自動運転ロボバスに搭載されている場合を例に説明したが、これに限定されるものではなく、異常状態判定装置１０、２１０は、自動運転ロボバス以外の車両に搭載されてもよい。例えば、鉄道車両に異常状態判定装置１０、２１０を搭載してもよい。

また、車両に搭載するのではなく、外部のサーバ等によって異常状態判定装置を実現してもよい。この場合には、車両に搭載されたセンサから出力されたセンサ情報を、ネットワークを介して異常状態判定装置へ送信するようにすればよい。

また、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ）、及びＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、各種処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

また、上記実施形態では、プログラムがＲＯＭに予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｋＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）メモリ等の非遷移的実体的記録媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙｔａｎｇｉｂｌｅｓｔｏｒａｇｅｍｅｄｉｕｍ）に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

１０、２１０異常状態判定装置
１２センサ
１４検知部
１６密集度算出部
１８、２１８異常状態判定部
２０運転制御部
２１６指標算出部
２２２訓練データ記憶部
２２４学習部
２２６モデル記憶部
２２８モデル判定部

Claims

判定対象の空間内の人物の密集度の分布を算出する算出部（１６、２１６）と、
前記算出部によって算出された前記人物の密集度の分布に基づいて、前記判定対象の空間内の異常状態を判定する判定部（１８、２１８）と、
を含み、
前記判定対象の空間は、走行している車両の車室であり、
前記算出部は、前記空間内の領域を分割した分割領域毎の密集度を、前記密集度の分布として算出し、
前記判定部は、前記分割領域毎の密集度の時間的変化、又は前記分割領域間の前記密集度の変化に基づいて、車室内の外側又はつり革位置である特定の前記分割領域のみで前記密集度が閾値以上であり、かつ、前回の判定時における各分割領域の密集度が閾値未満である場合、自然災害又は事故が発生したことによる前記異常状態であると判定する
異常状態判定装置（１０、２１０）。
前記算出部は、前記人物の密集度の分布を含む、前記判定対象の空間内の人物に関する複数種類の指標を算出し、
前記判定部は、前記算出部によって算出された前記複数種類の指標に基づいて、前記判定対象の空間内の複数種類の異常状態を判定する請求項１記載の異常状態判定装置。
前記異常状態であると判定された場合に、特定の運転動作となるように前記車両を制御する車両制御部（２０）を更に含む請求項１又は２記載の異常状態判定装置。
算出部（１６、２１６）が、判定対象の空間内の人物の密集度の分布を算出し、
判定部（１８、２１８）が、前記算出部によって算出された前記人物の密集度の分布に基づいて、前記判定対象の空間内の異常状態を判定する
ことを含み、
前記判定対象の空間は、走行している車両の車室であり、
前記算出部は、前記空間内の領域を分割した分割領域毎の密集度を、前記密集度の分布として算出し、
前記判定部は、前記分割領域毎の密集度の時間的変化、又は前記分割領域間の前記密集度の変化に基づいて、車室内の外側又はつり革位置である特定の前記分割領域のみで前記密集度が閾値以上であり、かつ、前回の判定時における各分割領域の密集度が閾値未満である場合、自然災害又は事故が発生したことによる前記異常状態であると判定する
異常状態判定方法。
判定対象の空間内の人物の密集度の分布を算出し、
前記算出された前記人物の密集度の分布に基づいて、前記判定対象の空間内の異常状態を判定する
ことを含み、
前記判定対象の空間は、走行している車両の車室であり、
前記算出することでは、前記空間内の領域を分割した分割領域毎の密集度を、前記密集度の分布として算出し、
前記判定することでは、前記分割領域毎の密集度の時間的変化、又は前記分割領域間の前記密集度の変化に基づいて、車室内の外側又はつり革位置である特定の前記分割領域のみで前記密集度が閾値以上であり、かつ、前回の判定時における各分割領域の密集度が閾値未満である場合、自然災害又は事故が発生したことによる前記異常状態であると判定する
ことをコンピュータに実行させるためのプログラム。