JP7632624B2 - 異常検知システム、異常検知方法及びプログラム - Google Patents

Description

本発明は、異常検知システム、異常検知方法及びプログラム記録媒体に関する。

特許文献１には、公共交通機関の車両内での乗客の転倒を防止するために、乗客の乗車状態と車両の走行状態との両方に基づいて乗客の安全に関する報知を行う車内監視装置が開示されている。

特開２０１６－６２４１４号公報

特許文献１に例示されている技術は、報知自体が軽微な検知や誤検知に基づくものである場合に、実行された報知に対して柔軟な対応を行うことを想定したものではない。

本発明は、上記の問題に鑑み、報知後の対応を柔軟に行う手段を提供することができる異常検知システム、異常検知方法及びプログラム記録媒体を提供することを目的とする。

本発明の一つの観点によれば、車両内で発生した異常を示す異常情報を取得する異常情報取得部と、前記車両における運転手の操作を示す操作情報を解析し、解析した結果に基づき運転状況を生成する運転状況解析部と、前記異常情報と前記運転状況とに基づき、前記異常に関する通知の出力を制御する制御部と、を備える異常検知システムを提供する。

本発明の一つの観点によれば、車両内で発生した異常を示す異常情報を取得し、前記車両における運転手の操作を示す操作情報を解析し、解析した結果に基づき運転状況を生成し、前記異常情報と前記運転状況とに基づき、前記異常に関する通知の出力を制御する、異常検知方法を提供する。

本発明の他の観点によれば、コンピュータに、車両内で発生した異常を示す異常情報を取得する処理と、前記車両における運転手の操作を示す操作情報を解析し、解析した結果に基づき運転状況を生成する処理と、前記異常情報と前記運転状況とに基づき、前記異常に関する通知の出力を制御する処理と、を実行させるプログラムを記録したプログラム記録媒体を提供する。

本発明によれば、報知後の対応を柔軟に行うことができる異常検知システム、異常検知方法及びプログラム記録媒体を提供することができる。

第１実施形態における異常検知システムの機能ブロック図を示す一例である。 第１実施形態の処理の流れを示すフローチャートの一例である。 第２実施形態における異常検知システムの機能ブロック図を示す一例である。 第２実施形態の処理の流れを示すフローチャートの一例である。 第３実施形態における異常検知システムの機能ブロック図を示す一例である。 第３実施形態の処理の流れを示すフローチャートの一例である。 第４実施形態の処理の流れを示すフローチャートの一例である。 各実施形態における異常検知システムのハードウェア構成の一例である。 各実施形態における異常検知システムと連携する映像解析システムの構成例である。

以下、図面を参照しつつ本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。
［第１実施形態］
本実施形態における異常検知システム１は、人物が乗車する車両や列車等の交通機関において、車内で異常が発生したことを検知し、異常に関する通知の出力を制御する。さらに、本実施形態における異常検知システムは、運転手の操作または車両の運転状況に応じて通知を解除する。

車内で発生する「異常」とは事故を示す事象を含む。例えば、異常とは、乗車している人物の転倒、強打、人物間の衝突等の事故を示す。他の例では、異常とは車内での発火、不審物の存在等の事象を含んでもよい。

また、「異常」とは、事故に繋がり得る予兆を含む事象を示すものであってもよい。例えば、人物が車内の手すりに掴まっていないという状態である他、座席に座っていない、乗降口付近に立つ、走行中に移動する、うずくまる、シートベルトを装着していない、人物同士の距離が近い等の状態または動作である。その他の例では、人物が荷物を置き去る行為等も挙げられる。

また、以降は異常検知システム１を車両に適用した例を用いて説明するが、異常検知システム１が適用される例はこれに限定されない。異常検知システム１は、バス、タクシー、一般車両等の他、列車、航空機等、人物が搭乗する交通機関において適用可能である。

図１を用いて本実施形態における異常検知システム１を説明する。図１は本実施形態における異常検知システム１の機能ブロック図である。異常検知システム１は、異常情報取得部１０１、運転状況解析部１０２、制御部１０３を備える。

異常情報取得部１０１は、車内で発生した異常を示す情報である異常情報を取得する。異常情報は、事故または事故の予兆の発生の有無、種類、発生した位置、時刻等を示す情報を含む。異常情報の種類とは、事故の発生そのものであるか、予兆であるかを示す情報に加え、先に例示したような、事故または予兆の具体的な内容を示すものであってもよい。

車両には運転装置に対する運転手の操作を検出する各種センサが備えられる。各種センサとは、例えばハンドルの変位量、ブレーキペダルの踏み込み量、シフトレバー操作等、各種運転装置に対する運転手の操作を示す情報（操作情報）を取得するものである。なお、運転装置による車両制御が電子的に行われる場合は、当該運転装置から発せられた電気信号を操作情報として取得してもよい。

運転状況解析部１０２は、運転装置から得られた操作情報を読み出し、解析を行うことで車両の現在の運転状況を生成する。運転状況とは、車両自体の定速走行中、加速中、減速中、右折中、左折中、後退中、等の車両がどのように移動しているかを示す情報を含む情報である。運転状況解析部１０２は、一定の周期で操作情報を読み出し、最新の運転状況を生成する。なお、運転状況解析部１０２は、一定の周期で操作情報と運転状況を最新の情報に更新してもよい。

制御部１０３は、異常情報と運転状況とに基づき、異常に関する通知の出力を制御する。具体的には、制御部１０３は、異常情報に基づき通知を出力するように制御を行う。さらに、制御部１０３は通知の出力中に運転状況が更新されたことを受け、更新された運転状況に応じて出力中の通知を停止するように制御を行う。例えば、通知が出力されている間に運転状況が車両の右折や加速を示す場合、運転手は意図して異常に関する通知よりも車両の走行を優先させている可能性が高い。従って、通知の出力中に更新された運転状況が右折や加速を示す場合、制御部１０３は出力中の通知を停止するように制御してもよい。

また、制御部１０３は運転状況に代えて、操作情報に基づき出力中の通知を停止させるように制御してもよい。例えば、操作情報のうち、通知の出力中にアクセルペダルの踏み込み量が閾値を超えた場合、運転手は異常に関する通知を無視して、車両の走行を優先させている可能性が高い。従って、更新された操作情報がアクセルペダルの踏み込みを示す場合、制御部１０３は通知の出力を停止するように制御してもよい。

制御部１０３が出力中の通知を停止させる条件は上記に限定されず、運転状況が左折や減速、バック等を示す場合や、操作情報におけるハンドルの変位量やシフトレバー操作等に基づくものであってもよい。出力中の通知を停止させる条件は上記の例に限定されない。

図２を用いて本実施形態における異常検知システム１の処理の流れを説明する。異常情報取得部１０１は車両内で発生した異常を示す異常情報を取得する（Ｓ１０１）。次に、運転状況解析部１０２は、センサにより取得された操作情報を解析し、車両の運転状況を生成する（Ｓ１０２）。次に、制御部１０３は、異常情報と運転状況とに基づき、異常に関する通知の出力を制御する（Ｓ１０３）。

本実施形態における異常検知システム１は、異常情報と運転状況とに基づき、通知の出力を制御する制御部１０３を備える。これにより、センサが検知した異常が軽微な場合や、誤検知である場合に、運転状況を鑑みて通知の出力を柔軟に制御することで、通知が運転手の運転の妨げになることを防げるという効果が期待できる。
［第２実施形態］
次に図３を用いて第２実施形態における異常検知システム２を説明する。図３は本実施形態における異常検知システム２の機能ブロック図である。本実施形態における異常検知システム２は、異常検知部２０１、異常情報取得部２０２、運転情報取得部２０４、運転状況解析部２０５、判定部２０７、制御部２０８、通知部２０９、記憶部２１１を備える。なお、本実施形態の説明においては上述した実施形態と重複する説明は省略する。

異常検知部２０１はセンサ２０１１を備え、センサ２０１１が取得した情報を基に車内で発生する異常を検知する。センサ２０１１は、例えばカメラや赤外線センサ、加速度センサ等である。次に、センサ２０１１がカメラである場合の例を用いて、異常検知部２０１の具体的な処理を説明する。

センサ２０１１がカメラである場合について説明する。センサ２０１１は車内の一定範囲を撮像する。異常検知部２０１は、カメラが撮像した画像に映る人物の姿勢を推定する。姿勢の推定は周知技術を利用することで実現可能であるが、一例では、画像に映る人物の関節位置を検知し、関節位置の変化に基づき姿勢を推定する。また、他の例では、予め人物画像のヒストグラムと当該人物画像が示す姿勢を教師データとして機械学習を行うことで識別器を生成し、当該識別器を用いて人物が映る画像から当該人物の姿勢を推定する。その他、人物の姿勢推定には画像に映る人物の姿勢を推定する種々の手法を用いることができる。異常検知部２０１は、カメラに映る人物の姿勢を推定し、推定した姿勢が事故の発生を示す姿勢または事故の予兆に繋がる所定の姿勢である場合に、異常が発生したことを検知する。

事故の発生を示す所定の姿勢とは、転倒、横たわる、人物間の接触、うずくまる、走る等の姿勢である。事故の予兆を示す所定の姿勢とは、また、所定の姿勢とは手すりに掴まずに立つ、歩行等の姿勢であってもよい。なお、所定の姿勢とは車両の走行中と停車中とで異なるように定義してもよい。例えば、手すりを掴まない、歩行等は走行中に行われると危険な動作である。従って、所定の姿勢のうち、手すりを掴まずに立つことを示す姿勢、歩行を示す姿勢等の一部の姿勢は、車両の走行中において事故の予兆を示す姿勢として検知するものであってもよい。

また、異常検知部２０１は車内の乗降口等の所定のエリアに人物が存在すること自体を異常として検知する。より具体的には、異常検知部２０１はセンサ２０１１が車両内を撮像した画像から人物を検知する。異常検知部２０１は、検知した人物が所定のエリアに存在するか否かを判定し、所定のエリアに存在する場合に、異常を検知する。所定のエリアとは、車両の乗降口の他、予め定義された通路等である。その理由は、バス等の車両においては、乗降口付近に人物が存在すると、乗降する人物と衝突する恐れがあるためである。また、車両内において手すりの無い通路に人物が立つと転倒の危険があるためである。所定のエリアとは上記の例に限定されず、使用不可と設定された座席等であってもよく、予め定義された位置や空間を示すものであればよい。

なお、センサ２０１１はカメラに限らず、赤外線センサ、加速度センサ、超音波センサ等であってもよい。その場合、センサ２０１１は所定のエリア周囲に設置され、人物が所定のエリアに存在するか否かを判定し、異常を検知する。また、センサ２０１１は車内の手すりや吊革等に設置され、手すりやつり革等に加わる加速度が閾値以上である場合に異常を検知してもよい。

なお、異常検知部２０１は、特許文献１（特開２０１６－６２４１４号公報）に記載されている危険の有無を判定する手法を用いることで、車内で発生した異常を検知してもよい。異常検知部２０１が採用する手法は上記に限定されず、その他の周知技術を用いてもよい。

異常情報取得部２０２は、異常検知部２０１が異常を検知すると、後述する異常情報を生成する。

異常情報とは、事故または事故の予兆の発生の有無、種類、異常が発生した位置、時刻等を含む情報である。異常情報の種類とは、事故の発生そのものであるか、予兆であるかを示す情報に加え、先に例示したような、事故または予兆の具体的な内容を示すものであってもよい。

運転情報取得部２０４は、各種センサを用いて車両の運転操作を示す操作情報、車両自体の位置情報、及び車両周囲の環境を映した撮像画像を取得する。

運転情報取得部２０４は、運転操作を検知する各種センサを用いて一定の周期で操作情報を取得する。

操作情報とは、車両の運転装置が備える各種装置の操作を示す情報である。例えば、ハンドルを右に切る、ハンドルを左に切る、アクセルペダルを踏む、ブレーキペダルを踏む、車両を加減速させる方向にブレーキペダルやアクセルペダルを踏む力を変える、ウインカーを点滅させる等の一般的な運転操作を示す。

なお。運転装置とは車両を制御するために運転手の操作を受け付け、車両の発車、停車、右左折等の各種動作を制御する装置を示す。なお、運転装置が備える各種装置は、ハンドル、アクセルペダル、ブレーキペダル、クラッチペダル、ギア、シフトレバーの他、ウインカー、ワイパー、ライト等を動作させるための操作を受け付ける装置である。

運転情報取得部２０４は、各種測位センサを用いて車両の位置情報を取得する。運転情報取得部２０４は、GPSセンサ（Global Positioning System）の他、無線通信によって位置情報を取得してもよい。

また、運転情報取得部２０４は、カメラを用いて車両外を撮像した撮像画像を取得する。撮像画像は、車両周囲を歩行する人物、他の車両、標識や信号等の周辺環境を映した画像である。カメラの種別は可視光カメラに限定されず、赤外線カメラの他、ステレオカメラ、魚眼カメラ等であってもよい。

運転状況解析部２０５は、運転情報取得部２０４が取得した操作情報、位置情報、撮像画像を解析し、後述する移動状況と環境情報とを含む運転状況を生成する。また、運転状況解析部２０５は、一定の周期で運転情報取得部２０４から操作情報を読み出し、運転状況を生成することで、最新の運転状況を更新する。

次に、運転状況解析部２０５が行う解析処理について説明する。

運転状況解析部２０５は、操作情報を解析することで運転状況の一部である移動状況を生成する。移動状況とは、車両自体がどのような移動を行っているかを示す情報であり、例えば、車両自体の定速走行中、加速中、減速中、右折中、左折中、後退中、等を示す情報である。運転状況解析部２０５は識別器を備え、識別器に操作情報を入力することで移動状況を生成する。識別器は機械学習により生成されたものであってもよいし、ルールベースにより構築されたものであってもよい。

次に、運転状況解析部２０５が移動状況を生成する例を説明する。一般に、運転中の運転手が車両を左折させる場合、運転手は「左ウインカーを出す」動作を行い、「ブレーキペダルを踏み込む」動作を行った後、「ハンドルを小さく左に切る」動作を行う。従って、運転状況解析部２０５は、操作情報が「左ウインカーを出す」動作、「ブレーキペダルを踏み込む」動作、「ハンドルを左に切る」動作が連続的または同時に行われていることを示す場合、操作情報に基づき「左折」を示す移動状況を生成する。

また、他の例では、停車企図する場合、一般に運転手は「左ウインカーを出す」動作を行い、「ブレーキを踏む」動作を行うとともに「ハンドルを大きく左に切る」動作を行う。従って、運転状況解析部２０５は、操作情報が「左ウインカーを出す」動作、「ブレーキを踏む」動作、「ハンドルを左に切る」動作が連続的又は同時に行われていることを示す場合、操作情報に基づき「停車企図」を示す移動状況を生成する。

このとき、運転状況解析部２０５は、ハンドルの操作量を取得し、上記の条件に併せてハンドルの操作量に基づき移動状況を判定してもよい。「左折」と「停車企図」とにおける運転操作を比較すると、運転手は「左折」を行う際にはハンドルを大きく左に切り、「停車企図」を行う際にはハンドルを小さく左に切る。従って、上記の例において、運転状況解析部２０５は、ハンドルの操作量が相対的に大きい場合には「左折」を示す移動状況を生成し、ハンドルの操作量が相対的に小さい場合には「停車企図」を示す移動状況を生成してもよい。これにより、より詳細な移動状況の判別を行うことができる。

さらに他の例では、右車線への車線変更を行う場合、運転手は一般に「右ウインカーを出す」動作を行い、「アクセルペダルを踏む」動作を行うとともに「ハンドルを右に切る」動作を行う。従って、運転状況解析部２０５は、操作情報が「右ウインカーを出す」動作、「アクセルペダルを踏む」動作、「ハンドルを右に切る」動作が連続的または同時に行われていることを示す場合、「車線変更」を示す移動状況を生成する。

運転状況解析部２０５が操作情報をもとに移動状況を生成する例は上記に限定されない。例えば、上記の「停車企図」は道路の左側の路肩に停車することを想定した例であるが、国によっては右側の路肩に停車する場合も有り得る。その場合は「停車企図」を示す移動状況を生成する根拠として「ハンドルを右に切る」という操作情報を採用してもよい。

運転状況解析部２０５は、位置情報および撮像画像を解析し、運転状況の一部である環境情報を出力する。環境情報とは、車両が存在する周囲の環境を示す情報であり、例えば、交差点、高速道路の入口、通行止め区域、規制区域、渋滞区域、停留所の周囲などを示す。

例えば、運転状況解析部２０５は、位置情報を既存の地図情報と照合することで、車両が交差点に位置するのか、高速道路の入口に位置するのか等を示す環境情報を出力する。

また、既存の地図情報が、道路の位置と関連付けて渋滞区域や通行止めの道路、車線規制の有無等を有する場合、運転状況解析部２０５は、位置情報に基づき、車両が渋滞や通行止め、その他規制の対象区域内に存在することを示す環境情報を生成する。

また、運転状況解析部２０５は、撮像画像に映る物体を解析し、通行止めや規制を示す標識が映る場合に、車両が規制の対象区域内に存在することを示す環境情報を生成する。
また、運転状況解析部２０５は、撮像画像に信号機が映る場合に、車両が交差点に位置することを示す環境情報を生成する。

運転状況解析部２０５の処理は上記の例に限定されず、位置情報と撮像画像の両方に基づき環境情報を出力するものであってもよい。例えば、運転状況解析部２０５は、「交差点の無い一本道のある地点」を示す位置情報と、「道路を横断する人物を映す」撮像画像とに基づき、「横断歩道の手前」を示す環境情報を生成してもよい。

以上のように、運転状況解析部２０５は、操作情報、位置情報、撮像画像を解析することにより、移動状況と環境情報とを含む運転状況を生成する。

判定部２０７は、運転状況が通知を停止する状況に該当するか否かを識別する識別器を備える。判定部２０７は識別器を用いて、運転状況が通知を停止する状況に該当するか否かを判定する。判定部２０７は、運転状況が更新される度に判定を行う。なお、識別器はルールベースにより構築されたものであってもよいし、機械学習済みのものであってもよい。

判定部２０７がルールベースにより構築された識別器を用いる場合について説明する。不図示の記憶部は、異常情報と運転状況と通知停止の対象の要否とを関連付けたデータベースを記憶する。より具体的には、データベースは、異常情報と、移動状況および環境情報と、通知停止の対象の要否が関連付いた情報を格納する。判定部２０７の識別器は、データベースを参照し、運転状況が通知停止の対象である所定の状況であるか否かを判定する。通知停止の対象である所定の状況は移動状況と環境情報との組み合わせによって特定される。例えば、運転状況のうち移動状況が「右折」かつ環境情報が「交差点」を示す場合、移動状況が「車線変更」かつ環境情報が「高速道路の入口」を示す場合、もしくは移動状況が「停車企図」かつ環境情報が「停留所付近」を示す場合等である。また、所定の状況とは、環境状況に依らず、運転状況のうち移動状況が「減速」「加速」を示す状況であってもよいし、運転状況に依らず、環境状況が「高速道路の入口」を示す状況であってもよい。通知停止の対象である所定の状況とは上記の例に限定されない。

次に判定部２０７が機械学習により得られた識別器を用いる場合について説明する。判定部２０７は、機械学習により得られた識別器を用いて、運転状況が通知停止の対象である所定の状況であるか否かを判定する。識別器は、例えば、異常情報と移動状況と環境情報を入力データとし、通知停止の対象の可否を出力データとして教師あり学習を行うことで得られるものである。また、識別器は、異常情報に加え、移動状況または環境情報のうち一方のみを入力データとし、通知停止の対象の可否を出力データとして教師あり学習を行うことで得られるものであってもよい。判定部２０７は、識別器を用いて、異常情報と運転状況を入力として、通知停止の対象の可否を出力する。

制御部２０８は通知制御部２０８１を備える。通知制御部２０８１は、取得された異常情報に基づき、通知部２０９が通知を出力するように制御する。

また、通知制御部２０８１は、通知の出力中に運転状況が更新された場合、更新された運転状況に応じて出力中の通知を停止するように制御を行う。

さらに、通知制御部２０８１は運転状況に代えて、操作情報に基づき出力中の通知を停止させるように制御してもよい。例えば、操作情報のうち、通知の出力中にアクセルペダルの踏み込み量が閾値を超えた場合、運転手は異常に関する通知を無視して、車両の走行を優先させている可能性が高い。従って、更新された操作情報がアクセルペダルの踏み込みを示す場合、制御部１０３は通知の出力を停止するように制御してもよい。出力中の通知を停止させる条件となる操作情報は適宜設定され得る。

通知部２０９は、通知制御部２０８１の制御を受け、映像や音声等の通知を出力する。通知部２０９は、運転手が確認可能なディスプレイや、スピーカー、タブレット、スマートフォン、ウェアラブルデバイス、これらの複合機器であってもよい。通知部２０９は、ディスプレイ等の表示装置１０４Ｂである場合、検知した異常を示す異常情報を表示する。例えば、車内で検知された異常が「人物の転倒」である場合、通知部２０９は、「人物の転倒」を示す情報、異常が「事故の発生」であることを示す情報、異常が発生した車内の位置及び時刻を表示する。また、車内で検知された異常が「手すりに掴まらずに立つ人物の存在」である場合、通知部２０９は、「手すりに掴まらずに立つ人物の存在」を示す情報、異常が「事故の予兆」であることを示す情報、異常が発生した車内の位置及び時刻を表示する。

通知部２０９は、通知部２０９が表示する情報の一部または全てを音声出力してもよい。また、通知部２０９は、センサ２０１１が取得した異常検知の根拠となる情報を出力してもよい。異常検知の根拠となる情報とは、センサ２０１１が取得した映像、画像、音声、その他のセンサ情報である。

次に図４を用いて異常検知システム２の処理の流れを説明する。異常検知部２０１はセンサ２０１１が取得した情報を基に車内で発生する異常を検知する（Ｓ２０１）。異常情報取得部２０２は、異常検知部２０１が異常を検知したことを受け、異常情報を生成する（Ｓ２０２）。制御部２０８は、異常情報に基づき、通知部２０９が通知を出力するように制御する（Ｓ２０３）。

続いて、運転情報取得部２０４は、各種センサを用いて車両の運転操作を示す操作情報、車両自体の位置情報、及び車両周囲の環境を映した撮像画像を取得する（Ｓ２０４）。運転状況解析部２０５は、運転情報取得部２０４が取得した操作情報、位置情報、撮像画像を解析し、移動状況と環境情報とを含む運転状況を出力する（Ｓ２０５）。

判定部２０７は識別器を用いて、運転状況が通知を停止する状況に該当するか否かを判定する（Ｓ２０６）。制御部２０８は、判定部２０７の判定結果に基づき、出力された通知を停止するように通知部２０９を制御する（Ｓ２０７）。通知部２０９は、制御部２０８の制御を受け、通知を停止する。

本実施形態における異常検知システム２によれば、軽微な異常を検知した場合や、誤検知である場合であっても、運転状況を鑑みて通知を柔軟に制御することができる。さらに、異常検知システム２は運転手の運転操作や車両自体の運転状況に応じて出力中の通知を解除するため、通知の解除にあたり運転手に余計な操作を要求することが無く、操縦負荷を軽減することができる。
［第３実施形態］
次に第３実施形態における異常検知システム２について説明する。本実施形態における異常検知システム２は、制御部２０８が車両制御部２０８２を備え、車両制御部２０８２が異常情報及び判定部２０７の判定結果に基づき運転操作の一部を無効化するように車両の動作を制御する点で、上述した実施形態とは相違する。なお、本実施形態の説明においては上述した実施形態と重複する説明は省略する。

図５は本実施形態における異常検知システム２が備える制御部２０８の機能ブロック図である。制御部２０８はさらに車両制御部２０８２を備える。車両制御部２０８２は、異常情報に基づき運転操作の一部を無効化するように車両の動作を制御する。運転操作の無効化とは、運転手の運転操作の一部を受け付けないように車両の動作を制御することを指す。

例えば、生成された異常情報が「人物の転倒」を示す場合、車両制御部２０８２は運転手の運転操作による加速を無効化するように車両の制御を行う。なお、この例では無効化の対象となる運転操作は加速に関わるものに留まり、ブレーキペダルを踏み込むことによる減速等は無効化されないように設定してもよい。

車両制御部２０８２が制御を行う根拠とする異常情報は上記の例に限られない。また、車両制御部２０８２が無効化する運転操作とは、加速を無効化させる等の軽微な制御に留めることが好ましい。車両制御部２０８２が加速を無効化する場合、無効化の方法としては、単にアクセルペダルによる加速指示を無効化する方法の他、車両のギアをニュートラル状態に変更する、マニュアル車の場合にクラッチを踏んだ状態に変更する等の方法をとってもよい。無効化する運転操作の例はこれに限定されない。

また、車両制御部２０８２は、判定部２０７の判定結果に基づき、実行中の車両制御を解除する。換言すると、車両制御部２０８２は、異常が発生した場合に運転手の運転操作の一部を無効化させ、運転状況が所定の状況を満たす場合には、運転状況が所定の状況である場合には、運転操作の無効化を解除するように車両の制御を実行する。なお、判定部２０７の判定結果は、他の実施形態と同様に、取得された異常情報に対し運転状況が予め定義された所定の状況を満たすか否かを示すものである。

一例として、車両制御部２０８２が異常情報に基づき車両を運転操作による加速を無効化させた後の状況を想定する。この状況下で運転手が連続的にアクセルペダルを踏み込んだ場合、運転手は車両制御部２０８２の制御を無視しようとしている可能性が高い。車両制御部２０８２が運転操作による加速を無効化したにも関わらず、運転手が継続的にアクセルペダルを踏み込む等、無効化された運転操作を試みた場合、車両制御部２０８２は運転操作の無効化を解除するように車両を制御する。

車両制御部２０８２が運転操作の無効化を解除する条件について詳細に説明する。例えば、不図示の記憶部は、車両制御部２０８２が無効化する運転操作の内容と、無効化を解除する条件を示す所定の状況とが関連付けられたデータベースを記憶する。判定部２０７は、データベースを参照することで、運転状況が所定の状況を満たすか否かを判定する。車両制御部２０８２は、判定結果を受け、運転操作の無効化を解除する。換言すると、判定部２０７は、異常情報と運転状況とに基づき運転手の運転操作による車両の制御を無効化するか否かを決定する。なお、上記は説明の便宜上用いた一例であり、運転操作の一部の無効化を解除する条件は上記に限定されない。

次に図６を用いて本実施形態における異常検知システム２の処理の流れを説明する。ステップＳ２０２に続き、車両制御部２０８２は、異常情報に基づき運転操作の一部を無効化させるように車両の動作を制御する（Ｓ６０１）。

その後、図４等に示す他の実施形態と同様に、運転情報取得部２０４は、車両の運転情報を示す情報を取得する（Ｓ２０４）。また、運転状況解析部２０５は、運転情報取得部２０４が取得した運転情報を解析し、運転状況を生成する（Ｓ２０５）。判定部２０７は、出力された運転状況が所定の条件を満たすか否かを判定する（Ｓ２０６）。

ステップＳ２０６に続き、車両制御部２０８２は、判定部２０７の判定結果に基づき、実行された運転操作の無効化を解除する（Ｓ６０３）。

なお、車両制御部２０８２が運転操作の無効化を解除するとともに、制御部２０８が備える通知制御部２０８１は、出力中の通知を停止するように制御してもよい。

本実施形態における異常検知システムによれば、異常を検知した場合に、運転操作の一部を無効化させる制御を実行し、加えて、運転状況に応じて運転操作の無効化を解除する。これにより、運転手に通知の状況を確認する余裕を確保させ、異常検知に対する適切な対応を促すことができる。
［第４実施形態］
次に第４実施形態における異常検知システム２について説明する。本実施形態における異常検知システム２は、判定部２０７が運転状況を判定し、通知制御部２０８１が判定結果及び異常情報に応じて通知を出力するタイミングを決定する点で、上述した実施形態とは相違する。なお、本実施形態の説明においては上述した実施形態と重複する説明は省略する。

本実施形態における異常検知システム２の機能ブロック図は第２または第３実施形態と同様である。判定部２０７は、先の実施形態と同様に運転状況が所定の状況か否かを判定する。なお、判定部２０７は、一定時間毎に現在の運転状況が所定の状況に該当するか否かを判定することが好ましい。

通知制御部２０８１は、先の実施形態と同様に異常情報に基づき通知の出力を制御する。ここで、判定部２０７の判定結果が、運転状況が所定の状況であることを示す場合、通知制御部２０８１は、異常情報が事故の発生自体を示すものか、事故の予兆を示すものかに応じて通知を出力するタイミングを決定する。通知制御部２０８１は、決定したタイミングで通知部２０９が通知するように制御する。

以下で具体例を用いて説明する。例えば、車内で異常が発生した時点で、運転装置が車線変更等の複雑な運転操作を受け付けている場合を想定する。この場合、異常情報取得部２０２は異常情報を取得する。判定部２０７は運転状況が「車線変更」という所定の状況に該当することを判定する。通知制御部２０８１は、判定結果が「車線変更」という所定の状況下であることを受け、異常情報の内容に応じて、通知を優先するか、「車線変更」を優先するかを決定する。例えば、異常情報が「人がうずくまる動作」という事故の発生を示唆する場合、緊急事態が発生している可能性が高い。この場合、通知制御部２０８１は、判定部２０７が「車線変更」という状態が解消したと判定する前から、即時に異常の内容を示す通知を出力するように制御する。一方で、異常情報が「手すりに掴まらずに立つ人物の存在」を示す場合は緊急性が低い。この場合、通知制御部２０８１は、判定部２０７が「車線変更」という状態が解消されたと判定した後に、異常の内容を示す通知を出力するように制御する。

以上のように、通知制御部２０８１は、運転状況が所定の状況である場合には、異常情報の内容に応じて、所定の状況が解消される前に通知を出力するか、解消された後に出力するか等のタイミングを変える。

次に図７を用いて本実施形態における異常検知システム２の処理の流れを説明する。異常検知部２０１はセンサ２０１１が取得した情報を基に車内で発生する異常を検知する（Ｓ４０１）。異常情報取得部２０２は、異常検知部２０１が異常を検知したことを受け、異常情報を生成する（Ｓ４０２）。運転情報取得部２０４は、車両の運転情報を示す情報を取得する（Ｓ４０３）。運転状況解析部２０５は、運転情報取得部２０４が取得した運転情報を解析し、運転状況を生成する（Ｓ４０４）。

ステップＳ４０４に続き、判定部２０７は、運転状況が所定の状況か否かを判定する（Ｓ４０５）。通知制御部２０８１は、判定結果のうち、操作状況または移動状況が所定の状況を満たす場合（Ｓ４０６，ＹＥＳ）、異常情報が事故の発生自体を示すものか、事故の予兆を示すものかに応じて通知を出力するタイミングを決定する（Ｓ４０７）。なお、判定結果が所定の状況を満たさない場合（Ｓ４０６、ＮＯ）、ステップＳ４０８に進む。通知制御部２０８１は、通知部２０９が通知するように制御する（Ｓ４０８）。ここで、通知制御部２０８１はステップＳ４０３において通知を出力するタイミングが決定されている場合には、当該タイミングにおいて通知を出力するように制御する。

なお、ステップＳ４０８に続いて、ステップＳ２０５～Ｓ２０７（図４）を実行してもよい。

本実施形態における異常検知システム２によれば、発生した異常の重要度と、車両が置かれている運転状況に応じて、通知を出力するタイミングを柔軟に変えることができる。
［変形例］
上記の実施形態に適用可能な変形例を説明する。第４実施形態における異常検知システム２は、車両の運転状況に応じて通知を出力するタイミングを変えるが、さらに車両の運転状況に応じて通知する手段を変えてもよい。例えば、通知部２０９がディスプレイとスピーカーである場合、異常が事故の予兆である場合にはスピーカーによる通知は行わず、ディスプレイによる通知のみを行う。また、異常が事故の発生を示す場合は、ディスプレイとスピーカーの両方による通知を行うように設計してもよい。上記のディスプレイとスピーカーは一例に過ぎず、通知する手段を変更する例はこれに限定されない。

他の変形例を説明する。異常が事故の予兆である場合であっても、予兆の検知が長時間に渡り複数回検知される場合には、さらに通知の出力を変化させてもよい。例えば、上記第４実施形態における具体例では、異常情報が「手すりに掴まらずに立つ人物の存在」を示す場合は、通知制御部２０８１は、判定部２０７が「車線変更」という状態が解消されたと判定した後に、異常の内容を示す通知を出力するように制御する。これに対し、既に「手すりに掴まらずに立つ人物の存在」が長時間に渡り複数回検知されていた場合には、通知制御部２０８１は、判定部２０７が「車線変更」という状態が解消されたと判定する前に、異常の内容を示す通知を出力するように制御する。なお、上記の具体例は一例に過ぎず、通知の対象とする異常情報や、運転状況等は上記に限定されない。
［変形例１］
次に、上述した実施形態に適用可能な変形例を説明する。本変形例における異常検知システム２について説明する。本変形例における異常検知システム２は、異常情報取得部２０２が異常検知の信頼度を含む異常情報を生成し、制御部２０８が判定部２０７の判定結果及び信頼度に基づき制御を異ならせる点で、上述した実施形態とは相違する。なお、本実施形態の説明においては上述した実施形態と重複する説明は省略する。

異常情報取得部２０２は、車両内で異常が発生したことの確からしさを示す確度を含む異常情報を生成する。

制御部２０８は、判定部２０７の判定結果及び信頼度に基づき、運転装置または通知部２０９の制御を異ならせる。例えば、信頼度が第１の閾値未満である場合、制御部２０８は通知部２０９が備えるディスプレイとスピーカーの両方に通知を出力させる制御は行うが、車両の制御は行わない。また、信頼度が第１の閾値より小さい第２の閾値未満である場合、制御部２０８は通知部２０９が備えるディスプレイのみに通知を出力させる制御は行う。

これにより、異常検知の確からしさに応じた柔軟な報知や車両の制御を行うことができる。

なお、上記の第１及び第２の閾値は、運転手やシステムの管理者の操作により変更可能である。例えば、ハンドル等の運転座席付近に取り付けられた不図示の入力装置により、第１及び第２の閾値を変更してもよい。この場合、検出対象である異常の内容ごとに第１及び第２の閾値を変更可能であってもよいし、異常を検出するセンサ２０１１ごと第１及び第２の閾値を変更可能にしてもよい。これにより、運転中に異常が過敏に検出される場合であっても適切な検出精度を保つことができる。
［変形例２］
上述した実施形態に適用可能な他の変形例を説明する。制御部２０８は不図示の入力装置の操作により通知の消去や車内へのアナウンス、緊急通報等を行うための処理を実行してもよい。入力装置とは、例えばハンドル等の運転座席付近に設置されたボタン、タッチパネル、音声センサ等であるが、これに限定されない。

また、不図示の入力装置は、検出した異常に対する運転手の判断を入力するものであってもよい。例えば入力装置には下記の３項目が設けられる。
（Ａ）異常検出が正常であり対応が完了したことを示す項目
（Ｂ）異常検出が正常であり一定時間後に再確認を行うことを示す項目
（Ｃ）異常検出が誤りであることを示す項目
運転手は通知部２０９の通知を受け、上記のうち異常検出がどの項目に該当するかを判断し、入力装置の該当項目を選択する。

項目ＡまたはＣが選択された場合、通知部２０９は速やかに通知を停止する。

項目Ｂが選択された場合、通知部２０９は一定時間後に再度通知を実行するとともに通知する内容を変える。例えば、通知部２０９は発生した異常の内容と発生時刻を通知するに留まっていたところ、項目Ｂが選択されたことを条件に、車内において異常が発生した位置を追加で通知する。

なお、上記の入力装置に依らず、異常が継続して検出された場合、または、同様の異常が再度検出された場合にも同様に、通知部２０９は通知する異常情報の内容を変えるように設計してもよい。

これにより、運転手に対して異常検出に対する柔軟な対応を行う手段を提供することができる。
［ハードウェア構成例］
次に、上述した各実施形態における、異常検知システム（１、２）を、一つ以上のコンピュータを用いて実現するハードウェア構成の一例について説明する。異常検知システム（１、２）は、コンピュータを搭載し、当該コンピュータにプログラムを実行させることで異常検知システム（１、２）の機能が実現できる。また、異常検知システム（１、２）は、当該プログラムにより異常検知システム（１、２）の異常検知方法を実行する。また、当該プログラムは、コンピュータが読み取り可能なプログラム記憶媒体に記録することができる。異常検知システム（１、２）が備える各機能部は、任意のコンピュータの少なくとも１つのＣＰＵ（Central Processing Unit）、少なくとも１つのメモリ、メモリにロードされるプログラム、そのプログラムを格納する少なくとも１つのハードディスク等の記憶ユニット、ネットワーク接続用インターフェイス等を中心にハードウェアとソフトウエアの任意の組合せによって実現される。この実現方法、装置には種々の変形例があることは、当業者には理解されるところである。なお記憶ユニットは、装置の出荷以前から格納されているプログラムのほか、光ディスク、光磁気ディスク、半導体フラッシュメモリ等の記録媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納可能である。

図８は、異常検知システム（１、２）のハードウェア構成を例示するブロック図である。図８に示すように、異常検知システム（１、２）は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、通信インターフェイス５Ａ、バス６Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。異常検知システム（１、２）は周辺回路４Ａを有さなくてもよい。なお、異常検知システム（１、２）は物理的及び／又は論理的に分かれた複数の装置で構成されてもよい。この場合、複数の装置各々が上記のハードウェア構成を備えることができる。

バス６Ａは、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、通信インターフェイス５Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）やマイクロプロセッサ等の演算処理装置である。プロセッサ１Ａは、例えば、メモリ２Ａに記憶された各種プログラムに従って処理を実行することが可能である。

メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリであり、プログラムや各種データを記憶する。

入出力インターフェイス３Ａは、入力装置、外部装置、外部ストレージ部、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部ストレージ部等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばタッチパネル、キーボード、マウス、マイク、カメラ等である。出力装置は、例えばディスプレイ、スピーカー、プリンタ、ランプ等である。

プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

通信インターフェイス５Ａは異常検知システム（１、２）が不図示の外部装置と相互に通信することを実現する。なお、異常検知システム（１、２）の一部の機能をコンピュータで構成してもよい。
［付記事項］
なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。例えば、各実施形態や変形例に開示される構成や処理を互いに組み合わせてもよい。
［映像解析システム構成例］
上記の実施形態の構成を含む映像解析システム１Ｂの構成例を説明する。映像解析システム１Ｂは、上述した実施形態の構成を含む異常検知システム１０１Ｂと、解析装置１０２Ｂと、記憶装置１０３Ｂと、表示装置１０４Ｂと、センサ装置１０５Ｂと、を備え得る。これらの各種装置は互いに無線又は有線で接続され、通信可能である。

まず、映像解析システム１Ｂが備えるカメラ、映像解析システム１Ｂが備える各種装置が備えるカメラ、または、映像解析システム１Ｂが備える各種装置と通信可能なカメラについて説明する。

カメラはIP(Internet Protocol)カメラであってもよい。IPカメラがサーバの構成または機能のうち少なくとも一部の構成または機能を含んでもよい。例えば、IPカメラは撮像画像から一部データを抽出し、一部データをサーバに送信してもよい。また、IPカメラは、異常が発生した際のみの映像を切り出して保存または送信してもよいし、映像から抽出した人物の特徴量を保存または送信してもよい。

カメラの種類は、可視光カメラ、赤外線カメラ、奥行きを計測可能なステレオカメラ、デプスカメラ、全方位カメラ、魚眼レンズを有するカメラ等であってもよい。カメラは複数台備えられ、赤外光カメラと可視光カメラの両方を備えてもよい。

次に、映像解析システム１Ｂが備える各種装置が任意で有する機能を説明する。

表示装置１０４Ｂは、カメラ等で撮像した映像を表示する。表示装置１０４Ｂは、映像に映る人物画像に代えて人物の存在を示す代替画像を表示してもよい。代替画像の一例には、アイコンの他、骨格情報、マスキング加工された画像、人物の輪郭のみを示す画像等が挙げられる。なお、代替画像を取得するために、赤外線センサやデプスセンサ等の各種センサを用いてもよい。代替画像はカメラに映る人物の移動に応じて映像上を移動してもよい。

解析装置１０２Ｂは、対象物または対象人物の位置を特定する場合、位置を特定するために、カメラで撮像した画像と併せて、あるいは画像に代えて、カメラとは異なるセンサにより得られた情報を用いてもよい。例えば、異なるセンサとはマイクであり、対象物または対象人物が発する音を取得する。他の例では、異なるセンサとは電波受信機器であり、対象物または対象人物が有するビーコンが発信するセンサを取得する。この場合、電波受信機器は、ビーコンとの相対距離及び空間的な相対位置を取得する。他の例では、異なるセンサとは赤外線センサであり、センサが受信する赤外線の変化量を検出してもよい
解析装置１０２Ｂは、カメラが撮像した180度のパノラマ画像、全方位カメラにより撮像された360度のパノラマ画像に基づき、当該パノラマ画像に映る人物または物体の位置を取得してもよい。

解析装置１０２Ｂは、画像または映像に映る人物の次に示す行動を検出してもよい。検出対象である所定の行動とは、例えば、ハイタッチ、肩を組む、タオルを振りまわす、笛を吹く、楽器を鳴らす、大旗を振る、集団での動きを伴う応援等である。

解析装置１０２Ｂは、カメラにより撮像された画像または映像において、人物の物を置き去る動作、ふらつき動作、ベビーカーや車椅子を押す動作、立ち止まる動作、杖をつく動作、スーツケースを持つ動作を検出してもよい。なお、解析装置１０２Ｂは、人物の骨格情報に基づき動作を検出してもよい。

解析装置１０２Ｂは、カメラにより撮像された画像または映像において、同時または異なる時刻に映る他の人物とは異なる行動を異常な動作として検知してもよい。

異常検知システム１０１Ｂは、映像解析システム１Ｂが備える各種装置（解析装置１０２Ｂ、記憶装置１０３Ｂ、表示装置１０４Ｂ、センサ装置１０５Ｂ）が有する機能および構成の一部を備えてもよい。また、異常検知システム１０１Ｂは、映像解析システム１Ｂが備える各種装置と相互連携することにより、各種装置が備える機能を取り込み、本発明を実現させてもよい。本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。

１、２、１０１Ｂ 異常検知システム
１０１、２０２ 異常情報取得部
１０２、２０５ 運転状況解析部
１０３、２０８ 制御部
２０１ 異常検知部
２０１１ センサ
２０４ 運転情報取得部
２０７ 判定部
２０８１ 通知制御部
２０８２ 車両制御部
２０９ 通知部
１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力インターフェイス
４Ａ 周辺回路
５Ａ 通信インターフェイス
６Ａ バス
１Ｂ 映像解析システム
１０２Ｂ 解析装置
１０３Ｂ 記憶装置
１０４Ｂ 表示装置
１０５Ｂ センサ装置

Claims (9)

1. 車両内で発生した異常を示す異常情報を取得する異常情報取得部と、
   前記車両における運転手の操作を示す操作情報を解析し、解析した結果に基づき運転状況を生成する運転状況解析部と、
   前記異常情報と前記運転状況とに基づき、前記異常に関する通知の出力を制御する制御部と、を備え、
   前記運転状況解析部は、前記操作情報を解析して得られる移動状況と、前記車両の位置情報と前記車両の外を撮像した撮像画像とを解析して得られる前記車両の周囲の環境を示す環境情報と、を含む前記運転状況を生成する、
   異常検知システム。
2. 前記制御部は、前記異常情報に基づき通知部に通知を出力させるように制御し、前記操作情報に基づき、前記通知を停止させるように制御する、
   請求項１に記載の異常検知システム。
3. 前記制御部は、前記異常情報に基づき通知部に前記通知を出力させるように制御し、前記運転状況が所定の状況を満たす場合に、前記通知を停止させるように制御する、
   請求項１または２に記載の異常検知システム。
4. 前記制御部は、前記異常情報と前記運転状況とに基づき、運転手の運転操作を無効化するように前記車両を制御する、
   請求項１から３のいずれか１項に記載の異常検知システム。
5. 前記制御部は、前記運転状況が所定の状況を満たす場合に、前記異常情報が事故の予兆を示すものか、事故の発生を示すものかに応じて前記通知を出力するタイミングを変える、
   請求項１から４のいずれか１項に記載の異常検知システム。
6. 前記車両内で発生した前記異常を検知する異常検知部、
   をさらに備え、
   前記異常情報取得部は、前記異常が発生した確度を含む前記異常情報を生成し、
   前記制御部は、前記確度に基づき前記車両の制御を異ならせる、
   請求項４または５に記載の異常検知システム。
7. 車両内で発生した異常を示す異常情報を取得する異常情報取得部と、
   前記車両における運転手の操作を示す操作情報を解析し、解析した結果に基づき運転状況を生成する運転状況解析部と、
   前記異常情報と前記運転状況とに基づき、前記異常に関する通知の出力を制御する制御部と、を備え、
   前記制御部は、前記運転状況が所定の状況を満たす場合に、前記異常情報が事故の予兆を示すものか、事故の発生を示すものかに応じて前記通知を出力するタイミングを変える、
   異常検知システム。
8. 車両内で発生した異常を示す異常情報を取得し、
   前記車両における運転手の操作を示す操作情報を解析し、解析した結果に基づき運転状況を生成し、
   前記異常情報と前記運転状況とに基づき、前記異常に関する通知の出力を制御し、
   前記運転状況を生成するとき、前記操作情報を解析して得られる移動状況と、前記車両の位置情報と前記車両の外を撮像した撮像画像とを解析して得られる前記車両の周囲の環境を示す環境情報と、を含む前記運転状況を生成する、
   異常検知方法。
9. コンピュータに、
   車両内で発生した異常を示す異常情報を取得する処理と、
   前記車両における運転手の操作を示す操作情報を解析し、解析した結果に基づき運転状況を生成する処理と、
   前記異常情報と前記運転状況とに基づき、前記異常に関する通知の出力を制御する処理と、を実行させ、
   前記運転状況を生成する処理は、前記操作情報を解析して得られる移動状況と、前記車両の位置情報と前記車両の外を撮像した撮像画像とを解析して得られる前記車両の周囲の環境を示す環境情報と、を含む前記運転状況を生成する、
   プログラム。

Images