JP7135656B2 - 乗車マナー評価装置、乗車マナー評価システム、乗車マナー評価方法、及び乗車マナー評価用コンピュータプログラム - Google Patents

Description

本発明は、自動運転制御された車両に乗車中の乗客の乗車マナーを評価することを可能とする乗車マナー評価装置、乗車マナー評価システム、乗車マナー評価方法、及び乗車マナー評価用コンピュータプログラムに関する。

近年、自動制御によって運転が行われる自動運転車両を用いたタクシー、バス、ライドシェア等のモビリティサービスの実現に向けて、自動運転技術の開発が行われている。

例えば、非特許文献１には、車両を制御するための車両制御Ｉ／Ｆ（インターフェース）を公開し、車両メーカー以外の開発会社が車両を自動運転制御するためのソフトウェアを含む自動運転キットを開発することを可能とした車両が記載されている。自動運転キットをこのように置き換え又はアップデート可能な構成とすることで、移動、物流、物販等の、サービスとしてのモビリティ（Ｍｏｂｉｌｉｔｙ－ａｓ－ａ－Ｓｅｒｖｉｃｅ：ＭａａＳ）に合わせて、自動運転制御を最適化することができる。

自動運転車両は、運転手等の乗務員がいなくてもよいという利点を有する一方で、例えば降車時に乗客が車両の室内に忘れ物等をしても、それを見つけて乗客に知らせることができないという課題がある。そこで、例えば、特許文献１に記載の技術では、車内の現況を現在映像データとして撮影し、現在映像データと予め記憶されている比較用映像データを比較する。そして、両者の間に違いが検知された場合には、車内の変化を点検して、違いに基づき自動車内に所定のメッセージを送出して、利用者に忘れ物を警告するようにしている。

特開２０１３－１９１０５３号公報

トヨタ自動車、モビリティサービス専用EV"e-Palette Concept"［平成３０年８月３１日検索］、インターネット＜URL：https://newsroom.toyota.co.jp/jp/corporate/20508200.html＞

しかし、利用者に忘れ物を警告することは、特許文献１のように利用者がうっかり忘れ物をしたような場合には有効であるが、利用者が故意にごみ等の不要物を車両の室内に放棄したような場合にはあまり効果がない。故意にごみ等を車内に放棄する迷惑行為を頻繁に行う利用者に対しては、警告するだけでなく、車両の提供するモビリティサービスを今後利用者が利用することを拒否する等のペナルティを課すことが必要となる。そのために、自動運転制御された車両を利用する利用者の乗車マナーを評価して、迷惑行為を頻繁に行う利用者を識別することを可能とする技術が求められている。

そこで、本発明は、自動運転制御された車両を利用する乗客の乗車マナーを評価することを可能とする乗車マナー評価装置を提供することを目的とする。

本発明の一つの実施形態に係る乗車マナー評価装置は、記憶部と、自動運転制御された車両に設置された取得部によって取得された車両の室内の状態を示す室内情報から、車両に乗車中の乗客による迷惑行為の可能性を示す特徴を検出する検出部と、特徴が検出される度に、特徴が検出された時間を含む一定期間に取得された室内情報を記憶部に記憶する収集部と、を有する。

この乗車マナー評価装置は、記憶部に記憶された室内情報に基づいて、乗客によって迷惑行為が行われたか否かを判定し、乗客によって迷惑行為が行われたと判定された回数に応じて、乗客の乗車マナーを評価する評価部を更に有することが好ましい。

また、この乗車マナー評価装置において、取得部は、車両に設置された撮像部を含み、室内情報は、撮像部によって撮影された車両の室内の動画像を含み、検出部は、動画像から、迷惑行為の可能性を示す所定の物体が出現したこと、車両の所定の装備品の形状若しくは色が変化したこと、又は乗客と他の同乗者との距離が所定の閾値以下に近づいたこと、を特徴として検出することが好ましい。

また、この乗車マナー評価装置において、取得部は、車両に設置された集音部を含み、室内情報は、集音部によって記録された車両の室内の音を含み、検出部は、音のパワーの所定時間の平均値が所定の閾値を超えたことを、特徴として検出することが好ましい。

また、この乗車マナー評価装置において、取得部は、車両に設置された匂いセンサを含み、室内情報は、匂いセンサによって測定された所定の匂い成分の測定値を含み、検出部は、測定値が所定の閾値を超えたことを、特徴として検出することが好ましい。

また、この乗車マナー評価装置において、乗車マナー評価装置は、取得部を搭載する車両からネットワークを介して室内情報を受信するサーバとして構成されることが好ましい。

また、この乗車マナー評価装置において、乗車マナー評価装置は、取得部とともに車両に搭載される車載装置として構成されることが好ましい。

また、本発明の一つの実施形態に係る乗車マナー評価システムは、ネットワークを介して互いに通信可能に接続されたサーバと車載装置とを有する乗車マナー評価システムであって、自動運転制御された車両に設置された取得部によって取得された車両の室内の状態を示す室内情報から、車両に乗車中の乗客による迷惑行為の可能性を示す特徴を検出し、特徴が検出されると、特徴が検出された時間を含む一定期間に取得された室内情報をサーバに送信する車載装置と、車載装置から受信した室内情報を記憶部に記憶するサーバと、を有する。

また、本発明の一つの実施形態に係る乗車マナー評価方法は、自動運転制御された車両に設置された取得部によって取得された車両の室内の状態を示す室内情報から、車両に乗車中の乗客による迷惑行為の可能性を示す特徴を検出し、特徴が検出される度に、特徴が検出された時間を含む一定期間に取得された室内情報を記憶部に記憶する。

また、本発明の一つの実施形態に係る乗車マナー評価用コンピュータプログラムは、自動運転制御された車両に設置された取得部によって取得された車両の室内の状態を示す室内情報から、車両に乗車中の乗客による迷惑行為の可能性を示す特徴を検出し、特徴が検出される度に、特徴が検出された時間を含む一定期間に取得された室内情報を記憶部に記憶する、ことをコンピュータに実行させる。

本発明の乗車マナー評価装置は、自動運転制御された車両を利用する乗客の乗車マナーを評価することを可能とする。

第１実施形態に係る乗車マナー評価システムの構成の一例を示す図である。 第１実施形態に係る乗車マナー評価システムにおける自動運転制御された車両に乗車中の乗客４の乗車マナーの評価処理の一例を示すシーケンス図である。 第１実施形態に係る車両のハードウェア構成図である。 第１実施形態に係る車載装置の制御部の機能ブロック図である。 第１実施形態に係る車載装置における車両の室内情報の収集処理の一例を示すフローチャートである。 第１実施形態に係る車両において乗客によって迷惑行為が行われている室内の状態の一例を示す図である。 第１実施形態に係る車両において乗客によって迷惑行為が行われている室内の状態の別の一例を示す図である。 第１実施形態に係るサーバのハードウェア構成図である。 第１実施形態に係るサーバの制御部の機能ブロック図である。 第２実施形態に係るサーバの制御部の機能ブロック図である。 第２実施形態に係るサーバにおける車両の室内情報の収集処理の一例を示すフローチャートである。

本発明の乗車マナー評価装置は、自動運転制御された車両に設置された例えば車内カメラによって取得された車両の室内の状態を示す映像等の室内情報から、車両に乗車中の乗客による例えばごみ放棄等の迷惑行為の可能性を示す特徴を検出する。そして、乗車マナー評価装置は、迷惑行為の可能性を示す特徴が検出される度に、特徴が検出された時間を含む一定期間に取得された室内情報を記憶部に記憶する。

これにより、本発明の乗車マナー評価装置は、乗車マナー評価装置の評価部、又は人間が、記憶部に記憶された室内情報に基づいて、自動運転制御された車両を利用する乗客の乗車マナーを評価して、迷惑行為を頻繁に行う乗客を識別することを可能とする。

以下、本発明の好適な実施形態について図面を用いて説明する。なお、本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。また、各図において同一、又は相当する機能を有するものは、同一符号を付し、その説明を省略又は簡潔にすることもある。

［第１実施形態］
図１は、第１実施形態に係る乗車マナー評価システム１の構成の一例を示す図である。本実施形態の乗車マナー評価システム１は、車載装置２０と、サーバ３０と、携帯端末４０とを有する。車載装置２０及びサーバ３０は、乗車マナー評価装置の一例である。

図１に示された車両２は、タクシー、バス、ライドシェア等のモビリティサービスを提供する自動運転車両である。車両２は、車載装置２０及び自動運転制御ユニット２１を搭載している。また、車両２には、モビリティサービスを利用する乗客４が乗車している。

車載装置２０は、自動運転制御された車両２に搭載された例えば車内カメラ２１４によって撮影された車両２の室内の映像を含む室内情報から、車両２に乗車中の乗客４による例えばごみ放棄等の迷惑行為の可能性を示す特徴を検出する。そして、乗車マナー評価装置は、迷惑行為の可能性を示す特徴が検出されると、特徴が検出された時間を含む一定期間に取得された室内情報をサーバ３０に送信する。

自動運転制御ユニット２１は、車両２の運転を自動制御する。自動運転制御ユニット２１は、自動運転制御の性能及び機能がアップデート可能となるように構成される。

サーバ３０は、車載装置２０から受信した室内情報に基づいて、乗客４によって迷惑行為が行われたか否かを判定し、例えば、乗客４によって迷惑行為が行われたと判定された回数に応じて、乗客４の乗車マナーを評価する。

車両２の提供するモビリティサービスを利用しようとする利用客４ｂは、利用客４ｂの携帯する携帯電話機又はタブレットコンピュータ等の携帯端末４０を操作して、サーバ３０に車両２の配車を依頼する。

これら車載装置２０、サーバ３０、及び携帯端末４０は、光通信回線等で構成されるネットワーク５を介して互いに通信可能となっている。サーバ３０は、例えば不図示のゲートウェイ等を介してネットワーク５と接続される。また、車載装置２０及び携帯端末４０は、例えば無線基地局６等を介してネットワーク５と接続される。

図２は、第１実施形態に係る乗車マナー評価システム１における自動運転制御された車両２に乗車中の乗客４の乗車マナーの評価処理の一例を示すシーケンス図である。図２に示されたシーケンス図において、サーバ３０と、車両２及び携帯端末４０との間の通信は、ネットワーク５を介して行われる。

サーバ３０は、モビリティサービスを利用しようとする利用客４ｂの携帯する携帯端末４０から、配車の依頼とともに、利用客４ｂの識別情報、利用客４ｂの現在地及び目的地の情報等を受信する（ステップＳ２０１）。利用客４ｂの識別情報は、例えば、モビリティサービスを利用する利用客４ｂに付与された利用者番号とされる。また、利用客４ｂの現在地及び目的地は、例えば、施設名、住所、又は経度と緯度の組み合わせにより指定される。

次に、サーバ３０は、利用客４ｂの現在地から一定距離内に存在する車両２を検索し、検索された少なくとも一つの車両２の中から利用可能な車両２を選択して、利用客４ｂの現在地まで移動するよう車両２に配車の指示を送信する（ステップＳ２０２）。なお、車両２がライドシェアサービス等を提供する場合は、既に車両２に他の乗客４が乗車している可能性がある。この場合、サーバ３０は、例えば、検索された少なくとも一つの車両２の中から、既に車両２に乗車中の他の乗客４の目的地と利用客４ｂの目的地とが同方向である車両２を選択するようにしてもよい。

サーバ３０から配車の指示を受信すると、車両２の自動運転制御ユニット２１は、配車の指示とともに受信した利用客４ｂの現在地へ車両２を移動させる（ステップＳ２０３）。

配車された車両２に利用客４ｂが乗車すると、車両２の自動運転制御ユニット２１は、利用客４ｂが車両２に乗車したことを例えば車内カメラ２１４で検知してサーバ３０に通知する（ステップＳ２０４）。なお、利用客４ｂが車両２に乗車したことを車両２の自動運転制御ユニット２１が通知する代わりに、利用客４ｂ自身が携帯端末４０を操作して車両２に乗車したことを通知してもよい。

以降、車両２に乗車した利用客４ｂのことを乗客４という。乗客４が乗車したことを車両２の自動運転制御ユニット２１が検知すると、車両２の車載装置２０は、例えば車内カメラ２１４によって撮影された車両２の室内の状態を示す映像を含む室内情報の取得を開始する（ステップＳ２０５）。

他方、サーバ３０は、利用客４ｂが車両２に乗車したことを受信すると、車両２の現在地から利用客４ｂの目的地までの車両２の走行ルートを生成する。或いは、車両２に搭載された例えばカーナビゲーションシステムが、配車の指示とともに受信した利用客４ｂの現在地及び目的地の情報に基づいて、走行ルートを作成してもよい。なお、車両２がライドシェアサービス等を提供する場合は、既に車両２に乗車中の他の乗客４の目的地と利用客４ｂの目的地のうち、車両２の現在地から最も近い目的地までの走行ルートが生成される。

サーバ３０は、必要に応じて走行ルートを車両２の自動運転制御ユニット２１に送信し、走行ルートに従って自動運転するよう車両２の自動運転制御ユニット２１に対して指示する（ステップＳ２０６）。すると、車両２の自動運転制御ユニット２１は、走行ルートに従って目的地に向かって車両２の自動運転を開始する（ステップＳ２０７）。

車両２が自動運転制御ユニット２１によって自動運転されている間、車載装置２０は、取得した室内情報から、車両２に乗車中の乗客４による例えばごみ放棄等の迷惑行為の可能性を示す特徴を定期的に検出する（ステップＳ２０８）。そして、車載装置２０は、迷惑行為の可能性を示す特徴が検出されると、特徴が検出された時間を含む一定期間（例えば１０秒間）において取得された室内情報をサーバ３０に送信する（ステップＳ２０９）。なお、車載装置２０は、室内情報を取得する度に、取得した室内情報をサーバ３０へ送信するようにしてもよいし、取得した室内情報を一旦記憶部等に保持して、後でまとめてサーバ３０へ送信するようにしてもよい。

その後、車両２が目的地に到着すると、車両２の自動運転制御ユニット２１は、乗客４が車両２から降車したことを例えば車内カメラ２１４で検知してサーバ３０に通知する（ステップＳ２１０）。なお、乗客４が車両２から降車したことを車両２の自動運転制御ユニット２１が通知する代わりに、乗客４自身が携帯端末４０を操作して車両２から降車したことを通知してもよい。

乗客４が降車したことを車両２の自動運転制御ユニット２１が検知すると、車両２の車載装置２０は、自動運転制御された車両２の室内の状態を示す室内情報の取得を終了する（ステップＳ２１１）。

他方、サーバ３０は、車両２の車載装置２０によって収集された室内情報に基づいて、乗客４によって迷惑行為が行われたか否かを判定し、乗客４によって迷惑行為が行われたと判定された回数に応じて、乗客４の乗車マナーを評価する（ステップＳ２１２）。

図３は、第１実施形態に係る車両２のハードウェア構成図である。車両２は、車内ネットワークを介して互いに接続された、車載装置２０、車両制御ユニット２１０、車外カメラ２１１、測距センサ２１２、測位センサ２１３、車内カメラ２１４、マイクロフォン２１５、匂いセンサ２１６、及び車外通信機器２１７を有する。また、車両２は、自動運転制御ユニット２１を更に有する。車内ネットワークは、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）規格に準拠したネットワークとされる。

車載装置２０は、信号線を介して互いに接続された、車内通信インターフェース（Ｉ／Ｆ）２０１、記憶部２０２、及び制御部２０３を有する。車載装置２０は、自動運転制御された車両２に設置された例えば車内カメラ２１４によって撮影された車両２の室内の映像を含む室内情報から、車両２に乗車中の乗客４による例えばごみ放棄等の迷惑行為の可能性を示す特徴を検出する。そして、車載装置２０は、迷惑行為の可能性を示す特徴が検出されると、特徴が検出された時間を含む一定期間に取得された室内情報をサーバ３０に送信する。

車内通信Ｉ／Ｆ２０１は、車載装置２０が車両２の他の車載機器と車内ネットワークを介して通信するための通信Ｉ／Ｆ回路である。

記憶部２０２は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、光記録媒体、又は半導体メモリ等の記憶媒体を有し、制御部２０３において実行されるコンピュータプログラムを記憶する。また、記憶部２０２は、制御部２０３によって生成されたデータ、又は制御部２０３が車内ネットワークを介して車両２の他の車載機器から受信したデータ等を記憶する。また、記憶部２０２は、制御部２０３によって取得された車両２の室内の状態を示す室内情報を記憶する。

制御部２０３は、車載装置２０において制御及び演算を行うコンピュータプログラムを実行する一以上のプロセッサ及びその周辺回路とすることができる。制御部２０３は、後で図５を参照して説明する車両２の室内の状態を示す室内情報の収集処理を実行する。

車両制御ユニット２１０は、少なくとも一つの自動運転制御ユニット２１を有し、自動運転制御ユニット２１から出力される信号に従って、車両２のアクセル、ブレーキ、及びハンドルを制御する。また、車両制御ユニット２１０は、後述の車外カメラ２１１、測距センサ２１２、測位センサ２１３から出力される信号を自動運転制御ユニット２１に渡す。

自動運転制御ユニット２１は、車両２の運転を自動制御する。自動運転制御ユニット２１は、例えば、自動運転制御の性能及び機能がアップデート可能となるように構成される。これにより、車両２の提供するモビリティサービスに合わせて自動運転制御ユニット２１の性能及び機能を最適化することが可能となる。なお、例えば、自動運転制御ユニット２１の性能及び機能を向上させる必要性が低い用途においては、自動運転制御ユニット２１は、必ずしもアップデート可能に構成されなくてもよい。

車外カメラ２１１は、車両２の周囲の映像を撮影して出力する。車外カメラ２１１によって撮影された映像は、自動運転制御ユニット２１が車両２の運転を自動制御するために利用される。車外カメラ２１１は、車両２の周囲の人又は物体が明瞭に撮影されるように、例えば、撮像面を車外に向けて、車両２のフロントガラスの近くに配置される。

測距センサ２１２は、車両２の前方に存在する物体までの距離を方位ごとに計測して出力する。測距センサ２１２によって計測された距離情報は、同様に自動運転制御ユニット２１が車両２の運転を自動制御するために利用される。測距センサ２１２は、例えば、車両２に設置されたＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）とされる。

測位センサ２１３は、車両２の現在地を示す位置情報を生成して車載装置２０に出力する。測位センサ２１３によって生成された位置情報は、自動運転制御ユニット２１が車両２の運転を自動制御するために利用されるほか、サーバ３０が車両２の現在地を把握できるように、ネットワーク５を介してサーバ３０へ送信される。測位センサ２１３は、例えば、車両２に設置されたカーナビゲーションシステムのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）とされる。

車内カメラ２１４は、取得部及び撮像部の一例であり、車両２の室内の映像を撮影して車載装置２０に出力する。車内カメラ２１４によって撮影された映像は、車両２の室内の状態を示す室内情報の一例として利用される。車内カメラ２１４は、車両２の室内に複数個配置されてもよい。車内カメラ２１４は、車両２の室内の状態が明瞭に撮影されるように、例えば、乗客４が着座する座席の前方の天井、又は前方座席の後面等に配置される。

マイクロフォン２１５は、取得部及び集音部の一例であり、車両２の室内の音を記録して車載装置２０に出力する。マイクロフォン２１５によって記録された音は、車両２の室内の状態を示す室内情報の一例として利用される。マイクロフォン２１５は、車両２の室内に複数個配置されてもよい。マイクロフォン２１５は、車両２の室内の音が明瞭に記録されるように、例えば、乗客４が着座する座席の前方の天井、又は前方座席の後面等に配置される。

匂いセンサ２１６は、取得部の一例であり、車両２の室内の例えばアルコール成分又は油成分等の所定の匂い成分の量を測定して車載装置２０に出力する。マイクロフォン２１５によって測定された所定の匂い成分の測定値は、車両２の室内の状態を示す室内情報の一例として利用される。匂いセンサ２１６は、車両２の室内に複数個配置されてもよい。匂いセンサ２１６は、車両２の室内の匂いが精度よく測定されるように、例えば、車両２の室内の天井又は床等に配置される。

車外通信機器２１７は、無線通信機能を有する車載の端末であり、例えば、車載のナビゲーションシステム、或いは非特許文献１に記載のＤＣＭ（Ｄａｔａ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｍｏｄｕｌｅ）とされる。車外通信機器２１７は、例えば、ネットワーク５と不図示のゲートウェイ等を介して接続される無線基地局６にアクセスすることで、無線基地局６を介してネットワーク５と接続される。

図４は、第１実施形態に係る車載装置２０の制御部２０３の機能ブロック図である。制御部２０３は、車載装置２０において制御及び演算を行うコンピュータプログラムを実行する一以上のプロセッサ及びその周辺回路とすることができる。制御部２０３は、検出部２０４及び収集部２０５を有する。検出部２０４及び収集部２０５は、例えば、コンピュータプログラムを記載したソフトウェアモジュール又はファームウェアとして実現される。

検出部２０４は、自動運転制御された車両２に設置された取得部によって取得された車両２の室内の状態を示す室内情報から、車両２に乗車中の乗客４による迷惑行為の可能性を示す特徴を検出する。そして、収集部２０５は、特徴が検出される度に、特徴が検出された時間を含む一定期間に取得された室内情報を記憶部２０２に記憶する。

図５は、第１実施形態に係る車載装置２０における車両２の室内情報の収集処理の一例を示すフローチャートである。検出部２０４及び収集部２０５は、以下のフローチャートに従って、車両２の室内の状態を示す室内情報の収集処理を、例えば所定の制御周期ごとに実行する。上述の図２のシーケンス図と重複する内容については説明を省略する。

検出部２０４は、自動運転制御された車両２に設置された例えば車内カメラ２１４から、車両２の室内を撮影した映像を含む室内情報を取得する（ステップＳ５０１）。そして、検出部２０４は、取得された室内情報から、車両２に乗車中の乗客４による例えばごみ放棄等の迷惑行為の可能性を示す特徴を検出する（ステップＳ５０２）。

この迷惑行為の可能性を示す特徴は、必ずしも実際に迷惑行為が行われたことを示すものである必要はなく、迷惑行為が行われた可能性を少しでも示すものであればよい。実際に迷惑行為が行われたか否かの判定は、後述のサーバ３０の評価部３０６、又は人間によって行われる。具体的な迷惑行為の可能性を示す特徴については、この後で図６及び図７を参照しながら説明する。

次に、収集部２０５は、室内情報から迷惑行為の可能性を示す特徴が検出されたか否かを判定する（ステップＳ５０３）。迷惑行為の可能性を示す特徴が検出された場合（ステップＳ５０３：Ｙｅｓ）、収集部２０５は、その特徴が検出された時間を含む一定期間に取得された室内情報を記憶部２０２に記憶する。そして、収集部２０５は、記憶部２０２に記憶した室内情報をサーバ３０に送信して（ステップＳ５０４）、本制御周期における室内情報の収集処理を終了する。

一方、迷惑行為の可能性を示す特徴が検出されなかった場合（ステップＳ５０３：Ｎｏ）、検出部２０４及び収集部２０５は、本制御周期における室内情報の収集処理を終了する。

これにより、収集部２０５によって収集された迷惑行為の可能性を示す特徴を有する室内情報に基づいて、実際に迷惑行為が行われたか否かの判定が、後述のサーバ３０の評価部３０６、又は人間によって行われるため、誤った判定がなされることが抑制される。また、迷惑行為の可能性のある特徴を含む一定期間の室内情報のみがサーバ３０に送信されるため、全ての室内情報をサーバ３０に送信する場合と比較して、車載装置２０からサーバ３０に送信されるデータ量が抑制される。この一定期間の長さは、例えば、５秒～１分とすることができる。

図６及び図７は、第１実施形態に係る車両２において乗客４ｃによって迷惑行為が行われている室内の状態の一例を示す図である。図６及び図７に示された車両２の室内には、乗客４ｃと、同じ車両２に偶然乗り合わせた同乗者４ｄとが、隣り合って車両２のシート２２にそれぞれ着座している。

図６に示された乗客４ｃは、飲酒が禁止された車両２の室内で、おつまみを食べながらお酒７を飲んで酔っぱらっている。乗客４ｃのシート２２の周辺には、おつまみが散らかったり、お酒７がこぼれたりしている。このため、車両２の室内には、おつまみとアルコールの匂いが生じている。

他方、図７に示された乗客４ｃは、図６と同様に酔っぱらっており、隣のシート２２に着座している同乗者４ｄに言いがかりを付けている。また、乗客４ｃは、同乗者４ｄの着座するシート２２を叩いたり蹴ったりして破損させている。このため、車両２の室内には大きな音が生じている。

同乗者４ｄは、乗客４ｃによるこのような迷惑行為を不快に感じているが、自動運転された車両２には乗務員が存在しないため、自分の他に乗客４ｃに対して注意をしてくれる人がおらず困惑している。

このような場合、検出部２０４は、例えば、車両２に設置された車内カメラ２１４から、車両２の室内を撮影した動画像を取得する。そして、検出部２０４は、車両２の室内の動画像上に迷惑行為の可能性を示す所定の物体が出現したことを、迷惑行為の可能性を示す特徴として検出する。この所定の物体は、例えば、飲食物の箱、缶、袋、若しくはペットボトル等の容器、又はたばこ等とすることができる。これにより、検出部２０４は、例えば、図６に示されるように、乗客４ｃがおつまみ又はお酒７等を車両２の室内に持ち込んだり、カバンから取り出したりしたことを、迷惑行為の可能性を示す特徴として検出することができる。そして、収集部２０５は、動画像上に所定の物体が出現した時間を含む一定期間（例えば１０秒間）の動画像を、サーバ３０に送信する。

検出部２０４は、動画像上に所定の物体が出現したことを検出するために、例えば、機械学習技術を利用できる。具体的には、検出部２０４は、画像が入力されたときに、画像から所定の物体を検出するように予め学習させた例えばＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の検出器を利用することができる。検出部２０４は、動画像のフレーム画像を、撮影された順に検出器に入力し、所定の物体を検出したことを示す出力値が検出器から出力されたときに、動画像上に所定の物体が出現したと判定する。

或いは、検出部２０４は、例えば、車両２の室内の動画像上の所定の装備品の色が変化したことを、迷惑行為の可能性を示す特徴として検出してもよい。この所定の装備品は、例えば、車両２の室内に配置されたシート２２、又はシート２２の周辺の床に敷かれた室内マット等とすることができる。これにより、検出部２０４は、例えば、図６に示されるように、乗客４ｃが室内マット上にお酒７をこぼしたり吐いたりしたことを、迷惑行為の可能性を示す特徴として検出することができる。

検出部２０４は、車両２の室内の動画像上の所定の装備品の色が変化したことを検出するために、例えば、動画像の現在のフレーム画像と、所定時間前（例えば１分前）の過去のフレーム画像とを比較する。そして、検出部２０４は、フレーム画像の所定の装備品が存在する領域における画素値の例えばＲ（赤）、Ｇ（緑）、Ｂ（青）の少なくとも一つの色成分の平均値が所定の閾値以上変化したときに、動画像上の所定の装備品の色が変化したと判定することができる。

また或いは、検出部２０４は、例えば、車両２の室内の動画像上の所定の装備品の形状が変化したことを、迷惑行為の可能性を示す特徴として検出してもよい。この所定の装備品は、例えば、車両２の室内に配置されたシート２２、又は車両２のドア等とすることができる。これにより、検出部２０４は、例えば、図７に示されるように、乗客４ｃがシート２２を叩いたり蹴ったりして破損させたことを、迷惑行為の可能性を示す特徴として検出することができる。

検出部２０４は、車両２の室内の動画像上の所定の装備品の形状が変化したことを検出するために、例えば、動画像の現在のフレーム画像と、所定時間前（例えば１分前）の過去のフレーム画像とを比較する。そして、検出部２０４は、フレーム画像の所定の装備品が存在する領域においてエッジ強調処理を実施して得られる所定の装備品の輪郭が、現在と過去で所定のピクセル幅以上移動したときに、動画像上の所定の装備品の形状が変化したと判定することができる。

また或いは、検出部２０４は、例えば、車両２の室内の動画像上の乗客４ｃと他の同乗者４ｄとの距離が所定の閾値以下に近づいたことを、迷惑行為の可能性を示す特徴として検出してもよい。これにより、検出部２０４は、例えば、図７に示されるように、乗客４ｃが、他の同乗者４ｄに言いがかりを付けようとして同乗者４ｄに近づいたことを、迷惑行為の可能性を示す特徴として検出することができる。

検出部２０４は、乗客４ｃと他の同乗者４ｄとの距離が所定の閾値以下に近づいたことを検出するために、例えば、画像が入力されたときに、画像から人物を検出するように予め学習させた例えばＤＮＮ等の検出器を利用することができる。検出部２０４は、動画像のフレーム画像を、撮影された順に検出器に入力し、検出器が検出した人物間の最短距離が所定のピクセル幅以下に近づいたときに、動画像上の乗客４ｃと他の同乗者４ｄとの距離が所定の閾値以下に近づいたと判定することができる。

また或いは、検出部２０４は、例えば、車両２に設置されたマイクロフォン２１５から取得した車両２の室内の音のパワーの所定時間の平均値が所定の閾値を超えたことを、迷惑行為の可能性を示す特徴として検出してもよい。この所定時間は、例えば、０．１秒～１０秒とされることができる。これにより、検出部２０４は、例えば、図７に示されるように、乗客４ｃが他の同乗者４ｄに言いがかりを付けたり、シート２２を叩いたり蹴ったりしたときに生じる音を、迷惑行為の可能性を示す特徴として検出することができる。この場合、収集部２０５は、車両２の室内の音のパワーの一定時間における平均値が所定の閾値を超えた時間を含む一定期間の室内の音の測定値を、サーバ３０に送信する。

また或いは、検出部２０４は、例えば、車両２に設置された匂いセンサ２１６によって測定された所定の匂い成分の測定値が所定の閾値を超えたことを、迷惑行為の可能性を示す特徴として検出してもよい。この所定の匂い成分は、アルコール成分又は油成分等とすることができる。これにより、検出部２０４は、例えば、図６に示されるように、乗客４ｃがおつまみを散らかしたりお酒７をこぼしたりしたことを、迷惑行為の可能性を示す特徴として検出することができる。この場合、収集部２０５は、匂い成分の測定値が所定の閾値を超えた時間を含む一定期間の匂い成分の測定値を、サーバ３０に送信する。

図８は、第１実施形態に係るサーバ３０のハードウェア構成図である。サーバ３０は、信号線を介して互いに接続された、通信Ｉ／Ｆ３０１、記憶部３０２、及び制御部３０３を有する。

通信Ｉ／Ｆ３０１は、サーバ３０を例えばゲートウェイ等を介してネットワーク５と接続するための通信Ｉ／Ｆ回路である。通信Ｉ／Ｆ３０１は、車両２の車載装置２０、及び携帯端末４０とネットワーク５を介して通信可能に構成される。

記憶部３０２は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、光記録媒体、又は半導体メモリ等の記憶媒体を有し、制御部３０３において実行されるコンピュータプログラムを記憶する。また、記憶部３０２は、制御部３０３によって生成されたデータ、又は制御部３０３がネットワーク５を介して受信したデータ等を記憶する。また、記憶部３０２は、車両２に関する情報の一例として、車両２の自動運転制御ユニット２１の種類又はバージョン等を記憶する。また、記憶部３０２は、乗客４に関する情報の一例として、乗客４（利用客４ｂ）の識別情報を記憶する。また、記憶部３０２は、車両２の車載装置２０から受信した車両２の室内の状態を示す室内情報を記憶する。

図９は、第１実施形態に係るサーバ３０の制御部３０３の機能ブロック図である。制御部３０３は、サーバ３０において制御及び演算を行うコンピュータプログラムを実行する一以上のプロセッサ及びその周辺回路とすることができる。制御部３０３は、評価部３０６を有する。評価部３０６は、例えば、コンピュータプログラムを記載したソフトウェアモジュール又はファームウェアとして実現される。

評価部３０６は、車載装置２０から受信した室内情報を記憶部３０２に記憶する。そして、評価部３０６は、記憶部３０２に記憶された室内情報に基づいて、乗客４によって迷惑行為が行われたか否かを判定し、例えば、乗客４によって迷惑行為が行われたと判定された回数に応じて、乗客４の乗車マナーを評価する。

評価部３０６は、乗客４によって迷惑行為が行われたか否かを判定するために、例えば、機械学習技術を利用できる。具体的には、評価部３０６は、室内情報が入力されたときに、迷惑行為が行われたか否かと、迷惑行為を行った人物とを出力するように予め学習させた例えばＤＮＮ等の判定器を利用することができる。評価部３０６は、車載装置２０から受信した室内情報を判定器に入力し、迷惑行為が行われたことを示す出力値が判定器から出力されたときに、判定器の出力する人物によって迷惑行為が行われたと判定する。

評価部３０６によって評価された乗客４の乗車マナーの評価値は、記憶部３０２に保存され、或いは通信Ｉ／Ｆ３０１を介して他のサーバに送信されて、迷惑行為を頻繁に行う乗客４を識別するための情報として利用される。

なお、評価部３０６が乗客４の乗車マナーを評価する代わりに、車載装置２０の制御部２０３が、サーバ３０の評価部３０６と同等の機能を有する評価部を有して、記憶部２０２に記憶された室内情報に基づいて乗客４の乗車マナーを評価してもよい。また或いは、例えば人間が、記憶部３０２に記憶された室内情報に基づいて、乗客４の乗車マナーを評価してもよい。

以上のように、本実施形態の乗車マナー評価装置は、自動運転制御された車両に設置された取得部によって取得された車両の室内の状態を示す室内情報から、車両に乗車中の乗客による迷惑行為の可能性を示す特徴を検出する。そして、乗車マナー評価装置は、特徴が検出される度に、特徴が検出された時間を含む一定期間に取得された室内情報を記憶部に記憶する。

これにより、本実施形態の乗車マナー評価装置は、乗車マナー評価装置の評価部、又は人間が、記憶部に記憶された室内情報に基づいて、自動運転制御された車両を利用する乗客の乗車マナーを評価して、迷惑行為を頻繁に行う乗客を識別することを可能とする。

［第２実施形態］
別の実施形態によれば、図５のフローチャートに示された車載装置２０による車両２の室内情報の収集処理は、サーバ３０において実行されることも可能である。これにより、車載装置２０の制御部２０３の処理負荷が軽減される。

図１０は、第２実施形態に係るサーバ３０の制御部３０３の機能ブロック図である。制御部３０３は、検出部３０４、収集部３０５、及び評価部３０６を有する。検出部３０４及び収集部３０５は、車載装置２０の検出部２０４及び収集部２０５と同等の機能を有している。その他については第１実施形態と同じであるため、以下では第１実施形態と異なる点について説明する。

図１１は、第２実施形態に係るサーバ３０における車両２の室内情報の収集処理の一例を示すフローチャートである。検出部３０４及び収集部３０５は、以下のフローチャートに従って、車両２の室内の状態を示す室内情報の収集処理を、例えば所定の制御周期ごとに実行する。

検出部３０４は、自動運転制御された車両２の車載装置２０から、車両２の室内を撮影した映像を含む室内情報を受信する（ステップＳ１１０１）。そして、検出部３０４は、受信した室内情報から、車両２に乗車中の乗客４による例えばごみ放棄等の迷惑行為の可能性を示す特徴を検出する（ステップＳ１１０２）。

次に、収集部３０５は、室内情報から迷惑行為の可能性を示す特徴が検出されたか否かを判定する（ステップＳ１１０３）。迷惑行為の可能性を示す特徴が検出された場合（ステップＳ１１０３：Ｙｅｓ）、収集部３０５は、特徴が検出された時間を含む一定期間に取得された室内情報を記憶部３０２に記憶して（ステップＳ１１０４）、本制御周期における室内情報の収集処理を終了する。

一方、迷惑行為の可能性を示す特徴が検出されなかった場合（ステップＳ１１０３：Ｎｏ）、検出部３０４及び収集部３０５は、本制御周期における室内情報の収集処理を終了する。

このように、乗車マナー評価装置が車両からネットワークを介して室内情報を受信するサーバとして構成される場合であっても、第１実施形態のように、乗車マナー評価装置が車載装置として構成される場合と同様の効果が得られる。

上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

他の変形例によれば、乗車マナー評価装置は、室内情報から、例えばごみを拾う等の乗客４による親切行為の可能性を示す特徴を検出し、その特徴が検出される度に、特徴が検出された時間を含む一定期間に取得された室内情報を記憶部に記憶してもよい。これにより、乗車マナー評価装置の評価部、又は人間は、迷惑行為と親切行為の両方に基づいて、乗客４の乗車マナーをより高精度に評価することが可能となる。

そのために、検出部２０４又は検出部３０４は、例えば、車両２に設置された車内カメラ２１４から、車両２の室内を撮影した動画像を取得する。そして、検出部２０４又は検出部３０４は、車両２の室内の動画像上から迷惑行為の可能性を示す所定の物体が消失したことを、親切行為の可能性を示す特徴として検出する。この所定の物体は、例えば、飲食物の箱、缶、袋、若しくはペットボトル等の容器、又はたばこ等とすることができる。

検出部２０４又は検出部３０４は、動画像上から所定の物体が消失したことを検出するために、例えば、機械学習技術を利用できる。具体的には、検出部２０４又は検出部３０４は、画像が入力されたときに、画像から所定の物体を検出するように予め学習させた例えばＤＮＮ等の検出器を利用することができる。検出部２０４又は検出部３０４は、動画像のフレーム画像を、撮影された順に検出器に入力し、所定の物体を検出したことを示す出力値が検出器から出力されなくなったときに、動画像上から所定の物体が消失したと判定する。

１ 乗車マナー評価システム
２ 車両
４ 乗客
４ｂ 利用客
４ｃ 乗客
４ｄ 同乗者
５ ネットワーク
６ 無線基地局
７ お酒
２０ 車載装置
２１ 自動運転制御ユニット
２２ シート
３０ サーバ
４０ 携帯端末
２０１ 車内通信Ｉ／Ｆ
２０２ 記憶部
２０３ 制御部
２０４ 検出部
２０５ 収集部
２１０ 車両制御ユニット
２１１ 車外カメラ
２１２ 測距センサ
２１３ 測位センサ
２１４ 車内カメラ
２１５ マイクロフォン
２１６ 匂いセンサ
２１７ 車外通信機器
３０１ 通信Ｉ／Ｆ
３０２ 記憶部
３０３ 制御部
３０４ 検出部
３０５ 収集部
３０６ 評価部

Claims (9)

1. 記憶部と、
   自動運転制御された車両に設置された取得部によって取得された前記車両の室内の状態を示す室内情報から、前記車両に乗車中の乗客による迷惑行為の可能性を示す特徴を検出する検出部と、
   前記特徴が検出される度に、前記特徴が検出された時間を含む一定期間に取得された前記室内情報を前記記憶部に記憶する収集部と、
   前記記憶部に記憶された前記室内情報に基づいて、前記乗客によって迷惑行為が行われたか否かを判定し、前記乗客によって迷惑行為が行われたと判定された回数に応じて、前記乗客の乗車マナーを評価する評価部と、
   を有する乗車マナー評価装置。
2. 前記取得部は、前記車両に設置された撮像部を含み、
   前記室内情報は、前記撮像部によって撮影された前記車両の室内の動画像を含み、
   前記検出部は、前記動画像から、迷惑行為の可能性を示す所定の物体が出現したこと、前記車両の所定の装備品の形状若しくは色が変化したこと、又は前記乗客と他の同乗者との距離が所定の閾値以下に近づいたこと、を前記特徴として検出する、
   請求項１に記載の乗車マナー評価装置。
3. 前記取得部は、前記車両に設置された集音部を含み、
   前記室内情報は、前記集音部によって記録された前記車両の室内の音を含み、
   前記検出部は、前記音のパワーの所定時間の平均値が所定の閾値を超えたことを、前記特徴として検出する、
   請求項１又は２に記載の乗車マナー評価装置。
4. 前記取得部は、前記車両に設置された匂いセンサを含み、
   前記室内情報は、前記匂いセンサによって測定された所定の匂い成分の測定値を含み、
   前記検出部は、前記測定値が所定の閾値を超えたことを、前記特徴として検出する、
   請求項１から３のいずれか一項に記載の乗車マナー評価装置。
5. 前記乗車マナー評価装置は、前記取得部を搭載する前記車両からネットワークを介して前記室内情報を受信するサーバとして構成される、
   請求項１から４のいずれか一項に記載の乗車マナー評価装置。
6. 前記乗車マナー評価装置は、前記取得部とともに前記車両に搭載される車載装置として構成される、
   請求項１から４のいずれか一項に記載の乗車マナー評価装置。
7. ネットワークを介して互いに通信可能に接続されたサーバと車載装置とを有する乗車マナー評価システムであって、
   自動運転制御された車両に設置された取得部によって取得された前記車両の室内の状態を示す室内情報から、前記車両に乗車中の乗客による迷惑行為の可能性を示す特徴を検出し、前記特徴が検出されると、前記特徴が検出された時間を含む一定期間に取得された前記室内情報を前記サーバに送信する前記車載装置と、
   前記車載装置から受信した前記室内情報を記憶部に記憶し、前記記憶部に記憶された前記室内情報に基づいて、前記乗客によって迷惑行為が行われたか否かを判定し、前記乗客によって迷惑行為が行われたと判定された回数に応じて、前記乗客の乗車マナーを評価する前記サーバと、
   を有する乗車マナー評価システム。
8. 乗車マナー評価方法であって、プロセッサが、
   自動運転制御された車両に設置された取得部によって取得された前記車両の室内の状態を示す室内情報から、前記車両に乗車中の乗客による迷惑行為の可能性を示す特徴を検出し、
   前記特徴が検出される度に、前記特徴が検出された時間を含む一定期間に取得された前記室内情報を記憶部に記憶し、前記記憶部に記憶された前記室内情報に基づいて、前記乗客によって迷惑行為が行われたか否かを判定し、前記乗客によって迷惑行為が行われたと判定された回数に応じて、前記乗客の乗車マナーを評価する、
   ことを有する乗車マナー評価方法。
9. 自動運転制御された車両に設置された取得部によって取得された前記車両の室内の状態を示す室内情報から、前記車両に乗車中の乗客による迷惑行為の可能性を示す特徴を検出し、
   前記特徴が検出される度に、前記特徴が検出された時間を含む一定期間に取得された前記室内情報を記憶部に記憶し、前記記憶部に記憶された前記室内情報に基づいて、前記乗客によって迷惑行為が行われたか否かを判定し、前記乗客によって迷惑行為が行われたと判定された回数に応じて、前記乗客の乗車マナーを評価する、
   ことをコンピュータに実行させるための乗車マナー評価用コンピュータプログラム。

Images