JP7582833B2

JP7582833B2 - 状況検出システム、状況検出方法、状況検出プログラム、学習済みモデル生成システム、及び、状況検出装置

Info

Publication number: JP7582833B2
Application number: JP2020173655A
Authority: JP
Inventors: 明宏杉田; 睦子鈴木; 征也畠山; 亜矢橋本
Original assignee: Yazaki Corp
Current assignee: Yazaki Corp
Priority date: 2020-10-15
Filing date: 2020-10-15
Publication date: 2024-11-13
Anticipated expiration: 2040-10-15
Also published as: JP2022065243A

Description

本発明は、状況検出システム、状況検出方法、状況検出プログラム、学習済みモデル生成システム、及び、状況検出装置に関する。

人工知能（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ）や深層学習（ＤｅｅｐＬｅａｒｎｉｎｇ）を用いて、ドライブレコーダ等の動画像から種々の検出を行う従来の技術として、例えば、特許文献１には、情報処理装置が開示されている。この情報処理装置は、取得部と、信号領域認識部と、速度情報取得部と、加速度情報取得部と、判断部と、を備える。取得部は、車両に搭載された撮影装置により撮影された撮影画像を取得する。信号領域認識部は、取得部により取得された撮影画像のうち、信号機の赤信号を示す赤信号領域を認識する。速度情報取得部は、車両の速度を示す速度情報を取得する。加速度情報取得部は、車両の加速度を示す加速度情報を取得する。判断部は、速度情報または加速度情報と、赤信号領域と、車両が赤信号を無視した運転を行っていることを識別するために予め定められた赤信号無視識別情報と、に基づいて、車両が赤信号を無視した運転を行っているか否かを判断する。この場合において、赤信号無視識別情報は、ＳＶＭ（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ）を用いた機械学習方法を利用して予め作成される。

特開２０１８－０７２９４０号公報

ところで、上述の特許文献１に記載の情報処理装置は、例えば、より詳細な状況検出の点で更なる改善の余地がある。

本発明は、上記の事情に鑑みてなされたものであって、適正に状況検出を行うことができる状況検出システム、状況検出方法、状況検出プログラム、学習済みモデル生成システム、及び、状況検出装置を提供することを目的とする。

上記目的を達成するために、本発明に係る状況検出システムは、移動体から撮影された動画像を表す動画像データと、前記動画像データにおいて検出される物体を表す物体検出特徴量に関する教師データとからなる第１学習用データセット、前記動画像の撮影に伴って計測された前記移動体の状態に応じた計測値を表す計測データ及び前記物体検出特徴量と、前記計測データの時間変化に伴う前記移動体の動きを表す移動体行動検出特徴量に関する教師データ及び前記物体検出特徴量の時間変化に伴う前記物体の動きを表す物体行動検出特徴量に関する教師データとからなる第２学習用データセット、前記移動体行動検出特徴量及び前記物体行動検出特徴量と、前記移動体の動きと前記物体の動きとが関係して生じる挙動を表す関係行動特徴量に関する教師データとからなる第３学習用データセット、及び、前記関係行動特徴量と、前記挙動の種別を表す関係行動種別データに関する教師データとからなる第４学習用データセットを取得する前処理部と、前記前処理部によって取得された複数の前記第１学習用データセットを用いて、前記動画像データから前記物体検出特徴量を抽出する学習済み物体検出モデルを学習により生成する物体検出モデル生成部と、前記前処理部によって取得された複数の前記第２学習用データセットを用いて、前記計測データ及び前記物体検出特徴量から前記移動体行動検出特徴量及び前記物体行動検出特徴量を抽出する学習済み行動検出モデルを学習により生成する行動検出モデル生成部と、前記前処理部によって取得された複数の前記第３学習用データセットを用いて、前記移動体行動検出特徴量及び前記物体行動検出特徴量から前記関係行動特徴量を抽出する学習済み関係行動検出モデルを学習により生成する関係行動検出モデル生成部と、前記前処理部によって取得された複数の前記第４学習用データセットを用いて、前記関係行動特徴量から前記挙動の種別を特定する学習済み種別特定モデルを学習により生成する種別特定モデル生成部と、検出対象となる前記動画像データ及び前記計測データを入力する検出対象入力部と、前記物体検出モデル生成部によって生成された前記学習済み物体検出モデル、前記行動検出モデル生成部によって生成された前記学習済み行動検出モデル、前記関係行動検出モデル生成部によって生成された前記学習済み関係行動検出モデル、及び、前記種別特定モデル生成部によって生成された前記学習済み種別特定モデルを用いて、前記検出対象入力部によって入力された前記動画像データ及び前記計測データから前記挙動の種別を特定する種別特定部とを備えることを特徴とする。

また、上記状況検出システムでは、前記第２学習用データセットは、前記計測データ、前記物体検出特徴量に加えて前記動画像の撮影に伴って計測された前記移動体と当該移動体の周囲物体との距離を表す距離データと、前記移動体行動検出特徴量に関する教師データ、前記物体行動検出特徴量に関する教師データに加えて前記距離データの時間変化に伴う前記距離の変化を表す距離変化特徴量に関する教師データとからなり、前記第３学習用データセットは、前記移動体行動検出特徴量、前記物体行動検出特徴量及び前記距離変化特徴量と、前記関係行動特徴量に関する教師データとからなり、前記行動検出モデル生成部は、前記前処理部によって取得された複数の前記第２学習用データセットを用いて、前記計測データ、前記物体検出特徴量及び前記距離データから前記移動体行動検出特徴量、前記物体行動検出特徴量及び前記距離変化特徴量を抽出する前記学習済み行動検出モデルを学習により生成し、前記関係行動検出モデル生成部は、前記前処理部によって取得された複数の前記第３学習用データセットを用いて、前記移動体行動検出特徴量、前記物体行動検出特徴量及び前記距離変化特徴量から前記関係行動特徴量を抽出する学習済み関係行動検出モデルを学習により生成し、前記検出対象入力部は、検出対象となる前記動画像データ、前記計測データ及び前記距離データを入力し、前記種別特定部は、前記物体検出モデル生成部によって生成された前記学習済み物体検出モデル、前記行動検出モデル生成部によって生成された前記学習済み行動検出モデル、前記関係行動検出モデル生成部によって生成された前記学習済み関係行動検出モデル、及び、前記種別特定モデル生成部によって生成された前記学習済み種別特定モデルを用いて、前記検出対象入力部によって入力された前記動画像データ、前記計測データ及び前記距離データから前記挙動の種別を特定するものとすることができる。

上記目的を達成するために、本発明に係る状況検出方法は、移動体から撮影された動画像を表す動画像データと、前記動画像データにおいて検出される物体を表す物体検出特徴量に関する教師データとからなる第１学習用データセット、前記動画像の撮影に伴って計測された前記移動体の状態に応じた計測値を表す計測データ及び前記物体検出特徴量と、前記計測データの時間変化に伴う前記移動体の動きを表す移動体行動検出特徴量に関する教師データ及び前記物体検出特徴量の時間変化に伴う前記物体の動きを表す物体行動検出特徴量に関する教師データとからなる第２学習用データセット、前記移動体行動検出特徴量及び前記物体行動検出特徴量と、前記移動体の動きと前記物体の動きとが関係して生じる挙動を表す関係行動特徴量に関する教師データとからなる第３学習用データセット、及び、前記関係行動特徴量と、前記挙動の種別を表す関係行動種別データに関する教師データとからなる第４学習用データセットを取得するステップと、取得された複数の前記第１学習用データセットを用いて、前記動画像データから前記物体検出特徴量を抽出する学習済み物体検出モデルを学習により生成するステップと、取得された複数の前記第２学習用データセットを用いて、前記計測データ及び前記物体検出特徴量から前記移動体行動検出特徴量及び前記物体行動検出特徴量を抽出する学習済み行動検出モデルを学習により生成するステップと、取得された複数の前記第３学習用データセットを用いて、前記移動体行動検出特徴量及び前記物体行動検出特徴量から前記関係行動特徴量を抽出する学習済み関係行動検出モデルを学習により生成するステップと、取得された複数の前記第４学習用データセットを用いて、前記関係行動特徴量から前記挙動の種別を特定する学習済み種別特定モデルを学習により生成するステップと、検出対象となる前記動画像データ及び前記計測データを入力するステップと、生成された前記学習済み物体検出モデル、前記学習済み行動検出モデル、前記学習済み関係行動検出モデル、及び、前記学習済み種別特定モデルを用いて、入力された前記動画像データ及び前記計測データから前記挙動の種別を特定するステップとを含むことを特徴とする。

上記目的を達成するために、本発明に係る状況検出プログラムは、移動体から撮影された動画像を表す動画像データと、前記動画像データにおいて検出される物体を表す物体検出特徴量に関する教師データとからなる第１学習用データセット、前記動画像の撮影に伴って計測された前記移動体の状態に応じた計測値を表す計測データ及び前記物体検出特徴量と、前記計測データの時間変化に伴う前記移動体の動きを表す移動体行動検出特徴量に関する教師データ及び前記物体検出特徴量の時間変化に伴う前記物体の動きを表す物体行動検出特徴量に関する教師データとからなる第２学習用データセット、前記移動体行動検出特徴量及び前記物体行動検出特徴量と、前記移動体の動きと前記物体の動きとが関係して生じる挙動を表す関係行動特徴量に関する教師データとからなる第３学習用データセット、及び、前記関係行動特徴量と、前記挙動の種別を表す関係行動種別データに関する教師データとからなる第４学習用データセットを取得し、取得された複数の前記第１学習用データセットを用いて、前記動画像データから前記物体検出特徴量を抽出する学習済み物体検出モデルを学習により生成し、取得された複数の前記第２学習用データセットを用いて、前記計測データ及び前記物体検出特徴量から前記移動体行動検出特徴量及び前記物体行動検出特徴量を抽出する学習済み行動検出モデルを学習により生成し、取得された複数の前記第３学習用データセットを用いて、前記移動体行動検出特徴量及び前記物体行動検出特徴量から前記関係行動特徴量を抽出する学習済み関係行動検出モデルを学習により生成し、取得された複数の前記第４学習用データセットを用いて、前記関係行動特徴量から前記挙動の種別を特定する学習済み種別特定モデルを学習により生成し、検出対象となる前記動画像データ及び前記計測データを入力し、生成された前記学習済み物体検出モデル、前記学習済み行動検出モデル、前記学習済み関係行動検出モデル、及び、前記学習済み種別特定モデルを用いて、入力された前記動画像データ及び前記計測データから前記挙動の種別を特定する、各処理をコンピュータに実行させることを特徴とする。

上記目的を達成するために、本発明に係る学習済みモデル生成システムは、移動体から撮影された動画像を表す動画像データと、前記動画像データにおいて検出される物体を表す物体検出特徴量に関する教師データとからなる第１学習用データセット、前記動画像の撮影に伴って計測された前記移動体の状態に応じた計測値を表す計測データ及び前記物体検出特徴量と、前記計測データの時間変化に伴う前記移動体の動きを表す移動体行動検出特徴量に関する教師データ及び前記物体検出特徴量の時間変化に伴う前記物体の動きを表す物体行動検出特徴量に関する教師データとからなる第２学習用データセット、前記移動体行動検出特徴量及び前記物体行動検出特徴量と、前記移動体の動きと前記物体の動きとが関係して生じる挙動を表す関係行動特徴量に関する教師データとからなる第３学習用データセット、及び、前記関係行動特徴量と、前記挙動の種別を表す関係行動種別データに関する教師データとからなる第４学習用データセットを取得する前処理部と、前記前処理部によって取得された複数の前記第１学習用データセットを用いて、前記動画像データから前記物体検出特徴量を抽出する学習済み物体検出モデルを学習により生成する物体検出モデル生成部と、前記前処理部によって取得された複数の前記第２学習用データセットを用いて、前記計測データ及び前記物体検出特徴量から前記移動体行動検出特徴量及び前記物体行動検出特徴量を抽出する学習済み行動検出モデルを学習により生成する行動検出モデル生成部と、前記前処理部によって取得された複数の前記第３学習用データセットを用いて、前記移動体行動検出特徴量及び前記物体行動検出特徴量から前記関係行動特徴量を抽出する学習済み関係行動検出モデルを学習により生成する関係行動検出モデル生成部と、前記前処理部によって取得された複数の前記第４学習用データセットを用いて、前記関係行動特徴量から前記挙動の種別を特定する学習済み種別特定モデルを学習により生成する種別特定モデル生成部とを備えることを特徴とする。

上記目的を達成するために、本発明に係る状況検出装置は、移動体から撮影された動画像を表す動画像データ及び前記動画像の撮影に伴って計測された前記移動体の状態に応じた計測値を表す計測データを入力する検出対象入力部と、前記動画像データから当該動画像データにおいて検出される物体を表す物体検出特徴量を抽出するための学習を行った学習済み物体検出モデル、前記計測データ及び前記物体検出特徴量から前記計測データの時間変化に伴う前記移動体の動きを表す移動体行動検出特徴量及び前記物体検出特徴量の時間変化に伴う前記物体の動きを表す物体行動検出特徴量を抽出するための学習を行った学習済み行動検出モデル、前記移動体行動検出特徴量及び前記物体行動検出特徴量から前記移動体の動きと前記物体の動きとが関係して生じる挙動を表す関係行動特徴量を抽出するための学習を行った学習済み関係行動検出モデル、及び、前記関係行動特徴量から前記挙動の種別を特定するための学習を行った学習済み種別特定モデルを用いて、前記検出対象入力部によって入力された前記動画像データ及び前記計測データから前記挙動の種別を特定する種別特定部とを備えることを特徴とする。

上記目的を達成するために、本発明に係る状況検出システムは、移動体から撮影された動画像を表す動画像データから当該動画像データにおいて検出される物体を表す物体検出特徴量を抽出する学習済み物体検出モデルを学習により生成する物体検出モデル生成部と、前記動画像の撮影に伴って計測された前記移動体の状態に応じた計測値を表す計測データ及び前記物体検出特徴量から前記計測データの時間変化に伴う前記移動体の動きを表す移動体行動検出特徴量及び前記物体検出特徴量の時間変化に伴う前記物体の動きを表す物体行動検出特徴量を抽出する学習済み行動検出モデルを学習により生成する行動検出モデル生成部と、前記移動体行動検出特徴量及び前記物体行動検出特徴量から前記移動体の動きと前記物体の動きとが関係して生じる挙動を表す関係行動特徴量を抽出する学習済み関係行動検出モデルを学習により生成する関係行動検出モデル生成部と、前記関係行動特徴量から前記挙動の種別を特定する学習済み種別特定モデルを学習により生成する種別特定モデル生成部と、検出対象となる前記動画像データ及び前記計測データを入力する検出対象入力部と、前記物体検出モデル生成部によって生成された前記学習済み物体検出モデル、前記行動検出モデル生成部によって生成された前記学習済み行動検出モデル、前記関係行動検出モデル生成部によって生成された前記学習済み関係行動検出モデル、及び、前記種別特定モデル生成部によって生成された前記学習済み種別特定モデルを用いて、前記検出対象入力部によって入力された前記動画像データ及び前記計測データから前記挙動の種別を特定する種別特定部とを備えることを特徴とする。

本発明に係る状況検出システム、状況検出方法、状況検出プログラム、学習済みモデル生成システム、及び、状況検出装置は、適正に状況検出を行うことができる、という効果を奏する。

図１は、実施形態１に係る状況検出システムの概略構成を表すブロック図である。図２は、実施形態１に係る状況検出システムにおける物体検出について説明する模式図である。図３は、実施形態１に係る状況検出システムにおける物体検出について説明する模式図である。図４は、実施形態１に係る状況検出システムにおける行動検出について説明する模式図である。図５は、実施形態１に係る状況検出システムにおける関係行動検出について説明する模式図である。図６は、実施形態１に係る状況検出システムの処理回路によって行われる学習フェーズ、及び、使用フェーズの処理を示す模式図である。図７は、実施形態１に係る状況検出システムの種別特定部の概略構成を表すブロック図である。図８は、実施形態１に係る状況検出システムにおける関係行動検出の一例について説明する模式図である。図９は、実施形態１に係る状況検出システムにおける関係行動検出の一例について説明する模式図である。図１０は、実施形態に係る状況検出システムの処理回路によって行われる処理の一例を示すフローチャートである。図１１は、変形例に係る状況検出システムの概略構成を表すブロック図である。図１２は、変形例に係る状況検出システムの概略構成を表すブロック図である。図１３は、実施形態２に係る状況検出システムの種別特定部の概略構成を表すブロック図である。図１４は、変形例に係る状況検出システムの処理回路によって行われる処理の一例を示すフローチャートである。

以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

［実施形態１］
図１に示す本実施形態の状況検出システム１は、画像を用いて移動体Ｖとその周囲の状況を検出するためのシステムである。この状況検出システム１による状況検出の対象となる移動体Ｖは、典型的には、路面を走行する車両であり、例えば、自家用車、レンタカー、シェアリングカー、ライドシェアカー、バス、タクシー、トラック、輸送車、作業車等のいずれであってもよい。

ここで、画像を用いた検出技術としては、例えば、物体検出（ＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎ）、行動検出（ＡｃｔｉｏｎＤｅｔｅｃｔｉｏｎ）等がある。

物体検出とは、図２に示すように、動画像を構成する静止画像内から物体の種類と位置を検出するものである。さらに言えば、物体検出とは、静止画像からある瞬間の物体の静的な位置、種類を検出するものである。物体検出によって検出される物体は、例えば、車両、通行人、自転車、障害物、街灯、看板、電柱、標識、停止線等である。図２は、一例として、静止画像内の物体検出によって、物体として「自転車」、「停止線」が検出された場合を表しており、当該検出された「自転車」、「停止線」の位置が矩形枠によって示されている。また、この物体検出では、図３に示すように、動画像を構成する複数の静止画像を比較して物体の位置変化を検出することも可能である。図３は、一例として、動画像を構成する複数の静止画像内の物体検出によって、物体として「自転車」、「停止線」が検出され、「自転車」の位置が右から左に変化したことが検出された場合を表している。

一方、行動検出とは、図４に示すように、動画像を構成する複数の静止画像から物体検出によって検出された物体の位置、状態等の時間的な変化から物体単独の動き（行動）を検出するものである。言い換えれば、行動検出とは、時間変化に伴う物体の動き（行動）を検出するものである。なおこの場合、例えば、「停止線」等のように、検出された物体がその位置で静止していること（言い換えれば、動いていないこと）も物体の動き（行動）の一例として、当該物体の動きの概念の範疇に含まれる。行動検出では、例えば、動画像を構成する静止画像から複数の物体が検出された場合でも、それぞれの物体単独の動きを検出する。図４は、一例として、動画像を構成する複数の静止画像内の物体検出によって２台の「自転車」が検出された上で、行動検出によって当該２台の「自転車」が「それぞれふらついて走行している」という物体単独の動きが検出された場合を表している。

この行動検出では、物体単独の状態や変化（例えば、「自転車」がふらついて走行している動き）を検出し、例えば、移動体Ｖの運転者等に対して危険予知を行うことはできるが、検出した複数の物体同士を関係づけて挙動の意味などを検出することはできない。このため、例えば、図４の例では、ふらついて走行している２台の「自転車」が他の物体との関係に関わりなく双方ともに危険であると判断されることとなる。

これに対して、本実施形態の状況検出システム１は、物体検出、行動検出に加えて、さらに関係行動検出（ＲｅｌａｔｉｏｎａｌＡｃｔｉｏｎＤｅｔｅｃｔｉｏｎ）を用いて、移動体Ｖや動画像から検出した物体同士との関係性を検出し、これらの動きを関係づけて相互の挙動の意味（種別）を検出することで、より詳細な状況検出の実現を図っている。

ここでいう関係行動検出とは、図５に示すように、動画像を構成する複数の静止画像から行動検出によって検出された物体単独の動きや移動体Ｖの動きから、複数の物体が関係することで生じる挙動（振る舞い）、物体同士の関係性を検出するものである。言い換えれば、関係行動検出とは、移動体Ｖを含む複数の物体のそれぞれの時間変化に伴う動きが関係して生じる挙動を検出するものである。複数の物体の動きが関係して生じる挙動は、例えば、「複数の物体の関係性の変化に応じて生じる事象」と言い換えることもできる。図５は、一例として、動画像を構成する複数の静止画像内の物体検出によって２台の「自転車」が検出され、行動検出によって当該２台の「自転車」が「それぞれふらついて走行している」という物体単独の動きが検出された場合を表している。そして、図５は、関係行動検出によって、左折しようとしている自車両（移動体Ｖ）の動きに対して、ふらついて走行している手前側の「自転車」が自車両の進行方向に向かっている一方、奥側の「自転車」が自車両の進行方向とは異なる方向に向かっているという挙動が検出された場合を表している。

本実施形態の状況検出システム１は、上記のような関係行動検出を用いて移動体Ｖを含む複数の物体の動きが関係して生じる挙動（振る舞い）を検出し、当該挙動の意味（種別）を特定する。これにより、状況検出システム１は、例えば、図５の例において、自車両の進行方向に向かっている手前側の「自転車」に対しては危険であると判断することが可能である一方、ふらついているものの自車両とは異なる方向に向かっている奥側の「自転車」に対しては危険ではないと判断することも可能となる。

ここで、本実施形態の状況検出システム１では、図６に示すように、学習済みモデルＭを生成する処理を行う学習フェーズと、学習済みモデルＭを用いて上記のような状況検出を実際に行う使用フェーズとがある。状況検出システム１は、例えば、パーソナルコンピュータ、ワークステーション、タブレット端末等の種々のコンピュータ機器によって実現される。以下、図１、図６、図７を参照して状況検出システムの各構成について詳細に説明する。

具体的には、状況検出システム１は、入力機器１０と、出力機器２０と、記憶回路３０と、処理回路４０とを備える。入力機器１０、出力機器２０、記憶回路３０、及び、処理回路４０は、ネットワークを介して相互に通信可能に接続されている。本実施形態の状況検出システム１は、学習フェーズにおける各処理と使用フェーズにおける各処理との双方を行うものである。ここでは、状況検出システム１は、学習フェーズにおける各処理を実行する学習済みモデル生成システムと、使用フェーズにおける各処理を実行する状況検出装置とを集約して１つのシステムで兼用して構成されたものである。

入力機器１０は、状況検出システム１に対する種々の入力を行う機器である。入力機器１０は、例えば、ユーザからの各種の操作入力を受け付ける操作入力機器、状況検出システム１外の他の機器からのデータ（情報）入力を受け付けるデータ入力機器等によって実現される。操作入力機器は、例えば、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド、タッチスクリーン、非接触入力回路、音声入力回路等により実現される。データ入力機器は、例えば、有線、無線を問わず通信を介して機器との間で各種データの送受信を行う通信インターフェース、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、フレキシブルディスク（ＦＤ）、光磁気ディスク（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌｄｉｓｋ）、ＣＤ－ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＳＤカードメモリ、Ｆｌａｓｈメモリ等の記録媒体から各種データを読み出す記録媒体インターフェース等によって実現される。

本実施形態の入力機器１０は、種々の機器から少なくとも動画像データ、及び、計測データが入力される。

動画像データとは、移動体Ｖから撮影された当該移動体Ｖの周囲の動画像を表すデータである。移動体Ｖの周囲の動画像は、例えば、移動体Ｖに搭載されたカメラ５０によって撮影され、当該カメラ５０から動画像データとして入力機器１０に入力される。

計測データとは、動画像の撮影に伴って計測された移動体Ｖの状態に応じた計測値を表すデータである。計測値は、典型的には、移動体Ｖにおいて動画像の撮影と同期して計測され、撮影時点における移動体Ｖの状態を表す。計測値は、例えば、移動体Ｖの速度、移動体Ｖの加減速度、移動体Ｖの走行用動力源回転数、移動体Ｖの方向変化量等の物理量である。また、計測値は、移動体Ｖの操舵角、アクセルペダルの操作量（アクセル踏み込み量）、ブレーキペダルの操作量（ブレーキ踏み込み量）等を含んでいてもよい。移動体Ｖの状態に応じた計測値は、例えば、移動体Ｖに搭載されたセンサ、検出器等の計測機器５１によって計測され、当該計測機器５１から計測データとして入力機器１０に入力される。

なお、カメラ５０、及び、計測機器５１は、例えば、移動体Ｖに搭載されたドライブレコーダ等の車載機器を構成するものであってもよい。

出力機器２０は、状況検出システム１から種々の出力を行う機器である。出力機器２０は、例えば、各種画像情報を出力して表示するディスプレイ、音情報を出力するスピーカ、状況検出システム１外の他の機器に対するデータ（情報）出力を行うデータ出力機器等によって実現される。データ出力機器は、例えば、有線、無線を問わず通信を介して機器との間で各種データの送受信を行う通信インターフェース、上記と同様の記録媒体に各種データを書き込む記録媒体インターフェース等によって実現される。

なお、上述した入力機器１０のデータ入力機器と出力機器２０のデータ出力機器とは、一部又は全部の構成が兼用されてもよい。

記憶回路３０は、各種データを記憶する回路である。記憶回路３０は、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等によって実現される。記憶回路３０は、例えば、状況検出システム１が各種の機能を実現するためのプログラムを記憶する。記憶回路３０に記憶されるプログラムには、入力機器１０を機能させるプログラム、出力機器２０を機能させるプログラム、処理回路４０を機能させるプログラム等が含まれる。また、記憶回路３０は、入力機器１０を介して入力された生データＤ０、処理回路４０での各種処理に必要なデータ、学習済みモデルＭの学習に用いる学習用データセットＤ３、学習済みモデルＭ、出力機器２０を介して出力する種別特定結果データＤ５等の各種データを記憶する。記憶回路３０は、処理回路４０等によってこれらの各種データが必要に応じて読み出される。なお、記憶回路３０は、ネットワークを介して状況検出システム１に接続されたクラウドサーバ等により実現されてもよい。

処理回路４０は、状況検出システム１における各種処理機能を実現する回路である。処理回路４０は、例えば、プロセッサによって実現される。プロセッサとは、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の回路を意味する。処理回路４０は、例えば、記憶回路３０から読み込んだプログラムを実行することにより、各処理機能を実現する。

以上、本実施形態に係る状況検出システム１の全体構成の概略について説明した。このような構成のもと、本実施形態に係る処理回路４０は、学習フェーズにおいて、学習済みモデルＭを生成する各種処理を行うための機能を有している。また、本実施形態に係る処理回路４０は、使用フェーズにおいて、学習済みモデルＭを用いた各種処理を行うための機能を有している。

具体的には、本実施形態の処理回路４０は、上記各種処理機能を実現するために、機能概念的に、前処理部４１、モデル生成部４２、検出対象入力部４３、種別特定部４４、及び、出力部４５を含んで構成される。処理回路４０は、例えば、記憶回路３０から読み込んだプログラムを実行することにより、これら前処理部４１、モデル生成部４２、検出対象入力部４３、種別特定部４４、及び、出力部４５の各処理機能を実現する。

前処理部４１は、学習フェーズにおいて、学習済みモデルＭを学習させるためのデータに対して各種前処理を実行可能な機能を有する部分である。本実施形態の前処理部４１は、説明変数となる入力データＤ１と目的変数となる教師データＤ２とからなる学習用データセットＤ３を取得する処理を実行可能である。

前処理部４１によって取得される学習用データセットＤ３は、学習済みモデルＭを機械学習によって生成する際に用いられる教師データセットである。学習用データセットＤ３は、説明変数となる入力データＤ１と、当該入力データＤ１に対応する目的変数となる教師データＤ２とが１組のセットとして紐づけられることで構成される。さらに言えば、学習用データセットＤ３は、説明変数として定量化された当該入力データＤ１と、目的変数として定量化された当該教師データＤ２とから構成される。

前処理部４１は、例えば、状況検出システム１外の他の機器等から入力された生データＤ０に対して様々な前処理を施し、入力データＤ１と当該入力データＤ１に対応する教師データＤ２とを１組のセットとして紐づけることで学習用データセットＤ３を作成、取得することができる。

ここで、前処理部４１によって前処理が施される生データＤ０は、入力機器１０を構成するデータ入力機器を介して状況検出システム１外の他の機器から入力されてもよいし、入力機器１０を構成する操作入力機器を介してユーザの操作によって入力されてもよい。本実施形態において、生データＤ０は、少なくとも上述した動画像データ、及び、計測データを含んでいる。

また、前処理部４１によって生データＤ０に対して施す前処理とは、例えば、生データＤ０の収集・結合する処理、生データＤ０から入力データＤ１を抽出し説明変数として定量化する処理、生データＤ０に対してアノテーション処理（データに対して教師データＤ２として成り立たせるためのメタデータを付加する処理）を施し教師データＤ２を作成し目的変数として定量化する処理、定量化された入力データＤ１と定量化され教師データＤ２とを紐づけて組み合わせる処理等を含むものである。前処理部４１は、例えば、生データＤ０が入力されたタイミングで、都度、生データＤ０に対して前処理を行ってもよいし、入力機器１０を構成する操作入力機器を介したユーザの操作に応じて適時のタイミングで生データＤ０に対して前処理を行ってもよい。

また、前処理部４１は、例えば、入力機器１０を構成するデータ入力機器を介して、状況検出システム１外の他の機器から、予め作成された学習用データセットＤ３を取得してもよい。ここでの状況検出システム１外の他の機器とは、例えば、多数の入力データＤ１、教師データＤ２、学習用データセットＤ３等をデータベース化して記憶している学習用データ提供システム等である。

本実施形態において、前処理部４１によって取得される学習用データセットＤ３は、第１学習用データセットＤ３１、第２学習用データセットＤ３２、第３学習用データセットＤ３３、第４学習用データセットＤ３４を含んで構成される。すなわち、本実施形態の前処理部４１は、学習用データセットＤ３として、第１学習用データセットＤ３１、第２学習用データセットＤ３２、第３学習用データセットＤ３３、及び、第４学習用データセットＤ３４を取得する。

第１学習用データセットＤ３１は、学習済みモデルＭとして、学習済み物体検出モデルＭ１を機械学習によって生成する際に用いられる教師データセットである。学習済み物体検出モデルＭ１は、動画像データから物体検出特徴量を抽出するために用いられる学習済みモデルＭである。ここで、物体検出特徴量とは、動画像データにおいて検出される物体を表す特徴量であり、動画像を構成する静止画像内のある瞬間の物体の静的な位置、種類の特徴を表す。学習済み物体検出モデルＭ１を用いて動画像データから当該物体検出特徴量を抽出する処理は、上述した物体検出に関する処理に相当する。第１学習用データセットＤ３１は、「動画像データ」と、「当該動画像データに対応した物体検出特徴量に関する教師データ」とが１組のセットとして紐づけられることで構成される。つまり、第１学習用データセットＤ３１は、入力データＤ１（説明変数）として定量化された当該動画像データと、教師データＤ２（目的変数）として定量化された当該物体検出特徴量に関する教師データとからなる。

第２学習用データセットＤ３２は、学習済みモデルＭとして、学習済み行動検出モデルＭ２を機械学習によって生成する際に用いられる教師データセットである。学習済み行動検出モデルＭ２は、計測データ及び物体検出特徴量から移動体行動検出特徴量及び物体行動検出特徴量を抽出するために用いられる学習済みモデルＭである。ここで、移動体行動検出特徴量とは、計測データの時間変化に伴う移動体Ｖの動き（行動）を表す特徴量であり、時間変化に伴う移動体単体の動きの特徴を表す。物体行動検出特徴量とは、物体検出特徴量の時間変化に伴う物体の動き（行動）、言い換えれば、動画像を構成する静止画像内の物体の動きを表す特徴量であり、時間変化に伴う物体単体の動きの特徴を表す。学習済み行動検出モデルＭ２を用いて計測データ及び物体検出特徴量から移動体行動検出特徴量及び物体行動検出特徴量を抽出する処理は、上述した行動検出に関する処理に相当する。第２学習用データセットＤ３２は、「計測データ及び物体検出特徴量」と、「当該計測データに対応した移動体行動検出特徴量に関する教師データ及び当該物体検出特徴量に対応した物体行動検出特徴量に関する教師データ」とが１組のセットとして紐づけられることで構成される。つまり、第２学習用データセットＤ３２は、入力データＤ１（説明変数）として定量化された当該計測データ及び当該物体検出特徴量と、教師データＤ２（目的変数）として定量化された当該移動体行動検出特徴量に関する教師データ及び当該物体行動検出特徴量に関する教師データとからなる。

なおここでは、学習済み行動検出モデルＭ２は、計測データ及び物体検出特徴量から移動体行動検出特徴量及び物体行動検出特徴量の双方を抽出する学習済みモデルＭであるものとして説明するがこれに限らず、例えば、複数のサブモデルによって構成されてもよい。すなわち、学習済み行動検出モデルＭ２は、計測データから移動体行動検出特徴量を抽出する移動体行動検出サブモデル、及び、物体検出特徴量から物体行動検出特徴量を抽出する物体行動検出サブモデルとに分かれて構成されていてもよい。この場合、第２学習用データセットＤ３２は、計測データと、当該計測データの時間変化に伴う移動体Ｖの動きを表す移動体行動検出特徴量に関する教師データとからなる移動体行動検学習用サブデータセット、及び、物体検出特徴量と、当該物体検出特徴量の時間変化に伴う物体の動きを表す物体行動検出特徴量に関する教師データとからなる物体行動検出用サブデータセットに分かれて構成されていてもよい。

第３学習用データセットＤ３３は、学習済みモデルＭとして、学習済み関係行動検出モデルＭ３を機械学習によって生成する際に用いられる教師データセットである。学習済み関係行動検出モデルＭ３は、移動体行動検出特徴量及び物体行動検出特徴量から関係行動特徴量を抽出するために用いられる学習済みモデルＭである。ここで、関係行動特徴量とは、移動体Ｖの動きと動画像を構成する静止画像内の物体の動きとが関係して生じる挙動（振る舞い）を表す特徴量であり、移動体Ｖを含む複数の物体のそれぞれの時間変化に伴う関係性の変化によって生じる挙動の特徴を表す。さらに言い換えれば、関係行動特徴量とは、移動体Ｖを含む複数の物体の動きの関係性が時間的にどのように変化しているのかを表す特徴量ということもできる。学習済み関係行動検出モデルＭ３を用いて移動体行動検出特徴量及び物体行動検出特徴量から関係行動特徴量を抽出する処理は、上述した関係行動検出に関する処理に相当する。第３学習用データセットＤ３３は、「移動体行動検出特徴量及び物体行動検出特徴量」と、「当該移動体行動検出特徴量及び当該物体行動検出特徴量に対応した関係行動特徴量に関する教師データ」とが１組のセットとして紐づけられることで構成される。つまり、第３学習用データセットＤ３３は、入力データＤ１（説明変数）として定量化された当該移動体行動検出特徴量及び当該物体行動検出特徴量と、教師データＤ２（目的変数）として定量化された当該関係行動特徴量に関する教師データとからなる。

第４学習用データセットＤ３４は、学習済みモデルＭとして、学習済み種別特定モデルＭ４を機械学習によって生成する際に用いられる教師データセットである。学習済み種別特定モデルＭ４は、関係行動特徴量から挙動の種別を特定するために用いられる学習済みモデルＭである。ここで、挙動の種別とは、移動体Ｖの動きと動画像を構成する静止画像内の物体の動きとが関係して生じる挙動（振る舞い）の種類やその意味を表すものであり、関係行動特徴量が表す挙動の特徴の種類やその意味を表す。学習済み種別特定モデルＭ４を用いて関係行動特徴量から挙動の種別を特定する処理は、上述した関係行動検出において、移動体Ｖの動きと動画像を構成する静止画像内の物体の動きとが関係して生じる挙動の種別を特定する処理に相当する。第４学習用データセットＤ３４は、「関係行動特徴量」と、「当該関係行動特徴量に対応した挙動の種別を表す関係行動種別データに関する教師データ」とが１組のセットとして紐づけられることで構成される。つまり、第４学習用データセットＤ３４は、入力データＤ１（説明変数）として定量化された当該関係行動特徴量と、教師データＤ２（目的変数）として定量化された当該関係行動種別データに関する教師データとからなる。

前処理部４１は、取得した複数の学習用データセットＤ３（第１学習用データセットＤ３１、第２学習用データセットＤ３２、第３学習用データセットＤ３３、第４学習用データセットＤ３４）を記憶回路３０に記憶させる。

モデル生成部４２は、学習フェーズにおいて、動画像データ及び計測データから移動体Ｖの動きと物体の動きとが関係して生じる挙動の種別を特定する学習済みモデルＭを機械学習により生成する処理を実行可能な機能を有する部分である。本実施形態のモデル生成部４２は、前処理部４１によって取得された複数の学習用データセットＤ３を用いて、学習済みモデルＭを機械学習により生成する処理を実行可能である。モデル生成部４２は、例えば、新たな学習用データセットＤ３が取得されたタイミングで、都度、学習済みモデルＭを学習させ、生成する処理を行ってもよいし、入力機器１０を構成する操作入力機器を介したユーザの操作に応じて適時のタイミングで、学習済みモデルＭを学習させ、生成する処理を行ってもよい。

モデル生成部４２は、複数の学習用データセットＤ３を教師データセットとして、種々の機械学習アルゴリズムＡＬに基づく機械学習を行うことによって、学習済みモデルＭを生成する。使用する機械学習アルゴリズムＡＬとしては、例えば、ディープラーニング（ＤｅｅｐＬｅａｒｎｉｎｇ）、ニューラルネットワーク（ＮｅｕｒａｌＮｅｔｗｏｒｋ）、ロジスティック（Ｌｏｇｉｓｔｉｃ）回帰、アンサンブル学習（ＥｎｓｅｍｂｌｅＬｅａｒｎｉｎｇ）、サポートベクターマシン（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ）、ランダムフォレスト（ＲａｎｄｏｍＦｏｒｅｓｔ）、ナイーブベイズ（ＮａｉｖｅＢａｙｓ）等の公知のアルゴリズムが挙げられる。モデル生成部４２は、学習用データセットＤ３のうち、入力データＤ１を説明変数とし、教師データＤ２を目的変数として、学習済みモデルＭの機械学習を行う。モデル生成部４２は、当該機械学習の結果として、動画像データ及び計測データから上記挙動の種別を特定するための機械学習を行った学習済みモデルＭを生成する。

学習済みモデルＭは、例えば、ニューラルネットワークにより実現される。ニューラルネットワークとしては、例えば、ＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎＮｅｕｒａｌＮｅｔｗｏｒｋ）、ＲＮＮ（ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋ）、ＬＳＴＭ(Ｌｏｎｇｓｈｏｒｔ－ｔｅｒｍｍｅｍｏｒｙ) ネットワーク等の任意の構成を有するニューラルネットワークを採用することができる。この場合、モデル生成部４２は、複数の学習用データセットＤ３を用いた機械学習を行うことにより、当該ニューラルネットワークにおいて重み付けとして用いられる学習重み付け係数等を学習し、当該学習済みモデルＭを生成する。

より具体的には、本実施形態のモデル生成部４２は、機能概念的に、物体検出モデル生成部４２ａ、行動検出モデル生成部４２ｂ、関係行動検出モデル生成部４２ｃ、及び、種別特定モデル生成部４２ｄを含んで構成される。

物体検出モデル生成部４２ａは、学習済みモデルＭのうち、学習済み物体検出モデルＭ１を機械学習により生成する処理を実行可能な機能を有する部分である。物体検出モデル生成部４２ａは、前処理部４１によって取得された複数の第１学習用データセットＤ３１を用いて、学習済み物体検出モデルＭ１を機械学習により生成する処理を実行可能である。物体検出モデル生成部４２ａは、第１学習用データセットＤ３１のうち、「動画像データ」を入力データＤ１（説明変数）とし、「物体検出特徴量に関する教師データ」を教師データＤ２（目的変数）として、学習済み物体検出モデルＭ１の機械学習を行う。物体検出モデル生成部４２ａは、当該機械学習の結果として、動画像データから物体検出特徴量を抽出するための機械学習を行った学習済み物体検出モデルＭ１を生成することができる。

物体検出モデル生成部４２ａによって生成された学習済み物体検出モデルＭ１は、入力を「動画像データ」とし、出力を「物体検出特徴量」としたモデルである。すなわち、学習済み物体検出モデルＭ１は、動画像データの入力を受け付けて当該動画像データから物体検出特徴量を出力するように機能付けられる。より詳しくは、学習済み物体検出モデルＭ１は、ニューラルネットワークの入力層に入力された動画像データに対して、ニューラルネットワークにおける学習重み付け係数に基づく演算を行い、ニューラルネットワークの出力層から物体検出特徴量を出力するようにコンピュータを機能させる。

行動検出モデル生成部４２ｂは、学習済みモデルＭのうち、学習済み行動検出モデルＭ２を機械学習により生成する処理を実行可能な機能を有する部分である。行動検出モデル生成部４２ｂは、前処理部４１によって取得された複数の第２学習用データセットＤ３２を用いて、学習済み行動検出モデルＭ２を機械学習により生成する処理を実行可能である。行動検出モデル生成部４２ｂは、第２学習用データセットＤ３２のうち、「計測データ及び物体検出特徴量」を入力データＤ１（説明変数）とし、「移動体行動検出特徴量に関する教師データ及び物体行動検出特徴量に関する教師データ」を教師データＤ２（目的変数）として、学習済み行動検出モデルＭ２の機械学習を行う。行動検出モデル生成部４２ｂは、当該機械学習の結果として、計測データ及び物体検出特徴量から移動体行動検出特徴量及び物体行動検出特徴量を抽出するための機械学習を行った学習済み行動検出モデルＭ２を生成することができる。

行動検出モデル生成部４２ｂによって生成された学習済み行動検出モデルＭ２は、入力を「計測データ及び物体検出特徴量」とし、出力を「移動体行動検出特徴量及び物体行動検出特徴量」としたモデルである。すなわち、学習済み行動検出モデルＭ２は、計測データ及び物体検出特徴量の入力を受け付けて当該計測データ及び物体検出特徴量から移動体行動検出特徴量及び物体行動検出特徴量を出力するように機能付けられる。より詳しくは、学習済み行動検出モデルＭ２は、ニューラルネットワークの入力層に入力された計測データ及び物体検出特徴量に対して、ニューラルネットワークにおける学習重み付け係数に基づく演算を行い、ニューラルネットワークの出力層から移動体行動検出特徴量及び物体行動検出特徴量を出力するようにコンピュータを機能させる。

なお、行動検出モデル生成部４２ｂは、上述したように、学習済み行動検出モデルＭ２が複数のサブモデル（移動体行動検出サブモデル、物体行動検出サブモデル）に分かれて構成される場合、学習済み行動検出モデルＭ２として、当該複数のサブモデルを個別に機械学習により生成するようにしてもよい。

関係行動検出モデル生成部４２ｃは、学習済みモデルＭのうち、学習済み関係行動検出モデルＭ３を機械学習により生成する処理を実行可能な機能を有する部分である。関係行動検出モデル生成部４２ｃは、前処理部４１によって取得された複数の第３学習用データセットＤ３３を用いて、学習済み関係行動検出モデルＭ３を機械学習により生成する処理を実行可能である。関係行動検出モデル生成部４２ｃは、第３学習用データセットＤ３３のうち、「移動体行動検出特徴量及び物体行動検出特徴量」を入力データＤ１（説明変数）とし、「関係行動特徴量に関する教師データ」を教師データＤ２（目的変数）として、学習済み関係行動検出モデルＭ３の機械学習を行う。関係行動検出モデル生成部４２ｃは、当該機械学習の結果として、移動体行動検出特徴量及び物体行動検出特徴量から関係行動特徴量を抽出するための機械学習を行った学習済み関係行動検出モデルＭ３を生成することができる。

関係行動検出モデル生成部４２ｃによって生成された学習済み関係行動検出モデルＭ３は、入力を「移動体行動検出特徴量及び物体行動検出特徴量」とし、出力を「関係行動特徴量」としたモデルである。すなわち、学習済み関係行動検出モデルＭ３は、移動体行動検出特徴量及び物体行動検出特徴量の入力を受け付けて当該移動体行動検出特徴量及び物体行動検出特徴量から関係行動特徴量を出力するように機能付けられる。より詳しくは、学習済み関係行動検出モデルＭ３は、ニューラルネットワークの入力層に入力された移動体行動検出特徴量及び物体行動検出特徴量に対して、ニューラルネットワークにおける学習重み付け係数に基づく演算を行い、ニューラルネットワークの出力層から関係行動特徴量を出力するようにコンピュータを機能させる。

種別特定モデル生成部４２ｄは、学習済みモデルＭのうち、学習済み種別特定モデルＭ４を機械学習により生成する処理を実行可能な機能を有する部分である。種別特定モデル生成部４２ｄは、前処理部４１によって取得された複数の第４学習用データセットＤ３４を用いて、学習済み種別特定モデルＭ４を機械学習により生成する処理を実行可能である。種別特定モデル生成部４２ｄは、第４学習用データセットＤ３４のうち、「関係行動特徴量」を入力データＤ１（説明変数）とし、「関係行動種別データに関する教師データ」を教師データＤ２（目的変数）として、学習済み種別特定モデルＭ４の機械学習を行う。種別特定モデル生成部４２ｄは、当該機械学習の結果として、関係行動特徴量から上記挙動の種別を特定するための機械学習を行った学習済み種別特定モデルＭ４を生成することができる。

種別特定モデル生成部４２ｄによって生成された学習済み種別特定モデルＭ４は、入力を「関係行動特徴量」とし、出力を、「移動体Ｖの動きと物体の動きとが関係して生じる挙動の種別を定量化した値」としたとしたモデルである。すなわち、学習済み種別特定モデルＭ４は、関係行動特徴量の入力を受け付けて当該関係行動特徴量から当該挙動の種別を定量化した値を出力するように機能付けられる。より詳しくは、学習済み種別特定モデルＭ４は、ニューラルネットワークの入力層に入力された関係行動特徴量に対して、ニューラルネットワークにおける学習重み付け係数に基づく演算を行い、ニューラルネットワークの出力層から当該挙動の種別を定量化した値を出力するようにコンピュータを機能させる。

モデル生成部４２は、上記のようにして生成した学習済みモデルＭ（学習済み物体検出モデルＭ１、学習済み行動検出モデルＭ２、学習済み関係行動検出モデルＭ３、学習済み種別特定モデルＭ４）を記憶回路３０に記憶させる。このとき、モデル生成部４２は、以前に生成した学習済みモデルＭが既に記憶回路３０に記憶されていた場合には、記憶されている学習済みモデルＭを新しく生成した学習済みモデルＭで置き換える。

検出対象入力部４３は、使用フェーズにおいて、検出対象となる動画像データ及び計測データを入力する処理を実行可能な機能を有する部分である。ここでは、検出対象となる動画像データ及び計測データは、「検出対象データ（入力データ）Ｄ４」という場合がある。また、「検出対象データＤ４」のうち動画像データを「動画像データＤ４１」、計測データを「計測データＤ４２」と記載する場合がある。

検出対象データＤ４は、入力機器１０を構成するデータ入力機器を介して状況検出システム１外の他の機器から入力されてもよいし、入力機器１０を構成する操作入力機器を介してユーザの操作によって入力されてもよい。本実施形態の検出対象入力部４３は、カメラ５０、計測機器５１等から入力機器１０を介して受け付けた検出対象データＤ４（動画像データＤ４１、計測データＤ４２）を種別特定部４４に入力する処理を実行可能である。検出対象入力部４３は、例えば、移動体Ｖの移動にあわせてリアルタイムで検出対象データＤ４を入力してもよいし、移動体Ｖの移動終了後に適時のタイミングで事後的に検出対象データＤ４を入力してもよい。検出対象入力部４３は、入力する検出対象データＤ４を一旦記憶回路３０に記憶させるようにしてもよい。

種別特定部４４は、使用フェーズにおいて、学習済みモデルＭを用いて移動体Ｖの動きと動画像を構成する静止画像内の物体の動きとが関係して生じる挙動の種別を特定する処理を実行可能な機能を有する部分である。本実施形態の種別特定部４４は、モデル生成部４２によって生成された学習済みモデルＭを用いて、検出対象入力部４３によって入力された検出対象となる検出対象データＤ４から当該挙動の種別を特定する処理を実行可能である。より詳細には、種別特定部４４は、物体検出モデル生成部４２ａによって生成された学習済み物体検出モデルＭ１、行動検出モデル生成部４２ｂによって生成された学習済み行動検出モデルＭ２、関係行動検出モデル生成部４２ｃによって生成された学習済み関係行動検出モデルＭ３、及び、種別特定モデル生成部４２ｄによって生成された学習済み種別特定モデルＭ４を用いて、検出対象入力部４３によって入力された動画像データＤ４１及び計測データＤ４２から上記挙動の種別を特定する処理を実行可能である。

具体的には、本実施形態の種別特定部４４は、図７に示すように、機能概念的に、物体検出特徴量抽出器４４ａ、統合部４４ｂ、行動検出特徴量抽出器４４ｃ、関係行動特徴量抽出器４４ｄ、及び、分類器４４ｅを含んで構成される。

物体検出特徴量抽出器４４ａは、物体検出モデル生成部４２ａによって生成された学習済み物体検出モデルＭ１を用いて、動画像データＤ４１から物体検出特徴量Ｄ６１を抽出する処理を実行可能な機能を有する部分である。物体検出特徴量抽出器４４ａは、学習済み物体検出モデルＭ１に対して、検出対象入力部４３によって入力された検出対象データＤ４のうち「動画像データＤ４１」を入力データとして入力し、これに応じて当該学習済み物体検出モデルＭ１から「物体検出特徴量Ｄ６１」を出力させる。これにより、物体検出特徴量抽出器４４ａは、動画像データＤ４１から当該動画像データＤ４１において検出される物体を表す物体検出特徴量Ｄ６１を抽出する。この物体検出特徴量抽出器４４ａによって動画像データＤ４１から当該物体検出特徴量Ｄ６１を抽出する処理は、上述した物体検出に関する処理に相当する。物体検出特徴量抽出器４４ａは、出力された物体検出特徴量Ｄ６１を、記憶回路３０に記憶させると共に、次段の統合部４４ｂに入力する。

統合部４４ｂは、物体検出特徴量Ｄ６１と計測データＤ４２とを統合する処理を実行可能な機能を有する部分である。統合部４４ｂは、物体検出特徴量抽出器４４ａによって入力された「物体検出特徴量Ｄ６１」と、検出対象入力部４３によって入力された検出対象データＤ４のうち「計測データＤ４２」とを、時系列的に同時刻の組み合わせとなるように統合し、記憶回路３０に記憶させると共に、次段の行動検出特徴量抽出器４４ｃに入力する。

行動検出特徴量抽出器４４ｃは、行動検出モデル生成部４２ｂによって生成された学習済み行動検出モデルＭ２を用いて、計測データＤ４２及び物体検出特徴量Ｄ６１から移動体行動検出特徴量Ｄ６２及び物体行動検出特徴量Ｄ６３を抽出する処理を実行可能な機能を有する部分である。行動検出特徴量抽出器４４ｃは、学習済み行動検出モデルＭ２に対して、統合部４４ｂによって入力された時系列的に同時刻の「計測データＤ４２と物体検出特徴量Ｄ６１」とを入力データとして入力し、これに応じて当該学習済み行動検出モデルＭ２から「移動体行動検出特徴量Ｄ６２及び物体行動検出特徴量Ｄ６３」を出力させる。これにより、行動検出特徴量抽出器４４ｃは、計測データＤ４２及び物体検出特徴量Ｄ６１から、当該計測データＤ４２の時間変化に伴う移動体Ｖの動きを表す移動体行動検出特徴量Ｄ６２及び当該物体検出特徴量Ｄ６１の時間変化に伴う物体の動きを表す物体行動検出特徴量Ｄ６３を抽出する。この行動検出特徴量抽出器４４ｃによって計測データＤ４２及び物体検出特徴量Ｄ６１から当該移動体行動検出特徴量Ｄ６２及び当該物体行動検出特徴量Ｄ６３を抽出する処理は、上述した行動検出に関する処理に相当する。行動検出特徴量抽出器４４ｃは、出力された移動体行動検出特徴量Ｄ６２、物体行動検出特徴量Ｄ６３を、記憶回路３０に記憶させると共に、次段の関係行動特徴量抽出器４４ｄに入力する。

なお、行動検出特徴量抽出器４４ｃは、学習済み行動検出モデルＭ２が複数のサブモデル（移動体行動検出サブモデル、物体行動検出サブモデル）に分かれて構成される場合、当該複数のサブモデルに対してそれぞれ計測データＤ４２、物体検出特徴量Ｄ６１を入力することで、移動体行動検出特徴量Ｄ６２、物体行動検出特徴量Ｄ６３をそれぞれ出力させればよい。

関係行動特徴量抽出器４４ｄは、関係行動検出モデル生成部４２ｃによって生成された学習済み関係行動検出モデルＭ３を用いて、移動体行動検出特徴量Ｄ６２及び物体行動検出特徴量Ｄ６３から関係行動特徴量Ｄ６４を抽出する処理を実行可能な機能を有する部分である。関係行動特徴量抽出器４４ｄは、学習済み関係行動検出モデルＭ３に対して、行動検出特徴量抽出器４４ｃによって入力された「移動体行動検出特徴量Ｄ６２及び物体行動検出特徴量Ｄ６３」を入力データとして入力し、これに応じて当該学習済み関係行動検出モデルＭ３から「関係行動特徴量Ｄ６４」を出力させる。これにより、関係行動特徴量抽出器４４ｄは、移動体行動検出特徴量Ｄ６２及び物体行動検出特徴量Ｄ６３から、移動体Ｖの動きと動画像を構成する静止画像内の物体の動きとが関係して生じる挙動を表す関係行動特徴量Ｄ６４を抽出する。この関係行動特徴量抽出器４４ｄによって移動体行動検出特徴量Ｄ６２及び物体行動検出特徴量Ｄ６３から当該関係行動特徴量Ｄ６４を抽出する処理は、上述した関係行動検出に関する処理に相当する。関係行動特徴量抽出器４４ｄは、出力された関係行動特徴量Ｄ６４を、記憶回路３０に記憶させると共に、次段の分類器４４ｅに入力する。

分類器４４ｅは、種別特定モデル生成部４２ｄによって生成された学習済み種別特定モデルＭ４を用いて、関係行動特徴量Ｄ６４から移動体Ｖの動きと動画像を構成する静止画像内の物体の動きとが関係して生じる挙動の種別を特定する処理を実行可能な機能を有する部分である。分類器４４ｅは、種別特定モデル生成部４２ｄによって生成された学習済み種別特定モデルＭ４に対して、関係行動特徴量抽出器４４ｄによって入力された「関係行動特徴量Ｄ６４」を入力データとして入力し、これに応じて当該学習済み種別特定モデルＭ４から「上記挙動の種別を定量化した値」を出力させる。これにより、分類器４４ｅは、当該関係行動特徴量が表す上記挙動の種別を特定する。

例えば、上述した図５の例では、分類器４４ｅは、移動体Ｖの動きと物体の動きとが関係して生じる挙動の種別として、「手前側の自転車」、「自車両（移動体Ｖ）」の動きの関係性から「左折しようとしている自車両に対して、ふらついて走行している手前側の自転車が自車両の進行方向に向かっているという危険な挙動」を特定する。一方、分類器４４ｅは、移動体Ｖの動きと物体の動きとが関係して生じる挙動の種別として、「奥側の自転車」、「自車両（移動体Ｖ）」の動きの関係性から「左折しようとしている自車両に対して、ふらついて走行している奥側の自転車が自車両の進行方向とは異なる方向に向かっているという危険ではない挙動」を特定する。

他の例として、図８の例では、分類器４４ｅは、移動体Ｖの動きと物体の動きとが関係して生じる挙動の種別として、例えば、「赤信号」、「停止線」、「自車両（移動体Ｖ）」の動きの関係性から「赤信号で自車両が停止線上で停止したという交通違反ではない安全な挙動」を特定する。一方、図９の例では、分類器４４ｅは、移動体Ｖの動きと物体の動きとが関係して生じる挙動の種別として、例えば、「赤信号」、「停止線」、「自車両（移動体Ｖ）」の動きの関係性から「赤信号で自車両が停止線上で停止しないという交通違反である危険な挙動（信号無視）」を特定する。

分類器４４ｅは、出力された上記挙動の種別を定量化した値を、種別特定結果データ（出力データ）Ｄ５として記憶回路３０に記憶させる。

出力部４５は、種別特定部４４による挙動の種別の特定結果に基づいて出力を行う処理を実行可能な機能を有する部分である。本実施形態の出力部４５は、種別特定部４４によって特定された種別特定結果データＤ５を、出力機器２０を介して出力する処理を実行可能である。種別特定結果データＤ５は、出力機器２０を構成するディスプレイを介して画像情報として出力されてもよいし、出力機器２０を構成するスピーカを介して音情報として出力されてもよい。また、種別特定結果データＤ５は、出力機器２０を構成するデータ出力機器を介して状況検出システム１外の他の機器に出力されてもよい。出力部４５は、例えば、車両の走行にあわせてリアルタイムで種別特定結果データＤ５を出力してもよいし、入力機器１０を構成する操作入力機器を介したユーザの操作に応じて適時のタイミングで種別特定結果データＤ５を出力してもよい。

出力部４５は、一例として、種別特定部４４によって挙動の種別として「危険な挙動」が特定された場合、すなわち、種別特定結果データＤ５が「危険な挙動」を表す場合、出力機器２０を介して警報を出力するようにしてもよい。

次に、図１０のフローチャート図を参照して、状況検出システム１おける状況検出方法の処理手順について説明する。

図１０に示す状況検出システム１おける状況検出方法は、取得ステップ（ステップＳ１）、モデル生成ステップ（ステップＳ２～ステップＳ５）、入力ステップ（ステップＳ６）、種別特定ステップ（ステップＳ７）、出力ステップ（ステップＳ８）、判定ステップ（ステップＳ９）、警報ステップ（ステップＳ１０）を含む。ここでは、上記各ステップに関する処理は、状況検出システム１の処理回路４０によって実行される。

まず、処理回路４０の前処理部４１は、学習用データセットＤ３として、第１学習用データセットＤ３１、第２学習用データセットＤ３２、第３学習用データセットＤ３３、及び、第４学習用データセットＤ３４を取得するステップ（ステップＳ１）を実行する。この場合、前処理部４１は、入力機器１０を介して状況検出システム１外の他の機器から第１学習用データセットＤ３１、第２学習用データセットＤ３２、第３学習用データセットＤ３３、及び、第４学習用データセットＤ３４を直接取得してもよい。また、前処理部４１は、入力機器１０を介して状況検出システム１外の他の機器から入力された生データＤ０に対して、様々な前処理を施すことで第１学習用データセットＤ３１、第２学習用データセットＤ３２、第３学習用データセットＤ３３、及び、第４学習用データセットＤ３４を作成、取得してもよい。前処理部４１は、取得した複数の第１学習用データセットＤ３１、第２学習用データセットＤ３２、第３学習用データセットＤ３３、及び、第４学習用データセットＤ３４を記憶回路３０に記憶させる。

次に、処理回路４０のモデル生成部４２は、取得ステップ（ステップＳ１）で取得された複数の学習用データセットＤ３を用いて、学習済みモデルＭを機械学習により生成するモデル生成ステップ（ステップＳ２～ステップＳ５）を実行する。

より具体的には、モデル生成部４２の物体検出モデル生成部４２ａは、複数の第１学習用データセットＤ３１を用いて、学習済み物体検出モデルＭ１を機械学習により生成する物体検出モデル生成ステップ（ステップＳ２）を実行する。モデル生成部４２の行動検出モデル生成部４２ｂは、複数の第２学習用データセットＤ３２を用いて、学習済み行動検出モデルＭ２を機械学習により生成する行動検出モデル生成ステップ（ステップＳ３）を実行する。モデル生成部４２の関係行動検出モデル生成部４２ｃは、複数の第３学習用データセットＤ３３を用いて、学習済み関係行動検出モデルＭ３を機械学習により生成する関係行動検出モデル生成ステップ（ステップＳ４）を実行する。モデル生成部４２の種別特定モデル生成部４２ｄは、複数の第４学習用データセットＤ３４を用いて、学習済み種別特定モデルＭ４を機械学習により生成する種別特定モデル生成ステップ（ステップＳ５）を実行する。

モデル生成部４２は、生成した学習済みモデルＭ（学習済み物体検出モデルＭ１、学習済み行動検出モデルＭ２、学習済み関係行動検出モデルＭ３、学習済み種別特定モデルＭ４）を記憶回路３０に記憶させる。このとき、モデル生成部４２は、以前に生成した学習済みモデルＭが既に記憶回路３０に記憶されていた場合には、記憶されている学習済みモデルＭを新しく生成した学習済みモデルＭで置き換える。

次に、処理回路４０の検出対象入力部４３は、検出対象となる検出対象データＤ４として動画像データＤ４１、及び、計測データＤ４２を処理回路４０の種別特定部４４に入力する入力ステップ（ステップＳ６）を実行する。この場合、検出対象入力部４３は、入力機器１０を介して状況検出システム１外の他の機器から受け付けた検出対象データＤ４を入力してもよいし、入力機器１０を介してユーザの操作によって受け付けた検出対象データＤ４を入力してもよい。また、検出対象入力部４３は、入力する検出対象データＤ４を一旦記憶回路３０に記憶させるようにしてもよい。

次に、処理回路４０の種別特定部４４は、モデル生成ステップ（ステップＳ２～ステップＳ５）で生成された学習済み物体検出モデルＭ１、学習済み行動検出モデルＭ２、学習済み関係行動検出モデルＭ３、及び、学習済み種別特定モデルＭ４を用いて、入力ステップ（ステップＳ６）で入力された動画像データＤ４１及び計測データＤ４２（検出対象データＤ４）から移動体Ｖの動きと動画像を構成する静止画像内の物体の動きとが関係して生じる挙動の種別を特定する種別特定ステップ（ステップＳ７）を実行する。この場合、種別特定部４４は、物体検出特徴量抽出器４４ａ、統合部４４ｂ、行動検出特徴量抽出器４４ｃ、関係行動特徴量抽出器４４ｄ、及び、分類器４４ｅが協働して、動画像データＤ４１及び計測データＤ４２から上記挙動の種別を特定する。種別特定部４４は、特定した挙動の種別を定量化した値を、種別特定結果データＤ５として記憶回路３０に記憶させる。

次に、処理回路４０の出力部４５は、種別特定ステップ（ステップＳ７）で特定された挙動の種別についての種別特定結果データＤ５を出力する出力ステップ（ステップＳ８）を実行する。この場合、出力部４５は、種別特定結果データＤ５を、出力機器２０を介して画像情報や音情報として出力してもよいし、出力機器２０を介して状況検出システム１外の他の機器に出力してもよい。

ここでは、出力部４５は、さらに、種別特定部４４によって特定された挙動の種別が「危険な挙動」等の警報を要する挙動であるか否かを判定する判定ステップ（ステップＳ９）を実行する。出力部４５は、種別特定部４４によって特定された挙動の種別が警報を要する挙動でないと判定した場合（ステップＳ９：Ｎｏ）、本フローチャートによる処理を終了する。出力部４５は、種別特定部４４によって特定された挙動の種別が警報を要する挙動であると判定した場合（ステップＳ９：Ｙｅｓ）、出力機器２０を介して警報を出力する警報ステップ（ステップＳ１０）を実行し、本フローチャートによる処理を終了する。

上述した状況検出方法は、予め用意された状況検出プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この状況検出プログラムは、上述した取得ステップ（ステップＳ１）、モデル生成ステップ（ステップＳ２～ステップＳ５）、入力ステップ（ステップＳ６）、種別特定ステップ（ステップＳ７）、出力ステップ（ステップＳ８）、判定ステップ（ステップＳ９）、警報ステップ（ステップＳ１０）の各処理をコンピュータに実行させる。

以上で説明した状況検出システム１、状況検出方法、状況検出プログラムは、学習済み物体検出モデルＭ１を用いて「動画像データ」から当該動画像データにおいて検出される物体を表す「物体検出特徴量」を抽出することで物体検出を行うことができる。また、状況検出システム１、状況検出方法、状況検出プログラムは、学習済み行動検出モデルＭ２を用いて「計測データ及び物体検出特徴量」から移動体の動きを表す「移動体行動検出特徴量」及び物体の動きを表す「物体行動検出特徴量」を抽出することで行動検出を行うことができる。そして、状況検出システム１、状況検出方法、状況検出プログラムは、学習済み関係行動検出モデルＭ３を用いて、上記のようにして抽出した「移動体行動検出特徴量及び物体行動検出特徴量」から移動体の動きと物体の動きとが関係して生じる挙動を表す「関係行動特徴量」を抽出することで関係行動検出を行うことができる。そして、状況検出システム１、状況検出方法、状況検出プログラムは、学習済み種別特定モデルＭ４を用いて、この「関係行動特徴量」から「当該挙動の種別」を特定することができる。

この結果、状況検出システム１、状況検出方法、状況検出プログラムは、物体検出、行動検出に加えて、さらに関係行動検出も用いて、移動体Ｖや動画像から検出した物体同士の関係性を検出し、これらの動きを関係づけて相互の挙動の意味（種別）を検出することができる。これにより、状況検出システム１、状況検出方法、状況検出プログラムは、適正に状況検出を行うことができ、例えば、状況検出をより精緻に行うことができる。

そして、状況検出システム１、状況検出方法、状況検出プログラムは、上記のようにして得られるより精緻な状況検出の結果を、例えば、リアルタイム安全運転診断システム、教育システム、危険予知システム、自動運転システム等に応用が可能である。この場合、状況検出システム１、状況検出方法、状況検出プログラムは、例えば、リアルタイムでの運転警告、運転技術の評価、危険運転・交通違反の発見・評価、危険抑制行動の指導・教育、安全な運行計画の作成、自動運転への反映等の様々な目的で供することができる。

例えば、状況検出システム１、状況検出方法、状況検出プログラムは、関係行動検出技術を利用して、バットやバールなどの器具を利用した車両のドアのこじ開けや車上荒らしなどの関係行動検出を行い、警報を発出することで犯罪予防等に活用することも可能である。また、状況検出システム１、状況検出方法、状況検出プログラムは、例えば、建造物や街灯等の構造物に設置された防犯カメラの動画像データも合わせて利用することで、より好適に犯罪予防等に活用することが可能である。

また、状況検出システム１、状況検出方法、状況検出プログラムは、例えば、関係行動検出技術を利用して、タクシー等の配車サービスシステムへの応用も可能である。この場合、状況検出システム１、状況検出方法、状況検出プログラムは、例えば、車両周辺の人物の動きと車両の動きに対して関係行動検出を行うことで、道端で車両の来る方向を凝視するような人物の動きや車両に向かって手を挙げる動き等に基づき、タクシーに対する乗車希望の意思を検出し、配車サービスに活用することも可能である。

さらに、状況検出システム１、状況検出方法、状況検出プログラムは、例えば、関係行動検出技術を利用して、駐車場の空車案内、空車予測案内サービスへの応用も可能である。また、状況検出システム１、状況検出方法、状況検出プログラムは、例えば、駐車場に設置されたカメラ等の動画像データも合わせて利用することで、満車の駐車場で人物が荷物を積み終えたり車に乗り込んだりする動き等の関係行動検出も行い、例えば、あと数分で空車が出る可能性が高い状況であることを特定し、登録者への案内サービス等に活用することも可能である。

なお、以上で説明した実施形態では、状況検出システム１として、１つのシステムで学習フェーズと使用フェーズとの双方を集約して行う場合の例を説明したが、実施形態はこれに限られない。

例えば、図１１に例示する変形例に係る状況検出システム１Ａは、学習フェーズにおける各処理を実行する学習済みモデル生成システム１００と、使用フェーズにおける各処理を実行する状況検出装置２００とに分かれて構成される点で上述した状況検出システム１と異なる。状況検出装置２００は、例えば、カメラ５０、計測機器５１等と共に移動体Ｖに搭載されるものであってもよい。一方、学習済みモデル生成システム１００は、例えば、移動体Ｖを運用する事業所等に設置されるものであってもよい。

学習済みモデル生成システム１００は、入力機器１１０と、出力機器１２０と、記憶回路１３０と、処理回路１４０とを備え、学習用データセットＤ３を用いた機械学習によって学習済みモデルＭを生成する処理を行う。処理回路１４０は、上記各種処理機能を実現するために、機能概念的に、前処理部１４１、及び、モデル生成部１４２を含んで構成される。

前処理部１４１は、上述した前処理部４１と同様に、学習用データセットＤ３（第１学習用データセットＤ３１、第２学習用データセットＤ３２、第３学習用データセットＤ３３、第４学習用データセットＤ３４）を取得する処理を実行可能である。前処理部１４１は、取得した複数の学習用データセットＤ３を記憶回路１３０に記憶させる。

モデル生成部１４２は、上述したモデル生成部４２と同様に、前処理部１４１によって取得された複数の学習用データセットＤ３を用いて、学習済みモデルＭを機械学習により生成する処理を実行可能である。モデル生成部１４２は、上述したモデル生成部４２と同様に、機能概念的に、物体検出モデル生成部１４２ａ、行動検出モデル生成部１４２ｂ、関係行動検出モデル生成部１４２ｃ、及び、種別特定モデル生成部１４２ｄを含んで構成される。モデル生成部１４２は、生成した学習済みモデルＭ（学習済み物体検出モデルＭ１、学習済み行動検出モデルＭ２、学習済み関係行動検出モデルＭ３、学習済み種別特定モデルＭ４）を記憶回路１３０に記憶させる。

状況検出装置２００は、入力機器２１０と、出力機器２２０と、記憶回路２３０と、処理回路２４０とを備え、学習済みモデルＭを用いて移動体Ｖの動きと動画像を構成する静止画像内の物体の動きとが関係して生じる挙動の種別を特定する処理を行う。処理回路２４０は、上記各種処理機能を実現するために、機能概念的に、検出対象入力部２４３、種別特定部２４４、及び、出力部２４５を含んで構成される。

検出対象入力部２４３は、上述した検出対象入力部４３と同様に、検出対象となる検出対象データＤ４となる動画像データＤ４１及び計測データＤ４２を入力する処理を実行可能である。

種別特定部２４４は、上述した種別特定部４４と同様に、学習済みモデルＭを用いて、検出対象入力部２４３によって入力された検出対象データＤ４から移動体Ｖを含む複数の物体の動きが関係して生じる挙動の種別を特定する処理を実行可能である。この場合、種別特定部２４４は、例えば、学習済みモデル生成システム１００の出力機器１２０、及び、状況検出装置２００の入力機器２１０を介して予め記憶回路２３０に記憶させた学習済みモデルＭ（学習済み物体検出モデルＭ１、学習済み行動検出モデルＭ２、学習済み関係行動検出モデルＭ３、学習済み種別特定モデルＭ４）を用いることができる。この学習済みモデルＭは、上述のように学習済みモデル生成システム１００によって生成されたモデルである。

出力部２４５は、上述した出力部４５と同様に、種別特定部４４によって特定された種別特定結果データＤ５を、出力機器２２０を介して出力する処理を実行可能である。

入力機器１１０、２１０、出力機器１２０、２２０、記憶回路１３０、２３０、処理回路１４０、２４０のその他の構成は、上述の入力機器１０、出力機器２０、記憶回路３０、処理回路４０と略同様の構成である。本変形例では、移動体Ｖの周囲の動画像は、例えば、移動体Ｖに搭載されたカメラ５０によって撮影され、当該カメラ５０から動画像データとして入力機器２１０に入力される。同様に、移動体Ｖの状態に応じた計測値は、例えば、移動体Ｖに搭載された計測機器５１によって計測され、当該計測機器５１から動画像データとして入力機器２１０に入力される。

この場合であっても、状況検出システム１Ａ、学習済みモデル生成システム１００、状況検出装置２００は、上述した状況検出システム１と同様に、適正に状況検出を行うことができ、例えば、状況検出をより精緻に行うことができる。

なお、この変形例の場合、状況検出装置２００で用いる学習済みモデルＭは、上述のように学習済みモデル生成システム１００によって生成されたモデルに限らず、他のシステムで生成された学習済みモデルＭであってもよい。

［実施形態２］
実施形態２に係る状況検出システム、状況検出方法、状況検出プログラム、学習済みモデル生成システム、及び、状況検出装置は、さらに、距離データを用いる点で実施形態１とは異なる。以下では、上述した実施形態と同様の構成要素には共通の符号が付されるとともに、共通する構成、作用、効果については、重複した説明はできるだけ省略する（以下同様。）。

図１２、図１３に示す本実施形態の状況検出システム１Ｂは、移動体行動検出特徴量、物体行動検出特徴量に加えて移動体Ｖと当該移動体Ｖの周囲物体との距離の変化を表す距離変化特徴量も用いて関係行動検出を行う点で上述した状況検出システム１と異なる。ここでは、状況検出システム１Ｂは、処理回路４０がモデル生成部４２、種別特定部４４にかえてモデル生成部４２Ｂ、種別特定部４４Ｂを含んで構成される点で上述した状況検出システム１と異なる。状況検出システム１Ｂのその他の構成は、上述の状況検出システム１と略同様の構成である。

本実施形態の入力機器１０は、種々の機器から少なくとも動画像データ、計測データに加えて距離データが入力される。

距離データとは、動画像の撮影に伴って計測された移動体Ｖと当該移動体Ｖの周囲物体（例えば、車両、通行人、自転車、障害物、街灯、看板、電柱、標識、停止線等）との距離を表すデータである。距離データは、典型的には、移動体Ｖにおいて動画像の撮影と同期して検出される。移動体Ｖと周囲物体との距離は、例えば、移動体Ｖに搭載された距離センサ５２によって検出され、当該距離センサ５２から距離データとして入力機器１０に入力される。距離センサ５２は、例えば、移動体Ｖに搭載され、赤外線、ミリ波、超音波等を用いて距離を検出する各種レーダやソナーによって構成される。また、距離センサ５２は、例えば、カメラ５０によって兼用され、当該カメラ５０によって撮影された動画像データに各種処理を施して距離を検出するものであってもよい。

そして、本実施形態の第２学習用データセットＤ３２は、計測データ、物体検出特徴量に加えて上記距離データと、移動体行動検出特徴量に関する教師データ、物体行動検出特徴量に関する教師データに加えて距離変化特徴量に関する教師データとからなる。ここで、距離変化特徴量とは、距離データの時間変化に伴う移動体Ｖと周囲物体との距離の変化を表す特徴量であり、時間変化に伴う移動体Ｖと周囲物体との動きに応じた当該距離の変化の特徴を表す。ここでは、第２学習用データセットＤ３２は、「計測データ、物体検出特徴量及び距離データ」と、「当該計測データに対応した移動体行動検出特徴量に関する教師データ、当該物体検出特徴量に対応した物体行動検出特徴量に関する教師データ及び当該距離データに対応した距離変化特徴量に関する教師データ」とが１組のセットとして紐づけられることで構成される。つまり、本実施形態の第２学習用データセットＤ３２は、入力データＤ１（説明変数）として定量化された当該計測データ、当該物体検出特徴量及び当該距離データと、教師データＤ２（目的変数）として定量化された当該移動体行動検出特徴量に関する教師データ、当該物体行動検出特徴量に関する教師データ及び当該距離変化特徴量に関する教師データとからなる。

また、本実施形態の第３学習用データセットＤ３３は、移動体行動検出特徴量、物体行動検出特徴量及び距離変化特徴量と、関係行動特徴量に関する教師データとからなる。第３学習用データセットＤ３３は、「移動体行動検出特徴量、物体行動検出特徴量及び距離変化特徴量」と、「当該移動体行動検出特徴量と当該物体行動検出特徴量と当該距離変化特徴量とに対応した関係行動特徴量に関する教師データ」とが１組のセットとして紐づけられることで構成される。つまり、本実施形態の第３学習用データセットＤ３３は、入力データＤ１（説明変数）として定量化された当該移動体行動検出特徴量、当該物体行動検出特徴量及び当該距離変化特徴量と、教師データＤ２（目的変数）として定量化された当該関係行動特徴量に関する教師データとからなる。

そして、本実施形態のモデル生成部４２Ｂは、行動検出モデル生成部４２ｂ、関係行動検出モデル生成部４２ｃにかえて行動検出モデル生成部４２Ｂｂ、関係行動検出モデル生成部４２Ｂｃを含んで構成される点で上述したモデル生成部４２と異なる。モデル生成部４２Ｂのその他の構成は、上述のモデル生成部４２と略同様の構成である。

行動検出モデル生成部４２Ｂｂは、前処理部４１によって取得された複数の第２学習用データセットＤ３２を用いて、学習済み行動検出モデルＭ２を機械学習により生成する。本実施形態の行動検出モデル生成部４２Ｂｂは、第２学習用データセットＤ３２のうち、「計測データ、物体検出特徴量及び距離データ」を入力データＤ１（説明変数）とし、「移動体行動検出特徴量に関する教師データ、物体行動検出特徴量に関する教師データ及び距離変化特徴量に関する教師データ」を教師データＤ２（目的変数）として、学習済み行動検出モデルＭ２の機械学習を行う。行動検出モデル生成部４２Ｂｂは、当該機械学習の結果として、計測データ、物体検出特徴量及び距離データから移動体行動検出特徴量、物体行動検出特徴量及び距離変化特徴量を抽出するための機械学習を行った学習済み行動検出モデルＭ２を生成する。行動検出モデル生成部４２Ｂｂによって生成された学習済み行動検出モデルＭ２は、入力を「計測データ、物体検出特徴量及び距離データ」とし、出力を「移動体行動検出特徴量、物体行動検出特徴量及び距離変化特徴量」としたモデルである。

なお、行動検出モデル生成部４２Ｂｂは、上述した行動検出モデル生成部４２ｂと同様に、複数の第２学習用データセットＤ３２を用いて、学習済み行動検出モデルＭ２として、複数のサブモデル（移動体行動検出サブモデル、物体行動検出サブモデル、距離変化検出サブモデル）を個別に機械学習により生成するようにしてもよい。

関係行動検出モデル生成部４２Ｂｃは、前処理部４１によって取得された複数の第２学習用データセットＤ３２を用いて、学習済み関係行動検出モデルＭ３を機械学習により生成する処理を実行可能である。本実施形態の関係行動検出モデル生成部４２Ｂｃは、第３学習用データセットＤ３３のうち、「移動体行動検出特徴量、物体行動検出特徴量及び距離変化特徴量」を入力データＤ１（説明変数）とし、「関係行動特徴量に関する教師データ」を教師データＤ２（目的変数）として、学習済み関係行動検出モデルＭ３の機械学習を行う。関係行動検出モデル生成部４２Ｂｃは、当該機械学習の結果として、移動体行動検出特徴量、物体行動検出特徴量及び距離変化特徴量から関係行動特徴量を抽出するための機械学習を行った学習済み関係行動検出モデルＭ３を生成する。関係行動検出モデル生成部４２Ｂｃによって生成された学習済み関係行動検出モデルＭ３は、入力を「移動体行動検出特徴量、物体行動検出特徴量及び距離変化特徴量」とし、出力を「関係行動特徴量」としたモデルである。

そして、本実施形態の検出対象入力部４３は、使用フェーズにおいて、検出対象となる検出対象データＤ４として、動画像データＤ４１、計測データＤ４２及び距離データＤ４３を種別特定部４４Ｂに入力する。

本実施形態の種別特定部４４Ｂは、使用フェーズにおいて、物体検出モデル生成部４２ａによって生成された学習済み物体検出モデルＭ１、行動検出モデル生成部４２ｂによって生成された学習済み行動検出モデルＭ２、関係行動検出モデル生成部４２ｃによって生成された学習済み関係行動検出モデルＭ３、及び、種別特定モデル生成部４２ｄによって生成された学習済み種別特定モデルＭ４を用いて、検出対象入力部４３によって入力された動画像データＤ４１、計測データＤ４２及び距離データＤ４３から上記挙動の種別を特定する。

具体的には、本実施形態の種別特定部４４Ｂは、統合部４４ｂ、行動検出特徴量抽出器４４ｃ、関係行動特徴量抽出器４４ｄにかえて統合部４４Ｂｂ、行動検出特徴量抽出器４４Ｂｃ、関係行動特徴量抽出器４４Ｂｄを含んで構成される。種別特定部４４Ｂのその他の構成は、上述の種別特定部４４と略同様の構成である。

統合部４４Ｂｂは、物体検出特徴量抽出器４４ａによって入力された「物体検出特徴量Ｄ６１」と、検出対象入力部４３によって入力された検出対象データＤ４のうち「計測データＤ４２」と「距離データＤ４３」とを、時系列的に同時刻の組み合わせとなるように統合し、記憶回路３０に記憶させると共に、次段の行動検出特徴量抽出器４４Ｂｃに入力する。

行動検出特徴量抽出器４４Ｂｃは、行動検出モデル生成部４２Ｂｂによって生成された学習済み行動検出モデルＭ２を用いて、計測データＤ４２、物体検出特徴量Ｄ６１及び距離データＤ４３から移動体行動検出特徴量Ｄ６２、物体行動検出特徴量Ｄ６３及び距離変化特徴量Ｄ６５を抽出する。行動検出特徴量抽出器４４Ｂｃは、学習済み行動検出モデルＭ２に対して、統合部４４Ｂｂによって入力された時系列的に同時刻の「計測データＤ４２、物体検出特徴量Ｄ６１及び距離データＤ４３」を入力データとして入力し、これに応じて当該学習済み行動検出モデルＭ２から「移動体行動検出特徴量Ｄ６２、物体行動検出特徴量Ｄ６３及び距離変化特徴量Ｄ６５」を出力させる。行動検出特徴量抽出器４４Ｂｃは、出力された移動体行動検出特徴量Ｄ６２、物体行動検出特徴量Ｄ６３、距離変化特徴量Ｄ６５を、記憶回路３０に記憶させると共に、次段の関係行動特徴量抽出器４４Ｂｄに入力する。

関係行動特徴量抽出器４４Ｂｄは、関係行動検出モデル生成部４２Ｂｃによって生成された学習済み関係行動検出モデルＭ３を用いて、移動体行動検出特徴量Ｄ６２、物体行動検出特徴量Ｄ６３及び距離変化特徴量Ｄ６５から関係行動特徴量Ｄ６４を抽出する。関係行動特徴量抽出器４４Ｂｄは、学習済み関係行動検出モデルＭ３に対して、行動検出特徴量抽出器４４Ｂｃによって入力された「移動体行動検出特徴量Ｄ６２、物体行動検出特徴量Ｄ６３及び距離変化特徴量Ｄ６５」を入力データとして入力し、これに応じて当該学習済み関係行動検出モデルＭ３から「関係行動特徴量Ｄ６４」を出力させる。関係行動特徴量抽出器４４Ｂｄは、出力された関係行動特徴量Ｄ６４を、記憶回路３０に記憶させると共に、次段の分類器４４ｅに入力する。

分類器４４ｅは、種別特定モデル生成部４２ｄによって生成された学習済み種別特定モデルＭ４に対して、関係行動特徴量抽出器４４Ｂｄによって入力された「関係行動特徴量Ｄ６４」を入力データとして入力し、これに応じて当該学習済み種別特定モデルＭ４から「上記挙動の種別を定量化した値」を出力させる。

この場合であっても、状況検出システム１Ｂ、状況検出方法、状況検出プログラムは、上述した状況検出システム１と同様に、適正に状況検出を行うことができ、例えば、状況検出をより精緻に行うことができる。

ここでは、以上で説明した状況検出システム１Ｂ、状況検出方法、状況検出プログラムは、学習済み行動検出モデルＭ２を用いて「計測データ、物体検出特徴量に加えて距離データ」から「移動体行動検出特徴量、物体行動検出特徴量に加えて距離変化特徴量」を抽出することができる。そして、状況検出システム１、状況検出方法、状況検出プログラムは、学習済み関係行動検出モデルＭ３を用いて、「移動体行動検出特徴量、物体行動検出特徴量に加えて距離変化特徴量」も踏まえて「関係行動特徴量」を抽出することができる。そして、状況検出システム１、状況検出方法、状況検出プログラムは、学習済み種別特定モデルＭ４を用いて、この関係行動特徴量から当該挙動の種別を特定することができる。この結果、状況検出システム１、状況検出方法、状況検出プログラムは、移動体Ｖと当該移動体Ｖの周囲物体との距離を踏まえたより高次な状況検出を行うことができる。

なお、上述した本発明の実施形態に係る状況検出システム、状況検出方法、状況検出プログラム、学習済みモデル生成システム、及び、状況検出装置は、上述した実施形態に限定されず、特許請求の範囲に記載された範囲で種々の変更が可能である。

例えば、以上で説明した状況検出システム１、状況検出システム１Ｂにおいて、出力部４５は、検出対象入力部４３によって入力される距離データも踏まえて警報の要否を判定するようにしてもよい。

この場合、出力部４５は、例えば、図１４に例示するように、出力ステップ（ステップＳ８）の後、種別特定部４４、４４Ｂによって特定された挙動の種別が「危険な挙動」等であり、かつ、当該「危険な挙動」において警報の対象となる候補が有るか否かを判定する判定ステップ（ステップＳ９－１）を実行する。出力部４５は、種別特定部４４によって特定された挙動の種別が「危険な挙動」等ではない、あるいは、「危険な挙動」において警報の対象となる候補が無いと判定した場合（ステップＳ９－１：Ｎｏ）、本フローチャートによる処理を終了する。

一方、出力部４５は、種別特定部４４、４４Ｂによって特定された挙動の種別が「危険な挙動」等であり、かつ、当該「危険な挙動」において警報の対象となる候補が有ると判定した場合（ステップＳ９－１：Ｙｅｓ）、距離データに基づいて移動体Ｖと警報の対象となる候補との距離が近いか否かを判定する（ステップＳ９－２）。出力部４５は、例えば、移動体Ｖと警報の対象となる候補（周囲物体）との距離が予め設定される判定閾値以下であるか否かを判定することで移動体Ｖと警報の対象となる候補との距離が近いか否かを判定することができる。

出力部４５は、移動体Ｖと警報の対象となる候補との距離が離れていると判定した場合（ステップＳ９－２：Ｎｏ）、警報を要しないものと判定し、本フローチャートによる処理を終了する。一方、出力部４５は、移動体Ｖと警報の対象となる候補との距離が近いと判定した場合（ステップＳ９－２：Ｙｅｓ）、警報を要するものと判定し、出力機器２０を介して警報を出力する警報ステップ（ステップＳ１０）を実行し、本フローチャートによる処理を終了する。

この場合、状況検出システム１、１Ｂは、無駄な警報をより確実に抑制した上で、状況検出に応じて適正に警報を出力することができる。

以上で説明したモデル生成部４２、４２Ｂ、１４２は、教師データありの機械学習によって学習済みモデルＭを生成するものとして説明したがこれに限らず、一部、又は、全部において、可能な範囲で教師データなしの機械学習によって学習済みモデルＭを生成するようにしてもよい。例えば、行動検出モデル生成部４２ｂ、４２Ｂｂ、１４２ｂは、いわゆる「ＬＳＴＭＡｕｔｏｅｎｃｏｄｅｒ」を利用して、移動体行動検出特徴量に関する教師データ等を用いない教師データなしの機械学習によって、学習済み行動検出モデルＭ２を生成してもよい。

以上で説明した処理回路４０、１４０、２４０は、単一のプロセッサによって各処理機能が実現されるものとして説明したがこれに限らない。処理回路４０、１４０、２４０は、複数の独立したプロセッサを組み合わせて各プロセッサがプログラムを実行することにより各処理機能が実現されてもよい。また、処理回路４０、１４０、２４０が有する処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、処理回路４０、１４０、２４０が有する処理機能は、その全部又は任意の一部をプログラムにて実現してもよく、また、ワイヤードロジック等によるハードウェアとして実現してもよい。

以上で説明したプロセッサによって実行されるプログラムは、記憶回路３０、１３０、２３０等に予め組み込まれて提供される。なお、このプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記憶媒体に記録されて提供されてもよい。また、このプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることにより提供又は配布されてもよい。

本実施形態に係る状況検出システム、状況検出方法、状況検出プログラム、学習済みモデル生成システム、及び、状況検出装置は、以上で説明した実施形態、変形例の構成要素を適宜組み合わせることで構成してもよい。

１、１Ａ、１Ｂ状況検出システム
１０、１１０、２１０入力機器
２０、１２０、２２０出力機器
３０、１３０、２３０記憶回路
４０、１４０、２４０処理回路
４１、１４１前処理部
４２、４２Ｂ、１４２モデル生成部
４２ａ、１４２ａ物体検出モデル生成部
４２ｂ、４２Ｂｂ、１４２ｂ行動検出モデル生成部
４２ｃ、４２Ｂｃ、１４２ｃ関係行動検出モデル生成部
４２ｄ、１４２ｄ種別特定モデル生成部
４３、２４３検出対象入力部
４４、４４Ｂ、２４４種別特定部
４４ａ物体検出特徴量抽出器
４４ｂ、４４Ｂｂ統合部
４４ｃ、４４Ｂｃ行動検出特徴量抽出器
４４ｄ、４４Ｂｄ関係行動特徴量抽出器
４４ｅ分類器
４５、２４５出力部
５０カメラ
５１計測機器
５２距離センサ
１００学習済みモデル生成システム
２００状況検出装置
ＡＬ機械学習アルゴリズム
Ｄ０生データ
Ｄ１入力データ
Ｄ２教師データ
Ｄ３学習用データセット
Ｄ３１第１学習用データセット
Ｄ３２第２学習用データセット
Ｄ３３第３学習用データセット
Ｄ３４第４学習用データセット
Ｄ４検出対象データ
Ｄ４１動画像データ
Ｄ４２計測データ
Ｄ４３距離データ
Ｄ５種別特定結果データ
Ｄ６１物体検出特徴量
Ｄ６２移動体行動検出特徴量
Ｄ６３物体行動検出特徴量
Ｄ６４関係行動特徴量
Ｄ６５距離変化特徴量
Ｍ学習済みモデル
Ｍ１学習済み物体検出モデル
Ｍ２学習済み行動検出モデル
Ｍ３学習済み関係行動検出モデル
Ｍ４学習済み種別特定モデル
Ｖ移動体

Claims

移動体から撮影された動画像を表す動画像データと、前記動画像データにおいて検出される物体を表す物体検出特徴量に関する教師データとからなる第１学習用データセット、前記動画像の撮影に伴って計測された前記移動体の状態に応じた計測値を表す計測データ及び前記物体検出特徴量と、前記計測データの時間変化に伴う前記移動体の動きを表す移動体行動検出特徴量に関する教師データ及び前記物体検出特徴量の時間変化に伴う前記物体の動きを表す物体行動検出特徴量に関する教師データとからなる第２学習用データセット、前記移動体行動検出特徴量及び前記物体行動検出特徴量と、前記移動体の動きと前記物体の動きとが関係して生じる挙動を表す関係行動特徴量に関する教師データとからなる第３学習用データセット、及び、前記関係行動特徴量と、前記挙動の種別を表す関係行動種別データに関する教師データとからなる第４学習用データセットを取得する前処理部と、
前記前処理部によって取得された複数の前記第１学習用データセットを用いて、前記動画像データから前記物体検出特徴量を抽出する学習済み物体検出モデルを学習により生成する物体検出モデル生成部と、
前記前処理部によって取得された複数の前記第２学習用データセットを用いて、前記計測データ及び前記物体検出特徴量から前記移動体行動検出特徴量及び前記物体行動検出特徴量を抽出する学習済み行動検出モデルを学習により生成する行動検出モデル生成部と、
前記前処理部によって取得された複数の前記第３学習用データセットを用いて、前記移動体行動検出特徴量及び前記物体行動検出特徴量から前記関係行動特徴量を抽出する学習済み関係行動検出モデルを学習により生成する関係行動検出モデル生成部と、
前記前処理部によって取得された複数の前記第４学習用データセットを用いて、前記関係行動特徴量から前記挙動の種別を特定する学習済み種別特定モデルを学習により生成する種別特定モデル生成部と、
検出対象となる前記動画像データ及び前記計測データを入力する検出対象入力部と、
前記物体検出モデル生成部によって生成された前記学習済み物体検出モデル、前記行動検出モデル生成部によって生成された前記学習済み行動検出モデル、前記関係行動検出モデル生成部によって生成された前記学習済み関係行動検出モデル、及び、前記種別特定モデル生成部によって生成された前記学習済み種別特定モデルを用いて、前記検出対象入力部によって入力された前記動画像データ及び前記計測データから前記挙動の種別を特定する種別特定部とを備えることを特徴とする、
状況検出システム。
前記第２学習用データセットは、前記計測データ、前記物体検出特徴量に加えて前記動画像の撮影に伴って計測された前記移動体と当該移動体の周囲物体との距離を表す距離データと、前記移動体行動検出特徴量に関する教師データ、前記物体行動検出特徴量に関する教師データに加えて前記距離データの時間変化に伴う前記距離の変化を表す距離変化特徴量に関する教師データとからなり、
前記第３学習用データセットは、前記移動体行動検出特徴量、前記物体行動検出特徴量及び前記距離変化特徴量と、前記関係行動特徴量に関する教師データとからなり、
前記行動検出モデル生成部は、前記前処理部によって取得された複数の前記第２学習用データセットを用いて、前記計測データ、前記物体検出特徴量及び前記距離データから前記移動体行動検出特徴量、前記物体行動検出特徴量及び前記距離変化特徴量を抽出する前記学習済み行動検出モデルを学習により生成し、
前記関係行動検出モデル生成部は、前記前処理部によって取得された複数の前記第３学習用データセットを用いて、前記移動体行動検出特徴量、前記物体行動検出特徴量及び前記距離変化特徴量から前記関係行動特徴量を抽出する学習済み関係行動検出モデルを学習により生成し、
前記検出対象入力部は、検出対象となる前記動画像データ、前記計測データ及び前記距離データを入力し、
前記種別特定部は、前記物体検出モデル生成部によって生成された前記学習済み物体検出モデル、前記行動検出モデル生成部によって生成された前記学習済み行動検出モデル、前記関係行動検出モデル生成部によって生成された前記学習済み関係行動検出モデル、及び、前記種別特定モデル生成部によって生成された前記学習済み種別特定モデルを用いて、前記検出対象入力部によって入力された前記動画像データ、前記計測データ及び前記距離データから前記挙動の種別を特定する、
請求項１に記載の状況検出システム。
移動体から撮影された動画像を表す動画像データと、前記動画像データにおいて検出される物体を表す物体検出特徴量に関する教師データとからなる第１学習用データセット、前記動画像の撮影に伴って計測された前記移動体の状態に応じた計測値を表す計測データ及び前記物体検出特徴量と、前記計測データの時間変化に伴う前記移動体の動きを表す移動体行動検出特徴量に関する教師データ及び前記物体検出特徴量の時間変化に伴う前記物体の動きを表す物体行動検出特徴量に関する教師データとからなる第２学習用データセット、前記移動体行動検出特徴量及び前記物体行動検出特徴量と、前記移動体の動きと前記物体の動きとが関係して生じる挙動を表す関係行動特徴量に関する教師データとからなる第３学習用データセット、及び、前記関係行動特徴量と、前記挙動の種別を表す関係行動種別データに関する教師データとからなる第４学習用データセットを取得するステップと、
取得された複数の前記第１学習用データセットを用いて、前記動画像データから前記物体検出特徴量を抽出する学習済み物体検出モデルを学習により生成するステップと、
取得された複数の前記第２学習用データセットを用いて、前記計測データ及び前記物体検出特徴量から前記移動体行動検出特徴量及び前記物体行動検出特徴量を抽出する学習済み行動検出モデルを学習により生成するステップと、
取得された複数の前記第３学習用データセットを用いて、前記移動体行動検出特徴量及び前記物体行動検出特徴量から前記関係行動特徴量を抽出する学習済み関係行動検出モデルを学習により生成するステップと、
取得された複数の前記第４学習用データセットを用いて、前記関係行動特徴量から前記挙動の種別を特定する学習済み種別特定モデルを学習により生成するステップと、
検出対象となる前記動画像データ及び前記計測データを入力するステップと、
生成された前記学習済み物体検出モデル、前記学習済み行動検出モデル、前記学習済み関係行動検出モデル、及び、前記学習済み種別特定モデルを用いて、入力された前記動画像データ及び前記計測データから前記挙動の種別を特定するステップとを含むことを特徴とする、
状況検出方法。
移動体から撮影された動画像を表す動画像データと、前記動画像データにおいて検出される物体を表す物体検出特徴量に関する教師データとからなる第１学習用データセット、前記動画像の撮影に伴って計測された前記移動体の状態に応じた計測値を表す計測データ及び前記物体検出特徴量と、前記計測データの時間変化に伴う前記移動体の動きを表す移動体行動検出特徴量に関する教師データ及び前記物体検出特徴量の時間変化に伴う前記物体の動きを表す物体行動検出特徴量に関する教師データとからなる第２学習用データセット、前記移動体行動検出特徴量及び前記物体行動検出特徴量と、前記移動体の動きと前記物体の動きとが関係して生じる挙動を表す関係行動特徴量に関する教師データとからなる第３学習用データセット、及び、前記関係行動特徴量と、前記挙動の種別を表す関係行動種別データに関する教師データとからなる第４学習用データセットを取得し、
取得された複数の前記第１学習用データセットを用いて、前記動画像データから前記物体検出特徴量を抽出する学習済み物体検出モデルを学習により生成し、
取得された複数の前記第２学習用データセットを用いて、前記計測データ及び前記物体検出特徴量から前記移動体行動検出特徴量及び前記物体行動検出特徴量を抽出する学習済み行動検出モデルを学習により生成し、
取得された複数の前記第３学習用データセットを用いて、前記移動体行動検出特徴量及び前記物体行動検出特徴量から前記関係行動特徴量を抽出する学習済み関係行動検出モデルを学習により生成し、
取得された複数の前記第４学習用データセットを用いて、前記関係行動特徴量から前記挙動の種別を特定する学習済み種別特定モデルを学習により生成し、
検出対象となる前記動画像データ及び前記計測データを入力し、
生成された前記学習済み物体検出モデル、前記学習済み行動検出モデル、前記学習済み関係行動検出モデル、及び、前記学習済み種別特定モデルを用いて、入力された前記動画像データ及び前記計測データから前記挙動の種別を特定する、
各処理をコンピュータに実行させることを特徴とする、
状況検出プログラム。
移動体から撮影された動画像を表す動画像データと、前記動画像データにおいて検出される物体を表す物体検出特徴量に関する教師データとからなる第１学習用データセット、前記動画像の撮影に伴って計測された前記移動体の状態に応じた計測値を表す計測データ及び前記物体検出特徴量と、前記計測データの時間変化に伴う前記移動体の動きを表す移動体行動検出特徴量に関する教師データ及び前記物体検出特徴量の時間変化に伴う前記物体の動きを表す物体行動検出特徴量に関する教師データとからなる第２学習用データセット、前記移動体行動検出特徴量及び前記物体行動検出特徴量と、前記移動体の動きと前記物体の動きとが関係して生じる挙動を表す関係行動特徴量に関する教師データとからなる第３学習用データセット、及び、前記関係行動特徴量と、前記挙動の種別を表す関係行動種別データに関する教師データとからなる第４学習用データセットを取得する前処理部と、
前記前処理部によって取得された複数の前記第１学習用データセットを用いて、前記動画像データから前記物体検出特徴量を抽出する学習済み物体検出モデルを学習により生成する物体検出モデル生成部と、
前記前処理部によって取得された複数の前記第２学習用データセットを用いて、前記計測データ及び前記物体検出特徴量から前記移動体行動検出特徴量及び前記物体行動検出特徴量を抽出する学習済み行動検出モデルを学習により生成する行動検出モデル生成部と、
前記前処理部によって取得された複数の前記第３学習用データセットを用いて、前記移動体行動検出特徴量及び前記物体行動検出特徴量から前記関係行動特徴量を抽出する学習済み関係行動検出モデルを学習により生成する関係行動検出モデル生成部と、
前記前処理部によって取得された複数の前記第４学習用データセットを用いて、前記関係行動特徴量から前記挙動の種別を特定する学習済み種別特定モデルを学習により生成する種別特定モデル生成部とを備えることを特徴とする、
学習済みモデル生成システム。
移動体から撮影された動画像を表す動画像データ及び前記動画像の撮影に伴って計測された前記移動体の状態に応じた計測値を表す計測データを入力する検出対象入力部と、
前記動画像データから当該動画像データにおいて検出される物体を表す物体検出特徴量を抽出するための学習を行った学習済み物体検出モデル、前記計測データ及び前記物体検出特徴量から前記計測データの時間変化に伴う前記移動体の動きを表す移動体行動検出特徴量及び前記物体検出特徴量の時間変化に伴う前記物体の動きを表す物体行動検出特徴量を抽出するための学習を行った学習済み行動検出モデル、前記移動体行動検出特徴量及び前記物体行動検出特徴量から前記移動体の動きと前記物体の動きとが関係して生じる挙動を表す関係行動特徴量を抽出するための学習を行った学習済み関係行動検出モデル、及び、前記関係行動特徴量から前記挙動の種別を特定するための学習を行った学習済み種別特定モデルを用いて、前記検出対象入力部によって入力された前記動画像データ及び前記計測データから前記挙動の種別を特定する種別特定部とを備え、
前記学習済み物体検出モデルは、前記動画像データと、前記物体検出特徴量に関する教師データとからなる複数の第１学習用データセットを用いて学習により生成されたものであり、
前記学習済み行動検出モデルは、前記計測データ及び前記物体検出特徴量と、前記移動体行動検出特徴量に関する教師データ及び前記物体行動検出特徴量に関する教師データとからなる複数の第２学習用データセットを用いて学習により生成されたものであり、
前記学習済み関係行動検出モデルは、前記移動体行動検出特徴量及び前記物体行動検出特徴量と、前記関係行動特徴量に関する教師データとからなる複数の第３学習用データセットを用いて学習により生成されたものであり、
前記学習済み種別特定モデルは、前記関係行動特徴量と、前記挙動の種別を表す関係行動種別データに関する教師データとからなる複数の第４学習用データセットを用いて学習により生成されたものであることを特徴とする、
状況検出装置。