Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7338680B2 - イベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻学習方法、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラム - Google Patents
[go: Go Back, main page]

JP7338680B2 - イベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻学習方法、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラム - Google Patents

イベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻学習方法、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラム Download PDF

Info

Publication number
JP7338680B2
JP7338680B2 JP2021519993A JP2021519993A JP7338680B2 JP 7338680 B2 JP7338680 B2 JP 7338680B2 JP 2021519993 A JP2021519993 A JP 2021519993A JP 2021519993 A JP2021519993 A JP 2021519993A JP 7338680 B2 JP7338680 B2 JP 7338680B2
Authority
JP
Japan
Prior art keywords
time
event
occurrence
series
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021519993A
Other languages
English (en)
Other versions
JPWO2020235066A1 (ja
Inventor
祥章 瀧本
佑典 田中
健 倉島
修平 山本
真耶 大川
浩之 戸田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2020235066A1 publication Critical patent/JPWO2020235066A1/ja
Application granted granted Critical
Publication of JP7338680B2 publication Critical patent/JP7338680B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Description

本開示は、イベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻学習方法、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラムに関する。
従来、時系列に沿って取得された一連の複数のデータを用いてイベントが発生するまでの時間を推定する技術が存在する。例えば、非特許文献１では、生存分析と深層学習技術（特に、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ））を用いることにより、ドライブレコーダの一連の画像からイベント発生（例えば、ヒヤリハットの発生）までの時間の推定を、周囲の歩行者や車などの位置等の特徴とヒヤリハットの発生までの時間との非線形的な関係をモデル化することにより、可能にしている。
また、非特許文献２のように推定時点の情報（例えば、診療データ）からイベントが発生するまでの時間をイベントの発生分布に対する仮定なしで推定する技術が存在する。具体的には、生存分析と深層学習技術（特にＲＮＮ）を用いて、診療データと、各時間区間（例えば診療当日中又はその翌日中）でのイベントの発生し易さとの間の非線形的な関係（例えば、診療データ中の血圧及び血中コレステロール値などの数値と病気の発症率との関係）をモデル化することにより、イベントが発生するまでの時間の推定を可能にしている。
瀧本ら、「ドライブレコーダデータに基づくヒヤリハット発生推定」、DEIM2019、インターネット<URL:http://db-event.jpn.org/deim2019/post/papers/388.pdf> Kan Ren et al.,"Deep Recurrent Survival Analysis". In: arXiv preprint arXiv:1809.02403 (2018).
しかしながら、上記の従来技術には未解決の点がある。
非特許文献１に記載の技術では、推定時点からの経過時間とイベントの発生し易さの分布との関係性を図８のように予め定める必要があるため、複雑な時間変化を伴う場合、又は予め関係性を捉えられない場合に、適切にイベント発生までの時間が捉えられない。例えば、入力としてドライブレコーダによって撮影された映像を想定し、イベントとして交通事故を想定する場合を考察する。交通事故の発生のし易さは周囲の物体の位置及び相対速度等によって変化すると考えられるが、その影響の仕方（危険度の大きさ及び影響を与える時間）は非常に複雑である。例えば、並走している車両との衝突の可能性は時間によって変化しない。一方、前方にいる歩行者は、１秒後から３秒後には衝突する可能性があるが、それ以外の時間には衝突する可能性はない。また、同一の歩行者であっても、自車の速度によっては直後にのみ衝突し易いことなどが考えられる。このように多様な状態を想定し、予め分布の形状を事前に捉えることは困難であり、推定精度が制限される。
非特許文献２に記載の技術では、入力として時系列データを扱えないため、入力の時間変化を適切に捉えられない、といった問題がある。例えば、上記と同様に、入力としてドライブレコーダによって撮影された映像を想定し、イベントとして交通事故を想定する場合を考察する。交通事故が発生するタイミングを推定するには、物体の動きを考慮し、周囲の歩行者が近づいているのか、離れているか、及び、その歩行者の速さを考慮する必要がある。しかし、非特許文献２に記載の技術では、これを捉えることができない。
開示の技術は、上記の点に鑑みてなされたものであり、時系列データからイベントが発生する時刻を精度よく推定するためのハザード関数を学習することができるイベント発生時刻学習装置、イベント発生時刻学習方法、及びイベント発生時刻学習プログラムを提供することを目的とする。
また、時系列データからイベントが発生する時間を精度よく推定することができるイベント発生時刻推定装置、イベント発生時刻推定方法、及びイベント発生時刻推定プログラムを提供することを目的とする。
本開示の第１態様は、イベント発生時刻学習装置であって、データに関連するイベントの発生時刻が予め与えられた、一連の複数のデータから成る時系列データであって、前記イベントが発生しなかった時系列データと、前記イベントが発生した時系列データとを含む複数の時系列データの各々について、前記イベントの発生し易さを、ハザード関数に従って推定するハザード推定部と、前記複数の時系列データの各々について与えられた前記イベントの発生時刻と、前記複数の時系列データの各々について推定された前記イベントの発生し易さとを含んで表される尤度関数を最適化するように、前記ハザード関数のパラメータを推定するパラメータ推定部と、を含み、前記ハザード関数は、前記時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する。
本開示の第２態様は、イベント発生時刻推定装置であって、一連の複数のデータから成る対象時系列データの入力を受け付ける入力部と、前記対象時系列データについて、データに関連するイベントの発生し易さを、学習済みのパラメータを用いたハザード関数に従って推定するハザード推定部と、前記推定されたイベントの発生し易さに基づいて、次にイベントが発生する時刻を推定するイベント発生時刻推定部と、を含み、前記ハザード関数は、前記対象時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する。
本開示の第３態様は、イベント発生時刻学習方法であって、ハザード推定部が、データに関連するイベントの発生時刻が予め与えられた、一連の複数のデータから成る時系列データであって、前記イベントが発生しなかった時系列データと、前記イベントが発生した時系列データとを含む複数の時系列データの各々について、前記イベントの発生し易さを、ハザード関数に従って推定し、パラメータ推定部が、前記複数の時系列データの各々について与えられた前記イベントの発生時刻と、前記複数の時系列データの各々について推定された前記イベントの発生し易さとを含んで表される尤度関数を最適化するように、前記ハザード関数のパラメータを推定することを含み、前記ハザード関数は、前記時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する。
本開示の第４態様は、イベント発生時刻推定方法であって、入力部が、一連の複数のデータから成る対象時系列データの入力を受け付け、ハザード推定部が、前記対象時系列データについて、データに関連するイベントの発生し易さを、学習済みのパラメータを用いたハザード関数に従って推定し、イベント発生時刻推定部が、前記推定されたイベントの発生し易さに基づいて、次にイベントが発生する時刻を推定することを含み、前記ハザード関数は、前記対象時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する。
本開示の第５態様は、イベント発生時刻学習プログラムであって、データに関連するイベントの発生時刻が予め与えられた、一連の複数のデータから成る時系列データであって、前記イベントが発生しなかった時系列データと、前記イベントが発生した時系列データとを含む複数の時系列データの各々について、前記イベントの発生し易さを、ハザード関数に従って推定し、前記複数の時系列データの各々について与えられた前記イベントの発生時刻と、前記複数の時系列データの各々について推定された前記イベントの発生し易さとを含んで表される尤度関数を最適化するように、前記ハザード関数のパラメータを推定することをコンピュータに実行させるためのイベント発生時刻学習プログラムであって、前記ハザード関数は、前記時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する、プログラムである。
本開示の第６態様は、イベント発生時刻推定プログラムであって、一連の複数のデータから成る対象時系列データの入力を受け付け、前記対象時系列データについて、データに関連するイベントの発生し易さを、学習済みのパラメータを用いたハザード関数に従って推定し、前記推定されたイベントの発生し易さに基づいて、次にイベントが発生する時刻を推定することをコンピュータに実行させるためのイベント発生時刻推定プログラムであって、前記ハザード関数は、前記対象時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する、プログラムである。
開示の技術によれば、時系列データからイベントが発生する時刻を精度よく推定するためのハザード関数を学習することができる。
また、開示の技術によれば、時系列データからイベントが発生する時間を精度よく推定することができる。
本実施形態に係るハザード推定の方法を説明するための図である。 本実施形態に係るイベント発生時刻推定装置として機能するコンピュータの一例の概略ブロック図である。 本実施形態に係るイベント発生時刻推定装置の構成を示すブロック図である。 本実施形態に係るニューラルネットワークの構造を示すブロック図である。 本実施形態に係るイベント発生時刻学習処理の流れを示すフローチャートである。 本実施形態に係るイベント発生時刻推定処理の流れを示すフローチャートである。 本実施形態に係るイベント発生時刻学習装置とイベント発生時刻推定装置を異なる装置で構成した時のブロック図である。 従来技術におけるハザード推定の方法を説明するための図である。
以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
［本実施形態の概要］
本実施形態では、非特許文献２に記載の技術を、時系列データを扱えるように拡張し、時系列データと、各時間区間中のイベントの発生し易さとの間の非線形的な関係を、特定の分布を仮定せずに図１のようにモデル化する。これにより、事前に推定する時間の粒度を、計算量や出力時に必要な時間の粒度を考慮して決定するのみで、上記のような場合でも高精度な推定を可能にする。前述と同様に入力としてドライブレコーダによって撮影された映像を想定し、イベントとして交通事故を想定する場合を考察する。推定する時間を離散化するものの、予め特定の分布を仮定しないため、周囲の物体の位置、周囲の物体との相対速度、及び周囲の物体の種類等に依存する複雑な交通事故の発生し易さに与える影響を柔軟に捉え、任意の形状の分布でイベントのハザードのし易さを捉えられる。従って、非特許文献１に記載の技術より高精度にイベントの発生し易さを捉えられるようになる。
また、本実施形態では、非特許文献２に記載の技術を、時系列データを扱えるように拡張し、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて入力の時間変化を捉える。これにより、交通事故が発生するタイミングを推定する際に、物体の動きを考慮し、周囲の歩行者が近づいているのか、離れているか、及び、周囲の歩行者の速さを考慮することができ、交通事故発生のタイミングを推定可能になる。
＜本実施形態のイベント発生時刻推定装置の構成＞
以下、図面を参照して本開示の実施の形態を詳細に説明する。
本実施形態では、イベント発生時刻学習装置とイベント発生時刻推定装置とが、同一の装置内に設けられる場合について説明する。以下、イベント発生時刻学習装置とイベント発生時刻推定装置とを合わせて、イベント発生時刻推定装置として構成した場合を例に説明する。
図２は、本実施形態のイベント発生時刻推定装置１０のハードウェア構成を示すブロック図である。
図２に示すように、イベント発生時刻推定装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。
ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、イベント発生時刻を推定するためのハザード関数を学習するイベント発生時刻学習プログラム、及びイベント発生時刻を推定するためのイベント発生時刻推定プログラムが格納されている。イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラムは、１つのプログラムであっても良いし、複数のプログラム又はモジュールで構成されるプログラム群であっても良い。
ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。
表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能しても良い。
通信インタフェース１７は、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。
次に、イベント発生時刻推定装置１０の機能構成について説明する。図３は、イベント発生時刻推定装置１０の機能構成の例を示すブロック図である。
図３に示すように、イベント発生時刻推定装置１０は、機能構成として、ハザード推定部２１、パラメータ推定部２２、パラメータ格納部２３、イベント発生時刻推定部２４、及び入力部１５を有する。各機能構成は、ＣＰＵ１１がＲＯＭ１２又はストレージ１４に記憶されたイベント発生時刻学習プログラム及びイベント発生時刻推定プログラムを読み出し、ＲＡＭ１３に展開して実行することにより実現される。
なお、同図において、実線矢印は、イベント発生時刻学習装置として機能する時のデータの通信と通信の方向を示し、破線矢印は、イベント発生時刻推定装置として機能する時のデータの通信と通信の方向を表している。
また、イベント発生時刻推定装置１０は、履歴時系列データベース２と通信手段を介して接続されて相互に通信する。通信手段は、任意の公知のものを用いることができる。例えば、イベント発生時刻推定装置１０は、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）のプロトコルに従って通信するインターネット等の通信手段を介して履歴時系列データベース２に接続されていてもよい。通信手段は、他のプロトコルに従った通信手段であってもよい。
また、履歴時系列データベース２は、演算処理装置、主記憶装置、補助記憶装置、データバス、入出力インタフェース、及び通信インタフェース等の周知のハードウェアを備えたコンピュータ、あるいはサーバコンピュータにより構成されている。本実施形態では、履歴時系列データベース２がイベント発生時刻推定装置１０の外部に設けられる場合について説明するが、イベント発生時刻推定装置１０内に設けられてもよい。
履歴時系列データベース２は、学習用に事前に用意された予め定められた一定の時間間隔で得られた時系列データ

と、データについてイベントが発生した時刻または打ち切り時刻ｅｋと、イベントが発生した場合に１となり、打ち切りの場合０となる指示変数δｋとの三つを１組とした組みをＫ個格納している。ここで、打ち切り時刻とは、データの観測を終了した時刻である。時系列データの識別子を

とする。また、ベクトルｘｋ ｉは、時系列データＸｋに含まれるｉ番目のデータを表すベクトルであり、｜Ｘｋ｜は時系列データＸｋの長さを表す。また、データｘｋ ｉは時刻ｔｋ ｉにおいて得られたデータである。ただし、ｔｋ ０が観測開始時刻を表し、

であり、任意の

の組合せに対し、

を満たす。
時系列データは、例えば、イベントの発生時刻が予め与えられた一連の複数の画像から成る時系列画像群である。時系列画像群は、所定の時間間隔で撮影された一連の複数の画像で構成され、一連の複数の画像は、例えば、ビデオ映像である。イベントには、撮影者、被撮影者、又は被撮影物に関連するイベントが含まれる。また、イベントは、被撮影者又は被撮影物に変化が生じるイベントのように映像に現れるイベントであっても、撮影者に関するイベントのように映像には現れていないイベントであってもよい。
なお、時系列画像は、ビデオカメラ等により動画を撮影して録画された画像に限らず、デジタルスチルカメラが所定の時間間隔で撮影した画像で、例えば、タイムラプス画像であってもよい。
また、撮影者は、ビデオカメラ又はデジタルスチルカメラ等の時系列画像を撮影して録画する装置を用いて撮影を行っている人物、動物、又は撮影して録画する装置を設けたロボット又は自動車等の乗り物等である。
入力部１５は、対象時系列データを受け付ける。対象時系列データは過去のある時点から現在までの時系列データＸであり、識別子をｃとすると履歴時系列データベース２内の時系列データと同様に、

で表せる。なお、イベントはＸｃ中に発生していても、していなくてもよい。
ハザード推定部２１は、イベントが発生しなかった時系列データＸｋと、イベントが発生した時系列データＸｋとを含む複数の時系列データＸｋの各々について、イベントの発生し易さを、ハザード関数に従って推定する。具体的には、ニューラルネットワークを用いたハザード関数に従って、時系列データに含まれる複数のデータの各々の特徴量と、時系列データの最終データに対応する時刻から、推定対象時刻までの経過時間の特徴量とを抽出し、抽出した特徴量に基づいて、イベントの発生し易さを推定する。
例えば、ハザード推定部２１は、まず、履歴時系列データベース２または対象時系列データから時系列データＸを受け取り、後述するパラメータ格納部２３からモデルパラメータθを受け取り、深層学習技術等を活用し、イベントの発生し易さを表す条件付き確率であるハザード関数ｈｉ０，…，ｈｉＪを出力する。なお、ｈｉｊは時刻ｔｉで推定を行ったときに、Δｔｊ－１後からΔｔｊ後までのイベントの発生し易さを表し、定義式は以下の通りである。
なお、Δｔｊは推定時点からの経過時間（以下、推定対象時刻）を表し、Δｔ０＝０であり、Δｔｊ－Δｔｊ－１＝Δｔｊ’－Δｔｊ’－１である。ただし、一般にΔｔｊ－Δｔｊ－１≠ｔｋ ｉ＋１－ｔｋ ｉである。なお、Δｔｊ－Δｔｊ－１＝ｔｋ ｉ＋１－ｔｋ ｉでもかまわない。また、Δｔｅは推定時点からイベント発生までにかかる時間を表し、ΔｔＪは推定時に考慮する最長の時間である。
具体的なｈｉｊの計算方法としては

（１）
のようにＲＮＮ等のシーケンスを扱えるネットワーク構造を含むニューラルネットワークで表される関数ｆを用いることができる。ただし、ｒｉ，ｊはＲＮＮ等の隠れ層を表す。
具体的なネットワーク構造例として図４を示す。ネットワークは、埋め込み層Ａ３０、埋め込み層Ｂ３１、ＲＮＮ層３２、全結合層３３、及び出力層３４を含んで構成される。
埋め込み層Ａ３０は、時系列データの各データから特徴量を抽出し、特徴空間に埋め込む層である。ここでは、全結合層、畳み込み層、及び全結合層と畳み込み層との組合せによって各データの特徴量を抽出し、ベクトル化する。
埋め込み層Ｂ３１は、推定対象時刻から特徴量を抽出し、特徴空間に埋め込む層である。ここでは、全結合層、畳み込み層、及び全結合層と畳み込み層との組合せによって推定対象時刻の特徴量を抽出し、ベクトル化する。
図４の例では、埋め込み層Ａ３０によって抽出されたデータの特徴量を表すベクトルと、埋め込み層Ｂ３１によって抽出された推定対象時刻の特徴量を表すベクトルとを加算して得られたベクトルを、ＲＮＮ層３２に入力する。
ＲＮＮ層３２は、特徴空間に埋め込められた特徴量を更に系列データとして抽象化する層である。具体的には、時系列データを受け取り、過去の抽象化された情報を循環させ、繰り返し非線形変換する。ＲＮＮ層３２には時系列データを適切に抽象化できるネットワーク構造であれば公知の構造を利用することもでき、例えば、非特許文献３に記載の構造を利用することもできる。
［非特許文献３］Kyunghyun Cho et al.“Learning phrase representations using RNN encoder-decoder for statistical machine translation”. In: arXiv preprint arXiv:1406.1078 (2014).
全結合層３３及び出力層３４は、抽象化された系列特徴を、１次元のベクトル（即ち、スカラ値）に圧縮し、更にシグモイド関数等を利用して、０から１の値に射影し、ｈｉｊを算出する。
また、上記の代わりにｈｉｊを

（２）
のように定義し、ｈｉ０，…，ｈｉＪを一括で計算することも可能である。
上記式（１）で表されるｈｉｊは推定対象時刻を明示的に学習できるため、入力特徴量とそれが影響を与えるまでの時間差を考慮した学習が可能であるが、計算量が多く必要である。上記式（２）で表されるｈｉｊは計算量が少ない一方で、推定対象時刻の順序を考慮した学習ができないという欠点がある。
パラメータ推定部２２は、複数の時系列データの各々について与えられたイベントの発生時刻と、複数の時系列データの各々について推定されたイベントの発生し易さとを含んで表される尤度関数を最適化するように、ハザード関数のパラメータを推定する。
具体的には、パラメータ推定部２２は、履歴時系列データベース２内に格納される各時系列データについて、ハザード推定部２１の出力であるハザード関数とイベント発生時刻または打ち切り時刻と指示変数とを突き合わせて、尤度関数の最大化等によりモデルパラメータθを最適化し、最適化したモデルパラメータθをパラメータ格納部２３に保存する。
例えば、時系列データＸｋに対して、イベント発生時刻または打ち切り時刻ｅｋ、指示変数δｋを用いると、時系列データＸｋに対する尤度は
のように得られる。ただし、Ｊ´は

を満たす自然数である。また、部分尤度Ｌｋ ｂ（θ）、Ｌｋ ｅ（θ）、Ｌｋ ａ（θ）はそれぞれ、推定対象時刻がイベントの発生前、イベントの発生時、及びイベントの発生後である場合の尤度を考慮しており、ｗｂ、ｗｅ、ｗａはそれぞれの尤度のスケールや重要度を調整するハイパーパラメータである。
ここで、Ｔｊ＝（Δｔｊ－１，Δｔｊ］と置くと、
となる。このことから以下の式が得られる。
また、同様に、以下の式が得られる。

また、Ｋ個の時系列データに対する尤度は、以下の式のように各データに対する尤度の積として得ることができる。
具体的な最適化の方法として、例えば、尤度関数の対数に－１をかけたものを損失関数として、バックプロパゲーションなどの公知の技術によって最小化することで実現できる。
パラメータ格納部２３は、パラメータ推定部２２で推定したモデルパラメータθを格納する。
イベント発生時刻推定部２４は、ハザード推定部２１で推定したハザード関数の値に基づいて次にイベントが発生する時刻を推定し、表示部１６により出力する。例えば、ハザード関数に基づくシミュレーションを行ったり、ハザード関数から導出される生存関数（Δｔ秒後までイベントが発生しない確率）の値と閾値の比較を行ったり、各推定対象時刻に発生する確率

を計算することによって、次にイベントが発生する時刻を推定する。
＜本実施形態に係るイベント発生時刻推定装置の作用＞
図５は、イベント発生時刻推定装置１０によるイベント発生時刻学習処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４からイベント発生時刻学習プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、イベント発生時刻学習処理が行なわれる。
ステップＳ１において、ＣＰＵ１１は、初期値として乱数等で決定したハザード関数のパラメータθをパラメータ格納部２３に格納する。
次に、ステップＳ２で、ＣＰＵ１１は、履歴時系列データベース２に含まれる時系列データＸ０，・・・，ＸＫをハザード推定部２１に渡す。なお、Ｋは、履歴時系列データベース２に含まれる時系列データ数である。ここで、ハザード推定部２１に渡す時系列データＸｋは、履歴時系列データベース２の中の各時系列データＸｋをＫ個全て渡してもよいし、あるいは、履歴時系列データベース２の中の時系列データＸｋの一部のみをハザード推定部２１に渡すようにしてもよい。
ステップＳ３で、ＣＰＵ１１は、ハザード推定部２１として、パラメータ格納部２３から得られたパラメータθを、ハザード関数内のニューラルネットワークのパラメータとして設定する。
ステップＳ４で、ＣＰＵ１１は、ハザード推定部２１として、各時系列データＸｋ（ｋは１～Ｎ）に対して、時刻ｔｉで予測を行ったときの、各推定対象時刻Δｔｊ（ｊは０～Ｊ）におけるイベントの発生し易さを表すハザード関数ｈｉｊを得る処理（図４参照）を繰り返す。全ての時系列データＸｋについて得られたハザード関数ｈｉｊを、パラメータ推定部２２に渡す。
ステップＳ５で、ＣＰＵ１１は、パラメータ推定部２２として、各時系列データＸｋに対応する履歴時系列データベース２に含まれるイベント発生時刻又は打ち切り時刻と指示変数とを受け取る。
ステップＳ６では、ＣＰＵ１１は、パラメータ推定部２２として、渡されたハザード関数ｈｉｊと、イベント発生時刻又は打ち切り時刻と、指示変数とを用いて表される尤度関数Ｌ（θ）を最大化することにより、ハザード関数のパラメータθの最適化を行う。
ステップＳ７では、ＣＰＵ１１は、パラメータ推定部２２として、最適化したハザード関数のパラメータθをパラメータ格納部２３に格納する。
ステップＳ８では、ＣＰＵ１１は、予め定めた基準（例えば、事前に決定した回数、又は、尤度関数の変化量が基準値以下になった等）に到達しているか否かを判断する。ステップＳ８が否定された場合は、ＣＰＵ１１は、ステップＳ２に戻る。
ステップＳ２では、ＣＰＵ１１は、再度、履歴時系列データベース２に含まれる時系列データ｛Ｘ０、・・・、ＸＫ｝をハザード推定部２１に渡す。毎回、同じ時系列データＸｋをハザード推定部２１に渡してもよいが、異なる時系列データＸｋをハザード推定部２１に渡してもよい。例えば、毎回、ハザード推定部２１に履歴時系列データベース２の中の時系列データＸｋのＫ個を全て渡すようにしてもよい。あるいは、最初にハザード推定部２１に渡した履歴時系列データベース２の中の時系列データＸｋの一部とは異なる他の部分の時系列データＸｋを渡すようにして、逐次的に履歴時系列データベース２に含まれる一部の時系列データＸｋを渡すようにしてもよい。また、同一の時系列データＸｋを複数回渡してもよい。
続いて、ＣＰＵ１１は、ステップＳ３～ステップＳ７の処理を実行して新しいハザード関数ｈｉｊのパラメータθを求める。ステップＳ８で、ＣＰＵ１１は、予め定めた基準に到達しているか否かを判断し、予め定めた基準に到達するまで繰り返しステップＳ２～ステップＳ７の処理を実行する。ステップＳ８の判断が肯定されると、ＣＰＵ１１は、最適化を終了する。
図６は、イベント発生時刻推定装置１０によるイベント発生時刻推定処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４からイベント発生時刻推定プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、イベント発生時刻推定処理が行なわれる。
ステップＳ１１において、ＣＰＵ１１は、パラメータ格納部２３に格納されている最適化されたハザード関数のパラメータθを、ハザード推定部２１に渡す。
ステップＳ１２で、ＣＰＵ１１は、入力部１５から対象時系列データＸｃを入力して、ハザード推定部２１に渡す。
ステップＳ１３で、ＣＰＵ１１は、ハザード推定部２１として、対象時系列データＸｃの各データｘｉｃと、各推定対象時刻Δｔｊとに基づいて、対象時系列データＸｃの終了時刻からの経過時間である各推定対象時刻Δｔｊについてハザード関数ｈを計算し、イベント発生時刻推定部２４に渡す。
ステップＳ１４で、ＣＰＵ１１は、イベント発生時刻推定部２４として、各推定対象時刻Δｔｊについてのハザード関数ｈの値に基づいて、次のイベントの発生時刻ｅｃを推定する。さらに、ステップＳ１５で、ＣＰＵ１１は、推定した発生時刻ｅｃを表示部１６により出力する。
以上説明したように、本実施形態のイベント発生時刻推定装置１０は、複数の時系列データの各々について、時系列データに含まれる複数のデータの各々の特徴量と、推定対象時刻の特徴量とから、推定対象時刻におけるイベントの発生し易さを推定するハザード関数に従って、イベントの発生し易さを推定する。イベント発生時刻推定装置１０は、複数の時系列データの各々について与えられたイベントの発生時刻と、複数の時系列データの各々について推定されたイベントの発生し易さとを含んで表される尤度関数を最適化するように、ハザード関数のパラメータを推定する。これにより、時系列データからイベントが発生する時刻を精度よく推定するためのハザード関数を学習することができる。
また、本実施形態のイベント発生時刻推定装置１０は、対象時系列データに含まれる複数のデータの各々の特徴量と、推定対象時刻の特徴量とから、推定対象時刻におけるイベントの発生し易さを推定するハザード関数に従って、イベントの発生し易さを推定する。イベント発生時刻推定装置１０は、推定されたイベントの発生し易さに基づいて、次にイベントが発生する時刻を推定する。これにより、時系列データからイベントが発生する時間を精度よく推定することができる。
本実施形態では、イベント発生時刻学習装置とイベント発生時刻推定装置が１つの装置で構成される場合について説明したが、図７に示すように、イベント発生時刻学習装置１０ａとイベント発生時刻推定装置１０ｂとが、異なる装置で構成されるようにしてもよい。ハードウェア構成、各構成要素、及び処理の流れは、イベント発生時刻学習装置１０ａとイベント発生時刻推定装置１０ｂを同一の装置とした場合と同じであるので省略する。
なお、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行したイベント発生時刻学習処理とイベント発生時刻推定処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、イベント発生時刻学習処理とイベント発生時刻推定処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記各実施形態では、イベント発生時刻学習プログラムとイベント発生時刻推定プログラムがストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
以上の実施形態に関し、更に以下の付記を開示する。
（付記項１）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
データに関連するイベントの発生時刻が予め与えられた、一連の複数のデータから成る時系列データであって、前記イベントが発生しなかった時系列データと、前記イベントが発生した時系列データとを含む複数の時系列データの各々について、前記イベントの発生し易さを、ハザード関数に従って推定し、
前記複数の時系列データの各々について与えられた前記イベントの発生時刻と、前記複数の時系列データの各々について推定された前記イベントの発生し易さとを含んで表される尤度関数を最適化するように、前記ハザード関数のパラメータを推定する、
ように構成され、
前記ハザード関数は、前記時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する、イベント発生時刻学習装置。
（付記項２）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
一連の複数のデータから成る対象時系列データの入力を受け付け、
前記対象時系列データについて、データに関連するイベントの発生し易さを、学習済みのパラメータを用いたハザード関数に従って推定し、
前記推定されたイベントの発生し易さに基づいて、次にイベントが発生する時刻を推定する、
ように構成され、
前記ハザード関数は、前記対象時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する、イベント発生時刻推定装置。
（付記項３）
イベント発生時刻学習処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
前記イベント発生時刻学習処理は、
データに関連するイベントの発生時刻が予め与えられた、一連の複数のデータから成る時系列データであって、前記イベントが発生しなかった時系列データと、前記イベントが発生した時系列データとを含む複数の時系列データの各々について、前記イベントの発生し易さを、ハザード関数に従って推定し、
前記複数の時系列データの各々について与えられた前記イベントの発生時刻と、前記複数の時系列データの各々について推定された前記イベントの発生し易さとを含んで表される尤度関数を最適化するように、前記ハザード関数のパラメータを推定し、
前記ハザード関数は、前記時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する、非一時的記憶媒体。
（付記項４）
イベント発生時刻推定処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
前記イベント発生時刻推定処理は、
一連の複数のデータから成る対象時系列データの入力を受け付け、
前記対象時系列データについて、データに関連するイベントの発生し易さを、学習済みのパラメータを用いたハザード関数に従って推定し、
前記推定されたイベントの発生し易さに基づいて、次にイベントが発生する時刻を推定し、
前記ハザード関数は、前記対象時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する、非一時的記憶媒体。
２ 履歴時系列データベース
１０、１０ｂ イベント発生時刻推定装置
１０ａ イベント発生時刻学習装置
１５ 入力部
２１ ハザード推定部
２２ パラメータ推定部
２３ パラメータ格納部
２４ イベント発生時刻推定部

Claims (6)

  1. データに関連するイベントの発生時刻が予め与えられた、一連の複数のデータから成る時系列データであって、前記イベントが発生しなかった時系列データと、前記イベントが発生した時系列データとを含む複数の時系列データの各々について、前記イベントの発生し易さを、ハザード関数に従って推定するハザード推定部と、
    前記複数の時系列データの各々について与えられた前記イベントの発生時刻と、前記複数の時系列データの各々について推定された前記イベントの発生し易さとを含んで表される尤度関数を最適化するように、前記ハザード関数のパラメータを推定するパラメータ推定部と、
    を含み、
    前記ハザード関数は、前記時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定し、
    前記ハザード推定部は、ニューラルネットワークを用いた前記ハザード関数に従って、前記時系列データに含まれる複数のデータの各々の特徴量と、前記時系列データの最終データに対応する時刻から、前記推定対象時刻までの経過時間の特徴量とを抽出し、前記抽出した特徴量に基づいて、前記イベントの発生し易さを推定し、
    前記時系列データは、一連の複数の画像から成る時系列画像群であり、
    前記イベントは、画像の撮影者、被撮影者、又は被撮影物に関連するイベントであり、
    前記ニューラルネットワークは、第１埋め込み層、第２埋め込み層、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）層、全結合層、及び出力層を含み、
    前記第１埋め込み層は、前記時系列データの各データから第１特徴量を抽出し、特徴空間に埋め込み、
    前記第２埋め込み層は、前記推定対象時刻までの経過時間から第２特徴量を抽出し、前記特徴空間に埋め込み、
    前記ＲＮＮ層は、前記特徴空間に埋め込められた前記第１特徴量及び前記第２特徴量の組み合わせを、系列特徴として抽象化し、
    前記全結合層は、抽象化された系列特徴を、１次元のベクトルに圧縮し、
    前記出力層は、前記１次元のベクトルを、シグモイド関数を利用して、前記イベントの発生し易さを示す値に射影する
    イベント発生時刻学習装置。
  2. 一連の複数のデータから成る対象時系列データの入力を受け付ける入力部と、
    前記対象時系列データについて、データに関連するイベントの発生し易さを、学習済みのパラメータを用いたハザード関数に従って推定するハザード推定部と、
    前記推定されたイベントの発生し易さに基づいて、次にイベントが発生する時刻を推定するイベント発生時刻推定部と、
    を含み、
    前記ハザード関数は、前記対象時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定し、
    前記ハザード推定部は、ニューラルネットワークを用いた前記ハザード関数に従って、前記対象時系列データに含まれる複数のデータの各々の特徴量と、前記対象時系列データの最終データに対応する時刻から、前記推定対象時刻までの経過時間の特徴量とを抽出し、前記抽出した特徴量に基づいて、前記イベントの発生し易さを推定し、
    前記対象時系列データは、一連の複数の画像から成る時系列画像群であり、
    前記イベントは、画像の撮影者、被撮影者、又は被撮影物に関連するイベントであり、
    前記ニューラルネットワークは、第１埋め込み層、第２埋め込み層、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）層、全結合層、及び出力層を含み、
    前記第１埋め込み層は、前記対象時系列データの各データから第１特徴量を抽出し、特徴空間に埋め込み、
    前記第２埋め込み層は、前記推定対象時刻までの経過時間から第２特徴量を抽出し、前記特徴空間に埋め込み、
    前記ＲＮＮ層は、前記特徴空間に埋め込められた前記第１特徴量及び前記第２特徴量の組み合わせを、系列特徴として抽象化し、
    前記全結合層は、抽象化された系列特徴を、１次元のベクトルに圧縮し、
    前記出力層は、前記１次元のベクトルを、シグモイド関数を利用して、前記イベントの発生し易さを示す値に射影するイベント発生時刻推定装置。
  3. ハザード推定部が、データに関連するイベントの発生時刻が予め与えられた、一連の複数のデータから成る時系列データであって、前記イベントが発生しなかった時系列データと、前記イベントが発生した時系列データとを含む複数の時系列データの各々について、前記イベントの発生し易さを、ハザード関数に従って推定し、
    パラメータ推定部が、前記複数の時系列データの各々について与えられた前記イベントの発生時刻と、前記複数の時系列データの各々について推定された前記イベントの発生し易さとを含んで表される尤度関数を最適化するように、前記ハザード関数のパラメータを推定すること
    を含み、
    前記ハザード関数は、前記時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定し、
    前記ハザード推定部は、ニューラルネットワークを用いた前記ハザード関数に従って、前記時系列データに含まれる複数のデータの各々の特徴量と、前記時系列データの最終データに対応する時刻から、前記推定対象時刻までの経過時間の特徴量とを抽出し、前記抽出した特徴量に基づいて、前記イベントの発生し易さを推定し、
    前記時系列データは、一連の複数の画像から成る時系列画像群であり、
    前記イベントは、画像の撮影者、被撮影者、又は被撮影物に関連するイベントであり、
    前記ニューラルネットワークは、第１埋め込み層、第２埋め込み層、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）層、全結合層、及び出力層を含み、
    前記第１埋め込み層は、前記時系列データの各データから第１特徴量を抽出し、特徴空間に埋め込み、
    前記第２埋め込み層は、前記推定対象時刻までの経過時間から第２特徴量を抽出し、前記特徴空間に埋め込み、
    前記ＲＮＮ層は、前記特徴空間に埋め込められた前記第１特徴量及び前記第２特徴量の組み合わせを、系列特徴として抽象化し、
    前記全結合層は、抽象化された系列特徴を、１次元のベクトルに圧縮し、
    前記出力層は、前記１次元のベクトルを、シグモイド関数を利用して、前記イベントの発生し易さを示す値に射影する
    イベント発生時刻学習方法。
  4. 入力部が、一連の複数のデータから成る対象時系列データの入力を受け付け、
    ハザード推定部が、前記対象時系列データについて、データに関連するイベントの発生し易さを、学習済みのパラメータを用いたハザード関数に従って推定し、
    イベント発生時刻推定部が、前記推定されたイベントの発生し易さに基づいて、次にイベントが発生する時刻を推定すること
    を含み、
    前記ハザード関数は、前記対象時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定し、
    前記ハザード推定部は、ニューラルネットワークを用いた前記ハザード関数に従って、前記対象時系列データに含まれる複数のデータの各々の特徴量と、前記対象時系列データの最終データに対応する時刻から、前記推定対象時刻までの経過時間の特徴量とを抽出し、前記抽出した特徴量に基づいて、前記イベントの発生し易さを推定し、
    前記対象時系列データは、一連の複数の画像から成る時系列画像群であり、
    前記イベントは、画像の撮影者、被撮影者、又は被撮影物に関連するイベントであり、
    前記ニューラルネットワークは、第１埋め込み層、第２埋め込み層、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）層、全結合層、及び出力層を含み、
    前記第１埋め込み層は、前記対象時系列データの各データから第１特徴量を抽出し、特徴空間に埋め込み、
    前記第２埋め込み層は、前記推定対象時刻までの経過時間から第２特徴量を抽出し、前記特徴空間に埋め込み、
    前記ＲＮＮ層は、前記特徴空間に埋め込められた前記第１特徴量及び前記第２特徴量の組み合わせを、系列特徴として抽象化し、
    前記全結合層は、抽象化された系列特徴を、１次元のベクトルに圧縮し、
    前記出力層は、前記１次元のベクトルを、シグモイド関数を利用して、前記イベントの発生し易さを示す値に射影する、
    イベント発生時刻推定方法。
  5. データに関連するイベントの発生時刻が予め与えられた、一連の複数のデータから成る時系列データであって、前記イベントが発生しなかった時系列データと、前記イベントが発生した時系列データとを含む複数の時系列データの各々について、前記イベントの発生し易さを、ハザード関数に従って推定し、
    前記複数の時系列データの各々について与えられた前記イベントの発生時刻と、前記複数の時系列データの各々について推定された前記イベントの発生し易さとを含んで表される尤度関数を最適化するように、前記ハザード関数のパラメータを推定する
    ことをコンピュータに実行させるためのイベント発生時刻学習プログラムであって、
    前記ハザード関数は、前記時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定し、
    前記イベントの発生し易さを推定することでは、ニューラルネットワークを用いた前記ハザード関数に従って、前記時系列データに含まれる複数のデータの各々の特徴量と、前記時系列データの最終データに対応する時刻から、前記推定対象時刻までの経過時間の特徴量とを抽出し、前記抽出した特徴量に基づいて、前記イベントの発生し易さを推定し、
    前記時系列データは、一連の複数の画像から成る時系列画像群であり、
    前記イベントは、画像の撮影者、被撮影者、又は被撮影物に関連するイベントであり、
    前記ニューラルネットワークは、第１埋め込み層、第２埋め込み層、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）層、全結合層、及び出力層を含み、
    前記第１埋め込み層は、前記時系列データの各データから第１特徴量を抽出し、特徴空間に埋め込み、
    前記第２埋め込み層は、前記推定対象時刻までの経過時間から第２特徴量を抽出し、前記特徴空間に埋め込み、
    前記ＲＮＮ層は、前記特徴空間に埋め込められた前記第１特徴量及び前記第２特徴量の組み合わせを、系列特徴として抽象化し、
    前記全結合層は、抽象化された系列特徴を、１次元のベクトルに圧縮し、
    前記出力層は、前記１次元のベクトルを、シグモイド関数を利用して、前記イベントの発生し易さを示す値に射影する、
    イベント発生時刻学習プログラム。
  6. 一連の複数のデータから成る対象時系列データの入力を受け付け、
    前記対象時系列データについて、データに関連するイベントの発生し易さを、学習済みのパラメータを用いたハザード関数に従って推定し、
    前記推定されたイベントの発生し易さに基づいて、次にイベントが発生する時刻を推定する
    ことをコンピュータに実行させるためのイベント発生時刻推定プログラムであって、
    前記ハザード関数は、前記対象時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定し、
    前記イベントの発生し易さを推定することでは、ニューラルネットワークを用いた前記ハザード関数に従って、前記対象時系列データに含まれる複数のデータの各々の特徴量と、前記対象時系列データの最終データに対応する時刻から、前記推定対象時刻までの経過時間の特徴量とを抽出し、前記抽出した特徴量に基づいて、前記イベントの発生し易さを推定し、
    前記対象時系列データは、一連の複数の画像から成る時系列画像群であり、
    前記イベントは、画像の撮影者、被撮影者、又は被撮影物に関連するイベントであり、
    前記ニューラルネットワークは、第１埋め込み層、第２埋め込み層、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）層、全結合層、及び出力層を含み、
    前記第１埋め込み層は、前記対象時系列データの各データから第１特徴量を抽出し、特徴空間に埋め込み、
    前記第２埋め込み層は、前記推定対象時刻までの経過時間から第２特徴量を抽出し、前記特徴空間に埋め込み、
    前記ＲＮＮ層は、前記特徴空間に埋め込められた前記第１特徴量及び前記第２特徴量の組み合わせを、系列特徴として抽象化し、
    前記全結合層は、抽象化された系列特徴を、１次元のベクトルに圧縮し、
    前記出力層は、前記１次元のベクトルを、シグモイド関数を利用して、前記イベントの発生し易さを示す値に射影する、
    イベント発生時刻推定プログラム。
JP2021519993A 2019-05-22 2019-05-22 イベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻学習方法、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラム Active JP7338680B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/020346 WO2020235066A1 (ja) 2019-05-22 2019-05-22 イベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻学習方法、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラム

Publications (2)

Publication Number Publication Date
JPWO2020235066A1 JPWO2020235066A1 (ja) 2020-11-26
JP7338680B2 true JP7338680B2 (ja) 2023-09-05

Family

ID=73458970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021519993A Active JP7338680B2 (ja) 2019-05-22 2019-05-22 イベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻学習方法、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラム

Country Status (3)

Country Link
US (1) US12198402B2 (ja)
JP (1) JP7338680B2 (ja)
WO (1) WO2020235066A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7092062B2 (ja) * 2019-02-20 2022-06-28 日本電信電話株式会社 イベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011081697A (ja) 2009-10-09 2011-04-21 Hitachi Ltd 設備状態監視方法、監視システム及び監視プログラム
WO2017038166A1 (ja) 2015-08-28 2017-03-09 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20170181711A1 (en) 2015-12-29 2017-06-29 International Business Machines Corporation Time-varying risk profiling from health sensor data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011081697A (ja) 2009-10-09 2011-04-21 Hitachi Ltd 設備状態監視方法、監視システム及び監視プログラム
WO2017038166A1 (ja) 2015-08-28 2017-03-09 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20170181711A1 (en) 2015-12-29 2017-06-29 International Business Machines Corporation Time-varying risk profiling from health sensor data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
山本 修平 SHUHEI YAMAMOTO，ドライブレコーダデータに対するヒヤリハット発生対象分類 Traffic Near-miss Target Classification on Event Recorder Data，マルチメディア，分散，協調とモバイル（ＤＩＣＯＭＯ２０１８）シンポジウム論文集 情報処理学会シンポジウムシリーズ Ｖｏｌ．２０１８ Ｎｏ．１ ［ＣＤ－ＲＯＭ］ IPSJ Symposium Series，日本，一般社団法人情報処理学会，2018年06月27日，第2018巻 第1号，p.542－p.553

Also Published As

Publication number Publication date
US12198402B2 (en) 2025-01-14
JPWO2020235066A1 (ja) 2020-11-26
US20220222915A1 (en) 2022-07-14
WO2020235066A1 (ja) 2020-11-26

Similar Documents

Publication Publication Date Title
CN111753952B (zh) 学习包括高斯过程的概率模型的参数
JP7638708B2 (ja) 損失関数に基づいてトレーニングされたモデルの処理
JP6853968B2 (ja) パラメータ推定システム、パラメータ推定方法およびパラメータ推定プログラム
CN104364805A (zh) 信息处理器、信息处理方法和程序
CN112418432B (zh) 分析多个物理对象之间的相互作用的系统、方法和装置
Naing et al. Data-driven microscopic traffic modelling and simulation using dynamic lstm
CN114722995A (zh) 训练神经随机微分方程的神经漂移网络和神经扩散网络的设备和方法
JP2017502390A (ja) データに基づく関数モデルを定めるための方法及び装置
JP7268752B2 (ja) パラメタ推定装置、パラメタ推定方法、及びパラメタ推定プログラム
JP2017068608A (ja) 演算装置、方法及びプログラム
JP7207531B2 (ja) 経路別交通量推定装置、経路別交通量推定方法、及び経路別交通量推定プログラム
EP4607408A1 (en) Using diffusion model to generate graph data
JP7338680B2 (ja) イベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻学習方法、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラム
JP2022044112A (ja) 推定装置、推定方法及びプログラム
WO2020218246A1 (ja) 最適化装置、最適化方法、及びプログラム
EP3848939A1 (en) Processing a classifier
CN116821638B (zh) Ai芯片应用优化设计的数据分析方法及系统
CN117037541A (zh) 一种智能网联环境下驾驶人换道行为分析方法
JP7838263B2 (ja) 予測プログラム、予測方法、予測装置、および予測システム
CN112242959B (zh) 微服务限流控制方法、装置、设备及计算机存储介质
JP7092062B2 (ja) イベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラム
US20170039478A1 (en) Robust target identification
US20160155064A1 (en) Bayes network for target identification
CN119473887B (zh) 人车路协同无人驾驶可信性加速测评方法
CN120354903B (zh) 数据处理方法、装置、设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221202

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230613

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230807

R150 Certificate of patent or registration of utility model

Ref document number: 7338680

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350