Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6026959B2 - Driving scene label estimation device - Google Patents
[go: Go Back, main page]

JP6026959B2 - Driving scene label estimation device - Google Patents

Driving scene label estimation device Download PDF

Info

Publication number
JP6026959B2
JP6026959B2 JP2013117226A JP2013117226A JP6026959B2 JP 6026959 B2 JP6026959 B2 JP 6026959B2 JP 2013117226 A JP2013117226 A JP 2013117226A JP 2013117226 A JP2013117226 A JP 2013117226A JP 6026959 B2 JP6026959 B2 JP 6026959B2
Authority
JP
Japan
Prior art keywords
distribution
driving
feature
scene
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013117226A
Other languages
Japanese (ja)
Other versions
JP2014235605A (en
Inventor
誉司 坂東
誉司 坂東
一仁 竹中
一仁 竹中
忠大 谷口
忠大 谷口
翔吾 長坂
翔吾 長坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Ritsumeikan Trust
Original Assignee
Denso Corp
Ritsumeikan Trust
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Ritsumeikan Trust filed Critical Denso Corp
Priority to JP2013117226A priority Critical patent/JP6026959B2/en
Publication of JP2014235605A publication Critical patent/JP2014235605A/en
Application granted granted Critical
Publication of JP6026959B2 publication Critical patent/JP6026959B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)

Description

本発明は、運転シーンに付与するラベルを推定する運転シーンラベル推定装置に関する。   The present invention relates to a driving scene label estimation apparatus that estimates a label to be applied to a driving scene.

近年、様々な運転支援システムの研究・開発・商品化が行われているが、各種の運転支援システムを状況に合わせて適切に組み合わせて利用すれば、さらに広範囲の状況に対応できる新しい運転支援システムの実現が期待される。利用すべき運転支援システムを適切にドライバに提案するためには、自車両がどのような状況(運転シーン)にあるのかを推定する技術が必要となる。このような技術では、運転シーンを適切に分割するだけでなく、その分割された運転シーンがどのような状況を表しているのかを明らかにすることが重要である。   In recent years, various driving support systems have been researched, developed, and commercialized, but a new driving support system that can handle a wider range of situations if various driving support systems are used in appropriate combinations according to the situation. Realization of is expected. In order to appropriately propose a driving support system to be used to the driver, a technique for estimating the situation (driving scene) of the host vehicle is required. In such a technique, it is important not only to appropriately divide the driving scene, but also to clarify what situation the divided driving scene represents.

この種の技術を実現する装置の一つとして、車両状態を表すデータ(車速、車両位置など)を継続的に監視し、それらのデータを、既登録の運転シーン(例えば「信号待ち」「急停車」など)に対応する条件と照合し、その適合率から現在の運転シーンを決定する装置が知られている(例えば、特許文献1参照)。   As one of the devices that realize this kind of technology, data (vehicle speed, vehicle position, etc.) that represents the vehicle state is continuously monitored, and those data are stored in the registered driving scenes (for example, “Waiting for signal”, “Sudden stop”). Is known, and a current driving scene is determined based on the matching rate (see, for example, Patent Document 1).

特開2011−129010号公報JP 2011-129010 A

ところで、上述した従来装置では、予め定義された運転シーンのいずれに、現在の状況が類似しているかを判定するものであるため、識別したい運転シーンがどのような状況を表しているかを、設計者が予め明確に定義しておく必要がある。   By the way, in the above-mentioned conventional apparatus, since it is used to determine which of the predefined driving scenes the current situation is similar to, the design of what kind of situation the driving scene to be identified represents. Need to be clearly defined in advance.

しかし、運転開始から終了までのあらゆる運転シーンを予め想定して定義することは困難であるため、現実的には、極限られた特定の運転シーンを検出するためにしか利用することができないという問題があった。   However, since it is difficult to pre-define and define every driving scene from the start to the end of driving, the problem is that it can only be used to detect a limited specific driving scene. was there.

なお、設計者の運転シーン定義を必要としない、教師なしで運転シーンを分割する手法も提案されているが、この場合、予め運転シーンを定義しておく必要はないものの、抽出された運転シーンがどのような状況を表しているのかを説明するシーンラベルを付与することが困難であるという問題があった。   In addition, although a method for dividing a driving scene without a teacher that does not require a designer's driving scene definition has been proposed, in this case, although it is not necessary to define a driving scene in advance, an extracted driving scene is not required. There is a problem that it is difficult to assign a scene label that explains what kind of situation is represented.

本発明は、上記問題点を解決するために、分割された運転シーンに適合するシーンラベルを生成する運転シーンラベル推定装置を提供することを目的とする。   In order to solve the above-described problems, an object of the present invention is to provide a driving scene label estimation apparatus that generates a scene label that matches a divided driving scene.

本発明の運転シーンラベル推定装置は、データ収集手段と、シーン分割手段と、特徴量分布生成手段と、トピック記憶手段と、割合演算手段と、推定用分布設定手段と、ラベル推定手段とを備える。   The driving scene label estimation apparatus of the present invention includes data collection means, scene division means, feature quantity distribution generation means, topic storage means, ratio calculation means, estimation distribution setting means, and label estimation means. .

データ収集手段は、車両の状態に関するデータを繰り返し収集し、シーン分割手段は、データ収集手段にて収集されたデータの系列を、各々が何等かの運転シーンを表す複数の部分系列に分割する。特徴量分布生成手段は、データ収集手段によって収集されたデータから得られる一種類以上の特徴量について、該特徴量の値域を複数に分割したものをインデックスとして、インデックス毎の出現頻度を表す特徴量分布を、部分系列毎に生成する。トピック記憶手段には、特徴量分布を表現するための基底分布として使用される複数の基底特徴分布、および運転シーンを説明するために予め用意された複数のタグをインデックスとして、該インデックス毎の出現確率を表す基底タグ分布からなる運転トピックが記憶されている。割合演算手段は、特徴量分布生成手段で生成された特徴量分布を、運転トピックを用いて表現した場合の運転トピックの混合比であるトピック割合を求める。推定用分布設定手段は、部分系列毎に、トピック割合および基底タグ分布に基づいてラベル推定用分布を設定し、ラベル推定手段は、設定されたラベル推定用分布を用いて、部分系列が表す運転シーンに適合したシーンラベルを推定する。   The data collecting means repeatedly collects data relating to the state of the vehicle, and the scene dividing means divides the data series collected by the data collecting means into a plurality of partial series each representing some driving scene. The feature quantity distribution generation means, for one or more types of feature quantities obtained from the data collected by the data collection means, is a feature quantity representing an appearance frequency for each index, with an index obtained by dividing a range of the feature quantity into a plurality of features. A distribution is generated for each partial series. The topic storage means uses a plurality of base feature distributions used as a base distribution for expressing the feature amount distribution, and a plurality of tags prepared in advance to explain the driving scene as indexes, and appears for each index. A driving topic including a base tag distribution representing a probability is stored. The ratio calculating means obtains a topic ratio that is a mixing ratio of driving topics when the feature quantity distribution generated by the feature quantity distribution generating means is expressed using driving topics. The estimation distribution setting means sets the label estimation distribution for each partial series based on the topic ratio and the base tag distribution, and the label estimation means uses the set label estimation distribution to perform the operation represented by the partial series. Estimate a scene label suitable for the scene.

このような構成によれば、運転トピックを利用して、運転シーン毎にその運転シーンに応じたラベル推定用分布を生成し、そのラベル推定用分布を利用して運転シーンに適合したシーンラベルを推定するため、各運転シーンの判断条件や、各運転シーンとシーンラベルとの対応関係を予め定義しておく必要がなく、分割された全ての運転シーンについて、推定したシーンラベルを自動的に付与することができる。   According to such a configuration, using the driving topic, a label estimation distribution corresponding to the driving scene is generated for each driving scene, and a scene label suitable for the driving scene is generated using the label estimation distribution. In order to estimate, there is no need to pre-define the judgment conditions for each driving scene or the correspondence between each driving scene and the scene label, and the estimated scene labels are automatically assigned to all the divided driving scenes. can do.

その結果、例えば、運転シーン毎に付与されたシーンラベルをドライバに確認させることにより、現在の運転シーンがどのようなものであるかを、ドライバに直感的に理解させることができる。また、予め想定されていない運転シーンを含めて、運転行動の全般にわたって、その運転シーンに適合したシーンラベルが付与されるため、そのシーンラベルを利用して、インタラクティブにドライバに運転支援を提案する装置に適用したり、一連のドライブ(即ち、運転シーンの時系列)を、シーンラベルを用いて、自然な言語で表されたログとして残したりすることができる。   As a result, for example, the driver can intuitively understand what the current driving scene is by checking the scene label assigned to each driving scene. In addition, since a scene label suitable for the driving scene is given throughout the driving behavior including a driving scene that is not assumed in advance, the driving assistance is interactively proposed to the driver using the scene label. It can be applied to a device, or a series of drives (ie, time series of driving scenes) can be left as a log expressed in a natural language using scene labels.

運転シーンラベル推定装置の全体構成図である。It is a whole block diagram of a driving scene label estimation apparatus. 潜在的ディリクレ配分法(LDA:Latent Dirichlet Allocation )で仮定されるグラフィカルモデルである。It is a graphical model assumed by Latent Dirichlet Allocation (LDA). 運転トピックの生成過程、および運転トピックを利用したトピック割合の演算過程を示す説明図である。It is explanatory drawing which shows the production | generation process of a driving | running topic, and the calculation process of the topic ratio using a driving | running topic. 推定用分布の設定方法を示す説明図である。It is explanatory drawing which shows the setting method of the distribution for estimation. 推定用分布を用いたシーンラベルの推定方法を示す説明図である。It is explanatory drawing which shows the estimation method of the scene label using distribution for estimation. 運転シーンラベル推定装置によって推定されるラベルおよびそのラベルに対応する画像の例、ラベルを推定する過程で生成される運転挙動データ、部分系列、トピック割合を示す説明図である。It is explanatory drawing which shows the example of the label estimated by the driving scene label estimation apparatus, the image corresponding to the label, the driving behavior data produced | generated in the process of estimating a label, a partial series, and a topic ratio. 第2実施形態において運転特徴算出部で生成される特徴量分布を例示するグラフである。It is a graph which illustrates the feature-value distribution produced | generated by the driving | running feature calculation part in 2nd Embodiment. 基底特徴分布のうち運転挙動データに関する分布を例示した説明図である。It is explanatory drawing which illustrated distribution regarding driving behavior data among base feature distribution. 基底特徴分布における出現頻度を尤度比に変換した分布、およびその分布から抽出される基底ラベルを例示した説明図である。It is explanatory drawing which illustrated the base label extracted from the distribution which converted the appearance frequency in a base feature distribution into likelihood ratio, and the distribution. 基底ラベルに基づくシーンラベルの応用例を示す説明図である。It is explanatory drawing which shows the example of application of the scene label based on a base label. 運転シーンを異なる手法で分割した場合との効果の違いを示す説明図である。It is explanatory drawing which shows the difference of an effect when a driving | running scene is divided | segmented with a different method.

以下に本発明の実施形態を図面と共に説明する。
[第1実施形態]
<全体構成>
運転シーンラベル推定装置1は、図1に示すように、運転挙動データ収集部2と、運転シーン離散化部3と、特徴量分布生成部4と、運転トピックデータベース5と、トピック割合演算部6と、推定用分布設定部7と、シーンラベル推定部8とを備えている。
Embodiments of the present invention will be described below with reference to the drawings.
[First Embodiment]
<Overall configuration>
As shown in FIG. 1, the driving scene label estimation apparatus 1 includes a driving behavior data collection unit 2, a driving scene discretization unit 3, a feature amount distribution generation unit 4, a driving topic database 5, and a topic ratio calculation unit 6. And an estimation distribution setting unit 7 and a scene label estimation unit 8.

運転シーンラベル推定装置1は、マイクロコンピュータ(マイコン)によって実現され、運転トピックデータベース5を除く各部は、マイコンが備える図示しないCPUが所定のプログラムを実行することによって実現されるものである。つまり、CPUによって実現される各種機能を機能ブロック毎に分けて図示したものが図1である。但し、これら各部は必ずしもソフトウェアにて実現されている必要はなく、その全部または一部をロジック回路等のハードウェアにて実現してもよい。   The driving scene label estimation apparatus 1 is realized by a microcomputer (microcomputer), and each unit except the driving topic database 5 is realized by a CPU (not shown) included in the microcomputer executing a predetermined program. That is, FIG. 1 shows various functions realized by the CPU divided into functional blocks. However, these units do not necessarily have to be realized by software, and all or a part thereof may be realized by hardware such as a logic circuit.

<運転挙動データ収集部>
運転挙動データ収集部2は、運転者による運転操作に関する運転データや、その運転操作の結果として表れる車両の挙動に関する挙動データを、車両に搭載された各種センサを介して繰り返し収集すると共に、運転データや挙動データをそれぞれ微分した微分データ(ダイナミックフィーチャ)を生成し、これら運転データ,挙動データ,微分データからなる多次元データを運転挙動データとして出力する。
<Driving behavior data collection unit>
The driving behavior data collection unit 2 repeatedly collects driving data related to driving operations by the driver and behavior data related to vehicle behaviors appearing as a result of the driving operations via various sensors mounted on the vehicle. And differential data (dynamic features) obtained by differentiating the behavior data and the multi-dimensional data composed of the operation data, behavior data, and differential data are output as the operation behavior data.

なお、運転データとしては、例えば、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操作量(操舵角)、方向指示器の操作状態、トランスミッションのシフト位置などを用いることができる。また、挙動データとしては、例えば、車両の速度、ヨーレートなどを用いることができる。   As the driving data, for example, an accelerator pedal operation amount, a brake pedal operation amount, a steering wheel operation amount (steering angle), a direction indicator operation state, a transmission shift position, and the like can be used. Moreover, as behavior data, the speed of a vehicle, a yaw rate, etc. can be used, for example.

<運転シーン離散化部>
運転シーン離散化部3は、ドライバの環境認知から操作に至るモデルを利用して、運転挙動データ収集部2から得られる運転挙動データを統計解析し、ドライバ個人(もしくは一般のドライバ)が感じる運転シーンの切り替わり点を抽出することにより、運転挙動データの時系列を、それぞれが何等かの運転シーンを表す複数の部分系列に分節(離散化)する。
<Operation scene discretization unit>
The driving scene discretization unit 3 statistically analyzes the driving behavior data obtained from the driving behavior data collection unit 2 using a model from the driver's environmental recognition to the operation, and the driving felt by the individual driver (or a general driver). By extracting scene change points, the time series of driving behavior data is segmented (discretized) into a plurality of partial series each representing some driving scene.

具体的には、二重分節構造を利用した教師なし運転シーン分割法によって文節化を行う二重分節解析器(DAA:Double Articulation Analyzer)を利用する。
DAAは、まず、運転挙動データの値域を表す多次元の空間で運転挙動データから把握される各種の車両の状態を表すクラスタと、各クラスタ間の遷移確率とを予め定義しておき、これらの情報を用いて、運転挙動データ収集部2から取得した運転挙動データがいずれのクラスタに属するかを統計的に処理することにより、運転挙動データの時系列を、区分単位となる車両の状態ごと(つまり、クラスタごと)に区分けする。但し、各クラスタには予め識別用の記号を対応づけておくことにより、運転挙動データの時系列は、どのクラスタに属しているかを表す記号列に変換される。この記号列の生成には、例えば、隠れ状態とその状態間の確率的遷移で表現されるモデルの一つである階層ディリクレ過程隠れマルコフモデル(HDP−HMM)を利用することができる。
Specifically, a double segment analyzer (DAA: Double Articulation Analyzer) that performs segmentation by an unsupervised driving scene division method using a double segment structure is used.
DAA first defines in advance a cluster representing various vehicle states grasped from driving behavior data in a multidimensional space representing a range of driving behavior data, and transition probabilities between the clusters. By using the information to statistically determine which cluster the driving behavior data acquired from the driving behavior data collection unit 2 belongs to, the time series of the driving behavior data is obtained for each vehicle state (unit: That is, it is classified into each cluster). However, the time series of the driving behavior data is converted into a symbol string indicating which cluster belongs by associating each cluster with a symbol for identification in advance. For generation of this symbol string, for example, a hierarchical Dirichlet process hidden Markov model (HDP-HMM) which is one of models expressed by a hidden state and a stochastic transition between the states can be used.

次に、DAAは、生成された記号列を、統計情報を利用した離散文字列の教師なしチャンク化手法の1例であるNested Pitman-Yor Language Model(NPYLM)を用いて、所定の運転シーンを意味する部分系列に分節化する。この際、辞書サイズ(すなわち、部分系列の数)ができるだけ小さく、部分系列の並びからなる記号列全体の生成確率が最大となるようにする。これにより、運転挙動データの運転シーンへの分節化を行うことが可能になる。但し、部分系列間の遷移確率、および部分系列の生成確率は、学習によって予め生成されたものを使用する。   Next, DAA uses a Nested Pitman-Yor Language Model (NPYLM), which is an example of an unsupervised chunking technique for discrete character strings using statistical information, to generate a predetermined operation scene. Segment into meaningful subsequences. At this time, the dictionary size (that is, the number of partial sequences) is made as small as possible, and the generation probability of the entire symbol string composed of the partial sequences is maximized. This makes it possible to segment the driving behavior data into driving scenes. However, transition probabilities between partial sequences and partial sequence generation probabilities are generated in advance by learning.

なお、HDP−HMMやNPYLMを適用したDAAについては、本願出願人が別途発表した非特許文献、T.Taniguchi et al,"Semiotic Prediction of Driving Behavior using Unsupervised Double Articulation Analyzer" IEEE Intelligent Vehicles Symposium,2012、および、K.Takenaka et al," Contextual Scene Segmentation of Driving Behavior based on Double Articulation Analyzer" IEEE/RSJ International Conference on Intelligent Robots and Systems,2012、などに詳述されているため、ここでは説明を省略する。但し、記号の生成や記号の分節化に用いる手法は、HDP−HMMやNYLMに限定されるものではなく他の手法を用いてもよい。   As for DAA to which HDP-HMM and NPYLM are applied, non-patent literature separately disclosed by the present applicant, T. Taniguchi et al, “Semiotic Prediction of Driving Behavior using Unsupervised Double Articulation Analyzer” IEEE Intelligent Vehicles Symposium, 2012, K. Takenaka et al., “Contextual Scene Segmentation of Driving Behavior based on Double Articulation Analyzer” IEEE / RSJ International Conference on Intelligent Robots and Systems, 2012, etc., will not be described here. However, the method used for symbol generation and symbol segmentation is not limited to HDP-HMM or NYLM, and other methods may be used.

<特徴量分布生成部>
特徴量分布生成部4は、運転特徴算出部41と、動画特徴算出部42とを備えている。
運転特徴算出部41は、運転挙動データ収集部2から出力される時系列の運転挙動データに基づき、運転シーン離散化部3で分節化された部分系列(即ち、何等かの運転シーン)毎に、その部分系列中に現れる特徴量の分布を生成する。ここでは、アクセルペダル操作量、ブレーキペダル操作量、ステアリング操作量、車両速度、およびこれらの各々の微分データからなる8次元データを、特徴量分布の生成対象としている。また、特徴量分布は、上記8次元データの値域を表す特徴空間を複数に分割したものをインデックスとして、そのインデックス毎に、8次元データの出現頻度を表現したヒストグラムからなる。
<Feature distribution generation unit>
The feature amount distribution generation unit 4 includes a driving feature calculation unit 41 and a moving image feature calculation unit 42.
The driving feature calculation unit 41 is based on the time-series driving behavior data output from the driving behavior data collection unit 2 for each partial series segmented by the driving scene discretization unit 3 (that is, any driving scene). Then, a distribution of feature quantities appearing in the partial series is generated. Here, the accelerator pedal operation amount, the brake pedal operation amount, the steering operation amount, the vehicle speed, and eight-dimensional data composed of differential data of these are set as the generation targets of the feature amount distribution. The feature amount distribution includes a histogram that expresses the appearance frequency of the 8D data for each index obtained by dividing the feature space representing the range of the 8D data into a plurality of indexes.

動画特徴算出部42は、車両の前方、側方、後方などの車両周辺を撮影するように設置された車載カメラ11から出力される画像データを、運転シーン離散化部3で分節化された部分系列に従って分節化し、その画像データの部分系列中に現れる特徴量の分布を生成する。ここでは、入力画像を所定サイズ(例えば、320×240ピクセル)に圧縮し、その圧縮画像データを、一定間隔(例えば、5ピクセル)ごとに所定サイズ(例えば、24×24ピクセル)を有する複数(ここでは3072点)の単位領域に分割し、その単位領域毎に求めたSIFT(Scale-Invariant Feature Transform)特徴量を、特徴量分布の生成対象としている。特徴量分布は、SIFT特徴量の値域を表す特徴空間を複数に分割したものをインデックスとして、そのインデックス毎に、SIFT特徴量の出現頻度を表現したヒストグラムからなる。   The moving image feature calculation unit 42 is a portion obtained by segmenting image data output from the in-vehicle camera 11 installed so as to photograph the vehicle periphery such as the front, side, and rear of the vehicle by the driving scene discretization unit 3. Segmentation is performed according to the series, and a distribution of feature quantities appearing in the partial series of the image data is generated. Here, the input image is compressed to a predetermined size (for example, 320 × 240 pixels), and the compressed image data has a plurality (for example, 24 × 24 pixels) having a predetermined size (for example, 24 × 24 pixels) at regular intervals (for example, 5 pixels). In this example, 3072 points) are divided into unit areas, and SIFT (Scale-Invariant Feature Transform) feature amounts obtained for the respective unit regions are used as generation targets of the feature amount distribution. The feature amount distribution includes a histogram that expresses the frequency of appearance of SIFT feature amounts for each index obtained by dividing a feature space representing a range of SIFT feature amounts into a plurality of indexes.

なお、特徴量分布のインデックスは、予め学習によって決定したものを使用する。例えば、特徴量分布の生成対象となるデータ(上述の8次元データ、SIFT特徴量)を、k-means 等のクラスタリング手法を用いてクラスタリングし、その結果として得られた各クラスタを、特徴量分布のインデックスとして使用する。   Note that the index of the feature distribution is determined in advance by learning. For example, the data for which the feature quantity distribution is to be generated (the above-mentioned eight-dimensional data, SIFT feature quantity) is clustered using a clustering technique such as k-means, and each cluster obtained as a result is converted into the feature quantity distribution. Used as an index of

以下では、運転特徴算出部41が生成する特徴量分布を運転特徴分布、動画特徴算出部が生成する特徴量分布を動画特徴分布と呼び、これらを組み合わせたものを解析対象分布と呼ぶものとする。つまり、特徴量分布生成部4は、それぞれが運転シーンに対応する部分系列毎に、解析対象分布(運転特徴分布および動画特徴分布)を生成して後段に出力する。   Hereinafter, the feature amount distribution generated by the driving feature calculation unit 41 is referred to as a driving feature distribution, the feature amount distribution generated by the moving image feature calculation unit is referred to as a moving image feature distribution, and a combination thereof is referred to as an analysis target distribution. . That is, the feature amount distribution generation unit 4 generates an analysis target distribution (driving feature distribution and moving image feature distribution) for each partial series corresponding to the driving scene, and outputs it to the subsequent stage.

<運転トピックデータベース>
運転トピックデータベース5には、特徴量分布生成部4で生成される解析対象分布を、複数の分布の混合によって表現する場合に使用する複数(例えば100個)の基底特徴分布、および各基底特徴分布に対応付けられた基底タグ分布からなる運転トピックが格納されている。
<Operation topic database>
The driving topic database 5 includes a plurality of (for example, 100) base feature distributions used when the analysis target distribution generated by the feature amount distribution generation unit 4 is expressed by a mixture of a plurality of distributions, and each base feature distribution. The driving topic including the base tag distribution associated with is stored.

ここで運転トピック(基底特徴分布、基底タグ分布)の生成方法について説明する。
運転トピックの生成には、それぞれが運転シーンのいずれかに対応する各部分系列を「一つの文書」、観測された特徴(解析対象分布など)を「一つの単語」と見なすことで、自然言語処理分野で利用されているトピック推定手法を利用する。
Here, a method for generating a driving topic (basic feature distribution, base tag distribution) will be described.
Driving topics are generated by considering each subsequence corresponding to one of the driving scenes as “one document” and the observed features (analysis distribution etc.) as “one word”. Use the topic estimation method used in the processing field.

特に、ここでは、運転挙動データ(運転特徴分布)、画像データ(動画特徴分布)、画像データが表す画像に自然言語で付与したタグ(タグ分布)からなる三つのモダリティに跨る運転トピックを推定するため、潜在的ディリクレ配分法(LDA:Latent Dirichlet Allocation )を拡張した手法であるマルチモーダルLDAを利用する。   In particular, here, a driving topic that spans three modalities including driving behavior data (driving feature distribution), image data (moving feature distribution), and a tag (tag distribution) attached to the image represented by the image data in a natural language is estimated. Therefore, multimodal LDA, which is a method that is an extension of Latent Dirichlet Allocation (LDA), is used.

LDAでは、図2に示すようなグラフィカルモデルを仮定する。但し、Dがシーン総数、Mがd番目のシーンでのフレーム総数、Kがトピック総数、wd,m がd番目のシーンのmフレームで観測された特徴(即ち、解析対象分布、タグ分布)、zd,m が特徴に対して割り当てられるトピックを指示するトピック指示変数(1〜Kの自然数をとる)、θがd番目のシーンに含まれるトピックの割合を示す多項分布パラメータ、φはk番目のトピックから各特徴量が生成される割合を示す多項分布パラメータ(即ち、基底特徴分布、基底タグ分布)、α,βは、それぞれθ、φのパラメータである。また、θ,φ、zd,m d,m は、Dirをディリクレ分布、Multを多項分布として、(1)〜(4)式で定義される。 In LDA, a graphical model as shown in FIG. 2 is assumed. Where D is the total number of scenes, M d is the total number of frames in the d-th scene, K is the total number of topics, and w d and m are the features observed in the m-th frame of the d-th scene (ie, analysis target distribution, tag distribution). ), Z d, m is a topic indicating variable indicating a topic assigned to a feature (takes a natural number from 1 to K), θ d is a multinomial distribution parameter indicating the proportion of topics included in the d-th scene, φ k is a multinomial distribution parameter (i.e., base feature distribution, base tag distribution) indicating the ratio of each feature amount generated from the k-th topic, and α and β are parameters of θ and φ, respectively. Further, θ d , φ k , z d, m w d, m are defined by the equations (1) to (4), where Dir is a Dirichlet distribution and Multi is a multinomial distribution.

このモデルを利用してθ、φを推定することになるが、これらの推定には変分ベイズ、ギブスサンプリングなどの近似手法を使用することができる。これらの手法の詳細については、例えば、D.Blei et al,"Latent Dirichlet Allocation" Journal of Machine Learning Research,2003、や、T.Griffiths & M.Steyvers,"Finding Scientific Topics," Proceedings of the National Academy of Sciences,2004などに記載されているため、ここでは説明を省略する。 Θ and φ are estimated using this model, and approximation methods such as variational Bayes and Gibbs sampling can be used for these estimations. For details of these methods, see, for example, D. Blei et al, “Latent Dirichlet Allocation” Journal of Machine Learning Research, 2003, and T. Griffiths & M. Steyvers, “Finding Scientific Topics,” Proceedings of the National Academy. of Sciences, 2004, etc., and thus the description thereof is omitted here.

但し、運転トピックの生成時に使用する学習用の解析対象分布(運転特徴分布、動画特徴分布)およびタグ分布は、例えば、次のようにして生成されたものを使用する。
まず、実際に車両を走行させて、車載カメラ11にて学習用画像の撮影を行うと共に、運転挙動データ収集部2、運転シーン離散化部3、特徴量分布生成部4を作動させることで、学習用画像に対応した学習用の解析対象分布を生成する。
However, the analysis target distribution (driving feature distribution, moving image feature distribution) and tag distribution used for generating the driving topic are generated as follows, for example.
First, by actually running the vehicle and taking an image for learning with the in-vehicle camera 11, by operating the driving behavior data collection unit 2, the driving scene discretization unit 3, and the feature amount distribution generation unit 4, A learning analysis target distribution corresponding to the learning image is generated.

次に、複数の被験者に、大まかなタグの項目(例えば、先行車の有無や種別、渋滞の有無、車線数など)のみを指示した上で、学習用画像を見せて、画像データのフレーム毎に、タグ付けを行わせ、その付与結果を、運転シーン離散化部3によって分割された運転シーン毎にヒストグラムにまとめることで、学習用のタグ分布を生成する。このようにして付与されたタグは、タグを付与するタイミング(例えば、どの程度近づいた時に先行車とみなすか等)の判断が被験者によってバラツクため、タグが付与される確率が求められることになる。   Next, after instructing a plurality of subjects only on rough tag items (for example, the presence / absence and type of a preceding vehicle, the presence / absence of traffic jams, the number of lanes, etc.), the learning image is shown for each frame of the image data. Then, tagging is performed, and a result of the tagging is collected into a histogram for each driving scene divided by the driving scene discretization unit 3, thereby generating a tag distribution for learning. Since the tag given in this way varies depending on the subject's judgment on the timing of tag assignment (for example, how close the vehicle is considered as the preceding vehicle), the probability of tag assignment is required. .

このようにして用意された学習用の解析対象分布およびタグ分布を用いてLDAによる運転トピックの推定を行った結果が、基底特徴分布、基底タグ分布となる。
図3の「Drive Topic Estimation」の欄に示すように、学習時には、運転特徴データに基づいて運転特徴データを分節化することで生成された部分系列(運転シーン)毎に、解析対象分布とタグ分布を生成する。その生成された解析対象分布とタグ分布から、LDAを用いて基底特徴分布および基底タグ分布が生成される。
The result of estimating the driving topic by the LDA using the analysis target distribution and the tag distribution prepared in this way is the base feature distribution and the base tag distribution.
As shown in the column “Drive Topic Estimation” in FIG. 3, at the time of learning, the analysis target distribution and the tag for each partial series (driving scene) generated by segmenting the driving feature data based on the driving feature data. Generate a distribution. Based on the generated analysis target distribution and tag distribution, a base feature distribution and a base tag distribution are generated using LDA.

<トピック割合演算部>
トピック割合演算部6では、特徴量分布生成部4から出力される解析対象分布が、運転トピックデータベース5に格納された基底特徴分布を混合することで表現されるものとして、その混合比であるトピック割合(解析対象分布に対する各運転トピックの含有割合)を算出する(図3の「Drive Annotation」の欄参照)。なお、トピック割合は、具体的には、マルチモーダルLDAを実現するEステップおよびMステップの処理のうち、Eステップだけを実行することで求めることができる。
<Topic ratio calculation unit>
In the topic ratio calculation unit 6, the analysis target distribution output from the feature amount distribution generation unit 4 is expressed by mixing the base feature distribution stored in the driving topic database 5. The ratio (content ratio of each driving topic with respect to the analysis target distribution) is calculated (see the column “Drive Annotation” in FIG. 3). Specifically, the topic ratio can be obtained by executing only the E step among the processes of the E step and the M step for realizing the multimodal LDA.

<推定用分布設定部>
推定用分布設定部7は、図4(a)に示すように、トピック割合演算部6求められたトピック割合に従って、基底タグ分布を重ね合わせることによって生成される混合分布を推定用分布として設定する。但し、推定用分布の設定方法は、これに限るものではなく、例えば、図4(b)に示すように、トピック割合が最も大きい運転トピックに対応付けられた基底タグ分布を推定用分布として設定してもよい。
<Estimation distribution setting section>
As shown in FIG. 4A, the estimation distribution setting unit 7 sets, as the estimation distribution, a mixed distribution generated by superimposing the base tag distributions according to the topic ratio obtained by the topic ratio calculation unit 6. . However, the estimation distribution setting method is not limited to this. For example, as shown in FIG. 4B, the base tag distribution associated with the driving topic having the largest topic ratio is set as the estimation distribution. May be.

<シーンラベル推定部>
シーンラベル推定部8は、図5(a)に示すように、推定用分布設定部7で設定された推定用分布に基づき、出現頻度が予め設定された閾値を超えるタグ(ラベル推定用分布のインデックス)を抽出し、その抽出したタグを運転シーンに付与するシーンラベルの推定結果とする。なお、タグの抽出方法は、これに限るものではなく、例えば、出現頻度が大きい物から所定番目までを抽出してもよい。また、図5(b)に示すように、ラベル推定用分布に従って確率的にタグを生成することで抽出するようにしてもよい。
<Scene label estimation unit>
As shown in FIG. 5A, the scene label estimation unit 8 is based on the estimation distribution set by the estimation distribution setting unit 7, and tags (label estimation distribution distribution) whose appearance frequency exceeds a preset threshold value. Index) is extracted, and the extracted tag is used as the estimation result of the scene label to be given to the driving scene. Note that the tag extraction method is not limited to this, and, for example, a part having a high appearance frequency to a predetermined number may be extracted. Further, as shown in FIG. 5B, the tag may be extracted by generating a tag probabilistically according to the label estimation distribution.

<効果>
以上説明したように、運転シーンラベル推定装置1では、DAAによって運転挙動データの時系列を、それぞれが何等かの運転シーンを表す部分系列に分割し、部分系列毎に、運転挙動データや画像データの特徴を表す解析対象分布を生成している。そして、その解析対象分布について求めた運転トピックの混合比(トピック割合)と、予め用意された基底タグ分布とに従ってラベル推定用分布を生成し、そのラベル推定用分布を用いて運転シーンに適合したシーンラベルを推定している。
<Effect>
As described above, in the driving scene label estimation apparatus 1, the time series of driving behavior data is divided by DAA into partial series each representing some driving scene, and driving behavior data and image data are divided for each partial series. The analysis target distribution representing the characteristics of is generated. Then, a label estimation distribution is generated according to the mixing ratio (topic ratio) of the driving topics obtained for the analysis target distribution and the base tag distribution prepared in advance, and the label estimation distribution is used to adapt to the driving scene. The scene label is estimated.

このように、運転シーンラベル推定装置1によれば、教師なしの分割法によって運転シーンを分割すると共に、その運転シーンに応じてその都度生成されるラベル推定用分布を用いてシーンラベルを推定するため、各運転シーンの判断条件や、各運転シーンとシーンラベルとの対応関係を予め定義しておく必要がなく、予め定義しておくことが難しい運転シーンも含めて、分割された全ての運転シーンについて、自動的にシーンラベルを付与することができる。   As described above, according to the driving scene label estimation apparatus 1, the driving scene is divided by the unsupervised division method, and the scene label is estimated using the label estimation distribution generated each time according to the driving scene. Therefore, it is not necessary to predefine the judgment conditions of each driving scene and the correspondence between each driving scene and the scene label, and all the divided driving including the driving scene that is difficult to define in advance. A scene label can be automatically assigned to a scene.

また、運転シーンラベル推定装置1によれば、運転シーンの分割にDAAを利用することで、ドライバの直感に適合した単位で運転シーンが抽出されるため、その運転シーンに対して、ドライバの感覚に適合したシーンラベルを付与することができる。   Further, according to the driving scene label estimation apparatus 1, since the driving scene is extracted in a unit suitable for the driver's intuition by using DAA for dividing the driving scene, the driver's sense for the driving scene is extracted. It is possible to attach a scene label suitable for.

図6は、運転シーンラベル推定装置1によって抽出された幾つかの運転シーンについて推定されたシーンラベル、およびそのシーンラベルに対応する画像を、ラベルを推定する過程で生成される運転挙動データ、部分系列、トピック割合と共に例示したものである。図からは、概ね画像に適合したシーンラベルが抽出されていることがわかる。なお、シーンラベルは、運転トピック数を10個にした場合と、運転トピックスを100個にした場合とについて示した。   FIG. 6 shows scene behaviors estimated for several driving scenes extracted by the driving scene label estimation apparatus 1, and driving behavior data generated in the process of estimating the labels corresponding to the scene labels. It is an example with series and topic ratio. From the figure, it can be seen that a scene label that is generally suitable for the image is extracted. The scene label indicates the case where the number of driving topics is 10 and the case where the driving topics are 100.

[第2実施形態]
第2実施形態について説明する。
本実施形態では、運転特徴算出部41によって生成する特徴量分布、運転トピックデータベース5に格納されるデータ、シーンラベル推定部8での処理が、第1実施形態のものとは一部異なっているため、これらの点を中心に説明する。
[Second Embodiment]
A second embodiment will be described.
In the present embodiment, the feature quantity distribution generated by the driving feature calculation unit 41, the data stored in the driving topic database 5, and the processing in the scene label estimation unit 8 are partially different from those in the first embodiment. Therefore, these points will be mainly described.

<運転特徴算出部>
本実施形態の運転特徴算出部41では、運転挙動データを構成する8種類のデータ(アクセルペダルの操作量accel、ブレーキペダルの操作量brake、ステアリングの操作量steering、車速velocity、及びそれらの微分データΔaccel、Δbrake、Δsteering、Δvelocity)からなる8次元データの特徴量分布を生成する代わりに、8種類のデータのそれぞれについて特徴量分布(運転特徴分布)を生成する。つまり、運転特徴算出部41から出力される解析対象分布は、8個の運転特徴分布と1個の動画特徴分布とで構成される。
<Driving feature calculation unit>
In the driving feature calculation unit 41 of the present embodiment, eight types of data constituting the driving behavior data (accelerator pedal operation amount accel, brake pedal operation amount brake, steering operation amount steering, vehicle speed velocity, and their differential data) Instead of generating a feature quantity distribution of 8-dimensional data composed of Δaccel, Δbrake, Δsteering, and Δvelocity), a feature quantity distribution (driving feature distribution) is generated for each of the eight types of data. That is, the analysis target distribution output from the driving feature calculation unit 41 includes eight driving feature distributions and one moving image feature distribution.

各特徴量分布は、図7に示すように、特徴量の値域(最小値〜最大値)を20等分してなるビン毎に出現頻度を表現したヒストグラムからなる。図において(a)は車速V、(b)は車速の微分値(加速度)ΔVの特徴量分布を例示したものである。   As shown in FIG. 7, each feature amount distribution is composed of a histogram expressing the appearance frequency for each bin obtained by dividing a feature value range (minimum value to maximum value) into 20 equal parts. In the figure, (a) shows the vehicle speed V, and (b) shows the characteristic amount distribution of the differential value (acceleration) ΔV of the vehicle speed.

<運転トピックデータベース>
運転トピックデータベース5には、基底特徴分布、基底タグ分布に加えて、基底特徴分布に対応づけられた基底ラベルが格納されている。
<Operation topic database>
The driving topic database 5 stores a base label associated with the base feature distribution in addition to the base feature distribution and the base tag distribution.

基底特徴分布、基底タグ分布の生成は、生成に使用する解析対象分布を構成する特徴量分布の数が異なるだけで、第1実施形態のものと同様に実施される。
図8は、生成された基底特徴分布のうち、運転挙動データに関する分布を例示したものである。ここでは、5種類の運転トピックTP1〜TP5について、特徴量のビン毎に出現頻度をトーンで表しており、トーンが白いほど出現頻度が高いことを表する。
The generation of the base feature distribution and the base tag distribution is performed in the same manner as in the first embodiment, except that the number of feature amount distributions constituting the analysis target distribution used for generation is different.
FIG. 8 illustrates a distribution related to driving behavior data among the generated base feature distributions. Here, for five types of driving topics TP1 to TP5, the appearance frequency is represented by a tone for each bin of the feature amount, and the whiter the tone, the higher the appearance frequency.

このようにして生成された運転挙動に関する基底特徴分布は、各運転トピックに特徴的な運転操作や車両挙動を表したものとなる。例えば、運転トピックTP1は、他の運転トピックと比較して、低速域でステアリング操作を頻繁に行うものであることがわかる。   The base feature distribution relating to the driving behavior generated in this manner represents the driving operation and vehicle behavior characteristic of each driving topic. For example, it can be seen that the driving topic TP1 frequently performs a steering operation in a low speed region as compared with other driving topics.

基底ラベルは、基底特徴分布から読み取ることのできる、規定特徴分布に対する特性を表現するものである。基底ラベルは、上述したように基底特徴分布から読み取ることができる状況を、そのまま基底ラベルとして用いてもよいが、本実施形態では、以下のようにして設定したものを用いる。   The base label expresses a characteristic with respect to the specified feature distribution that can be read from the base feature distribution. As the base label, the situation that can be read from the base feature distribution as described above may be used as the base label as it is, but in the present embodiment, the base label is set as follows.

まず、各運転トピックの基底特徴分布に基づき、その運転トピックに特有の特徴を抽出する為に(5)式に従って、基底特徴分布の頻度を尤度比に変換する。なお、iは特徴量の識別子、kは運転トピックの識別子、wはiで識別される特徴量、φはkで識別される運転トピックを構成する特徴量の多項分布(基底特徴分布)である。尤度比Li,kは、ある特徴が他の運転トピックに含まれずに特定の運転トピックに含まれている度合いを示すいわゆる逆文書頻度(IDF)と呼ばれる指標である。 First, based on the basis feature distribution of each driving topic, the frequency of the basis feature distribution is converted into a likelihood ratio in accordance with the equation (5) in order to extract features peculiar to the driving topic. Note that i is a feature quantity identifier, k is a driving topic identifier, w i is a feature quantity identified by i, and φ k is a multinomial distribution of feature quantities constituting a driving topic identified by k (basic feature distribution). It is. The likelihood ratio L i, k is an index called so-called inverse document frequency (IDF) indicating the degree to which a certain feature is not included in another driving topic but is included in a specific driving topic.

図9は、各運転トピックにおいて、尤度比が一定以上(例えば5)のもののみ表示した特徴強調分布であり、ここでは、図面を見やすくするため、アクセル、ブレーキ、ステアリング、速度についてのみ示している。 FIG. 9 is a feature emphasis distribution that displays only those with a likelihood ratio of a certain value (for example, 5) or more for each driving topic. Here, only the accelerator, brake, steering, and speed are shown for easy understanding of the drawing. Yes.

この特徴強調分布から、運転トピック毎に基底ラベルを抽出する。例えば、速度の場合、20個のビンを、[BIN1][BIN2−5][BIN6−10][BIN11−15][BIN16−20]の5段階に分け、それぞれにラベル「v0」「v」「v+」「v++」「v+++」を対応づけるものとし、各運転トピックで最大の尤度比を有するビンに対応づけられたラベルを基底ラベルとして設定する。他の特徴量についても同様にして基底ラベルを設定する。図中、「s+/−」はステアリングの操作量に関するラベルの一つ、「a+++」はアクセルペダルの操作量に関するラベルの一つ、「b+++」はブレーキペダルの操作量に関するラベルの一つである。   Base labels are extracted for each driving topic from this feature enhancement distribution. For example, in the case of speed, 20 bins are divided into five stages [BIN1] [BIN2-5] [BIN6-10] [BIN11-15] [BIN16-20], and labels “v0” and “v” are respectively provided. Assume that “v +”, “v ++”, and “v ++” are associated with each other, and a label associated with a bin having the maximum likelihood ratio in each driving topic is set as a base label. Base labels are similarly set for other feature amounts. In the figure, “s ++ / −” is one of the labels regarding the steering operation amount, “a ++” is one of the labels regarding the operation amount of the accelerator pedal, and “b ++++” is one of the labels regarding the operation amount of the brake pedal. .

図9に示した運転トピックTP1では、ステアリングの操作量と、速度に顕著な特徴がみられ、これに応じた二つのラベル「v」「s+/−」が付与されることになる。
<シーンラベル推定部>
シーンラベル推定部8では、第1実施形態と同様に推定用分布から推定されたシーンラベルに加えて、トピック割合が最大の運転トピックに対応づけられた基底ラベルを、対象となる運転シーンのシーンラベルとして付与する。
In the driving topic TP1 shown in FIG. 9, remarkable features are observed in the steering operation amount and the speed, and two labels “v” and “s +/−” corresponding thereto are given.
<Scene label estimation unit>
In the scene label estimation unit 8, in addition to the scene label estimated from the distribution for estimation as in the first embodiment, the base label associated with the driving topic having the maximum topic ratio is used as the scene of the target driving scene. Give it as a label.

<効果>
本実施形態によれば、第1実施形態と同様の効果が得られるだけでなく、運転特徴を表すラベルを使用しているため、これを利用して、例えば、図10に示すように、ドライバの視点からみた状況を自然な言語で記録することができる。
<Effect>
According to the present embodiment, not only the same effects as in the first embodiment can be obtained, but also a label representing driving characteristics is used. Therefore, using this, for example, as shown in FIG. The situation seen from the viewpoint of can be recorded in a natural language.

図11は、運転シーンの抽出をDAAによって行うことの効果を示す実験結果である。比較例として、運転シーンの数が、運転シーン離散化部3での分割数と同数となり、且つ運転シーンの長さが全て均等になるように分割した場合に、生成される運転トピック(尤度比で表したもの)、およびその運転トピックから抽出した基底ラベルを示す。   FIG. 11 shows experimental results showing the effect of performing driving scene extraction using DAA. As a comparative example, the driving topic (likelihood) generated when the number of driving scenes is the same as the number of divisions in the driving scene discretization unit 3 and the lengths of the driving scenes are all equalized. And the base label extracted from the driving topic.

比較例(FL)では、本実施形態(DAA)と比較して、ある特徴量について特徴的な分布が、複数の運転トピックに渡ってまばらに存在する傾向になり、これが影響してドライバの感覚に合ったシーンラベルの付与が難しくなることがわかる。但し、本発明は、比較例の手法で運転シーンを分割することを否定するものではなく、そのような装置に適用してもよい。   In the comparative example (FL), compared to the present embodiment (DAA), a characteristic distribution with respect to a certain characteristic amount tends to exist sparsely across a plurality of driving topics. It can be seen that it is difficult to assign a scene label suitable for the. However, the present invention does not deny dividing the driving scene by the method of the comparative example, and may be applied to such an apparatus.

[他の実施形態]
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。例えば、1つの構成要素が有する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を1つの構成要素に統合したりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。
[Other Embodiments]
As mentioned above, although embodiment of this invention was described, it cannot be overemphasized that this invention can take a various form, without being limited to the said embodiment. For example, the functions of one component may be distributed to a plurality of components, or the functions of a plurality of components may be integrated into one component. Further, at least a part of the configuration of the above embodiment may be replaced with a known configuration having the same function.

例えば、上記実施形態では、特徴量分布の生成対象として、運転挙動データおよび画像データを用いているが、これに限るものではなく、例えば、全地球測位システム(Global Positioning System :GPS)や慣性計測装置(Inertial Measurement Unit :IMU)によって取得される自車両の位置に関する位置データ等を用いてもよい。   For example, in the above embodiment, driving behavior data and image data are used as the generation target of the feature amount distribution. However, the present invention is not limited to this. For example, a global positioning system (GPS) or inertial measurement is used. You may use the position data regarding the position of the own vehicle, etc. which are acquired by the apparatus (Inertial Measurement Unit: IMU).

なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。   In addition, the code | symbol in the parenthesis described in the claim shows the correspondence with the specific means as described in the embodiment as one aspect, and does not limit the technical scope of the present invention. .

また、本発明は、前述した運転シーンラベル推定装置の他、運転シーンラベル推定装置を構成要素とする各種システム、運転シーンラベル推定装置を構成する各手段としてコンピュータを機能させるためのプログラム、運転シーンラベル推定方法など、種々の形態で実現することができる。   In addition to the driving scene label estimation device described above, the present invention also provides various systems including the driving scene label estimation device as components, a program for causing a computer to function as each means constituting the driving scene label estimation device, and a driving scene. It can be realized in various forms such as a label estimation method.

1…運転シーンラベル推定装置 2…運転挙動データ収集部 3…運転シーン離散化部 4…特徴量分布生成部 5…運転トピックデータベース 6…トピック割合演算部 7…推定用分布設定部 8…シーンラベル推定部 11…車載カメラ 41…運転特徴算出部 42…動画特徴算出部   DESCRIPTION OF SYMBOLS 1 ... Driving scene label estimation apparatus 2 ... Driving behavior data collection part 3 ... Driving scene discretization part 4 ... Feature-value distribution generation part 5 ... Driving topic database 6 ... Topic ratio calculation part 7 ... Distribution setting part 8 for estimation 8 ... Scene label Estimating unit 11 ... In-vehicle camera 41 ... Driving feature calculating unit 42 ... Moving image feature calculating unit

Claims (10)

車両の状態に関するデータを繰り返し収集するデータ収集手段(2,11)と、
前記データ収集手段にて収集されたデータの系列を、各々が何等かの運転シーンを表す複数の部分系列に分割するシーン分割手段(3)と、
前記データ収集手段によって収集されたデータから得られる一種類以上の特徴量について、該特徴量の値域を複数に分割したインデックス毎の出現頻度を表す特徴量分布を、前記部分系列毎に生成する特徴量分布生成手段(4)と、
前記特徴量分布を表現するための基底分布として使用される複数の基底特徴分布、および前記運転シーンを説明するために予め用意された複数のタグの各々についての出現確率を表す基底タグ分布からなる運転トピックを記憶するトピック記憶手段(5)と、
前記分布生成手段で生成された前記特徴量分布を、前記基底特徴分布を用いて表現した場合の混合比であるトピック割合を算出する割合演算手段(6)と、
前記部分系列毎に、前記トピック割合および前記基底タグ分布に基づいて、ラベル推定用分布を設定する推定用分布設定手段(7)と、
前記ラベル推定用分布を用いて、前記部分系列が表す運転シーンに適合したシーンラベルを推定するラベル推定手段(8)と、
を備えることを特徴とする運転シーンラベル推定装置。
Data collection means (2, 11) for repeatedly collecting data relating to the state of the vehicle;
Scene dividing means (3) for dividing the series of data collected by the data collecting means into a plurality of partial series each representing some driving scene;
A feature that generates, for each partial series, a feature quantity distribution representing an appearance frequency for each index obtained by dividing a range of the feature quantity into a plurality of feature quantities obtained from data collected by the data collection unit. A quantity distribution generating means (4);
A plurality of base feature distributions used as a base distribution for expressing the feature quantity distribution, and a base tag distribution representing an appearance probability for each of a plurality of tags prepared in advance for explaining the driving scene. Topic storage means (5) for storing driving topics;
A ratio calculation means (6) for calculating a topic ratio that is a mixture ratio when the feature quantity distribution generated by the distribution generation means is expressed using the base feature distribution;
For each partial series, an estimation distribution setting means (7) for setting a label estimation distribution based on the topic ratio and the base tag distribution;
Label estimation means (8) for estimating a scene label suitable for the driving scene represented by the partial series using the label estimation distribution;
A driving scene label estimation apparatus comprising:
前記推定用分布設定手段は、前記基底タグ分布を前記トピック割合に従って混合することで生成された混合分布を前記ラベル推定用分布として設定することを特徴とする請求項1に記載の運転シーンラベル推定装置。   2. The driving scene label estimation according to claim 1, wherein the estimation distribution setting unit sets a mixed distribution generated by mixing the base tag distribution according to the topic ratio as the label estimation distribution. apparatus. 前記推定用分布設定手段は、前記トピック割合が最大となる前記運転トピックの基底タグ分布を、前記ラベル推定用分布として設定することを特徴とする請求項1に記載の運転シーンラベル推定装置。   The driving scene label estimation apparatus according to claim 1, wherein the estimation distribution setting unit sets a base tag distribution of the driving topic having the maximum topic ratio as the label estimation distribution. 前記ラベル推定手段は、前記ラベル推定用分布に基づき、出現頻度が予め設定された閾値以上である前記タグを前記シーンラベルとすることを特徴とする請求項1ないし請求項3のいずれか1項に記載の運転シーンラベル推定装置。   4. The label estimation unit according to claim 1, wherein, based on the label estimation distribution, the tag whose appearance frequency is equal to or higher than a preset threshold is used as the scene label. 5. The driving scene label estimation device according to 1. 前記ラベル推定手段は、前記ラベル推定用分布を用いて確率的に生成される前記タグを前記シーンラベルとすることを特徴とする請求項1ないし請求項3のいずれか1項に記載の運転シーンラベル推定装置。   The driving scene according to any one of claims 1 to 3, wherein the label estimation means uses the tag that is probabilistically generated using the label estimation distribution as the scene label. Label estimation device. 前記シーン分割手段は、二重分節構造を利用した教師なし運転シーン分割法によって分節化を行う二重分節解析器(DAA:Double Articulation Analyzer)からなることを特徴とする請求項1ないし請求項5のいずれか1項に記載の運転シーンラベル推定装置。   6. The scene dividing means comprises a double segment analyzer (DAA: Double Articulation Analyzer) that performs segmentation by an unsupervised driving scene segmentation method using a double segment structure. The driving scene label estimation apparatus according to any one of the above. 前記割合演算手段は、潜在的ディリクレ配分法(LDA:Latent Dirichlet Allocation )またはマルチモーダルLDAによって、前記トピック割合を求めることを特徴とする請求項1ないし請求項6のいずれか1項に記載の運転シーンラベル推定装置。   The operation according to any one of claims 1 to 6, wherein the ratio calculation means obtains the topic ratio by a latent dirichlet allocation method (LDA) or a multimodal LDA. Scene label estimation device. 前記特徴量分布は、前記特徴量の最大値から最小値までを均等に分割した各値域をインデックスとしたヒストグラムによって表現されることを特徴とする請求項1ないし請求項7のいずれか1項に記載の運転シーンラベル推定装置。   8. The feature amount distribution according to claim 1, wherein the feature amount distribution is expressed by a histogram using, as an index, each value range obtained by equally dividing a maximum value to a minimum value of the feature amount. The driving scene label estimation device described. 前記特徴量分布は、前記特徴量をクラスタリングすることで分割された値域をインデックスとしたヒストグラムによって表現されることを特徴とする請求項1ないし請求項7のいずれか1項に記載の運転シーンラベル推定装置。   The driving scene label according to any one of claims 1 to 7, wherein the feature quantity distribution is expressed by a histogram using a range obtained by clustering the feature quantities as an index. Estimating device. 前記特徴量分布の生成対象には、ドライバの運転操作に関する運転データから得られる特徴量、車両の挙動に関する挙動データから得られる特徴量、車載カメラで撮影した画像データから得られる特徴量、自車両の位置に関する位置データから得られる特徴量のうち、少なくとも一つが含まれていることを特徴とする請求項1ないし請求項9のいずれか1項に記載の運転シーンラベル推定装置。   The feature quantity distribution generation target includes a feature quantity obtained from driving data relating to a driver's driving operation, a feature quantity obtained from behavior data relating to the behavior of the vehicle, a feature quantity obtained from image data taken by an in-vehicle camera, and the own vehicle The driving scene label estimation apparatus according to any one of claims 1 to 9, wherein at least one of feature quantities obtained from position data relating to the position of the vehicle is included.
JP2013117226A 2013-06-03 2013-06-03 Driving scene label estimation device Expired - Fee Related JP6026959B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013117226A JP6026959B2 (en) 2013-06-03 2013-06-03 Driving scene label estimation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013117226A JP6026959B2 (en) 2013-06-03 2013-06-03 Driving scene label estimation device

Publications (2)

Publication Number Publication Date
JP2014235605A JP2014235605A (en) 2014-12-15
JP6026959B2 true JP6026959B2 (en) 2016-11-16

Family

ID=52138252

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013117226A Expired - Fee Related JP6026959B2 (en) 2013-06-03 2013-06-03 Driving scene label estimation device

Country Status (1)

Country Link
JP (1) JP6026959B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11113292B2 (en) 2017-12-22 2021-09-07 Denso Corporation Feature data storage apparatus and driving feature and distribution databases

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6206022B2 (en) * 2013-09-12 2017-10-04 株式会社デンソー Driving assistance device
US9940759B2 (en) 2014-11-14 2018-04-10 Denso Corporation Drive data collection system
JP6330651B2 (en) * 2014-12-19 2018-05-30 株式会社デンソー Anomaly detection device
JP6418574B2 (en) * 2015-01-14 2018-11-07 株式会社デンソーアイティーラボラトリ Risk estimation device, risk estimation method, and computer program for risk estimation
JP6466191B2 (en) * 2015-02-12 2019-02-06 株式会社デンソー Driving support information generation device, driving support device
JP6376005B2 (en) * 2015-03-10 2018-08-22 株式会社デンソー Digest video generator
JP6511982B2 (en) * 2015-06-19 2019-05-15 株式会社デンソー Driving operation discrimination device
JP6451583B2 (en) * 2015-10-08 2019-01-16 株式会社デンソー Driving assistance device
JP6780456B2 (en) 2016-05-09 2020-11-04 株式会社デンソー Driving characteristic storage device
US10347122B2 (en) 2016-07-12 2019-07-09 Denson Corporation Road condition monitoring system
JP6786921B2 (en) 2016-07-12 2020-11-18 株式会社デンソー Driving support system and driving support method
US10415981B2 (en) 2016-07-25 2019-09-17 Denso Corporation Anomaly estimation apparatus and display apparatus
US11195030B2 (en) * 2018-09-14 2021-12-07 Honda Motor Co., Ltd. Scene classification
US11034357B2 (en) 2018-09-14 2021-06-15 Honda Motor Co., Ltd. Scene classification prediction
JP7247790B2 (en) 2019-07-02 2023-03-29 株式会社デンソー Driving environment monitoring device, driving environment monitoring system, and driving environment monitoring program
CN111126438B (en) * 2019-11-22 2023-11-14 北京理工大学 A driving behavior recognition method and system
JP7831400B2 (en) * 2023-05-19 2026-03-17 トヨタ自動車株式会社 Information processing device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6879969B2 (en) * 2001-01-21 2005-04-12 Volvo Technological Development Corporation System and method for real-time recognition of driving patterns
JP4998870B2 (en) * 2006-07-05 2012-08-15 日産自動車株式会社 Stimulus presentation device for vehicle and stimulus presentation method
JP2011014037A (en) * 2009-07-03 2011-01-20 Fuji Heavy Ind Ltd Risk prediction system
US8612463B2 (en) * 2010-06-03 2013-12-17 Palo Alto Research Center Incorporated Identifying activities using a hybrid user-activity model

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11113292B2 (en) 2017-12-22 2021-09-07 Denso Corporation Feature data storage apparatus and driving feature and distribution databases

Also Published As

Publication number Publication date
JP2014235605A (en) 2014-12-15

Similar Documents

Publication Publication Date Title
JP6026959B2 (en) Driving scene label estimation device
US11288498B2 (en) Learning actions with few labels in the embedded space
JP6206022B2 (en) Driving assistance device
US9527384B2 (en) Driving context generation system for generating driving behavior description information
Bender et al. An unsupervised approach for inferring driver behavior from naturalistic driving data
Carlos et al. How smartphone accelerometers reveal aggressive driving behavior?—The key is the representation
Leibe et al. Efficient clustering and matching for object class recognition.
CN113159105B (en) A driving behavior unsupervised pattern recognition method and data acquisition and monitoring system
Bando et al. Unsupervised drive topic finding from driving behavioral data
CA2923908C (en) Methods and systems for searching logical patterns
JP6511982B2 (en) Driving operation discrimination device
JP6451583B2 (en) Driving assistance device
Zhou et al. Comparing the interpretability of deep networks via network dissection
JP2017073021A (en) Driving assistance device
Kumar et al. Content based video retrieval using deep learning feature extraction by modified VGG_16
US12243302B2 (en) Utilizing machine learning models to classify vehicle trajectories and collect road use data in real-time
CN113936174B (en) Single-frame supervision video time sequence action detection and classification method and system
JP6365035B2 (en) Traffic object detection device
Zheng et al. Bi-heterogeneous Convolutional Neural Network for UAV-based dynamic scene classification
Divyavarshini et al. Vehicle Recognition Using CNN
JP7247993B2 (en) RUNNING TEST PATTERN CREATION APPARATUS AND METHOD
Anwer et al. Optimized frame detection technique in vehicle accident using deep learning
CN114987504A (en) A method and system for dynamic driver identification based on incremental learning
JP7253351B2 (en) How to register environmental information in chronological order
Chong et al. Modeling video-based anomaly detection using deep architectures: Challenges and possibilities

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20151221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161013

R150 Certificate of patent or registration of utility model

Ref document number: 6026959

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees