JP6089456B2 - 運転行動診断装置、運転行動診断方法および運転行動診断プログラム - Google Patents

Description

本発明は、車両の運転者の運転行動を評価する運転行動診断装置、運転行動診断方法および運転行動診断プログラムに関する。

近年、車両前方状況の常時記録や安全運転支援を目的として、車両内部にカメラが搭載されるケースが増えている。さらに、この車載カメラから得られる映像を分析して、運転者が、道路標識および道路標示が設置された地点において、正しく運転を行っているか否かを評価したいというニーズがある。

「道路標識」とは、図形や文字が記載され、道路から所定の高さの位置に設置された表示装置である。例えば、道路標識には、所定の位置において、車両に一旦停止または停止を義務づける標識がある。一時停止が義務づけられる地点とは、一時停止が指定された交差点、赤信号が表示された交差点などを指す。停止が義務づけられている地点とは、例えば、列車がまもなく通過する踏切などを指す。以降、一時停止および停止を単に「停止」という。

「道路標示」とは、路面に白線等で直接表示された図形である。道路標示には、例えば、最高速度や転回（Ｕターン）禁止を指示するものがある。

以降、「道路標識」と「道路標示」をまとめて、「指示構造物」という。以上のように、構造物は、運転者に対して、所定の位置または所定の範囲（以降、単に「指示位置」という。）の道路において、所定の運転行動を行うことを運転者に指示する。「運転行動」とは、運転者が、車両の速度や進路などを制御するために採った行動を意味する。なお、以降、運転行動の診断を受ける対象の運転者を、「被診断者」、被診断者によって診断対象の運転行動が行われた車両を「対象車両」という。

上記のような、被診断者による運転行動の評価を、通常の映像再生ツールを用いて目視により行うことは非常に非効率である。例えば、一時停止の標識に対応する運転行動を評価する場合には、以下のような作業が必要となる。

（１）車載カメラの映像を再生して、一時停止が必要であるシーンを探す。

（２）該シーンにおいて、一時停止すべき位置に対応する映像のフレームを特定する。

（３）（２）で特定したフレーム付近において、車速情報を参照して車速が０になっているか否かを確認し、一時停止の有無を集計する。

このような作業を行う評価には、録画された映像をすべて再生する必要がある。従って、実時間、すなわち映像の長さと同程度の時間を要する。

この作業をより効率化するための手段として、画像認識技術を用いて、構造物によって一時停止等の運転行動が義務づけられている地点を自動的に抽出することが考えられる。すなわち、画像中から一時停止を指示する道路標識などを検知することによって、（１）、（２）の作業を自動化し、処理全体を効率化することができる。

運転者の運転時の行動を評価するための各種の装置が提案されている。

例えば、特許文献１には、一時停止すべき箇所で運転者が車両を一時停止させたか否かを診断することができる運転診断情報提供装置が開示されている。特許文献１の装置は、ＶＩＣＳ（Vehicle Information and Communication System Center。登録商標）サービス用の交通情報を用いて、一旦停止すべき箇所か否かを判断する。そして、運転者に対して、リアルタイム運転診断および運転傾向診断を行う。

特許文献２には、一旦停止地点に存在する停止線の認識精度を向上させることができる画像認識装置が開示されている。特許文献２の装置では、一旦停止地点であることを示す停止線と、停止線に隣接する文字列との組み合わせの画像認識によって、一旦停止地点の停止線のみを抽出する。

特許文献３にも、路面標示の誤認識や認識漏れを低減する路面標示認識装置が開示されている。特許文献３の装置では、第１の路面標示および第２の路面標示の位置データに基づき、第１の路面標示および第２の路面標示の相互位置関係が正常であるか判断する。

特開２０１０−０３８６４５号公報 （第６−９頁、図１１） 特開２００９−０９９１２５号公報 （第９−１０頁、図１） 特開２００７−０５２６４５号公報 （第９−１０頁、図１６、１７）

しかしながら、画像処理による画像認識は、誤検知を起こす可能性がある。従って、特許文献１、２、３のように、画像認識技術を用いて、上記のような運転行動診断を行った場合、被診断者の運転行動を正しく評価できない可能性があるといった課題が存在する。

また、特許文献１、２、３の装置は、所定の構造物およびそれにより指定された指示位置での運転行動の適切さを一見して確認できるような機能は備えない。以下に、特許文献１、２、３の各装置の課題を具体的に示す。

特許文献１の装置では、リアルタイム運転診断および運転傾向診断が可能である。特許文献１の装置によるリアルタイム運転診断は、運転中のドライバに対するアドバイスの提示である。ドライバは運転中であるため、診断自体の妥当性や診断理由の確認、問題があった運転行動の内容等を詳細に確認することができない。一方の運転傾向診断は、文字通り、運転傾向を分析した結果の提示であり、リアルタイム運転診断と同様に、診断の妥当性、診断理由、問題があった運転行動の内容等を詳細に確認することができない。

さらに、特許文献１の装置は、ＶＩＣＳサービス用の交通情報を用いる。そのため、車両はＶＩＣＳ情報を受信するＶＩＣＳ情報受信装置および地図情報を備えるカーナビゲーション装置等を搭載している必要がある。ところが、車両がＶＩＣＳ情報受信装置を搭載していても、電波または光信号によって送信されるＶＩＣＳ情報を常に受信することができるとは限らない。そもそも、全国のすべての道路について、ＶＩＣＳサービスによって、一旦停止地点であるか否かの情報が提供されているわけではない。このように、特許文献１の装置を用いた、例えば一旦停止地点における一旦停止の有無の評価には、種々の制約がある。

特許文献２の装置では、一旦停止地点であることを示す停止線と、停止線に隣接する文字列との組み合わせの画像認識によって、一旦停止地点の停止線の認識精度を向上させる。しかし、特許文献２の装置を運転診断に用いる場合、運転中のリアルタイムの診断を行う方法、あるいは車載カメラが撮影した画像をすべて録画し、運転終了後に録画された画像をすべて確認する方法のいずれかを採る必要がある。リアルタイムの診断については、特許文献１の技術と同様に、診断の妥当性、診断理由、問題があった運転操作の内容等を詳細に確認することができないという問題がある。車載カメラの録画画像を確認する方法は、運転時間のすべての期間の録画画像を確認しなければならないため、非常に効率が悪いという課題がある。

特許文献３の装置では、２つの路面標識の位置関係を用いた判断を行うことによって、路面標示の誤認識や認識漏れを低減する。しかし、特許文献３についても、運転診断に用いる場合、運転中のリアルタイムの診断を行う方法、あるいは車載カメラの録画画像を確認する方法のいずれかを採る必要があり、特許文献２の技術と同様の課題がある。
（発明の目的）
本発明は上記のような技術的課題に鑑みて行われたもので、カーナビゲーション装置や受信装置等の特別な車載装置を用いることなく、運転行動についての診断の結果やその妥当性の確認を、効率的に行うことができる運転行動診断装置、運転行動診断方法、および運転行動診断プログラムを提供することを目的とする。

本発明の運転行動診断装置は、被診断者によって運転された対象車両から撮影された対象車両の前景の録画画像を含む、対象車両に対する被診断者の運転行動を示す運転行動情報を読み込む情報入力手段と、録画画像の中から、被診断者に対して所定の指示位置において所定の運転行動を行うことを指示する構造物を検知して、構造物が検知された画像の識別情報を含む第１の検知結果を出力する第１の検知手段と、録画画像の中から、指示位置を検知して、指示位置が検知された画像の識別情報を含む第２の検知結果を出力する第２の検知手段と、運転行動情報に基づいて、指示位置における被診断者の運転行動の有無を判定して、判定結果を出力する判定手段と、情報入力手段、第１の検知手段、第２の検知手段および判定手段を起動し、第１の検知手段、第２の検知手段および判定手段に運転行動情報を入力する制御手段と、を備えることを特徴とする。

本発明の運転行動診断方法は、被診断者によって運転された対象車両に対する被診断者の運転行動を示す運転行動情報に含まれる、対象車両から撮影された対象車両の前景の録画画像の中から、被診断者に対して所定の指示位置において所定の運転行動を行うことを指示する構造物を検知して、第１の検知結果を出力し、録画画像の中から、指示位置を検知して、第２の検知結果を出力し、運転行動情報に基づいて、指示位置における被診断者の運転行動の有無を判定して、判定結果を出力することを特徴とする。

本発明の運転行動診断プログラムは、運転行動診断装置が備えるコンピュータを、被診断者によって運転された対象車両から撮影された対象車両の前景の録画画像を含む、対象車両に対する被診断者の運転行動を示す運転行動情報を読み込む情報入力手段と、録画画像の中から、被診断者に対して所定の指示位置において所定の運転行動を行うことを指示する構造物を検知して、構造物が検知された画像の識別情報を含む第１の検知結果を出力する第１の検知手段と、録画画像の中から、指示位置を検知して、指示位置が検知された画像の識別情報を含む第２の検知結果を出力する第２の検知手段と、運転行動情報に基づいて、指示位置における被診断者の運転行動の有無を判定して、判定結果を出力する判定手段と、情報入力手段、第１の検知手段、第２の検知手段および判定手段を起動し、第１の検知手段、第２の検知手段および判定手段に運転行動情報を入力する制御手段として機能させることを特徴とする。

本発明によれば、運転行動の診断結果、その妥当性、および運転行動の内容の確認を、効率的に行うことができる。

すなわち、本発明によると、被診断者が運転した車両の車載カメラの映像から、所定の運転行動を指示する構造物と指示位置の検知結果を得られる。また、指示位置における、指示された運転行動の有無の判定結果も得られる。そのため、被診断者は、容易に、構造物が検知された映像のみを参照することができる。従って、被診断者は、診断結果、診断結果の妥当性、および運転行動の内容の確認を、効率的に行うことができる。

本発明の第１の実施形態の運転診断装置の構成を示すブロック図である。 構造物検知結果情報および停止線検知結果情報および一時停止の事象の有無を示す情報の記憶の仕方の一例を示す図である。 三角測量の原理を用いた距離の計測方法の説明図である。 検知対象の状態遷移とその条件を示す図である。 画像信号出力手段の内部構造を説明する図である。 画像信号出力手段による情報表示例の一例を示す図である。 本発明の実施形態の運転行動診断装置の動作を示すフローチャートを示す図である。 制御手段による時間軸上での検知対象の変化の様子を示す図である。 別の制御ルールによる制御手段による時間軸上での検知対象の変化の様子を示す図である。 本実施の形態のハードウェア構成を示す図である。 本発明の第２の実施形態の運転診断装置の構成を示すブロック図である。 本発明の第２の実施形態の運転診断システムの構成を示すブロック図である。 本発明の第２の実施形態における情報表示装置９０３の動作を示すフローチャートである。

（第１の実施形態）
本発明の実施の形態について図面を参照して詳細に説明する。

図１は第１の実施形態の運転行動診断装置の構成を示すブロック図である。本実施形態の運転行動診断装置１００は、情報入力手段１０１、指示構造物検知手段１０２、停止線検知手段１０３、判定手段１０４、制御手段１０５、画像信号出力手段１０６を備える。

情報入力手段１０１は、予め記録媒体などに記録されている車載カメラ映像および車速データを読み出し、後述する制御手段１０５へ出力する。「車載カメラ映像」は、被診断対象者が運転した車両、すなわち診断を受ける運転行動が採られた対象車両の前景が対象車両の車載カメラによって撮影され、録画されたものである。車載カメラ映像は、所定の時間間隔の各時刻に対応する画像データを含むフレームによって構成される。「車速データ」は、対象車両の前後方向の速度、すなわち速さを示すデータである。

車載カメラ画像と車速データとは別に存在し、それぞれが取得・計測された時刻、言い換えるとそれぞれのデータのフレーム間の対応付けがされて記録されているのでもよい。あるいは、車速データは、毎フレームの画像の中に、同時刻に計測された車速を示す情報が埋め込まれたものでも構わない。要するに、車速データは、画像データ中の各画像が撮影された時刻の、対象車両の車速を表すものであれば、データの形式は任意である。

指示構造物検知手段１０２は、画像中から画像認識技術を用いて、一時停止を含む、停止を指示する構造物（指示構造物）を検知し、構造物検知結果情報を出力する。「構造物検知結果情報」とは、処理対象のフレームの識別情報と、そのフレームの映像内の指示構造物の有無、および指示構造物が検知された場合の画像中における指示構造物の検知位置である。指示構造物の検知位置は、例えば指示構造物を囲む矩形の四隅の座標によって表現することができる。指示構造物とは、例えば一時停止標識、赤信号、踏切などである。これらはいずれも停止すべき位置を示す停止線と対になっている。

指示構造物の検知の対象は、一時停止の標識、赤信号、踏切などである。例えば、日本国内では、一時停止の標識および赤信号の検知は、赤い逆三角形や赤い高光度の円形領域を検出する一般化ハフ変換や、パターンマッチング手法など、既存の手法に基づいて行うことができる。踏切の検知も、赤い高光度の円形領域や黄色と黒色の縞模様の領域をパターンマッチング法によって行うことができる。

なお、指示構造物検知手段１０２は、後述する制御手段１０５によって起動され、制御手段１０５が検知対象が指示構造物の場合に起動される。

停止線検知手段１０３は、車載カメラ映像中の画像中から、画像認識技術を用いて停止線を検知し、停止線検知結果情報を出力する。「停止線検知結果情報」とは、処理対象のフレームの識別情報と、そのフレームの映像内の停止線の有無および停止線が検知された場合の該停止線の画像中での検知位置である。停止線の検知位置は、例えば停止線を囲む矩形の四隅の座標によって表現することができる。停止線の検知はハフ変換などの既存の画像認識手法に基づき行うことができる。

なお、停止線検知手段１０３は後述する制御手段１０５によって起動され、制御手段１０５が検知対象が停止線の場合に起動される。

判定手段１０４は、車載カメラ映像の、現在着目しているフレームに対応する時刻の車速データから、対象車両が停止をしたか否かを判定し、処理対象のフレームの識別情報と、停止の有無を示す判定結果を出力する。停止したか否かの判定は、車速データが予め定めた閾値以下の値であるか否かから判断することができる。

なお、判定手段１０４は後述する制御手段１０５によって起動され、制御手段１０５が検知対象が停止事象の有無の場合に起動される。

制御手段１０５は、情報入力手段１０１、指示構造物検知手段１０２、停止線検知手段１０３、判定手段１０４の起動や、これらの各手段とやり取りする情報の記録および入出力をつかさどる。情報入力手段１０１、指示構造物検知手段１０２、停止線検知手段１０３、判定手段１０４のそれぞれを起動する場合、制御手段１０５は、以下のように動作する。
１）情報入力手段１０１を起動する場合
制御手段１０５は、次に処理すべきフレームを指示する情報を出力し、情報入力手段１０１から該フレームに対する画像および車速データを取得する。ここで取得された画像および車速データが、指示構造物検知手段１０２、停止線検知手段１０３、判定手段１０４の処理対象データとなる。
２）指示構造物検知手段１０２を起動する場合
制御手段１０５は、上記情報入力手段１０１から取得した画像を、指示構造物検知手段１０２へ出力する。そして、制御手段１０５は、指示構造物検知手段１０２から、構造物検知結果情報、すなわち指示構造物の有無を示す情報を取得する。さらに、指示構造物検知手段１０２が指示構造物を検出した場合は、制御手段１０５は、指示構造物が検出された画像中の、指示構造物の位置情報も取得する。
３）停止線検知手段１０３を起動する場合
この場合も同様に、制御手段１０５は、停止線検知手段１０３へ画像を出力し、停止線検知結果情報、すなわち停止線の有無を示す情報を取得する。停止線検知手段１０３が停止線を検出した場合は、制御手段１０５は、停止線が検出された画像中の、停止線の位置情報も取得する。
４）判定手段１０４を起動する場合
制御手段１０５は、判定手段１０４へ車速データを出力し、対象車両の停止の有無を示す情報を取得する。

構造物検知結果情報、停止線検知結果情報、および停止有無判定結果は、図２に示すように、停止すべき箇所毎にまとめられて記憶される。停止線が検知できなかった場合は、停止線検知結果情報に、その旨が表現される。

また、制御手段１０５は、車速データを時間で積分することにより、任意のフレーム区間における、対象車両の移動量を算出する機能を有する。例えば、移動量を算出するフレーム区間として、停止線検知手段１０３や判定手段１０４を連続して起動したフレームからある時点のフレームまで、と定めてもよい。この場合、停止線検知手段１０３を連続して起動し始めてからの移動距離や、判定手段１０４を連続して起動し始めてからの移動距離を算出することができる。あるいは、「第２のフレーム区間」として、例えば指示構造物を検知した映像フレームから対象車両が２０ｍ進んだ距離に対応するフレームまで、などと定めてもよい。この場合、停止線検知手段１０３を連続して起動し始めてからの移動距離と、第２のフレーム区間に対応する距離２０ｍを比較することにより、現在入力されたフレームが第２のフレーム区間に含まれるか否かを容易に判断することができる。

また、制御手段１０５は、カメラの内部・外部パラメータ情報を記憶してもよい。この場合、制御手段１０５は、指示構造物検知手段１０２の出力する構造物検知情報に基づき、車載カメラから指示構造物までの距離を算出することもできる。車載カメラから指示構造物までの距離は、対象物のサイズや形状が規格化されていることを利用し、車載カメラの内部パラメータと画像中から検知した対象物のサイズとの関係から判定することが可能である。

例えば、カメラの光学系が透視投影モデルで表現できると仮定し、逆三角形をした一時停止標識の実世界上における１辺の長さが0.6［ｍ］、画像中における一時停止標示の一辺の画素数が60［画素］、車載カメラの撮像素子の画素間ピッチが0.01［ｍｍ］、車載カメラの光学系の焦点距離が0.005［ｍ］とすると、車載カメラから一時停止標示までの距離ｘは、
60×0.00001：0.6 ＝ 0.005：ｘ
より、
ｘ＝ 5 ［ｍ］
と計算できる。

車載カメラと車両先端部までの距離を、予め制御手段１０５内に記憶しておけば、距離ｘは車両先端部から一時停止標識までの距離に換算することができる。

指示構造物が赤信号や踏切の遮断機の表示等である場合も、既知の円形の点灯部の直径から、同様に、車載カメラからその指示構造物までの距離ｘを判断することができる。

対象物の絶対的な大きさが未知の場合は、ある時間区間における対象車両の移動距離と対象物の画像上での長さの変化から推定してもよい。

例えば、時間区間t［ｓ］、その間の対象車両の移動距離Ｌ［ｍ］、時間区間の両端の時刻における対象物の画像上での長さをそれぞれa1［pixel］、a2［pixel］とおくと、時間区間後端時における対象物までの距離ｘは、
ｘ＝Ｌ× a1 / (a2-a1)
で表すこともできる。

制御手段１０５は、上記原理による、停止線までの距離推定結果、および移動距離算出原理に基づき、対象車両の前端と停止線との間の距離が予め定めた範囲以内にある「第１のフレーム区間」を定めることが可能である。第１のフレーム区間とは、対象車両が停止線まである距離以内に接近したことを示す、車載カメラ映像の範囲である。予め定めた範囲以内とは、例えば１ｍ以内などと定めればよい。

また、停止線検知手段１０３が出力する停止線検知結果情報に含まれる停止線位置を示す情報に基づき、三角測量の原理により車載カメラから停止線までの距離を計測することもできる。

図３に、三角測量の原理を用いた、車載カメラから停止線までの距離の計測方法を示す。ただし、説明を簡単にするために、対象車両は水平な地面に接地しており、カメラの撮影方向の角度（仰角）は水平方向であるものとする。

図３からわかるように、実世界における車載カメラの路面からの高さＨと、鉛直方向と停止線の検知方向とのなす角θから、車載カメラから停止線までの距離は、Ｈ・tan(θ)で求めることができる。

ところで、カメラの画像内の、撮影対象物の画像の位置は、カメラの焦点距離、撮像素子の画素間ピッチ、画像サイズ、および撮影対象物の方向によって決定される。カメラの焦点距離、撮像素子の画素間ピッチ、画像サイズは固定値とみなすことができるので、撮影対象物の方向は、カメラの画像内の撮影対象物の画像の位置が定まれば計算することができる。従って、事前に、撮影対象物の検知方向とのなす角θと撮影対象物の画像中の縦方向の座標値（ｙ座標値）との関係を、テーブルなどを用いて予め対応付けしておくことができる。そして、停止線検知手段１０３が出力する停止線検知結果情報に含まれる停止線位置を示す情報に対応する撮影対象物の方向をテーブル中から読み取れば、角度θを得ることができる。

さらに、制御手段１０５は、過去の構造物検知結果情報、停止線検知結果情報および停止有無判定結果から、現フレームにおける検知対象を１つだけ設定する。そして、制御手段１０５は、現フレームに対して取得された構造物検知結果情報、停止線検知結果情報または停止有無判定結果に基づいて、次のフレームに対する検知対象を決定する。ここで、検知対象とは、指示構造物、停止線、停止有無の事象のいずれかを指す。各検知対象に対応する処理は、それぞれ指示構造物検知手段１０２、停止線検知手段１０３、判定手段１０４が行う。

以下、検知対象の設定方法について図面を参照しつつ詳細に説明する。図４は検知対象の遷移のルールの一例を示す図である。

本実施形態の運転行動診断装置は、初期状態では、検知対象が指示構造物である状態（ステート０）にある。ステート０において指示構造物検知手段１０２が起動されて指示構造物が検知された場合は、運転行動診断装置１００は、（１）のように、次フレームに対する検知対象を停止線とする状態（ステート１）に設定される。

検知対象が停止線である状態（ステート１）において、停止線検知手段１０３が停止線を検知した場合は、運転行動診断装置１００は、（２）のように、次フレームに対する検知対象を対象車両の停止の有無とする状態（ステート２）に設定される。

検知対象が停止の有無である状態（ステート２）において、判定手段１０４が停止を検知した場合、もしくは停止を検知しないまま、対象車両の先端部が停止線付近の上に達したと考えられる場合は、運転行動診断装置１００は、（３）のように、次フレームに対する検知対象を指示構造物とするステート０に設定される。対象車両の先端部が停止線付近の上に達したことは、処理対象のフレームが第１のフレーム区間の最終フレームに達したことによって判別することができる。

検知対象が停止線である状態（ステート１）において、一定距離進む間に停止線を検知できなかった場合は、（４）のように、次フレームの検知対象を指示構造物とするステート０に遷移する。一定距離進む間に停止線を検知できなかったことは、処理対象のフレームが第２のフレーム区間の最終フレームに達したことによって判別することができる。

画像信号出力手段１０６は、被診断者または被診断者に診断結果を伝える診断者が、停止の適切さを一見して判断できるようにするための出力手段であり、３つの手段を備える。３つの手段とは、図５に示すような、構造物検知結果表示手段４０１と、停止線検知結果表示手段４０２と、車速情報表示手段４０３である。

構造物検知結果表示手段４０１は、指示構造物検知手段１０２が検知した指示構造物が含まれるフレームの映像を、指示構造物の検知位置とともに表示する。停止線検知結果表示手段４０２は、停止線検知手段１０３が抽出した停止線が含まれるフレームの映像を、停止線の検知位置とともに表示する。車速情報表示手段４０３は、判定手段１０４によって停止の有無が判定されたフレーム付近における車速の時間的変化を表示する。

画像信号出力手段１０６による、具体的な情報の表示画面の例を図６に示す。図６の表示画面は、一時停止交差点における一時停止の有無をわかりやすく表示したもので、標識検知フレーム画像５０１、停止線検知フレーム画像５０２、および車速情報５０３を含む。

標識検知フレーム画像５０１および標識検知結果５０４は、構造物検知結果表示手段４０１により描画される。標識検知結果５０４は、標識検知フレーム画像５０１中に、道路標識を矩形で囲むことにより表示される。

停止線検知フレーム画像５０２および停止線検知結果５０５は、検知線検知結果表示手段４０２により描画される。停止線検知結果５０５は、停止線検知フレーム画像５０２中に、道路標示を矩形で囲むことにより表示される。

車速情報５０３は、車速情報表示手段４０３によって描画されるグラフで、横軸は対象車両の停止を検知した位置（以降、「停止検知位置」という。）からの距離で、縦軸は対象車両の速度である。車速情報５０３は、対象車両の速度を示す車速曲線５０９と、フレーム位置情報５０６、５０７、５０８を示す線分を含む。

車速曲線５０９は、指示構造物が検知されてから第１のフレーム区間が終了するまでの車速を示す。

フレーム位置情報５０６、５０７は、それぞれ、指示構造物、停止線を検知したフレームを、停止検知位置からの距離で示す。フレーム位置情報５０８は、停止検知位置、すなわち距離０ｍの位置を示す。

画像信号出力手段１０６は、停止を検知した箇所、または停止しなかった箇所について、図６のように、１箇所ずつ画像認識結果および車速データを表示してもよい。あるいは、１画面に複数個所の結果を並べて表示してもよい。表示されなかった他の箇所の画像認識結果および車速データを表示するため、運転行動診断装置１００にキーボードなどの入力装置を備え、入力装置を使って表示する箇所の選択をできるようにしてもよい。

また、停止を検知した箇所および停止しなかった箇所のみでなく、指示構造物は検知できたが対応する停止線を検知できなかった箇所についても表示するようにしてもよい。この場合、停止線検知結果として表示するフレームが定まらないので、例えば指示構造物が対象車両の前端の延長線上にきたと推測されるフレームの画像などを表示してもよい。また、時系列情報としては、指示構造物を検知してから対象車両が一定距離進むまでの車速データの変化を表示してもよい。

画像信号出力手段１０６は、停止を検知した箇所および停止しなかった箇所について、検知対象を変更する直前のフレームに対する画像認識結果、または停止線が検知できなかった場合は指示構造物が対象車両前端の延長線上にきたと推測されるフレームの画像を表示する。さらに、キーボードを用いて、表示されているフレームの前後のフレームに対する画像認識結果やフレームの画像におきかえて見られるようにしてもよい。このようにすれば、特に停止線が検知できなかった場合などには、本当に停止線が存在しないか否かを、前後のフレームの映像を参照することによって確認することができる。

次に、本実施形態の動作について図面を参照しつつ詳細に説明する。図７は、本実施形態の運転行動診断装置１００の動作を示すフローチャートである。本フローチャートは制御手段１０５の制御順序に等しい。なお、初期状態では、検知対象は指示構造物に設定されている。

まず、毎フレームのデータに対する最初の処理として情報入力手段１０１を起動し、画像と車速データを取得する（ステップＳ１）。

次に、検知対象が停止線になってから、再び検知対象を指示構造物に切り替えるタイミングを決定するために、検知対象が現検知対象に設定されたタイミングから現在までの車両の移動距離を求める（ステップＳ２）。なぜなら、停止線が不明瞭であったために停止線が検知できなかったような場合に、検知対象が停止線である状態（ステート１）から抜け出せない可能性があるためである。このような場合であっても、車両の移動距離を求めておくことにより、移動距離が一定値以上になったことを検知して、停止線検知モードから抜け出すことができる。

なお、検知対象が設定されたタイミングとは、検知対象が変更前の対象から現検知対象に変更されたタイミングであり、具体的には後述のステップＳ９、Ｓ１０、Ｓ１４、Ｓ１６である。初期状態では、本動作が起動したときを、検知対象が設定されたタイミングとみなせばよい。

次に、現フレームに対する検知対象が指示構造物か否かを判断する（ステップＳ３）。

検知対象が指示構造物の場合（ステップＳ３：Yes）は指示構造物検知手段１０２を起動する（ステップＳ４）。

検知対象が指示構造物でない場合（ステップＳ３：No）、検知対象が停止線か否かを判断する（ステップＳ５）。

検知対象が停止線の場合（ステップＳ５：Yes）は、停止線検知手段１０３を起動する（ステップＳ６）。

ステップＳ４またはステップＳ６を実行後、制御手段１０５は、構造物検知結果情報または停止線検知結果情報を記憶する（ステップＳ７）。

次に、検知対象、すなわち指示構造物または停止線を検知したか否か判断し（ステップＳ８）、検知したら検知対象を変更する（ステップＳ９）。具体的には、現検知対象が指示構造物である場合は停止線に、現検知対象が停止線である場合は対象車両の停止の有無に、検知対象を変更する。

検知しなかった場合（ステップＳ８：No）は、検知対象を見直す（ステップＳ１０）。すなわち、処理中のフレームが第２のフレーム区間の最終フレームであるならば、検知対象を停止線から指示構造物に変更する。処理中のフレームが第２のフレーム区間の最終フレームでないならば、検知対象は停止線のままとする。

ステップＳ９およびステップＳ１０の実行後は、未処理データの有無を判断し（ステップＳ１７）、未処理データがあれば次フレームを処理するためにステップＳ１へ戻る。

また、ステップＳ５において、検知対象が停止線でない場合（ステップＳ５：No）は、検知対象が対象車両の停止の有無であることを意味する。この場合は判定手段を起動し（ステップＳ１１）、停止の有無を判定する（ステップＳ１２）。

停止を検知したら（ステップＳ１２：Yes）、停止有無判定結果を記憶する（ステップＳ１３）。そして、検知対象を指示構造物に変更（ステップＳ１４）して、未処理データがあれば（ステップＳ１７：Yes）、ステップＳ１へ戻る。

ステップＳ１２にて停止を検知しなかった場合（ステップＳ１２：No）は、第１のフレーム区間の最終フレームか否かを検証する（ステップＳ１５）。

そして、処理中のフレームが第１のフレーム区間の最終フレームであれば（ステップＳ１５：Yes）、対象車両は停止していないものと判断される。この場合、対象車両は停止していないとの旨を出力するとともに、次フレームに対する検知対象を指示構造物に変更する（ステップＳ１６）。そして、未処理データがあれば（ステップＳ１７：Yes）、ステップＳ１へ戻る。

処理中のフレームが第１のフレーム区間の最終フレームでない場合（ステップＳ１５：No）、未処理データがあれば（ステップＳ１７：Yes）、ステップＳ１へ戻る。

ステップＳ９、Ｓ１０、Ｓ１４、Ｓ１６実行後に、ステップＳ１７において、未処理データがなければ（ステップＳ１７：No）、画像信号出力手段１０６を起動し、画像認識した結果の情報および車速データの変化を表示する（ステップＳ１８）。

上記のように、本実施形態における制御手段１０５は、指示構造物検知手段１０２および停止線検知手段１０３が、それぞれ指示構造物、停止線を検知した場合、次フレームにおける検知対象を変更する。

これに対して、制御手段１０５は、一旦、検知対象を検知する処理を実行し、あるフレームにおいて検知対象が検知できなくなったときに初めて検知対象を変更することとしてもよい。このことを図８、９を参照して説明する。

図８は、本実施形態における制御手段１０５の制御の様子を示す模式図である。横軸はフレームの並びを示す軸、すなわち時間軸である。区間７０５、７０６、７０７は、それぞれ、各フレームに対し仮に指示構造物検知手段、停止線検知手段、判定手段を起動した場合に、指示構造物、停止線、停止事象を検知可能なフレーム区間を示す。区間７０１から区間７０４は、それぞれ本実施形態における制御手段１０５が処理対象の映像に対して設定される検知対象を示す。図８からわかるように、本実施形態における制御手段１０５では、指示構造物および停止線が検知できた次のフレームから直ちに検知対象が変更される。

一方、図９は、同じ画像、車速データに対して、一旦、検知対象物を検知した後、検知対象物が検知できなくなったフレームにおいて初めて検知対象を変更ように制御する場合の様子を示す模式図である。区間８０１から区間８０４は、図８と同様に、制御手段１０５が処理対象の映像に対して設定する検知対象を示す。図８と同じ画像を処理対象と仮定しているので、区間７０５、７０６、７０７は、図８に示したものに等しい。

図８および図９を比較するとわかるように、図９では指示構造物および停止線が検知できている状態から、それらが検知できなくなった状態となったフレームの次から検知対象が変更される。図８の制御方法に比べると、図９の制御では１フレーム過去の検知結果の情報を記憶しておく必要がある。

しかし、図９の制御では、区間７０５および区間７０６の最終フレームに対する指示構造物および停止線の検知結果を採用することにより、停止線までの距離の推定がより精密に行える。従って、図９の制御には、対象車両が停止線を通過したときのフレームを、より高精度に推定しやすくなるという利点がある。なぜならば、区間７０５および区間７０６の最終フレームでは、対象車両が停止線に、より接近している。そのため、三角測量による停止線までの距離推定において、カメラパラメータの誤差や停止線の検知位置の誤差などによる影響を受けにくいからである。

なお、制御手段１０５が検知対象を変更する場合には、画像信号出力手段１０６は構造物検知結果、および停止線検知結果を表示する。構造物検知結果は、指示構造物検知手段１０２が最後に検知した指示構造物が含まれるフレームに対して表示され、停止線検知結果は、停止線検知手段１０３が最後に検知した停止線が含まれるフレームに対して表示される。

また、本実施形態の制御手段１０５は、図７のステップＳ９において、検知対象を停止線から停止の有無に変更した後、次フレームからは判定手段１０４が起動される。

これに対して、制御手段１０５は、ステップＳ１１の実行に先立ち、処理中のフレームが第１のフレーム区間に属するか否か判断してもよい。そして、処理中のフレームが第１のフレーム区間に属する場合は停止判定手段の起動（ステップＳ１１）を実行し、属さない場合は次フレームの処理をするためステップＳ１へ戻ることとしてもよい。このようにすれば、第１のフレーム区間に属するフレームに対してのみ、停止判定を実行することができる。

また、図６に示した画像信号出力手段による画像表示例中の時系列情報表示内に、第１のフレーム区間の範囲を示す表示を追加してもよい。これにより、診断者または被診断者は、停止の有無の判断を行ったフレーム区間を一見して認識することができる。

本実施形態の運転行動診断装置１００は、図１０のように、ＰＣ（Personal Computer）本体９０１、キーボード９０２、およびディスプレイ９０３を含むコンピュータシステム９０４を用いて構成することができる。図１０の構成の運転行動診断装置１００において、図７に示したフローチャートの機能を実現するコンピュータ・プログラムをＰＣ本体９０１が実行することにより、運転行動診断処理を実現してもよい。あるいは、一部の機能をハードウェアで実現し、それらのハードウェアとソフトウェア・プログラムの協調動作により同様の機能を実現してもよい。

以上のように、本実施形態の運転行動診断装置１００は、被診断者が運転した対象車両の前景を録画した車載カメラ映像の中から、一時停止を指示する指示構造物および停止線を検出し、停止線の検出後、対象車両の停止の有無を判断する。そして、指示構造物および停止線の検出結果、ならびに対象車両の停止の有無の判断結果を画像として出力する。さらに、検出対象となったフレームも特定する。

そのため、運転行動の診断を受ける診断者またはその診断を行う診断者が、一時停止の実行の有無という運転行動の診断に関係する映像を、容易に発見することができる。また、実際の運転行動の内容も確認することができる。従って、運転行動の診断結果、その妥当性、および運転行動の具体的な内容の確認を、効率的に行うことができるという効果がある。

実施形態では、一時停止を指示する構造物、いわゆる「道路標識」に基づく対象車両の停止という運転行動の評価を例として説明した。一時停止を指示する標識は、運転者に対して、停止線において対象車両を一時的に停止させることを指示する。実施形態の説明から明らかなように、本発明が適用できる標識は、一時停止を指示する道路標識には限定されない。

例えば、最高速度、追い越し禁止、進入禁止などを示す道路標識や、最高速度、転回禁止などを示す路面上の表示物、いわゆる「道路標示」に基づく運転行動の評価も可能である。すなわち、上記のような道路標識または道路標示（以降、まとめて「標識等」という。）と、標識等が設置されている位置を指示位置として検出し、運転者が指示位置において標識等の指示に従った運転行動を採ったか否かを、対象車両の進路や速度に基づいて評価することができる。

標識等が一時停止を指示する標識である場合は、停止という運転行動が指示される指示位置は、停止線の設置位置という１点に明確に規定される。標識等が最高速度、追い越し禁止など、ある種の標識では、指示位置は１点には規定されず、道路の所定の範囲（以降、「指示区間」という。）となる。このような場合には、まず、標識等と、その標識の設置位置等による指示位置を検出すればよい。そして、次に、指示された運転行動を変更する標識、または運転行動の指示が解除されると判断される道路状態などを検出し、指示区間の終了とすればよい。

例えば、進入禁止の標識の場合には、その標識を検出した位置を、指示位置と判断すればよい。

最高速度の標識の場合には、次に異なる最高速度を示す標識が発見されるまでの道路の範囲が指示区間となる。すなわち、初めにある最高速度ｖ１を指示する標識等を検出した位置から、異なる最高速度ｖ２を指示する標識等を検出した位置までが、最高速度ｖ１の指示区間と判断できる。

追い越し禁止の標識の場合には、初めに追い越し禁止を指示する標識等を検出した位置から、追い越し禁止の解除を指示する標識等または追い越し禁止区間ではない旨の道路標示を検出した位置までが、指示区間と判断できる。

転回禁止の標識の場合には、初めに禁止を指示する標識等を検出した位置から、交差点を検出した位置までが、指示区間と判断すればよい。

以上のように、指示位置が道路の所定の範囲である指示区間において有効な場合であっても、標識等の指示内容に応じて、他の標識等や道路状態等、必要な情報を適宜、検出することによって、その指示区間を判断することができる。従って、本発明は、運転者に対して、指示位置における所定の運転行動を指示する一般の標識等に広く適用することができる。

また、運転行動診断装置１００は、標識等および設置位置の検出結果、ならびに運転行動の有無の判定結果は、情報としてそのまま出力してもよい。すなわち、運転行動診断装置１００は、検出処理や判定処理までを行い、検出結果や判定結果の画面表示、および画面表示用の画像データの生成等は行わない。この場合、検出結果や判定結果は、外部の情報表示装置によって、所定の形式の画面に構成され、表示される。この実施形態については、第２の実施形態として後述する。

あるいは、運転行動診断装置１００は、図６のように、標識等および設置位置の検出結果、ならびに運転行動の有無の判定結果を含む画像を構成し、その画像データを出力してもよい。この場合、外部の情報表示装置は、その画像データをそのまま表示するのみでよい。

以上から、本実施形態に必須の構成のみを備える運転行動診断装置１１０は、図１１のブロック図に示す構成を備えることがわかる。運転行動診断装置１１０は、情報入力手段１０１、指示構造物検知手段１０２、指示位置検知手段１１３、判定手段１０４、制御手段１０５を備える。

情報入力手段１０１は、運転行動情報を読み込む。運転行動情報は、被診断者が運転した対象車両から撮影された、対象車両の前景の録画画像を含む。さらに、運転行動情報は、録画画像を構成する各フレームの撮影時刻に対応付けられた、対象車両の速度情報である車速データを含んでもよい。

制御手段１０５は、情報入力手段１０１から運転行動情報を入力する。また、制御手段１０５は、指示構造物検知手段１０２、指示位置検知手段１１３、判定手段１０４を起動する。そして、制御手段１０５は、指示構造物検知手段１０２、指示位置検知手段１１３、判定手段１０４へ、運転行動情報を入力する。

指示構造物検知手段１０２は、診断対象者に対して所定の指示位置において所定の運転行動を行うことを指示する指示構造物を、録画画像の中から検知する。指示構造物とは、例えば、一旦停止や最高速度を指示する道路標識や道路標示であり、指示位置とは、構造物が設定された位置または構造物によって指定された位置である。そして、指示構造物検知手段１０２は、検知結果を、第１の検知結果（構造物検知結果情報）として出力する。

指示位置検知手段１１３は、上記の指示位置を、録画画像の中から検知する。そして、指示位置検知手段１１３は、第２の検知結果（検知結果情報）を出力する。

指示位置は、上記の構造物が設置されている位置に対応する路面上の位置でもよい。構造物が指示位置を含む指示区間における前記運転行動を指示するものであるときは、指示位置検知手段１１３は、前記対象車両の現在位置が前記指示区間内にあることを示す位置情報を含む第２の検知結果を出力する。

例えば、最高速度を指示する道路標識が設定されている場合、あるいは路面に道路標示が設置されている場合は、それらが設置されている位置、およびその位置以降の指示区間が指示位置として検出される。そして、第２の検知結果として、録画画像の各時刻において、対象車両が指示区間内にあるか否かを示す位置情報を出力する。

あるいは、指示位置は、道路標識が運転行動を指定し、運転行動を行う位置を道路標示が指定する場合には、道路標示の位置であってもよい。すなわち、前述の実施形態のように、一旦停止の道路標識と停止線の道路標示の組み合わせにより、停止線での一旦停止として運転行動が指定されている場合は、道路標示の位置が指示位置として検出される。

判定手段１０４は、運転行動情報に含まれる録画画像から、指示位置における被診断者の運転行動の有無を判定して、判定結果（停止有無判定結果）を出力する。構造物が指示位置を含む所定の指示区間における運転行動を指示するものであるときは、判定手段１０４は、指示区間における対象車両の運動状態を示す車両状態情報を含む判定結果を出力する。

例えば、構造物が転回禁止を指示する道路標識である場合は、判定手段１０４は、録画画像から、対象車両が転回したか否かを判定する。そして、判定手段１０４は、対象車両の運転状態として、対象車両の転回の有無を出力する。

さらに、運転行動情報が車速データを含む場合には、運転状態として、対象車両の停止の有無や、対象車両の走行速度を判断することができる。従って、一旦停止や最高速度の標識等に対する、被診断者の運転行動を判定することができる。
（第２の実施形態）
本発明の第２の実施形態について図面を参照して詳細に説明する。

図１２は、本発明の第２の実施形態の運転診断システムの構成を示すブロック図である。本実施形態の運転診断システム１２０は、運転行動診断装置１３０と、情報表示装置１４０を備える。

運転行動診断装置１３０は、情報入力手段１０１、指示構造物検知手段１０２、停止線検知手段１０３、判定手段１０４、制御手段１０５、記憶手段１３１を含む。

情報表示装置１４０は、記憶手段１４１、情報入力手段１４２、画像信号出力手段１４３を含む。

運転行動診断装置１３０に含まれる、情報入力手段１０１、指示構造物検知手段１０２、停止線検知手段１０３、判定手段１０４の機能は、第１の実施形態の運転行動診断装置１００に含まれるものと同一の機能を備える。

本実施形態の制御手段１０５の機能も、運転行動診断装置１００のものとほぼ同一であるが、構造物検知結果情報、停止線検知結果情報、および停止有無判定結果を、それらの結果が判明する都度、記憶手段１３１に出力する点のみが異なる。

記憶手段１３１は、制御手段１０５とネットワークで接続されたハードディスクやＳＤカードのような記憶媒体を備え、第１の実施形態のものと同様の、構造物検知結果情報、停止線検知結果情報および停止有無判定結果を記憶する。

情報表示装置１４０に含まれる情報入力手段１４３は、運転行動診断装置１３０に含まれる情報入力手段１０１と同一の機能を有する。

記憶手段１４１は、ネットワークで接続されたハードディスクであってもよい。この場合、記憶手段１４１は、運転行動診断装置１３０内の記憶手段１３１と、同一の記憶手段を共有する。あるいは、記憶手段１４１は、ＳＤカードのような記憶媒体により構成されてもよい。この場合、記憶手段１４１は、運転行動診断装置１３０から抜き取られた、記憶手段１３１としてのＳＤカード等の記憶媒体が用いられる。

画像信号出力手段１４２の機能は第１の実施形態で説明した画像信号出力手段１０６とほぼ同一であるが、第２の実施形態では、情報入力手段１４３からの情報に加え、記憶手段１４１の情報も用いる。すなわち、情報入力手段１４３からの車載カメラ映像および車速データ、ならびに記憶手段１４１からの構造物検知結果情報、停止線検知結果情報および停止有無判定結果を用いる。そして、これらの情報を組み合わせて、診断者または被診断者が停止の適切さを一見して判断できるように、図６のような画面表示を行う。

第２の実施形態の運転診断システムの動作について説明する。

本実施の形態における運転行動診断システム１２０の動作は、図７に示したＳ１からＳ１６までのステップを実行することに他ならない。

ただし、構造物検知結果情報および停止線検知結果情報および停止有無判定結果を記憶するステップＳ７、Ｓ１３、Ｓ１６において、記憶先として記憶手段９０１も設定する点のみが、第１の実施形態とは異なる。

情報表示装置１４０の動作を示すフローチャートを図１３に示す。

情報表示装置１４０は、まず記憶手段１４１から、構造物検知結果情報、停止線検知結果情報および停止有無判定結果を読み出す（ステップＳ２１）。次に、情報表示装置１４０は、停止すべき箇所における第２のフレーム区間における画像および車速データを読み出す（ステップＳ２２）。そして、構造物検知結果情報、停止線検知結果情報、停止有無判定結果、画像および車速データを、図６のような画面表示に加工して表示を行う（ステップＳ２３）。

第２の実施形態の運転行動診断装置における、運転行動診断装置１３０および情報表示装置１４０は、それぞれ図１０のような、ＰＣ本体９０１、キーボード９０２、およびディスプレイ９０３を含むコンピュータシステム９０４を用いて構成することができる。このとき、運転行動診断装置１３０と情報表示装置１４０との間の情報交換は、種々の形態によって実現することができる。

例えば、運転行動診断装置１３０を構成するＰＣ本体９０１−１（図示なし）と、情報表示装置１４０を構成するＰＣ本体９０１−２（図示なし）を、ネットワークで接続してもよい。この場合、運転行動診断装置のＰＣ本体９０１−１にて、ステップＳ１からＳ１６のフローチャートの機能を実現可能なコンピュータ・プログラムを実行する。情報表示装置のＰＣ本体９０１−２にて、ステップＳ２１からステップＳ２３のフローチャートの機能を実現可能なコンピュータ・プログラムを実行する。

あるいは、運転行動診断装置１３０を構成するＰＣ本体９０１−１と、情報表示装置１４０を構成するＰＣ本体９０１−２との間の情報交換を、記憶媒体を用いて行ってもよい。すなわち、記憶手段１３１として、ＳＤカードなどの記憶媒体を、運転行動診断装置１３０を構成するＰＣ本体９０１−１に接続し、記憶媒体に情報を記憶させる。そして、情報を記憶する記憶媒体を、情報表示装置１４０を構成するＰＣ本体９０１−２に接続し、情報表示装置１４０によって所定の標示を行う。

以上のように、本発明の第２の実施形態の運転行動診断システム１２０では、運転行動診断装置１３０が運転行動の診断と診断結果の出力を行い、情報表示装置１４０が診断結果を表示する。すなわち、運転行動の診断処理を診断処理と診断結果の表示処理とに分割し、各々の処理を別個の装置が実行する。そのため、それぞれの処理に用いられる装置は必要最小限の機能のみを備えるので、装置の構成が簡素化される。

また、被診断者は、診断結果を参照するために、表示機能のみを備える表示装置を用意すればよく、診断機能を備える診断装置の設置場所へ出向く必要はないという効果もある。

なお、第１の実施形態の運転行動診断プログラム、ならびに第２の実施形態の運転行動診断プログラムおよび情報表示プログラムは、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体記憶装置、光ディスク、磁気ディスク、光磁気ディスク等、非一時的な媒体に格納されてもよい。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
被診断者によって運転された対象車両から撮影された前記対象車両の前景の録画画像を含む、前記対象車両に対する前記被診断者の運転行動を示す運転行動情報を読み込む情報入力手段と、
前記録画画像の中から、前記被診断者に対して所定の指示位置において所定の運転行動を行うことを指示する構造物を検知して、前記構造物が検知された画像の識別情報を含む第１の検知結果を出力する第１の検知手段と、
前記録画画像の中から、前記指示位置を検知して、前記指示位置が検知された画像の識別情報を含む第２の検知結果を出力する第２の検知手段と、
前記運転行動情報に基づいて、前記指示位置における前記被診断者の前記運転行動の有無を判定して、判定結果を出力する判定手段と、
前記情報入力手段、前記第１の検知手段、前記第２の検知手段および前記判定手段を起動し、前記第１の検知手段、前記第２の検知手段および前記判定手段に前記運転行動情報を入力する制御手段と、
を備えることを特徴とする運転行動診断装置。
（付記２）
前記構造物が前記指示位置を含む所定の指示区間における前記運転行動を指示するものであるとき、
前記第２の検知手段は、前記対象車両の現在位置が前記指示区間内にあることを示す位置情報を含む前記第２の検知結果を出力し、
前記判定手段は、前記指示区間における前記対象車両の運動状態を示す車両状態情報を含む前記判定結果を出力する
ことを特徴とする付記１に記載の運転行動診断装置。
（付記３）
前記録画画像は、識別番号が付された複数のフレームによって構成され、
前記第１の検知結果は、前記複数のフレームのうち、前記構造物が検知された第１のフレームを示す第１の識別番号を含み、
前記第２の検知結果は、前記複数のフレームのうち、前記指示位置が検知された第２のフレームを示す第２の識別番号を含み、
前記判定結果は、前記複数のフレームのうち、前記運転行動の有無が判定された第３のフレームを示す第３の識別番号を含む
ことを特徴とする付記１または２に記載の運転行動診断装置。
（付記４）
前記第１のフレーム、前記第２のフレームおよび前記第３のフレームの画像内に、前記第１の検知結果、前記第２の検知結果および前記判定結果を挿入して、診断結果画像を出力する画像出力手段を備える
ことを特徴とする付記３に記載の運転行動診断装置。
（付記５）
前記制御手段は、前記第２の検知結果および前記車速データに基づいて、前記複数のフレームのうち、前記対象車両の前端と前記指示位置との間の距離が予め定めた範囲以内にある期間の第１のフレーム区間を特定し、
前記画像出力手段は、
前記複数のフレームのうち、前記第１のフレームから前記対象車両が予め定められた距離だけ進んだ位置に対応する第３のフレームまでの第２のフレーム区間のフレームに、前記第１の検知結果を挿入する第１の表示手段と、
前記第２のフレームに、前記第２の検知結果を挿入する第２の表示手段と、
前記第１のフレーム区間の一部または全部に、前記車速データの変化、および前記判定結果を挿入する第３の表示手段とを備える
ことを特徴とする付記４に記載の運転行動診断装置。
（付記６）
前記第１の表示手段は、前記構造物が検知された最後の前記第１のフレームに前記第１の検知結果を挿入し、
前記第２の表示手段は、前記停止線が検知された最後の前記第２のフレームに前記第２の検知結果を挿入する
前記第３の表示手段は、前記録画画像に、前記第１のフレーム区間のフレームであることを示す所定の表示を挿入する
ことを特徴とする付記５に記載の運転行動診断装置
（付記７）
前記運転行動情報は、前記識別番号に対応付けられた前記対象車両の車速データを含み、
前記構造物は、前記被診断者に対して、前記指示位置における前記対象車両の車速の制御についての前記運転行動を指示し、
前記判定手段は、前記車速データに基づいて、前記指示位置における前記被診断者の前記運転行動の有無を判定して、前記判定結果を出力する
ことを特徴とする付記１乃至６のいずれかに記載の運転行動診断装置。
（付記８）
前記構造物は、前記被診断者に対して、前記指示位置における前記対象車両の所定の期間の停止を指示する前記運転行動を指示し、
前記指示位置は、前記停止を行うべき路面上の位置を示す停止線の設置位置であり、
前記判定手段は、前記車速データに基づいて、前記停止の有無を判定して、前記判定結果を出力する
ことを特徴とする付記７に記載の運転行動診断装置。
（付記９）
付記２に記載の運転行動診断装置と、
前記運転行動情報を入力し、前記第１の識別番号、前記第２の識別番号および前記第３の識別番号に基づいて、前記第１のフレーム、前記第２のフレーム、および前記判定結果を表示する情報表示装置と
を含む運転行動診断システム。
（付記１０）
被診断者によって運転された対象車両に対する前記被診断者の運転行動を示す運転行動情報に含まれる、前記対象車両から撮影された前記対象車両の前景の録画画像の中から、前記被診断者に対して所定の指示位置において所定の運転行動を行うことを指示する構造物を検知して、第１の検知結果を出力し、
前記録画画像の中から、前記指示位置を検知して、第２の検知結果を出力し、
前記運転行動情報に基づいて、前記指示位置における前記被診断者の前記運転行動の有無を判定して、判定結果を出力する
ことを特徴とする運転行動診断方法。
（付記１１）
運転行動診断装置が備えるコンピュータを、
被診断者によって運転された対象車両から撮影された前記対象車両の前景の録画画像を含む、前記対象車両に対する前記被診断者の運転行動を示す運転行動情報を読み込む情報入力手段と、
前記録画画像の中から、前記被診断者に対して所定の指示位置において所定の運転行動を行うことを指示する構造物を検知して、前記構造物が検知された画像の識別情報を含む第１の検知結果を出力する第１の検知手段と、
前記録画画像の中から、前記指示位置を検知して、前記指示位置が検知された画像の識別情報を含む第２の検知結果を出力する第２の検知手段と、
前記運転行動情報に基づいて、前記指示位置における前記被診断者の前記運転行動の有無を判定して、判定結果を出力する判定手段と、
前記情報入力手段、前記第１の検知手段、前記第２の検知手段および前記判定手段を起動し、前記第１の検知手段、前記第２の検知手段および前記判定手段に前記運転行動情報を入力する制御手段
として機能させることを特徴とする運転行動診断プログラム。

１００ 運転行動診断装置
１０１ 情報入力手段
１０２ 指示構造物検知手段
１０３ 停止線検知手段
１０４ 判定手段
１０５ 画像信号出力手段
１０６ 制御手段
１１０ 運転行動診断装置
１１３ 指示位置検知手段
１２０ 運転行動診断システム
１３０ 運転行動診断装置
１３１ 記憶手段
１４０ 情報表示装置
１４１ 記憶手段
１４２ 画像信号出力手段
１４３ 情報入力手段
４０１ 指示構造物検知結果表示手段
４０２ 停止線検知結果表示手段
４０３ 車速情報表示手段
５０１ 指示構造物検知結果
５０２ 停止線検知結果
５０３ 時系列情報
５０４ 指示構造物の検知結果
５０５ 停止線の検知結果
５０６ 指示構造物を検知したフレーム
５０７ 停止線を検知したフレーム
５０８ 一時停止を検知したフレーム
５０９ 車速情報
７０１ 指示構造物を検知対象とする区間
７０２ 停止線を検知対象とする区間
７０３ 一時停止の有無を検知対象とする区間
７０４ 指示構造物を検知対象とする区間
７０５ 指示構造物を検知可能なフレームの区間
７０６ 停止線を検知可能なフレームの区間
７０７ 一時停止を検知可能なフレームの区間
８０１ 指示構造物を検知対象とする区間
８０２ 停止線を検知対象とする区間
８０３ 一時停止の有無を検知対象とする区間
８０４ 指示構造物を検知対象とする区間
９０１ ＰＣ本体
９０２ キーボード
９０３ ディスプレイ
９０４ コンピュータシステム

Claims (10)

1. 被診断者によって運転された対象車両から撮影された前記対象車両の前景の録画画像を含む、前記対象車両に対する前記被診断者の運転行動を示す運転行動情報を読み込む情報入力手段と、
   前記録画画像の中から、前記被診断者に対して所定の指示位置において所定の運転行動を行うことを指示する構造物を検知して、前記構造物が検知された画像の識別情報を含む第１の検知結果を出力する第１の検知手段と、
   前記録画画像の中から、前記指示位置を検知して、前記指示位置が検知された画像の識別情報を含む第２の検知結果を出力する第２の検知手段と、
   前記運転行動情報に基づいて、前記指示位置における前記被診断者の前記所定の運転行動の有無を判定して、判定結果を出力する判定手段と、
   前記情報入力手段、前記第１の検知手段、前記第２の検知手段および前記判定手段を起動し、前記第１の検知手段、前記第２の検知手段および前記判定手段に前記運転行動情報を入力する制御手段とを備え、
   前記構造物が前記指示位置を含む所定の指示区間における前記運転行動を指示するものであるとき、
   前記第２の検知手段は、前記対象車両の現在位置が前記指示区間内にあることを示す位置情報を含む前記第２の検知結果を出力し、
   前記判定手段は、前記指示区間における前記対象車両の運動状態を示す車両状態情報を含む前記判定結果を出力し、
   前記録画画像は、識別番号が付された複数のフレームによって構成され、
   前記第１の検知結果は、前記複数のフレームのうち、前記構造物が検知された第１のフレームを示す第１の識別番号を含み、
   前記第２の検知結果は、前記複数のフレームのうち、前記指示位置が検知された第２のフレームを示す第２の識別番号を含み、
   前記判定結果は、前記複数のフレームのうち、前記運転行動の有無が判定された第３のフレームを示す第３の識別番号を含み、
   前記第１のフレーム、前記第２のフレームおよび前記第３のフレームの画像内に、前記第１の検知結果、前記第２の検知結果および前記判定結果を挿入して、診断結果画像を出力する画像出力手段を備え、
   前記制御手段は、前記第２の検知結果および車速データに基づいて、前記複数のフレームのうち、前記対象車両の前端と前記指示位置との間の距離が予め定めた範囲以内にある期間の第１のフレーム区間を特定し、
   前記画像出力手段は、
   前記複数のフレームのうち、前記第１のフレームから前記対象車両が予め定められた距離だけ進んだ位置に対応し、前記所定の運転行動の有無が判定された前記第３のフレームまでの第２のフレーム区間のフレームに、前記第１の検知結果を挿入する第１の表示手段と、
   前記第２のフレームに、前記第２の検知結果を挿入する第２の表示手段と、
   前記第１のフレーム区間の一部または全部に、前記車速データの変化、および前記判定結果を挿入する第３の表示手段とを備える
   ことを特徴とする運転行動診断装置。
2. 被診断者によって運転された対象車両から撮影された前記対象車両の前景の録画画像を含む、前記対象車両に対する前記被診断者の運転行動を示す運転行動情報を読み込む情報入力手段と、
   前記録画画像の中から、前記被診断者に対して所定の指示位置において所定の運転行動を行うことを指示する構造物を検知して、前記構造物が検知された画像の識別情報を含む第１の検知結果を出力する第１の検知手段と、
   前記録画画像の中から、前記指示位置を検知して、前記指示位置が検知された画像の識別情報を含む第２の検知結果を出力する第２の検知手段と、
   前記運転行動情報に基づいて、前記指示位置における前記被診断者の前記所定の運転行動の有無を判定して、判定結果を出力する判定手段と、
   前記情報入力手段、前記第１の検知手段、前記第２の検知手段および前記判定手段を起動し、前記第１の検知手段、前記第２の検知手段および前記判定手段に前記運転行動情報を入力する制御手段とを備え、
   前記録画画像は、識別番号が付された複数のフレームによって構成され、
   前記第１の検知結果は、前記複数のフレームのうち、前記構造物が検知された第１のフレームを示す第１の識別番号を含み、
   前記第２の検知結果は、前記複数のフレームのうち、前記指示位置が検知された第２のフレームを示す第２の識別番号を含み、
   前記判定結果は、前記複数のフレームのうち、前記運転行動の有無が判定された第３のフレームを示す第３の識別番号を含み、
   前記第１のフレーム、前記第２のフレームおよび前記第３のフレームの画像内に、前記第１の検知結果、前記第２の検知結果および前記判定結果を挿入して、診断結果画像を出力する画像出力手段を備え、
   前記制御手段は、前記第２の検知結果および車速データに基づいて、前記複数のフレームのうち、前記対象車両の前端と前記指示位置との間の距離が予め定めた範囲以内にある期間の第１のフレーム区間を特定し、
   前記画像出力手段は、
   前記複数のフレームのうち、前記第１のフレームから前記対象車両が予め定められた距離だけ進んだ位置に対応し、前記所定の運転行動の有無が判定された前記第３のフレームまでの第２のフレーム区間のフレームに、前記第１の検知結果を挿入する第１の表示手段と、
   前記第２のフレームに、前記第２の検知結果を挿入する第２の表示手段と、
   前記第１のフレーム区間の一部または全部に、前記車速データの変化、および前記判定結果を挿入する第３の表示手段とを備える
   ことを特徴とする運転行動診断装置。
3. 前記第１の表示手段は、前記構造物が検知された最後の前記第１のフレームに前記第１の検知結果を挿入し、
   前記第２の表示手段は、停止線が検知された最後の前記第２のフレームに前記第２の検知結果を挿入する
   前記第３の表示手段は、前記録画画像に、前記第１のフレーム区間のフレームであることを示す所定の表示を挿入する
   ことを特徴とする請求項１または請求項２に記載の運転行動診断装置。
4. 前記運転行動情報は、前記識別番号に対応付けられた前記対象車両の車速データを含み、
   前記構造物は、前記被診断者に対して、前記指示位置における前記対象車両の車速の制御についての前記運転行動を指示し、
   前記判定手段は、前記車速データに基づいて、前記指示位置における前記被診断者の前記車速の制御についての前記運転行動の有無を判定して、前記判定結果を出力する
   ことを特徴とする請求項１乃至３のいずれかに記載の運転行動診断装置。
5. 請求項１乃至４のいずれかに記載の運転行動診断装置と、
   前記運転行動情報を入力し、前記第１の識別番号、前記第２の識別番号および前記第３の識別番号に基づいて、前記第１のフレーム、前記第２のフレーム、および前記判定結果を表示する情報表示装置と
   を含む運転行動診断システム。
6. 被診断者によって運転された対象車両に対する前記被診断者の運転行動を示す運転行動情報に含まれる、前記対象車両から撮影された前記対象車両の前景の録画画像の中から、前記被診断者に対して所定の指示位置において所定の運転行動を行うことを指示する構造物を検知して、第１の検知結果を出力し、
   前記録画画像の中から、前記指示位置を検知して、第２の検知結果を出力し、
   前記運転行動情報に基づいて、前記指示位置における前記被診断者の前記所定の運転行動の有無を判定して、判定結果を出力し、
   前記構造物が前記指示位置を含む所定の指示区間における前記運転行動を指示するものであるとき、
   前記対象車両の現在位置が前記指示区間内にあることを示す位置情報を含む前記第２の検知結果を出力し、
   前記指示区間における前記対象車両の運動状態を示す車両状態情報を含む前記判定結果を出力し、
   前記録画画像は、識別番号が付された複数のフレームによって構成され、
   前記第１の検知結果は、前記複数のフレームのうち、前記構造物が検知された第１のフレームを示す第１の識別番号を含み、
   前記第２の検知結果は、前記複数のフレームのうち、前記指示位置が検知された第２のフレームを示す第２の識別番号を含み、
   前記判定結果は、前記複数のフレームのうち、前記運転行動の有無が判定された第３のフレームを示す第３の識別番号を含み、
   前記第１のフレーム、前記第２のフレームおよび前記第３のフレームの画像内に、前記第１の検知結果、前記第２の検知結果および前記判定結果を挿入して、診断結果画像を出力し、
   前記第２の検知結果および車速データに基づいて、前記複数のフレームのうち、前記対象車両の前端と前記指示位置との間の距離が予め定めた範囲以内にある期間の第１のフレーム区間を特定し、
   前記複数のフレームのうち、前記第１のフレームから前記対象車両が予め定められた距離だけ進んだ位置に対応し、前記所定の運転行動の有無が判定された前記第３のフレームまでの第２のフレーム区間のフレームに、前記第１の検知結果を挿入し、
   前記第２のフレームに、前記第２の検知結果を挿入し、
   前記第１のフレーム区間の一部または全部に、前記車速データの変化、および前記判定結果を挿入する
   ことを特徴とする運転行動診断方法。
7. 被診断者によって運転された対象車両に対する前記被診断者の運転行動を示す運転行動情報に含まれる、前記対象車両から撮影された前記対象車両の前景の録画画像の中から、前記被診断者に対して所定の指示位置において所定の運転行動を行うことを指示する構造物を検知して、第１の検知結果を出力し、
   前記録画画像の中から、前記指示位置を検知して、第２の検知結果を出力し、
   前記運転行動情報に基づいて、前記指示位置における前記被診断者の前記所定の運転行動の有無を判定して、判定結果を出力し、
   前記録画画像は、識別番号が付された複数のフレームによって構成され、
   前記第１の検知結果は、前記複数のフレームのうち、前記構造物が検知された第１のフレームを示す第１の識別番号を含み、
   前記第２の検知結果は、前記複数のフレームのうち、前記指示位置が検知された第２のフレームを示す第２の識別番号を含み、
   前記判定結果は、前記複数のフレームのうち、前記運転行動の有無が判定された第３のフレームを示す第３の識別番号を含み、
   前記第１のフレーム、前記第２のフレームおよび前記第３のフレームの画像内に、前記第１の検知結果、前記第２の検知結果および前記判定結果を挿入して、診断結果画像を出力し、
   前記第２の検知結果および車速データに基づいて、前記複数のフレームのうち、前記対象車両の前端と前記指示位置との間の距離が予め定めた範囲以内にある期間の第１のフレーム区間を特定し、
   前記複数のフレームのうち、前記第１のフレームから前記対象車両が予め定められた距離だけ進んだ位置に対応し、前記所定の運転行動の有無が判定された前記第３のフレームまでの第２のフレーム区間のフレームに、前記第１の検知結果を挿入し、
   前記第２のフレームに、前記第２の検知結果を挿入し、
   前記第１のフレーム区間の一部または全部に、前記車速データの変化、および前記判定結果を挿入する
   ことを特徴とする運転行動診断方法。
8. 前記構造物が検知された最後の前記第１のフレームに前記第１の検知結果を挿入し、
   停止線が検知された最後の前記第２のフレームに前記第２の検知結果を挿入し
   前記録画画像に、前記第１のフレーム区間のフレームであることを示す所定の表示を挿入する
   ことを特徴とする請求項６または請求項７に記載の運転行動診断方法。
9. 運転行動診断装置が備えるコンピュータを、
   被診断者によって運転された対象車両から撮影された前記対象車両の前景の録画画像を含む、前記対象車両に対する前記被診断者の運転行動を示す運転行動情報を読み込む情報入力手段と、
   前記録画画像の中から、前記被診断者に対して所定の指示位置において所定の運転行動を行うことを指示する構造物を検知して、前記構造物が検知された画像の識別情報を含む第１の検知結果を出力する第１の検知手段と、
   前記録画画像の中から、前記指示位置を検知して、前記指示位置が検知された画像の識別情報を含む第２の検知結果を出力する第２の検知手段と、
   前記運転行動情報に基づいて、前記指示位置における前記被診断者の前記所定の運転行動の有無を判定して、判定結果を出力する判定手段と、
   前記情報入力手段、前記第１の検知手段、前記第２の検知手段および前記判定手段を起動し、前記第１の検知手段、前記第２の検知手段および前記判定手段に前記運転行動情報を入力する制御手段
   として機能させ、
   前記構造物が前記指示位置を含む所定の指示区間における前記運転行動を指示するものであるとき、
   さらに前記コンピュータを、
   前記対象車両の現在位置が前記指示区間内にあることを示す位置情報を含む前記第２の検知結果を出力する前記第２の検知手段として機能させ、
   前記指示区間における前記対象車両の運動状態を示す車両状態情報を含む前記判定結果を出力する前記判定手段として機能させ、
   前記録画画像は、識別番号が付された複数のフレームによって構成され、
   前記第１の検知結果は、前記複数のフレームのうち、前記構造物が検知された第１のフレームを示す第１の識別番号を含み、
   前記第２の検知結果は、前記複数のフレームのうち、前記指示位置が検知された第２のフレームを示す第２の識別番号を含み、
   前記判定結果は、前記複数のフレームのうち、前記運転行動の有無が判定された第３のフレームを示す第３の識別番号を含み、
   さらに前記コンピュータを、
   前記第１のフレーム、前記第２のフレームおよび前記第３のフレームの画像内に、前記第１の検知結果、前記第２の検知結果および前記判定結果を挿入して、診断結果画像を出力する画像出力手段として機能させ、
   前記第２の検知結果および車速データに基づいて、前記複数のフレームのうち、前記対象車両の前端と前記指示位置との間の距離が予め定めた範囲以内にある期間の第１のフレーム区間を特定する前記制御手段として機能させ、
   前記複数のフレームのうち、前記第１のフレームから前記対象車両が予め定められた距離だけ進んだ位置に対応し、前記所定の運転行動の有無が判定された前記第３のフレームまでの第２のフレーム区間のフレームに、前記第１の検知結果を挿入する第１の表示手段として機能させ、
   前記第２のフレームに、前記第２の検知結果を挿入する第２の表示手段として機能させ、
   前記第１のフレーム区間の一部または全部に、前記車速データの変化、および前記判定結果を挿入する第３の表示手段として機能させる
   ことを特徴とする運転行動診断プログラム。
10. 運転行動診断装置が備えるコンピュータを、
    被診断者によって運転された対象車両から撮影された前記対象車両の前景の録画画像を含む、前記対象車両に対する前記被診断者の運転行動を示す運転行動情報を読み込む情報入力手段と、
    前記録画画像の中から、前記被診断者に対して所定の指示位置において所定の運転行動を行うことを指示する構造物を検知して、前記構造物が検知された画像の識別情報を含む第１の検知結果を出力する第１の検知手段と、
    前記録画画像の中から、前記指示位置を検知して、前記指示位置が検知された画像の識別情報を含む第２の検知結果を出力する第２の検知手段と、
    前記運転行動情報に基づいて、前記指示位置における前記被診断者の前記所定の運転行動の有無を判定して、判定結果を出力する判定手段と、
    前記情報入力手段、前記第１の検知手段、前記第２の検知手段および前記判定手段を起動し、前記第１の検知手段、前記第２の検知手段および前記判定手段に前記運転行動情報を入力する制御手段
    として機能させ、
    前記録画画像は、識別番号が付された複数のフレームによって構成され、
    前記第１の検知結果は、前記複数のフレームのうち、前記構造物が検知された第１のフレームを示す第１の識別番号を含み、
    前記第２の検知結果は、前記複数のフレームのうち、前記指示位置が検知された第２のフレームを示す第２の識別番号を含み、
    前記判定結果は、前記複数のフレームのうち、前記運転行動の有無が判定された第３のフレームを示す第３の識別番号を含み、
    さらに前記コンピュータを、
    前記第１のフレーム、前記第２のフレームおよび前記第３のフレームの画像内に、前記第１の検知結果、前記第２の検知結果および前記判定結果を挿入して、診断結果画像を出力する画像出力手段として機能させ、
    前記第２の検知結果および車速データに基づいて、前記複数のフレームのうち、前記対象車両の前端と前記指示位置との間の距離が予め定めた範囲以内にある期間の第１のフレーム区間を特定する前記制御手段として機能させ、
    前記複数のフレームのうち、前記第１のフレームから前記対象車両が予め定められた距離だけ進んだ位置に対応し、前記所定の運転行動の有無が判定された前記第３のフレームまでの第２のフレーム区間のフレームに、前記第１の検知結果を挿入する第１の表示手段として機能させ、
    前記第２のフレームに、前記第２の検知結果を挿入する第２の表示手段として機能させ、
    前記第１のフレーム区間の一部または全部に、前記車速データの変化、および前記判定結果を挿入する第３の表示手段として機能させる
    ことを特徴とする運転行動診断プログラム。

Images