Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5280762B2 - 方向指示器制御装置 - Google Patents
[go: Go Back, main page]

JP5280762B2 - 方向指示器制御装置 - Google Patents

方向指示器制御装置 Download PDF

Info

Publication number
JP5280762B2
JP5280762B2 JP2008185002A JP2008185002A JP5280762B2 JP 5280762 B2 JP5280762 B2 JP 5280762B2 JP 2008185002 A JP2008185002 A JP 2008185002A JP 2008185002 A JP2008185002 A JP 2008185002A JP 5280762 B2 JP5280762 B2 JP 5280762B2
Authority
JP
Japan
Prior art keywords
direction indicator
driver
line
sight
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008185002A
Other languages
English (en)
Other versions
JP2010023583A (ja
Inventor
正樹 芳野
道昌 井東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokai Rika Co Ltd
Original Assignee
Tokai Rika Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokai Rika Co Ltd filed Critical Tokai Rika Co Ltd
Priority to JP2008185002A priority Critical patent/JP5280762B2/ja
Publication of JP2010023583A publication Critical patent/JP2010023583A/ja
Application granted granted Critical
Publication of JP5280762B2 publication Critical patent/JP5280762B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Description

本発明は、方向指示器の方向指示動作を制御する方向指示器制御装置に関する。
従来、車両には、ステアリングホイールの近傍に設けられたターンレバーが操作されることにより車両の前後に設けられたターンランプを点滅させることで、例えば右左折する際や隣接車線に車線変更する際等に、運転者が意図する自車両の進行方向を周囲に示す方向指示器が設けられている。
方向指示器は、ターンレバーが自車両の進行方向に対応する方向へ操作されることによりその進行方向のターンランプを作動させるターンスイッチと、ステアリングホイールがターンレバーの操作方向とは逆方向へ所定の角度以上回動されて元に戻った際にターンレバーを元の位置に復帰させ、方向指示を自動解除する解除機構とを備えている。ターンレバーが自車両の進行方向に対応する方向へ操作されターンスイッチが作動すると、その進行方向のターンランプが点滅する。そして、自車両のターンが終了しステアリングホイールが直進位置に戻されると、解除機構によってターンレバーが元の位置に復帰し、ターンランプが消灯する。
しかし、この構成では、例えば自車両が隣接する車線へ車線変更する場合等のように、ターンレバーの操作方向へのステアリングホイールの操舵角度が小さいと、ステアリングホイールを元に戻しても、方向指示器の方向指示動作が終了されない場合がある。
そこで、このように車線変更が完了した場合においても適切なタイミングで方向指示器の方向指示動作を終了させるために、例えば特許文献1に示されるような方向指示器制御装置が従来提案されている。
この方向指示器制御装置は、自車両の後方を撮像し自車両の走行車線を検出するカメラを備え、該カメラを通じて方向指示器の指示方向への自車両の車線変更を検知した場合に、方向指示器の方向指示動作を終了するようになっている。これにより、操舵角度によらず、方向指示器の方向指示動作は適切なタイミングで終了される。
また、この方向指示器制御装置には、ナビゲーション装置が接続されている。ナビゲーション装置は、自車両の現在位置を検出するためのGPS(Global Positioning System)受信機と、ハードディスク等の記憶媒体上に地図データを保有する地図データベースとを備えている。方向指示器制御装置は、ナビゲーション装置から自車両周辺の交差点の有無や道路の車線数等の道路情報を取得し、取得した自車両周辺の道路情報から前記方向指示器の指示方向へ進路変更する可能性があるか否かを判断し、該可能性があると判断した場合、カメラを通じて車線変更が完了したと判断した場合であれ、方向指示器の方向指示動作を継続させるようになっている。
特開2007−223382号公報
しかしながら、特許文献1の方向指示器制御装置は、自車両の前方の道路情報に基づいて方向指示器の指示方向へ進路変更する可能性があるか否かを判定するため、該判定に運転者の意図が反映されない。このため、方向指示器の動作が運転者の意図に関わらず継続されてしまう虞がある。
本発明は、こうした実情に鑑みてなされたものであって、その目的は、方向指示器の動作を運転者の意図に応じた適切なタイミングで終了させることができる方向指示器制御装置を提供することにある。
請求項1に記載の発明は、自車両に設けられた方向指示器の作動状態を制御する方向指示器制御装置であって、前記方向指示器の作動状態を検出する作動状態検出手段と、撮像手段によって撮像された前記自車両の運転者の頭部の撮像画像から前記運転者の視線を検出する視線検出手段とを備え、前記作動状態検出手段により前記方向指示器の方向指示動作が検出される場合に、前記視線検出手段を通じて検出される運転者の視線に基づいて、前記自車両が前記方向指示器の指示方向へ進路を変更する可能性があるか否かを判断し、該可能性があると判断した場合、前記方向指示器の方向指示動作を継続させ、前記可能性がないと判断した場合、前記方向指示器の方向指示動作を終了させるにあたり、前記作動状態検出手段により前記方向指示器の方向指示動作が検出される場合に、前記自車両の走行状態に基づいて前記方向指示動作を終了する旨の終了判定を行う終了判定手段を備え、前記作動状態検出手段により前記方向指示器の方向指示動作が検出される場合に、前記終了判定手段による終了判定がなされた直後に前記自車両が前記方向指示器の指示方向へ進路を変更する可能性があるか否かを、前記運転者の視線に基づいて判断し、該可能性があると判断した場合、前記終了判定手段による前記終了判定を無効にして前記方向指示動作を継続させるとともに、前記可能性がないと判断した場合、前記終了判定を有効にして前記方向指示動作を終了させる有効無効判定を行うことをその要旨とする。
通常、例えば、隣接する車線へ車線変更する場合や交差点を右左折する場合、運転者は、自車両の進路における車両等の存在の有無を確認するために、進路方向へ視線を向ける。即ち、運転者の視線は、運転者がとろうとする進路方向へ向けられる。このことから、本発明によるように、運転者の視線に基づいて、自車両が方向指示器の指示方向へ進路を変更する可能性があるか否かを判断することができる。そして、例えば運転者の視線が方向指示器の指示方向に向けられており、該指示方向へ進路を変更する可能性がある場合、方向指示器の方向指示動作が継続される。一方、例えば運転者の視線が前方に向けられており、前記指示方向へ進路を変更する可能性がない場合、方向指示器の動作が終了される。このため、方向指示動作の終了判定に運転者の意図が反映される。よって、方向指示器の動作を運転者の意図に応じた適切なタイミングで終了させることができる。
ところで従来、車両には、作動状態検出手段により方向指示器の方向指示動作が検出される場合に、自車両の走行状態に基づいて方向指示動作を終了する旨の終了判定を行う終了判定手段が設けられている。本発明によれば、運転者の視線に基づいて、自車両が方向指示器の指示方向へ進路を変更する可能性があるか否かが判断される。そして、該可能性がある場合、自車両の走行状態に基づく前記終了判定が無効とされ、これにより方向指示器の方向指示動作が継続される。また、前記可能性がない場合、自車両の走行状態に基づく前記終了判定が有効とされ、これにより方向指示器の方向指示動作が終了される。このため、自車両の走行状態に基づく方向指示動作の終了判定にも運転者の意図が反映される。よって、方向指示器の動作を、運転者の意図と自車両の走行状態とに応じた適切なタイミングで終了させることができる。
請求項に記載の発明は、前記自車両の前方の道路状態を取得する道路状態取得手段を備え、前記道路状態に基づいて、前記方向指示器の指示方向へ連続して進路を変更する可能性があるか否かを判断し、該可能性があると判断した場合、前記運転者の視線に基づく前記有効無効判定を行うことをその要旨とする。
本発明によれば、道路状態に基づいて、方向指示器の指示方向へ連続して進路を変更する可能性があると判断された場合にだけ運転者の視線に基づく有効無効判定を行うため、方向指示動作の終了判定に道路状態も加味されることとなり、前記終了判定をより確実なものとすることができる。
請求項に記載の発明は、前記道路状態に基づいて連続して進路を変更する可能性があると判断した場合、前記自車両の走行状態に基づく終了判定が行われた直後に、前記運転者の視線に基づいた前記終了判定の有効無効判定を行うための判定期間を設けることをその要旨とする。
例えば、一方向へ二段階で車線変更する場合等、同一方向へ段階的に進路を変更する場合において、自車両の走行状態に基づく終了判定条件によっては、終了判定がなされる前後に運転者の視線が前方に向けられている場合があり、該視線が方向指示器の指示方向へ向けられていない場合がある。このため、このような場合、方向指示器の指示方向へさらに進路を変更するという運転者の意図を、終了判定がなされた直後の運転者の視線から読み取ることは難しい。本発明によれば、自車両の走行状態に基づく終了判定が行われた直後に、運転者の視線に基づいた終了判定の有効無効判定を行うための判定期間が設けられる。このため、方向指示動作の終了判定に運転者の意図を確実に反映させることができる。
本発明によれば、方向指示器の動作を運転者の意図に応じた適切なタイミングで終了させることができる方向指示器制御装置を得ることができる。
以下、本発明を四輪自動車の方向指示器に具体化した一実施の形態を図面に従って説明する。
図1(a)に示すように、方向指示器は、車両1の前後にそれぞれ設けられる左右一対のターンランプ2a,2b,3a,3bを点滅させることにより自車両の進行方向を他車両の運転者等に知らせる方向指示動作を行うものである。
<方向指示器の操作概要>
方向指示器は、図1(b)に示すように、車両1のステアリングコラムCに設けられる操作レバー4を通じて操作される。操作レバー4は、運転者からみて図1(b)において二点鎖線にて示すステアリングホイールWの裏側に配置されている。操作レバー4の基端部は、ステアリングコラムCの内部において片持ち支持されており、同操作レバー4の先端部は、ステアリングコラムCの外部に突出している。操作レバー4の基端部は、ステアリングコラムCに対して同ステアリングコラムCの内部に配置された図示しない回転軸を中心として、ステアリングホイールWの回転方向に沿った方向へ所定角度だけ傾動可能に支持されている。
操作レバー4は、その中心軸が図1(b)に一点鎖線で示される操作中立位置Pに保持されている。そして、操作レバー4は、操作中立位置Pに保持された状態で矢印ALにて示す反時計回り方向への操作力が付与されると、前記回転軸を中心として同図1(b)に一点鎖線で示される左折操作位置PLまで傾動する。これにより、車両1の前後にそれぞれ設けられた前記左側ターンランプ2a,2b(図1(a)参照)が点滅する。この矢印AL方向への操作力が解除されると、図示しない復帰機構の作用により、操作レバー4は操作中立位置Pへ復帰する。操作レバー4が操作中立位置Pに復帰した場合であれ、左側ターンランプ2a,2bの点滅は継続される。また、図1(b)に示すように、操作レバー4は、操作中立位置Pに保持された状態で矢印ARにて示す時計回り方向への操作力が付与されると、前記回転軸を中心として同図1(b)に一点鎖線で示される右折操作位置PRまで傾動する。これにより、車両1の前後にそれぞれ設けられた前記右側ターンランプ3a,3b(図1(b))が点滅する。この矢印AR方向への操作力が解除されると、前記復帰機構の作用により、操作レバー4は操作中立位置Pへ復帰する。操作レバー4が操作中立位置Pに復帰した場合であれ、右側ターンランプ3a,3bの点滅は継続される。
<電気的な構成>
次に、前述した操作レバー4を通じて操作される方向指示器の電気的な構成を説明する。図2に示されるように、方向指示器10は、図示しないCPU、ROM及びRAM等から構成された終了判定手段としての方向指示器制御装置11を備えている。方向指示器制御装置11のROMには、方向指示器10の全体を統括的に制御するための各種の制御プログラム及びデータが格納されている。当該制御プログラムには、例えば前記ターンランプ2a,2b,3a,3bの点灯制御を行うための点灯制御プログラムが含まれている。RAMはROMに格納された制御プログラムを展開してマイクロコンピュータが各種の処理を実行するためのデータ記憶領域、すなわち作業領域である。
方向指示器制御装置11には、車速センサ12、舵角センサ13、及びヨーレートセンサ14が接続されている。
車速センサ12は、車両1の走行速度を検出し、その検出した速度に応じた車速検出信号SVを方向指示器制御装置11へ出力する。
舵角センサ13は、運転者によってステアリングホイールWが回転操作された際に、その回転角度である操舵角を検出し、その検出された操舵角に応じて舵角検出信号Sθを方向指示器制御装置11へ出力する。詳述すると、舵角センサ13は、ステアリングホイールWが舵角中点(車両1直進時の操舵角)を基準として左右いずれの方向へ回転操作されたのかを検出して、いずれの場合であれ舵角中点を基準とする正の値の操舵角情報を前記舵角検出信号Sθとして出力する。なお、当該操舵角情報にはステアリングホイールWが左右いずれの方向へ操舵されたのかを示す操舵方向情報が含まれる。
ヨーレートセンサ14は、例えば自車両が右左折したり車線変更したりする際のヨーレート(車両1の回転方向の挙動)を検出し、その検出したヨーレートに応じたヨーレート検出信号SYを方向指示器制御装置11へ出力する。
また、方向指示器制御装置11には、ボデーECU(Electronic control unit)15が接続されている。ボデーECU15には、操作レバー4の操作に連動してオンオフする作動状態検出手段としてのターンスイッチ15aが接続されている。ボデーECU15は、ターンスイッチ15aを通じて操作レバー4が操作中立位置Pから左折操作位置PLへ傾動操作されたことを検出すると、その旨を示す操作位置検出信号SPを方向指示器制御装置11に出力する。また、ボデーECU15は、ターンスイッチ15aを通じて操作レバー4が右折操作位置PRに回動操作されたことを検出すると、その旨を示す操作位置検出信号SPを方向指示器制御装置11に出力する。また、ボデーECU15には、2つの左側ターンランプ2a,2b及び2つの右側ターンランプ3a,3bが接続されている。
方向指示器制御装置11は、ボデーECU15からの前記操作位置検出信号SPに基づいて操作レバー4の各操作位置PL,PRへの操作を検出すると、車両1の進行方向を周辺に合図する方向指示動作を開始する旨の指示開始信号Ssを、ボデーECU15に出力する。ボデーECU15は、方向指示器制御装置11からの指示開始信号Ssに基づいて、ターンランプ2a,2b,3a,3bに駆動電流を間欠的に供給し、これらを点滅させる。具体的には、方向指示器制御装置11は、ボデーECU15からの前記操作位置検出信号SPに基づいて操作レバー4が操作中立位置Pから左折操作位置PLへ傾動操作されたことを検出すると、ボデーECU15に対して2つの左側ターンランプ2a,2bを点滅させる旨の指示開始信号Ssを出力する。ボデーECU15は、該指示開始信号Ssに基づいて、2つの左側ターンランプ2a,2bに駆動電流を間欠的に供給し、これらを点滅させる。また、方向指示器制御装置11は、ボデーECU15からの操作位置検出信号SPに基づいて操作レバー4が右折操作位置PRに回動操作されたことを検出すると、ボデーECU15に対して2つの右側ターンランプ3a,3bを点滅させる旨の指示開始信号Ssを出力する。ボデーECU15は、該指示開始信号Ssに基づいて、2つの右側ターンランプ3a,3bに駆動電流を間欠的に供給し、これらを点滅させる。
また、方向指示器制御装置11は、前記方向指示動作を開始したとき、該開始した時点からの経過時間、自車両の走行速度、操舵角及びヨーレート等から自車両の走行状態を検出し、該走行状態に基づいて、方向指示器10の方向指示動作を終了する旨の終了判定を行う。そして、該終了判定に基づいて方向指示器10による方向指示動作を終了するようになっている。
具体的には、方向指示器制御装置11は、左側ターンランプ2a,2b又は右側ターンランプ3a,3bの点滅を通じて車両1の進行方向を周辺に合図する方向指示動作を開始したとき、言い換えれば、前記指示開始信号Ssを出力した時点からの経過時間を内部に設けられたタイマによりカウントしていく。前記方向指示動作を開始してから、操舵操作がなく、また、ある速度以上で自車両が走行している状態で、通常想定される方向指示動作の継続時間を超える程度の一定時間が経過した場合、方向指示器制御装置11は、方向指示動作を終了する条件(終了判定条件)が成立したと判断し、方向指示器10の方向指示動作を終了する旨の終了判定を行う。方向指示器制御装置11は、この終了判定に基づいて、方向指示動作を終了する旨の指示終了信号SeをボデーECU15に出力する。ボデーECU15は、該指示終了信号Seに基づいて2つの左側ターンランプ2a,2b又は2つの右側ターンランプ3a,3bへの駆動電流の供給を停止し、これらを消灯する。
また、方向指示器制御装置11のROMには、キャンセル準備角θ1及び該キャンセル準備角θ1よりも小さいキャンセル角θ2が記憶されている。方向指示器制御装置11は、前記方向指示動作を開始すると、舵角センサ13を通じてステアリングホイールWの操舵角θの変化を検出する。そして、該操舵角θがキャンセル準備角θ1に達した(θ>θ1)後にキャンセル角θ2の範囲内になった場合(θ<θ2)、方向指示器制御装置11は、方向指示動作を終了する条件(終了判定条件)が成立したと判断し、方向指示器10の方向指示動作を終了する旨の終了判定を行う。これにより、例えば交差点等を右折若しくは左折した後に直進状態に移行する場合のように、方向指示器10の示す方向へステアリングホイールWがキャンセル準備角θ1に達した後に同ステアリングホイールWがキャンセル角θ2の範囲内に戻されると、操舵角θに基づいて方向指示動作の終了判定がなされ、方向指示動作が自動終了される。
また、方向指示器制御装置11は、前記方向指示動作を開始したとき、言い換えれば、前記指示開始信号Ssを出力した時点から、前記ヨーレート検出信号SYに基づいてヨーレートの変化(自車両の旋回方向への回転角度の単位時間当たりの変化量)を検出する。方向指示器制御装置11のROMには、方向指示動作の終了判定を行うための判定基準となる判定基準値が、自車両の速度領域毎に記憶されている。通常、ヨーレートは、自車両が右左折や車線変更等の進路変更を開始してから終了するまでの間に最大値及び最小値をそれぞれとるように変化する。方向指示器制御装置11は、ヨーレートが最大値をとった後に前記判定基準値を下回った場合や、最小値をとった後に前記判定基準値を上回った場合、方向指示動作を終了する条件(終了判定条件)が成立したと判断する。また、方向指示器制御装置11は、前記舵角検出信号Sθに基づいて操舵角θの変化量を検出(算出)する。方向指示器制御装置11のROMには、方向指示動作の終了判定を行うための判定基準となる判定基準値が、自車両の速度領域毎に記憶されている。通常、操舵角θは、前記ヨーレートと同様、自車両が進路変更を開始してから終了するまでの間に最大値及び最小値をとるように変化する。方向指示器制御装置11は、操舵角θが最大値をとった後に前記判定基準値を下回った場合や、最小値をとった後に前記判定基準値を上回った場合、方向指示動作を終了する条件(終了判定条件)が成立したと判断する。方向指示器制御装置11は、前記ヨーレートに基づく終了判定条件、及び操舵角θに基づく終了判定条件の何れか一方が成立した場合、方向指示器10の方向指示動作を終了する旨の終了判定を行う。これにより、例えば隣接する車線へ車線変更する場合等のように、方向指示器10の示す方向へのステアリングホイールWの操舵角θが小さく該操舵角θが前記キャンセル準備角θ1に達しない場合でも、ヨーレートの変化に基づいて方向指示動作の終了判定がなされる。即ち、上述した操舵角θに基づく終了判定条件が成立しない場合でも、ヨーレートに基づく終了判定条件が成立した場合、方向指示動作を終了する旨の終了判定がなされ、交差点等の右左折時のみならず、例えば隣接する車線へ車線変更する場合でも、方向指示動作が自動終了される。
また、方向指示器制御装置11には、視線検出手段を構成する視線検出ECU(Electronic control unit)16が接続されている。視線検出ECU16には、同じく視線検出手段を構成する撮像手段としてのカメラ16aが接続されている。カメラ16aは、例えば車両1のバックミラーに設けられ、運転者の頭部を撮像する。視線検出ECU16は、カメラ16aが撮像した撮像画像から、例えば撮像画像の濃淡(輝度)や形状の特徴からパターンマッチングやニューラルネットワーク等を用いて運転者の顔や眼球の位置座標を検出し、それらに基づいて運転者の視線を検出する。そして、視線検出ECU16は、その検出結果を含む視線検出信号Saを方向指示器制御装置11に出力する。方向指示器制御装置11は、視線検出ECU16からの検出結果(視線検出信号Sa)に基づいて、前記走行状態に基づく終了判定がなされた直後に自車両が前記方向指示器10の指示方向へ進路を変更する可能性があるか否かを判断する。この判断は、運転者の視線は、通常、運転者がとろうとする進路方向へ向けられるものであり、自車両が前記方向指示器10の指示方向へ進路を変更する場合においても、運転者は、自車両の進路における車両等の存在の有無を確認するために、進路方向へ視線を向けるという想定に基づく。
例えば図3(a)に示すように、通常、直進状態において、運転者の視線は、自車両の進行方向である前方を向いており、視線検出ECU16は、図3(b)に示すような運転者の頭部Hの撮像画像G1を取得する。ここで、例えば隣接する右車線へ車線変更する場合、図4(a)に示すように、運転者の視線はサイドミラー1aや自車両の進路方向に向けられるため、この場合、視線検出ECU16は、図4(b)に示すように、眼球の位置XRが、運転者が前方を向いているときの前記撮像画像G1における眼球の位置Xよりも右側にずれた位置にある撮像画像G2を取得する。撮像画像G2から取得した眼球の位置XRと、運転者が前方を向いているときの眼球の位置Xとの間の距離dが所定の閾値αよりも大きい場合、視線検出ECU16は、方向指示器10の指示方向である右側に視線が向いていると判断し、その旨を示す視線検出信号Saを方向指示器制御装置11に出力する。方向指示器制御装置11は、この視線検出信号Saに基づいて自車両が前記方向指示器10の指示方向へ進路を変更する可能性があると判断し、自車両の走行状態に基づく前記終了判定を無効にする。
逆に、撮像画像G1から取得した眼球の位置XRと、運転者が前方を向いているときの眼球の位置Xとの間の距離dが所定の閾値α以下の場合、視線検出ECU16は、方向指示器10の指示方向である右側に視線が向いていないと判断し、その旨を示す視線検出信号Saを方向指示器制御装置11に出力する。方向指示器制御装置11は、この視線検出信号Saに基づいて自車両が前記方向指示器10の指示方向へ進路を変更する可能性がないと判断し、自車両の走行状態に基づく前記終了判定を有効にする。即ち、方向指示器制御装置11は、運転者の視線に基づいて運転者の意図を推定し、該推定結果に基づいて走行状態に基づく前記終了判定を有効にしたり無効にしたりする。
また、図2に示すように、方向指示器制御装置11には、車両1に搭載された例えばカーナビゲーションシステム等の道路状態取得装置(GPS搭載機器)17が接続されている。なお、この道路状態取得装置17が道路状態取得手段に相当する。方向指示器制御装置11は、該道路状態取得装置17から自車両の前方の交差点の有無や自車両が走行している車線数等の道路状態を取得し、取得した道路状態に基づいて、連続して進路を変更する可能性があるか否かを判断する。そして、該可能性があると判断した場合、運転者の視線を検出する旨要求する視線検出要求信号Srを、視線検出ECU16に出力する。視線検出ECU16は、該視線検出要求信号Srに基づいて、カメラ16aに運転者の頭部を撮像するための駆動電力を供給し、同カメラ16aを通じて運転者の頭部の撮像画像を取得する。
また、このように道路状態に基づいて前記方向指示器10の指示方向へ連続して進路を変更する可能性があると判断した場合、方向指示器制御装置11は、自車両の走行状態に基づく終了判定が行われた直後に、運転者の視線に基づいた前記終了判定の有効無効判定を行うための判定期間Tを設ける。方向指示器制御装置11は、この判定期間Tの間、前記カメラ16aの撮像画像G1,G2に基づいて運転者の視線を検出し、該視線に基づいて方向指示器10の指示方向へ進路を変更する可能性があるか否かを判断する。なお、この判定期間Tの間になされた前記走行状態に基づく終了判定は無効とされ、方向指示器10の方向指示動作は継続される。
次に、前述のように構成した方向指示器の終了判定処理の処理手順を図5に示されるフローチャートに従って説明する。このフローチャートの処理は、方向指示器制御装置11が、道路状態取得装置17から取得した道路状態に基づいて連続して進路を変更する可能性があると判断した場合、そのROMに格納された点灯制御プログラムに従い所定の周期で繰り返し実行する。
同図5のフローチャートに示されるように、先ず、ステップ101において、方向指示器制御装置11は、ターンランプ2a,2b,3a,3bが作動状態であるか否かを判断する。このステップ101においてターンランプ2a,2b,3a,3bが作動状態でないと判断すると、方向指示器制御装置11は、本処理を終了する。一方、このステップ101においてターンランプ2a,2b,3a,3bが作動状態であると判断すると、方向指示器制御装置11は、ステップ102に移行する。
次のステップ102において、方向指示器制御装置11は、方向指示動作を開始してから一定時間経過したか否かを判断する。このステップ102において方向指示動作を開始してから言い換えれば、前記指示開始信号Ssを出力してから一定時間経過したと判断した場合、方向指示器制御装置11は、ステップ103に移行する。そして、ステップ103において、方向指示器制御装置11は、方向指示動作を終了する旨の指示終了信号SeをボデーECU15に出力するとともに前記タイマをリセットし、本処理を終了する。即ち、方向指示動作が開始されてから一定時間経過すると、このステップ102の判断に基づいて方向指示動作が自動終了される。
一方、ステップ102において、方向指示動作を開始してから言い換えれば、前記指示開始信号Ssを出力してから一定時間経過していないと判断した場合、方向指示器制御装置11は、ステップ104に移行する。そして、このステップ104において、方向指示器制御装置11は、ヨーレートに基づく車線変更時の終了判定条件が成立したか否かを判断する。
ステップ104において、ヨーレートに基づく車線変更時の終了判定条件が成立していないと判断した場合、方向指示器制御装置11は、ステップ105に移行する。このステップ105において、方向指示器制御装置11は、ステアリングホイールWの操舵角θの変化に基づく右左折時の終了判定条件が成立したか否かを判断する。ステップ105において右左折時の終了判定条件が成立したと判断した場合、方向指示器制御装置11は、ステップ103に移行する。そして、このステップ103において、方向指示器制御装置11は、方向指示動作を終了する旨の指示終了信号SeをボデーECU15に出力するとともに前記タイマをリセットし、本処理を終了する。即ち、車線変更時や右左折時(特に右左折時)においてステアリングホイールWが前記キャンセル準備角θ1を越えて操作された場合、このステップ105の判断に基づいて、方向指示動作が自動終了される。一方、ステップ105において右左折時の終了判定条件が成立していないと判断した場合、方向指示器制御装置11は、方向指示動作を終了する旨の前記指示終了信号Seを出力することなく、本処理を終了する。即ち、方向指示器10の方向指示動作が継続される。
ここで、前記ステップ104において、ヨーレートに基づく車線変更時の終了判定条件が成立したと判断した場合、方向指示器制御装置11は、ステップ106に移行する。そして、ステップ106において、方向指示器制御装置11は、カメラ16aの撮像画像G1,G2に基づいて、自車両が方向指示器10の指示方向へ進路を変更する可能性があるか否かを判断する。
ステップ106において自車両が方向指示器10の指示方向へ進路を変更する可能性がないと判断した場合、方向指示器制御装置11は、ステップ103に移行する。そして、ステップ103において、方向指示器制御装置11は、方向指示動作を終了する旨の指示終了信号SeをボデーECU15に出力するとともに前記タイマをリセットし、本処理を終了する。即ち、方向指示器10の指示方向への視線の移動が検出されない場合、車線変更が完了すると、このステップ106の判断に基づいてヨーレートに基づく車線変更時の終了判定が有効となり、方向指示動作が自動終了される。なお、ステップ104及びステップ106の処理については、これらの処理順序を逆にしてもよい。また、ステップ104及びステップ105の処理については、これらの処理順序を逆にしてもよい。
一方、ステップ106において、自車両が方向指示器10の指示方向へ進路を変更する可能性があると判断した場合、方向指示器制御装置11は、ステップ105に移行する。即ち、方向指示器10の指示方向への視線の移動が検出された場合、このステップ106の判断に基づいて前記ステップ104でのヨーレートに基づく前記車線変更時の終了判定が無効となり、方向指示動作及びタイマのカウントが継続される。
<方向指示器の作用>
次に、前述のように構成した方向指示器の作用を説明する。
まず、図6(a)に示すように、2車線の道路を走行する車両1が車線変更をする場合を想定する。この場合、方向指示器制御装置11は、道路状態取得装置17から取得した道路状態(この場合、車線数)に基づいて前記方向指示器10の指示方向へ連続して進路を変更する可能性がないと判断する。従って、方向指示器制御装置11は、運転者の視線に基づく有効無効判定を行わない。
通常、操作レバー4は操作中立位置Pに保持されて、左側ターンランプ2a,2b及び右側ターンランプ3a,3bは消灯状態に保たれている。まず、運転者は時刻t0において隣接車線の車両の有無を確認するべく視線を移動させ、時刻t1において操作レバー4を傾動操作する。これにより、方向指示器制御装置11は、ターンランプ2a,2b,3a,3bを通じて方向指示動作を開始する(図6(b)ターンランプ=ON)。車線変更が開始されると、自車両のヨーレートが増加し、直進状態に移行するにつれて前記ヨーレートが減少する。このヨーレートの変化に基づいて、方向指示器制御装置11は、時刻t2において、車線変更時の終了判定条件が成立したと判断する(図6(b)車線変更時の終了判定=ON)。この場合、方向指示器制御装置11は、運転者の視線に基づく有効無効判定を行わない(図6(b)有効無効判定=有効)。従って、時刻t2において車線変更時の終了判定条件が成立したことに基づいて終了判定がなされ(図6(b)終了判定=ON)、方向指示動作が自動終了される(図6(b)ターンランプ=OFF)。
次に、図7(a)に示すように、3車線の道路を走行する車両1が二段階の車線変更をする場合を想定する。この場合、方向指示器制御装置11は、道路状態取得装置17から取得した道路状態(この場合、車線数)に基づいて前記方向指示器10の指示方向へ連続して進路を変更する可能性があると判断する。従って、方向指示器制御装置11は、運転者の視線に基づく有効無効判定を行う。このため、一段階目の車線変更時の終了判定条件が成立した時刻t2移行前記判定期間Tが経過するまでの間は、方向指示動作が継続する。運転者は、二段階目の車線変更を開始するべく、この判定期間Tの間の時刻t3において隣接車線の車両の有無を確認する。従って、このときの撮像画像(この場合、撮像画像G2)から取得した眼球の位置XRと、運転者が前方を向いているときの眼球の位置Xとの間の距離dは、前記閾値αよりも大きくなる。方向指示器制御装置11は、この時刻t3からの運転者の視線に基づいて、終了判定がなされた直後に方向指示器10の指示方向へ自車両が進路を変更する可能性があると判断し、一段階目の車線変更に基づく終了判定を無効とする(図7(b)有効無効判定=無効)。二段階目の車線変更が完了すると、その後、車両1は直進するから、時刻t4において運転者の視線は前方に向けられる。従って、このときの撮像画像(この場合、撮像画像G1)から取得した眼球の位置Xと、運転者が前方を向いているときの眼球の位置Xとの間の距離dは、前記閾値α以下となる。方向指示器制御装置11は、この運転者の視線に基づいて、自車両が方向指示器10の指示方向へ進路を変更する可能性がないと判断し、前記終了判定を有効とする(図7(b)有効無効判定=有効)。これにより、この場合、時刻t4において終了判定がなされ(図7(b)終了判定=ON)、方向指示動作が自動終了される(図7(b)ターンランプ=OFF)。即ち、二段階の車線変更を行う間、方向指示器10の指示動作が継続される。
なお、例えば、3車線の道路を走行する車両1が一段階の車線変更をする場合、一段階目の車線変更が完了すると、その後、車両1は直進するから、時刻t2において、運転者の視線は前方に向けられる。方向指示器制御装置11は、この運転者の視線に基づいて、自車両が方向指示器10の指示方向へ進路を変更する可能性がないと判断し、前記終了判定を有効とする。これにより、終了判定がなされ、方向指示動作が自動終了される。
このように、カメラ16aの撮像画像G1,G2に基づいて運転者の視線を把握することにより、運転者の意図を推定することが可能となり、前記終了判定がなされた直後に自車両が方向指示器10の指示方向へ進路を変更する可能性があるか否かを判断することができる。そして、該可能性があると判断した場合に自車両の走行状態に基づく終了判定を無効にすることにより、運転者の意図に応じて方向指示器10の方向指示動作を的確に継続させることができる。このため、例えば左車線へ車線変更した直後に交差点を左折する場合において、車線変更時の終了判定条件が成立した後も方向指示動作が継続されることとなり、方向指示器10の方向指示動作がむやみに終了されてしまうことが回避できる。よって、このような場合において操作レバー4を車線変更時と左折時とにそれぞれ操作する手間を省くことができる。
なお、本実施の形態では、方向指示器制御装置11は、自車両の前方の道路状態に基づいて、方向指示器10の指示方向へ進路を変更する可能性があると判断された場合にだけ運転者の視線に基づく有効無効判定を行うため、該無効判定はより確実なものとなる。
次に、上記実施の形態の作用効果を以下に記載する。
(1)通常、例えば、隣接する車線へ車線変更する場合や交差点を右左折する場合、運転者は、自車両の進路における車両等の存在の有無を確認するために、進路方向へ視線を向ける。即ち、運転者の視線は、運転者がとろうとする進路方向へ向けられる。このことから、本実施の形態によるように、方向指示器制御装置11は、運転者の視線に基づいて、自車両が方向指示器10の指示方向へ進路を変更する可能性があるか否かを判断することができる。そして、例えば運転者の視線が方向指示器10の指示方向に向けられており、該指示方向へ進路を変更する可能性がある場合、方向指示器10の方向指示動作を継続させる。一方、例えば運転者の視線が前方に向けられており、前記指示方向へ進路を変更する可能性がない場合、方向指示器10の動作を終了させる。このため、方向指示動作の終了判定に運転者の意図が反映される。よって、方向指示器10の動作を運転者の意図に応じた適切なタイミングで終了させることができる。
(2)従来、車両には、本実施の形態のように、車両1の走行状態(方向指示動作を開始した時点からの経過時間、自車両の走行速度、操舵角及びヨーレート等)に基づいて方向指示動作を終了する旨の終了判定を行うものがある。本実施に形態によれば、運転者の視線に基づいて、自車両が方向指示器10の指示方向へ進路を変更する可能性があるか否かが判断される。そして、該可能性がある場合、方向指示器制御装置11は、走行状態に基づく前記終了判定を無効とし、方向指示器10の方向指示動作を継続させる。また、前記可能性がない場合、方向指示器制御装置11は、走行状態に基づく前記終了判定を有効とし、方向指示器10の方向指示動作を終了させる。このため、自車両の走行状態に基づく方向指示動作の終了判定にも運転者の意図が反映される。よって、方向指示器10の動作を、運転者の意図と自車両の走行状態とに応じた適切なタイミングで終了させることができる。
(3)方向指示器制御装置11は、自車両の前方の道路状態に基づいて、方向指示器10の指示方向へ連続して進路を変更する可能性があると判断された場合にだけ運転者の視線に基づく有効無効判定を行うため、方向指示動作の終了判定に道路状態も加味されることとなり、前記終了判定をより確実なものとすることができる。
(4)例えば、一方向へ二段階で車線変更する場合等、同一方向へ段階的に進路を変更するにおいて、自車両の走行状態に基づく終了判定条件によっては、終了判定がなされる前後に運転者の視線が前方に向けられている場合があり、該視線が方向指示器10の指示方向へ向けられていない場合がある。このため、このような場合、方向指示器10の指示方向へさらに進路を変更するという運転者の意図を、終了判定がなされた直後の運転者の視線から読み取ることは難しい。この点、本実施の形態では、自車両の走行状態に基づく終了判定が行われた直後に、運転者の視線に基づいた終了判定の有効無効判定を行うための判定期間Tが設けられる。このため、方向指示動作の終了判定に運転者の意図を確実に反映させることができる。
(5)視線検出ECU16は、方向指示器制御装置11が道路状態に基づいて方向指示器の指示方向へ進路を変更する可能性があると判断した場合にだけ、カメラ16aに駆動電力を供給するため、電力の消耗を好適に抑制することができる。
尚、本実施の形態は、以下のように変更してもよい。
・上記実施の形態では、方向指示器制御装置11は、自車両の走行状態に基づいて方向指示器10の方向指示動作を終了する旨の終了判定を行うようにしたが、このような態様に限定されない。例えば、図5に示したフローチャートのステップ104及びステップ106を省略し、運転者の視線に基づいて、方向指示器10の方向指示動作を継続させるか終了させるか否かを判断するようにしてもよい。なお、この場合、例えば方向指示器10の方向指示動作が検知されている場合において所定時間の間、該指示方向へ進路を変更する旨を示す運転者の視線の移動が検出されたか否かに基づいて、自車両が方向指示器10の指示方向へ進路を変更する可能性があるか否かを判断する。例えば、前記指示方向へ進路を変更する旨を示す運転者の視線の移動が検出された場合、自車両が方向指示器10の指示方向へ進路を変更する可能性があると判断し、方向指示器10の方向指示動作を継続させる。一方、所定時間の間に前記指示方向へ進路を変更する旨を示す運転者の視線の移動が検出されなかった場合、自車両が方向指示器10の指示方向へ進路を変更する可能性がないと判断し、方向指示器10の方向指示動作を終了させる。このような構成によっても、方向指示動作の終了判定に運転者の意図が反映される。
・上記実施の形態では、方向指示器制御装置11は、道路状態に基づいて前記方向指示器10の指示方向へ連続して進路を変更する可能性があると判断した場合、有効無効判定を行うようにしたが、このような態様に限定されず、常に有効無効判定を行うようにしてもよい。
・上記実施の形態では、自車両の走行状態による終了判定がなされた後、有効無効判定を行う判定期間Tを設けたが、該判定期間Tを省略し、終了判定がなされるよりも前の所定期間の間の運転者の視線に基づいて有効無効判定を行うようにしてもよい。なお、この場合、自車両の走行状態に基づく終了判定条件が、車両1が直進状態に移行した後に終了判定がなされるように設定されていることが望ましい。
・上記実施の形態では、方向指示器制御装置11は、道路状態取得装置17から取得した道路状態に基づいて、前記方向指示器10の指示方向へ進路を変更する可能性があると判断した場合、運転者の視線を検出する旨要求する視線検出要求信号Srを、視線検出ECU16に出力するようにしたがこのような態様に限定されない。例えば、方向指示器制御装置11は、ターンランプ2a,2b,3a,3bが点滅している間、即ち方向指示動作を行っている間、運転者の視線を検出する旨要求する視線検出要求信号Srを、視線検出ECU16に出力するようにしてもよい。視線検出ECU16は、視線検出要求信号Srが入力されている間、カメラ16aに駆動電力を供給するようにしてもよい。このような構成によれば、電力の消耗を好適に抑制することができる。なお、この場合、道路状態取得装置17を省略してもよい。
また、視線検出ECU16は、自車両の前方の道路状態にかかわらず、常にカメラ16aに駆動電力を供給するようにしてもよい。なお、例えば運転者の居眠りを防止するために該運転者の頭部を撮像する車載システムのように、運転者の頭部を撮像するカメラが車両1に搭載されている場合は、そのカメラの撮像画像(画像情報)を共有してもよい。
・上記実施の形態では、ヨーレート及び操舵角θの変化に基づいて車線変更時の終了判定を行うようにしたが、このような態様に限定されず何れか一方のみに基づいて終了判定を行うようにしてもよい。
・上記実施の形態では、ステアリングホイールWの操舵角θがキャンセル準備角θ1よりも小さい場合においても終了判定がなされるよう、ステップ104においてヨーレート及び操舵角θの変化を終了判定条件としたが、このような態様に限定されない。例えば、ステアリングホイールWの操舵角θに基づく終了判定条件、即ち右左折時の終了判定条件のみに基づいて方向指示動作の終了判定がなされるようにしてもよい。このような場合においても、例えば交差点を右折若しくは左折した直後に同方向へ右折若しくは左折において、方向指示器を同一方向へ連続して操作する手間を省くことができる。
・上記実施の形態では、視線検出手段としての視線検出ECU16を、終了判定手段としての方向指示器制御装置11とは別に設けたが、これらを一つの制御装置として設けてもよい。また、自車両の走行状態に基づいて方向指示器10の方向指示動作を終了するか否かを判断する終了判定手段としての既存の終了判定ECUと、撮像画像G1,G2に基づいて前記終了判定を無効とするか否かを判断する無効判定ECUとから、方向指示器制御装置を構成してもよい。この場合、例えば終了判定ECUは、無効判定ECUからの前記終了判定を有効とする旨の有効無効判定信号が入力されている間に前記終了判定がなされた場合、方向指示動作を終了させる。
・上記実施の形態では、操作力が解除されると操作中立位置Pへ復帰する自動復帰型の操作レバー4を用いたが、各操作位置PL,PRに保持される構造の操作レバーを用いてもよい。
次に、前記実施形態より把握できる技術的思想について以下に記載する。
(イ)方向指示器制御装置において、前記視線検出手段は、前記運転者の頭部を撮像する撮像手段を備え、前記方向指示動作を行っている間だけ、前記撮像手段に駆動電力を供給すること。本発明によれば、方向指示器が方向指示動作を行っている間だけ撮像手段に駆動電力が供給されるため、電力の消耗を好適に抑制することができる。
(a)は、車両を上から見た場合の概略図、(b)は、ステアリングホイール周辺の概略図。 方向指示器の電気的な構成を示すブロック図。 (a)は運転時の運転者の視線を示す概略図、(b)はそのときのカメラの撮像画像を示す説明図。 (a)は運転時の運転者の視線を示す概略図、(b)はそのときのカメラの撮像画像を示す説明図。 方向指示器の終了判定処理の処理手順を示すフローチャート。 (a)は、自車両の進路を説明するための説明図、(b)は、方向指示器の作用を説明するためのタイミングチャート。 (a)は、自車両の進路を説明するための説明図、(b)は、方向指示器の作用を説明するためのタイミングチャート。
符号の説明
10…方向指示器、11…終了判定手段及び無効判定手段としての方向指示器制御装置、15a…作動状態検出手段としてのターンスイッチ、16…視線検出手段としての視線検出ECU、16a…撮像手段としてのカメラ、17…道路状態取得手段としての道路状態取得装置、H…運転者の頭部、T…判定期間、W…ステアリングホイール、G1,G2…撮像画像。

Claims (3)

  1. 自車両に設けられた方向指示器の作動状態を制御する方向指示器制御装置であって、
    前記方向指示器の作動状態を検出する作動状態検出手段と、
    撮像手段によって撮像された前記自車両の運転者の頭部の撮像画像から前記運転者の視線を検出する視線検出手段とを備え、
    前記作動状態検出手段により前記方向指示器の方向指示動作が検出される場合に、前記視線検出手段を通じて検出される運転者の視線に基づいて、前記自車両が前記方向指示器の指示方向へ進路を変更する可能性があるか否かを判断し、該可能性があると判断した場合、前記方向指示器の方向指示動作を継続させ、前記可能性がないと判断した場合、前記方向指示器の方向指示動作を終了させるにあたり、
    前記作動状態検出手段により前記方向指示器の方向指示動作が検出される場合に、前記自車両の走行状態に基づいて前記方向指示動作を終了する旨の終了判定を行う終了判定手段を備え、
    前記作動状態検出手段により前記方向指示器の方向指示動作が検出される場合に、前記終了判定手段による終了判定がなされた直後に前記自車両が前記方向指示器の指示方向へ進路を変更する可能性があるか否かを、前記運転者の視線に基づいて判断し、該可能性があると判断した場合、前記終了判定手段による前記終了判定を無効にして前記方向指示動作を継続させるとともに、前記可能性がないと判断した場合、前記終了判定を有効にして前記方向指示動作を終了させる有効無効判定を行うことを特徴とする方向指示器制御装置。
  2. 前記自車両の前方の道路状態を取得する道路状態取得手段を備え、
    前記道路状態に基づいて、前記方向指示器の指示方向へ連続して進路を変更する可能性があるか否かを判断し、該可能性があると判断した場合、前記運転者の視線に基づく前記有効無効判定を行うことを特徴とする請求項に記載の方向指示器制御装置。
  3. 前記道路状態に基づいて連続して進路を変更する可能性があると判断した場合、前記自車両の走行状態に基づく終了判定が行われた直後に、前記運転者の視線に基づいた前記終了判定の有効無効判定を行うための判定期間を設けることを特徴とする請求項に記載の方向指示器制御装置。
JP2008185002A 2008-07-16 2008-07-16 方向指示器制御装置 Expired - Fee Related JP5280762B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008185002A JP5280762B2 (ja) 2008-07-16 2008-07-16 方向指示器制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008185002A JP5280762B2 (ja) 2008-07-16 2008-07-16 方向指示器制御装置

Publications (2)

Publication Number Publication Date
JP2010023583A JP2010023583A (ja) 2010-02-04
JP5280762B2 true JP5280762B2 (ja) 2013-09-04

Family

ID=41729813

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008185002A Expired - Fee Related JP5280762B2 (ja) 2008-07-16 2008-07-16 方向指示器制御装置

Country Status (1)

Country Link
JP (1) JP5280762B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107323338B (zh) * 2017-07-03 2020-04-03 北京汽车研究总院有限公司 车用转向灯控制系统、控制方法及车辆
CN109343519B (zh) * 2018-09-14 2024-05-28 济源维恩科技开发有限公司 视线引导车辆自动驾驶系统
CN113085721A (zh) * 2021-05-18 2021-07-09 南京林业大学 一种基于驾驶员视觉信息的车辆控制系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3228086B2 (ja) * 1995-09-11 2001-11-12 三菱自動車工業株式会社 運転操作補助装置
JP2007223382A (ja) * 2006-02-21 2007-09-06 Toyota Motor Corp 車両用方向指示器制御装置

Also Published As

Publication number Publication date
JP2010023583A (ja) 2010-02-04

Similar Documents

Publication Publication Date Title
JP6517161B2 (ja) 走行制御装置
JP6305484B2 (ja) 車両制御装置
US9505436B2 (en) Parking assist system
JP6323470B2 (ja) 車両制御システム
JP2010018184A (ja) 方向指示器制御装置
JP6948559B2 (ja) 運転者監視装置、及び運転者監視方法
JP4687395B2 (ja) 駐車制御装置
JP6400215B2 (ja) 車両制御装置及び車両制御方法
JP6610896B2 (ja) 車両の運転支援装置
WO2018223890A1 (zh) 一种车辆自动换道控制方法和装置
JP2018203119A (ja) 操舵支援装置
JP2011046335A (ja) 駐車支援装置及び方法
RU2746553C1 (ru) Способ для управления указателем поворота и устройство для управления указателем поворота
JP2019034575A (ja) 運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法
JP2017054343A (ja) 挙動検出装置
JP2017058761A (ja) 運転支援装置及び運転支援プログラム
JP2018188063A (ja) 運転支援装置および運転支援方法
CN116605136B (zh) 车辆用警报装置
JP2001151137A (ja) 車両用操舵支援装置
JP4801038B2 (ja) ターンシグナル制御装置
JP5280762B2 (ja) 方向指示器制御装置
JP5254687B2 (ja) 方向指示器制御装置
JP5569678B2 (ja) ヘッドランプ配光制御装置
WO2017208795A1 (ja) 安全運転支援装置及び安全運転支援プログラム
KR20200069035A (ko) 전조등 제어기, 이를 포함하는 차량용 조명 시스템, 및 전조등의 조사각을 제어하는 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110325

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130409

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130523

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5280762

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees