Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7059566B2 - 車両用警報装置 - Google Patents
[go: Go Back, main page]

JP7059566B2 - 車両用警報装置 - Google Patents

車両用警報装置 Download PDF

Info

Publication number
JP7059566B2
JP7059566B2 JP2017206281A JP2017206281A JP7059566B2 JP 7059566 B2 JP7059566 B2 JP 7059566B2 JP 2017206281 A JP2017206281 A JP 2017206281A JP 2017206281 A JP2017206281 A JP 2017206281A JP 7059566 B2 JP7059566 B2 JP 7059566B2
Authority
JP
Japan
Prior art keywords
vehicle
unit
driver
alarm
sunshine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017206281A
Other languages
English (en)
Other versions
JP2019079328A (ja
Inventor
由歌 草刈
真由美 岩男
茂 滝波
和彦 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Isuzu Motors Ltd
Original Assignee
Isuzu Motors Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isuzu Motors Ltd filed Critical Isuzu Motors Ltd
Priority to JP2017206281A priority Critical patent/JP7059566B2/ja
Publication of JP2019079328A publication Critical patent/JP2019079328A/ja
Application granted granted Critical
Publication of JP7059566B2 publication Critical patent/JP7059566B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Description

本開示は、車両用警報装置に関する。
車両用の警報装置は種々提案されている。特許文献1には、車両の周囲を監視し、自車両に衝突する可能性のある障害物を検知し、警報を出す技術が開示されている。
特開2007-038954号公報
上記のような技術においては、警報を出力すべきと判定された場合、運転者に警報が通知される。警報は運転者の注意を喚起するためのものである。したがって、車両を運転中の運転者の意識を向けさせるために、音や振動を運転者に提示したり、表示部にメッセージを提示したりすることが行われる。
運転者に注意喚起すべきときにこれらの警報が通知されることは有用である。しかしながら、誤判定によって注意喚起の必要がないときに警報が通知されると、車両を運転中の運転者の集中力を乱しかねない。
本開示はこれらの点に鑑みてなされたものであり、運転状態に関する誤判定に基づく警報の通知を抑制する技術を提供することを目的とする。
本開示のある態様は、車両用警報装置である。この装置は、車両の運転者を撮像する撮像部と、前記車両の位置を示す位置情報及び進行方向を検出する座標検出部と、前記撮像部が撮像した映像を解析して前記運転者による前記車両の運転状態の適否を判定する適否判定部と、日時、位置情報、及び日照方向を対応付けて格納する日照データベースを参照して、日照方向を取得する日照方向取得部と、前記運転者の運転状態が不適と判定された場合、前記車両の進行方向と前記車両の位置における前記日照方向とが所定の関係を満たすことを条件として警報を通知する警報部と、を備える。
前記警報部は、前記車両の進行方向が日照方向に対向する方向でないことを条件として警報を通知してもよい。
前記車両用警報装置は、前記車両を構成する車体の3次元データを格納する車体データベースを参照して、太陽の光が前記車両の運転手の顔又は前記撮像部の少なくとも一部に照射されるか否かを判定する照射判定部をさらに備えてもよく、前記警報部は、太陽の光が前記車両の運転手の顔又は前記撮像部の少なくとも一部に照射されていないことを条件として警報を通知してもよい。
前記車両用警報装置は、前記車両の位置における天候を取得する天候取得部をさらに備えてもよく、前記警報部は、前記運転者の運転状態が不適と判定された場合において、前記車両の進行方向と前記車両の位置における前記日照方向とが所定の関係を満たしていない場合であっても、前記天候が晴れでないときは警報を通知してもよい。
本開示によれば、運転状態に関する誤判定に基づく警報の通知を抑制することができる。
実施の形態に係る車両用警報装置の概要を説明するための模式図である。 実施の形態に係る車両用警報装置を模式的に示す図である。 実施の形態に係る日照方向データベースのデータ構造を模式的に示す図である。 実施の形態に係る車体データベースに格納されている情報の一部を説明するための図である。 実施の形態に係る車両用警報装置が実行する警報通知処理の流れを説明するためのフローチャートである。
<実施の形態の概要>
図1を参照して、実施の形態に係る車両用警報装置1の概要を述べる。
図1は、実施の形態に係る車両用警報装置1の概要を説明するための模式図である。図1に示す例では、車両用警報装置1は運転者Dが運転する車両Vに搭載されている。車両Vは、車両用警報装置1の一部として、撮像部2及び位置情報取得部3も備えている。
撮像部2は、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子であり、車両Vの運転者Dを撮像する。車両用警報装置1は、撮像部2が撮像した映像を解析することによって得られた運転者Dの運転姿勢や運転者Dの目の開き具合を示す開眼度に基づいて、運転者Dによる車両Vの運転状態の適否を判定する。
ここで、「運転者Dによる車両Vの運転状態」とは、運転者Dが車両Vを正常に走行させることができるか否かを示す運転者Dの状態を意味する。例えば、運転者Dが心疾患や脳梗塞等が原因で運転不能となりうずくまっているような場合には、運転者Dは車両Vを正常に走行させることができないので、運転状態は「不適」といえる。また、運転者Dの目が閉じている場合にも、不適といえる。
車両用警報装置1は、光学撮像素子である撮像部2が撮像した映像に基づいて運転者Dによる車両Vの運転状態を解析する。このため、撮像部2による運転者Dの撮像条件によっては、運転状態の解析に支障をきたすことも起こり得る。具体的には、運転者D又は撮像部2に直射日光が当たっているような場合である。
図1において、破線の矢印A1は、日照方向を示す。また、破線の矢印A2は、車両Vの進行方向を示す。図1に示す例では、車両Vの進行方向が太陽と対抗しており、かつ矢印A1と矢印A2とが成す角αが小さいため、運転者Dに日光が直撃している様子を示している。このような場合、撮像部2が自動露出機能を備えていても撮像素子が飽和してしまうことにより、撮像部2は適切な映像を生成できない場合がある。撮像部2の画角に太陽が入る場合も同様である。この結果、運転者Dによる車両Vの運転状態が適切であっても、車両用警報装置1は不適と誤判定することも起こり得る。
そこで、実施の形態に係る車両用警報装置1は、運転者Dの運転状態が不適と判定した場合には、車両Vの進行方向と車両Vの存在位置における日照方向とが所定の関係を満たすことを条件として、警報を通知する。なお、車両Vの存在位置は位置情報取得部3が取得する。位置情報取得部3は、例えば既知のGPS(Global Positioning System)である。また、「所定の関係」とは、例えば太陽の光が車両Vの運転者Dの顔又は撮像部2の少なくとも一部に照射されないための矢印A1と矢印A2とが満たすべき関係である。これにより、実施の形態に係る車両用警報装置1は、運転状態に関する誤判定に基づく警報の通知を抑制することができる。
<車両用警報装置1の機能構成>
以下、実施の形態に係る車両用警報装置1の機能構成について説明する。
図2は、実施の形態に係る車両用警報装置1を模式的に示す図である。実施の形態に係る車両用警報装置1は、撮像部2、位置情報取得部3、記憶部4、及び制御部5を備える。
撮像部2は、車両Vの運転者Dを撮像する。位置情報取得部3は、車両Vの位置を示す位置情報を取得する。記憶部4は、HDD(Hard Disc Drive)やSSD(Solid State Drive)等の不揮発性記憶装置、及びDRAM(Dynamic Random Access Memory)等の一時記憶部を含む。不揮発性記憶装置は、実施の形態に係る車両用警報装置1を実現するための各種プログラム及びデータベースの格納部として機能する。一時記憶部は、制御部5の作業メモリとして機能する。
制御部5は、車両VのECU(Electronic Control Unit)等のプロセッサである。制御部5は、記憶部4に格納されているプログラムを実行することにより、座標検出部51、日照方向取得部52、警報部53、照射判定部54、及び天候取得部55として機能する。
適否判定部50は、撮像部2が撮像した映像を解析することにより、運転者Dによる車両Vの運転状態の適否を判定する。具体的には、適否判定部50は、既知の画像認識技術を用いることによって運転者Dの運転姿勢や運転者Dの目の開眼度を取得することにより、運転者Dの運転状態の適否を判定する。
座標検出部51は、位置情報取得部3から車両Vの位置を示す位置情報を取得する。座標検出部51は、取得した位置情報の時間変化から、車両Vの進行方向を検出する。日照方向取得部52は、日時、位置情報、及び日照方向を対応付けて格納する日照データベースを参照して、日照方向を取得する。
図3は、実施の形態に係る日照方向データベースのデータ構造を模式的に示す図である。日照方向データベースは記憶部4に格納され、日照方向取得部52によって管理される。図3に示すように、日照方向データベースは、日付を単位として日照方向のデータがまとめられている。図3に示す例では、2017年6月19日の日照方向のデータが図示されている。
より具体的には、日照方向データベースは、各日付において、緯度と経度との組み合わせ毎に、太陽の高度及び方位がまとめられている。日照方向取得部52は、日付、緯度、及び経度を指定して日照方向データベースを参照することにより、例えば30分毎の太陽の高度及び方位を取得することができる。
警報部53は、適否判定部50によって運転者Dの運転状態が不適と判定された場合、車両Vの進行方向と車両Vの位置における日照方向とが所定の関係を満たすことを条件として、警報を通知する。これにより、実施の形態に係る車両用警報装置1は、運転状態に関する誤判定に基づく警報の通知を抑制することができる。
所定の条件の一例として、警報部53は、車両Vの進行方向が日照方向に対向する方向でないことを条件として警報を通知してもよい。車両Vの進行方向が日照方向に対向する方向である場合には、車両Vの顔に直射日光が当たる蓋然性が高く、適否判定部50による運転者Dの運転状態の判定に影響を及ぼす可能性があるからである。これにより、警報部53は、適否判定部50による運転者Dの運転状態の誤判定に基づく警報の通知を抑制することができる。
所定の条件の別の例として、警報部53は、太陽の光が車両Vの運転者Dの顔又は撮像部2の少なくとも一部に照射されていないことを条件として、警報を通知してもよい。この場合、まず、照射判定部54が、車両Vを構成する車体の3次元データを格納する車体データベースを参照して、太陽の光が車両Vの運転者Dの顔又は撮像部2の少なくとも一部に照射されるか否かを判定する。
図4は、実施の形態に係る車体データベースに格納されている情報の一部を説明するための図である。車体データベースは記憶部4に格納され、照射判定部54によって管理される。車体データベースには、車両Vの設計データであるCAD(Computer-Aided Design)データも含まれており、照射判定部54は、CADデータに基づいて車両Vの3次元的な形状を構築することができる。
図4に示すように、車体データベースには、運転者Dが車両Vの運転席に着座したときに、路面から運転者Dの目までの距離Hが格納されている。また、車体データベースには、運転者Dが車両Vの運転席に着座したときに、運転者Dが車体に遮蔽されずにウィンドシールドWを通して見上げることができる角度の最大値である最大仰角βも格納されている。さらに、車体データベースには、運転者Dが車両Vの運転席に着座したときに、運転者Dが車体に遮蔽されずにウィンドシールドWを通して見下ろすことができる角度の最大値である最大俯角γも格納されている。
照射判定部54は、車両Vの進行方向と日照方向とが成す仰俯角が、図4に示すβとγとで形成される角度の範囲内となるとき、太陽の光が車両Vの運転者Dの顔又は撮像部2の少なくとも一部に照射されると判定する。換言すると、照射判定部54は、車両Vの進行方向と日照方向とが成す仰俯角が、図4に示すβとγとで形成される角度の範囲から外れるとき、太陽の光が車両Vの運転者Dの顔又は撮像部2の少なくとも一部に照射されないと判定する。照射判定部54は、車両Vの設計データに基づいて太陽の光が車両Vの運転者Dの顔又は撮像部2の少なくとも一部に照射されるか否かを判定するので、判定精度を高めることができる。
以上、車両用警報装置1が、日照方向と車両Vの進行方向とに基づいて、車両Vの運転者Dの顔又は撮像部2に日光が直射されるか否かを判定する場合について説明した。ここで、日照方向は日時及び車両Vの存在位置から計算によって求められた情報であり、車両Vの走行時に実際に車両Vに直射日光が当たることを保証するものではない。例えば、計算上は車両Vに直射日光が当たる場合であっても、天候が悪い場合には雲等によって遮蔽されて直射日光が車両Vに到達しないことも考えられる。
そこで、天候取得部55は、車両Vの位置における天候を取得する。具体的には、天候取得部55は、図示しない無線機器を介してインターネット等のネットワークから天候情報を取得してもよい。これに替えて、あるいはこれに加えて、天候取得部55は、車両Vの図示しないウィンドシールドワイパーの動作情報を取得し、ウィンドシールドワイパーが作動しているときは、雨天であると判定してもよい。
警報部53は、運転者Dの運転状態が不適と判定された場合において、車両Vの進行方向と車両Vの位置における日照方向とが所定の関係を満たしていない場合であっても、車両Vの走行位置における天候が晴れでないときは警報を通知する。天候が晴れでない場合には、車両Vの運転者Dの顔又は撮像部2に日光が直射されず、その影響によって適否判定部50が運転者Dの運転状態の誤判定する蓋然性は低いからである。これにより、車両用警報装置1は、直射日光の影響による運転状態の誤判定の抑制と、警報通知による運転者Dへの注意喚起とを両立することができる。
<車両用警報装置1が実行する警報通知処理の処理フロー>
図5は、実施の形態に係る車両用警報装置1が実行する警報通知処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば車両Vのエンジンが始動したときに開始する。
撮像部2は、車両Vの運転者Dを被写体に含む映像を撮像する(S2)。適否判定部50は、撮像部2が撮像した映像を解析して運転者Dによる車両Vの運転状態を判定する(S4)。位置情報取得部3は、車両Vの存在位置を示す位置情報を取得する(S6)。
日照方向取得部52は、日時、位置情報、及び日照方向を対応付けて格納する日照データベースを参照して、車両Vの位置及び走行日時における日照方向を取得する(S8)。適否判定部50による運転者Dの運転状態が不適の場合(S10のYes)、警報部53は、車両Vの進行方向と車両Vの位置における日照方向との関係を取得する(S12)。
車両Vの進行方向と車両Vの位置における日照方向とが所定の関係を満たす場合(S14のYes)、天候取得部55は、車両Vの走行位置における天候を取得する(S16)。車両Vの走行位置における天候が晴れでない場合(S18のNo)、警報部53は、警報を通知する(S20)。
運転者Dの運転状態が適切であるか(S10のNo)、車両Vの進行方向と車両Vの位置における日照方向とが所定の関係を満たさないか(S14のNo)、又は車両Vの走行位置における天候が晴れである場合(S18のYes)、警報部53は警報を通知することなく、本フローチャートにおける処理は終了する。車両用警報装置1は、上述の処理を繰り返すことにより、警報通知処理を継続する。
<車両用警報装置1が奏する効果>
以上説明したように、実施の形態に係る車両用警報装置1によれば、運転状態に関する誤判定に基づく警報の通知を抑制することができる。特に、車両用警報装置1は、映像を解析することによって運転状態を判定する。このため、車両用警報装置1は、運転状態の判定に影響を及ぼしかねない日光の直射が懸念される場合に警報を止めることにより、誤判定に基づく警報の通知を抑制することができる。
また、車両用警報装置1は、計算上は日光の直射が懸念される場合であっても、天候が晴れでない場合には、警報を通知する。これにより、車両用警報装置1は、誤判定に基づく警報の抑制と、本来の警報装置としての目的とを両立させることができる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。
<変形例>
上記では、車両用警報装置1は、車両Vの進行方向と日照方向との関係に基づいて警報を抑制する場合について説明した。ここで、車両Vの進行方向は車両Vが走行する道路の形状によって変動しうる。例えば、車両Vが高速道路等の自動車専用道路を走行している場合は、市街地等を走行している場合と比較して、進行方向の変動は緩やかであると考えられる。
そこで、警報部53は、車両Vの進行方向の変動が、進行方向の変動に関する所定の条件を満たす場合には、警報を抑制してもよい。ここで「進行方向の変動に関する所定の条件」とは、警報部53が警報を抑制するか否かを決定するために参照する警報抑制基準条件の一つである。
具体的には、警報部53は、車両Vが自動車専用道路を走行している場合には、警報を抑制する。警報部53は、座標検出部51が取得した位置座標に基づいて図示しない道路データベースを参照することにより、車両Vが自動車専用道路を走行しているか否かを決定することができる。
車両Vが自動車専用道路以外の市街地等を走行している場合には、車両Vの進行方向の変動が大きいため、仮に運転者Dや撮像部2に直射日光が当たる条件を満たす場合であっても、短時間で条件を満足しなくなる蓋然性が高い。そこで、運転者Dや撮像部2に直射日光が当たる条件が維持されやすい道路、すなわち、直線道路が多い自動車専用道路を車両Vが走行中であることを条件として、警報部53は警報を抑制する。これにより、車両用警報装置1は、誤判定に基づく警報の抑制と、本来の警報装置としての目的とを両立させることができる。
1・・・車両用警報装置
2・・・撮像部
3・・・位置情報取得部
4・・・記憶部
5・・・制御部
50・・・適否判定部
51・・・座標検出部
52・・・日照方向取得部
53・・・警報部
54・・・照射判定部
55・・・天候取得部
V・・・車両
W・・・ウィンドシールド

Claims (3)

  1. 車両の運転者を撮像する撮像部と、
    前記車両の位置を示す位置情報及び進行方向を検出する座標検出部と、
    前記撮像部が撮像した映像を解析して前記運転者による前記車両の運転状態の適否を判定する適否判定部と、
    日時、位置情報、及び日照方向を対応付けて格納する日照データベースを参照して、日照方向を取得する日照方向取得部と、
    前記運転者の運転状態が不適と判定された場合、前記車両の進行方向が日照方向に対向する方向でないことを条件として警報を通知するとともに、前記車両の進行方向が日照方向に対向する方向であっても前記車両が自動車専用道路以外を走行している場合は警報を通知する警報部と、
    を備える車両用警報装置。
  2. 前記車両を構成する車体の3次元データを格納する車体データベースを参照して、太陽の光が前記車両の運転手の顔又は前記撮像部の少なくとも一部に照射されるか否かを判定する照射判定部をさらに備え、
    前記警報部は、太陽の光が前記車両の運転手の顔又は前記撮像部の少なくとも一部に照射されていないことを条件として警報を通知する、
    請求項に記載の車両用警報装置。
  3. 前記車両の位置における天候を取得する天候取得部をさらに備え、
    前記警報部は、前記運転者の運転状態が不適と判定された場合において、前記車両の進行方向と前記車両の位置における前記日照方向とが所定の関係を満たしていない場合であっても、前記天候が晴れでないときは警報を通知する、
    請求項1又は2に記載の車両用警報装置。
JP2017206281A 2017-10-25 2017-10-25 車両用警報装置 Active JP7059566B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017206281A JP7059566B2 (ja) 2017-10-25 2017-10-25 車両用警報装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017206281A JP7059566B2 (ja) 2017-10-25 2017-10-25 車両用警報装置

Publications (2)

Publication Number Publication Date
JP2019079328A JP2019079328A (ja) 2019-05-23
JP7059566B2 true JP7059566B2 (ja) 2022-04-26

Family

ID=66627865

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017206281A Active JP7059566B2 (ja) 2017-10-25 2017-10-25 車両用警報装置

Country Status (1)

Country Link
JP (1) JP7059566B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7318475B2 (ja) 2019-10-10 2023-08-01 マツダ株式会社 運転者状態判定装置
JP7459633B2 (ja) 2020-04-13 2024-04-02 マツダ株式会社 ドライバ異常判定装置
CN116278661A (zh) * 2021-12-20 2023-06-23 博泰车联网(南京)有限公司 一种车辆参数调节方法、装置、设备、介质及一种车辆

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008089570A (ja) 2006-09-07 2008-04-17 Denso Corp 経路通知装置
JP2014203186A (ja) 2013-04-03 2014-10-27 株式会社デンソー 監視システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008089570A (ja) 2006-09-07 2008-04-17 Denso Corp 経路通知装置
JP2014203186A (ja) 2013-04-03 2014-10-27 株式会社デンソー 監視システム

Also Published As

Publication number Publication date
JP2019079328A (ja) 2019-05-23

Similar Documents

Publication Publication Date Title
US20230063930A1 (en) Vehicle recording device and information recording method
CN112740301B (zh) 车辆用监视装置
US10421436B2 (en) Systems and methods for surveillance of a vehicle using camera images
CN114763190A (zh) 用于摩托车的障碍物检测和通知
US20170174129A1 (en) Vehicular visual information system and method
US11267478B2 (en) Vehicle monitoring device
JP7059566B2 (ja) 車両用警報装置
JP2021157291A (ja) 車両用表示制御装置、表示制御方法、およびプログラム
US20230134302A1 (en) Vehicle sensor occlusion detection
US11814043B2 (en) Automotive analytics technology to provide synergistic collision safety
CN111507162A (zh) 基于车辆间通信的协作的盲点警告方法及装置
US20210099664A1 (en) Digital video recorder privacy
JP2020052827A (ja) 乗員モデリング装置、乗員モデリング方法および乗員モデリングプログラム
JP2016092614A (ja) 車載カメラシステム
JP2023147200A (ja) 危険通知方法及び実装するためのシステム
JP2024045531A (ja) 情報処理装置、サーバ装置、情報処理方法、及びプログラム
JP6712825B2 (ja) ナビゲーションシステム、乗員監視装置、情報端末装置、サーバ、およびナビゲーション用プログラム
US11676397B2 (en) System and method for detecting an object collision
JP7715120B2 (ja) 異常検知装置、異常検知方法及び異常検知用コンピュータプログラム
CN112740300B (zh) 车辆用监视装置
US20240400076A1 (en) System and Method for Geolocated In-Vehicle False Alarm Filtering and Proactive True Alarm Early Warning
JP7163578B2 (ja) 運転状態判定装置及び運転状態判定方法
Kumarasamy et al. Rider assistance system with an active safety mechanism
JP2020071594A (ja) 履歴蓄積装置、及び履歴蓄積プログラム
JP2024112485A (ja) 異常検知装置、異常検知方法及び異常検知用コンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201001

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220328

R150 Certificate of patent or registration of utility model

Ref document number: 7059566

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150