JP6435658B2 - Drive recorder and program for drive recorder - Google Patents
Drive recorder and program for drive recorder Download PDFInfo
- Publication number
- JP6435658B2 JP6435658B2 JP2014127557A JP2014127557A JP6435658B2 JP 6435658 B2 JP6435658 B2 JP 6435658B2 JP 2014127557 A JP2014127557 A JP 2014127557A JP 2014127557 A JP2014127557 A JP 2014127557A JP 6435658 B2 JP6435658 B2 JP 6435658B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- vehicle
- camera
- drive recorder
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、ドライブレコーダーおよびドライブレコーダー用のプログラムに関するものである。 The present invention relates to a drive recorder and a program for the drive recorder.
従来のドライブレコーダーは、加速度等についての記録条件が成立した場合に、カメラで撮影された映像を保存するようになっている(例えば、特許文献1参照)。 A conventional drive recorder stores an image captured by a camera when a recording condition for acceleration or the like is satisfied (see, for example, Patent Document 1).
従来のドライブレコーダーは、自車両が事故に遭遇した場合に映像を記録することを目的としているので、上記のような作動となっているが、自車両付近で他車両の事故に遭遇してしまったような状況では、ドライブレコーダーに映像を記録することが難しいという問題がある。 The conventional drive recorder is designed to record video when the host vehicle encounters an accident, so it operates as described above, but it has encountered an accident with another vehicle near the host vehicle. Under such circumstances, there is a problem that it is difficult to record video on a drive recorder.
本発明は上記問題点に鑑み、自車両付近で他車両の事故に遭遇してしまったような状況でも容易に映像を記録できるドライブレコーダーを提供することを目的とする。 In view of the above problems, an object of the present invention is to provide a drive recorder that can easily record an image even in a situation where an accident of another vehicle is encountered in the vicinity of the host vehicle.
上記目的を達成するための請求項1に記載の発明は、車両用のドライブレコーダーであって、カメラ(11)が撮影した映像を、加速度センサ(12)の検出結果に応じて記録装置(17)に保存する第1保存手段(230)と、前記カメラが撮影した映像を、音声入力装置(19)に所定の音声が入力されたことに基づいて前記記録装置に保存する第2保存手段(135)と、を備え、前記カメラが撮影した映像を前記第2保存手段が保存中に、前記加速度センサが基準値以上の加速度を検出したことに基づいて前記第1保存手段は、前記カメラが撮影した映像を前記記録装置に保存し始めることを特徴とするたドライブレコーダーである。 The invention described in claim 1 for achieving the above object is a drive recorder for a vehicle, wherein an image taken by a camera (11) is recorded according to a detection result of an acceleration sensor (12). And a second storage unit (230) for storing video captured by the camera in the recording device based on the input of predetermined audio to the audio input device (19). 135), and when the second storage means stores the video imaged by the camera, the first storage means detects the acceleration that is equal to or higher than a reference value. According to another aspect of the present invention, there is provided a drive recorder characterized by starting to store captured images in the recording device .
このように、ドライブレコーダーは、加速度センサ(12)の検出結果に応じて映像を保存する第1保存手段に加え、音声入力装置に所定の音声が入力されたことに基づいて映像を保存する第2保存手段を有するので、自車両付近で他車両の事故に遭遇してしまったような状況では、所定の音声を音声入力装置に入力するだけで、容易に映像を記録できる。 As described above, the drive recorder stores the video based on the input of the predetermined sound to the audio input device in addition to the first storage unit that stores the video according to the detection result of the acceleration sensor (12). Since it has 2 storage means, in a situation where an accident of another vehicle has been encountered in the vicinity of the host vehicle, a video can be easily recorded simply by inputting a predetermined voice to the voice input device.
また、請求項6に記載の発明は、車両用のドライブレコーダー(1)に用いるプログラムであって、前記ドライブレコーダーの制御部(21)を、カメラ(11)が撮影した映像を、加速度センサ(12)の検出結果に応じて記録装置(17)に保存する第1保存手段(230)、および前記カメラが撮影した映像を、音声入力装置(19)に所定の音声が入力されたことに基づいて前記記録装置に保存する第2保存手段(135)として機能させ、前記カメラが撮影した映像を前記第2保存手段が保存中に、前記加速度センサが基準値以上の加速度を検出したことに基づいて前記第1保存手段は、前記カメラが撮影した映像を前記記録装置に保存し始めることを特徴とするプログラムである。
このように、本発明の特徴は、プログラムとしても捉えることができる。
According to a sixth aspect of the present invention, there is provided a program for use in a vehicle drive recorder (1), wherein a control unit (21) of the drive recorder uses an acceleration sensor ( The first storage means (230) for storing in the recording device (17) according to the detection result of 12) and the video captured by the camera based on the input of a predetermined sound to the audio input device (19) Based on the fact that the acceleration sensor detects an acceleration equal to or higher than a reference value while the second storage unit stores the video imaged by the camera. The first storage means is a program characterized by starting to store the video imaged by the camera in the recording device .
As described above, the features of the present invention can be understood as a program.
なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。 In addition, the code | symbol in the bracket | parenthesis in the said and the claim shows the correspondence of the term described in the claim, and the concrete thing etc. which illustrate the said term described in embodiment mentioned later. .
以下、本発明の一実施形態について説明する。本実施形態において車両に搭載される車載システムは、図1に示す通り、ドライブレコーダー1、カメラ11、加速度センサ12、内部メモリ13、GPSアンテナ14、車速センサ15、表示装置16、記録装置17、スピーカ18、マイク19を有している。また、ドライブレコーダー1は音声認識部20および制御部21を有している。
Hereinafter, an embodiment of the present invention will be described. As shown in FIG. 1, the in-vehicle system mounted on the vehicle in this embodiment includes a drive recorder 1, a
カメラ11は、車両の車体またはドライブレコーダー1に固定され、車両の前端部および車両の前方を所定のフレームレート(例えば30フレーム/秒)で撮影して逐次制御部21に出力する。
The
加速度センサ12は、車両の車体またはドライブレコーダー1に固定され、自機にかかる加速度を示す加速度検出信号を常時ドライブレコーダー1に出力する。また加速度センサ12は、自機にかかる加速度が所定値を超えたときに、割り込み信号を制御部21に出力する。
The
内部メモリ13は、カメラ11が撮影した映像等のデータを一時保存するためのメモリ(例えば揮発性メモリ)であり、ドライブレコーダー1以外の車載装置の内部に設けられている。あるいは、内部メモリ13は、ドライブレコーダー1の内部に設けられていてもよい。
The
GPSアンテナ14は、車両の車体またはドライブレコーダー1に固定され、GPS衛星から送信される信号に応じて、現在時刻(絶対時刻)、自機の現在位置、移動速度の情報を取得して制御部21に出力する装置である。
The
車速センサ15は、車両の車体に固定され、車速に応じた車速信号を制御部21に常時出力する。表示装置16は、車両の車体またはドライブレコーダー1に固定され、車両内のユーザに画像を表示する画像表示装置である。
The
記録装置17は、カメラ11が撮影した映像等のデータを長期保存するための不揮発性メモリ(例えばフラッシュメモリ)であり、ドライブレコーダー1以外の車載装置の内部に設けられている。あるいは、記録装置17は、ドライブレコーダー1の内部に設けられていてもよい。
The
スピーカ18(音声出力装置)は、車両の車体またはドライブレコーダー1に固定され、制御部21のからの制御に応じた音声を出力する装置である。マイク19(音声入力装置の一例に相当する)は、車両の車体またはドライブレコーダー1に固定されることで車室内に配置され、車室内の音声に応じた音声信号を制御部21に出力する。
The speaker 18 (sound output device) is a device that is fixed to the vehicle body or the drive recorder 1 and outputs sound according to control from the
音声認識部20は、マイク19に入力されて内部メモリ13に記録された音声に対して周知の音声認識を行い、その認識結果を制御部21に出力する装置である。制御部21は、CPU、RAM、ROM等を備えた周知のマイクロコンピュータである。制御部21はCPUがROMに記録されているプログラムを実行することで、後述する事前取り込み処理、メイン処理、および割り込み処理を実現するようになっている。
The
以下、上記のような車載システムの作動について説明する。ドライブレコーダー1の制御部21は、図2〜図5に示す割り込み処理を実行するようになっている。より具体的には、制御部21は、車両の主電源(例えばIG)がオンになると、図2に示すメイン処理を開始し、まずステップ110を実行した後、ステップ120、130を繰り返し実行する。そして、ステップ120では図3に示すような処理を実行し、ステップ130では図4に示すような処理を実行する。また制御部21は、図2のメイン処理の実行中、加速度センサ12から制御部21への割り込み信号が発生すると、図2のメイン処理を中断して図5の割り込み処理を実行し、図5の割り込み処理が終了した後に図2のメイン処理を再開するようになっている。
Hereinafter, the operation of the above-described in-vehicle system will be described. The
また、制御部21は、車両の主電源(例えばIG)がオンの間、図2のメイン処理と同時並行的に、事前取り込み処理を行っている。事前取り込み処理では、制御部21は、カメラ11のフレームレートに同期して、すなわち、フレームレートが30フレーム/秒なら1秒間に30回、内部メモリ13に必要データを保存する。必要データは、カメラ11から取得した車両の前端部および車両の前方の最新の映像、GPSアンテナ14から取得した現在時刻および現在位置、車速センサ15から取得した現在の車速、並びに、マイク19から取得した最新の音声を含む。また制御部21は、事前取り込み処理では、内部メモリ13に保存した必要データのうち、保存した時点から所定の先行保存時間(例えば15秒)だけ経過した必要データを削除する。つまり、制御部21は、事前取り込み処理において、現在から先行保存時間分だけ遡った期間分の必要データを、内部メモリ13に保持する。
Moreover, the
以下、制御部21の上記各処理について詳細に説明する。制御部21は、車両の主電源がオンになると、図2のメイン処理を開始し、まずステップ110で、加速度センサ12に対して設定を行う。具体的には、加速度センサ12が制御部21に対して割り込み信号を出力するか否かを判断するための基準となる閾値を、加速度センサ12に出力する。この閾値は、ドライブレコーダー1の製造時にあらかじめ定められた一定値である。加速度センサ12は、この閾値が入力された後は、自機にかかる加速度が当該閾値を超えたときにのみ、割り込み信号を制御部21に出力するようになる。
Hereinafter, each process of the
制御部21は、続いてステップ220に進み、車速確認処理を行う。車速確認処理では、図3に示すように、まずステップ122で、車速センサ15から出力される車速信号を自機のRAMに取り込み、続くステップ124では、この車速信号に基づいて車両の車速を特定し、特定した車速のデータを最新の車速として内部メモリ13に記録する。
The
続いてステップ126で、内部メモリ13に記録した最新の車速に基づいて、車両が走行中であるか否かを判定し、走行中であると判定した場合ステップ128に進み、走行中でないと判定した場合、図3の車速確認処理を終了して図2のステップ130に進む。
Subsequently, at
ステップ128では、もし制御部21が記録装置17に記録された映像を再生して表示装置16に表示していれば、再生を停止して表示装置16への表示を停止し、図3の車速確認処理を終了して図2のステップ130に進む。もし制御部21が記録装置17に記録された映像を再生しておらず表示装置16に表示していなければ、単に図3の車速確認処理を終了して図2のステップ130に進む。
In
ステップ130では、入力音声確認処理を行う。入力音声確認処理では、図4に示すように、まずステップ131で、マイク19から出力される音声信号を基準時間(例えば1秒間)だけ自機に取り込む。続くステップ132では、取り込んだ音声信号に基づいて音声データ(音声の波形を表すデータ)を作成し、内部メモリ13に記録すると共に、音声認識部20に対して音声認識を指示する。なお、内部メモリ13には、上記基準時間より長い時間分(例えば、上記基準時間の3倍分)だけ、直近の音声データを保持するようになっている。
In
音声認識を指示された音声認識部20は、内部メモリ13に記録されている音声データに基づいて、周知の音声認識処理を行うことで、音声データが表す音声に含まれる単語を特定し、特定した単語を、認識結果として内部メモリ13に上書き記録する。なお、本実施形態の音声認識部20が特定できる単語は、「記録」、「再生」、「停止」、「早送り」、「巻き戻し」、「いちばん」等のあらかじめ定められた複数種類の言葉のみである。単語が特定できなかった場合は、認識結果を内部メモリ13に記録せず、内部メモリ13に現在記録されている認識結果も消去する。
The
制御部21は、ステップ132に続いてステップ133で、音声認識結果が内部メモリ13に記録されているか否か判定し、記録されていればステップ134に進み、記録されていなければ、図4の入力音声確認処理を終了して図2のステップ120に戻る。
In
ステップ134では、内部メモリ13に記録されている音声認識結果に「記録」が含まれているか否かを判定し、含まれていればステップ135に進み、含まれていなければステップ137に進む。この時点で内部メモリ13の音声認識結果に「記録」が含まれていないということは、内部メモリ13の音声認識結果に「再生」、「停止」、「早送り」、「巻き戻し」のいずれかが含まれていることになる。
In
ステップ135では、音声、映像等を記録装置17に保存する。具体的には、ステップ134からステップ135に進んだ時点において内部メモリ13に記録されている先行保存時間分の必要データを記録装置17にコピーすると共に、当該時点から所定の事後保存時間(例えば15秒)分の必要データを記録装置17に保存する。また更に、これら先行保存時間分および事後保存時間分の必要データと関連付けて、「記録」という言葉の発話を受けた時点の絶対時刻を記録装置17に保存する。「記録」という言葉の発話を受けた時点の絶対時刻としては、例えば、ステップ134からステップ135に進んだ時点においてGPSアンテナ14から取得した現在時刻を用いる。
In
当該時点から事後保存時間分の必要データを記録装置17に保存する方法は、以下の通りである。制御部21は、当該時点の絶対時刻(例えば日本標準時)をGPSアンテナ14から取得し、この絶対時刻に事後保存時間を加算した後の絶対時刻を終了時刻とする。そして制御部21は、GPSアンテナ14から取得する現在の絶対時刻が終了時刻よりも前である場合は、カメラ11のフレームレートに同期して、必要データを保存し、現在の絶対時刻が終了時刻よりも後になると、必要データの保存をやめてステップ135を終了する。必要データの内容は、事前取り込み処理において制御部21が同時期に内部メモリ13に記録する必要データと同じである。
A method of storing necessary data for the post-storage time from the time point in the
制御部21は、事後保存時間分の必要データの保存が終了すると、図4の処理を終了して図2のステップ120に戻る。このようにして記録装置17に保存された先行保存時間分の必要データおよび事後保存時間分の必要データは、記録装置17中で長期間(例えば車両の主電源がオフになっても)保存される。このように、制御部21は、車両の乗員が「記録」と発話することによって、発話の前後の音声と映像を記憶装置17に記録する。このとき保存される先行保存時間分および事後保存時間分の必要データ、ならびに「記録」という言葉の発話を受けた時点の絶対時刻は、一個のドライブレコードデータファイルとして1まとめで記録装置17に記録される。
When the storage of the necessary data for the subsequent storage time is completed, the
なお、ステップ135では、ドライブレコードデータファイルの記録が成功した場合は「記録できました」という音声メッセージをスピーカ18に出力させる。またステップ135では、何らかの異常でドライブレコードデータファイルが記録できなかった場合は「記録できませんでした」という音声メッセージをスピーカ18に出力させる。
In
また、制御部21が図2のメイン処理を行っているときに、上記車載システムを搭載している車両に事故が発生し、車両に強い衝撃が加わり、加速度センサ12が上記閾値を超える加速度を検出したとする。すると加速度センサ12は、割り込み信号を制御部21に出力する。
Further, when the
このように、加速度センサ12から制御部21への割り込み信号が発生すると、制御部21は、図2の処理を中断して図5の割り込み処理の実行を開始する。なおこの際、事前取り込み処理は中断されず、割り込み処理と同時並行的に継続実行される。
As described above, when the interrupt signal from the
割り込み処理において制御部21は、まずステップ210で、加速度センサ12から加速度検出信号の取り込みを行い、続くステップ124で、当該加速度検出信号が示す加速度が基準値以上であるか否かを判定する。この基準値は、図2のメイン処理のステップ110において設定した閾値と同じでもよいし、それより大きくてもよい。加速度が基準値以上であると判定した場合はステップ230に進み、基準値未満であると判定した場合は割り込み処理を終了する。
In the interrupt process, the
ステップ230では、ステップ135と同様の方法で、音声、映像等を記録装置17に保存する。具体的には、ステップ220からステップ230に進んだ時点において内部メモリ13に記録されている先行保存時間分の必要データを記録装置17にコピーすると共に、当該時点から所定の事後保存時間(例えば15秒)分の必要データを記録装置17に保存する。また更に、これら先行保存時間分の必要データおよび事後保存時間分の必要データと関連付けて、割り込み信号が発生した時点の絶対時刻を記録装置17に保存する。割り込み信号が発生した時点の絶対時刻としては、例えば、ステップ220からステップ230に進んだ時点においてGPSアンテナ14から取得した現在時刻を用いる。制御部21は、事後保存時間分の必要データの保存が終了すると、図5の割り込み処理を終了する。このようにして記録装置17に保存された先行保存時間分の必要データおよび事後保存時間分の必要データは、記録装置17中で長期間(例えば車両の主電源がオフになっても)保存される。
このようにして記録装置17に保存された先行保存時間分の必要データおよび事後保存時間分の必要データは、記録装置17中で長期間(例えば車両の主電源がオフになっても)保存される。
In
Thus, the necessary data for the preceding storage time and the necessary data for the subsequent storage time stored in the
このように、制御部21は、通常のドライブレコーダーと同等に、加速度センサ12の加速度検知によって、加速度検知の前後の音声と映像を記憶装置17に記録する。このとき保存される先行保存時間分および事後保存時間分の必要データ、ならびに割り込み信号が発生した時点の絶対時刻は、一個のドライブレコードデータファイルとして1まとめで記録装置17に記録される。なお、割り込み処理が終了した時点で制御部21は、図2のメイン処理を、中断した時点の状態から再開する。
As described above, the
ここで、図2のメイン処理において、内部メモリ13中の音声認識結果に「再生」、「停止」、「早送り」、「巻き戻し」のいずれかが含まれている場合に実行されるステップ137、138について説明する。
Here, in the main processing of FIG. 2,
ステップ137で制御部21は、車速センサ15から取得する車速信号に基づいて車両が走行しているか否かを判定し、走行していれば、走行中の映像表示は好ましくないので、図4の処理を終了して図2のステップ120に戻る。
In
ステップ137で走行していないと判定した場合、ステップ139に進み、音声認識結果に含まれている言葉(すなわち、再生関連コマンド)に応じた処理を実施する。
If it is determined in
具体的には、再生関連コマンドが「再生」であった場合、記録装置17に保存されている複数のドライブレコードデータファイル(図2のステップ135または図5のステップ230によって保存されている)のリストを、取得時刻(ファイル中の絶対時刻)が新しい順に、表示装置16に表示する。乗員は、その表示を利用して、見たいドライブレコードデータファイルを音声で指定する。例えば、リスト中の1番目のファイルを再生したい場合「いちばん」と発話する。この「いちばん」の発話が、音声認識部20によって認識されると、制御部21は、当該1番目のファイルを含まれる映像および音声を、表示装置16およびスピーカ18を用いて再生する。
Specifically, when the reproduction-related command is “reproduction”, a plurality of drive record data files (stored by
また、再生関連コマンドが「停止」であった場合、現在行っている映像および音声の再生を終了する。また、再生関連コマンドが「早送り」であった場合、再生の早送りを行い、再生関連コマンドが「巻き戻し」であった場合、再生の巻き戻しを行う。 If the playback related command is “stop”, playback of the video and audio currently being performed is terminated. If the playback-related command is “fast forward”, playback is fast-forwarded. If the playback-related command is “rewind”, playback is rewound.
また、ドライブレコードデータファイルの再生中に、車両が走行を開始した場合、制御部21は、図3のステップ126で走行中であると判定してステップ128に進み、ドライブレコードデータファイル中の音声は再生を継続するが、表示装置16への映像表示は遮断する。すなわち、表示装置16にはドライブレコードデータファイル中の映像が表示されなくなる。
Further, when the vehicle starts traveling during the reproduction of the drive record data file, the
なお、ドライブレコードデータファイルの再生機能は、付随的な機能であって、ドライブレコードデータファイルの記録の方が優先される。 The drive record data file playback function is an incidental function, and the drive record data file recording is given priority.
[事例A]
ここで、上記のようなドライブレコーダー1について、上記車載システムを搭載した自車両では事故が発生していないものの、自車両の周辺で他車両に事故が発生してしまった事例Aについて説明する。
[Case A]
Here, with regard to the drive recorder 1 as described above, a case A in which an accident has occurred in another vehicle in the vicinity of the own vehicle, although no accident has occurred in the own vehicle equipped with the in-vehicle system, will be described.
この事例Aでは、自車両は衝撃を受けないので、加速度センサ12が上述の閾値を超えることがないので、加速度センサ12から制御部21への割り込み信号は発生しない。自車両の乗員は、他車両の事故を見つけると、音声にて「記録」と発話する。この際、乗員は、「記録」と発話する前に、発話開始ボタンを押下する等、音声認識を開始するための手による操作を行うことはない。
In this case A, the host vehicle does not receive an impact, so the
すると、上述の通り、その音声の信号が制御部21に取り込まれ(ステップ131)、当該音声の音声データが制御部21によって内部メモリ13に保存される(ステップ132)。すると音声認識部20が、この音声データに対して音声認識処理を施すことで、「記録」という言葉を音声認識結果として内部メモリ13に記録する。制御部21は、この音声認識結果が「記録」であると判定し(ステップ134)、上述のドライブレコードデータファイルを記録装置17に保存し、「記録できました」という音声メッセージがスピーカ18から出力される(ステップ135)。保存されるドライブレコードデータファイルには、既に説明した通り、先行保存時間分および事後保存時間分の必要データ、ならびに「記録」という言葉の発話を受けた時点の絶対時刻が含まれる。
Then, as described above, the audio signal is captured by the control unit 21 (step 131), and the audio data of the audio is stored in the
このように、車両用のドライブレコーダー1は、カメラ11が撮影した映像を、マイク19に所定の「記録」という音声が入力されたことに基づいて記録装置17に保存する(ステップ135)。したがって、自車両付近で他車両の事故に遭遇してしまったような状況では、所定の音声をマイク19に入力するだけで、容易に映像を記録できる。
In this way, the vehicle drive recorder 1 stores the video captured by the
[事例B]
次に、自車両の事故が発生し、その直後に乗員が「記録」と発話する事例Bについて、図6を参照して説明する。この場合、自車両の事故が発生した時点t1において、自車両に強い衝撃が加わり、加速度センサ12が上記閾値を超える加速度を検出し、割り込み信号を制御部21に出力する。
[Case B]
Next, a case B in which an occupant speaks “record” immediately after an accident of the host vehicle occurs will be described with reference to FIG. In this case, at the time t1 when the accident of the host vehicle occurs, a strong impact is applied to the host vehicle, the
加速度センサ12から制御部21への割り込み信号が発生すると、制御部21は、図2の処理を中断して図5の割り込み処理の実行を開始する。そして、加速度センサ12から加速度検出信号を取り込み(ステップ210)、この加速度検出信号に基づいて加速度が基準値以上であると判定し(ステップ220)、上述のドライブレコードデータファイル41を記録装置17に保存し始める(ステップ230)。
When an interrupt signal from the
このとき、ドライブレコードデータファイル41に含まれる映像および音声は、時点t1から先行保存時間だけ遡った時点t0を始点とし、時点t1から事後保存時間だけ経過した時点t3を終点とする記録期間31中に取り込まれる映像および音声である。したがって、ステップ230のドライブレコードデータファイル41の保存が終了するのは、時点t3である。
At this time, the video and audio included in the drive record data file 41 are recorded in a
ここで、時点t1より後かつ時点t3よりも前の時点t2において、自車両の乗員が「記録」と発話したとする。しかし、この時点では、制御部21は図2のメイン処理の実行を中断しているので、当然に図4のステップ131〜134は実行されない。したがって、音声認識部20もこの発話に対する音声認識を行わなので、「記録」という認識結果も内部メモリ13に記録されない。つまり、この「記録」という発話は無視され、この「記録」という発話に起因してドライブレコードデータファイルが新たに記録されることがない。このように、加速度センサからの割込みが発生し、割り込み処理が実行されている場合は、メイン処理は実行されないようになっていることにより「記録」という発話は無視される。
Here, it is assumed that an occupant of the host vehicle utters “record” at time t2 after time t1 and before time t3. However, at this point in time, the
このように、自車両の事故発生に起因してドライブレコードデータファイル41を記録している途中で乗員が「記録」と発話しても無視するのは、以下の理由による。そもそも「記録」と発話されたことに起因してドライブレコードデータファイルを記録するのは、自車両の事故ではなく他車両の事故を記録するためである。このために、ドライブレコードデータファイルの記録のトリガとなる言葉は、「記録」という、比較的冷静な状態で出る言葉が選ばれている。 Thus, even if the occupant speaks “record” in the middle of recording the drive record data file 41 due to the accident of the own vehicle, it is ignored for the following reason. In the first place, the reason why the drive record data file is recorded due to the utterance of “record” is to record the accident of the other vehicle, not the accident of the own vehicle. For this reason, the word that triggers recording of the drive record data file is selected as a word that appears in a relatively calm state, “recording”.
しかし、自車両で事故が発生した直後は、乗員が冷静でいる可能性は低く、他車両の事故が無いのに単に慌てて「記録」と口走った可能性が非常に高い。また、自車両の事故の直後に他車両の事故があったとしても、それを記録する重要性は高いとは考えられない。これらのような理由により、制御部21は、自車両の事故発生に起因してドライブレコードデータファイル41を記録している途中で乗員が「記録」と発話しても無視するようになっている。
However, immediately after an accident occurs in the host vehicle, it is unlikely that the occupant is calm, and there is a very high possibility that he / she rushed to “record” even if there was no accident in another vehicle. Moreover, even if there is an accident of another vehicle immediately after the accident of the own vehicle, it is not considered that the importance of recording it is high. For these reasons, the
[事例C]
次に、乗員が「記録」と発話し、その直後に自車両の事故が発生する事例Cについて、図7を参照して説明する。この場合、乗員が「記録」と発話した時点t5において、発話した音声の信号が制御部21に取り込まれ(ステップ131)、当該音声の音声データが制御部21によって内部メモリ13に保存される(ステップ132)。すると音声認識部20が、この音声データに対して音声認識処理を施すことで、「記録」という言葉を音声認識結果として内部メモリ13に記録する。制御部21は、この音声認識結果が「記録」であると判定し(ステップ134)、上述のドライブレコードデータファイル42を記録装置17に保存し始める(ステップ135)。
[Case C]
Next, a case C in which an occupant speaks “record” and an accident of the own vehicle immediately occurs will be described with reference to FIG. In this case, at time t5 when the occupant speaks “record”, the signal of the spoken voice is taken into the control unit 21 (step 131), and the voice data of the voice is stored in the
このとき制御部21がドライブレコードデータファイル42として記録しようとする映像および音声は、時点t5から先行保存時間だけ遡った時点t4を始点とし、時点t5から事後保存時間だけ経過した時点t6を終点とする記録期間32中に取り込まれる映像および音声である。
At this time, the video and audio that the
ここで、時点t5よりも後かつ時点t6よりも前の時点t8において、自車両に事故が発生し、自車両に強い衝撃が加わり、加速度センサ12が上記閾値を超える加速度を検出し、割り込み信号を制御部21に出力したとする。加速度センサ12から制御部21への割り込み信号が発生すると、制御部21は、図4のステップ135の処理を中断して図5の割り込み処理の実行を開始する。ステップ135の処理が中断した時点で、ドライブレコードデータファイル42として記録装置17に記録されている映像および音声は、時点t4から時点t8までの映像および音声である。
Here, at the time t8 after the time t5 and before the time t6, an accident occurs in the own vehicle, a strong impact is applied to the own vehicle, and the
そして、制御部21は、割り込み処理において、加速度センサ12から加速度検出信号を取り込み(ステップ210)、この加速度検出信号に基づいて加速度が基準値以上であると判定し(ステップ220)、ドライブレコードデータファイル42とは違う新たなドライブレコードデータファイル43を、記録装置17に保存する(ステップ230)。
Then, in the interrupt process, the
このとき、ドライブレコードデータファイル43に含まれる映像および音声は、時点t8から先行保存時間だけ遡った時点t7を始点とし、時点t8から事後保存時間だけ経過した時点t9を終点とする記録期間33中に取り込まれる映像および音声である。したがって、ステップ230のドライブレコードデータファイル43の保存が終了するのは、時点t9である。
At this time, the video and audio included in the drive record data file 43 are recorded in a
時点t9になり、ステップ230が終了すると共に割り込み処理が終了すると、制御部21は、メイン処理のステップ135を、中断時点から再開する。ステップ135においてドライブレコードデータファイル41のうち事後保存時間分の必要データを保存する方法は、既に説明した通りである。すなわち、時点t5の絶対時刻(例えば日本標準時)をGPSアンテナ14から取得し、この絶対時刻に事後保存時間を加算した後の絶対時刻t6を終了時刻とする。そして制御部21は、GPSアンテナ14から取得する現在の絶対時刻が終了時刻t6よりも前である場合は、カメラ11のフレームレートに同期して、必要データを保存し、現在の絶対時刻が終了時刻t6よりも後になると、必要データの保存をやめてステップ135を終了する。
At time t9, when
本事例Cでは、終了時刻t6を過ぎた時点t9にステップ135が再開するので、制御部21は、時点t9において、GPSアンテナ14から取得する現在の絶対時刻が終了時刻よりも後になったと判定し、ドライブレコードデータファイル42(必要データ)の保存を終了してステップ135を終了する。この結果、記録装置17に記録されるのは、時点t4から時点t8までのドライブレコードデータファイル42と、時点t7から時点t9までのドライブレコードデータファイル43になる。このようになっていれば、ドライブレコードデータファイル42において、映像および音声に時間のギャップが発生することがない。
In this case C,
このように、本事例Cでは、「記録」という発話に起因してドライブレコードデータファイル42を記録している途中で自車両に事故が発生した場合、自車両に事故が発生したことに起因してドライブレコードデータファイル43を記録する。このようにするのは、他車両の事故の記録よりも自車両の事故に関する記録の方が重要度が高いと考えられるからである。 As described above, in the present case C, when an accident occurs in the own vehicle in the middle of recording the drive record data file 42 due to the utterance “record”, the accident occurs in the own vehicle. Drive record data file 43 is recorded. This is because the record related to the accident of the own vehicle is considered to be more important than the record of the accident of the other vehicle.
なお、ドライブレコードデータファイル42とドライブレコードデータファイル43が時間的に重複する部分については、例えば割り込み処理において記録装置17に記録しないようになっていてもよい。このようにしても、事故発生前後の情報が欠けるわけではないからである。
Note that the portion where the drive record data file 42 and the drive record data file 43 overlap in time may not be recorded in the
以上説明した通り、本実施形態の車両用のドライブレコーダー1は、カメラ11が撮影した映像を、加速度センサ12の検出結果に応じて記録装置17に保存する(ステップ230)。また、カメラ11が撮影した映像を、マイク19に所定の音声(「記録」)が入力されたことに基づいて記録装置17に保存する(ステップ135)。したがって、自車両付近で他車両の事故に遭遇してしまったような状況では、所定の音声をマイク19に入力するだけで、容易に映像を記録できる。
As described above, the vehicle drive recorder 1 according to the present embodiment stores the video captured by the
なお、本実施形態では、制御部21が、図5のステップ230を実行することで第1保存手段の一例として機能し、図4のステップ135を実行することで第2保存手段の一例として機能する。
In the present embodiment, the
ここで、複数の従来技術とその問題点について説明する。特開昭63−16785号公報、特開平06−237463号公報、特開平2011−170595号公報では、加速度などの記録条件が成立した場合に、ドライブレコーダーの映像を保存する。これらは、主に自身が事故に遭遇した場合を想定した技術であり、ユーザーが意図したタイミングでの映像停止が難しい。 Here, a plurality of conventional techniques and their problems will be described. In JP-A-63-16785, JP-A-06-237463, and JP-A-2011-170595, when a recording condition such as acceleration is satisfied, an image of a drive recorder is stored. These are technologies mainly assuming the case where an accident is encountered, and it is difficult to stop the video at the timing intended by the user.
また、特開2013−137668号公報では、外部に接続した映像表示機に映像を表示するものである。映像データの選択、再生、停止、早送り、巻き戻し等を、外部の映像表示機から座標を取得し実現する。このような技術では、操作するには画面を触る必要があるため、外部の映像表示機の搭載場所はユーザーの近くに配置しなければならない。また、ユーザー自身が周辺で事故に遭遇してしまい、映像を記録するための行為(停止/保存)したい場合、画面操作のために停車、又は安全な速度に減速する必要があった。それと同時に記録時間が限られている装置の場合、停止までに時間がかかると、保存したかった映像が保存できない状況となる。特に高速道路を走行しているような状況では画面の操作する/させることは危険を伴う。 Japanese Patent Application Laid-Open No. 2013-137668 displays an image on a video display device connected to the outside. Select, play, stop, fast forward, rewind, etc. video data by acquiring coordinates from an external video display. In such a technique, since it is necessary to touch the screen for operation, the mounting place of the external video display device must be arranged near the user. Further, when the user himself / herself encounters an accident in the vicinity and wants to act (stop / save) for recording a video, the user needs to stop or decelerate to a safe speed for screen operation. At the same time, in the case of an apparatus with a limited recording time, if it takes a long time to stop, the video that was desired to be stored cannot be stored. It is dangerous to operate / operate the screen especially in a situation where the vehicle is traveling on a highway.
また、特開2009−009329号公報では、ユーザーが入力した風景を予想し、合致した場合に映像、画像、音声を記録する。このような技術では、事前の予測が不可能な事故の映像などを予め予想することは不可能である。これより、交通事故などの画像、映像、音声は意図して取得できない。また、音声データ記録用に音声を取り込んでいるが、ドライブレコーダーに対しての操作を行うもの、又は操作に利用するものではない。 Japanese Patent Application Laid-Open No. 2009-009329 predicts a landscape input by a user, and records video, images, and audio when they match. With such a technique, it is impossible to predict in advance an accident video that cannot be predicted in advance. As a result, images such as traffic accidents, video and audio cannot be acquired intentionally. Moreover, although the audio | voice is taken in for audio | voice data recording, it does not operate for a drive recorder, or is not utilized for operation.
(他の実施形態)
なお、本発明は上記した実施形態に限定されるものではなく、特許請求の範囲に記載した範囲内において適宜変更が可能である。また、また、上記実施形態において、実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、上記実施形態において、実施形態の構成要素の個数、数値、量、範囲等の数値が言及されている場合、特に必須であると明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではない。また、上記実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に特定の形状、位置関係等に限定される場合等を除き、その形状、位置関係等に限定されるものではない。また、本発明は、上記実施形態に対する以下のような変形例も許容される。なお、以下の変形例は、それぞれ独立に、上記実施形態に適用および不適用を選択できる。すなわち、以下の変形例のうち任意の組み合わせを、上記実施形態に適用することができる。
(Other embodiments)
In addition, this invention is not limited to above-described embodiment, In the range described in the claim, it can change suitably. In addition, in the above embodiment, the elements constituting the embodiment are not necessarily essential unless explicitly stated as essential and clearly considered essential in principle. Needless to say. Further, in the above embodiment, when numerical values such as the number, numerical value, quantity, range, etc. of the constituent elements of the embodiment are mentioned, it is particularly limited to a specific number when clearly indicated as essential and in principle. The number is not limited to a specific number except for cases. In the above embodiment, when referring to the shape, positional relationship, etc. of components, the shape, position, etc., unless otherwise specified and in principle limited to a specific shape, positional relationship, etc. It is not limited to relationships. The present invention also allows the following modifications to the above embodiment. In addition, the following modifications can select application and non-application to the said embodiment each independently. In other words, any combination of the following modifications can be applied to the above-described embodiment.
(変形例1)
上記実施形態では、記録装置17に記録されるドライブレコードデータファイルには、カメラ11が撮影した映像、マイク19に入力された音声、およびGPSアンテナ14から取得した絶対時刻が含まれているが、必ずしもこのようになっておらずともよい。例えば、記録装置17に記録されるドライブレコードデータファイルには、カメラ11が撮影した映像が含まれ、マイク19に入力された音声も、GPSアンテナ14から取得した絶対時刻も含まれていなくともよい。
(Modification 1)
In the above embodiment, the drive record data file recorded in the
(変形例2)
また、上記実施形態では、他車両の事故の映像等をドライブレコードデータファイルとして記録装置17に記録するための起因としてマイク19に入力される所定の音声として、「記録」を採用している。しかし、これはあくまでも例示であり、例えば、「記録」に代えて「録画」という言葉を採用してもよい。両方に共通するのは、「禄」という語を含むことである。また、「記録」に変えて、「レコード」という言葉を採用してもよい。上記の音声に共通するのは、記録を意味する語を含むことである。また、「記録」に変えて、人間が発した音声出ない音声、例えば自車両のクラクション(ホーン)の鳴動音を採用してもよい。
(Modification 2)
Further, in the above embodiment, “record” is adopted as the predetermined sound input to the
(変形例3)
上記実施形態では、ステップ135においてドライブレコードデータファイル41のうち事後保存時間分の必要データを制御部21が保存する方法は、以下の通りであった。すなわち、発話があった時点の絶対時刻(例えば日本標準時)をGPSアンテナ14から取得し、この絶対時刻に事後保存時間を加算した後の絶対時刻を終了時刻とする。そして制御部21は、GPSアンテナ14から取得する現在の絶対時刻が終了時刻よりも前である場合は、カメラ11のフレームレートに同期して、必要データを保存し、現在の絶対時刻が終了時刻よりも後になると、必要データの保存をやめてステップ135を終了する。
(Modification 3)
In the above embodiment, the method in which the
しかし、必ずしもこのようになっておらずともよい。例えば、制御部21は、すなわち、発話があった時点からの経過時間(相対時間)を計測し、この経過時間が事後保存時間以下の場合は、カメラ11のフレームレートに同期して、必要データを保存し、経過時間が事後保存時間よりも長くなると、必要データの保存をやめてステップ135を終了するようになっていてもよい。
However, this is not necessarily the case. For example, the
このようになっている場合、事例Cにおいて制御部21は、時点t9において割り込み処理を終了してメイン処理のステップ135に戻った後、時点t8から時点t6までの期間と同じ時間だけ、ドライブレコードデータファイル42の記録を継続する。この場合は、上記実施形態とは異なり、ドライブレコードデータファイル42において、映像および音声に時点t8から時点t8までの時間のギャップが発生することになる。
In this case, in the case C, the
(変形例4)
上記実施形態では、カメラ11は、車両の前端部および車両の前方を撮影するようになっているが、必ずしもこののようになっておらずともよい。例えば、カメラ11は、車両の後方を撮影するようになっていてもよい。カメラ11は、車両の周囲の一部または全部を撮影できるようになっていればよい。
(Modification 4)
In the above embodiment, the
1 ドライブレコーダー
11 カメラ
12 加速度センサ
17 記録装置
19 マイク(音声入力装置)
DESCRIPTION OF SYMBOLS 1
Claims (5)
カメラ(11)が撮影した映像を、加速度センサ(12)の検出結果に応じて記録装置(17)に保存する第1保存手段(230)と、
前記カメラが撮影した映像を、音声入力装置(19)に所定の音声が入力されたことに基づいて前記記録装置に保存する第2保存手段(135)と、を備え、
前記カメラが撮影した映像を前記第2保存手段が保存中に、前記加速度センサが基準値以上の加速度を検出したことに基づいて前記第1保存手段は、前記カメラが撮影した映像を前記記録装置に保存し始めることを特徴とするドライブレコーダー。 A drive recorder for a vehicle,
First storage means (230) for storing an image captured by the camera (11) in the recording device (17) in accordance with a detection result of the acceleration sensor (12);
A second storage means (135) for storing the video captured by the camera in the recording device based on the input of a predetermined sound to the audio input device (19);
Based on the fact that the acceleration sensor detects an acceleration equal to or higher than a reference value while the second storage unit is storing the video captured by the camera, the first storage unit is configured to record the video captured by the camera. Drive recorder characterized by starting to save on.
前記ドライブレコーダーの制御部(21)を、
カメラ(11)が撮影した映像を、加速度センサ(12)の検出結果に応じて記録装置(17)に保存する第1保存手段(230)、および
前記カメラが撮影した映像を、音声入力装置(19)に所定の音声が入力されたことに基づいて前記記録装置に保存する第2保存手段(135)として機能させ、
前記カメラが撮影した映像を前記第2保存手段が保存中に、前記加速度センサが基準値以上の加速度を検出したことに基づいて前記第1保存手段は、前記カメラが撮影した映像を前記記録装置に保存し始めることを特徴とするプログラム。 A program used for a drive recorder (1) for a vehicle,
The control unit (21) of the drive recorder is
First storage means (230) that stores the video captured by the camera (11) in the recording device (17) according to the detection result of the acceleration sensor (12), and the video captured by the camera as an audio input device ( 19) functioning as second storage means (135) for storing in the recording device based on the input of a predetermined sound,
Based on the fact that the acceleration sensor detects an acceleration equal to or higher than a reference value while the second storage unit is storing the video captured by the camera, the first storage unit is configured to record the video captured by the camera. A program characterized by starting to save.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014127557A JP6435658B2 (en) | 2014-06-20 | 2014-06-20 | Drive recorder and program for drive recorder |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014127557A JP6435658B2 (en) | 2014-06-20 | 2014-06-20 | Drive recorder and program for drive recorder |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018169986A Division JP2018198093A (en) | 2018-09-11 | 2018-09-11 | Drive recorder and program for drive recorder |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016009202A JP2016009202A (en) | 2016-01-18 |
| JP6435658B2 true JP6435658B2 (en) | 2018-12-12 |
Family
ID=55226749
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014127557A Active JP6435658B2 (en) | 2014-06-20 | 2014-06-20 | Drive recorder and program for drive recorder |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6435658B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018092495A1 (en) * | 2016-11-18 | 2018-05-24 | 株式会社Jvcケンウッド | Recording device, recording method, reproduction method and program |
| CN109564709A (en) | 2017-05-10 | 2019-04-02 | Jvc 建伍株式会社 | Recording control apparatus, recording device, record control method and record control program |
| JP6593431B2 (en) | 2017-12-27 | 2019-10-23 | 株式会社Jvcケンウッド | Recording control apparatus, recording apparatus, recording control method, and recording control program |
| JP7779145B2 (en) * | 2021-09-27 | 2025-12-03 | 株式会社Jvcケンウッド | Vehicle recording control device and recording method |
| WO2023047654A1 (en) * | 2021-09-27 | 2023-03-30 | 株式会社Jvcケンウッド | Vehicular recording control device and recording method |
| WO2023074162A1 (en) * | 2021-10-29 | 2023-05-04 | 株式会社Jvcケンウッド | Vehicular recording control device and recording control method |
| JP7790234B2 (en) * | 2022-01-27 | 2025-12-23 | 株式会社Jvcケンウッド | Voice-operated control device and voice-operated method |
| WO2023145405A1 (en) * | 2022-01-27 | 2023-08-03 | 株式会社Jvcケンウッド | Voice operation control device and voice operation method |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04338817A (en) * | 1991-05-16 | 1992-11-26 | Sony Corp | Electronic equipment controller |
| JPH1029567A (en) * | 1996-07-15 | 1998-02-03 | Nippon Soken Inc | Vehicular accident-state recorder |
| JP2000050149A (en) * | 1998-07-27 | 2000-02-18 | Sony Corp | Video camera |
| JP2001188668A (en) * | 1999-12-28 | 2001-07-10 | Sony Corp | Conversation processing apparatus and method, information processing apparatus, conversation processing system, and recording medium |
| JP2002041276A (en) * | 2000-07-24 | 2002-02-08 | Sony Corp | Interactive operation support system, interactive operation support method, and storage medium |
| JP2003069936A (en) * | 2001-08-27 | 2003-03-07 | Nippon Signal Co Ltd:The | Vehicle use drive recorder |
| US7386376B2 (en) * | 2002-01-25 | 2008-06-10 | Intelligent Mechatronic Systems, Inc. | Vehicle visual and non-visual data recording system |
| JP2004318446A (en) * | 2003-04-16 | 2004-11-11 | Daikin Ind Ltd | Schedule device and schedule control system |
| JP4684773B2 (en) * | 2005-07-01 | 2011-05-18 | 株式会社堀場製作所 | Driving recorder |
| JP2009093253A (en) * | 2007-10-04 | 2009-04-30 | Seiko Epson Corp | Drive recorder, drive recorder system, drive recorder control method and program |
| JP2010287190A (en) * | 2009-06-15 | 2010-12-24 | Fujitsu Ten Ltd | Driving information recording device and driving information processing program |
| KR101019914B1 (en) * | 2010-01-22 | 2011-03-08 | 팅크웨어(주) | Navigation system and vehicle navigation control method |
| JP2012221134A (en) * | 2011-04-07 | 2012-11-12 | Hitachi Automotive Systems Ltd | Driving support device |
-
2014
- 2014-06-20 JP JP2014127557A patent/JP6435658B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016009202A (en) | 2016-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6435658B2 (en) | Drive recorder and program for drive recorder | |
| US10964348B2 (en) | Recording control apparatus, recording apparatus, recording control method, and recording control program | |
| JP5795177B2 (en) | Information processing apparatus, information processing method, and program | |
| JP6569698B2 (en) | Recording control apparatus, recording apparatus, navigation apparatus, recording method, and program | |
| US11750771B2 (en) | Recording control apparatus, recording control method, and recording control program | |
| JP7279512B2 (en) | Recording device, recording method, and program | |
| JP2023101490A (en) | Recording device, recording method and program | |
| JP2018198093A (en) | Drive recorder and program for drive recorder | |
| JP2023107446A (en) | VEHICLE RECORDING CONTROL DEVICE AND RECORDING CONTROL METHOD | |
| JP6835173B2 (en) | Recording control device, recording device, recording control method and recording control program | |
| JP6610693B2 (en) | Imaging recording apparatus for vehicle, imaging control method for vehicle, and program | |
| WO2020183800A1 (en) | Vehicle-use recording control device, vehicle-use recording device, vehicle-use recording control method, and program | |
| WO2019163204A1 (en) | Vehicle recording device, vehicle recording method, and program | |
| JP2023162844A (en) | Vehicle recording control device and recording control method | |
| JP2018148324A (en) | Recording device, transmission method, and program | |
| US20240363114A1 (en) | Voice operation control device and voice operation method | |
| JP7786218B2 (en) | Vehicle recording control device and recording control method | |
| JP7790234B2 (en) | Voice-operated control device and voice-operated method | |
| WO2023074162A1 (en) | Vehicular recording control device and recording control method | |
| JP2023067736A (en) | Recording control device and recording control method for vehicles | |
| US20240339114A1 (en) | Voice command receiving device, voice command receiving method, and computer-readable storage medium | |
| JP2011020588A (en) | On-vehicle equipment control device | |
| JP2024030853A (en) | Voice command reception device and voice command reception method | |
| JP2023094516A (en) | VOICE COMMAND RECEIVING DEVICE, VOICE COMMAND RECEIVING METHOD, AND PROGRAM | |
| WO2024029187A1 (en) | Speech command reception device and speech command reception method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160727 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170612 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170620 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170809 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180123 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180703 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180911 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20180919 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181016 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181029 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6435658 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |