Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7437904B2 - Steering wheel operation prediction method and steering wheel operation prediction device - Google Patents
[go: Go Back, main page]

JP7437904B2 - Steering wheel operation prediction method and steering wheel operation prediction device - Google Patents

Steering wheel operation prediction method and steering wheel operation prediction device Download PDF

Info

Publication number
JP7437904B2
JP7437904B2 JP2019189998A JP2019189998A JP7437904B2 JP 7437904 B2 JP7437904 B2 JP 7437904B2 JP 2019189998 A JP2019189998 A JP 2019189998A JP 2019189998 A JP2019189998 A JP 2019189998A JP 7437904 B2 JP7437904 B2 JP 7437904B2
Authority
JP
Japan
Prior art keywords
steering wheel
occupant
signal
potential signal
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019189998A
Other languages
Japanese (ja)
Other versions
JP2021062845A (en
Inventor
淳史 宝来
ルチアン ギョルゲ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SAS
Original Assignee
Renault SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS filed Critical Renault SAS
Priority to JP2019189998A priority Critical patent/JP7437904B2/en
Publication of JP2021062845A publication Critical patent/JP2021062845A/en
Application granted granted Critical
Publication of JP7437904B2 publication Critical patent/JP7437904B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Steering Controls (AREA)

Description

本発明は、ステアリングホイールの操作予測方法及びステアリングホイールの操作予測装置に関する。 The present invention relates to a steering wheel operation prediction method and a steering wheel operation prediction device.

従来より、電極を用いてユーザの生体情報(電位信号)を取得し、取得した電位信号に基づいて機器を制御する発明が知られている(特許文献1)。特許文献1に記載された発明は、複数の電極のうち、鉛直下方にユーザの腕の一部が位置する電極を特定し、複数の電極のすべてが腕に密着していなくても電位信号を計測する。 BACKGROUND ART Conventionally, an invention has been known in which biological information (potential signal) of a user is acquired using electrodes and a device is controlled based on the obtained potential signal (Patent Document 1). The invention described in Patent Document 1 identifies the electrode where a part of the user's arm is located vertically downward from among a plurality of electrodes, and outputs a potential signal even if all of the plurality of electrodes are not in close contact with the arm. measure.

特開2016-214907号公報JP2016-214907A

特許文献1に記載された発明では、複数の電極のすべてが腕に密着していなくても電位信号を計測できるものの、少なくとも1つの電極を乗員の腕に設置する必要がある。しかしながら、乗員の体の一部に電極を設置することは難しい場合があり、この場合乗員の電位信号を取得できない。 In the invention described in Patent Document 1, although a potential signal can be measured even if all of the plurality of electrodes are not in close contact with the arm, at least one electrode needs to be installed on the arm of the occupant. However, it may be difficult to install electrodes on a part of the occupant's body, and in this case, it is not possible to obtain an electric potential signal of the occupant.

本発明は、上記問題に鑑みて成されたものであり、その目的は、乗員の体の一部に電極を設置することなく乗員の電位信号を取得し、取得した電位信号を用いて乗員のステアリングホイールの操作を予測するステアリングホイールの操作予測方法及びステアリングホイールの操作予測装置を提供することである。 The present invention has been made in view of the above problems, and its purpose is to obtain the potential signal of the occupant without installing an electrode on a part of the occupant's body, and to use the obtained potential signal to detect the potential of the occupant. It is an object of the present invention to provide a steering wheel operation prediction method and a steering wheel operation prediction device for predicting steering wheel operations.

本発明の一態様に係るステアリングホイールの操作予測方法は、ステアリングホイールに設けられたセンサによって乗員がステアリングホイールを操作する際の筋肉活動により生じる乗員の掌の電位信号を検出し、検出した電位信号から乗員によるステアリングホイールの操作よりも前に発生する操作前信号を抽出し、抽出した操作前信号に基づいて乗員によるステアリングホイールの操作を予測する。 A steering wheel operation prediction method according to one aspect of the present invention includes detecting a potential signal in the palm of an occupant generated by muscle activity when the occupant operates the steering wheel using a sensor provided in the steering wheel , and detecting the detected potential signal. The system extracts a pre-operation signal that occurs before the occupant operates the steering wheel, and predicts the occupant's steering wheel operation based on the extracted pre-operation signal.

本発明によれば、乗員の体の一部に電極を設置することなく乗員の電位信号を取得し、取得した電位信号を用いて乗員のステアリングホイールの操作を予測することができる。 According to the present invention, it is possible to acquire an electric potential signal of an occupant without installing an electrode on a part of the occupant's body, and to predict the operation of the steering wheel by the occupant using the acquired electric potential signal.

図1は、本発明の第1実施形態に係る操作予測装置のブロック図である。FIG. 1 is a block diagram of an operation prediction device according to a first embodiment of the present invention. 図2は、本発明の第1実施形態に係るステアリングホイールを説明する図である。FIG. 2 is a diagram illustrating a steering wheel according to the first embodiment of the present invention. 図3は、本発明の第1実施形態に係る筋電位とレーンチェンジタイミングとの関係を説明するグラフである。FIG. 3 is a graph illustrating the relationship between myoelectric potential and lane change timing according to the first embodiment of the present invention. 図4は、本発明の第1実施形態に係るレーンチェンジタイミングとTPRとの関係を説明するグラフである。FIG. 4 is a graph illustrating the relationship between lane change timing and TPR according to the first embodiment of the present invention. 図5は、障害物を回避するためのレーンチェンジを説明する図である。FIG. 5 is a diagram illustrating a lane change to avoid an obstacle. 図6は、本発明の第1実施形態に係る筋電位とレーンチェンジタイミングとの関係を説明する他のグラフである。FIG. 6 is another graph illustrating the relationship between myoelectric potential and lane change timing according to the first embodiment of the present invention. 図7は、本発明の第1実施形態に係るレーンチェンジタイミングとTPRとの関係を説明する他のグラフである。FIG. 7 is another graph illustrating the relationship between lane change timing and TPR according to the first embodiment of the present invention. 図8は、本発明の第1実施形態に係る操作予測装置の一動作例を説明するフローチャートである。FIG. 8 is a flowchart illustrating an example of the operation of the operation prediction device according to the first embodiment of the present invention. 図9は、本発明の第2実施形態に係る操作予測装置のブロック図である。FIG. 9 is a block diagram of an operation prediction device according to a second embodiment of the present invention. 図10Aは、本発明の第2実施形態に係る感度時間を説明する図である。FIG. 10A is a diagram illustrating the sensitivity time according to the second embodiment of the present invention. 図10Bは、本発明の第2実施形態に係る感度時間を説明する図である。FIG. 10B is a diagram illustrating the sensitivity time according to the second embodiment of the present invention. 図11は、本発明の第2実施形態に係る操作予測装置の一動作例を説明するフローチャートである。FIG. 11 is a flowchart illustrating an example of the operation of the operation prediction device according to the second embodiment of the present invention.

以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。 Embodiments of the present invention will be described below with reference to the drawings. In the description of the drawings, the same parts are denoted by the same reference numerals and the description thereof will be omitted.

(第1実施形態)
(操作予測装置の構成例)
(First embodiment)
(Example of configuration of operation prediction device)

図1~2を参照して、第1実施形態に係る操作予測装置の構成例を説明する。操作予測装置は車両に搭載される。 A configuration example of the operation prediction device according to the first embodiment will be described with reference to FIGS. 1 and 2. The operation prediction device is mounted on the vehicle.

図1に示すように、操作予測装置は、掌電位検出部10と、コントローラ20と、記憶装置30と、周囲情報取得部40と、自動機能装置50とを備える。 As shown in FIG. 1, the operation prediction device includes a palm potential detection section 10, a controller 20, a storage device 30, a surrounding information acquisition section 40, and an automatic function device 50.

掌電位検出部10は、車両に乗車している乗員(主に運転者)の掌の電位(電位信号)を検出する。掌電位検出部10は、一例として、電極を含むセンサであり、ステアリングホイール11(図2参照)に複数設けられる。掌電位検出部10は、乗員がステアリングホイール11を把持したときの乗員の掌の電位信号を検出する。換言すれば、乗員の掌がステアリングホイール11に密着することにより、乗員の掌の電位信号が検出される。 The palm potential detection unit 10 detects the potential (potential signal) of the palm of an occupant (mainly a driver) riding in a vehicle. The palm potential detection unit 10 is, for example, a sensor including an electrode, and a plurality of palm potential detection units 10 are provided in the steering wheel 11 (see FIG. 2). The palm potential detection unit 10 detects a potential signal of the palm of the occupant when the occupant grips the steering wheel 11 . In other words, when the occupant's palm comes into close contact with the steering wheel 11, the potential signal of the occupant's palm is detected.

掌電位検出部10は、ステアリングホイール11の把持それ自体に係る電位信号を検出する他に、乗員がステアリングホイール11を操作する際の筋肉活動により生じる乗員の掌の電位信号も検出する。なお、図2に示す例では、掌電位検出部10はステアリングホイール11の把持位置(一例として10時10分から9時15分までの位置)に設けられるが、これに限定されない。掌電位検出部10はステアリングホイール11の外周全体に渡って設けられてもよい。 The palm potential detection unit 10 detects a potential signal related to the grip of the steering wheel 11 itself, and also detects a potential signal of the occupant's palm caused by muscle activity when the occupant operates the steering wheel 11. In the example shown in FIG. 2, the palm potential detection unit 10 is provided at the gripping position of the steering wheel 11 (as an example, the position from 10:10 to 9:15), but the present invention is not limited thereto. The palm potential detection unit 10 may be provided over the entire outer periphery of the steering wheel 11.

掌電位検出部10は、電極を含むセンサと説明したが、このようなセンサは電極の他に増幅器、AD変換器などを含んでもよい。この場合、掌電位検出部10は、電極により検出された電位信号を増幅器で増幅した後、AD変換器で信号処理を行う。信号処理の後、掌電位検出部10は、電位信号をコントローラ20に送信してもよい。 Although the palm potential detection unit 10 has been described as a sensor including electrodes, such a sensor may also include an amplifier, an AD converter, etc. in addition to the electrodes. In this case, the palm potential detection unit 10 amplifies the potential signal detected by the electrode with an amplifier, and then performs signal processing with an AD converter. After signal processing, the palm potential detection unit 10 may transmit the potential signal to the controller 20.

記憶装置30は、HDD(Hard Disk Drive)などの記憶媒体である。第1実施形態では記憶装置30にはステアリング操作データベース31とステアリング操作タイミングデータベース32とが記憶されるが、これに限定されない。記憶装置30には各種のプログラム、電位解析部21による解析結果などが記憶されてもよい。 The storage device 30 is a storage medium such as an HDD (Hard Disk Drive). In the first embodiment, the storage device 30 stores a steering operation database 31 and a steering operation timing database 32, but is not limited thereto. The storage device 30 may store various programs, analysis results by the potential analysis section 21, and the like.

コントローラ20は、CPU(中央処理装置)、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータには、操作予測装置として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは、操作予測装置が備える複数の情報処理回路として機能する。なお、ここでは、ソフトウェアによって操作予測装置が備える複数の情報処理回路を実現する例を示すが、もちろん、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路を構成することも可能である。また、複数の情報処理回路を個別のハードウェアにより構成してもよい。コントローラ20は、複数の情報処理回路として、電位解析部21と、ステアリング操作予測部22と、操作タイミング予測部23と、自動機能制御部24とを備える。 The controller 20 is a general-purpose microcomputer that includes a CPU (central processing unit), memory, and an input/output section. A computer program for functioning as an operation prediction device is installed in the microcomputer. By executing the computer program, the microcomputer functions as a plurality of information processing circuits included in the operation prediction device. Note that here we will show an example in which multiple information processing circuits included in the operation prediction device are realized by software, but of course, dedicated hardware for executing each of the information processes shown below is prepared and the information processing circuits are implemented using software. It is also possible to configure Further, the plurality of information processing circuits may be configured by individual hardware. The controller 20 includes a potential analysis section 21, a steering operation prediction section 22, an operation timing prediction section 23, and an automatic function control section 24 as a plurality of information processing circuits.

電位解析部21は、掌電位検出部10により検出された電位信号を解析する。具体的には、電位解析部21は、電位信号の周波数、波長、電圧などを解析する。解析手法の一例としてフィルタリングが挙げられる。電位解析部21は、電位信号を所定の周波数帯のバンドパスフィルタでフィルタリングすることにより、特定の信号を抽出するなどの解析を行う。電位解析部21は、解析結果をステアリング操作予測部22、操作タイミング予測部23に出力する。 The potential analysis unit 21 analyzes the potential signal detected by the palm potential detection unit 10. Specifically, the potential analysis unit 21 analyzes the frequency, wavelength, voltage, etc. of the potential signal. Filtering is an example of an analysis method. The potential analysis unit 21 performs analysis such as extracting a specific signal by filtering the potential signal with a bandpass filter of a predetermined frequency band. The potential analysis section 21 outputs the analysis results to the steering operation prediction section 22 and the operation timing prediction section 23.

ステアリング操作予測部22は、電位解析部21によって解析された電位信号(電位解析部21によって抽出された特定の信号)に基づいて、運転者がステアリングホイール11を操作する意図があるのか否かを予測する。具体的には、ステアリング操作予測部22は、ステアリング操作データベース31を参照して、電位解析部21によって抽出された特定の信号がステアリング操作データベース31に格納されたデータと一致するか否か判定する。電位解析部21によって抽出された特定の信号がステアリング操作データベース31に格納されたデータと一致する場合、ステアリング操作予測部22は運転者がステアリングホイール11を操作する意図があると予測する。ステアリング操作予測部22は予測結果を自動機能制御部24に出力する。 The steering operation prediction unit 22 determines whether the driver intends to operate the steering wheel 11 based on the potential signal analyzed by the potential analysis unit 21 (specific signal extracted by the potential analysis unit 21). Predict. Specifically, the steering operation prediction unit 22 refers to the steering operation database 31 and determines whether the specific signal extracted by the potential analysis unit 21 matches the data stored in the steering operation database 31. . If the specific signal extracted by the potential analysis unit 21 matches the data stored in the steering operation database 31, the steering operation prediction unit 22 predicts that the driver intends to operate the steering wheel 11. The steering operation prediction section 22 outputs the prediction result to the automatic function control section 24 .

操作タイミング予測部23は、ステアリング操作予測部22によって運転者がステアリングホイール11を操作する意図があると予測された場合、実際にステアリングホイール11が操作されるまでの時間を予測する。換言すれば、操作タイミング予測部23は電位解析部21によって特定の信号が抽出されてから何秒後、あるいは何msec後に実際にステアリングホイール11が操作されるのか予測する。この予測は、ステアリング操作タイミングデータベース32の参照によって実現する。操作タイミング予測部23は予測結果を自動機能制御部24に出力する。 The operation timing prediction unit 23 predicts the time until the steering wheel 11 is actually operated when the steering operation prediction unit 22 predicts that the driver intends to operate the steering wheel 11 . In other words, the operation timing prediction section 23 predicts how many seconds or milliseconds after the specific signal is extracted by the potential analysis section 21, when the steering wheel 11 will actually be operated. This prediction is realized by referring to the steering operation timing database 32. The operation timing prediction unit 23 outputs the prediction result to the automatic function control unit 24.

自動機能制御部24は、ステアリング操作予測部22及び操作タイミング予測部23による予測結果に基づいて、自動機能装置50に指令を出力する。 The automatic function control section 24 outputs a command to the automatic function device 50 based on the prediction results by the steering operation prediction section 22 and the operation timing prediction section 23.

ステアリング操作データベース31には、運転者ごとの電位信号に関するデータが累積的に格納される。具体的には、電位解析部21によって抽出された特定の信号と、実際に運転者によりステアリングホイール11が操作されたこととを対応させ、この対応データが累積的に格納される。 The steering operation database 31 cumulatively stores data regarding potential signals for each driver. Specifically, the specific signal extracted by the potential analysis unit 21 is associated with the actual operation of the steering wheel 11 by the driver, and this correspondence data is stored cumulatively.

ステアリング操作タイミングデータベース32にもステアリング操作データベース31と同様に運転者ごとの電位信号に関するデータが累積的に格納される。ただし、ステアリング操作タイミングデータベース32には、ステアリング操作データベース31とは異なり、電位解析部21によって抽出された特定の信号と、実際に運転者によりステアリングホイール11が操作されたタイミングとを対応させ、この対応データが累積的に格納される。つまり、ステアリング操作タイミングデータベース32には、運転者によるステアリングホイール11の操作意図が抽出されてから実際にステアリングホイール11が操作されるまでの時間と、電位解析部21によって抽出された特定の信号とが対応づけられて格納される。 Similarly to the steering operation database 31, the steering operation timing database 32 cumulatively stores data regarding potential signals for each driver. However, unlike the steering operation database 31, the steering operation timing database 32 has a correspondence between the specific signal extracted by the potential analysis unit 21 and the timing when the steering wheel 11 is actually operated by the driver. Corresponding data is stored cumulatively. In other words, the steering operation timing database 32 includes the time from when the driver's intention to operate the steering wheel 11 is extracted until the steering wheel 11 is actually operated, and the specific signal extracted by the potential analysis unit 21. are stored in association with each other.

周囲情報取得部40は、車両の周囲の情報を取得する。周囲情報取得部40には、一例として、光波を用いて距離を測定するレーザレンジファインダ、静止画及び動画を取得するカメラ、超音波を用いて距離を測定するソナーなどが含まれる。周囲情報取得部40は、車両の周囲に存在する物体(歩行者、自転車、二輪車、他車両など)、及び車両の周囲の情報(道路境界線、停止線、信号機、標識、横断歩道、交差点など)を取得する。周囲情報取得部40は取得したデータを自動機能装置50に出力する。 The surrounding information acquisition unit 40 obtains information about the surroundings of the vehicle. The surrounding information acquisition unit 40 includes, for example, a laser range finder that measures distance using light waves, a camera that acquires still images and moving images, and a sonar that measures distance using ultrasonic waves. The surrounding information acquisition unit 40 collects objects surrounding the vehicle (pedestrians, bicycles, motorcycles, other vehicles, etc.) and information about the surroundings of the vehicle (road boundaries, stop lines, traffic lights, signs, crosswalks, intersections, etc.). ) to obtain. The surrounding information acquisition unit 40 outputs the acquired data to the automatic function device 50.

自動機能装置50は、例えば、ACC(Adaptive Cruise Control)機能を有する装置であり、車両の運転操作を補助する。ACC機能は周知の技術であるため詳細な説明を省略する。自動機能装置50は、自動機能制御部24から取得した指令と、周囲情報取得部40から取得したデータとを用いて車両の運転操作を補助する。また、自動機能装置50は、ACC機能の他に、レーンキープ機能、オートレーンチェンジ機能などを有してもよい。また、自動機能装置50は、自動運転機能を有していてもよい。 The automatic function device 50 is, for example, a device having an ACC (Adaptive Cruise Control) function, and assists the driving operation of the vehicle. Since the ACC function is a well-known technology, detailed explanation will be omitted. The automatic function device 50 uses commands acquired from the automatic function control section 24 and data acquired from the surrounding information acquisition section 40 to assist in driving the vehicle. Further, the automatic function device 50 may have a lane keep function, an automatic lane change function, etc. in addition to the ACC function. Further, the automatic function device 50 may have an automatic driving function.

次に、図3~4を参照して、電位解析部21による電位信号の処理の一例を説明する。上述したように電位解析部21は電位信号の処理としてフィルタリングを用いる。 Next, an example of potential signal processing by the potential analysis section 21 will be described with reference to FIGS. 3 and 4. As described above, the potential analysis unit 21 uses filtering to process the potential signal.

掌電位検出部10により検出された電位信号を低周波数帯1~6Hzのバンドパスフィルタ(ローパスフィルタ)でフィルタリングした解析結果を図3に示す。図3に示す解析結果は、ある運転者(以下、運転者Aという)の電位信号の解析結果である。図3の縦軸は、筋電位(指数)を示し、横軸は時間を示す。図3の時刻0は、運転者Aによるレーンチェンジが行われたタイミング(以下、レーンチェンジタイミングと表現する)を示す。時刻が0より前は、レーンチェンジが行われる前を示し、時刻が0より後は、レーンチェンジが行われた後を意味する。 FIG. 3 shows an analysis result obtained by filtering the potential signal detected by the palm potential detection unit 10 with a bandpass filter (low-pass filter) in a low frequency band of 1 to 6 Hz. The analysis result shown in FIG. 3 is an analysis result of a potential signal of a certain driver (hereinafter referred to as driver A). The vertical axis in FIG. 3 shows myoelectric potential (index), and the horizontal axis shows time. Time 0 in FIG. 3 indicates the timing at which driver A changes lanes (hereinafter referred to as lane change timing). A time before 0 means before a lane change is performed, and a time after 0 means after a lane change is performed.

図3に示すように、レーンチェンジタイミングの約500msec前に所定の電位信号が抽出された。この電位信号は、運転者Aによるステアリングホイール11の操作よりも前に発生する操作前信号である。操作前信号は、ステアリングホイール11を操作しようとする運転者Aの筋肉動作の直前に発生する筋電位信号である。この筋電位信号は、レーンチェンジに備えた先駆け操作(筋肉動作)であると考えられる。運転者Aは、レーンチェンジを行う際、事前にステアリングホイール11を強く把持するなど、レーンチェンジに備えた先駆け操作を行うと考えられ、この先駆け操作に起因する筋電位信号が約500msec前に出現したと考えられる。先駆け操作に起因する筋電位信号がレーンチェンジタイミングの約500msec前に抽出された場合、運転者Aは約500msec後にレーンチェンジを行うと予測される。 As shown in FIG. 3, a predetermined potential signal was extracted approximately 500 msec before the lane change timing. This potential signal is a pre-operation signal that is generated before the driver A operates the steering wheel 11. The pre-operation signal is a myoelectric potential signal generated immediately before the driver A makes a muscle movement to operate the steering wheel 11. This myoelectric potential signal is considered to be a precursor operation (muscle movement) in preparation for a lane change. When driver A performs a lane change, it is thought that he performs a preliminary operation in preparation for the lane change, such as by strongly gripping the steering wheel 11 in advance, and a myoelectric potential signal caused by this preliminary operation appears approximately 500 msec before. It is thought that he did. If the myoelectric potential signal resulting from the pioneering operation is extracted approximately 500 msec before the lane change timing, it is predicted that driver A will change lanes approximately 500 msec later.

ここで、約500msec前という発生タイミングは、あくまで運転者Aの筋電位信号の発生タイミングである。当然ながら発生タイミングには個人差は存在する。運転者ごとの、レーンチェンジに備えた先駆け操作に起因する筋電位信号の振幅、電圧、周波数、発生タイミングなどの筋電位信号の特徴は、運転者ごとに対応付けられてステアリング操作データベース31に格納される。ステアリング操作予測部22は、予め運転者を特定した上で、電位解析部21による解析結果とステアリング操作データベース31と照らし合わせることにより、精度よく特定の信号(先駆け操作に起因する筋電位信号)を抽出することが可能となる。これにより、ステアリング操作予測部22は運転者がステアリングホイール11を操作する意図があるのか否かを精度よく予測することが可能となる。なお、運転者を特定する方法は、顔認識技術などの周知の技術を用いればよい。 Here, the generation timing of approximately 500 msec before is the generation timing of driver A's myoelectric potential signal. Naturally, there are individual differences in the timing of occurrence. Characteristics of myoelectric potential signals such as amplitude, voltage, frequency, and generation timing of myoelectric potential signals caused by preemptive maneuvers in preparation for a lane change for each driver are stored in the steering operation database 31 in association with each driver. be done. The steering operation prediction unit 22 identifies the driver in advance, and then compares the analysis result by the potential analysis unit 21 with the steering operation database 31 to accurately generate a specific signal (myoelectric potential signal caused by the preceding operation). It becomes possible to extract. Thereby, the steering operation prediction unit 22 can accurately predict whether the driver intends to operate the steering wheel 11 or not. Note that a well-known technique such as facial recognition technique may be used as a method for identifying the driver.

先駆け操作に起因する筋電位信号が抽出された場合、所定時間後(図3に示す例では約500msec後)に実際にレーンチェンジが行われる可能性が高いことを意味するが、この有意性について発明者は検証した。検証結果を図4に示す。図4の縦軸はTPR(true positive ratio)を示し、横軸は時間を示す。TPRの数値は、レーンチェンジを行うと予測して、実際にレーンチェンジが行われた割合が高いほど、高くなる。図4から明らかな通り、レーンチェンジに備えた先駆け操作に起因する筋電位信号が抽出された場合、所定時間後に実際にレーンチェンジが行われる可能性が高いことがわかる。 If a myoelectric potential signal caused by a pioneering maneuver is extracted, it means that there is a high possibility that a lane change will actually occur after a predetermined time (approximately 500 msec in the example shown in Figure 3). The inventor has verified. The verification results are shown in Figure 4. The vertical axis in FIG. 4 indicates TPR (true positive ratio), and the horizontal axis indicates time. The TPR value increases as the ratio of predicted lane changes to actual lane changes increases. As is clear from FIG. 4, when a myoelectric potential signal resulting from a precursor operation in preparation for a lane change is extracted, it is found that there is a high possibility that a lane change will actually be performed after a predetermined time.

次に、図5を参照して、先駆け操作に起因する筋電位信号が抽出された場合の自動機能装置50によるオートレーンチェンジについて説明する。オートレーンチェンジとは自動的に行われるレーンチェンジである。 Next, with reference to FIG. 5, an explanation will be given of an automatic lane change performed by the automatic function device 50 when a myoelectric potential signal caused by a pioneering operation is extracted. Auto lane change is a lane change that occurs automatically.

図5に示すシーンは、車両70がバイク80(障害物)を回避するためにレーンチェンジを行うシーンを示す。より詳しくは、図5の比較例に示すシーンは、時刻t=0において、運転者が手動でレーンチェンジを行うシーンを示す。 The scene shown in FIG. 5 shows a scene in which the vehicle 70 changes lanes to avoid the motorcycle 80 (an obstacle). More specifically, the scene shown in the comparative example of FIG. 5 shows a scene in which the driver manually changes lanes at time t=0.

図5の実施例は、図3で説明したように先駆け操作に起因する筋電位信号が時刻t=0から約500msec前に抽出されたことを示す。図5の実施例における車両70の運転者は、上述の運転者Aとする。自動機能制御部24は、先駆け操作に起因する筋電位信号が抽出されたとき、オートレーンチェンジのためのステアリングホイール11の操作指令を自動機能装置50に出力する。このとき、自動機能制御部24は、オートレーンチェンジのためのステアリングホイール11の操作タイミングを決定し、その情報も自動機能装置50に出力する。さらに自動機能制御部24はオートレーンチェンジに必要なステアリングホイール11の操作量を演算し、その情報も自動機能装置50に出力する。 The example of FIG. 5 shows that the myoelectric potential signal caused by the precursor operation was extracted about 500 msec before time t=0, as described in FIG. 3. The driver of the vehicle 70 in the embodiment of FIG. 5 is the driver A described above. The automatic function control unit 24 outputs an operation command for the steering wheel 11 for automatic lane change to the automatic function device 50 when the myoelectric potential signal resulting from the pioneering operation is extracted. At this time, the automatic function control unit 24 determines the operation timing of the steering wheel 11 for automatic lane change, and also outputs this information to the automatic function device 50. Further, the automatic function control unit 24 calculates the amount of operation of the steering wheel 11 necessary for automatic lane change, and outputs this information to the automatic function device 50 as well.

オートレーンチェンジのためのステアリングホイール11の操作タイミングの決定方法は特に限定されないが、一例として自動機能制御部24は先駆け操作に起因する筋電位信号が抽出されてから実際にレーンチェンジが行われるまでの間、つまり、約500msec前から時刻t=0までの間で任意に決定することができる。図5の実施例では、一例としてオートレーンチェンジのためのステアリングホイール11の操作タイミングは、時刻t=0から約400msec前に決定されている。 The method for determining the operation timing of the steering wheel 11 for an automatic lane change is not particularly limited, but as an example, the automatic function control unit 24 determines the timing from when a myoelectric potential signal caused by a preceding operation is extracted until when a lane change is actually performed. It can be arbitrarily determined between approximately 500 msec and time t=0. In the embodiment of FIG. 5, as an example, the operation timing of the steering wheel 11 for automatic lane change is determined approximately 400 msec before time t=0.

図5の実施例では先駆け操作に起因する筋電位信号が抽出されたため、所定時間後(図5に示す例では約500msec後)に実際にレーンチェンジが行われる可能性が高いと予測される。そこで、自動機能制御部24はオートレーンチェンジのためのステアリングホイール11の操作タイミングを決定し、決定した情報を自動機能装置50に出力する。情報を取得した自動機能装置50は時刻t=0から約400msec前にステアリングホイール11の操作を制御してオートレーンチェンジを開始する。これにより、運転者Aの操作意図に沿った早めのサポートが可能となり、運転者Aの信頼を得ることができる。さらに比較例と比較して、早めにバイク80の回避が可能となるため、運転者Aは安心感も得ることができる。 In the example shown in FIG. 5, since the myoelectric potential signal caused by the advance maneuver is extracted, it is predicted that there is a high possibility that a lane change will actually be performed after a predetermined time (about 500 msec in the example shown in FIG. 5). Therefore, the automatic function control unit 24 determines the operation timing of the steering wheel 11 for automatic lane change, and outputs the determined information to the automatic function device 50. The automatic function device 50 that has acquired the information controls the operation of the steering wheel 11 approximately 400 msec before time t=0 to start an automatic lane change. This makes it possible to provide early support in line with driver A's operating intentions, and gain the trust of driver A. Furthermore, since it is possible to avoid the motorcycle 80 earlier than in the comparative example, the driver A can also feel secure.

上述の図3~図4では、バンドパスフィルタとしてローパスフィルタについて説明したが、フィルタリングは、ローパスフィルタに限定されない。例えば、図6~7に示すように、バンドパスフィルタとしてハイパスフィルタが用いられてもよい。 Although a low-pass filter has been described as a band-pass filter in FIGS. 3 and 4 above, filtering is not limited to a low-pass filter. For example, as shown in FIGS. 6-7, a high-pass filter may be used as the band-pass filter.

掌電位検出部10により検出された筋電位信号から5Hz以下を除いた信号を高周波数帯20~90Hzのバンドパスフィルタ(ハイパスフィルタ)でフィルタリングした解析結果を図6に示す。図6に示す解析結果は、上述の運転者Aの筋電位信号の解析結果である。ただし、図3と図6では運転シーンは異なる。図6の縦軸は筋電位(指数)を示し、横軸は時間を示す。図6の時刻0は、運転者Aによるレーンチェンジタイミングを示す。 FIG. 6 shows an analysis result obtained by filtering the myoelectric potential signal detected by the palm potential detection unit 10 excluding frequencies below 5 Hz using a band pass filter (high pass filter) in a high frequency band of 20 to 90 Hz. The analysis result shown in FIG. 6 is the analysis result of the myoelectric potential signal of driver A described above. However, the driving scenes are different between FIG. 3 and FIG. 6. The vertical axis in FIG. 6 shows myoelectric potential (index), and the horizontal axis shows time. Time 0 in FIG. 6 indicates the lane change timing by driver A.

図6に示すように、レーンチェンジタイミングの約100msec前に所定の筋電位信号が抽出されたため、運転者Aは約100msec後にレーンチェンジを行うと予測される。その他の説明は図3と同様であるため詳細は省略するが、ハイパスフィルタでフィルタリングした場合であっても、ローパスフィルタでフィルタリングした場合と同様の結果が得られる。 As shown in FIG. 6, since the predetermined myoelectric potential signal was extracted approximately 100 msec before the lane change timing, it is predicted that driver A will change lanes approximately 100 msec later. Other explanations are the same as those in FIG. 3, so details will be omitted, but even when filtering is performed with a high-pass filter, the same results as when filtering with a low-pass filter are obtained.

ハイパスフィルタでフィルタリングした場合の有意性についても発明者は検証した。検証結果を図7に示す。図7の縦軸はTPRを示し、横軸は時間を示す。図7から明らかな通り、レーンチェンジに備えた先駆け操作に起因する筋電位信号が抽出された場合、所定時間後に実際にレーンチェンジが行われる可能性が高いことがわかる。 The inventor also verified the significance of filtering with a high-pass filter. The verification results are shown in FIG. The vertical axis in FIG. 7 shows TPR, and the horizontal axis shows time. As is clear from FIG. 7, when a myoelectric potential signal resulting from a precursor operation in preparation for a lane change is extracted, it is found that there is a high possibility that a lane change will actually be performed after a predetermined time.

次に、図8のフローチャートを参照して、第1実施形態に係る操作予測装置の一動作例を説明する。 Next, an example of the operation of the operation prediction device according to the first embodiment will be described with reference to the flowchart in FIG. 8 .

ステップS101において、掌電位検出部10は、運転者がステアリングホイール11を把持したときの運転者の掌の電位信号を検出する。処理はステップS103に進み、電位解析部21は、掌電位検出部10により検出された電位信号を解析する。 In step S101, the palm potential detection unit 10 detects a potential signal of the driver's palm when the driver grips the steering wheel 11. The process proceeds to step S103, where the potential analysis unit 21 analyzes the potential signal detected by the palm potential detection unit 10.

処理はステップS105に進み、ステアリング操作予測部22は、ステアリング操作データベース31を参照して、電位解析部21によって抽出された特定の信号がステアリング操作データベース31に格納されたデータと一致するか否か判定する。電位解析部21によって抽出された特定の信号がステアリング操作データベース31に格納されたデータと一致する場合、ステアリング操作予測部22は運転者がステアリングホイール11を操作する意図があると予測する。 The process proceeds to step S105, where the steering operation prediction unit 22 refers to the steering operation database 31 and determines whether the specific signal extracted by the potential analysis unit 21 matches the data stored in the steering operation database 31. judge. If the specific signal extracted by the potential analysis unit 21 matches the data stored in the steering operation database 31, the steering operation prediction unit 22 predicts that the driver intends to operate the steering wheel 11.

処理はステップS107に進み、操作タイミング予測部23は、ステアリング操作予測部22によって運転者がステアリングホイール11を操作する意図があると予測された場合、実際にステアリングホイール11が操作されるまでの時間を予測する。 The process proceeds to step S107, and when the steering operation prediction unit 22 predicts that the driver intends to operate the steering wheel 11, the operation timing prediction unit 23 calculates the time until the steering wheel 11 is actually operated. Predict.

処理はステップS109に進み、自動機能制御部24は先駆け操作に起因する筋電位信号が抽出されてから実際にレーンチェンジが行われるまでの間でオートレーンチェンジのためのステアリングホイール11の操作タイミングを決定する。処理はステップS111に進み、自動機能制御部24はオートレーンチェンジに必要なステアリングホイール11の操作量を演算する。 The process proceeds to step S109, where the automatic function control unit 24 determines the operation timing of the steering wheel 11 for automatic lane change from when the myoelectric potential signal caused by the pioneering operation is extracted until when the lane change is actually performed. decide. The process proceeds to step S111, where the automatic function control unit 24 calculates the amount of operation of the steering wheel 11 necessary for automatic lane change.

処理はステップS113に進み、オートレーンチェンジのためのステアリングホイール11の操作タイミング及びオートレーンチェンジに必要なステアリングホイール11の操作量を取得した自動機能装置50は、指定されたタイミングでステアリングホイール11の操作を制御してオートレーンチェンジを開始する。 The process proceeds to step S113, where the automatic function device 50, which has acquired the operation timing of the steering wheel 11 for automatic lane change and the operation amount of the steering wheel 11 necessary for automatic lane change, operates the steering wheel 11 at the specified timing. Controls operations and initiates automatic lane change.

(作用効果)
以上説明したように、第1実施形態に係る操作予測装置によれば、以下の作用効果が得られる。
(effect)
As explained above, according to the operation prediction device according to the first embodiment, the following effects can be obtained.

掌電位検出部10はステアリングホイール11に設けられ、乗員がステアリングホイール11を把持したときの乗員の掌の電位信号を検出する。電位解析部21は掌電位検出部10によって検出された電位信号から乗員によるステアリングホイール11の操作よりも前に発生する操作前信号を抽出する。ステアリング操作予測部22は電位解析部21によって抽出された操作前信号に基づいて乗員によるステアリングホイール11の操作を予測する。これにより、乗員の体の一部に電極を設置することなく乗員の電位信号の取得が可能となる。また、取得した電位信号を用いて乗員のステアリングホイール11の操作を予測が可能となる。 The palm potential detection unit 10 is provided in the steering wheel 11 and detects a potential signal of the palm of the occupant when the occupant grips the steering wheel 11. The potential analysis unit 21 extracts a pre-operation signal generated before the operation of the steering wheel 11 by the occupant from the potential signal detected by the palm potential detection unit 10. The steering operation prediction unit 22 predicts the operation of the steering wheel 11 by the occupant based on the pre-operation signal extracted by the potential analysis unit 21. This makes it possible to acquire the potential signal of the occupant without installing an electrode on a part of the occupant's body. Furthermore, it is possible to predict the operation of the steering wheel 11 by the occupant using the acquired potential signal.

また、電位解析部21は、乗員によるステアリングホイール11の実際の操作と電位信号との関係を示す情報が格納されたステアリング操作データベース31を参照して、掌電位検出部10によって検出された電位信号から乗員によるステアリングホイール11の操作よりも前に発生する操作前信号を抽出する。これにより、電位解析部21は精度よくステアリングホイール11の操作よりも前に発生する操作前信号を抽出することができる。 Further, the potential analysis unit 21 refers to the steering operation database 31 that stores information indicating the relationship between the actual operation of the steering wheel 11 by the occupant and the potential signal, and calculates the potential signal detected by the palm potential detection unit 10. A pre-operation signal generated before the operation of the steering wheel 11 by the occupant is extracted from the pre-operation signal. Thereby, the potential analysis unit 21 can accurately extract the pre-operation signal that occurs before the operation of the steering wheel 11.

操作前信号は、ステアリングホイール11を操作しようとする乗員の筋肉動作の直前に発生する筋電位信号である。換言すれば、操作前信号は、運転者がステアリングホイール11を操作する意図があることを示す信号である。 The pre-operation signal is a myoelectric potential signal generated immediately before the occupant makes a muscle movement to operate the steering wheel 11. In other words, the pre-operation signal is a signal indicating that the driver intends to operate the steering wheel 11.

また、電位解析部21は掌電位検出部10によって検出された電位信号から5Hz以下を除いた信号を高周波数帯20~90Hzのバンドパスフィルタでフィルタリングして操作前信号を抽出する。これにより、電位解析部21は精度よく操作前信号を抽出することができる。 Further, the potential analysis unit 21 filters the potential signal detected by the palm potential detection unit 10 excluding signals below 5 Hz using a bandpass filter in the high frequency band of 20 to 90 Hz to extract a pre-operation signal. Thereby, the potential analysis section 21 can accurately extract the pre-operation signal.

また、電位解析部21は掌電位検出部10によって検出された電位信号を低周波数帯1~6Hzのバンドパスフィルタでフィルタリングして操作前信号を抽出する。これにより、電位解析部21は精度よく操作前信号を抽出することができる。 Further, the potential analysis unit 21 filters the potential signal detected by the palm potential detection unit 10 with a bandpass filter in a low frequency band of 1 to 6 Hz to extract a pre-operation signal. Thereby, the potential analysis section 21 can accurately extract the pre-operation signal.

(第2実施形態)
次に、図9を参照して本発明の第2実施形態を説明する。第2実施形態が第1実施形態と異なるのは、記憶装置30に感度時間データベース33が記憶されていることである。第1実施形態と重複する構成については符号を引用してその説明は省略する。以下、相違点を中心に説明する。
(Second embodiment)
Next, a second embodiment of the present invention will be described with reference to FIG. The second embodiment differs from the first embodiment in that a sensitivity time database 33 is stored in the storage device 30. For configurations that overlap with those of the first embodiment, reference numerals will be cited and descriptions thereof will be omitted. The differences will be mainly explained below.

感度時間データベース33には、運転者がステアリングホイール11を操作する際の感度時間Δtが運転者ごとに格納される。この感度時間Δtは、運転技能レベルで運転者を分類するために用いられる。第1実施形態では、運転者を、運転技能レベルの高い上級者、運転技能レベルの低い初級者、その中間の運転技能レベルの中級者の3つに分類する。この分類により、例えば上述の図5のようにバイク80を回避するためにステアリングホイール11を操作してレーンチェンジを行う際、早めにレーンチェンジを行う運転者、バイク80との間の車間距離が短くなってからレーンチェンジを行う運転者などを区別することができる。第2実施形態では一例として初級者の感度時間Δtを800msecとし、中級者の感度時間Δtを500msecとし、上級者の感度時間Δtを200msecとする。 The sensitivity time database 33 stores the sensitivity time Δt when the driver operates the steering wheel 11 for each driver. This sensitivity time Δt is used to classify drivers based on their driving skill level. In the first embodiment, drivers are classified into three categories: advanced drivers with a high driving skill level, beginners with a low driving skill level, and intermediate drivers with a driving skill level in between. With this classification, for example, when changing lanes by operating the steering wheel 11 to avoid the motorcycle 80 as shown in FIG. It is possible to distinguish between drivers who change lanes after the lane has become shorter. In the second embodiment, as an example, the sensitivity time Δt for a beginner is 800 msec, the sensitivity time Δt for an intermediate user is 500 msec, and the sensitivity time Δt for an advanced user is 200 msec.

なお、運転技能レベルは、運転者の過去の操作履歴に基づいて設定されてもよい。あるいは、運転経験が1年未満の運転者を初級者、1年以上で10年未満の運転者を中級者、10年以上の運転者を上級者として運転技能レベルが設定されてもよい。なお、運転技能レベルは3つに限定されず、4つ以上に分類されてもよい。 Note that the driving skill level may be set based on the driver's past operation history. Alternatively, the driving skill level may be set such that a driver with less than one year of driving experience is a beginner, a driver with one year or more but less than 10 years of driving experience is an intermediate level, and a driver with 10 years or more of driving experience is an advanced level. Note that the driving skill level is not limited to three, but may be classified into four or more.

第1実施形態では、自動機能制御部24は先駆け操作に起因する筋電位信号が抽出されてから実際にレーンチェンジが行われるまでの間でオートレーンチェンジのためのステアリングホイール11の操作タイミングを任意に決定してもよいと説明した。これに対して第2実施形態では、自動機能制御部24は感度時間Δtを考慮してオートレーンチェンジのためのステアリングホイール11の操作タイミングを決定する。詳細について図10A及び図10Bを参照して説明する。 In the first embodiment, the automatic function control unit 24 arbitrarily controls the operation timing of the steering wheel 11 for an automatic lane change between when a myoelectric potential signal caused by a pioneering operation is extracted and when a lane change is actually performed. He explained that he could decide to do so. On the other hand, in the second embodiment, the automatic function control unit 24 determines the operation timing of the steering wheel 11 for automatic lane change in consideration of the sensitivity time Δt. Details will be explained with reference to FIGS. 10A and 10B.

図10A及び図10Bに示す時刻T0は、レーンチェンジに備えた先駆け操作に起因する筋電位信号が抽出された時刻である。図10A及び図10Bに示す時刻T1は、実際に運転者によってレーンチェンジが行われた時刻である。あるいは、時刻T1は実際に運転者によってステアリングホイール11が操作されると予測された時刻であってもよい。図10A及び図10Bに示す時刻T2は、自動機能制御部24によって決定されたオートレーンチェンジのためのステアリングホイール11の操作タイミングを示す任意の時刻である。 Time T0 shown in FIGS. 10A and 10B is the time when a myoelectric potential signal resulting from a precursor operation in preparation for a lane change is extracted. Time T1 shown in FIGS. 10A and 10B is the time when the lane change is actually performed by the driver. Alternatively, the time T1 may be the time when the steering wheel 11 is predicted to be actually operated by the driver. Time T2 shown in FIGS. 10A and 10B is an arbitrary time indicating the operation timing of the steering wheel 11 for automatic lane change determined by the automatic function control unit 24.

自動機能制御部24は感度時間データベース33を参照して運転者の運転技能レベルを取得する。なお、運転者を特定する方法は、上述したように顔認識技術などの周知の技術を用いればよい。そして、自動機能制御部24は運転技能レベルごとに設定された感度時間Δtを取得する。 The automatic function control unit 24 refers to the sensitivity time database 33 and obtains the driving skill level of the driver. Note that, as a method for identifying the driver, a well-known technique such as face recognition technique as described above may be used. Then, the automatic function control unit 24 obtains the sensitivity time Δt set for each driving skill level.

自動機能制御部24は、時刻T1と時刻T2との差分「T1-T2」(以下この差分を時間差αという)を演算し、この時間差αと運転者の感度時間Δtとを比較する。 The automatic function control unit 24 calculates the difference "T1-T2" between time T1 and time T2 (hereinafter this difference will be referred to as time difference α), and compares this time difference α with the driver's sensitivity time Δt.

図10Aに示すように時間差αが感度時間Δtより大きい場合、自動機能制御部24はステアリングホイール11の操作タイミングTrを「T1-Δt」に設定する。すなわち、図10Aに示すように、時刻T1から感度時間Δtだけ遡ったタイミングT3aをステアリングホイール11を自動操作する際の操作タイミングTrとして設定する。 As shown in FIG. 10A, when the time difference α is larger than the sensitivity time Δt, the automatic function control unit 24 sets the operation timing Tr of the steering wheel 11 to “T1−Δt”. That is, as shown in FIG. 10A, a timing T3a that is back by a sensitivity time Δt from time T1 is set as the operation timing Tr for automatically operating the steering wheel 11.

一方、図10Bに示すように時間差αが感度時間Δt以下である場合、自動機能制御部24はステアリングホイール11の操作タイミングTrを、時刻T2に設定する。すなわち、図10Bに示すように、時刻T1から感度時間Δtだけ遡ったタイミングT3bは、時刻T2よりも早いタイミングとなるため、自動機能制御部24は時刻T2を操作タイミングTrとして設定する。 On the other hand, as shown in FIG. 10B, when the time difference α is less than or equal to the sensitivity time Δt, the automatic function control unit 24 sets the operation timing Tr of the steering wheel 11 to time T2. That is, as shown in FIG. 10B, the timing T3b, which is the sensitivity time Δt back from the time T1, is earlier than the time T2, so the automatic function control unit 24 sets the time T2 as the operation timing Tr.

このように感度時間Δtを考慮してオートレーンチェンジのためのステアリングホイール11の操作タイミングTrを決定することにより、運転者がステアリングホイール11を操作するタイミングに合致して自動機能装置50による自動操作が実行されることになる。その結果、あたかも運転者が自身でステアリングホイール11を操作する感覚で、ステアリングホイール11が自動で作動することになる。すなわち、運転者に対して自動機能が作動しているという認識を持たせることなく、ステアリングホイール11を自動で作動させることが可能となる。 By determining the operation timing Tr of the steering wheel 11 for automatic lane change in consideration of the sensitivity time Δt in this manner, the automatic operation by the automatic function device 50 is performed in accordance with the timing when the driver operates the steering wheel 11. will be executed. As a result, the steering wheel 11 operates automatically as if the driver were operating the steering wheel 11 himself. That is, it becomes possible to automatically operate the steering wheel 11 without making the driver aware that an automatic function is activated.

例えば、運転者が中級者である場合には、感度時間Δtが500msecに設定され、時刻T1よりも500msecだけ早い時点で自動機能が作動することになる。また、運転者が上級者である場合には、感度時間Δtが200msecに設定され、時刻T1よりも200msecだけ早い時点で自動機能が作動することになる。仮に、上級者に対して感度時間Δtを500msecに設定すると、この上級者が通常ステアリングホイール11を操作するタイミングよりも若干早い時点でステアリングホイール11が作動するので、自身で運転しているという感覚が阻害されてしまい、違和感を感じてしまう可能性がある。 For example, if the driver is an intermediate driver, the sensitivity time Δt is set to 500 msec, and the automatic function is activated 500 msec earlier than time T1. Furthermore, if the driver is an advanced driver, the sensitivity time Δt is set to 200 msec, and the automatic function is activated 200 msec earlier than time T1. If the sensitivity time Δt is set to 500 msec for an advanced driver, the steering wheel 11 will operate slightly earlier than the timing at which the advanced driver would normally operate the steering wheel 11, giving him the feeling that he is driving himself. may be inhibited, leading to a feeling of discomfort.

第2実施形態では、上級者、中級者、初級者のように運転技能レベルを区分し、それぞれに応じた感度時間Δtを用いてステアリングホイール11の操作タイミングTrが決定される。これにより運転者があたかも自身で操作している感覚となるように、ステアリングホイール11の操作が制御可能となる。これにより、運転者の個人的な運転技能レベルに適合した違和感のないサポートが可能となる。 In the second embodiment, the driving skill level is classified into advanced, intermediate, and beginner, and the operation timing Tr of the steering wheel 11 is determined using the sensitivity time Δt corresponding to each driving skill level. This allows the driver to control the operation of the steering wheel 11 as if he were operating it himself. This makes it possible to provide support that is tailored to the driver's personal driving skill level and that does not make the driver feel uncomfortable.

次に、図11のフローチャートを参照して、第2実施形態に係る操作予測装置の一動作例を説明する。ただし、ステップS201~209、219~221の処理は、図8に示すステップS101~109、111~121に示す処理と同様であるため、説明を省略する。 Next, an example of the operation of the operation prediction device according to the second embodiment will be described with reference to the flowchart of FIG. 11. However, the processing in steps S201 to 209 and 219 to 221 is the same as the processing shown in steps S101 to 109 and 111 to 121 shown in FIG. 8, so a description thereof will be omitted.

ステップS211において、自動機能制御部24は感度時間データベース33を参照して運転技能レベルごとに設定された感度時間Δtを取得する。 In step S211, the automatic function control unit 24 refers to the sensitivity time database 33 and obtains the sensitivity time Δt set for each driving skill level.

時刻T1と時刻T2との差分「T1-T2」が感度時間Δtより大きい場合(ステップS213でYes)、処理はステップS217に進み、自動機能制御部24はステアリングホイール11の操作タイミングTrを「T1-Δt」に設定する(図10A参照)。一方、時刻T1と時刻T2との差分「T1-T2」が感度時間Δt以下の場合(ステップS213でNo)、処理はステップS215に進み、自動機能制御部24はステアリングホイール11の操作タイミングTrを時刻T2に設定する(図10B参照)。 If the difference "T1-T2" between time T1 and time T2 is larger than the sensitivity time Δt (Yes in step S213), the process proceeds to step S217, and the automatic function control unit 24 sets the operation timing Tr of the steering wheel 11 to "T1". −Δt” (see FIG. 10A). On the other hand, if the difference "T1-T2" between time T1 and time T2 is less than or equal to the sensitivity time Δt (No in step S213), the process proceeds to step S215, and the automatic function control unit 24 adjusts the operation timing Tr of the steering wheel 11. Set at time T2 (see FIG. 10B).

上述の実施形態に記載される各機能は、1または複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理回路は、また、記載された機能を実行するようにアレンジされた特定用途向け集積回路(ASIC)や回路部品等の装置を含む。 Each functionality described in the embodiments described above may be implemented by one or more processing circuits. Processing circuitry includes programmed processing devices, such as processing devices that include electrical circuitry. Processing circuitry also includes devices such as application specific integrated circuits (ASICs) or circuit components arranged to perform the described functions.

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。 As described above, embodiments of the present invention have been described, but the statements and drawings that form part of this disclosure should not be understood as limiting the present invention. Various alternative embodiments, implementations, and operational techniques will be apparent to those skilled in the art from this disclosure.

例えば、第1実施形態では、ローパスフィルタもしくはハイパスフィルタを用いた例を説明したが、両方のフィルタを用いてもよい。すなわち、電位解析部21は掌電位検出部10によって検出された電位信号から5Hz以下を除いた信号を高周波数帯20~90Hzのバンドパスフィルタ(ハイパスフィルタ)でフィルタリングし、かつ、掌電位検出部10によって検出された電位信号を低周波数帯1~6Hzのバンドパスフィルタ(ローパスフィルタ)でフィルタリングして乗員によるステアリングホイール11の操作に関係する信号を抽出してもよい。両方のフィルタを用いた場合であっても、それぞれのフィルタを用いた場合と同様の効果が得られる。 For example, in the first embodiment, a low-pass filter or a high-pass filter is used, but both filters may be used. That is, the potential analysis unit 21 filters the potential signal detected by the palm potential detection unit 10 by excluding signals below 5 Hz using a band pass filter (high pass filter) in a high frequency band of 20 to 90 Hz, and The signal related to the operation of the steering wheel 11 by the occupant may be extracted by filtering the potential signal detected by the steering wheel 10 with a band pass filter (low pass filter) in a low frequency band of 1 to 6 Hz. Even when both filters are used, the same effect as when each filter is used can be obtained.

また、操作前信号(乗員の筋肉動作の直前に発生する筋電位信号)は、以下の方法によって抽出されてもよい。掌電位検出部10によって検出された電位信号を高周波数帯20~90Hzのバンドパスフィルタでフィルタリングし、フィルタリング後の信号を絶対値処理することにより信号強度を全て正値化し、絶対値処理後の信号を5Hzのローパスフィルタでフィルタリングすることにより、乗員の筋肉動作の直前に発生する筋電位信号が抽出されてもよい。この抽出方法を用いた場合でも上述の効果と同様の効果が得られる。 Further, the pre-operation signal (myoelectric potential signal generated immediately before the occupant's muscle movement) may be extracted by the following method. The potential signal detected by the palm potential detection unit 10 is filtered with a bandpass filter in a high frequency band of 20 to 90 Hz, and the filtered signal is subjected to absolute value processing to convert all signal intensities into positive values. By filtering the signal with a 5 Hz low-pass filter, a myoelectric potential signal that occurs immediately before the occupant's muscle movement may be extracted. Even when this extraction method is used, effects similar to those described above can be obtained.

なお、操作前信号の一例として、乗員の筋肉動作の直前に発生する筋電位信号を説明したが、操作前信号はこれに限定されない。操作前信号は掌電位検出部10と乗員の掌との間のインピーダンス変化に起因する信号であってもよい。掌電位検出部10と乗員の掌との間のインピーダンス変化は、掌電位検出部10と乗員の掌との間の接触面圧の変化に伴うもの、又は掌電位検出部10と乗員の掌との間の接触面積の変化に伴うものである。 Although the myoelectric potential signal generated immediately before the occupant's muscle movement has been described as an example of the pre-operation signal, the pre-operation signal is not limited to this. The pre-operation signal may be a signal caused by a change in impedance between the palm potential detection unit 10 and the palm of the occupant. The impedance change between the palm potential detection unit 10 and the occupant's palm is due to a change in the contact surface pressure between the palm potential detection unit 10 and the occupant's palm, or the change in impedance between the palm potential detection unit 10 and the occupant's palm. This is due to changes in the contact area between the two.

掌電位検出部10と乗員の掌との間のインピーダンス変化に起因する信号の抽出方法の一例を説明する。電位解析部21は、乗員の掌の電位信号を低周波数帯1~6Hzのバンドパスフィルタでフィルタリングすることによって、掌電位検出部10と乗員の掌との間のインピーダンス変化に起因する信号を抽出してもよい。 An example of a method for extracting a signal caused by a change in impedance between the palm potential detection unit 10 and the palm of an occupant will be described. The potential analysis unit 21 filters the potential signal of the occupant's palm with a bandpass filter in a low frequency band of 1 to 6 Hz, thereby extracting a signal caused by an impedance change between the palm potential detection unit 10 and the occupant's palm. You may.

10 掌電位検出部
11 ステアリングホイール
20 コントローラ
21 電位解析部
22 ステアリング操作予測部
23 操作タイミング予測部
24 自動機能制御部
30 記憶装置
31 ステアリング操作データベース
32 ステアリング操作タイミングデータベース
33 感度時間データベース
40 周囲情報取得部
50 自動機能装置

10 Palm potential detection section 11 Steering wheel 20 Controller 21 Potential analysis section 22 Steering operation prediction section 23 Operation timing prediction section 24 Automatic function control section 30 Storage device 31 Steering operation database 32 Steering operation timing database 33 Sensitivity time database 40 Surrounding information acquisition section 50 Automatic function device

Claims (6)

ステアリングホイールに設けられたセンサによって乗員が前記ステアリングホイールを操作する際の筋肉活動により生じる前記乗員の掌の電位信号を検出し、
前記センサによって検出された前記電位信号から前記乗員による前記ステアリングホイールの操作よりも前に発生する操作前信号を抽出し、
抽出した前記操作前信号に基づいて前記乗員による前記ステアリングホイールの操作を予測するステアリングホイールの操作予測方法であって、
前記操作前信号は、前記ステアリングホイールを操作しようとする前記乗員の筋肉動作の直前に発生する筋電位信号であり
前記センサによって検出された前記電位信号を高周波数帯20~90Hzのバンドパスフィルタでフィルタリングし、
フィルタリング後の信号を絶対値処理することにより信号強度を全て正値化し、
絶対値処理後の信号を5Hzのローパスフィルタでフィルタリングすることにより、前記乗員の筋肉動作の直前に発生する筋電位信号を抽出する
ステアリングホイールの操作予測方法。
A sensor provided on the steering wheel detects a potential signal in the occupant's palm caused by muscle activity when the occupant operates the steering wheel;
extracting a pre-operation signal generated before the operation of the steering wheel by the occupant from the potential signal detected by the sensor;
A steering wheel operation prediction method for predicting an operation of the steering wheel by the occupant based on the extracted pre-operation signal, the method comprising:
The pre-operation signal is a myoelectric potential signal generated immediately before the occupant's muscle movement to operate the steering wheel.
filtering the potential signal detected by the sensor with a bandpass filter in a high frequency band of 20 to 90 Hz;
By performing absolute value processing on the signal after filtering, all signal strengths are converted into positive values,
By filtering the signal after absolute value processing with a 5 Hz low-pass filter, a myoelectric potential signal generated immediately before the muscle movement of the occupant is extracted.
How to predict steering wheel operation.
前記乗員による前記ステアリングホイールの操作と、前記電位信号との関係を示す情報が格納されたデータベースを参照して、前記センサによって検出された前記電位信号から前記筋電位信号を抽出する
ことを特徴とする請求項1に記載のステアリングホイールの操作予測方法。
The myoelectric potential signal is extracted from the potential signal detected by the sensor by referring to a database storing information indicating a relationship between the operation of the steering wheel by the occupant and the potential signal. The steering wheel operation prediction method according to claim 1.
ステアリングホイールに設けられたセンサによって乗員が前記ステアリングホイールを操作する際の筋肉活動により生じる前記乗員の掌の電位信号を検出し、
前記センサによって検出された前記電位信号から前記乗員による前記ステアリングホイールの操作よりも前に発生する操作前信号を抽出し、
抽出した前記操作前信号に基づいて前記乗員による前記ステアリングホイールの操作を予測するステアリングホイールの操作予測方法であって、
前記操作前信号は、前記センサと前記乗員の掌との間のインピーダンス変化に起因する信号である
ステアリングホイールの操作予測方法。
A sensor provided on the steering wheel detects a potential signal in the occupant's palm caused by muscle activity when the occupant operates the steering wheel;
extracting a pre-operation signal generated before the operation of the steering wheel by the occupant from the potential signal detected by the sensor;
A steering wheel operation prediction method for predicting an operation of the steering wheel by the occupant based on the extracted pre-operation signal, the method comprising:
The steering wheel operation prediction method, wherein the pre-operation signal is a signal caused by an impedance change between the sensor and the palm of the occupant.
前記センサと前記乗員の掌との間のインピーダンス変化は、前記センサと前記乗員の掌との間の接触面圧の変化に伴うもの、又は前記センサと前記乗員の掌との間の接触面積の変化に伴うものである
ことを特徴とする請求項に記載のステアリングホイールの操作予測方法。
The impedance change between the sensor and the occupant's palm is caused by a change in the contact surface pressure between the sensor and the occupant's palm, or by a change in the contact area between the sensor and the occupant's palm. 4. The steering wheel operation prediction method according to claim 3 , wherein the steering wheel operation prediction method is based on a change.
前記センサによって検出された前記電位信号を低周波数帯1~6Hzのバンドパスフィルタでフィルタリングすることにより、前記センサと前記乗員の掌との間のインピーダンス変化に起因する信号を抽出する
ことを特徴とする請求項またはに記載のステアリングホイールの操作予測方法。
The electric potential signal detected by the sensor is filtered with a bandpass filter in a low frequency band of 1 to 6 Hz to extract a signal caused by an impedance change between the sensor and the palm of the occupant. The steering wheel operation prediction method according to claim 3 or 4 .
ステアリングホイールに設けられ、乗員が前記ステアリングホイールを操作する際の筋肉活動により生じる前記乗員の掌の電位信号を検出するセンサと、
前記センサによって検出された前記電位信号から前記乗員による前記ステアリングホイールの操作よりも前に発生する操作前信号を抽出し、抽出した前記操作前信号に基づいて前記乗員による前記ステアリングホイールの操作を予測するコントローラと、を備える
ステアリングホイールの操作予測装置であって、
前記操作前信号は、前記ステアリングホイールを操作しようとする前記乗員の筋肉動作の直前に発生する筋電位信号であり
前記コントローラは、
前記センサによって検出された前記電位信号を高周波数帯20~90Hzのバンドパスフィルタでフィルタリングし、
フィルタリング後の信号を絶対値処理することにより信号強度を全て正値化し、
絶対値処理後の信号を5Hzのローパスフィルタでフィルタリングすることにより、前記乗員の筋肉動作の直前に発生する筋電位信号を抽出する
ステアリングホイールの操作予測装置。
a sensor that is provided on a steering wheel and detects an electric potential signal of the occupant's palm caused by muscle activity when the occupant operates the steering wheel;
Extracting a pre-operation signal generated before the operation of the steering wheel by the occupant from the potential signal detected by the sensor, and predicting the operation of the steering wheel by the occupant based on the extracted pre-operation signal. a controller to
A steering wheel operation prediction device,
The pre-operation signal is a myoelectric potential signal generated immediately before the occupant's muscle movement to operate the steering wheel.
The controller includes:
filtering the potential signal detected by the sensor with a bandpass filter in a high frequency band of 20 to 90 Hz;
By performing absolute value processing on the signal after filtering, all signal strengths are converted into positive values,
By filtering the signal after absolute value processing with a 5 Hz low-pass filter, a myoelectric potential signal generated immediately before the muscle movement of the occupant is extracted.
Steering wheel operation prediction device.
JP2019189998A 2019-10-17 2019-10-17 Steering wheel operation prediction method and steering wheel operation prediction device Active JP7437904B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019189998A JP7437904B2 (en) 2019-10-17 2019-10-17 Steering wheel operation prediction method and steering wheel operation prediction device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019189998A JP7437904B2 (en) 2019-10-17 2019-10-17 Steering wheel operation prediction method and steering wheel operation prediction device

Publications (2)

Publication Number Publication Date
JP2021062845A JP2021062845A (en) 2021-04-22
JP7437904B2 true JP7437904B2 (en) 2024-02-26

Family

ID=75486037

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019189998A Active JP7437904B2 (en) 2019-10-17 2019-10-17 Steering wheel operation prediction method and steering wheel operation prediction device

Country Status (1)

Country Link
JP (1) JP7437904B2 (en)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007245907A (en) 2006-03-15 2007-09-27 Mazda Motor Corp Vehicle steering system
JP2008247119A (en) 2007-03-29 2008-10-16 Mazda Motor Corp Vehicle driving support device
JP2009090751A (en) 2007-10-05 2009-04-30 Toyota Motor Corp Steering device, riding-type moving body equipped with steering device, and moving body steering method
JP2010155547A (en) 2008-12-26 2010-07-15 Toyota Motor Corp Driving support device and driving support method
JP2012130543A (en) 2010-12-22 2012-07-12 Nissan Motor Co Ltd Apparatus for estimating the degree of fatigue of driver
JP2012144070A (en) 2011-01-07 2012-08-02 Nissan Motor Co Ltd Steering reaction force control device
CN106073712A (en) 2016-06-15 2016-11-09 南京理工大学 Driving based on heart physiological signal warning direction indicators cover device and signal detecting method
JP2016200985A (en) 2015-04-10 2016-12-01 本田技研工業株式会社 Driving assist apparatus
JP2018103859A (en) 2016-12-27 2018-07-05 日産自動車株式会社 Steering support method and steering support device
KR20190012864A (en) 2017-07-28 2019-02-11 엘지이노텍 주식회사 State detecting sensor and driver assistance apparatus comprising the same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05345569A (en) * 1991-10-14 1993-12-27 Toyoda Gosei Co Ltd Steering wheel

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007245907A (en) 2006-03-15 2007-09-27 Mazda Motor Corp Vehicle steering system
JP2008247119A (en) 2007-03-29 2008-10-16 Mazda Motor Corp Vehicle driving support device
JP2009090751A (en) 2007-10-05 2009-04-30 Toyota Motor Corp Steering device, riding-type moving body equipped with steering device, and moving body steering method
JP2010155547A (en) 2008-12-26 2010-07-15 Toyota Motor Corp Driving support device and driving support method
JP2012130543A (en) 2010-12-22 2012-07-12 Nissan Motor Co Ltd Apparatus for estimating the degree of fatigue of driver
JP2012144070A (en) 2011-01-07 2012-08-02 Nissan Motor Co Ltd Steering reaction force control device
JP2016200985A (en) 2015-04-10 2016-12-01 本田技研工業株式会社 Driving assist apparatus
CN106073712A (en) 2016-06-15 2016-11-09 南京理工大学 Driving based on heart physiological signal warning direction indicators cover device and signal detecting method
JP2018103859A (en) 2016-12-27 2018-07-05 日産自動車株式会社 Steering support method and steering support device
KR20190012864A (en) 2017-07-28 2019-02-11 엘지이노텍 주식회사 State detecting sensor and driver assistance apparatus comprising the same

Also Published As

Publication number Publication date
JP2021062845A (en) 2021-04-22

Similar Documents

Publication Publication Date Title
US11422552B2 (en) Driving-mode switch control system, driving-mode switch control program product, and driving-mode switch control method
US9159235B2 (en) Method of operating a driver assistance system of a motor vehicle
JP5942761B2 (en) Driving support device and driving support method
US20080204212A1 (en) Method and Device For Driver Support
US20240000354A1 (en) Driving characteristic determination device, driving characteristic determination method, and recording medium
CN101535079A (en) Method and device for driver state recognition
CN113393664B (en) Driving assistance devices
CN117542028A (en) Method and device for detecting driving behavior, vehicle and storage medium
KR102608299B1 (en) driver assistance apparatus and CONTROL METHOD
JP2019020786A (en) Driving support method and driving support device
JP7437904B2 (en) Steering wheel operation prediction method and steering wheel operation prediction device
WO2024109680A1 (en) Autonomous driving mode takeover method, driver monitoring system and vehicle
CN115534964B (en) Automatic lane changing method, device, vehicle and storage medium for vehicle
US20150235554A1 (en) Other-vehicle detection apparatus, driving assistance apparatus, and other-vehicle detection method
CN116901949A (en) Sensitivity self-adaptive adjustment lane keeping auxiliary method and system
CN120363917A (en) Vehicle lane change control method, medium and vehicle
JP5018092B2 (en) Lane departure prevention device
CN118182477A (en) Vehicle control method, device, vehicle, storage medium, and program product
JP4486897B2 (en) Driving action recognition device
CN113516015B (en) Emotion recognition methods, assisted driving devices and applications
JP2007233744A (en) Driving support apparatus
CN114074671A (en) Vehicle and method of controlling vehicle
JP7043726B2 (en) Appropriate state judgment method and proper state judgment device
CN119872599B (en) Driving assistance prompting method and device, vehicle and electronic equipment
JP7091643B2 (en) Discomfort discrimination method and discomfort discrimination device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240213

R150 Certificate of patent or registration of utility model

Ref document number: 7437904

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150