Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6687006B2 - 運転者判定装置とそれを備える運転者状態判定装置並びにそれらの方法およびプログラム - Google Patents
[go: Go Back, main page]

JP6687006B2 - 運転者判定装置とそれを備える運転者状態判定装置並びにそれらの方法およびプログラム - Google Patents

運転者判定装置とそれを備える運転者状態判定装置並びにそれらの方法およびプログラム Download PDF

Info

Publication number
JP6687006B2
JP6687006B2 JP2017219796A JP2017219796A JP6687006B2 JP 6687006 B2 JP6687006 B2 JP 6687006B2 JP 2017219796 A JP2017219796 A JP 2017219796A JP 2017219796 A JP2017219796 A JP 2017219796A JP 6687006 B2 JP6687006 B2 JP 6687006B2
Authority
JP
Japan
Prior art keywords
driver
statistical information
statistical
unit
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017219796A
Other languages
English (en)
Other versions
JP2019091259A (ja
Inventor
将士 田中
将士 田中
義朗 松浦
義朗 松浦
啓輔 横田
啓輔 横田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2017219796A priority Critical patent/JP6687006B2/ja
Priority to DE102018127161.1A priority patent/DE102018127161A1/de
Priority to CN201811305900.1A priority patent/CN109784136A/zh
Priority to US16/179,974 priority patent/US20190147271A1/en
Publication of JP2019091259A publication Critical patent/JP2019091259A/ja
Application granted granted Critical
Publication of JP6687006B2 publication Critical patent/JP6687006B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0809Driver authorisation; Driver identity check
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/043Identity of occupants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Analysis (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)

Description

この発明の実施形態は、例えば車両の運転者を判定する運転者判定装置とそれを備える運転者状態判定装置並びにそれらの方法およびプログラムに関する。
近年、乗用車等の車両走行時に、運転者を支援するための各種装置が車両に搭載されるようになってきている。その一つに、運転者の顔の方向又は視線方向を検出して、運転者が脇見をしているかどうかを判定し、脇見状態であれば警告を発する脇見運転判定装置が知られている。運転者の顔の方向又は視線方向が正面方向から所定角度以上ずれているときに、脇見をしていると判定するのが一般的である。ところが、この運転者の正面方向は車両の正面方向と必ずしも一致するものではなく、個人差が存在する。すなわち、運転者が正面として顔または視線を保持する方向は、個人により数度から十数度の違いがあることが知られている。
そこで、例えば、特許文献1には、脇見と判定された頻度と脇見ではないと判定された頻度との比に応じて、脇見判定の基準値を変更する脇見運転判定装置が提案されている。この装置では、その運転者に合った基準値を設定することで、運転者個々の個人差を補正して運転者の個人差により変化することのない精度の高い脇見判定を行うことができるようにしている。
特開平8−207617号公報
特許文献1に記載された技術では、個人に応じて脇見判定の基準値を変更することで、個人差を補正していると言っているが、これは、個人を特定して、その個人に合わせて補正するものではない。従って、その車両の運転者が交代すると、前の運転者に対する脇見判定の基準値が引き継がれることで、精度の高い脇見判定を行うことができない。また、同一の運転者であっても、その日の体調や運転時間の長短により、必ずしも脇見判定の基準値が合致するとは限らない。
従って、運転者に合った基準値に変更することが必要であり、運転者が誰であるのか、または、運転者の状態がどうであるのかを、簡易に判定できることが望まれる。同一運転者であっても状態が異なれば、別の運転者に交代したと見做すことができる。
この発明は上記事情に着目し、その目的の一つは、車両を運転している運転者を簡易に判定できるようにした、運転者判定装置とそれを備える運転者状態判定装置並びにそれらの方法およびプログラムを提供しようとするものである。
上記課題を解決するためにこの発明の第1の態様は、運転者判定装置が、第1のセンサから出力された車両の運転者の画像を含む第1のセンシングデータから、車両の正面方向に対して当該運転者が正面として顔または視線を保持する方向である保持方向についての統計情報である第1の統計情報を演算する第1の演算部と、演算された前記第1の統計情報を、運転者を表す識別子とともに記憶する記憶部と、前記第1のセンサから出力される現在の車両の運転者の画像を含む第1のセンシングデータに基づいて、車両の現在の運転者の前記保持方向についての統計情報である第2の統計情報を前記第1の演算部で演算し、演算された前記第2の統計情報を、前記記憶部に記憶された前記第1の統計情報と比較し、前記第2の統計情報に近似する前記第1の統計情報が前記記憶部から発見されたとき、車両の前記現在の運転者を、前記近似する前記第1の統計情報に対応する運転者であると判定する第1の判定部と、を具備するようにしたものである。
この発明の第1の態様によれば、運転者判定装置では、各運転者の第1の統計情報を第1の演算部によって演算して記憶部に記憶しておき、第1の演算部によって現在の運転者について同様に第2の統計情報を演算し、第1の判定部により、その演算された第2の統計情報を記憶された第1の統計情報と比較して、第2の統計情報に近似する第1の統計情報が記憶部から発見されたとき、車両の現在の運転者を、その近似する第1の統計情報に対応する運転者であると判定する。したがって、車両を運転している現在の運転者が、既に第1の統計情報を演算した運転者であれば、その運転者を簡易に判定することができる。
この発明の第2の態様は、上記第1の態様において、第2のセンサから出力された車両の状態を表す第2のセンシングデータまたは前記第1のセンシングデータに基づいて、車両の前記現在の運転者の交代の可能性の有無を判定する第2の判定部をさらに具備し、前記第1の演算部は、前記第2の判定部により運転者交代の可能性有りと判定したときに、前記第2の統計情報の演算を開始するようにしたものである。
この発明の第2の態様によれば、第2の判定部によって、第1または第2のセンシングデータに基づいて、運転者の交代の可能性の有無が判定され、この第2の判定部により運転者交代の可能性有りと判定したときに、第1の演算部が第2の統計情報の演算を開始する。例えば、第2の判定部は、車両が完全に停止したことを、第2のセンサである車速センサのセンシングデータにより判定し、パーキング状態となったことを、ギアセレクタセンサおよび/またはパーキングブレーキセンサのセンシングデータにより判定することで、運転者が交代した可能性が有ると判定する。また、例えば、第2の判定部は、第1のセンサであるドライバカメラからの第1のセンシングデータに基づいて、運転者が監視画像中から一旦消えた後、再度監視画像中に出現したこと、あるいは、第1のセンシングデータに基づく運転者の顔または視線の検出が一旦不能となった後、再度検出可能となったことを検出した場合に、運転者が交代した可能性があると判定する。したがって、第1または第2のセンシングデータに基づいて、容易に運転者交代の可能性を判定できる。そして、運転者交代の可能性が有る場合には、第2の統計情報を演算し、その演算結果に基づいて第1の判定部による運転者の判定を行うことになる。したがって、運転者の交代が有った場合には、運転開始直後に素早く運転者を判定することが可能になる。
この発明の第3の態様は、上記第1または第2の態様において、前記第1の判定部は、前記第1の演算部が前記第2の統計情報の演算を所定回数行っても、前記第2の統計情報に近似する前記第1の統計情報が発見されないとき、前記第2の統計情報を、新たな運転者に対応する第1の統計情報として前記記憶部に記憶させるようにしたものである。
この発明の第3の態様によれば、第2の統計情報の演算を所定回数行っても第2の統計情報に近似する第1の統計情報が発見されない場合には、第1の判定部により、演算した第2の統計情報を、新たな運転者についての第1の統計情報として記憶部に記憶させる。したがって、新たな運転者についての第1の統計情報を追加することができる。
この発明の第4の態様は、上記第1乃至第3の態様のいずれかにおいて、前記第1の演算部は、前記第1のセンシングデータに基づいて、前記運転者の前記保持方向を判定し、前記第1の統計情報および前記第2の統計情報は、所定時間内における前記判定した前記保持方向の平均値および偏差量であるようにしたものである。
この発明の第4の態様によれば、第1の演算部において、第1のセンシングデータに基づいて車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向を判定し、第1および第2の統計情報として、この保持方向の統計情報、例えば保持方向の平均値および偏差量を演算する。したがって、顔認識等の複雑な個人認証処理は必要なく、また、運転者が運転者交代を自己申請するような特別な操作を行わなくても、統計情報に基づいて車両を運転している運転者を簡易に判定できるようになる。また、個人認証処理を行わないので、プログラムのセキュリティレベルを高くする必要がない。
この発明の第5の態様は、運転者状態判定装置が、上記第1、第3または第4の態様の運転者判定装置と、前記記憶部に記憶された前記第1の統計情報と前記第1のセンシングデータとに基づいて、新たな第1の統計情報を演算する第2の演算部と、前記第1のセンシングデータと前記第2の演算部によって演算された前記新たな第1の統計情報とに基づいて、前記運転者の状態を判定する第3の判定部と、前記第3の判定部の判定結果を、前記運転者に対して出力する出力部と、を具備し、前記第2の演算部は、前記第1の判定部によって判定した運転者が、当該第2の演算部による前記第1の統計情報の演算についての運転者と同じであれば、そのまま前記新たな第1の統計情報の演算を継続し、当該第2の演算部による前記第1の統計情報の演算についての運転者と異なっていれば、前記新たな第1の統計情報の演算を、前記判定した運転者についての前記記憶部に記憶された前記第1の統計情報を対象とした演算へと切り替えるようにしたものである。
この発明の第5の態様によれば、第2の演算部により、記憶部に記憶された第1の統計情報と第1のセンシングデータとに基づいて、新たな第1の統計情報を演算し、第3の判定部によって、第1のセンシングデータとこの新たな第1の統計情報とに基づいて、運転者の状態を判定して、その判定結果を、出力部により運転者に対して出力する運転者状態判定装置であって、運転者状態判定装置の第1の判定部が判定した運転者が、第2の演算部による第1の統計情報の演算についての運転者と同じであれば、そのまま新たな第1の統計情報の演算を継続する。よって、第2の演算部によって演算している新たな第1の統計情報についての運転者が現在の運転者であれば、そのまま新た第1の統計情報の演算が継続して行われ、記憶部に記憶されていた第1の統計情報も加味した、正確な第1の統計情報を用いて、運転者の状態を判定することが可能になる。また、運転者状態判定装置の第1の判定部が判定した運転者が、第2の演算部による第1の統計情報の演算についての運転者と異なっていれば、新たな第1の統計情報の演算を、判定した運転者についての記憶部に記憶された第1の統計情報を対象とした演算へと切り替える。よって、第2の演算部によって演算している新たな第1の統計情報についての運転者が現在の運転者に対応しない場合には、それまで演算されていた新たな第1の統計情報は、記憶部に記憶された他の運転者に対応する第1の統計情報を加味していることで、現在の運転者に関して正確でないものとなっているので、それを運転者の状態判定に用いてしまうことを防止できる。そして、新たな第1の統計情報の演算を、判定した運転者についての記憶部に記憶された第1の統計情報を対象とした演算へと切り替えて、現在の運転者に対応した新たな第1の統計情報を演算して、正確な第1の統計情報を用いて、運転者の状態を判定することが可能になる。したがって、運転者個々の個人差に依らず精度の高い運転者状態判定を行うことが可能となる。
この発明の第6の態様は、上記第5の態様において、前記運転者判定装置は、第2のセンサから出力された車両の状態を表す第2のセンシングデータまたは前記第1のセンシングデータに基づいて、車両の前記現在の運転者の交代の可能性の有無を判定する第2の判定部をさらに具備し、前記第1の演算部は、前記第2の判定部により運転者交代の可能性有りと判定したときに、前記第2の統計情報の演算を開始し、前記第2の演算部は、前記第2の判定部により運転者交代の可能性有りと判定したときに、前記新たな第1の統計情報を前記記憶部に記憶させるようにしたものである。
この発明の第6の態様によれば、第2の判定部によって、第1または第2のセンシングデータに基づいて、運転者の交代の可能性の有無が判定され、この第2の判定部により運転者交代の可能性有りと判定したときに、第1の演算部が第2の統計情報の演算を開始する。したがって、第1または第2のセンシングデータに基づいて、容易に運転者交代の可能性を判定できる。そして、運転者交代の可能性が有る場合には、第2の統計情報を演算し、その演算結果に基づいて第1の判定部による運転者の判定を行うことになる。したがって、運転者の交代が有った場合には、運転開始直後に素早く運転者を判定することが可能になる。また、第2の演算部は、第2の判定部により運転者交代の可能性有りと判定したときに、それまで演算していた新たな第1の統計情報を記憶部に記憶させる。これにより、繰り返し演算して正確なものとなっている新たな第1の統計情報を、第1の判定部による運転者の判定に利用できるようになる。
この発明の第7の態様によれば、上記第5または第6の態様において、前記第1の演算部が前記第2の統計情報の演算を所定回数行っても、前記第1の判定部が前記第2の統計情報に近似する前記第1の統計情報を発見しないとき、前記第1の演算部は、前記第2の統計情報を、新たな運転者に対応する第1の統計情報として前記記憶部に記憶させた上で、前記第2の統計情報の演算を終了し、前記第2の演算部は、前記新たな第1の統計情報の演算を、前記第1の演算部が前記記憶部に記憶させた前記新たな運転者の前記第1の統計情報を対象とした演算へと切り替えるようにしたものである。
この発明の第7の態様によれば、第2の統計情報の演算を所定回数行っても第2の統計情報に近似する第1の統計情報が発見されない場合には、第1の演算部によって演算した第2の統計情報を、新たな運転者についての第1の統計情報として記憶部に記憶させ、第2の演算部は、その新たな第1の統計情報の演算を、この記憶部に記憶させた新たな運転者の第1の統計情報を対象とした演算へと切り替える。したがって、新たな運転者についての第1の統計情報を追加して、運転者の状態判定を開始することができる。
この発明の第8の態様によれば、上記第5乃至第7の態様のいずれかにおいて、前記第1の演算部は、前記第2の演算部による前記新たな第1の統計情報の演算と並行して、前記第2の統計情報を演算し、前記第1の判定部が、車両の前記現在の運転者を、前記近似する前記第1の統計情報に対応する運転者であると判定したとき、前記第2の統計情報の演算を終了するようにしたものである。
この発明の第8の態様によれば、第1の演算部による第2の統計情報の演算を、第2の演算部による新たな第1の統計情報の演算と並行して行い、第1の判定部が車両の現在の運転者を判定したならば、終了する。したがって、必要なときにのみ、第1の演算部による第2の統計情報の演算を実施することができる。
また、上記課題を解決するためにこの発明の第9の態様は、運転者を判定する運転者判定装置が実行する運転者判定方法であって、前記運転者判定装置が、第1のセンサから出力された車両の運転者の画像を含む第1のセンシングデータから、車両の正面方向に対して当該運転者が正面として顔または視線を保持する方向である保持方向についての統計情報である第1の統計情報を演算する過程と、前記運転者判定装置が、演算された前記第1の統計情報を、運転者を表す識別子とともに記憶する過程と、前記運転者判定装置が、前記第1のセンサから出力される現在の車両の運転者の画像を含む第1のセンシングデータに基づいて、車両の現在の運転者の前記保持方向についての統計情報である第2の統計情報を演算する過程と、前記運転者判定装置が、演算された前記第2の統計情報を、前記記憶された前記第1の統計情報と比較し、前記第2の統計情報に近似する前記第1の統計情報が記憶されていたとき、車両の前記現在の運転者を、前記近似する前記第1の統計情報に対応する運転者であると判定する過程と、を具備するようにしたものである。
この発明の第9の態様によれば、上記第1の態様同様、車両を運転している現在の運転者が、既に第1の統計情報を演算した運転者であれば、その運転者を簡易に判定することができる。
また、上記課題を解決するためにこの発明の第10の態様は、上記第9の態様の運転者判定方法を適用した運転者状態判定装置が実行する運転者状態判定方法であって、前記運転者状態判定装置が、前記記憶された前記第1の統計情報と前記第1のセンシングデータとに基づいて、新たな第1の統計情報を演算する過程と、前記運転者状態判定装置が、前記演算された前記新たな第1の統計情報に基づいて、前記運転者の状態を判定する過程と、前記運転者状態判定装置が、前記運転者の状態の判定結果を、運転者に対して出力する過程と、を具備し、前記新たな第1の統計情報を演算する過程は、前記車両の前記現在の運転者を前記近似する前記第1の統計情報に対応する運転者であると判定する過程において判定した運転者が、前記新たな第1の統計情報の演算についての運転者と同じであれば、そのまま前記新たな第1の統計情報の演算を継続し、前記新たな第1の統計情報の演算についての運転者と異なっていれば、前記新たな第1の統計情報の演算を、前記判定した運転者についての前記記憶された前記第1の統計情報を対象とした演算へと切り替えるようにしたものである。
この発明の第10の態様によれば、上記第5の態様同様、正確な第1の統計情報を用いて、運転者の状態を判定することが可能になり、運転者個々の個人差に依らず精度の高い運転者状態判定を行うことが可能となる。また、現在の運転者に関して正確でない第1の統計情報を運転者の状態判定に用いてしまうことを防止できる。
また、上記課題を解決するためにこの発明の第11の態様は、運転者判定プログラムが、上記第1乃至第4の態様のいずれかの運転者判定装置が具備する各部としてコンピュータを機能させるようにしたものである。
この発明の第11の態様によれば、コンピュータを利用して、上記第1乃至第4の態様を実現することができる。
また、上記課題を解決するためにこの発明の第12の態様は、運転者状態判定プログラムが、上記第5乃至第8の態様のいずれかの運転者状態判定装置が具備する各部としてコンピュータを機能させるようにしたものである。
この発明の第12の態様によれば、コンピュータを利用して、上記第5乃至第8の態様を実現することができる。
すなわちこの発明の各態様によれば、車両を運転している運転者を簡易に判定できるようにした、運転者判定装置とそれを備える運転者状態判定装置並びにそれらの方法およびプログラムを提供することができる。
図1は、この発明の一実施形態に係る運転者判定装置および運転者状態判定装置の一適用例を説明するブロック図である。 図2は、この発明の一実施形態に係る運転者判定装置および運転者状態判定装置を備えた運転者状態判定システムの構成を例示したブロック図である。 図3Aは、図2中の学習データ記憶部に構成される不揮発性統計値テーブルの一例を示す図である。 図3Bは、図2中の学習データ記憶部に構成される揮発性統計値テーブルの一例を示す図である。 図3Cは、図2中の学習データ記憶部に構成される揮発性統計値テーブルの別の例を示す図である。 図3Dは、学習された第2統計値が新たな第1統計値として追加された不揮発性統計値テーブルの一例を示す図である。 図4は、図2に示した運転者状態判定システムにおける処理手順と処理内容の一例を示すフローチャートである。 図5は、図2に示した運転者状態判定システムにおける処理手順に従った統計値学習内容の一例を示すタイムチャートである。
以下、図面を参照してこの発明に係わる実施形態を説明する。
[適用例]
先ず、この発明の一実施形態に係る運転者判定装置および運転者状態判定装置の一つの適用例について説明する。
図1は、この適用例における運転者判定装置および運転者状態判定装置の構成例を模式的に示したものである。
運転者判定装置10は、記憶処理部としての監視データ取得部11、車両情報取得部12および取得情報記憶部13と、第2の判定部としての運転者交代可能性判定部14と、第1の演算部としての第1統計演算部15と、記憶部としての統計記憶部16と、第1の判定部としての個人判定部17と、を備えている。この運転者判定装置10には、第1のセンサとしての運転者監視センサ21と、第2のセンサとしての車両状態センサ22とが接続されている。運転者状態判定装置30は、上記運転者判定装置10と、第2の演算部としての第2統計演算部31と、第3の判定部としての状態判定部32と、出力部33と、を備えている。
監視データ取得部11は、運転者に対して車両内の所定位置に設置された、運転者の振る舞い、例えば車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向等を検出する第1のセンサとしての運転者監視センサ21から、第1のセンシングデータを取り込む。例えば、運転者監視センサ21は、運転者の顔を撮像できる箇所に設置され、例えば、ダッシュボード上、ステアリング中央、速度メータ脇、フロントピラー等に配置して、運転者の顔を含む上半身を撮像するカメラである。このカメラは、1秒間に複数枚、運転者の静止画像を撮像するスチルカメラであってもよいし、運転者の動画像を撮像するビデオカメラであってもよい。監視データ取得部11は、このカメラからの画像信号を、デジタル化処理して、運転者の画像を含む第1のセンシングデータとして取り込む。監視データ取得部11は、この取り込んだ第1のセンシングデータを、取得情報記憶部13に記憶させる。
取得情報記憶部13は、記憶媒体として例えばHDD(Hard Disk Drive)またはSSD(Solid State Drive)等の随時書込および読出しが可能な不揮発性メモリとRAM等の揮発性メモリを使用したものである。
車両情報取得部12は、車両の各所定位置に配置された第2のセンサとしての車両状態センサ22から、車両の情報を取り込む。車両状態センサ22は、運転者交代可能性判定部14において運転者の交代が有ったか否かを判定するために使用される情報を検出するセンサである。運転者の交代は、通常であれば、車両が完全に停止したパーキング状態で行われると想定される。よって、車両状態センサ22は例えば、車両の速度を検出する車速センサ、パーキングブレーキの状態を検出するパーキングブレーキセンサ、オートマチックギア車におけるギアセレクタのパーキングポジションを検出するギアセレクタセンサなどを含むことができる。車両状態センサ22は、このように複数のセンサを含んでよい。車両情報取得部12は、この車両状態センサ22によって検出された検出情報を、デジタル化処理して、車両の状態を表す第2のセンシングデータとして取り込む。車両状態センサ22は、この取り込んだ第2のセンシングデータを、上記取得情報記憶部13に記憶させる。
運転者交代可能性判定部14は、取得情報記憶部13に記憶された車両情報に基づいて、運転者交代の可能性を判定する。例えば、運転者交代可能性判定部14は、車両が完全に停止し、パーキング状態となった場合、運転者が交代した可能性があると判定する。また、運転者交代可能性判定部14は、取得情報記憶部13に記憶された第1のセンシングデータに基づいて、運転者交代の可能性を判定することも可能である。例えば、運転者交代可能性判定部14は、運転者が一旦検出できなくなった後、再度検出できるようになった場合、運転者が交代した可能性があると判定する。
統計記憶部16は、記憶媒体として例えばHDDまたはSSD等の随時書込および読出しが可能な不揮発性メモリとRAM等の揮発性メモリとを組み合わせて使用したものである。統計記憶部16の不揮発性メモリは、各運転者の振る舞い、例えば車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向についての、第1の統計情報、例えば上記運転者の顔または視線の保持方向についての平均値および偏差量を、運転者を表す識別子とともに記憶している。この第1の統計情報は、過去に第1統計演算部15によって演算されたものである。また、統計記憶部16の揮発性メモリは、同じく第1統計演算部15で演算される、後述する第2の統計情報と、第2統計演算部31で演算される、後述する新たな第1の統計情報とを一時記憶する。
第1統計演算部15は、車両の動力源であるエンジンおよび/またはモータのオン期間中、取得情報記憶部13に記憶された運転者の画像を含む第1のセンシングデータから、例えば車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向を検出する。そして、上記運転者交代可能性判定部14によって運転者交代可能性有りと判定された時点から所定時間毎に、その所定時間内における例えば上記運転者の顔または視線の保持方向の平均値および偏差量等の第2の統計情報を繰り返し演算して、統計記憶部16の揮発性メモリに更新記憶する。つまり、第2の統計情報を学習していく。なお、この第2の統計情報の演算においては、第1のセンシングデータに基づいて演算した所定時間内における統計情報と、統計記憶部16の揮発性メモリに一時記憶されている第2の統計情報とを、例えば平均あるいは重み付け平均するなどして求めてもよい。
また、この第2の統計情報の演算に際しては、車速や操舵角、ウィンカの有無等による条件を設けて、条件を満たす場合にのみ、演算を行うようにすることが望ましい。例えば、直線を時速60Km以上で走行していてウィンカが出されていないことなどを条件とすることで、運転者が正面を見ているであろう状況において、運転者が顔または視線を向けている方向の平均値および偏差量を演算する。つまり、運転者が正面を向いていないときの運転者の顔や視線の向きを用いた、平均値や偏差量の演算は行わないことで、得られる第2の統計情報の正確性を担保できる。
個人判定部17は、上記運転者交代可能性判定部14によって運転者交代可能性有りと判定されたとき、第1統計演算部15で演算されて統計記憶部16の揮発性メモリに記憶された第2の統計情報、例えば車両の正面方向に対して現在の運転者が正面として顔または視線を保持する方向である保持方向の平均値および偏差量と、統計記憶部16の不揮発性メモリに記憶されている各運転者の第1の統計情報、例えば運転者の顔または視線の保持方向の平均値および偏差量とを比較することで、現在の運転者がどの運転者であるかを判定する。すなわち、個人判定部17は、第2の統計情報に近似する第1の統計情報が統計記憶部16の不揮発性メモリから発見されたとき、車両の現在の運転者を、その近似する第1の統計情報に対応する運転者であると判定する。こうして個人判定部17によって現在の運転者が判定されたとき、第1統計演算部15は、第2の統計情報の演算を終了する。
なお、第1統計演算部15が第2の統計情報の演算を所定回数行っても、第2の統計情報に近似する第1の統計情報が統計記憶部16の不揮発性メモリから発見されないとき、つまり、現在の運転者が記憶されているどの運転者でもない場合には、個人判定部17は、第1統計演算部15で演算されて統計記憶部16の揮発性メモリに記憶された第2の統計情報を、新たな運転者に対応する第1の統計情報として、統計記憶部16の不揮発性メモリに記憶させる。また、第1統計演算部15は、その第2の統計情報の演算を終了する。
運転者状態判定装置30の第2統計演算部31は、車両の動力源であるエンジンおよび/またはモータのオン期間中、取得情報記憶部13に記憶された運転者の画像を含む第1のセンシングデータから、例えば車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向を検出する。そして、所定時間毎に、その所定時間内における例えば運転者の顔または視線の保持方向の平均値および偏差量等の統計情報を、新たな第1の統計情報として演算して、統計記憶部16の揮発性メモリに更新記憶する。つまり、新たな第1の統計情報を学習していく。こうして、第2統計演算部31は、車両の動力源であるエンジンおよび/またはモータのオン期間中、継続して新たな第1の統計情報を繰り返し演算(学習)していく。第1統計演算部15は、運転者交代の可能性が有った場合に、この第2統計演算部31による新たな第1の統計情報の演算(学習)と並行して、第2の統計情報の演算を行っていくことになる。
なお、第2統計演算部31での新たな第1の統計情報の演算においては、第1のセンシングデータに基づいて演算した所定時間内における統計情報と、統計記憶部16の不揮発性メモリに記憶されている第1の統計情報と、統計記憶部16の揮発性メモリに一時記憶されている新たな第1の統計情報とを、例えば平均あるいは重み付け平均するなどして求める。また、この新たな第1の統計情報の演算に際しても、車速や操舵角、ウィンカの有無等による条件を設けて、条件を満たす場合にのみ、演算を行うようにすることが望ましい。例えば、直線を時速60Km以上で走行していてウィンカが出されていないことなどを条件とすることで、運転者が正面を見ているであろう状況において、運転者が顔または視線を向けている方向の平均値および偏差量を演算する。つまり、運転者が正面を向いていないときの運転者の顔や視線の向きを用いた、平均値や偏差量の演算は行わないことで、得られる新たな第1の統計情報の正確性を担保できる。
さらに、第2統計演算部31は、上記運転者交代可能性判定部14によって運転者交代可能性有りと判定された時、その直前に演算して上記統計記憶部16の揮発性メモリに一時記憶した上記新たな第1の統計情報を、当該運転者の第1の統計情報として、上記統計記憶部16の不揮発性メモリに記憶させる。こうして、統計記憶部16の不揮発性メモリには、各運転者についての第1の統計情報、例えば車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向の平均値および偏差量が記憶されていくことになる。
なお、第1統計演算部15が第2の統計情報の演算を所定回数行っても、第2の統計情報に近似する第1の統計情報が統計記憶部16の不揮発性メモリから発見されないとき、つまり、現在の運転者が記憶されているどの運転者でもない場合には、上述したように、個人判定部17は、第1統計演算部15で演算されて統計記憶部16の揮発性メモリに記憶された第2の統計情報を、新たな運転者に対応する第1の統計情報として、統計記憶部16の不揮発性メモリに記憶させる。またこのとき、第2統計演算部31は、新たな第1の統計情報の演算を、この統計記憶部16の揮発性メモリに記憶させた新たな運転者の第1の統計情報を対象とした演算へと切り替える。
状態判定部32は、取得情報記憶部13に記憶された運転者の画像を含む第1のセンシングデータと第2統計演算部31によって演算された新たな第1の統計情報とに基づいて、運転者の状態を判定する。例えば、状態判定部32は、第1のセンシングデータから運転者が顔または視線を向けている方向を検出し、この検出した方向を、演算した新たな第1の統計情報、つまり車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向の平均値で補正した上で、所定の判定基準値と比較する。状態判定部32は、上記判定基準値は一定とし、第1のセンシングデータから検出した運転者が顔または視線を向けている方向を、演算した新たな第1の統計情報によって補正した上で、判定基準値と比較するようにしてもよい。状態判定部32は、このような比較により、運転者の状態、例えば脇見状態であるか否かを判定する。
なおこのとき、状態判定部32は、取得情報記憶部13に記憶された車両の状態を表す第2のセンシングデータ、例えばステアリングセンサやウィンカセンサのセンシングデータにより、この運転者状態の判定自体を行うか否か、または判定結果を出力するか否かを決定するようにしてもよい。これは、カーブしている道路を走行しているときや、右左折、車線変更を行う際には、安全確認のため運転者は脇見と同様の振る舞いを行う場合が有るので、これを脇見と判定して警告してしまわないことが望ましいためである。
出力部33は、状態判定部32の判定結果を、運転者に対して出力する。出力部33は、例えば、スピーカと警告灯表示器を有し、状態判定部32の判定結果を警告音や警告灯の点灯によって、運転者に出力する。出力部33は、スピーカと警告灯表示器の一方で構成されてもよい。また、警告音や警告表示を、車両が備えるナビゲーションシステムの音声出力機能や画像表示機能を利用することも可能であり、この場合には、出力部33は、ナビゲーションシステムへ状態判定部32の判定結果を示す状態判定結果情報を出力するものであってよい。
以上のような構成であるから、運転者判定装置10においては、各運転者の第1の統計情報を第1統計演算部15によって演算して、運転者を表す識別子とともに統計記憶部16の不揮発性メモリに記憶しておき、第1統計演算部15によって現在の運転者について同様に第2の統計情報を演算し、個人判定部17により、その演算された第2の統計情報を不揮発性メモリに記憶された第1の統計情報と比較し、第2の統計情報に近似する第1の統計情報が不揮発性メモリから発見されたとき、車両の現在の運転者を、その近似する第1の統計情報に対応する運転者であると判定する。つまり、個人判定部17により、演算した第2の統計情報を、統計記憶部16に不揮発的に記憶されている各運転者の第1の統計情報と比較することで、現在の運転者が記憶されているどの運転者であるかを判定することができる。したがって、車両を運転している現在の運転者が、既に第1の統計情報を演算した運転者であれば、その運転者を簡易に判定することができる。
また、運転者判定装置10においては、運転者交代可能性判定部14によって、第1または第2のセンシングデータに基づいて、運転者の交代の可能性の有無が判定され、この運転者交代可能性判定部14により運転者交代の可能性有りと判定したときに、第1統計演算部15が第2の統計情報の演算を開始する。したがって、第1または第2のセンシングデータに基づいて、容易に運転者交代の可能性を判定できる。そして、運転者交代の可能性が有る場合には、第2の統計情報を演算し、その演算結果に基づいて個人判定部17による運転者の判定を行うことになる。個人判定部17によって、現在の運転者が、車両の現在の運転手を、近似する第1の統計情報に対応する運転者であると判定したとき、その近似する第1の統計情報に対応する運転者が、運転者交代可能性判定部14によって運転者交代可能性有りと判定される前の運転者と同じであれば、個人判定部17は、運転者の交代は無かったと判定できる。また、判定した運転者が、運転者交代可能性判定部14によって運転者交代可能性有りと判定される前の運転者と同じでなければ、個人判定部17は、運転者の交代が有ったこと、および、交代した現在の運転者はどの運転者であるか、を簡易に判定できる。したがって、運転者の交代が有った場合には、運転開始直後に素早く運転者を判定することが可能になる。
また、運転者判定装置10においては、第2の統計情報の演算を所定回数行っても第2の統計情報に近似する第1の統計情報が発見されない場合には、個人判定部17により、演算した第2の統計情報を、新たな運転者についての第1の統計情報として統計記憶部16の不揮発性メモリに記憶させる。したがって、新たな運転者についての第1の統計情報を追加することができる。
また、運転者判定装置10においては、第1統計演算部15は、第1のセンシングデータに基づいて車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向を判定し、第1および第2の統計情報として、この運転者の顔または視線の保持方向の統計情報、例えば運転者の顔または視線の保持方向の平均値および偏差量を演算する。したがって、顔認識等の複雑な個人認証処理は必要なく、また、運転者が運転者交代を自己申請するような特別な操作を行わなくても、統計情報に基づいて車両を運転している運転者を簡易に判定できるようになる。また、個人認証処理を行わないので、プログラムのセキュリティレベルを高くする必要がない。
また、運転者状態判定装置30においては、第2統計演算部31により、統計記憶部16の不揮発性メモリに記憶された第1の統計情報と第1のセンシングデータとに基づいて、新たな第1の統計情報を演算し、状態判定部32によって、第1のセンシングデータとこの新たな第1の統計情報とに基づいて、運転者の状態を判定して、その判定結果を、出力部33により運転者に対して出力する。そして、個人判定部17が判定した運転者が、第2統計演算部31による第1の統計情報の演算についての運転者と同じであれば、第2統計演算部31は、そのまま新たな第1の統計情報の演算を継続する。よって、第2統計演算部31によって演算している新たな第1の統計情報についての運転者が現在の運転者であれば、そのまま新た第1の統計情報の演算が継続して行われる。このため、運転者状態判定装置では、状態判定部32において第1のセンシングデータと新たな第1の統計情報とに基づいて運転者の状態を判定する際、新たな第1の統計情報についての運転者に対応する統計記憶部16に記憶されていた第1の統計情報も加味した、正確な第1の統計情報を用いて、運転者の状態を判定することが可能になる。
これに対して、この運転者状態判定装置30においては、個人判定部17が判定した運転者が、第2統計演算部31による第1の統計情報の演算についての運転者と異なっていれば、第2統計演算部31は、新たな第1の統計情報の演算を、判定した運転者についての統計記憶部16の不揮発性メモリに記憶された第1の統計情報を対象とした演算へと切り替える。よって、第2統計演算部31によって演算している新たな第1の統計情報についての運転者が現在の運転者に対応しない場合には、それまで演算されていた新たな第1の統計情報は、統計記憶部16の不揮発性メモリに記憶された他の運転者に対応する第1の統計情報を加味していることで、現在の運転者に関して正確でないものとなっているので、それを運転者の状態判定に用いてしまうことを防止できる。そこで、第2統計演算部31は、新たな第1の統計情報の演算を、判定した運転者についての統計記憶部16の不揮発性メモリに記憶された第1の統計情報を対象とした演算へと切り替えて、現在の運転者に対応した新たな第1の統計情報を演算して、正確な第1の統計情報を用いて、運転者の状態を判定することが可能になる。
したがって、運転者状態判定装置30においては、個々の運転者に応じた第1の統計情報を用いて運転者の状態を判定できるため、運転者個々の個人差に依らず精度の高い運転者状態判定を行うことが可能となる。
また、運転者状態判定装置30においては、運転者交代可能性判定部14によって、第1または第2のセンシングデータに基づいて、運転者の交代の可能性の有無が判定され、この運転者交代可能性判定部14により運転者交代の可能性有りと判定したときに、第2統計演算部31は、それまで演算していた新たな第1の統計情報を統計記憶部16の不揮発性メモリに記憶させる。これにより、繰り返し演算して正確なものとなっている新たな第1の統計情報を、個人判定部17による運転者の判定に利用できるようになる。
また、運転者状態判定装置30においては、第2の統計情報の演算を所定回数行っても第2の統計情報に近似する第1の統計情報が発見されない場合には、第1統計演算部15によって演算した第2の統計情報を、新たな運転者についての第1の統計情報として統計記憶部16の不揮発性メモリに記憶させ、第2統計演算部31は、その新たな第1の統計情報の演算を、この統計記憶部16の不揮発性メモリに記憶させた新たな運転者の第1の統計情報を対象とした演算へと切り替える。したがって、新たな運転者についての第1の統計情報を追加して、運転者の状態判定を開始することができる。
また、運転者状態判定装置30においては、第1統計演算部15による第2の統計情報の演算を、第2統計演算部31による新たな第1の統計情報の演算と並行して行い、個人判定部17が車両の現在の運転者を判定したならば、終了する。したがって、必要なときにのみ、第1統計演算部15による第2の統計情報の演算を実施することができる。
[一実施形態]
次に、この発明の一実施形態を説明する。
(構成)
(1)システム
図2は、この発明の一実施形態に係る運転者判定装置およびそれを有する運転者状態判定装置を備えた運転者状態判定システムの全体構成の一例を示す図である。
運転者状態判定システムは、一実施形態に係る運転者判定装置を有する運転者状態判定装置40と、各種のセンサ51〜56と、判定結果出力装置60とを備えている。
(2)センサ
本一実施形態では、センサとして、例えば、運転者監視センサであるドライバカメラ51と、車両状態センサである、車速センサ52、ステアリングセンサ53、ウィンカセンサ54、ギアセレクタセンサ55およびパーキングブレーキセンサ56とを含む。勿論これは一例であり、その他のセンサを含んでいてもよい。
ドライバカメラ51は、運転者の顔を撮像できる箇所に設置され、例えば、ダッシュボード上、ステアリング中央、速度メータ脇、フロントピラー等に配置して、運転者の顔を含む上半身を撮像するカメラである。このドライバカメラ51は、1秒間に複数枚の静止画像を撮像するスチルカメラであってもよいし、動画像を撮像するビデオカメラであってもよい。
車速センサ52は、車両の移動速度を検出する。ステアリングセンサ53は、ステアリングの操舵角を検出する。このステアリングセンサ53は、運転者によるステアリングの操作自体を検出するセンサであってもよいし、ステアリング操作によって向きを変えられる車輪の舵角を検出するセンサであってもよい。ウィンカセンサ54は、ウィンカの操作を検出する。このウィンカセンサ54は、運転者によるウィンカレバーの操作自体を検出するセンサであってもよいし、ウィンカレバー操作に応じて点滅するウィンカの点滅制御信号を検出するセンサであってもよい。
また、ギアセレクタセンサ55は、オートマチックギア車におけるギアセレクタのパーキングポジションを検出する。このギアセレクタセンサ55は、運転者によるギアセレクタのセレクト操作自体を検出するセンサであってもよいし、セレクトされたポジションを表示するインジケータの点灯制御信号を検出するセンサであってもよい。パーキングブレーキセンサ56は、パーキングブレーキの状態を検出する。このパーキングブレーキセンサ56は、運転者によるパーキングブレーキレバーの操作自体を検出するセンサであってもよいし、パーキングブレーキを駆動する駆動制御信号を検出するセンサであってもよい。ギアセレクタセンサ55とパーキングブレーキセンサ56は、必ずしも両方備える必要は無い。例えば、オートマチックギアを搭載した車両では、パーキングブレーキセンサ56を備えず、ギアセレクタセンサ55のみであってもよい。マニュアルギアを搭載した車両では、パーキングブレーキセンサ56のみであってよい。
(3)運転者状態判定装置
運転者状態判定装置40は、制御ユニット42と、入出力インタフェースユニット41と、記憶ユニット43と、を備えている。
入出力インタフェースユニット41は、ドライバカメラ51から出力された画像信号を受信してデジタルデータに変換して、制御ユニット42に入力する。入出力インタフェースユニット41はまた、車速センサ52、ステアリングセンサ53、ウィンカセンサ54、ギアセレクタセンサ55およびパーキングブレーキセンサ56それぞれのセンシングデータを受信して、それらを制御ユニット42に入力する。入出力インタフェースユニット41はさらに、制御ユニット42から出力された運転者状態判定結果情報を出力制御信号に変換して判定結果出力装置60へ出力する。
記憶ユニット43は、記憶媒体として、例えばSSDやHDD等の随時書き込みおよび読み出しが可能な不揮発性メモリとRAM等の揮発性メモリを使用したものである。記憶ユニット43は、本実施形態を実施するために使用する記憶領域として、運転者の監視データを記憶する監視データ記憶部431と、車両の状態を記憶する車両情報記憶部432と、個人差を補正するための統計情報を学習データとして記憶する学習データ記憶部433と、を備えている。学習データ記憶部433には、学習データを不揮発性に記憶する例えば図3Aに示すような不揮発性統計値テーブル4331と、学習データを揮発性に記憶する例えば図3Bに示すような揮発性統計値テーブル4332とが構成されている。
図3Aは、学習データ記憶部433に構成される不揮発性統計値テーブル4331の一例を示す図である。本一実施形態では、不揮発性統計値テーブル4331は、個人差学習装置4213によって過去に学習した運転者毎の、車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向についての平均値および偏差量といった統計情報を第1統計値として、運転者を表す識別子とともに記憶している。さらに、不揮発性統計値テーブル4331は、現在の運転者を示す運転者フラグを記憶する。図3Aの例では、不揮発性統計値テーブル4331は、3名の運転者についての第1統計値を含んでいる。すなわち、車両の正面方向を0°としたとき、運転者番号1の識別子で特定される運転者の顔または視線の保持方向の平均値は−2.8°であり、運転者の顔または視線の保持方向の偏差量は1.8°である。運転者番号2の識別子で特定される運転者の顔または視線の保持方向の平均値は+5.0°、偏差量は1.0°であり、運転者番号3の識別子で特定される運転者の顔または視線の保持方向の平均値は+0.5°、偏差量は2.0°である。現在の運転者である運転者番号1の識別子で特定される運転者に、運転者フラグがセットされている。なお、ここでは、車両の正面方向に対して左右向を+−方向として記憶する例を示しているが、車両の正面方向に対して上下方向を+−方向として記憶してもよいし、両方とも記憶するようにしてもよい。さらには、頭の傾きなども記憶するようにしてもかまわない。また、不揮発性統計値テーブル4331に運転者フラグを設けず、学習データ記憶部433あるいはそれとは別に、現在の運転者を示す情報を不揮発性に記憶しておくようにしてもよい。
図3Bは、学習データ記憶部433に構成される揮発性統計値テーブル4332の一例を示す図である。本一実施形態では、揮発性統計値テーブル4332は、個人差学習装置4213によって学習している現在の運転者に関して、車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向についての平均値および偏差量といった統計情報を第1及び第2統計値として一時的に記憶している。ここで、第1統計値は、後述するように、個人差学習装置4213が、学習データ記憶部433の不揮発性統計値テーブル4331において運転者フラグがセットされている運転者の第1統計値と、現在の運転者の顔または視線の保持方向とに基づいて学習した新たな第1統計値である。第2統計値は、後述するように、個人差学習装置4213が、現在の運転者の顔または視線の保持方向に基づいて学習した統計値である。
制御ユニット42は、CPU(Central Processing Unit)等のハードウェアプロセッサと421とプログラムメモリ422とを有している。制御ユニット42は、プログラムメモリ422に記憶されたプログラムをハードウェアプロセッサ421が実行することで実現される、本実施形態を実施するために必要なソフトウェア構成として、監視データ取得部4211と、車両情報取得部4212と、個人差学習装置4213と、運転者状態判定部4214と、信号出力部4215と、を備えている。なお、これらのソフトウェア構成の各部は、専用のハードウェアによって構成してもよい。
監視データ取得部4211は、ドライバカメラ51から運転者の監視画像を取得する。すなわち、監視データ取得部4211は、ドライバカメラ51から出力された運転者の画像信号のデジタルデータであるセンシングデータを入出力インタフェースユニット41から取り込み、この取り込んだセンシングデータを運転者の監視データとして記憶ユニット43の監視データ記憶部431に記憶させる。
車両情報取得部4212は、車速センサ52、ステアリングセンサ53、ウィンカセンサ54、ギアセレクタセンサ55およびパーキングブレーキセンサ56それぞれから車両情報を取得する。すなわち、車両情報取得部4212は、それら各センサから出力されたセンシングデータを入出力インタフェースユニット41から取り込み、この取り込んだセンシングデータを車両情報として記憶ユニット43の車両情報記憶部432に記憶させる。
個人差学習装置4213は、運転者個々の個人差を学習する。例えば、個人差学習装置4213は、車両の動力源であるエンジンおよび/またはモータのオン期間中、所定時間毎に、その所定時間内における車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向の平均値および偏差量といった統計情報を演算する。但し、この統計情報の演算に際しては、車速や操舵角、ウィンカの有無等による条件を設けて、条件を満たす場合にのみ、学習を行う。例えば、直線を時速60Km以上で走行していてウィンカが出されていないことなどを条件とすることで、運転者が正面を見ているであろう状況において、運転者の顔や視線の向き(保持方向)の平均値および偏差量を学習させる。つまり、運転者が正面を向いていないときの保持方向を用いた学習は行わないことで、学習結果の正確性を担保できる。
なお、車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向は、運転者状態判定部4214によって、監視データ記憶部431に記憶された監視データに基づいて検出されることができる。
そして、個人差学習装置4213は、この演算した統計情報と上記学習データ記憶部433の揮発性統計値テーブル4332に一時記憶されている第1統計値、例えば、車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向の平均値および偏差量等の統計情報とから、新たな第1統計値を演算する。この新たな第1統計値は、上記学習(演算)した統計情報と、揮発性統計値テーブル4332に一時記憶されている統計情報とを、例えば平均あるいは重み付け平均などして求める。その後、個人差学習装置4213は、揮発性統計値テーブル4332に一時記憶されている第1統計値に、この演算した新たな第1統計値を上書き記憶する。こうして、個人差学習装置4213は、新たな第1統計値を、新たな第1の統計情報として所定時間毎に学習していく。
また、個人差学習装置4213は、この第1統計値に加えて、運転者交代の可能性が有るとき、その可能性有り判定時点から所定期間、例えば同様に上記所定時間内における運転者の顔または視線の保持方向の平均値および偏差量等の第2の統計情報を演算する。そして、個人差学習装置4213は、その演算した第2の統計情報を第2統計値として上記揮発性統計値テーブル4332に更新記憶していく。但し、この場合も、第1統計値の学習と同様に、車速や操舵角、ウィンカの有無等による条件を設け、運転者が正面を見ているであろう状況において、運転者の顔または視線の保持方向の平均値および偏差量を演算する。こうして、個人差学習装置4213は、第2統計値を、第2の統計情報として所定時間毎に学習していく。
なお、個人差学習装置4213を含めたハードウェアプロセッサ421は、車両の駆動源がオンされると動作を開始し、駆動源のオフに伴って動作を終了する。
運転者状態判定部4214は、上述した運転者の顔または視線の保持方向の判定に加えて、運転者交代可能性の有無を判定する。すなわち、運転者状態判定部4214は、車両情報記憶部432に記憶された車両情報に基づいて、運転者交代の可能性を判定することができる。例えば、運転者状態判定部4214は、車両が完全に停止したことを、車速センサ52のセンシングデータにより判定し、パーキング状態となったことを、ギアセレクタセンサ55および/またはパーキングブレーキセンサ56のセンシングデータにより判定することで、運転者が交代した可能性があると判定することができる。あるいは、運転者状態判定部4214は、監視データ記憶部431に記憶された監視データに基づいて、運転者交代の可能性を判定することも可能である。例えば、運転者が監視画像中から一旦消えた後、再度監視画像中に出現した場合、または、監視データに基づく運転者の顔または視線の検出が一旦不能となった後、再度検出可能となった場合に、運転者が交代した可能性があると判定することができる。運転者状態判定部4214は、このように運転者が交代した可能性があると判定したとき、運転者交代トリガ信号を、個人差学習装置4213に出力する。
個人差学習装置4213は、上記運転者交代トリガ信号の入力に応じて、その直前に演算して上記揮発性統計値テーブル4332に一時記憶した上記新たな第1統計値を、当該運転者の第1統計値として、上記学習データ記憶部433の不揮発性統計値テーブル4331において運転者フラグがセットされている運転者に対して上書き記憶させる。こうして、不揮発性統計値テーブル4331には、各運転者についての第1統計値、例えば運転者の顔または視線の保持方向の平均値および偏差量が記憶されていくことになる。こうして、個人差学習装置4213により、第1統計値が学習されていく。
運転者状態判定部4214は、運転者の状態を判定する。例えば、運転者状態判定部4214は、運転者交代可能性有り判定に応じて個人差学習装置4213によって演算されて学習データ記憶部433の揮発性統計値テーブル4332に一時記憶された第2統計値、例えば現在の運転者の顔または視線の保持方向の平均値および偏差量と、学習データ記憶部433の不揮発性統計値テーブル4331に記憶されている各運転者についての第1統計値、例えば運転者の顔または視線の保持方向の平均値および偏差量とを比較することで、現在の運転者が不揮発性統計値テーブル4331に記憶されているどの運転者であるかを判定する。そして、運転者状態判定部4214は、上記個人差学習装置4213に、判定した運転者についての新たな第1統計値を演算させる。また、現在の運転者が不揮発性統計値テーブル4331に記憶されているどの運転者でもないと判定した場合には、運転者状態判定部4214は、上記個人差学習装置4213に、新たな運転者についての新たな第1統計値を演算させることで、その新たな運転者に対する第1統計値の学習を開始させる。
また、運転者状態判定部4214は、予め設定された時間間隔で、監視データ記憶部431から監視データを読み込んで、運転者が顔または視線を向けている方向を判定する。また、学習データ記憶部433の揮発性統計値テーブル4332から運転者フラグがセットされている現在の運転者の第1統計値を読み込む。さらに、運転者状態判定部4214は、車両情報記憶部432から車両情報、例えばステアリングセンサ53やウィンカセンサ54のセンシングデータを読み込む。次に運転者状態判定部4214は、監視データおよび第1統計値を読み込む毎に、監視データに基づいて判定した運転者が顔または視線を向けている方向を第1統計値に含まれる補正値、つまり運転者の顔または視線の方向の平均値で補正した上で、所定の判定基準値と比較する。これにより、運転者の状態、例えば脇見状態であるか否かを判定することができる。このとき、運転者状態判定部4214は、ステアリングセンサ53やウィンカセンサ54のセンシングデータにより、この判定自体を行うか否か、または判定結果を出力するか否かを決定する。これは、カーブしている道路を走行しているときや、右左折、車線変更を行う際には、安全確認のため運転者は脇見と同様の振る舞いを行う場合が有るので、これを脇見と判定しないことが望ましいためである。
信号出力部4215は、運転者状態判定部4214での運転者の状態の判定結果を示す運転状者態判定結果情報を、入出力インタフェースユニット41を介して判定結果出力装置60へ出力する。
(4)判定結果出力装置
判定結果出力装置60は、例えば、スピーカと警告灯表示器を有し、運転者状態判定装置40から出力された運転者状態判定結果情報を警告音や警告灯の点灯によって、運転者に出力する。判定結果出力装置60は、スピーカと警告灯表示器の一方で構成されてもよい。判定結果出力装置60は、車両が備えるナビゲーションシステムの音声出力機能や画像表示機能を利用して構成されてもよい。また、この判定結果出力装置60は、運転者状態判定装置40に含まれ、信号出力部4215によって制御されるように構成されていてもよい。
(動作)
次に、以上のように構成された運転者状態判定システムの動作を説明する。
図4は、図2に示した運転者状態判定システムにおける処理手順と処理内容の一例を示すフローチャートであり、図5は、図2に示した運転者状態判定システムにおける処理手順に従った統計値学習内容の一例を示すタイムチャートである。
(1)センシングデータ取り込み
車両の駆動源がオンされると、運転者状態判定装置40と、運転者監視センサであるドライバカメラ51および車両状態センサである各センサ52〜56は、動作を開始する。運転者状態判定装置40は、ドライバカメラ51からのセンシングデータを監視データ取得部4211により取得し、監視データとして監視データ記憶部431に記憶していく。また、運転者状態判定装置40は、車速センサ52、ステアリングセンサ53、ウィンカセンサ54、ギアセレクタセンサ55およびパーキングブレーキセンサ56それぞれからのセンシングデータを車両情報取得部4212により取得し、車両情報として車両情報記憶部432に記憶してく。これらセンシングデータの取得並びに記憶は、車両の駆動源がオフされるまで、繰り返し実施される。
(2)統計値学習
(2−1)運転者交代無し
上記センシングデータの取り込み動作と並行して、運転者状態判定装置40は、個人差学習装置4213に、第1統計値と第2統計値の学習を開始させる。
すなわち先ず、個人差学習装置4213は、ステップS11において、運転者交代トリガ信号が運転者状態判定部4214から入力されたか否かを判定する。車両の駆動源は、車両が完全に停止したパーキング状態でオンされる。従って、図5に示すように、車両の駆動源がオンされた時刻t0においては、運転者状態判定部4214から運転者交代トリガ信号が入力された判定することになる。
運転者交代トリガ信号が入力されると、個人差学習装置4213は、ステップS12において、運転者交代トリガ信号入力直前に求めて学習データ記憶部433の揮発性統計値テーブル4332に一時記憶した新たな第1統計値を、学習データ記憶部433の不揮発性統計値テーブル4331において運転者フラグがセットされている現在の運転者の第1統計値に、学習結果として上書き記憶する。なお、車両の駆動源がオンされて初めてのこのステップS12の処理時には、まだ新たな第1統計値が求められていないので、このステップS13の処理においては何も行われない。車両の駆動源がオンされて2回目以降の運転者交代トリガ信号の入力が行われた場合に、この新たな第1統計値の学習データ記憶部433の不揮発性統計値テーブル4331への記憶が行われる。
その後、個人差学習装置4213は、ステップS13において、新たな第1統計値および第2統計値の学習を行う。なお、個人差学習装置4213における第1および第2統計値の学習は、所定時間毎に、その所定時間内における第1および第2の統計情報を演算するものであり、図5では、この所定時間の区切りを点線によって表している。第1統計値の学習と第2統計値の学習は、例えば、同じ時間区切りで実施される。このステップS13の学習処理により、学習データ記憶部433の揮発性統計値テーブル4332には、新たな第1統計値と第2統計値が、上記所定時間毎に、更新記憶されていくこととなる。すなわち、新たな第1統計値の学習においては、学習データ記憶部433の揮発性統計値テーブル4332に記憶された前回の第1統計値と、運転者状態判定部4214によって判定された所定時間内における今回の運転者の顔または視線の保持方向の平均値および偏差量等の統計情報とに基づいて、新たな第1統計値が演算される。なお、車両の駆動源がオンされて初めてのこのステップS13の処理時には、学習データ記憶部433の揮発性統計値テーブル4332には未だ前回の第1統計値が記憶されていないので、学習データ記憶部433の不揮発性統計値テーブル4331に記憶されている、運転者交代トリガ信号入力前の運転者、つまり運転者フラグにより示される現在の運転者の第1統計値が、学習データ記憶部433の揮発性統計値テーブル4332に一時記憶されて、利用される。これにより、例えば、図5に示すように、運転者番号1の識別子で特定される運転者の第1統計値の学習が開始される。また、第2統計値の学習においては、運転者状態判定部4214によって判定された所定時間内における今回の運転者の顔または視線の保持方向の平均値および偏差量等の統計情報が、第2統計値として演算される。
上記所定時間毎に、個人差学習装置4213は、ステップS14において、揮発性統計値テーブル4332には一時記憶されている第2統計値と、学習データ記憶部433の不揮発性統計値テーブル4331に記憶されている各運転者についての第1統計値とを比較する。そして、個人差学習装置4213は、ステップS15において、第2統計値に近似する第1統計値が有ったかどうかを判定する。第2統計値の学習初期時は、安定した統計情報に収束し難くい。第2統計値に近似する第1統計値が無いと判定した場合、個人差学習装置4213は、ステップS16において、第2統計値を所定量(N回)学習したか否かを判定する。この所定量としては、安定した統計情報に収束するのに十分な時間(回数)が設定されている。未だ所定量の第2統計値学習が終了していなければ、個人差学習装置4213は、ステップS17において、運転者交代トリガ信号が運転者状態判定部4214から入力されたか否かを判定する。そして運転者交代トリガ信号が入力されていなければ、運転者状態判定装置40は、ステップS13における第1および第2統計値の学習を実施して、上記の処理を繰り返す。
例えば、第2統計値に近似する第1統計値が存在すると、上記ステップS15において、近似統計値有りと判定される。この場合には、個人差学習装置4213は、その近似する第1統計値の運転者が、現在車両を運転している運転者であると判定する。すなわち、個人差学習装置4213は、ステップS19において、その近似する第1統計値を、運転者状態判定部4214での運転者状態判定処理に使用するべき、つまり、学習するべき第1統計値であると決定する。これにより、個人差学習装置4213は、不揮発性統計値テーブル4331の運転者フラグを、その決定した第1統計値の運転者を示すようにセットし直す。但しこのとき、その決定した第1統計値の運転者に対応する不揮発性統計値テーブル4331の運転者フラグが既にセットされているときには、運転者の交代は無かったということであるので、フラグをセットし直す必要は無い。そして、個人差学習装置4213は、ステップS19において、第2統計値の学習を終了して、上記ステップS11の処理から繰り返す。
こうしてステップS11の処理に戻ったとき、運転者交代トリガ信号が運転者状態判定部4214から入力されていないと判定した場合には、ステップS20において、新たな第1統計値の学習を行う。
(2−2)運転者交代有り:既知運転者
一方、例えば図3Bに示すように、第2統計値(平均値+4.8°、偏差量1.4°)に近似する第1統計値(運転者番号2の平均値+5.0°、偏差量1.0°)が存在すると、図5の時刻t1において、上記ステップS15で近似統計値有りと判定される。この場合には、個人差学習装置4213は、その近似する第1統計値の運転者が、現在車両を運転している運転者であると判定する。すなわち、個人差学習装置4213は、ステップS21において、その近似する第1統計値を、運転者状態判定部4214での運転者状態判定処理に使用するべき、つまり、学習するべき第1統計値であると決定する。これにより、個人差学習装置4213は、不揮発性統計値テーブル4331の運転者フラグを、その決定した第1統計値の運転者を示すようにセットし直す。そして、個人差学習装置4213は、ステップS19において、第2統計値の学習を終了して、上記ステップS11の処理から繰り返す。
そして、ステップS11からステップS20に進むと、新たな第1統計値の学習が行われるが、今度は、決定された第1統計値、例えば運転者番号2の識別子で特定される運転者の新たな第1統計値についての学習が行われる。この際、揮発性統計値テーブル4332に一時記憶されている第2統計値も、この新たな第1統計値の学習に利用してもよい。
(2−3)運転者交代有り:新しい運転者
一方、近似する第1統計値が見つからずに、上記ステップS16において、第2統計値を所定量(N回)学習したと判定される場合もある。
例えば、図5に時刻t2で運転者交代トリガ信号が入力されると、上記ステップS11においてそれが判定され、個人差学習装置4213は、ステップS12において、運転者交代トリガ信号入力直前に求めて学習データ記憶部433の揮発性統計値テーブル4332に一時記憶している新たな第1統計値を、学習データ記憶部433の不揮発性統計値テーブル4331の現在の運転者の第1統計値に、学習結果として上書き記憶する。この例では、現在の運転者である運転者番号2の運転者に対する新たな第1統計値が、揮発性統計値テーブル4332から読み出されて、不揮発性統計値テーブル4331の運転者番号2の識別子で特定される運転者の第1統計値に上書きされる。そして、ステップS13において、第1および第2統計値の学習が行われる。その後のステップS14の統計値比較の結果、近似統計値が見つからなければ、ステップS15〜ステップS17を経て、ステップS13での運転者番号2の運転者についての第1および第2統計値の学習が継続されていく。
そして、ステップS16において、例えば時刻t3で第2統計値を所定量(N回)学習したと判定すると、個人差学習装置4213は、ステップS21において、揮発性統計値テーブル4332に一時記憶している第2統計値を、運転者状態判定部4214での運転者状態判定処理に使用するべき、つまり、学習するべき第1統計値であると決定する。これにより、個人差学習装置4213は、不揮発性統計値テーブル4331に新しい運転者のための領域を確保し、そこに、揮発性統計値テーブル4332に記憶された第2統計値を、第1統計値として、その新しい運転者を表す識別子とともに記憶させる。そして、不揮発性統計値テーブル4331の運転者フラグを、その新しく記憶した第1統計値の運転者を示すようにセットし直す。
例えば、揮発性統計値テーブル4332に記憶された第2統計値が、図3Cに示すように、平均値+3.2°、偏差量1.3°であると、不揮発性統計値テーブル4331には、近似する第1統計値が記憶されていない。したがってこの場合には、その第2統計値を、図3Dに示すように、不揮発性統計値テーブル4331に、運転者番号4の識別子で特定される運転者についての第1統計値として、新規に記憶させる。
そして、個人差学習装置4213は、ステップS19において、第2統計値の学習を終了して、上記ステップS11の処理から繰り返す。
そして、ステップS11からステップS20に進むと、新たな第1統計値の学習が行われるが、今度は、決定された第1統計値、例えば運転者番号4の識別子で特定される運転者の新たな第1統計値についての学習が行われる。この際、新規な学習であり、学習に利用するデータは多い方が良いので、揮発性統計値テーブル4332に一時記憶されている第2統計値も、この新たな第1統計値の学習に利用することが望ましい。
(2−4)第2統計値学習中の運転者交代トリガ信号入力
なお、第2統計値学習中に、つまり、上記ステップS16において、所定量(N回)の第2統計値の学習が終了するよりも前に、新たな運転者交代トリガ信号が入力されると、そのことがステップS17で判定される。この場合には、個人差学習装置4213は、ステップS22において、それまで学習して揮発性統計値テーブル4332に一時記憶している第2統計値をクリアする。そして、上記ステップS12に進んで、揮発性統計値テーブル4332に記憶されている運転者交代トリガ信号入力直前に求めた新たな第1統計値を、不揮発性統計値テーブル4331の現在の運転者の第1統計値に、学習結果として上書き記憶した後、ステップS13に進み、新たな第1統計値の学習と、新規の第2統計値の学習とを開始する。
(2−5)車両動力源オフ
通常、車両の動力源がオフされる前には、車両が完全に停止したパーキング状態とされる。従って、上記ステップS11または上記ステップS18において、運転者交代トリガ信号の入力が有ったと判定され、ステップS12にて、揮発性統計値テーブル4332に記憶されている運転者交代トリガ信号入力直前に求めた新たな第1統計値が、不揮発性統計値テーブル4331の現在の運転者の第1統計値に、学習結果として上書き記憶される。これにより、次の車両動力源のオン時に、この不揮発性統計値テーブル4331に不揮発性に記憶されている現在の運転者の第1統計値が読み出されて、利用されることとなる。
(3)運転者状態判定
上記ステップS20において新たな第1統計値の学習が行われた後、運転者状態判定部4214は、ステップS23において、学習データ記憶部433の揮発性統計値テーブル4332に一時記憶されている新たな第1統計値に基づく補正値による状態判定を行う。すなわち、監視データ記憶部431に記憶されている監視データに基づいて判定した運転者の顔または視線の方向を、学習している現在の運転者の新たな第1統計値に含まれる補正値である運転者の顔または視線の保持方向の平均値によって補正する。そして、この補正した運転者の顔または視線の方向を所定の判定基準値と比較することで、運転者の状態、例えば脇見状態であるか否かを判定する。
そして、ステップS24において、運転者状態判定部4214は、信号出力部4215により、運転者の状態の判定結果を示す運転者状態判定結果情報を判定結果出力装置60へ出力する。これにより、運転者状態判定結果情報が、判定結果出力装置60にて、警告音や警告灯の点灯として、運転者に呈示される。
(一実施形態の効果)
以上詳述したように一実施形態では、運転者状態判定装置40においては、各運転者の第1の統計情報である第1統計値を個人差学習装置4213によって演算して、運転者を表す識別子とともに学習データ記憶部433の不揮発性統計値テーブル4331に記憶しておき、個人差学習装置4213によって現在の運転者について同様に第2の統計情報である第2統計値を演算し、個人差学習装置4213により、その演算された第2統計値を不揮発性統計値テーブル4331に記憶された第1の統計情報と比較し、第2統計値に近似する第1の統計情報が不揮発性統計値テーブル4331から発見されたとき、車両の現在の運転者を、その近似する第1の統計情報に対応する運転者であると判定する。
つまり、個人差学習装置4213により、演算した第2統計値を、学習データ記憶部433の不揮発性統計値テーブル4331に記憶されている各運転者の第1統計値と比較することで、現在の運転者が記憶されているどの運転者であるかを判定することができる。したがって、車両を運転している現在の運転者が、既に第1統計値を演算した運転者であれば、その運転者を簡易に判定することができる。
また、運転者状態判定装置40においては、運転者状態判定部4214によって、第1または第2のセンシングデータに基づいて、運転者の交代の可能性の有無が判定され、この運転者状態判定部4214により運転者交代の可能性有りと判定したときに、個人差学習装置4213が第2統計値の演算を開始する。
したがって、第1または第2のセンシングデータに基づいて、容易に運転者交代の可能性を判定できる。そして、運転者交代の可能性が有る場合には、第2統計値を演算し、その演算結果に基づいて個人差学習装置4213による運転者の判定を行うことになる。個人差学習装置4213によって、現在の運転者が、車両の現在の運転手を、近似する第1統計値に対応する運転者であると判定したとき、その近似する第1統計値に対応する運転者が、運転者状態判定部4214によって運転者交代可能性有りと判定される前の運転者と同じであれば、個人差学習装置4213は、運転者の交代は無かったと判定できる。また、判定した運転者が、運転者状態判定部4214によって運転者交代可能性有りと判定される前の運転者と同じでなければ、個人差学習装置4213は、運転者の交代が有ったこと、および、交代した現在の運転者はどの運転者であるか、を簡易に判定できる。したがって、運転者の交代が有った場合には、運転開始直後に素早く運転者を判定することが可能になる。
また、運転者状態判定装置40においては、第2統計値の演算を所定回数行っても第2統計値に近似する第1統計値が発見されない場合には、個人差学習装置4213により、演算した第2統計値を、新たな運転者についての第1統計値として学習データ記憶部433の不揮発性統計値テーブル4331に記憶させる。
したがって、学習データ記憶部433の不揮発性統計値テーブル4331に、新たな運転者についての第1統計値を追加することができる。よって、この新たな運転者が再び当該車両を運転する際には、素早くその運転者を判定することが可能となる。
また、運転者状態判定装置40においては、個人差学習装置4213は、第1のセンシングデータに基づいて車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向を判定し、第1および第2統計値として、この運転者の顔または視線の保持方向の統計情報、例えば運転者の顔または視線の保持方向の平均値および偏差量を演算する。
したがって、顔認識等の複雑な個人認証処理は必要なく、また、運転者が運転者交代を自己申請するような特別な操作を行わなくても、統計情報に基づいて車両を運転している運転者を簡易に判定できるようになる。また、個人認証処理を行わないので、プログラムのセキュリティレベルを高くする必要がない。
また、運転者状態判定装置40においては、個人差学習装置4213により、学習データ記憶部433の不揮発性統計値テーブル4331に記憶された第1統計値と第1のセンシングデータとに基づいて、新たな第1統計値を演算し、運転者状態判定部4214によって、第1のセンシングデータとこの新たな第1統計値とに基づいて、運転者の状態、例えば脇見状態を判定して、その判定結果を、信号出力部4215により判定結果出力装置60に運転者に対して出力させる。そして、個人差学習装置4213が判定した運転者が、個人差学習装置4213による第1統計値の演算についての運転者と同じであれば、個人差学習装置4213は、そのまま新たな第1統計値の演算を継続する。
よって、個人差学習装置4213によって演算している新たな第1統計値についての運転者が現在の運転者であれば、そのまま新た第1統計値の演算が継続して行われる。このため、運転者状態判定装置では、運転者状態判定部4214において第1のセンシングデータと新たな第1統計値とに基づいて運転者の状態を判定する際、新たな第1統計値についての運転者に対応する学習データ記憶部433の不揮発性統計値テーブル4331に記憶されていた第1統計値も加味した、正確な第1統計値を用いて、運転者の状態を判定することが可能になる。
これに対して、この運転者状態判定装置40においては、個人差学習装置4213が判定した運転者が、個人差学習装置4213による第1統計値の演算についての運転者と異なっていれば、個人差学習装置4213は、新たな第1統計値の演算を、判定した運転者についての学習データ記憶部433の不揮発性統計値テーブル4331に記憶された第1統計値を対象とした演算へと切り替える。
よって、個人差学習装置4213によって演算している新たな第1統計値についての運転者が現在の運転者に対応しない場合には、それまで演算されていた新たな第1統計値は、学習データ記憶部433の不揮発性統計値テーブル4331に記憶された他の運転者に対応する第1統計値を加味していることで、現在の運転者に関して正確でないものとなっているので、それを運転者の状態判定に用いてしまうことを防止できる。そこで、個人差学習装置4213は、新たな第1統計値の演算を、判定した運転者についての学習データ記憶部433の不揮発性統計値テーブル4331に記憶された第1統計値を対象とした演算へと切り替えて、現在の運転者に対応した新たな第1統計値を演算して、正確な第1統計値を用いて、運転者の状態を判定することが可能になる。
したがって、運転者状態判定装置40においては、個々の運転者に応じた第1統計値を用いて運転者の状態を判定できるため、運転者個々の個人差に依らず精度の高い運転者状態判定を行うことが可能となる。
また、運転者状態判定装置40においては、運転者状態判定部4214によって、第1または第2のセンシングデータに基づいて、運転者の交代の可能性の有無が判定され、この運転者状態判定部4214により運転者交代の可能性有りと判定したときに、個人差学習装置4213は、それまで演算していた新たな第1統計値を学習データ記憶部433の不揮発性統計値テーブル4331に記憶させる。
これにより、繰り返し演算して正確なものとなっている新たな第1統計値を、個人差学習装置4213による運転者の判定に利用できるようになる。
また、運転者状態判定装置40においては、第2統計値の演算を所定回数行っても第2統計値に近似する第1統計値が発見されない場合には、個人差学習装置4213によって演算した第2統計値を、新たな運転者についての第1統計値として学習データ記憶部433の不揮発性統計値テーブル4331に記憶させ、個人差学習装置4213は、その新たな第1統計値の演算を、この学習データ記憶部433の不揮発性統計値テーブル4331に記憶させた新たな運転者の第1統計値を対象とした演算へと切り替える。
したがって、新たな運転者についての第1統計値を追加して、運転者の状態判定を開始することができる。よって、この新たな運転者が再び当該車両を運転する際には、その新たな運転者個人に対応した運転者状態判定が行えるようになる。
また、運転者状態判定装置40においては、個人差学習装置4213による第2統計値の演算を、個人差学習装置4213による新たな第1統計値の演算と並行して行い、個人差学習装置4213が車両の現在の運転者を判定したならば、終了する。
したがって、必要なときにのみ、個人差学習装置4213による第2統計値の演算を実施することができる。
[変形例]
以上、本発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
(1)例えば、前記一実施形態では、運転者交代可能性の有無を、運転者状態判定部4214によって判定するものとしているが、個人差学習装置4213において、監視データ記憶部431に記憶された監視データまたは車両情報記憶部432に記憶された車両情報に基づいて、判定するようにしても構わない。また、専用の運転者交代可能性判定部を設けてもよい。このようにしても、前記一実施形態と同様の作用効果が得られる。
また、運転者の顔または視線の方向についても、監視データ取得部4211によってドライバカメラ51からのセンシングデータに基づいて検出し、その検出結果を監視データ記憶部431に記憶しておくようにしてもかまわない。
(2)また、前記一実施形態では、運転者の状態の判定を行う際、監視データ記憶部431に記憶されている監視データに基づいて判定した運転者の顔または視線の方向を、学習している現在の運転者の第1統計値に含まれる補正値である運転者の顔または視線の保持方向の平均値によって補正した上で、所定の判定基準値と比較して、運転者の状態、例えば脇見状態であるか否かを判定するものとしている。つまり、判定基準値を一定とし、運転者の顔または視線の方向を新たな第1統計値に含まれる補正値に基づいて補正して、両者を比較することで運転者の状態を判定している。逆に、判定基準値を補正値に基づいて補正し、この補正した基準値と運転者の顔または視線の方向とを比較することで、運転者の状態を判定するようにしてもよい。このようにしても、前記一実施形態と同様の作用効果が得られる。
要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
[付記]
前記実施形態の一部または全部は、以下の付記に示すように記載することが可能であるが、これに限られない。
(付記1)
第1のセンサ(21)から出力された車両の運転者の画像を含む第1のセンシングデータから、車両の正面方向に対して当該運転者が正面として顔または視線を保持する方向である保持方向についての統計情報である第1の統計情報を演算する第1の演算部(15)と、
演算された前記第1の統計情報を、運転者を表す識別子とともに記憶する記憶部(16)と、
前記第1のセンサから出力される現在の車両の運転者の画像を含む第1のセンシングデータに基づいて、車両の現在の運転者の前記保持方向についての統計情報である第2の統計情報を前記第1の演算部で演算し、演算された前記第2の統計情報を、前記記憶部に記憶された前記第1の統計情報と比較し、前記第2の統計情報に近似する前記第1の統計情報が前記記憶部から発見されたとき、車両の前記現在の運転者を、前記近似する前記第1の統計情報に対応する運転者であると判定する第1の判定部(17)と、
を具備する運転者判定装置(10)。
(付記2)
前記付記1に記載の運転者判定装置と、
前記記憶部に記憶された前記第1の統計情報と前記第1のセンシングデータとに基づいて、新たな第1の統計情報を演算する第2の演算部(31)と、
前記第1のセンシングデータと前記第2の演算部によって演算された前記新たな第1の統計情報とに基づいて、前記運転者の状態を判定する第3の判定部(32)と、
前記第3の判定部の判定結果を、前記運転者に対して出力する出力部(33)と、
を具備し、
前記第2の演算部は、前記第1の判定部によって判定した運転者が、
当該第2の演算部による前記第1の統計情報の演算についての運転者と同じであれば、そのまま前記新たな第1の統計情報の演算を継続し、
当該第2の演算部による前記第1の統計情報の演算についての運転者と異なっていれば、前記新たな第1の統計情報の演算を、前記判定した運転者についての前記記憶部に記憶された前記第1の統計情報を対象とした演算へと切り替える、
運転者状態判定装置(30)。
(付記3)
運転者を判定する運転者判定装置(10)が実行する運転者判定方法であって、
前記運転者判定装置が、第1のセンサ(21)から出力された車両の運転者の画像を含む第1のセンシングデータから、車両の正面方向に対して当該運転者が正面として顔または視線を保持する方向である保持方向についての統計情報である第1の統計情報を演算する過程と、
前記運転者判定装置が、演算された前記第1の統計情報を、運転者を表す識別子とともに記憶する過程と、
前記運転者判定装置が、前記第1のセンサから出力される現在の車両の運転者の画像を含む第1のセンシングデータに基づいて、車両の現在の運転者の前記保持方向についての統計情報である第2の統計情報を演算する過程と、
前記運転者判定装置が、演算された前記第2の統計情報を、前記記憶された前記第1の統計情報と比較し、前記第2の統計情報に近似する前記第1の統計情報が記憶されていたとき、車両の前記現在の運転者を、前記近似する前記第1の統計情報に対応する運転者であると判定する過程と、
を具備する運転者判定方法。
(付記4)
前記付記3に記載の運転者判定方法を適用した運転者状態判定装置(30)が実行する運転者状態判定方法であって、
前記運転者状態判定装置が、前記記憶された前記第1の統計情報と前記第1のセンシングデータとに基づいて、新たな第1の統計情報を演算する過程と、
前記運転者状態判定装置が、前記演算された前記新たな第1の統計情報に基づいて、前記運転者の状態を判定する過程と、
前記運転者状態判定装置が、前記運転者の状態の判定結果を、運転者に対して出力する過程と、
を具備し、
前記新たな第1の統計情報を演算する過程は、前記車両の前記現在の運転者を前記近似する前記第1の統計情報に対応する運転者であると判定する過程において判定した運転者が、
前記新たな第1の統計情報の演算についての運転者と同じであれば、そのまま前記新たな第1の統計情報の演算を継続し、
前記新たな第1の統計情報の演算についての運転者と異なっていれば、前記新たな第1の統計情報の演算を、前記判定した運転者についての前記記憶された前記第1の統計情報を対象とした演算へと切り替える、
運転者状態判定方法。
(付記5)
ハードウェアプロセッサ(421)とメモリ(43)とを有する運転者判定装置であって、
前記ハードウェアプロセッサが、
第1のセンサ(51)から出力された車両の運転者の画像を含む第1のセンシングデータから、車両の正面方向に対して当該運転者が正面として顔または視線を保持する方向である保持方向についての統計情報である第1の統計情報を演算し、
前記メモリに、演算された前記第1の統計情報を、運転者を表す識別子とともに記憶し、
前記第1のセンサから出力される現在の車両の運転者の画像を含む第1のセンシングデータに基づいて、車両の現在の運転者の前記保持方向についての統計情報である第2の統計情報を演算し、
演算された前記第2の統計情報を、前記メモリに記憶された前記第1の統計情報と比較し、前記第2の統計情報に近似する前記第1の統計情報が記憶されていたとき、車両の前記現在の運転者を、前記近似する前記第1の統計情報に対応する運転者であると判定する、
運転者判定装置。
(付記6)
ハードウェアプロセッサ(421)とメモリ(43)とを有する運転者状態判定装置であって、
前記ハードウェアプロセッサが、
前記付記5の運転者判定装置の動作に加えて、
前記記憶された前記第1の統計情報と前記第1のセンシングデータとに基づいて、新たな第1の統計情報を演算し、
前記第1のセンシングデータと前記演算された前記新たな第1の統計情報とに基づいて、前記運転者の状態を判定し、
前記運転者の状態の判定結果を、運転者に対して出力し、
前記新たな第1の統計情報の演算において、前記車両の前記現在の運転者を前記近似する前記第1の統計情報に対応する運転者であると判定する過程において判定した運転者が、
前記新たな第1の統計情報の演算についての運転者と同じであれば、そのまま前記新たな第1の統計情報の演算を継続し、
前記新たな第1の統計情報の演算についての運転者と異なっていれば、前記新たな第1の統計情報の演算を、前記判定した運転者についての前記メモリに記憶された前記第1の統計情報を対象とした演算へと切り替える、
運転者状態判定装置。
(付記7)
ハードウェアプロセッサ(421)とメモリ(43)とを有する装置が実行する運転者判定方法であって、
前記ハードウェアプロセッサが、第1のセンサ(51)から出力された車両の運転者の画像を含む第1のセンシングデータから、車両の正面方向に対して当該運転者が正面として顔または視線を保持する方向である保持方向についての統計情報である第1の統計情報を演算する過程と、
前記ハードウェアプロセッサが、演算された前記第1の統計情報を、運転者を表す識別子とともに前記メモリに記憶する過程と、
前記ハードウェアプロセッサが、前記第1のセンサから出力される現在の車両の運転者の画像を含む第1のセンシングデータに基づいて、車両の現在の運転者の前記保持方向についての統計情報である第2の統計情報を演算する過程と、
前記ハードウェアプロセッサが、演算された前記第2の統計情報を、前記メモリに記憶された前記第1の統計情報と比較し、前記第2の統計情報に近似する前記第1の統計情報が記憶されていたとき、車両の前記現在の運転者を、前記近似する前記第1の統計情報に対応する運転者であると判定する過程と、
を具備する運転者判定方法。
(付記8)
ハードウェアプロセッサ(421)とメモリ(43)とを有する装置が実行する運転者状態判定方法であって、
前記付記7の運転者判定方法の過程に加えて、
前記ハードウェアプロセッサが、前記メモリに記憶された前記第1の統計情報と前記第1のセンシングデータとに基づいて、新たな第1の統計情報を演算する過程と、
前記ハードウェアプロセッサが、前記第1のセンシングデータと前記演算された前記新たな第1の統計情報とに基づいて、前記運転者の状態を判定する過程と、
前記ハードウェアプロセッサが、前記運転者の状態の判定結果を、運転者に対して出力する過程と、
を具備し、
前記新たな第1の統計情報を演算する過程は、前記車両の前記現在の運転者を前記近似する前記第1の統計情報に対応する運転者であると判定する過程において判定した運転者が、
前記新たな第1の統計情報の演算についての運転者と同じであれば、そのまま前記新たな第1の統計情報の演算を継続し、
前記新たな第1の統計情報の演算についての運転者と異なっていれば、前記新たな第1の統計情報の演算を、前記判定した運転者についての前記メモリに記憶された前記第1の統計情報を対象とした演算へと切り替える、
運転者状態判定方法。
10…運転者判定装置、 11…監視データ取得部、 12…車両情報取得部、 13…取得情報記憶部、 14…運転者交代可能性判定部、 15…第1統計演算部、 16…統計記憶部、 17…個人判定部、 21…運転者監視センサ、 22…車両状態センサ、 30…運転者状態判定装置、 31…第2統計演算部、 32…状態判定部、 33…出力部、 40…運転者状態判定装置、 41…入出力インタフェースユニット、 42…制御ユニット、 43…記憶ユニット、 51…ドライバカメラ、 52…車速センサ、 53…ステアリングセンサ、 54…ウィンカセンサ、 55…ギアセレクタセンサ、 56…パーキングブレーキセンサ、 60…判定結果出力装置、 421…ハードウェアプロセッサ、 422…プログラムメモリ、 431…監視データ記憶部、 432…車両情報記憶部、 433…学習データ記憶部、 4211…監視データ取得部、 4212…車両情報取得部、 4213…個人差学習装置、 4214…運転者状態判定部、 4215…信号出力部、 4331…不揮発性統計値テーブル、 4332…揮発性統計値テーブル。

Claims (12)

  1. 第1のセンサから出力された車両の運転者の画像を含む第1のセンシングデータから、車両の正面方向に対して当該運転者が正面として顔または視線を保持する方向である保持方向についての統計情報である第1の統計情報を演算する第1の演算部と、
    演算された前記第1の統計情報を、運転者を表す識別子とともに記憶する記憶部と、
    前記第1のセンサから出力される現在の車両の運転者の画像を含む第1のセンシングデータに基づいて、車両の現在の運転者の前記保持方向についての統計情報である第2の統計情報を前記第1の演算部で演算し、演算された前記第2の統計情報を、前記記憶部に記憶された前記第1の統計情報と比較し、前記第2の統計情報に近似する前記第1の統計情報が前記記憶部から発見されたとき、車両の前記現在の運転者を、前記近似する前記第1の統計情報に対応する運転者であると判定する第1の判定部と、
    を具備する運転者判定装置。
  2. 第2のセンサから出力された車両の状態を表す第2のセンシングデータまたは前記第1のセンシングデータに基づいて、車両の前記現在の運転者の交代の可能性の有無を判定する第2の判定部をさらに具備し、
    前記第1の演算部は、前記第2の判定部により運転者交代の可能性有りと判定したときに、前記第2の統計情報の演算を開始する、請求項1に記載の運転者判定装置。
  3. 前記第1の判定部は、前記第1の演算部が前記第2の統計情報の演算を所定回数行っても、前記第2の統計情報に近似する前記第1の統計情報が発見されないとき、前記第2の統計情報を、新たな運転者に対応する第1の統計情報として前記記憶部に記憶させる、
    請求項1または2に記載の運転者判定装置。
  4. 前記第1の演算部は、前記第1のセンシングデータに基づいて、前記運転者の前記保持方向を判定し、
    前記第1の統計情報および前記第2の統計情報は、所定時間内における前記判定した前記保持方向の平均値および偏差量である、
    請求項1乃至3のいずれかに記載の運転者判定装置。
  5. 請求項1、3または4に記載の運転者判定装置と、
    前記記憶部に記憶された前記第1の統計情報と前記第1のセンシングデータとに基づいて、新たな第1の統計情報を演算する第2の演算部と、
    前記第1のセンシングデータと前記第2の演算部によって演算された前記新たな第1の統計情報とに基づいて、前記運転者の状態を判定する第3の判定部と、
    前記第3の判定部の判定結果を、前記運転者に対して出力する出力部と、
    を具備し、
    前記第2の演算部は、前記第1の判定部によって判定した運転者が、
    当該第2の演算部による前記第1の統計情報の演算についての運転者と同じであれば、そのまま前記新たな第1の統計情報の演算を継続し、
    当該第2の演算部による前記第1の統計情報の演算についての運転者と異なっていれば、前記新たな第1の統計情報の演算を、前記判定した運転者についての前記記憶部に記憶された前記第1の統計情報を対象とした演算へと切り替える、
    運転者状態判定装置。
  6. 前記運転者判定装置は、第2のセンサから出力された車両の状態を表す第2のセンシングデータまたは前記第1のセンシングデータに基づいて、車両の前記現在の運転者の交代の可能性の有無を判定する第2の判定部をさらに具備し、
    前記第1の演算部は、前記第2の判定部により運転者交代の可能性有りと判定したときに、前記第2の統計情報の演算を開始し、
    前記第2の演算部は、前記第2の判定部により運転者交代の可能性有りと判定したときに、前記新たな第1の統計情報を前記記憶部に記憶させる、
    請求項5に記載の運転者状態判定装置。
  7. 前記第1の演算部が前記第2の統計情報の演算を所定回数行っても、前記第1の判定部が前記第2の統計情報に近似する前記第1の統計情報を発見しないとき、
    前記第1の演算部は、前記第2の統計情報を、新たな運転者に対応する第1の統計情報として前記記憶部に記憶させた上で、前記第2の統計情報の演算を終了し、
    前記第2の演算部は、前記新たな第1の統計情報の演算を、前記第1の演算部が前記記憶部に記憶させた前記新たな運転者の前記第1の統計情報を対象とした演算へと切り替える、
    請求項5または6に記載の運転者状態判定装置。
  8. 前記第1の演算部は、
    前記第2の演算部による前記新たな第1の統計情報の演算と並行して、前記第2の統計情報を演算し、
    前記第1の判定部が、車両の前記現在の運転者を、前記近似する前記第1の統計情報に対応する運転者であると判定したとき、前記第2の統計情報の演算を終了する、
    請求項5乃至7のいずれかに記載の運転者状態判定装置。
  9. 運転者を判定する運転者判定装置が実行する運転者判定方法であって、
    前記運転者判定装置が、第1のセンサから出力された車両の運転者の画像を含む第1のセンシングデータから、車両の正面方向に対して当該運転者が正面として顔または視線を保持する方向である保持方向についての統計情報である第1の統計情報を演算する過程と、
    前記運転者判定装置が、演算された前記第1の統計情報を、運転者を表す識別子とともに記憶する過程と、
    前記運転者判定装置が、前記第1のセンサから出力される現在の車両の運転者の画像を含む第1のセンシングデータに基づいて、車両の現在の運転者の前記保持方向についての統計情報である第2の統計情報を演算する過程と、
    前記運転者判定装置が、演算された前記第2の統計情報を、前記記憶された前記第1の統計情報と比較し、前記第2の統計情報に近似する前記第1の統計情報が記憶されていたとき、車両の前記現在の運転者を、前記近似する前記第1の統計情報に対応する運転者であると判定する過程と、
    を具備する運転者判定方法。
  10. 請求項9に記載の運転者判定方法を適用した運転者状態判定装置が実行する運転者状態判定方法であって、
    前記運転者状態判定装置が、前記記憶された前記第1の統計情報と前記第1のセンシングデータとに基づいて、新たな第1の統計情報を演算する過程と、
    前記運転者状態判定装置が、前記演算された前記新たな第1の統計情報に基づいて、前記運転者の状態を判定する過程と、
    前記運転者状態判定装置が、前記運転者の状態の判定結果を、運転者に対して出力する過程と、
    を具備し、
    前記新たな第1の統計情報を演算する過程は、前記車両の前記現在の運転者を前記近似する前記第1の統計情報に対応する運転者であると判定する過程において判定した運転者が、
    前記新たな第1の統計情報の演算についての運転者と同じであれば、そのまま前記新たな第1の統計情報の演算を継続し、
    前記新たな第1の統計情報の演算についての運転者と異なっていれば、前記新たな第1の統計情報の演算を、前記判定した運転者についての前記記憶された前記第1の統計情報を対象とした演算へと切り替える、
    運転者状態判定方法。
  11. 請求項1乃至4のいずれかに記載の運転者判定装置が具備する各部としてコンピュータを機能させる運転者判定プログラム。
  12. 請求項5乃至8のいずれかに記載の運転者状態判定装置が具備する各部としてコンピュータを機能させる運転者状態判定プログラム。
JP2017219796A 2017-11-15 2017-11-15 運転者判定装置とそれを備える運転者状態判定装置並びにそれらの方法およびプログラム Expired - Fee Related JP6687006B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017219796A JP6687006B2 (ja) 2017-11-15 2017-11-15 運転者判定装置とそれを備える運転者状態判定装置並びにそれらの方法およびプログラム
DE102018127161.1A DE102018127161A1 (de) 2017-11-15 2018-10-31 Fahrerbestimmungsvorrichtung und fahrerzustandsbestimmungsvorrichtung, die die fahrerbestimmungsvorrichtung enthält, und verfahren und programm zur fahrerbestimmung und fahrerzustandsbestimmung
CN201811305900.1A CN109784136A (zh) 2017-11-15 2018-11-02 驾驶员判定装置、驾驶员状态判定装置、驾驶员判定方法
US16/179,974 US20190147271A1 (en) 2017-11-15 2018-11-04 Driver determination apparatus and driver state determination apparatus including driver determination apparatus, method for driver determination and driver state determination, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017219796A JP6687006B2 (ja) 2017-11-15 2017-11-15 運転者判定装置とそれを備える運転者状態判定装置並びにそれらの方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2019091259A JP2019091259A (ja) 2019-06-13
JP6687006B2 true JP6687006B2 (ja) 2020-04-22

Family

ID=66335451

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017219796A Expired - Fee Related JP6687006B2 (ja) 2017-11-15 2017-11-15 運転者判定装置とそれを備える運転者状態判定装置並びにそれらの方法およびプログラム

Country Status (4)

Country Link
US (1) US20190147271A1 (ja)
JP (1) JP6687006B2 (ja)
CN (1) CN109784136A (ja)
DE (1) DE102018127161A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102703732B1 (ko) * 2018-11-16 2024-09-09 현대자동차주식회사 차량 주행 보조 제어 장치, 그를 포함한 시스템 및 그 방법
CN110428620B (zh) * 2019-07-30 2022-05-31 江苏驭道数据科技有限公司 一种驾驶风险行为数据采集和分析系统
US12240466B2 (en) 2022-06-16 2025-03-04 Rm Acquisition, Llc System and method for identifying a change in the operator of a vehicle

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496117B2 (en) * 2001-03-30 2002-12-17 Koninklijke Philips Electronics N.V. System for monitoring a driver's attention to driving
JP4894572B2 (ja) * 2006-03-14 2012-03-14 オムロン株式会社 検出装置および方法、記録媒体、並びに、プログラム
JP2012022579A (ja) * 2010-07-15 2012-02-02 Fujitsu Ltd 顔方向検出装置、顔方向検出プログラムおよび顔方向検出方法
US8744642B2 (en) * 2011-09-16 2014-06-03 Lytx, Inc. Driver identification based on face data
KR101859761B1 (ko) * 2012-05-24 2018-05-21 현대모비스 주식회사 차량용 얼굴인증 장치 및 방법
JP2014234016A (ja) * 2013-05-31 2014-12-15 株式会社デンソー 情報表示制御装置
EP2891589B1 (en) * 2014-01-06 2024-09-25 Harman International Industries, Incorporated Automatic driver identification
CN204821476U (zh) * 2015-08-20 2015-12-02 绍兴市敏智传感网技术研究院有限公司 一种机动车驾驶信息识别系统
JP2017052470A (ja) * 2015-09-11 2017-03-16 クラリオン株式会社 駐車支援装置
JP2017126151A (ja) * 2016-01-13 2017-07-20 アルプス電気株式会社 視線検出装置および視線検出方法
CN106428015B (zh) * 2016-09-12 2019-07-19 惠州Tcl移动通信有限公司 一种智能行车辅助方法及装置
CN106184223A (zh) * 2016-09-28 2016-12-07 北京新能源汽车股份有限公司 一种自动驾驶控制方法、装置及汽车
CN107004128A (zh) * 2017-02-16 2017-08-01 深圳市锐明技术股份有限公司 一种驾驶员身份识别方法及装置
CN107215307A (zh) * 2017-05-24 2017-09-29 清华大学深圳研究生院 基于车辆传感器校正数据的驾驶员身份识别方法及系统
CN107194381A (zh) * 2017-07-06 2017-09-22 重庆邮电大学 基于Kinect的驾驶员状态监测系统

Also Published As

Publication number Publication date
CN109784136A (zh) 2019-05-21
US20190147271A1 (en) 2019-05-16
DE102018127161A1 (de) 2019-05-16
JP2019091259A (ja) 2019-06-13

Similar Documents

Publication Publication Date Title
JP6720951B2 (ja) 運転者状態判定装置とその方法およびプログラム
JP6497915B2 (ja) 運転支援システム
US9390337B2 (en) Alertness level detection apparatus and alertness level detection method
JP6340969B2 (ja) 周辺監視装置、及びプログラム
JP6380002B2 (ja) 周辺監視装置
US10618528B2 (en) Driving assistance apparatus
JP6488989B2 (ja) 車両用表示装置
JP7058800B2 (ja) 表示制御装置、表示制御方法、及び表示制御プログラム
US11527013B2 (en) Camera parameter estimating device, camera parameter estimating method, and camera parameter estimating program
US10068143B2 (en) Method for calibrating a camera for a gaze direction detection in a vehicle, device for a motor vehicle having a camera and at least one further element, and computer program product
JP6509940B2 (ja) 運転支援装置および運転支援方法
JP7140154B2 (ja) 車両制御装置
JP6375873B2 (ja) ドライバ状態診断装置
JP6687006B2 (ja) 運転者判定装置とそれを備える運転者状態判定装置並びにそれらの方法およびプログラム
JP5161685B2 (ja) 視線計測装置及びプログラム
WO2017020166A1 (en) Method, apparatus and system for presenting information in a vehicle
JP2016224717A (ja) 運転支援装置及び運転支援方法
JP6672972B2 (ja) 安全運転支援装置及び安全運転支援プログラム
JP6485405B2 (ja) 安全運転支援装置及び安全運転支援プログラム
JP4815960B2 (ja) 視認状態判断装置、自動車、及び視認状態判断方法
JP2019095892A (ja) 車両用運転支援装置、および車両用運転支援プログラム
JP7195849B2 (ja) 車両制御システム
JP6405930B2 (ja) 車載用表示装置
JP6015754B2 (ja) 運転状態推定装置
JP2017062565A (ja) サポート装置及びサポート方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190311

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200316

R150 Certificate of patent or registration of utility model

Ref document number: 6687006

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees