JP7838596B2 - 車載装置及び記録方法 - Google Patents

Description

本発明は、車載装置及び記録方法に関する。

車両の乗員の挙動から関心事項を抽出して、当該関心事項に関する情報を提示する技術
が提案されている。特許文献１は、普段と異なる運転パターンを検出した後、運転者の視
線の動き等による挙動変化から関心を示しているかを判定し、関心を示している施設に関
する情報を提示する技術を開示している。

特許文献２は、バスの乗客の興味の対象を抽出し、関連する情報を提示する技術を提示
している。ここで、乗客の興味は、視線や会話などの動的情報、及び乗客のアカウントに
予め登録された顧客情報から抽出される。

特許文献１及び２にかかる技術により、挙動変化をトリガーとして、運転者等の望んで
いる情報を提示することが可能となる。一方で、これらの技術を用いて、運転者が車両の
走行中にふと思い出したことを記録したり、運転者自身が自覚していない関心事項を抽出
したりすることは困難である。

特開２００９－１６８４７３号公報 特開２０２０－５７０６６号公報

上記のように、運転者が運転中に何かを思い出した場合に、運転中は手を放すことがで
きず、思い出した事実に関連する情報を記録することが困難であるという問題があった。
また運転中には信号やカーブなどでの車両操作、他車両との接近の回避、走行経路の選択
などのために思考するべきことが多いため、運転終了時には思い出したことを忘れてしま
うという問題があった。そこで、運転者が運転中に何かを思い出した場合に、思い出した
事実に関連する情報を記録することができる車載装置及び記録方法を提供する。

本発明は、車両の運転者の視線方向を検出する視線検出部と、運転者の視線移動の速度に少なくとも基づいて、運転者が視線方向にある特定の対象を見ている状態であることを判定し、対象を推定する推定部と、対象に関連する情報をメモ情報として記録する情報処理部と、車両の運転が終了したときに、運転中に記録したメモ情報を出力する出力部と、を備える車載装置を提供する。

本発明は、車両の運転者の視線方向を検出する視線検出ステップと、運転者の視線移動の速度に少なくとも基づいて、運転者が視線方向にある特定の対象を見ている状態であることを判定し、対象を推定する推定ステップと、対象に関連する情報をメモ情報として記録する情報処理ステップと、車両の運転が終了したときに、運転中に記録したメモ情報を出力する出力ステップと、を備える記録方法を提供する。

本発明によれば、運転者が運転中に何かを思い出した場合に、思い出した事実に関連す
る情報を記録することができる車載装置及び記録方法を提供することができる。

実施形態１にかかる車載装置の構成を示すブロック図である。 実施形態１にかかる車載装置の動作を示すフローチャートである。 実施形態２にかかる車載装置の構成を示すブロック図である。

（実施形態１）
まず、図１を用いて、実施形態１にかかる車載装置１００の構成について説明する。車
載装置１００は、例えば、ドライブレコーダーである。車載装置１００は、画像取得部１
１０と、視線検出部１２０と、推定部１３０と、記憶部１４０と、判定部１５０と、情報
処理部１６０と、情報提示部１７０とを備える。

画像取得部１１０は、車両の運転者、及び車両外部を撮影した画像をカメラ１０から取
得する。画像取得部１１０は、超広角レンズ（魚眼、３６０レンズ）などを用いて運転者
及び車両外部を同時に撮影した画像を取得してもよく、運転者と車両外部とが別々のカメ
ラで撮影された複数の画像を取得してもよい。なお、カメラ１０は、赤外線カメラであっ
てもよい。画像取得部１１０において車両外部を撮影した画像の取得は必ずしも必須の構
成ではなく、無くともよい。

視線検出部１２０は、運転者の顔画像から視線方向を検出する。視線方向は、例えば上
中下、左中右の９象限の１つとして検出される。視線方向は、細かく特定して検出される
ことが好ましい。さらに、視線検出部１２０は、運転者が一定方向を見つめている期間を
検出してもよく、車両の走行に伴う視線移動を検出してもよい。また、視線検出部１２０
は、動く物体を見ていることによる視線移動を検出してもよい。視線検出部１２０は、検
出した視線方向を推定部１３０に出力する。

視線検出部１２０は、目頭と虹彩との位置関係や、角膜反射と瞳孔との位置関係に基づ
き視線を検出することができる。視線検出部１２０は、顔の向きに基づいて運転者が見て
いる方向を検出し、視線方向としてもよい。視線検出技術としては、公知の技術が用いら
れてよい。

推定部１３０は、運転者が見ている対象を、少なくとも視線方向に基づいて推定する。
たとえば推定部１３０は、運転者の視線方向が左右方向の中央やや下方であることが検出
された場合、運転者が見ている対象を道路または車両前方を走行する他車両であると推定
する。運転者が見ている対象を、視線方向および車両周囲状況に基づいて推定してもよい
。車両周囲状況は、画像取得部１１０が取得した車両外部を撮影した画像や、図示しない
カーナビゲーション装置または図示しない通信部を介してインターネット等から取得した
、地図情報から判定される。推定部１３０は、推定結果を判定部１５０に出力する。

ここで、推定部１３０は、まず、運転者の瞳孔の動きや顔の向きの変化、運転者が一定
方向を見つめている期間などから、運転者が視線方向全体を眺めている状態なのか、視線
方向にある特定の対象を見ている（注視している）状態なのかを判定する。例えば推定部
１３０は、運転者が左右方向の中央部を見ていることが多く、視線の動きが細かい場合、
運転者が視線方向全体を眺めている状態と推定する。運転者の視線移動の速度や方向と、
車両の移動速度に相関があるか否かを判定して、視線方向にある特定の対象を見ている状
態であることを判定してもよい。運転者が特定の対象を見ている場合、推定部１３０は、
運転者が見ている対象を推定する。対象は、「○○郵便局」のように１つの施設として推
定されてもよく、「○○バーガー」のように複数の店舗の総称として推定されてもよく、
「ラーメン屋」のように１つのジャンルとして推定されてもよい。対象は、施設に限られ
ず、田、植木等であってもよい。

推定部１３０は、画像認識技術を用いて、視線方向と車両外部画像とに基づき対象を推
定してもよい。例えば、運転者が左上方向を見ており、車両外部画像からそこに写ってい
るものが郵便局の看板であると画像認識された場合、推定部１３０は、運転者が見ている
対象を、郵便局と推定できる。推定部１３０は、道路、他車両、信号、標識などを画像認
識して運転者が見ている対象であると推定してもよい。

また、推定部１３０は、視線方向と地図情報とに基づいて、運転者が見ている対象を推
定してもよい。例えば、運転者が前方やや左を見ている場合、推定部１３０は、車両の現
在位置の進行方向左前方にある施設が郵便局であることを地図情報から取得し、運転者が
見ている対象は郵便局であると推定してもよい。推定部１３０は、信号、標識などの存在
を地図情報から取得して運転者が見ている対象であると推定してもよい。

さらに、推定部１３０は、視線方向と、車両の走行情報とに基づいて、運転者が見てい
る対象を推定してもよい。例えば、運転者が左の真横方向を見た後に車両が左折した場合
、推定部１３０は、運転者が見ている対象は左サイドミラーであると推定してもよい。

なお、推定部１３０は、視線方向と事故現場の位置を示す情報とに基づいて、運転者が
見ている対象は事故現場であると推定してもよい。事故現場の位置を示す情報は、図示し
ない通信部を介してインターネット等から取得されてもよい。

記憶部１４０は、ハードディスク、フラッシュメモリ、ＳＤカード等の記憶装置または
記憶媒体である。また、記憶部１４０は、一時的に情報を保持するための記憶領域である
ＲＡＭ（Random Access Memory）等の揮発性記憶装置を含んでもよい。記憶部１４０は、
履歴１４１及びメモ情報１４２を記憶する。記憶部１４０は、カメラ１０による撮影映像
をさらに記憶してもよい。

履歴１４１は、推定部１３０の推定結果の履歴を管理するデータベースである。履歴１
４１は、車両の運転と関係しない対象のみを記憶してもよい。また、履歴１４１は、推定
された対象と、運転者が対象を見た時刻とを対応付けて記憶してもよい。さらに、履歴１
４１は、運転者が対象を見た時間の長さを記憶してもよい。メモ情報１４２は、後述する
情報処理部１６０によって記録される情報である。なお、履歴１４１及びメモ情報１４２
は、車載装置１００の外部のサーバに記憶されてもよい。

判定部１５０は、推定部１３０が推定した対象が車両の運転と関係しないものである場
合、運転者が当該対象を目視する頻度、つまり普段見ているか否かを、履歴１４１に基づ
き判定する。判定部１５０による判定結果は、情報処理部１６０、あるいは情報提示部１
７０に出力される。

ここで、判定部１５０は、まず、運転者が見ている対象が車両の運転と関係するか否か
を判別する。車両の運転と関係するものとは、道路、他車両、信号、標識、ミラー等であ
る。車両の運転と関係するものには、事故現場が含まれていてもよい。

次に、判定部１５０は、運転者が対象を普段見ているか否かを判定する。判定部１５０
は、対象が履歴１４１に含まれているか否かにより、対象を目視する頻度が所定値１以上
か未満かに応じて判定を行ってもよく、対象が履歴１４１に所定数以上含まれているか否
かにより、対象を目視する頻度が所定数以上であるか未満であるかに応じて判定を行って
もよい。また、判定部１５０は、対象が１週間に３回以上見られているか否かなどの直近
の期間の履歴１４１を参照することにより対象を目視する頻度の判定を行ってもよく、対
象に隣接する道路を２回通る際に１回以上見られているか否かなどの走行履歴との比較に
より対象を目視する頻度の判定を行ってもよい。

ここで、判定部１５０は、運転者が対象を見ている時間（注視時間）を考慮して判定を
行ってもよい。例えば、判定部１５０は、運転者が対象を１秒間以上見た回数が所定数以
上の場合に、運転者が当該対象を普段見ていると判定してもよい。

ここで、判定部１５０は、時間帯や曜日等の条件を考慮して履歴１４１を参照してもよ
い。例えば、判定部１５０は、夜間や休日に飲食店が見られる傾向があることを考慮して
、運転者が当該対象を普段見ているか否かを判別してもよい。

情報処理部１６０は、運転者が対象を普段見ていない場合、当該対象に関連する情報を
メモ情報１４２として記録する。したがって、情報処理部１６０は、対象が運転と関係せ
ず、かつ、運転者が普段見ないものである場合に、メモ情報１４２を記録することとなる
。情報処理部１６０は、推定部１３０が推定した対象の名称をメモ情報１４２として記録
してもよく、対象が写った画像を画像取得部１１０から取得してメモ情報１４２として記
録してもよい。情報処理部１６０は、推定部１３０が推定した対象の地図情報、例えば図
示しないカーナビゲーション装置の画面をキャプチャして、メモ情報１４２として記録し
てもよい。

また、情報処理部１６０は、対象の名称を一部に含むメッセージを作成し、メモ情報１
４２として記録してもよい。メッセージは、例えば、運転者が見ている対象が郵便局であ
った場合、「郵便局に用事がありませんか？」等である。情報処理部は、該メッセージを
音声メモとして作成し、あるいは画像メモとして作成し、メモ情報１４２として記録して
もよい。

また、メモ情報１４２は、運転者によって発声された音声であってもよい。情報処理部
１６０は、対象の名称を含むメッセージ（例えば、「郵便局に用事がありませんか？）を
運転者に対して通知した後、運転者による音声をマイク２０で収音してメモ情報１４２と
して記録してもよい。情報処理部１６０は、該メッセージをスピーカ３０から出力しても
よく、モニタに出力してもよい。これにより、運転者は、郵便局に用事があったことを思
い出し、音声等による情報記録（「郵便局に用事があった」）を行うことができる。

ここで、情報処理部１６０は、対象が撮影された時点と、運転者の発声期間とを共に含
む期間の動画をメモ情報１４２として記録してもよい。また、情報処理部１６０は、運転
者が発声した音声と、当該音声が発声された期間の車両の外部映像とをメモ情報１４２と
して記録してもよい。すなわち、情報処理部１６０は、運転者の発声を検出し、その終わ
りまでの期間の外部映像を記録してもよい。

また、推定された対象の名称（例えば、「○○郵便局」）を、作成されたファイルに紐
づけることが好ましい。したがって、情報処理部１６０は、メモ情報１４２と、対象の名
称とを対応付けて記録してもよい。例えば、情報処理部１６０は、「○○郵便局」という
名称をメモ情報１４２のファイル名としてもよく、当該名称を音声合成した音声メモと、
メモ情報１４２とを結合してもよく、当該名称を字幕データとして画像メモに重畳しても
よく、当該名称をメタデータとしてメモ情報１４２に埋め込んでもよい。

情報提示部１７０は、運転者が対象を普段見ている場合、当該対象に関連する情報を運
転者に対して提示する。したがって、情報提示部１７０は、対象が運転に関係するもので
なく、かつ、運転者が普段見ているものである場合に、情報の提示を行うこととなる。情
報提示部１７０は、提示情報をスピーカ３０に出力してもよく、モニタに出力してもよい
。

情報提示部１７０は、例えば、「○○ラーメンをよく見ていますね」等の対象の名称に
関連する情報を出力してもよい。これにより、運転者は、自分が潜在的に関心を持ってい
ることを認識することができる。

また、情報提示部１７０は、対象の名称に関連する情報を、図示しない通信部を介して
インターネット等から取得し、取得した情報を出力してもよい。情報提示部１７０は、例
えば、「○○ラーメン」がキャンペーンを実施しているか否か、或いは評判の良し悪しを
、運転者に提示することができる。

また、情報提示部１７０は、対象の名称に関連する情報を、図示しないカーナビゲーショ
ン装置に送信し、カーナビゲーション装置にて検索や登録が行えるようにしてもよい。

なお、情報提示部１７０は、対象が運転に関係するものであり、かつ、運転者が普段見
ないものである場合に、情報提示を行ってもよい。例えば、運転者が、普段は見ていない
駐車禁止標識を見ている場合、運転者が駐車場を探していると判断できるため、情報提示
部１７０は、インターネット等で検索した駐車場情報を運転者に提示してもよい。また、
例えば、運転者がルームミラーを普段以上に見ている場合、後続車が気になっていると判
断できるため、情報提示部１７０は、前方に注意を向けるように促すための情報を提示す
ることができる。

次に、図２を用いて車載装置１００の動作の流れについて説明する。まず、視線検出部
１２０は、画像取得部１１０により取得された画像内の運転者の顔画像から、運転者の視
線方向を検出する（ステップＳ１０１）。次に、推定部１３０は、運転者が視線方向全体
を眺めている状態か、視線方向にある特定の対象を見ている（注視している）状態である
かを判定する（ステップＳ１０２）。運転者が特定の対象を見ていない場合（ステップＳ
１０２のＮｏ）、車載装置１００は、ステップＳ１０１の処理に戻る。運転者が特定の対
象を見ている場合（ステップＳ１０２のＹｅｓ）、推定部１３０は、運転者の視線方向に
ある対象を推定する（ステップＳ１０３）。

次に、判定部１５０は、ステップＳ１０３で推定した対象が、運転と直接的に関係のあ
るものであるか否かを判定する（ステップＳ１０４）。対象が車両の運転に関係するもの
である場合（ステップＳ１０４のＹｅｓ）、車載装置１００は、ステップＳ１０１の処理
に戻る。

対象が車両の運転に関係するものでない場合（ステップＳ１０４のＮｏ）、判定部１５
０は、運転者が対象を普段から見ているか否かを判別する（ステップＳ１０５）。運転者
が対象を普段見ていない場合（ステップＳ１０５のＮｏ）、情報処理部１６０は、運転者
が当該対象について思い出したことがあると判定し（ステップＳ１０６）、画像メモある
いは音声メモをメモ情報１４２として記録する（ステップＳ１０７）。ここで、情報処理
部１６０は、「郵便局に用事がありませんか？」等のメッセージを通知してもよい。

運転者が対象を普段見ている場合（ステップＳ１０５のＹｅｓ）、情報提示部１７０は
、運転者が対象に興味を持っているものと判定して（ステップＳ１０８）、対象に関する
情報を運転者に提示する（ステップＳ１０９）。最後に、推定結果の履歴１４１が更新さ
れる（ステップＳ１１０）。

実施形態１にかかる車載装置１００は、運転者が見ている対象を、運転者が普段見てい
るものと普段見ていないものとに判別する。したがって、実施形態１にかかる車載装置１
００は、運転者が興味のある情報を提示することができる。また運転者が思い出したこと
に関する情報を、手を放すことができない運転中に自動でメモ情報として記録することが
できる。

（実施の形態２）
実施形態２にかかる車載装置１００ａは、車両の運転が終了したときに情報処理部１６
０が記録したメモ情報を出力する。図３は、車載装置１００ａの構成例を示すブロック図
である。以下では、実施形態１と異なる点について説明する。

車載装置１００ａは、運転者が所持する通信端末４０とネットワーク２００を介して接
続されている。ネットワーク２００は、インターネット、イントラネット、携帯電話網、
ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信回線網である。通信端末４０
は、携帯電話端末、スマートフォン、タブレット端末、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍ
ｐｕｔｅｒ）等である。なお、車載装置１００ａは、メモ情報１４２を、通信端末４０で
はなくスピーカ３０、図示しないモニタ画面等に出力してもよい。

車載装置１００ａは、図１の構成に加えて、通信部１８０と、出力部１９０とを備えて
いる。通信部１８０は、ネットワーク２００との通信インタフェースである。車載装置１
００ａが、メモ情報１４２をスピーカ３０等に出力する場合、車載装置１００ａは通信部
１８０を備えていなくてもよい。

出力部１９０は、車載装置１００ａが搭載された車両の運転が終了したか否かを判定す
る。出力部１９０は、車両に搭載された図示しないカーナビゲーション装置と連動して、
車両が目的地付近に到着したときや目的地まで所定の距離（例えば１００ｍなど）となっ
たときに運転が終了したと判定してもよい。目的地とは、カーナビゲーション装置に設定
された目的地以外にも、登録された自宅や現在位置が駐車場であることで判定されてもよ
い。また、出力部１９０は、車両のギア情報を取得して車両が駐車動作に入ったことや、
駐車動作が終了したことを走行情報から判定したときに、運転が終了したと判定してもよ
い。出力部１９０は、エンジンがオフとなったことを検知することにより、運転が終了し
たと判定してもよい。

出力部１９０は、車両の運転が終了したときに、メモ情報１４２を出力する。出力部１
９０は、音声メモをスピーカ３０から音声出力してもよく、画像メモを図示しないモニタ
に表示させてもよい。出力部１９０は、送信先として予め登録された通信端末４０に、通
信部１８０を介してメモ情報１４２を出力してもよい。出力部１９０は、送信先として予
め登録されたメールアドレスや電話番号、ＳＮＳ（social networking service）などに
通信部１８０を介してメモ情報１４２を出力してもよい。

実施形態２にかかる車載装置１００ａは、運転が終了したときに記録したメモ情報を出
力する。したがって、運転者は、運転が終了した後にメモ情報を確認し、思い出した作業
を行うことができる。また、運転者は、スピーカ、モニタ等から出力されたメモ情報を確
認して、手帳等にメモをとることができる。

また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏ
ｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用
いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体
は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉ
ｕｍ）を含む。非一時的なコンピュータ可読媒体は、例えば、磁気記録媒体、光磁気記録
媒体、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、
半導体メモリを含む。磁気記録媒体は、例えば、フレキシブルディスク、磁気テープ、ハ
ードディスクドライブなどである。光磁気記録媒体は、例えば光磁気ディスクなどである
。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯ
Ｍ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎ
ｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などである。また、プログラムは、様々なタイプ
の一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄ
ａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュ
ータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読
媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコ
ンピュータに供給できる。

上述の実施形態にかかる車載装置は、ドライバーモニタリングシステムの分野に適用す
ることができる。尚、車載装置以外の装置が、人物の視線を検出し、当該人物が見ている
対象を推定することもできる。例えば、眼鏡型デバイスに、視線検出装置と、周囲の景色
を撮影するカメラを取り付けることにより、同様のシステムを実現できる。これにより、
運転中だけでなく普段の生活から、人物の潜在的な関心の調査が可能となる。

１０ カメラ
２０ マイク
３０ スピーカ
４０ 通信端末
１００、１００ａ 車載装置
１１０ 画像取得部
１２０ 視線検出部
１３０ 推定部
１４０ 記憶部
１４１ 履歴
１４２ メモ情報
１５０ 判定部
１６０ 情報処理部
１７０ 情報提示部
１８０ 通信部
１９０ 出力部
２００ ネットワーク

Claims (2)

1. 車両の運転者の視線方向を検出する視線検出部と、
   前記運転者の視線移動の速度に少なくとも基づいて、前記運転者が前記視線方向にある特定の対象を見ている状態であることを判定し、前記対象を推定する推定部と、
   前記推定部の推定結果の履歴を管理するデータベースと、
   前記運転者が前記対象を所定時間以上見た回数が、前記履歴に所定数以上含まれていない場合、前記対象に関連する情報をメモ情報として記録する情報処理部と、
   前記車両の運転が終了したときに、運転中に記録した前記メモ情報を出力する出力部と、
   を備えた車載装置。
2. 車両の運転者の視線方向を検出する視線検出ステップと、
   前記運転者の視線移動の速度に少なくとも基づいて、前記運転者が前記視線方向にある特定の対象を見ている状態であることを判定し、前記対象を推定する推定ステップと、
   前記推定ステップにおける推定結果の履歴を管理するデータベースと、
   前記運転者が前記対象を所定時間以上見た回数が、前記履歴に所定数以上含まれていない場合、前記対象に関連する情報をメモ情報として記録する情報処理ステップと、
   前記車両の運転が終了したときに、運転中に記録した前記メモ情報を出力する出力ステップと、
   を備えた記録方法。