JP7275382B2 - 記録制御装置及び記録制御方法 - Google Patents

Description

本開示は、記録制御装置及び記録制御方法に関する。

近年、事故発生要因の事後解析のために事故発生前後の車両周辺の画像と車両内の音声とを記録する、ドライブレコーダやＥＤＲ（Event Data Recorder）などの車両用の記録装置に関する技術が提案されている。例えば、特許文献１には、運転者の意識などを記録する記録装置が提案されている。

特開２０１４－２１７６７号公報

車両の走行音や音響機器からの音楽などの音声は、運転者の音声に対してノイズとして作用するため、重要な運転者の音声が精度よく記録されないことがある。つまり、従来技術では、事故などのイベント後に精度よく復元できるように、運転者の音声を記録することができない。このため、イベント後に適切な解析を行うための各種信号を記録することができないという問題があった。

そこで、本開示は、上記のような問題点を鑑みてなされたものであり、イベント後に適切な解析を行うための信号を記録可能な技術を提供することを目的とする。

本開示に係る記録制御装置は、記録装置の記録を制御する記録制御装置であって、車両周辺の映像を車外映像信号として取得する車外映像取得部と、車両の運転者の状態である運転者状態を運転者状態信号として取得する運転者状態取得部と、車両内及び車両外の少なくともいずれか一方の音声を第１音声信号として取得する第１音声取得部と、音声の取得に指向性を有する音声取得装置を用いて、第１音声信号よりも運転者側の音声の精度が高い音声を第２音声信号として取得する第２音声取得部と、車両での特定のイベントの発生を検出するイベント検出部と、イベント検出部で特定のイベントの発生が検出された場合に、特定のイベントの発生時を含む予め定められた期間内の、車外映像信号と、運転者状態信号と、第１音声信号と、第２音声信号とを、イベント記録情報として記録装置に記録する制御を行う記録制御部とを備える。運転者状態信号は、電子透かしによって車外映像信号に含められて記録装置に記録される。

本開示によれば、特定のイベントの発生が検出された場合に、特定のイベントの発生時を含む予め定められた期間内の、車外映像信号と、運転者状態信号と、第１音声信号と、第２音声信号とを、イベント記録情報として記録装置に記録する制御を行う。このような構成によれば、イベント後に適切な解析を行うための信号を記録することができる。

本開示の目的、特徴、態様及び利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１に係る記録制御装置の構成を示すブロック図である。 実施の形態２に係る記録制御装置の構成を示すブロック図である。 実施の形態２に係るマイクロホンアレイの構成を示すブロック図である。 実施の形態２に係る記録装置の記録構造を示す図である。 実施の形態２に係る単位記録ブロックの記録構造を示す図である。 実施の形態２に係る記録制御装置の動作を示すフローチャートである。 実施の形態２の変形例５に係るマイクロホンアレイの構成を示すブロック図である。 実施の形態３に係る記録制御装置の構成を示すブロック図である。 実施の形態３に係る第２音声取得部及びその周辺の構成を示すブロック図である。 実施の形態４に係る記録制御装置の構成を示すブロック図である。 実施の形態５に係る単位記録ブロックの記録構造を示す図である。 その他の変形例に係る記録制御装置のハードウェア構成を示すブロック図である。 その他の変形例に係る記録制御装置のハードウェア構成を示すブロック図である。 その他の変形例に係るサーバの構成を示すブロック図である。 その他の変形例に係る通信端末の構成を示すブロック図である。

＜実施の形態１＞
図１は、本実施の形態１に係る記録制御装置１の構成を示すブロック図である。以下、記録制御装置１が、車両に搭載されているものとして主に説明するが、後述するように車両に搭載されていなくてもよい。

図１の記録制御装置１は、記録装置５１と無線または有線によって通信可能に接続されており、記録装置５１の記録を制御する。記録装置５１は、例えば、記録メモリを含むドライブレコーダ及びＥＤＲなどのように車両に設けられてもよいし、それらと異なり車両外部に設けられてもよい。

図１の記録制御装置１は、車外映像取得部１１と、運転者状態取得部１２と、第１音声取得部１３と、第２音声取得部１４と、イベント検出部１５と、記録制御部１６とを備える。

車外映像取得部１１は、車両周辺の映像を車外映像信号として取得する。車外映像取得部１１は、例えば、車両周辺の映像を撮影する車外撮影装置と、そのインターフェースである車外映像入力部との少なくともいずれか１つを含む。車両周辺の映像は、例えば車両前方の映像であるが、これに限ったものではない。

運転者状態取得部１２は、車両の運転者の状態である運転者状態を運転者状態信号として取得する。運転者状態取得部１２は、例えば、運転者状態を検出するドライバセンシング装置と、そのインターフェースである運転者状態入力部との少なくともいずれか１つを含む。なお、運転者状態の例については実施の形態２などで説明する。

第１音声取得部１３は、車両内及び車両外の少なくともいずれか一方の音声を第１音声信号として取得する。第２音声取得部１４は、音声の取得に指向性を有する音声取得装置を用いて、第１音声信号よりも運転者側の音声の精度が高い音声を第２音声信号として取得する。

第１音声取得部１３は、例えば、車両の特定の位置に設けられた無指向性マイクロホンと、そのインターフェースである音声入力装置との少なくともいずれか１つを含む。ただし、第１音声取得部１３は、第２音声信号よりも運転者側の音声以外の音声の精度が高い第１音声信号を取得できるのであれば、無指向性マイクロホンの代わりに、例えば車両前方への指向性を有するマイクロホンなどを含んでもよい。

第２音声取得部１４は、例えば、音声の取得に指向性を有する音声取得装置と、そのインターフェースである音声入力装置との少なくともいずれか１つを含む。音声取得装置は、例えば、複数のマイクロホンにビームフォーミング処理を行うことにより音声の取得に指向性を有するマイクロホンアレイ、または、内部機構により音声の取得に指向性を有する１つ以上の指向性マイクロホンである。音声取得装置は、車両の特定の位置に設けられればよく、好ましくは運転者の前方に設けられる。

イベント検出部１５は、車両での特定のイベントの発生を検出する。イベント検出部１５は、イベント検出部１５のセンサ、または、記録制御装置１の外部に設けられたセンサで検出されたセンサ情報に基づいて、特定のイベントの発生を検出する。センサ情報は、例えば車両が受けた衝撃などによる加速度などであり、特定のイベントは、例えば事後解析の対象となる車両の事故などのイベントである。

記録制御部１６は、イベント検出部１５で特定のイベントの発生が検出された場合に、特定のイベントの発生時を含む予め定められた期間内の、車外映像信号と、運転者状態信号と、第１音声信号と、第２音声信号とを、イベント記録情報として記録装置５１に記録する制御を行う。

＜実施の形態１のまとめ＞
以上のような本実施の形態１に係る記録制御装置１によれば、特定のイベントの発生が検出された場合に、特定のイベントの発生時を含む予め定められた期間内のイベント記録情報が記録装置５１に記録される。イベント記録情報は、運転者側の音声以外の音声の精度が高い第１音声信号と、運転者側の音声の精度が高い第２音声信号とを含むので、上記構成によれば、イベント後に適切な解析を行うための信号を記録することができる。また、イベント記録情報は、車外映像信号と、運転者状態信号とを含むので、上記構成によれば、イベント後に適切な解析を行うための信号を記録することができる。例えば、運転者の「あぶない」などの発声が記録された場合、その記録は、運転者が、いつ、どのような状況で、危険な状況を認識したのかを裏付ける材料となり、事故解析に貢献できる材料となる。また、運転者の「右から」などの発声が記録された場合、その記録は、右から何かの危険要素が迫ってきたことを裏付ける材料となり、事故解析に貢献できる材料となる。

＜実施の形態２＞
図２は、本実施の形態２に係る記録制御装置１の構成を示すブロック図である。以下、本実施の形態２に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じまたは類似する参照符号を付し、異なる構成要素について主に説明する。

図２の記録制御装置１は、記録装置５１、ドライバセンシング装置５２及びマイクロホンアレイ５３と無線または有線によって通信可能に接続されている。記録装置５１は、実施の形態１で説明した記録装置５１と同様である。

ドライバセンシング装置５２は、実施の形態１で述べた運転者状態として、例えば、運転者の脈拍及び呼吸などの生理状態、及び、運転者の覚醒度及び緊張度などの心理状態を検出する。この場合、ドライバセンシング装置５２は、例えば、赤外線を用いて脈拍を検出する脈拍検出装置、ミリ波レーダを用いて呼吸を検出する呼吸検出装置、並びに、運転者の顔画像の画像処理を用いて表情から覚醒度及び緊張度を認識する認識装置などを含む。なお、運転者状態、及び、ドライバセンシング装置５２は、上記に限ったものではない。

マイクロホンアレイ５３は、第２音声取得部１４に用いられる。図３は、本実施の形態２に係るマイクロホンアレイ５３の構成を示すブロック図である。このマイクロホンアレイ５３は、実施の形態１で述べた音声取得装置の概念に含まれ、記録制御装置１に備えられてもよいし、記録制御装置１に備えられなくてもよい。

図３のマイクロホンアレイ５３は、複数のマイクロホン５３ａ１～５３ａ５と、複数のマイクロホン５３ａ１～５３ａ５に対してビームフォーミング処理を行う処理フィルタ５３ｂとを含む。ビームフォーミング処理として、例えば特表２００７－５２３５１４号公報及び特開２０１６－１２７３００号公報に記載された処理が用いられてもよい。以下、本実施の形態２に係るビームフォーミング処理の概要について説明する。

処理フィルタ５３ｂは、運転者の口と複数のマイクロホン５３ａ１～５３ａ５のそれぞれとの距離同士の差に応じて生じる位相差を考慮して、複数のマイクロホン５３ａ１～５３ａ５から出力された音声信号ＭＳ１～ＭＳ５を加算するフィルタ処理を行う。これにより、運転者の口からの音声の音声信号の増幅、及び、他の音声の音声信号の減衰の少なくともいずれかが行われ、運転者側の音声の精度、つまり明瞭性及びＳ／Ｎ比が高くなる。この結果、複数のマイクロホン５３ａ１～５３ａ５のそれぞれが無指向性マイクロホンであったとしても、マイクロホンアレイ５３全体として音声の取得に指向性を有することが可能となる。

ここで、図３において、運転者６１からの音声である発話音声がＳ０（ｔ）であり、それ以外の音声であるノイズ音声がＮ（ｔ）である場合について説明する。この場合、複数のマイクロホン５３ａ１～５３ａ５のそれぞれはｆｎ｛Ｓ０（ｔ）｝＋ｇｎ｛Ｎ（ｔ）｝という音声を取得する。なお、ｆｎは発話音声の伝達特性であり、ｇｎはノイズ音声の伝達特性である。

処理フィルタ５３ｂは、複数のマイクロホン５３ａ１～５３ａ５で取得された音声の音声信号ＭＳ１～ＭＳ５に対して上記ビームフォーミング処理を行う。これにより、処理フィルタ５３ｂは、音声信号ＭＳ１～ＭＳ５からノイズ音声Ｎ（ｔ）の音声信号を除去することによって、音声の音声信号ＳＳ（ｔ）を第２音声信号として生成する。この音声信号ＳＳ（ｔ）は、ノイズ音声Ｎ（ｔ）による多少の影響があるものの、発話音声Ｓ０（ｔ）のみの音声信号に近い音声信号となる。

図２の記録制御装置１は、実施の形態１と同様に、車外映像取得部１１と、運転者状態取得部１２と、第１音声取得部１３と、第２音声取得部１４と、イベント検出部１５と、記録制御部１６とを備える。

車外映像取得部１１は、車両周辺の映像を車外映像信号として取得する。運転者状態取得部１２は、ドライバセンシング装置５２で検出された運転者の生理状態及び心理状態を含む運転者状態を、運転者状態信号として取得する。

第１音声取得部１３は、マイクロホンアレイ５３とは別のマイクロホン（図示せず）から、車両内及び車両外の少なくともいずれか一方の音声を第１音声信号として取得する。第２音声取得部１４は、マイクロホンアレイ５３からノイズ音声Ｎ（ｔ）の影響が低減された、第１音声信号よりも発話音声Ｓ０（ｔ）などの運転者側の音声の精度が高い音声を、第２音声信号ＳＳ（ｔ）として取得する。

イベント検出部１５は、車両での特定のイベントの発生を検出する。記録制御部１６は、イベント検出部１５で特定のイベントの発生が検出された場合に、特定のイベントの発生時を含む予め定められた期間内のイベント記録情報を、記録装置５１に記録する制御を行う。なお、記録装置５１に記録されるイベント記録情報は、車外映像信号と、運転者状態信号と、第１音声信号と、第２音声信号と含むだけでなく、イベント発生時刻、及び、イベント発生位置などの情報を含んでもよい。

図４は、本実施の形態２に係る記録装置５１の記録構造を示す図である。記録装置５１は、常時記録エリア５１ａと、保護記録エリア５１ｂとを含む。記録制御部１６は、常時記録エリア５１ａ及び保護記録エリア５１ｂに、１つのファイルに対応する６分間のイベント記録情報の記録を、１つの単位記録ブロック５１ｃとして記録する。

図５は、単位記録ブロック５１ｃの記録構造を示す図である。単位記録ブロック５１ｃは、６分間のイベント記録情報、つまり、６分間の車外映像信号、運転者状態信号、第１音声信号、及び、第２音声信号に相当する。本実施の形態２では、第１音声信号が、ステレオ形式のＬチャンネル音声として記録され、第２音声信号が、ステレオ形式のＲチャンネル音声として記録される。なお、これとは逆に、第１音声信号が、ステレオ形式のＲチャンネル音声として記録され、第２音声信号が、ステレオ形式のＬチャンネル音声として記録されてもよい。

図４に戻って、記録制御部１６は、記録制御装置１及び記録装置５１が起動してから一定周期（この例では６分）ごとに、単位記録ブロック５１ｃを常時記録エリア５１ａに記録する。常時記録エリア５１ａでは、例えば２４時間分の単位記録ブロック５１ｃ、すなわち２４０（＝２４時間／６分間）個の単位記録ブロック５１ｃが記録可能となっている。

記録制御部１６は、常時記録エリア５１ａの図４に示される部分領域ＬＭ１、ＬＭ２、…、ＬＭ２４０の順に、単位記録ブロック５１ｃを記録していく。記録制御装置１及び記録装置５１の電源オフ時には、記録制御部１６は、単位記録ブロック５１ｃが記録されている部分領域を識別する情報を記憶し、その後の電源オン時に、当該部分領域の次の部分領域から単位記録ブロック５１ｃを記録していく。記録制御部１６は、部分領域ＬＭ２４０に単位記録ブロック５１ｃを記録すると、部分領域ＬＭ１に戻って、部分領域ＬＭ１、ＬＭ２、…、ＬＭ２４０の順に、単位記録ブロック５１ｃを上書きで記録していく。つまり、記録制御部１６は、常時記録エリア５１ａをリングバッファとして用いる。

イベント検出部１５が特定のイベントの発生を検出した場合、記録制御部１６は、常時記録エリア５１ａで記録された単位記録ブロック５１ｃのうち、特定のイベントの発生時の単位記録ブロック５１ｃを保護記録エリア５１ｂに記録する。この際、記録制御部１６は、特定のイベントの発生時の単位記録ブロック５１ｃに加えて、その前の部分領域の単位記録ブロック５１ｃと、その後の部分領域の単位記録ブロック５１ｃとの少なくともいずれか１つを保護記録エリア５１ｂに記録してもよい。

保護記録エリア５１ｂでは、例えば１０個の単位記録ブロック５１ｃが記録可能となっている。記録制御部１６は、常時記録エリア５１ａに記録された単位記録ブロック５１ｃを、新たな単位記録ブロック５１ｃで上書きした。これに対し、記録制御部１６は、保護記録エリア５１ｂに記録された単位記録ブロック５１ｃに対する上書きなどによる消去を、予め定められた条件が満たされるまで禁止する。予め定められた条件は、例えば、図示しないボタンへの操作などが行われること、及び、記録から１か月などの一定期間が経過したことなどを含む。これにより、特定のイベントの発生が検出された場合に保護記録エリア５１ｂに記録されるイベント記録情報の記録期間は、特定のイベントの発生が検出されなかった場合に常時記録エリア５１ａに記録されるイベント記録情報の記録期間よりも長くなる。

なお、ファイル構成、常時記録エリア５１ａ及び保護記録エリア５１ｂの記録可能時間、単位記録ブロック５１ｃの容量、フォルダの役割は、上記に限ったものではなく、例えば記録可能時間や容量は上記より小さくてもよいし、大きくてもよい。

記録装置５１は、例えば、車両に設けられてもよいし、車両外部に設けられてもよい。具体的には、常時記録エリア５１ａ及び保護記録エリア５１ｂの両方が、車両に設けられてもよいし、車両外部に設けられてもよいし、常時記録エリア５１ａ及び保護記録エリア５１ｂの一方が車両に設けられて他方が車両外部に設けられてもよい。

また、上記の例では、常時記録エリア５１ａと保護記録エリア５１ｂとが分離されていたが、これらは分離されていなくてもよい。例えば、常時記録エリア５１ａ内に保護記録エリア５１ｂが規定されてもよい。具体的には、イベント検出部１５が特定のイベントの発生を検出した場合、記録制御部１６は、常時記録エリア５１ａで記録された単位記録ブロック５１ｃのうち、特定のイベントの発生時の単位記録ブロック５１ｃに、保護記録エリアフラグを付与する。そして、記録制御部１６は、保護記録エリアフラグが付与された単位記録ブロック５１ｃを一定周期の記録から除外する。このような構成では、保護記録エリアフラグが付与された単位記録ブロック５１ｃは、保護記録エリア５１ｂに記録された単位記録ブロック５１ｃと実質的に同じとなるため、常時記録エリア５１ａ内に保護記録エリア５１ｂが実質的に規定されることになる。

＜動作＞
図６は、本実施の形態２に係る記録制御装置１の動作を示すフローチャートである。図６の動作は、例えば、車両のエンジンなどの駆動源の始動などによって記録制御装置１及び記録装置５１の電源がオンになった場合に開始される。

ステップＳ１にて、車外映像取得部１１は車外映像信号を取得する。ステップＳ２にて、運転者状態取得部１２は運転者状態信号を取得する。ステップＳ３にて、第１音声取得部１３は第１音声信号を取得する。ステップＳ４にて、第２音声取得部１４は第２音声信号を取得する。なお、ステップＳ１～ステップＳ４の動作の順序は適宜変更されてもよい。

ステップＳ５にて、記録制御部１６は、ステップＳ１～ステップＳ４の動作によって得られたイベント記録情報を、常時記録エリア５１ａに記録する。

ステップＳ６にて、記録制御部１６は、イベント検出部１５で特定のイベントの発生が検出されたか否かを判定する。特定のイベントの発生が検出されたと判定された場合には処理がステップＳ７に進み、特定のイベントの発生が検出されなかったと判定された場合には処理がステップＳ１に戻る。なお、車両の事故などの特定のイベントが発生した場合でもステップＳ６以降の動作を行うことができるように、そのような場合に電力を供給可能な非常用の電源及びキャパシタが、記録制御装置１に設けられてもよい。

ステップＳ７にて、記録制御部１６は、特定のイベントの発生時を含む予め定められた期間内のイベント記録情報を保護記録エリア５１ｂに記録する。

ステップＳ８にて、記録制御部１６は、車両における運転が終了したか否かを判定する。運転が終了したと判定された場合には図６の動作が終了し、運転が終了したと判定されなかった場合には処理がステップＳ１に戻る。

＜実施の形態２のまとめ＞
以上のような本実施の形態２に係る記録制御装置１によれば、特定のイベントの発生が検出された場合に、特定のイベントの発生時を含む予め定められた期間内のイベント記録情報が記録装置５１に記録される。このため、実施の形態１と同様にイベント後に適切な解析を行うための信号を記録することができる。

また本実施の形態２では、特定のイベントの発生が検出された場合に保護記録エリア５１ｂに記録されるイベント記録情報の記録期間は、特定のイベントの発生が検出されなかった場合に常時記録エリア５１ａに記録されるイベント記録情報の記録期間よりも長い。このため、このため、イベント後に適切な解析を行うための信号が消去されることをなるべく抑制することができる。

＜実施の形態２の変形例１＞
実施の形態２では、音声取得装置はマイクロホンアレイ５３であったがこれに限ったものではない。実施の形態１で説明したように、音声取得装置は、内部機構により音声の取得に指向性を有し、当該指向性が運転者に設計された１つの指向性マイクロホンであってもよい。このような構成によれば、音声取得装置がマイクロホンアレイ５３である構成よりも、運転者側の音声の精度は低くなるが、コストを低減することができる。

＜実施の形態２の変形例２＞
実施の形態２では、運転者状態取得部１２で取得される運転者状態は、ドライバセンシング装置５２で検出された運転者の生理状態及び心理状態を含んだが、これに限ったものではない。

例えば、運転者状態取得部１２で取得される運転者状態は、運転者の身体の外観状態（物理的状態）を含んでもよい。運転者の身体の外観状態は、例えば、運転者の口の開閉状態、運転者の脇見状態、運転者の視線、運転者の目の開閉状態、及び、運転者の体の傾斜状態などを含む。この場合、ドライバセンシング装置５２は、例えば、画像処理装置、超音波センサ、及び、圧力センサなどを含む。なお、ドライバセンシング装置５２は、運転者の口の開閉に基づいて運転者からの音声の有無を判定してもよいし、運転者の口の開閉にリップリーディングを行うことにより運転者が発した言葉を検出してもよい。

また例えば、運転者状態取得部１２で取得される運転者状態は、運転者を撮影した画像を含んでもよい。この場合、ドライバセンシング装置５２は、例えば、画像撮影装置などを含む。

また例えば、運転者状態取得部１２で取得される運転者状態は、運転者の生理状態、運転者の心理状態、運転者の身体の外観状態、及び、運転者を撮影した画像の少なくとも１つ以上を含んでもよい。

＜実施の形態２の変形例３＞
実施の形態２では、図５に示したように、単位記録ブロック５１ｃでは、運転者状態信号は、車外映像信号、第１音声信号、及び、第２音声信号と別の記録エリアに記録されたがこれに限ったものではない。例えば、運転者状態信号は、電子透かしのように暗号的に車外映像信号に含められて記録装置５１に記録されることにより、車外映像信号と同じ記録エリアに記録されてもよい。この場合、車外映像信号、第１音声信号、及び、第２音声信号は、通常の映像再生アプリケーションや通常の映像再生装置で簡単に確認することができ、運転者状態信号は、専用の映像再生アプリケーションや専用の映像再生装置で解析することができる。

なお、車外映像信号などの映像記録方式は、例えば、ＡＶＣＨＤ（登録商標）、ＭＰＥＧ２、ＭＰＥＧ４、ＭＰ４、ＪＰＥＧ２０００、及び、ＡＶＩなどの一般的な方式が好ましいが、これらに限ったものではない。

また、運転者状態信号が車外映像信号に含められて記録装置５１に記録される本変形例３の構成において、運転者状態信号は映像信号として記録装置５１に記録されてもよい。例えば、運転者状態信号で表される運転者状態の数値が、時間をパラメータとしてグラフとして表示できるように、つまりオシロスコープの電圧波形表示のような表示ができるように、映像信号として記録されてもよい。この際、車外映像信号の表示領域が運転者状態信号の表示領域よりも大きくなるように、例えば、車外映像信号が表示領域の９割を占め、運転者状態信号が当該表示領域の１割を占めるようにしてもよい。

＜実施の形態２の変形例４＞
イベント検出部１５は、第２音声取得部１４で取得された第２音声信号に基づいて、特定のイベントの発生を検出してもよい。例えば、イベント検出部１５は、第２音声信号を解析することによって運転者の音声を認識し、当該運転者の音声が、恐怖を示す音声、記録開始を命令する音声、及び、車外状況を実況する音声の少なくともいずれか１つであるかを判定してもよい。そして、運転者の音声が上記少なくともいずれか１つであると判定された場合に、イベント検出部１５で特定のイベントの発生が検出されたと判定してもよい。

また、運転者状態信号で表される運転者状態が、運転者の画像を含む場合には、イベント検出部１５は、当該画像に基づいて、特定のイベントの発生を検出してもよい。例えば、運転者の画像の解析によって、当該運転者の表情が恐怖を示す表情であると判定された場合に、イベント検出部１５で特定のイベントの発生が検出されたと判定してもよい。

＜実施の形態２の変形例５＞
実施の形態２では、第１音声取得部１３は、マイクロホンアレイ５３とは別のマイクロホンから第１音声信号を取得したが、これに限ったものではない。図７に示すように、例えば、第１音声取得部１３は、マイクロホンアレイ５３の複数のマイクロホンのいずれか１つ（図７ではマイクロホン５３ａ３）で取得された車両内及び車両外の少なくともいずれか一方の音声を、第１音声信号として取得してもよい。このような構成によれば、マイクロホンの個数を低減することができる。

＜実施の形態３＞
図８は、本実施の形態３に係る記録制御装置１の構成を示すブロック図である。以下、本実施の形態３に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じまたは類似する参照符号を付し、異なる構成要素について主に説明する。

図８の記録制御装置１は、記録装置５１、ドライバセンシング装置５２及びマイクロホンアレイ５３と無線または有線によって通信可能に接続されているだけでなく、オーディオ装置５４と無線または有線によって通信可能に接続されている。

オーディオ装置５４は、音楽の音声を生成するためのオーディオ信号に基づいて音楽の音声を生成し、車両の音声出力部であるスピーカ５４ａから音楽の音声を出力する。オーディオ装置５４は、例えば、再生用の音楽データなどのオーディオ信号から音楽の音声を再生する再生装置、及び、音声信号を増幅するアンプなどを含む。

第２音声取得部１４は、スピーカ５４ａから出力される音楽の音声を生成するためのオーディオ信号に基づいて、第２音声信号から音楽の音声に対応する音楽音声信号を低減し、好ましくは削除する。

図９は、本実施の形態３に係る第２音声取得部１４及びその周辺の構成を示すブロック図である。Ｍ（ｔ）はスピーカ５４ａから車両内に発せられる音楽の音声である。処理フィルタ５３ｂでビームフォーミング処理が行われると、発話音声Ｓ０（ｔ）に近い音声の音声信号ＳＳ（ｔ）と、音楽の音声Ｍ（ｔ）に対応する音楽音声信号ＭＭ（ｔ）とが混在する混在音声が生成される。

第２音声取得部１４は、処理フィルタ５３ｂからの混在音声を第２音声信号として暫定的に取得する。また、第２音声取得部１４には、音楽の音声Ｍ（ｔ）を生成するためのオーディオ信号Ｍｏ（ｔ）が入力される。

本実施の形態３に係る第２音声取得部１４は適応フィルタ１４ａを含む。適応フィルタ１４ａは、オーディオ信号Ｍｏ（ｔ）に基づいて、暫定的に取得した第２音声信号から音楽音声信号ＭＭ（ｔ）を低減するミュージックキャンセリング処理を行うことによって、第２音声信号ＳＳＳ（ｔ）を生成する。なお、オーディオ信号Ｍｏ（ｔ）と、暫定的に取得した第２音声信号に含まれる音楽音声信号ＭＭ（ｔ）との相関性は高いので、適応フィルタ１４ａで生成される第２音声信号ＳＳＳ（ｔ）は、発話音声Ｓ０（ｔ）のみの音声信号に近い音声信号となる。

＜実施の形態３のまとめ＞
以上のような本実施の形態３に係る記録制御装置１によれば、第２音声信号から音楽音声信号が低減されるので、音楽の音声が大きくても、運転者側の音声の精度が高い第２音声信号を記録することができる。

＜実施の形態４＞
図１０は、本実施の形態４に係る記録制御装置１の構成を示すブロック図である。以下、本実施の形態４に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じまたは類似する参照符号を付し、異なる構成要素について主に説明する。

ドライバセンシング装置５２は、運転者の画像を撮影し、当該画像に基づいて運転者の口の位置を検出する。この場合、ドライバセンシング装置５２は、例えば、画像認識などの画像処理を用いて口の位置を検出してもよいし、超音波センサなどを用いて口の位置を検出してもよい。

実施の形態２では、運転者の口の位置は一定の位置であると想定して、マイクロホンアレイ５３はフィルタ処理（ビームフォーミング処理）を行った。これに対して本実施の形態４では、マイクロホンアレイ５３は、運転者の口の位置に基づいてフィルタ処理（ビームフォーミング処理）のパラメータを調整することにより、音声の取得の指向性が口の位置に対応するように音声の取得の指向性を制御する。このような構成によれば、発話音声Ｓ０（ｔ）などの運転者側の音声が複数のマイクロホン５３ａ１～５３ａ５のそれぞれに到達する時刻差（位相差）の予測精度、ひいては伝達特性の予測精度を高めることができる。このため、運転者側の音声の精度をさらに高めることができる。

＜実施の形態４のまとめ＞
以上のような本実施の形態４に係る記録制御装置１によれば、運転者の口の位置に基づいてマイクロホンアレイ５３の指向性が制御される。このような構成によれば、比較的容易な処理で運転者側の音声の精度がさらに高められた第２音声信号を記録することができる。

＜実施の形態５＞
本実施の形態５に係る記録制御装置１のブロック構成は、実施の形態２に係る記録制御装置１のブロック構成（図２）と同じである。以下、本実施の形態５に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じまたは類似する参照符号を付し、異なる構成要素について主に説明する。

本実施の形態２では、図５に示すように第１音声信号は、ステレオ形式のＬチャンネル音声として記録され、第２音声信号は、ステレオ形式のＲチャンネル音声として記録された。これら音声を図示しない再生装置で音声再生すると、Ｌチャンネルからの車両内及び車両外の少なくともいずれか一方の音声と、Ｒチャンネルからの運転者側の音声とが同時に再生される。しかしながら、これら音声には異なる音声源からの音声が含まれることが想定されるため、聞きづらい音声が再生されることになる。

そこで本実施の形態５では、図１１に示すように、第１音声信号及び第２音声信号のいずれもステレオ音声信号であり、第１音声信号及び第２音声信号の一方は主音声として記録され、第１音声信号及び第２音声信号の他方は副音声として記録される。図１１では、第１音声信号はＬチャンネル及びＲチャンネルの主音声として記録され、第２音声信号はＬチャンネル及びＲチャンネルの副音声として記録されているが、これに限ったものではない。例えば、第２音声信号がＬチャンネル及びＲチャンネルの主音声として記録され、第１音声信号がＬチャンネル及びＲチャンネルの副音声として記録されてもよい。

なお、ステレオ形式の第１音声信号を記録するために、第１音声取得部１３はステレオマイクロホンを用いて第１音声信号を取得してもよい。同様に、ステレオ形式の第２音声信号を記録するために、第２音声取得部１４はステレオマイクロホンを用いて第２音声信号を取得してもよい。

＜実施の形態５のまとめ＞
以上のような本実施の形態５に係る記録制御装置１によれば、第１音声信号及び第２音声信号の一方は主音声として記録され、第１音声信号及び第２音声信号の他方は副音声として記録される。このような構成によれば、音声再生時に主音声及び副音声を切り替えることによって、第１音声信号の音声及び第２音声信号の音声を切り替えて再生することができる。また、音声再生時に主音声及び副音声の同時再生することによって、第１音声信号の音声と第２音声信号の音声との比較を容易に行うことができる。

＜実施の形態５の変形例１＞
記録制御部１６は、イベント記録情報を、映像再生アプリケーションやテレビなどの映像再生装置で直接再生可能なフォーマットで記録装置５１に記録してもよい。このような構成によれば、記録装置５１をテレビなどの映像再生装置に接続したり挿入したりするだけで、主音声及び副音声の切り替えと映像再生とが可能になる。なお、運転者状態信号が車外映像信号に含められて記録装置５１に記録される構成では、イベント記録情報を映像信号と音声信号とからのみ構成することができるので、記録装置５１の使い勝手を高めることができる。

＜実施の形態５の変形例２＞
以上の説明では、記録制御装置１及び記録装置５１は、イベント記録情報を再生する再生機能を有していなかったが、当該再生機能を有していてもよい。このような構成によれば、専用の再生装置を記録制御装置１などに接続しなくても、イベント記録情報を再生することができる。

＜その他の変形例＞
上述した図１の車外映像取得部１１、運転者状態取得部１２、第１音声取得部１３、第２音声取得部１４、イベント検出部１５、及び、記録制御部１６を、以下「車外映像取得部１１」と記す。車外映像取得部１１等は、図１２に示す処理回路８１により実現される。すなわち、処理回路８１は、車両周辺の映像を車外映像信号として取得する車外映像取得部１１と、車両の運転者の状態である運転者状態を運転者状態信号として取得する運転者状態取得部１２と、車両内及び車両外の少なくともいずれか一方の音声を第１音声信号として取得する第１音声取得部１３と、音声の取得に指向性を有する音声取得装置を用いて、第１音声信号よりも運転者側の音声の精度が高い音声を第２音声信号として取得する第２音声取得部１４と、車両での特定のイベントの発生を検出するイベント検出部１５と、イベント検出部１５で特定のイベントの発生が検出された場合に、特定のイベントの発生時を含む予め定められた期間内の、車外映像信号と、運転者状態信号と、第１音声信号と、第２音声信号とを、イベント記録情報として記録装置５１に記録する制御を行う記録制御部１６と、を備える。処理回路８１には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサが適用されてもよい。プロセッサには、例えば、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）などが該当する。

処理回路８１が専用のハードウェアである場合、処理回路８１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、またはこれらを組み合わせたものが該当する。車外映像取得部１１等の各部の機能それぞれは、処理回路を分散させた回路で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。

処理回路８１がプロセッサである場合、車外映像取得部１１等の機能は、ソフトウェア等との組み合わせにより実現される。なお、ソフトウェア等には、例えば、ソフトウェア、ファームウェア、または、ソフトウェア及びファームウェアが該当する。ソフトウェア等はプログラムとして記述され、メモリに格納される。図１３に示すように、処理回路８１に適用されるプロセッサ８２は、メモリ８３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、記録制御装置１は、処理回路８１により実行されるときに、車両周辺の映像を車外映像信号として取得するステップと、車両の運転者の状態である運転者状態を運転者状態信号として取得するステップと、車両内及び車両外の少なくともいずれか一方の音声を第１音声信号として取得するステップと、音声の取得に指向性を有する音声取得装置を用いて、第１音声信号よりも運転者側の音声の精度が高い音声を第２音声信号として取得するステップと、車両での特定のイベントの発生を検出するステップと、特定のイベントの発生が検出された場合に、特定のイベントの発生時を含む予め定められた期間内の、車外映像信号と、運転者状態信号と、第１音声信号と、第２音声信号とを、イベント記録情報として記録装置５１に記録する制御を行うステップと、が結果的に実行されることになるプログラムを格納するためのメモリ８３を備える。換言すれば、このプログラムは、車外映像取得部１１等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ８３は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）、そのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。

以上、車外映像取得部１１等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、車外映像取得部１１等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、車外映像取得部１１、運転者状態取得部１２、第１音声取得部１３、第２音声取得部１４、及び、イベント検出部１５については専用のハードウェアとしての処理回路８１、インターフェース及びレシーバなどでその機能を実現し、それ以外についてはプロセッサ８２としての処理回路８１がメモリ８３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

以上のように、処理回路８１は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

また、以上で説明した記録制御装置１は、ＤＭＳ（Driver Monitoring System）などの車両装置と、携帯電話、スマートフォン及びタブレットなどの携帯端末を含む通信端末と、車両装置及び通信端末の少なくとも１つにインストールされるアプリケーションの機能と、サーバとを適宜に組み合わせてシステムとして構築される記録制御システムにも適用することができる。この場合、以上で説明した記録制御装置１の各機能あるいは各構成要素は、前記システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。

図１４は、本変形例に係るサーバ９１の構成を示すブロック図である。図１４のサーバ９１は、通信部９１ａと制御部９１ｂとを備えており、車両９２のＤＭＳ装置などの車両装置９３と無線通信を行うことが可能となっている。

車外映像取得部１１、運転者状態取得部１２、第１音声取得部１３、及び、第２音声取得部１４に対応する車両装置９３は、車外映像信号、運転者状態信号、第１音声信号、及び、第２音声信号を取得し、かつ、特定のイベントに関するイベント関連情報を取得する。

通信部９１ａは、車両装置９３と無線通信を行うことにより、車両装置９３で取得されたイベント関連情報を受信する。

制御部９１ｂは、サーバ９１の図示しないプロセッサなどが、サーバ９１の図示しないメモリに記憶されたプログラムを実行することにより、図１のイベント検出部１５及び記録制御部１６と同様の機能を有している。つまり、制御部９１ｂは、イベント関連情報に基づいて車両での特定のイベントの発生を検出する。そして、制御部９１ｂは、特定のイベントの発生が検出された場合に、特定のイベントの発生時を含む予め定められた期間内の、車外映像信号と、運転者状態信号と、第１音声信号と、第２音声信号とを、イベント記録情報として記録装置５１に記録する制御を行うための制御信号を生成する。そして、通信部９１ａは、制御部９１ｂで生成された制御信号を車両装置９３に送信する。このように構成されたサーバ９１によれば、実施の形態１で説明した記録制御装置１と同様の効果を得ることができる。

図１５は、本変形例に係る通信端末９６の構成を示すブロック図である。図１５の通信端末９６は、通信部９１ａと同様の通信部９６ａと、制御部９１ｂと同様の制御部９６ｂとを備えており、車両９７の車両装置９８と無線通信を行うことが可能となっている。なお、通信端末９６には、例えば車両９７の運転者が携帯する携帯電話、スマートフォン、及びタブレットなどの携帯端末が適用される。このように構成された通信端末９６によれば、実施の形態１で説明した記録制御装置１と同様の効果を得ることができる。

なお、各実施の形態及び各変形例を自由に組み合わせたり、各実施の形態及び各変形例を適宜、変形、省略したりすることが可能である。

上記した説明は、すべての局面において、例示であって、限定的なものではない。例示されていない無数の変形例が、想定され得るものと解される。

１ 記録制御装置、１１ 車外映像取得部、１２ 運転者状態取得部、１３ 第１音声取得部、１４ 第２音声取得部、１５ イベント検出部、１６ 記録制御部、５１ 記録装置、５３ マイクロホンアレイ、５３ａ マイクロホン。

Claims (10)

1. 記録装置の記録を制御する記録制御装置であって、
   車両周辺の映像を車外映像信号として取得する車外映像取得部と、
   前記車両の運転者の状態である運転者状態を運転者状態信号として取得する運転者状態取得部と、
   前記車両内及び前記車両外の少なくともいずれか一方の音声を第１音声信号として取得する第１音声取得部と、
   音声の取得に指向性を有する音声取得装置を用いて、前記第１音声信号よりも前記運転者側の音声の精度が高い音声を第２音声信号として取得する第２音声取得部と、
   前記車両での特定のイベントの発生を検出するイベント検出部と、
   前記イベント検出部で前記特定のイベントの発生が検出された場合に、前記特定のイベントの発生時を含む予め定められた期間内の、前記車外映像信号と、前記運転者状態信号と、前記第１音声信号と、前記第２音声信号とを、イベント記録情報として前記記録装置に記録する制御を行う記録制御部と
   を備え、
   前記運転者状態信号は、電子透かしによって前記車外映像信号に含められて前記記録装置に記録される、記録制御装置。
2. 請求項１に記載の記録制御装置であって、
   前記運転者状態は、前記運転者の生理状態及び心理状態の少なくともいずれか１つを含む、記録制御装置。
3. 請求項１に記載の記録制御装置であって、
   前記運転者状態は、前記運転者の身体の外観状態を含む、記録制御装置。
4. 請求項１に記載の記録制御装置であって、
   前記運転者状態は、前記運転者を撮影した画像を含む、記録制御装置。
5. 請求項１に記載の記録制御装置であって、
   前記音声取得装置は、前記運転者の口の位置に基づいて前記指向性を制御するマイクロホンアレイを含む、記録制御装置。
6. 請求項１に記載の記録制御装置であって、
   前記運転者状態信号は映像信号として、前記運転者状態の数値が、時間をパラメータとするグラフで表示される態様で前記記録装置に記録される、記録制御装置。
7. 請求項１に記載の記録制御装置であって、
   前記イベント検出部は、
   前記第２音声取得部で取得された前記第２音声信号に基づいて、前記特定のイベントの発生を検出する、記録制御装置。
8. 請求項１に記載の記録制御装置であって、
   前記音声取得装置は、複数のマイクロホンを有するマイクロホンアレイを含み、
   前記第１音声取得部は、
   前記複数のマイクロホンのいずれか１つで取得された前記車両内及び前記車両外の少なくともいずれか一方の音声を、前記第１音声信号として取得する、記録制御装置。
9. 請求項１に記載の記録制御装置であって、
   前記イベント検出部で前記特定のイベントの発生が検出された場合に前記記録装置に記録される前記イベント記録情報の記録期間は、前記イベント検出部で前記特定のイベントの発生が検出されなかった場合に前記記録装置に記録される前記イベント記録情報の記録期間よりも長い、記録制御装置。
10. 記録装置の記録を制御する記録制御方法であって、
    車外映像取得部が、車両周辺の映像を車外映像信号として取得し、
    運転者状態取得部が、前記車両の運転者の状態である運転者状態を運転者状態信号として取得し、
    第１音声取得部が、前記車両内及び前記車両外の少なくともいずれか一方の音声を第１音声信号として取得し、
    第２音声取得部が、音声の取得に指向性を有する音声取得装置を用いて、前記第１音声信号よりも前記運転者側の音声の精度が高い音声を第２音声信号として取得し、
    イベント検出部が、前記車両での特定のイベントの発生を検出し、
    記録制御部が、前記特定のイベントの発生が検出された場合に、前記特定のイベントの発生時を含む予め定められた期間内の、前記車外映像信号と、前記運転者状態信号と、前記第１音声信号と、前記第２音声信号とを、イベント記録情報として前記記録装置に記録する制御を行い、
    前記運転者状態信号は、電子透かしによって前記車外映像信号に含められて前記記録装置に記録される、記録制御方法。

Images