JP7269705B2 - 個人照合方法及び個人照合装置 - Google Patents

Description

本発明は、個人照合方法及び個人照合装置に関するものである。

生体認証技術の一つとして虹彩認証技術が知られている。特許文献１では、認証に利用可能な高解像度画像を生成する虹彩カメラ部を用いて、対象者の顔又はその一部を撮影している。

特開２０１０－１３４７３５公報

虹彩認証を行う為には、撮影した顔の画像データを一時的にメモリに記憶する必要がある。よって、高い解像度の画像データを必要とする個人認証方法では、記憶する情報量が過多になる傾向がある。

本発明は、上記課題に鑑みて成されたものであり、その目的は、メモリに記憶する情報量を少なく抑えることができる個人照合方法及び個人照合装置を提供することである。

本発明の一態様は、顔の画像データを用いて個人照合を行う個人照合方法であって、被写体の顔をカメラで撮像して第１の顔の画像データを取得し、第１の顔の画像データを２次元周波数スペクトルへ変換し、２次元周波数スペクトルから、しきい周波数以下の周波数成分からなる第１の低周波数成分の振幅を抜粋してメモリに記憶し、メモリに記憶されている第１の低周波数成分の振幅と、新たに取得した第２の顔の画像データから算出される２次元周波数スペクトルのしきい周波数以下の周波数成分からなる第２の低周波数成分の振幅との一致度を示すマッチングスコアを計算し、マッチングスコアが所定のスコア閾値以上であると判断した場合、第２の顔の画像データと第１の顔の画像データに映る人物が同一人物であると判断し、カメラから第１の顔及び第２の顔までの距離が予め定めた標準的な距離に位置することが想定される場合において、しきい周波数は、（１）式を満たす。

ただし、（１）式において、予め定めた標準的な距離をＬ［ｍｍ］とし、カメラの焦点距離をｆ［ｍｍ］とし、しきい周波数をＦｔ［１／ｍｍ］とする。

本発明の一態様によれば、メモリに記憶する情報量を少なく抑えることができる。

図１は、第１実施形態に係わる個人照合装置の構成を示すブロック図である。 図２は、図１の個人照合装置の動作の一例であって、被写体（ドライバ）の顔を撮像してから、２次元周波数スペクトルの低周波数成分の振幅をメモリ１３に記憶するまでの登録処理の一例を示すフローチャートである。 図３は、図１の個人照合装置の動作の他の例であって、メモリ１３に記憶されている低周波数成分の振幅と、新たに取得した顔の画像データから算出される２次元周波数スペクトルの低周波数成分の振幅とを比較することにより個人照合を行う照合処理の一例を示すフローチャートである。 図４Ａは、カメラ１１で取得された画像データの一例を示す図である。 図４Ｂは、図４Ａの画像データから変換された２次元周波数スペクトルの一例を示す図である。 図４Ｃは、図４Ｂの２次元周波数スペクトルから抜粋された低周波数成分の振幅を示す図である。 図５Ａは、メモリ１３に記憶されている低周波数成分の振幅の一例を示す図である。 図５Ｂは、新たに取得した顔の画像データから算出される２次元周波数スペクトルの低周波数成分の振幅の第１例を示す図である。 図５Ｃは、新たに取得した顔の画像データから算出される２次元周波数スペクトルの低周波数成分の振幅の第２例を示す図である。 図５Ｄは、新たに取得した顔の画像データから算出される２次元周波数スペクトルの低周波数成分の振幅の第３例を示す図である。 図５Ｅは、新たに取得した顔の画像データから算出される２次元周波数スペクトルの低周波数成分の振幅の第４例を示す図である。 図６は、第２実施形態に係わる個人照合装置の構成を示すブロック図である。 図７は、図６の個人照合装置の動作の一例であって、被写体（ドライバ）の顔を撮像してから、２次元周波数スペクトルの低周波数成分の振幅をメモリ１３に記憶するまでの登録処理の一例を示すフローチャートである。 図８は、図６の個人照合装置の動作の他の例であって、メモリ１３に記憶されている低周波数成分の振幅と、新たに取得した顔の画像データから算出される２次元周波数スペクトルの低周波数成分の振幅とを比較することにより個人照合を行う照合処理の一例を示すフローチャートである。 図９は、第３実施形態に係わる個人照合装置の動作の一例であって、メモリ１３に記憶されている低周波数成分の振幅と、新たに取得した顔の画像データから算出される２次元周波数スペクトルの低周波数成分の振幅とを比較することにより個人照合を行う照合処理の一例を示すフローチャートである。

図面を参照して、実施形態を説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

（第１実施形態）
図１を参照して、第１実施形態に係わる個人照合装置の構成を説明する。第１実施形態に係わる個人照合装置は、顔の画像データを用いて個人照合を行う装置であって、カメラ１１と、演算装置１２と、メモリ１３とを備える。

本実施形態では、個人照合装置を移動体の一例である車両に搭載し、車両の乗員を照合の対象とする場合を例にとり、説明する。照合の対象となる被写体は、例えば、車両の乗員であるが、ここでは、ドライバを照合の対象とする場合を例にとり、説明する。ドライバに限らず、他の乗員を、照合の対象とすることは可能である。移動体は、車両の限らず、人間を乗せて移動する全ての移動体が含まれる。

カメラ１１は、照合の対象となる被写体（ドライバ）の顔を含む領域を撮像して、顔の画像データを取得する。カメラ１１は、光を電気信号へ変換するＣＣＤイメージセンサ又はＣＭＯＳイメージセンサなどの撮像素子と、撮像素子上に被写体の像を結像させる為のレンズ、絞り及びシャッターを有する光学系とを備えるデジタルカメラを用いることができる。カメラ１１は、ドライバの顔を撮像可能な位置に予め設置されている。カメラ１１が備える光学系の光軸は、車両の進行方向に平行であっても、所定の角度で傾斜していてもよい。前記した傾斜は、ヨー角、ピッチ角のいずれの方向であってもよい。

カメラ１１は、被写体から反射する光の量に応じて適切な露出量を算出し、絞り量及びシャッター速度及び撮像素子のＩＳＯ感度を組み合わせて、写真の明るさを調整する、いわゆる自動露出機能（ＡＥ）を備える。

カメラ１１は、画像から、被写体（人間）の目、鼻、口の位置を検出し、その位置情報を元にして、画像から人間の顔を識別する既知の顔認識機能を備える。顔認識機能は、個人を識別する機能とは異なり、認識した顔が誰であるかは識別する機能ではない。

演算装置１２は、ＣＰＵ（中央処理装置）、ＲＯＭ（リードオンリーメモリ）、ＲＡＭ（ランダムアクセスメモリ）、及び入出力部を備えるマイクロコンピュータを用いて実現可能である。マイクロコンピュータを演算装置１２として機能させるためのコンピュータプログラム（個人照合プログラム）を、マイクロコンピュータにインストールして実行する。これにより、マイクロコンピュータは、演算装置１２が備える複数の情報処理部（２１～２３）として機能する。なお、ここでは、ソフトウェアによって演算装置１２を実現する例を示すが、もちろん、各情報処理を実行するための専用のハードウェアを用意して、演算装置１２を構成することも可能である。専用のハードウェアには、実施形態に記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や従来型の回路部品のような装置を含む。また、演算装置１２に含まれる複数の情報処理部（２１～２３）を個別のハードウェアにより構成してもよい。

演算装置１２は、複数の情報処理部として、変換部２１と、抜粋部２２と、照合部２３とを備える。

変換部２１は、カメラ１１により取得された画像データを２次元周波数スペクトルへ変換する。具体的に、変換部２１は、フーリエ変換、ウェーブレット変換などの周波数変換アルゴリズムを用いて、“空間領域”で表現されている画像データを、“空間周波数領域”で表現される２次元周波数スペクトルへ変換する。例えば、デジタル画像のフーリエ変換としてよく知られている高速フーリエ変換（ＦＦＴ）を用いればよい。

画像を周波数で表現するとき、画像データは、２次元信号であることから、水平方向と垂直方向の二つの周波数を有する。よって、図４Ａに示す画像データのＦＦＴ処理では、画像データに対して、先ず、水平方向（ｘ方向）に１次元ＦＦＴ処理を行い、その次にもう一度、垂直方向（ｙ方向）に１次元ＦＦＴ処理を行う。勿論、縦横の順番を入れ替えて実施してもよい。これにより、図４Ｂに示すように、水平方向の周波数（水平周波数ｆｘ）及び垂直方向の周波数（垂直周波数ｆｙ）からなる２次元周波数スペクトルが得られる。「２次元周波数スペクトル」は、空間周波数スペクトルとも呼ばれるが、ここでは同じ意味として扱う。

２次元周波数スペクトルへ変換することにより、画像に含まれる“粗い情報”（低周波数成分）と“細かい情報”（高周波数成分）とを分離することができる。顔の特徴は、主に、２次元周波数スペクトルの低周波数成分に含まれている。よって、２次元周波数スペクトルの低周波数成分を用いて、顔の特徴を比較することが可能である。「顔の特徴」には、顔の概形状、顔の各パーツ（目、鼻、口）の概形状や各パーツの位置関係が含まれる。

抜粋部２２は、２次元周波数スペクトルから、しきい周波数以下の周波数成分からなる低周波数成分の振幅を抜粋してメモリ１３に記憶する。図４Ａ～図４Ｃは、画像データ（図４Ａ）から２次元周波数スペクトルへ変換した２次元周波数スペクトル（図４Ｂ）から低周波数成分の振幅６１（図４Ｃ）を抜粋する様子を示す。

具体的には、図４Ｂに示すように、抜粋部２２は、２次元周波数スペクトルから、原点の周囲に集まった低周波数成分の振幅６１を切り取る。これにより、抜粋部２２は、２次元周波数スペクトルから低周波数成分の振幅６１を抜粋することができる。図４Ｃは、抜粋した低周波数成分の振幅６１を拡大して示す。抜粋部２２は、抜粋した低周波数成分の振幅６１をメモリ１３に記憶させる。低周波数成分の振幅６１（図４Ｃ）をメモリ１３に記憶することにより、２次元周波数スペクトル全体（図４Ｂ）を記憶する場合に比べて、メモリ１３に記憶される情報量を削減することができる。

「しきい周波数（抜粋周波数）」は、個人照合装置が適用される環境に応じて設定することが望ましい。例えば、車両の乗員のように、カメラ１１から被写体の顔までの距離が予め定めた標準的な距離に位置することが想定される場合において、しきい周波数は、（１）式を満たしてもよい。

ただし、（１）式において、予め定めた標準的な距離をＬ［ｍｍ]とし、カメラの焦点距離をｆ［ｍｍ]とし、しきい周波数をＦｔ［１／ｍｍ]とする。これにより、顔の画像データの解像度に応じて適切なしきい周波数を設定することができる。よって、２次元周波数スペクトルの低周波数領域を適切に抜粋することができる。例えば、焦点距離ｆを１０ｍｍとし、標準的な距離Ｌを１０００ｍｍとすると、下限値は１．３３［１／ｍｍ]となり、上限値は２６．６７［１／ｍｍ]となる。本実施形態では、しきい周波数（Ｆｔ）を５．５６に設定している。なお、日本人女性の平均的な顔の横幅を１５０ｍｍと設定している。照合精度を維持するために、平均的な顔の横幅の２倍の周波数をしきい周波数の下限値に設定している。高周波数成分のノイズを低減するために、平均的な顔の横幅の４０倍の周波数をしきい周波数の上限値に設定している。

もちろん、カメラ１１から被写体の顔までの距離のみならず、カメラ１１の光軸に垂直な平面内において、被写体の顔が、予め定めた標準的な範囲の中に位置することが望ましい。車室内のシートに着座するドライバの顔は、予め定めた標準的な範囲の中に位置することが想定される。これにより、予め定めた画角にて画像を取得することが出来るので、カメラ１１のパン及びチルトの調整が不要となる。

照合部２３は、メモリ１３に記憶されている低周波数成分の振幅と、新たに取得した顔の画像データから算出される２次元周波数スペクトルの低周波数成分の振幅とを比較することにより、個人照合を行う。照合部２３は、低周波数成分の振幅同士を照合することにより、メモリ１３に記憶されている低周波数成分の振幅に含まれる顔の特徴が、新たに画像データが取得された顔の特徴と一致或いは類似するか否かを判断する。これにより、新たに取得した画像データの被写体が、メモリ１３に記憶されている低周波数成分の振幅に係わる画像データの被写体と同一であるか否かを判断すること、即ち、個人照合を行うことができる。

具体的な照合方法の例を次に示す。照合部２３は、メモリ１３に記憶されている低周波数成分の振幅と新たに取得した顔の画像データから算出される２次元周波数スペクトルの低周波数成分の振幅とのマッチングスコアを計算する。マッチングスコアの計算方法は様々有るが、その一例として、双方の低周波数成分の振幅の行列要素同士を積算して合算した値をマッチングスコアとして求める。例えば、低周波数成分の振幅の１ピクセル（画素）を１要素として、行列要素同士を積算する。所定のスコア閾値を判断基準として、被写体が同一であるか否かを判断する。本実施形態の中では「低周波数成分の振幅の行列要素」を「低周波数成分の振幅の単位画素」と記述することがある。

図５Ａは、メモリ１３に記憶されている低周波数成分の振幅の一例を示す。一方、図５Ｂ～図５Ｅは、新たに取得した４つの顔の画像データから算出される２次元周波数スペクトルの低周波数成分の振幅の例をそれぞれ示す。図５Ａの低周波数成分の振幅と図５Ｂの低周波数成分の振幅とのマッチングスコアは、２９４４であった。図５Ａの低周波数成分の振幅と図５Ｃの低周波数成分の振幅とのマッチングスコアは、２９９６であった。所定のスコア閾値を２５００とした場合、図５Ｂ及び図５Ｃの低周波数成分の振幅は、同一又は類似の顔の特徴を有している、つまり同一人物であると判断できる。一方、図５Ａの低周波数成分の振幅と図５Ｄの低周波数成分の振幅とのマッチングスコアは、１６６７であった。図５Ａの低周波数成分の振幅と図５Ｅの低周波数成分の振幅とのマッチングスコアは、２４３４であった。図５Ｄ及び図５Ｅのマッチングスコアは、何れも所定のスコア閾値を２５００よりも低い為、同一又は類似の顔の特徴を有していない、つまり同一人物でないと判断できる。

メモリ１３は、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等の補助記憶装置である。メモリ１３は、抜粋部２２から指示により、低周波数成分の振幅を記憶し、照合部２３からの指示により、記憶されている低周波数成分の振幅を読み出す。

次に、図２を参照して、図１の個人照合装置の動作の一例であって、被写体（ドライバ）の顔画像に係わる低周波数成分の振幅をメモリ１３に記憶する登録処理の一例を説明する。登録処理は、車室内に配置されたスイッチなどのユーザインターフェースを通じた、個人照合装置のユーザであるドライバからの明示の指示（低周波成分を登録する旨の指示）により開始される。先ず、ステップＳ０１において、カメラ１１は、予め設定された光軸の向きを維持したまま、車室内を撮像する。車室内のシートに着座するドライバの顔は、予め定めた標準的な範囲の中に位置することが想定される。よって、撮像して得られた画像には、ドライバの顔が含まれる。つまり、カメラ１１は、照合の対象となる被写体（ドライバ）の顔を含む領域を撮像して、顔の画像データを取得することができる。なお、ドライバからの明示の指示が無くても、個人照合装置は、自動的に、登録処理を開始しても構わない。

次に、ステップＳ０２に進み、カメラ１１は、画像から、被写体（人間）の目、鼻、口の位置を検出し、その位置情報を元にして、画像から人間の顔を識別する。つまり、目、鼻、口を含む顔が存在する領域（顔存在領域）を推定する。なお、ここでは、取得された画像データから顔存在領域を推定する例を示す。しかし、カメラ１１がステップＳ０１の撮像の前に画像データを得ることができる場合、撮像前の画像データに基づいて、顔存在領域を推定しても構わない。そして、画像データの全体から、顔存在領域の画像データを切り取る。以後、図２のフローチャートにおいて、この切り取った顔存在領域の画像データを、「顔存在領域」と略する場合がある。

ステップＳ０３に進み、カメラ１１は、顔存在領域の輝度を予め定めた一定の値に調整する。具体的には、顔存在領域全体の輝度が所定の輝度値となるように、各画素の輝度を調整する。これにより、顔存在領域の輝度のオフセットが除去され、顔存在領域の輝度が規格化される。規格化された顔存在領域の画像データは、演算装置１２へ転送される。

なお、ここでは、カメラ１１がステップＳ０２及びＳ０３の双方を実施した場合を説明した。しかし、カメラ１１の代わりに、演算装置１２が、ステップＳ０２、又はステップＳ０２及びＳ０３の双方を、実施しても構わない。

ステップＳ０４に進み、演算装置１２の変換部２１は、フーリエ変換、ウェーブレット変換などの周波数変換アルゴリズムを用いて、画像データを２次元周波数スペクトルへ変換する。具体的に、変換部２１は、輝度が規格化された顔存在領域の画像データを２次元周波数スペクトルへ変換する。

ステップＳ０５に進み、抜粋部２２は、２次元周波数スペクトルから、しきい周波数以下の周波数成分からなる低周波数成分の振幅を抜粋してメモリ１３に記憶する。具体的には、図４Ａ～図４Ｃを参照して説明したように、原点の周囲に集まった低周波数成分の振幅を切り取る。これにより、２次元周波数スペクトル全体をメモリ１３に記憶する場合に比べて、メモリ１３に記憶される情報量を削減することができる。以上説明した登録処理を経て、被写体（ドライバ）の顔画像に係わる低周波数成分の振幅をメモリ１３に記憶することができる。

次に、図３を参照して、図１の個人照合装置の動作の他の例を説明する。具体的には、メモリ１３に記憶されている低周波数成分の振幅と、新たに取得した顔の画像データから算出される２次元周波数スペクトルの低周波数成分の振幅とを比較することにより個人照合を行う照合処理の一例を説明する。照合処理は、車室内に配置されたユーザインターフェースを通じた、個人照合装置のユーザであるドライバからの明示の指示（個人照合を行う旨の指示）により開始される。図３の照合処理と図２の登録処理は、共に、図１の個人照合装置により実施される処理である。しかし、図３の照合処理は、図２の登録処理とは異なるタイミングにて実施される処理であって、少なくとも１回の登録処理が実施された後に、実施される。なお、ドライバからの明示の指示が無くても、個人照合装置は、自動的に、照合処理を開始しても構わない。

先ず、ステップＳ１１において、ステップＳ０１と同様に、カメラ１１は、予め設定された光軸の向きを維持したまま、車室内を撮像する。カメラ１１は、照合の対象となる被写体（ドライバ）の顔を含む領域を撮像して、顔の画像データを取得する。ステップＳ１２において、ステップＳ０２と同様に、カメラ１１は、画像から、被写体（人間）の目、鼻、口の位置を検出し、その位置情報を元にして、画像から人間の顔を識別する。そして、画像データの全体から、顔存在領域の画像データを切り取る。ステップＳ１３において、ステップＳ０３と同様に、カメラ１１は、顔存在領域の輝度のオフセットを除去し、顔存在領域の輝度を規格化する。

なお、ここでは、カメラ１１がステップＳ１２及びＳ１３の双方を実施した場合を説明した。しかし、カメラ１１の代わりに、演算装置１２が、ステップＳ１２、又はステップＳ１２及びＳ１３の双方を、実施しても構わない。

ステップＳ１４に進み、ステップＳ０４と同様に、変換部２１は、輝度が規格化された顔存在領域の画像データを２次元周波数スペクトルへ変換する。ステップＳ１５に進み、抜粋部２２は、２次元周波数スペクトルから、しきい周波数以下の周波数成分からなる低周波数成分の振幅を抜粋する。

ステップＳ１６に進み、照合部２３は、図２のフローチャートによってメモリ１３に記憶された低周波数成分の振幅と、図３のステップＳ１１～Ｓ１５によって算出された２次元周波数スペクトルの低周波数成分の振幅とを比較することにより、個人照合を行う。具体的に、照合部２３は、メモリ１３に記憶された低周波数成分の振幅と新たに取得した顔の画像データから算出される２次元周波数スペクトルの低周波数成分の振幅とのマッチングスコアを計算する。なお、「新たに取得した顔の画像データから算出される２次元周波数スペクトルの低周波数成分の振幅」を、「新たに算出された低周波数成分の振幅」と略する場合がある。

ステップＳ１７に進み、照合部２３は、計算されたマッチングスコアを所定のスコア閾値（例えば、２５００）と対比する。計算されたマッチングスコアがスコア閾値よりも高い場合（Ｓ１７でＹＥＳ）、照合部２３は、“比較される２つの低周波数成分の振幅は同一又は類似の顔の特徴を有している、つまり同一人物である”と判断する。一方、計算されたマッチングスコアがスコア閾値以下である場合（Ｓ１７でＮＯ）、照合部２３は、“比較される２つの低周波数成分の振幅は同一又は類似の顔の特徴を有していない、つまり同一人物でない”と判断する。そして、ステップＳ１８へ進み、ステップＳ１５で抜粋した低周波数成分の振幅を、図２のステップＳ０５と同様にして、メモリ１３に記憶する。

なお、ステップＳ１６の比較は、メモリ１３に記憶された全ての低周波数成分の振幅について実施することが望ましい。つまり、照合部２３は、ステップＳ１６において、メモリ１３に記憶された全ての低周波数成分の振幅について、新たに算出された低周波数成分の振幅とのマッチングスコアを算出する。よって、メモリ１３に記憶された低周波数成分の振幅の各々について、マッチングスコアが算出される。そして、照合部２３は、ステップＳ１７において、全てのマッチングスコアについてスコア閾値と対比する。これにより、図２の登録処理が成されている全てのユーザを、照合処理の対象とすることができる。そして、登録されていない、つまり低周波成分がメモリ１３に記憶されていないユーザが照合処理の対象となった場合、ステップＳ１７において、スコア閾値を越えるマッチングスコアは存在しない（ステップＳ１７でＮＯ）。よって、この場合、自動的に、登録されていないユーザに係わる低周波数成分の振幅が、メモリ１３に記憶する（ステップＳ１８）ことができる。つまり、登録されていないユーザを、図３の照合処理において、自動的に、登録することができる。

以上説明したように、第１実施形態によれば、以下の作用効果が得られる。

個人照合装置は、顔の画像データを２次元周波数スペクトルへ変換し、２次元周波数スペクトルから低周波数成分の振幅を抜粋してメモリ１３に記憶し、メモリに記憶されている低周波数成分の振幅を用いて個人照合を行う。これにより、２次元周波数スペクトル全体または画像データに基づく個人照合に比べて、個人照合に必要な情報量を削減することができる。よって、メモリ１３に記憶する情報量を低く抑えた個人照合方法を提供することができる。よって、メモリ１３に要求される記憶容量の仕様（スペック）を低く抑えることができる。また、カメラの解像度によらず、低い情報量で個人照合に必要な顔特徴情報を抽出することができる。よって、カメラ１１に要求される解像度の仕様（スペック）を低く抑えることができる。従って、コストを削減できる。

利用者（ユーザ）が一定の範囲に限定される個人照合システムの場合、より少ない特徴量で簡易的に個人照合を実現することが望まれる。そこで、本実施形態の個人照合方法によれば、メモリ１３及び解像度に対して要求される仕様を低く抑えることができる。例えば、車両に搭載されるドライバモニタリングシステム（ＤＭＳ）は、その車両が個人で所有されていのであれば、車両の利用者は、家族、親族、友人など、一定の範囲に限定されることが想定される。ＤＭＳにおいて本実施形態の個人照合方法が適用されれば、例えば、音楽、シートポジション、ＤＭＳ監視判定のためのドライバごとの設定値（例えば顔向き角度補正値）などのドライバ固有の設定をドライバの負担を煩わすことなく、自動で設定することができる。

カメラ１１から被写体の顔までの距離が予め定めた標準的な距離に位置することが想定される場合において、しきい周波数（Ｆｔ）が（１）式を満たすことにより、顔の画像データの解像度に応じて適切なしきい周波数（Ｆｔ）を設定することができる。つまり、（１）式に従って「しきい周波数（Ｆｔ）」を設定することにより、個人照合の精度を維持し、且つ個人照合に不要な高い周波数成分を取り除くことができる。しきい周波数（Ｆｔ）を（１)式に示す上限値以下とすることにより、低周波数成分の振幅に含まれるノイズを削減できる。

更に、低周波数成分の振幅の単位画素あたりのデータサイズは、画像データの単位画素あたりのデータサイズよりも小さくしても構わない。つまり、低周波数成分の振幅の単位画素毎の振幅を表す単位画素あたりのデータサイズ（例えば２ビット）を、画像データの単位画素毎の振幅を表す単位画素あたりのデータサイズ（例えば８ビット）に比べて小さくしてもよい。これにより、更に、メモリ１３に記憶する情報量を更に低く抑えることができる。例えば、１５０×１５０画素からなる画像データのデータ量は、１５０×１５０×８（ビット）＝２２．５Ｋバイトとなる。これに対して、４１×４１画素からなる低周波数成分の振幅のデータ量は、４１×４１×２（ビット）＝４２０バイトとなる。よって、データ量を約１／５０に圧縮することができる。

（第２実施形態）
図６を参照して、第２実施形態に係わる個人照合装置の構成を説明する。第２実施形態に係わる個人照合装置は、車両などの移動体に搭載され、車両などの移動体の乗員（例えば、ドライバ）の顔の画像データを用いて、前記した乗員の個人照合を行う装置である。第２実施形態に係わる個人照合装置は、誤った照合結果の生成を抑制し、照合精度を向上させるために、カメラ１１で撮像する時の顔の向き（角度を含む）及び顔に含まれる目の開閉状態を考慮して、個人照合を行う。

第１実施形態に係わる個人照合装置に比べて、第２実施形態に係わる個人照合装置は、演算装置１２が、複数の情報処理部の一部として、顔角度判断部２４と目開閉判断部２５とを更に備えている点が相違する。その他の構成、即ち、カメラ１１及びメモリ１３の構成は、第１実施形態に係わる個人照合装置と同じであり、説明を省略する。

顔角度判断部２４は、画像データを取得する時の、移動体の進行方向前方に対する乗員の顔の角度を検出し、顔の角度が所定の範囲内であるか否かを判断する。具体的には、顔角度判断部２４は、移動体の進行方向前方に対する顔のヨー角、ピッチ角、及びロール角を検出する。そして、検出したヨー角、ピッチ角、及びロール角が、全て（２）式を満たすか否かを判断する。ただし、（２）式において、ヨー角をθｙとし、ピッチ角をθｐとし、及びロール角をθｒとする。

顔の水平方向の角度、即ちヨー角、及び顔の垂直方向の角度、即ちピッチ角は、例えば、特開平３－１６７６９８号公報、特開２００３－２３３８０３号公報、特願２０１７－６１０１３号等に記載された方法を用いて検出することができる。更に、移動体の進行方向前方に対する顔の回転角度、即ち顔のロール角については、顔画像に含まれる特徴点のうち２つで一組を成す特徴点（例えば、目、耳など）の画像データ上の位置から算出することができる。

目開閉判断部２５は、目の画像データの濃度情報を処理することにより乗員の目の開閉状態を検出して、目が開いているか否かを判断する。例えば、特開２００３－２３３８０３号公報に開示された方法を用いて、目の開閉状態を検出することができる。具体的には、顔の画像データから目の位置を検出し、目の位置を追跡する。目の追跡領域内の画像データの濃度情報を処理することにより目の開閉状態を判断する。

第２実施形態に係わる抜粋部２２は、顔のヨー角、ピッチ角、及びロール角が、（２）式を満たし、且つ、目が開いていると判断された場合に、低周波数成分の振幅をメモリ１３に記憶する。撮影時の顔の角度がずれていたり、または、撮影時の目が閉じていたりすると、低周波成分に含まれる顔の特徴が変化する恐れがあり、照合の精度が低下する原因となる。そこで、抜粋部２２は、顔のヨー角、ピッチ角、及びロール角が、（２）式を満たさない、或いは、目が開いていないと判断された場合に、低周波数成分の振幅をメモリ１３に記憶しなくてもよい。これにより、精度の良い個人照合を行うことができる低周波数成分の振幅だけを選択的にメモリ１３に記憶するので、メモリ１３に記憶する情報量を更に削減することができる。

第２実施形態に係わる照合部２３は、顔のヨー角、ピッチ角、及びロール角が、（２）式を満たし、且つ、目が開いていると判断された場合に、メモリ１３に記憶されている低周波数成分の振幅と、新たに算出された低周波数成分の振幅とを比較する。照合部２３は、顔のヨー角、ピッチ角、及びロール角が、（２）式を満たさない、或いは、目が開いていないと判断された場合に、メモリ１３に記憶されている低周波数成分の振幅と、新たに算出された低周波数成分の振幅とを比較しなくてもよい。このように、移動体の進行方向前方に対する顔の角度が一定の範囲内であり、且つ目が開いていることを条件として、低周波数成分の振幅をメモリ１３に記憶し、又は、低周波数成分の振幅を比較する。これにより、照合の対象となる顔の向き及び目の状態を揃えることができる。よって、誤った照合結果の生成を抑制して、照合精度を高く維持することができる。

なお、第２実施形態に係わる情報処理部（２１、２２、２３）は、第１実施形態で説明した情報処理部（２１、２２、２３）と同じ機能を備えている。ここでは、同じ機能の説明を省略する。

次に、図２を参照して、図１の個人照合装置の動作の一例であって、被写体（ドライバ）の顔画像に係わる低周波数成分の振幅をメモリ１３に記憶する登録処理の一例を説明する。図２の登録処理と同じステップには、同じ符号を付してその説明を省略し、図２の登録処理との相違点を中心に説明する。

図２のステップＳ０１～Ｓ０４と同様な処理を、図７のステップＳ０１～Ｓ０４において実施する。その後、ステップＳ２１に進み、目開閉判断部２５は、目の画像データの濃度情報を処理することにより、ステップＳ０１における乗員の目の開閉状態を検出して、目が開いているか否かを判断する。目が開いていると判断した場合（Ｓ２１でＹＥＳ）、ステップＳ２２に進む。顔角度判断部２４は、ステップＳ０１における移動体の進行方向前方に対する乗員の顔の角度を検出し、顔のヨー角、ピッチ角、及びロール角の全てが（２）式を満たすか否かを判断する。換言すれば、ヨー角、ピッチ角、及びロール角の各々の絶対値が全て５°以下であるか否かを判断する。

（２）式を満たすと判断した場合（Ｓ２２でＹＥＳ）、ステップＳ０５に進む。図２のステップＳ０５と同様な処理を、図７のステップＳ０５において実施する。一方、目が開いていないと判断した場合（Ｓ２１でＮＯ）、及び、（２）式を満たさないと判断した場合（Ｓ２２でＮＯ）、抜粋部２２は、低周波数成分の振幅をメモリ１３に記憶せずに、図７のフローチャートは終了する。

図７に示す登録処理の一例では、ステップＳ０４とステップＳ０５の間で、目の開閉判定（ステップＳ２１）を行った。しかし、ステップＳ２１の実施する順序はこれに限らず、ステップＳ０１（画像データの取得）からステップＳ０５（低周波成分の記憶）までの間であれば、どの順序で実施しても構わない。これと同様に、顔角度の判定（ステップＳ２２）も、ステップＳ０１（画像データの取得）からステップＳ０５（低周波成分の記憶）までの間であれば、どの順序で実施しても構わない。

次に、図８を参照して、図６の個人照合装置の動作の他の例を説明する。具体的には、メモリ１３に記憶されている低周波数成分の振幅と、新たに取得した顔の画像データから算出される２次元周波数スペクトルの低周波数成分の振幅とを比較することにより個人照合を行う照合処理の一例を説明する。図３の照合処理と同じステップには、同じ符号を付してその説明を省略し、図３の登録処理との相違点を中心に説明する。

図３のステップＳ１１～Ｓ１４と同様な処理を、図８のステップＳ１１～Ｓ１４において実施する。その後、ステップＳ３１に進み、目開閉判断部２５は、目の画像データの濃度情報を処理することにより、ステップＳ１１における乗員の目の開閉状態を検出して、目が開いているか否かを判断する。目が開いていると判断した場合（Ｓ３１でＹＥＳ）、ステップＳ３２に進む。顔角度判断部２４は、ステップＳ１１における移動体の進行方向前方に対する乗員の顔の角度を検出し、顔のヨー角、ピッチ角、及びロール角の全てが（２）式を満たすか否かを判断する。換言すれば、ヨー角、ピッチ角、及びロール角の各々の絶対値が全て５°以下であるか否かを判断する。

（２）式を満たすと判断した場合（Ｓ３２でＹＥＳ）、ステップＳ１５に進む。図３のステップＳ１５～Ｓ１８と同様な処理を、図８のステップＳ１５～Ｓ１８において実施する。一方、目が開いていないと判断した場合（Ｓ３１でＮＯ）、及び、（２）式を満たさないと判断した場合（Ｓ３２でＮＯ）、照合部２３は、低周波数成分の振幅を比較せず、つまり個人照合を行うことなく、図８のフローチャートは終了する。

図８に示す照合処理の一例では、ステップＳ１４とステップＳ１５の間で、目の開閉判定（ステップＳ３１）を行った。しかし、ステップＳ３１の実施する順序はこれに限らず、ステップＳ０１（画像データの取得）からステップＳ１７（マッチングスコアのしきい判断）までの間であれば、どの順序で実施しても構わない。これと同様に、顔角度の判定（ステップＳ２２）も、ステップＳ０１（画像データの取得）からステップＳ１７（マッチングスコアのしきい判断）までの間であれば、どの順序で実施しても構わない。

更に、低周波数成分の振幅の単位画素あたりのデータサイズは、画像データの単位画素あたりのデータサイズよりも小さくしても構わない。つまり、低周波数成分の振幅の単位画素毎の振幅を表す単位画素あたりのデータサイズを、画像データの単位画素毎の振幅を表す単位画素あたりのデータサイズに比べて小さくしてもよい。これにより、更に、メモリ１３に記憶する情報量を更に低く抑えることができる。

（第３実施形態）
第２実施形態では、登録処理時及び照合処理時に撮像される顔の角度の各々を、移動体の進行方向前方からずれているか否かを判断することで、顔の角度のずれを抑制した。第３実施形態では、登録処理時に撮像される顔の角度と、照合処理時に撮像される顔の角度との差が、所定の範囲内であれば、顔の角度がずれていないと判断して、低周波成分を比較する照合処理の例を説明する。

第３実施形態に係わる個人照合装置は、図１に対して、図６の顔角度判断部２４を追加したものである。メモリ１３は、低周波数成分の振幅のみならず、低周波数成分の振幅に関連付けて、顔の角度（第１ヨー角、第１ピッチ角、及び第１ロール角）を示すデータをも記憶する。第３実施形態に係わる情報処理部（２１、２２、２３）は、第１実施形態で説明した情報処理部（２１、２２、２３）と同じ機能を備えている。更に、第３実施形態における登録処理時の動作は、図２に対して以下の点で相違する。

顔角度判断部２４は、ステップＳ０１において、メモリ１３に記憶される低周波数成分の振幅に係わる画像データを取得する時、すなわち登録処理時の、移動体の進行方向前方に対する乗員の顔の角度（第１ヨー角、第１ピッチ角、及び第１ロール角）を検出する。顔の角度の算出方法の具体例は、第２実施形態と同じであり、説明を省略する。顔角度判断部２４は、ステップＳ０５において、第１ヨー角、第１ピッチ角、及び第１ロール角を、前記した低周波数成分の振幅に関連付けてメモリ１３に記憶する。その他の登録処理時の動作は、第１実施形態（図２）と同じである。

次に、図９を参照して、第３の実施形態に係わる個人照合装置の照合処理の一例を説明する。先ず、図３のステップＳ１１～Ｓ１４と同様な処理を、図９のステップＳ１１～Ｓ１４において実施する。ただし、ステップＳ１１において、顔角度判断部２４は、新たな顔の画像データを取得する時、すなわち照合処理時の、移動体の進行方向前方に対する乗員の顔の角度（第２ヨー角、第２ピッチ角、及び第２ロール角）を検出する。

ステップＳ１４の後にステップＳ４１に進み、顔角度判断部２４は、第１ヨー角、第１ピッチ角、第１ロール角をメモリ１３から読み出す。そして、顔角度判断部２４は、第１ヨー角、第１ピッチ角、第１ロール角、第２ヨー角、第２ピッチ角、及び第２ロール角が、（３）式を満たすか否かを判断する。ただし、（３）式において、第１ヨー角をθｙ０とし、第１ピッチ角θｐ０とし、第１ロール角θｒ０とし、第２ヨー角θｙ１とし、第２ピッチ角θｐ１とし、及び第２ロール角θｒ１とする。ヨー角同士の差、ピッチ角同士の差、及びロール角同士の差の絶対値が、全て３°以下である場合、顔角度判断部２４は、登録処理時と照合処理時の間で、顔の角度がずれていないと判断する。

（３）式を満たすと判断した場合（Ｓ４１でＹＥＳ）、顔角度判断部２４は顔の角度がずれていないと判断して、ステップＳ１５に進む。図３のステップＳ１５～Ｓ１８と同様な処理を、図９のステップＳ１５～Ｓ１８において実施する。一方、（３）式を満たさないと判断した場合（Ｓ４１でＮＯ）、顔角度判断部２４は顔の角度がずれていると判断して、照合部２３は、低周波数成分の振幅を比較せず、つまり個人照合を行うことなく、図９のフローチャートは終了する。

第３実施形態の個人照合装置は、顔のヨー角、ピッチ角及びロール角について、登録処理時と照合処理時との差が、全て３°以下であれば、顔の角度がずれていないと判断する。そして、図３のステップＳ１５～Ｓ１８と同様な処理を実施する。

図９に示す照合処理の一例では、ステップＳ１４とステップＳ１５の間で、顔角度の判定（ステップＳ４１）を行った。しかし、ステップＳ４１の実施する順序はこれに限らず、ステップＳ０１（画像データの取得）からステップＳ１７（マッチングスコアのしきい判断）までの間であれば、どの順序で実施しても構わない。

メモリ１３に記憶される低周波数成分の振幅に係わる画像データを取得する時の顔の角度と、新たな顔の画像データを取得する時の前記した新たな顔の角度との差が一定の範囲内であることを条件として、低周波数成分の振幅を比較する。これにより、照合の対象となる顔の向きを揃えることができる。よって、誤った照合結果の生成を抑制して、照合精度を高く維持することができる。

更に、低周波数成分の振幅の単位画素あたりのデータサイズは、画像データの単位画素あたりのデータサイズよりも小さくしても構わない。つまり、低周波数成分の振幅の単位画素毎の振幅を表す単位画素あたりのデータサイズを、画像データの単位画素毎の振幅を表す単位画素あたりのデータサイズに比べて小さくしてもよい。これにより、更に、メモリ１３に記憶する情報量を更に低く抑えることができる。

なお、上述の実施形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは言うまでもない。

１１ カメラ
１２ 演算装置
１３ メモリ
６１ 低周波数成分の振幅

Claims (6)

1. 顔の画像データを用いて個人照合を行う個人照合方法であって、
   被写体の前記顔をカメラで撮像して第１の顔の画像データを取得し、
   前記第１の顔の画像データを２次元周波数スペクトルへ変換し、
   前記２次元周波数スペクトルから、しきい周波数以下の周波数成分からなる第１の低周波数成分の振幅を抜粋してメモリに記憶し、
   前記メモリに記憶されている前記第１の低周波数成分の振幅と、新たに前記被写体の前記顔を前記カメラで撮像して取得した第２の顔の画像データから算出される２次元周波数スペクトルの前記しきい周波数以下の周波数成分からなる第２の低周波数成分の振幅との一致度を示すマッチングスコアを計算し、
   前記マッチングスコアが所定のスコア閾値以上であると判断した場合、前記第２の顔の画像データと前記第１の顔の画像データに映る人物が同一人物であると判断し、
   前記カメラから前記第１の顔及び前記第２の顔までの距離が予め定めた標準的な距離に位置することが想定される場合において、前記しきい周波数は、（１）式を満たす
   ことを特徴とする個人照合方法。
   

   

   ただし、（１）式において、前記予め定めた標準的な距離をＬ［ｍｍ］とし、前記カメラの焦点距離をｆ［ｍｍ］とし、前記しきい周波数をＦｔ［１／ｍｍ］とする。
2. 前記マッチングスコアは、前記第１の低周波数成分と前記第２の低周波数成分との振幅の単位画素を１要素とする行列要素同士を積算して合算した値である
   ことを特徴とする請求項１に記載の個人照合方法。
3. 移動体の乗員の前記顔の画像データを用いて前記個人照合を行う請求項１又は２に記載の個人照合方法であって、
   前記第１の顔の画像データから、前記移動体の進行方向前方に対する前記第１の顔のヨー角、ピッチ角、及びロール角を検出し、
   前記第１の顔の画像データから、前記第１の顔の目が開いているか否かを判断し、
   前記第１の顔の前記ヨー角、前記ピッチ角、及び前記ロール角が、（２）式を満たし、且つ、前記第１の顔の目が開いていると判断された場合に、前記第１の低周波数成分の振幅を前記メモリに記憶し、或いは、
   前記第２の顔の画像データから、前記移動体の進行方向前方に対する前記第２の顔のヨー角、ピッチ角、及びロール角を検出し、
   前記第２の顔の画像データから、前記第２の顔の目が開いているか否かを判断し、
   前記第２の顔の前記ヨー角、前記ピッチ角、及び前記ロール角が、（２）式を満たし、且つ、前記第２の顔の目が開いていると判断された場合に、前記マッチングスコアを計算し、
   前記マッチングスコアが前記所定のスコア閾値以上であると判断した場合、前記第２の顔の画像データと前記第１の顔の画像データに映る人物が同一人物であると判断する
   ことを特徴とする個人照合方法。
   

   

   ただし、（２）式において、前記ヨー角をθｙとし、前記ピッチ角をθｐとし、及び前記ロール角をθｒとする。
4. 移動体の乗員の前記顔の画像データを用いて前記個人照合を行う請求項１又は２に記載の個人照合方法であって、
   前記第１の顔の画像データから、前記移動体の進行方向前方に対する前記第１の顔の第１ヨー角、第１ピッチ角、及び第１ロール角を検出し、
   前記第１ヨー角、前記第１ピッチ角、及び前記第１ロール角を前記第１の低周波数成分の振幅に関連付けて前記メモリに記憶し、
   前記第２の顔の画像データから、前記移動体の進行方向前方に対する前記第２の顔の第２ヨー角、第２ピッチ角、及び第２ロール角を検出し、
   前記第１ヨー角、前記第１ピッチ角、前記第１ロール角、前記第２ヨー角、前記第２ピッチ角、及び前記第２ロール角が、（３）式を満たす場合に、前記マッチングスコアを計算し、
   前記マッチングスコアが前記所定のスコア閾値以上であると判断した場合、前記第２の顔の画像データと前記第１の顔の画像データに映る人物が同一人物であると判断する
   ことを特徴とする個人照合方法。
   

   

   ただし、（３）式において、前記第１ヨー角をθｙ０とし、前記第１ピッチ角をθｐ０とし、前記第１ロール角をθｒ０とし、前記第２ヨー角をθｙ１とし、前記第２ピッチ角をθｐ１とし、及び前記第２ロール角をθｒ１とする。
5. 前記第１の低周波数成分の振幅を示す単位画素あたりのデータ量は、前記第１の顔の画像データの振幅を示す前記単位画素あたりのデータ量よりも小さくし、
   前記第２の低周波数成分の振幅を示す単位画素あたりのデータ量は、前記第２の顔の画像データの振幅を示す前記単位画素あたりのデータ量よりも小さくすることを特徴とする請求項１～４のいずれか一項に記載の個人照合方法。
6. 顔の画像データを用いて個人照合を行う個人照合装置であって、
   カメラと、
   メモリと、
   演算装置とを備え、
   前記カメラは、被写体の前記顔を撮像して第１の顔の画像データを取得し
   前記演算装置は、
   前記第１の顔の画像データを２次元周波数スペクトルへ変換し、
   前記２次元周波数スペクトルから、しきい周波数以下の周波数成分からなる第１の低周波数成分の振幅を抜粋して前記メモリに記憶し、
   前記メモリに記憶されている前記第１の低周波数成分の振幅と、新たに前記被写体の前記顔を前記カメラで撮像して取得した第２の顔の画像データから算出される２次元周波数スペクトルの前記しきい周波数以下の周波数成分からなる第２の低周波数成分の振幅との一致度を示すマッチングスコアを計算し、
   前記マッチングスコアが所定のスコア閾値以上であると判断した場合、前記第２の顔の画像データと前記第１の顔の画像データに映る人物が同一人物であると判断し、
   前記カメラから前記第１の顔及び前記第２の顔までの距離が予め定めた標準的な距離に位置することが想定される場合において、前記しきい周波数は、（１）式を満たす
   ことを特徴とする個人照合装置。
   

   

   ただし、（１）式において、前記予め定めた標準的な距離をＬ［ｍｍ］とし、前記カメラの焦点距離をｆ［ｍｍ］とし、前記しきい周波数をＦｔ［１／ｍｍ］とする。
   

Images