JP7404137B2

JP7404137B2 - 顔画像処理装置及び顔画像処理プログラム

Info

Publication number: JP7404137B2
Application number: JP2020066196A
Authority: JP
Inventors: 真一小島; 祐也山田; 晋大須賀; 康貴上田; 雄太河合; 隆志加藤; 善之山田
Original assignee: Aisin Seiki Co Ltd; Toyota Central R&D Labs Inc; Aisin Corp
Current assignee: Toyota Central R&D Labs Inc; Aisin Corp
Priority date: 2020-04-01
Filing date: 2020-04-01
Publication date: 2023-12-25
Anticipated expiration: 2040-04-01
Also published as: JP2021163333A; DE102021106954A1; CN113496195A; US11682128B2; US20210312648A1

Description

本発明は、顔画像処理装置及び顔画像処理プログラムに関する。

従来、人物の顔を撮影して得られた顔画像を用いて３次元顔形状モデルのカメラ座標系におけるモデルパラメータを導出する技術として以下の技術があった。

非特許文献１には、顔画像から検出した特徴点と３次元顔形状モデルの頂点の画像投影点の投影誤差を用いてパラメータの推定を行う技術が開示されている。

また、非特許文献２には、顔画像から検出した特徴点と３次元センサから得られた特徴点の凹凸情報と、３次元顔形状モデルの頂点の画像投影点の投影誤差を用いてパラメータの推定を行う技術が開示されている。

J. M. Saragih, S. Lucey and J. F. Cohn, "Face Alignment through Subspace Constrained Mean-Shifts," International Conference on Computer Vision (ICCV) 2009. T. Baltrusaitis, P. Robinson and L.-P. Morency, "3D Constrained Local Model for Rigid and Non-Rigid Facial Tracking," Conference on Computer Vision and Pattern Recognition (CVPR) 2012.

しかしながら、上記非特許文献１に開示されている技術では、画像観測点と３次元顔形状モデルの画像投影点の２次元空間での距離誤差を最小化するような最適化計算を行っているが、投影変換により３次元情報が２次元情報に変換される。このため、ｘ座標値とｚ座標値、及びｙ座標値とｚ座標値の間の曖昧性が生じ、当該曖昧性による推定誤差が生じやすく、この結果として、３次元顔形状モデルのパラメータの推定精度が必ずしも十分ではない、という問題点があった。

また、上記非特許文献２に開示されている技術では、３次元センサを用いているため、太陽光等の外乱に弱く、この技術においても、結果的に３次元顔形状モデルのパラメータの推定精度が必ずしも十分ではない、という問題点があった。

本発明は、上記問題点を解決するためになされたものであり、３次元顔形状モデルのパラメータを精度よく推定することができる顔画像処理装置及び顔画像処理プログラムを提供することを目的とする。

上記目的を達成するために、請求項１に記載の顔画像処理装置は、人物の顔を撮影して得られた画像の当該顔の器官の特徴点における、各々画像座標系の水平方向の座標値であるｘ座標値及び垂直方向の座標値であるｙ座標値を検出し、かつ、前記画像座標系の奥行き方向の座標値であるｚ座標値を推定することで当該画像座標系の３次元座標値を導出する画像座標系座標値導出部と、前記画像座標系座標値導出部によって導出された前記画像座標系の３次元座標値から、カメラ座標系の３次元座標値を導出するカメラ座標系座標値導出部と、前記カメラ座標系座標値導出部によって導出された前記カメラ座標系の３次元座標値を予め定められた３次元顔形状モデルに適用して、当該３次元顔形状モデルの前記カメラ座標系におけるモデルパラメータを導出するパラメータ導出部と、を備えている。

請求項２に記載の顔画像処理装置は、請求項１に記載の顔画像処理装置において、前記画像座標系座標値導出部は、前記ｘ座標値及び前記ｙ座標値の検出と並行して、深層学習を用いて前記ｚ座標値を推定することにより導出する。

請求項３に記載の顔画像処理装置は、請求項１又は請求項２に記載の顔画像処理装置において、前記３次元顔形状モデルは、平均形状と基底との線形和で構成されており、前記基底は、時間変化しない成分である個人差基底と、時間変化する成分である表情基底とが分離されており、前記モデルパラメータは、前記個人差基底のパラメータ、及び前記表情基底のパラメータを含む。

請求項４に記載の顔画像処理装置は、請求項３に記載の顔画像処理装置において、前記モデルパラメータは、前記人物の顔を撮影したカメラから見た当該人物の顔の位置及び姿勢を示す位置姿勢パラメータを更に含む。

請求項５に記載の顔画像処理装置は、請求項１～請求項４の何れか１項に記載の顔画像処理装置において、前記人物の顔までの距離を推定する顔距離推定部を更に備え、前記カメラ座標系座標値導出部は、前記顔距離推定部によって推定された距離を用いて、前記カメラ座標系におけるｚ座標値を導出する。

請求項６に記載の顔画像処理装置は、請求項１～請求項５の何れか１項に記載の顔画像処理装置において、前記画像座標系座標値導出部によって導出されたｚ座標値を、前記画像における前記顔の位置に応じて補正する座標補正部を更に備えている。

請求項７に記載の顔画像処理装置は、請求項１～請求項６の何れか１項に記載の顔画像処理装置において、前記顔の器官の特徴点における、ｘ座標値、ｙ座標値、及びｚ座標値の誤差評価値のそれぞれに独立した重みを設定する重み設定部を更に備えている。

更に、上記目的を達成するために、請求項８に記載の顔画像処理プログラムは、人物の顔を撮影して得られた画像の当該顔の器官の特徴点における、各々画像座標系の水平方向の座標値であるｘ座標値及び垂直方向の座標値であるｙ座標値を検出し、かつ、前記画像座標系の奥行き方向の座標値であるｚ座標値を推定することで当該画像座標系の３次元座標値を導出し、導出した前記画像座標系の３次元座標値から、カメラ座標系の３次元座標値を導出し、導出した前記カメラ座標系の３次元座標値を予め定められた３次元顔形状モデルに適用して、当該３次元顔形状モデルの前記カメラ座標系におけるモデルパラメータを導出する、処理をコンピュータに実行させる。

本発明によれば、３次元顔形状モデルのパラメータを精度よく推定することができる顔画像処理装置及び顔画像処理プログラムを提供することができる。

実施形態に係る顔画像処理装置をコンピュータにより実現する構成の一例を示すブロック図である。実施形態に係る顔画像処理装置の電子機器の配置の一例を示すイメージ図である。実施形態に係る顔画像処理装置における座標系の一例を示すイメージ図である。第１実施形態に係る顔画像処理装置の装置本体を機能的に分類した構成の一例を示すブロック図である。第１実施形態に係る顔画像処理プログラムによる処理の流れの一例を示すフローチャートである。第２実施形態に係る顔画像処理装置の装置本体を機能的に分類した構成の一例を示すブロック図である。第２実施形態に係る顔画像処理プログラムによる処理の流れの一例を示すフローチャートである。

以下、図面を参照して開示の技術に係る実施形態を説明する。

（第１実施形態）
本実施形態は、人物の頭部を撮影した撮影画像を用いて人物の３次元顔形状モデルのパラメータを推定する場合の一例を説明する。また、本実施形態では、人物の３次元顔形状モデルのパラメータの一例として、移動体としての自動車等の車両の乗員の３次元顔形状モデルのパラメータを、顔画像処理装置により推定する。

図１に、開示の技術の顔画像処理装置として動作する顔画像処理装置１０を、コンピュータにより実現する構成の一例を示す。

図１に示すように、顔画像処理装置１０として動作するコンピュータは、プロセッサとしてのＣＰＵ（Central Processing Unit）１２Ａ、ＲＡＭ（Random Access Memory）１２Ｂ、およびＲＯＭ（Read Only Memory）１２Ｃを備えた装置本体１２を含んで構成されている。ＲＯＭ１２Ｃは、３次元顔形状モデルのパラメータを推定する各種機能を実現するための顔画像処理プログラム１２Ｐを含んでいる。装置本体１２は、入出力インタフェース（以下、Ｉ／Ｏという。）１２Ｄを備えており、ＣＰＵ１２Ａ、ＲＡＭ１２Ｂ、ＲＯＭ１２Ｃ、及びＩ／Ｏ１２Ｄは各々コマンド及びデータを授受可能なようにバス１２Ｅを介して接続されている。また、Ｉ／Ｏ１２Ｄには、キーボード及びマウス等の入力部１２Ｆ、ディスプレイ等の表示部１２Ｇ、及び外部装置と通信するための通信部１２Ｈが接続されている。更に、Ｉ／Ｏ１２Ｄには、乗員の頭部を照明する近赤外ＬＥＤ（Light Emitting Diode）等の照明部１４、乗員の頭部を撮影するカメラ１６、及び乗員の頭部までの距離を計測する距離センサ１８が接続されている。なお、図示は省略したが、各種データを格納可能な不揮発性メモリをＩ／Ｏ１２Ｄに接続することができる。

装置本体１２は、顔画像処理プログラム１２ＰがＲＯＭ１２Ｃから読み出されてＲＡＭ１２Ｂに展開され、ＲＡＭ１２Ｂに展開された顔画像処理プログラム１２ＰがＣＰＵ１２Ａによって実行されることで、顔画像処理装置１０として動作する。なお、顔画像処理プログラム１２Ｐは、３次元顔形状モデルのパラメータを推定する各種機能を実現するためのプロセスを含む（詳細は後述）。

図２に、顔画像処理装置１０として、車両に搭載された電子機器の配置の一例を示す。

図２に示すように、車両には、顔画像処理装置１０の装置本体１２、乗員ＯＰを照明する照明部１４、乗員ＯＰの頭部を撮影するカメラ１６、及び距離センサ１８が搭載されている。本実施形態の配置例では、ステアリング４を保持するコラム５の上部に照明部１４及びカメラ１６を設置し、下部に距離センサ１８を設置した場合を示している。

図３に、顔画像処理装置１０における座標系の一例を示す。

位置を特定する場合の座標系は、中心とする物品をどのように扱うかによって相違する。例えば、人物の顔を撮影するカメラを中心とした座標系、撮影画像を中心とした座標系、及び人物の顔を中心とした座標系が挙げられる。以下の説明では、カメラを中心とした座標系をカメラ座標系といい、撮影画像を中心とした座標系を画像座標系といい、顔を中心とした座標系を顔モデル座標系という。図３に示す例は、本実施形態に係る顔画像処理装置１０に用いるカメラ座標系、顔モデル座標系、及び画像座標系の関係の一例を示している。

カメラ座標系はカメラ１６から見て右方がＸ方向、下方がＹ方向、前方がＺ方向であり、原点はキャリブレーションにより導出される点である。カメラ座標系は、画像の左上を原点とする画像座標系とｘ軸とｙ軸とｚ軸の方向が一致するように定めてある。

顔モデル座標系は、顔の中で目及び口などの部位の位置を表現したりするための座標系である。例えば、顔画像処理では、目及び口などの顔の特徴的な部位の３次元位置が記述された３次元顔形状モデルと呼ばれるデータを用い、このデータを画像に投影し、目及び口の位置を合わせることで顔の位置及び姿勢を推定する手法が一般的に用いられる。この３次元顔形状モデルに設定されている座標系の一例が顔モデル座標系であり、顔から見て左方がＸｍ方向、下方がＹｍ方向、後方がＺｍ方向である。

なお、カメラ座標系と画像座標系の相互関係は、予め定められており、カメラ座標系と画像座標系の間で、座標変換が可能になっている。また、上述した顔の位置及び姿勢の推定値を用いてカメラ座標系と顔モデル座標系の相互関係を特定可能である。

一方、図１に示すように、ＲＯＭ１２Ｃは、３次元顔形状モデル１２Ｑを含んでいる。本実施形態に係る３次元顔形状モデル１２Ｑは、平均形状と基底の線形和で構成されており、上記基底は個人差基底（時間変化しない成分）と、表情基底（時間変化する成分）とが分離されている。

即ち、本実施形態に係る３次元顔形状モデル１２Ｑは、次の（１）式によって表される。

また、３次元顔形状モデル１２Ｑのカメラ座標系への変換は次の（２）式によって行われる。なお、（２）式におけるＲは回転行列を表し、ｔは並進ベクトルを表す。

図４に、本実施形態に係る顔画像処理装置１０の装置本体１２を機能的構成に分類したブロック構成の一例を示す。

図４に示すように、装置本体１２は、カメラ等の撮影部１０１、画像座標系座標値導出部１０２、カメラ座標系座標値導出部１０３、パラメータ導出部１０４、及び出力部１０５の各機能部を含む。

撮影部１０１は、人物の顔を撮影して撮影画像を取得し、取得した撮影画像を画像座標系座標値導出部１０２へ出力する機能部である。本実施形態では、撮影部１０１の一例として撮影装置の一例であるカメラ１６を用いている。カメラ１６は、車両の乗員ＯＰの頭部を撮影し、撮影画像を出力する。なお、本実施形態では、カメラ１６としてモノクロ画像を撮影するカメラを適用しているが、これに限るものではなく、カメラ１６としてカラー画像を撮影するカメラを適用する形態としてもよい。

また、画像座標系座標値導出部１０２は、上記撮影画像の上記人物の顔の器官の特徴点における、各々画像座標系の水平方向の座標値であるｘ座標値及び垂直方向の座標値であるｙ座標値を検出する。また、画像座標系座標値導出部１０２は、画像座標系の奥行き方向の座標値であるｚ座標値を推定する。画像座標系座標値導出部１０２は、以上のｘ座標値及びｙ座標値の検出と、ｚ座標値の推定とにより画像座標系の３次元座標値を導出する。なお、本実施形態に係る画像座標系座標値導出部１０２では、ｘ座標値及びｙ座標値の検出と並行して、深層学習を用いてｚ座標値を推定することにより導出する。

また、カメラ座標系座標値導出部１０３は、画像座標系座標値導出部１０２によって導出された画像座標系の３次元座標値から、カメラ座標系の３次元座標値を導出する。

また、パラメータ導出部１０４は、カメラ座標系座標値導出部１０３によって導出されたカメラ座標系の３次元座標値を３次元顔形状モデル１２Ｑに適用して、３次元顔形状モデル１２Ｑのカメラ座標系におけるモデルパラメータを導出する。本実施形態では、上記モデルパラメータとして、３次元顔形状モデル１２Ｑの個人差基底のパラメータ、表情基底のパラメータ、及びカメラ１６から見た上記人物の顔の位置及び姿勢を示す位置姿勢パラメータを適用している。

更に、出力部１０５は、パラメータ導出部１０４で導出された人物の３次元顔形状モデル１２Ｑのモデルパラメータを示す情報を出力する。

次に、３次元顔形状モデル１２Ｑのパラメータを推定する顔画像処理装置１０の動作を説明する。本実施形態では、顔画像処理装置１０は、コンピュータの装置本体１２によって動作される。

図５には、コンピュータにより実現した顔画像処理装置１０における顔画像処理プログラム１２Ｐによる処理の流れの一例が示されている。装置本体１２では、顔画像処理プログラム１２ＰがＲＯＭ１２Ｃから読み出されてＲＡＭ１２Ｂに展開され、ＲＡＭ１２Ｂに展開された顔画像処理プログラム１２ＰをＣＰＵ１２Ａが実行する。

まず、ステップＳ１００では、ＣＰＵ１２Ａにより、カメラ１６により撮影された撮影画像の取得処理が実行される。ステップＳ１００の処理は、図４に示す撮影部１０１から出力される撮影画像を取得する動作の一例である。

次のステップＳ１０２では、ＣＰＵ１２Ａが、取得した撮影画像から人物（本実施形態では、乗員ＯＰ）の顔を囲む矩形領域を検出する。本実施形態では、上記矩形領域の検出を、「P. Viola and M. Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features,” Conference on Computer Vision and Pattern Recognition(CVPR) 2001.」に記載の技術によって行っている。なお、この顔を囲む矩形領域を検出する技術は広く一般に実施されている技術であるため、これ以上の、ここでの説明は省略する。

次のステップＳ１０４では、ＣＰＵ１２Ａが、検出した顔を囲む矩形領域の内部における顔の複数の器官の特徴点を検出する。なお、本実施形態では、複数の器官として、目及び口の２つの器官を適用しているが、これに限るものではない。これらの器官に加えて、鼻、耳等の他の器官を含めて、以上の器官の複数の組み合わせを適用する形態としてもよい。

次のステップＳ１０６では、ＣＰＵ１２Ａが、検出した各器官の特徴点の画像座標系におけるｘ座標値及びｙ座標値を検出し、かつ当該画像座標系におけるｚ座標値を推定することで、各器官の特徴点の画像座標系における３次元座標値を導出する。本実施形態では、上記画像座標系における３次元座標値の導出を、「Y. Sun, X. Wang and X. Tang, “Deep Convolutional Network Cascade for Facial Point Detection,” Conference on Computer Vision and Pattern Recognition(CVPR) 2013.」に記載の技術を利用して行っている。この技術では、深層学習により各特徴点のｘ座標値及びｙ座標値を検出しているが、ｚ座標値を学習データに加えることで、ｚ座標値の推定も可能となる。なお、この画像座標系の３次元座標値を導出する技術も広く一般に実施されている技術であるため、これ以上の、ここでの説明は省略する。

次のステップＳ１１２では、ＣＰＵ１２Ａが、ステップＳ１０６の処理で求めた画像座標系における３次元座標値からカメラ座標系の３次元座標値を導出する。本実施形態では、上記カメラ座標系の３次元座標値を次の（３）式～（５）式を用いた演算により導出している。なお、本実施形態では、（３）式における顔までの仮の距離ｄとして、距離センサ１８によって得られる、カメラ１６から乗員ＯＰまでの平均的な距離を適用している。

次のステップＳ１１４では、ＣＰＵ１２Ａが、ステップＳ１１２の処理で求めたカメラ座標系の３次元座標値を３次元顔形状モデル１２Ｑに適用して、３次元顔形状モデル１２Ｑのカメラ座標系における位置姿勢パラメータを推定する。

本実施形態では、位置姿勢パラメータの推定に先立ち、ステップＳ１０６の処理によって導出した画像座標系における顔画像の各特徴点の３次元座標値と、カメラ座標系に変換した、対応する３次元顔形状モデル１２Ｑの頂点の３次元座標値と、を用いて、観測点と３次元顔形状モデル１２Ｑの当てはまり度合いを数値化する評価関数ｇを定義する。

例えば、以下の（６）式に示すように観測点とモデル点の距離誤差の２乗和を評価関数ｇとすることができる。

（６）式をベクトルの成分で表現すると、評価関数ｇは、以下の（７）式で示されるものになる。

ここで、回転行列Ｒの成分ｒ_１１，・・・，ｒ_３３は以下の（８）式で表される。

求めたい３次元顔形状モデル１２Ｑのパラメータの値は評価関数ｇを最小化する値である。そのため、求めたいパラメータをαとした場合に、評価関数ｇをαで偏微分した（∂g／∂α）を計算し、方程式（∂g／∂α）＝０がαで解ける場合には（∂g／∂α）＝０の解が求めたいαになり、方程式（∂g／∂α）＝０がαで解けない場合は最急降下法などの最適化手法で得られた値が求めたいαになる。

評価関数ｇを並進ベクトルt＝（Ｘ_０，Ｙ_０，Ｚ_０）^Ｔの成分Ｘ_０，Ｙ_０，Ｚ_０で偏微分してそれぞれを＝０と置いた式は解くことができ、位置のパラメータである並進ベクトルt＝（Ｘ_０，Ｙ_０，Ｚ_０）^Ｔは以下の（９）式～（１１）式で計算することができる。

評価関数ｇを姿勢のパラメータである回転行列Ｒの回転角Ψ，θ，φで偏微分してそれぞれを＝０と置いた式は解くことができない。そのため、姿勢のパラメータである回転行列Ｒの回転角Ψ，θ，φは、（１２）式～（１４）式の偏微分式を、例えば最急降下法のような繰り返し計算による最適化に適用して求める。

ここで、ｈ^ｘ _ｋ，ｈ^ｙ _ｋ，ｈ^ｚ _ｋは以下の（１５）式～（１７）式で表される値である。

次のステップＳ１１６では、ＣＰＵ１２Ａが、ステップＳ１１２の処理で求めたカメラ座標系の３次元座標値を３次元顔形状モデル１２Ｑに適用して、３次元顔形状モデル１２Ｑのカメラ座標系における個人差基底のパラメータを推定する。本実施形態では、次の（１８）式によって個人差基底のパラメータｐ^ｉｄを算出する。なお、（１８）式におけるｐ_ｊはｐ^ｉｄ _ｊに読み替えるものとする。

ここで、ｌ^ｘ _ｋ，ｊ，ｌ^ｙ _ｋ，ｊ，ｌ^ｚ _ｋ，ｊは以下の（１９）式～（２１）式で表される値である。

次のステップＳ１１８では、ＣＰＵ１２Ａが、ステップＳ１１２の処理で求めたカメラ座標系の３次元座標値を３次元顔形状モデル１２Ｑに適用して、３次元顔形状モデル１２Ｑのカメラ座標系における表情基底のパラメータを推定する。本実施形態では、次の（２２）式によって表情基底のパラメータｐ^ｅｘｐを算出する。なお、（２２）式におけるｐ_ｊはｐ^ｅｘｐ _ｊに読み替えるものとする。

次のステップＳ１２０では、ＣＰＵ１２Ａが、ステップＳ１１４～ステップＳ１１８の処理によって導出された各種パラメータの推定値を出力し、本処理ルーチンを終了する。

なお、ステップＳ１２０の処理によって出力された各種パラメータの推定値は、車両の乗員の位置姿勢の推定、顔画像トラッキング等に用いられる。

以上説明したように、本実施形態の顔画像処理装置によれば、人物の顔を撮影して得られた画像の当該顔の器官の特徴点における、各々画像座標系の水平方向の座標値であるｘ座標値及び垂直方向の座標値であるｙ座標値を検出し、かつ、前記画像座標系の奥行き方向の座標値であるｚ座標値を推定することで当該画像座標系の３次元座標値を導出し、導出した前記画像座標系の３次元座標値から、カメラ座標系の３次元座標値を導出し、導出した前記カメラ座標系の３次元座標値を予め定められた３次元顔形状モデルに適用して、当該３次元顔形状モデルの前記カメラ座標系におけるモデルパラメータを導出する。これによって、画像観測点と３次元顔形状モデルの画像投影点の２次元空間での距離誤差を最小化するような最適化計算を行う場合や、３次元センサを用いる場合に比較して、３次元顔形状モデルのパラメータを精度よく推定することができる。

（第２実施形態）
次に、第２実施形態を説明する。第２実施形態は、顔までの距離を推定する処理、及び画像座標系におけるｚ座標値を補正する処理が付加されると共に、顔の各器官の特徴点における３次元座標値の距離誤差の評価関数ｇの各々に独立した重みを設定する点が第１実施形態と異なっている。なお、第２実施形態は、第１実施形態と略同様の構成のため、同一部分には同一符号を付して詳細な説明を省略する。

まず、第２実施形態に係る顔画像処理装置１０の装置本体１２の機能的構成について説明する。

図６に示すように、第２実施形態に係る顔画像処理装置１０の装置本体１２は、座標補正部１０６、顔距離推定部１０７、及び重み設定部１０８が付加されている点のみが第１実施形態に係る顔画像処理装置１０の装置本体１２と異なっている。

座標補正部１０６は、画像座標系座標値導出部１０２によって導出されたｚ座標値を、上記撮影画像における顔の位置に応じて補正する。

また、顔距離推定部１０７は、人物の顔までの距離を推定する。本実施形態に係る顔距離推定部１０７では、人物の顔までの距離の推定を、３次元顔形状モデル１２Ｑの拡大縮小係数を求め、当該拡大縮小係数で顔までの仮の距離ｄを除算することで、より精度よく人物の顔までの距離を導出するようにしている。

更に、重み設定部１０８は、顔の器官の特徴点における、３次元座標の誤差に対する評価関数ｇのそれぞれに独立した重みを設定する。

次に、３次元顔形状モデル１２Ｑのパラメータを推定する場合の第２実施形態に係る顔画像処理装置１０の動作を説明する。本実施形態では、顔画像処理装置１０は、コンピュータの装置本体１２によって動作される。

図７には、コンピュータにより実現した第２実施形態に係る顔画像処理装置１０における顔画像処理プログラム１２Ｐによる処理の流れの一例が示されている。第２実施形態においても、装置本体１２では、顔画像処理プログラム１２ＰがＲＯＭ１２Ｃから読み出されてＲＡＭ１２Ｂに展開され、ＲＡＭ１２Ｂに展開された顔画像処理プログラム１２ＰをＣＰＵ１２Ａが実行することは第１実施形態と同様である。なお、図７における図５と同様の処理を行うステップには図５と同一のステップ番号を付して、その説明を省略する。

図７に示すように、本第２実施形態に係る顔画像処理は、ステップＳ１０８及びステップＳ１１０の処理が新たに含まれている点、及びステップＳ１１４の処理に代えてステップＳ１１５の処理が適用されている点が上記第１実施形態に係る顔画像処理と異なっている。

ステップＳ１０８では、ＣＰＵ１２Ａは、ステップＳ１０６の処理によって導出した画像座標系における３次元座標値のうちのｚ座標値の補正を行う。

即ち、ステップＳ１０６の処理では、顔の矩形領域の画像中での位置を考慮していないので、顔が中心から外れた場合にｚ座標の推定に誤差が生じる場合がある。そこで、ステップＳ１０８では、以下の（２３）式で各画像特徴点のｚ座標の推定値の誤差を補正する。

ステップＳ１１０では、ＣＰＵ１２Ａは、人物の顔までの距離を推定する。

即ち、３次元顔形状モデル１２Ｑの拡大縮小係数をｓとし、以下の（２４）式で拡大縮小係数ｓを求める。初期設定されている顔までの仮の距離ｄに対し、当該拡大縮小係数ｓで除算することで３次元顔形状モデル１２Ｑのサイズを基準として顔までの距離を求めることができる。

ステップＳ１１５では、ＣＰＵ１２Ａは、顔の器官の特徴点における３次元座標の誤差に対する評価関数ｇのそれぞれに独立した重みを設定する。

即ち、（７）式で示した距離誤差の評価関数ｇに対して、以下の（２５）式に示すように重み係数ａ_ｋ，ｂ_ｋ，ｃ_ｋを設定する。ａ_ｋ，ｂ_ｋ，ｃ_ｋは各特徴点の座標ごとに設定することができ、ある特徴点における誤差を他の特徴点よりも小さくしたい場合にはその特徴点に設定している重み係数を他よりも大きくすることで、その特徴点の誤差が、より小さくなるようにパラメータが推定される。

なお、上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えば、ＣＰＵ： Central Processing Unit、等）や、専用のプロセッサ（例えば、ＧＰＵ： Graphics Processing Unit、ＡＳＩＣ： Application Specific Integrated Circuit、ＦＰＧＡ： Field Programmable Gate Array、プログラマブル論理デバイス、等）を含むものである。

また、上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は、上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

以上、実施形態として顔画像処理装置を例示して説明した。実施形態は、コンピュータを、顔画像処理装置が備える各部として機能させるためのプログラムの形態としてもよい。実施形態は、このプログラムを記憶したコンピュータが読み取り可能な記憶媒体の形態としてもよい。

また、上記各実施形態では、３次元顔形状モデル１２Ｑが、平均形状と基底との線形和で構成されている一例を説明したが、開示の技術は、これに限定するものではない。例えば、３次元顔形状モデル１２Ｑが、平均形状と基底とのテンソル積で構成されている形態としてもよい。

また、上記各実施形態では、本発明を車両の乗員の顔を対象として適用する一例を説明したが、開示の技術は、これに限定するものではない。例えば、パーソナル・コンピュータの利用者の顔、スマートフォンの利用者の顔等を対象として本発明を適用する形態としてもよい。

その他、上記各実施形態で説明した顔画像処理装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。

また、上記各実施形態で説明した顔画像処理プログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

また、上記各実施形態で説明した各種数式は一例であり、各数式ともに種々の変形を加えてもよいことは言うまでもない。

また、上記各実施形態では、顔画像処理プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。

１０顔画像処理装置
１２装置本体
１２ＡＣＰＵ
１２ＢＲＡＭ
１２ＣＲＯＭ
１２ＤＩ／Ｏ
１２Ｆ入力部
１２Ｇ表示部
１２Ｈ通信部
１２Ｐ顔画像処理プログラム
１２Ｑ３次元顔形状モデル
１４照明部
１６カメラ
１８距離センサ
１０１撮影部
１０２画像座標系座標値導出部
１０３カメラ座標系座標値導出部
１０４パラメータ導出部
１０５出力部
１０６座標補正部
１０７顔距離推定部
１０８重み設定部

Claims

人物の顔を撮影して得られた画像の当該顔の器官の特徴点における、各々画像座標系の水平方向の座標値であるｘ座標値及び垂直方向の座標値であるｙ座標値を検出し、かつ、前記画像座標系の奥行き方向の座標値であるｚ座標値を推定することで当該画像座標系の３次元座標値を導出する画像座標系座標値導出部と、
前記画像座標系座標値導出部によって導出された前記画像座標系の３次元座標値から、カメラ座標系の３次元座標値を導出するカメラ座標系座標値導出部と、
前記カメラ座標系座標値導出部によって導出された前記カメラ座標系の３次元座標値を予め定められた３次元顔形状モデルに適用して、当該３次元顔形状モデルの前記カメラ座標系におけるモデルパラメータを導出するパラメータ導出部と、
を備えた顔画像処理装置。
前記画像座標系座標値導出部は、前記ｘ座標値及び前記ｙ座標値の検出と並行して、深層学習を用いて前記ｚ座標値を推定することにより導出する、
請求項１に記載の顔画像処理装置。
前記３次元顔形状モデルは、平均形状と基底との線形和で構成されており、前記基底は、時間変化しない成分である個人差基底と、時間変化する成分である表情基底とが分離されており、
前記モデルパラメータは、前記個人差基底のパラメータ、及び前記表情基底のパラメータを含む、
請求項１又は請求項２に記載の顔画像処理装置。
前記モデルパラメータは、前記人物の顔を撮影したカメラから見た当該人物の顔の位置及び姿勢を示す位置姿勢パラメータを更に含む、
請求項３に記載の顔画像処理装置。
前記人物の顔までの距離を推定する顔距離推定部を更に備え、
前記カメラ座標系座標値導出部は、前記顔距離推定部によって推定された距離を用いて、前記カメラ座標系におけるｚ座標値を導出する、
請求項１～請求項４の何れか１項に記載の顔画像処理装置。
前記画像座標系座標値導出部によって導出されたｚ座標値を、前記画像における前記顔の位置に応じて補正する座標補正部を更に備えた、
請求項１～請求項５の何れか１項に記載の顔画像処理装置。
前記顔の器官の特徴点における、ｘ座標値、ｙ座標値、及びｚ座標値の誤差評価値のそれぞれに独立した重みを設定する重み設定部を更に備えた、
請求項１～請求項６の何れか１項に記載の顔画像処理装置。
人物の顔を撮影して得られた画像の当該顔の器官の特徴点における、各々画像座標系の水平方向の座標値であるｘ座標値及び垂直方向の座標値であるｙ座標値を検出し、かつ、前記画像座標系の奥行き方向の座標値であるｚ座標値を推定することで当該画像座標系の３次元座標値を導出し、
導出した前記画像座標系の３次元座標値から、カメラ座標系の３次元座標値を導出し、
導出した前記カメラ座標系の３次元座標値を予め定められた３次元顔形状モデルに適用して、当該３次元顔形状モデルの前記カメラ座標系におけるモデルパラメータを導出する、
処理をコンピュータに実行させるための顔画像処理プログラム。