JP6260399B2 - 撮像装置、撮像方法および撮像プログラム - Google Patents

Description

本件は、撮像装置、撮像方法および撮像プログラムに関する。

特許文献１は、広角レンズのカメラおよび狭角レンズのカメラを用いて視線算出を行う技術を開示している。一方で、フォーカス位置を前後に動かしてボケ具合を比べ、被写体に合焦させるオートフォーカスの技術が知られている。モータなどでレンズを前後に動かす動作処理に要する時間は、画像処理に要する時間と比べて長くなる。

特開２００５−３２３９０５号公報

広角レンズのカメラおよび狭角レンズのカメラを用いて視線算出を行う場合、不要なフォーカス調整などに起因し、高画素で被写体を撮像するために要する時間が長くなるおそれがある。

１つの側面では、本発明は、余計な処理を抑制して高画素で被写体を撮像することができる撮像装置、撮像方法および撮像プログラムを提供することを目的とする。

１つの態様では、撮像装置は、広角カメラおよび狭角カメラと、前記広角カメラが取得する広角画像に基づいて、被写体に向けて前記狭角カメラの撮像方向を変更したと仮定した場合における前記被写体と前記狭角カメラとの距離を取得する取得部と、前記狭角カメラの合焦距離と前記取得部が取得した距離との差分がしきい値未満であれば、前記狭角カメラの撮像方向を前記被写体に向けて変更して前記狭角カメラのピントを維持し、前記差分が前記しきい値以上であれば、前記狭角カメラの撮像方向を前記被写体に向けて変更して前記被写体に対してピントを合わせる制御部と、を備える。

余計な処理を抑制して高画素で被写体を撮像することができる。

（ａ）および（ｂ）は視線角度変化を表す図である。 視線検出装置の概略図である。 （ａ）は狭角カメラで取得した目領域であり、（ｂ）はデフォーカスが大きい画像例であり、（ｃ）はニア側にデフォーカスしている画像例であり、（ｄ）はジャストフォーカスの画像例であり、（ｅ）はファー側にデフォーカスしている画像例である。 （ａ）はフォーカスが調整されている場合の静止画像であり、（ｂ）および（ｃ）はユーザが移動した場合の静止画像である。 実施例１に係る視線検出装置の構成を表すブロック図である。 広角カメラの光軸が、ユーザの平均的な顔位置よりも低い位置から水平方向よりも斜め上方に向いている例である。 フローチャートの一例である。 （ａ）〜（ｄ）は広角画像であり、（ｅ）は顔輪郭の重心位置と、ｙ軸方向の差分と、狭角カメラ３０と顔との距離との対応関係を表すテーブルである。 しきい値のテーブル例を表す。 実施例の効果について説明する図である。 フローチャートの一例である。 相対座標のズレを例示する図である。 （ａ）および（ｂ）は相対座標のズレを例示する図である。 （ａ）は補正量テーブルの一例であり、（ｂ）〜（ｄ）は顔幅検出に基づく広角カメラ２０と顔との距離の算出例である。 （ａ）〜（ｇ）は補正量テーブルの一例である。 制御部のハードウェア構成を説明するためのブロック図である。

実施例の説明に先立って、撮像装置を備えた視線検出装置の概要について説明する。視線検出装置は、撮像装置を用いて、ユーザの視線方向を非接触で検出する装置である。例えば、図１（ａ）で例示するように、ユーザと正対する方向から照射された赤外ＬＥＤに対して瞳孔中に生じる角膜反射像（プルキエニ像）を基準点とする。この基準点と、瞳孔重心などの注目点との相対位置（画素）変化を検出することによって、視線角度変化を算出することができる。例えば、図１（ｂ）の例では、図１（ａ）の場合よりも視線が下方に向いていることが検出され、その角度を算出することができる。視線検出分解能は、目領域の表示解像度に依存する。したがって、高い視線検出分解能を得るためには、目領域を高画素で撮像することが望まれる。

撮像装置としてカメラを１台備える視線検出装置が知られている。例えば、ウェブカメラを１台備えるデスクトップＰＣなどが挙げられる。このような視線検出装置では、例えば、視線の検出範囲が３０ｃｍ四方に限定され、カメラから顔位置までの距離が４５ｃｍ〜６０ｃｍ程度の範囲に限定されている。したがって、カメラのフォーカスを調整しなくても、ユーザの視線を継続して検出することができる。

しかしながら、例えば、１ｍ〜３ｍ程度離れた距離から大型モニタを眺める視線を検出する視線検出装置においては、ユーザの移動幅が大きくなる。この場合においては、視線検出分解能を得るためには、フォーカスおよび画角を変更する必要がある。単純に１台のカメラでフォーカスおよび画角を変更しようとすると、ユーザの顔位置変化に対応することと、視線検出分解能（高画素での撮像）とを両立させることが困難である。この課題を解決するために、超高画質カメラを１台用いることが考えられる。しかしながら、この場合、コストがかかり、超高画質対応レンズが開発されていない、画像データ転送が遅くなるという問題が生じる。

そこで、撮像装置として複数のカメラを備えた視線検出装置が考えられる。図２は、視線検出装置２００の概略図である。図２で例示するように、視線検出装置２００は、広角カメラ２０１および狭角カメラ２０２を備える。広角カメラ２０１は、広角視野を有し、ユーザの顔全体を撮像する。なお、広角カメラ２０１の位置は固定されているため、当該広角視野も固定されている。狭角カメラ２０２は、ズーム機構による狭角視野を有し、顔パーツ（目領域）を撮像する。狭角カメラ２０２は、撮像方向可動式であって、目領域を追従する。なお、目領域とは、少なくとも片方の目を含む、顔の少なくとも一部の領域のことである。

視線検出装置２００では、広角カメラ２０１で顔輪郭位置、顔輪郭重心位置（ｘ，ｙ）などを検出することによって、狭角カメラ２０２が目領域を検出することができる撮像方向を決定する。狭角カメラ２０２をこの撮像方向に動かすことによって、目領域を高画素で撮像できるようになる。それにより、高い視線検出分解能を得ることができる。すなわち、視線検出装置２００では、広角カメラ２０１および狭角カメラ２０２の連動により、視線を検出することができる。

しかしながら、一旦は視線を検出できても、その後にユーザの位置が変化する場合、ユーザの姿勢が変化する場合等において、狭角カメラ２０２の追従が追いつかない場合がある。この場合においては、短時間で狭角カメラ２０２に再追従させ、適切なフォーカス再調整を行うことが好ましい。フォーカス再調整とは、具体的には、狭角カメラの内蔵レンズ群の位置をメカ的に前後駆動させながら画像取得して、最もシャープな高周波成分が分離できるような最適レンズ位置を探すことである。このフォーカス再調整においては、焦点位置が近すぎて画像がボケる、ジャストフォーカス、焦点距離が遠すぎて画像がボケる、の試行錯誤を１往復以上行うことになる。

図３（ａ）は、狭角カメラ２０２で取得した目領域である。図３（ｂ）は、デフォーカスが大きく角膜反射像および瞳孔にボケが生じており、視線を検出できない画像例である。図３（ｃ）は、ニア側にデフォーカスしており、視線を検出できないか検出ズレが生じる画像例である。図３（ｄ）は、ジャストフォーカスの画像例である。この画像を用いれば、高い精度で視線を検出することができる。図３（ｅ）は、ファー側にデフォーカスしており、視線を検出できないか検出ズレが生じる画像例である。上記フォーカス再調整においては、図３（ｃ）〜図３（ｅ）のフォーカス調整が１往復以上行われることになる。

視線検出の画像処理時間（例えば数十ｍｓｅｃ）と比較すると、上記メカ制御には長時間を要する（例えば０．５〜１秒）。その結果、ジャストフォーカス条件の前後フレームに角膜反射にボケが生じた画像が混入し、角膜反射と瞳孔重心検出時に支障が生じて、視線方向算出ができなくなり、または誤検出してしまうおそれがある。

ユーザの顔位置が変化して狭角カメラ２０２が追従するたびにフォーカス調整を毎フレーム行うと、左右方向だけに身体をゆすった場合などに、無駄なフォーカス調整に起因した視線未検出または誤検出フレーム画像を取得してしまうという課題が生じる。そこで、以下の実施例では、余計な処理を抑制して高画素で被写体を撮像することができる撮像装置、撮像方法、および撮像プログラムについて説明する。

まず、実施例１に係る、高画素での被写体撮像の原理について説明する。図４（ａ）は、狭角カメラで目領域に対してフォーカスが調整されている場合の静止画像である。例えば、狭角カメラと顔との距離が２．０ｍである。フォーカスが調整されているため、角膜反射像および瞳孔が鮮明に撮像されている。したがって、高い精度で視線を検出することができる。

次に、図４（ｂ）は、ユーザが移動して狭角カメラと顔との距離が２．５ｍになった場合の静止画像である。この例では、角膜反射像および瞳孔にボケが生じているが、ボケ度合いが小さいため、視線の検出は可能である。図４（ｃ）は、ユーザがさらに移動して狭角カメラと顔との距離が２．７５ｍになった場合の静止画像である。この例では、角膜反射像および瞳孔のボケ度合いが大きいため、視線の検出ができなくなっている。

これらの結果から、狭角カメラと顔との距離と、狭角カメラの合焦距離との差分において、フォーカスを再調整しなくても視線を検出できる範囲が存在し、フォーカスの再調整が必要となる限界値が存在することがわかる。そこで、本実施例においては、狭角カメラと顔との距離と、狭角カメラの合焦距離との差分がしきい値（上記限界値または上記限界値以下の近い値）未満の場合にはフォーカスの再調整を行わず、しきい値以上となった場合には、フォーカスの再調整を行うこととする。それにより、余計なフォーカス再調整が省略され、効率よく高画素で目領域を撮像することができる。なお、上記しきい値として、ボケによって輝度や境界部が不鮮明になり検出できなくなる直前、あるいはぎりぎり検出できても、重心算出段階で画素がずれ始める直前の値に設定してもよい。

狭角カメラと顔との距離を取得するにあたって、狭角カメラを用いることが考えられる。例えば、狭角カメラがジャストフォーカスになった場合のレンズ繰り出し量などから、狭角カメラと顔との距離を取得することも考えられる。しかしながら、この手法では時間がかかる。ステレオカメラで距離測定することも考えられるが、コスト増、レンズ交換が自由にできない等の制約が生じる。そこで、本実施例においては、広角カメラが取得する広角画像を用いて、広角カメラと顔との距離を取得し、当該距離を用いて狭角カメラと顔との距離を取得する。この場合、構成が簡略化され、計算負荷も軽減される。なお、広角カメラと顔との距離を、狭角カメラと顔との距離とみなしてもよい。

図５は、実施例１に係る視線検出装置１００の構成を表すブロック図である。図５で例示するように、モニタ１０、広角カメラ２０、狭角カメラ３０、赤外ＬＥＤ４０、制御部５０などを備える。制御部５０は、顔輪郭検出部５１、移動方向判定部５２、ＰＴ制御量決定部５３、狭角カメラ制御部５４、目領域検出部５５、視線換算部５６、目視位置算出部５７、アプリ制御部５８などを備える。

モニタ１０は、ＬＣＤなどの表示装置であり、ユーザの目視対象である。広角カメラ２０は、広角視野を有し、モニタ１０の前に立ち寄るユーザの顔全体を撮像する。なお、広角カメラ２０の位置は固定されているため、当該広角視野も固定されている。広角カメラ２０は、一例として、マイクロビジョン製のＵＳＢカメラ（ＭＣＭ：４３０２）を用いることができる。なお、画素は、一例としてＶＧＡ（６４０×４８０ｐｉｘ）である。レンズ画角は、一例として、Ｖ／Ｈ／Ｄ＝２３／３０／３７．５度である。

本実施例においては、広角カメラ２０が取得する広角画像を用いてユーザの顔と狭角カメラ３０との距離を検出することから、ユーザの狭角カメラ３０に対する前後方向の移動が広角画像に現れることが好ましい。そこで、広角カメラ２０が設置される高さは、ユーザの平均的な顔位置に対してずれていることが好ましい。例えば、広角カメラ２０の光軸は、ユーザの平均的な顔位置よりも高い位置から水平方向よりも斜め下方に向いている、または、ユーザの平均的な顔位置よりも低い位置から水平方向よりも斜め上方（あおり角）に向いていることが好ましい。なお、ユーザの体軸が垂直からずれている場合には、当該体軸に対して斜め上方または斜め下方に向いていることが好ましい。目領域を検出するためには、広角カメラ２０は、ユーザの平均的な顔位置よりも低い位置からユーザに対して斜め上方（あおり角）に向いていることが好ましい。図６は、広角カメラ２０の光軸が、ユーザの平均的な顔位置よりも低い位置から水平方向よりも斜め上方に向いている例である。なお、広角カメラ２０の光軸が水平方向よりも斜め上方を向いている場合と斜め下方を向いている場合とで、ユーザの広角カメラ３０に対する前後方向の移動は、広角画像において逆になる。

狭角カメラ３０は、ズーム機構による狭角視野を有し、広角カメラ２０の視野内にフレームインしたユーザの顔のパーツ（目領域）の画像を取得する。狭角カメラ３０は、撮像方向可動式であって、撮像方向を変更することによって目領域に追従することができる。狭角カメラ３０は、例えば、ＰＴＺ（Ｐａｎ Ｔｉｌｔ Ｚｏｏｍ：パンチルトズーム）カメラであり、一例として、ＳＯＮＹ（登録商標）製のＳＮＣ−Ｅｐ５８０を用いることができる。なお、画角は、可変である。Ｆ値は、１．６（ｗｉｄｅ）〜３．５（ｔｅｌｅ）である。赤外ＬＥＤ４０は、赤外光をユーザに対して照射する。

以下、図７のフローチャートを参照しつつ、制御部５０の動作について説明する。図７のフローチャートは、制御部５０の動作の一例を表す。顔輪郭検出部５１は、広角カメラ２０から広角画像をキャプチャする（ステップＳ１）。顔輪郭検出部５１は、広角画像を圧縮してもよい。次に、顔輪郭検出部５１は、顔輪郭領域を検出する（ステップＳ２）。また、顔輪郭検出部５１は、顔輪郭領域のいずれかの幅（縦または横）を算出し、顔輪郭領域の重心、両目の中心などの注目点を算出する。

次に、移動方向判定部５２は、顔輪郭検出部５１が検出する注目点を以前のフレームと（例えばフレームごとに）比較することによって、広角画像における注目点の移動方向および移動量を算出する（ステップＳ３）。例えば、移動方向判定部５２は、広角画像における注目点の座標（ｘ，ｙ）の変化をフレームごとに検出することによって、広角画像における注目点の移動方向および移動量を算出する。

さらに、移動方向判定部５２は、顔輪郭検出部５１が検出する輪郭幅および注目点をフレームごとに比較することによって、ユーザの前後方向の移動方向および移動量を算出する。前後方向とは、ユーザが広角カメラ２０に近づく方向および広角カメラ２０から離れる方向である。図８（ａ）〜図８（ｄ）は、体軸が鉛直方向を向いていると仮定し、広角カメラ２０の光軸をユーザの平均的な顔位置よりも低い位置から水平方向よりも斜め上方（１０°）に設定した場合の広角画像（静止画像）である。図８（ａ）〜図８（ｄ）は、広角カメラ２０と顔との距離が１．５ｍ、２ｍ、２．５ｍ、３ｍである場合の静止画像である。

図８（ａ）〜図８（ｄ）で例示するように、ユーザが広角カメラ２０から離れると、顔の位置が下方に移動している。そこで、例えば、顔の輪郭の注目点（重心、両目の中心など）の上下方向（ｙ軸）の変化量と、広角カメラ２０と顔との距離とを対応付けることができる。なお、顔の輪郭の注目点の上下方向の座標は、上記距離の相対的な変異量として用いることができる一方で、上記距離の絶対量としても用いることができる。例えば、同一人物が何度も使用することを想定した場合、あるいはほぼ近い身長のユーザに対象を絞った場合などにおいては、上記注目点の位置を、上記距離の絶対量に換算することができる。なお、広角カメラ２０が水平方向よりも斜め下方を向いている場合には、ユーザが広角カメラ２０から離れると、顔の位置が上方に移動することになる。

図８（ｅ）は、広角画像が６４０ピクセル×４８０ピクセルである場合における、顔輪郭の重心位置（ｘ，ｙ）と、ｙ軸方向の差分（ピクセル）と、狭角カメラ３０と顔との距離と、の対応関係を表すテーブルである。このテーブルを予め作成しておけば、顔輪郭の重心位置の変動を検出することによって、広角カメラ２０と顔との距離を取得することができる。図８（ｅ）の数値間については、補間等によって取得すればよい。

なお、重心位置がｘ軸方向に移動した場合にｙ軸方向に移動していなければ、広角カメラ２０と顔との距離が同じで、ユーザが横方向に移動していることになる。重心位置がｙ軸方向に移動していても、ユーザがしゃがむ等の場合には距離に変化が無いことになる。そこで、顔輪郭領域の幅の変化量を補助的に検出してもよい。例えば、重心位置がｙ軸方向に移動していても、顔輪郭の幅の変化量が所定量以下であれば、広角カメラ２０と顔との距離が変化していないと判定することもできる。なお、顔輪郭の画素幅だけから、距離を算出することも可能である。しかしながら、顔の大きさの個人差、外乱光等に起因する顔陰影、顔が斜めを向いた場合などの輪郭の境界部の変化、などの不安定な要素が存在することから、顔輪郭の注目点を用いることが好ましい。広角カメラ２０の位置と狭角カメラ３０の位置との関係が予め得られていれば、広角カメラ２０と顔との距離を取得することによって、狭角カメラ３０と顔との距離を算出することができる。

ステップＳ３の実行後、移動方向判定部５２は、狭角カメラ３０の撮像方向を変更する（ＰＴ制御を行う）か否か、狭角カメラ３０のフォーカスの再調整を行うか否かを判定する（ステップＳ４）。例えば、移動方向判定部５２は、広角画像における注目点（ｘｙ）の変動量が所定量以上であれば撮像方向を変更すると判定し、所定量未満であれば撮像方向を変更しないと判定する。または、移動方向判定部５２は、狭角カメラ３０が取得する狭角画像から目がフレームアウトした場合に、撮像方向を変更すると判定してもよい。また、移動方向判定部５２は、狭角カメラ３０と顔との距離と、狭角カメラ３０の合焦距離との差分がしきい値未満であればフォーカスの再調整を行わないと判定し、しきい値以上であればフォーカスの再調整を行うと判定する。

狭角カメラ３０のフォーカスを再調整する場合と再調整しない場合とを場合分けするためのしきい値の詳細について説明する。ここで、被写体の距離変化に対するボケの度合いは、カメラレンズの被写界深度(定量的には焦点距離ｆとＦナンバー)に依存する。Ｆナンバーが小さければ距離変化に対して顕著なボケが生じ、Ｆナンバーが大きければ少々距離が変化してもボケが生じにくい。ＰＴＺカメラは、光学倍率（ｚｏｏｍ）を変化させる事で焦点距離ｆもＦナンバーも結果的に変化する。すなわち、光学倍率設定値に応じて先の検出限界距離は変わる。これを事前に把握しておきテーブルや線形補完してもよい。図９は、しきい値のテーブル例を表す。図９の例は、狭角カメラ３０と顔との距離が２．０ｍにおいてフォーカスが調整されている場合の例である。本実施例に係るしきい値として、図９の検出限界距離または当該距離よりも短い距離を用いることができる。図９で例示するように、上記しきい値は、単一の固定値ではなく、条件に応じて変動する値であってもよい。

上記しきい値は、狭角カメラ３０が撮影をしていた被写体までの距離における、狭角カメラ３０のレンズの画角と被写体までの距離と絞り値とによって決まる、合焦をしているとみなす前後の距離範囲を示す被写界深度／２、またはそれ以下の近い値と定義することもできる。顔が移動した範囲が、ピントが合っている位置から、この被写界深度／２の範囲内なら、ピントが合っている範囲内であるため、ピント合わせを再度行う必要がないからである。

ステップＳ４において移動方向判定部５２がＰＴ制御を行うと判定していれば、ＰＴ制御量決定部５３は、ステップＳ３の算出結果に基づいて、狭角カメラ３０の撮像方向を変更するための制御量を決定する（ステップＳ５）。なお、広角カメラ２０の設置位置と狭角カメラ３０の設置位置とが異なっているため、広角画像の座標と狭角画像の座標とがずれていることが考えられる。そこで、ＰＴ制御量決定部５３は、広角画像の座標と狭角画像の座標とを一致させるために、注目点の座標（ｘ，ｙ）の変化に応じて、広角カメラ２０および狭角カメラ３０の視野の相関座標のテーブルを切り替える。

次に、狭角カメラ制御部５４は、ＰＴ制御量決定部５３が決定した制御量に応じて狭角カメラ３０の撮像方向を制御する（ステップＳ６）。また、狭角カメラ制御部５４は、移動方向判定部５２がフォーカス再調整を行うと判定していれば、狭角カメラ３０に、顔輪郭領域に対するフォーカス再調整を行わせる。一方、狭角カメラ制御部５４は、移動方向判定部５２がフォーカス再調整を行うと判定していなければ、狭角カメラ３０に、顔輪郭領域に対するフォーカス再調整を行わせない。すなわち、狭角カメラ制御部５４は、狭角カメラ３０のピントを維持する。

次に、目領域検出部５５は、狭角カメラ３０から狭角画像をキャプチャする（ステップＳ７）。次に、目領域検出部５５は、狭角画像において、目領域を検出する（ステップＳ８）。具体的には、目領域検出部５５は、両目を含む輪郭枠を目領域として検出する。または、目領域検出部５５は、顔輪郭検出部５１から受け取った座標から、両目を含む輪郭枠を目領域として推定する。次に、目領域検出部５５は、目領域を検出可能であるか否かを判定する（ステップＳ９）。例えば、目領域検出部５５は、ステップＳ８で検出した目領域に、少なくともいずれか一方の目が含まれているか否かを判定する。ステップＳ９で「Ｎｏ」と判定された場合、ステップＳ５に戻り、ＰＴ制御量決定部５３は、広角カメラ２０および狭角カメラ３０の視野の相関座標のテーブルをさらに切り替える。

ステップＳ９で「Ｙｅｓ」と判定された場合、視線換算部５６は、目領域検出部５５が検出した目領域において、目の内部を検出する（ステップＳ１０）。次に、視線換算部５６は、瞳孔重心と角膜反射重心との相対変化を算出する（ステップＳ１１）。次に、視線換算部５６は、予め記憶しておいた眼球モデルを参照し、当該相対変化を視線角度変化へ換算する（ステップＳ１２）。

目視位置算出部５７は、視線角度変化と顔距離情報とから、モニタ１０に対する目視位置を算出する（ステップＳ１３）。アプリ制御部５８は、目視位置算出部５７が算出した目視位置に基づいて、モニタ１０を制御する（ステップＳ１４）。例えば、アプリ制御部５８は、モニタ１０の表示内容を変更する。具体的には、アプリ制御部５８は、モニタ１０において、詳細情報の展開、表示切換、スクロールなどを行う。

本実施例によれば、広角カメラ２０が取得する広角画像に基づいて、顔に向けて狭角カメラ３０の撮像方向を変更したと仮定した場合における顔と狭角カメラ３０との距離を取得し、狭角カメラ３０の合焦距離と取得した距離との差分がしきい値未満であれば狭角カメラ３０の撮像方向を顔に向けて変更して狭角カメラのピントを維持し、上記差分がしきい値以上であれば狭角カメラ３０の撮像方向を顔に向けて変更して顔に対してピントを合わせている。

図１０は、この動作について説明するための図である。図１０は上方から下方をみた図であるため、床面におけるユーザの位置が例示されている。ユーザが初期位置Ａにおいて広角画像にフレームインした場合、狭角カメラ３０は、当該広角画像に基づいて、撮像方向を変更することによって目領域を検出し、当該目領域に対してフォーカスを調整する。その後、ユーザが前後方向に大きく移動して位置Ｂに移動した場合、狭角カメラ３０は、撮像方向を変更した上でフォーカス再調整することになる。しかしながら、ユーザが初期位置Ａから位置Ｂ´に移動した場合には、狭角カメラ３０は、撮像方向を変更してフォーカス再調整を行わない。このように、高画素での顔の撮像を継続できる一方で、余計なフォーカス再調整を行わずに済む。すなわち、余計な処理を抑制して高画素で顔の撮像が可能となる。

（フォーカス再調整の判定の他の例）
ところで、狭角カメラ３０が広角カメラ２０の略真下ではなくて、左右に大きく寄った位置に配置されている場合や、広角視野幅の端から端までユーザが水平移動した場合などが想定される。この場合、ユーザ顔に対して正面からではなく、大きな斜め入射角をもって狭角カメラ３０が顔を撮像することになる。この様な条件でユーザが水平方向に大きく移動した場合も、斜め入射の狭角カメラ３０からみると、顔までの距離が遠ざかる方向に相当してボケる可能性がある。

そこで、狭角カメラ３０のフォーカス再調整を行うか否かを判定する際に、ｘ軸方向の移動量を考慮してもよい。図１１は、この場合のフローチャートの一例である。図１１のフローチャートは、図７のフローチャートのステップＳ３〜ステップＳ４における、フォーカス再調整を行うか否かを判定する他の例に相当する。

まず、移動方向判定部５２は、広角画像において、直前フレームと比較して、もしくは先行する数フレーム分の平均と比較して、注目点の変化の差分を算出する（ステップＳ２１）。例えば、移動方向判定部５２は、顔輪郭領域の重心の座標（ｘ，ｙ）変化を算出する。次に、移動方向判定部５２は、当該差分において、ｙ軸方向の変化量がしきい値以上であるか否かを判定する（ステップＳ２２）。この場合のしきい値として、狭角カメラ３０のレンズ被写界深度と検出限界距離とを反映させたものを用いることができる。ステップＳ２２で「Ｎｏ」と判定された場合、移動方向判定部５２は、当該差分において、ｘ軸方向の変化量がしきい値以上であるかを判定する（ステップＳ２３）。この場合のしきい値として、狭角カメラ３０のレンズ被写界深度と、検出限界距離と、狭角カメラ３０の設置位置とを反映させたものを用いることができる。

ステップＳ２３で「Ｎｏ」と判定された場合、移動方向判定部５２は、狭角カメラ３０のフォーカス再調整を行わないと判定する（ステップＳ２４）。ステップＳ２２およびステップＳ２３いずれかで「Ｙｅｓ」と判定された場合、移動方向判定部５２は、狭角カメラ３０のフォーカス再調整を行うと判定する（ステップＳ２５）。このように、広角画像における注目点のｘ軸方向の移動量を考慮することによって、狭角カメラ３０のフォーカス再調整の必要性に係る判定精度を向上させることができる。

（広角画像および狭角画像の相対座標の補正の他の例）
上述したように、広角カメラ２０の設置位置と狭角カメラ３０の設置位置とが異なることから、広角画像における相対座標と、狭角画像における相対座標とが互いに異なることが考えられる。この場合、広角画像に基づいて狭角カメラ３０の撮像方向を変更した場合に、狭角画像に目領域が含まれない場合（フレームアウト）が生じ得る。そこで、広角画像と狭角画像との関係を補正することが好ましい。

例えば、狭角画像において目領域をフレームアウトさせない工夫として、広角カメラ２０および狭角カメラ３０のそれぞれの視野を、ピクセルの相対比で相対座標に換算して、広角における目標座標が狭角視野中心になる様に狭角カメラ３０を制御することが考えられる。しかしながら、画角と配置が異なって双方の光軸も異なる上記２カメラにおいては、ある距離条件固定で一旦、広角／狭角の相対座標を規定しても、ユーザからモニタまでの距離が変わった場合には、その相対座標関係が崩れてしまい、狭角カメラが目領域に追従できない課題がある。

例えば、図１２の例では、広角カメラ２０が狭角カメラ３０の直上に配置されており、広角カメラ２０の光軸が斜め下方を向き、狭角カメラ３０の光軸が斜め上方を向いている。この場合においては、距離１ｍの場合に２カメラが取得する画像の相対座標が一致していても、距離２ｍの場合には相対座標が大きくずれている。このような２カメラの配置において、狭角カメラが目領域を追従できるためには、図１３（ａ）で例示する視野の中心線を、図１３（ｂ）で例示するように、距離２ｍの場合においても相対座標が一致するように補正することが好ましい。そこで、広角カメラ２０で算出された顔幅(と視野幅の比率)を参照して、大まかに(例えば５０ｃｍ刻みで)距離を推定し、それに応じて狭角カメラ３０の補正量を切り替えることが好ましい。

図１４（ａ）は、５０ｃｍ刻みの狭角カメラ３０の補正量テーブルの一例である。このテーブルは、広角カメラ２０の視野における顔サイズから広角カメラ２０と顔との距離を算出し、その結果に応じて算出されたものである。図１４（ａ）の例では、水平方向および垂直方向は、角度を示している。なお、図１４（ｂ）〜図１４（ｄ）で例示するように、顔幅の検出を行うことによって、ＶＧＡ程度の安価なカメラを用いても、広角カメラ２０と顔との距離を算出することができる。

図１５（ａ）〜図１５（ｃ）で例示するように、右に示した距離と比率の対応結果から、近似式でリニアに（狭角カメラ３０の制御量）計算させてもよい。しかしながら、より制御を高速化するために右関係を５０ｃｍ刻みの離散値に対応づけてもよい。図１５（ｄ）および図１５（ｅ）で例示するように、ユーザがＣＭＯＳ画素設定を変更した場合、画素数そのものでは距離換算ができないが、顔幅の視野比率を算出して距離におきかえる方式ならば、比率一定なのでそのまま距離推定が適用できる。

図１５（ｆ）および図１５（ｇ）で例示するように、ユーザがレンズ画角を変更した場合、さらに広角に変更すると、顔幅の視野に占める比率も変化してしまう。しかしながら、ＣＭＯＳ画素数とレンズ画角情報を持っているので、補正した算出が可能である。

上記実施例においては、移動方向判定部５２が、広角カメラが取得する広角画像に基づいて、被写体に向けて狭角カメラの撮像方向を変更したと仮定した場合における被写体と狭角カメラとの距離を取得する取得部として機能する。また、移動方向判定部５２および狭角カメラ制御部５４が、狭角カメラの合焦距離と取得部が取得した距離との差分がしきい値未満であれば、狭角カメラの撮像方向を被写体に向けて変更して狭角カメラのピントを維持し、差分がしきい値以上であれば、狭角カメラの撮像方向を被写体に向けて変更して被写体に対してピントを合わせる制御部として機能する。ＰＴ制御量決定部５３が、広角画像における被写体の移動に基づいて、狭角カメラの撮像方向を変更する必要があるか否かを判断する判断部として機能する。赤外ＬＥＤ４０が、被写体に向けて光を照射する照射部として機能する。視線換算部５６および目視位置算出部５７が、目における角膜反射像と瞳孔との位置関係に基づいて、目の視線を検出する検出部として機能する。なお、上記実施例においては、被写体として顔に注目しているが、それに限られない。

（他の例）
図１６は、制御部５０の他のハードウェア構成を説明するためのブロック図である。図１６を参照して、制御部５０は、ＣＰＵ１０１、ＲＡＭ１０２、記憶装置１０３、インタフェース１０４などを備える。これらの各機器は、バスなどによって接続されている。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、中央演算処理装置である。ＣＰＵ１０１は、１以上のコアを含む。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２は、ＣＰＵ１０１が実行するプログラム、ＣＰＵ１０１が処理するデータなどを一時的に記憶する揮発性メモリである。記憶装置１０３は、不揮発性記憶装置である。記憶装置１０３として、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどのソリッド・ステート・ドライブ（ＳＳＤ）、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。ＣＰＵ１０１が撮像プログラムを実行することによって、視線検出装置１００に制御部５０が実現される。

以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０ モニタ
２０ 広角カメラ
３０ 狭角カメラ
４０ 赤外ＬＥＤ
５０ 制御部
５１ 顔輪郭検出部
５２ 移動方向判定部
５３ ＰＴ制御量決定部
５４ 狭角カメラ制御部
５５ 目領域検出部
５６ 視線換算部
５７ 目視位置算出部
５８ アプリ制御部
１００ 視線検出装置

Claims (11)

1. 広角カメラおよび狭角カメラと、
   前記広角カメラが取得する広角画像に基づいて、被写体に向けて前記狭角カメラの撮像方向を変更したと仮定した場合における前記被写体と前記狭角カメラとの距離を取得する取得部と、
   前記狭角カメラの合焦距離と前記取得部が取得した距離との差分がしきい値未満であれば、前記狭角カメラの撮像方向を前記被写体に向けて変更して前記狭角カメラのピントを維持し、前記差分が前記しきい値以上であれば、前記狭角カメラの撮像方向を前記被写体に向けて変更して前記被写体に対してピントを合わせる制御部と、を備えることを特徴とする撮像装置。
2. 前記広角画像における前記被写体の移動に基づいて、前記狭角カメラの撮像方向を変更する必要があるか否かを判断する判断部を備え、
   前記制御部は、前記判断部が前記撮像方向を変更する必要があると判断した場合に、前記差分と前記しきい値との比較を行うことを特徴とする請求項１記載の撮像装置。
3. 前記判断部は、前記広角画像における前記被写体の注目点の移動に基づいて、前記撮像方向を変更する必要があるか否かを判断することを特徴とする請求項２記載の撮像装置。
4. 前記取得部は、少なくとも前記広角画像における前記被写体の注目点のｙ座標の移動量に基づいて、前記被写体と前記狭角カメラとの距離を取得することを特徴とする請求項１〜３のいずれか一項に記載の撮像装置。
5. 前記制御部は、前記広角画像における前記被写体の輪郭領域のいずれかの幅を用いて、前記撮像方向の変更先を補正することを特徴とする請求項１〜４のいずれか一項に記載の撮像装置。
6. 前記被写体は、少なくとも目を含む顔の少なくとも一部の領域であることを特徴とする請求項１〜５のいずれか一項に記載の撮像装置。
7. 前記被写体に向けて光を照射する照射部と、
   前記目における角膜反射像と瞳孔との位置関係に基づいて、前記目の視線を検出する検出部と、を備えることを特徴とする請求項６に記載の撮像装置。
8. 前記広角カメラの光軸は、水平方向よりも斜め上方または斜め下方を向いていることを特徴とする請求項１〜７のいずれか一項に記載の撮像装置。
9. 前記しきい値は、前記狭角カメラが撮像していた前記被写体との距離における、前記狭角カメラのレンズの画角と前記被写体までの距離と絞り値とによって決まる、合焦していると見做す前後の距離範囲を示す被写界深度／２以下の値であることを特徴とする請求項１〜８のいずれか一項に記載の撮像装置。
10. 広角カメラが取得する広角画像に基づいて、被写体に向けて狭角カメラの撮像方向を変更したと仮定した場合における前記被写体と前記狭角カメラとの距離を取得し、
    前記狭角カメラの合焦距離と前記取得した距離との差分がしきい値未満であれば、前記狭角カメラの撮像方向を前記被写体に向けて変更して前記狭角カメラのピントを維持し、前記差分が前記しきい値以上であれば、前記狭角カメラの撮像方向を前記被写体に向けて変更して前記被写体に対してピントを合わせる、ことを特徴とする撮像方法。
11. 広角カメラが取得する広角画像に基づいて、被写体に向けて狭角カメラの撮像方向を変更したと仮定した場合における前記被写体と前記狭角カメラとの距離を取得し、
    前記狭角カメラの合焦距離と前記取得した距離との差分がしきい値未満であれば、前記狭角カメラの撮像方向を前記被写体に向けて変更して前記狭角カメラのピントを維持し、前記差分が前記しきい値以上であれば、前記狭角カメラの撮像方向を前記被写体に向けて変更して前記被写体に対してピントを合わせる、処理をコンピュータに実行させることを特徴とする撮像プログラム。

Images