JP7703357B2 - 視線情報取得装置、撮像装置、視線情報取得方法、およびプログラム - Google Patents

Description

本発明は、表示装置を観察する観察者の視線情報を取得する視線情報取得装置に関する。

ファインダ視野内を覗く撮影者の視線位置を検出することで、測距点を選択する方法が特許文献１に開示されている。特許文献１では、複数の測距点選択手段の優先度に応じて測距点選択を行うため、撮影者の意図に応じた測距点選択を実現することができる。特許文献１に記載の撮像装置は、ピント板上に光学像を形成するいわゆる光学ファインダを有している。

一方で、近年、光学ファインダを備えず、撮影光学系を通過した光束を受光する撮像素子で取得された映像を再生する表示装置として、電子ビューファインダ（ＥＶＦ）を有する撮像装置が存在する。光学ファインダを有する撮像装置が、光束分割手段を有するのに対して、電子ビューファインダを有する撮像装置は、光束分割手段を必要としない為、撮影範囲内のより広い範囲で焦点検出を行ったり、被写体検出を行ったりすることができる。

電子ビューファインダを備える撮像装置に対して、特許文献１に記載の視線位置検出技術を適用する構成が考えられる。このような構成では、動画像を撮像しながら、それを観察する視線位置を検出することができる。また、同様に、ＶＲゴーグルやＰＣなどに対して、視線位置検出技術を適用する構成も考えられる。このような構成では、動画像を視聴しながら、それを観察する視線位置を検出することができる。

特開２０１５‐２２２０８号公報

表示装置を観察する観察者の視線位置は、当該表示装置上にポインタによって表示することが考えられる。また、このようなポインタを表示するか非表示とするか設定可能とすることも考えられる。ポインタの表示・非表示を切り替え可能な場合、次のような課題が生じる。

例えば、視線位置を検出する手段を有し、電子ビューファインダを備える撮像装置において、視線位置がポインタ表示されていれば、撮影者は、被写体にポインタが到達したことを確認してから、視線位置の確定操作を行うことができる。一方で、視線位置がリアルタイムに表示されるため、視線位置にばらつきがあると、ポインタが揺れて視認性が悪い。視認性を改善するために、過去の所定期間に得られた視線位置を用いて移動平均処理などを行うことが考えられるが、ポインタ表示の即時性が損なわれる。一方で、ポインタ非表示の場合は、撮影者は、被写体にポインタが到達したかの確認ができないため、到達する前に視線位置の確定操作が行われる可能性がある。そのため、実際に見ている位置と制御に用いる視線位置との間に時間的に遅延があると、観察者が視線を移動させた直後に見ている位置を選択する操作を行った際に、誤った位置を選択するといった不具合が生じる。なお、ここでは撮像装置を例に課題の説明をしたが、表示装置を観察する観察者の視線位置を検出して制御に利用する電子機器一般で同様の課題が生じる。

本発明は、このような従来技術の問題点を鑑みてなされたものであり、ポインタの表示設定の有無にかかわらず、観察者が観察している位置を精度よく選択可能な視線情報の算出を実現することを目的とする。

上記目的を達成するための本発明の第一態様は、画像を表示する表示手段を観察する観察者の第１視線情報を取得する第１取得手段と、表示設定がオンに設定されている場合に、観察者の視線位置を示すポインタを前記表示手段に表示するポインタ表示手段と、前記第１視線情報に基づいて、第２視線情報を取得する第２取得手段と、を備え、前記第２取得手段は、複数の第１視線情報を用いて前記第２視線情報を算出するものであり、前記表示設定がオフの時には、前記表示設定がオンの時よりも少ない数の前記第１視線情報を用いて前記第２視線情報を算出する、視線情報取得装置である。

本発明の第二態様は、第１モードと第２モードを含む複数の撮像モードの中から、撮像
モードを設定するための設定手段と、前記撮像モードに応じて、画像を撮像する撮像手段と、前記画像を表示する表示手段と、前記表示手段を観察する観察者の第１視線情報を取得する第１取得手段と、前記第１視線情報に基づいて、第２視線情報を取得する第２取得手段を、を備え、前記第２取得手段は、複数の第１視線情報を用いて前記第２視線情報を算出するものであり、前記第２動作モードが設定されている時には、前記第１動作モードが設定されている時よりも少ない数の前記第１視線情報を用いて前記第２視線情報を算出する、撮像装置である。

本発明の第三態様は、視線情報取得装置が行う視線情報取得方法であって、画像を表示する表示手段を観察する観察者の第１視線情報を取得する第１取得ステップと、表示設定がオンに設定されている場合に、観察者の視線位置を示すポインタを前記表示手段に表示するポインタ表示ステップと、前記第１視線情報に基づいて、第２視線情報を取得する第２取得ステップと、を含み、前記第２取得ステップでは、複数の第１視線情報を用いて前記第２視線情報を算出し、前記表示設定がオフの時には、前記表示設定がオンの時よりも少ない数の前記第１視線情報を用いて前記第２視線情報を算出する、視線情報取得方法である。

本発明によれば、ポインタの表示設定の有無にかかわらず、観察者が観察している位置を精度よく選択可能な視線情報の算出が行える。

一実施形態の撮像装置の構成を示すブロック図 一実施形態の撮像装置の画素の瞳面と光電変換部の対応関係を示す図 一実施形態の撮像装置の画素の瞳面と開口部の対応関係を示す図 一実施形態の視線入力操作部の構成を示す図 一実施形態の視線入力操作部の構成を示す図 一実施形態における撮影動作を示すフローチャート 一実施形態の撮影サブルーチンの詳細を示すフローチャート 一実施形態の視線位置の加工処理を示すフローチャート 一実施形態のライブビュー設定情報において、視線位置のばらつきと、遅延の影響度が異なる理由について説明するための図 一実施形態の視線位置情報の信頼性判定について説明するための図 一実施形態の視線位置情報のジャンプ判定について説明するための図 一実施形態における視線検出と加工処理のタイミングチャートの一例 一実施形態における視線検出と加工処理のタイミングチャートの一例 一実施形態における視線検出と加工処理のタイミングチャートの一例 一実施形態の焦点検出領域の設定範囲を説明するための図 各視線位置における眼球の測定状態について説明するための図 ライブビュー表示の例を説明するための図 一実地形態における撮像装置の動作例を説明するための図 一実地形態における撮像装置の動作例を説明するための図 視線入力を受け付け可能な他の電子機器を説明するための図

以下に、本発明の具体的な実施の形態を、添付の図面に基づいて詳細に説明する。

［撮像装置の構成の説明］
図１は、一実施形態にかかる視線情報取得装置を含む撮像装置の構成を示すブロック図である。図１において、レンズユニット１５０は、交換可能な撮影レンズ１０３を搭載するレンズユニットである。撮影レンズ１０３は通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子６はレンズユニット１５０がデジタルカメラ１００側と通信を行う為の通信端子であり、通信端子１０はデジタルカメラ１００がレンズユニット１５０側と通信を行う為の通信端子である。レンズユニット１５０は、この通信端子６、１０を介してシステム制御部５０と通信し、内部のレンズシステム制御回路４によって絞り駆動回路２を介して絞り１０２の制御を行い、ＡＦ駆動回路３を介して撮影レンズ１０３の位置を変位させて焦点を合わせる。

シャッター１０１は、システム制御部５０の制御により撮像部２２の露光時間を自由に制御できるフォーカルプレーンシャッターである。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。撮像部２２から得られた信号は、撮像だけでなく、露出制御、焦点制御にも用いられる。

撮像部２２には、１つのマイクロレンズに対して、光電変換部が分割された画素が設けられている。光電変換部を分割することにより入射瞳が分割され、それぞれの光電変換部から位相差検出信号を得ることができる。また、分割された光電変換部からの信号を加算することにより、撮像信号も得ることができる。このような画素は、焦点検出画素と撮像画素を兼用できるというメリットがある。

図２は、本実施形態にかかる画素の構成と、瞳面と光電変換部の対応関係を示している。２０１ａおよび２０１ｂが光電変換部を、２５３ａおよび２５３ｂが瞳面を、２５１がマイクロレンズを、２５２がカラーフィルタをそれぞれ示している。図２には、光電変換部２０１ａ（第１焦点検出画素）と、光電変換部２０１ｂ（第２焦点検出画素）の２つの光電変換部２０１が設けられている。光電変換部２０１ａにおいて、瞳面２５３ａを通過した光が光電変換部２０１ａに入射する。また、光電変換部２０１ｂにおいて、瞳面２５３ｂを通過した光が光電変換部２０１ｂに入射する。これにより、光電変換部２０１ａと、光電変換部２０１ｂから得られた信号から焦点状態の検出（焦点検出）が行える。また、光電変換部２０１ａと、光電変換部２０１ｂから得られた信号を加算することにより、撮像信号を生成することができる。ここでは１画素が２つの光電変換部を有する例を示したが、１画素がより多く（例えば４つ）の光電変換部を有してもよい。

本実施形態では、図２に示した画素を、撮像部２２の全画面領域に設けることにより、画面上に写るいずれの被写体に対しても、位相差検出により焦点を合わせることが可能となる。なお、本実施形態では、上記の焦点検出方式で説明を行うが、焦点検出方式はこの場合に限らない。例えば、別の実施形態では、撮像部２２に、後述の図３に示す焦点検出専用画素を設けて焦点検出を行ってもよい。また、撮像部２２には、焦点検出用の画素を設けず、撮像用の画素のみを設け、コントラスト方式で焦点検出を行ってもよい。

図３は、別の実施形態に係る、焦点検出専用画素の構成と、瞳面と光電変換部の対応関係を示している。図３は、図２と異なり、焦点検出専用の画素である。瞳面２５３の形状は、開口部２５４により決定される。また、瞳面２５３を通過した光のみを検出するため、対となる画素、具体的には、図３において不図示の右側の瞳面からの光を検出する画素、を別途設けて焦点検出信号を取得する必要がある。撮像部２２に、図３に示す焦点検出画素と、撮像画素を全画面領域に設けることにより、画面上に写るいずれの被写体に対しても、位相差検出により焦点を合わせることが可能となる。

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示手段としての表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器
１９は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１９を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１９からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１９においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示（ライブビュー表示）を行える。表示部２８は、撮像手段によって撮像された画像を表示する表示手段に相当する。なお、表示部２８は、不図示の接眼部を通して覗き込む電子ビューファインダであっても、デジタルカメラ１００の背面にディスプレイであってもよい。また、撮像装置１００は、表示部２８として、電子ビューファインダと、背面のディスプレイの両方を有してもよい。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、デジタルカメラ１００全体を制御する。システム制御部５０は、演算プロセッサーを有しており、当該演算プロセッサーが前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。５２はシステムメモリであり、例えばＲＡＭである。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が格納される。また、システム制御部はメモリ３２、Ｄ／Ａ変換器１９、表示部２８等を制御することにより表示制御も行う。システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

電源スイッチ７２はデジタルカメラ１００の電源のＯＮ及びＯＦＦを切り替える操作部材である。モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。シーンモードの例として、スポーツシーン用モードまたは高速被写体撮影用モードが挙げられる。モード切り替えスイッチ６０で、メニューボタンに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切り替えスイッチ６０でメニューボタンに一旦切り換えた後に、メニューボタンに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。

第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しか
ら記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

操作部７０は、ユーザーからの操作を受け付ける入力部としての各種操作部材である。操作部７０には、メニュー選択、モード選択、撮影した動画像の再生などを実施するための電子ボタンや十字キーなどが設けられている。

本実施形態では、操作部７０の１つとして、視線入力操作部７０１が設けられている。視線入力操作部７０１は、表示部２８を観察するユーザー（観察者）の視線が表示部２８のいずれの箇所を見ているかを検出するための操作部材である。ユーザーは視線入力操作部７０１を用いて視線位置を用いた操作が可能となる。

図４は、視線入力操作部７０１の一例を示す。図４に示す構成は、ファインダ視野内を覗くユーザーの眼球５０１ａの光軸の回転角を検出し、検出した回転角からユーザーの視線を検出する方式を実現する構成である。当該構成の視線入力操作部７０１は、イメージセンサ７０１ａ、受光レンズ７０１ｂ、ダイクロイックミラー７０１ｃ、接眼レンズ７０１ｄ、および照明光源７０１ｅを含んで構成される。表示部２８には、レンズユニット１５０を通して撮影されたライブビュー表示画像が表示されている。照明光源７０１ｅにより、眼球５０１ａに赤外光が投射される。眼球５０１ａを反射した赤外光は、ダイクロイックミラー７０１ｃで反射され、イメージセンサ７０１ａにより撮影される。撮影された眼球画像は、不図示のＡ／Ｄ変換器によりデジタル信号に変換され、システム制御部５０に送信される。視線情報生成手段、および、視線位置情報出力手段としてのシステム制御部５０では、撮影された眼球画像から、瞳孔の領域などを抽出し、ユーザーの視線を算出する。

なお、視線入力操作部７０１は、この方式に限らず、ユーザーの両目を撮影し、視線を検出する方式でもよい。図５には、図４とは異なる視線入力操作部７０１の一例を示す。図５は、デジタルカメラ１００の背面に設けられている表示部２８に、レンズユニット１５０を通して撮影されたライブビュー表示画像が表示されている。図５では、デジタルカメラ１００の背面に、表示部２８を観察しているユーザーの顔５００を撮影するカメラ７０１ｆが設けられている。図５において、カメラ７０１ｆが撮影する画角を点線で示している。不図示の照明光源７０１ｅからユーザーの顔に投光を行い、カメラ７０１ｆにより眼球画像を取得する。これにより、ユーザーの視線を算出する。なお、視線入力操作部７０１は、この方式に限らず、ユーザーが表示部２８のいずれの箇所を注視しているかを検出できる構成であればよい。

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電
池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ/Ｆ１８は、メモリ
カードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

通信部５４は、無線または優先ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部５４は無線ＬＡＮ（Local Area Network）やインターネットとも接続可能である。通信部５４は撮像部２２で撮像した画像（スルー画像を含む）や、記録媒体２００に記録された画像を送信可能であり、また、外部機器から画像データやその他の各種情報を受信することができる。

姿勢検知部５５は重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像なのかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルへの付加や、画像を回転して記録することが可能である。姿勢検知部５５としては、加速度センサやジャイロセンサーなどを用いることができる。

上述したデジタルカメラ１００では中央１点ＡＦや顔ＡＦを用いた撮影が可能である。中央１点ＡＦとは撮影画面内の中央位置１点に対してＡＦを行うことである。顔ＡＦとは顔検出機能によって検出された撮影画面内の顔に対してＡＦを行うことである。

顔検出機能について説明する。システム制御部５０は顔検出対象の画像データを画像処理部２４に送る。システム制御部５０の制御下で画像処理部２４は、当該画像データに水平方向バンドパスフィルタを作用させる。また、システム制御部５０の制御下で画像処理部２４は処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。

その後、システム制御部５０は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、システム制御部５０は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、システム制御部５０は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルターを通すことで、顔を検出する。システム制御部５０は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、顔の数などの特徴量をシステムメモリ５２に記憶する。顔検出機能の実現方法は、上述の方法に限らず、公知の機械学習を用いた方法により、同様に、顔の数、サイズ、パーツなどを検出してもよい。また、被写体の種別として、人物の顔に限らず、動物や乗り物などを検出してもよい。

以上のようにライブビュー表示あるいは再生表示される画像データを画像解析して、画像データの特徴量を抽出して被写体情報を検出することが可能である。本実施形態では被写体情報として顔情報を例に挙げたが、被写体情報には他にも赤目判定や目の検出、目つむり検出、笑顔検出等の様々な情報がある。

なお、顔ＡＦと同時に顔ＡＥ，顔ＦＥ、顔ＷＢを行うことができる。顔ＡＥとは検出された顔の明るさに合わせて、画面全体の露出を最適化することである。顔ＦＥとは検出された顔を中心にフラッシュの調光をすることである。顔ＷＢとは、検出された顔の色に合わせて画面全体のＷＢを最適化することである。

［視線検出及び撮影動作の説明］
以下、図６から図１６を参照して、本実施形態における視線位置の検出処理方法について説明する。

図６は、本実施形態の撮像装置の焦点検出、視線検出及び撮影動作を説明するためのフローチャートである。図６は、撮影スタンバイ状態などのライブビュー状態（動画撮影状態）から撮影を行うライブビュー撮影時の動作を示し、システム制御部５０が主体となって実現される。

Ｓ１では、システム制御部５０の制御に従い、撮像部２２を駆動し、撮像データを取得する。取得する撮像データは、後述する記録用ではなく、検出・表示用の画像であるため、記録画像に対してサイズの小さい画像を取得する。Ｓ１では、焦点検出や被写体検出、もしくは、ライブビュー表示を行うために十分な解像度を有する画像を取得する。ここでは、ライブビュー表示用の動画撮影のための駆動動作であるため、ライブビュー表示用のフレームレートに応じた時間の電荷蓄積と読み出しを行う、いわゆる電子シャッターを用いた撮影を行う。ここで行うライブビュー表示は、撮影者が撮影範囲や撮影条件の確認を行うためのもので、例えば、３０フレーム／秒（撮影間隔３３．３ｍｓ）や６０フレーム／秒（撮影間隔１６．６ｍｓ）であってよい。

Ｓ２で、システム制御部５０は、Ｓ１で得られた撮像データのうち、焦点検出領域に含まれる第１焦点検出画素と第２焦点検出画素から得られる焦点検出データを取得する。また、システム制御部５０は、第１焦点検出画素と第２焦点検出画素の出力信号を加算し撮像信号を生成し、画像処理部２４で色補間処理などを適用して得られる画像データを取得する。このように、１回の撮影により、画像データと、焦点検出データとを取得することができる。なお、撮像画素と、第１焦点検出画素、第２焦点検出画素を個別の画素構成とした場合には、撮像画素から得られるデータに焦点検出用画素の補完処理などを行って画像データを取得する。

Ｓ３で、システム制御部５０は、Ｓ２で得られた画像データをもとに、画像処理部２４を用いてライブビュー表示用の画像を生成し、表示部２８に表示する。なお、ライブビュー表示用の画像は、例えば表示部２８の解像度に合わせた縮小画像であり、Ｓ２で画像データを生成する際に画像処理部２４で縮小処理を実施することもできる。この場合、システム制御部５０はＳ２で取得した画像データを表示部２８に表示させる。上述の通り、ライブビュー表示中は所定のフレームレートでの撮影と表示が行われるため、表示部２８を通じて撮影者は撮影時の構図や露出条件の調整などを行うことができる。 また、上述の
通り、本実施形態では、被写体として人物の顔や動物などを検出することが可能である。Ｓ３で、ライブビュー表示の開始に合わせて、検出している被写体の領域を示す枠などの表示も行う。

Ｓ４で、システム制御部５０は、視線検出、および焦点検出を開始する。Ｓ４以降、視線入力操作部７０１により、撮影者が、表示部２８上のどの位置を観察しているか（視線位置）を、撮影者が観察していた表示画像と関連付けて、所定の時間間隔で取得する。検出された視線位置には、ばらつきを抑制するための加工処理（スムージング処理）が施される。視線位置（ポインタ）の表示設定が「表示する」あるいはオンに設定されている場合、検出された視線位置を撮影者に通知するため、システム制御部５０は、表示部２８上の視線位置（上述した加工後の視線位置）に対応する位置または領域にポインタを表示する。視線位置の表示設定が「表示しない」あるいはオフに設定されている場合には、システム制御部５０は、視線位置を表すポインタを表示部２８上に表示しない。Ｓ４における視線位置の検出および加工については後述する。表示部２８にポインタを表示するための
制御を行うシステム制御部５０が、表示設定がオンに設定されている場合に、観察者の視線位置を示すポインタを表示部２８に表示するポインタ表示手段に相当する。

Ｓ５で、システム制御部５０は、撮影準備開始を示す第１シャッタースイッチ６２（Ｓｗ１）のオン／オフを検出する。操作部７０の一つであるシャッターボタン６１は、押し込み量に応じて、２段階のオン／オフを検出することが可能で、上述のＳｗ１のオン／オフは、レリーズ（撮影トリガ）スイッチの１段階目のオン／オフに相当する。

Ｓ５でＳｗ１のオンが検出されない（あるいはオフが検出された）場合、システム制御部５０は処理をＳ１１に進め、操作部７０に含まれるメインスイッチがオフされたか否かを判別する。一方、Ｓ５でＳｗ１のオンが検出されると、システム制御部５０は処理をＳ６に進め、合焦させる焦点検出領域の設定、および焦点検出を行う。第１シャッタースイッチ（Ｓｗ１）６２が視線位置の入力を確定する確定操作を受け付ける受付手段に相当し、システム制御部５０は、確定操作を受け付けた時点での加工後視線位置を用いて、焦点検出領域を設定する。Ｓ４で検出される視線位置は、撮影者が意図する被写体の位置に対して、様々な要因で、誤差を有する。本実施形態では、検出される視線位置情報を、状況に応じて加工したり、検出タイミングの制御をしたりといった処理をすることにより、より精度の高い視線位置情報を取得する。詳細は、後述する。

Ｓ６で、システム制御部５０は、後述する処理が施された視線位置情報（加工後の視線位置情報、第２視線情報）を用いて焦点検出領域を設定し、焦点検出領域に対する焦点検出処理を行う。システム制御部５０は、設定された焦点検出領域を示す枠であるＡＦ枠（焦点検出枠とも称する）を、表示部２８に表示してもよい。焦点検出領域を示す表示は例えば、焦点検出領域を示す矩形の枠であり、ＡＦ枠とも呼ばれる。Ｓ６以降、視線位置情報を用いた焦点検出領域の設定と、焦点検出処理は、撮像を行うたびに、繰り返し実行される。

Ｓ６における焦点検出領域の設定の詳細は後述するものとし、まず焦点検出領域に対する焦点検出処理について説明する。焦点検出処理は、焦点検出領域における焦点のずれ量（デフォーカス量）とそのずれの向き（前後）を求める処理である。

システム制御部５０は、設定された焦点検出領域に対応する焦点検出データを用いて、デフォーカス量および方向を焦点検出領域ごとに求める。本実施形態では、システム制御部５０が焦点検出用の像信号の生成と、焦点検出用信号のずれ量（位相差）の算出と、算出したずれ量からデフォーカス量と方向を求める処理を実施するものとする。

システム制御部５０は、設定した焦点検出領域から、焦点検出用の像信号として得られた第１焦点検出信号と第２焦点検出信号に、シェーディング補正、フィルター処理を行い、対の信号の光量差の低減と、位相差検出を行う空間周波数の信号抽出を行う。次に、システム制御部５０は、フィルター処理後の第１焦点検出信号と第２焦点検出信号を相対的に瞳分割方向にシフトさせるシフト処理を行い、信号の一致度を表す相関量を算出する。

フィルター処理後のｋ番目の第１焦点検出信号をＡ（ｋ）、第２焦点検出信号をＢ（ｋ）、焦点検出領域に対応する番号ｋの範囲をＷとする。さらに、シフト処理によるシフト量をｓ１、シフト量ｓ１のシフト範囲をΓ１とすると、相関量ＣＯＲは、式（１）により算出される。

シフト量ｓ１のシフト処理により、ｋ番目の第１焦点検出信号Ａ（ｋ）とｋ－ｓ１番目の第２焦点検出信号Ｂ（ｋ－ｓ１）を対応させ減算し、シフト減算信号を生成する。生成されたシフト減算信号の絶対値を計算し、焦点検出領域に対応する範囲Ｗ内で番号ｋの和を取り、相関量ＣＯＲ（ｓ１）を算出する。必要に応じて、各行毎に算出された相関量を、シフト量毎に、複数行に渡って加算しても良い。

次に、相関量から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して像ずれ量ｐ１とする。そして、算出した像ずれ量ｐ１に、焦点検出領域の像高と、撮像レンズ（結像光学系）のＦ値、射出瞳距離に応じた変換係数Ｋ１をかけて、検出デフォーカス量を検出する。

Ｓ７で、システム制御部５０は、選択した焦点検出領域で検出されたデフォーカス量に基づき、焦点検出領域に焦点が合うようにレンズ駆動を行う。検出されたデフォーカス量が所定値より小さい場合には、必ずしもレンズ駆動を行う必要はない。

Ｓ８で、システム制御部５０は、Ｓ１で行った検出・表示用の画像の取得とライブビュー表示、および、Ｓ６で行った焦点検出処理を行う。ライブビュー表示には、上述の通り検出された被写体領域が重畳して表示される。また、表示ポインタの表示設定が有効な場合には、加工済み視線位置情報（第２視線情報）を用いて視線位置の情報も重畳して表示する。Ｓ８で行う処理は、Ｓ７のレンズ駆動中に、並列的に行ってもよい。また、随時更新されるライブビュー表示に合わせて、得られる視線位置に対応させて、焦点検出領域を変更してもよい。

焦点検出処理を終えるとＳ９に進み、システム制御部５０は撮影開始指示を示す第２シャッタースイッチ６４（Ｓｗ２）のオン／オフを検出する。操作部７０の一つであるレリーズ（撮影トリガ）スイッチは、押し込み量に応じて、２段階のオン／オフを検出することが可能で、上述のＳｗ２は、レリーズ（撮影トリガ）スイッチの２段階目のオン／オフに相当する。システム制御部５０は、Ｓ９でＳｗ２のオンが検出されない場合、Ｓ５に戻り、Ｓｗ１のオン／オフを検出する。

Ｓ９でＳｗ２のオンが検出されるとシステム制御部５０は処理をＳ１０に進め、画像記録を行うか否かを判定する。本実施形態では、連写中の画像取得を、記録画像用と撮像/
表示、焦点検出用で、処理を切り替える。切り替えは、交互でもよいし、例えば、３回に１回撮像/表示、焦点検出を行うなどしてもよい。これにより、単位時間当たりの撮影枚
数を、大幅に減らすことなく、高精度な焦点検出を行うができる。

Ｓ１０で画像記録を行うと判定した場合には、Ｓ３００に進み、撮影サブルーチンを実行する。撮影サブルーチンの詳細については後述する。Ｓ３００で撮影サブルーチンが実行されるとＳ９に戻り、Ｓｗ２のオンが検出される、すなわち連写指示がされているか否かを判断する。

Ｓ１０で撮像/表示、焦点検出を行うと判定した場合には、Ｓ４００に進み、連写中の
撮像/表示、焦点検出処理を実行する。連写中の撮像/表示、焦点検出処理は、実行する処理の内容は、Ｓ８と同じである。違いは、連写の撮影コマ速、記録画像の生成処理などに応じて、Ｓ４００で撮像した画像の表示期間、表示更新レート（間隔）、表示遅延が、Ｓ８の処理の場合と異なっている点である。表示制御手段としてのシステム制御部５０が、上述の表示制御を行う。本実施形態のように、連写中に、表示画像の表示期間、更新レート、表示遅延が変わった際に、撮影者の視線位置は、少なからず影響を受ける。本実施形態では、上述の表示仕様の状態や切り替わりに応じて、検出される視線位置に誤差が生じ
ることを鑑みて、適切に視線位置の加工や検出処理の制御を行う。これにより、表示仕様の変化によらず、精度の高い視線位置を取得することができる。得られた視線位置情報は、上述の通り、焦点検出領域の設定や検出された被写体領域との紐づけなどに用いる。詳細は後述する。Ｓ４００で連写中の撮像/表示、焦点検出処理が実行されるとＳ９に戻り
、Ｓｗ２のオンが検出される、すなわち連写指示がされているか否かを判断する。

Ｓ５でＳｗ１のオンが検出されず（あるいはオフが検出された）、かつ、Ｓ１１でメインスイッチのオフが検出されると、焦点検出及び撮影動作を終了する。一方で、Ｓ１１でメインスイッチのオフが検出されない場合には、Ｓ２に戻り、画像データ、焦点検出データの取得を行う。

次に、図７に示すフローチャートを用いて、図６のＳ３００で実行する撮影サブルーチンの詳細について説明する。本サブルーチンの一連の動作も、システム制御部５０が主体となって実現される。

Ｓ３０１で、システム制御部５０は、露出制御処理を実行し、撮影条件（シャッタ速度、絞り値、撮影感度）を決定する。この露出制御処理は、システム制御部５０が画像データの輝度情報に基づいて行うことができるが、任意の公知技術を用いることができる。本実施形態において、露出制御処理を行う際に用いる画像データを得るタイミングなどの詳細は後述する。

Ｓ３０１で、システム制御部５０は、決定した絞り値とシャッター速度に基づいて、シャッター１０１の動作を制御する。また、システム制御部５０により、シャッター１０１を通じて撮像部２２が露光される期間、電荷蓄積を行わせる。

露光期間が終了すると、Ｓ３０２で、システム制御部５０は、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行う。また、第１焦点検出画素、もしくは、第２焦点検出画素のいずれかの画像読み出しを行う。焦点検出画素から読みだされた信号は、画像再生時に、被写体のピント状態を検出するために用いられる。そのため、高画素静止画撮影の記録画像に対して、領域の制限や、全画素に対して低解像度にすることで、読出しデータ量を低減してもよい。第１焦点検出画素、もしくは第２焦点検出画素の信号があれば、高画素静止画撮影のための画像との差分を算出することで、もう一方の焦点検出信号を算出することができる。本実施形態では、高画素静止画撮影のための画像の信号のＳ／Ｎを優先するため、高画素静止画撮影のための画像信号と一方の焦点検出信号を読み出し、記録し、もう一方の焦点検出信号は演算により算出する。以降の画像に関する処理は、高画素静止画撮影のための画像信号と一方の焦点検出信号に対して施される。

Ｓ３０３で、システム制御部５０は、読み出された画像データに対して画像処理部２４によって欠陥画素補正処理を実施する。Ｓ３０４で、システム制御部５０は、欠陥画素補正後の画像データに対して画像処理部２４によってデモザイク（色補間）処理、ホワイトバランス処理、γ補正（階調補正）処理、色変換処理、エッジ強調処理等の画像処理や、符号化処理などを適用する。Ｓ３０５で、システム制御部５０は、高画素静止画撮影のための画像信号と一方の焦点検出信号を画像データファイルとしてメモリ３２に記録する。

Ｓ３０６で、システム制御部５０は、Ｓ３０５で記録した撮影画像に対応させて、カメラ本体の特性情報をメモリ３２とシステム制御部５０内のメモリに記録する。ここでカメラ本体の特性情報としては、以下の様な情報が例示できる。
・撮影条件（絞り値、シャッタ速度、撮影感度など）
・画像処理部２４で適用した画像処理に関する情報、
・撮像部２２の撮像用画素及び焦点検出用画素の受光感度分布情報、
・カメラ本体内での撮影光束のケラレ情報、
・カメラ本体とレンズユニットとの取り付け面から撮像部２２までの距離情報、
・製造誤差情報

なお、撮像部２２の撮像用画素及び焦点検出用画素の受光感度分布情報は、オンチップマイクロレンズＭＬと光電変換部ＰＤに依存する情報であるため、これら部材に関する情報を記録しても良い。受光感度分布情報は、撮像素子から光軸上の所定の距離における位置に応じた感度の情報である。また、受光感度分布情報は、光の入射角度に対する感度の変化を情報としてもよい。

Ｓ３０７で、システム制御部５０は、Ｓ３０５で記録した撮影画像に対応させて、レンズユニットの特性情報をメモリ３２とシステム制御部５０内のメモリに記録する。レンズユニットの特性情報としては、射出瞳の情報、枠情報、撮影時の焦点距離やＦナンバー情報、収差情報、製造誤差情報、撮影時のフォーカスレンズ位置と対応付けられた被写体距離情報などが例示できる。

Ｓ３０８で、システム制御部５０は、撮影した画像に関する画像関連情報をメモリ３２とシステム制御部５０内のメモリに記録する。画像関連情報には、撮影前の焦点検出動作に関する情報や、被写体移動情報、焦点検出動作の精度に関わる情報などが含まれてよい。

Ｓ３０９で、システム制御部５０は、表示部２８に、撮影画像のプレビュー表示を行う。これにより撮影者は、撮影画像の簡易的な確認を行うことができる。Ｓ３０９で行うプレビュー表示に用いる画像は、画像の簡易的な確認が目的であるため、Ｓ３０３やＳ３０４で行う各種処理を行わなくてもよい。これらの各種処理を行わない場合には、Ｓ３０３以降の処理と並列して、Ｓ３０９のプレビュー表示を行うことで、より露光から表示までのタイムラグを少なくすることができる。

Ｓ３０９の処理が終わると、システム制御部５０はＳ３００の撮影サブルーチンを終了し、メインルーチンのＳ９に処理を進める。本実施形態では、連写中は、Ｓ３００の撮影サブルーチンで画像記録する場合も、Ｓ４００で連写中の撮像/表示、焦点検出処理を行
う場合も、取得した画像の表示を行う。

（視線位置加工フロー）
次に、図８を用いて、図６のＳ４の視線位置検出処理の詳細、特に、検出された視線位置情報の精度を向上するための視線位置の加工処理について説明する。図８は、視線位置情報の加工処理方法を説明するためのフローチャートである。図８の処理は、図６のＳ４以降、システム制御部５０が主体となって、並行して処理が実行される。

図６のＳ４において視線検出が開始されると、システム制御部５０は、視線入力操作部７０１のイメージセンサ７０１ａによって撮影した眼球画像から、撮影者の視線位置を検出する処理を継続的に行う。視線位置の検出は、瞳孔中心とプルキニエ像の位置に基づいて行えばよい。検出された視線位置は、撮影者が観察していた表示画像と関連付けてメモリ３２に記憶される。ここでは、１枚の眼画像から得られる視線位置に関する情報を「加工前視線位置情報」（第１視線情報）と称するが、後述する加工後視線位置情報との区別が明確である場合には単に視線位置情報とも称することがある。図８の処理が開始される時点で、メモリ３２には加工前視線位置情報が複数格納されているものとする。

Ｓ２０１では、システム制御部５０は、メモリ３２から、直近の複数フレームにおいて検出された加工前視線位置情報を取得する。なお、メモリ３２から加工前視線位置情報（
第１視線情報）を取得するシステム制御部５０が、表示部２８を観察する観察者の第１視線情報を取得する第１取得手段に相当する。

Ｓ２０２で、システム制御部５０は、視線位置情報を取得した期間内あるいは現時点でのライブビュー設定情報を取得する。ライブビュー設定情報は、視線位置を通知するためのポインタを表示するか非表示とするかを示すポインタの表示設定情報を含む。図１７（ａ）は、ポインタ表示設定時のライブビュー画像であり、図１７（ｂ）は、ポインタ非表示設定時のライブビュー画像である。ポインタ表示時は、ポインタＰｔ１が、視線位置を中心に表示され、ポインタ非表示時には、ポインタＰｔ１は表示されない。本実施形態の撮像装置では、ライブビュー設定情報（ポインタ表示設定）に応じて、撮影者が視線位置を確定するタイミングが異なり、視線位置のばらつき、および加工処理による遅延がシステム動作およびユーザーの使用感に与える影響度が異なる。そのため、本実施形態では、Ｓ２０１で得られた視線位置情報の加工処理の内容を、Ｓ２０２で取得するライブビュー設定情報に応じて切り替える。すなわち、システム制御部５０は、ポインタの表示設定に応じて異なる方法で加工後視線位置情報（第２視線情報）を取得する第２取得手段に相当する。ライブビュー設定情報によって、視線位置のばらつきと、遅延の影響度が異なる原因については、後述する。

Ｓ２０３で、システム制御部５０は、Ｓ２０２で取得したライブビュー設定情報が、ポインタ非表示かどうかの判定を行う。ポインタ非表示の場合にはＳ２０４へ、ポインタ表示の場合にはＳ２０５へ処理を進める。

次に、システム制御部５０は、ポインタ非表示時にはＳ２０４で、Ｓ２０６～Ｓ２０８の処理で用いるパラメータである、信頼性判定閾値(Ｔｈ２)、ジャンプ判定フレーム数（Ｎ２）、平均化処理フレーム数（Ｎ４）を非表示時用の値で設定する。

次に、システム制御部５０は、ポインタ表示時にはＳ２０５で、Ｓ２０６～Ｓ２０８の処理で用いるパラメータである、信頼性判定閾値(Ｔｈ１)、ジャンプ判定フレーム数（Ｎ１）、平均化処理フレーム数（Ｎ３）を表示時用の値で設定する。

ここで、信頼性判定閾値Ｔｈ１の方が信頼性判定閾値Ｔｈ２よりも小さく、ジャンプ判定フレーム数Ｎ１の方がジャンプ判定フレーム数Ｎ２よりも大きく、平均化処理フレーム数Ｎ３の方が平均化処理フレーム数Ｎ４よりも大きい。ポインタ表示時とポインタ非表示時でこのようなパラメータを採用する理由は後述する。

Ｓ２０６で、システム制御部５０は、加工前視線位置情報の信頼性判定を行う。Ｓ２０６を実行するシステム制御部５０が、加工前視線位置情報（第１視線情報）が信頼できるか否かを判定する第１判定手段に相当する。

検出された視線位置情報は、撮影者の瞳の生理的なばらつきや、視線を検出する検出器の検出ばらつきなどによって、撮影者が意図している位置とは異なる位置となる場合がある。そのため、視線位置情報の信頼性判定を行い、信頼性ＮＧの視線位置情報は、Ｓ２０８で処理を行う視線位置情報の加工処理に用いず、信頼性ＯＫの視線情報のみを用いて処理を行う。また、本実施形態では、ポインタの表示設定に応じて、異なる信頼性判定処理を行う。Ｓ２０６の信頼性判定の詳細については、後述する。

Ｓ２０７で、システム制御部５０は、加工前視線位置情報のジャンプ判定を行う。Ｓ２０７を実行するシステム制御部が、加工前視線位置情報（第１視線情報）のジャンプが発生したか否かを判定する第２判定手段に相当する。

検出された視線位置が大きく変化した場合には、撮影者が意図して大きく位置を変えた場合と、上述したばらつきによって大きく位置が変わってしまった場合がある。そして、視線位置の大きな変化がどちらを原因とするものかによって、加工後の視線位置の決定方法を変えることが望ましい。そこでシステム制御部５０は、複数回にわたって検出された位置情報に対して、特定フレームとの差が所定値以上かの判定を行い、所定値以上であるフレームが所定フレーム以上連続している場合に、撮影者が意図して大きく変えた（ジャンプ）したと判定する。また、本実施形態では、ポインタの表示設定に応じて、異なる判定処理を行う。Ｓ２０７のジャンプ判定の詳細は、後述する。

Ｓ２０８で、システム制御部５０は、視線位置情報の加工処理を行う。Ｓ２０８を実行するシステム制御部５０が、加工前視線位置情報（第１視線情報）に基づいて、加工後視線位置情報を取得する第２取得手段に相当する。

本実施形態における加工処理は、複数回にわたって検出された位置情報(座標)に対するスムージング処理であり、加工前位置情報の位置変動のばらつきを抑制して滑らかな位置変化となるようにする加工処理である。本実施形態では、システム制御部５０は、ポインタの表示設定に応じて異なる加工処理を行う。具体的には、スムージング処理に用いる視線位置情報の個数（フレーム数）が、ポインタの表示設定に応じて異なる。また、スムージング処理に用いる視線位置情報は、Ｓ２０６の信頼性判定の結果、およびＳ２０７のジャンプ判定の結果によって異なる。したがって、ポインタの表示設定（Ｓ２０３の判定結果）に応じて、Ｓ２０４～Ｓ２０８で行われる処理が切り替わることによって、視線位置情報の加工処理の内容が異なるものとなる。Ｓ２０８の視線位置情報の加工処理のさらなる詳細は、後述する。

Ｓ２０９で、加工処理を施された視線位置情報を出力する。出力された情報は、上述の図６のＳ６で説明したように、焦点検出領域の設定に用いられる。Ｓ２０９の処理を終えると、本フローの処理を終了する。

（ばらつきと遅延の関係）
図９を用いて、図８のＳ２０２で説明したライブビュー設定情報で、視線位置のばらつきと、加工処理による遅延が、確定視線位置とユーザーの使用感に与える影響度が異なる理由について説明する。図９は、撮影中のシーンの一例を示しており、左側の人から右側の人へ撮影対象を変更し、視線を移動させている状況である。図９（ａ）のＰ１～Ｐ５は、加工前の視線位置、図９（ｂ）のＡ１～Ａ５は、加工後の視線位置を示している。加工処理は、複数フレームでの平均化処理であり、例えば、Ｐ１～Ｐ３の視線位置の平均化処理によって、Ａ３が算出される。

図９（ａ）の加工前の視線位置は、Ｐ１からＰ５で示すようにフレームごとに視線位置がばらついて、視線位置が揺れてしまい、そのまま視線位置にポインタ表示してしまうと、撮影者にとって視認性の良い表示とは言えない。このような現象は、視線位置が、固定点を注視していても生じるバラツキに加えて、動いている被写体を観察することによるバラツキがあるため、常に、人物の顔の瞳を注視し続けるということは困難で、一定の誤差ばらつきを有しているために生じる。

一方で、図９（ｂ）の加工後の視線位置は、Ｐ１からＰ５に示す視線位置表示に対して、ばらつきが小さく抑制されている様子が示されている。このように加工後の視線位置は、ばらつき抑制により、揺れが小さくなるため撮影者にとって視認性の良い視線位置といえる。しかし、複数フレームの視線情報から加工後の視線位置Ａ１～Ａ５は算出されているため、加工前の視線位置Ｐ１からＰ５に対して遅延が生じる。すなわち、加工後の視線位置は、複数フレーム前の実際の視線位置を平均化して求めることにより、現時点での視
線位置よりも前の時点で見ていた位置となってしまう。

ライブビュー設定が、ポインタ表示ありである場合には、撮影者はポインタが被写体に重なったことを確認して確定操作を実行することが可能なため、遅延があっても適切に被写体を選択できる。一方、ポインタが表示されるため、視線位置がばらつくと視認性が悪い。そのため、ポインタ表示設定時には、遅延抑制よりも視認性を重視した視線位置の加工を行う。

ライブビュー設定が、ポインタ非表示の場合には、撮影者はポインタが被写体に重なったことを確認して確定操作を実行することができない。撮影者は、被写体を見たと思った時点で確定操作を実行するため、ポインタ表示の場合よりも、確定操作を実行するタイミングが早くなり、遅延の影響により被写体を選択できない場合がある。一方、ポインタが表示されないため、視線位置がばらついても視認性への影響はない。そのため、ポインタ非表示設定時には、視認性よりも遅延抑制を重視した視線位置の加工を行う。

（信頼性判定）
図１０を用いて、図８のＳ２０６で説明した信頼性判定について説明する。図１０の横軸は時間、縦軸は信頼性評価値である。Ｉ１～Ｉ１１は、各フレームの視線情報に対する信頼性評価値である。Ｔｈ１は、ライブビュー設定がポインタの表示設定がオンの時の信頼性判定閾値、Ｔｈ２は、ライブビュー設定がポインタの表示設定がオフの時の信頼性判定閾値であり、Ｔｈ１の方がＴｈ２よりも小さい。

本実施形態において、ポインタの表示設定がオンの時の信頼性判定閾値Ｔｈ１を厳格な値に設定し、ポインタの表示設定がオフ（非表示）の時には、信頼性判定閾値Ｔｈ２をＴｈ１に比べて緩い値に設定している。したがって、ポインタの表示設定がオンの時には、表示設定がオフな時よりも厳格な判定閾値を用いて、信頼性判定が行われる。図１０においては、ポインタ表示時には、Ｉ５、Ｉ１１が、ポインタ非表時には、Ｉ１１のみが信頼性ＮＧとなる。

ポインタの表示設定がオンの時には、表示設定がオフの時よりも厳格な信頼性判定閾値を用いる理由は次の通りである。信頼性判定閾値が厳格なほど信頼性ＮＧと判定されるフレームが多くなる。後述するように、Ｓ２０８の視線位置情報の加工処理では、視線位置の加工処理において信頼性できないと判定された視線位置は用いずに、信頼できると判定された視線位置のみを用いて加工後視線位置を求める。したがって、信頼性判定閾値が厳格なほど、直近のフレームの視線位置が反映されずに加工後視線位置が求められることが増える。そのような場合には、加工処理による視線位置の遅延の影響が大きくなる。上述したように、本実施形態では、ポインタ表示時よりもポインタ非表示時の方が遅延抑制を重視した加工処理を行うので、ポインタ表示時には閾値Ｔｈ１を厳しくして安定性を重視し、ポインタ非表示時には閾値Ｔｈ２を緩くして遅延の影響を少なくする。

信頼性評価値について説明する。図１６は、各視線の向きにおける瞳孔中心とプルキニエ像の相対関係を示した概略図である。図中で、７０１はプルキニエ像、７０２は瞳孔を示す。

一般的に視線検出センサは中央位置でキャリブレーションして使用することもあり、中央位置で最も検出精度が良く設計されている。視線位置の検出方法としては瞳孔中心とプルキニエ像の相対位置関係の変化を検出して算出する角膜反射法が一般的に知られているが、視線位置に対して検出精度が異なるといった課題がある。理由としては、プルキニエ像取得に使用する近赤外線光はレイアウトの制約から瞳孔中心に対して少しずれた場所に照射されるが、照射光は眼球の正面に対して斜入射させるため、取得されるプルキニエ像
は眼球の中心に対してずれた場所で観測されるためである。上記課題に加えて、視線検出精度の視線位置変化には異方性があるといった課題もある。これは、図１６に示すように、瞳孔中心が瞼の開閉方向（上下方向）に移動する場合、瞳孔の一部が瞼に隠れることによって瞳孔中心の検出精度が低下しやすいことが一因として挙げられる。

上述は視線検出センサ起因の視線検出精度であるが、加えて、人間起因の視線検出精度に影響を与える項目として固視微動が挙げられる。こちらも視線位置に応じて変化し、個人差も大きいため、視線検出精度は個人データをキャリブレーション時に固視微動の大きさを視線位置毎で取得して対応することが好ましい。

以上により、視線位置による視線検出精度のばらつきは、視線検出センサ起因の要因と、人間起因の要因が掛け合わさって決定されることが分かる。これらを加味して高精度に視線検出を行うためには、視線検出データの信頼性に基づいて後段の視線処理方法を適正化する必要がある。

視線検出データの信頼性を取得する方法としては、対象フレームの直近の複数フレームの視線位置情報の分散（ばらつき）を計算し、その逆数を対象フレームの視線位置情報の信頼性評価値とすることが考えられる。分散が小さいほどばらつきが小さく、値が安定しており信頼度が高く、分散が大きいほどばらつきが大きく、値が不安定で信頼度が低い。そこで、分散の逆数を信頼性評価値とすることで、視線位置情報の信頼性を適切に評価できる。その他にも、焦点距離が長い程、ユーザーの手振れにより撮影中の被写体がブレてしまい、そのブレた被写体をユーザーが視線で追うと視線情報も正しく視線で追えず振動してしまうため、焦点距離を加味して信頼性を算出しても良い。具体的には、焦点距離が短い程信頼性を高く、焦点距離が長い程信頼性を低く評価すれば良い。

また、上記に加え、瞼の開き具合に応じて視線検出センサ自体から取得された視線情報の信頼性が変化する事を加味してもよい。瞼の開き具合に応じて視線情報の信頼性が変化する理由は、視線位置に応じて視線検出精度が異なる理由と類似し、瞼によって瞳孔の一部が隠れてしまうことで生じる。瞼の開き具合に応じた視線情報の信頼性の変化は、視線検出センサより取得可能である。視線検出センサで瞼の開き具合による視線情報の信頼性を得ることが出来ない場合には、別途センサより瞼の開き具合の情報を取得し、信頼性を評価しても良い。

また、複数フレームの視線位置または、瞳孔径の平均値と、現フレームの視線位置または、瞳孔径との差分を信頼性評価値としてもよい。

信頼性判定閾値は、予め測定された複数人の様々な状況での視線位置、瞳孔径に基づいて信頼性評価値を算出し、それを基に、ライブビュー設定に応じた適切な値をあらかじめ設定すればよい。

（ジャンプ判定）
図１１を用いて、図８のＳ２０７で説明したジャンプ判定について説明する。図１１の横軸は時間、縦軸は検出された視線位置の変化量であり、Ｔｈ３は、ジャンプ判定閾値である。Ｊ１～Ｊ１１は、各フレームに対する視線位置変化量である。視線位置の変化量は、基準フレームの視線位置との差分の絶対値であり、本実施形態では、基準フレームを最初のフレームとした例を示しており、Ｊ１＝０となっている。なお、基準フレームは、対象フレームの所定数フレーム前のフレームとしてもよい。

ジャンプ判定処理では、基準フレームでの視線位置と現フレームでの視線位置の差分が所定の値（ジャンプ判定閾値）よりも大きいフレーム数が所定数（ジャンプ判定フレーム
数）だけ連続したときにジャンプが発生したと判定される。本実施形態では、ポインタの表示設定がオフの時のジャンプ判定フレーム数Ｎ２の方が、表示設定がオンの時のジャンプ判定フレーム数Ｎ１よりも小さい（Ｎ１＞Ｎ２）。

Ｓ２０８の視線位置情報の加工処理では、ジャンプ発生よりも前の視線位置は用いずに、ジャンプが発生した直近のフレームよりも後の視線位置のみを用いて加工後視線位置情報を求める。これにより、ジャンプが発生した場合には、加工後の視線位置がジャンプ後の位置に即座に一致する。そのため、ジャンプ判定フレーム数が少ないほど、ジャンプした位置への移動の遅延が少なくなる。一方、ばらつきによる誤判定も生じやすくなるため、視認性に関しては低くなる。

図１１に示すように、ポインタ表示時には、視認性を重視するため、Ｊ４～Ｊ６で、Ｎ１フレーム（３フレーム）連続して差分がジャンプ判定閾値を超えた場合に、ジャンプしたと判定し、Ｊ６に対応するフレームで、ジャンプしたと判定される。

ポインタ非表示時には、遅延を少なくするため、Ｊ４、Ｊ５でＮ２フレーム（２フレーム）連続して差分がジャンプ判定閾値を超えた時点で、ジャンプしたと判定し、Ｊ５に対応するフレームで、ジャンプしたと判定される。

本実施形態では、ポインタ表示時にＮ１フレーム（３フレーム）、ポインタ非表示時にＮ２フレーム（２フレーム）連続した場合に、ジャンプしたと判定したがその限りではなく、ポインタ非表示の方がポインタ表示時よりも少ないフレーム数であればよい。また、必ずしも連続したフレームでなくてもよく、所定期間内の所定割合以上が、ジャンプ判定閾値以上であれば、ジャンプしたと判定してもよい。

また、本実施形態では、差分をとる基準フレームを固定としたが、その限りではなく、現フレームより所定数フレーム前のフレームを基準フレームとしてもよい。

また、上述した信頼性ＮＧの視線位置が含まれていた場合には、そのフレーム情報をジャンプ判定には含めず判定してもよい。この場合、連続したフレーム数での判定であれば、信頼性ＮＧのフレームの結果は考慮せず、次のフレームが閾値を超えていれば、連続してフレームとしてカウントする。また、所定期間内の割合での判定であれば、信頼性ＮＧのフレームは除いた割合を算出して判定するか、信頼性ＮＧのフレームの代わりに別のフレームを含めて割合を算出し、判定する。

このように、ライブビュー設定に応じて、ジャンプ判定の閾値を切り替えることで、ポインタ表示、非表示のそれぞれで適切な視線位置情報を算出することが可能となる。

（視線位置情報の加工）
図１２から図１４を用いて、検出された視線位置の加工処理について説明する。図１２は、ライブビュー表示画像と視線検出と加工処理のタイミングチャートの一例を示している。

図１２の上段は、ライブビュー表示画像の種別と表示期間を、タイミングチャート上に示している。表示する各画像を、Ｄ１からＤ１２の添え字で示している。Ｄ１からＤ５は、図６のＳ３で開始されるライブビュー表示（ＬＶ）を示している。ライブビュー表示は、例えば、６０ｆｐｓで更新されている。Ｄ５を表示している間に、第２シャッタースイッチ信号ＳＷ２のオンを検出し、図６のＳ１０に進み、それ以降、Ｓ３００で取得する記録画像（Ｄ７、Ｄ９）の表示と、Ｓ４００で取得する検出・表示用画像の表示（Ｄ８，Ｄ１０を交互に行う。記録画像の表示に際し、上述の通り時間を要するため、ライブビュー
表示画像Ｄ６は、表示が更新されず（フリーズ）、表示期間が延長されている。Ｄ１０を表示中に、第２シャッタースイッチ信号ＳＷ２のオフを検出し、図６のＳ３で開始されるライブビュー表示（Ｄ１１，Ｄ１２）に戻っている。

図１２の中段は、ポインタ表示時の視線位置の加工処理を説明する図であり、視線検出タイミング（加工前視線位置の取得タイミング）と加工後視線位置の取得タイミングを示している。図１２の中段の視線検出タイミングは、上段の表示画像の表示期間、表示更新タイミングに対して、視線位置を検出するタイミングを黒丸（Ｐ１からＰ１１）で示している。視線位置の検出は、視線入力操作部７０１で行われ、撮像動作と並行して、３０ｆｐｓで行われていることを示している（Ｐ１からＰ１０）。視線位置の検出は、連写中であるか否かにかかわらず、一定の検出レートで行われている。Ｐ１１では、連写完了後に、視線取得タイミングを、Ｄ１２の表示画像に対して、同期処理を行っているため、検出間隔（Ｐ１０からＰ１１）は、他の検出間隔と異なる。

図１２の中段の加工後視線位置の取得タイミングは、ポインタ表示時の視線位置の加工後の結果（加工後視線位置情報）を取得するタイミングを示している。Ａ１からＡ１１のタイミングで得られる加工済視線位置情報は、Ｎ３フレーム（３フレーム）分の検出視線位置情報を用いて算出されることを示している。例えば、Ａ４のタイミングで得られる加工済視線位置情報は、Ｐ２、Ｐ３、Ｐ４のタイミングで得られる視線位置を平均化処理した位置情報とする。上述の通り、ポインタ表示時には、視認性を重視するため、ポインタ非表示時よりも、多いフレーム数で、平均化処理などの加工処理を行う。これによって、視認性を高めることができる。

図１２の下段は、ポインタ非表示時の加工処理を説明する図であり、視線検出タイミングと加工後視線位置の取得タイミングを示している。図１２の下段の視線検出タイミングは、上段の表示画像の表示期間、表示更新タイミングに対して、視線位置を検出するタイミングを黒丸（Ｐ１からＰ１１）で示している。視線位置の検出は、視線入力操作部７０１で行われ、撮像動作と並行して、３０ｆｐｓで行われていることを示している（Ｐ１からＰ１０）。視線位置の検出は、連写中であるか否かにかかわらず、一定の検出レートで行われている。Ｐ１１では、連写完了後に、視線取得タイミングを、Ｄ１２の表示画像に対して、同期処理を行っているため、検出間隔（Ｐ１０からＰ１１）は、他の検出間隔と異なる。

図１２の下段の加工済み視線位置取得タイミングは、ポインタ非表示時の視線位置の加工後の結果（加工後視線位置情報）を取得するタイミングを示している。前述のポインタ表示時の視線位置情報とは異なり、Ｎ４フレーム（２フレーム）分の検出視線位置情報を用いて算出されることを示している。

例えば、Ｂ４のタイミングで得られる加工後視線位置情報は、前述のポインタ表示時の視線位置情報よりも少ないＰ３、Ｐ４のタイミングで得られる視線位置を平均化処理した位置情報とする。上述の通り、ポインタ非表示時には、遅延の影響を少なくすることを重視するため、ポインタ表示時よりも、少ないフレーム数で、平均化処理などの加工処理を行う。これによって、遅延の影響を少なくすることができる。

本実施形態では、システム制御部５０は、複数の加工前視線位置に基づいて加工後視線位置を算出しており、ポインタの表示設定がオフの時には、表示設定がオンの時よりも少ない数の下降前視線位置を用いて加工後視線位置を算出する。本実施形態では、ポインタ表示時の平均化処理フレーム数Ｎ３が３フレームであり、非表示時の平均化処理フレーム数Ｎ２が２フレームとしているが、それぞれのフレーム数がこれらの値に限られない。ポインタ非表示の平均化処理フレーム数Ｎ４の方が、ポインタ表示時の平均化処理フレーム
数Ｎ３よりも少なければ（Ｎ３＞Ｎ４）、具体的な値は特に限定されない。

図１２で行う加工処理としての平均化処理は、処理に用いる視線位置情報を、単純に平均化した場合を説明したが、重みづけ加算平均処理を行ってもよい。単純な平均化処理は、使用する視線位置情報を増やすと、検出される位置情報の時間的な遅延が大きくなる。そのため、より過去の情報の重みを下げることにより、時間的な遅延が大きくなることを避けることができる。この際にも、ポインタ表示、ポインタ非表示時で、重みづけの程度や使用する位置情報の数を変更することが考えられる。

ポインタ非表示時は、より少ない位置情報を用いて、より時間的に近い情報の重みを大きくした加工処理を行うことにより、遅延の影響を少なくすることを重視することができる。一方で、ポインタ表示時は、より多い位置情報を用いて、より時間的に過去の情報の重みを大きくした加工処理を行うことにより、視認性を重視した処理を行うことができる。すなわち、システム制御部５０は、ポインタの表示設定がオフの時には、表示設定がオンの時よりも、現フレームに時間的に近いフレームの加工前視線位置に対する重みを大きくして、複数の加工前視線位置を重み付け平均することで加工後視線位置を算出する。

次に、図１３を用いて、Ｓ２０６の信頼性判定で、信頼性ＮＧと判定された視線位置情報がある場合の例を説明する。本実施形態において、加工後視線位置は、直近の所定数フレーム（平均化処理フレーム数）の視線位置を平均化することにより求めるが、これらの視線位置のうち信頼性ＮＧと判定された視線位置は用いずに平均化処理を行う。

図１３は、図１２と同様に、ライブビュー表示画像と視線検出と加工処理のタイミングチャートの一例を示している。図１３のＰ１～Ｐ４、Ｐ６～Ｐ１１、Ａ１～Ａ４、Ａ８～Ａ１１は、図１２と同じ図を示している。図１３のＰ５が、信頼性ＮＧと判定されている点と、それに伴って、Ａ５～Ａ７の加工後視線位置の算出方法が図１２と異なる。

図１３のＡ５～Ａ７の加工後視線位置の算出方法について説明する。本実施形態では、加工後視線位置を算出する際に、信頼できないと判定された加工前視線位置は用いずに、信頼できると判定された加工前視線位置のみを用いて加工後視線位置を求める。図１２ではＰ５が信頼性できると判定されていたので、Ａ５～Ａ７の算出に際し、Ｐ５の視線位置を含めて平均化などの加工処理を行っていたが、図１３では、Ｐ５が信頼性ＮＧと判定されているため、Ｐ５の視線位置は含めずに平均化などの加工処理を行う。具体的には、Ａ５はＰ３とＰ４、Ａ６はＰ４とＰ６、Ａ７はＰ６とＰ７の平均化処理により算出する。信頼性ＮＧの視線位置を用いて平均化すると、ばらつきにより大きくずれた位置情報を含めて処理してしまう可能性があるため、信頼性ＮＧの視線位置は除いて処理を行う。

なお、信頼性ＮＧの視線位置が存在すると、加工による遅延の影響が大きくなることがある。例えば、Ｐ５で信頼性ＮＧと判定されていると、Ａ５はＰ３とＰ４の平均として求められるため、Ｐ３からＰ５の全ての平均として求めた場合よりも、過去の視線位置を反映した位置となってしまう。そこで、本実施形態では、ポインタの表示設定に応じて信頼性判定閾値の値を変えて、ポインタ非表示の時には信頼性判定閾値を緩く設定することで、遅延を少なくすることを重視した処理を行っている。

次に、図１４を用いて、Ｓ２０７のジャンプ判定で、ジャンプしたと判定された視線位置情報がある場合の例を説明する。本実施形態において、加工後視線位置は、直近の所定数フレーム（平均化処理フレーム数）の視線位置を平均化することにより求めるが、これらの視線位置のうち直近のジャンプ発生よりも前の視線位置は用いずに平均化処理を行う。

図１４は、図１３と同様に、ライブビュー表示画像と視線検出と加工処理のタイミングチャートの一例を示している。図１４のＰ１～Ｐ４、Ｐ６～Ｐ１１、Ａ１～Ａ４、Ａ７～Ａ１１は、図１２と同じ図を示している。図１５のＰ５が、ジャンプしたと判定されている点と、それに伴って、Ａ５、Ａ６の加工済視線位置の算出方法が図１２と異なる。

図１４のＡ５、Ａ６の加工済視線位置の算出方法について説明する。図１２では、Ａ５、Ａ６の算出に際し、Ｐ５より前の時刻の視線位置を含めて平均化などの加工処理を行っていたが、図１３では、Ｐ５がジャンプしたと判定されているため、Ｐ５より前の時刻の視線位置は含めずに平均化などの加工処理を行う。具体的には、Ａ５はＰ５の位置をそのまま出力し、Ａ６はＰ５とＰ６の平均化処理により算出する。ジャンプした時刻より前の視線位置を用いて平均化すると、ジャンプ前の位置に引っ張られて、即座に移動することができないため、ジャンプしたと判定された時刻より前の視線位置は除いて処理を行う。

なお、ジャンプしたと判定された時刻より後の視線位置を元いて加工後視線位置を求めることで、遅延の影響を少なくすることができる。そこで、本実施形態では、ポインタの表示設定に応じてジャンプ判定フレーム数の値を変えて、ポインタ非表示の時にはジャンプ発生と判定される条件を緩くすることで、遅延を少なくすることを重視した処理を行っている。

図１２、図１３、図１４で説明した平均化処理や間引き処理は、広義には重み付け処理と考えることができる。処理に用いるデータ間で、均等に重み付けすると平均化処理に相当し、あるデータの重みを０にすると、間引き処理に相当する。また、上記で説明した加工処理における表示設定がオンとオフの時の相違は次のように特定することができる。すなわち、本実施形態の加工処理は、同一の時系列の加工前視線位置を処理対象とする場合に、表示設定がオンの時には、表示設定がオフの時よりも、加工後視線位置の変化がより滑らかになるように加工後視線位置を求める処理であるといえる。

また、本実施形態では、加工前視線位置を加工することにより、視線位置を求めているが、一定の広がりを有する範囲を求めてもよい。例えば、加工処理は、複数の加工前視線位置の重心を中心として、所定の大きさを有する範囲を加工後視線領域（第２視線情報）として求めてもよい。

本実施形態では、遅延の影響を受ける撮影条件が、ポインタ非表示の設定の場合の対応として説明したが、遅延の影響を受ける状況は、これに限らない。ポインタの表示設定外の動作モードに応じて、遅延の影響が少ない動作モード（第１動作モード）と、視線位置の加工による遅延の影響を少なくすべき動作モード（第２動作モード）の間で、視線位置の加工処理の内容を上記のように切り替えてもよい。上記の説明では、ポインタの表示設定がオンの場合が第１動作モードに相当し、ポインタの表示設定がオフの場合が第２動作モードに相当する。

その他の第２動作モードの一例は、高速被写体を撮影するモードであり、第１動作モードの例は第２動作モード以外のモードである。高速被写体を撮影するモードの具体例としては、スポーツ用のプリセット撮影モード、シャッター速度が閾値よりも短く設定されているシャッター速度優先モードが挙げられる。撮影者が撮影モードを、高速被写体を撮影するモードに設定している場合には、ポインタが被写体位置に到達したことを確認する前に、確定操作を行う可能性が高いと考えられる。そのような場合にも、非表示時の処理で説明したように、加工後視線位置の算出を、通常よりも遅延の影響が少なくなるような算出方法で算出することは有効である。

また、カメラ設定にて、撮影者が遅延抑制と視認性のどちらを優先するかを動作モード
として設定できるようにしておき、その設定に応じて、加工済視線位置の算出方法を変更してもよい。視認性を優先するモードが第１動作モードに相当し、遅延抑制を優先するモードが第２動作モードに相当する。またその設定は、何段階か設定可能としてもよい。

(焦点検出領域設定)
図１５を用いて、図６のＳ６における、視線位置情報を用いた焦点検出領域の設定について説明する。焦点検出領域は、第１シャッタースイッチ（Ｓｗ１）６２を押した時点の加工後視線位置に基づいて設定される。したがって、Ｓｗ１は、焦点検出領域を設定するための視線位置の入力を確定する確定操作を受け付ける受付手段に相当する。そして、システム制御部５０は、確定操作を受け付けた時点での加工後視線情報（第２視線情報）に基づいて処理を行う処理手段に相当する。

図１５（ａ）は、ポインタ表示時、図１５（ｂ）は、ポインタ非表示時の焦点検出領域の探索範囲（設定範囲）を説明する説明図である。図１５（ａ）のＲ１は、ポインタ表示時の焦点検出領域の探索範囲、Ｒ２は、ポインタ非表示時の焦点検出領域の探索範囲である。Ｐｔ１は、ポインタ表示時に表示される、視線位置を示すポインタである。システム制御部５０は、撮影者がＳｗ１を押した時点の加工後視線位置（以下、確定位置とも称する）に対応する範囲を対象として、どの領域を焦点検出領域とするかを決定する。

ポインタ表示時には、上述したように、撮影者は、ポインタが被写体に到達したことを確認してから確定操作を実行する可能性が高いため、撮影者が焦点を合わせようと考える被写体位置と確定後の加工後視線位置のずれ量は、小さくなる。そのため、焦点検出領域の探索範囲は、確定位置近傍の範囲Ｒ１とする。本実施形態では、範囲Ｒ１は確定位置を中心とする半径ｒ１の円とするが、円に限られず矩形などその他の形状であってもよい。システム制御部５０は、範囲Ｒ１について測距を行い、範囲Ｒ１内で最至近のデフォーカス量を検出している測距点を焦点検出領域として設定する。本実施形態では、最至近のデフォーカス量を検出している測距点を焦点検出領域として設定したがその限りではない。範囲Ｒ１内のデフォーカス量をクラス分類して算出したデフォーカスヒストグラムの最頻クラスに属する測距点を焦点検出領域として設定してもよい。

一方、ポインタ非表示には、ポインタが表示されないので、撮影者は、被写体を見たらすぐに確定操作を実行する可能性が高いため、被写体位置と確定位置のずれ量は、大きくなりやすい。そのため、焦点検出領域の探索範囲は、確定位置がずれている可能性があることを考慮し、ポインタ表示時よりも広い範囲Ｒ２とする。本実施形態では、範囲Ｒ２は、確定位置を中心とする半径ｒ２の円であり、半径ｒ２は半径ｒ１よりも大きい。すなわち、焦点検出を行う対象の範囲は、ポインタの表示設定がオフの時の方が、表示設定がオンの時よりも大きく設定される。

このように、ポインタの表示、非表示によって、焦点検出領域の設定範囲を切り替えることで、確定位置のずれ易さを考慮した焦点検出領域の設定が可能となる。

また、焦点検出領域は、視線位置情報によって検出された被写体領域に設定してもよい。この場合は、上述した焦点検出領域の探索範囲の代わりに、被写体検出領域の探索範囲を、ポインタの表示、非表示によって、切り替えてもよい。この場合、ポインタ表示時は、範囲Ｒ１内にある被写体のみを検出し、検出された場合には、被写体検出領域を焦点検出領域に設定する。ポインタ非表示時は、範囲Ｒ１を範囲Ｒ２として同様の処理を行う。このように、ポインタの表示、非表示によって、被写体検出領域の探索範囲を切り替えることで、確定位置のずれ易さを考慮した被写体検出領域の設定が可能となる。

（動作例）
本実施形態に係る撮像装置の動作を具体例に即して説明する。

図１８は、第一の動作例を説明する図である。本動作例では撮影者の視線位置と確定操作に基づく位置にＡＦ枠を表示する例を説明する。本動作例では、被写体検出がオフ（無効）の場合や、被写体検出がオン（有効）であっても検出できる被写体が存在しない場合を想定する。この場合、確定操作がされた時点の視線位置に基づいて設定される領域は焦点検出領域であり、表示部２８には、焦点検出領域を示すＡＦ枠（焦点検出枠）が表示される。

符号２００は、表示部２８の表示領域を示す。撮影者は視線位置を位置Ａから位置Ｂに移動させ、視線位置が位置Ｂまで移動したタイミングで確定操作（Ｓｗ１）を行う。システム制御部５０は、確定操作に応答して、確定操作が行われタイミングの加工後視線位置に基づいて、焦点検出領域の設定を行い、設定された焦点検出領域を示すＡＦ枠を表示部２８に表示する。ここでは、被写体検出がオフであるか、オンであっても検出できる被写体が存在しないことを想定しているので、加工後視線位置を中心とした位置にＡＦ枠が設定される。符号２０１は、ポインタ表示がオンの時に表示されるＡＦ枠を示し、符号２０２は、ポインタ表示がオフの時に表示されるＡＦ枠を示す。図示のように、ポインタの表示設定がオフの時のＡＦ枠２０２と位置Ｂの間の距離ｄ２の方が、ポインタの表示設定がオンの時のＡＦ枠２０１と位置Ｂの間の距離ｄ１よりも小さい。すなわち、ＡＦ枠２０２の方がＡＦ枠２０１よりも位置Ｂに近くに表示される。

ここで、ＡＦ枠２０２の方がＡＦ枠２０１よりも位置Ｂに近くに表示されるのは、主に、ポインタ非表示時の平均化処理フレーム数Ｎ４がポインタ表示時の平均化処理フレーム数Ｎ３よりも小さいことに起因する。ここでは、信頼性判定はいずれも信頼性ありと判定され、ジャンプ判定ではいずれもジャンプ発生なしと判定されていないことを想定している。ポインタ非表示時の方が、より直近のフレームにおける加工前視線位置に基づいて加工後視線位置を求めているので、確定操作をしたタイミングで、実際の視線位置と加工後視線位置の誤差が小さくなる。このように、ポインタ非表示時には、視線位置の加工処理において遅延の影響が少なくなる。

なお、撮影者が視線位置を位置Ａから位置Ｂに移動させる移動速度を途中で速くした場合には、一定速度で移動させた場合よりもｄ１とｄ２の差分が大きくなる。より具体的には、撮影者が視線位置を位置Ａから位置Ｂに移動させる速度が第１の速度（略一定速）である場合と、撮影者が視線位置を位置Ａから位置Ｂに第１の速度で開始し、第１の速度よりも速い第２の速度に変更した場合と比較すると、後者の場合は前者の場合と比較してｄ１とｄ２との差分が大きくなる。これは、ポインタ非表示時の平均化処理フレーム数Ｎ４がポインタ表示時の平均化処理フレーム数Ｎ３よりも小さいことに起因する。第１の速度から第２の速度への変更は、徐々に行われてもよいし、瞬時に切り替えられてもよいし、段階的に切り替えられてもよいし、これらの組合せであってもよい。

図１９は、第二の動作例を説明する図である。

上記では、位置Ｂに視線移動した直後に撮影者が確定操作を行っているが、ここでは、位置Ｂに視線移動してから時間ｔだけ経過してから確定操作を行う。図１９（ａ）、図１９（ｂ）は、時間ｔと、焦点検出領域（ＡＦ枠）と位置Ｂとの誤差の関係を示すグラフである。

図１９（ａ）は、ジャンプ判定がされない程度の視線移動速度で視線位置を位置Ａから位置Ｂに移動させた場合の例を示す。グラフ２０３はポインタ表示時の時間ｔと誤算の関係を示し、グラフ２０４はポインタ非表示時の時間ｔと誤差の関係を示す。上述したよう
に、位置Ｂへ視線移動した直後に確定操作した場合（ｔ＝０の場合）、ポインタ非表示時の方が、ポインタ表示時よりも誤差が少ない。そして、誤差が０となる、あるいは所定値以内となるまでに要する時間も、ポインタ非表示時の方が、ポインタ表示時よりも短い。これは、平均化処理フレーム数が、ポインタ非表示時の時の方がポインタ表示時よりも小さいことに起因する。

図１９（ｂ）は、位置Ａから位置Ｂまで一気に（ジャンプ判定される程度の視線移動速度で）視線移動させた場合の例を示す。ポインタ表示時のグラフ２０５およびポインタ非表示時のグラフ２０６ともに、経過時間が短い間は図１９（ａ）と同様であるが、ジャンプ判定がされたタイミングで誤差が小さく（ほぼ０）になる。そして、誤差が小さくなる経過時間ｔは、ポインタ非表示の時の方がポインタ非表示の時よりも短くなる。これは、ポインタ非表示時のジャンプ判定フレーム数Ｎ２がポインタ表示時のジャンプ判定フレーム数Ｎ１よりも小さいことに起因する。

なお、上記の第一の動作例と第二の動作例では、位置Ｂ近傍には全体的に同じ距離に被写体が存在しており、焦点検出領域（ＡＦ枠）が確定操作時の加工後視線位置とずれない環境を想定している。

第三の動作例は、本動作例では被写体検出に関し、撮影者の視線位置と確定操作に基づく位置から被写体を選択しその旨の表示を行う。より具体的には、視線位置の周辺から被写体を検出して、検出された被写体領域を示す枠を表示部に表示する。ここでは、比較的小さな被写体が存在している状況で、被写体位置から離れた位置に視線を合わせることを想定する。視線位置が被写体位置から離れているので、実際に被写体が存在する領域を被写体領域として検出できるか否かは、視線位置と被写体位置との間の距離に依存する。

例えば、視線位置と被写体位置の間の距離ｄを変えながら、被写体領域を正しく検出できたか否か判定すると、被写体領域を正しく検出できる最大の距離（位置ズレ量）が求められる。本実施形態では、ポインタ非表示の時の方が、ポインタ表示の時よりも、実際に被写体が存在する領域が被写体領域として正しく検出（選択）されるために許容される位置ズレ量の最大値が大きい。これは、ポインタ非表示の時の方が、ポインタ表示の時よりも、被写体検出領域の探索範囲を大きく設定して被写体検出が行われるためである。なお、視線位置とこの被写体の位置ズレ量が、被写体領域が正しく検出されるために許容される位置ズレ量の最大値を超えた場合には、第一の動作例で説明したように撮影者の視線位置と確定操作に基づく位置にＡＦ枠を表示する。

第４の動作例では、視線位置の周辺から焦点検出領域を設定し、焦点検出領域から合焦位置を決定する動作に関する。ここでは、比較的小さな被写体が存在している状況で、撮影者が合焦させたい位置（狙い位置）から離れた位置に視線を合わせることを想定する。なお、合焦位置が被写体の最至近位置として決定される場合には、狙い位置は被写体の最至近位置とするのがよい。視線位置が狙い位置から離れているので、実際に狙い位置に焦点が合うか否かは、視線位置と狙い位置との間の距離に依存する。

例えば、視線位置と狙い位置の間の距離ｄを変えながら、狙い位置に焦点が合ったか否か判定すると、狙い位置に焦点を合わせられる最大の距離（位置ズレ量）が求められる。本実施形態では、ポインタ非表示の時の方が、ポインタ表示の時よりも、狙い位置に合焦するために許容される位置ズレ量の最大値が大きいことが分かる。これは、ポインタ非表示の時の方が、ポインタ表示の時よりも、焦点検出領域の探索範囲（測距領域）を大きく設定して焦点検出が行われるためである。

（変型例）
上記の実施形態では、信頼性判定閾値、ジャンプ判定フレーム数、平均化処理フレーム数の全てが、ポインタの表示設定がオンの時とオフの時とで異なっている。しかしながら、他の実施形態では、信頼性判定閾値、ジャンプ判定フレーム数、平均化処理フレーム数のうちのいずれか１つまたは２つのみが、表示設定がオンの時とオフの時とで異なっていてもよい。また、ポインタの表示設定がオンの時には加工後視線位置がより滑らかになり、ポインタの表示設定がオフの時には加工処理による遅延の影響が少なくなる限り、表示設定がオンとオフの場合で加工処理を異ならせる具体的方法は特に限定されない。

また、上記の実施形態では、焦点検出領域または被写体検出領域の中心位置は、撮影者が確定操作を行ったタイミングで取得された加工後の視線位置に設定したが、確定操作後の視線位置を用いて得られた加工後の視線位置に設定してもよい。例えば、ポインタ非表示時には、遅延の影響を考慮し、確定操作が行われたタイミングから所定時間後のタイミングで取得された加工後の視線位置を、焦点検出領域または被写体検出領域の中心位置に設定してもよい。このように、所定時間後のタイミングの視線情報に基づいて、焦点検出領域、被写体検出領域を設定することで、加工処理による遅延の影響を軽減することができる。

上記の説明では、焦点検出領域（測距領域）および被写体検出領域は、加工後視線位置（第２視線情報）に基づいて決定されるように説明したが、これらの領域は、複数の加工前視線位置（第１視線情報）に基づいて決定されると捉えることもできる。言い換えると、焦点検出領域および被写体検出領域を、複数の加工前視線位置（第１視線情報）から決定される領域（第２視線情報）と捉えることもできる。

（他の電子機器への適用例）
本発明は、視線検出を行い視線位置に応じた処理を行う装置であれば、任意の装置に適用可能である。特に、視線位置を表すポインタの表示のオンオフを設定可能であり、キー操作やボタン操作などの確定操作における視線位置に対応する画像の領域に対して処理を施す装置であれば特に限定されない。

図２０（ａ）は、本発明を適用したノート型パーソナルコンピュータ９１０（ノートＰＣ）の外観図である。図２０（ａ）では、ノートＰＣ９１０の表示部９１１を見るユーザーを撮像する撮像ユニット９１５がノートＰＣ９１０に接続されており、ノートＰＣ９１０は撮像ユニット９１５から撮像結果を取得する。そして、ノートＰＣ９１０は、撮像結果に基づいてユーザーの視線を検知し、表示部９１１に表示した画面の読了結果に応じて画面表示の変更を行う。なお、本発明を適用した電子機器は、視線検知の結果を視線入力として受け付けるインターフェースを有していればよく、外部機器で視線検知が行われてもよい。つまり、撮像ユニット９１５が視線検知を行い、ノートＰＣ９１０が撮像ユニット９１５から視線検知の結果を取得してもよい。

図２０（ｂ）は、本発明を適用したスマートフォン９２０の外観図である。図２０（ｂ）では、スマートフォン９２０は、インカメラ９２１（フロントカメラ）の撮像結果に基づいてユーザーの視線を検知し、表示部９２２に表示した画面の読了結果に応じて画面表示の変更を行う。

図２０（ｃ）は、本発明を適用したゲーム機９３０の外観図である。図２０（ｃ）では、ゲームのＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）画像を表示するヘッドマウントディスプレイ９３５（ＨＭＤ）が、ゲーム機９３０に接続されている。ＨＭＤ９３５は、ＨＭＤ９３５を装着したユーザーの目を撮像するカメラ９３７を有しており、ゲーム機９３０は、ＨＭＤ９３５から撮像結果を取得する。そして、ゲーム機９３０は、撮像結果に基づいてユーザーの視線を検知し、ＨＭＤ９３５の表示部９３６に表示した画面（ＶＲ画像の
一部）の読了結果に応じて、画面表示の変更を行う。ＨＭＤに表示する画面の変更に本発明が適用可能であるのと同様に、眼鏡型のウェアラブル端末のレンズ部分などに表示する画面（ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像の一部）の変更にも本発明は適用可能である。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像装置 ２８：表示部 ５０：システム制御部 ７００：視線入力操作部

Claims (24)

1. 画像を表示する表示手段を観察する観察者の第１視線情報を取得する第１取得手段と、
   表示設定がオンに設定されている場合に、観察者の視線位置を示すポインタを前記表示手段に表示するポインタ表示手段と、
   前記第１視線情報に基づいて、第２視線情報を取得する第２取得手段と、
   を備え、
   前記第２取得手段は、複数の第１視線情報を用いて前記第２視線情報を算出するものであり、前記表示設定がオフの時には、前記表示設定がオンの時よりも少ない数の前記第１視線情報を用いて前記第２視線情報を算出する、
   視線情報取得装置。
2. 前記第２取得手段は、複数の第１視線情報を重み付け平均することで前記第２視線情報を算出するものであり、前記表示設定がオフの時には、前記表示設定がオンの時よりも、時間的に近い前記第１視線情報に対する重みを大きくする、
   請求項１に記載の視線情報取得装置。
3. 前記第２取得手段は、前記表示設定がオンの時には、前記表示設定がオフの時よりも、前記第２視線情報の時間的な変化が滑らかになるように前記第２視線情報を取得する、
   請求項１又は２に記載の視線情報取得装置。
4. 前記第１視線情報が信頼できるか否かを判定する第１判定手段をさらに有し、
   前記第２取得手段は、信頼できると判定された前記第１視線情報を用いて前記第２視線情報を取得し、
   前記第１判定手段は、前記表示設定がオンの時には、前記表示設定がオフの時よりも厳格な判定閾値を用いて前記判定を行う、
   請求項１から３のいずれか１項に記載の視線情報取得装置。
5. 前記第１視線情報のジャンプが発生したか否かを判定する第２判定手段をさらに有し、
   前記第２取得手段は、ジャンプが発生した直近のフレームよりも後の前記第１視線情報を用いて、前記第２視線情報を取得し、
   前記第２判定手段は、基準フレームでの第１視線情報と現フレームでの第１視線情報の差分が所定の値よりも大きいフレームが所定数だけ連続したときに前記ジャンプが発生したと判定し、
   前記表示設定がオフの時の方が、前記表示設定がオンの時よりも前記所定数は小さい、
   請求項１から４のいずれか１項に記載の視線情報取得装置。
6. 前記第２視線情報は、位置または範囲である、
   請求項１から５のいずれか１項に記載の視線情報取得装置。
7. 前記ポインタ表示手段は、前記第２視線情報に対応する位置または領域に前記ポインタを表示する、
   請求項１から６のいずれか１項に記載の視線情報取得装置。
8. 前記観察者による確定操作を受け付ける受付手段と、
   前記確定操作を受け付けた時点での前記第２視線情報に基づいて処理を行う処理手段と、
   をさらに備える、請求項１から７のいずれか１項に記載の視線情報取得装置。
9. 前記処理手段は、前記第２視線情報に対応する範囲を対象として、焦点検出または被写体検出を行う、
   請求項８に記載の視線情報取得装置。
10. 前記第２視線情報に対応する前記範囲は、前記表示設定がオフの時の方が、前記表示設定がオンの時よりも、大きい、
    請求項９に記載の視線情報取得装置。
11. 前記第２視線情報と、前記観察者による確定操作と、に基づいて枠を表示する処理手段、
    をさらに有し、
    前記観察者が視線位置を第１の位置から第２の位置に移動させ、視線位置が第２の位置に移動したタイミングで前記確定操作を行った場合に、前記表示設定がオフの場合の前記枠と前記第２の位置との間の距離は、前記表示設定がオンの時の前記枠と前記第２の位置との間の距離よりも小さい
    ことを特徴とする請求項１から７のいずれか１項に記載の視線情報取得装置。
12. 前記第２視線情報と、前記観察者による確定操作と、に基づいて枠を表示する処理手段、
    をさらに有し、
    前記観察者が視線位置を第１の位置から第２の位置に移動させ、視線位置が第２の位置に移動してから所定時間が経過したタイミングで前記確定操作を行った場合に、前記枠と前記第２の位置との間の距離が所定値よりも少なくなるために必要な前記所定時間は、前記表示設定がオフの時の方が、前記表示設定がオンの時よりも短い、
    ことを特徴とする請求項１から７のいずれか１項に記載の視線情報取得装置。
13. 前記枠は焦点検出枠であることを特徴とする請求項１１又は請求項１２に記載の視線情報取得装置。
14. 被写体検出を無効に設定している場合に、前記確定操作によって前記観察者の視線位置に基づいて焦点検出枠が表示される、
    請求項１３に記載の視線情報取得装置。
15. 前記観察者の視線位置と被写体の位置ズレ量が、被写体が選択されるために許容される位置ズレ量を超えた場合には、前記観察者の視線位置に焦点検出枠が表示される
    請求項１３または１４に記載の視線情報取得装置。
16. 前記観察者による確定操作を受け付ける受付手段と、
    前記確定操作を受け付けた時点から所定時間後に求められる前記第２視線情報に基づいて処理を行う処理手段と、
    をさらに備え、
    前記所定時間は、前記表示設定がオフの時の方が、前記表示設定がオンの時よりも長い、
    請求項１から７のいずれか１項に記載の視線情報取得装置。
17. 第１動作モードと第２動作モードを含む複数の動作モードの中から、動作モードを設定するための設定手段と、
    画像を撮像する撮像手段と、
    前記画像を表示する表示手段と、
    前記表示手段を観察する観察者の第１視線情報を取得する第１取得手段と、
    前記第１視線情報に基づいて、第２視線情報を取得する第２取得手段を、
    を備え、
    前記第２取得手段は、複数の第１視線情報を用いて前記第２視線情報を算出するものであり、前記第２動作モードが設定されている時には、前記第１動作モードが設定されている時よりも少ない数の前記第１視線情報を用いて前記第２視線情報を算出する、
    撮像装置。
18. 前記第１動作モードは、前記観察者の視線位置を示すポインタを前記表示手段に表示するモードであり、
    前記第２動作モードは、前記ポインタを前記表示手段に表示しないモードである、
    請求項１７に記載の撮像装置。
19. 前記第２動作モードは、高速被写体を撮像するためのモードである、
    前記第１動作モードは、前記第２動作モード以外のモードである、
    請求項１７に記載の撮像装置。
20. 前記第２取得手段は、複数の第１視線情報を重み付け平均することで前記第２視線情報を算出するものであり、前記第２動作モードが設定されている時には、前記第１動作モードが設定されている時よりも、時間的に近い前記第１視線情報に対する重みを大きくする、
    請求項１７から１９のいずれか１項に記載の撮像装置。
21. 前記第２取得手段は、前記第２動作モードが設定されている時には、前記第１動作モードが設定されている時よりも、前記第２視線情報の時間的な変化が滑らかになるように前記第２視線情報を取得する、
    請求項１７から２０のいずれか１項に記載の撮像装置。
22. 視線情報取得装置が行う視線情報取得方法であって、
    画像を表示する表示手段を観察する観察者の第１視線情報を取得する第１取得ステップと、
    表示設定がオンに設定されている場合に、観察者の視線位置を示すポインタを前記表示手段に表示するポインタ表示ステップと、
    前記第１視線情報に基づいて、第２視線情報を取得する第２取得ステップと、
    を含み、
    前記第２取得ステップでは、複数の第１視線情報を用いて前記第２視線情報を算出し、前記表示設定がオフの時には、前記表示設定がオンの時よりも少ない数の前記第１視線情報を用いて前記第２視線情報を算出する、
    視線情報取得方法。
23. コンピュータを、請求項１から１６のいずれか１項に記載の視線情報取得装置の各手段、または、請求項１７から２１のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
24. コンピュータに、請求項２２の視線情報取得方法の各ステップを実行させるためのプログラム。

Images