JP7433788B2 - 制御装置、撮像装置、制御方法、プログラム - Google Patents

Description

本発明は、焦点調節手段を制御する制御装置に関する。

使用者の注視点を検出する視線検出技術が知られている。撮像装置の分野においては、視線検出技術を活用することで撮像装置の制御に使用者の意思を反映させやすくできることが期待される。

特許文献１には、使用者の視線に関する情報を焦点検出点の選択に用いる撮像装置が記載されている。特許文献１の撮像装置では、使用者の意思をより簡易に焦点調節に反映させることが可能となっている。

特開２００２－６２４７０号公報

しかしながら、特許文献１に記載の手法では、焦点調節に際して使用者の視線に関する情報と、デフォーカス情報のみが用いられていた。すなわち、特許文献１に記載の手法では使用者が何に注視しているかは制御上考慮されていなかったため、使用者の意思を十分に反映できない場合があった。

本発明の目的は、使用者の意思を反映させた焦点調節の制御を実現することである。

本発明の制御装置は、被写体に関する画像を表示する表示手段の表示に関する表示情報を取得する表示取得手段と、使用者の視線に関する視線情報を取得する視線取得手段と、前記視線情報および前記表示情報を用いて焦点調節手段の制御を行う制御手段と、を有し、前記被写体の画像は、光学系と撮像素子を用いて取得され、前記表示手段は、表示領域の第１領域に前記被写体の画像を表示し、前記表示領域の第２領域に前記光学系と撮像素子の設定に関する情報を表示し、前記制御手段は、前記使用者の視線が前記第２領域上にある場合には、前記使用者の現在の視線に対応する位置に対して焦点調節を行わないと判定し、該判定した期間に、撮影準備指示が行われた場合、前記使用者の現在の視線に関する情報を用いずに、前記焦点調節手段の制御を行い、前記制御手段は、前記視線情報と前記表示情報とに関する時系列のデータを入力とし、前記データの相関を考慮して前記使用者の現在の視線に対応する位置に対して焦点調節を行うか否かに関する情報を出力するニューラルネットワークを用いて、前記使用者の現在の視線に対応する位置に対して焦点調節を行うか否かの判定を行い、前記使用者の現在の視線に対応する位置に対して焦点調節を行うと判定した期間に、撮影準備指示が行われた場合、前記使用者の現在の視線に関する情報を用いて、前記焦点調節手段の制御を行うことを特徴とする制御装置。

本発明によれば、使用者の意思を反映させた焦点調節の制御を実現することができる。

デジタルカメラの外観図である。 デジタルカメラの構成を示す機能ブロック図である。 表示部の表示を示す図である。 表示部の表示領域における使用者の視線の動きを説明する図である。 表示部の表示領域における使用者の視線の動きを説明する図である。 ＡＦ制御に関するフローチャートである。 スマートフォンの外観図である。 撮影用アプリケーションが起動されている際の表示を示す図である。

以下、本発明の制御装置を有する撮像装置の実施形態について、添付の図面に基づいて説明する。

［実施例１］
図１に本実施形態による撮像装置の一例としてのデジタルカメラ１００の背面外観図を示す。表示部（表示手段）２８は画像や各種情報を表示する電子ビューファインダーである。シャッターボタン６１は撮影指示を行うために用いられる。コネクタ１１２は、パーソナルコンピュータやプリンタなどの外部機器と接続するための接続ケーブル１１１とデジタルカメラ１００とを接続するためのコネクタである。操作部７０は使用者からの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より成る。コントローラホイール７３は操作部７０に含まれる回転操作可能な操作部材である。電源スイッチ７２は、電源オン、電源オフを切り替えるための押しボタンである。

記録媒体２００は、例えばメモリカードやハードディスク等を含み、デジタルカメラ１００により撮影された画像等を格納する。記録媒体スロット２０１は記録媒体２００を着脱可能に格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２００は、デジタルカメラ１００との通信が可能となり、記録や再生が可能となる。蓋２０２は記録媒体スロット２０１の蓋である。図１においては、蓋２０２を開けて記録媒体スロット２０１から記録媒体２００の一部を取り出して露出させた状態を示している。

図２は、本実施形態によるデジタルカメラ１００の構成例を示すブロック図である。図２において、撮影レンズ１０３はズームレンズ、フォーカスレンズ、絞りを含む光学系と、フォーカスレンズを駆動することで合焦する位置を変化させる焦点調節手段を含む。シャッター１０１は機械式シャッターである。撮像素子２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される。Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換する。

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小等のリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理を行う。画像処理部２４により得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス。自動焦点調節）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。また、画像処理部２４は表示取得手段２４ａと、視線取得手段２４ｂを有する。表示取得手段２４ａは表示部２８の表示素子２８ａの表示に関する情報（表示情報）を取得する。画像処理部２４は、例えば、ＣＰＵ、ＦＰＧＡ、ＧＰＵ等で構成される。

表示取得手段２４ａは、例えば表示素子２８ａが現在表示している画像（映像）データを表示情報として取得する。視線取得手段２４ｂは後述する視線検出部２８ｄから送信された使用者の眼球の画像データを解析し、使用者の視線に関する視線情報を検出する。視線情報は、使用者の注視点の座標、使用者の注視点の動きを含んでも良い。使用者の注視点の動きとは、例えば、一定周期毎に取得された使用者の注視点の座標の変化である。本実施例のデジタルカメラ１００では、表示情報と視線情報はシステム制御部５０に送信される。

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５のみを介してメモリ３２に書き込まれる。メモリ３２は、例えば、撮像素子２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、スルー画像表示（ライブビュー表示（ＬＶ表示））を行える。以下、ライブビューで表示される画像をＬＶ画像と称する。

表示部２８は、表示素子２８ａ、接眼光学系２８ｂ、接眼検知部２８ｃ、視線検出部２８ｄを有する。表示素子２８ａは液晶パネル等から成り、メモリ制御部１５から供給された表示用の画像データを表示する。表示用の画像データには、撮影レンズ１０３を介して得られた被写体空間の画像と、デジタルカメラ１００の各種設定等の情報が含まれる。デジタルカメラ１００の使用者は接眼光学系２８ｂを介して表示素子に表示された画像データを拡大して観察できる。接眼検知部２８ｃは目（物体）の接近（接眼）を検知する。システム制御部は、接眼検知部２８ｃで検知された状態に応じて、表示部２８の表示／非表示を切り替える。視線検出部２８ｄは、接眼光学系２８ｂを介して使用者の眼球の画像データを取得する。視線検出部２８ｄにより取得された使用者の眼球の画像データはＡ／Ｄ変換器２９を介して画像処理部２４へ送信される。

不揮発性メモリ５６は、電気的に消去・記録可能な記録媒体としてのメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのコンピュータプログラムのことである。

システム制御部５０は、デジタルカメラ１００全体を制御する少なくとも１つのプロセッサーまたは回路である。前述した不揮発性メモリ５６に記録されたプログラムがシステム制御部５０で実行されることで、後述する本実施例の各処理が実行される。システムメモリ５２には、例えばＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。シャッターボタン６１、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。

シャッターボタン６１は、第１シャッタースイッチ６２と第２シャッタースイッチ６４を有する。第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）による焦点調節が開始される。焦点調節は、焦点調節の目標となる被写体に対する測距を行う命令を行った後、当該被写体に合焦する位置にフォーカスレンズを移動させるための命令を行うことで実行される。第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像素子２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや光ディスク、磁気ディスク等から構成される。通信部５４は、無線または有線ケーブルによって外部機器と接続可能とし、映像信号や音声信号等の送受信を行う。通信部５４は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。通信部５４は撮像素子２２で撮像した画像（スルー画像を含む）や、記録媒体２００に記録された画像を送信可能であり、また、外部機器から画像データやその他の各種情報を受信することができる。

なお、本実施例のデジタルカメラ１００は光学系と撮像素子が一体となったいわゆる一体型のデジタルカメラであるが、本発明はこれに限定されない。撮像素子を有するカメラ本体に対して光学系を有するレンズ装置（交換レンズ）を交換可能ないわゆるレンズ交換式カメラに対しても適用可能である。レンズ交換式カメラの場合、レンズ装置とカメラ本体は互いに通信可能に構成される。また、焦点調節手段はレンズ装置に、システム制御部はカメラ本体にそれぞれ設けられ、カメラ本体のシステム制御部はレンズ装置と通信することで焦点調節手段の制御を行うことが可能に構成される。

次に、本実施例の特徴について述べる。本実施例のデジタルカメラ１００は、使用者の意思を反映したＡＦの制御を実現するために、表示情報と視線情報を用いてＡＦの制御を行っている。ここで「ＡＦの制御」とは、デジタルカメラ１００における一連のＡＦ動作のうち少なくとも１つを制御することを意味する。一連のＡＦ動作とは、ＡＦ対象領域の選択、選択された領域に対する測距、撮影レンズ１０３内のフォーカスレンズの駆動を含む。

デジタルカメラ１００を用いた撮影時には、表示部２８には被写体の画像と共にデジタルカメラ１００の各種設定が表示される。使用者は表示部２８に表示された被写体を確認しながら、所望の構図が得られるようにフレーミングを行ったり、ピントを合わせるべき被写体を選択したり、デジタルカメラ１００の設定を変更したりできる。

このように、使用者は表示部２８の表示を見ながらデジタルカメラ１００を用いた撮影に関する調整を行うため、使用者の意思は使用者の視線に現れやすい。例えば、被写体が静止している物体である場合のフレーミングでは、使用者は主被写体に注視してからフレーミング後に主被写体を配置したい位置に注視する傾向がある。被写体が動体である場合のフレーミングでは被写体の動きを視線で追跡しながらフレーミングを行う傾向がある。焦点調節を行う場合には使用者は焦点調節動作が完了するまで主被写体に注視する傾向がある。デジタルカメラ１００の設定を行う場合には使用者は画像全体と表示部２８に表示されたデジタルカメラ１００の設定に関する情報が表示された領域を注視する傾向がある。

使用者の視線情報のみでは表示部２８の表示素子２８ａ上で使用者が注視した位置（座標）に関する情報しか得られないが、視線情報と表示情報を共に用いると使用者の視線の先に何が表示されているかがわかる。このため、表示情報と視線情報を用いてＡＦの制御を行うことで、デジタルカメラ１００は表示部２８に表示した情報に対する使用者の視線の位置や動きから使用者の意思を推測することができる。

本実施例のデジタルカメラ１００におけるＡＦ制御では、システム制御部５０が表示情報と視線情報に基づいて、現在の表示部２８の表示における使用者の視線がある位置に対してＡＦ動作を行うことの可否（以下単にＡＦ動作の可否という）を判断する。すなわち、システム制御部５０は、表示情報と視線情報に基づいて、使用者が合焦させたいと考えている被写体が現在の使用者の視線の先に存在しているとみなせるか否かを判定する。ＡＦ動作が「可」と判断された場合とＡＦ動作が「否」と判断された場合とで、行われるＡＦ動作は異なる。

図３は表示部２８の表示素子２８ａの表示領域３００に表示される情報の一例である。本実施例のデジタルカメラ１００では、表示取得手段が表示領域３００に表示されている画像（映像）を表示情報として取得する。すなわち図３は表示取得手段２４ａによって取得される表示情報の例でもある。

表示領域３００は、被写体を表示する第１領域３０１と、デジタルカメラ１００の設定に関する情報を表示する第２領域３０２を含む。図３の例では、第２領域３０２には被写体の画像以外の情報が表示される。本実施例では、第２領域３０２にはデジタルカメラ１００の設定に関する情報として、撮影モード、シャッター速度、Ｆ値、露出、ＩＳＯ感度、電池の残量などが表示されている。

第１領域３０１には、焦点調節の対象（目標）となる被写体領域を表す指標としてのＡＦフレーム３０３が表示されている。図３に示す例は本実施例のＡＦ制御が行われる前の初期状態について示しており、ＡＦフレームは画面の中央に配置されている。なお、ＡＦフレーム３０３は表示領域３００に表示されていなくても良い。

図４は表示領域３００内における使用者の視線の動きを示した図である。すなわち、図４は視線取得手段２４ｂによって取得される視線情報の例でもある。

図４（ａ）は使用者が画面内で視線を動かした後に特定の被写体（鳥）上で視線が停滞するようになった場合の視線の動きを示している。このような場合、使用者は表示領域３００の第１領域３０１を見回した後に主被写体に注視するようになった可能性が高い。すなわち、使用者は主被写体として鳥を選択しようとしている可能性が高い。

また、図４（ｂ）は使用者が特定の被写体（鳥）に注視した後、他の位置に視線を移した場合の視線の動きを示している。使用者が注視点を移した先にも被写体（葉）が存在しているため、使用者は表示領域３００の第１領域３０１のうち、主被写体を鳥から葉に変更することを考えている可能性が高い。

図４（ａ），（ｂ）に示すような視線の動きの場合、使用者の視線に焦点調節に関する使用者の意思が反映されている可能性が高い。すなわち、使用者の現在の視線の位置と使用者が焦点を合わせたいと思う位置は一致している可能性が高い。このため、システム制御部５０はＡＦ動作を「可」とする。なお、図４（ａ），（ｂ）はＡＦ動作を「可」とする一例を示すにすぎず、ＡＦ動作を「可」とする視線の動きは図４（ａ），（ｂ）に示す場合に限定されない。

図５（ａ）は使用者が特定の被写体（鳥）に注視した後、他の被写体上で視線を停滞させることや、ある被写体を追跡することなく視線の動かしている場合の視線の動きを示している。このような場合、使用者は表示領域３００の第１領域３０１のうち、主被写体を鳥から他の被写体に移そうとしている可能性はあるが、どの被写体を主被写体とするかは未だ選択できていない可能性が高い。したがってこのような視線の動きの場合、現時点で使用者は焦点を合わせたい被写体を変更する意思はないと考えられる。

また、図５（ｂ）は使用者が特定の被写体（鳥）に注視した後、第２領域３０２に注視した場合の視線の動きを示している。このような場合、使用者は主被写体を鳥から他の被写体に移そうとしているのではなく、第２領域３０２に表示された情報に注視している可能性が高い。したがって、このような視線の動きの場合、現時点で使用者は焦点を合わせたい被写体を変更する意思はないと考えられる。

図５（ａ），（ｂ）に示すような視線の動きの場合、使用者の現在の視線に焦点調節に関する使用者の意思が反映されていない可能性が高い。すなわち、使用者の現在の視線の位置と使用者が焦点を合わせたいと思う位置は異なっている可能性が高い。このため、システム制御部５０はＡＦ動作を「否」とする。なお、図５（ａ），（ｂ）はＡＦ動作を「否」とする一例を示すにすぎず、ＡＦ動作を「否」とする視線の動きは図５（ａ），（ｂ）に示す場合に限定されない。

以上のように、視線情報と表示情報を用いることで、高い精度で使用者の意思を推測することができる。

本実施例におけるＡＦ動作の可否の判断は少なくとも視線情報と表示情報を入力とする、予め学習された機械学習モデルが用いられる。機械学習モデルとしては少なくとも３層以上のニューラルネットワークを用いることが好ましい。入力として用いる表示情報と視線情報の自由度が高く、ＡＦ制御に用いるべき特徴量が膨大となり得るためである。

なお、被写体の動きおよび使用者の視線の動きからＡＦ制御を行うことでより使用者の意思を反映させやすくすることができる。このため、表示情報と視線情報はともに時系列データとして扱えることが好ましい。したがって、学習モデルとしては再帰結合を有するニューラルネットワーク（リカレントニューラルネットワーク）を用いることが好ましい。再帰結合とは、ある時系列データ内の時刻（ｔ－１）のデータを入力した際の中間層の出力を、時刻ｔのデータを入力した際の中間層の入力に加えるようなニューラルネットワークの構造を指す。再帰結合を有することにより時系列データの相関を考慮した推定を行うことが可能となる。入力される時系列データのデータ長は特に限定されない。

本実施例では、機械学習モデルとして再帰結合を有する多層のニューラルネットワークを用いる。本実施例のニューラルネットワークは、視線情報の時系列データと表示情報の時系列データを入力可能であって、ＡＦ動作を可とすべき度合いとＡＦ動作を否とすべき度合いを要素とする正規化されたベクトルを出力するように設計される。本実施例の機械学習モデルの学習は、少なくとも（１）視線情報の時系列データ、（２）表示情報の時系列データ、（３）ＡＦ可否の判定結果を示すベクトル（可の場合は（１，０）、否の場合は（０，１））を含む訓練用データセットを複数用意して行われる。訓練用データセットは、例えば１つの時系列データに含まれる表示情報の遷移に対する視線情報の遷移に基づいて、時系列データにおける最後の時点での視線の先にＡＦ対象とすべき被写体が存在しているとみなせるか否かを判断することによって用意される。訓練用データセットを生成する際の、ＡＦ対象とすべき被写体が存在しているとみなせるか否かの判断は、図４，５を用いて説明したようなパターンを自動的に判別することによって行っても良いし、人が行っても良い。

本実施例ではＡＦ動作の可否に機械学習モデルを用いる例について説明したが、本発明はこれに限定されない。ＡＦ動作の可否を判断する所定の論理を設定し、視線情報および表示情報がその論理に合致するか否かを判断することによって行われても良い。ＡＦ動作の可否を判断する論理は、使用者の視点が表示領域３００の第２領域にある場合にはＡＦ動作を否とする、使用者の視点の動きが被写体の動きと一致していない場合にはＡＦ動作を否とする、のように設定することができる。

次に、ＡＦ動作の可否の判断結果を用いたＡＦ制御について述べる。

第１の例として、ＡＦの設定がワンショットＡＦであった場合について述べる。ワンショットＡＦとは、使用者により撮影準備指示が行われたタイミングで焦点調節を行い、撮影準備期間中は焦点を固定するものである。

ワンショットＡＦの場合、使用者が意図しないタイミングでＡＦ制御が行われると使用者に違和感を与える恐れがある。このためＡＦ動作が「可」と判断されている期間中に使用者により撮影準備指示が行われた場合、システム制御部５０は、図４に示すように、ＡＦフレーム３０３を使用者が現在注視していると推定される位置に表示させる。その後、システム制御部５０はＡＦフレーム３０３内の被写体に対する測距命令およびフォーカスレンズの駆動命令を行う。

一方、ＡＦ動作が「否」と判断されている期間中に使用者により撮影準備指示が行われた場合、現在使用者の視線に関する情報を用いずにＡＦ制御を行う。具体的には、現在使用者の視線がある位置ではなく、直近の過去にＡＦ動作が「可」と判断されたタイミングで使用者が注視していると推定される位置にＡＦフレーム３０３を表示させる。その後、システム制御部５０はＡＦフレーム３０３内の被写体に対する測距命令およびフォーカスレンズの駆動命令を行う。

ＡＦ動作の第２の例として、ＡＦの設定がコンティニュアスＡＦであった場合について述べる。コンティニュアスＡＦとはＡＦフレーム内の被写体に焦点を合わせ続けるように焦点調節を行うものである。なお、本実施例ではコンティニュアスＡＦは撮影準備指示が行われている間中行われるものであるが、撮影準備指示の有無にかかわらずコンティニュアスＡＦが行われても良い。

コンティニュアスＡＦの場合、使用者は所望の被写体を捕捉し続けることを期待して視線を動かすことが期待される。このため、ＡＦフレーム３０３を使用者の意思通りの位置に表示させ続けることが重要である。コンティニュアスＡＦが行われている場合において、ＡＦ動作が「可」と判断されている期間中はＡＦフレーム３０３を使用者が注視していると推定される位置に表示させる。ＡＦ動作が「可」と判断されている期間中に使用者が注視していると推定される位置が移動している場合にはＡＦフレーム３０３も移動させる。そして、システム制御部５０はＡＦフレーム３０３内の被写体に対する測距命令およびフォーカスレンズの駆動命令を所定の周期毎に行う。

一方、コンティニュアスＡＦが行われている場合において、ＡＦ動作が「否」と判断されている期間中は現在の使用者の視線に関する情報を用いずにＡＦ制御を行う。具体的には、現在使用者の視線がある位置ではなく、直近の過去にＡＦ動作が「可」と判断されたタイミングで使用者が注視していると推定される位置にＡＦフレーム３０３を表示させ続ける。そして、システム制御部５０はＡＦフレーム３０３内の被写体に対する測距命令およびフォーカスレンズの駆動命令を所定の周期毎に行う。

図６は、上述した本実施例のデジタルカメラ１００におけるＡＦ制御に関するフローチャートである。図６の処理は不揮発性メモリ５６に記録されたプログラムを、システムメモリ５２をワークメモリとしてシステム制御部５０が実行することにより実現される。図６の処理は、視線検出部２８ｃによって使用者の視線が検出されると開始される。

Ｓ６０１において、画像処理部２４の表示取得手段２４ａは表示部２８の表示情報を取得する。また、視線取得手段２４ｂは視線検出部２８ｄの出力を用いて視線情報を取得する。

Ｓ６０２において、システム制御部５０は表示情報および視線情報を用いて、現在の使用者の視線を注視点とみなしてＡＦ動作を行うことの可否を判断する。Ｓ６０２においてＡＦ動作が「可」と判断された場合はＳ６０３に進み、「否」と判断された場合にはＳ６０４に進む。

Ｓ６０３において、システム制御部５０は視線情報に基づく現在の使用者の視点を、ＡＦの対象となるＡＦ位置（ＡＦフレームが表示されるべき位置）としてシステムメモリ５２に記憶させる。なお、ＡＦ位置は所定の初期値（例えば画面の中央を含む位置）が設定されていても良い。

Ｓ６０４において、システム制御部５０は使用者によって撮影準備指示が行われているか否かを判別する。使用者によって撮影準備指示が行われている場合にはＳ６０５に進み、行われていない場合にはＳ６１０に進む。

Ｓ６０５において、システム制御部５０はＡＦの設定がワンショットＡＦであるかコンティニュアスＡＦであるか判別する。ワンショットＡＦである場合にはＳ６０６に進み、コンティニュアスＡＦであった場合にはＳ６１１に進む。

Ｓ６０６では、システム制御部５０はシステムメモリ５２からＡＦ位置を読み出し、該ＡＦ位置に対するＡＦ動作を実行する。具体的には、表示部２８の表示内のＡＦ位置にＡＦフレームを表示させ、ＡＦ位置に対する測距指示を行った後、測距結果に基づいてフォーカスレンズの駆動命令を行う。

Ｓ６０７において、システム制御部５０は使用者による撮影準備指示が継続されているか否かを判別する。撮影準備指示が継続されている場合にはＳ６０８に進み、撮影準備指示が解除されている場合にはＳ６１０に進む。

Ｓ６０８において、システム制御部５０は使用者による撮影指示が行われているか判別する。撮影指示が行われていない場合にはＳ６０７に戻り、撮影指示が行われている場合にはＳ６０９に進む。すなわち、ＡＦの設定がワンショットＡＦである場合、一度ＡＦ動作が行われた後に撮影準備状態が継続している間は、使用者の視線に基づくＡＦ動作は行われない。これによって使用者が意図したタイミングで使用者の意思を反映したＡＦ制御が可能となる。

Ｓ６０９において、システム制御部５０は所定の撮影シーケンスを実行し、画像を取得する。

Ｓ６１０において、システム制御部５０は使用者の視線が継続して検出されているか否か判別する。使用者の視線が検出されなくなった場合には処理を終了し、使用者の視線が継続して検出されている場合にはＳ６０１に戻る。

Ｓ６０５でＡＦの設定がコンティニュアスＡＦであると判別された場合、Ｓ６１１においてシステム制御部５０は、Ｓ６０６と同様にして、システムメモリ５２からＡＦ位置を読み出し、該ＡＦ位置に対するＡＦ動作を実行する。

Ｓ６１２において、システム制御部５０は使用者による撮影指示が行われているか判別する。撮影指示が行われていない場合にはＳ６１０に進み、撮影指示が行われている場合にはＳ６１３に進む。すなわち、ＡＦの設定がコンティニュアスＡＦである場合、一度ＡＦ動作が行われた後に撮影準備状態が継続している間は、使用者の視線に基づくＡＦ動作が継続して行われる。これによって使用者の意思を反映して被写体を追尾しながらＡＦ制御を行うことが可能となる。

以上のように、本実施例のデジタルカメラ１００は、焦点調節手段を制御するための制御装置としての、システム制御部５０、画像処理部２４、表示部２８を有している。これにより、使用者の意思を反映させたＡＦ制御を実現することが可能となる。

なお、ＡＦの設定がワンショットＡＦの場合、使用者により撮影準備指示が行われていない期間はＡＦフレーム３０３を表示部２８に表示しないことが好ましい。使用者がＡＦの開始を意図しない期間に、使用者の意図しない位置にＡＦフレームが表示されたり、ＡＦフレーム３０３が移動したりすると使用者に違和感を与えるおそれがあるためである。

また、大きく距離の異なる被写体間での視線変化に対してＡＦ位置の変化が起こると、本来注視したいと使用者が考えていた被写体がデフォーカスによって大きくぼけてしまう場合がある。この場合、使用者の意図しないＡＦ制御が行われてしまうばかりか、使用者の意図する被写体に再度合焦するまでに多くの時間を要してしまう。このため、ＡＦ動作の可否の判断に被写体の距離情報を用い、所定時間以内に所定値以上距離の異なる位置から使用者の視線が移動した場合には、現在の使用者の視線に対応する位置に対して焦点調節を行わないようにすることが好ましい。これにより、使用者の意図する被写体に対する非合焦率を低減させることができる。

また、本実施例のように、表示領域３００内に被写体が表示される第１領域３０１とデジタルカメラ１００の設定に関する情報が表示される第２領域３０２が表示される場合、使用者は第２領域３０２に視線を頻繁に動かすことが考えられる。このため、使用者が第２領域を見ていると判断される場合には、表示領域３００上の現在の使用者の視点に対してＡＦ動作が行われないようにすることが好ましい。これにより、使用者の意図する被写体に対する非合焦率を低減させることができる。

なお、図３では第１領域３０１と第２領域３０２が上下に分割して配置されている例について示しているが、表示領域３００の表示としてはこれに限定されない。被写体の画像を表示する第１領域上にデジタルカメラ１００の設定に関する情報が表示される第２領域を重畳して示しても良い。

また、操作部７０を介して使用者が合焦させたい領域を選択できるように構成し、操作部７０を介して領域が選択された場合には図６に示した処理を行わないことが好ましい。すなわち、操作部７０を介して領域が選択された場合には視線情報および表示情報を用いたＡＦ制御は行われないことが好ましい。使用者の意思は、使用者の視線よりも操作部７０を介した操作により強く反映されるためである。これにより、使用者の意思をより高い精度で焦点調節の制御に反映させることができる。

［実施例２］
次に、実施例２の撮像装置について説明する。

図７は本実施例の撮像装置としてのスマートフォン７００である。

図７（ａ）はスマートフォン７００の前面を示しており、図７（ｂ）はスマートフォン７００の背面を示している。

スマートフォン７００は、表示部７０１、操作部７０２、前面撮像部７０３、背面撮像部７０４を有する。

表示部７０１は液晶パネルなどで構成され、タッチセンサを有する。すなわち、使用者は操作部７０２に加えて表示部７０１に触れることでもスマートフォン７００を操作することが可能である。

前面撮像部７０３は主として使用者を撮影するために用いられる。背面撮像部７０４は主として使用者に対向する被写体を撮影するのに用いられる。前面撮像部７０３および背面撮像部７０４はともに不図示の光学系と撮像素子を含む。

図８は、本実施例のスマートフォン７００において、写真撮影用のアプリケーションが起動された状態を示している。

写真撮影用のアプリケーション起動時のスマートフォン７００の表示部７０１には、被写体の画像（映像）を表示する第１領域８０１と、アプリケーションを操作するための仮想ボタン等が表示される第２領域８０２が表示される。

このとき、スマートフォン７００は表示情報として表示部７０１上に表示された画像（映像）を取得する。また、スマートフォン７００は視線情報として前面撮像部７０３を介して得られた使用者の顔を解析し、使用者の視線情報を取得する。

そして、スマートフォン７００は実施例１と同様にしてＡＦ動作の可否を判定し、ＡＦ制御を行う。

このように、本実施例の形態によっても本発明の効果を得ることができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の組合せ、変形及び変更が可能である。

２８ 表示部（表示手段）
２４ａ 表示取得手段
２４ｂ 視線取得手段
５０ システム制御部（制御手段）

Claims (10)

1. 被写体に関する画像を表示する表示手段の表示に関する表示情報を取得する表示取得手段と、
   使用者の視線に関する視線情報を取得する視線取得手段と、
   前記視線情報および前記表示情報を用いて焦点調節手段の制御を行う制御手段と、
   を有し、
   前記被写体の画像は、光学系と撮像素子を用いて取得され、
   前記表示手段は、表示領域の第１領域に前記被写体の画像を表示し、前記表示領域の第２領域に前記光学系と撮像素子の設定に関する情報を表示し、
   前記制御手段は、前記使用者の視線が前記第２領域上にある場合には、前記使用者の現在の視線に対応する位置に対して焦点調節を行わないと判定し、
   該判定した期間に、撮影準備指示が行われた場合、前記使用者の現在の視線に関する情報を用いずに、前記焦点調節手段の制御を行い、
   前記制御手段は、前記視線情報と前記表示情報とに関する時系列のデータを入力とし、前記データの相関を考慮して前記使用者の現在の視線に対応する位置に対して焦点調節を行うか否かに関する情報を出力するニューラルネットワークを用いて、前記使用者の現在の視線に対応する位置に対して焦点調節を行うか否かの判定を行い、
   前記使用者の現在の視線に対応する位置に対して焦点調節を行うと判定した期間に、撮影準備指示が行われた場合、前記使用者の現在の視線に関する情報を用いて、前記焦点調節手段の制御を行うことを特徴とする制御装置。
2. 前記表示手段には撮影準備指示が行われている期間は、焦点調節の対象となっていることを示す指標が表示され、
   前記撮影準備指示が行われていない期間は前記指標が表示されないことを特徴とする請求項１に記載の制御装置。
3. 前記制御装置は、さらに被写体の距離情報を用いて焦点調節手段の制御を行い、
   距離が所定値以上異なる位置から前記使用者の視線が移動した場合には、前記使用者の現在の視線に対応する位置に対して焦点調節を行わないことを特徴とする請求項１または２に記載の制御装置。
4. 前記使用者の現在の視線に対応する位置に対して焦点調節を行わないと判定された場合、前記制御手段は、前回前記使用者の現在の視線に対応する位置に対して焦点調節を行うと判定された際の前記使用者の視線に関する情報に基づいて前記焦点調節手段の制御を行うことを特徴とする請求項１乃至３のいずれか一項に記載の制御装置。
5. 前記制御手段は、操作部を介した操作によって、焦点調節を行う位置に関する指示が行われた場合には、前記指示に基づいて前記焦点調節手段の制御を行うことを特徴とする請求項１乃至４のいずれか一項に記載の制御装置。
6. 前記表示手段は電子ビューファインダーであることを特徴とする請求項１乃至５のいずれか一項に記載の制御装置。
7. 前記視線情報は、前記表示手段の表示に対する前記使用者の視線に関する情報であることを特徴とする請求項１乃至６のいずれか一項に記載の制御装置。
8. 光学系と撮像素子を含む撮像部と、
   前記撮像部の焦点調節を行う焦点調節手段と、
   請求項１乃至７のいずれか一項に記載の制御装置と、
   を有することを特徴とする撮像装置。
9. 被写体に関する画像を表示する表示手段の表示に関する表示情報を取得するステップと、
   使用者の視線に関する視線情報を取得するステップと、
   前記視線情報および前記表示情報を用いて焦点調節手段の制御を行うステップと、
   を有し、
   前記被写体の画像は、光学系と撮像素子を用いて取得され、
   前記表示手段は、表示領域の第１領域に前記被写体の画像を表示し、前記表示領域の第２領域に前記光学系と撮像素子の設定に関する情報を表示し、
   前記焦点調節手段の制御を行うステップでは、前記使用者の視線が前記第２領域上にある場合には、前記使用者の現在の視線に対応する位置に対して焦点調節を行わないと判定し、
   該判定した期間に、撮影準備指示が行われた場合、前記使用者の現在の視線に関する情報を用いずに、前記焦点調節手段の制御を行い、
   前記焦点調節手段の制御を行うステップでは、前記視線情報と前記表示情報とに関する時系列のデータを入力とし、前記データの相関を考慮して前記使用者の現在の視線に対応する位置に対して焦点調節を行うか否かに関する情報を出力するニューラルネットワークを用いて、前記使用者の現在の視線に対応する位置に対して焦点調節を行うか否かの判定を行い、
   前記使用者の現在の視線に対応する位置に対して焦点調節を行うと判定した期間に、撮影準備指示が行われた場合、前記使用者の現在の視線に関する情報を用いて、前記焦点調節手段の制御を行うことを特徴とする制御方法。
10. コンピュータに、請求項９に記載の制御方法を実行させることを特徴とするプログラム。

Images