JP4876836B2 - 撮像装置及び方法並びにプログラム - Google Patents

Description

本発明は、撮像装置にかかり、特に、オートフォーカス機能を有する撮像装置に関する。

標準的なカメラでは、オートフォーカスの対象となるフォーカスエリアが撮影画像の中心となる。従って、例えば、旅行先での記念撮影の際に、中央に風景、脇のほうに人物という構図で撮影しようとしたときに、構図の中央に位置する遠方の風景にフォーカスし、人物がピンボケになるという問題があった。この問題を回避するためには、まず人物を中心とした構図でフォーカスをロックした状態で風景を中央とした構図に変更することで、人物にフォーカスした状態で撮影することができる。しかし、カメラの操作に慣れていないユーザは、このような操作方法を把握していないことが多いため、適切な写真撮影を行うことが困難であった。

そして、上記問題を解決するために、フォーカスエリアを画面内の複数点に配置し、最も適切なフォーカスエリアを選択してフォーカス動作を行う方法が従来より用いられている。しかし、かかる方法では、複数のフォーカスエリアでフォーカス動作を行う必要があるため処理時間がかかり、また、固定的に配置されているフォーカスエリアから被写体が外れた場合は、ユーザが希望する被写体をフォーカスすることができない、という問題が生じていた。

そして、被写体の多くは人物であるが、人物撮影時に人物の顔のピンぼけを防ぐために、顔を検出してフォーカスの対象として作動するカメラが存在しうる。例えば、特許文献１，２には、撮影範囲内から被写体となる人物の顔部分を検出し、検出した顔部分を対象にオートフォーカスする技術を搭載したカメラが開示されている。さらに、特許文献３には、目標被写体を自動追尾する技術が開示されている。

特開２００５−３１８５５４号公報 特開２００６−１４５６２９号公報 特開平６−２６８８９４号公報

しかしながら、上記特許文献に開示されている技術では、複数の顔を検出した場合に、いずれをフォーカスして、かつ、自動追尾するか、という技術については開示されていない。例えば、特許文献２には、複数の人物の顔部分が存在する場合には、各顔部分を検出し、ユーザがカメラの操作部を操作して目的とする人物の顔部分をプレビュー画面で選択し、任意の顔部分を明示的にフォーカスする方法が開示されている。特に、顔部分の面積に応じてカメラからの距離を調べ、かかる距離に基づいてユーザによる選択対象を移動する。ところが、上記技術では、ユーザがプレビュー画面を見て操作部を操作して選択する必要があり、操作に手間がかかる、という問題が生じる。特に、カメラからの距離に応じた順でプレビュー画面上で顔部分の選択対象の移動操作を行う必要があり、操作時の手間が増加しうる。さらに、仮に検出した複数の顔を同時に追尾することも考えられるが、処理負担が増加し、処理能力の限られる携帯電話などの小型電子機器では処理が困難である、という問題が生じる。

このため、本発明では、上記従来例の有する不都合を改善し、特に、処理負荷を抑制しつつ、ユーザの操作性の向上を図ることができる撮像装置を提供する、ことをその目的とする。

そこで、本発明の一形態である撮像装置は、
撮影範囲のフレーム画像データを取得するフレーム画像取得手段と、
取得したフレーム画像データに基づいて人物部分を検出する人物検出手段と、
検出された人物部分を後続する他のフレーム画像データ上にて追跡する追跡手段と、
人物部分に焦点を合わせるフォーカス手段と、
撮影指令の入力を受け付けて、フォーカス手段にて人物部分に焦点が合わせられた状態で撮像処理を行う撮像手段と、を備えた撮像装置であって、
人物検出手段は、撮影範囲のうち予め設定された位置、例えば、撮影範囲の中心位置、に最も近い１つの人物部分を検出する、
ことを特徴としている。

上記発明によると、まず、撮像装置では、一定の時間間隔にて、常時、レンズから撮影範囲の画像データであるフレーム画像データが取り込まれ、例えば、撮像装置に装備された表示部にプレビュー表示される。そして、このフレーム画像データに対して、人物部分を検出する処理が行われる。このとき、撮影範囲のうち、予め設定された位置、例えば、撮影範囲の中心位置に最も近い１つの人物部分を検出する。そして、この検出された１つの人物部分を、後続するフレーム画像データ上にて追跡処理を行う。その後、撮影指令の入力があると、追跡している人物部分に焦点を合わせて、あるいは、追跡時にフォーカスされた状態で、撮像処理を行い、撮影範囲の画像データを取得して記憶する。

これにより、仮に撮影範囲に人物部分が複数存在する場合であっても、設定された位置に最も近い１つの人物部分が検出対象及び追跡対象とされるため、自動的にフォーカス対象を設定でき操作性の向上を図ることができると共に、処理時間の短縮化及び処理の負荷の軽減を図ることができる。また、取得されたフレーム画像データ上にて人物検出を行っているため、撮影指令入力（シャッターボタン押下）以降は人物検出処理などを行う必要がなく、撮影指令から撮像処理までの処理時間の短縮化を図ることができ、ユーザはシャッターチャンスを逃すことを抑制できる。

また、人物検出手段に対して人物部分の再検出指令を入力する再検出指令手段を備えると共に、人物検出手段は、再検出指令に応じて前記フレーム画像データに基づいて人物部分の再検出を行う、ことを特徴としている。これにより、ユーザが再検出指令を入力すると、その時点におけるフレーム画像データにて撮影範囲の設定箇所に最も近い位置にいる人物部分が再検出される。従って、ユーザ操作によるタイミングで、画面の中心位置などの設定箇所に近い人物部分へフォーカス対象となる追跡対象を切り替えことができ、ユーザが目的とする任意の人物を追跡して撮像することができるため、操作性の向上を図ることができる。

また、人物検出手段は、一定の時間間隔にてフレーム画像に基づいて人物部分の検出を行う、ことを特徴としている。このとき、人物検出手段に対して人物部分の検出停止指令を入力する検出停止指令手段を備えると共に、人物検出手段は、検出停止指令に応じて人物部分の検出処理を停止する、ことを特徴としている。これにより、一定の時間間隔にて自動的に人物部分が再検出されるため、ユーザが目的とする人物の撮影が容易となる。そして、さらに、ユーザが検出停止指令を入力すると、人物部分の検出処理が停止される。すると、その時点で検出されている人物部分がその後追跡されることとなる。つまり、追跡対象を固定することができ、目的の人物を撮像することができるため、操作性の向上を図ることができる。

また、フォーカス手段は、撮影指令の入力を受け付けたときに作動する、ことを特徴としている。これにより、撮影指令が入力されると、そのときに追跡されている人物部分に対するフォーカス処理が実行され、撮像処理が行われる。従って、撮像直前にのみフォーカス処理が実行されるため、フォーカス動作時に必要なレンズの駆動などが撮影直前のみに作動することになり、消費電力の低減を図ることができる。

あるいは、フォーカス手段は、人物部分の検出処理後、かつ／あるいは、追跡処理後に作動する、ことを特徴としている。これにより、各フレーム画像に対する追跡処理時に、常時、人物部分に対するフォーカス処理が実行される。従って、撮像処理時にフォーカス処理を実行する必要がないため、撮影指令から撮像処理までの処理時間の短縮化を図ることができる。

そして、上述した撮像装置は、操作性が向上し、また、処理の負荷の軽減を図ることができるため、携帯電話などの携帯型電子機器に装備すると望ましい。

また、本発明の他の形態であるプログラムは、
所定の範囲の画像を撮像する撮像装置の制御部に、
撮影範囲のフレーム画像データを取得するフレーム画像取得手段と、
取得したフレーム画像データに基づいて人物部分を検出する人物検出手段と、
検出された人物部分を後続する他のフレーム画像データ上にて追跡する追跡手段と、
撮影指令の入力を受け付けて、人物部分に焦点が合わせられた状態で撮像処理を行う撮像手段と、
を実現させるためのプログラムであって、
人物検出手段は、撮影範囲のうち予め設定された位置に最も近い１つの人物部分を検出する、
ことを特徴としている。

さらに、本発明の他の形態である撮像方法は、
撮像装置にて所定範囲の画像を撮像する方法であって、
撮影範囲のフレーム画像データを取得するフレーム画像取得工程と、
取得したフレーム画像データに基づいて人物部分を検出する人物検出工程と、
検出された前人物部分を後続する他のフレーム画像データ上にて追跡する追跡工程と、
撮影指令の入力を受け付けて、人物部分に焦点が合わせられた状態で撮像処理を行う撮像工程と、を有し、
人物検出工程は、撮影範囲のうち予め設定された位置（例えば、撮影範囲の中心位置）に最も近い１つの人物部分を検出する、
ことを特徴としている。

そして、人物検出工程は、人物部分の再検出指令を受け付けたときにフレーム画像データに基づいて人物部分の再検出を行う。あるいは、人物検出工程は、一定の時間間隔にてフレーム画像に基づいて人物部分の検出を行う。このとき、人物検出工程は、人物部分の検出停止指令の入力を受け付けたときに人物部分の検出処理を停止する。

また、撮像工程は、撮影指令の入力を受け付けたときに人物部分に焦点を合わせて撮像する。あるいは、人物検出工程は人物部分を検出した後に、かつ／あるいは、追跡工程は人物部分を追跡した後に、人物部分に焦点を合わせる、ことを特徴としている。

上記構成のプログラム及び方法の発明であっても、上述した撮像装置と同様に作用するため、上記本発明の目的を達成することができる。

本発明は、以上のように構成され機能するので、これによると、撮影範囲内において設定された位置に最も近い１つの人物部分のみが検出対象及び追跡対象とされるため、自動的にフォーカス対象を設定でき操作性の向上を図ることができると共に、処理時間の短縮化及び処理の負荷の軽減を図ることができる、という従来にない優れた効果を有する。

本発明は、撮像装置で人物を撮影しようとする際に、プレビュー表示用などに取得したフレーム画像にて被写体の顔を検出・追跡し、撮影時に顔の位置でオートフォーカス動作を行うことで、ピンボケを防ぐ、ことを特徴としている。以下、撮像装置として、携帯電話機に搭載されたデジタルカメラを一例に挙げて説明する。但し、本発明にかかる撮像装置は、他の電子機器に搭載されているものであってもよく、デジタルカメラ自体であってもよい。

本発明の第１の実施例を、図１乃至図４を参照して説明する。図１は、撮像装置が装備された携帯電話機の外観を示す図であり、図２は、撮像装置部分の構成を示す機能ブロック図である。図３は、撮像装置の動作を示すフローチャートであり、図４は、撮像時のプレビュー画面の一例を示す図である。

［構成］
図１に示す携帯電話機１は、折り畳み式の一般的な携帯電話機１であり、上側の筐体１Ａには液晶ディスプレイである表示部１５が装備され、下側の筐体１Ｂにはテンキーなどの操作ボタンを複数有するキー操作部１３が装備されている。また、この携帯電話機１は、デジタルカメラである撮像装置１０を備えており、上側の筐体１Ａの背面側にレンズ等を有するカメラ部１１が装備され、下側の筐体１Ｂの内部に撮像機能を実現するための制御装置等（カメラ制御部１２、演算装置２０など）が装備されている。以下、撮像装置１０部分の構成を、図２を参照して説明する。

図２に示すように、撮像装置１０は、カメラ部１１と、カメラ制御部１２と、キー操作部１３と、キー入力制御部１４と、表示部１５と、表示制御部１６と、演算装置２０と、記憶装置３０と、を備えている。以下、撮像装置１の各構成について詳述する。

カメラ部１１は、上述したように、撮影範囲の画像を電子データである画像データとして取り込むカメラモジュールである。カメラ制御部１２は、カメラ部１１の動作を制御して、画像データを取り込む処理を行ったり、カメラ部１１と協働して当該カメラ部１１の焦点を合わせるオートフォーカス制御を行う機能を有する（フォーカス手段）。

また、キー操作部１３は、上述したように携帯電話機１の操作部であり、キー入力制御部１４が、キー操作部１３に対する入力を検出する。また、表示部１５は、上述したように携帯電話機１のディスプレイであり、表示制御部１６が、カメラ部１１にて取得したプレビュー画像や、実際に撮像した画像を、表示部１５に表示するよう制御する。

演算装置２０は、上記各制御部１２，１４，１６と接続され、撮像装置１０の動作を制御するＣＰＵである。そして、この演算装置２０には、所定のプログラムが組み込まれることで、画像取得処理部２１と、顔検出・追跡制御処理部２２と、画像表示処理部２３と、データ保存処理部２４と、が構築されている。

画像取得処理部２１（フレーム画像取得手段）は、カメラ制御部１２の動作を制御して、カメラ部１１で取得された所定の撮影範囲におけるフレーム画像データを取り込む。このとき、一定の時間間隔（例えば、０．５秒間隔）にて連続してフレーム画像データを取得して、顔検出・追跡制御処理部２２に渡す。なお、このフレーム画像データは、顔検出・追跡制御部２２を介して、順次、画像表示処理部２３にて表示部１５にプレビュー画像として表示される。

また、画像取得処理部２１は、キー操作部１３から撮影指令が入力されたときに、キー入力制御部１４及び顔検出・追跡制御処理部２２を介して撮影指令を受け付けて、カメラ部１１からフレーム画像データを取り込み、このフレーム画像データを撮影画像としてデータ保存処理部２４に渡す。そして、データ保存処理部２４が、撮影画像であるフレーム画像データを記憶装置３０の画像記憶部３１に保存する。このように、画像取得手段２１とデータ保存処理部２４とは、撮像手段として機能する。

さらに、画像取得処理部２１は、上述した撮影時に、後述する顔検出・追跡制御処理部２２から指示されたオートフォーカスエリアに基づいて、このオートフォーカスエリアを指定してオートフォーカスの指示をカメラ制御部１２に対して行う。つまり、画像取得処理部２１は、カメラ部１１やカメラ制御部１２等と協働して、フォーカス手段として機能する。これにより、本実施例では、撮影指令があった後にのみオートフォーカスが実行されて、撮影画像が取得されて保存される。

顔検出・追跡制御処理部（人物検出手段、追跡手段）２２は、画像取得処理部２１にてカメラ部１１から取得したプレビュー表示用のフレーム画像データを受け取って、かかるフレーム画像データに対して、まず、人物の顔部分（人物部分）の検出処理を行う。例えば、画像の色情報に基づいて予め設定された色部分を顔部分として検出を行う。そして、その後は、検出された顔部分を、連続する後続のフレーム画像データ上で追跡する。例えば、後続するフレーム画像データ上において上記検出された顔部分の特徴点と同一の特徴点を検出して、追跡された顔部分として特定する。

ここで、顔部分の検出及び追跡は上述した処理にて実行されることに限定されず、検出及び追跡のアルゴリズムは任意である。また、検出して追跡する部位は、顔部分に限定されず、人間の体の他の部分であってもよい。

また、顔検出・追跡制御処理部２２は、上述した顔部分検出時に複数の顔部分が検出された場合には、撮影範囲つまりフレーム画像データの中心位置に最も近い１つの顔部分を特定して検出する。つまり、平面上であるフレーム画像上において、その中心位置により近く位置する顔部分を、後の追跡対象として特定して検出する。このとき、例えば、フレーム画像データ上における座標に基づいて各顔部分までの距離を算出し、最も距離の短い顔部分を追跡対象として特定する。なお、特定する１つの顔部分は、必ずしも中心位置に近いものに限定されない。例えば、撮影範囲の右隅といった位置や、予め表示部１５上に任意に設定表示したマーカー位置に最も近く存在する顔部分を特定してもよい。

また、この顔検出・追跡制御処理部２２は、上述したように検出した、あるいは、追跡した顔部分の位置を特定する例えば長方形の顔検出枠データＲ（図４の点線枠Ｒを参照）を、フレーム画像データ上に合成して、画像表示処理部２３に出力する。さらに、キー操作部１３のシャッターボタンに相当するボタンが押下されて、キー入力制御部１４から撮影指令の信号を受け取ると、直前のフレーム画像データにおける顔検出（追跡）位置をオートフォーカスエリアとして画像取得処理部２１に通知し、フォーカス及び画像取得を指示する。

さらに、本実施例における顔検出・追跡制御処理部２２は、キー入力制御部１４からキー操作部１３に入力された顔部分の再検出指令を受けると、現在追跡している顔部分の位置をリセットして、新たに最新のフレーム画像データから上述同様に顔部分の検出処理を行う。そして、新たに検出された顔部分の追跡を続行する。

画像表示処理部２３は、上述したように顔検出・追跡制御処理部２２から受け取ったフレーム画像データであるプレビュー画像および顔検出枠Ｒを、表示制御部１６を利用して表示部１５へ表示する。

［動作］
次に、上記構成の撮像装置１の動作を、図３のフローチャート、及び、図４のプレビュー画面を参照して説明する。なお、図３のフローチャートは、フレーム画像が取得される毎、つまり、一フレームのプレビュー画像の更新ごとにループし、シャッターキーまたは終了キーが押下されるまでループが繰り返される。

はじめに、撮像装置１が起動すると、画像取得処理部２１がカメラ部１１からプレビュー画像を取得する（ステップＳ０１、フレーム画像取得工程）。続いて、直前のフレームで、顔検出または顔追跡が成功したかの判断を行う（ステップＳ０２）。このときは、まだ最初のフレーム画像であり初回のループであるため、成功していないと判断する（ステップＳ０２：ＮＯ）。また、後述するステップＳ１１で設定される再検出フラグが立っている場合も、成功していないと判断し（ステップＳ０２：ＮＯ）、顔検出処理へ移行する（ステップＳ０５、人物検出工程）。なお、既に前フレームにて顔部分が検出されており、成功していた場合は（ステップＳ０２：イエス）、顔追跡処理に移行する（ステップＳ０３）。

続いて、ステップＳ０５の顔検出処理では、ステップＳ０１で取得した現在のフレーム画像データ全体をスキャンして、色情報などに基づいて画像に含まれる顔部分をすべて検出する。そして、ステップＳ０５の顔検出処理が成功したか否かの判断を行い（ステップＳ０６）、成功した場合は（ステップＳ０６：ＹＥＳ）、ステップＳ０７へ進む。そして、顔検出処理に成功した場合には、ステップＳ０５で検出した複数の顔のうち、画像の中心に最も近い顔を選択する（ステップＳ０７）。なお、失敗した場合または画像に顔が含まれなかった場合は（ステップＳ０６：ＮＯ）、ステップＳ０７とステップＳ０８をスキップする。

続いて、ステップＳ０７にて顔部分が選択されると、この選択された顔部分の位置を示す長方形の顔検出枠Ｒを、プレビュー画像上に合成する（ステップＳ０８）。そして、画像表示処理部２３へプレビュー画像を送り、プレビュー画像を表示部１５に表示する（ステップＳ０９）。このときのプレビュー画面の表示例を、図４（ａ）に示す。このように、撮影範囲に人物が２人（ユーザＡ、ユーザＢ）含まれている場合には、中心位置Ｃにより近く位置するユーザＡが撮影対象として検出され、その顔部分には顔検出枠Ｒが表示されて出力される。

その後、ユーザからのキー入力を受け付けるが（ステップＳ１０）、キーの入力がない場合には、撮影範囲のフレーム画像データを取り込み続ける（ステップＳ０１）。そして、現時点では既に顔部分を検出して顔追跡中であるため（ステップＳ０２：ＹＥＳ）、顔部分の追跡処理を行う（ステップＳ０３、追跡工程）。この追跡処理では、直前のフレームの顔追跡・顔検出処理の結果を用いて、直前のフレームで追跡していた同じ顔部分を現在のフレームから検出し、この検出された顔部分の位置を追跡した位置とする。例えば、前のフレームの顔部分位置の周囲のみに、追跡対象となっている顔部分と同一の特徴点を有する顔部分を検出することで、少ない処理量で短時間に追跡処理を行うことができる。

そして、上述したステップＳ０３の顔追跡処理が成功したか否か判断を行い（ステップＳ０４）、成功した場合は（ステップＳ０４：ＹＥＳ）、上述同様に、追跡された顔部分の位置を示す長方形の顔検出枠Ｒをプレビュー画像上に合成する（ステップＳ０８）。なお、同一の特徴点が検出されなかった場合などには追跡に失敗したと判断し、ステップＳ０８をスキップする。そして、画像表示処理部２３へプレビュー画像を送り、プレビュー画像を表示部１５に表示する（ステップＳ０９、図４（ａ）参照）。

その後、ユーザからのキー入力を受け付けるが（ステップＳ１０）、再検出キーの入力を受け付けた場合は、現在追跡している顔部分の追跡を終了し（ステップＳ１１）、再検出フラグを立て、ステップＳ０１へ戻る。この再検出キーは、例えば、複数の顔が撮影範囲にあってプレビュー画面に表示されており、ユーザがフォーカス対象として希望する顔と違う顔が追跡対象となってしまった場合に、希望する顔部分がフォーカス対象となるようカメラ部１１の向きを変えて、ユーザにて押下される。例えば、図４（ａ）に示す例では、ユーザＡの顔部分が追跡対象となっているが、このプレビュー画面を見てユーザＢをフォーカス対象にしたいとユーザが希望する場合には、ユーザＢの顔部分が撮影範囲の中心位置Ｃにより近づくようカメラ部１１の向きを移動し（図４（ａ）の矢印Ｙ）、再検出キーを押下する。すると、最新のフレーム画面データに対して新たに顔検出処理が実行され（ステップＳ０１，ステップＳ０２：ＮＯ，ステップＳ０３）、中心位置Ｃに近いユーザＢの顔部分が選択される（ステップＳ０７）。そして、かかる顔部分に顔検出枠Ｒが合成され（ステップＳ０８）、図４（ｂ）に示すように、プレビュー画像が表示部１５に表示される（ステップＳ０９）。これにより、ユーザは、希望する任意の顔をフォーカス対象として、容易な操作で選択することができる。その後は、再検出キーやシャッターキーの入力がない限りは、上述同様に、検出された顔部分の追跡が継続して行われる。

そして、ユーザからのキー入力（ステップＳ１０）がシャッターキーであった場合には、フォーカス動作へ移行する（ステップＳ１２）。このフォーカス動作では、現在フレームで顔部分を検出あるいは追跡している領域、つまり、図４に示す顔検出枠Ｒ内をオートフォーカスエリアとして、画像取得処理部２１、カメラ制御部１２、カメラ部１１によるフォーカス処理を行う。その後、画像取得処理部２１を用いて撮影画像を取得し、取得した画像データをデータ保存処理部２４にて画像記憶部３１に保存する（ステップＳ１３、撮像工程）。なお、終了キーが押された場合には、画像の取り込み自体を終了する。

以上のように、本実施例によると、撮影範囲の中心位置に最も近い１つの顔部分が検出され、この１つの顔部分のみが追跡対象となるため、フォーカス対象を容易に設定することができ、操作性の向上を図ることができる。特に、撮影範囲に顔が複数存在する場合であっても、希望の顔が中心付近に位置するよう大まかに撮像装置の向きを変更するといった簡易な操作で希望の顔をフォーカス対象に設定することができる。

また、追跡対象が１つであることから、顔追跡の処理時間が少なくて済むため、処理能力が高くない携帯電話などの小型電子機器に実装することも容易である。また、本実施例では、プレビュー画像に対して顔検出及び追跡処理を実行しているため、シャッターボタンの押下前には既にフォーカス対象の位置が設定されており、シャッターボタンの押下から画像取得までのタイムラグを短縮することができる。そして、特に、本実施例では、顔追跡時にフォーカス動作を行わず、シャッターボタン押下時のみにフォーカス動作を行うため、フォーカス動作に必要なレンズの機械的な駆動時間を抑制できるため、消費電力の減少を図ることができる。

次に、本発明の第２の実施例を、図５のフローチャートを参照して説明する。本実施例における携帯電話機１に装備された撮像装置１０は、実施例１に開示したものとほぼ同様に、図２のブロック図に示す構成を採っている。但し、本実施例では、顔部分の追跡処理時の動作が異なる。以下、異なる部分を中心に説明する。

［構成］
本実施例における撮像装置１０の演算装置２０に構築されている顔検出・追跡処理部２２（人物検出手段）は、一定時間毎に、自動的に顔の再検出処理を行うよう構成されている。つまり、実施例１では、一度顔の追跡を開始すると、ユーザの再検出キー押下または追跡失敗の状態になるまで、同じ顔を追跡する動作となっているが、本実施例では、一定時間ごとに顔の再検出処理を行うことで、撮影範囲の中心位置に最も近い顔へ自動的に追跡対象が移ることとなる。また、顔検出・追跡処理部２２は、ユーザからキー操作部１３（検出停止指令手段）に入力された追跡固定キーの入力（検出停止指令）を受け付けると、新たな顔部分の検出を行わず、直前に検出あるいは追跡されている顔部分の追跡処理を継続して行う。つまり、ユーザは、希望する顔が追跡対象となった段階で追跡固定キーを押下することで、追跡対象を固定させることができる。

［動作］
次に、本実施例における撮像装置の動作を説明する。なお、図５のフローチャートには、実施例１と同一の処理については同一の符号にて示している。つまり、ステップＳ１４とステップＳ１５の処理が異なる。

まず、実施例１と同様に、取得したプレビュー画像に対して（ステップＳ０１）、顔検出処理が実行され（ステップＳ０５等）、プレビュー画像が表示される（ステップＳ０８、Ｓ０９）。その後、設定されたフレーム数カウンタに１ずつ加算していく（ステップＳ１４）。そして、その後にユーザから何らキー入力がない場合には（ステップＳ１０からステップＳ０１に戻る）、検出された顔部分の追跡を実行し（ステップＳ０３等）、プレビュー画像が表示される（ステップＳ０８、Ｓ０９）。なお、上記フレーム数カウンタの値が一定値になった段階で、顔追跡終了処理を行い、カウンタをリセットする。つまり、一定時間（例えば、３秒）の顔部分の追跡が行われた段階で、新たな顔検出処理が実行され、そのときに中心位置に近い顔部分に追跡対象が移動する。ただし、後述するステップＳ１５で追跡顔固定フラグが立てられた場合は、カウンタが一定値になった場合も顔追跡終了処理は行わない。

その後、ユーザにて追跡固定キーの入力があると（ステップＳ１０）、現在検出されている顔部分を追跡対象として固定し（ステップＳ１５）、追跡顔固定フラグを立ててステップＳ０１に戻る。そして、以後は、新たな顔部分の検出が行われず、追跡対象として設定された顔部分の特徴点等を参照して追跡処理が継続して実行され（ステップＳ０２：ＹＥＳ、ステップＳ０３）、追跡された顔部分に顔追跡枠が合成されたプレビュー画像が表示される（ステップＳ０８，Ｓ０９）。

その後、シャッターキーが押下されると（ステップＳ１０）、現在追跡している顔部分に対してフォーカス処理が行われ（ステップＳ１２）、画像が取得され、保存される（ステップＳ１３）。

これにより、自動的に顔部分が再検出されるため、ユーザが目的とする顔部分の撮影が容易となり、また、ユーザの操作によって追跡対象を固定することができるため、人操作性の向上を図ることができる。

次に、本発明の第３の実施例を、図６のフローチャートを参照して説明する。本実施例における携帯電話機１に装備された撮像装置１０は、実施例１に開示したものとほぼ同様に、図２のブロック図に示す構成を採っている。但し、本実施例では、フォーカス処理が実行されるタイミングが異なる。以下、異なる部分を中心に、その動作を説明する。なお、図６のフローチャートには、実施例１と同一の処理については同一の符号にて示している。つまり、ステップＳ１２のフォーカス動作の位置が異なる。

［動作］
まず、実施例１と同様に、取得したプレビュー画像に対して（ステップＳ０１）、顔検出処理が実行され（ステップＳ０５等）、検出された顔部分に顔追跡枠が合成される（ステップＳ０８）。そして、このとき、検出された顔部分に対してフォーカス処理が実行される（ステップＳ１２）。その後、プレビュー画像が表示される（ステップＳ０９）。

続いて、後続するフレームに対して、追跡対象とされた顔部分の追跡処理が実行されるが（ステップＳ０３等）、この追跡処理後にも、追跡された顔部分の位置に対してフォーカス動作が実行される（ステップＳ１２）。つまり、顔検出・追跡制御処理部２２にて、フレーム毎に顔検出及び追跡処理が実行された後に、画像取得処理部２１を介してカメラ制御部１２にフォーカス指令が出され、カメラ制御部１２等によりフォーカス処理が実行される。

その後、シャッターキーが押下されると（ステップＳ１０）、既に追跡対称に対するフォーカスが行われているため、すぐに画像取得処理を行い、画像の保存を行う（ステップＳ１３）。

これにより、撮像処理時にフォーカス処理を実行する必要がないため、撮影指令から撮像処理までの処理時間の短縮化を図ることができる。従って、シャッター押下から画像取得までのタイムラグを少なくすることができ、シャッターチャンスを逃すことが抑制されうる。

本発明は、デジタルカメラ本体として構成したり、あるいは、携帯電話機などの電子機器に実装することができ、産業上の利用可能性を有する。

携帯電話機の外観を示す図である。 携帯電話機に装備された撮像装置の構成を示す機能ブロック図である。 実施例１における撮像装置の動作を示すフローチャートである。 プレビュー画面の一例を示す図である。 実施例２における撮像装置の動作を示すフローチャートである。 実施例３における撮像装置の動作を示すフローチャートである。

符号の説明

１ 携帯電話機
１１ カメラ部
１２ カメラ制御部
１３ キー操作部
１４ キー入力制御部
１５ 表示部
１６ 表示制御部
２０ 演算装置
２１ 画像取得処理部
２２ 顔検出・追跡制御処理部
２３ 画像表示処理部
２４ データ保存処理部
３０ 記憶装置
３１ 画像記憶部
Ａ，Ｂ ユーザ
Ｃ 画像中心位置
Ｒ 顔検出枠

Claims (12)

1. 撮影範囲のフレーム画像データを取得するフレーム画像取得手段と、
   取得した前記フレーム画像データに基づいて人物部分を検出する人物検出手段と、
   検出された前記人物部分を後続する他のフレーム画像データ上にて追跡する追跡手段と、
   前記人物部分に焦点を合わせるフォーカス手段と、
   撮影指令の入力を受け付けて、前記フォーカス手段にて前記人物部分に焦点が合わせられた状態で撮像処理を行う撮像手段と、を備えた撮像装置であって、
   前記人物検出手段は、一定の時間間隔にて前記フレーム画像データに基づいて人物部分の検出を行うと共に、撮影範囲のうち予め設定された位置に最も近い１つの人物部分を検出し、
   さらに、前記人物検出手段に対して所定のキーの入力により人物部分の検出停止指令を入力する検出停止指令手段を備え、
   前記人物検出手段は、前記検出停止指令に応じて人物部分の検出処理を停止し、直前に検出あるいは追跡されている人物部分の追跡処理を前記追跡手段が継続して行う、
   ことを特徴とする撮像装置。
2. 前記人物検出手段は、撮影範囲の中心位置から最も近い１つの人物部分を検出する、
   ことを特徴とする請求項１記載の撮像装置。
3. 前記人物検出手段に対して人物部分の再検出指令を入力する再検出指令手段を備えると共に、
   前記人物検出手段は、前記再検出指令に応じて前記フレーム画像データに基づいて人物部分の再検出を行う、
   ことを特徴とする請求項１又は２記載の撮像装置。
4. 前記フォーカス手段は、前記撮影指令の入力を受け付けたときに作動する、
   ことを特徴とする請求項１，２又は３記載の撮像装置。
5. 前記フォーカス手段は、人物部分の検出処理後、かつ／あるいは、追跡処理後に作動する、
   ことを特徴とする請求項１，２又は３記載の撮像装置。
6. 請求項１乃至５のいずれかに記載の撮像装置を備えた、ことを特徴とする携帯型電子機器。
7. 所定の範囲の画像を撮像する撮像装置の制御部に、
   撮影範囲のフレーム画像データを取得するフレーム画像取得手段と、
   取得した前記フレーム画像データに基づいて人物部分を検出する人物検出手段と、
   検出された前記人物部分を後続する他のフレーム画像データ上にて追跡する追跡手段と、
   撮影指令の入力を受け付けて、前記人物部分に焦点が合わせられた状態で撮像処理を行う撮像手段と、
   を実現させるためのプログラムであって、
   前記人物検出手段は、一定の時間間隔にて前記フレーム画像データに基づいて人物部分の検出を行うと共に、撮影範囲のうち予め設定された位置に最も近い１つの人物部分を検出する、ことを実現させ、
   さらに、前記制御部に、前記人物検出手段に対して所定のキーの入力により人物部分の検出停止指令を入力する検出停止指令手段を実現させると共に、
   前記人物検出手段は、前記検出停止指令に応じて人物部分の検出処理を停止し、直前に検出あるいは追跡されている人物部分の追跡処理を前記追跡手段が継続して行う、
   ことを実現させるためのプログラム。
8. 撮像装置にて所定範囲の画像を撮像する方法であって、
   撮影範囲のフレーム画像データを取得するフレーム画像取得工程と、
   取得した前記フレーム画像データに基づいて人物部分を検出する人物検出工程と、
   検出された前記人物部分を後続する他のフレーム画像データ上にて追跡する追跡工程と、
   撮影指令の入力を受け付けて、前記人物部分に焦点が合わせられた状態で撮像処理を行う撮像工程と、を有し、
   前記人物検出工程は、一定の時間間隔にて前記フレーム画像データに基づいて人物部分の検出を行うと共に、撮影範囲のうち予め設定された位置に最も近い１つの人物部分を検出し、さらに、所定のキーの入力による人物部分の検出停止指令の入力を受け付けたときに人物部分の検出処理を停止し、直前に検出あるいは追跡されている人物部分の追跡処理を前記追跡工程にて継続して行う、
   ことを特徴とする撮像方法。
9. 前記人物検出工程は、撮影範囲の中心位置から最も近い１つの人物部分を検出する、
   ことを特徴とする請求項８記載の撮像方法。
10. 前記人物検出工程は、人物部分の再検出指令を受け付けたときに前記フレーム画像データに基づいて人物部分の再検出を行う、
    ことを特徴とする請求項８又は９記載の撮像方法。
11. 前記撮像工程は、撮影指令の入力を受け付けたときに前記人物部分に焦点を合わせて撮像する、
    ことを特徴とする請求項８，９又は１０記載の撮像方法。
12. 前記人物検出工程は前記人物部分を検出した後に、かつ／あるいは、前記追跡工程は前記人物部分を追跡した後に、前記人物部分に焦点を合わせる、
    ことを特徴とする請求項８，９又は１０記載の撮像方法。
    

Images