JP6414742B2 - 撮影装置、撮影方法及びプログラム - Google Patents

Description

本発明は、撮影装置、撮影方法及びプログラムに関するものである。

近年、インターネットの利用環境の向上に伴ってＳＮＳ（Social Networking Service）が普及し、自分が撮影した静止画像や動画像をインターネット上で公開したり、共有化したりすることが一般に行われている。また、スマートフォン等のカメラ付の携帯電話端末やカメラが内蔵されたパーソナルコンピュータが日常的に使用されており、スマートフォン等のユーザーがインターネット上での公開等を目的として、自分自身の顔を撮影する所謂「自分撮り」を行う機会が多くなっている。

一方、上記の自分撮りに際して有用な技術として、例えば下記特許文献１には以下の技術が記載されている。すなわち、撮影時にファインダーとして使用する表示部を有する本体に撮影レンズを含むカメラ部が回動自在に設けられたカメラにおいて、撮影者がカメラ部を１８０°回転させて自分撮りを行う際、モニターに表示する画像を上下反転させ、かつ鏡像とすることによって違和感を防止する技術が記載されている。

特開２００８−５３９２５号公報

しかしながら、上記特許文献１では、ファインダーとして使用する表示部に対してカメラ部が回転可能なカメラを用いて自分撮りを行う場合には、以下の問題が生じる。

例えばスマートフォン等でも同様であるが、カメラ部と表示部が離れて配置されている構成においては、撮影者とカメラ部との距離（撮影距離）が短いことから、撮影者が表示部に映っている自分の顔を見ながら撮影を行うと、視線がずれた顔しか撮影できない。

そのため、撮影者にあっては、視線にずれがない良好な撮影画像を得るためには、いったん視線をカメラに移して撮影を行った後、視線を表示部に戻して撮影結果（動画像や静止画像）を確認するという煩雑な作業を繰り返し行わなければならず、自分撮りに手間が掛かるという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、自分撮りに際して良好な撮影画像を極めて容易に得ることができる撮影装置、撮影方法及びプログラムを提供することを目的とする。

前記課題を解決するため、本発明にあっては、被写体を撮影する撮影レンズを含む撮像部と、前記撮像部によって撮影された撮影画像を逐次表示する表示部と、前記撮影画を記憶する画像記憶部と、前記撮影画像を一時記憶する一時記憶部と、を含む撮影装置であって、当該撮影装置は、前記撮像部による撮影動作と並行し、前記撮像部によって撮影される撮影者の視線方向が前記撮影レンズを向いているか否かを判定する判定手段と、前記判定手段により前記視線方向が撮影レンズ方向であると判定されている間に、前記撮像部により撮影された前記撮影画像を前記一時記憶部に一時記憶させる一時記憶手段と、前記判定手段により前記視線方向が撮影レンズ方向でないと判定されたことに応答し、前記一時記憶部に直前に記憶された前記撮影画像を前記表示部に表示させる表示制御手段と、前記表示制御手段が前記表示部に表示させた前記撮影画像を前記画像記憶部に出力する出力手段と、を備えたことを特徴とする。

本発明によれば、自分撮りに際して良好な撮影画像を極めて容易に得ることが可能となる。

本発明の撮影装置として例示するスマートフォンの正面図ある。 スマートフォンの電気的構成を示すブロック図である。 自分撮りモードでの動作内容を示すフローチャートである。 図３に続くフローチャートである。 保存処理を示すフローチャートである。 確認用の動画像を構成するフレーム画像を示す概念図である。 （ａ）は視線を表示画面に向けているときのスルー画像の例、（ｂ）は視線をカメラ部へ向けているときのスルー画像の例、（ｃ）は、確認用の動画像の例をそれぞれ示す図である。

以下、本発明の一実施形態について説明する。図１は、本発明の撮影装置としての機能を備えたスマートフォン１の正面図である。スマートフォン１は、機器本体２の表面に、文字や画像を表示するカラー液晶表示パネル３が設けられるとともに、その上辺側には撮影レンズが配置されたカメラ部４及びスピーカ５が設けられ、かつその下辺側に複数の操作ボタン６が設けられた構成である。

上記カメラ部４は、主としていわゆる自分撮りに際して使用されるものであり、図示しない機器本体２の裏面側には、撮影者以外の他の撮影対象の撮影に使用される他のカメラ部も設けられている。

図２は、上記スマートフォン１の電気的構成の概略を示したブロック図である。図２に示したように、スマートフォン１は、制御部１１と、電源部１２、通信部１３、撮像部１４、画像記憶部１５、プログラム記憶部１６、フレームバッファ１７、表示部１８、操作部１９の各部を備えている。

制御部１１は、ＣＰＵ（Central Processing Unit）、及びその周辺回路等や、ＲＡＭ（Random Access memory）等の作業用の内部メモリを含み、スマートフォン１の各部を制御する。なお、制御部１１には、現在の日付及び時刻をカウントする内部時計が含まれる。

電源部１２は、充電池、およびＤＣ／ＤＣコンバータなどで構成され、スマートフォン１の各部へ、各々の動作に必要な電力を供給する。

通信部１３は、無線による電話通信や、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）に基づくインターネット通信を行うための無線通信回路や、通話を行うための図示しないマイクロフォンを含む音声入力回路、受信した音声信号を復号再生する受信回路、前記スピーカ５を含む再生回路等から構成される。

撮像部１４は、前述した機器本体２の表面側のカメラ部４、及び機器本体２の裏面側のカメラ部（図示せず）に個別に設けられている２つの撮像素子と、画像処理エンジン等から構成される。

撮像素子は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Meta1 0xide Semiconductor）型の撮像素子である。画像処理エンジンは、各々の撮像素子から出力された撮像信号の増幅やデジタル信号へ変換等を行うＡＦＥ（Analog Front End）や、デジタル信号に対し各種の処理を施し、輝度（Ｙ）成分及び色差（ＵＶ）成分からなる画像データ（ＹＵＶデータ）に変換する画像処理回路、及び少なくとも１画面分の画像データを記憶するフレームメモリ等から構成される。

撮像部１４はスマートフォン１にカメラモードが設定されている間、２つの撮像素子の一方により所定のフレームレート（例えば３０ｆｐｓ）で被写体を逐次撮像し、各フレームの画像データを逐次制御部１１へ供給する。

制御部１１へ供給された画像データはフレームバッファ１７に順次格納される一方、前記カラー液晶表示パネル３を含む表示部１８へ供給され、画面上に動画像であるライブビュー画像として表示される。

フレームバッファ１７は、例えば高速のデータ転送が可能なＳＤＲＡＭ（Synchronous DRAM）により構成されており、フレームバッファ１７には、複数フレーム分の画像データを記憶可能なメモリ容量が確保されている。

表示部１８は、前記カラー液晶表示パネル３と、制御部１１から供給される画像データ等に応じてカラー液晶表示パネル３を駆動する表示駆動回路とから構成される。

また、フレームバッファ１７に格納された画像データは、必要に応じ制御部１１においてＪＰＥＧ（Joint Photographic Expert Group）方式等で静止画データとして圧縮され、種々の属性情報が付加された静止画ファイルとして画像記憶部１５に記憶される。また、上記画像データは、必要に応じ制御部１１においてＭＰＥＧ（Motion Picture Experts Group）方式等で動画データとして逐次圧縮され、種々の属性情報が付加された動画ファイルとして画像記憶部１５に記憶される。

画像記憶部１５に静止画ファイルや動画ファイルとして記録された静止画データや動画データは、必要に応じ制御部１１に読み出されて伸張された後、表示部１８に供給され、カラー液晶表示パネル３の画面上に静止画像や動画像として再生（表示）される。

画像記憶部１５は、例えばスマートフォン１に内蔵されたフラッシュメモリや、スマートフォン１に着脱自在なメモリカード、及びメモリカードへのデータの入出力を行うカードインターフェイスにより構成される。

操作部１９は、前述した複数の操作ボタン６、及びカラー液晶表示パネル３の表面に一体的に設けられてタッチパネルを構成する図示しない静電容量型等のタッチセンサ、及びその駆動回路とから構成される。操作部１９における操作ボタン６やタッチセンサの操作状態は制御部１１において随時監視される。

プログラム記憶部１６は、例えばフラッシュメモリ等の記憶データが随時書き換え可能な不揮発性メモリにより構成される。プログラム記憶部１６には、制御部１１にスマートフォン１の各部を制御させるための制御プログラム等が記憶されている。

特にプログラム記憶部１６には、制御部１１に、前記撮像部１４において撮像された各フレームの画像（以下、フレーム画像という。）を対象として、画像内における人物の目を特定し、当該人物の視線の方向を検出する視線検出処理を含む後述する処理を行わせるプログラムが記憶されている。

そして、以上の構成からなるスマートフォン１には、撮影モードの下位の動作モードとして自分撮りモードが用意されている。自分撮りモードは、主として他人との共有等を目的として撮影者が自分自身を写した撮影画像を保存する際に使用される撮影モードである。また、保存対象とする撮影画像は、静止画像と動画像との２種類であり、自分撮りモードの設定に際して撮影者は、保存対象を静止画像とするか又は動画像とするかを事前に設定することができる。

次に、スマートフォン１の本発明に係る動作を図を参照しながら説明する。図３〜図５は、スマートフォン１においてユーザーにより前述した自分撮りモードが設定されたときの制御部１１の処理内容を示したフローチャートである。

図３に示したように、制御部１１は、自分撮りモードの設定とともに動作を開始すると、直ちに撮影処理を開始する（ステップＳ１）。すなわち制御部１１は、撮像部１４による所定のフレームレートでの撮像動作、及び撮像された画像つまり撮影画像（以下、フレーム画像）を表示部１８にスルー画像として逐次表示する処理を開始する（ステップＳ１）。

以後、制御部１１は、上記撮影動作と並行して以下に述べる処理を実行する。まず制御部１１は、フレームバッファ１７に記憶されている画像データを削除する初期化を行うとともに、画像格納数（ｎ）すなわちフレームバッファ１７におけるフレーム画像の記憶数のカウンタをリセットする（ステップＳ２）。

そして、制御部１１は、新たなフレーム画像を取得する毎に（ステップＳ３：ＹＥＳ）、新たに取得したフレーム画像を対象として視線方向判定処理を行う（ステップＳ４）。

係る処理は、自分撮りを行っている撮影者の視線方向を検出するとともに、それが前記カメラ部４つまり撮影レンズを向いた撮影レンズ方向（以下、カメラ方向という）であるか否かを判定する処理である。係る処理において視線方向の判定方法は任意であり、各種の公知技術を適宜使用することができる。

一例を挙げると、先ず顔検出を行って画像に存在する撮影者の顔に相当する顔領域を検出し、顔領域を対象としてパーツ認識を行い撮影者の眼球を特定した後、眼球の３Ｄモデルを推定する。すなわち目尻や目頭の位置、黒目の輪郭等の情報に基づいて眼球中心、眼球半径、瞳孔中心をそれぞれ推定する。ここで、瞳孔中心と眼球中心とを結んだ線が視線方向であるため、双方が画像上で一致していれば、撮影者の視線方向がカメラ方向であると推定することができる。

係ることから画像上での眼球中心と瞳孔中心との距離を計算し、その距離顔サイズで正規化したものをズレ係数として取得し、係るズレ係数が閾値以上であれば、視線方向がカメラ方向ではないと判定し、ズレ係数が閾値以上でなければ、視線方向がカメラ方向であると判定する。すなわち視線方向とカメラ方向とのズレ量が基準以上であれば、視線方向がカメラ方向ではないと判定し、視線方向とカメラ方向とのズレ量が基準以上でなければ、視線方向がカメラ方向であると判定する。

なお、前記視線方向判定処理は、自分撮りを行っている撮影者の視線方向を検出した後に、その検出した視線方向がカメラ方向であるか否かを判定したが、撮影者の全ての視線方向を検出するのではなく、ただ視線方向がカメラ方向を向いているか否かを判定してもよい。

引き続き、制御部１１は、ステップＳ４の視線判定処理によって視線方向がカメラ方向でないと判定したときには（ステップＳ５：ＮＯ）、録画マークを表示中でなければ（ステップＳ６：ＮＯ）、直ちに前述した画像格納数（ｎ）が規定数（Ｎｔｈｒｅｓｈ）を超えているか否かを確認する（ステップＳ７）。

そして、制御部１１は、例えば自分撮りモードの処理開始当初のように画像格納数が規定数を超えていなければ（ステップＳ７：ＮＯ）、ステップＳ２の処理へ戻る。

図７（ａ）は、例えば撮影者が視線を表示部１８（カラー液晶表示パネル３）の表示画面に視線を向けているときのスルー画像Ｇ１の例を示した図である。そして、撮影者が上記表示画面に視線を向けている間、制御部１１は上記と同様の処理を繰り返す。

その後、制御部１１は、視線方向がカメラ方向であると判定すると（ステップＳ５：ＹＥＳ）、以下の処理を実行する。すなわち制御部１１は、スルー画像Ｇ２上に録画マークＭ（図７（ｂ）参照）を表示するとともに（ステップＳ９）、その時点のフレーム画像をフレームバッファ１７に格納し（ステップＳ１０）、画像格納数（ｎ）を更新（インクリメント）する（ステップＳ１１）。

そして、制御部１１は、ステップＳ３の処理に戻り、視線方向がカメラ方向であると判定している間、つまり撮影者が視線をカメラ部４（撮影レンズ）へ向けている間、新たなフレーム画像を取得する毎にステップＳ９〜ステップＳ１１の処理を繰り返す。これにより、連続する複数フレーム分の撮影画像であって、撮影者が視線をカメラ部４に向けている状態の撮影画像がフレームバッファ１７に蓄積される。

図７（ｂ）は、撮影者が視線をカメラ部４へ向けているときのスルー画像Ｇ２の例を示した図である。

また、制御部１１は、上記のように各フレーム画像をフレームバッファ１７に蓄積している間に、視線方向がカメラ方向でないと判定すると（ステップＳ５：ＮＯ）、つまり撮影者が視線をカメラ部４から表示部１８の表示画面（以下、単に表示画面という。）等に移動させると、前述したステップＳ６〜ステップＳ８の処理を実行する。

まず、制御部１１は、その時点ではスルー画像に録画マークＭを表示しているので（ステップＳ６：ＹＥＳ）、録画マークＭの表示を終了した後（ステップＳ７）、画像格納数が規定数を超えているか否かを確認する（ステップＳ７）。

そして、制御部１１は、画像格納数が規定数を超えていない場合には（ステップＳ７：ＮＯ）、ステップＳ２の処理に戻り、フレームバッファ１７をいったん初期化し、画像格納数（ｎ）をリセットした後、上述した処理を繰り返す。

一方、制御部１１は、画像格納数が規定数を超えていた場合には（ステップＳ７：ＹＥＳ）、引き続き図４に示した処理を実行する。

まず、制御部１１は、表示フレーム番号（ｔ）の初期化を行い、初期値として予め決められている除外フレーム数（Ｎｔｒｉｍ）に１を加えた数を設定する（ステップＳ１２）。

引き続き、制御部１１は、フレームバッファ１７に格納されている全てのフレーム画像の中から、ｔ番目に格納されたフレーム画像のデータを読み出し（ステップＳ１３）、表示画面に表示させる（ステップＳ１４）。

その後、制御部１１は、撮影者による所定の保存指示操作があるまでは（ステップＳ１５：ＮＯ）、以下の処理を実行する。

すなわち制御部１１は、新たなフレーム画像を取得する毎に（ステップＳ１６：ＹＥＳ）、視線方向判定処理を行う（ステップＳ１７）。なお、このときの具体的な処理内容はステップＳ４の処理と同一であり、新たなフレーム画像を対象とし各種の公知技術を用いて撮影者の視線方向を検出するとともに、それがカメラ方向であるか否かを判定する。

そして、制御部１１は、撮影者の視線方向がカメラ方向でないと判定したときには（ステップＳ１８：ＮＯ）、まず表示フレーム番号（ｔ）をインクリメントする（ステップＳ１９）。

引き続き、制御部１１は、新たな表示フレーム番号（ｔ）が、前記画像格納数（フレームバッファ１７に格納されている全てのフレーム画像の数）から前記除外フレーム数を差し引いた数（ｎ−Ｎｔｒｉｍ）を超えたか否かを確認する（ステップＳ２０）。

制御部１１は、新たな表示フレーム番号（ｔ）が上記の数（ｎ−Ｎｔｒｉｍ）を超えていなければ（ステップＳ２０：ＮＯ）、ステップＳ１３の処理に戻り、前述した処理を繰り返す。すなわち制御部１１は、フレームバッファ１７に格納されている全てのフレーム画像の中から、ｔ番目に格納された（新たな表示フレーム番号の）フレーム画像のデータを読み出して表示画面に表示させる（ステップＳ１４）。

以後、制御部１１は、撮影者の視線方向がカメラ方向でないと判定している間に（ステップＳ１８：ＮＯ）、新たな表示フレーム番号（ｔ）が上記の数（ｎ−Ｎｔｒｉｍ）を超えるまで（ステップＳ２０：ＮＯ）、上記処理を繰り返す。

一方、上記処理を繰り返す間に、新たな表示フレーム番号（ｔ）が上記の数（ｎ−Ｎｔｒｉｍ）を超えると（ステップＳ２０：ＹＥＳ）、制御部１１は、その時点でステップＳ１２の処理に戻り、いったん表示フレーム番号（ｔ）の初期化を行った後、前述した処理を繰り返す。

つまり撮影者の視線方向がカメラ方向でないと判定している間においては（ステップＳ１８：ＮＯ）、確認用の動画像を繰り返し表示画面に表示する。

図６は、上記動画像Ｇｍを構成するフレーム画像を示す概念図であり、動画像Ｇｍは、フレームバッファ１７に格納されている全てのフレーム画像の中で、表示フレーム番号（ｔ）が初期値（Ｎｔｒｉｍ＋１）から、画像格納数（ｎ）から前記除外フレーム数を差し引いた数（ｎ−Ｎｔｒｉｍ）までのフレーム画像からなる動画像である。言い換えると、上記動画像Ｇｍは、フレームバッファ１７に格納されている一連のフレーム画像が撮影されたフレーム期間から先頭及び末尾の既定のフレーム期間を除いたフレーム期間（以下、確認フレーム期間と言う。）のフレーム画像からなる動画像である。

これにより、撮影者は、単に視線を表示画面に向けているだけで上記動画像Ｇｍを繰り返し確認することができる。

図７（ｃ）は、表示画面に表示される上記動画像Ｇｍの例を示した図であり、その内容は、直前に撮影者が視線をカメラ部４へ向けていたときスルー画像Ｇ２として表示されていた動画像における前記確認フレーム期間の動画像と同一である。また、上記動画像Ｇｍの表示中において前述した録画マークＭは非表示である。

一方、制御部１１は、確認用の動画像Ｇｍを表示部１８に表示している間に、撮影者の視線方向がカメラ方向であると判定すると（ステップＳ１８：ＹＥＳ）、前述した図３のステップＳ２〜ステップＳ１１の処理を繰り返す。すなわち制御部１１は、フレームバッファ１７をいったん初期化した後、再び撮影者の視線方向がカメラ方向であると判定している間のフレーム画像、つまり撮影者が視線をカメラ部４に向けている状態での撮影画像を新たにフレームバッファ１７に蓄積する。

その後も、制御部１１は、フレームバッファ１７における画像格納数が再び規定数を超えた段階で（ステップＳ８：ＹＥＳ）、前述した図４のステップＳ１２〜ステップＳ２０の処理を繰り返す。これにより撮影者に新たな動画像Ｇｍを繰り返し確認させる。

そして、ステップＳ１２〜ステップＳ２０の処理を繰り返す間、つまり確認用の動画像Ｇｍを表示している間に、いずれかの時点で撮影者による保存指示操作があると（ステップＳ１５：ＹＥＳ）、図５に示した保存処理を実行する（ステップＳ２１）。

係る保存処理に際して制御部１１は、保存対象として予め設定されていた撮影画像の種類が動画像であれば（ステップＳ１０１：ＹＥＳ）、表示中の動画像Ｇｍ、すなわち図６に示した確認フレーム期間の一連のフレーム画像からなる動画像を画像記憶部１５に保存する（ステップＳ１０２）。

また、制御部１１は、保存対象として予め設定されていた撮影画像の種類が静止画像であれば（ステップＳ１０３：ＹＥＳ）、保存指示操作があった時点で表示中のフレーム画像を静止画像として画像記憶部１５に保存する（ステップＳ１０３）。

そして、制御部１１は、上記保存処理の終了とともに、自分撮りモードによる全ての処理を終了する。

以上説明したように自分撮りモードによる撮影時には、撮影者の視線方向がカメラ方向であると判定している間、逐次撮影した一連のフレーム画像をフレームバッファ１７に自動的に蓄積する。その後、フレームバッファ１７に格納されている上記一連のフレーム画像からなる動画像、又は上記一連のフレーム画像の中の特定のフレーム画像すなわち静止画像を撮影結果として画像記憶部１５に保存する。

係ることから、撮影者においては、視線をカメラ部４に移して撮影を行った後、再生モードに移行し、視線を表示部１８に戻して撮影結果を確認するという煩雑な作業を繰り返し行わずとも、視線を撮影レンズに向けている状態の撮影画像（動画像や静止画像）を確実に得ることができる。よって、撮影者は自分撮りに際して良好な撮影画像を極めて容易に得ることができる。

また、フレームバッファ１７に格納した一連のフレーム画像を、撮影者の視線方向がカメラ方向でなくなったと判定すると直ちに表示部１８に確認用の動画像Ｇｍとして表示し、その動画像、又は特定のフレーム画像を撮影結果として画像記憶部１５に保存する。よって、撮影者においては、視線をカメラ部４から表示部１８に戻すだけで、保存対象となる撮影結果を事前にしかも簡単に確認することができる。

しかも、確認用の動画像Ｇｍを撮影者による保存指示操作があるまで繰り返し表示することから、撮影者においては、保存対象となる撮影結果を確実に確認することができる。

また、確認用の動画像Ｇｍをスルー画像Ｇ２に代えて表示部１８に表示することから、例えば確認用の動画像Ｇｍを表示画面内の一部にスルー画像と共に表示する場合に比べ、撮影者においては保存対象となる撮影結果をより一層容易に確認することができる。

また、一連のフレーム画像をフレームバッファ１７に格納している間、つまり撮影者の視線方向がカメラ方向であると判定している間には、スルー画像Ｇ２上に録画マークＭを表示するようにした。よって、撮影者においては、スルー画像Ｇ２の表示中に保存対象となる撮影画像が撮影できているか否かをリアルタイムで知ることができ、同時に、撮影作業中に表示されている動画像が、確認用の動画像Ｇｍとスルー画像Ｇ２とのいずれであるかを容易に区別することができる。

また、保存対象となる撮影結果が、上記一連のフレーム画像のうちで先頭及び末尾の既定のフレーム期間を除いたフレーム期間の撮影画像（動画像や静止画像）であるため、最終的に保存する撮影画像から、撮影中に撮影者の視線方向がカメラ方向と判定された直後や、撮影者の視線方向がカメラ方向でなくなったと判定された直前の撮影画像が保存対象から除外される。

係ることから、視線方向の判定精度が低くとも、保存対象の撮影画像が、撮影者の視線を撮影レンズに向けている状態の良好な撮影画像となる。よって、撮影者は自分撮りに際して良好な撮影画像を極めて容易に、かつ確実に得ることができる。

また、保存する撮影画像が静止画像である場合には、確認用の動画像Ｇｍの表示中に撮影者による保存指示操作があった時点で表示していたフレームのフレーム画像を保存するようにした。よって、撮影者においては自分撮りに際して良好な静止画像を極めて容易に、かつ確実に得ることができる。

また、確認用の動画像Ｇｍを表示部１８に表示している間に、撮影者の視線方向がカメラ方向であると判定すると、それに応答し、再び撮影者の視線方向がカメラ方向であると判定して間のフレーム画像をフレームバッファ１７に格納するようにした。よって、撮影者は、確認用の動画像Ｇｍ、又はそれを構成するフレーム画像が保存対象として意に沿わないものである場合においては、確認用の動画像Ｇｍの表示中に単に視線をカメラ部４に移すだけで直ちに新たな撮影作業に移行することができる。

ここで、本実施形態においては、撮影者が、保存する撮影画像を動画像とするか静止画像とするかを必要に応じて選択できる構成としたが、保存する撮影画像が予め動画像と静止画像とのいずれか一方のみである構成としてもよい。

また、本実施形態のように保存する撮影画像の種類を選択可能とする場合には、例えば保存指示操作を行う方法として、動画像を保存する場合の方法と静止画像を保存する場合の方法との２種類の方法を用意しておき、撮影画像の種類を保存指示操作と同時に選択可能する構成としてもよい。

また、本実施形態と同様に保存する撮影画像の種類を撮影作業に先立ち撮影者に選択させる場合において、撮影画像の種類として静止画像が選択された場合、また保存可能な撮影画像を静止画像のみとする場合には以下の処理を行うようにしてもよい。

例えばフレームバッファ１７に格納する一連のフレーム画像の数を少なくするとともに、撮影者の視線方向がカメラ方向でないと判定した際には、上記一連のフレーム画像を所定の時間間隔でスライド表示するようにしてもよい。

また、例えばフレームバッファ１７には、撮影者の視線方向がカメラ方向であると判定してから数フレーム後（所定時間後）の撮影画像のみを格納し、その撮影画像を一定時間表示するようにしてもよい。さらに、例えば視線方向の判定精度として高い精度が確保できる構成であれば、フレームバッファ１７には、撮影者の視線方向がカメラ方向であると判定した撮影画像のみを格納し、その撮影画像を一定時間表示するようにしてもよい。

また、本実施形態と同様に保存する撮影画像の種類を撮影作業に先立ち選択させる場合において、撮影画像の種類として動画像が選択された場合、また保存可能な撮影画像を動画像のみとする場合には、以下の処理を行うようにしてもよい。

例えば本実施形態における確認用の動画像Ｇｍの表示処理に代えて、フレームバッファ１７に格納された一連のフレーム画像の全てを表示する表示処理を行うとともに、保存する動画像を本実施形態における確認用の動画像Ｇｍと同様のフレーム期間の動画像とするようにしてもよい。

一方、本実施形態においては、撮影者が動画像の保存に先立ち、それを事前に確認できる構成としたが、例えばフレームバッファ１７に一連のフレーム画像を所定数格納した時点で、直ちに全フレーム期間のフレーム画像、又は所定のフレーム期間のフレーム画像からなる動画像を自動的に保存する構成としてもよい。なお、これについては静止画像を保存する場合についても同様であり、例えばスルー画像の表示中に、視線方向がカメラ方向であると判定した撮影画像が撮影できたら、直ちに否の撮影画像を保存する構成としてもよい。

また、本実施形態においては、フレームバッファ１７に一連のフレーム画像を蓄積している間のスルー画像Ｇ２上に録画マークＭを表示させることにより、撮影作業中に表示されている動画像が確認用の動画像Ｇｍとスルー画像Ｇ２とのいずれであるかを容易に区別可能としたが、以下のようにしてもよい。

例えば、確認用の動画像Ｇｍを表示している間に、それを明示するための枠を表示画面の外周部に表示させてもよい。その場合においても、撮影作業中に表示されている動画像が確認用の動画像Ｇｍとスルー画像Ｇ２とのいずれであるかを容易に区別可能とすることができる。

さらに、以上の説明においては、主として自分撮り作業で得られた撮影画像を保存する場合について説明したが、本発明は、例えば自分撮り作業で得られた撮影画像を事前に確認することなく撮像部１４からリアルタイムで送信する場合のように、リアルタイムで外部に出力する場合にも適用することができる。

また、本実施形態においては、本発明の撮影装置としてスマートフォン１を例示したが、これに限らず、撮影時にファインダーとして使用する表示部を有する本体に撮影レンズを含むカメラ部が回動自在に設けられたカメラにも適用することができる。その場合であっても、撮影者がカメラ部を１８０°回転させて自分撮りを行う際、良好な撮影画像を極めて容易に得ることができる。

さらに、本発明はカメラが内蔵されたノート型等のパーソナルコンピュータや、カメラが装着されたパーソナルコンピュータ等にも適用することができる。その場合であっても、パーソナルコンピュータを操作している撮影者は、自分撮りに際して良好な撮影画像を極めて容易に得ることができる。

以上、本発明の実施形態、及びその変形例について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
被写体を撮影する撮影レンズを含む撮影手段と、
前記撮影手段による撮影動作と並行し、前記撮影手段によって撮影される撮影者の視線方向が前記撮影レンズを向いているか否かを判定する判定手段と、
前記判定手段によって前記視線方向が撮影レンズ方向であると判定されている間の前記撮影手段によって撮影された撮影画像を出力する出力手段と
を備えたことを特徴とする撮影装置。
［請求項２］
前記撮影手段によって撮影された撮影画像を逐次表示する表示手段を備え、
前記撮影レンズが、前記表示手段における表示画面と撮影者の視界内で離間する位置関係に配置された構造、又は必要に応じて撮影者の視界内で離間する位置関係に配置可能な構造のいずれか一方の構造を備えたことを特徴とする請求項１記載の撮影装置。
［請求項３］
撮影画像を記憶する画像記憶手段を備え、
前記出力手段は、前記判定手段によって前記視線方向が撮影レンズ方向であると判定された前記撮影画像を前記画像記憶手段に出力する
ことを特徴とする請求項２記載の撮影装置。
［請求項４］
前記出力手段は、前記判定手段によって前記視線方向が撮影レンズ方向であると判定された前記撮影画像を静止画像として前記画像記憶手段に出力することを特徴とする請求項３記載の撮影装置。
［請求項５］
前記出力手段は、前記判定手段によって前記視線方向が撮影レンズ方向であると判定された連続する複数フレーム分の前記撮影画像を動画像として前記画像記憶手段に出力することを特徴とする請求項３記載の撮影装置。
［請求項６］
前記判定手段により前記視線方向が撮影レンズ方向であると判定されている間に、前記撮影手段により撮影された前記撮影画像を一時記憶する一時記憶手段と、
前記判定手段により前記視線方向が撮影レンズ方向でないと判定されたことに応答し、前記一時記憶手段に直前に記憶された前記撮影画像を前記表示手段に表示させる表示制御手段と
を備え、
前記出力手段は、表示制御手段が前記表示手段に表示させた前記撮影画像を前記画像記憶手段に出力する
ことを特徴とする請求項３又は４，５記載の撮影装置。
［請求項７］
前記一時記憶手段は、前記判定手段により前記視線方向が撮影レンズ方向であると判定されている間に、前記撮影手段により撮影された連続する複数フレーム分の前記撮影画像を一時記憶し、
前記表示制御手段は、前記一時記憶手段に直前に記憶された前記複数フレーム分の前記撮影画像からなる動画像を前記表示手段に表示させる
ことを特徴とする請求項６記載の撮影装置。
［請求項８］
前記表示制御手段は、前記一時記憶手段に直前に一時記憶された所定のフレーム期間における複数フレーム分の前記撮影画像からなる動画像を前記表示手段に表示させる請求項７記載の撮影装置。
［請求項９］
前記所定のフレーム期間は、前記判定手段によって前記視線方向が撮影レンズ方向であると判定されていたフレーム期間のうちで先頭及び末尾の既定のフレーム期間を除いたフレーム期間であることを特徴とする請求項８記載の撮影装置。
［請求項１０］
前記表示制御手段は、前記動画像を、前記判定手段により前記視線方向が撮影レンズ方向でないと判定されている間に前記表示手段に繰り返し表示させることを特徴とする請求項７又は８，９記載の撮影装置。
［請求項１１］
前記表示制御手段は、前記動画像を、前記撮影手段により逐次撮影された撮影画像に代えて前記表示手段に表示させることを特徴とする請求項７乃至１０のいずれか１項に記載の撮影装置。
［請求項１２］
前記表示制御手段は、前記表示手段に表示されている撮影画像が、前記撮影手段により逐次撮影された前記撮影画像と、前記一時記憶手段に直前に記憶された前記撮影画像とのいずれかであるかを明示する識別標を、各々の前記撮影画像のいずれか一方と共に前記表示手段に表示させることを特徴とする請求項１１記載の撮影装置。
［請求項１３］
前記表示制御手段は、前記判定手段によって前記視線方向が撮影レンズ方向であると判定されている間に、前記識別標として、前記撮影手段により撮影された連続する複数フレーム分の前記撮影画像が前記一時記憶手段に記憶中である旨を示す識別標を、前記撮影手段により逐次撮影された前記撮影画像と共に前記表示手段に表示させることを特徴とする請求項１２記載の撮影装置。
［請求項１４］
前記表示制御手段が前記一時記憶手段に直前に記憶された前記複数フレーム分の前記撮影画像からなる動画像を前記表示手段に表示させている間に、撮影者による撮影画像の保存指示の有無を確認する確認手段を備え、
前記出力手段は、前記確認手段により撮影者による撮影画像の保存指示が確認されたことに応答し、前記表示手段が表示中の前記動画像を前記画像記憶手段に出力する
ことを特徴とする請求項７乃至１３のいずれか１項に記載の撮影装置。
［請求項１５］
前記表示制御手段が前記一時記憶手段に直前に記憶された前記複数フレーム分の前記撮影画像からなる動画像を前記表示手段に表示させている間に、撮影者による撮影画像の保存指示の有無を確認する確認手段を備え、
前記出力手段は、前記確認手段により撮影者による撮影画像の保存指示が確認されたことに応答し、前記表示手段が表示中の前記動画像における表中のフレームの撮影画像を前記画像記憶手段に出力する
ことを特徴とする請求項７乃至１３のいずれか１項に記載の撮影装置。
［請求項１６］
前記表示制御手段は、前記一時記憶手段に直前に記憶された前記複数フレーム分の前記撮影画像からなる動画像を前記表示手段に表示させている間に、前記判定手段によって前記視線方向が撮影レンズ方向であると判定されたことに応答し、前記表示手段における前記動画像の表示を終了することを特徴とする請求項１４又は１５記載の撮影装置。
［請求項１７］
前記撮影手段による撮影動作と並行し、前記撮影手段によって撮影される撮影者の視線方向を検出する検出手段を備え、
前記判定手段は、前記検出手段により検出された視線方向が前記撮影レンズを向いているか否かを判定することを特徴とする請求項１乃至１６のいずれか１項に記載の撮影装置。
［請求項１８］
被写体を撮影する撮影レンズを含む撮影手段を備えた撮影装置における撮影方法であって、
前記撮影手段による撮影動作と並行し、前記撮影手段によって撮影される撮影者の視線方向が前記撮影レンズを向いているか否かを判定する判定ステップと、
前記判定ステップによって前記視線方向が撮影レンズ方向であると判定されている間の前記撮影手段によって撮影された撮影画像を出力する出力ステップと
を含むことを特徴とする撮影方法。
［請求項１９］
被写体を撮影する撮影レンズを含む撮影手段を備えた撮影装置が有するコンピュータを、
前記撮影手段による撮影動作と並行し、前記撮影手段によって撮影される撮影者の視線方向が前記撮影レンズを向いているか否かを判定する判定手段と、
前記判定手段によって前記視線方向が撮影レンズ方向であると判定されている間の前記撮影手段によって撮影された撮影画像を出力する出力手段と
して機能させることを特徴とするプログラム。

１ スマートフォン
２ 機器本体
３ カラー液晶表示パネル
４ カメラ部
１１ 制御部
１３ 通信部
１４ 撮像部
１５ 画像記憶部
１６ プログラム記憶部
１７ フレームバッファ
１８ 表示部
１９ 操作部
Ｇ１，Ｇ２ スルー画像
Ｇｍ 動画像
Ｍ 録画マーク

Claims (17)

1. 被写体を撮影する撮影レンズを含む撮像部と、
   前記撮像部によって撮影された撮影画像を逐次表示する表示部と、
   前記撮影画像を記憶する画像記憶部と、
   前記撮影画像を一時記憶する一時記憶部と、を含む撮影装置であって、
   当該撮影装置は、
   前記撮像部による撮影動作と並行し、前記撮像部によって撮影される撮影者の視線方向が前記撮影レンズを向いているか否かを判定する判定手段と、
   前記判定手段により前記視線方向が撮影レンズ方向であると判定されている間に、前記撮像部により撮影された前記撮影画像を前記一時記憶部に一時記憶させる一時記憶手段と、
   前記判定手段により前記視線方向が撮影レンズ方向でないと判定されたことに応答し、前記一時記憶部に直前に記憶された前記撮影画像を前記表示部に表示させる表示制御手段と、
   前記表示制御手段が前記表示部に表示させた前記撮影画像を前記画像記憶部に出力する出力手段と、
   を備えたことを特徴とする撮影装置。
2. 前記撮影レンズが、前記表示部における表示画面と撮影者の視界内で離間する位置関係に配置された構造、又は必要に応じて撮影者の視界内で離間する位置関係に配置可能な構造のいずれか一方の構造を備えたことを特徴とする請求項１記載の撮影装置。
3. 前記出力手段は、前記判定手段によって前記視線方向が撮影レンズ方向であると判定された前記撮影画像を静止画像として前記画像記憶部に出力することを特徴とする請求項１又は２記載の撮影装置。
4. 前記出力手段は、前記判定手段によって前記視線方向が撮影レンズ方向であると判定された連続する複数フレーム分の前記撮影画像を動画像として前記画像記憶部に出力する
   ことを特徴とする請求項１又は２記載の撮影装置。
5. 前記一時記憶手段は、前記判定手段により前記視線方向が撮影レンズ方向であると判定されている間に、前記撮像部により撮影された連続する複数フレーム分の前記撮影画像を前記一時記憶部に一時記憶し、
   前記表示制御手段は、前記一時記憶部に直前に記憶された前記複数フレーム分の前記撮影画像からなる動画像を前記表示部に表示させる
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮影装置。
6. 前記表示制御手段は、前記一時記憶部に直前に一時記憶された所定のフレーム期間における複数フレーム分の前記撮影画像からなる動画像を前記表示部に表示させる請求項５記載の撮影装置。
7. 前記所定のフレーム期間は、前記判定手段によって前記視線方向が撮影レンズ方向であると判定されていたフレーム期間のうちで先頭及び末尾の既定のフレーム期間を除いたフレーム期間であることを特徴とする請求項６記載の撮影装置。
8. 前記表示制御手段は、前記動画像を、前記判定手段により前記視線方向が撮影レンズ方向でないと判定されている間に前記表示部に繰り返し表示させることを特徴とする請求項５乃至７のいずれか１項に記載の撮影装置。
9. 前記表示制御手段は、前記動画像を、前記撮像部により逐次撮影された撮影画像に代えて前記表示部に表示させることを特徴とする請求項５乃至８のいずれか１項に記載の撮影装置。
10. 前記表示制御手段は、前記表示部に表示されている撮影画像が、前記撮像部により逐次撮影された前記撮影画像と、前記一時記憶部に直前に記憶された前記撮影画像とのいずれかであるかを明示する識別標を、各々の前記撮影画像のいずれか一方と共に前記表示部に表示させることを特徴とする請求項９記載の撮影装置。
11. 前記表示制御手段は、前記判定手段によって前記視線方向が撮影レンズ方向であると判定されている間に、前記識別標として、前記撮像部により撮影された連続する複数フレーム分の前記撮影画像が前記一時記憶部に記憶中である旨を示す識別標を、前記撮像部により逐次撮影された前記撮影画像と共に前記表示部に表示させることを特徴とする請求項１０記載の撮影装置。
12. 前記表示制御手段が前記一時記憶部に直前に記憶された前記複数フレーム分の前記撮影画像からなる動画像を前記表示部に表示させている間に、撮影者による撮影画像の保存指示の有無を確認する確認手段を備え、
    前記出力手段は、前記確認手段により撮影者による撮影画像の保存指示が確認されたことに応答し、前記表示部が表示中の前記動画像を前記画像記憶部に出力する
    ことを特徴とする請求項５乃至１１のいずれか１項に記載の撮影装置。
13. 前記表示制御手段が前記一時記憶部に直前に記憶された前記複数フレーム分の前記撮影画像からなる動画像を前記表示部に表示させている間に、撮影者による撮影画像の保存指示の有無を確認する確認手段を備え、
    前記出力手段は、前記確認手段により撮影者による撮影画像の保存指示が確認されたことに応答し、前記表示部が表示中の前記動画像における表示中のフレームの撮影画像を前記画像記憶部に出力する
    ことを特徴とする請求項５乃至１１のいずれか１項に記載の撮影装置。
14. 前記表示制御手段は、前記一時記憶部に直前に記憶された前記複数フレーム分の前記撮影画像からなる動画像を前記表示部に表示させている間に、前記判定手段によって前記視線方向が撮影レンズ方向であると判定されたことに応答し、前記表示部における前記動画像の表示を終了することを特徴とする請求項１２又は１３記載の撮影装置。
15. 前記撮像部による撮影動作と並行し、前記撮像部によって撮影される撮影者の視線方向を検出する検出手段を備え、
    前記判定手段は、前記検出手段により検出された視線方向が前記撮影レンズを向いているか否かを判定することを特徴とする請求項１乃至１４のいずれか１項に記載の撮影装置。
16. 被写体を撮影する撮影レンズを含む撮像部と、
    前記撮像部によって撮影された撮影画像を逐次表示する表示部と、
    前記撮影画像を記憶する画像記憶部と、
    前記撮影画像を一時記憶する一時記憶部と、を含む撮影装置における撮影方法であって、
    前記撮像部による撮影動作と並行し、前記撮像部によって撮影される撮影者の視線方向が前記撮影レンズを向いているか否かを判定する判定ステップと、
    前記判定ステップにより前記視線方向が撮影レンズ方向であると判定されている間に、前記撮像部により撮影された前記撮影画像を前記一時記憶部に一時記憶させる一時記憶ステップと、
    前記判定ステップにより前記視線方向が撮影レンズ方向でないと判定されたことに応答し、前記一時記憶部に直前に記憶された前記撮影画像を前記表示部に表示させる表示制御ステップと、
    前記表示制御ステップが前記表示部に表示させた前記撮影画像を前記画像記憶部に出力する出力ステップと、
    を含むことを特徴とする撮影方法。
17. 被写体を撮影する撮影レンズを含む撮像部と、
    前記撮像部によって撮影された撮影画像を逐次表示する表示部と、
    前記撮影画像を記憶する画像記憶部と、
    前記撮影画像を一時記憶する一時記憶部と、を含む撮影装置が有するコンピュータを、
    前記撮像部による撮影動作と並行し、前記撮像部によって撮影される撮影者の視線方向が前記撮影レンズを向いているか否かを判定する判定手段と、
    前記判定手段により前記視線方向が撮影レンズ方向であると判定されている間に、前記撮像部により撮影された前記撮影画像を前記一時記憶部に一時記憶させる一時記憶手段と、
    前記判定手段により前記視線方向が撮影レンズ方向でないと判定されたことに応答し、前記一時記憶部に直前に記憶された前記撮影画像を前記表示部に表示させる表示制御手段と、
    前記表示制御手段が前記表示部に表示させた前記撮影画像を前記画像記憶部に出力する出力手段と、
    して機能させることを特徴とするプログラム。

Images