JP4635742B2 - Imaging apparatus and imaging program - Google Patents
Imaging apparatus and imaging program Download PDFInfo
- Publication number
- JP4635742B2 JP4635742B2 JP2005186402A JP2005186402A JP4635742B2 JP 4635742 B2 JP4635742 B2 JP 4635742B2 JP 2005186402 A JP2005186402 A JP 2005186402A JP 2005186402 A JP2005186402 A JP 2005186402A JP 4635742 B2 JP4635742 B2 JP 4635742B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- timing
- shooting
- imaging
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Details Of Cameras Including Film Mechanisms (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、撮像装置および撮像プログラムに関する。 The present invention relates to an imaging apparatus and an imaging program.
動いている被写体の撮影を補助する技術として、被写体の移動を自動的に追尾し、被写体までの距離に応じて撮影レンズの焦点距離を自動的に追従させるオートフォーカス技術が提供されている。
また一方、特許文献1には、撮像素子に捉えられた被写体の像に基づいて、被写体の顔の向きを認識し、被写体の顔の向きが特定の方向(例えば、カメラに対して正面)を向いたときに被写体の撮影を行う技術が開示されている。
As a technique for assisting shooting of a moving subject, there is provided an autofocus technology that automatically tracks the movement of the subject and automatically follows the focal length of the taking lens according to the distance to the subject.
On the other hand, Patent Document 1 recognizes the orientation of the subject's face based on the image of the subject captured by the image sensor, and sets the orientation of the subject's face to a specific direction (for example, front to the camera). A technique for photographing a subject when facing the camera is disclosed.
更に、特許文献2には、花火のように輝度が変化する被写体について、撮像素子に捉えられた被写体の像に基づいて被写体の輝度の変化を観測し、被写体の輝度が所定の輝度値を超えたときに、被写体の撮影を行う技術が開示されている。
上述したオートフォーカス技術により、被写体にピントが合った状態を維持することは可能となっている。
しかしながら、従来のオートフォーカス技術では、レリーズボタンを押すタイミングは、結局は撮影者に任されている。したがって、レリーズボタンの半押し操作によってフォーカス動作を起動することにより、被写体にピントが合った状態が維持されているとはいっても、被写体が画面のどこにどの程度の大きさで捉えられた状態で撮影されるか、つまり、満足のできる構図で撮影できるか否かは、やはり、撮影者の技量にかかっている。
With the above-described autofocus technology, it is possible to maintain a state where the subject is in focus.
However, in the conventional autofocus technology, the timing of pressing the release button is ultimately left to the photographer. Therefore, even though the focus operation is activated by half-pressing the release button, the subject is kept in focus, but the subject is captured where and how big on the screen. Whether or not a photograph is taken, that is, whether or not it is possible to photograph with a satisfactory composition depends on the skill of the photographer.
一方、特許文献1の技術や特許文献2の技術では、撮影タイミングの自動化が図られてはいるものの、自動撮影が可能な被写体は、特許文献1の技術では人物の顔に限られ、特許文献2の技術では花火などに限られている。
したがって、運動会で走っている子供や動物、レース中の車のような幅広い被写体を、良好な構図でしかも適切にピントを合わせて撮影するためには、依然として高度な撮影技術が必要とされるという事実には変わりはなかった。つまり、初心者がこれらの被写体を撮影することは、オートフォーカス技術などの適用の有無にかかわらず、非常に困難であった。
On the other hand, in the technique of Patent Document 1 and the technique of Patent Document 2, although the photographing timing is automated, the subject that can be automatically photographed is limited to a human face in the technique of Patent Document 1, and Patent Document The technique of 2 is limited to fireworks.
Therefore, advanced shooting techniques are still needed to capture a wide range of subjects, such as children and animals running in athletic events, and cars in races, with good composition and proper focus. The fact has not changed. That is, it is very difficult for beginners to photograph these subjects regardless of whether autofocus technology or the like is applied.
本発明は、適切な構図の画像を取得することが可能な撮像装置および撮像プログラムを提供することを目的とする。 An object of the present invention is to provide an imaging apparatus and an imaging program capable of acquiring an image having an appropriate composition .
本件開示の第1の撮像装置は、観測手段と、解析手段と、予測手段と、撮影制御手段とを備えて構成される。
本件開示の第1の撮像装置は、撮像手段に捉えられた被写体の像について、少なくともその位置の変化を観測する観測手段と、前記観測手段によって得られた観測結果に基づいて、前記被写体の動きを解析する解析手段と、前記解析手段による解析結果に基づいて、前記被写体を所望の撮影条件で撮影可能となる撮影タイミングを予測する予測手段と、前記予測手段によって予測された撮影タイミングで前記撮像手段に捉えられた前記被写体の像の撮影処理を実行する撮影制御手段とを備え、前記撮影制御手段は、前記解析手段によって得られた解析結果に基づいて、前記予測手段で得られる撮影タイミングに関する予測精度を推定する精度推定手段と、前記精度推定手段によって得られた予測精度に基づいて、前記撮影タイミングを含む所定の時間において少なくとも1回の撮影タイミング候補を設定して、撮影処理の実行に供するタイミング設定手段とを備える。
The first imaging device disclosed herein includes an observation unit, an analysis unit, a prediction unit, and an imaging control unit .
The first imaging device of the present disclosure includes: an observation unit that observes at least a change in position of an object image captured by the imaging unit; and a movement of the subject based on an observation result obtained by the observation unit. Based on the analysis result by the analyzing means, a predicting means for predicting the photographing timing at which the subject can be photographed under a desired photographing condition, and the imaging at the photographing timing predicted by the predicting means Photographing control means for executing photographing processing of the image of the subject captured by the means, and the photographing control means relates to the photographing timing obtained by the predicting means based on the analysis result obtained by the analyzing means. An accuracy estimation means for estimating the prediction accuracy, and the image capturing timing based on the prediction accuracy obtained by the accuracy estimation means. And setting at least one shot timing candidates in time, and a timing setting means for providing the execution of the photographing processing.
本件開示の第2の撮像装置は、撮像手段に捉えられた被写体の像について、少なくともその位置の変化を観測する観測手段と、前記観測手段によって得られた観測結果に基づいて、前記被写体の動きを解析する解析手段と、前記解析手段による解析結果に基づいて、前記被写体を所望の撮影条件で撮影可能となる撮影タイミングを予測する予測手段と、前記予測手段によって予測された撮影タイミングで前記撮像手段に捉えられた前記被写体の像の撮影処理を実行する撮影制御手段とを備え、前記観測手段は、前記撮像手段に捉えられた少なくとも一つの被写体の像について、被写体の顔を表す画像データを抽出する顔抽出手段と、前記顔抽出手段によって抽出された画像データを解析して、前記被写体の顔の向きを判別し、判別結果を観測結果の一部として出力する向き判別手段とを備え、前記解析手段は、前記観測手段によって得られる観測結果に含まれる前記被写体の顔の向きに関する判別結果に基づいて、前記被写体の顔の向きに関する動きの特徴を抽出し、解析結果の一部として出力する特徴抽出手段を備え、前記予測手段は、前記特徴抽出手段によって抽出された動きの特徴に基づいて予測される、前記被写体の顔の向きが前記撮影条件にかかわる判定条件を満たすタイミングと、前記被写体の位置が前記撮影条件にかかわる判定条件を満たすことが予測されるタイミングとに基づいて撮影タイミングを決定する。The second imaging device disclosed in the present disclosure includes an observation unit that observes at least a change in position of an object image captured by the imaging unit, and a movement of the subject based on an observation result obtained by the observation unit. Based on the analysis result by the analyzing means, a predicting means for predicting the photographing timing at which the subject can be photographed under a desired photographing condition, and the imaging at the photographing timing predicted by the predicting means Photographing control means for performing photographing processing of the image of the subject captured by the means, and the observation means obtains image data representing the face of the subject with respect to at least one subject image captured by the imaging means. Analyzing the face extraction means to extract and the image data extracted by the face extraction means to determine the face orientation of the subject and observe the determination result Orientation determining means for outputting as part of the result, and the analyzing means relates to the orientation of the subject's face based on the discrimination result relating to the orientation of the subject's face included in the observation result obtained by the observation means. A feature extraction unit that extracts a feature of the motion and outputs it as a part of the analysis result, wherein the prediction unit is predicted based on the feature of the motion extracted by the feature extraction unit; The shooting timing is determined based on the timing that satisfies the determination condition related to the shooting condition and the timing that the position of the subject is predicted to satisfy the determination condition related to the shooting condition.
本件開示の第1の撮像プログラムは、撮像手段に捉えられた被写体の像の位置および大きさの変化に基づいて、前記被写体の動きを観測し、前記観測手順によって得られた観測結果に基づいて、前記被写体の動きを解析し、前記解析手順による解析結果に基づいて、前記被写体を所望の撮影条件で撮影可能となる撮影タイミングを予測し、前記予測手順によって予測された撮影タイミングで前記撮像手段に捉えられた前記被写体の像の撮影処理を実行し、前記撮影を実行する際に、前記解析によって得られた解析結果に基づいて、前記予測された撮影タイミングに関する予測精度を推定し、前記推定によって得られた予測精度に基づいて、前記撮影タイミングを含む所定の時間において少なくとも1回の撮影タイミング候補を設定して、撮影処理の実行に供する処理をコンピュータに実行させるThe first imaging program of the present disclosure observes the movement of the subject based on changes in the position and size of the subject image captured by the imaging means, and based on the observation result obtained by the observation procedure. Analyzing the movement of the subject, predicting a shooting timing at which the subject can be shot under a desired shooting condition based on an analysis result of the analysis procedure, and taking the imaging means at the shooting timing predicted by the prediction procedure When performing the shooting process of the image of the subject captured in the above, and estimating the prediction accuracy related to the predicted shooting timing based on the analysis result obtained by the analysis, the estimation Based on the prediction accuracy obtained by the above, at least one shooting timing candidate is set at a predetermined time including the shooting timing, and shooting is performed. To execute a process to be subjected to management of the execution on the computer
本件開示の第2の撮像プログラムは、撮像手段に捉えられた被写体の像の位置および大きさの変化に基づいて、前記被写体の動きを観測し、得られた観測結果に基づいて、前記被写体の動きを解析し、前記被写体の動きの解析結果に基づいて、前記被写体を所望の撮影条件で撮影可能となる撮影タイミングを予測し、予測された撮影タイミングで前記撮像手段に捉えられた前記被写体の像の撮影処理を実行し、前記被写体の動きを観測する際に、前記撮像手段に捉えられた少なくとも一つの被写体の像について、被写体の顔を表す画像データを抽出し、抽出された画像データを解析して、前記被写体の顔の向きを判別し、判別結果を観測結果の一部として出力し、前記被写体の動きを解析する際に、前記観測結果に含まれる前記被写体の顔の向きに関する判別結果に基づいて、前記被写体の顔の向きに関する動きの特徴を抽出し、解析結果の一部として出力し、前記撮影タイミングを予測する際に、抽出された前記被写体の顔の向きに関する動きの特徴に基づいて予測される、前記被写体の顔の向きが前記撮影条件にかかわる判定条件を満たすタイミングと、前記被写体の位置が前記撮影条件にかかわる判定条件を満たすことが予測されるタイミングとに基づいて撮影タイミングを決定する処理をコンピュータに実行させる。The second imaging program of the present disclosure observes the movement of the subject based on changes in the position and size of the subject image captured by the imaging means, and based on the obtained observation result, Based on the analysis result of the movement of the subject, the shooting timing at which the subject can be shot under a desired shooting condition is predicted, and the subject captured by the imaging unit at the predicted shooting timing is analyzed. When performing image shooting processing and observing the movement of the subject, image data representing the face of the subject is extracted from the image of at least one subject captured by the imaging means, and the extracted image data is extracted. Analyzing the orientation of the face of the subject, outputting the discrimination result as a part of the observation result, and analyzing the movement of the subject, the face of the subject included in the observation result Based on the determination result regarding the image, the feature of the motion related to the orientation of the face of the subject is extracted and output as a part of the analysis result, and the orientation of the extracted face of the subject is predicted when the shooting timing is predicted A timing that is predicted based on a feature of motion, and a timing that satisfies a determination condition that the orientation of the face of the subject is related to the shooting condition; and a timing that is predicted to satisfy the determination condition that the position of the subject is related to the shooting condition; The computer is caused to execute processing for determining the photographing timing based on the above.
上述したように、本発明にかかわる撮像装置および撮像プログラムによれば、適切な構図の画像を取得することが可能である。 As described above, according to the imaging apparatus and the imaging program according to the present invention, it is possible to acquire an image with an appropriate composition.
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
(第1の実施形態)
図1に、本発明にかかわる撮像装置の第1の実施形態を示す。
図1に示した撮像処理部210において、光学系211によってCCDなどの撮像素子212上に被写体の像が形成され、この撮像素子212の出力信号を信号処理部213によって処理することにより、光学系211の視野に捉えられた被写体の像を表す画像データが例えば所定の時間間隔で生成され、メモリ214に一時的に保持される。また、図1に示した自動焦点制御部215は、撮影制御部220からの指示に応じて、このメモリ214に保持された画像データあるいは測距部(図示せず)による被写体までの距離に関する測定結果に基づいて光学系211を操作し、被写体にピントが合った状態を維持する。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(First embodiment)
FIG. 1 shows a first embodiment of an imaging apparatus according to the present invention.
In the image
また、図1に示した観測処理部216は、上述した信号処理部213によってメモリ214に新たな画像データが書き込まれるごとに、新たな画像データに含まれる被写体の像の位置、すなわち、被写体の像面位置を検出し、検出した像面位置を検出時刻とともに動き解析部217に渡す。この動き解析部217は、観測処理部216から渡された像面位置および検出時刻に基づいて、被写体の像面における移動速度(像面速度)を算出する。
Further, the
例えば、図2(a),(b)に示すような2つの画像データ(以下、フレームA、Bと称する)からそれぞれにおける被写体の像面位置が得られたときに、動き解析部217は、図2(e)に示すように、フレームAの像面位置とフレームBの像面位置との差分とそれぞれの検出時刻の差分とから像面速度を求めることができる。また、3以上のフレームについて観測処理部216によって観測された像面位置および検出時刻に基づいて、動き解析部217によって像面速度および加速度を求めることも可能である。
For example, when the image plane position of the subject is obtained from two pieces of image data (hereinafter referred to as frames A and B) as shown in FIGS. 2A and 2B, the
ここで、被写体の像の位置は、ピントが合わされた被写体の像を抽出することが可能であれば、いかなる被写体についても確実に求めることが可能であるから、上述した像面速度を求める処理は、多種多様な被写体について適用可能である。
このようにして得られた像面速度に基づいて、予測処理部218は、被写体の像面位置が標準的なシーンの撮影において最適な位置に到達する時刻を推定し(図2(e)参照)、この時刻を撮影タイミングとして出力して撮影制御部220の処理に供する。
Here, the position of the subject image can be reliably obtained for any subject as long as it can extract the focused subject image. It can be applied to a wide variety of subjects.
Based on the image plane speed obtained in this way, the
なお、撮影対象のシーンによっては、被写体の最適な像面位置が上述した標準的なシーンにおける最適な像面位置とは異なる場合が考えられる。このような場合に対応するために、図1に示した条件テーブル219に、様々な撮影シーンに対応して、最適な像面位置の座標値などを判定条件として格納しておき、撮影制御部220からの指示に応じて、該当する判定条件を条件テーブル219から読み出し、動き解析部217によって得られた解析結果とこの判定条件とに基づいて、最適な撮影タイミングを予測することも可能である。
Note that, depending on the scene to be photographed, the optimal image plane position of the subject may be different from the optimal image plane position in the standard scene described above. In order to deal with such a case, in the condition table 219 shown in FIG. 1, the coordinate value of the optimum image plane position corresponding to various photographing scenes is stored as a judgment condition, and the photographing control unit In response to an instruction from 220, it is also possible to read out the corresponding determination condition from the condition table 219 and predict the optimum shooting timing based on the analysis result obtained by the
図1に示した撮影制御部220において、記録制御部223は、上述した予測処理部218によって得られた撮影タイミングあるいは操作受付部224からの指示に応じて、撮像処理部210に、撮影動作の実行を指示し、この撮影動作の実行に応じてメモリ214に保持された画像データを読み出して書込処理部221に渡し、この画像データを記録媒体222に記録する旨を指示する。また、図1に示した操作受付部224は、利用者によるレリーズ操作および各種機能に関する設定操作を受け付け、各部への指示を行う。例えば、レリーズボタン(図示せず)の半押しに応じて、操作受付部224は、自動焦点制御部215に起動指示を送出する。また、撮影対象のシーンの種類に関するシーン設定操作に応じて、操作受付部224は、予測処理部218に適切な判定条件を示す指示を送出し、一方、レリーズに関する機能設定操作に応じて、手動によるレリーズ操作と上述したようにして得られる撮影タイミングに基づく自動レリーズ機能との一方を有効とする制御を行う。
In the
次に、自動レリーズ機能が有効となっている場合の撮像装置の動作について詳細に説明する。
図3に、撮像装置の動作を表す流れ図を示す。
利用者により、レリーズボタン(図示せず)が半押しされると(図3のステップ301)、自動露光動作および自動焦点動作が実行され(図3のステップ302)、次いで、図1に示した観測処理部216、動き解析部217および予測処理部218により、上述したようにして、最適な撮影タイミングToを予測する処理が行われ(ステップ303)、予測された撮影タイミングToが撮影制御部220の記録制御部223に渡される。
Next, the operation of the imaging apparatus when the automatic release function is enabled will be described in detail.
FIG. 3 is a flowchart showing the operation of the imaging apparatus.
When a release button (not shown) is half-pressed by the user (
図4に、記録制御部の詳細構成を示す。
図4に示した記録制御部223において、精度算出部231は、予測処理部218から上述した撮影タイミングToを受け取るとともに、動き解析部217から像面速度Vsとともに像面速度Vsの算出に用いられた検出時刻T1を受け取り、これらの値を用いて、撮影タイミングToの予測精度Aoを求める(図3のステップ304)。
FIG. 4 shows a detailed configuration of the recording control unit.
In the
このとき、精度算出部231は、例えば、像面速度Vs、撮影タイミングToおよび検出時刻T1と、像面速度Vsに関する重み係数Wvと撮影タイミングToと検出時刻T1との差分に関する重み係数Wtとを式(1)に代入することにより、像面速度Vsの増大および撮影タイミングToと検出時刻T1との差分の増大に応じて単調に減少する値として、予測精度Aoを求めることができる。
At this time,
Ao=1/(Wt×(To−T1)+Wv×Vs) ・・・(1)
なお、式(1)の分母に像面加速度αに関する項を追加することも可能である。
このようにして得られた予測精度Aoは、図4に示した判定処理部232において、予め決定された閾値Atと比較される(図3のステップ305)。
予測精度Aoが閾値Atよりも小さいとされた場合に(ステップ305の否定判定)、判定処理部232は、予測された撮影タイミングToにおける撮影では必ずしも最適な撮影条件を満たす画像が得られないと判断し、複数の候補画像を撮影する処理を開始する。
A o = 1 / (W t × (T o -T 1) + W v × V s) ··· (1)
It is also possible to add a term relating to the image plane acceleration α to the denominator of Equation (1).
Such prediction accuracy A o thus obtained is, in the
If the prediction accuracy A o is smaller than the threshold value A t (negative determination in step 305),
この場合に、判定処理部232は、まず、予測精度Aoの逆数に基づいて適切な候補数Nを求めるとともに、像面速度Vsに基づいて適切な撮影間隔Tdを求め(ステップ308)、図4に示したタイミング制御部233に候補数Nおよび撮影間隔Tdを渡して、連続撮影処理の開始を指示する。
これに応じて、タイミング制御部233は、タイマ234の機能を利用して、撮影タイミングToを中心として候補数Nと撮影間隔Trの積に相当する長さの期間にN個の撮影タイミング候補T1〜Tnを設定する。そして、これらの撮影タイミング候補T1〜Tnで示される時刻が到来するごとに、タイミング制御部233により、撮影処理の実行を指示する撮影指示が撮像処理部210を宛先として送出され、これに応じて、撮像処理部210による撮影処理が行われる(図3のステップ309)。
In this case, the
In response to this, the
このようにして、N個の撮影タイミング候補T1〜Tnにおける撮影によって得られた候補画像は、図4に示した読出処理部235によって順次にメモリ214から読み出され、選択処理部236に渡され、これらの候補画像の中から最適な撮影条件を満たす画像が選択され、書込処理部221による記録媒体222への書込処理に供される(ステップ310)。
In this way, candidate images obtained by shooting at N shooting timing candidates T 1 to T n are sequentially read from the
例えば、選択処理部236において、N個の候補画像それぞれから被写体の像を抽出し、それぞれの像面内での位置および大きさなどを解析することにより、各候補画像についてその構図の良否を評価し、最も高い評価結果が得られた候補画像を選択して、書込処理部221に渡すことにより、上述した選択処理を実現することができる。
このようにして、予測精度が低い場合に、複数の撮影タイミング候補において、それぞれ候補画像を取得することにより、たとえば、高速で走行する車両や目の前を走り抜ける動物のように、極端に動きの激しい被写体についても、確実に最適な瞬間を捉えた画像を得て、記録媒体222に記録することができる。
For example, the
In this way, when the prediction accuracy is low, by acquiring candidate images for each of a plurality of imaging timing candidates, for example, an extremely moving object such as a vehicle that runs at high speed or an animal that runs in front of the eyes. Even for a violent subject, it is possible to reliably obtain an image that captures the optimal moment and record it on the
また、所定の閾値を超える評価結果が得られた候補画像について、利用者の判断を仰ぐことも可能である。例えば、該当する候補画像を液晶画面(図示せず)に表示して利用者の選択を促し、利用者によって指定された候補画像を選択的に書込処理部221に渡すこともできる。
一方、予測精度Aoが閾値Atよりも大きいとされた場合に(ステップ305の肯定判定)、判定処理部232は、予測された撮影タイミングToにおける撮影で確実に最適な撮影条件を満たす画像が得られると判断する。この場合に、判定処理部232からの指示に応じて、タイミング制御部233により、撮影タイミングToにおいて、単一の撮影指示が撮像処理部210に送出され、撮像処理部210による撮影処理が、この撮影タイミングToにおいて自動的に実行される(ステップ306)。この撮影処理によってメモリ214に書き込まれた画像データは、読出処理部235によって読み出され、そのまま選択処理部236を介して書込処理部221に渡されて、記録媒体222に記録され(ステップ308)、自動レリーズ機能を利用した撮影処理が終了する。
It is also possible to ask the user for a candidate image for which an evaluation result exceeding a predetermined threshold is obtained. For example, the corresponding candidate image can be displayed on a liquid crystal screen (not shown) to prompt the user to select, and the candidate image designated by the user can be selectively passed to the
On the other hand, when the prediction accuracy A o is greater than the threshold value A t (affirmative determination in step 305),
このように、本実施形態にかかわる撮像装置を用いれば、利用者の撮影技量にかかわらず、多種多様な被写体を最適な撮影条件で撮影することが可能である。
また、上述したステップ305において予測精度Aoが閾値Atよりも低いとされた場合であって、予測された撮影タイミングToまでの猶予時間に余裕がある場合に、観測処理部216、動き解析部217および予測処理部218による撮影タイミングの予測処理を再度実行させることも可能である。
As described above, by using the imaging apparatus according to the present embodiment , it is possible to shoot a wide variety of subjects under the optimal shooting conditions regardless of the shooting skill of the user.
Further, in a case where prediction accuracy A o in
このような手順を実行することにより、より高い精度で撮影タイミングを予測することが可能となる。したがって、新たに予測された撮影タイミングについて、再び予測精度を算出し、この予測精度と閾値との比較結果に応じて、撮影タイミングにおける単一の自動レリーズによる撮影あるいは複数の撮影タイミング候補における連続撮影を実行することにより、より確実に良好な構図で被写体を捉えた画像を取得することが期待できる。
(第2の実施形態)
図5に、本発明にかかわる撮像装置の第2の実施形態を示す。
By executing such a procedure, it is possible to predict the photographing timing with higher accuracy. Accordingly, the prediction accuracy is calculated again for the newly predicted shooting timing, and shooting based on a single automatic release at the shooting timing or continuous shooting at a plurality of shooting timing candidates according to the comparison result between the prediction accuracy and the threshold value. By executing this, it can be expected that an image capturing the subject with a good composition will be obtained more reliably.
(Second Embodiment)
FIG. 5 shows a second embodiment of the imaging apparatus according to the present invention.
図5に示した観測処理部216において、抽出処理部237は、撮影制御部220から人物を被写体とするシーン設定操作がなされた旨の通知を受けたときに、まず、撮像処理部210のメモリ214(図1参照)から読み出した画像データから主要な被写体の像を抽出する。
このとき、抽出処理部237は、背景以外のピントが合っている全ての像をまず抽出し、これらの像の中から、最も面積の大きい像を主要な被写体の像として選択することにより、主要な被写体の像を抽出することができる。
In the
At this time, the
このようにして抽出処理部237によって抽出された主要な被写体の像の部分を示す情報は像面位置検出部238による処理に供されるとともに、更に、抽出処理部237により、この主要な被写体の像から人物の顔を表す部分の画像データが抽出され、向き判別処理部239の処理に供される。
例えば、図6(a)〜(d)に示すような画像データが得られた場合に、抽出処理部237により、まず、これらの画像データにおいて白抜きで示した被写体の像の部分およびこの部分が画面において占める位置にかかわる情報が像面位置検出部238にそれぞれ渡される。これらの情報に基づいて、像面位置検出部238により、例えば被写体の像の重心位置を求める処理を行うことにより、図6(e)に符号Pa〜Pdを付して示すように、各画像データに対応する時刻における被写体の像面位置を求めることができる。
Information indicating the image portion of the main subject extracted by the
For example, when image data as shown in FIGS. 6A to 6D is obtained, the
また、これらの被写体の像について、抽出処理部237により、例えば、画像データによって示される色が一般的な肌色である部分を抽出することにより、顔の部分を表す画像データを選択的に向き判別処理部239に渡すことができる。このようにして抽出された顔の部分の画像データについて、向き判別処理部239により、目や鼻や口などの位置を検出し、これらの位置関係を調べる処理を行うことにより、図6(f)に符号θa〜θdを付して示すように、撮像装置に対する被写体の顔の向きを求めることができる。
Further, for these subject images, the
このようにして得られた観測結果に基づいて、動き解析部217により、例えば、図6(e)に符号Pa、Pbを付して示した像面位置とこれらに対応する検出時刻Ta、Tbから被写体の像面速度Vsが求められるとともに、これらの被写体の像について得られた顔の向き(図6(f)に符号θa、θbを付して示した)の差分と上述した検出時刻Ta、Tbの差分とから被写体の顔の回転速度Vrを求められ、得られた像面速度Vsおよび回転速度Vrが予測処理部218の処理に供される。
Based on the observation results obtained in this way, the
これに応じて、予測処理部218により、被写体の位置の変化に基づく撮影タイミングTsの予測処理とともに、被写体の向きに関する撮影タイミングTrを予測する処理が行われる。また、それぞれの処理で得られた撮影タイミングTs、Trに基づいて、この予測処理部218により、最終的な撮影タイミングToが決定され、撮影制御部220の処理に供される。
In response to this, the
このとき、予測処理部218は、例えば、シーン設定で選択されたシーン種別に応じて、被写体の像面位置と被写体の顔の向きとのどちらを優先すべきかを決定し、該当する撮影タイミングTs(あるいは撮影タイミングTr)を最終的な撮影タイミングToとすることができる。また、図6(e)に示したように、被写体の像面位置の変化が小さい場合などには、被写体の顔の向きの変化に基づいて、図6(c)に示したように、被写体の顔の向きが撮像装置の正面からわずかにずれた向きとなることが予想される撮影タイミングTrを最終的な撮影タイミングToとして選択することも可能である。
At this time, for example, the
このようにして予測された撮影タイミングToに基づいて、撮影制御部220により、少なくとも1回の撮影処理を実行することにより、被写体の位置だけでなく、被写体の顔の向きを考慮した最適な構図で撮影した画像データを記録媒体222(図1参照)に記録して、利用者に提供することができる。
なお、この場合に、上述した観測処理部216における被写体の顔の向きに関する観測精度を含めて撮影タイミングの予測精度を評価することにより、被写体の顔を表す画像データの抽出精度や向き判別処理に関する判別精度に応じて、適切な数の候補画像を取得して、最適な画像データの選択処理に供することができる。
On the basis of the predicted capturing timing T o, by photographing
In this case, it is related to the extraction accuracy of the image data representing the face of the subject and the direction discrimination processing by evaluating the prediction accuracy of the shooting timing including the observation accuracy related to the orientation of the face of the subject in the
例えば、図4に示した精度算出部231により、例えば、像面速度Vs、回転速度Vr、顔判別処理に関する顔判別精度Af、撮影タイミングToおよび検出時刻T1と、像面速度Vsに関する重み係数Wvと回転速度Vrに関する重み係数Wrと顔判別制度に関する重み係数Wfと撮影タイミングToと検出時刻T1との差分に関する重み係数Wtとを式(2)に代入することにより、像面速度Vsあるいは回転速度Vrの増大および撮影タイミングToと検出時刻T1との差分の増大に応じて単調に減少し、顔判別精度Afの向上に伴って増大する値として、予測精度Aoを求めることができる。
For example, the
Ao=Af×Wf/(Wt×(To−T1)+Wv×Vs+Wr×Vr) ・・・(2)
ところで、上述した観測処理部216、動き解析部217、予測処理部218および記録制御部223によって果たされる各機能は、これらの機能に必要な処理を計算機によって実行させるプログラムを撮像装置に搭載されるマイクロプロセッサに実行させることで実現することができる。したがって、上述した自動レリーズ機能は、新規に製品化される撮像装置のみに限らず、マイクロプロセッサのファームウェアを更新するなどの保守作業によって上述した各部の機能に関するプログラムを追加することにより、既に利用者の手元に渡っている撮像装置に適用することも可能である。
A o = A f × W f / (W t × (T o -T 1) + W v × V s + W r × V r) ··· (2)
By the way, each function performed by the
本発明にかかわる撮像装置によれば、利用者の撮影スキルにかかわらず、また、被写体の種類にかかわらず、動きのある被写体が良好な構図で捉えられた瞬間に自動的に撮影を実行することができる。
このような特徴は、一般的な利用者にとってはシャッタチャンスがつかみにくいというディジタルカメラの弱点を一挙に解消することができるので、幅広い層に大きく利用者の裾野を広げたディジタルカメラ分野において、極めて有用な特徴である。
According to the imaging apparatus of the present invention, regardless of the shooting skill of the user and regardless of the type of the subject, the shooting is automatically executed at the moment when the moving subject is captured with a good composition. Can do.
Such a feature can solve the weak point of digital cameras that it is difficult for ordinary users to grasp the shutter chance at a stroke, so in the digital camera field where the user base is greatly expanded to a wide range of users, it is extremely This is a useful feature.
210…撮像処理部、211…光学系、212…撮像素子、213…信号処理部、214…メモリ、215…自動焦点制御部、216…観測処理部、217…動き解析部、218…予測処理部、219…条件テーブル、220…撮影制御部、221…書込処理部、222…記録媒体、223…記録制御部、224…操作受付部、224…操作受付部、231…精度算出部、232…判定処理部、233…タイミング制御部、234…タイマ、235…読出処理部、236…選択処理部、237…抽出処理部、238…像面位置検出部、239…向き判別処理部
DESCRIPTION OF
Claims (7)
前記観測手段によって得られた観測結果に基づいて、前記被写体の動きを解析する解析手段と、
前記解析手段による解析結果に基づいて、前記被写体を所望の撮影条件で撮影可能となる撮影タイミングを予測する予測手段と、
前記予測手段によって予測された撮影タイミングで前記撮像手段に捉えられた前記被写体の像の撮影処理を実行する撮影制御手段とを備え、
前記撮影制御手段は、
前記解析手段によって得られた解析結果に基づいて、前記予測手段で得られる撮影タイミングに関する予測精度を推定する精度推定手段と、
前記精度推定手段によって得られた予測精度に基づいて、前記撮影タイミングを含む所定の時間において少なくとも1回の撮影タイミング候補を設定して、撮影処理の実行に供するタイミング設定手段とを備えた
ことを特徴とする撮像装置。 An observation means for observing at least a change in the position of the subject image captured by the imaging means;
Analysis means for analyzing the movement of the subject based on the observation result obtained by the observation means;
Predicting means for predicting the photographing timing at which the subject can be photographed under a desired photographing condition based on the analysis result by the analyzing means;
Photographing control means for performing photographing processing of the image of the subject captured by the imaging means at the photographing timing predicted by the prediction means ;
The photographing control means includes
Based on the analysis result obtained by the analysis means, an accuracy estimation means for estimating the prediction accuracy related to the imaging timing obtained by the prediction means;
A timing setting unit configured to set at least one shooting timing candidate at a predetermined time including the shooting timing based on the prediction accuracy obtained by the accuracy estimating unit and to perform shooting processing;
An imaging apparatus characterized by that .
前記タイミング設定手段によって設定された少なくとも1回の撮影タイミング候補において撮影された画像データと前記所望の撮影条件にかかわる判定条件とに基づいて、少なくとも一つの画像データを抽出する抽出手段を備えた
ことを特徴とする撮像装置。 The imaging device according to claim 1,
Extraction means for extracting at least one image data based on image data taken at least at one shooting timing candidate set by the timing setting means and a determination condition related to the desired shooting condition An imaging apparatus characterized by the above.
前記観測手段によって得られた観測結果に基づいて、前記被写体の動きを解析する解析手段と、
前記解析手段による解析結果に基づいて、前記被写体を所望の撮影条件で撮影可能となる撮影タイミングを予測する予測手段と、
前記予測手段によって予測された撮影タイミングで前記撮像手段に捉えられた前記被写体の像の撮影処理を実行する撮影制御手段とを備え、
前記観測手段は、
前記撮像手段に捉えられた少なくとも一つの被写体の像について、被写体の顔を表す画像データを抽出する顔抽出手段と、
前記顔抽出手段によって抽出された画像データを解析して、前記被写体の顔の向きを判別し、判別結果を観測結果の一部として出力する向き判別手段とを備え、
前記解析手段は、
前記観測手段によって得られる観測結果に含まれる前記被写体の顔の向きに関する判別結果に基づいて、前記被写体の顔の向きに関する動きの特徴を抽出し、解析結果の一部として出力する特徴抽出手段を備え、
前記予測手段は、
前記特徴抽出手段によって抽出された動きの特徴に基づいて予測される、前記被写体の顔の向きが前記撮影条件にかかわる判定条件を満たすタイミングと、前記被写体の位置が前記撮影条件にかかわる判定条件を満たすことが予測されるタイミングとに基づいて撮影タイミングを決定する
ことを特徴とする撮像装置。 An observation means for observing at least a change in the position of the subject image captured by the imaging means;
Analysis means for analyzing the movement of the subject based on the observation result obtained by the observation means;
Predicting means for predicting the photographing timing at which the subject can be photographed under a desired photographing condition based on the analysis result by the analyzing means;
Photographing control means for performing photographing processing of the image of the subject captured by the imaging means at the photographing timing predicted by the prediction means;
The observation means includes
Face extraction means for extracting image data representing the face of the subject for at least one subject image captured by the imaging means;
Analyzing the image data extracted by the face extraction means, determining the orientation of the face of the subject, and including direction determination means for outputting the determination result as a part of the observation result,
The analysis means includes
Feature extraction means for extracting a feature of movement relating to the face direction of the subject based on a determination result relating to the face orientation of the subject included in the observation result obtained by the observation means, and outputting the feature as a part of the analysis result; Prepared,
The prediction means includes
A timing that is predicted based on the feature of the motion extracted by the feature extraction unit and that satisfies the determination condition related to the shooting condition of the face direction of the subject, and a determination condition that the position of the subject is related to the shooting condition. An imaging apparatus, wherein an imaging timing is determined based on a timing expected to be satisfied .
前記予測手段は、設定されたシーンに応じて、被写体の位置と被写体の顔の向きとのいずれかを優先して撮影タイミングを決定する The prediction means prioritizes either the position of the subject or the orientation of the face of the subject according to the set scene and determines the shooting timing.
ことを特徴とする撮像装置。 An imaging apparatus characterized by that.
前記予測手段は、前記被写体の位置の変化が所定の閾値よりも小さい場合に、前記被写体の顔の向きが前記撮影条件にかかわる判定条件を満たすことが予測されるタイミングを撮影タイミングとする When the change in the position of the subject is smaller than a predetermined threshold, the predicting unit sets a timing at which the face orientation of the subject is predicted to satisfy a determination condition related to the shooting condition as a shooting timing.
ことを特徴とする撮像装置。 An imaging apparatus characterized by that.
前記観測手順によって得られた観測結果に基づいて、前記被写体の動きを解析し、
前記解析手順による解析結果に基づいて、前記被写体を所望の撮影条件で撮影可能となる撮影タイミングを予測し、
前記予測手順によって予測された撮影タイミングで前記撮像手段に捉えられた前記被写体の像の撮影処理を実行し、
前記撮影を実行する際に、
前記解析によって得られた解析結果に基づいて、前記予測された撮影タイミングに関する予測精度を推定し、
前記推定によって得られた予測精度に基づいて、前記撮影タイミングを含む所定の時間において少なくとも1回の撮影タイミング候補を設定して、撮影処理の実行に供する
処理をコンピュータに実行させることを特徴とする撮像プログラム。 Based on the change in the position and size of the subject image captured by the imaging means, observe the movement of the subject ,
Based on the observation results obtained by the observation procedure, analyze the movement of the subject ,
Based on the analysis result of the analysis procedure, predict the shooting timing at which the subject can be shot under desired shooting conditions ,
Performing a photographing process of the image of the subject captured by the imaging means at the photographing timing predicted by the prediction procedure ;
When performing the shooting,
Based on the analysis result obtained by the analysis, estimate the prediction accuracy related to the predicted shooting timing,
Based on the prediction accuracy obtained by the estimation, at least one shooting timing candidate is set for a predetermined time including the shooting timing, and the shooting process is executed.
An imaging program that causes a computer to execute processing .
得られた観測結果に基づいて、前記被写体の動きを解析し、
前記被写体の動きの解析結果に基づいて、前記被写体を所望の撮影条件で撮影可能となる撮影タイミングを予測し、
予測された撮影タイミングで前記撮像手段に捉えられた前記被写体の像の撮影処理を実行し、
前記被写体の動きを観測する際に、
前記撮像手段に捉えられた少なくとも一つの被写体の像について、被写体の顔を表す画像データを抽出し、
抽出された画像データを解析して、前記被写体の顔の向きを判別し、判別結果を観測結果の一部として出力し、
前記被写体の動きを解析する際に、
前記観測結果に含まれる前記被写体の顔の向きに関する判別結果に基づいて、前記被写体の顔の向きに関する動きの特徴を抽出し、解析結果の一部として出力し、
前記撮影タイミングを予測する際に、
抽出された前記被写体の顔の向きに関する動きの特徴に基づいて予測される、前記被写体の顔の向きが前記撮影条件にかかわる判定条件を満たすタイミングと、前記被写体の位置が前記撮影条件にかかわる判定条件を満たすことが予測されるタイミングとに基づいて撮影タイミングを決定する
処理をコンピュータに実行させることを特徴とする撮像プログラム。 Based on the change in the position and size of the subject image captured by the imaging means, observe the movement of the subject,
Based on the obtained observation results, analyze the movement of the subject,
Based on the analysis result of the movement of the subject, predict the shooting timing at which the subject can be shot under desired shooting conditions,
Performing a photographing process of the image of the subject captured by the imaging means at the predicted photographing timing;
When observing the movement of the subject,
For at least one subject image captured by the imaging means, extract image data representing the subject's face,
Analyzing the extracted image data, determining the orientation of the face of the subject, outputting the determination result as a part of the observation result,
When analyzing the movement of the subject,
Based on the determination result related to the orientation of the face of the subject included in the observation result, the feature of the motion related to the orientation of the face of the subject is extracted and output as a part of the analysis result,
When predicting the shooting timing,
A timing that is predicted based on the extracted feature of the motion related to the orientation of the face of the subject, a timing that satisfies a judgment condition relating to the shooting condition, and a determination that the position of the subject is related to the shooting condition The shooting timing is determined based on the timing that is expected to satisfy the conditions.
An imaging program that causes a computer to execute processing .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005186402A JP4635742B2 (en) | 2005-06-27 | 2005-06-27 | Imaging apparatus and imaging program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005186402A JP4635742B2 (en) | 2005-06-27 | 2005-06-27 | Imaging apparatus and imaging program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007006325A JP2007006325A (en) | 2007-01-11 |
| JP4635742B2 true JP4635742B2 (en) | 2011-02-23 |
Family
ID=37691468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005186402A Expired - Fee Related JP4635742B2 (en) | 2005-06-27 | 2005-06-27 | Imaging apparatus and imaging program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4635742B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5115139B2 (en) * | 2007-10-17 | 2013-01-09 | ソニー株式会社 | Composition determination apparatus, composition determination method, and program |
| JP5439923B2 (en) * | 2009-04-17 | 2014-03-12 | 株式会社ニコン | Electronic camera |
| JP2010278624A (en) * | 2009-05-27 | 2010-12-09 | Sony Corp | Imaging apparatus and method, and program |
| JP6034671B2 (en) * | 2012-11-21 | 2016-11-30 | キヤノン株式会社 | Information display device, control method thereof, and program |
| CN104519263B (en) * | 2013-09-27 | 2018-07-06 | 联想(北京)有限公司 | The method and electronic equipment of a kind of image acquisition |
| KR102403065B1 (en) * | 2015-07-14 | 2022-05-27 | 삼성전자주식회사 | Image capture apparatus and method for operating the image capture apparatus |
| JP6753223B2 (en) * | 2016-08-31 | 2020-09-09 | オムロン株式会社 | Face matching system, player management system, face matching method, and program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4227257B2 (en) * | 1999-08-12 | 2009-02-18 | キヤノン株式会社 | camera |
| JP2002335436A (en) * | 2001-05-08 | 2002-11-22 | Fuji Photo Film Co Ltd | camera |
| JP2005176274A (en) * | 2003-12-15 | 2005-06-30 | Canon Inc | Imaging apparatus and imaging control method |
-
2005
- 2005-06-27 JP JP2005186402A patent/JP4635742B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007006325A (en) | 2007-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1748378B1 (en) | Image capturing apparatus and image capturing method | |
| JP4182117B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP4196714B2 (en) | Digital camera | |
| JP4702418B2 (en) | Imaging apparatus, image region existence determination method and program | |
| JP5394296B2 (en) | Imaging apparatus and image processing method | |
| TWI353465B (en) | ||
| JP4819001B2 (en) | Imaging apparatus and method, program, image processing apparatus and method, and program | |
| JP5251215B2 (en) | Digital camera | |
| JP4581924B2 (en) | Image reproducing apparatus and image reproducing program | |
| JP2010119097A (en) | Image evaluation apparatus, and camera | |
| CN101800850B (en) | Imaging device, imaging method, and recording medium | |
| JP4110178B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP5713055B2 (en) | Imaging apparatus, imaging method, and program | |
| KR20070102404A (en) | Image display control device, its control method and its control program | |
| JP2009141475A (en) | camera | |
| JP2021105850A (en) | Image processing device and method, and imaging device | |
| JP4635742B2 (en) | Imaging apparatus and imaging program | |
| JP2009290255A (en) | Imaging apparatus, imaging apparatus control method and computer program | |
| JP2017192114A5 (en) | ||
| JP5448868B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| JP6210106B2 (en) | Imaging apparatus, image evaluation method, and program | |
| JP4894162B2 (en) | camera | |
| JP5383207B2 (en) | Information processing apparatus, control method, computer program, and storage medium | |
| JP2005176274A (en) | Imaging apparatus and imaging control method | |
| JP5293769B2 (en) | Imaging apparatus and program thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080627 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100712 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100720 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100921 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101026 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101108 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131203 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4635742 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131203 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |