JP4670939B2 - 撮像装置、撮像装置の表示制御方法 - Google Patents
撮像装置、撮像装置の表示制御方法 Download PDFInfo
- Publication number
- JP4670939B2 JP4670939B2 JP2008284293A JP2008284293A JP4670939B2 JP 4670939 B2 JP4670939 B2 JP 4670939B2 JP 2008284293 A JP2008284293 A JP 2008284293A JP 2008284293 A JP2008284293 A JP 2008284293A JP 4670939 B2 JP4670939 B2 JP 4670939B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- display panel
- display
- mode
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/02—Viewfinders
- G03B13/04—Viewfinders of direct vision type, e.g. frame, sighting mark
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/02—Viewfinders
- G03B13/10—Viewfinders adjusting viewfinders field
- G03B13/12—Viewfinders adjusting viewfinders field to compensate for change of camera lens or size of picture
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B19/00—Cameras
- G03B19/02—Still-picture cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
- H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Facsimiles In General (AREA)
Description
例えば上記特許文献1に示されているようにカメラ筐体上に比較的大きな面積で表示パネルが設けられ、撮像時には被写体画像のモニタリングが行われたり、撮像した画像の再生時には、再生表示が行われるようになされている。
即ち従来と同様、撮像装置筐体上で使用者(撮像者)方向に向かって表示を行うようにされた表示パネル部を設ける他、装置筐体上の前面側(被写体側となる面)などに、被写体方向に向かって表示を行うようにされた表示パネル部を設ける。
このように2つの表示パネル部を設けるようにした場合には、撮像に関する動作状態や状況に応じて、各表示パネルで適切な表示、即ち、見る人にとって有用な表示動作や無駄な消費電力を回避するような表示動作を実現することが求められる。
そこで本発明では、2つの表示パネル部を有する撮像装置において適切な表示を実現することを目的とする。
或いは、少なくとも上記撮像モードが動きのある被写体の撮像に用いられるモードであれば、上記第2表示パネル部で、上記撮像処理部で得られた撮像画像信号に基づく表示を低輝度状態で実行させる制御を行う制御部を備える。
或いは上記制御部は、上記撮像モードが動きのある被写体の撮像に用いられるモードであるときは、上記第2表示パネル部において、上記撮像処理部で得られた撮像画像信号に基づく表示を低輝度状態で実行させる制御を行う。
また記録媒体に記録された画像データを読み出す画像データ読出部をさらに備え、
上記制御部は、上記撮像モードが動きのある被写体の撮像に用いられるモードであるときは、上記第2表示パネル部に、上記画像データ読出部によって読み出した画像データに基づく表示を実行させる制御を行う。
また上記制御部は、上記撮像モードが動きのある被写体の撮像に用いられるモード以外で予め決められた所定の撮像モードであるときは、撮像装置の内部検出情報に基づいて、上記第2表示パネル部での上記撮像処理部で得られた撮像画像信号に基づく表示動作を制御する。
また上記撮像処理部で得られた撮像画像信号の画像解析を行う画像解析部をさらに備え、上記制御部は、上記撮像モードが動きのある被写体の撮像に用いられるモード以外で予め決められた所定の撮像モードであるときは、上記画像解析部による画像解析情報に基づいて、上記第2表示パネル部での上記撮像処理部で得られた撮像画像信号に基づく表示動作を制御する。
また上記画像解析部は、上記撮像処理部で得られた撮像画像信号の画像解析により、上記被写体方向に人物が存在するか否かを検出する。
また上記撮像モードを選択する操作部をさらに備えるようにする。
或いは、少なくとも上記撮像モードが動きのある被写体の撮像に用いられるモードであれば、上記第2表示パネル部で、上記撮像処理部で得られた撮像画像信号に基づく表示を低輝度状態で実行させる制御を行う。
本発明の場合、撮像モードによって、被写体方向に人物が存在する可能性を判定して、第2表示パネル部での表示を行うようにする。
例えば静止画撮像の際のモニタリング期間(静止画撮像のためのシャッタタイミングを狙っているとき)には、撮像装置の使用者(つまり撮像装置により静止画撮像を行おうとしている撮像者)は、第1表示パネル部で、被写体画像のモニタリングを行う。このモニタリング画像は、その期間に撮像素子部で得られる撮像画像信号であり、スルー画とも呼ばれる、被写体光景のリアルタイムの動画像である。撮像者は、これによって撮像される被写体画像を確認し、所望のタイミングでレリーズ操作(シャッタ操作)を行う。これは通常の撮像装置と同様である。
このモニタリング期間には、第2表示パネル部でも撮像画像信号に基づく表示、即ちスルー画としてのモニタリング画像を表示すると好適である。例えば被写体が人物である場合、その人物が、第2表示パネル部の表示を見て、撮されようとしている自分の表情やポーズなどを確認できるからである。
ところが、これはあくまで、被写体側に人物が居るときのみ有用となる。例えば撮像者が撮像モードとして風景モードを選択し、人のいない風景を撮像しようとしているときには、第2表示パネル部の表示を見る人物は存在しないと考えられる。従って、そのようなときに第2表示パネル部にモニタリング画像を表示しても意味がないことになる。そこで第2表示パネル部をオフにして省電を図ることが適切である。
例えばこのように、そのときの撮像モードから推定される状況に応じて第2表示パネル部の表示動作を適切に制御することで、2つの表示パネル部による有用な表示や娯楽性の高い表示、或いは2つの表示パネル部を装備してもむやみに消費電力が高くならないようにすること等を実現できる。
[1.撮像装置の構成]
[2.動作遷移]
[3.両表示パネル部の画面表示例]
[4.モニタリング時の前面表示パネル部の表示制御]
<4−1:撮像モードに基づく処理例>
<4−2:撮像モードとユーザ設定に基づく処理例>
<4−3:撮像モードと内部検出情報に基づく処理例>
<4−4:撮像モードと画像解析情報に基づく処理例>
[5.再生時の前面表示パネル部の表示制御]
[6.変形例]
本発明の実施の形態として、例えばデジタルスチルカメラとしての撮像装置の構成を図1,図2で説明する。
撮像装置1には、前面側に撮像レンズ部20、フラッシュ発光部15などが設けられる。
また、筐体上面や背面側などの各所にユーザ操作のための操作子が形成される。例えばレリーズ操作キー5a、ダイヤル操作部5b、ワイド/テレ操作キー5c、各種操作キー5d、十字キー5eなどが設けられる。
ダイヤル操作部5bは、例えば撮像モードの選択などに用いられる。操作キー5dとして、メニュー指示、再生指示、露出補正指示などの操作が可能とされる。
十字キー5eは、例えば表示パネル6に表示される操作メニュー項目の選択/決定を始めとして各種操作に用いられる。
この主表示パネル6Mと前面表示パネル6Fは、例えば同等の画面サイズとされ、それぞれ筐体背面及び筐体前面において比較的広い面積を占めるようにして設けられている。
主表示パネル6Mでは、基本的には、モニタリング期間(撮像モードでシャッタタイミングを狙っているとき)には、使用者が被写体のモニタリング画像(スルー画)の表示が行われ、撮像対象となっている被写体光景を使用者が確認できるようにしている。また再生モードでは、使用者の操作に従って、再生画像やサムネイル画像の表示が行われる。
一方、前面表示パネル6Fは、被写体側に向けて表示を行うことになる。後述するが、この前面表示パネル6Fでも、モニタリング画像等の表示を行い、被写体側となっている人物が表示内容を見ることができるようにされている。
図2に示すように撮像装置1は、撮像系2、制御系3、カメラDSP(Digital Signal Processor)4、操作部5、主表示パネル6M、前面表示パネル6F、表示コントローラ7、外部インターフェース8、SDRAM(Synchronous Dynamic Random Access Memory)9、媒体インターフェース10を備える。
レンズ機構部21は、上記図1(b)の撮像レンズ部20の内部構成であり、カバーレンズ、フォーカスレンズ、ズームレンズなどの複数の光学レンズ群を有する。またレンズ駆動部26は、フォーカスレンズやズームレンズを光軸方向に移送する移送機構とされる。レンズ駆動部26はレンズ駆動ドライバ17によって駆動電力が印加されフォーカスレンズやズームレンズを移送する。後述するCPU(Central Processing Unit)31はレンズ駆動ドライバ17を制御することで、焦点制御やズーム動作を実行させる。
絞り/ND駆動ドライバ18は、絞り機構の開閉により入射光量の調節を行う。また絞り/ND駆動ドライバ18は、NDフィルタを入射光の光軸上に対して出し入れすることで、入射光量の調節を行う。CPU31は、絞り/ND駆動ドライバ18を制御して絞り機構やNDフィルタを駆動させることで入射光量制御(露光調整制御)を行うことができる。
撮像素子部23は、結像される被写体像を光電変換し、被写体像に対応する撮像画像信号を出力する。
この撮像素子部23は、複数の画素から構成される矩形形状の撮像領域を有し、各画素に蓄積された電荷に対応するアナログ信号である画像信号を、画素単位で順次、アナログ信号処理部24に出力する。撮像素子部23としては、例えばCCD(Charge Coupled Device)センサアレイ、CMOS(Complementary Metal Oxide Semiconductor)センサアレイなどが用いられる。
A/D変換部25は、アナログ信号処理部24で処理されたアナログ信号をデジタル信号に変換し、カメラDSP4に供給する。
即ちタイミング生成回路28は、撮像素子部23の撮像動作タイミングを制御するために、露光/電荷読出のタイミング信号や、電子シャッタ機能としてのタイミング信号、転送クロック、フレームレートに応じた同期信号等を、撮像素子ドライバ19を介して撮像素子部23に供給する。またアナログ信号処理部24で、撮像素子部23での画像信号の転送に同期して処理が行われるように、上記各タイミング信号をアナログ信号処理部24にも供給する。
CPU31は、タイミング生成回路28により発生させる各タイミング信号の制御を行うことで、撮像画像のフレームレートの変更や、電子シャッタ制御(フレーム内の露光時間可変制御)を行うことができる。またCPU31は、例えばタイミング生成回路28を介してアナログ信号処理部24にゲイン制御信号を与えるようにすることで、撮像画像信号のゲイン可変制御を行うことができる。
フラッシュ発光部15は発光駆動部14によって発光駆動される。CPU31は、ユーザの操作その他による所定タイミングで、発光駆動部14にフラッシュ発光を指示し、フラッシュ発光部15を発光させることができる。
このカメラDSP4では、例えば図示のように画像信号処理部41,圧縮/解凍処理部42、SDRAMコントローラ43、画像解析部44等の処理機能が内部のハードウエア及びソフトウエアにより実現される。
また、撮像中のフォーカス制御としては、いわゆるウォブリングAFと呼ばれる検出方式が実行できる。CPU31は、撮像動作中に、常時フォーカスレンズの位置を微小に前後にゆらすように移動させながら、画像信号処理部41で検出されるコントラスト検出値を確認する。フォーカスレンズの最適位置は、当然、被写体の状況によって変動するが、フォーカスレンズを前後に微小変位させながらコントラスト検出を行うことで、被写体の変動に応じたフォーマット制御方向の変化を判定できる。これによって、被写体状況に追尾したオートフォーカスが実行できることになる。
なお、レンズ駆動部26における移送機構には、各移送位置毎にアドレスが割り当てられており、その移送位置アドレスによってレンズ位置が判別される。
レンズ位置検出部27は、フォーカスレンズの現在のレンズ位置としてのアドレスを判別することで、合焦状態となっている被写体までの距離を算出し、それを距離情報としてCPU31に供給することができる。これによってCPU31は、合焦状態としている主たる被写体までの距離を判別できる。
CPU31は、この露光量情報に基づいて、自動露光制御を行うことができる。即ち絞り機構、NDフィルタ、或いは撮像素子部23における電子シャッタ制御、アナログ信号処理部24へのゲイン制御により、露光調整を行うことができる。
本例の場合、画像解析部44は被写体画像に含まれている人物認識や顔認識の処理を行う。また人物の顔を認識した場合の、顔の向きや視線方向などの認識処理を行う場合もある。さらに画像解析部44は外光状況、撮像装置1と被写体の相対的な動きの大きさなど、画像解析によって認識可能な各種の情報を検出する場合もある。
RAM(Random Access Memory)32は、カメラDSP4で処理された撮像画像信号(各フレームの画像データ)の一時的な保存や、CPU31の各種処理に応じた情報が記憶される。
フラッシュROM33は、撮像画像としての(ユーザが静止画又は動画として撮像した)画像データの保存や、その他不揮発的に保存することが求められる情報の記憶に用いられる。撮像装置1の制御用ソフトウェアプログラム、カメラの設定データなどを記憶する場合もある。
時計回路34は、現在日時情報(年月日時分秒)を計数する。
なお、操作部5としては、操作子だけでなく、タッチパネル操作を可能な構成としてもよい。例えば主表示パネル6Mにタッチセンサを配し、画面表示に対するユーザのタッチ操作で、操作入力が行われるようにしてもよい。
主表示パネル6Mにおける表示動作としては、モニタリング表示(いわゆるスルー画表示)や、記録媒体90やフラッシュROMから読み出した再生画像表示、操作メニュー表示、各種アイコン表示、時刻表示などが行われる。
また前面表示パネル6Fにおける表示動作としては、モニタリング表示や、再生画像表示が行われる。
なお、ここでは記録媒体90として可搬性のメモリカードを例に挙げているが、撮像結果として残す静止画若しくは動画としての画像データを記録する記録媒体は他の種のものでもよい。例えば光ディスク等の可搬性ディスクメディアを用いるようにしても良いし、HDD(Hard Disk Drive)を搭載して記録するようにしてもよい。
また、有線伝送方式ではなく、赤外線伝送、近距離無線通信その他の無線伝送方式で外部インターフェース8を構成しても良い。
撮像装置1は、この外部インターフェース8を介して、パーソナルコンピュータその他各種機器とデータ送受信を行うことができる。例えば撮像画像データを外部機器に転送することができる。
上記したように人物検出を画像解析部44の画像解析処理により行うものとする場合は、この近接センサ50は設けなくてもよいし、或いは画像解析による人物検出と近接センサ50による検出を併用してもよい。
本例の撮像装置1の動作状態遷移について図3で説明する。ここでいう各動作状態とは、特に主表示パネル6Mの表示内容の観点からみた動作状態である。
撮像装置1の動作状態としては、ユーザの操作等に応じてモニタリング期間、記録期間、プレビュー期間、再生期間を遷移する。なお、実際には外部機器との通信を行う期間など他の動作状態もあるが、説明の簡略化のため省略する。
モニタリング期間とは、撮像系2による撮像を行うための動作期間である。ユーザが、通常に撮像装置1を用いて静止画撮像を行う場合、まずこのモニタリング動作が行われる。
このモニタリング期間は、主表示パネル6Mに被写体画像(スルー画)が表示される。
即ちCPU31は、モニタリング期間においては撮像系2、カメラDSP4にそれぞれ撮像時に必要な動作を実行させる。そしてカメラDSP4から供給されるフレーム毎の撮像画像データを例えばRAM32に取り込む。そしてこのフレーム毎の撮像画像データを表示コントローラ7に受け渡し、主表示パネル6Mにモニタリング表示を実行させる。後述するが、このときに前面表示パネル6Fにもモニタリング表示を実行させる場合もある。
このモニタリング期間において、ユーザは、この主表示パネル6Mの表示を見ながら、被写体を選択したり、シャッタータイミングを狙うこととなる。
CPU31は、このレリーズ操作のタイミングで撮像される1フレームの撮像画像データを、静止画データとして保存する処理を行う。即ちCPU31は当該タイミングで取り込んだ撮像画像データを媒体インターフェース10に転送し、記録媒体90に記録させる。
なおレリーズ操作に応じた記録動作としては、記録媒体90ではなく、フラッシュROM33において行うようにしてもよい。また、通常は記録媒体90に記録するが、記録媒体90が装填されていない場合はフラッシュROM33に記録するような動作方式でも良い。
この記録期間は、ユーザからみるとレリーズ操作直後の、時間的には一瞬の期間であり、その間、例えば主表示パネル6Mは何も表示されない状態などとなる。
例えば2秒〜数秒程度の期間がプレビュー期間とされ、CPU31はこの期間、記録した静止画像データを、主表示パネル6Mに表示させる制御を行う。
つまり、モニタリング期間、記録期間、プレビュー期間として、静止画撮像としての一連の動作が行われるものとなる。
なお、撮像装置1では動画撮像も可能であるが、動画の場合は記録期間が、その動画撮像の開始から終了までの期間、継続するものとなる。またプレビュー期間は設けられない。
再生期間には、撮像等によって記録媒体90やフラッシュROM33に記録された画像を再生する動作が行われる。
CPU31は、ユーザの操作に応じて、記録媒体90やフラッシュROM33に記録されている画像を読み出し、表示コントローラ7に指示して、主表示パネル6Mでサムネイル画像や1枚の再生画像を表示させる制御を行う。また前面表示パネル6Fで再生画像を表示させる場合もある。
本例の撮像装置1において主表示パネル6M、前面表示パネル6Fで行われる画面表示例を図4,図5で説明する。
図4(a)(b)(c)及び図5(a)は、モニタリング期間に行われる画面表示の例を示している。
図4(b)は、主表示パネル6Mにおいてモニタリング画像が表示されており、前面表示パネル6Fでも同じくモニタリング画像が表示されている状態を示している。
図4(c)は、主表示パネル6Mにおいてモニタリング画像が表示されており、前面表示パネル6Fでは、他の画像、例えば再生画像が表示されている状態を示している。再生画像とは、記録媒体90やフラッシュROM33に記録されている、過去に撮像した画像の再生画像としてもよいし、予め撮像装置1内に記憶された画像としてもよい。例えば前面表示パネル6Fにおいてモニタリング画像を表示しないときに表示させる画像データを用意してフラッシュROM33等に予めプリセット画像として記憶させておき、そのプリセット画像データを読み出して表示させるような例である。さらにはいわゆる撮像画像としての画像データに限られず、テキストデータ、アニメーションデータ、コンピュータグラフィックデータなどを記録媒体90やフラッシュROM33に記録させておき、これらを表示させるようにしてもよい。つまり再生画像とは、表示可能なあらゆる画像を含む。
図5(a)は、主表示パネル6Mでは表示をオフとし、前面表示パネル6Fではモニタリング画像を表示している例である。
図5(b)は、主表示パネル6Mにおいて再生画像のサムネイル画像による一覧表示が行われ、一方、前面表示パネル6Fでは、サムネイル画像の中でカーソルKによって選択中となっている再生画像が表示されている状態を示している。
図5(c)は、主表示パネル6Mにおいて1枚の再生画像の表示が行われ、前面表示パネル6Fでも、同じく再生画像が表示されている状態を示している。
再生期間の主表示パネル6M、前面表示パネル6Fの表示状態としては、これらの各例が考えられる。もちろん他の例も考えられる。
例えば主表示パネル6Mでは再生画像を表示し、前面表示パネル6Fではプリセット画像を表示することが考えられる。
また主表示パネル6Mでサムネイル画像の一覧表示を行いながら、前面表示パネル6Fでは、各再生画像の順次表示(スライドショウとしての表示)を行うことなども考えられる。
まずモニタリング期間には、モニタリング画像を表示する。またプレビュー期間では、撮像して記録した画像を一定時間表示する。
再生期間には、ユーザの操作等に応じて、サムネイル画像や、再生画像を表示する。
CPU31は、主表示パネル6Mについては、動作状態や操作に応じてこれらの表示を実行させるように制御する。
一方、前面表示パネル6Fについては、前面表示パネル6Fを見る者に対して有用な表示や面白みのある表示を実行したり、或いは無駄な表示の排除という観点から、CPU31が表示制御を行う。
以下では、前面表示パネル6Fについての表示制御例を各種説明していく。
<4−1:撮像モードに基づく処理例>
図6(a)は、モニタリング期間における前面表示パネル6Fについて、CPU31が実行する表示制御例を示している。
上述のようにモニタリング期間には、撮像系2,カメラDSP4の処理で得られるモニタリング画像が主表示パネル6Mにおいて表示される。即ちCPU31はモニタリング期間には、カメラDSP4から供給される撮像画像データをスルー画として主表示パネル6Mに表示させる制御を行っている。
このときに、前面表示パネル6Fについての表示制御を行うために、CPU31は主表示パネル6Mの表示制御と並行して図6(a)の処理を行う。
ここで撮像モードについて説明しておく。
撮像モードとは、夜景モード、夜景&人物モード、ポートレートモード、風景モード、ソフトスナップモード、スノーモード、ビーチモード、高速シャッターモード、高感度モード、スマイルシャッターモードなど、各種の状況で適切な状態で撮像を行うことができるようにユーザが選択するモードである。
これらの撮像モードとしては、それぞれ適切なシャッタ速度、露出設定、撮像画像信号に対する信号ゲイン設定、エッジ強調や色処理等の信号処理設定などが予め決められており、例えば図1に示したダイヤル操作部5bの操作により、ユーザが選択できる。
夜景&人物モードは、バックの夜景と人物の表情をそれぞれ鮮明に撮像できるようにした設定で撮像が行われる撮像モードである。
ポートレートモードは、人物撮像に適した設定で撮像が行われる撮像モードである。
風景モードは、風景撮像に適した設定で撮像が行われる撮像モードである。
ソフトスナップモードは、人物の肌の質感を明るく柔らかな印象とする設定で撮像されるようにした撮像モードである。
高速シャッターモードは、動きのある被写体に適した設定で撮像が行われる撮像モードである。
高感度モードは、暗いシーンもフラッシュを使わずに自然な雰囲気で撮像が行われる撮像モードである。
スマイルシャッターモードは、被写体人物が笑顔になると、自動でシャッター処理(レリーズ)が行われる撮像モードである。
これらの撮像状況に適した撮像処理を行うための撮像モードがユーザによって選択されるが、CPU31は、モニタリング期間から記録期間までの静止画撮像の過程においては、撮像モード設定に応じて撮像処理制御を行う。即ちダイヤル操作部5bの操作によって選択された撮像モードに応じて、撮像系2やカメラDSP4に各種パラメータ指示を行う。例えば上記したシャッタ速度、露出設定、信号処理設定等の指示である。
CPU31は、上記の各種の撮像モードのうちで、現在の撮像モードが、前面表示パネル6Fにおけるモニタリング画像の表示に適した所定の撮像モードであれば、処理をステップF102に進め、前面表示パネル6Fでモニタリング画像表示を実行させる。即ち、主表示パネル6Mに表示させているモニタリング画像を、前面表示パネル6Fにおいても表示させるように表示コントローラ7に指示する。この場合、主表示パネル6Mと前面表示パネル6Fの表示状態は図4(b)のような状態となる。
この場合、主表示パネル6Mと前面表示パネル6Fの表示状態は図4(a)のような状態となる。
モニタリング期間が終了するのは、例えばレリーズ操作が行われて記録動作に移行する場合、或いは再生操作が行われて再生動作に移行する場合、或いは撮像装置1の電源オフ操作が行われて電源オフ処理を行う場合などである。これらによりモニタリング期間が終了するまで、CPU31は図6(a)の処理を繰り返し実行することになる。
従ってモニタリング期間中においては、撮像モードとして所定の撮像モードが選択されている場合は、図4(b)のように前面表示パネル6Fにモニタリング画像が表示され、所定の撮像モードが選択されていない場合は図4(a)のように前面表示パネル6Fはオフとされる。
これらの撮像モードは、人物の撮像を目的とする場合に選択されるものであり、従って、被写体として人物が含まれる可能性が高い。つまり、前面表示パネル6Fの表示を見ることのできる人物が被写体として存在する可能性が高い。
そこでCPU31は、撮像モードが、夜景&人物モード、ポートレートモード、ソフトスナップモード、スマイルシャッターモードのいずれかであれば、ステップF102で前面表示パネル6Fでモニタリング画像を表示させるようにする。
例えば夜景モード、風景モードは、風景撮像を目的とするもので、被写体に人物が存在しないか、或いは存在したとしても、画像内の中心的な存在ではないと推定できる。また夜景モードや高感度モードの場合は、もし前方に人物が居たとしても、暗い風景を撮像している際のモニタリング画像は、前面表示パネル6Fに表示させたとしても、当該前方の人物からは視認性が悪い。
また高速シャッターモードの被写体は動きのある被写体となる。例えば人が被写体であったとしても、その人はスポーツ競技中、ダンス中などの状況にあり、落ち着いて前面表示パネル6Fを見る状況ではない。
つまり、これらの撮像モードの場合、前方に人が居ないか、或いは人物が居たとして前面表示パネル6Fが視認性よく表示される状況でない、或いは前面表示パネル6Fを見る状況でないと推定される。
そこでCPU31は撮像モードが夜景モード、風景モード、高速シャッターモード、高感度モードのいずれかの場合は、ステップF103で前面表示パネル6Fをオフとする。
これらの場合も、それぞれ人物の存在、前面表示パネル6Fの表示内容の視認性、被写体側の人物の状況に応じて、ステップF101でどのように判断すべきか(前面表示パネル6Fの表示を行うべき所定の撮像モードに含まれるか否か)を予め設定しておけばよい。
そして、前方に前面表示パネル6Fでモニタリング画像を見ることになる人が居る可能性が大きい、かつ、視認性良く見ることのできる状況である可能性が高いという場合に、前面表示パネル6Fでモニタリング画像が表示される。
一方、前方に前面表示パネル6Fを見る人が居ない可能性が大きい場合や、人が居たとしても視認性良く見ることができないる状況と推定される場合には前面表示パネル6Fがオフされる。
このため被写体の人物は、自分が撮されようとしているモニタリング画像を見て、自分の表情やポーズなどを確認できることになる。例えば写真として好ましい表情であるか否かなどを自分で確認できるなど、前面表示パネル6Fの表示を有効に利用できる。
一方、ユーザが夜景モード、風景モード、高速シャッターモード、高感度モードを選択して撮像を行う場合は、前面表示パネル6Fの表示をオフとする(例えば前面表示パネル6Fのみを電源オフ状態とする)ことで、消費電力の節減を図ることができる。つまり誰も見ていない無駄な表示、或いは視認性の悪い無駄な表示は行わないということである。
図6(a)と同様に、CPU31はステップF101で現在の撮像モードにより処理を分岐する。
CPU31は、夜景&人物モード、ポートレートモード、ソフトスナップモード、スマイルシャッターモードなど、所定の撮像モードが選択されている場合は、ステップF102Aに進み、前面表示パネル6Fにおいて表示輝度を上昇させた状態で、モニタリング画像を表示するように表示コントローラ7に指示する。
またCPU31は、現在、上記所定の撮像モード以外の撮像モードである場合は、ステップF103Aに進み、前面表示パネル6Fにおいて表示輝度を低下させた状態で、モニタリング画像を表示するように表示コントローラ7に指示する。
図6(a)と同様に、CPU31はステップF101で現在の撮像モードにより処理を分岐する。
CPU31は、夜景&人物モード、ポートレートモード、ソフトスナップモード、スマイルシャッターモードなど、所定の撮像モードが選択されている場合は、ステップF102に進み、前面表示パネル6Fにおいてモニタリング画像を表示するように表示コントローラ7に指示する。
またCPU31は、上記所定の撮像モード以外の撮像モードである場合は、ステップF104に進み、記録媒体90等に記録された画像データやプリセット画像データなどを読み出す処理を行う。例えばCPU31は媒体インターフェース10に指示して、記録媒体90からの画像データ(撮像画像データその他)の再生を実行させる。或いはCPU31はフラッシュROM33から、プリセット画像データや撮像画像データの読み出しを実行する。そしてCPU31は、その読み出された画像データを前面表示パネル6Fにおいて表示するように表示コントローラ7に指示する。つまり図4(c)のように、モニタリング画像とは異なる画像表示を前面表示パネル6Fにおいて実行させる。
一方、前方に人がいない、或いは視認性が悪く表示を見ることのできる状況ではないと推定されるときは、図4(c)のように前面表示パネル6Fに無関係な画像が表示される。被写体となっている人物がいないとしても、そばに人がいる状況は多々ある。また人の位置によっては前面表示パネル6Fの表示を見やすい状況である場合もある。
それらの周囲に居る人にとっては、前面表示パネル6Fでの表示が撮像装置1の外観デザインの一部として認識され、興味深いものとなる。
またこのような場合に前面表示パネル6Fに表示させる画像をユーザが選択できるようにすることで、ユーザが自分の撮像装置1の外観を自由に設定できるものとなり、カメラ使用上の楽しみを広げることができる。
なお、記録媒体90から読み出して表示する画像データとしては、テキストデータやアニメーションデータなどとされる場合もあり得る。
撮像モードが自分撮りモードの場合は、CPU31はステップF152に進み、主表示パネル6Mの表示をオフとする処理を行う。
そしてステップF153で前面表示パネル6Fでモニタリング画像を表示させる制御を行う。
そして所定の撮像モードの場合は、ステップF153に進み、前面表示パネル6Fにおいてモニタリング画像を表示するように表示コントローラ7に指示する。
またCPU31は、上記所定の撮像モード以外の撮像モードである場合は、ステップF155に進み、前面表示パネル6Fの表示をオフに制御する。
自分撮りモードの場合は、ユーザが撮像装置1を自分の方に向けて撮像操作を行うことになるため、主表示パネル6Mを見ることはできない。従って、前面表示パネル6Fでモニタリング画像を見ることで、被写体を確認できるようにする。そして主表示パネル6Mはオフとすることで、消費電力の削減を図る。
上記図6〜図8では、撮像モードによって前面表示パネル6Fの表示状態を制御する例を述べたが、ここでは、撮像モードに加えて、撮像装置1に対する他のユーザ設定の状態も考慮して、前面表示パネル6Fの表示制御を行う例を説明する。
撮像モードもユーザ設定の1つであるが、ここでいうユーザ設定とは、例えばフラッシュ発光設定、ズーム位置操作など、撮像モード設定以外のユーザの操作に応じた設定状態のこととする。
モニタリング期間には、撮像系2,カメラDSP4の処理で得られるモニタリング画像が主表示パネル6Mにおいて表示される。つまりCPU31はモニタリング期間に、カメラDSP4から供給される撮像画像データをスルー画として主表示パネル6Mに表示させる制御を行っている。
このときに、前面表示パネル6Fについての表示制御を行うために、CPU31は並行して図9の処理を行う。
そしてユーザ設定が前面表示パネル6Fにおけるモニタリング画像の表示に適した設定状態であると判定した場合は、処理をステップF203に進め、前面表示パネル6Fでモニタリング画像表示を実行させる。即ち、主表示パネル6Mに表示させているモニタリング画像を、前面表示パネル6Fにおいても表示させるように表示コントローラ7に指示する。この場合、主表示パネル6Mと前面表示パネル6Fの表示状態は図4(b)のような状態となる。
またCPU31はステップF202で、撮像モード以外のユーザ設定が前面表示パネル6Fにおけるモニタリング画像の表示に適した設定状態でないと判定した場合も、処理をステップF204に進め、前面表示パネル6Fの表示をオフに制御する。
これらの場合、主表示パネル6Mと前面表示パネル6Fの表示状態は図4(a)のような状態となる。
従ってモニタリング期間中において、所定の撮像モードが選択され、かつ、その時点でユーザ設定状態が所定の状態であるときは、図4(b)のように前面表示パネル6Fにモニタリング画像が表示される。
一方、風景モード等として、基本的には人物を含まない被写体光景を狙っているときや、或いはポートレートモード等の所定の撮像モードではあったとしても、ユーザ設定状態が所定の状態でないときは、図4(a)のように前面表示パネル6Fはオフとされる。
ユーザ設定のうちのフラッシュ発光設定については、次のように考える。フラッシュ発光設定とは、フラッシュ発光を実行させる(フラッシュ:オン)か、させないか(フラッシュ:オフ)、或いは自動制御でフラッシュオン/オフを行う(フラッシュ:オート)かをユーザが選択する設定である。
この場合、ユーザがフラッシュ:オンに設定とする場合は、周囲が暗い状況であることが通常である。
暗い状況の場合、モニタリング期間のモニタリング画像も輝度の低い状態となり、前面表示パネル6Fの表示の視認性は良くないと考えられる。
そこで、フラッシュ発光設定については、「フラッシュ:オン」とされている場合は、CPU31はステップF204に進み、前面表示パネル6Fの表示をオフに制御するようにする。
例えば人物を被写体としていたとしても、ズーム位置が所定以上にテレ側(望遠)にあるときは、その被写体人物は撮像装置1よりかなり離れた位置に居ると推定できる。当然、あまり遠ければ、その人物は、前面表示パネル6Fの表示を適切に見ることができない。
そこでCPU31はステップF202において、ユーザの操作によるズーム位置が、所定以上の望遠状態の位置である場合は、ステップF204に進むものとし、前面表示パネル6Fの表示をオフに制御する。
つまり図9の処理によれば、前面表示パネル6Fを見ることのできる人物の存在や、表示の視認性が良いと推定される場合は、被写体側の人物は写されようとしている自分の画像をモニタリングできる。
このため被写体の人物は、前面表示パネル6Fにより自分が撮されようとしているモニタリング画像を見て、自分の表情やポーズなどを確認できることになる。
一方、前方に人がいない、或いは視認性が悪く表示を見ることのできる状況ではないと推定されるときは、前面表示パネル6Fの表示をオフとする(例えば前面表示パネル6Fのみを電源オフ状態とする)。これにより、より適切に消費電力の節減を図ることができる。
またユーザ設定としては、上記した以外に、感度設定、露光設定、手ブレ補正オン/オフ設定、特殊撮像設定などが想定される。これらのそれぞれについても、被写体人物が適切に前面表示パネル6Fの表示を見るという行為について適切な状況が推定されるか否かにより、ステップF202の判断に反映させることが考えられる。
また図9の処理例に準じた変形例として、ステップF204では、前面表示パネル6Fの表示をオフとする以外に、図6(b)で述べたように低輝度状態の表示としたり、図7で述べたような再生画像やプリセット画像を表示させるような処理例も考えられる。
続いて、撮像モードに加えて、撮像装置1が内部的に検出するカメラ検出情報(内部検出情報)も考慮して、前面表示パネル6Fの表示制御を行う例を説明する。
ここでいうカメラ検出情報とは、撮像装置1の内部センサで検出される情報や、撮像装置1の動作制御に伴ってCPU31が認識できる情報などである。例えばフラッシュ制御や露光制御に用いる外光光量検出情報、ズーム位置情報、フォーカス情報、手ブレ検出情報、被写体距離情報などである。
モニタリング期間には、CPU31は、カメラDSP4から供給される撮像画像データをスルー画として主表示パネル6Mに表示させる制御を行っているが、これと並行して、前面表示パネル6Fについての表示制御を行うために図10の処理を行う。
そしてカメラ検出情報から、現在は前面表示パネル6Fにおけるモニタリング画像の表示に適した状態であると判定した場合は、CPU31は処理をステップF303に進め、前面表示パネル6Fでモニタリング画像表示を実行させる。即ち、主表示パネル6Mに表示させているモニタリング画像を、前面表示パネル6Fにおいても表示させるように表示コントローラ7に指示する。この場合、主表示パネル6Mと前面表示パネル6Fの表示状態は図4(b)のような状態となる。
また、CPU31は、ステップF302で、カメラ検出情報から、現在は前面表示パネル6Fにおけるモニタリング画像の表示に適した状態でないと判定した場合も、処理をステップF304に進め、前面表示パネル6Fの表示をオフに制御する。
これらの場合、主表示パネル6Mと前面表示パネル6Fの表示状態は図4(a)のような状態となる。
従ってモニタリング期間中に、使用者が、所定の撮像モードを選択し、かつ、その時点でカメラ検出情報によって認識される状態が所定の状態であるときは、図4(b)のように前面表示パネル6Fにモニタリング画像が表示される。
一方、風景モード等、上記所定の撮像モード以外の撮像モードを選択しているときや、上記所定の撮像モードを選択していたとしても、カメラ検出情報によって認識される状態が所定の状態でないときは、図4(a)のように前面表示パネル6Fはオフとされる。
また、図2にには示していないが、外光光量センサ等を設けて直接的に外光光量を検出するようにしてもよい。
これらの手法で検出される外光光量が低い場合は、前面表示パネル6Fでモニタリング画像表示を行っても、画像自体の輝度が低く、良好な視認性が得られない状況であると推定できる。また、いわゆる逆光状態など、あまりに外光光量レベルが高い場合も、前面表示パネル6Fでのモニタリング表示は良好に視認できないと推定できる。
そこでCPU31は、所定の撮像モードが選択されている場合であっても、外光光量が所定レベルより低い場合や逆光状態と判定されるような場合は、前面表示パネル6Fでモニタリング画像表示に適切な状況ではないとし、ステップF302からF304に進み、前面表示パネル6Fの表示をオフに制御する。
そこでCPU31はステップF302において、ズーム位置が所定以上の望遠状態の位置である場合は、ステップF304に進むものとし、前面表示パネル6Fの表示をオフに制御する。
例えば人物を被写体としていたとしても、被写体距離情報により、その被写体人物が撮像装置1よりかなり離れた位置に居ると判別できる場合は、被写体人物は、前面表示パネル6Fの表示を適切に見ることができないと推定できる。
そこでCPU31はステップF302において、被写体距離情報により、被写体が所定以上の遠い位置にあると検出される場合は、ステップF304に進むものとし、前面表示パネル6Fの表示をオフに制御する。
CPU31は、合焦状態でない場合は、適切なモニタリング画像表示が実行できないとして、ステップF302からステップF304に進み、前面表示パネル6Fの表示をオフに制御することが考えられる。つまり合焦状態となっている場合のみに前面表示パネル6Fでモニタリング表示を実行させるようにする。
手ブレが大きい場合、或いはユーザが動きのある被写体に追従するなどして撮像装置1を動かしている場合などは、前面表示パネル6Fでのモニタリング画像は適正に視認できない。そこでCPU31はステップF302において、ブレ検出情報により、ブレや撮像装置1の動きが大きいと判断される場合は、ステップF304に進み、前面表示パネル6Fの表示をオフに制御することが考えられる。
つまり図10の処理によれば、所定の撮像モードが選択され、かつカメラ検出情報から前面表示パネル6Fでモニタリング画像表示に適した所定の状態が判定されるときにおいて、前面表示パネル6Fでモニタリング画像が表示される。
このため被写体の人物は、前面表示パネル6Fにより自分が撮されようとしているモニタリング画像を見て、自分の表情やポーズなどを確認できることになる。
また撮像モードやカメラ検出情報によって、前面表示パネル6Fでモニタリング画像表示に適した状況ではないと推定される場合は、前面表示パネル6Fの表示をオフとする。これにより、より適切に消費電力の節減を図ることができる。
続いて、撮像モードに加えて、画像解析情報も考慮して、前面表示パネル6Fの表示制御を行う例を説明する。画像解析情報とは、画像解析部44が実行する画像解析処理によって得られる情報である。
上述のようにモニタリング期間には、撮像系2,カメラDSP4の処理で得られるモニタリング画像が主表示パネル6Mにおいて表示される。即ちCPU31はモニタリング期間には、カメラDSP4から供給される撮像画像データをスルー画として主表示パネル6Mに表示させる制御を行っている。
このときに、前面表示パネル6Fについての表示制御を行うために、CPU31は主表示パネル6Mの表示制御と並行して図11の処理を行う。
画像解析部44では、モニタリング期間において、撮像系2で撮像され、カメラDSP4に取り込まれた撮像画像データについての画像解析処理を行っている。例えば画像信号処理部41で処理された各フレームの画像データについて、或いは間欠的にフレームを抽出して、画像解析処理を行う。そして、解析対象とした撮像画像データ内に、人物と認識できる画像が含まれているか否かを判定する。即ち人物と認識できる輪郭部分が画像内に含まれるか否かを判定する。そして、その判定結果をCPU31に供給する。ステップF402でCPU31は、その判定結果として、人物の存在が認識されたか否かを確認することになる。
この場合、主表示パネル6Mと前面表示パネル6Fの表示状態は図4(b)のような状態となる。
また、CPU31は、ステップF402での画像解析結果確認により、人物は存在しないと確認した場合は、処理をステップF403からF405に進め、前面表示パネル6Fの表示をオフに制御する。
この場合、主表示パネル6Mと前面表示パネル6Fの表示状態は図4(a)のような状態となる。
従ってモニタリング期間中に、使用者が、所定の撮像モードを選択し、かつ、人物が被写体となるように撮像装置1を向けているときには、前面表示パネル6Fにモニタリング画像が表示される。
また所定の撮像モードを以外の撮像モードを選択している場合や、所定の撮像モードが選択されていたとしても、風景等、人物を含まない被写体光景を狙っているときには、前面表示パネル6Fはオフとされる。なお所定の撮像モードが選択されている場合には、被写体に人物が含まれることとなった時点で、前面表示パネル6Fにモニタリング画像が表示されることになる。
人物が被写体となるときは、その被写体の人物は、前面表示パネル6Fを見ることができる。また撮像モードが所定の撮像モードであることで、視認性は良い状況であると推定される。
このため、被写体の人物は自分が撮されようとしているモニタリング画像を見て、自分の表情やポーズなどを確認できることになる。例えば写真として好ましい表情であるか否かなどを自分で確認できるなど、前面表示パネル6Fの表示を有効に利用できる。
一方、被写体として人物が存在しない場合は、前面表示パネル6Fを見る人がいないと判断できる。従って、前面表示パネル6Fの表示をオフとする(例えば前面表示パネル6Fのみを電源オフ状態とする)ことで、消費電力の節減を図ることができる。つまり誰も見ていない無駄な表示は行わないということである。
また後述する図12〜図14の各処理例では、画像解析により顔検出を行うことで、前方の人物の存在有無を判定するものとして説明するが、近接センサ50を利用した変形例は図12〜図14の場合もそれぞれ同様に考えられる。
例えば画像解析部44においては、撮像画像データにおいて、顔と認識できる輪郭や、目、鼻、口等の顔の要素の存在を判定し、撮像画像データに被写体としての人物の「顔」が含まれているか否かを判定する。
なお、図12のステップF401,F402,F404,F405は図11と同様である。CPU31は、ステップF402で画像解析部44の画像解析結果を確認し、「顔」が存在するか否かを判別する。そして「顔」が検出されていればステップF403AからF404に進んで、前面表示パネル6Fでモニタリング画像表示を実行させ、一方「顔」が検出されていなければステップF403AからF405に進んで、前面表示パネル6Fをオフとする。
このように、人物の身体の全体の判定ではなく、顔の判定により、前方の人物の存在を確認しても良い。
画像解析部44での画像解析処理によっては、人物認識や顔認識以外でも各種の画像認識結果を得ることができる。例えば外光光量の判定情報を得ることができる。またフレーム比較での動き検出や画素毎のぼけ量の解析などで、撮像装置1と被写体の相対的な動きの量を判定することもできる。
さらに顔画像が検出された場合の画像認識処理として、画面内での顔のサイズ(1フレームの画像内に占める顔部分の割合)や、顔の向き、視線の向きなどを解析結果として得ることもできる。
ここでは、これらのようにより多様な画像解析結果を用いる場合を述べる。
なお、ステップF401,F402,F403A,F404,F405は図12と同様としている。
但し本例では、画像解析部44は、顔の存在の検出だけでなく、上記したように他にも各種の画像認識処理を行い、CPU31はそれらの解析結果情報を確認する。
そして、人物の「顔」が検出されていればステップF403AからF405に進んで前面表示パネル6Fの表示をオフとする制御を行う。
即ちCPU31は、顔以外の画像解析結果を確認し、前面表示パネル6Fにおけるモニタリング画像の表示に適した状態であるか否かを判断する。
CPU31は、各種の画像解析結果から、現在は前面表示パネル6Fにおけるモニタリング画像の表示に適した状態であると判定した場合は、処理をステップF404に進め、前面表示パネル6Fでモニタリング画像表示を実行させる。即ち、主表示パネル6Mに表示させているモニタリング画像を、前面表示パネル6Fにおいても表示させるように表示コントローラ7に指示する。この場合、主表示パネル6Mと前面表示パネル6Fの表示状態は図4(b)のような状態となる。
ステップF401,F403A、又はF410からステップF405に進んだ場合、主表示パネル6Mと前面表示パネル6Fの表示状態は図4(a)のような状態となる。
従ってモニタリング期間中に、使用者が、所定の撮像モードを選択し、人物の顔が被写体に含まれるように撮像装置1を向けており、かつ、その時点で各種の画像解析結果によって認識される状態が所定の状態であるときは、前面表示パネル6Fにモニタリング画像が表示される。
一方、撮像モードが上記所定の撮像モードでない場合や、所定の撮像モードであっても被写体に人物(顔)が含まれていない場合、さらには、所定の撮像モードであって被写体に顔が含まれているが、各種の画像解析結果によって認識される状態が所定の状態でないときは、前面表示パネル6Fはオフとされる。
画像解析結果として、外光光量が判定できる。上述のカメラ検出情報としても説明したが、外光光量が低い場合や、逆光状態など極端に高い場合は、前面表示パネル6Fでのモニタリング表示は良好に視認できないと推定できる。
そこでCPU31は、所定の撮像モードにおいて顔検出がなされた場合であっても、外光光量が所定レベルより低い場合や逆光状態と判定されるような場合は、前面表示パネル6Fでモニタリング画像表示に適切な状況ではないとする。つまりステップF405で前面表示パネル6Fの表示をオフに制御する。
これらの場合において動きの量が大きいときは、被写体となっている人物が居たとしても適切に前面表示パネル6Fを視認できないと考えられる。
そこでCPU31はステップF410において、撮像装置1と被写体の相対的な動きが大きいと判断される場合は、ステップF405に進み、前面表示パネル6Fの表示をオフに制御することが考えられる。
ズーム位置状態にもよるが、或る一定のズーム状態を考えれば、顔の大きさは、撮像装置1からの被写体となっている人物までの距離を判定する指標の1つとなる。
例えばズーム状態がワイド状態であっても顔が小さく撮されている場合は、その人物は遠くに居ると推定できる。
そこでCPU31はステップF410において、ズーム位置を考慮して、顔の大きさにより被写体人物の遠近を判断する。そして、その人物は遠くに居て前面表示パネル6Fの表示内容を見ることができないと判定する場合、ステップF405で前面表示パネル6Fの表示をオフに制御することが考えられる。
撮像画像上で顔が正面方向でない場合、或いは視線が正面方向でない場合は、その被写体人物は撮像装置1を見ていないこととなる。つまり前面表示パネル6Fを見ていないと判断できる。
そこでCPU31はステップF410において、顔の向き、或いは視線方向を確認する。そして、その人物が前面表示パネル6Fの表示内容を見ていないと判定する場合、ステップF405で前面表示パネル6Fの表示をオフに制御することが考えられる。
つまり図13の処理によれば、所定の撮像モードにおいて、顔検出がされ、かつ他の画像解析結果から所定の状態であるとき前面表示パネル6Fでモニタリング画像が表示される。これは、被写体として前方に人物が存在し、撮像モードから推定される状況として適切であり、及び画像解析結果から被写体側の人物が適切にモニタリング画像を視認できる(或いは視認している)と考えられる状況において、前面表示パネル6Fでモニタリング画像が表示されることになる。
従って、被写体の人物が前面表示パネル6Fの表示を見るという蓋然性が非常に高い状況で前面表示パネル6Fのモニタリング画像表示が行われる。
また被写体として人物が存在しない場合や、視認性が悪い状況、或いは人物が存在したとしても前面表示パネル6Fでモニタリング画像表示を行っても意味がない(見ていない又は見ることができない)とされる場合は、前面表示パネル6Fの表示をオフとする。これにより、より適切に消費電力の節減を図ることができる。
図14におけるステップF420〜F422以外は、図13と同様である。なお、図13ではユーザのレリーズ操作(撮像期間への移行のトリガ)については示していないが、図14では撮像期間への移行する処理までをステップF420〜F422として示しているものである。
そこで、撮像モード、被写体人物の存在、及び他の解析結果に応じて前面表示パネル6Fでモニタリング表示を行っている際に、CPU31はステップF420で被写体人物の表情判定の結果を確認する。
そして表情判定として、笑顔の状態が画像解析結果として得られた場合は、自動的にステップF422に進んでCPU31はレリーズ処理、即ちその時点の撮像画像データの記録処理を行う。
なお、ユーザが手動でレリーズ操作を行った場合には、ステップF421からF422に進んでレリーズ処理を行うことになる。
また図12〜図14の処理例では、画像解析による顔検出によって、前面側に前面表示パネル6Fを視認可能な人物が居るか否かを判定したが、顔検出ではなく、人物検出(画像内での人物の身体の検出)によるものとしてもよい。また近接センサ50による検出結果を用いても良い。
ここまで説明してきた各処理例は、モニタリング期間における前面表示パネル6Fの制御処理例としたが、ここでは再生期間における前面表示パネル6Fの表示制御の例を述べる。
CPU31は、ユーザの操作に応じて、記録媒体90やフラッシュROM33に記録されている画像を読み出し、表示コントローラ7に指示して、主表示パネル6Mでサムネイル画像や1枚の再生画像を表示させる制御を行う。
このときに、前面表示パネル6Fに関しては、CPU31は図15の処理を行う。
CPU31は、両画面表示を行う表示モードでなければ、処理をステップF501からF505に進め、前面表示パネル6Fをオフとする制御を行う。つまり主表示パネル6Mのみで再生画像表示を行うことになる。
現在、主表示パネル6Mにおいて1枚の再生画像を表示させているのであれば、CPU31は処理をステップF503に進め、前面表示パネル6Fにも、その同じ再生画像データを表示させるように表示コントローラ7に指示する。この場合、主表示パネル6Mと前面表示パネル6Fの表示状態は図5(c)のような状態となる。
一方、現在、主表示パネル6Mにおいてサムネイル一覧表示を実行させているのであれば、CPU31は処理をステップF504に進める。この場合、前面表示パネル6Fには、サムネイル一覧表示上でカーソルKで選択中となっている再生画像データを表示させるように表示コントローラ7に指示する。この場合、主表示パネル6Mと前面表示パネル6Fの表示状態は図5(b)のような状態となる。
る。
また図5(b)のように主表示パネル6Mでサムネイル一覧表示を行っている場合は、撮像装置1のユーザがカーソルKを移動させていくことで、前面表示パネル6F側で、選択した再生画像を前面側に居る人物に見せることができる。
以上、実施の形態としての各種の処理例や変形例を説明してきたが、本発明の実施の形態としてはさらに多様な変形例が考えられる。
例えば撮像モードと、ユーザ設定状態と、カメラ検出情報とによって、前面表示パネル6Fの表示制御を行う例が考えられる。
また、撮像モードと、ユーザ設定状態と、画像解析結果とによって、前面表示パネル6Fの表示制御を行う例が考えられる。
また、撮像モードと、カメラ検出情報と、画像解析結果とによって、前面表示パネル6Fの表示制御を行う例が考えられる。
また、撮像モードと、ユーザ設定状態と、カメラ検出情報と、画像解析結果とによって、前面表示パネル6Fの表示制御を行う例が考えられる。
撮像モードとしてオートモードが用意される場合は、例えばオートモードは、前面表示パネル6Fの表示に適した所定の撮像モードの1つとすることが考えられる。そして図9〜図14のような処理を適用し、カメラ検出情報、ユーザ設定情報、画像解析結果に応じて、前面表示パネル6Fの表示状態を制御することとすればよい。
動画撮像の場合は、上記モニタリング期間が、撮像開始までのスタンバイ期間に相当する。そして上記記録期間が、記録開始から記録終了までの動画記録期間となる。
従って、スタンバイ期間や記録期間において、前面表示パネル6Fの動画表示制御を行うようにする。
静止画及び動画の両方を撮像可能な撮像装置1であれば、撮像モードの1つとして動画モードが用意される。この動画モードは、前面表示パネル6Fの表示に適した所定の撮像モードの1つとする。そしてスタンバイ期間や記録期間において、図9〜図14のような処理を適用し、カメラ検出情報、ユーザ設定情報、画像解析結果に応じて、前面表示パネル6Fの表示状態を制御することとすればよい。
Claims (11)
- 装置筐体上で使用者方向に向かって表示を行う第1表示パネル部と、
装置筐体上で被写体方向に向かって表示を行う第2表示パネル部と、
上記被写体方向からの入射光を光電変換し、撮像画像信号を得る撮像処理部と、
撮像モード設定に応じて撮像処理制御を行い、表示処理制御として、上記撮像処理部で得られた撮像画像信号に基づく表示を上記第1表示パネル部で実行させると共に、少なくとも上記撮像モードが動きのある被写体の撮像に用いられるモードであれば、上記第2表示パネル部での、上記撮像処理部で得られた撮像画像信号の表示を実行しないように制御する制御部と、
を備えた撮像装置。 - 上記制御部は、上記撮像処理部で得られた撮像画像信号の表示を実行しないようにする制御として、上記第2表示パネル部の表示をオフとする制御を行う請求項1に記載の撮像装置。
- 記録媒体に記録された画像データを読み出す画像データ読出部をさらに備え、
上記制御部は、上記撮像処理部で得られた撮像画像信号の表示を実行しないようにする制御として、上記第2表示パネル部に、上記画像データ読出部によって読み出した画像データに基づく表示を実行させる制御を行う請求項1に記載の撮像装置。 - 上記制御部は、
上記撮像モードが動きのある被写体の撮像に用いられるモード以外で予め決められた所定の撮像モードであるときは、
上記撮像モード以外の、撮像装置の動作に関する使用者の操作に応じた設定状態に基づいて、上記第2表示パネル部での上記撮像処理部で得られた撮像画像信号に基づく表示動作を制御する請求項1に記載の撮像装置。 - 上記制御部は、
上記撮像モードが動きのある被写体の撮像に用いられるモード以外で予め決められた所定の撮像モードであるときは、
撮像装置の内部検出情報に基づいて、上記第2表示パネル部での上記撮像処理部で得られた撮像画像信号に基づく表示動作を制御する請求項1に記載の撮像装置。 - 上記撮像処理部で得られた撮像画像信号の画像解析を行う画像解析部をさらに備え、
上記制御部は、
上記撮像モードが動きのある被写体の撮像に用いられるモード以外で予め決められた所定の撮像モードであるときは、
上記画像解析部による画像解析情報に基づいて、上記第2表示パネル部での上記撮像処理部で得られた撮像画像信号に基づく表示動作を制御する請求項1に記載の撮像装置。 - 上記画像解析部は、上記撮像処理部で得られた撮像画像信号の画像解析により、上記被写体方向に人物が存在するか否かを検出する請求項6に記載の撮像装置。
- 上記撮像モードを選択する操作部をさらに備えた請求項1に記載の撮像装置。
- 装置筐体上で使用者方向に向かって表示を行う第1表示パネル部と、
装置筐体上で被写体方向に向かって表示を行う第2表示パネル部と、
上記被写体方向からの入射光を光電変換し、撮像画像信号を得る撮像処理部と、
撮像モード設定に応じて撮像処理制御を行い、表示処理制御として、上記撮像処理部で得られた撮像画像信号に基づく表示を上記第1表示パネル部で実行させると共に、少なくとも上記撮像モードが動きのある被写体の撮像に用いられるモードであれば、上記第2表示パネル部で、上記撮像処理部で得られた撮像画像信号に基づく表示を低輝度状態で実行させる制御を行う制御部と、
を備えた撮像装置。 - 被写体方向からの入射光を光電変換し、撮像画像信号を得る撮像処理について、撮像モード設定に応じた撮像処理制御を行い、
装置筐体上で使用者方向に向かって表示を行うようにされた第1表示パネル部において、上記撮像処理で得られる撮像画像信号に基づく表示を実行させるとともに、
装置筐体上で被写体方向に向かって表示を行うようにされた第2表示パネル部において、少なくとも上記撮像モードが動きのある被写体の撮像に用いられるモードであれば、上記第2表示パネル部での、上記撮像処理で得られた撮像画像信号についての表示を実行しないように制御する、
撮像装置の表示制御方法。 - 被写体方向からの入射光を光電変換し、撮像画像信号を得る撮像処理について、撮像モード設定に応じた撮像処理制御を行い、
装置筐体上で使用者方向に向かって表示を行うようにされた第1表示パネル部において、上記撮像処理で得られる撮像画像信号に基づく表示を実行させるとともに、
装置筐体上で被写体方向に向かって表示を行うようにされた第2表示パネル部において、少なくとも上記撮像モードが動きのある被写体の撮像に用いられるモードであれば、上記撮像処理で得られた撮像画像信号に基づく表示を低輝度状態で実行させる制御を行う、
撮像装置の表示制御方法。
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008284293A JP4670939B2 (ja) | 2008-11-05 | 2008-11-05 | 撮像装置、撮像装置の表示制御方法 |
| KR1020090097109A KR20100050390A (ko) | 2008-11-05 | 2009-10-13 | 촬상 장치, 촬상 장치의 표시 제어 방법 |
| US12/589,213 US8520120B2 (en) | 2008-11-05 | 2009-10-20 | Imaging apparatus and display control method thereof |
| RU2009140832/07A RU2517064C2 (ru) | 2008-11-05 | 2009-11-03 | Устройство формирования изображения и способ управления дисплеем для этого устройства |
| BRPI0904399-3A BRPI0904399A2 (pt) | 2008-11-05 | 2009-11-04 | aparelho de formação de imagem e método de controle de exibição para um aparelho de formação de imagem |
| EP09175146.1A EP2184637B1 (en) | 2008-11-05 | 2009-11-05 | Imaging apparatus and display control method thereof |
| CN2009102118539A CN101742117B (zh) | 2008-11-05 | 2009-11-05 | 成像装置及其显示控制方法 |
| US13/947,729 US9088721B2 (en) | 2008-11-05 | 2013-07-22 | Imaging apparatus and display control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008284293A JP4670939B2 (ja) | 2008-11-05 | 2008-11-05 | 撮像装置、撮像装置の表示制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010114569A JP2010114569A (ja) | 2010-05-20 |
| JP4670939B2 true JP4670939B2 (ja) | 2011-04-13 |
Family
ID=41508384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008284293A Expired - Fee Related JP4670939B2 (ja) | 2008-11-05 | 2008-11-05 | 撮像装置、撮像装置の表示制御方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US8520120B2 (ja) |
| EP (1) | EP2184637B1 (ja) |
| JP (1) | JP4670939B2 (ja) |
| KR (1) | KR20100050390A (ja) |
| CN (1) | CN101742117B (ja) |
| BR (1) | BRPI0904399A2 (ja) |
| RU (1) | RU2517064C2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4697289B2 (ja) | 2008-11-05 | 2011-06-08 | ソニー株式会社 | 撮像装置、撮像装置の表示制御方法 |
| JP4748204B2 (ja) * | 2008-11-05 | 2011-08-17 | ソニー株式会社 | 撮像装置、撮像装置の表示制御方法 |
| JP4670939B2 (ja) * | 2008-11-05 | 2011-04-13 | ソニー株式会社 | 撮像装置、撮像装置の表示制御方法 |
| KR101688042B1 (ko) | 2010-05-28 | 2016-12-20 | 엘지이노텍 주식회사 | 백라이트 유닛 및 디스플레이 장치 |
| JP5633679B2 (ja) * | 2010-09-03 | 2014-12-03 | カシオ計算機株式会社 | 撮像装置およびプログラム |
| US8564684B2 (en) * | 2011-08-17 | 2013-10-22 | Digimarc Corporation | Emotional illumination, and related arrangements |
| JP6046905B2 (ja) * | 2012-04-02 | 2016-12-21 | キヤノン株式会社 | 撮像装置、露出制御方法、及びプログラム |
| JP6395381B2 (ja) * | 2014-01-08 | 2018-09-26 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| USD759291S1 (en) * | 2015-02-12 | 2016-06-14 | Chia-Teh Chen | Wall lamp |
| JP2016181773A (ja) * | 2015-03-23 | 2016-10-13 | カシオ計算機株式会社 | 表示制御装置、表示制御方法、及びプログラム |
| CN104853088A (zh) * | 2015-04-09 | 2015-08-19 | 来安县新元机电设备设计有限公司 | 一种移动终端拍照时快速对焦的方法及移动终端 |
| CN105120144A (zh) * | 2015-07-31 | 2015-12-02 | 小米科技有限责任公司 | 图像拍摄方法和装置 |
| CN109643480A (zh) * | 2016-07-22 | 2019-04-16 | 路晟(上海)科技有限公司 | 安全系统及方法 |
| CN107257439B (zh) * | 2017-07-26 | 2019-05-17 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
| CN110312988A (zh) * | 2018-06-08 | 2019-10-08 | 深圳市大疆创新科技有限公司 | 屏幕控制的方法和装置 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7173665B2 (en) * | 2001-03-30 | 2007-02-06 | Sanyo Electric Co., Ltd. | Folding mobile communication terminal |
| JP4536311B2 (ja) * | 2002-04-30 | 2010-09-01 | シャープ株式会社 | 撮影装置、および、それを用いた携帯機器 |
| JP4071568B2 (ja) * | 2002-07-30 | 2008-04-02 | シャープ株式会社 | 携帯機器 |
| JP4053444B2 (ja) * | 2003-03-07 | 2008-02-27 | シャープ株式会社 | 携帯可能な多機能電子機器 |
| JP2004312249A (ja) * | 2003-04-04 | 2004-11-04 | Olympus Corp | カメラ |
| JP4398669B2 (ja) * | 2003-05-08 | 2010-01-13 | シャープ株式会社 | 携帯電話機器 |
| US7583313B2 (en) * | 2003-06-26 | 2009-09-01 | Kyocera Corporation | Imaging apparatus |
| US20050099533A1 (en) * | 2003-11-10 | 2005-05-12 | Casio Computer Co., Ltd. | Image capturing apparatus and camera module |
| JP4254529B2 (ja) * | 2003-12-25 | 2009-04-15 | カシオ計算機株式会社 | モニタ付き撮像機器 |
| KR100595640B1 (ko) | 2003-12-26 | 2006-06-30 | 엘지전자 주식회사 | 휴대용 단말기의 폴더 이중회전 개폐장치 |
| JP2005221907A (ja) * | 2004-02-09 | 2005-08-18 | Sanyo Electric Co Ltd | 表示装置 |
| JP2006113174A (ja) * | 2004-10-13 | 2006-04-27 | Konica Minolta Photo Imaging Inc | デジタルカメラ |
| KR101128075B1 (ko) | 2005-03-15 | 2012-07-17 | 삼성전자주식회사 | 두개의 디스플레이 패널을 갖는 디지털 촬영 장치 및 그제어 방법 |
| KR100837162B1 (ko) * | 2005-10-28 | 2008-06-11 | 엘지전자 주식회사 | 복수의 멀티입력장치를 구비한 이동통신단말기 |
| US7969497B2 (en) | 2005-11-21 | 2011-06-28 | Sony Corporation | Image capturing apparatus having a movable display screen |
| JP2007158799A (ja) | 2005-12-06 | 2007-06-21 | Sony Corp | 撮像装置 |
| US20070248330A1 (en) * | 2006-04-06 | 2007-10-25 | Pillman Bruce H | Varying camera self-determination based on subject motion |
| JP4657977B2 (ja) * | 2006-05-17 | 2011-03-23 | 富士フイルム株式会社 | 撮像装置 |
| JP2008228053A (ja) * | 2007-03-14 | 2008-09-25 | Nikon Corp | カメラ |
| JP2008284293A (ja) | 2007-05-21 | 2008-11-27 | Sumitomo Electric Ind Ltd | レーザ処置装置 |
| RU70434U1 (ru) * | 2007-08-28 | 2008-01-20 | Общество с ограниченной ответственностью "Научно-Производственное Предприятие Кондтроль" | Сотовый телефон с дополнительными функциями |
| JP4670939B2 (ja) * | 2008-11-05 | 2011-04-13 | ソニー株式会社 | 撮像装置、撮像装置の表示制御方法 |
| JP4697289B2 (ja) * | 2008-11-05 | 2011-06-08 | ソニー株式会社 | 撮像装置、撮像装置の表示制御方法 |
| US8223241B2 (en) * | 2008-12-15 | 2012-07-17 | Robbyn Gayer | Self shot camera |
| KR20110015309A (ko) * | 2009-08-07 | 2011-02-15 | 삼성전자주식회사 | 디지털 촬영장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체 |
| KR20110047613A (ko) * | 2009-10-30 | 2011-05-09 | 삼성전자주식회사 | 촬영가이드 모드를 제공하는 방법 및 장치 |
-
2008
- 2008-11-05 JP JP2008284293A patent/JP4670939B2/ja not_active Expired - Fee Related
-
2009
- 2009-10-13 KR KR1020090097109A patent/KR20100050390A/ko not_active Withdrawn
- 2009-10-20 US US12/589,213 patent/US8520120B2/en not_active Expired - Fee Related
- 2009-11-03 RU RU2009140832/07A patent/RU2517064C2/ru not_active IP Right Cessation
- 2009-11-04 BR BRPI0904399-3A patent/BRPI0904399A2/pt not_active IP Right Cessation
- 2009-11-05 EP EP09175146.1A patent/EP2184637B1/en not_active Not-in-force
- 2009-11-05 CN CN2009102118539A patent/CN101742117B/zh not_active Expired - Fee Related
-
2013
- 2013-07-22 US US13/947,729 patent/US9088721B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US8520120B2 (en) | 2013-08-27 |
| US20100110265A1 (en) | 2010-05-06 |
| KR20100050390A (ko) | 2010-05-13 |
| US9088721B2 (en) | 2015-07-21 |
| JP2010114569A (ja) | 2010-05-20 |
| EP2184637B1 (en) | 2014-01-08 |
| BRPI0904399A2 (pt) | 2011-02-01 |
| CN101742117B (zh) | 2012-08-15 |
| EP2184637A1 (en) | 2010-05-12 |
| RU2517064C2 (ru) | 2014-05-27 |
| CN101742117A (zh) | 2010-06-16 |
| US20140028888A1 (en) | 2014-01-30 |
| RU2009140832A (ru) | 2011-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4748204B2 (ja) | 撮像装置、撮像装置の表示制御方法 | |
| JP4670939B2 (ja) | 撮像装置、撮像装置の表示制御方法 | |
| US12273616B2 (en) | Imaging apparatus and display control method thereof | |
| JP5510353B2 (ja) | 表示装置、表示方法 | |
| JP4807218B2 (ja) | 撮像装置及びプログラム | |
| JP5105298B2 (ja) | 撮像装置及びそのプログラム | |
| CN101742100B (zh) | 成像装置及其显示控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100922 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101019 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101206 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101221 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110103 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140128 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |