Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4170866B2 - 撮影装置 - Google Patents
[go: Go Back, main page]

JP4170866B2 - 撮影装置 - Google Patents

撮影装置 Download PDF

Info

Publication number
JP4170866B2
JP4170866B2 JP2003326127A JP2003326127A JP4170866B2 JP 4170866 B2 JP4170866 B2 JP 4170866B2 JP 2003326127 A JP2003326127 A JP 2003326127A JP 2003326127 A JP2003326127 A JP 2003326127A JP 4170866 B2 JP4170866 B2 JP 4170866B2
Authority
JP
Japan
Prior art keywords
moving image
still image
image data
unit
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003326127A
Other languages
English (en)
Other versions
JP2005094465A (ja
Inventor
悟 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2003326127A priority Critical patent/JP4170866B2/ja
Publication of JP2005094465A publication Critical patent/JP2005094465A/ja
Application granted granted Critical
Publication of JP4170866B2 publication Critical patent/JP4170866B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本発明は、被写体光を捉えて画像データを生成しその画像データを記録媒体に記録する撮影装置に関する。
古くは銀塩カメラに始まり近年のビデオカメラ、さらには現代のデジタルカメラといったようにカメラの方式も時代の流れとともに激しく移り変わっている。これらのカメラが出揃った現代においては、それらのカメラの特性をそれぞれ活かすようにこれらのカメラを一度に持ち歩いて使い分けて適宜撮影を行なう人もいる。このようなカメラのうち、銀塩カメラは引き伸ばしを行なっても高画質の写真が得られるなどの長所がある反面、静止画像しか撮影することができないという欠点がある。また、ビデオカメラは動画像を撮影することができ、比較的暗い場所でも撮影を行なえて撮影中にズーム機能を働かせて例えば自分の子供の表情などを拡大して撮影していつまでもテープなどに保存することができるなどの長所がある反面、動画像を主体とした撮像部が構成されているため、画素数が少なくプリントには適さないという欠点がある。
さらにデジタルカメラは、動画像と静止画像とを切り替えて撮影することができたり、撮影した既撮影画像の再生を行なって撮影した画像を表示画面上で楽しむことができたりはするものの、光学ズームの倍率が低く、電子ズームにより高倍率を実現させているため、思ったほど高倍率の撮影を鮮明に行なえなかったりするという欠点がある。
このためユーザは、3種類のカメラを持ち歩いて被写体によってこれらカメラのうちいずれかを使用して撮影を行なっていた。しかし、このように3台のカメラを持ち歩くのは面倒である。
そこで、デジタルカメラに銀塩カメラの長所である高画質という特徴を持たせるとともに、ビデオカメラの特徴をも持たせたデジタルカメラが出現してきている。このようなデジタルカメラは高画素数の固体撮像素子を備えたものであって、銀塩カメラで撮影したのと同じような高画質の写真を得ることも、またビデオカメラと同様に動画像の撮影を行なうことも、さらに動画撮影中に静止画像を撮影することもできる(例えば特許文献1参照)。
しかし、この特許文献1のデジタルカメラでは、静止画撮影を行なうときには高画素数の固体撮像素子のすべての画素で撮影を行なって高精細な画像データを得ることはできるが、動画像撮影を行なうときにはすべての画素を使用せずに間引いた画素で動画データを生成する、すなわち間引き処理を行なうため、解像度が低下するだけでなく、折り返し歪という大きな画質欠陥につながる歪みが発生して画質が著しく劣化してしまうという問題がある。
また、画素混合を行なって感度を上げるような処理を行なうと、折り返し歪みの影響がより一層強く出てきて、動画像の画質がさらに劣化するという問題がある。この問題は固体撮像素子の画素数が高画素数になればなるほど顕著に現われる。
特開2000−352759号公報
本発明は上記問題点を解決し、動画撮影を行なっても動画像の画質を劣化させることのない撮影装置を提供することを目的とするものである。
上記課題を達成する本発明の撮影装置は、被写体光を捉えて画像データを生成しその画像データを記録媒体に記録する撮影装置であって、
動画撮影用に構成された動画撮影光学系および動画用撮像素子を備えるとともに、
装填された記録媒体に動画データを記録する動画記録部を備え、その動画用撮像素子により被写体光を捉えて動画データを生成しその動画データをその動画記録部に装填されている記録媒体に記録する動画撮影部と、
静止画撮影用に構成された静止画撮影光学系および静止画用撮像素子を備えるとともに、装填された記録媒体に静止画データを記録する静止画記録部を備え、その静止画用撮像素子により被写体光を捉えて静止画データを生成しその静止画データをその静止画記録部に装填されている記録媒体に記録する、上記動画撮影部による動画撮影とは独立に動画撮影中においても動画撮影と併行して静止画撮影を行なう静止画撮影部とを具備することを特徴とする。
上記本発明の撮影装置によれば、上記静止画撮影部と上記動画撮影部で独立に撮影を行なえるので、静止画用撮像素子で得た画像データを間引きして動画像データを生成する必要がなくなり、動画用撮像素子で生成した画像データを用いて鮮明な動画像の撮影を行なうことができる。その結果、間引き処理を行なう必要がなくなるため、折り返し歪みの影響を受けて動画像の画質が劣化するということがなくなる。
ここで、上記動画記録部と上記静止画記録部との双方に代えて、装填された記録媒体に動画データと静止画データとの双方を記録する画像記録部を備えたことを特徴とする。
そうすると、上記記録媒体に動画データと静止画データとを共通に記録することができる。ここでは上記動画撮影部と上記静止画撮影部との双方が備える記録媒体それぞれを一つの記録媒体に統合せずに、双方の記録媒体を残したまま、いずれか一方に上記画像記録部で画像データの記録を行なう構成も考えられる。この構成によれば、いずれか一方の記録媒体を予備として他方の記録媒体に動画データと静止画データとの双方を記録することができ、その他方の記録媒体が満杯になったときには一方の記録媒体に画像データの記録を行なえる。このようにしておくと他方の記録媒体が満杯になってもシャッタチャンスを逸することなく撮影を行なえる。
また、上記動画記録部と上記静止画記録部との双方で共通に使用される、電源、画像表示画面、および操作手段のうちの少なくとも1つを備えていることが好ましい。
このように上記電源、上記画像表示画面、および上記操作手段のうちの少なくとも1つを共通化することにより、部品点数の低減が図られ、コストを低減することができる。また、上記電源、上記画像表示画面、および上記操作手段すべてを共通化してこのデジタルカメラの小型軽量化を図ることもできる。
また、上記動画記録部と上記静止画記録部との双方を制御するシステムコントローラを備えていることが好ましい。
そうすると、動画撮影中に静止画撮影が行なわれても上記システムコントローラで動画撮影部と上記静止画撮影部との双方を制御してその動画撮影部で生成した動画データとその静止画撮影部で生成した静止画データとの双方を上記画像記録部により上記記録媒体に記録することができる。
さらに、上記動画記録部と上記静止画記録部との双方に代えて、装填された記録媒体に動画データと静止画データとの双方を記録する画像記録部を備え、
上記動画データがその動画データの加工用に通過する動画用バスと、
上記静止画データがその静止画データの加工用に通過する静止画用バスと、
上記動画用バスおよび上記静止画用バスから動画データおよび静止画データを受け取ってこれら動画データおよび静止画データの双方が記録媒体への記録用に通過する記録用バスとを備えていることが好ましい。
このように上記動画用バスと上記静止画用バスのうちのいずれか一方のバスを通過した画像データを上記記録用バスで受け取って、その受け取った動画データあるいは静止画データの上記記録媒体への記録を上記画像記録部により行なえる。
また、上記動画記録部と上記静止画記録部との双方で共通使用される画像表示画面を備え、
上記動画データが該動画データの加工用に通過する動画用バスと、
上記静止画データが該静止画データの加工用に通過する静止画用バスと、
上記動画用バスおよび前記静止画用バスから動画データおよび静止画データを受け取ってこれら動画データおよび静止画データの双方が上記画像表示画面への画像表示用に通過する表示用バスとを備えたことを特徴とする。
このように上記動画用バスと上記静止画用バスのうちのいずれか一方のバスを通過した画像データを上記表示用バスで受け取って、その受け取った動画データあるいは静止画データを上記画像表示画面に表示させることができる。
ここで、上記動画撮影部が、その動画撮影部で得られた動画データに基づく動画像を表示する、上記静止画撮影部と共通使用あるいはその動画撮影部で単独使用される画像表示画面を備え、
上記動画撮影部が、電源投入時に、記録媒体への動画データの記録を除き動作を開始して、上記表示画面に動画像の表示を行なうものであることが好ましい。
そうすると、上記動画撮影部で撮影した動画像をスルー画像としてその画像表示画面に表示させることができる。上記画像表示画面が動画撮影部で単独使用されるものであると、その画像表示画面をプレビュー画面として作用させ、その画像表示画面をファインダ代わりにすることができる。また上記動画撮影部と上記静止画撮影部とで共通使用されるものであると、上記画像表示画面をファインダ代わりに作用させることに加えて、その静止画撮影部で撮影した画像を上記画像表示画面に表示させて撮影者に撮影した被写体を確認させることもできる。
また、上記動画撮影部が、被写体までの距離を測定する測距部および被写体輝度を測定する測光部を備え、
上記静止画撮影部が、上記動画撮影部の測距部および測光部で得られた距離情報および輝度情報を反映させた静止画撮影を行なうものであることが好ましい。
そうすると、上記静止画撮影部に測距部、測光部を持たせなくてもスルー画像として表示させている動画像を表わす動画データを生成するときに得た距離情報および輝度情報とに基づいて静止画撮影を行なうことができる。ただし、静止画撮影部に測距部、測光部があっても良く、その場合には、その静止画撮影部が備える測距部、測光部に動画像撮影部側の距離情報および輝度情報とに基づいて短時間のうちに測距、測光を行なわせることができる。その結果、静止画撮影においては高速処理が実現される。
さらに、上記静止画撮影部が、被写体距離を考慮して上記動画撮影部に動画撮影における被写体中心と同じ点を被写体中心とした静止画撮影を行なうものであることを特徴とする。
例えば上記静止画撮影光学系の光軸を動画撮影における被写体中心と同じ点に向けるようにして、さらに動画撮影における被写体距離を考慮して静止画撮影部で撮影を行なうと、動画撮影中に表示されている動画の一場面を静止画として撮影することができる。そうすると、高速処理に加えて動画像と静止画像のフレーミングを一致させて上記表示画面に表示されている動画そのままの静止画の撮影を行なえる。
ここで、例えば上記動画用撮像素子の撮影サイズよりも上記静止画用撮像素子の撮影サイズが大きい場合には、それら撮影サイズの違いを利用して、上記動画用撮像素子で生成した画像データの特徴を抽出し、その特徴と合致する部分を静止画用撮像素子で生成した画像データから切り出すような構成にすることもできる。
さらに上記動画撮影光学系および上記静止画撮影光学系がいずれもズーム機能を備えた撮影光学系であって、上記動画撮影光学系の焦点距離と上記静止画撮影光学系の焦点距離とを独立に調整するモードと、上記動画撮影光学系の焦点距離と上記静止画撮影用光学系の焦点距離との双方を連動させて調整するモードとを有することを特徴とする。
そうすると動画像撮影と静止画撮影とを独立に行なう場合には、上記動画撮影光学系の焦点距離と上記静止画撮影光学系の焦点距離との双方を独立に調整するモードを指定して上記動画撮影部と上記静止画撮影部とでそれぞれ異なるズーム倍率で撮影を行なうことができ、動画撮影中に静止画撮影を行なうときには、上記動画撮影光学系の焦点距離と上記静止画撮影光学系の焦点距離との双方を連動させて調整するモードを指定して動画撮影光学系の焦点距離で撮影を行なっているときのズーム倍率で静止画撮影光学系でも撮影を行なえる。
上記本発明の撮影装置によれば、動画撮影を行なっても動画像の画質を劣化させることのない撮影装置を提供することができる。
以下図面を参照して本発明の実施の形態を説明する。
図1は本発明の実施形態である撮影装置の一例となるデジタルカメラの外観を示す図である。図1(a)には横長タイプのデジタルカメラを正面斜め上方から見た斜視図が示されており、図1(b)には図1(a)の横長タイプのデジタルカメラを後方斜め上方から見た斜視図が示されている。また、本発明のデジタルカメラの外観としては縦長タイプも考えられるので、図1(c)には、その縦長タイプのデジタルカメラを正面斜め上方から見た斜視図が、図1(d)には後方斜め上方から見た斜視図がそれぞれ示されている。
どちらのタイプであってもカメラボディの形状が異なるだけなので、図1(a)、図1(b)に示す横長タイプのデジタルカメラの構成を説明する。
図1(a)に示すデジタルカメラ10aのカメラボディ101aの正面中央には静止画撮影用のレンズ11aと動画撮影撮影用のレンズ11bとが並べて配置されている。このカメラボディ101aの上面には、それらのレンズが捉える被写体の撮影を各々個別に行なえるように静止画用シャッタ釦12aと動画用シャッタ釦12bとがそれぞれ個別に設けられている。また、このデジタルカメラ10aを動作させるための電源スイッチ13a,13bも静止画用、動画用にそれぞれ個別に設けられており、静止画用電源スイッチ13aを投入して静止画撮影だけ行なうことも、動画用電源スイッチ13bを投入して動画撮影だけを行なうことも、また双方の電源スイッチ13a,13bを投入して動画撮影中に静止画撮影を行なうこともできる。
このように双方の電源スイッチ13a,13bのうち少なくとも一つが投入され、静止画シャッタ釦12aにより静止画撮影を行なうことも動画シャッタ釦12bにより動画撮影を行なうこともできるので、双方の操作状態を撮影者に別々に示すために、静止画撮影用の操作用LCD14aと動画撮影用の操作用LCD14bもそれぞれ個別に設けられている。
また、図1(b)に示すカメラボディ101aの背面側には、静止画撮影用のLCDパネル150aと動画撮影用のLCDパネル150bとがそれぞれ設けられており、またそれぞれの撮影において独立にズームを行なえるように、静止画撮影用ズーム釦16aと動画撮影用ズーム釦16bも個別に設けられている。
このように、静止画撮影と動画撮影との双方をこのデジタルカメラ一台で独立に行なえる構成になっている。
図1(c)、図1(d)に示すデジタルカメラ10bの構成も、カメラボディ101bが縦長になっただけで、図1(a)、図1(b)と同様の構成になっている。
図2は、図1(a)と図1(b)に示す横長タイプのデジタルカメラ10aの内部構成を示す図である。図1(c)と図1(d)に示す縦長タイプのデジタルカメラ10aの内部構成も同一である。
図1に示したように静止画用電源スイッチ13a、動画用電源スイッチ13bの投入により動画撮影部100b、静止画撮影部100aをそれぞれ動作させることができるように動画撮影用の電源130bと静止画撮影用の電源130aが2つ別々に設けられている。
まず、動画用側の電源スイッチ130bが投入された場合に動作する動画撮影部100bの構成を詳細に説明する。
動画用の電源スイッチ13bが投入されると電源130bから動画撮影部100bを構成する各部に電力が供給され、動作可能な状態になる。
動画撮影部100bは、第1のメインCPU110bにより統括的に制御されるものであり、第1のメインCPU110bには動画用シャッタ釦12bや電源スイッチ13bなどの操作信号が供給されている。これらの操作信号が供給されたことを受けて第1のメインCPU110bにより動画撮影部100bの動作、また操作用LCD14bさらに画像表示LCD15bの表示動作が制御される。このメインCPU100bにはプログラム格納用のEEPROM111bが備えられており、このEEPROM111b内にあるプログラムにしたがって動画撮影部100bの動作が制御される。
この第1のメインCPU100bにより制御される動画撮影部100bの動作を説明する。
動画撮影部100bには、フォーカスに大きく寄与するフォーカスレンズ1110bや焦点距離が可変なズームレンズ1111bを含む複数のレンズからなる動画用撮影光学系111bおよび動画用撮像素子としてCCD112b(以下動画用CCDという)が備えられており、その動画用撮影光学系111bでその動画用CCD112bにピントのあった被写体を結像させている。この動画用CCD112bにピントのあった被写体を結像させるにあたって、本実施形態のデジタルカメラではフォーカスレンズ1110bを至近点から無限遠点まで移動させながら、動画撮影光学系111bを通して測距や測光が行われている。これら動画撮影光学系111bを通して測距や測光を行なった結果をメインCPU110bが受け取り、その結果を受け取ったメインCPU110bから通信により測光・測距CPU120bにその結果を与えて、測光測距CPU120bにフォーカスレンズ1110bの移動を行なわせたり、絞り1112bの切り替えを行なわせたりしている。
このようにしてピントのあった被写体像を動画用CCD112bに結像させて動画用CCD112bにより被写体を表わす画像データを生成し、その生成した画像データをタイミングジェネレータ(以下TGという)1121bから供給されているタイミング信号に応じて所定の時刻ごと(例えば33msごと)にA/D部113bに出力させている。この出力させた画像データがA/D部113bでデジタル信号の画像データに変換され、後段のホワイトバランス・γ補正部(以降、WB・γ部という)114b、YC処理部116bでそのデジタル信号の画像データが加工されて画像表示LCD側にYC信号からなる画像データが供給される。画像表示LCD側では、まずそのYC信号からなる画像データを受けて、YC−RGB部151bでRGB信号への変換が行なわれ、その変換された画像データがドライバ152bに供給されてそのドライバ152bによって画像表示LCD15bが駆動される。このようにして画像表示LCD15bが駆動されると、LCDパネル150b上に画像データに基づく画像がスルー画像として表示される。なお、WB・γ部の後段にあるバッファメモリは、WB・γ部114bで加工された画像データがバス121bを通過してYC処理部116bに供給されるタイミングを調整するために設けられている。
ここでそのスルー画像を見ながら動画用シャッタ釦12bが押されたら、動画撮影部100b内の各部にメインCPU110bから動画撮影の開始指示が発せられて撮影が開始される。
この動画用シャッタ釦12bはトグル動作を行なうもので、一度押されたら再度その動画用シャッタ釦が押されるまで、動画用CCDで生成した画像データが、WB・γ部114bおよびYC処理部116bで加工され、さらにその加工された画像データが圧縮伸張部117bで圧縮されてメモリカード119bに順次記録される。
以上が動画撮影部の動作である。
ここで動画用CCD112bから画像記録部1190bの中のメモリカード119bに画像データが記録されるまでに、画像データの加工を行なう各部の動作を簡単に説明しておく。
WB・γ部114bでは、まず、ホワイトバランス側でR,G,Bのそれぞれの振幅の調整が行なわれて基準となる白色を得るための加工が行なわれる。この白色の調整によって黒色から白色に至る途中の色いわゆる中間色の階調が正しく表現される。この白色ほか黒から白色に至る途中の色の階調は、画像表示LCD15bの特性によっても変化してしまうので、γ補正側で画像表示LCD15bの特性にあった画像データへの加工も施される。このようにして加工された画像データがバス121bを通過してYC処理部116bに供給される。
次に、YC処理部116bでは別の表示装置での表示も行なえるようにRGBからなる画像データがYC信号からなる画像データに加工される。
さらに、そのYC信号からなる画像データがバス121bを通過して圧縮伸張部117bに供給され、その圧縮伸張部117bでメモリカードにできるだけ多くの画像データが記録されるように圧縮される。ここでは画像データの圧縮を行なうにあたってMPEG1、2、4規格に準拠した圧縮が行なわれている。このように圧縮された画像データがインタフェース118bを介してメモリカード119bに記録される。
また、動画撮影中にマイク122を介して収録された音声もA/D部123でデジタル信号に変換され、メモリカード119bに記録される。このときにも、バッファメモリ124に一旦音声データを蓄積させてタイミングを調整してから音声データが圧縮伸張部117bに供給され、その圧縮伸張部117bで圧縮された音声データがメモリカード119bに記録される。
また、このデジタルカメラ1では、そのメモリカード119bに記録された動画データおよび音声データを再生することもでき、この再生を行なうときには圧縮伸張部117bで圧縮された画像データが圧縮情報に基づき伸張され、その伸張された画像データがバス121bを通過して画像表示LCD15b側に供給されて画像データに基づく画像が表示画面150bに表示される。画像表示LCD15b側にはその画像表示LCD15bを駆動するドライバ152bとそのドライバ152bにRGB信号を供給するYC−RGB変換部151bが備えられており、YC信号となってメモリカード119bに記録されていたYC信号からなる画像データがRGBからなる画像データに変換されて画像表示LCD15bの表示画面に再生画像が表示される。
この再生画像が表示されているときには、画像データとともに記録された音声データがバッファメモリ153を介してさらにD/A部154を経てスピーカ155に供給され、そのスピーカ155から音声が発音される。
次に静止画撮影部100aの構成と動作を説明する。この静止画撮影部100aは、マイク122とスピーカ155とを備える音声処理部を備えていないことと閃光発光装置16aが付加されている以外動画像撮影部110bと同様の構成である。その閃光発光装置16aは、測光部の測光結果を受けてメインCPU110bにより閃光発光が必要と判定された場合に、発光管160aと充電発光制御部16aとからなる閃光発光装置16に閃光を発光させるもので、メインCPU110aが測光・測距CPU120aに閃光発光を指示した場合に測光・測距CPUからの発光指令に応じて充電発光制御部16aで制御された発光時間で発光管160aから閃光が発光される。なお、静止画用CCD112aは、動画用CCD112bよりも高画素数を有するもので、動画像よりも高精細な画像が得られる。
このように本実施形態のデジタルカメラは、動画撮影用に構成された動画撮影光学系111bおよび動画用CCD112bを備えるとともに、装填されたメモリカード119bに動画データを記録する動画記録部1190bを備え、その動画用CCD112bにより被写体光を捉えて動画データを生成し、その動画データをその動画記録部1190bに装填されているメモリカード119bに記録する動画撮影部100bと、静止画撮影用に構成された静止画撮影光学系111aおよび静止画用CCD112aを備えるとともに、装填されたメモリカード119aに静止画データを記録する、動画撮影部100bによる動画撮影とは独立に動画撮影中においても動画撮影と併行して静止画撮影を行なう静止画記録部1190aとを備えているので、鮮明な静止画の撮影と鮮明な動画の撮影を双方、独立に行なえて、さらに動画撮影中の静止画撮影も鮮明に行なえる。つまり、動画撮影部による動画撮影において動画用CCD112bで生成した画像データを間引いて動画データを生成する必要がないため、いままで問題であった動画データの画質が劣化することなく、鮮明な動画像が得られる。
図3は、図1に示すデジタルカメラが有する操作用LCD14a,14b、画像表示LCD15a,15bなどを共通化して一つの電源スイッチ13、一つの操作用LCD14に統合した場合の例を示す図である。また図4は図3のデジタルカメラの内部構成を示す図である。図3、図4に示すように、電源スイッチ13、操作用LCD14,画像表示LCD15、電源130、メインCPU110、画像記録部1190Aが共通化されて一つに統合されている。これに伴い加工された動画データまたは静止画データを記憶しておくことが可能な容量を有するバッファメモリ1191A,1500Aとそれらバッファメモリを制御するコントローラ119A,1500が画像記録部1190Aと画像表示LCD15を駆動する部分に追加されている。
各コントローラ119A,1500はシステムコントローラとなるメインCPU110により制御され、各コントローラ119A,1500によって動画データまたは静止画データがメモリカード119に記録されたり、動画データに基づく動画像または静止画データに基づく静止画像が画像表示LCD15のLCDパネル150に表示されたりする。
このようにするとコントローラ119A,150とバッファメモリ1191A,150Aが追加されてはいるものの、メインCPU110、メモリカード119、画像表示LCD15がそれぞれ一個で済み、全体的に低消費電力化を図ることができる。
図5は、図4の構成をさらに改良して高速処理を行なえるようにした例を示す図である。
図5に示すように動画用バス121Bと静止画用バス121Aに加え、さらにこれらバス121A,121Bを通過する動画データ、静止画データ双方を受け取り、それら画像データのうち、いずれかが通過する記録用バス121C、表示用バス121Dとが分離して構成されている。また、これら分離されているバス121A〜121Dをそれぞれ制御するバスコントローラ122A〜122Dがバスの数(4個)分だけ追加されている。
これらのバスコントローラ122A〜122DはシステムコントローラとなるメインCPU110に制御され、そのメインCPU110により制御されているバスコントローラ122A〜122Dにより画像データのバスの通過がそれぞれ制御される。また、これらのバスの通過をメインCPUの指示に基づいて各バスコントローラに効率良く制御を行なわせるためにワークメモリ123A〜123Dもバスの数分だけ設けられている。
このようにすると、それぞれのバス121A〜121Dで独立に画像データの通過が制御される。このため、動画データと静止画データとの双方を同時に加工することができ、その加工したデータを記録用バス121Cに適宜受け取らせて通過させメモリカード119に記録することも、表示用バス121Dに適宜受け取らせて通過させ画像表示LCDのLCDパネルに画像を表示することもできる。つまり、メインCPU110とバスコントローラ122A〜122Dによって画像データの通過を時分割的に制御することで、静止画撮影と動画撮影を同時に行なっても双方の画像データを効率良く処理することが可能となる。
このように効率的に処理を行なうと、動画データに基づく画像をLCDパネルに表示させながら動画撮影も、静止画撮影も行なうことができる。
図6は、図5に示す構成を持つデジタルカメラで動画撮影中に静止画撮影を行なう場合の処理を説明する図である。
図6には、メインCPU110が内部のレジスタに書き込む動画記録中フラグ1111を抜き出して示し、そのフラグの内容が各ワークメモリ123A〜123Dに書き込まれて、各バス121A〜121Dの制御がバスコントローラ122A〜122Dにより行なわれることが示されている。各バスコントローラ122A〜122Dは、各ワークメモリ123A〜123Dに書き込まれたフラグの内容に基づいて、各バス121A〜121Dを通過させる画像データのタイミングを制御する。なお、図6のデジタルカメラが備える静止画用シャッタ釦12Aは半押し、全押しの2つの操作態様を有するものに置き換えられている。
図7は図6に示すフラグを使用したときにメインCPU110が行なう処理の手順を示すフローチャートである。
ステップS701で電源が投入されたら次のステップS702で動画記録中フラグをクリアして動画撮影部100aを起動する。このときには画像表示LCD15もオンさせる。
ステップS703へ移行して動画シャッタ12bがオンしているかどうかを判定する。動画シャッタ12bがオンしていたらY側に進み、ステップS704で動画記録中フラグをセットして動画撮影部100bで撮影を行なってメモリカード119への動画データの記録を開始する。次のステップS705で静止画シャッタ12Aが半押しされているかどうかを判定し、半押しされていたら次のステップS706で静止画撮影部100aを起動する。さらに次のステップS707で静止画シャッタ12Aが全押しされているかどうかを判定し、全押しされていたらY側に進み、ステップS708で静止画撮影を開始してメモリカード119に静止画データを記録する。次のステップS709へ移行して動画シャッタ12bが再度押されたかどうかを判定し、動画用シャッタ12bが押されていなかったらN側に進みステップS705からステップS709までの処理を繰り返し行なう。
このステップS709で動画シャッタが再度押されていたらY側に進み、次のステップS710で動画記録中であるかどうかを判定し、動画記録中であった場合には、Y側に進みステップS711で動画撮影を終了させ、動画撮影中フラグをクリアする。次のステップS712で電源スイッチがオフされているかがどうかを判定し、オフされていなかったらN側に進み、ステップS703からステップS712の処理を繰り返し行なう。また電源スイッチがオフされていたらY側に進み電源をオフする。
ステップS710で動画記録中ではないと判定した場合には、ステップS710での動画シャッタのオンを一度目の押下操作として動画用シャッタ釦12bが再度オンされるまで次ステップS704へ戻ってステップS704からステップS710の処理を繰り返し行なう。
ステップS705で静止画シャッタ釦が半押しされていない場合には、動画撮影だけが行なわれているので、ステップS706、ステップS707、ステップS708をスキップしてステップS709で動画シャッタ釦が押されたかどうかを判定して静止画撮影の処理を行なわない。
また、ステップS706で静止画シャッタ釦が半押しされた後、全押しがなかなか行われない場合には、全押しが行なわれるまでステップS709を経由してステップS705へ戻ってステップS707で全押しされたかどうかを判定して、全押しされてY側に進んだら次のステップS708で静止画撮影の処理を行なって動画撮影の処理に移る。
図8は、このデジタルカメラで撮影レンズを通して被写体距離の測定を行なう測距部と被写界輝度の測定を行なう測光部とを具体的に示した図である。
このデジタルカメラでは撮影レンズを通して得た画像データに基づいて被写体距離の測定を自動的に行なう自動測距装置(以降AFという)と、同じく被写界輝度の測定を自動的に行なう測光装置(以降AEという)を備えている。この図8では、測距および測光を1つのAE・AF積算部で行なっている例が示されている。
図8に示すように静止画撮影部100a、動画撮影部100b双方ともAE・AF積算部1141A,1141Bを備えており、これらAE・AF積算部1141A,1141Bで測定された距離情報および測光情報がメインCPU110に与えられている。そこでメインCPU110はその内容を双方の測光・測距CPU120A,120Bに通信により伝えて各測光・測距CPU120aにフォーカスレンズ1110a,1110bと絞り1112a,1112bとをそれぞれ制御させる。本実施形態のデジタルカメラでは、動画データを画像表示用LCD15にそのまま表示させているので、静止画シャッタ釦12Aが半押しされたときに、フォーカスレンズ1110aの合焦点への移動をいち早く行なわせるため、動画撮影部110bのAE・AF積算部1141Bにより算出されたパラメータを静止画撮影部110Aが備えるAE・AF積算部1141Aにパラメータを反映させていち早く合焦点への移動を行なわせている。
この場合、部品点数を低減するために動画撮影部側だけAE・AF積算部があっても良く、その場合には動画撮影部のAE,AF積算部で算出したパラメータをそのまま使用して静止画光学系の測光・測距CPUにフォーカスレンズの移動を行なわせ、絞りの切替を行なわせることもできる。
いずれの構成であっても、静止画撮影部110aのフォーカスレンズ1110aを合焦点に移動させる時間が短縮され、高速処理を行なえる。
図9はその高速処理を行なうときにメインCPU110が行なう処理の手順を示すフローチャートである。
ステップS901で電源スイッチがオンされているかどうかを判定する。電源スイッチが投入されていたら、Y側に進みステップS902へ移行する。このステップS902で動画記録中フラグをクリアして動画撮影部100bを起動する。このステップS903では、電源が投入された後、動画撮影部100bのAE・AF積算部1141BのAF側に被写体距離の測距を行なわせて合焦点を検出したらその合焦点へのフォーカスレンズ1110bの移動を測光・測距CPU120bに行なわせ、さらにAE側に測光を行なわせて測光・測距CPU120bに絞り1112bの切り替えを行なわせている。次のステップS903で動画シャッタ釦12bが押されたかどうかを判定し、押されていたらY側に進み次のステップS904で動画記録フラグをレジスタにセットして、動画撮影を開始する。なお、この動画撮影を開始した後、レンズが向けられる方向が変わる度に、測距パラメータおよび測光パラメータを書き換えている。
次のステップS905で静止画シャッタ釦12Aが半押しされたかどうかを判定し、半押しされていたらY側に進み、次のステップS906へ移行する。その静止画撮影が行なわれたときに動画撮影部110bのAE・AF積算部1141Bで積算されたパラメータを静止画撮影用に取得する。
次のステップS907でその取得したパラメータを静止画撮影部100aのAE・AF積算部1141Aにセットする。このときにはセットした値の近傍で新たな合焦点サーチを行なった後次のステップS908へ移行しても、合焦点サーチを行なわずにそのまま移行しても良い。
次のステップS908で静止画用シャッタ釦12Aが全押しされたかどうかを判定し、全押しされていたら静止画撮影を行なうものとしてステップS909へ移行して記録媒体に静止画データを記録する。
次のステップS910以降の処理は、図7の処理と同様である。また、静止画撮影が行なわれなかった場合、静止画シャッタ釦12Aが半押しされ続けていた場合などの処理は図7と同様である。
図10は、動画の撮影画角を静止画撮影に反映させた例を示す図である。
図10に示すように、動画データに基づく画像の中心位置を求めるために、さらにAF位置検出部1142Bを設けて改善を加えている。動画撮影部110bのAE・AF積算部1141Bでは被写体の中心付近の画素データに基づいてコントラストの検出を行なっているのでAF位置検出部1142Bで被写体の中心位置の検出をすぐに行なえる。そこでAF位置検出部1142Bに動画撮影における被写体中心の検出を行なわせたら、その被写体中心を示すデータを中心検出補正角度制御部121Aに伝えて撮影光学系全体111aを傾かせ、さらに動画撮影時にAE・AF積算部1141Bで測定した測距情報を考慮して静止画撮影部100aの測光・測距CPU120aにフォーカスレンズ1110aの移動を行なわせて動画撮影における被写体中心と同じ点を被写体中心とした撮影を静止画撮影光学系に行なわせている。このように静止画撮影部110aが、被写体距離を考慮して動画撮影部100bによる動画撮影における被写体中心と同じ点を被写体中心とした静止画撮影を行なうことにより、画像表示LCDで見た動画像の一場面がそのまま静止画として撮影される。
また静止画用CCD112aが高画素数であって動画の撮影サイズよりも静止画撮影の撮影サイズの方が大きいことを利用して、撮影光学系全体111aを傾かせなくても静止画用CCD112aで生成した画像データの中から動画用CCD112Bで生成した画像と同じ画像となる部分を抽出して切り出すこともできる。このようにすると、中心検出補正角度制御部121Aが不要になる。
図11は動画撮影部100bで測定した被写体距離を考慮して動画撮影における被写体中心と同じ点を被写体中心とした静止画撮影を行なうときにメインCPU110が行なう処理の手順を示す図である。
ステップS1101で電源スイッチがオンされているかどうかを判定する。電源スイッチが投入されていたら、Y側に進みステップS1102へ移行する。このステップS1102で動画記録中フラグをクリアして動画撮影部100bを起動する。このステップS1102では、電源が投入された後、動画撮影部100bのAE・AF積算部1141Bに被写体距離の測距を行なわせて合焦点を検出したらその合焦点へのフォーカスレンズ1110bの移動を測光・測距CPU120bに行なわせ、さらにAE側に測光を行なわせて測光・測距CPU120bに絞り1112bの切り替えを行なわせている。次のステップS1103で動画シャッタ釦12bが押されたかどうかを判定し、押されていたらY側に進み次のステップS1104で動画記録フラグをレジスタにセットして、動画撮影を開始する。なお、この動画撮影を開始した後、撮影レンズが向けられている方向が変わる度に、測距パラメータおよび測光パラメータを書き換えている。
次のステップS1105で静止画シャッタ釦12Aが半押しされたかどうかを判定し、半押しされていたらY側に進み、次のステップS1106へ移行する。ステップS1106で静止画シャッタ釦が半押しされたときに動画撮影部100bのAF位置検出部1142Bで検出されたパラメータを静止画撮影用に取得する。
次のステップS1107でその取得したパラメータを中心検出補正角度制御部121Aにセットする。このセットされた値にしたがって次のステップS1108で静止画撮影光学系の光軸を動画撮影光学系の光軸と略一致させるように中心検出補正角度制御部121Aに撮影光学系を駆動させる。次のステップS1109で静止画用シャッタ釦12Aが全押しされたら、Y側に進み静止画撮影を行なって静止画データを記録媒体に記録する。
ステップS1110以降の処理は図7,図9と同様である。
最後にズーム操作を行なったときに動画撮影光学系111bの中のズームレンズ1111bと静止画撮影光学系の中のズームレンズ1111aとを連動させる場合の例を説明する。
図12は、動画用ズーム釦16bと静止画用ズーム釦16aとを双方連動させて静止画撮影光学系、動画撮影光学系それぞれのズームレンズ1112a,1112bを同じように移動させるか、個別に作用させて双方のズームレンズ1112a,1112bを別々に移動させるかを選択することを可能にした構成を示す図である。説明を分かりやすくするため、図6と同様にCPU内部のレジスタにセットされるフラグをズーム共通フラグ1102として抜き出して示してある。
この選択は、操作用LCD14に表示されているメニューを例えば十字キー1によって指定することにより行なわれる。
例えば十字キー1によって、動画用ズーム釦16bと静止画用ズーム釦16aとを双方連動させるモードが指定された場合には、メインCPU110はズーム共通フラグをセットする。そうすると、一方のズーム釦16a,16bの操作を受けてメインCPU110が双方の測光・測距CPU120a,120bにその操作内容を伝える。双方の測光・測距CPU120a,120bではその操作内容を受けてズームレンズ1111a、1111bそれぞれを移動させる。
そうすると、動画撮影中にズーム操作が行なわれた後、静止画撮影が行なわれても、同じ撮影画角で撮影を行なえるので、撮影したい画像を静止画として確実に撮影することができる。また、静止画撮影が行なわれた後、表示されている動画像が静止画でのズーム操作に応じた拡大倍率ですぐに表示される。
図13はズーム釦の動作モードを選択して動画用ズーム釦と静止画用ズーム釦との双方を連動させて動作させるか、双方を独立に動作させるかを選択する場合にメインCPUが行なう処理の手順を示すフローチャートである。
ステップS1301でズーム釦の動作モードを選択する。次のステップS1302で操作用LCDにズーム釦の動作モードの選択メニューの表示を行なう。ここで静止画用ズーム釦、動画用ズーム釦を各々独立に動作させるモード(以降、独立モードという)か、双方を連動させるモード(以降連動モードという)かを十字キー1などにより指定させる。次のステップS1303へ移行して独立モードが指定されたか連動モードが指定されたかの判定を行う。連動モードが指定された場合には、ステップS1304へ進み、このステップS1304でズーム共通フラグを1にセットして、次のステップS1305へ移行する。このステップS1305で動画用ズーム釦がオンしているかどうかを判定してオンしていたらY側に進み、ステップS1306でTELE側か、WIDE側かを判定する。ステップS1306でTELE側が指定されたと判定した場合にはステップS1307で静止画撮影光学系、動画撮影光学系双方のズームレンズを同時にTELE側に駆動し、WIDE側が指定されたと判定した場合にはステップS1308で双方のズームレンズを同時にWIDE側に駆動する。なお、動画用ズーム釦、静止画用ズーム釦どちらが操作されても、双方のズームレンズが連動して駆動されるので、ステップS1305で動画用ズーム釦がオンしていない場合にはステップS1305でN側に進み、静止画用ズーム釦側で操作が行なわれるものとしてステップS1309で静止画用ズーム釦がオンしているかどうかを判定してステップS1306からステップS1308までと同様の処理をステップS1310からS1312で行なう。
ステップS1303で独立モードが選択されていた場合には、ステップS1313へ進みズーム共通フラグを0にセットする。ステップS1314で動画用ズーム釦がオンしていたらY側に進みステップS1315でTELE側かWIDE側かを判定する。このステップS1315TELE側が指定されたと判定した場合にはステップS1316で動画撮影光学系のズームレンズをTELE側に駆動してステップS1315でWIDE側が指定されたと判定した場合には、ステップS1317で動画撮影光学系のズームレンズをWIDE側に駆動する。
ステップS1314で動画用ズーム釦がオンしていない場合にはN側に進みステップS1318で静止画用ズーム釦がオンしているかどうかを判定する。このステップS1318でオンしていると判定したらY側に進み、ステップS1319でTELEかWIDEかを判定する。このステップS1319でTELE側であると判定したら静止画撮影光学系の中のズームレンズをTELE側に駆動して、WIDE側であると判定したら、ステップS1321で静止画撮影光学系の中のズームレンズをWIDE側に駆動する。
このように連動モードである場合にはいずれか一方のズーム釦が操作されたら双方の撮影光学系のズームレンズを同時に駆動して、独立モードの場合には動画用ズーム釦が操作されたら、動画撮影光学系の中のズームレンズを駆動して、静止画用ズーム釦が操作されたら、静止画撮影光学系の中のズームレンズを駆動する。
以上説明したように、本実施形態のカメラによれば動画像の画質を劣化させることなく、動画撮影を行なえるデジタルカメラが実現される。また、デジタルカメラ内部においては部品点数を低減させ、小型軽量化、さらには低消費電力化を図ったデジタルカメラが実現される。さらに、バスを分離構成することにより高速処理を行なえるデジタルカメラが実現される。
なお、本実施形態では撮影装置としてデジタルカメラを例に掲げたが、カメラ付き携帯電話などの撮影装置にも適用可能である。
本発明の実施形態を示すデジタルカメラの外観を示す図である。 図1のデジタルカメラの内部構成を示す図である。 図1に示すデジタルカメラが有する操作用LCD14a,14b、画像表示LCD15a,15bなどを共通化して一つに統合した場合の例を示す図である。 図3のデジタルカメラの内部構成を示す図である。 図4の構成をさらに改良して高速処理を行なえるようにした例を示す図である。 動画撮影中に静止画撮影を行なう場合の処理を説明する図である。 フラグを使用したときにメインCPU110(システムコントローラ)が行なう処理の手順を示すフローチャートである。 このデジタルカメラで撮影レンズを通して測光・測距を行なうAE・AF積算部を具体的に示した図である。 その高速処理を行なうときにメインCPU(システムコントローラ)が行なう処理の手順を示すフローチャートである。 動画の撮影画角を静止画撮影に反映させた例を示す図である。 動画と静止画の撮影画角を略一致させるときのメインCPU(システムコントローラ)が行なう処理の手順を示す図である。 動画用ズーム釦と静止画用ズーム釦とを双方連動させて静止画撮影光学系、動画撮影光学系それぞれのズームレンズを同時に移動させるか、双方のレンズを別々に移動させるかを選択することを可能にした構成を示す図である。 ズーム釦の動作モードを選択して連動させるか、独立に動作させるかを選択する場合にメインCPU(システムコントローラ)が行なう処理の手順を示すフローチャートである。
符号の説明
10a 10p 10A 10P デジタルカメラ
101a 101p 101A 101P カメラボディ
11a 静止画用撮影レンズ
11b 動画用撮影レンズ
12a 静止画用シャッタ釦
12b 動画用シャッタ釦
13a 静止画用電源スイッチ
13b 動画用電源スイッチ
14a 静止画用操作用LCD
14b 動画用操作用LCD
15a 静止画表示用LCD
150a 静止画用LCDパネル
15b 動画表示用LCD
150b 動画用LCDパネル
16a 静止画用ズーム釦
16b 動画用ズーム釦
100a 静止画撮影部
100b 動画撮影部
110 メインCPU(システムコントローラ)
110a CPU
110b CPU
111a 静止撮影光学系
112a 静止画用CCD
111b 動画用撮影光学系
112a 動画用CCD
1190a 静止画像記録部
1190b 動画像記録部

Claims (2)

  1. 被写体光を捉えて画像データを生成し該画像データを記録媒体に記録する撮影装置であって
    動画撮影用に構成された動画撮影光学系および動画用撮像素子を備えるとともに、装填された記録媒体に動画データを記録する動画記録部を備え、該動画用撮像素子により被写体光を捉えて動画データを生成し該動画データを該動画記録部に装填されている記録媒体に記録する動画撮影部と、
    静止画撮影用に構成された静止画撮影光学系および静止画用撮像素子を備えるとともに、装填された記録媒体に静止画データを記録する静止画記録部を備え、該静止画用撮像素子により被写体光を捉えて静止画データを生成し該静止画データを該静止画記録部に装填されている記録媒体に記録する、前記動画撮影部による動画撮影とは独立に動画撮影中においても動画撮影と併行して静止画撮影を行なう静止画撮影部とを具備する撮影装置において、
    前記動画記録部と前記静止画記録部との双方に代えて、装填された記録媒体に動画データと静止画データとの双方を記録する画像記録部を備え、
    前記動画データが該動画データの加工用に通過する動画用バスと、
    前記静止画データが静止画データの加工用に通過する静止画用バスと、
    前記動画用バスおよび前記静止画用バスから動画データおよび静止画データを受け取ってこれら動画データおよび静止画データの双方が記録媒体への記録用に通過する記録用バスとを備えたことを特徴とする撮影装置。
  2. 前記動画記録部と前記静止画記録部との双方で共通使用される画像表示画面を備え、
    前記動画データが該動画データの加工用に通過する動画用バスと、
    前記静止画データが該静止画データの加工用に通過する静止画用バスと、
    前記動画用バスおよび前記静止画用バスから動画データおよび静止画データを受け取ってこれら動画データおよび静止画データの双方が前記画像表示画面への画像表示用に通過する表示用バスとを備えたことを特徴とする請求項1記載の撮影装置。
JP2003326127A 2003-09-18 2003-09-18 撮影装置 Expired - Fee Related JP4170866B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003326127A JP4170866B2 (ja) 2003-09-18 2003-09-18 撮影装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003326127A JP4170866B2 (ja) 2003-09-18 2003-09-18 撮影装置

Publications (2)

Publication Number Publication Date
JP2005094465A JP2005094465A (ja) 2005-04-07
JP4170866B2 true JP4170866B2 (ja) 2008-10-22

Family

ID=34456397

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003326127A Expired - Fee Related JP4170866B2 (ja) 2003-09-18 2003-09-18 撮影装置

Country Status (1)

Country Link
JP (1) JP4170866B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005048A (ja) * 2006-06-20 2008-01-10 Olympus Imaging Corp 撮像装置及び信号処理装置
JP7158307B2 (ja) 2019-02-07 2022-10-21 シャープ株式会社 電子機器、制御プログラム、制御装置、および制御方法
CN110378345B (zh) * 2019-06-04 2022-10-04 广东工业大学 基于yolact实例分割模型的动态场景slam方法

Also Published As

Publication number Publication date
JP2005094465A (ja) 2005-04-07

Similar Documents

Publication Publication Date Title
CN102783136B (zh) 用于拍摄自我肖像图像的成像装置
JP4904243B2 (ja) 撮像装置及び撮像制御方法
JP4904108B2 (ja) 撮影装置及び画像表示制御方法
US7492406B2 (en) Method of determining clarity of an image using enlarged portions of the image
KR101626004B1 (ko) 디지털 영상처리장치에서 raw포맷을 선택적으로 지원하는 방법 및 장치
JP2002209134A (ja) デジタルカメラ
JP2005269562A (ja) 撮影装置
CN103891265A (zh) 可远程控制的数字摄影机系统
JP2006238076A (ja) 撮影装置
US20050237411A1 (en) Camera and control method for camera
US20100110267A1 (en) Digital imaging apparatus and image display method
JP2009058834A (ja) 撮像装置
JP2006054698A (ja) 手振れ補正機能を有する撮像装置
JP4977569B2 (ja) 撮影制御装置、撮影制御方法、撮影制御プログラム、および撮影装置
JP2009088710A (ja) 撮影装置、撮影方法及び撮影プログラム
JP2008244662A (ja) 電子機器、画像表示プログラム
JP4182864B2 (ja) 電子カメラ
JP4170866B2 (ja) 撮影装置
JP2002077675A (ja) 電子カメラ
JP4368783B2 (ja) 撮影装置
JP2008199443A (ja) 撮像装置およびその制御方法
JP4885084B2 (ja) 撮像装置、撮像方法、撮像プログラム
JP2005202037A (ja) 立体カメラ
US20050248677A1 (en) Image pickup device
JP2007019617A (ja) 撮影装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060518

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080805

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080807

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110815

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110815

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120815

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees