JP4725183B2 - 撮像装置、および方法 - Google Patents

Description

本発明は、撮像装置、および方法に関する。

近年、デジタルカメラに代表される撮像機器の競争の激化に伴い、民生用の撮像機器分野においても一層の高画質化、高集積化、高機能化が求められている。このため、これまで業務用途に限定されていた特殊な機能も民生用機器へ普及し始めている。通常の撮像レートよりも高速なレートで撮像を行う高速撮像機能は、上記特殊な機能の代表的なものの１つである。

従来の撮像装置において、高速レートで処理する１枚あたりの画像サイズを小さいサイズ、たとえば標準画像サイズの４分の１に変換して標準レートの画像に４枚分を埋め込むことにより、高速撮像を実現したものがあった（たとえば、特許文献１参照）。また、センサからのデータを並列に処理するような回路構造を取ることにより、単位時間あたりの画像データの処理量を増加させて、高速撮像を実現したものもあった（たとえば、特許文献２参照）。
特開平８−８８８３３号公報（段落番号〔００１１〕〜〔００１４〕、図１） 特開平８−２５１４９２号公報（段落番号〔００１８〕〜〔００２７〕、図１）

しかし、上記特許文献１記載の発明のように複数枚の画像を埋め込んで記録した画像に対し、再生時に１枚ずつ取り出して表示するためには、そのデータの記録や読み出しをするための専用の規格が必要となり、製造コストが上がることや、汎用性に欠けるといった問題があった。また、上記特許文献２記載の発明のように並列処理をするような回路を形成すると、それだけ製造コストが上がることや、携帯性が損なわれるといった問題があった。

本発明はこのような点に鑑みてなされたものであり、標準より高速な画面レートで撮像した画像を既存のビデオフォーマットで保存できる安価な撮像装置を提供することを目的とする。

また、本発明の他の目的は、標準より高速な画面レートで撮像した画像を既存のビデオフォーマットでの保存を安価に実現できる撮像方法を提供することである。

本発明では上記問題を解決するために、固体撮像素子を用いて画像を撮像する撮像装置において、撮像により得られた画像データを第１の画面レートで受け取り圧縮符号化する第１の圧縮符号化手段と、前記第１の圧縮符号化手段により圧縮符号化された画像データを一時的に記憶する一時記憶手段と、所定時間の間に撮像された画像データを、前記一時記憶手段から前記第１の画面レートより低速な第２の画面レートで読み出して伸長復号化する伸長復号化手段と、前記伸長復号化手段により伸長復号化された画像データを圧縮符号化する第２の圧縮符号化手段と、前記第２の圧縮符号化手段により圧縮符号化された画像データを記憶する記憶手段とを有することを特徴とする撮像装置が提供される。

このような撮像装置によれば、撮像により得られた画像データが第１の画面レートで第１の圧縮符号化手段に入力されて圧縮符号化され、一時記憶手段に一時的に記憶される。第１の圧縮符号化手段から一時記憶手段に対して所定時間だけ画像データが書き込まれた後、これらの画像データが伸長復号化手段により、第１の画面レートより低い第２の画面レートで読み出されて伸長復号化され、記憶手段に記憶される。ここで、たとえば、第２の画面レートを既存の標準レートとすると、撮像により標準レートより高速な画面レートの画像データが得られ、その画像データが第１の圧縮符号化手段に入力された場合でも、第２の圧縮符号化手段および記憶手段においては画像データが標準レートで処理される。

本発明の撮像装置によれば、第１の圧縮符号化手段に対して第１の画面レートで画像データが入力された場合に、第２の圧縮符号化手段および記憶手段においては第１の画面レートより低速な第２の画面レートで画像データが処理される。このため、第２の画面レートを既存の標準レートとすると、標準レートより高速な画面レートの画像データが撮像により得られた場合でも、第２の圧縮符号化手段および記憶手段として既存の回路を使用でき、かつ、記憶手段には標準レートに準拠した既存のビデオフォーマットで画像データを記録できる。また、第１の画面レートの画像データは第１の圧縮符号化手段によりデータ量が圧縮されて一時記憶手段に記憶されるので、一時記憶手段の容量を削減できる。したがって、製造コストの上昇を抑えつつ、標準レートより高速な画面レートで撮像された画像データを既存のビデオフォーマットで保存できる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は、実施の形態に係る撮像装置のシステム構成例である。図１に示す撮像装置は、イメージセンサ１０１、前処理回路１０２、カメラ信号処理回路１０３、変換処理部１０４、圧縮・伸長回路１０５、１０９、メモリ制御回路１０６、ＲＡＭ１０７、表示処理回路１０８、光ディスク１１０、モニタ１１１、および制御部１１２を備えている。

イメージセンサ１０１は、レンズユニットなどから撮像装置に取り込まれた被写体からの入射光を光電変換によって電気信号に変える装置であり、たとえばＣＭＯＳ（Complementary Metal Oxide Semiconductor）型の撮像素子が用いられている。また、イメージセンサ１０１は、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal/Noise）比を良好に保つようにサンプルホールド機能を内蔵している。

このイメージセンサ１０１は、ＮＴＳＣ方式の仕様である６０ｆｐｓ（フィールド／秒）以上のレートで高速に信号を読み出すことができる。ここでは、たとえば、イメージセンサ１０１が高速に信号を読み出す高速レートモードに切り替えたときには標準レートの４倍である２４０ｆｐｓで読み出すものとする。

イメージセンサ１０１は、たとえば１ライン分の画素信号を出力するときに、２次元配列してある撮像素子の隣接している同色の画素の信号を加算して同時に出力することによって、画角を変えることなく、画像サイズを小さくする機能、すなわち１コマあたりの画像データ量を減らす機能を持っている。このような画素加算により、画素信号の読み出し周波数を高めることなく、画面の切替レートを高めることができる。なお、加算する画素の数を調節することで、任意の画面レートで出力できるようにしてもよい。

前処理回路１０２は、イメージセンサ１０１から出力された画像信号に対して、ＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ変換を行ってデジタル画像信号を出力する。カメラ信号処理回路１０３は、前処理回路１０２からの画像信号に対して、ホワイトバランス調整処理や色補正処理、ＡＦ（Auto Focus）処理、ＡＥ（Auto Exposure）処理などのカメラ信号処理を施す。なお、高速レートモードでは、イメージセンサ１０１からの画像信号の解像度が標準レートモードより低いため、前処理回路１０２およびカメラ信号処理回路１０３では、動作周波数を高めることなく画像信号を処理することができる。

変換処理部１０４は、カメラ信号処理回路１０３から受け取った画像信号に対して、サイズ調整と表示間引きを行う。また、圧縮・伸長回路１０５から受け取った画像信号に対して、サイズ調整を行う。なお、表示間引きは表示処理回路１０８に出力するときのみ行う。ここで表示間引きとは、撮像装置１００が高速レートモードのときに映し出す表示装置の表示規格で規定されている単位時間あたりのフィールド数（ここでは６０ｆｐｓ）に合うように、余分なフィールドを間引くことである。変換処理部１０４は、カメラ信号処理回路１０３から受け取った画像信号に対してサイズ調整を行うとき、圧縮・伸長回路１０５と表示処理回路１０８へは、それぞれ別々のサイズに調整して出力することが可能である。

圧縮・伸長回路１０５は、変換処理部１０４からの画像信号に対して、たとえばＪＰＥＧ（Joint Photographic Experts Group）などの静止画像の符号化方式で圧縮符号化処理を行う。また、メモリ制御回路１０６から供給された静止画像の符号化データに対して伸長復号化処理を行う。メモリ制御回路１０６は、ＲＡＭ１０７に対する画像データの書き込みおよび読み込みを制御する。ＲＡＭ１０７は、メモリ制御回路１０６から受け取った画像データを一時的に保存するＦＩＦＯ（First In First Out）方式のメモリであり、たとえば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などを用いる。

表示処理回路１０８は、変換処理部１０４または圧縮・伸長回路１０９から受け取った画像信号から、モニタ１１１に表示させるための画像信号を生成して、この信号をモニタ１１１に送り、画像を表示させる。モニタ１１１は、たとえばＬＣＤ（Liquid Crystal Display）からなり、撮像中のカメラスルー画像や光ディスク１１０に記録されたデータを再生した画像などを表示する。

圧縮・伸長回路１０９は、変換処理部１０４から受け取った画像データに対して、たとえばＭＰＥＧ（Moving Picture Experts Group）などの動画像の符号化方式で圧縮符号化処理を行う。また、光ディスク１１０から供給された動画の符号化データに対して伸長復号化処理を行い、表示処理回路１０８に出力する。モニタ１１１は、表示処理回路１０８から受け取った動画を表示する。なお、モニタ１１１を、撮像装置１００の外部に設け、モニタ１１１の代わりに外部出力のためのインタフェイスを撮像装置１００に設けておいてもよい。

制御部１１２は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコントローラであり、ＲＯＭなどに記憶されたプログラムを実行することにより、撮像装置の各部を統括的に制御する。

なお、ＭＰＥＧ符号化した画像データを保存する記録媒体としては、上記の光ディスク１１０に限らず、たとえば磁気テープ、フラッシュメモリなどの半導体メモリ、ＨＤＤなどを用いてもよい。この記録媒体は基本的には脱着可能なものが適用されるが、脱着不能として、記録したデータを通信インタフェイスを介して外部に出力できるようにしてもよい。

図２は、高速レートモードでのデータフロー図である。図２に示す機能ブロックは、図１のシステム構成例で示した撮像装置１００のブロックの一部である。
なお、太線で示した各矢印はデータの流れを示している。以下、各矢印に付した番号に沿って処理を説明する。

〔フロー（１）〕変換処理部１０４は、カメラ信号処理回路１０３から２４０ｆｐｓで送出される画像信号を、ＮＴＳＣ規格の仕様である６０ｆｐｓになるようにフィールド数を４分の１に間引きして表示処理回路１０８へ送る。そして、表示処理回路１０８は、変換処理部１０４から受け取った画像信号から、モニタ１１１に表示させるための画像信号を生成して、この信号をモニタ１１１に送り、画像を表示させる。

〔フロー（２）〕変換処理部１０４は、ユーザ操作に応じて制御部１１２から高速撮像した映像の記録開始要求を受け取ると、圧縮・伸長回路１０５に対してもサイズ調節した画像信号を送る。このとき、画像信号の間引きは行わない。変換処理部１０４は、カメラ信号処理回路１０３から受け取った画像信号を、たとえば５１２ピクセル×１９２ピクセルにサイズを変更して、圧縮・伸長回路１０５へ送る。このときのサイズ調節は、圧縮・伸長回路１０５やＲＡＭ１０７の仕様に合わせるためのものである。

圧縮・伸長回路１０５は、変換処理部１０４から画像信号を受け取ると、制御部１１２の指示に従って画像信号に対してＪＰＥＧ形式で圧縮符号化処理を行う。メモリ制御回路１０６は、圧縮・伸長回路１０５から受け取った符号化データをＲＡＭ１０７に一時記憶する。このようにして、ＲＡＭ１０７には一定時間分の画像データが蓄積される。

〔フロー（３）〕メモリ制御回路１０６は、ＲＡＭ１０７に一時記憶した符号化データの読み出し要求を制御部１１２から受け取ると、ＲＡＭ１０７に記憶されている符号化データを６０ｆｐｓで読み出して圧縮・伸長回路１０５へ送る。圧縮・伸長回路１０５は、メモリ制御回路１０６から符号化データを受け取ると伸長復号化処理を行い、変換処理部１０４へ送る。変換処理部１０４は、制御部１１２から光ディスク１１０への記録要求を受け取ると、圧縮・伸長回路１０５から受け取った画像信号を圧縮・伸長回路１０９へ送る。圧縮・伸長回路１０９は、変換処理部１０４から受け取った画像信号を、ＭＰＥＧ形式の動画に変換し、光ディスク１１０へ記憶する。

〔フロー（４）〕変換処理部１０４は、圧縮・伸長回路１０５から６０ｆｐｓで受け取った画像信号をサイズ調整し、表示処理回路１０８へ送る。なお、フロー（４）では、フロー（３）で変換処理部１０４から出力されるデータが、表示処理回路１０８に並列に同時に出力されてもよい。

このような動作により、圧縮・伸長回路１０９や表示処理回路１０８など、標準レートで動作する既存の回路を使用できる部分が多くなり、かつ、光ディスク１１０には標準レートに準拠した既存のビデオフォーマットで画像データを記録できる。また、圧縮・伸長回路１０５によりデータ量が圧縮されてＲＡＭ１０７に記憶されているので、ＲＡＭ１０７の容量を抑制できる。

図３は、実施の形態に係る撮像装置の動作例を示すタイミングチャートである。
〔時間Ｔ１〕撮像装置１００は、電源が投入されると標準レートモードで起動する。なお、標準レートモードでは、６０ｆｐｓで撮像された画像信号が、カメラ信号処理回路１０３から変換処理部１０４を介して表示処理回路１０８に供給され、これによりモニタ１１１にカメラスルー画像が表示される。また、撮像画像を保存する場合には、６０ｆｐｓの画像信号がカメラ信号処理回路１０３から変換処理部１０４を介して圧縮・伸長回路１０９に供給され、ＭＰＥＧ方式で圧縮符号化されて光ディスク１１０に記録される。

〔時間Ｔ２〕撮像装置１００は、ユーザの操作入力により標準レートモードから高速レートモードへの変更を要求されると、制御部１１２から高速レートモードへの変更指示が出力され、高速レートモードへ変更される。ここで、時間Ｔ２〜Ｔ４までが、図２で示したフロー（１）でデータが流れている状態である。

〔時間Ｔ３〕撮像装置１００は、ユーザから記録開始要求を受け取ると、２４０ｆｐｓの高速レートでＲＡＭ１０７への一時記録動作を開始する。このとき、図２で示したフロー（２）でデータが流れ、フロー（１）および（２）の双方のデータの流れが発生している状態となる。

〔時間Ｔ４〕撮像装置１００は、ＲＡＭ１０７の容量が記憶した画像データで満杯になると、高速レートでの撮影および記録を自動で停止し、データ再生および光ディスク１１０への記録を行う。すなわち、ＲＡＭ１０７に記憶されている動画のデータを６０ｆｐｓで読み出して圧縮・伸長回路１０５へ送り、伸長復号化して変換処理部１０４に出力する。変換処理部１０４から出力された画像信号は圧縮・伸長回路１０９に入力され、圧縮・伸長回路１０９は、受け取った画像信号をＭＰＥＧ形式に圧縮符号化処理を行い、光ディスク１１０へ記録する。これとともに、変換処理部１０４からの画像信号は表示処理回路１０８にも並列に同時に出力され、動画がモニタ１１１に表示される。このとき、２４０ｆｐｓで撮影された画像データを間引きすることなく６０ｆｐｓで出力する。つまり、撮影時の４分の１の速度によるスロー再生が行われる。たとえば、時間Ｔ３〜Ｔ４までを３秒とすると、時間Ｔ３〜Ｔ４までの３秒間に７２０コマ撮影されＲＡＭ１０７に記憶されていることになる。そして、データ再生を行うときには標準レートである６０ｆｐｓで出力されるので、時間Ｔ４〜Ｔ５までの時間は撮影時間の４倍の１２秒間となる。このデータ再生および光ディスク１１０への記録が行われるとき、図２で示したフロー（１）および（２）が終了し、フロー（１）および（２）の双方のデータの流れが発生している状態となる。

〔時間Ｔ５〕撮像装置１００は、データ再生および光ディスク１１０へデータ記録が終了すると、高速レートモードで撮影待機状態になる。このとき、図２で示したフロー（４）および（５）が終了し、フロー（１）のデータの流れが発生している状態となる。

〔時間Ｔ６〕撮像装置１００は、ユーザから標準レートモードへの変更要求を受け取ると標準レートモードで撮影待機状態になる。
以上説明したように、本実施の形態の撮像装置１００では、高速レートモードで撮像した画像データをそのレートのまま一旦ＲＡＭ１０７に蓄積した後、標準レート（６０ｆｐｓ）でＲＡＭ１０７から読み出して光ディスク１１０に記録する。このため、圧縮・伸長回路１０９や光ディスク１１０への記録処理系の回路や機構を、標準レートモードで使用するものと共用することができ、装置の製造コストを抑制することができる。また、高速な画面レートで撮像したにもかかわらず、標準レートの既存のビデオフォーマットでエンコードして光ディスク１１０に記録することができる。なお、記録した動画像は、圧縮・伸長回路１０９で通常と同様に伸長復号化処理し、表示処理回路１０８を介してモニタ１１１に送ることで、スロー再生させることができる。また、同じビデオフォーマットに対応する他の再生装置で、同様にスロー再生させることができる。

さらに、上記の図３の動作例では、高速レートモードで撮像画像を記録する際（時間Ｔ４〜Ｔ５）には、所定時間分の動画像をＲＡＭ１０７に一時的に記録した後、光ディスク１１０への記録を実行しながら、スロー再生した再生画像を表示処理回路１０８で視認することができ、光ディスク１１０への記録時にユーザが記録画像を確認できるとともに、ユーザに自然な操作感を与えることができる。そして、この際にも、表示処理回路１０８は、標準レートモードで使用されるものと共用されるので、一層の製造コストの抑制効果が得られる。また、高速レートモードでの画角合わせ時（時間Ｔ２〜Ｔ３）や、ＲＡＭ１０７への記録時（時間Ｔ３〜Ｔ４）でも、変換処理部１０４で間引かれた画像が表示処理回路１０８に送られることで撮像画像をモニタ１１１で視認でき、ユーザの操作感を損なうことがない。そして、その際にも表示処理回路１０８を標準レートモードと共用できる。

また、高速レートモードでの撮像画像のデータは、圧縮・伸長回路１０５によりデータサイズが圧縮されてＲＡＭ１０７に記録されるので、ＲＡＭ１０７の容量を抑制し、回路規模や製造コストを抑制できる。従って、標準より高速な画面レートで撮像した画像を、標準レートで処理する既存の回路や機構に最小限の回路を付加することで、既存のビデオフォーマットで記録媒体に記録することができるので、装置の大型化や製造コストの上昇を抑制しながらも、ユーザにとって便利で付加価値の高い機能を搭載することが可能となる。

ここで、既存の回路に付加される回路の製造コストについて補足説明する。圧縮・伸長回路１０９のように動画像をエンコードする回路は、動画像規格で規定された一定の画面レートおよび解像度で動画像データを処理するものである。このため、規格外の画面レート、特に標準より高速な画面レートで処理できるようにするためには、その回路の開発・製造のコストが大幅に高くなってしまう。

これに対して、最近の撮像素子の解像度は動画像規格で定められた解像度よりはるかに高くなる傾向にあり、このような高解像度の静止画像をエンコードする回路は数多く存在する。このような回路では、解像度を落とした場合には処理速度を高めることができる。従って、高速な画面レートで処理する圧縮・伸長回路１０５として静止画像用の回路を用いることで、動画像用エンコーダの処理速度を高めた場合と比較して製造コストを抑えることができる。

さらに、上記の撮像装置１００では、圧縮・伸長回路１０５を用いて、動画像のデータ（ここではＭＰＥＧデータ）だけでなく、静止画像のデータ（ここではＪＰＥＧ）を光ディスク１１０に記録できるようにしてもよい。このように、動画像と静止画像の双方の圧縮データを記録媒体に記録できる装置の場合には、回路構成を変更することなく、高速レートモードの撮像画像を光ディスク１１０に記録できるようになる。

さらに、図４は、圧縮・伸長回路１０５の画像圧縮処理時における制御部１１２の処理を示すフローチャートである。以下、図４に示す処理をステップ番号に沿って説明する。
以下の処理にあたり、高速レートモードで記録する画像の時間や、ＲＡＭ１０７の容量、画面レート、圧縮・伸長回路１０５で処理する画像の解像度に応じて、上記時間分の画像データがＲＡＭ１０７の容量いっぱいに蓄積されるように、画像データ１枚あたりの量子化スケール値の初期値Ｑａｖｅをあらかじめ求めておき、制御部１１２内のＲＯＭなどに保存しておく。

〔ステップＳ１１〕圧縮・伸長回路１０５は、圧縮符号化処理するたびに、そのときの符号量Ｃｒｅｓを制御部１１２に通知する機能を備えている。制御部１１２は、圧縮・伸長回路１０５から前フィールドの画像信号の符号量Ｃｒｅｓをもとに量子化スケール値Ｑｒｅｓを求め、保持していた量子化スケール値の初期値Ｑａｖｅとの差分Δを求める。

〔ステップＳ１２〕差分Δを初期値Ｑａｖｅに加算し、画像信号に対して圧縮符号化処理を行うとき、急激に画質が変化しないようにあらかじめ決めておいた時定数Ｔで除算する。その結果を次の画像信号に対する目標量子化スケール値Ｑｔｇｔとする。

〔ステップＳ１３〕画像信号に対して圧縮符号化処理を行うとき、圧縮率が高すぎると符号量が小さくなるが画像のノイズが増える。一方、圧縮率が低すぎると、データサイズが大きくなって所望の秒数の動画をＲＡＭ１０７に記憶できなくなる。そこで、目標量子化スケール値Ｑｔｇｔに対して一定の範囲を設け、制御部１１２は、ステップＳ１２で算出された目標量子化スケール値Ｑｔｇｔが規定範囲内に入っているか判断する。範囲内に入っていると判断した場合は、処理をステップＳ１４へ進め、範囲内に入っていないと判断した場合は、処理をステップＳ１５へ進める。

〔ステップＳ１４〕制御部１１２は、圧縮・伸長回路１０５に目標量子化スケール値Ｑｔｇｔを設定し、圧縮符号化処理を実行させる。
〔ステップＳ１５〕規定の範囲を超えていた場合には、目標量子化スケール値Ｑｔｇｔを規定値に設定し直す。具体的には、規定の範囲を超えていると判断された場合は、範囲内の最大値を目標量子化スケール値Ｑｔｇｔの値とし、規定の範囲を下回っていた場合は、範囲内の最小値を目標量子化スケール値Ｑｔｇｔの値とする。

以上の図４の処理により、高速レートモードでの撮像画像の画質劣化を最小限に留めながら、ＲＡＭ１０７の容量をできるだけ満たすように撮像画像のデータが記録される。このような処理は、動画像データのＶＢＲ（Variable Bit Rate）記録機能を持つ撮像装置やビデオレコーダなどにおいて従来から一般的に用いられているものであり、このような既存の技術を本実施の形態に応用することで、製造・開発コストを抑制しながらも、高速レートでの撮像画像の画質劣化を抑え、かつＲＡＭ１０７の容量を抑えて回路規模や製造コストを抑制する効果が得られる。

ところで、上記実施の形態では、高速レート記録をした後すぐにデータ再生および光ディスク１１０への記録を開始するようにしていたが、記録後にすぐには光ディスク１１０への記録を行わず、いったんデータ再生のみを行い、ユーザの指示を待って光ディスク１１０への記録を行わせてもよい。その場合のタイミングチャートを以下に示す。

図５は、いったんデータ再生のみを行う場合の動作例を示すタイミングチャートである。
〔時間Ｔ１１〕撮像装置１００は、電源が投入されると標準レートモードで起動する。

〔時間Ｔ１２〕撮像装置１００は、ユーザから標準レートモードから高速レートモードへの変更要求を受け取ると、制御部１１２から高速レートモードへの変更指示が出力され、高速レートモードへ変更される。時間Ｔ１２〜Ｔ１４までが、図２で示したフロー（１）でデータが流れている状態である。

〔時間Ｔ１３〕撮像装置１００は、ユーザから記録開始要求を受け取ると、高速レートでＲＡＭ１０７への一時記録動作を開始する。このとき、図２で示したフロー（２）でデータが流れ、フロー（１）および（２）の双方のデータの流れが発生している状態になる。

〔時間Ｔ１４〕撮像装置１００は、ＲＡＭ１０７の容量が記憶した画像データで満杯になると、高速レートでの撮影および記録を自動で停止し、データ再生を行う。このとき、２４０ｆｐｓで撮影された画像データを間引きすることなく６０ｆｐｓで出力する。つまり、通常の４分の１の再生スピードのスロー再生が行われる。このとき、図２で示したフロー（２）が終了し、（３）のデータの流れが発生している状態となる。

なお、表示処理回路１０８などの変換処理部１０４から６０ｆｐｓで画像信号が出力される装置は従来の装置をそのまま転用することができるので、高速撮像という新たな機能を、コストをほとんどかけることなく導入することが可能である。

〔時間Ｔ１５〕メモリ制御回路１０６は、ユーザから光ディスク１１０への記録要求を受け取ると、ＲＡＭ１０７に記憶されている動画を読み出し圧縮・伸長回路１０５へ送り、伸長され、変換処理部１０４および表示処理回路１０８を介してモニタ１１１から表示される。また、変換処理部１０４から出力された画像信号は圧縮・伸長回路１０９にも並列に入力される。圧縮・伸長回路１０９は、受け取った画像信号をＭＰＥＧ形式に圧縮符号化処理を行い、光ディスク１１０へ記録する。

たとえば、時間Ｔ１３〜Ｔ１４までを３秒とすると、時間Ｔ１３〜Ｔ１４までの３秒間に７２０コマ撮影されＲＡＭ１０７に記憶されていることになる。そして、データ再生を行うときには標準レートである６０ｆｐｓで出力されるので、時間Ｔ１５〜Ｔ１６までの時間は撮影時間の４倍の１２秒間となる。このデータ再生および光ディスク１１０への記録が行われるとき、図２で示したフロー（４）が開始され、フロー（３）および（４）の双方のデータの流れが発生している状態になる。

〔時間Ｔ１６〕撮像装置１００は、データ再生および光ディスク１１０へデータ記録が終了すると、高速レートモードで撮影待機状態になる。このとき、図２で示したフロー（３）および（４）は終了し、フロー（１）のデータの流れが発生している状態となる。

〔時間Ｔ１７〕撮像装置１００は、ユーザから標準レートモードへの変更要求を受け取ると標準レートモードで撮影待機状態になる。
以上の図５の動作では、高速レートによる撮像画像を一旦ＲＡＭ１０７に格納した後、時間Ｔ１４〜Ｔ１５においてその撮像画像を再生してユーザが確認した後、ユーザが必要に応じて撮像画像のデータを光ディスク１１０に記録させることができる。従って、保存の必要がない画像データが光ディスク１１０に書き込まれ、その後にユーザの操作により削除する手間を省くことができ、光ディスク１１０の容量の使用効率の向上効果も得られる。

なお、上記の実施の形態で示したＲＡＭ１０７を可搬型記録媒体に変更してもよい。その場合、高速レートモードで生成されたＪＰＥＧ形式の画像データが直接可搬型記録媒体に記録され、ＭＰＥＧ形式で圧縮符号化処理を行わなくても高速撮像した画像を見ることができる。また、ＲＡＭ１０７は、ハードディスクなどの比較的アクセス速度が速く、かつ大容量なメモリへ変更することもでき、その場合には長時間の記録が可能となる。

また、本発明は、上記のような撮像装置（デジタルビデオカメラ、デジタルスチルカメラ）以外に、例えば、携帯電話機、ＰＤＡ（Personal Digital Assistants）などの撮像機能を持つ装置に適用可能である。また、ＰＣ（パーソナルコンピュータ）などに接続されるテレビ電話用あるいはゲームソフト用などの小型カメラによる撮像信号に対する処理装置や記録装置にも、本発明を適用することができる。

実施の形態に係る撮像装置のシステム構成例である。 高速レートモードでのデータフロー図である。 実施の形態に係る撮像装置の動作例を示すタイミングチャートである。 圧縮・伸長回路の画像圧縮処理時における制御部の処理を示すフローチャートである。 いったんデータ再生のみを行う場合の動作例を示すタイミングチャートである。

符号の説明

１００……撮像装置、１０１……イメージセンサ、１０２……前処理回路、１０３……カメラ信号処理回路、１０４……変換処理部、１０５、１０９……圧縮・伸長回路、１０６……メモリ制御回路、１０７……ＲＡＭ、１０８……表示処理回路、１１０……光ディスク、１１１……モニタ、１１２……制御部

Claims (8)

1. 撮像手段と、
   前記撮像手段により得られた画像信号に対して画像サイズの調整を行うサイズ調整手段と、
   入力画像信号を静止画像フォーマットで圧縮して符号化データを得る第１の圧縮符号化手段と、
   前記第１の圧縮符号化手段により得られた符号化データを伸張復号化する伸張復号化手段と、
   入力画像信号を動画像フォーマットで圧縮符号化する第２の圧縮符号化手段と、
   を有し、
   前記撮像手段から第１の画面レートの画像信号を得る第１の動作モードでは、前記撮像手段により得られた前記第１の画面レートの画像信号を前記サイズ調整手段でサイズ調整し、サイズ調整された画像信号を前記第１の圧縮符号化手段で圧縮して符号化データを得て、得られた符号化データを記憶手段に記憶する第１の処理と、前記記憶手段に記憶した符号化データを読み出して前記伸張復号化手段によって伸張復号化し、伸張復号化された画像信号を前記第１の画面レートより低い第２の画面レートの画像信号として前記第２の圧縮符号化手段で圧縮して符号化データを出力する第２の処理とを行い、
   前記撮像手段から前記第２の画面レートの画像信号を得る第２の動作モードでは、前記撮像手段により得られた前記第２の画面レートの画像信号を、前記第１の圧縮符号化手段での圧縮処理および前記伸張復号化手段での伸張復号化処理を施すことなく、前記第２の圧縮符号化手段で圧縮して符号化データを出力する、
   ことを特徴とする撮像装置。
2. 前記第１の動作モードにおいて、前記サイズ調整手段は、前記第１の圧縮符号化手段および前記記憶手段の仕様に合わせて、前記第１の画面レートの画像信号に対するサイズ調整を行うことを特徴とする請求項１記載の撮像装置。
3. 前記第１の動作モードでは、前記第１の処理を開始した後、前記記憶手段の容量が満杯になったとき、前記第１の処理を停止するとともに、前記第２の処理を開始することを特徴とする請求項１または２記載の撮像装置。
4. 前記第１の動作モードにおいて、前記第２の圧縮符号化手段による圧縮符号化処理の実行中に、前記伸張復号化手段によって伸張復号化された画像信号を基に、前記第２の画面レートを持つ表示用の画像信号を生成する表示処理手段をさらに有することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記撮像手段は、２次元配列された所定数の画素を備える固体撮像素子を有し、
   前記固体撮像素子は、前記第１の動作モードでは、前記所定数の画素のうち、隣接する同色のフィルタの画素の信号を読み出して各信号を加算することで、画角を変えずに前記第１の画面レート画像信号を出力する、
   ことを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
6. 撮像手段を用いて画像を撮像する撮像方法において、
   前記撮像手段から第１の画面レートの画像信号を得る第１の動作モードでは、
   前記撮像手段により得られた前記第１の画面レートの画像信号をサイズ調整手段がサイズ調整し、サイズ調整された画像信号を第１の圧縮符号化手段が静止画像フォーマットで圧縮して符号化データを得て、得られた符号化データを記憶手段に記憶する第１の処理と、
   前記記憶手段に記憶した符号化データを読み出して伸張復号化手段が伸張復号化し、伸張復号化された画像信号を前記第１の画面レートより低い第２の画面レートの画像信号として第２の圧縮符号化手段が動画像フォーマットで圧縮して符号化データを出力する第２の処理とを行い、
   前記撮像手段から前記第２の画面レートの画像信号を得る第２の動作モードでは、前記撮像手段により得られた前記第２の画面レートの画像信号を、前記第１の圧縮符号化手段での圧縮処理および前記伸張復号化手段での伸張復号化処理を施すことなく、前記第２の圧縮符号化手段が動画像フォーマットで圧縮して符号化データを出力する、
   ことを特徴とする撮像方法。
7. 前記第１の動作モードにおいて、前記サイズ調整手段は、前記第１の圧縮符号化手段および前記記憶手段の仕様に合わせて、前記第１の画面レートの画像信号に対するサイズ調整を行うことを特徴とする請求項６記載の撮像方法。
8. 前記第１の動作モードでは、前記第１の処理を開始した後、前記記憶手段の容量が満杯になったとき、前記第１の処理を停止するとともに、前記第２の処理を開始することを特徴とする請求項６または７記載の撮像方法。

Images