JP6520566B2 - 画像記録装置 - Google Patents

Description

本発明は、カメラなどの撮像装置によって得られる画像ファイルの記録処理に関し、特に、サムネイル画像などの表示用画像の記録処理に関する。

デジタルカメラ、ビデオカメラなどでは、動画像、静止画像を含めた撮影画像を記録、再生可能である。記録画像を再生表示する場合、代表的なフレーム画像をそれぞれ集め、サムネイル表示などにより一覧表示することで、ユーザは記録画像全体の中から所望する画像を選択することができる。記録された撮影画像に基づいて表示用画像を生成することは処理時間を要するため、撮影画像の記録と同時に、その撮影画像の代表フレーム画像（例えば、記録開始時）を選んで表示用画像を生成する。表示用画像は圧縮処理された後、動画像データとは別に表示用画像データとしてメモリに記録される（例えば、特許文献１参照）。

一方、動画像編集では、サムネイル画像に使用する代表フレーム画像をユーザが選択可能であり、動画像ファイルとは別にサムネイル画像を格納するサムネイルファイルを作成し、動画像データのフレーム画像とサムネイル画像とを対応付けるようにファイル管理する。編集作業によって別の場面のフレーム画像をサムネイル画像とする場合、そのフレーム画像からサムネイル画像を生成し、初めにエントリーしたサムネイル画像を新たサムネイル画像に更新する（特許文献２参照）。

特開２００１−２３８１７５号公報 特開２００５−３３３８１号公報

サムネイル画像など表示用画像を作成し、記録する場合、記録容量の制限、ファイル管理の容易さなどから、表示用画像の格納領域を固定させることが望ましい。しかしながら、被写体の色情報はフレーム画像によって相違し、表示用画像の圧縮サイズは、選ばれた代表フレーム画像によって異なる。そのため、更新する表示用画像の圧縮画像サイズが記録された表示用画像の圧縮画像サイズより大きい場合、更新処理が煩雑になる。

したがって、煩雑な処理を行うことなく、表示用画像を容易に更新できることが求められる。

本発明の画像記録装置は、撮影画像を撮影画像ファイルに記録するとともに、撮影画像に基づいた表示用画像を圧縮処理して所定ファイルに記録する画像記録処理部と、表示用画像の圧縮率を調整する記録制御部とを備える。画像記録装置は、例えば撮像装置に備えられる。撮像装置は、記録された複数の撮影画像に応じた複数の表示用画像を、画面に表示する再生表示処理部を備え、例えば記録されたサムネイル画像を一覧表示する。

本発明の画像記録処理部は、所定ファイルに定められた表示画像格納領域に格納されている表示用画像を、別の撮影画像に基づいた表示用画像に更新する。更新される表示用画像を構成する「別の撮影画像」は、動画像撮影、インターバル撮影など、撮影シーケンスに従って一連のフレーム画像を記録していくときに別の場面のフレーム画像に相当する。画像記録処理部は、撮影画像を記録している間に表示用画像を定期的に更新することができる。例えば、インターバル合成撮影によって得られる撮影画像に基づいて生成される表示用画像を、所定撮影回数ごとに更新する。また、画像記録処理部は、初回の表示用画像記録の時、撮影画像ファイルに表示画像格納領域を設定することができる。

本発明の記録制御部は、新たな表示用画像の圧縮処理後画像サイズが表示画像格納領域以下に収まるように、表示用画像の圧縮率を調整する。記録制御部は、初回の表示用画像記録の時、圧縮後画像サイズが最大となる圧縮率を設定し、表示画像更新の時、初回の表示用画像記録時に定められた圧縮率以上の圧縮率によって表示用画像を圧縮処理することができる。例えば、記録制御部は、画像圧縮方式に従って定められる複数の圧縮率の中で最も低い圧縮率を設定する。あるいは、記録制御部は、初回の表示用画像記録の時、所定の圧縮率を設定し、表示画像更新の時、初回の表示用画像記録時に定められた圧縮率以上の圧縮率を定めることができる。

本発明の画像記録方法は、撮影画像を撮影画像ファイルに記録するとともに、撮影画像に基づいた表示用画像を圧縮処理して所定ファイルに記録し、表示用画像の圧縮率を調整する画像記録方法であって、所定ファイルに定められた表示画像格納領域に格納されている表示用画像を、別の撮影画像に基づいた表示用画像に更新し、新たな表示用画像の圧縮処理後画像サイズが表示画像格納領域以下に収まるように、表示用画像の圧縮率を調整する。

本発明のプログラムは、撮像装置を、撮影画像を撮影画像ファイルに記録するとともに、撮影画像に基づいた表示用画像を圧縮処理して所定ファイルに記録する画像記録処理手段と、表示用画像の圧縮率を調整する記録制御手段として機能させ、所定ファイルに定められた表示画像格納領域に格納されている表示用画像を、別の撮影画像に基づいた表示用画像に更新するように、画像記録手段として機能させ、新たな表示用画像の圧縮処理後画像サイズが表示画像格納領域以下に収まるように、表示用画像の圧縮率を調整するように、記録制御手段として機能させる。

本発明によれば、撮影画像の記録に合わせて表示用画像を記録する場合、表示用画像を容易に更新することができる。

本実施形態であるデジタルカメラのブロック図である。 サムネイル表示画面を示した図である。 動画像記録処理などによって作成される画像ファイルを示している。 記録媒体制御部を含むコントローラによって実行されるインターバル合成撮影時のサムネイル画像更新処理を示した図である。

以下では、図面を参照して本実施形態であるデジタルカメラについて説明する。

図１は、本実施形態であるデジタルカメラのブロック図である。図２は、サムネイル表示画面を示した図である。

デジタルカメラ１０では、モードダイヤル、レリーズボタン、十字ボタン、実行ボタン（いずれも図示せず）などに対する入力操作に従い、撮影、記録、再生、モード設定などが行われる。ＣＰＵ、ＲＡＭなどを含むコントローラ３０は、画像信号処理回路２０などに制御信号を出力し、レリーズスイッチ３７、ボタンスイッチ４５によって検出されるレリーズボタンその他のボタンに対する操作に応じて、露出制御、記録動作、再生表示動作などカメラ全体の動作制御を行う。カメラ動作制御のプログラムは、図示しないＲＯＭなどの記録媒体に記憶されている。

電源ＯＮ状態になって撮影モードが設定されると、スルー画像がＬＣＤ６０に表示される。撮影光学系１２は、被写体からの光が入射するとイメージセンサ１４に光を結像し、これによって被写体像がイメージセンサ１４に形成される。イメージセンサ１４は、ＣＣＤ、ＣＭＯＳセンサなどによって構成されており、Ｒ，Ｇ，Ｂなどのカラーフィルタアレイ（図示せず）などがイメージセンサ１４の受光面上に配置されている。

１フィールド又は１フレーム分の画素信号が所定の時間間隔（例えば、１／６０秒あるいは１／３０秒）でイメージセンサ１４から読み出され、読み出された画素信号はＡＦＥ回路（図示せず）を経由して画像信号処理回路２０に送られる。画像信号処理回路２０では、ゲイン処理、色変換処理、ホワイトバランス調整などが、画素信号に対して施される。これにより、Ｒ，Ｇ，Ｂのカラー画像信号が生成される。

生成されたＲ，Ｇ，Ｂカラー画像信号は、コントローラ３０の画像メモリ（図示せず）に一時的に格納された後、ＬＣＤ駆動回路３９へ送られる。ＬＣＤ駆動回路３９は、画像データに基づいてＬＣＤ６０を駆動し、これによってリアルタイムの動画像がＬＣＤ６０に表示される。

レリーズボタンが半押しされると、イメージセンサ１４から読み出される画素信号に基づいて、コントラスト式ＡＦ処理が実行される。コントローラ３０は、レンズ駆動部３６を制御して撮影光学系１２を駆動し、コントラスト値がピークとなる合焦位置を検出する。また、コントラスト式ＡＦ処理とともに、イメージセンサ１４から読み出される画素信号に基づいて被写体像の明るさが検出され、露出値が演算される。

レリーズボタンが全押しされると、露出制御部３２は、露出値に基づいて図示しないシャッタ、絞り等を駆動し、露出制御する。これにより、１フレーム分の画素信号がイメージセンサ１４から読み出される。画像信号処理回路２０は、読み出された１フレーム分の画素信号に基づいて静止画像データを生成し、圧縮処理を施す。ここでは、ＪＰＥＧ方式に従って圧縮処理が実行される。記録媒体制御部４９は、圧縮された静止画像データをメモリカード４８に記録する。

デジタルカメラ１０では、通常の撮影モードとともに、動画像モード、インターバル撮影モード、多重露出モード、インターバル合成撮影モードを設定することが可能である。動画像モードの場合、レリーズボタンの押下に応じて動画像の記録処理が実行される。画像信号処理回路２０では、１／３０秒間隔でイメージセンサ１４から読み出される１フレーム分の画素信号に基づいて画像データが生成され、Ｍｏｔｉｏｎ ＪＰＥＧ方式、Ｈ．２６４などの動画圧縮規格に従って順次圧縮処理される。記録媒体制御部４９は、圧縮されたフレーム画像データをメモリカード４８に記録する。

インターバル撮影モードが設定された場合、レリーズボタンが全押しされると、あらかじめ定められた時間間隔（例えば数秒〜数十秒）に従って撮影動作が実行される。記録媒体制御部４９は、定期的に行われる撮影動作によって得られるフレーム画像データを圧縮処理してメモリカード４８に順次記録していく。多重露出撮影モードでは、任意の撮影枚数分だけ撮影動作が繰り返し実行され、得られた撮影画像を合成した画像を記録する。

インターバル合成撮影モードが設定されると、多重露光とインターバル撮影とを組み合わせた撮影動作が実行される。すなわち、インターバル撮影によって得られる撮影画像を順次と合成し、最終的にすべての撮影画像を合成した画像を記録する。これにより、撮影期間全体に渡る星の軌跡が写し出された写真などを得ることができる。

再生モードが設定されると、マルチ画面表示が設定されている場合、図２に示すように、記録されている画像がサムネイル表示される。ここでは、静止画像、動画像など撮影画像の記録順でサムネイル画像が一覧表示される。サムネイル画像のサイズについては様々に設定可能であり、図２より画像サイズを大きくしてもよい。例えば、ＬＣＤ画面６０Ｓ全体の１／４程度に相当するサイズでサムネイル画像を一覧表示してもよい。ユーザによって所定のサムネイル画像が選択されると、メモリカード４８に記録された撮影画像データの中で選択されたサムネイル画像に応じた画像データが復元処理され、ＬＣＤ６０の画面６０Ｓ全体に表示される。

動画像撮影、インターバル撮影、インターバル合成撮影によって記録される撮影画像データは、一連の時系列フレーム画像（シーケンス画像）から構成されている。サムネイル表示では、これら一連のフレーム画像の中で代表的なフレーム画像に基づいたサムネイル画像を表示する。動画像撮影の場合、記録開始時に得られるフレーム画像に応じたサムネイル画像が再生表示される。一方、インターバル合成撮影の場合、最終的に得られる合成画像に応じたサムネイル画像が再生表示される。

画像信号処理回路２０では、静止画像、動画像などの記録処理時にフレーム画像（動画像などの場合は代表的フレーム画像）の解像度変換を行い、サムネイル画像を生成する。記録媒体制御部４９は、サムネイル画像データを圧縮処理してメモリカード４８に記録する。一方、インターバル合成撮影の場合、所定の撮影回数間隔でサムネイル画像を生成、圧縮処理し、メモリカード４８に記録されているサムネイル画像データを更新する。

図３は、動画像記録処理などによって作成される画像ファイルを示している。画像ファイル７０は、管理情報などが含まれるヘッダ部７２と、サムネイル画像データが格納される表示画像データ部７４、一連のフレーム画像から構成される撮影画像データが格納される動画データ部７６、音声データ部７８から構成される。表示画像データ部７４に設けられる圧縮サムネイル画像データを格納するメモリ領域（（表示用画像格納領域）のサイズは、圧縮サムネイル画像データが初めて記録されるときのその圧縮画像サイズ（データ容量）によって決定される。

本実施形態では、インターバル合成撮影の場合、撮影動作が行われる（合成画像が得られる）度に、サムネイル画像を順次更新していく。このとき、２回目の撮影以降に格納されるサムネイル画像については、表示画像データ部７４において初回格納時に定められた画像領域サイズを超えないように、圧縮率が調整される。以下、これについて詳述する。

図４は、記録媒体制御部４９を含むコントローラ３０によって実行されるインターバル合成撮影時のサムネイル画像更新処理を示した図である。インターバル撮影動作が実行されるのに合わせて処理が開始される。

ステップＳ１では、サムネイル画像の更新時期であるか否かが判断される。ここでは、所定の撮影動作回数に達する度にサムネイル画像を更新する構成のため、所定回数に達したか否かが判断される。撮影間隔に応じて撮影動作回数を定めればよく、また、撮影ごとに更新することも可能である。

更新時期であると判断されると、得られた１フレーム分の撮影画像に基づいてサムネイル画像を作成する（Ｓ２）。このとき、解像度変換が必要である場合には解像度変換処理を実行する（Ｓ３、Ｓ４）。ここでは撮影画像を縮小したサムネイル画像を表示することから、解像度変換処理が行われる。撮影画像をＬＣＤ画面６０Ｓ全体で表示する場合などでは、解像度変換を行わなくてもよい。

ステップＳ５では、サムネイル画像が書き込まれる画像ファイルの表示画像データ部７４において、表示画像領域がすでに定められているか、すなわち初めてサムネイル画像が書き込まれるか否かが判断される。初めてサムネイル画像を書き込む場合、解像度変換で得られたサムネイル画像に対し、圧縮後の画像サイズ（データ容量）が最大になる圧縮率、すなわち最も低い圧縮率によって圧縮処理が施される（Ｓ６）。

最も低い圧縮率は、ＪＰＥＧ方式で設定される複数の圧縮率の中で圧縮率が最も低いもの、すなわち、圧縮前の画像サイズに対する圧縮後の画像サイズの割合が最大となる圧縮率が設定される。ＪＰＥＧ方式では、一般的に低圧縮率、中圧縮率、高圧縮率の３つの圧縮率が定められており、圧縮率の低い順にＩＪＧ画質９６、ＩＪＧ画質９０、ＩＪＧ画質７５として規格されている。したがって、最も圧縮率の低いＩＪＧ画質９６（圧縮後の画像サイズが圧縮前画像の１２〜２０％）が定められる。

最も低い圧縮率によってサムネイル画像が圧縮処理されると、表示画像データ部７４における画像格納領域は、圧縮サムネイル画像の画像サイズに決定されるとともに、圧縮サムネイル画像データがその画像領域に格納される（Ｓ７、Ｓ８）。

一方、ステップＳ５においてすでに表示画像領域が決定されている、すなわちサムネイル画像がすでに記録されていると判断されると、新たに生成されたサムネイル画像に対する圧縮率が設定される（Ｓ９）。このとき、ステップＳ７で決定された表示画像格納領域のサイズを超えないように圧縮率が設定される。ステップＳ６において最も低い圧縮率（最大画像サイズ）が定められていることから、ステップＳ６と同様にＩＪＧ画質９０の圧縮率を設定すればよい。ただし、それよりも高い中、高圧縮率（ＩＪＧ画質９０、ＩＪＧ画質７５）を設定してもよい。

ステップＳ９で設定された圧縮率に基づいてサムネイル画像が圧縮処理されると、ステップＳ７で設定された表示画像格納領域に圧縮サムネイル画像が上書きされて格納される（Ｓ１０、Ｓ１１）。ＪＰＥＧ最大画像サイズに従った表示画像格納領域に対し、ステップＳ９で設定された圧縮率でサムネイル画像が圧縮処理されるため、新たに生成された圧縮サムネイル画像の画像サイズは画像表示格納領域以下に収まる。

このように本実施形態によれば、インターバル合成撮影において、撮影画像を記録するとともに、撮影画像を解像度変換して画像サイズを縮小したサムネイル画像を生成し、メモリカード４８に作成される撮影画像ファイルの表示画像データ部７４に記録される。そして、定期的にサムネイル画像を更新し、上書きする。このとき、最初の記録時に定められた表示画像格納領域サイズを超えないように、サムネイル画像の圧縮率が定められる。

サムネイル画像の格納領域を初回記録時の圧縮率と関連付けて設定し、その後の更新時には圧縮率を調整することで、表示画像格納領域を新たに設定したり、変更したりすることなく、圧縮サムネイル画像を上書きするだけで処理が済む。これにより、撮影画像ファイルを新たに作成するなどの煩雑なファイル管理することなく、サムネイル画像を記録更新することができる。また、ＪＰＥＧ最大画像サイズでサムネイル画像を圧縮処理するため、色情報などフレーム画像間における被写体の色情報などの違いによって圧縮画像サイズに多少の相違が生じていても、表示画像格納領域を超える恐れがない。

なお、１回目のサムネイル画像格納時における圧縮率を任意に設定することも可能である。この場合、サムネイル画像を更新するときに表示画像格納領域のメモリサイズを超えないように、１回目と同じあるいはそれよりも高い圧縮率によって、サムネイル画像を圧縮処理すればよい。また、ＪＰＥＧ以外の圧縮方式（ロスレス符号化方式など）を適用することも可能である。

本実施形態ではインターバル合成撮影モードにおいてサムネイル画像を更新しているが、インターバル撮影、動画像撮影、連続撮影など撮影動作シーケンスが繰り返し行われる撮影モードに対し、同様にサムネイル画像を更新してもよい。動画像撮影にサムネイル画像を更新する場合、固定ビットレートを用いて表示画像領域を一定サイズ以下にしてもよい。また、動画のフレーム数を調整して一定サイズ以下にすることも可能である。

あるいは、フレーム画像間において相違部分が少なく高圧縮しやすいフレーム画像を選択することで一定サイズ以下にしてもよい。これにより、ビデオ編集においてユーザがサムネイル画像を変更したい場合においても、表示画像領域を新たに作成することなく上書き更新で済むため、ファイル管理が煩雑とならなくて済む。また、サムネイル画像という形式にこだわらず、代表画像、縮小画像など、記録される撮影画像とは別の表示用画像すべてについて適用することができる。

表示画像領域が含まれる表示画像データ部は、ヘッダ内部、あるいはファイル最後に含まれるように構成してもよく、また、表示画像データを格納する別ファイルを作成し、撮影画像ファイルと関連付けてもよい。そして、撮像装置以外のコンピュータなどに適用することも可能である。

１０ デジタルカメラ（撮像装置）
３０ コントローラ（記録制御部、画像記録処理部）
４９ 記録媒体制御部（画像記録処理部）

Claims (10)

1. 撮影画像を撮影画像ファイルに記録するとともに、撮影画像に基づいた表示用画像を圧縮処理して所定ファイルに記録する画像記録処理部と、
   表示用画像の圧縮率を調整する記録制御部とを備え、
   前記画像記録処理部が、前記所定ファイルに定められた表示画像格納領域に格納されている表示用画像を、別の撮影画像に基づいた表示用画像に更新し、
   前記記録制御部が、新たな表示用画像の圧縮処理後画像サイズが前記表示画像格納領域以下に収まるように、表示用画像の圧縮率を調整することを特徴とする画像記録装置。
2. 前記記録制御部が、初回の表示用画像記録の時、圧縮後画像サイズが最大となる圧縮率を設定し、表示画像更新の時、初回の表示用画像記録時に定められた圧縮率以上の圧縮率によって表示用画像を圧縮処理することを特徴とする請求項１に記載の画像記録装置。
3. 前記記録制御部が、画像圧縮方式に従って定められる複数の圧縮率の中で最も低い圧縮率を設定することを特徴とする請求項２に記載の画像記録装置。
4. 前記記録制御部が、初回の表示用画像記録の時、所定の圧縮率を設定し、表示画像更新の時、初回の表示用画像記録時に定められた圧縮率以上の圧縮率を定めることを特徴とする請求項１に記載の画像記録装置。
5. 前記画像記録処理部が、初回の表示用画像記録の時、前記撮影画像ファイルに前記表示画像格納領域を設定することを特徴とする請求項１乃至４のいずれかに記載の画像記録装置。
6. 前記画像記録処理部が、撮影シーケンスに従って一連のフレーム画像を記録し、記録する間に表示用画像を定期的に更新することを特徴とする請求項１乃至５のいずれかに記載の画像記録装置。
7. 請求項１乃至６のいずれかに記載の画像記録装置を備えた撮像装置であって、
   前記画像記録処理部が、インターバル合成撮影によって得られる撮影画像に基づいて生成される表示用画像を、所定撮影回数ごとに更新することを特徴とする撮像装置。
8. 記録された複数の撮影画像に応じた複数の表示用画像を、画面に表示する再生表示処理部を備えたことを特徴とする請求項７に記載の撮像装置。
9. 撮影画像を撮影画像ファイルに記録するとともに、撮影画像に基づいた表示用画像を圧縮処理して所定ファイルに記録し、
   表示用画像の圧縮率を調整する画像記録方法であって、
   前記所定ファイルに定められた表示画像格納領域に格納されている表示用画像を、別の撮影画像に基づいた表示用画像に更新し、
   新たな表示用画像の圧縮処理後画像サイズが前記表示画像格納領域以下に収まるように、表示用画像の圧縮率を調整することを特徴とする画像記録方法。
10. 撮像装置を、
    撮影画像を撮影画像ファイルに記録するとともに、撮影画像に基づいた表示用画像を圧縮処理して所定ファイルに記録する画像記録処理手段と、
    表示用画像の圧縮率を調整する記録制御手段として機能させ、
    前記所定ファイルに定められた表示画像格納領域に格納されている表示用画像を、別の撮影画像に基づいた表示用画像に更新するように、前記画像記録処理手段として機能させ、
    新たな表示用画像の圧縮処理後画像サイズが前記表示画像格納領域以下に収まるように、表示用画像の圧縮率を調整するように、前記記録制御手段として機能させることを特徴とするプログラム。
    
    

Images