JP4637032B2 - 画像記録装置及びその制御方法 - Google Patents

Description

本発明は、音声付きの動画像データを記録する画像記録装置及びその制御方法に関する。

音声付きの動画像（以下、「動画」と呼ぶ）を記録する画像記録装置として、デジタルカメラが普及している。近年のデジタルカメラは、圧縮技術の向上、高画素化、撮像モードの多様化、記憶媒体のアクセス速度の高速化等により、ファイルサイズを小さく抑えつつ、高画質の動画を、高いフレームレートで長時間記録することが可能になっている。

動画を長時間記録する場合に問題となるのが、動画再生時に映像（「映像」は音声を含まない）と音声にずれが生じることである。例えば、映像信号と音声信号をサンプリングするクロックの元となる発振器が異なる場合は、各々の発振器のずれにより、撮影時間が経過すればするほど、映像と音声との間のずれが広がってしまう。この問題を解決するために、双方のクロックのずれを補正するデジタルカメラが提案されている（特許文献１参照）。
特開２００５−２５３０５６号公報

しかしながら、上述のデジタルカメラで動画を撮像しても、撮像した動画の記録方式に起因して、動画の再生時に、映像と音声がずれる場合があるという問題がある。この問題は、動画を記録する際のフレームレートが整数でないために生じるものであり、特許文献１に示すように映像信号用と音声信号用のクロックのずれを補正しても発生しうるものである。

例えば、ファイル形式がＡＶＩ、フレームレートが毎秒約６０フレーム（６０ＦＰＳ）、サイズがＱＶＧＡ（３２０ｘ２４０）の動画を記録可能なデジタルカメラを考える。この種のデジタルカメラは、フレームレートが６０ＦＰＳであるとユーザインタフェースに表示するが、実際には５９．９４ＦＰＳで動画を記録することが一般的である。これは、現在普及している動画の表示装置が対応するＮＴＳＣ規格の表示レート（５９．９４ＦＰＳ）に、記録時のフレームレートを一致させるためである。

ＡＶＩ形式のファイルは、ある基本データブロックサイズ毎に映像と音声を交互に記録する形をとっており、例えば１秒分の映像データ・音声データが交互に繰り返し記録される。

この場合、音声データは１つのデータブロックに１秒分記録されるが、映像データは、１つのデータブロックに５９．９４フレーム記録するということは物理的に不可能であるため、直近の整数である６０フレームに切り上げて記録される。すなわち、映像データは、１つのデータブロックに１秒よりもやや長く記録されることになる。

したがって、１つのデータブロックに記録されている映像データと音声データの長さが異なるため、動画の再生時に映像と音声にずれが生じることになる。

本発明はこのような状況に鑑みてなされたものであり、動画を記録する際のフレームレートが整数でない場合でも、記録した動画の再生時に映像と音声のずれを抑制する技術を提供することを目的とする。

上記課題を解決するために、本発明は、以下の特徴を備える画像処理装置を提供する。すなわち、
映像及び音声を含む動画を動画ファイルとして記録する画像記録装置であって、前記動画ファイルは、映像データを格納する映像データ部と音声データを格納する音声データ部が交互に配置されている形式であり、前記画像記録装置は、
前記動画を記録するフレームレートを取得する取得手段と、
前記フレームレートに基づいて、１つあたりの前記映像データ部に格納される映像データのフレーム数を決定する第１の決定手段と、
前記第１の決定手段により決定されたフレーム数の映像データを再生するのに要する映像再生時間を計算する計算手段と、
前記動画ファイルを再生したときに生じうる音ずれを抑制するよう、１つあたりの前記音声データ部に格納される、サンプリングされた音声データのデータ数を前記映像再生時間に応じて決定する第２の決定手段と、
を備え、
前記第２の決定手段は、前記１つあたりの音声データ部に格納される音声データを再生するのに要する音声再生時間と前記映像再生時間との差の絶対値が、音ずれを低減するためにあらかじめ定められた値よりも小さくなるように、前記データ数を決定することを特徴とする画像記録装置。

また、本発明は、以下の特徴を備える制御方法を提供する。すなわち、
映像及び音声を含む動画を動画ファイルとして記録する画像記録装置の制御方法であって、前記動画ファイルは、映像データを格納する映像データ部と音声データを格納する音声データ部が交互に配置されている形式であり、前記制御方法は、
前記動画を記録するフレームレートを取得する取得工程と、
前記フレームレートに基づいて、１つあたりの前記映像データ部に格納される映像データのフレーム数を決定する第１の決定工程と、
前記第１の決定工程により決定されたフレーム数の映像データを再生するのに要する映像再生時間を計算する計算工程と、
前記動画ファイルを再生したときに生じうる音ずれを抑制するよう、１つあたりの前記音声データ部に格納される、サンプリングされた音声データのデータ数を前記映像再生時間に応じて決定する第２の決定工程と、
を備え、
前記第２の決定工程では、前記１つあたりの音声データ部に格納される音声データを再生するのに要する音声再生時間と前記映像再生時間との差の絶対値が、音ずれを低減するためにあらかじめ定められた値よりも小さくなるように、前記データ数を決定することを特徴とする制御方法。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための最良の形態における記載によってさらに明らかになるものである。

以上の構成により、本発明によれば、動画を記録する際のフレームレートが整数でない場合でも、記録した動画の再生時に映像と音声のずれを抑制する技術を提供することが可能となる。

以下、添付図面を参照して、本発明の実施形態を説明する。以下で説明される個別の実施形態は、本発明の上位概念、中位概念および下位概念など種々の概念を理解するために役立つであろう。

なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが発明の解決手段に必須のものとは限らない。

［第１の実施形態］
＜デジタルカメラ１００の構成＞
図１は、第１の実施形態における画像記録装置であるデジタルカメラ１００の構成を示す機能ブロック図である。

１０は光学レンズ、１１はユーザが被写体像を確認するための光学ファインダーであり、ズーム制御部４４による制御に従って、画角の変更が可能である。

１２は絞り機能を備える絞り兼用シャッター、１４は光学像を電気信号に変換する撮像素子（例えばＣＣＤ）であり、撮像素子１４上には原色モザイクフィルタが配置されている。

１５は撮像素子１４の出力ノイズ除去のためのＣＤＳ（相関２重サンプリング）回路やＡＧＣ（自動利得制御）回路を含む前置処理回路である。１６は前置処理回路１５から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器である。

１８は撮像素子１４及びＡ／Ｄ変換器１６にクロック信号や制御信号を供給するタイミング発生回路（ＴＧ）であり、クロック信号や制御信号を供給するタイミングは信号処理ＩＣ２２により制御される。

信号処理ＩＣ２２は、ＣＰＵ５０からの指示により、Ａ／Ｄ変換器１６又はＤＲＡＭ３０から入力されるデータに対して、画素補間処理や色変換処理、拡大・縮小、画像データ形式変換など、所定の画像処理を行う。信号処理ＩＣ２２はまた、ＤＭＡコントローラ、画像表示部２８に供給するアナログ信号を生成するためのＤ／Ａ変換器、映像データを圧縮及び伸長する圧縮・伸長回路を備える。信号処理ＩＣ２２はさらに、撮像した映像データを用いて所定の演算処理を行い、得られた演算結果をＤＲＡＭ３０に保存する。ＣＰＵ５０はこの演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理を行う。

２８はＴＦＴ ＬＣＤなどから構成される画像表示部であり、ＤＲＡＭ３０に書き込まれた表示用の映像データを信号処理ＩＣ２２内部のＤ／Ａ変換器（不図示）を介して受け取り、映像を表示する。画像表示部２８は映像の他、撮影モード設定情報などの各種情報の表示にも使用される。

画像表示部２８に、撮像した映像を逐次表示すれば、画像表示部２８を電子ビューファインダーとして機能させることもできる。また、画像表示部２８は、ＣＰＵ５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはデジタルカメラ１００の電力消費を大幅に低減することが出来る。

さらに、画像表示部２８は、回転可能なヒンジ部によってデジタルカメラ１００本体に結合されていてもよい。この場合、ユーザは画像表示部２８を自由な向き、角度を設定して、電子ビューファインダー機能や再生表示機能、各種表示機能を使用することが可能である。また、画像表示部２８の表示部分をデジタルカメラ１００本体側に向けることで表示部分を保護しつつ格納することが可能である。検知ＳＷ９８は、画像表示部２８が格納されたことを検知して、画像表示部２８の表示動作を停止することが出来る。

ＤＲＡＭ３０は撮影した映像の非圧縮データを一時的に格納したり、ＡＦ／ＡＥ／ＡＷＢ／ＥＦ演算結果を保持したり、画像表示部２８に表示する映像データを保持したり、圧縮された映像データを保持したりするために使用されるメモリである。ＤＲＡＭ３０は、所定枚数の静止画や所定時間の動画を格納するのに十分な記憶量を備えている。ＤＲＡＭ３０はまた、ＣＰＵ５０を実行させるプログラムのワーク領域としても機能する。

４４は光学レンズ１０及び光学ファインダー１１のズーミングを制御するズーム制御部である。

４６はコネクタであり、アクセサリーシューとも呼ばれ、外部ストロボ装置４００と、デジタルカメラ１００本体との電気接点や機械的な固定部を併せて備える。

４８は内蔵ストロボであり、ＴＴＬ調光機能を有している。

５０はデジタルカメラ１００全体を制御するＣＰＵである。ＣＰＵ５０は、信号処理ＩＣ２２によってＤＲＡＭ３０に格納されたＡＦ／ＡＥ／ＡＷＢ／ＥＦの演算結果に基づき、ＡＦ／ＡＥ／ＡＷＢ／ＥＦ制御を行う。ＣＰＵ５０はまた、信号処理ＩＣ２２に対するデータフロー制御、各種キースキャン動作、ズーム制御、周辺モジュールとの通信等も行う。

５２は電気的に消去・記録可能なフラッシュメモリであり、ＣＰＵ５０を動作させるために必要なプログラムやカメラ固有の調整データ等があらかじめ書き込まれている。

５４はＣＰＵ５０でのプログラムの実行に応じて、文字、画像、音声等を用いてデジタルカメラ１００の動作状態やメッセージ等を表示する表示部である。表示部５４は、スピーカー等の音声出力部を備え、音声によってデジタルカメラ１００の動作状態やメッセージ等をユーザに通知してもよい。表示部５４は、デジタルカメラ１００の操作部７０近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。

表示部５４による表示には、例えば、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、ストロボ表示などがある。この他にも、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記憶媒体１５０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示などがある。

６０は電源ＳＷを兼ねたモードレバーであり、デジタルカメラ１００を、電源オフ(ＯＦＦ)、撮影モード、再生モードの３状態のいずれかに設定することができる。６２は撮影時、目的・シーンに合わせてユーザが設定する各種撮影モードが割り当てられたモードダイアルである。モードダイアル６２により、ユーザはデジタルカメラ１００を、例えば全自動撮影モード(ＡＵＴＯ)、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モードなどに設定することができる。この他にも、ポートレートモード、風景モード、夜景モード、色効果モード、スティッチアシストモードなどの各モードに切り替え設定することが出来る。

６４はシャッタースイッチであり、２段階のスイッチＳＷ１及びＳＷ２で構成されている。シャッターボタンの半押しでＳＷ１がＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始をＣＰＵ５０に指示する。さらにシャッターボタンの全押しによりＳＷ２がＯＮとなり、撮像素子１２から読み出した信号を、Ａ／Ｄ変換器１６、信号処理ＩＣ３０を介してＤＲＡＭ３０に映像データとして書き込むことをＣＰＵ５０に指示する。次いで、信号処理ＩＣ３０はＣＰＵ５０からの指示に従って、ＤＲＡＭ３０から映像データを読み出し、色補正、画素補間、色変換等の画像処理を行った後、圧縮処理を行い、記憶媒体１５０に映像データを書き込む。

６８はムービーＳＷであり、動画記録の開始・終了を指示するためのスイッチである。６９は動画記録時のフレームレートを選択する、フレームレート選択部である。
７２、７４、７６はそれぞれ、メニューキー、セットキー、十字キーであり、ユーザはこれらのキーを走査することにより、撮影時又は再生時の各種設定の変更や、各種機能の実行を、画像表示部２８を見ながら行うことができる。このうち、十字キー７６は上下左右の４つの方向キーから構成される複合キーである。

メニューキー７２が１回押されると、画像表示部２８にメニュー画面が表示される。このメニュー画面は、モードレバー６０及びモードダイアル６２が指す現在のモードによって異なる。その後、表示されているメニュー項目をユーザが十字キー７６を使って選択し、セットキー７４を押すことにより、メニュー項目が決定される。

例えば、撮影モードがプログラム撮影モードとなっている際のメニュー項目としては、記録画素サイズ、圧縮率、記録形式、感度、ＡＦモード、撮影の確認の有無、画質チューニングパラメータ等がある。

また、モードレバーが再生モードに設定されている時のメニュー項目としては、例えば、画像の消去（一枚もしくは全部）、画像の保護（プロテクト）、画像の回転設定等が挙げられる。

また、十字キー７６はメニュー設定時以外にも使用される。例えば、モードダイアル６２でシャッター速度優先モードに設定されている場合には、ユーザは十字キー７６の左右方向キーを使って、シャッター速度の変更を行うことができる。また、再生モードにおいては、画像送りを行うために十字キー７６が使用される。

７０は、メニューキー７２、セットキー７４、及び十字キー７６以外の操作部をまとめたものである。操作部７０は、ズームレバー、測光モード切替ボタン、マクロボタン、ＡＥロックボタン、画像表示部２８のＯＮ／ＯＦＦを設定する画像表示ＯＮ／ＯＦＦスイッチ等を備える。前述のメニューに含まれている項目のうち、比較的使用頻度の高いものが、操作部７０に割り当てられている。

８０は電源制御手段であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成される。電源制御手段８０は、電池の装着の有無、電池の種類、電池残量の検出を行う。そして、検出結果及びＣＰＵ５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給し、必要に応じて表示部５４、画像表示部２８に電池残量表示を行う。

８２及び８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源である。

１５０はメモリカードやハードディスク等の記憶媒体である。記憶媒体１５０は、半導体メモリや磁気ディスク等から構成される記録部１５２、デジタルカメラ１００とのインタフェース１５４、デジタルカメラ１００と接続を行うコネクタ１５６を備えている。

９２はメモリカードやハードディスク等の記憶媒体１５０とデジタルカメラ１００を接続するためのコネクタである。

なお、本実施形態では、デジタルカメラ１００は、記憶媒体を取り付けるインタフェース及びコネクタを１系統持つものとして説明している。しかし、もちろん、記憶媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。

インタフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。

９４はデジタルカメラ１００に音声を入力するためのマイクである。マイク９４は主に、動画撮影時に音声データを取得するために使用される。

９８は検知ＳＷであり、画像表示部２８の表示部分をデジタルカメラ１００に向けて格納した格納状態にあるかどうかを検知したり、電池蓋が開けられたことを検知したり、外部ストロボ４０４の装着状態を検知したりすることができる。

４００は外部ストロボ装置である。本実施形態では、デジタルカメラ１００は、内蔵ストロボ４８の他に外部ストロボを後から装着できる構成となっており、内蔵ストロボ同様、ＴＴＬ調光撮影が可能となっている。４０２はデジタルカメラ１００のアクセサリーシュー（コネクタ４６）と接続するためのコネクタである。４０４は外部ストロボであり、ＡＦ補助光の投光機能、ストロボ調光機能も有する。

＜動画撮影動作の概要＞
デジタルカメラ１００を用いた動画撮影動作の概要について説明する。ムービーＳＷ６８が押下されると、デジタルカメラ１００は、以下に説明する動画撮影のスタンバイ状態になる。

被写体像から入射した光は、光学レンズ１０を通過し、絞り兼用シャッター１２において露出制御されて、撮像素子１４に結像する。動画撮影時には、絞り兼用シャッター１２におけるメカ機構のシャッターは開いたままであり、絞りによって露出が制御される。

撮像素子１４で被写体像はアナログ映像データに光電変換され、Ａ／Ｄ変換器１６に送られる。Ａ／Ｄ変換器１６は、アナログ映像データをデジタル映像データに変換して、信号処理ＩＣ２２に転送する。

動画撮影時には、撮像素子１４から全画素が読み出されてＡ／Ｄ変換器１６に送られるわけではなく、水平方向や垂直方向に間引かれた（あるいは加算されて重畳した）画素が、記録する映像のフレームレートに合わせて読み出される。

なお、記録する映像のフレームレートは、前述のようにフレームレート選択部６９によって選択される。本実施形態では、３０ＦＰＳ又は５９．９４ＦＰＳがフレームレートとして選択可能であるものとする。ただし、フレームレートが５９．９４ＦＰＳに設定されても、画像表示部２８や表示部５４では、６０ＦＰＳとしてユーザに示されるものとする。

信号処理ＩＣ２２は、入力されたデジタル映像データに対して、水平垂直のフィルタ処理やアパチャー補正処理やガンマ処理などの各種処理を行う。信号処理ＩＣ２２は、次に、デジタル映像データを所定の画素サイズ、例えばＶＧＡ（水平６４０画素、垂直４８０ライン）サイズにリサイズして、ＤＲＡＭ３０に転送する。ＤＲＡＭ３０上の映像データは、画像表示部２８に転送され、表示される。画像表示部２８は、設定されたフレームレートでＤＲＡＭ３０に転送されてくる映像データを連続的に表示する。

次に、操作部７０などに含まれる記録開始ボタンが押下されると、以下に説明するように、動画の記録が開始される。

信号処理ＩＣ２２は、ＤＲＡＭ３０に格納されている映像データを例えばＪＰＥＧ形式のデータに変換（符号化）する。併せて、ＣＰＵ５０は、マイク９４から入力された音声を例えばＷＡＶＥ形式の音声データに変換する。

ＣＰＵ５０は、符号化された映像データ及び音声データにヘッダー情報などの付加情報を付加して、例えばＡＶＩ形式の動画ファイルを生成する。ＣＰＵ５０は、コネクタ９２を介して、記憶媒体１５０にＡＶＩ形式の動画ファイルを記録する。ＡＶＩ形式の動画ファイルは、動画ファイルの先頭にあるヘッダー情報で映像データと音声データの配置を管理するデータ構造を持つ。

＜動画記録形式の詳細＞
以下、本実施形態において、フレームレートを３０ＦＰＳ及び６０ＦＰＳ（厳密には５９．９４ＦＰＳ）に設定した場合に、デジタルカメラ１００が動画データをＡＶＩ形式のファイルに格納する方法について説明する。ここでは、映像のサイズがＱＶＧＡ（３２０ｘ２４０）であり、音声のサンプリングレートが４４．１ＫＨｚ、１６ｂｉｔステレオであるものとする。

（１）３０ＦＰＳの場合
図２は、フレームレートが３０ＦＰＳで記録されたＡＶＩ形式の動画ファイル２００を示す図である。動画ファイル２００は、ヘッダー部２０１及び複数の基本データブロック２０２を備える。基本データブロック２０２は、映像データ部２０３及び音声データ部２０４を備える。ヘッダー部２０１は、総フレーム数、フレーム間隔、映像サイズ、コーデックの種類、音声のサンプリング周波数等の情報を含む。

各映像データ部２０３には、フレームレートが３０ＦＰＳの場合、例えば再生時間１秒分に相当する３０フレームの映像データが格納される。

各音声データ部２０４には、映像データ部２０３の再生時間と同じ、１秒分に相当する音声データが格納される。格納されるデータの数はサンプリングレートに一致する、４４１００個（４４．１×１０００）である。また、音声は１６ｂｉｔ（２Ｂｙｔｅ）ステレオであるため、音声データの容量は、４４１００×２×２＝１７６４００（Ｂｙｔｅ）となる。以下、音声データのデータ数とは、サンプリングされた音声データのデータ数（サンプリング数）を意味するものとする。

このように、動画ファイル２００は、動画１秒分を１単位とし、これを基本データブロック２０２とする。そして、映像データ部２０３と音声データ部２０４を１秒単位で交互に配置する。

ＣＰＵ５０は、動画ファイル２００を作成するために、符号化した映像データをバッファーするための映像バッファー領域と音声データをバッファーするための音声バッファー領域をＤＲＡＭ３０で確保する。そして、その領域にそれぞれ映像データと音声データを格納する。そして１秒単位で、映像データと音声データをＡＶＩ形式のデータにまとめて、ＤＲＡＭ３０上に確保したＡＶＩバッファー領域に格納する。

ここで、本実施形態の場合、音声データはＷＡＶＥ形式なので１秒間のデータサイズは固定であるが、映像データはＪＰＥＧ形式なのでデータサイズが不定である。そこで、先の映像バッファーはＡＶＩバッファーの映像データ領域と兼用にして、ＡＶＩバッファー上の音声データ領域を空けながらＪＰＥＧデータを書きこんでいく事が可能である。これにより、ＤＲＡＭ３０の容量を削減することができる。ＣＰＵ５０は、ＡＶＩバッファーに格納したデータを、順次記憶媒体１５０へファイルとして書き込んでいく。

この例では、動画記録時のフレームレートが整数であり、映像・音声とも基本データブロックに１秒分のデータが記録されているため、動画再生時に映像と音声にずれが生じることはない。

（２）６０ＦＰＳ（厳密には５９．９４ＦＰＳ）の場合
フレームレートがちょうど６０ＦＰＳであれば、上述した３０ＦＰＳの場合と同様、映像・音声とも動画ファイルの基本データブロックに１秒分のデータを記録できるため、動画再生時に映像と音声にずれが生じることはない。

しかし、前述のように、デジタルカメラ１００は、記録時のフレームレートをＮＴＳＣの表示レートに一致させるために、実際には５９．９４ＦＰＳで動画を記録する。この場合、前述のように、１つのデータブロックに映像データを５９．９４フレーム記録するということは物理的に不可能であるため、直近の整数である６０フレームに切り上げて記録される。すなわち、映像データは、１つのデータブロックに１秒よりもやや長く記録されることになり、動画再生時に映像と音声がずれる原因となる。

そこで、本実施形態では、動画再生時に映像と音声にずれを生じさせないようにするため、基本データブロックの音声データ部のデータサイズを変更する。映像データ６０フレームを５９．９４ＦＰＳで再生すると、６０／５９．９４≒１．００１（秒）かかる。そのため、基本データブロックの音声データ部のデータサイズを１秒から１．００１秒に変更する。以下、図３を参照して具体的に説明する。

図３は、フレームレートが５９．９４ＦＰＳで記録されたＡＶＩ形式の動画ファイル３００を示す図である。動画ファイル３００は、ヘッダー部３０１及び複数の基本データブロック３０２を備える。基本データブロック３０２は、映像データ部３０３及び音声データ部３０４を備える。ヘッダー部３０１は、総フレーム数、フレーム間隔、映像サイズ、コーデックの種類、音声のサンプリング周波数等の情報を含む。映像データ部３０３は、前述のように、５９．９４ではなく、６０フレーム分の映像データを含む。

フレームレートが整数の場合は、図２に示すように、音声データ部２０３に格納されるデータ数はサンプリングレートに一致し、音声１秒分に相当する、４４１００個であった。しかし、フレームレートが５９．９４ＦＰＳの場合は、音声データ部３０３には、音声１．００１秒分に相当する、４４１００×１．００１＝４４１４４個のデータが格納される。この場合、音声データの容量は、４４１４４×２×２＝１７６５７６（Ｂｙｔｅ）となる。

すなわち、フレームレートが５９．９４ＦＰＳの場合、ＣＰＵ５０は、１秒ではなく１．００１秒を基本データブロック３０２の１単位とする。そして、映像データと音声データを交互に１．００１秒間毎に動画ファイル３００に記録する。これにより、動画再生時に映像と音声がずれることを抑制できる。なお、６０／５９．９４は厳密には１．００１ではないため、丸め誤差に起因する映像と音声のずれは発生しうるが、従来の記録方式で発生するずれに比べれば、無視できるほど小さい。

動画ファイルの記録に際しては、３０ＦＰＳの場合と同様、ＡＶＩバッファーに格納したデータを、順次記憶媒体１５０へファイルとして書き込んでいけばよい。

＜動画記録処理の詳細＞
図４は、デジタルカメラ１００を使用した動画記録処理の詳細を示すフローチャートである。前述のように、ＣＰＵ５０がムービーＳＷ６４の押下を検知すると、デジタルカメラ１００は動画撮影のスタンバイ状態になり、ＣＰＵ５０が操作部７０などに含まれる記録開始ボタンの押下を検知すると、本フローチャートの処理が開始する。

ステップＳ４０１で、ＣＰＵ５０は、フレームレート選択部６９によってあらかじめ設定されているフレームレートを判定する。フレームレートが３０ＦＰＳに設定されている場合はステップＳ４０２に進み、６０ＦＰＳ（実際には５９．９４ＦＰＳ）に設定されている場合はステップＳ４０４に進む。

ステップＳ４０２では、ＣＰＵ５０は、映像データがＱＶＧＡ・３０ＦＰＳになるように撮像素子１４を駆動するように、タイミング発生器１８を制御する動作を開始する。次に、ステップＳ４０３で、ＣＰＵ５０は、動画ファイルに含まれる基本データブロックの音声データ部のデータ数を、音声１秒分に相当する、４４１００個に設定し、ＣＰＵ５０中のレジスタ（不図示）などに記憶する。

一方、ステップＳ４０４では、ＣＰＵ５０は、映像データがＱＶＧＡ・５９．９４ＦＰＳになるように撮像素子１４を駆動するように、タイミング発生器１８を制御する動作を開始する。次に、ステップＳ４０５で、ＣＰＵ５０は、動画ファイルに含まれる基本データブロックの音声データ部のデータ数を、音声１．００１秒分に相当する、４４１４４個に設定し、ＣＰＵ５０中のレジスタ（不図示）などに記憶する。

ステップＳ４０６で、ＣＰＵ５０は、ステップＳ４０２及びＳ４０３、又は、ステップＳ４０４及びＳ４０５で設定した内容に従って、映像データ及び音声データを取得し、動画ファイルとして記憶媒体１５０に記録する。ただし、フレームレートが５９．９４ＦＰＳの場合は、基本データブロックの映像データ部に格納される映像のフレーム数は、６０個である。この処理は、ステップＳ４０７においてＣＰＵ５０が記録終了の指示を受けるまで継続される。

図５は、図４をより一般化したフローチャートである。図５において、図４と同一の処理を行うステップには同一の符号を付し、説明を省略する。

ステップＳ５０１で、ＣＰＵ５０は、動画ファイルにおける基本データブロックの音声データ部のデータ数を、操作部７０等を介して設定された値であるＡ個（例えば、４４．１ＫＨｚ１秒分の４４１００個）にする。

ステップＳ５０２で、ＣＰＵ５０は、フレームレート選択部によって設定されているフレームレートＦが整数であるか否かを判定する。整数である場合はステップＳ５０３に進み、整数でない場合はステップＳ５０４に進む。

ステップＳ５０３で、ＣＰＵ５０は、操作部７０等を介して設定された条件（例えば映像サイズはＱＶＧＡである、など）に従って撮像素子を駆動するように、タイミング発生器１８を制御する動作を開始する。

ステップＳ５０４で、ＣＰＵ５０は、フレームレートＦに最も近い整数Ｎを求める。例えば、Ｆ＝５９．９４の場合や、Ｆ＝６０．４９の場合は、Ｎ＝６０となる。なお、ステップＳ５０４において重要なことは、フレームレートＦと相関の高い整数を求めることであり、整数Ｎは、必ずしもＦに最も近い整数でなくても構わない。すなわち、例えば、ＮはＦの少数以下を切り上げたり切り捨てたりして求まる整数でもよい。

ステップＳ５０５で、ＣＰＵ５０は、Ａ＝Ａ×（Ｎ／Ｆ）とする。ただし、計算の結果、Ａが整数にならない場合は、少数以下を例えば四捨五入することにより、Ａを整数にする。

ステップＳ５０６で、ＣＰＵ５０は、ステップＳ５０３と同様にタイミング発生器１８を制御する動作を開始する。

ステップＳ５０７で、ＣＰＵ５０は、ステップＳ４０６と同様に、映像データ及び音声データを取得し、動画ファイルとして記憶媒体１５０に記録する。ただし、フレームレートＦが整数でない場合は、基本データブロックの映像データ部に格納される映像のフレーム数はＮ個である。

以上、図５を参照して説明したように、本実施形態では、フレームレートは３０又は５９．９４ＦＰＳに限られるものではないし、映像サイズはＱＶＧＡに限られるものではない。また、動画ファイルの形式は、映像データと音声データが所定の単位で交互に記録されるものであれば、ＡＶＩ形式に限られるものではない。すなわち、本発明は、種々のフレームレート、基本データブロックサイズ、ファイル形式、映像サイズ、音声サンプリング周波数での動画記録に適用可能であり、動画の表示装置もＮＴＳＣ規格以外の規格に準拠していてもよい。

＜ずれ抑制の程度＞
図４のステップＳ４０５及び図５のステップＳ５０５では、次のことを目的とした処理が行われている。すなわち、基本データブロックの映像データ部に記録されている映像データを再生するのに要する時間を映像再生時間とする。音声データ部に記録されている音声データを再生するのに要する時間を音声再生時間とする。そして、映像再生時間と音声再生時間との差の絶対値（以下、「再生時間の差」と呼ぶ）が最小となるように、音声データ部に記録されるデータ数が決定される。もちろん、再生時間の差が０になるのが最も好ましいが、音声データ部に記録されるデータ数は整数でなければならないため、再生時間の差は必ずしも０にならない。

一方、再生時間の差は、必ずしも最小になる必要は無い。再生時間の差が小さくなればなるほど、動画再生時に、映像と音声のずれが目立たなくなるため、人間が映像と音声のずれを認識できない程度に再生時間の差を小さくすれば、「映像と音声のずれを抑制する」という目的に対して一定の効果が得られる。

そこで、ステップＳ４０５及びＳ５０５において、再生時間の差があらかじめ定められた値よりも小さくなるように、音声データ部に記録されるデータ数が決定されるように、デジタルカメラ１００を構成してもよい。

＜第１の実施形態のまとめ＞
以上説明したように、本実施形態によれば、デジタルカメラ１００は、動画の記録時に、基本データブロックの音声データ部に格納されるデータ数を、フレームレートに応じて変化させる。具体的には、基本データブロックの映像データ部及び音声データ部の再生時間の差を、あらかじめ定められた値よりも小さくする。

これにより、表示装置で動画を再生する際に、映像と音声がずれることを抑制できる。

［その他の実施形態］
上述した実施の形態の処理は、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或は装置に提供してもよい。そして、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって、前述した実施形態の機能を実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることもできる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれている。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。

第１の実施形態における画像記録装置であるデジタルカメラ１００の構成を示す機能ブロック図である。 フレームレートが３０ＦＰＳで記録されたＡＶＩ形式の動画ファイル２００を示す図である。 フレームレートが５９．９４ＦＰＳで記録されたＡＶＩ形式の動画ファイル３００を示す図である。 デジタルカメラ１００を使用した動画記録処理の詳細を示すフローチャートである。 図４をより一般化したフローチャートである。

Claims (7)

1. 映像及び音声を含む動画を動画ファイルとして記録する画像記録装置であって、前記動画ファイルは、映像データを格納する映像データ部と音声データを格納する音声データ部が交互に配置されている形式であり、前記画像記録装置は、
   前記動画を記録するフレームレートを取得する取得手段と、
   前記フレームレートに基づいて、１つあたりの前記映像データ部に格納される映像データのフレーム数を決定する第１の決定手段と、
   前記第１の決定手段により決定されたフレーム数の映像データを再生するのに要する映像再生時間を計算する計算手段と、
   前記動画ファイルを再生したときに生じうる音ずれを抑制するよう、１つあたりの前記音声データ部に格納される、サンプリングされた音声データのデータ数を前記映像再生時間に応じて決定する第２の決定手段と、
   を備え、
   前記第２の決定手段は、前記１つあたりの音声データ部に格納される音声データを再生するのに要する音声再生時間と前記映像再生時間との差の絶対値が、音ずれを低減するためにあらかじめ定められた値よりも小さくなるように、前記データ数を決定することを特徴とする画像記録装置。
2. 前記第２の決定手段は、前記１つあたりの音声データ部に格納される音声データを再生するのに要する音声再生時間が前記映像再生時間に一致させることが可能な場合は該音声再生時間が該映像再生時間に一致するように前記１つあたりの音声データ部に格納されるサンプリングされた音声データのデータ数を決定し、
   前記１つあたりの音声データ部に格納される音声データを再生するのに要する音声再生時間が前記映像再生時間に一致させることが不可能な場合は該音声再生時間と該映像再生時間との差の絶対値が最小になるように前記１つあたりの音声データ部に格納されるサンプリングされた音声データのデータ数を決定する
   ことを特徴とする請求項１に記載の画像記録装置。
3. ユーザの指示に応答して前記フレームレートを設定する設定手段を備えることを特徴とする請求項１又は２に記載の画像記録装置。
4. 前記動画ファイルの形式は、ＡＶＩ形式であることを特徴とする請求項１乃至３のいずれか１項に記載の画像記録装置。
5. 映像及び音声を含む動画を動画ファイルとして記録する画像記録装置の制御方法であって、前記動画ファイルは、映像データを格納する映像データ部と音声データを格納する音声データ部が交互に配置されている形式であり、前記制御方法は、
   前記動画を記録するフレームレートを取得する取得工程と、
   前記フレームレートに基づいて、１つあたりの前記映像データ部に格納される映像データのフレーム数を決定する第１の決定工程と、
   前記第１の決定工程により決定されたフレーム数の映像データを再生するのに要する映像再生時間を計算する計算工程と、
   前記動画ファイルを再生したときに生じうる音ずれを抑制するよう、１つあたりの前記音声データ部に格納される、サンプリングされた音声データのデータ数を前記映像再生時間に応じて決定する第２の決定工程と、
   を備え、
   前記第２の決定工程では、前記１つあたりの音声データ部に格納される音声データを再生するのに要する音声再生時間と前記映像再生時間との差の絶対値が、音ずれを低減するためにあらかじめ定められた値よりも小さくなるように、前記データ数を決定することを特徴とする制御方法。
6. 映像及び音声を含む動画を動画ファイルとして記録する画像記録装置の制御方法をコンピュータに実行させるためのプログラムであって、前記動画ファイルは、映像データを格納する映像データ部と音声データを格納する音声データ部が交互に配置されている形式であり、前記制御方法は、
   前記動画を記録するフレームレートを取得する取得工程と、
   前記フレームレートに基づいて、１つあたりの前記映像データ部に格納される映像データのフレーム数を決定する第１の決定工程と、
   前記第１の決定工程により決定されたフレーム数の映像データを再生するのに要する映像再生時間を計算する計算工程と、
   前記動画ファイルを再生したときに生じうる音ずれを抑制するよう、１つあたりの前記音声データ部に格納される、サンプリングされた音声データのデータ数を前記映像再生時間に応じて決定する第２の決定工程と、
   を備え、
   前記第２の決定工程では、前記１つあたりの音声データ部に格納される音声データを再生するのに要する音声再生時間と前記映像再生時間との差の絶対値が、音ずれを低減するためにあらかじめ定められた値よりも小さくなるように、前記データ数を決定することを特徴とするプログラム。
7. 請求項６に記載のプログラムを記録したコンピュータ読み取り可能な記憶媒体。

Images