JP7324866B2 - 撮像装置 - Google Patents

Description

本発明の一実施形態は、動画像を撮像する撮像装置に関し、特に、動画像を処理して、動画像から小さい画角の動画をリアルタイムに得る撮像装置に関する。

映像を撮影することは、例えば、デジタルカメラ等の撮影装置によって実施される。現在、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子の高画素化により、１つの撮像素子で撮像した、動画像である映像を処理して画角の一部をデジタル的に切り出し、小さい画角の動画を得ることができる。

特開２０１４－０４２３５７号公報 特開２０１０－１８３５５８号公報

本発明の一実施形態の目的は、リアルタイムな画像処理により大きな画角の動画から、解像度が良質で画角の小さな動画を得る撮像装置を提供することにある。

上述の目的を達成するために、本発明の一実施形態は、第１画角の基準映像の光学像を撮像し、第１方向および第１方向に交差する第２方向に複数の画素が配列した画素領域を有する撮像素子と、第１モードと第２モードとを動画撮像モードとして備え、光学像に基づく映像の動画データを記録する制御部と、を有し、制御部は、第１モードにおいて、撮像素子を用いて基準映像の動画データを記録する第１記録処理を実行し、制御部は、第２モードにおいて、第１画角よりも小さい第２画角である記録領域を基準映像内に設定する設定処理と、記録領域の記録映像の動画データを記録する第２記録処理と、を実行するものであり、制御部は、第１記録処理および第２記録処理において、光学像のうち、複数の画素の読み出しの一部を間引く間引き駆動を実行し、制御部は、第２記録処理の間引き駆動における第２間引き率を、第１記録処理の間引き駆動における第１間引き率よりも低く設定する、撮像装置を提供するものである。

制御部は、第２モードにおいて、第２画角の変化によって記録領域の第２間引き率を変化させることが好ましい。
制御部の第２間引き率の変化によって、撮像素子は、制御部に入力させる記録領域の記録映像の入力解像度を変化させ、制御部は、入力解像度が動画データの出力解像度よりも高い場合、入力解像度を低減させて出力解像度に合わせ、入力解像度が出力解像度よりも低い場合、入力解像度を補完して出力解像度に合わせることが好ましい。

ズーム機能を有する撮像レンズを備え、撮像素子は、撮像レンズを透過した光を受光して第１画角の基準映像の光学像を撮像し、制御部は、入力解像度が設定解像度よりも低い場合、ズーム機能に関する通知をユーザに行うことが好ましい。
制御部は、第２モードにおいて、第２画角の複数の映像領域を基準映像内に設定する設定処理と、記録領域を複数の映像領域から選択する選択処理と、を実行し、第２記録処理は、選択処理における選択前の記録映像と選択後の記録映像とを結合して動画データを記録することが好ましい。

画素は、光電変換素子とスイッチ部とを備え、第１方向に延びている複数の第１配線と、第２方向に延びている複数の第２配線とを含む画素回路が設けられており、第１配線および第２配線は、スイッチ部に電気的に接続されており、制御部が第１配線を通じてスイッチ部に駆動信号を供給することにより、駆動信号にしたがって、光電変換素子に基づく映像信号が第２配線に出力され、制御部は、第１方向において、画素領域を、第１配線を通じてスイッチ部に駆動信号が供給される画素からなる駆動領域と、駆動領域以外の非駆動領域とに分割する間引き駆動を実行し、制御部は、第２記録処理において、駆動領域を用いて記録映像を記録し、記録領域以外の映像領域に非駆動領域を対応させることが好ましい。

制御部は、第２記録処理において、記録領域内における被写体の動きに伴って、基準映像内における記録領域の位置を移動させ、または記録領域の第２画角を変化させ、制御部は、記録領域の位置の移動、または第２画角の変化に伴って、画素領域内における駆動領域の位置または幅を変えることが好ましい。
制御部は、複数の映像領域のそれぞれの第２画角のうち、最も小さい第２画角に基づいて第２間引き率を決定することが好ましい。

制御部は、記録領域を含む複数の映像領域内における被写体の動きを検出する検出処理を実行し、制御部は、第２記録処理を複数回実行し、複数の第２記録処理の間に検出処理を実行し、検出処理において、制御部は、記録領域および少なくとも１つの映像領域を含む画角の検出映像を取得し、被写体の動きに伴って複数の映像領域の少なくとも１つを移動させ、または第２画角を変化させることが好ましい。

第１記録処理および第２記録処理での記録映像の光学像を撮像する撮像素子である第１撮像素子と、第１撮像素子とは異なり、記録領域を含む複数の映像領域に対応する複数の対応領域の映像を取得する第２撮像素子と、を備え、制御部は、複数の対応領域内における被写体の動きを検出する検出処理を実行し、検出処理において、制御部は、第２撮像素子に複数の対応領域を含む画角の検出映像を取得し、被写体の動きに伴って複数の映像領域の少なくとも１つを移動させ、または画角を変化させることが好ましい。
動画データは、検出映像を表すデータを含まないことが好ましい。
撮像素子の画素領域の画素解像度は７０００万以上であることが好ましい。

本発明の一実施形態は、第１画角の基準映像の光学像を撮像し、第１方向および第１方向に交差する第２方向に複数の画素が配列した画素領域を有する撮像素子と、撮像素子が撮像した光学像に基づく映像の動画データを記録する制御部と、を有し、制御部は、第１画角よりも小さい第２画角である映像領域を基準映像内に複数設定する設定処理と、複数の映像領域の中から記録領域を決定する決定処理と、記録領域に対応する画素領域の映像信号を読み出す読出し処理と、記録領域の記録映像の動画データを記録する記録処理とを実行し、制御部は、読出し処理において、第１方向および第２方向の画素を間引いて、記録領域に対応する画素領域の部分領域の映像信号を読み出し、制御部は、記録処理において、部分領域の映像を記録対象として記録する、撮像装置を提供するものである。
制御部は、読出し処理において、第２画角の変化によって記録領域の、複数の画素の読み出しの一部を間引く間引き駆動の間引き率を変化させることが好ましい。
撮像素子の画素領域の画素解像度は７０００万以上であることが好ましい。

本発明の実施形態の撮像装置の第１の例を示す斜視図である。 本発明の実施形態の撮像装置の第１の例の背面側を示す背面図である。 本発明の実施形態の撮像装置の第１の例の構成を示すブロック図である。 本発明の実施形態の撮像装置の撮像素子の画素と基準映像の撮影領域との対応関係を示す模式図である。 本発明の実施形態の撮像装置の第１の例の撮像素子の構成を示す模式図である。 本発明の実施形態の撮像装置の第１の例の撮像素子の間引きの第１の例を示す模式図である。 本発明の実施形態の撮像装置の第１の例の撮像素子の間引きの第２の例を示す模式図である。 本発明の実施形態の撮像装置による基準映像内に記録領域を設定する手順を示す模式図である。 本発明の実施形態の撮像装置による基準映像内に複数の映像領域が設定された状態を示す模式図である。 本発明の実施形態の撮像装置のディスプレイの表示画面に表示された記録領域の記録映像を示す模式図である。 本発明の実施形態の撮像装置による動画データに基づく記録領域の記録映像の一例を示す模式図である。 本発明の実施形態の撮像装置の抽出モード選択画面を示す模式図である。 本発明の実施形態の撮像装置の追尾モードでの抽出範囲の移動経路を示す模式図である。 本発明の実施形態の撮像装置のパニングモードでの抽出範囲の移動経路を示す模式図である。 本発明の実施形態の撮像装置の第１モードを示すフローチャートである。 本発明の実施形態の撮像装置の第２モードを示すフローチャートである。 本発明の実施形態の撮像装置の第２モードの第２間引き率の変化方法を示すフローチャートである。 本発明の実施形態の撮像装置の駆動領域と非駆動領域とを示す模式図である。 本発明の実施形態の撮像装置の駆動領域と非駆動領域とを示す模式図である。 本発明の実施形態の撮像装置により得られた間引き対象の基準映像を示す模式図である。 本発明の実施形態の撮像装置の駆動領域と非駆動領域とを示す模式図である。 検出処理により得られた映像の一例を示す模式図である。 検出画像の一例を示す模式図である。 本発明の実施形態の撮像装置の第２の例を示す斜視図である。 本発明の実施形態の撮像装置の第２の例を示す斜視図である。 本発明の実施形態の基準映像に対応する対応映像を示す模式図である。 本発明の実施形態の基準映像の他の例を示す模式図である。 本発明の実施形態の撮像装置の第３の例の制御部の処理を示すフローチャートである。 本発明の実施形態の間引き対象の基準映像を示す模式図である。 本発明の実施形態の間引き対象の基準映像と撮像素子の画素領域との対応を示す模式図である。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の一実施形態の撮像装置を詳細に説明する。
なお、以下に説明する図は、本発明の一実施形態を説明するための例示的なものであり、以下に示す図に本発明の一実施形態が限定されるものではない。
なお、以下において数値範囲を示す「～」とは両側に記載された数値を含む。例えば、εが数値α～数値βとは、εの範囲は数値αと数値βを含む範囲であり、数学記号で示せばα≦ε≦βである。
「垂直」および「直交」等の角度は、特に記載がなければ、該当する技術分野で一般的に許容される誤差範囲を含む。また、「全面」等は、該当する技術分野で一般的に許容される誤差範囲を含む。

＜撮像装置の第１の例＞
図１は本発明の実施形態の撮像装置の第１の例を示す斜視図であり、図２は本発明の実施形態の撮像装置の第１の例の背面側を示す背面図であり、図３は本発明の実施形態の撮像装置の第１の例の構成を示すブロック図である。

［撮影装置の基本構成］
撮像装置１０は、デジタルカメラであり、映像撮影に用いられる。撮像装置１０は、静止画像および動画像を撮影する機能を有する。また、撮像装置１０は、撮影した画像（映像）を表示し、かつ映像を記録する機能を有する。また、撮像装置１０は、動画像である映像をリアルタイムに、画像処理等の各種の信号処理を実行する機能を有する。
なお、以降の説明において、「映像」とは、特に断る場合を除き、ライブ映像（ライブビュー画像）、すなわち、リアルタイムで撮影される映像を意味する。

図１および２に示す撮像装置１０は、レンズ交換式のデジタルカメラであり、撮影装置本体１２と撮影レンズ１４を備える。撮影レンズ１４は、撮影装置本体１２のマウント１３に対して交換可能に装着される。ただし、これに限定されるものではなく、撮像装置１０は、レンズ一体式のデジタルカメラであってもよい。

（撮影レンズ）
撮影レンズ１４は、図３に示すように、光学部品ユニット１８、絞り２０、電子減光フィルタ２１、フォーカス用駆動部２２、絞り駆動部２３、および電圧印加部２４を含む。
光学部品ユニット１８は、複数のレンズを有し、その中にはフォーカス用光学部品１９（フォーカスレンズ）が含まれる。フォーカス用光学部品１９が光軸Ｌ１（図１参照）の方向に移動すると、撮影レンズ１４のフォーカス（ピント）が変わる。

光学部品ユニット１８は、広角レンズ、超広角レンズ、３６０度レンズ、またはアナモフィックレンズ等を含んでいる。これにより、撮像装置１０は、横方向に広い画角で映像を撮影することが可能である。ここで、撮像装置１０が映像を撮影するときの最大の画角が第１画角である。このため、第１画角は、撮像装置１０の最大の画素で撮像された光学部品ユニット１８および後述の撮像素子４０の使用等に応じて決まる。なお、上述のように第１画角で撮影される光学像が、基準映像Ａ１（図４参照）である。
なお、撮像装置１０は、互いに画角が異なる複数の光学部品ユニット１８を備えてもよい。

絞り２０は、撮影レンズ１４の光路中に配置されて開口形状が可変に構成され、撮影レンズ１４への入射光に対する絞り量（具体的には、絞り値またはＦ値）を調整する光学部品である。
なお、本実施形態において、絞り２０は、開口の大きさを変化させるための部材を機械的に駆動することにより開口形状が変えられるものである。ただし、これに限定されるものではなく、液晶またはエレクトロクロミック素子を駆動して開口形状が変えられる絞り（物性絞り）であってもよい。絞り２０の開口形状、すなわち、絞り量は、絞り駆動部２３によって調整される。

（撮影装置本体）
撮影装置本体１２は、図１および図２に示すように、ユーザによって操作される操作部を備える。例えば、撮影装置本体１２の上面には、レリーズボタン２６が配置されている。例えば、ユーザがレリーズボタン２６を全押しすると、撮像装置１０が撮影する映像または撮影映像に基づく映像の記録が開始される。撮影映像に基づく映像としては、例えば、後述する記録領域の記録映像等が挙げられる。なお、ユーザのレリーズ指示は、後述するディスプレイ２８が有するタッチ検出機能を介して、制御部４６に入力されてもよい。

撮影装置本体１２の背面には、表示画面を構成するディスプレイ２８が配置されており、その周辺には複数のボタンが配置されている。

ディスプレイ２８は、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Organic Electroluminescence）ディスプレイ、ＬＥＤ（Light Emitting Diode）ディスプレイ、または電子ペーパー等で構成されている。ディスプレイ２８の表示画面には、撮像装置１０が撮影する映像、または撮影映像に基づく映像等が表示される。
また、ディスプレイ２８の表示画面には、撮影条件等に関する選択メニュー、警告等を含むユーザへの通知情報、および過去に取得した映像の再生映像等も表示される。

ディスプレイ２８は、ユーザの指のタッチを検出機能を備えている。本実施形態では、ディスプレイ２８は透過型のタッチパネル３６が重ねられている。タッチパネル３６は、ユーザの指またはスタイラスペン等の接触位置およびその変位を検知し、検知結果に基づく信号を所定の出力先に出力する。なお、タッチパネル３６はディスプレイ２８の内部に組み込まれていてもよい。

撮影装置本体１２の筐体内には、図３に示すように、光学シャッタ３８、撮像素子４０、アナログ信号処理回路４４、制御部４６、内部メモリ５０、カードスロット５２、およびバッファ５６が設けられている。

光学シャッタ３８は、例えば、撮像素子４０の直前に配置されたフォーカルプレンシャッタであり、プレビュー時開放状態に維持されていて、静止画像の撮影のための露光動画行われる寸前に一旦閉じられる。その後、フォーカルプレンシャッタ内の先幕および後幕が走行して露光（シャッタ開閉動作）が行われると、光学シャッタ３８が再び開放状態に維持される。なお、光学シャッタ３８はフォーカルプレンシャッタの他に、ダイヤフラムシャッタ等のメカニカルシャッタ、または液晶シャッタ等を用いることもできる。

撮像素子４０は、第１画角の基準映像の光学像を撮像するものであり、イメージセンサを有する。イメージセンサとしては、ＣＣＤ（Charged Coupled Device）またはＣＭＯＳ等の固体撮像素子が例示される。撮像素子４０は、図４に示すように、第１方向Ｄ_１および第１方向Ｄ_１に交差する第２方向Ｄ_２に複数の単位画素４２が配列した画素領域４３を有する。撮像素子４０では、複数の単位画素４２のそれぞれが、オンチップマイクロレンズ、およびカラーフィルタを有する構成でもよい。撮像素子４０の画素領域４３の画素解像度は７０００万以上であることが好ましい。画素領域４３の画素解像度が７０００万以上であれば、基準映像が高画質映像となり、１つの基準映像に対して、複数の映像領域を設定しても各記録領域が十分な解像度となる。このため、基準映像から得られる記録領域の視認性が担保される。画素解像度の上限は、特に限定されるものではなく、１０億以下とするのがよく、より好ましくは５億以下とするのがよい。なお、撮像素子４０の詳細な構成は後に説明する。

図４は、撮像素子４０の複数の単位画素４２と、撮像領域Ａ０との対応関係を示している。基準映像Ａ１は、撮像装置１０により第１画角で撮像された撮像領域Ａ０に映る映像である。撮像領域Ａ０に映る基準映像Ａ１は、複数の単位画素４２で構成されるが、最大で画素領域４３と同数の画素によって構成される。
複数の単位画素４２は、それぞれ図４に示すように，基準映像Ａ１を構成する単位領域Ａｄの一つと対応している。単位領域Ａｄは、基準映像Ａ１における最小単位をなす領域であり、複数の画素で構成される。

撮像素子４０は、撮影レンズ１４を通過した被写体からの光を受光して結像し、その光学像を電気信号（画素信号）に変換して出力する。また、撮像素子４０は、撮像素子に備わるシャッタによる露光動作が実施可能となるように構成されている。すなわち、シャッタ機能により、光学シャッタ３８を開放状態に維持したまま、制御された時間で光電変換および電荷蓄積を行うことが可能である。また、シャッタによる露光時間は、調整可能である。撮像装置１０は、例えば、ズーム機能を有する撮像レンズ（図示せず）を備える構成とすることもできる。撮像装置１０が、ズーム機能を有する撮像レンズを備える場合、撮像素子は、ズーム機能を有する撮像レンズを透過した光を受光して、被写体の光学像を撮像する。すなわち、第１画角の基準映像の光学像を撮像する。
なお、以下の説明において「露光」とは、特に断る場合を除き、光学シャッタ３８を開放状態に維持したまま、撮像素子４０にてシャッタによる露光を行うことを意味することとする。また、「露光時間」とは、シャッタによる露光時間のことであり、厳密には電荷蓄積時間である。

図３において、アナログ信号処理回路４４は、撮像素子４０から出力された、アナログの電気信号（画素信号）をデジタル信号に変換するものであり、処理済みの信号は、制御部４６の映像処理部４８に送られる。変換されたデジタル信号は、撮像素子４０で得られた画素信号をデジタル化したものであり、動画像である基準映像を構成するフレーム画像のデジタル画像データに該当する。なお、画素信号は、最終的には映像を表すための信号であることから、映像信号ともいう。なお、アナログ信号処理回路４４は、後述する図５のカラム処理部１１３に組み込まれていてもよい。

制御部４６は、撮像装置１０の各部を制御し、映像ファイルの作成に関する各種の処理を実行する。制御部４６は、図３に示すようにコントローラ４７および映像処理部４８を含む。例えば、撮像装置１０の各部を制御し、後述の間引き処理、映像ファイルの作成に関する各種の処理を実行させる、制御プログラム（図示せず）を内部メモリ５０に記憶させる。制御部４６は、内部メモリ５０から制御プログラムを読み出し、制御プログラムを実行する。

本実施形態において、制御部４６は、制御プログラムを実行するためのプロセッサを、例えば、１つまたは複数有する。プロセッサとしては、ＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＧＰＵ（Graphics Processing Unit）、またはその他のＩＣ（Integrated Circuit）を用いることができ、また、これらを組み合わせてプロセッサを構成してもよい。
上述のプロセッサは、ＳｏＣ（System on Chip）等に代表されるように、コントローラ４７および映像処理部４８を含む制御部４６全体の機能を一つのＩＣ（Integrated Circuit）チップで構成してもよい。
なお、以上に挙げた各プロセッサのハードウェア構成は、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）で実現してもよい。

コントローラ４７は、ユーザの操作または規定の制御パターンにしたがって撮像装置１０を統括的に制御する。例えば、前述の撮像素子４０およびアナログ信号処理回路４４は、所定のフレームレートにて映像（動画像）を撮影するようにコントローラ４７によって制御される。また、制御部４６は、動画撮像モードとして第１モードと第２モードを備える。動画撮像モードとして備える第１モードと第２モードの選択、および第１モードと第２モードとの切替えがコントローラ４７により制御される。撮像素子４０で得られた光学像のうち、複数の画素の読み出しの一部を間引く間引き駆動もコントローラ４７により制御される。

また、コントローラ４７は、撮影環境に応じて撮影条件を決め、撮影条件が決められた条件になるように撮像素子４０、アナログ信号処理回路４４および映像処理部４８を制御する。撮影条件には、映像を撮影する際の露光量、ホワイトバランス、および撮影レンズ１４のフォーカス（ピント）等が含まれる。
さらに、コントローラ４７は、撮影された映像、または撮影映像に基づく映像が記録媒体に記録されるように映像処理部４８を制御する。

映像処理部４８は、アナログ信号処理回路４４から出力されたデジタル画像データに対してガンマ補正、ホワイトバランス補正、および傷補正等の各種処理を行う。また、映像処理部４８は、処理後のデジタル画像データを、所定の規格に準拠した圧縮形式にて圧縮する。

そして、映像処理部４８は、映像の撮影中、特定のフレームレートにて圧縮デジタル画像データを生成し、そのデータから映像（厳密には、フレーム画像）を取得する。このときに取得される映像（フレーム画像）は、前述の第１画角で撮影される映像、すなわち、基準映像に相当する。

また、映像処理部４８は、コントローラ４７による制御の下、取得した映像に対して種々の処理（例えば、後述の設定処理）を実行し、処理後の映像を特定のフレームレートにて１フレーム毎にディスプレイ２８に出力する。
さらに、映像処理部４８は、処理後の映像を記録媒体に記録し、その映像ファイルを作成する。このように映像処理部４８が映像ファイルの作成機能を備えていることから、映像処理部４８を有する撮像装置１０は、本実施形態では映像作成装置として利用されることになる。

なお、以降では、特に断る場合を除き、コントローラ４７および映像処理部４８の各々の動作および処理を、制御部４６の動作および処理として説明することとする。また、制御部４６による処理については、後の項で詳しく説明する。

撮影装置本体１２に内蔵された内部メモリ５０、および、カードスロット５２を介して撮影装置本体１２に対して着脱可能なメモリカード５４は、記録媒体であり、制御部４６により映像が記録される。
なお、内部メモリ５０およびメモリカード５４は、撮影装置本体１２の外にあってもよく、その場合、制御部４６は、有線または無線によって外部の記録媒体に対して映像の記録を行ってもよい。バッファ５６は、制御部４６のワークメモリとして機能する。次に、撮像素子４０について具体的に説明する。

（撮像素子の構成）
図５に、撮像素子４０の構成例を示す。図５に示した撮像素子４０は、例えば、Ｘ－Ｙアドレス方式撮像装置の一種であるＣＭＯＳイメージセンサの構成の概略を示す図である。ここで、ＣＭＯＳイメージセンサとは、ＣＭＯＳプロセスを応用して、または、ＣＭＯＳプロセスを部分的に使用して作成されたイメージセンサである。

図５に示した撮像素子４０は、半導体基板上に形成された複数の単位画素４２を含む画素アレイ部１１１と、当該画素アレイ部１１１と同じ半導体基板上に集積された周辺回路部とを有する構成となっている。周辺回路部は、例えば、垂直駆動部１１２、カラム処理部１１３、水平駆動部１１４およびシステム制御部（図３の制御部４６）から構成されている。

撮像素子４０はさらに、信号処理部１１８およびデータ格納部１１９を備えている。信号処理部１１８およびデータ格納部１１９については、撮像素子４０と同じ基板上に搭載しても構わないし、撮像素子４０とは別の基板上に配置するようにしても構わない。また、信号処理部１１８およびデータ格納部１１９の各処理については、撮像素子４０とは別の基板に設けられる外部信号処理部、例えば、ＤＳＰ（Digital Signal Processor）回路またはソフトウエアによる処理でも構わない。

画素アレイ部１１１は、受光した光量に応じた光電荷を生成しかつ蓄積する光電変換部を有する単位画素４２（以下、単に「画素」と記述する場合もある）が行方向および列方向に、すなわち、行列状に２次元配置された構成となっている。ここで、行方向とは画素行の画素の配列方向（すなわち、水平方向）を言い、列方向とは画素列の画素の配列方向（すなわち、垂直方向）を言う。

画素アレイ部１１１において、行列状の画素配列に対して、画素行毎に画素駆動線１１６が行方向に沿って配線され、画素列毎に垂直信号線１１７が列方向に沿って配線されている。画素駆動線１１６は、画素から信号を読み出す際の駆動を行うための駆動信号を伝送する。図５では、画素駆動線１１６について１本の配線として示しているが、１本に限られるものではない。画素駆動線１１６の一端は、垂直駆動部１１２の各行に対応した出力端に接続されている。

垂直駆動部１１２は、シフトレジスタまたはアドレスデコーダ等によって構成され、画素アレイ部１１１の各画素を全画素同時あるいは行単位等で駆動する。すなわち、垂直駆動部１１２は、当該垂直駆動部１１２を制御するシステム制御部と共に、画素アレイ部１１１の各画素を駆動する駆動部を構成している。この垂直駆動部１１２はその具体的な構成については図示を省略するが、一般的に、読出し走査系と掃き出し走査系の２つの走査系を有する構成となっている。

読出し走査系は、単位画素４２から信号を読み出すために、画素アレイ部１１１の単位画素４２を行単位で順に選択走査する。単位画素４２から読み出される信号はアナログ信号である。掃き出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりもシャッタスピードの時間分だけ先行して掃き出し走査を行う。

この掃き出し走査系による掃き出し走査により、読出し行の単位画素４２の光電変換部から不要な電荷が掃き出されることによって当該光電変換部がリセットされる。そして、この掃き出し走査系による不要電荷の掃き出す（リセットする）ことにより、所謂電子シャッタ動作が行われる。

垂直駆動部１１２によって選択走査された画素行の各単位画素４２から出力される信号は、画素列毎に垂直信号線１１７の各々を通してカラム処理部１１３に入力される。カラム処理部１１３は、画素アレイ部１１１の画素列毎に、選択行の各画素４２から垂直信号線１１７を通して出力される信号に対して所定の信号処理を行うと共に、信号処理後の画素信号を一時的に保持する。

具体的には、カラム処理部１１３は、信号処理として、ノイズ除去処理、例えば、ＣＤＳ（Correlated Double Sampling）処理を行う。このカラム処理部１１３によるＣＤＳ処理により、リセットノイズ、および画素内の増幅トランジスタの閾値ばらつき等の画素固有の固定パターンノイズが除去される。カラム処理部１１３にノイズ除去処理以外に、例えば、ＡＤ（アナログ－デジタル）変換機能を持たせ、アナログの画素信号をデジタル信号に変換して出力することも可能である。

水平駆動部１１４は、シフトレジスタまたはアドレスデコーダ等によって構成され、カラム処理部１１３の画素列に対応する単位回路を順番に選択する。この水平駆動部１１４による選択走査により、カラム処理部１１３において単位回路毎に信号処理された画素信号が順番に出力される。

システム制御部は、各種のタイミング信号を生成するタイミングジェネレータ等によって構成され、当該タイミングジェネレータで生成された各種のタイミングを基に、垂直駆動部１１２、カラム処理部１１３、および、水平駆動部１１４等の駆動制御を行う。

信号処理部１１８は、少なくとも演算処理機能を有し、カラム処理部１１３から出力される画素信号に対して演算処理等の種々の信号処理を行う。データ格納部１１９は、信号処理部１１８での信号処理に当たって、その処理に必要なデータを一時的に格納する。

（間引き処理）
図５に示す撮像素子４０は、画素領域４３の全ての画素４２の画素信号を、例えば、ラスタスキャン順等の所定の順序で読み出す全画素読み出しによる撮像が可能であり、また、間引き読み出しが可能である。全画素読み出しは、画素領域４３の全ての画素４２を利用して、高解像度な撮像を可能とする。

間引き読み出しとは、例えば、画素領域４３に対して設定された周期で画素４２の信号を読み飛ばし、残りの画素から信号を読み出すことである。また、間引き読出しとは、例えば、画素領域４３から複数の画素４２の信号を読出し、アナログ信号処理回路４４等で一部の画素の信号を間引いて映像を出力することである。また、間引き読出しは、複数の画素の撮像信号を加算しながら読み出すことにより撮像信号の信号数を低減する「加算による間引き読み出し」を含む。間引き読み出しでは、画素領域４３の読み出す画素を減らすことができるため、１枚の画像を生成する時間が全画素読み出しよりも短時間で読み出すことができる。したがって、解像度は低下するが高速な撮像を行う場合、および低消費電力で撮像を行う場合に有効である。なお、間引き読み出しのことを、間引き処理という。第１モードおよび第２モードのいずれでも、間引き処理がなされる。第１画角の基準映像および第２画角の記録映像に対して間引き処理がなされる。第２画角の記録領域の記録映像、いわゆる、クロップ動画については、基準映像よりも間引き率を下げて、すなわち、読み出し行数を多く読み出す。上述の間引き読み出しが、間引き駆動である。

間引き読み出しには、間引き率によって、１／２間引き、および１／４間引き等がある。ここで、間引き率とは、記録する映像領域に対応する、撮像素子の画素領域の画素の減少割合のことである。例えば、撮像素子４０において、画素領域４３の第１方向Ｄ_１（図６参照）、すなわち、垂直方向Ｖ（図６参照）の読み出す行数の比率を表す。例えば、１／２間引きは、垂直方向の読み出す行数を全体の１／２に間引いた間引き読み出しである。また、画素領域４３の第２方向Ｄ_２（図７参照）、すなわち、水平方向Ｈ（図７参照）の読み出す行数の比率も、間引き率という。

以下の説明において、特定の画素を読み飛ばす間引き処理を例として、間引き処理を説明する。例えば、１／２間引きでは、図６に示すように、撮像素子４０の画素領域４３において、最初に読み出す画素４２の行７６ａが読み出された次には、画素４２から１画素だけ垂直方向Ｖ、すなわち、行方向に進んだ画素４２の行７６ａが読み出される。この場合、１／２間引きの解像度は、全画素読み出しの１／２となる。
また、１／２間引きでは、図７に示すように、撮像素子４０の画素領域４３において、最初に読み出す画素４２の列７６ｂが読み出された次には、画素４２から１画素だけ水平方向Ｈ、すなわち、列方向に進んだ画素４２の列７６ｂが読み出してもよい。この場合、１／２間引きの解像度は、全画素読み出しの１／２となる。特定の列方向の画素を読み出す場合には、例えば、全画素を読み出し、アナログ信号処理回路４４によりデジタル信号とする。その後、制御部４６で、列方向に最初に読み出した画素４２の列７６ｂに対応する画素データから１画素、水平方向Ｈに進んだ画素４２の列７６ｂの画素データを読み出す信号処理を実施する。この信号処理を繰り返して、列方向に間引いた画素データを得る。この場合、１／２間引きの解像度は、全画素読み出しの１／２となる。

［制御部による処理について］
次に、制御部４６による処理について説明する。制御部４６による処理には、表示処理、第１記録処理、第２記録処理、設定処理、選択処理、切替え処理、記録処理、露光量調整処理、フォーカス調整処理、およびホワイトバランス調整処理が挙げられる。
以下、上述した各処理について個別に説明する。

（表示処理）
表示処理は、各種の映像をディスプレイ２８の表示画面に表示する処理である。例えば、撮像装置１０の起動後に制御部４６が表示処理を開始すると、その時点では、撮像装置１０が第１画角にて撮影する基準映像、つまり、図４に示す基準映像Ａ１に映る映像が表示される。
また、設定処理が実行された場合、制御部４６は、表示処理において、後述する記録領域の記録映像を表示画面に表示する。さらに、映像領域が切替えられた場合（つまり、後述の切替え工程が実施された場合）、制御部４６は、表示画面に表示する映像を、切替え工程後の記録領域の記録映像に切替える。

以上のような制御部４６による表示処理の実行動作が表示工程に該当する。なお、本実施形態では、表示処理によってディスプレイ２８に表示される映像が、その時点でリアルタイムに撮影されるライブ映像（ライブビュー画像）であることとする。

（第１記録処理）
撮像装置１０は、制御部４６が、動画撮像モードとして第１モードと第２モードとを備える。第１記録処理は、第１モードにおいて、撮像素子４０を用いて、第１画角の基準映像の動画データを記録する処理である。

（第２記録処理）
第２記録処理は、第２モードにおいて、第１画角よりも小さい第２画角である記録領域の記録映像の動画データを記録する処理である。
なお、第１記録処理および第２記録処理における動画データを記録する処理は、後述する記録処理にて説明する。

（設定処理）
設定処理は、第２モードにおいて、第１画角よりも小さい第２画角である記録領域を基準映像内に設定する処理である。
設定処理に際して、ユーザは、記録領域を基準映像内に設定するための操作を行う。この設定操作について図８を参照しながら具体的に説明する。図８は本発明の実施形態の撮像装置による基準映像内に記録領域を設定する手順を示す。

ユーザは、図８に示すように、ディスプレイ２８の表示画面に基準映像Ａ１が表示された状態で設定操作を行う。具体的に説明すると、基準映像Ａ１が表示された状態においてユーザが所定のボタン操作を行うと、図８に示すように、例えば、矩形状の領域設定枠ＦＲが基準映像Ａ１に重畳されて表示される。この領域設定枠ＦＲによって囲まれる映像領域Ａ２が、基準映像Ａ１から抽出される映像の領域となる。抽出される映像の画角は、記録領域の画角であり、第２画角である。第２画角は基準映像Ａ１の第１画角よりも小さい画角である。

領域設定枠ＦＲは、その位置、サイズおよび縦横比が可変な状態で表示される。図９は基準映像Ａ１内に、３つの映像領域Ａ２、映像領域Ａ３および映像領域Ａ４の設定された状態を示す。
なお、基準映像Ａ１内に複数の映像領域が設定される場合、各映像領域Ａ２、Ａ３、Ａ４の第２画角、すなわち、サイズは、映像領域Ａ２、Ａ３、Ａ４間で同じでもよく、あるいは映像領域Ａ２、Ａ３．Ａ４間で異なってもよい。
また、設定される映像領域の数は、特に限定されないが、複数でもよく、本実施形態では３つにしている。

ユーザによる設定操作が複数回繰り返された場合、制御部４６は、それぞれの設定操作を受け付け、設定操作の回数に応じた数の映像領域Ａ２を、撮像領域Ａ０の基準映像Ａ１内に設定する。このような制御部４６の動作が設定工程に該当する。
なお、基準映像において、設定した記録領域を、基準映像から抽出する処理を抽出処理という。抽出された映像は、クロップ映像または切り出し映像とも呼ばれ、第２記録処理における記録対象である。また、基準映像から記録領域を抽出することを、切り出すともいう。

（選択処理および切替え処理）
選択処理は、撮像領域Ａ０の基準映像Ａ１内に設定された複数の映像領域Ａ２、Ａ３、Ａ４の中から、記録される映像が映る映像領域を選択する処理である。
切替え処理は、選択処理の後に、映像領域を複数の映像領域Ａ２、Ａ３、Ａ４の中から再選択して映像領域を切替える処理である。

選択処理および切替え処理の手順について説明すると、ユーザは、前述の設定操作を行って複数の映像領域Ａ２を設定した後、いずれかの別の映像領域Ａ３、Ａ４を映像領域として選ぶ。その後、ユーザが図２に示す第１操作ボタン３０、第２操作ボタン３２、第３操作ボタン３４またはタッチパネル３６等を通じて選んだ映像領域Ａ２を入力し、その入力操作を制御部４６（図３参照）が受け付ける。制御部４６は、ユーザの入力操作に基づき、映像領域を複数の映像領域Ａ３、Ａ４の中から決定する。このような制御部４６による動作が選択工程に該当する。

また、選択工程後に、ユーザが映像領域Ａ２を、例えば、別の映像領域Ａ３に選び直して入力操作を再度行うと、制御部４６が、その再入力操作を受け付けて、その再入力操作に基づき、それまでの映像領域を別の映像領域Ａ３に切替える。このような制御部４６による動作が切替え工程に該当する。

以上のように本実施形態では、選択工程において複数の映像領域Ａ２～Ａ４の中から記録領域が選択され、記録領域の記録映像が映像ファイルとして記録される。また、選択工程が実施されると、それに連動して、例えば、記録領域Ｆ４として選択された映像領域Ａ４の被写体が、図１０に示すように記録映像Ｊ４として撮像装置１０のディスプレイ２８の表示画面に表示される。図１０は撮像装置１０のディスプレイ２８の表示画面に表示された記録領域の記録映像Ｊ４を示す。

また、選択工程後に切替え工程を実施することで、記録領域を切替えて、記録対象である記録領域の記録映像を、ある被写体の映像から別の被写体の映像に変えることができる。これにより、同一シーン（場所）にある複数の被写体の各々について、個別映像（詳しくは、各被写体にクローズアップした映像）を、複数の装置を用いずに一台の撮像装置１０によって撮影することができる。
また、記録される映像が映る映像領域Ａ２を、ユーザの操作に応じて時系列に切替えること、すなわち、スイッチングすることができ、かつ、切替え前後の映像が映った映像ファイルを容易に取得することができる。
さらに、切替え工程の実施に連動し、ディスプレイ２８の表示画面に表示される映像が、切替え工程前の記録領域の記録映像から、切替え工程後の記録領域の記録映像に切り替わる。これにより、ユーザは、映像領域の切替えを表示画面にて確認することができる。

（記録処理）
記録処理は、制御部４６が、第１画角の基準映像の光学像、および撮像記録領域の記録映像を記録媒体に記録し、その映像の映像ファイル（詳しくは、動画データ）を作成する処理である。記録処理の対象は、第１モードの第１記録処理、および第２モードの第２記録処理における動画データである。動画データの形式は、特に限定されるものではなく、例えば、ＭＰ４、ＡＶＣＨＤ（Advanced Video Codec High Definition）、ＡＶＩ（Audio Video Interleave）およびＭＯＶ等の公知の形式のものを用いることができる。
記録処理において制御部４６が記録領域の記録映像を記録する動作は、記録工程に該当する。また、記録処理において制御部４６が映像ファイルを作成する動作は、作成工程に該当する。なお、本実施形態では、映像の記録と映像ファイルの作成、すなわち、動画データの作成とは同義であり、作成工程が記録工程に相当することとする。

また、制御部４６は、切替え工程を実施した場合、切替え工程前の記録領域の記録映像と、切替え工程後の記録領域の記録映像とをそれぞれ記録して映像ファイルを作成してもよい。この場合、制御部４６は、作成工程において、切替え工程前の記録領域の記録映像（動画像）と、切替え工程後の記録領域の記録映像（動画像）とを結合して映像ファイルとしての動画データを作成する。これにより、映像領域の切替えによって被写体が変わる映像の動画データが取得される。記録領域Ｆ２として選択された映像領域Ａ２の被写体が、図１１に示すように記録映像Ｊ２として表示され、記録領域の切替えのタイミングＭｃで、例えば、記録領域Ｆ４として選択された映像領域Ａ４の被写体が、記録映像Ｊ４として表示され、記録映像に表示が変わる。ここで、図１１は本発明の実施形態の撮像装置による動画データに基づく記録領域の記録映像の一例を示す模式図である。また、映像領域を表示している間、例えば、全体画像を挟んで表示してもよい。すなわち、切替えのタイミングＭｃの後、映像領域Ａ４の記録映像の表示の前に、例えば、図９に示す基準映像Ａ１を表示してもよい。

映像領域の露光量の適正値（適正露光量）は、撮像領域Ａ０の基準映像Ａ１内に設定された複数の映像領域Ａ２、Ａ３、Ａ４のうち、どの領域を選択するかに応じて変わる。このため、基準映像Ａ１において、映像領域Ａ２、Ａ３、Ａ４の適正露光量は、切り替え工程の前に予め特定しておくことが好ましい。これにより、映像領域Ａ２、Ａ３、Ａ４を切替えた場合、短時間で、記録領域のクロップ動画を得ることができる。

映像領域の露光量は、具体的に説明すると、制御部４６が、所定領域の適正露光量に基づいて、露光時間（シャッタ速度）および絞り量（Ｆ値）の各々の値を決める。かかる動作は、制御部４６による条件決定工程に該当する。この条件決定工程において決められる各パラメータの値は、記録領域の記録映像を含む基準映像を撮影する際の露光条件を示す値である。
なお、本実施形態では、露光時間および絞り量の両方の値を決めるが、これに限定されるものではなく、露光時間または絞り量のいずれか一方の値のみを決めてもよい。

また、制御部４６は、露光時間および絞り量の各々の値を決めた後、これらの値の組み合わせに応じて、記録領域の映像領域と対応する画素４２の感度（ＩＳＯ感度）の値を決める。厳密には、記録領域の映像領域と対応する画素４２の画素信号に対するゲイン（増幅比）が決められる。
なお、ゲインは、例えば、アナログ信号処理回路４４等におけるアナログ信号に対するアナログゲインでもよく、映像処理部４８等におけるデジタル変換後のデジタル信号に対するデジタルゲインであってもよい。

そして、露光時間、絞り量および感度が決められた後、これらのパラメータが決められた値になるように図３に示す制御部４６が絞り駆動部２３、撮像素子４０および映像処理部４８等を制御する。

以上のような手順にて、映像が記録される間、露光量調整処理が定期的に（例えば、１フレーム毎に）繰り返し実施される。そして、露光量調整処理が実施される度に露光時間、絞り量および感度の値が決定される。

また、動画が記録される期間中、露光量調整処理が定期的に繰り返し実施してもよい。この場合、露光条件のうち、露光時間および絞り量が経時的に変化し、これに伴って、基準映像を撮影する際の露光量が経時的に調整される。
さらに、露光時間および絞り量の変化に連動し、記録領域と対応する画素４２の感度が経時的に変化する。この結果、記録領域の露光量が経時的に調整されることになる。
なお、本実施形態において、「経時的に調整する」とは、調整対象のパラメータについて１フレーム毎に調整量を決め、１フレーム毎に各パラメータを当該調整量だけ増減させることを意味する。なお、制御部に対する負荷低減のため、露出量調整処理は、切り替え工程に連動して実施してもよい。

（フォーカス調整処理）
フォーカス調整処理は、オートフォーカスモードにおいて制御部４６がフォーカス用駆動部２２を制御して撮影レンズ１４のフォーカスを自動的に調整する処理である。オートフォーカスモードによるフォーカス調整には、公知のオートフォーカス技術が利用可能である。その具体例としては、コントラストオートフォーカス、像面位相差オートフォーカス、指向性光オートフォーカス、および、Depth-from-Defocus方式のオートフォーカス等が挙げられる。これらのオートフォーカス方式のうち、いずれか一つを採用してもよく、あるいは、複数の方式を組み合わせて採用してもよい。

撮像装置１０では、動画の撮影中、第１画角の基準映像Ａ１において、第２画角の記録領域を経時的に移動させることができる。ここで、「経時的に移動させる」とは、記録領域の位置が漸次的に変化するように、基準映像Ａ１に対して相対的に動かすことを意味し、途中で移動が停止（中断）する場合も含み得る。以下では、映像領域Ａ２を記録領域Ｆ２として選択した場合について説明する。

記録領域Ｆ２の経時的な移動は、映像処理部４８によって実現される。具体的に説明すると、ユーザが、図１２に示す抽出モード選択画面を通じて一つのモードを選択すると、映像処理部４８は、選択されたモードに応じた移動経路に沿って第１画角の基準映像Ａ１内で移動させる。図１２は撮像装置１０のディスプレイ２８に表示された抽出モード選択画面を示す。

より具体的に説明すると、例えば、２種類の抽出モードが用意されている。一方のモードは、追尾対象の被写体を追尾するように記録領域Ｆ２を移動させるモード（以下、追尾モードと呼ぶ。）である。もう一方のモードは、一定方向に記録領域Ｆ２を移動させるモード（以下、パニングモードと呼ぶ。）である。

追尾モードが選択された場合、映像処理部４８は、追尾対象の被写体を追尾するように、被写体の映像を表す記録領域Ｆ２を移動させる。その手順について説明すると、追尾モードが選択された場合、ユーザが第１画角の基準映像Ａ１内の被写体の映像を表す記録領域Ｆ２を画面上でタッチする等して指定すると、映像処理部４８が、その被写体を追尾対象として設定する。以降、映像処理部４８は、図１３に示すように記録領域Ｆ２内に追尾対象の被写体が収まるように記録領域Ｆ２を移動させる。図１３は撮像装置１０の追尾モードが選択された場合の記録領域Ｆ２の移動経路を示す。

以上により、追尾モードが選択されると、追尾対象の被写体が第１画角の基準映像Ａ１内に存在している限り、追尾対象の被写体が映った第１画角の基準映像Ａ１をディスプレイ２８に常時表示することができる。また、被写体を追尾するためにユーザが撮像装置１０を自ら動かす必要がなく、それ故に手動での画角変更がなく、手動での画角変更によって生じる映像の乱れ（映像ブレ等）を回避することもできる。こうした効果は、アナモフィックレンズを用いたときの画角で撮影を行う場合には、特に有効である。

なお、第１画角の基準映像Ａ１内で追尾対象の被写体を探索するアルゴリズムは、特に制限されるものではない。一例を挙げると、追尾対象として設定された被写体の画像をテンプレート画像としてバッファ５６（図３参照）に記憶しておき、公知のテンプレートマッチング技術を適用して、上述のテンプレート画像と基準映像とを比較する。そして、比較の結果、テンプレート画像とマッチングする部分の映像を特定すればよい。

パニングモードが選択された場合、映像処理部４８は、一定方向（例えば、第１画角の基準映像Ａ１の横方向）に記録領域Ｆ２をスライド移動、すなわち、パニングさせる。その手順について説明すると、パニングモードが選択された場合、ユーザが記録領域Ｆ２の開始位置、移動方向および移動速度等を、ディスプレイ２８の設定画面（図示せず）にて設定する。その後、映像処理部４８が、図１４に示すように、設定された開始位置から設定された方向へ、設定された速度で記録領域Ｆ２を自動的にパニングさせる。図１４は撮像装置１０のパニングモードが選択された場合の記録領域Ｆ２の移動経路を示す。

以上により、パニングモードが選択されると、撮影アングルを一定方向に連続的に変化させたような映像、言わばパノラマ映像をディスプレイ２８に表示することができる。また、アングル変更のためにユーザが撮像装置１０を自ら動かす必要がなく、それ故に手動での画角変更がなく、手動での画角変更によって生じる映像の乱れ（映像ブレ等）を回避することもできる。こうした効果は、アナモフィックレンズを用いたときの画角で撮影を行う場合には、特に有効である。

ところで、記録領域Ｆ２に関する設定事項、例えば、サイズ、縦横比、面積率、および移動中の移動速度等については、通常、初期設定された内容が採用されるが、ディスプレイ２８の設定画面（図示せず）にてユーザが任意に設定することができる。
ここで、記録領域Ｆ２の縦横比は、第１画角の基準映像Ａ１の縦横比であり、厳密には、縦横それぞれの画素数の比率である。記録領域Ｆ２の面積率は、第１画角の基準映像Ａ１に対する記録領域Ｆ２の面積率である。記録領域Ｆ２の移動速度は、画角を画素単位で区画したときに、移動中の記録領域Ｆ２が単位時間において通過する画素数である。

＜撮像装置の第１の例による撮像＞
次に、上述の機能を有する撮像装置１０を用いた撮像について説明する。
図１５は本発明の実施形態の撮像装置の第１モードを示すフローチャートであり、図１６は本発明の実施形態の撮像装置の第２モードを示すフローチャートである。
上述のように、撮像装置１０の制御部４６は、第１モードと第２モードとを動画撮像モードとして備え、第１画角の基準映像の光学像に基づく映像の動画データを記録する。

（第１モード）
図１５において、制御部４６は、第１モードにおいて、撮像素子４０を用いて第１画角の基準映像の光学像を撮像し（ステップＳ１０）、基準映像の動画データを記録する第１記録処理（ステップＳ１２）を実行する。制御部４６は、第１モードの第１記録処理において、光学像のうち、複数の画素の読み出しの一部を間引く間引き駆動を実行する（ステップＳ１４）。第１記録処理および間引き駆動は、上述の通りである。
（第２モード）
また、図１６において、制御部４６は、第２モードにおいて、第１画角よりも小さい第２画角である記録領域を基準映像内に設定する設定処理（ステップＳ１６）と、記録領域の記録映像の動画データを記録する第２記録処理（ステップＳ１８）とを実行する。制御部４６は、第２モードの第２記録処理において、光学像のうち、複数の画素の読み出しの一部を間引く間引き駆動を実行する（ステップＳ２０）。第２記録処理および間引き駆動は、上述の通りである。

制御部４６は、ステップＳ１４およびステップＳ２０において間引き駆動を実行する場合、第２記録処理の間引き駆動（ステップＳ２０）における第２間引き率を、第１記録処理の間引き駆動（ステップＳ１４）における第１間引き率よりも低く設定する。すなわち、第２記録処理を第１記録処理よりも画素の読み出し数を多くする。具体的には、図６において、第１記録処理の間引き駆動では、画素領域４３の第１方向Ｄ_１において、３列の画像列を１単位として、３列の画像列において、２列の画像列を読み出す。第２記録処理の間引き駆動では、画素領域４３の第１方向Ｄ_１において、４列の画像列を１単位として、４列の画像列において、３列の画像列を読み出す。

（第２間引き率の変化）
図１７において、制御部４６は、第２モードにおいて、第２画角によって記録領域の第２間引き率を変化させることが好ましい。第２画角は、第１画角よりも小さい記録領域であるが、ユーザの設定によって大きさは変化する。第２画角の大きさが変われば、第２画角に対応する総画素数も変わる。つまり、記録領域が大きくなれば対応する画像数が多くなり、記録領域が小さくなれば対応する画素数が少なくなる。記録領域の大きさによらず、第２画角における間引き率が同じにして記録領域を小さくした場合、間引き後に、十分な解像度を得ることができない可能性がある。このため、第２画角によって記録領域の第２間引き率を変化させることが好ましい。この場合、図１７に示すように、記録領域の大きさを特定する（ステップＳ３０）。記録領域の大きさは、全画素数により特定することができる。予め記録領域の大きさに対して閾値を設定しておき、閾値と比較して（ステップＳ３２）、閾値を超える場合には第２間引き率を大きくし（ステップＳ３４）、閾値未満の場合には、第２間引き率を小さくする（ステップＳ３６）。なお、ステップＳ３２において、記録領域の大きさが閾値と同じである場合、第２間引き率を変えない（ステップＳ３８）。

（入力解像度と出力解像度）
また、上述のように、第２間引き率は、記録領域（第２画角）の大きさにより変化することが好ましい。制御部４６の第２間引き率の変化によって、撮像素子４０は、制御部４６に入力させる記録領域の記録映像の入力解像度を変化させる。制御部４６は、撮像素子４０からの入力解像度が動画データの記録フォーマットである出力解像度よりも高い場合、入力解像度を低減させて出力解像度に合わせることが好ましい。記録領域の記録映像の入力解像度が出力解像度よりも低い場合、公知の補完技術を用いて入力解像度を補完して出力解像度に合わせることが好ましい。そして、制御部４６は、出力解像度を有する動画ファイルをメモリカード５４（図３参照）に出力して、動画ファイルをメモリカード５４に記録する。

（ユーザへの通知）
基準映像の入力解像度が予め定められた設定解像度よりも低い場合、基準映像の総画素数が少なくなる。よって、十分な解像度のクロップ動画を得ることができず、クロップ動画の画質が低下する。このため、制御部４６は、入力解像度と、設定解像度とを比較して、入力解像度が小さい場合、撮像レンズのズーム機能により、基準映像の撮像倍率を高くして、基準映像の総画素数を多くすることが好ましい。これにより、十分な解像度のクロップ動画を得ることができる。撮像レンズのズーム機能により撮像倍率を高くして基準映像の撮像することを、光学ズーム処理という。

制御部４６は、ズーム機能に関する通知をユーザに行う。この場合、例えば、ディスプレイ２８にズーム機能に関する通知を表示する。通知の表示としては、特に限定されるものではなく、例えば、「ズーム機能を使用してください」と文字で示してもよい。これ以外に、通知の表示としては、単にディスプレイ２８全面を、赤単色、または複数の色を繰り返し点滅させてもよい。

（間引き駆動）
間引きを実行する場合、撮像素子４０（図５参照）に対して、制御部４６は、図１８および図１９に示すように第１方向Ｄ_１において、画素領域４３を、第１配線を通じてスイッチ部に駆動信号が供給される画素からなる駆動領域４３ａと、駆動領域４３ａ以外の非駆動領域４３ｂとに分割する間引き駆動を実行する。制御部４６は、第２記録処理において、駆動領域４３ａを用いて映像領域Ａ２を記録し、映像領域Ａ２以外の映像領域Ａ３、Ａ４に対応する部分領域Ｅ３、Ｅ４に非駆動領域４３ｂを対応させることが好ましい。すなわち、第２記録処理において、映像領域Ａ２に対応する画素領域４３の駆動領域４３ａの部分領域Ｅ２を記録映像として記録し、画素領域４３の駆動領域４３ａ以外の非駆動領域４３ｂは画素が読み出されず、映像領域Ａ３、Ａ４は記録されない。なお、駆動領域４３ａは、第２間引き率で間引き処理される。間引き処理は、撮像素子４０から読み出す画素数を減らすことによって、制御部４６の処理速度を向上させている。
ここで、図２０は間引き対象の基準映像Ａ１を示す模式図であり、例えば、３つの映像領域Ａ２～Ａ４が設定されている。なお、図１８に示す部分領域Ｅ２は、図２０に示す映像領域Ａ２に対応する領域であり、図１８に示す部分領域Ｅ３は、図２０に示す映像領域Ａ３に対応する領域であり、図１８に示す部分領域Ｅ４は、図２０に示す映像領域Ａ４に対応する領域である。

制御部４６は、第２記録処理において、記録領域内における被写体の動きに伴って、基準映像内における記録領域の位置を移動させ、または記録領域の第２画角を変化させ、制御部４６は、記録領域の位置の移動、または第２画角の変化に伴って、画素領域内における駆動領域の位置または幅を変えることが好ましい。
複数の映像領域のうち、１つを記録領域として特定した場合、被写体が動くと、記録領域の位置および記録領域が大きさのうち、少なくとも一方が変わる。すなわち、第２画角および第２画角の位置のうち、少なくとも一方が変わる。例えば、図１８と図１９とでは、映像領域Ａ２が移動し、かつ映像領域Ａ２の大きさが異なっている。図１８の映像領域Ａ２よりも図１９の映像領域Ｅ２の方が大きく、かつ図１９の駆動領域４３ａの第１方向Ｄ_１の幅ｄ_２が、図１８の駆動領域４３ａの第１方向Ｄ_１の幅ｄ_１よりも広い。
なお、駆動領域４３ａの第１方向Ｄ_１の幅は、被写体が動く場合、被写体の動きに基づき、特定された駆動領域４３ａの第１方向Ｄ_１の幅ｄ_２よりも広くしてもよい。また、被写体の移動速度、および被写体の移動方向等に基づき、駆動領域４３ａの第１方向Ｄ_１における設定位置、および駆動領域４３ａの幅を設定することもできる。これにより、映像領域Ａ２よりも大きな画角で映像を読み出しているため、映像領域Ａ２の被写体の突発的な動きがあっても、制御部４６は安定して被写体を検出できる。

制御部４６は、間引き処理による解像度の不足を抑制するために、駆動領域４３ａの位置または幅を変化させる場合、出力解像度が設定解像度以上になるように、駆動領域４３ａの幅を決定することが好ましい。出力解像度は一定の範囲にあることがより好ましい。これにより、基準映像において、被写体が映る大きさによらず、出力解像度を保って撮像できる。このように、記録領域のサイズと位置とに応じて、出力解像度が一定になるように、撮像素子４０の画素領域４３の読み出しの位置と、読み出し幅と、読み出し本数をリアルタイムに変えることが好ましい。

上述のように被写体の動きを伴う場合、上述の追尾モードを実施することにより、制御部４６により、被写体が自動的に追尾されて、被写体の移動位置および大きさが特定される。これにより、映像領域Ａ２が移動しても、映像領域Ａ２に対応する、画素領域４３の駆動領域４３ａの位置と幅とをリアルタイムで特定することができる。さらには、画素領域４３の駆動領域４３ａの幅と出力解像度とに基づき間引き率も特定される。
なお、映像領域Ａ２の被写体の移動を例にしたが、これに限定されるものではない。例えば、３つの映像領域Ａ２、Ａ３、Ａ４のそれぞれの被写体について、上述の追尾モードで自動的に追尾して、被写体の移動位置および大きさを特定して、映像領域Ａ２、Ａ３、Ａ４に対応する、画素領域４３の駆動領域４３ａの位置および幅と、間引き率とをリアルタイムで特定することもできる。

また、被写体の動きが伴わない場合でも、制御部４６により、例えば、図２０に示す映像領域Ａ２、Ａ３、Ａ４について、位置と大きさとを予め設定する。さらに、映像領域Ａ２、Ａ３、Ａ４に対応する、画素領域４３の駆動領域４３ａの位置と幅とを特定する。さらには、画素領域４３の駆動領域４３ａの幅と出力解像度とに基づき間引き率も特定される。これにより、例えば、動画撮影中、映像領域Ａ２から映像領域Ａ４に切替える場合、図２１に示すように予め特定された画素領域４３の駆動領域４３ａを、映像領域Ａ４に対応する部分領域Ｅ４に当てはめて映像領域Ａ４を記録映像として得ることができる。
被写体の動きが伴わない場合でも、制御部４６は、間引き処理による解像度の不足を抑制するために、駆動領域４３ａの位置または幅を変化させる場合、出力解像度が設定解像度以上になるように、駆動領域４３ａの幅を決定することが好ましい。出力解像度は一定の範囲にあることがより好ましい。

（入力解像度の決定）
なお、駆動領域４３ａが記録領域を含む複数の映像領域と対応している場合、複数の映像領域のそれぞれの第２画角のうち、最も小さい第２画角に基づいて第２間引き率を決定することが好ましい。最も小さい第２画角において十分な解像度が得られれば、どの映像領域が記録領域として選択されても、十分な解像度が得られたためである。最も小さい第２画角における第２間引き率は、入力解像度を、出力解像度よりも大きく設定することが好ましい。これにより、入力解像度を補完して、動画ファイルの記録フォーマットである出力解像度に合わせる必要がなく、記録される動画ファイルの画質を良好にできる。
以下、被写体の動きの検出について説明する。被写体の動きは、被写体の動き検出処理を実施することにより検出される。被写体の動き検出には、公知の検出処理方法を用いることができる。

（動画データの作成）
制御部４６は、第２モードにおいて、第２画角の複数の映像領域を基準映像内に設定する設定処理と、記録領域を複数の映像領域から選択する選択処理と、を実行し、第２記録処理は、選択処理における選択前の記録映像と選択後の記録映像とを結合して動画データを記録することが好ましい。
設定処理において、基準映像内に複数の映像領域、例えば、図２０に示すように３つの映像領域Ａ２、Ａ３、Ａ４を設定する。次に、選択処理において、複数の映像領域Ａ２、Ａ３、Ａ４から、記録領域を選択する。例えば、映像領域Ａ２を記録領域として選択する。第２記録処理では、映像領域Ａ２を選択する前の映像領域Ａ３と、映像領域Ａ２とを結合して、動画データを記録する。この場合、例えば、図１１に示すような形態の動画データが得られる。つまり、映像領域Ａ２～Ａ４は、ユーザによって選択された場合は、記録領域となる。

また、図２０の映像領域Ａ４を記録領域とした場合、制御部４６は、選択した記録領域に対応する図２０の映像領域Ａ４のみを、画素領域４３（図４参照）から読み出し、他の映像領域（図２０における映像領域Ａ２およびＡ３）は画素領域４３（図４参照）から読み出さないため、他の映像領域内の被写体の移動を検出できない。記録領域が映像領域Ａ４から映像領域Ａ２に切り替えられた場合、制御部４６は被写体が映っていない映像領域Ａ２を記録してしまう可能性がある。そこで、制御部４６は、非駆動領域４３ｂ（図１８参照）を有する第２記録処理と、複数の映像領域を読み込んで、各々の領域の被写体の動きを検出する検出処理を実行する。そして、検出処理によって、制御部４６は、各映像領域Ａ２、Ａ３、Ａ４の被写体の位置を検出して、各映像領域Ａ２、Ａ３、Ａ４の位置および画角を適切に変更する。
例えば、図２１に示すように、映像領域Ａ４に対応する部分領域Ｅ４のみを駆動領域４３ａとした２回の第２記録処理の間に、広い領域を駆動領域４３ａとした検出映像Ｋ（図２３参照）の検出処理を実施する。

図２２に示す例では、１回目の第２記録処理で得られた映像Ｓ_１と２回目の第２記録処理で得られた映像Ｓ_２とを比較すると、検出処理を用いたことで、記録領域ではなかった映像領域Ａ２（人間）の位置が移動している。これは、検出映像Ｋ（図２３参照）の全体の映像によって、制御部４６が、記録されていない映像領域の被写体の動きを検出できたからである。
検出処理において、動きが検出されない場合には、１回目の第２記録処理で得られた映像Ｓ_１と２回目の第２記録処理で得られた映像Ｓ_２とを比較すると、図示はしないが記録領域ではなかった映像領域Ａ２（人間）の位置が同じである。この場合も、検出映像Ｋ（図２３参照）の全体の映像によって、制御部４６が、記録されていない映像領域の被写体を検出できたからである。

検出処理は、所定のフレーム毎に実施され、検出映像Ｋは記録処理の記録映像の間引き率よりも高い。検出映像Ｋは、基準映像における各被写体の位置を検出することができればよいため、所定の解像度未満であっても許容される。
なお、検出映像Ｋを表示する場合、全体動画のフレームは、一般的な動画よりもフレームレートを高くすることが好ましい。例えば、検出映像Ｋのフレームレートは、１５～３０ｆｐｓ（frames per second）であることが好ましいため、全体の動画のフレームレートは３０～６０ｆｐｓが好ましい。この場合、動画データは、検出映像Ｋを表すデータを含まないことが好ましい。検出映像Ｋは、撮像範囲の全体を表し、各被写体の位置を検出するためのものであるため、記録媒体に記録する必要がないためである。

検出映像Ｋを用いて、上述の追尾モードを実施することにより、制御部４６により、映像領域Ａ２、Ａ３、Ａ４の被写体を、それぞれ自動的に追尾されて、各被写体の移動位置および大きさが特定される。さらには、画素領域４３の駆動領域４３ａの幅と出力解像度とに基づき、各映像領域Ａ２、Ａ３、Ａ４の間引き率も決定することができる。切替えた記録領域に応じて、画素領域４３の駆動領域４３ａの位置および幅と、間引き率とをリアルタイムで特定することもできる。
なお、検出映像Ｋ（図２３参照）とは、例えば、基準映像Ａ１または間引き率が高い基準映像Ａ１であるが、これに限定されるものではなく、基準映像Ａ１よりも画角が広い画像でもよい。例えば、各映像領域Ａ２、Ａ３、Ａ４を含む第１画角よりも広い画角の画像でもよい。

＜撮像装置の第２の例＞
図２４および図２５は本発明の実施形態の撮像装置の第２の例を示す斜視図である。図２６は本発明の実施形態の基準映像に対応する対応映像を示す模式図であり、図２７は本発明の実施形態の基準映像の他の例を示す模式図である。

図２４および図２５に示す撮像装置２００は、複数の撮像ユニットを備えるスマートフォンである。なお、撮像装置２００においてスマートフォンに関する機能について、その詳細な説明は省略するが、撮像装置２００はデータ通信および音声通話が可能である。
図２４および図２５に示す撮像装置２００は、ディスプレイ２１１が設けられている面に設けられるフロントカメラ２１２と、ディスプレイ２１１が設けられている面の裏側の面に設けられる２つのメインカメラ２１３、２１４とを有する。メインカメラ２１３、２１４は、例えば、光学ズームにより所望の撮像倍率の画像を得るための撮像ユニットである。ディスプレイ２１１は、図３に示す撮像装置１０に示すディスプレイ２８と同じ構成とすることができる。

メインカメラ２１３とメインカメラ２１４とは、機能等が異なり、例えば、撮像可能な画角が異なる。メインカメラ２１４は、メインカメラ２１３よりも広い画角の撮像が可能である。メインカメラ２１３は、第１モードおよび第２モードを実行するものであり、通常の撮像を行ってクロップ動画を得るための撮像ユニットである。メインカメラ２１４は、広角画像を撮像するための撮像ユニットである。

撮像装置２００では、メインカメラ２１３で、撮像装置１０と同様に撮像し、例えば、複数の映像領域Ａ２～Ａ４を含む基準映像Ａ１（図２０参照）を得る。制御部４６は、複数の映像領域の大きさおよび位置から、設定された記録領域に対応する、画素領域４３の駆動領域４３ａ（図２１参照）の第１方向Ｄ_１（図２１参照）における設定位置、および駆動領域４３ａの幅を設定する。さらには、画素領域４３の駆動領域４３ａの幅と出力解像度とに基づき、記録領域が切り替えられれば、切り替えられた記録領域の間引き率が特定される。
一方、メインカメラ２１４では、メインカメラ２１３よりも広い画角で撮像し、例えば、上述の検出映像Ｋ（図２３参照）を得る。制御部４６は、メインカメラ２１４で得られた、複数の映像領域のうち、選択されていない複数の映像領域を含む検出映像Ｋから、複数の映像領域のうち、選択されていない複数の映像領域の位置、映像領域の大きさ、フォーカス情報、および露光情報等を得る。これにより、複数の映像領域において、記録領域の切替えがあった場合、切替え後の記録領域について、切替えた記録領域に応じて、画素領域４３の駆動領域４３ａの位置および幅と、間引き率とをリアルタイムで特定することもできる。これにより、切替え後の記録領域の被写体の動画を短時間で取得できる。

例えば、図２０に示すように、基準映像Ａ１に、３つの映像領域Ａ２、Ａ３、Ａ４がある場合、映像領域Ａ２を記録領域として選択し、メインカメラ２１３で記録する。一方、メインカメラ２１４では、図２０の基準映像Ａ１に対応する対応映像Ｂ１（図２６参照）を撮像し、複数の映像領域Ａ２、Ａ３、Ａ４（図２０参照）に対応する対応領域Ｂ２、Ｂ３、Ｂ４（図２６参照）の映像を取得する。各対応領域Ｂ２、Ｂ３、Ｂ４について、それぞれ位置、大きさ、フォーカス情報、および露光情報等を制御部４６で取得する。取得した情報に基づき、画素領域４３の駆動領域４３ａの第１方向Ｄ_１における設定位置、および駆動領域４３ａの幅を設定する。さらには、画素領域４３の駆動領域４３ａの幅と出力解像度とに基づき、記録領域の間引き率を特定する。これにより、図２０に示す映像領域Ａ２を記録した後、図２０に示す他の映像領域Ａ３に切替えた場合、位置および大きさが適正であり、かつ焦点が合った映像領域Ａ３の記録映像を短時間で記録することができる。

撮像装置２００において、メインカメラ２１３（本発明の第１撮像素子）で、第１記録処理および第２記録処理での記録映像の光学像を撮像する。第１撮像素子は、基準映像、および記録映像の撮像を担う。一方、メインカメラ２１４（本発明の第２撮像素子）で、記録領域を含む複数の映像領域に対応する複数の対応領域の映像を取得する。第２撮像素子は、基準映像を撮像し、複数の映像領域の位置等の情報の取得を担う。
制御部４６は、複数の対応領域内における被写体の動きを検出する検出処理を実行する。検出処理において、制御部４６は、メインカメラ２１４に複数の対応領域を含む画角の検出映像を取得させ、被写体の動きに伴って複数の映像領域の少なくとも１つを移動させ、または画角を変化させる。この場合、動画データは検出映像を表すデータを含まないことが好ましい。メインカメラ２１４により撮像範囲の全体の各被写体の位置を検出することにより、記録領域を切り替えた場合、記録領域の切り替え後、短時間で記録できる。

動き検出については、上述の通りである。例えば、時間経過に伴い被写体が移動し、図２７に示すように映像領域Ａ２（人間）が移動し、かつ映像領域Ａ２が大きくなり、かつ図２０に示す映像領域Ａ３および映像領域Ａ４が存在しない。この状況の図２７に示す基準映像Ａ１に対応する対応映像Ｂ１（図２６参照）をメインカメラ２１４で記録し、制御部４６は映像領域Ａ２に対応する対応領域Ｂ２（図示せず）について、位置、大きさ、およびフォーカス情報等を取得する。このため、図２７に示すように、映像領域Ａ２の位置、大きさ、およびフォーカス情報等が変化しても、短時間で映像領域Ａ２の記録映像を得ることができる。
なお、メインカメラ２１４では、基準映像Ａ１よりも画角が広い画像を撮像してもよい。この画角が広い画像を用いることにより、被写体の移動範囲が第１画角の基準映像Ａ１の範囲を超えても追尾できる。

＜撮像装置の第３の例＞
撮像装置の第３の例の装置構成は、制御部４６の処理内容が、図３に示す撮像装置１０と異なる以外は、上述の図３に示す撮像装置１０と同じ構成である。このため、上述の撮像装置１０と同じ符号を付して説明する。図２８は本発明の実施形態の撮像装置の第３の例の制御部の処理を示すフローチャートである。

撮像装置１０は、制御部４６が第１画角の基準映像の光学像を撮像し、第１方向および第１方向に交差する第２方向に複数の画素が配列した画素領域を有する撮像素子が撮像した光学像に基づく映像の動画データを記録する。制御部４６は、第１画角よりも小さい第２画角である映像領域を基準映像内に複数設定する設定処理（ステップＳ４０）と、複数の映像領域の中から記録領域を決定する決定処理（ステップＳ４２）と、記録領域に対応する画素領域の映像信号を読み出す読出し処理（ステップＳ４４）と、記録領域の記録映像の動画データを記録する記録処理（ステップＳ４６）とを実行する。これにより、記録領域の動画データを取得できる（ステップＳ４８）。制御部４６は、読出し処理（ステップＳ４４）において、第１方向および第２方向の画素の読み取りを間引いて、記録領域に対応する画素領域の部分領域の映像信号を読み出す。そして、制御部４６は、記録処理（ステップＳ４６）において、部分領域の映像を記録対象として記録する。

第１方向および第２方向の間引き駆動の例を説明する。例えば、図１８で記載した通り、部分領域に対応する画素行の画素駆動線１１６（図５参照）を駆動して、特定画素行のみを駆動する。そして、図５において、駆動された特定の画素行の映像信号は、垂直信号線１１７を通ってカラム処理部１１３に流れる。そして水平駆動部１１４が、部分領域に対応する画素列の映像信号のみを選択して信号処理部１１８に映像信号を供給する。このような方法を用いることで、部分領域の映像信号を読み出すことができる。

図２９は本発明の実施形態の間引き対象の基準映像Ａ１を示す模式図である。図２９には、例えば、基準映像Ａ１に、３つの映像領域Ａ２～Ａ４が、制御部４６による設定処理で設定されている。図２９に示す基準映像Ａ１を、上述の図５に示す撮像素子４０の画素領域４３に対応させると、図３０に示すように、画素領域４３において映像領域Ａ２に対応する部分領域Ｅ２、映像領域Ａ３に対応する部分領域Ｅ３、映像領域Ａ４に対応する部分領域Ｅ４となる。つまり、映像領域Ａ２～Ａ４のうち、いずれかが記録領域として選択された際に、選択された映像領域Ａ２～Ａ４のいずれかに対応する画素領域４３の部分領域Ｅ２～Ｅ４のいずれかが、第１方向Ｄ_１および第２方向Ｄ_２において、間引かれた領域となる。部分領域Ｅ２～Ｅ４の位置および大きさが制御部４６で、例えば、画素４２の位置を表す座標データとして特定される。

制御部４６は、設定処理により設定された映像領域Ａ２～Ａ４の中から、記録領域として決定された映像領域に対応する画素領域の映像信号を、撮像素子４０から読み出す。そして、制御部４６は、撮像素子４０から読み出す際に第１方向Ｄ_１および第２方向Ｄ_２の画素を間引いて、記録領域に対応する画素領域４３の部分領域の映像信号を読み出す。そして、制御部４６は、記録処理において、部分領域の映像を記録対象として記録する。すなわち、複数の映像領域Ａ２～Ａ４の中から記録領域として、例えば、映像領域Ａ２を決定した場合、制御部４６は、記録領域Ｆ２に対応する部分領域Ｅ２の記録映像の動画データを記録する。この場合、制御部４６は、記録処理において、部分領域Ｅ２の映像を記録対象とし、それ以外の部分領域Ｅ３、Ｅ４の映像を記録対象から外す。これにより、映像領域Ａ２～Ａ４から選択された記録領域だけの画像を得ることができる。
なお、制御部４６は、読出し処理において、第２画角の変化によって記録領域の、複数の画素の読み出しの一部を間引く間引き駆動の間引き率を変化させてもよい。これにより、間引き後に、記録領域について十分な解像度を得ることができる。また、部分領域と記録領域の大きさは完全に一致している必要はなく、部分領域の大きさは記録領域よりもわずかに大きいサイズでもよい。

本発明の一実施形態は、基本的に以上のように構成されるものである。以上、本発明の一実施形態の撮像装置について詳細に説明したが、本発明の一実施形態は上述の実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良または変更をしてもよいのはもちろんである。

１０ 撮像装置
１２ 撮影装置本体
１３ マウント
１４ 撮影レンズ
１８ 光学部品ユニット
１９ フォーカス用光学部品
２０ 絞り
２１ 電子減光フィルタ
２２ フォーカス用駆動部
２３ 絞り駆動部
２４ 電圧印加部
２６ レリーズボタン
２８ ディスプレイ
３０ 第１操作ボタン
３２ 第２操作ボタン
３４ 第３操作ボタン
３６ タッチパネル
３８ 光学シャッタ
４０ 撮像素子
４２ 単位画素（画素）
４３ 画素領域
４３ａ 駆動領域
４３ｂ 非駆動領域
４４ アナログ信号処理回路
４６ 制御部
４７ コントローラ
４８ 映像処理部
５０ 内部メモリ
５２ カードスロット
５４ メモリカード
５６ バッファ
１１１ 画素アレイ部
１１２ 垂直駆動部
１１３ カラム処理部
１１４ 水平駆動部
１１６ 画素駆動線
１１７ 垂直信号線
１１８ 信号処理部
１１９ データ格納部
２００ 撮像装置
２１１ ディスプレイ
２１２ フロントカメラ
２１３、２１４ メインカメラ
Ａ０ 撮像領域
Ａ１ 基準映像
Ａ２、Ａ３、Ａ４ 映像領域
Ｂ１ 対応映像
Ｂ２、Ｂ３、Ｂ４ 対応領域
Ａｄ 単位領域
Ｄ_１ 第１方向
Ｄ_２ 第２方向
Ｅ２、Ｅ３、Ｅ４ 部分領域
Ｆ２、Ｆ４ 記録領域
ＦＲ 領域設定枠
Ｈ 水平方向
Ｊ２、Ｊ４ 記録映像
Ｋ 検出映像
Ｌ１ 光軸
Ｍｃ タイミング
Ｓ_１、Ｓ_２ 映像
Ｖ 垂直方向

Claims (11)

1. 第１画角の基準映像の光学像を撮像し、第１方向および前記第１方向に交差する第２方向に複数の画素が配列した画素領域を有する撮像素子と、
   第１モードと第２モードとを動画撮像モードとして備え、前記光学像に基づく映像の動画データを記録する制御部と、を有し、
   前記制御部は、前記第１モードにおいて、前記撮像素子を用いて前記基準映像の動画データを記録する第１記録処理を実行し、
   前記制御部は、前記第２モードにおいて、前記第１画角よりも小さい第２画角である記録領域を前記基準映像内に設定する設定処理と、前記記録領域の記録映像の動画データを記録する第２記録処理と、を実行するものであり、
   前記制御部は、前記第１記録処理および前記第２記録処理において、前記複数の画素の読み出しの一部を間引く間引き駆動を実行し、
   前記制御部は、前記第２記録処理の前記間引き駆動における第２間引き率を、前記第１記録処理の前記間引き駆動における第１間引き率よりも低く設定する、
   前記制御部は、前記第２記録処理において、前記記録領域内における被写体の動きに伴って、前記記録領域の前記第２画角を変化させ、前記第２画角の変化によって前記記録領域の前記第２間引き率を変化させる、撮像装置。
2. 前記制御部の前記第２間引き率の変化によって、前記撮像素子は、前記制御部に入力させる前記記録領域の記録映像の入力解像度を変化させ、
   前記制御部は、前記入力解像度が前記動画データの出力解像度よりも高い場合、前記入力解像度を低減させて前記出力解像度に合わせ、前記入力解像度が前記出力解像度よりも低い場合、前記入力解像度を補完して前記出力解像度に合わせる、請求項１に記載の撮像装置。
3. ズーム機能を有する撮像レンズを備え、
   前記撮像素子は、前記撮像レンズを透過した光を受光して前記第１画角の前記基準映像の前記光学像を撮像し、
   前記制御部は、前記入力解像度が設定解像度よりも低い場合、前記ズーム機能に関する通知をユーザに行う、請求項２に記載の撮像装置。
4. 前記制御部は、前記第２モードにおいて、前記第２画角の複数の映像領域を前記基準映像内に設定する設定処理と、前記記録領域を前記複数の映像領域から選択する選択処理と、を実行し、
   前記第２記録処理は、前記選択処理における選択前の前記記録映像と選択後の前記記録映像とを結合して動画データを記録する、請求項１～３のいずれか１項に記載の撮像装置。
5. 前記画素は、光電変換素子とスイッチ部とを備え、
   前記第１方向に延びている複数の第１配線と、前記第２方向に延びている複数の第２配線とを含む画素回路が設けられており、
   前記第１配線および前記第２配線は、前記スイッチ部に電気的に接続されており、
   前記制御部が前記第１配線を通じて前記スイッチ部に駆動信号を供給することにより、前記駆動信号にしたがって、前記光電変換素子に基づく映像信号が前記第２配線に出力され、
   前記制御部は、前記第１方向において、前記画素領域を、前記第１配線を通じて前記スイッチ部に前記駆動信号が供給される前記画素からなる駆動領域と、前記駆動領域以外の非駆動領域とに分割する前記間引き駆動を実行し、
   前記制御部は、前記第２記録処理において、前記駆動領域を用いて前記記録映像を記録し、前記記録領域以外の前記映像領域に前記非駆動領域を対応させる、請求項４に記載の撮像装置。
6. 前記制御部は、前記記録領域の位置の移動、または前記第２画角の変化に伴って、前記画素領域内における前記駆動領域の位置または幅を変える、請求項５に記載の撮像装置。
7. 前記制御部は、前記複数の映像領域のそれぞれの前記第２画角のうち、最も小さい前記第２画角に基づいて前記第２間引き率を決定する、請求項６に記載の撮像装置。
8. 前記制御部は、前記記録領域を含む前記複数の映像領域内における被写体の動きを検出する検出処理を実行し、
   前記制御部は、前記第２記録処理を複数回実行し、前記複数の第２記録処理の間に前記検出処理を実行し、
   前記検出処理において、前記制御部は、前記記録領域および少なくとも１つの前記映像領域を含む画角の検出映像を取得し、前記被写体の動きに伴って前記複数の映像領域の少なくとも１つを移動させ、または前記第２画角を変化させる、請求項４に記載の撮像装置。
9. 前記第１記録処理および前記第２記録処理での記録映像の前記光学像を撮像する前記撮像素子である第１撮像素子と、
   前記第１撮像素子とは異なり、前記記録領域を含む前記複数の映像領域に対応する複数の対応領域の映像を取得する第２撮像素子と、を備え、
   前記制御部は、前記複数の対応領域内における被写体の動きを検出する検出処理を実行し、
   前記検出処理において、前記制御部は、前記第２撮像素子に前記複数の対応領域を含む画角の検出映像を取得し、前記被写体の動きに伴って前記複数の映像領域の少なくとも１つを移動させ、または画角を変化させる、請求項４に記載の撮像装置。
10. 前記動画データは、前記検出映像を表すデータを含まない、請求項８または９に記載の撮像装置。
11. 前記撮像素子の前記画素領域の画素解像度は７０００万以上である、請求項１～１０のいずれか１項に記載の撮像装置。