JP6700853B2 - 撮像システムおよびその制御方法、撮像装置、レンズ装置 - Google Patents

Description

本発明は、相互に通信するレンズ装置と装置本体部とを備える撮像システムおよびその制御方法に関するものである。

撮像装置に加わる手振れ等を検出して振れに起因する像振れを補正する技術がある。検出した振れに応じて像振れ補正レンズを移動させる方式の像振れ補正を、光学式像振れ補正又は光学防振という。また、検出した振れに応じて撮影画像の一部を切り出して出力することにより、動画撮影時の撮影画像の振れを補正する像振れ補正を、電子式像振れ補正又は電子防振という。
近年では動画撮影時において、特にワイド側（広角側）の像振れ補正範囲を広げることにより、歩き撮り等により生じる大きな像振れに対する像振れ補正効果を高める技術も知られている。光学式像振れ補正と電子式像振れ補正を併用することで、より大きな補正効果が得られ、より大きな像振れにも対応可能である。

一方、交換レンズ方式のカメラシステムにおいては、カメラ本体部に装着されるレンズ装置が光学式像振れ補正機構を備え、カメラ本体部が光学式像振れ補正部または電子式像振れ補正部を備える構成が考えられる。つまり、レンズ装置とカメラ本体部でそれぞれ独立した振れ補正を行うように組み合わせたシステムである。このようなシステムにおいて、レンズ装置とカメラ本体部が独立に振れ補正を制御するのではなく、互いの通信を介してそれぞれが協調し合って制御し、補正効果を高める技術が開示されている。特許文献１には、カメラ本体部が露光時間（シャッタ速度）情報をレンズユニットに送信し、シャッタ速度情報に基づいて、像振れ補正手段の複数回の検出タイミングを決定する技術が開示されている。また特許文献２には、撮像面上の被写体像の移動量と振れ検出手段の出力タイミングとを一致させ、被写体に係る角速度の検出精度を高める技術が開示されている。

特開２０１４−３９１３１号公報 特開２０１５−１６１７３０号公報

レンズ装置とカメラ本体部が通信を介してそれぞれ協調して像振れ補正を行うためには、カメラ本体部がレンズ装置に撮像の露光重心タイミング（図４：４０６参照）を伝える必要がある。また、カメラ本体部が１回の通信で露光重心タイミングをレンズ装置と伝えようとすると、他の通信との重なりにより通信時間がばらつき、正確な露光重心タイミングが通信できない可能性がある。

特許文献１では、垂直同期タイミングと同時にシャッタ速度情報を送信することが開示されているが、その詳細は説明されておらず、通信ずれについては言及されていない。また特許文献２では、露光時間およびフレームレートの情報を用いてデータを取得するタイミングを設定することが開示されているが、その詳細は説明されておらず、通信ずれについては言及されていない。
本発明の目的は、相互に通信するレンズ装置および撮像装置の本体部を備える撮像システムにおいて、通信の重なりによる通信タイミングずれを回避して画像補正を行うことである。

本発明の一実施形態の撮像システムは、撮像装置と該撮像装置に装着されたレンズ装置を備える。前記レンズ装置は、前記撮像装置と通信する第１の通信手段と、振れによる画像の像振れを補正する補正レンズと、前記補正レンズを制御する制御手段と、を備える。前記撮像装置部は、撮像手段と、前記交換レンズ装置と通信する第２の通信手段と、前記撮像手段の露光タイミングを設定する設定手段と、を備える。前記第２の通信手段は、前記第１の通信手段に対し、第１の通信にて、基準時間を示す情報を送信し、第２の通信にて、前記露光タイミングと前記基準時間とに基づく相対時間を示す情報を送信し、前記制御手段は、前記第１の通信にて受信した前記基準時間を示す情報と、前記第２の通信にて受信した前記相対時間を示す情報と、により決定されるタイミングに基づいて前記補正レンズを制御することを特徴とする。

本発明によれば、相互に通信するレンズ装置および撮像装置の本体部を備える撮像システムにおいて、通信の重なりによる通信タイミングずれを回避して画像補正を行うことができる。

本発明の一実施形態に係わる撮像システムの構成例を示すブロック図である。 像振れ補正の制御に関わる部分のブロック図である。 電子式像振れ補正制御部の詳細を説明するブロック図である。 第１実施形態における通信とそのタイミングについて説明する図である。 第１実施形態におけるカメラ本体部の通信と制御を説明するフローチャートである。 第１実施形態におけるレンズ装置の通信と制御を説明するフローチャートである。 第２実施形態におけるカメラ本体部の通信と制御を説明するフローチャートである。 第３実施形態におけるカメラ本体部の通信と制御を説明するフローチャートである。 第３実施形態におけるレンズ装置の通信と制御を説明するフローチャートである。 第４実施形態における通信とそのタイミングについて説明する図である。 第４実施形態におけるカメラ本体部の通信と制御を説明するフローチャートである。 第４実施形態におけるレンズ装置の通信と制御を説明するフローチャートである。 焦点距離と像振れ補正可動範囲との関係を示すグラフである。 焦点距離と分割係数との関係を示すグラフである。 ローリングシャッタ歪み補正の概念図である。 撮像装置におけるピッチ方向、ヨー方向、ロール方向の説明図である。

以下、本発明の各実施形態について、添付図面を参照して詳細に説明する。まず、各実施形態に共通する事項について説明する。
図１は、本発明の一実施形態に係わる撮像システムの構成を示すブロック図である。撮像システムは、主に静止画像と動画像の撮影を行うためのレンズ交換式のデジタルカメラである。本発明の適用範囲はデジタルカメラに限定されず、本発明は各種の撮像システムに適用することができる。

図１の撮像システムは、レンズ装置およびカメラ本体部から構成され、レンズ装置はカメラ本体部に装着して使用される。レンズ装置のズームユニット１０１は、変倍を行うズームレンズを含む。ズーム駆動制御部１０２は、ズームユニット１０１を駆動制御する。絞りユニット１０３は、絞りの機能を有する。絞り駆動制御部１０４は、絞りユニット１０３を駆動制御する。像振れ補正ユニット１０５はシフトレンズ等の像振れ補正レンズ（以下、補正レンズともいう）を備える。像振れ補正ユニット１０５は第１の像振れ補正手段であり、光学式像振れ補正制御部１０６が駆動制御を行う。フォーカスユニット１０７は、焦点調節を行って被写体像を形成するフォーカスレンズを含む。フォーカス駆動制御部１０８は、フォーカスユニット１０７を駆動制御する。

レンズ操作部１０９は、ユーザがレンズ装置の操作に使用する操作部である。レンズ振れ検出部１１０はレンズ装置に加わる振れ量を検出し、検出信号をレンズシステム制御部１１１に出力する。レンズ装置全体を制御するレンズシステム制御部（以下、レンズ制御部という）１１１はＣＰＵ（中央演算処理装置）を備え、レンズ装置の各駆動制御部や補正制御部を統括制御する。レンズ制御部１１１は、レンズ通信制御部１１２を介して、カメラ本体部の制御部と通信する。

次にカメラ本体部について説明する。カメラ本体部はシャッタユニット１１３を備える。シャッタ駆動制御部１１４は、シャッタユニット１１３を駆動制御する。撮像部１１５は撮像素子を備え、各レンズ群を通過して結像される光像を光電変換して電気信号を出力する。撮像信号処理部１１６は、撮像部１１５から出力された電気信号を映像信号に変換処理する。映像信号処理部１１７は、撮像信号処理部１１６から出力された映像信号を用途に応じて加工する。例えば、映像信号処理部１１７は、電子式像振れ補正制御部１２３の補正量に応じて映像信号の切り出し位置を変更する。電子式像振れ補正制御部１２３は、第２の像振れ補正手段であり、画像の切り出しによって像振れ補正の制御を行う。なお、第２の像振れ補正については電子式像振れ補正に限らず、例えば撮像素子の駆動制御による像振れ補正やカメラ本体部内の可動光学素子の駆動制御による像振れ補正がある。

表示部１１８は、映像信号処理部１１７から出力された信号に基づいて、必要に応じて画像表示を行う。記憶部１１９は、映像情報等の様々なデータを記憶する。電源部１２０は、システム全体に用途に応じて電源を供給する。カメラ操作部１２１は、ユーザがカメラシステムの操作に使用する操作部であり、操作信号をカメラシステム制御部１２４に出力する。カメラ振れ検出部１２２はカメラに加わる振れ量を検出し、検出信号をカメラシステム制御部１２４に出力する。カメラシステム制御部（以下、カメラ制御部という）１２４はＣＰＵを備え、カメラシステム全体を統括制御する。カメラ制御部１２４は、カメラ通信制御部１２５を介してレンズ装置のレンズ通信制御部１１２と通信する。つまり、レンズ装置がカメラ本体部に装着され、電気的に接続された状態において、レンズ通信制御部１１２とカメラ通信制御部１２５により相互通信が行われる。

次に、上記構成を有する撮像システムの概略動作について説明する。
レンズ操作部１０９、カメラ操作部１２１は、像振れ補正のＯＮ／ＯＦＦを選択可能な像振れ補正スイッチを含む。ユーザが像振れ補正スイッチを操作して像振れ補正をＯＮに選択すると、レンズ制御部１１１またはカメラ制御部１２４は、光学式像振れ補正制御部１０６または電子式像振れ補正制御部１２３に像振れ補正動作を指示する。像振れ補正のＯＦＦの指示がなされるまでの間、各像振れ制御部は像振れ補正の制御を行う。

また、カメラ操作部１２１は、像振れ補正に関して、第１のモードと第２のモードを選択可能な像振れ補正モードスイッチを含む。第１のモードは、光学像振れ補正（第１の像振れ補正）のみで像振れ補正を行うモードである。第２のモードは、光学式像振れ補正と電子式像振れ補正（第２の像振れ補正）を併用して像振れ補正を行うモードである。第１のモードが選択された場合、撮像部１１５の読み出し位置は一定となり、その分読み出し範囲を広げることで、より広角な撮影に対応できる。また、第２のモードが選択された場合、映像信号処理部１１７により映像信号の切り出し範囲が狭まる代わりに、切り出し位置を像振れ補正量に応じて変更することで、より大きな像振れに対応できる。

カメラ操作部１２１は、押し込み量に応じて第１スイッチ（ＳＷ１）および第２スイッチ（ＳＷ２）が順にオンするように構成されたシャッタレリーズボタンを含む。ユーザがシャッタレリーズボタンを約半分押し込んだときに第１スイッチＳＷ１がオンし、シャッタレリーズボタンを最後まで押し込んだときに第２スイッチＳＷ２がオンする。ＳＷ１のオンにより、フォーカス駆動制御部１０８がフォーカスユニット１０７を駆動して焦点調節を行うとともに、絞り駆動制御部１０４が絞りユニット１０３を駆動して適正な露光量に設定する。ＳＷ２のオンにより、撮像部１１５に露光された光像から得られた画像データが記憶部１１９に記憶される。

またカメラ操作部１２１は動画記録スイッチを含む。カメラは動画記録スイッチの押下後に動画撮影を開始し、ユーザが記録中に再度動画記録スイッチを押すと記録を終了する。動画撮影中にユーザがシャッタレリーズボタンを操作してＳＷ１およびＳＷ２がオンすると、動画記録中の静止画を取得して記録する処理が実行される。またカメラ操作部１２１は再生モードを選択可能な再生モード選択スイッチを含む。再生モード選択スイッチの操作により再生モードが選択された場合、カメラは防振（像振れ補正）動作を停止する。

図２および図１６を参照して撮像システムにおける像振れ補正制御について説明する。図２は、撮像システム全体の中で像振れ補正制御に係わる部分をより詳細に説明したブロック図である。図１６は、Ｐｉｔｃｈ（ピッチ）方向、Ｙａｗ（ヨー）方向、Ｒｏｌｌ（ロール）方向を説明する図である。図２のレンズ振れ検出部１１０およびカメラ振れ検出部１２２は、振れ検出センサとしてジャイロセンサを用いて角速度データを検出し、検出電圧を出力する。レンズ振れ検出部１１０はＰｉｔｃｈ方向振れ検出センサ、Ｙａｗ方向振れ検出センサを有する。また、カメラ振れ検出部１２２はＲｏｌｌ方向振れ検出センサを有する。図１６に示すように、撮像装置において撮像光学系の光軸をＺ軸とし、正位置での鉛直方向をＹ軸とし、Ｙ軸およびＺ軸に直交する方向をＸ軸と定義する。したがって、Ｐｉｔｃｈ方向はＸ軸回り方向（チルティング方向）であり、Ｙａｗ方向はＹ軸回り方向（パンニング方向）であり、Ｒｏｌｌ方向はＺ軸回り方向（撮像面が光軸に垂直な面で回転する方向）である。つまり、Ｐｉｔｃｈ方向は、撮像装置の垂直方向において水平面に対する傾動方向であり、Ｙａｗ方向は、撮像システムの水平方向において鉛直面に対する傾動方向であり、互いに直交する方向である。

Ｐｉｔｃｈ方向振れ検出センサは、Ｐｉｔｃｈ方向の振れに応じた振れ情報を検出する。Ｙａｗ方向振れ検出センサは、Ｙａｗ方向の振れに応じた振れ情報を検出する。Ｒｏｌｌ方向振れ検出センサは、光軸に垂直な面内での回転方向の振れに応じた振れ情報を検出する。各振れ情報は角速度データとして取得される。なお、図２において、Ｐｉｔｃｈ方向およびＹａｗ方向に関して同様の構成となるため、片軸のみ説明を行う。

レンズ振れ検出部１１０は、例えばジャイロセンサ等の角速度センサによる角速度データを検出電圧として出力する。角速度検出ＡＤ変換部２０１は、レンズ振れ検出部１１０が出力した検出信号をデジタルデータに変換する。ハイパスフィルタ２０２は、角速度データのオフセット成分や温度ドリフト成分を除去して積分部２０３に出力する。積分部２０３は、主にローパスフィルタによる疑似積分で角速度データを積分し、角度データに変換する。光学式像振れ補正の敏感度乗算部２０４は、積分部２０３から取得した角度データを像振れ補正レンズの駆動制御量（シフト量）に変換する。この敏感度は撮像光学系の焦点距離が変わるごとに値が変更される。また敏感度には、角速度センサの感度調整による補正量も反映され、感度バラツキが吸収される。

分割部２０５は、敏感度乗算部２０４の出力する像振れ補正量を二分割する。像振れ補正量は、光学式振れ補正に適用する光学式像振れ補正量と、電子式振れ補正に適用する電子式像振れ補正量に分割される。分割部２０５は、光学式像振れ補正量の算出を行うため、像振れ補正量に対して係数（Ｋと記す）を乗算する。係数Ｋは、各焦点距離における、光学式像振れ補正の可動範囲（Ａと記す）と電子式像振れ補正の可動範囲（Ｂと記す）によって下記式（１）のように決定される。可動範囲は像振れ補正の制御が可能な範囲であり、光学式像振れ補正の場合には像振れ補正ユニット１０５の駆動制御可能な範囲に相当する。また電子式像振れ補正の場合には画像の切り出しによる補正処理が可能な範囲に相当する。
Ｋ＝Ａ／（Ａ＋Ｂ） …（１）
式（１）から、Ｋは１以下の値をとる。つまり係数Ｋの乗算により、像振れ補正量の全体量に対して光学式像振れ補正の補正量（第１の像振れ補正量）が算出される。

光学式像振れ補正量のリミッタ部２０６は、第１の像振れ補正量を像振れ補正ユニット１０５の可動範囲でクランプする。こうすることで光学式像振れ補正の可動範囲端（駆動制御範囲の限界位置）に補正レンズが到達したままの状態になる事態を防ぐことができる。リミッタ部２０６の出力は減算部ＤＥＣに入力される。

ＰＩＤ制御部２０７は、減算部ＤＥＣからの入力に応じて像振れ補正レンズの位置制御を行う。位置制御は、Ｐ（比例）制御、Ｉ（積分）制御、Ｄ（微分）制御の組み合わせにより行われる。ドライバ部２０８は、第１の像振れ補正量に相当するＰＩＤ制御部２０７の制御信号にしたがって、像振れ補正ユニット１０５を駆動するための電流を供給する。像振れ補正ユニット１０５は電磁アクチュエータを備え、像振れ補正レンズを含む可動ユニットが駆動される。位置検出部２０９は、像振れ補正ユニット１０５の位置を検出し、検出電圧を出力する。ＡＤ変換部２１０は、位置検出部２０９の出力するアナログ検出電圧をデジタルデータに変換し、減算部ＤＥＣに出力する。減算部ＤＥＣはリミッタ部２０６とＡＤ変換部２１０の各出力の差分（偏差）を算出してＰＩＤ制御部２０７に出力する。これにより、フィードバック制御が行われる。

一方、分割部２０５は、電子式像振れ補正量を算出するため、敏感度乗算部２０４の出力する像振れ補正量に対して係数「１−Ｋ」を乗算する。光学式像振れ補正量については、係数Ｋが乗算されるのに対し、電子式像振れ補正量については係数「１−Ｋ」の乗算により、像振れ補正量が分割される。角度変換部２１１は、電子式像振れ補正量（第２の像振れ補正量）を角度データに変換する。この変換係数は焦点距離ごとに異なる値をもち、焦点距離が変わるごとに変更される。変換後のデータはレンズ通信制御部１１２、カメラ通信制御部１２５を介して、電子式像振れ補正制御部１２３に伝達される。電子式像振れ補正制御部１２３は、第２の像振れ補正量、およびカメラ振れ検出部１２２で得られた振れ量に基づく電子式像振れ補正量に応じて電子式像振れ補正制御を行う。図１３を参照して、像振れ補正の可動範囲について具体的に説明する。

図１３はカメラの焦点距離と像振れ補正の可動範囲との関係を示すグラフである。横軸は焦点距離ｆを表し、Ｗｉｄｅ（広角）端、Ｍｉｄｄｌｅ（中間）位置、Ｔｅｌｅ（望遠）端を示す。縦軸は可動範囲（単位：ｄｅｇｒｅｅ）を表す。（ａ）、（ｂ）、（ｃ）のグラフ線はそれぞれ、光学式像振れ補正の可動範囲Ａ、電子式像振れ補正の可動範囲Ｂ、全体の像振れ補正可動範囲（Ａ＋Ｂ）を示している。即ち、（ａ）＋（ｂ）＝（ｃ）の関係にある。

光学式像振れ補正の可動範囲Ａは撮影レンズの光学特性で決まり、電子式像振れ補正の可動範囲Ｂは撮像素子の余剰画素で決まる。なお、光学式像振れ補正の可動範囲Ａ、電子式像振れ補正の可動範囲Ｂともにズーム状態によって補正角度が変わる。即ち、カメラに同じ振れが加わった場合でも、ズームポジション（光学ズーム倍率、焦点距離）によって、像振れを補正するための像振れ補正ユニット１０５の駆動量は異なる。同じ１ｄｅｇｒｅｅの振れがカメラに加わったとしても、この１ｄｅｇｒｅｅの振れによる像振れを補正するためにＷｉｄｅ端で像振れ補正ユニット１０５のシフトレンズが移動する量の方が、Ｔｅｌｅ端でシフトレンズが移動する量よりも小さい。光学式像振れ補正の可動範囲Ａおよび電子式像振れ補正の可動範囲Ｂはいずれも焦点距離ｆによって変化し、像振れ補正の制御上ではいずれも角度換算したデータとして管理される。

図１４は焦点距離と係数Ｋの関係を示すグラフである。図１３と同様に横軸は焦点距離ｆを表し、縦軸は像振れ補正量の分割用の係数Ｋを表す。係数Ｋは光学式像振れ補正の可動範囲Ａと電子式像振れ補正の可動範囲Ｂによって決定される。また、光学式像振れ補正と電子式像振れ補正がそれぞれ動作するため、光学式像振れ補正と電子式像振れ補正の可動端の境界が存在しなくなる。その結果、光学式像振れ補正のオーバーシュートによる画像の乱れが抑えられる。

図１４に示すＷｉｄｅ端、Ｍｉｄｄｌｅ位置、Ｔｅｌｅ端について具体的に説明する。光学式像振れ補正では、像振れ補正レンズが可動範囲Ａ内で移動し、電子式像振れ補正では可動範囲Ｂ内で画像処理が実行される。これらの補正を併せて、全体の像振れ補正可動範囲に対応する像振れを補正できる。一例として、光学式像振れ補正の可動範囲ＡをＷｉｄｅ端、Ｍｉｄｄｌｅ位置、Ｔｅｌｅ端でそれぞれ、（２，０．７５，０．３）とする。電子式像振れ補正の可動範囲ＢをＷｉｄｅ端、Ｍｉｄｄｌｅ位置、Ｔｅｌｅ端でそれぞれ、（２．５，１．６，１．１）とする。可動範囲ＡおよびＢの単位はｄｅｇｒｅｅである。この場合、係数Ｋの値はＷｉｄｅ端、Ｍｉｄｄｌｅ位置、Ｔｅｌｅ端でそれぞれ、（０．４４４，０．３１９，０．２１４）となる。

光学式像振れ補正と電子式像振れ補正を行う第２のモードが設定された場合、Ｋ＝Ａ／（Ａ＋Ｂ）の乗算結果の像振れ補正量で補正レンズの駆動が行われ、係数「１−Ｋ」の乗算結果の像振れ補正量で撮像の切り出し位置が変更される。一方、光学式像振れ補正のみを行う第１のモードが設定された場合、分割部２０５は係数Ｋの値を１とする。つまり、像振れ補正量の全体量を光学式像振れ補正量として補正レンズの駆動制御が行われる。電子式像振れ補正は行わないため、電子式像振れ補正量に係る係数「１−Ｋ」の値はゼロである。

次に、第２のモードでの静止画撮影について説明する。カメラ操作部１２１のシャッタレリーズボタンの操作により第２スイッチＳＷ２がオンになると、静止画露光動作が行われる。分割部２０５は係数Ｋの値を１とする。像振れ補正量の全体量が光学式像振れ補正量となる。電子式像振れ補正は静止画露光時に行わないため、電子式像振れ補正量に係る係数「１−Ｋ」の値はゼロである。静止画露光動作の終了時に分割部２０５は、光学式像振れ補正にて係数Ｋ＝Ａ／（Ａ＋Ｂ）を設定し、電子式像振れ補正にて係数「１−Ｋ」に設定する。なお、静止画露光動作の開始時と終了時には、光学式像振れ補正、および電子式像振れ補正の補正量の急な変動を避けるため、所定の出力時間を設けて徐々に補正出力を変更する処理が行われる。

図３は電子式像振れ補正制御部１２３の構成を詳細に示すブロック図である。
カメラ通信制御部１２５は、レンズ装置から通信を介して電子式像振れ補正量を受信する。Ｐｉｔｃｈ方向とＹａｗ方向の電子式像振れ補正量は、角度に換算された補正量として伝達される。Pixel変換部３０１は電子式像振れ補正量をPixel換算の補正量（画素数）に変換してリミッタ３０５に出力する。変換係数は焦点距離ごとに異なる値をもち、焦点距離が変わるごとに変更される。

カメラ振れ検出部１２２はＲｏｌｌ方向のジャイロセンサを有し、検出信号をハイパスフィルタ３０２に出力する。ハイパスフィルタ３０２は、検出信号のオフセットやドリフト成分を除去する。さらにローパスフィルタ３０３は検出信号の高周波ノイズをカットする。Pixel変換部３０４はPixel変換部３０１と同様、角度換算されたデータをPixel換算の補正量に変換してリミッタ３０５に出力する。

リミッタ３０５は、電子式像振れ補正の切り出し範囲でクランプする。リミッタ３０５はPixel変換部３０１、Pixel変換部３０４の各出力に対して処理を行う。すなわち、Ｐｉｔｃｈ方向、Ｙａｗ方向、Ｒｏｌｌ方向ごとにリミッタの各レベルが設定されている。リミット処理後の補正量は電子式像振れ補正量設定部３０６に入力される。電子式像振れ補正量設定部３０６は、各補正軸方向の電子式像振れ補正量をそれぞれ設定する。

［第１実施形態］
以下に本発明の第１実施形態を説明する。
図４を参照して、レンズ通信制御部１１２とカメラ通信制御部１２５との間で行われるレンズ通信とそのタイミングについて説明する。光学式像振れ補正と電子式像振れ補正を行うためには、カメラ本体部からレンズ装置に撮像部１１５の露光重心タイミング（４０６）を伝える必要がある。しかし、カメラ本体部とレンズ装置との間の通信は、像振れ補正以外にも、ＡＦ（自動焦点調節）やＡＥ（自動露出）等のための多くの通信がある。他の通信との重なりにより通信タイミングがばらつき、正確な露光重心タイミングが通信できない場合、処理に支障を来たす可能性がある。そこで、本実施形態では通信タイミングずれを回避するために、基準時間と相対時間の２回に分けて通信処理を行うことで、カメラ本体部がレンズ装置に露光重心タイミングを伝える。

また、カメラ本体部とレンズ装置との間の通信で送受する情報の量が多いと、規定時間内に処理を完了させることが困難となる。さらに、様々な交換レンズに対応するためには、個々のレンズ仕様を意識することなく制御することが必要となる。そこで、本実施形態では、レンズ装置が主体となって制御を行い、像振れ補正のための角度換算データでの通信を行う。

図４に示すＶＤは垂直同期信号のタイミングを示し、Ｖ_ＢＬＫは垂直ブランキング期間のタイミングを示している。「ＣＭＯＳ駆動」は撮像素子の駆動状態を示し、最下段にカメラ本体部（Ｃ）とレンズ装置（Ｌ）との間の通信を示す。第１の通信４０１の通信タイミング４０４と、露光時間が決まるタイミング４０５と、露光重心タイミング４０６をそれぞれ示している。Ｆ［ｎ］は第ｎフレームを表す指標である。
図４に示す各時間は以下の通りである。
ＢＴ：垂直ブランキング期間の長さ
ＩＴ：イメージ時間
ＡＴ：第１の通信タイミング４０４からタイミング４０５までの時間
ＥＴ：露光時間
ＤＴ：露光期間の中心から露光重心タイミング４０６までの遅延時間。
タイミング４０５を基準とする露光重心タイミング４０６は、露光期間の中心に基づいて、「ＩＴ＋ＢＴ−ＥＴ／２＋ＤＴ」により計算される。
なお、各フレームにおいて平行四辺形の重心位置が露光重心タイミング４０６に対応しており、露光量が少ないほど平行四辺形の面積は小さくなる。露光開始時点（平行四辺形の左上頂点）から露光時間ＥＴが経過した時点（平行四辺形の右上頂点）で撮像素子の信号読み出しが開始する。

撮像部１１５の垂直同期信号を起点として、カメラ本体部からレンズ装置へ第１の通信４０１が行われる。第１の通信４０１は、カメラ本体部からレンズ装置へ露光重心タイミング４０６を伝えるための基準となる。レンズ装置は第１の通信４０１による情報を受け取ったタイミングで、レンズ装置内のタイマー時間を取得し、その時間を露光重心タイミング算出のための基準時間とする。なお、第１の通信４０１の通信タイミング４０４については、垂直同期信号と同じタイミングで通信を行ってもよいし、垂直同期信号から任意の時間の前または後に通信してもよい。ただし、毎フレーム、垂直同期信号に対して一定の時間差で通信が行われるようにする。また、第１の通信タイミング４０４は、他の通信と重ならないタイミングとする。図４に示す例では、垂直同期信号よりも手前（過去）の時点に、第１の通信タイミング４０４が設定されている。

次に、カメラ本体部からレンズ装置へ第２の通信４０２が行われる。第２の通信４０２では、第１の通信４０１を基準とする、第１の通信タイミング４０４からの相対時間４０７の情報がレンズ装置に伝達される。また第２の通信４０２では、現在の焦点距離における電子式像振れ補正の可動範囲Ｂが伝達される。第２の通信４０２の通信タイミングは、露光重心を伝える該当フレームの露光時間が決まるタイミング４０５の後である。これにより、各フレームで露光時間が変わる場合にも、正確な露光重心タイミング４０６をレンズ装置に伝えることができる。決定された露光時間と、撮像素子の信号読み出し時間に基づいて露光重心タイミング４０６が求められ、第１の通信４０１の通信タイミング４０４を基準とする差により相対時間４０７が求まる。つまり相対時間４０７は、「ＡＴ＋ＩＴ＋ＢＴ−ＥＴ／２＋ＤＴ」により計算される。なお、各フレームの露光時間が決まるタイミング４０５は固定されているわけではない。

レンズ装置は、第１の通信４０１の受信タイミングを基準として、第２の通信４０２で相対時間４０７の情報を受け取る。これにより、レンズ装置内のタイマー設定により露光重心タイミング４０６を把握できる。また、レンズ装置は第２の通信４０２により、電子式像振れ補正の可動範囲Ｂを受け取ることで、レンズ装置自身の光学式像振れ補正の可動範囲Ａをも含めて、分割部２０５で用いる係数Ｋを算出できる。レンズ装置では露光重心タイミング４０６にて、レンズ振れ検出部１１０が振れ情報を検出し、さらに分割部２０５は像振れ補正量の全体量を、レンズ装置での光学式像振れ補正量とカメラ本体部での電子式像振れ補正量に振り分ける。レンズ制御部１１１はカメラ制御部１２４からの通信要求があるまで、振り分けた電子式像振れ補正量をメモリに保持する。

さらに、カメラ本体部からレンズ装置へ第３の通信４０３が行われる。第３の通信４０３では、カメラ制御部１２４からの通信要求を受けて、レンズ制御部１１１がカメラ制御部１２４に対し、振り分けた電子式像振れ補正量を伝える。第３の通信４０３の通信タイミングは、露光重心タイミング４０６の後である。元々カメラ制御部１２４は露光重心タイミング４０６を把握しているので、露光重心タイミミング後の任意のタイミングで通信を行う。カメラ本体部では、レンズ制御部１１１から受け取った電子式像振れ補正量を電子式像振れ補正制御部１２３に渡し、最終的に電子式像振れ補正量設定部３０６が補正量を設定する。

第１〜第３の通信は毎フレームで行われ、カメラ制御部１２４は第１の通信４０１で基準時間をレンズ制御部１１１に通知する。カメラ制御部１２４は第２の通信４０２で基準時間からの相対時間と電子式像振れ補正の可動範囲を通知する。第３の通信４０３でカメラ制御部１２４はレンズ制御部１１１から電子式像振れ補正量を取得する。他方、レンズ制御部１１１は毎フレームにて、第１の通信４０１で基準時間を取得し、第２の通信で基準時間からの相対時間４０７と電子式像振れ補正の可動範囲を取得し、露光重心タイミング４０６での電子式像振れ補正量を振り分ける。振り分けられた電子式像振れ補正量はレンズ制御部１１１が第３の通信４０３でカメラ制御部１２４に通知する。

図５および図６を参照して本実施形態の処理について説明する。図５は、カメラ制御部１２４が行う通信と制御内容に関するフローチャートである。図６はレンズ制御部１１１が行う通信と制御内容に関するフローチャートである。以下の処理は各制御部のＣＰＵがメモリから読み出して実行する所定のプログラムにしたがって実現される。

図５に示す処理の主体はカメラ制御部１２４であり、カメラ通信制御部１２５、レンズ通信制御部１１２を介してレンズ制御部１１１との間で通信処理が実行される。Ｓ１０１で、カメラ制御部１２４はレンズ制御部１１１に対し、第１の通信４０１を行う。第１の通信タイミングが露光重心タイミング４０６に関する基準時間となる。次にＳ１０２で第２の通信４０２が行われる。第１の通信４０１での基準時間からの相対時間４０７の送信により、露光重心タイミング４０６が伝達される。そして現在の焦点距離における電子式像振れ補正の可動範囲が送信される。

Ｓ１０３で、カメラ制御部１２４は露光重心タイミング４０６から一定時間が経過したか否かを判定する。一定時間とは露光重心タイミング４０６から予め設定されている時間である。露光重心タイミング４０６から一定時間が経過している場合、処理はＳ１０４に進み、経過していない場合にはＳ１０３に戻り、処理を繰り返す。Ｓ１０３で一定時間の経過を待つ理由は、レンズ制御部１１１が露光重心タイミング４０６での制御処理を完了した状態で、カメラ制御部１２４がレンズ制御部１１１へ通信要求を行うためである。

Ｓ１０４で、カメラ制御部１２４は第３の通信を行い、露光重心タイミング４０６でレンズ制御部１１１が振り分けた電子式像振れ補正量を取得する。次のＳ１０５で、カメラ制御部１２４は電子式像振れ補正制御部１２３に指示し、Ｓ１０４で取得した電子式像振れ補正量に基づいて像振れ補正動作が行われる。

図６に示す処理の主体はレンズ制御部１１１であり、レンズ通信制御部１１２、カメラ通信制御部１２５を介してカメラ制御部１２４との間で通信処理が実行される。Ｓ２０１で、レンズ制御部１１１は第１の通信４０１を受け付ける。第１の通信タイミング４０４でレンズ装置内のタイマー時間を取得する処理が実行され、その時間が露光重心タイミングの算出のための基準時間となる。

次にＳ２０２で、レンズ制御部１１１は第２の通信４０２を受け付け、第１の通信タイミング４０４での基準時間からの相対時間４０７と、電子式像振れ補正の可動範囲を取得する。レンズ制御部１１１は第１の通信タイミング４０４で基準時間を取得しているため、第２の通信で相対時間４０７を受け取り、タイマー設定により露光重心タイミングを設定する。また、レンズ制御部１１１は電子式像振れ補正の可動範囲を取得する。この可動範囲とレンズ装置自身の光学式像振れ補正の可動範囲を含めて、分割部２０５が用いる係数Ｋが算出されて、光学式像振れ補正および電子式像振れ補正に係るそれぞれの補正量が設定される。

Ｓ２０３で、レンズ制御部１１１はＳ２０２でタイマー設定された露光重心タイミングの発生について判定する。露光重心タイミング４０６が到来したときにＳ２０４へ処理を進め、露光重心タイミング４０６が発生していない場合にはＳ２０３の判定処理を繰り返す。

Ｓ２０４で、レンズ制御部１１１は露光重心タイミング４０６にて、レンズ振れ検出部１１０から振れ情報を取得し、分割部２０５は係数Ｋの値にしたがって像振れ補正量の全体量を、光学式像振れ補正量と電子式像振れ補正量に振り分ける。レンズ制御部１１１は、カメラ制御部１２４からの通信要求があるまで、振り分けた電子式像振れ補正量を一時記憶しておく。

Ｓ２０５で、レンズ制御部１１１はカメラ制御部１２４からの第３の通信４０３の通信要求があるか否かを判定する。第３の通信の通信要求があれば処理をＳ２０６に進め、通信要求がない場合にはＳ２０５の判定処理を繰り返す。Ｓ２０６で、レンズ制御部１１１は第３の通信を受け付け、Ｓ２０４で振り分けた電子式像振れ補正量をカメラ制御部１２４に通知する。
本実施形態では、１回の通信で露光期間のタイミング情報を伝えるわけではなく、カメラ本体部からレンズ装置へ、第１および第２の通信で基準時間と相対時間をそれぞれ通知する。これにより、他の通信の影響により第２の通信の通信タイミングがばらついたとしても、第１の通信による基準時間と、第２の通信による相対時間がレンズ装置に伝達されるので、レンズ装置に正確な露光重心タイミングを伝達できる。

また、仮に第１の通信が他の通信と重なり、通信が遅れたとしても、第１の通信の発行時の遅延時間を考慮して、第２の通信による相対時間を設定することができる。つまり、遅延時間に基づいて補正された相対時間の情報により露光重心タイミングを通知できる。よって、第１の通信の通信タイミングがばらついたとしても、より正確な露光重心タイミングをカメラ本体部からレンズ装置に伝達できる。
電子式像振れ補正の可動範囲や、電子式像振れ補正量は角度換算データで通知される。カメラ制御部１２４は電子式像振れ補正の可動範囲をレンズ制御部１１１へ送信し、電子式像振れ補正量をレンズ制御部１１１から取得する。本実施形態によれば、レンズ交換式の撮像システムにおいて、レンズ装置と本体部との間で行われる通信の重なりによる通信タイミングずれを回避して像振れ補正を行うことができる。個々のレンズおよびカメラ仕様を意識することなく、より少ない通信量で光学式像振れ補正と電子式像振れ補正を協調して制御し、像振れ補正範囲を拡大させる撮像システムを提供できる。

［第２実施形態］
次に本発明の第２実施形態を説明する。本実施形態にて第１実施形態の場合と同様の構成については既に使用した符号を用いることにより、それらの説明を省略して、主に相違点を説明する。このような説明の省略については後述の実施形態でも同じである。

第１実施形態では、カメラ制御部１２４がレンズ制御部１１１へ露光期間のタイミング情報を送信した後で、レンズ制御部１１１が露光重心タイミングで振り分けた電子式像振れ補正量を取得する。本実施形態では、カメラ振れ検出部１２２の検出結果を用いて、振り分け対象以外の補正軸方向（Ｒｏｌｌ方向）の補正を行うことにより、像振れ補正効果をさらに高めることができる。

図７のフローチャートを参照して、本実施形態の制御内容について説明する。図７では、カメラ本体部における通信処理と振れ検出処理を含めた制御例を示す。まず、Ｓ３０１でカメラ制御部１２４はカメラ通信制御部１２５を介してレンズ制御部１１１と第１の通信を行う。第１の通信タイミングの時間が露光重心タイミングの基準時間となる。
次にＳ３０２で、カメラ制御部１２４はカメラ通信制御部１２５を介して第２の通信を行う。第１の通信を基準時間として、その基準時間からの相対時間を送信して露光重心タイミングを伝えるとともに、現在の焦点距離における電子式像振れ補正の可動範囲を送信する処理が実行される。

Ｓ３０３で、カメラ制御部１２４はタイマー設定により、露光重心タイミングが発生しているか否かを判定する。露光重心タイミングの発生と判定された場合、Ｓ３０４に進み、発生していなければＳ３０３の判定処理を繰り返す。Ｓ３０４にて、カメラ制御部１２４は露光重心タイミングで、カメラ振れ検出部１２２により検出された、カメラ本体部の振れ情報を取得する。ここで検出される振れ情報は、後のＳ３０６でレンズ制御部１１１から取得する電子式像振れ補正量に関する補正軸とは異なる補正軸の振れ情報、つまり検出方向が異なるセンサの検出情報である。

Ｓ３０５で、カメラ制御部１２４は露光重心タイミングから一定時間が経過したか否かを判定する。露光重心タイミングから一定時間が経過したことが判定された場合、Ｓ３０６に進み、経過していなければ、Ｓ３０５の判定処理を繰り返す。Ｓ３０５にて一定時間の経過を待つ理由は、図５のＳ１０３で説明したとおりである。Ｓ３０６で、カメラ制御部１２４はカメラ通信制御部１２５を介してレンズ制御部１１１と第３の通信を行う。カメラ制御部１２４は、レンズ制御部１１１が露光重心タイミングでに振り分けた電子式像振れ補正量を取得する。Ｓ３０７で、カメラ制御部１２４は電子式像振れ補正制御部１２３に像振れ補正制御を指示する。電子式像振れ補正制御部１２３はＳ３０４で検出されたカメラ本体部の振れ情報と、Ｓ３０６で取得した電子式像振れ補正量に基づいて像振れ補正を行う。

本実施形態では、レンズ制御部１１１により振り分けられた電子式像振れ補正量と、カメラ本体部の振れ情報を取得して像振れ補正制御が行われる。電子式像振れ補正量は、Ｐｉｔｃｈ方向およびＹａｗ方向に関する補正量であり、カメラ本体部の振れ情報は、振り分け対象でない補正軸方向（Ｒｏｌｌ方向）の振れ検出情報である。よって、３軸方向における電子式像振れ補正が行われるので、像振れ補正効果をさらに高めることができる。

［第３実施形態］
次に、本発明の第３実施形態を説明する。第１実施形態では、カメラ制御部１２４が露光重心タイミングと電子式像振れ補正の可動範囲をレンズ制御部１１１へ送信する。レンズ制御部１１１は振り分けた電子式像振れ補正量をカメラ制御部１２４へ送信する。本実施形態では、電子式像振れ補正量の送信タイミングにおいてレンズ制御部１１１は同時に光学式像振れ補正の位置情報をカメラ制御部１２４へ送信する。これにより、電子式像振れ補正の補正中心の設定やあおり補正等を行えるので、像振れ補正効果をさらに高めることができる。

図８のフローチャートを参照して、本実施形態の制御内容を説明する。Ｓ４０１からＳ４０３の各処理は、図５のＳ１０１からＳ１０３の処理と同様であるため説明を省略し、Ｓ４０４およびＳ４０５を説明する。

Ｓ４０４で、カメラ制御部１２４はレンズ制御部１１１に対して第３の通信を行う。カメラ制御部１２４は、レンズ制御部１１１が露光重心タイミングで振り分けた電子式像振れ補正量と、露光重心タイミングでの像振れ補正ユニット１０５の位置情報を取得する。次のＳ４０５で、カメラ制御部１２４は電子式像振れ補正制御部１２３に指示し、Ｓ４０４で取得した電子式像振れ補正量と像振れ補正ユニット１０５の位置情報に基づいて像振れ補正を行う。像振れ補正ユニット１０５の位置情報を用いることで、光軸中心に対して電子式像振れ補正の補正中心の設定を一致させることができるので、より正確な補正が可能である。また、像振れ補正ユニット１０５の位置情報により光学式像振れ補正量がわかる。このため、電子式像振れ補正量と併せて、あおり補正の実施等により、像振れ補正効果をさらに高めることができる。

図９は、レンズ装置の光学式像振れ補正の補正位置も含めた通信と制御内容に関するフローチャートである。Ｓ５０１からＳ５０３の各処理は、図６のＳ２０１からＳ２０３の処理と同様であるため説明を省略し、Ｓ５０４からＳ５０６を説明する。

Ｓ５０４にて、レンズ制御部１１１は露光重心タイミングで、レンズ振れ検出部１１０から振れ情報を取得するとともに、位置検出部２０９から像振れ補正ユニット１０５の位置を取得する。さらに分割部２０５は、像振れ補正量の全体量を光学式像振れ補正量と電子式像振れ補正量に振り分ける。レンズ制御部１１１は、カメラ制御部１２４からの通信要求があるまで、振り分けた電子式像振れ補正量と、検出した像振れ補正ユニット１０５の位置情報を一時記憶しておく。

Ｓ５０５で、レンズ制御部１１１はレンズ通信制御部１１２を介してカメラ制御部１２４からの第３の通信の通信要求があるか否かを判定する。通信要求がある場合、Ｓ５０６に進み、通信要求がない場合には、Ｓ５０５の判定処理を繰り返す。Ｓ５０６で、レンズ制御部１１１はレンズ通信制御部１１２を介して第３の通信の通信要求を受け付け、Ｓ５０４で振り分けた電子式像振れ補正量と、検出した像振れ補正ユニット１０５の位置情報をカメラ制御部１２４へ通知する。

本実施形態では、レンズ制御部は電子式像振れ補正量を送信するタイミングで、光学式像振れ補正の位置情報をカメラ制御部へ送信する。本実施形態によれば、電子式像振れ補正の補正中心の設定や、あおり補正等を行うことで、像振れ補正効果をさらに高めることができる。

［第４実施形態］
次に本発明の第４実施形態では、その他の電子式補正としてローリングシャッタ歪み（以下、ＲＳ歪みという）補正への適用について説明する。
撮像部１１５の露光方式には、グローバルシャッタ方式とローリングシャッタ方式とがある。ＣＣＤ（電荷結合素子）イメージセンサに代表されるグローバルシャッタ方式の装置では、１つのフレーム画像において画素間の露光時間および露光開始時刻はほぼ同一である。ＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサを備える装置では、露光方式がローリングシャッタ方式である。

画素ラインごとに露光タイミングが異なるローリングシャッタ方式では、ラインごとの露光タイミングおよび信号読み出し時間のずれに起因する画像歪み（ＲＳ歪み）が発生する。撮像装置の振れがラインごとの信号読み取りに影響を及ぼし、ＲＳ歪みが発生する。撮像装置が三脚等に据え付けられていたとしても、風等の外乱により装置に振動が加わると、ＲＳ歪みが発生する。ＲＳ歪みは、露光タイミングが画素ラインごとに異なることにより、撮影された画像に生じる歪みであるため、撮像装置の振れ信号に基づいて、各画素ラインの移動量を補正量として補正することができる。

図１５の概念図を参照して、ＲＳ歪み補正について説明する。撮像装置が水平方向に動いた場合を想定し、ＲＳ歪みの発生前の画像１５０１（点線の矩形枠）と、ＲＳ歪みの発生後の画像１５０２（実線の平行四辺形枠）を例示する。右側の図は、露光期間中に発生する、撮像装置の水平方向の移動量（振れ量）を複数の点１５０３で例示する。横軸は画素位置を表し、縦軸は時間軸に対応する。図示の例では１１点を示している。

撮像装置では、露光期間中に発生する装置の水平方向の移動量（振れ量）が、複数の点において算出される。複数の点の間を補間することで各ラインの移動量が補正量として取得され、水平方向の振れに対してラインごとに読み出し位置を変更することで補正処理が行われる。つまり、レンズ振れ検出部１１０（図２）は、ＲＳ歪みを発生させる振れを検出する。映像信号処理部１１７は電子的にＲＳ歪み補正を行う。ＲＳ歪みを補正する補正量の算出については、電子式像振れ補正量と同様に分割部２０５が行い、像振れ補正量に対して係数「１−Ｋ」を乗算する。カメラ通信制御部１２５（図３）は、レンズ装置からＲＳ歪み補正量を取得する。Pixel変換部３０１は、角度換算で伝達された電子式像振れ補正量をPixel換算値に変換する。このときに使用される変換係数は焦点距離ごとに異なる値をもち、焦点距離が変わるごとに変更される。さらに、リミッタ３０５はＲＳ歪み補正の可動範囲でクランプを行う。各補正軸方向のリミット値が設定されている。電子式像振れ補正量設定部３０６は、各補正軸方向のＲＳ歪み補正量の設定を行う。

次に図１０を参照して、レンズ通信制御部１１２とカメラ通信制御部１２５との間で行われるＲＳ歪み補正に関する通信とそのタイミングについて説明する。ＶＤ、Ｖ_ＢＬＫ等については図４と同じである。ＲＳ歪み補正を行うためには、カメラ本体部からレンズ装置に対し、撮像部１１５の露光重心タイミング（１００９）を伝える必要がある。ＲＳ歪み補正では複数の補正点があるため、先頭の補正タイミングと補正点間の差分時間が伝達される。本実施形態でも通信タイミングずれを回避するために、基準時間と相対時間の２回に分けて通信が行われる。図１０にて、第１の通信１００１を通信タイミング１００４で示す。第２の通信１００２は、露光重心を伝える該当フレームの露光時間が決まるタイミング１００５の後である。ＲＳ歪み補正の先頭補正タイミング１００６を伝達する処理が実行される。レンズ制御部１１１が主体となって制御を行い、ＲＳ歪み補正のための角度換算データで通信を行う。

撮像部１１５の垂直同期信号（ＶＤ参照）を起点として、カメラ制御部１２４はレンズ制御部１１１へ第１の通信１００１を行う。第１の通信タイミング１００４での時間は、カメラ制御部１２４からレンズ制御部１１１へＲＳ歪み補正の先頭補正タイミング１００６を伝えるための基準時間となる。レンズ制御部１１１は第１の通信１００１を受け付けたタイミングで、内部のタイマー時間を取得し、当該時間をＲＳ歪み補正の先頭補正タイミングを算出するための基準時間とする。なお、第１の通信１００１の通信タイミング１００４は、垂直同期信号と同じタイミングでもよいし、垂直同期信号から任意の時間の前または後でもよい。ただし、毎フレーム、垂直同期信号に対して一定の時間差で通信が行われるものとする。また、第１の通信タイミング１００４は、他の通信と重ならないタイミングが望ましい。図１０の例では、垂直同期信号よりも手前の時点に第１の通信１００１の通信タイミング１００４が設定されている。

次に、カメラ制御部１２４は第２の通信１００２を行う。第２の通信１００２では、第１の通信１００１による時間を基準時間として、基準時間からの相対時間１００７がレンズ制御部１１１に伝達される。差分時間１００８は、ＲＳ歪み補正の補正点間の差分時間である。カメラ制御部１２４はＲＳ歪み補正の補正点間の差分時間１００８と、現在の焦点距離における電子式像振れ補正の可動範囲Ｂをレンズ制御部１１１に送信する。第２の通信１００２は、ＲＳ歪み補正の先頭補正タイミング１００６を伝える該当フレームの露光時間が決まるタイミング１００５の後である。これにより、各フレームで露光時間が変わる場合にも、正確なＲＳ歪み補正の先頭補正タイミング１００６を伝達できる。決定された露光時間と、撮像素子の信号読み出し時間からＲＳ歪み補正の先頭補正タイミング１００６が求まり、第１の通信１００１による基準時間との差により相対時間１００７が求まる。

レンズ制御部１１１は、第１の通信１００１を受け付けたタイミングで基準時間を既に取得している。このため、レンズ制御部１１１は第２の通信１００２により相対時間１００７を取得することで、内部のタイマー設定によりＲＳ歪み補正の先頭補正タイミング１００６を設定することができる。また、レンズ制御部１１１は電子式像振れ補正の可動範囲Ｂを取得することで、レンズ装置の光学式像振れ補正の可動範囲Ａをも含めて、分割部２０５で用いる係数Ｋを算出することができる。レンズ制御部１１１はＲＳ歪み補正の先頭補正タイミング１００６で、レンズ振れ検出部１１０から振れ情報を取得する。分割部２０５は像振れ補正量に対して、係数「１−Ｋ」を乗算し、ＲＳ歪み補正量を算出する。レンズ制御部１１１はカメラ制御部１２４からの通信要求があるまで、ＲＳ歪み補正量を保持する。

さらに、レンズ制御部１１１は内部のタイマー設定により次のＲＳ歪み補正タイミングを設定する。次のＲＳ歪み補正タイミングの設定においてレンズ制御部１１１は、現在のＲＳ歪み補正の補正タイミングと、ＲＳ歪み補正の補正点間の差分時間１００８を用いる。タイマー設定は、ＲＳ歪み補正の全補正タイミングが終了するまで繰り返し行われる。図１０では、ＲＳ歪み補正の補正点を１１点としているので、先頭補正タイミング１００６から６番目の補正点が露光重心に相当する。つまり、露光期間のタイミング情報は露光重心タイミング１００９の情報を含んでいる。露光重心タイミング１００９においてもレンズ制御部１１１は、電子式像振れ補正量を取得しておく。

最後に、カメラ制御部１２４はレンズ制御部１１１への第３の通信１００３を行う。第３の通信１００３において、レンズ制御部１１１はカメラ制御部１２４からの通信要求を受け付けて、保持しているＲＳ歪み補正量を伝える。第３の通信１００３の通信タイミングは、ＲＳ歪み補正の最終補正タイミング１０１０の後である。最終補正タイミング１０１０は１１番目の補正点に対応する。元々カメラ制御部１２４はＲＳ歪み補正タイミングを把握しているので、ＲＳ歪み補正の最終補正タイミング１０１０後の任意のタイミングで通信を行う。カメラ制御部１２４は、レンズ制御部１１１から取得したＲＳ歪み補正量を電子式像振れ補正制御部１２３に渡し、最終的に電子式像振れ補正量設定部３０６に設定する。

第１〜第３の通信は毎フレーム行われ、カメラ制御部１２４は第１の通信１００１で基準時間の通知を行い、第２の通信１００２で基準時間からの相対時間と電子式像振れ補正の可動範囲を通知し、第３の通信１００３でＲＳ歪み補正量を受け取る。レンズ制御部１１１は、第１の通信１００１で基準時間を取得し、第２の通信１００２で基準時間からの相対時間によるＲＳ歪み補正の先頭補正タイミングと電子式像振れ補正の可動範囲を取得する。レンズ制御部１１１は各ＲＳ歪み補正タイミングで補正量を算出し、第３の通信１００３でカメラ制御部１２４に通知する。

図１１のフローチャートを参照して、カメラ制御部１２４が行うＲＳ歪み補正を含めた通信および制御内容について説明する。まず、Ｓ６０１でカメラ制御部１２４はカメラ通信制御部１２５を介してレンズ制御部１１１へ第１の通信を行う。第１の通信による時間がＲＳ歪み補正の先頭補正タイミング１００６の基準時間となる。次にＳ６０２で、カメラ制御部１２４はカメラ通信制御部１２５を介してレンズ制御部１１１へ第２の通信を行う。第１の通信による時間を基準時間として、基準時間からの相対時間１００７が送信され、ＲＳ歪み補正の先頭補正タイミング１００６がレンズ制御部１１１に伝達される。カメラ制御部１２４はＲＳ歪み補正の補正点間の差分時間と、現在の焦点距離における電子式像振れ補正の可動範囲をレンズ制御部１１１に送信する。

Ｓ６０３で、カメラ制御部１２４はＲＳ歪み補正の最終補正タイミング１０１０から一定時間が経過したかどうかを判定する。一定時間は予め設定された時間である。ＲＳ歪み補正の最終補正タイミング１０１０から一定時間が経過している場合、Ｓ６０４に進み、一定時間が経過していない場合にはＳ６０３の判定処理を繰り返す。Ｓ６０３で一定時間の経過を待つ理由は、レンズ制御部１１１がＲＳ歪み補正の最終補正点の処理を完了した状態で、カメラ制御部１２４がレンズ制御部１１１へ通信要求を行うためである。

Ｓ６０４で、カメラ制御部１２４はカメラ通信制御部１２５を介してレンズ制御部１１１へ第３の通信を行う。カメラ制御部１２４は、露光重心タイミング１００９でレンズ制御部１１１が振り分けた電子式像振れ補正量と、ＲＳ歪み補正の複数の補正点それぞれにおけるＲＳ歪み補正量を取得する。Ｓ６０５で、カメラ制御部１２４は電子式像振れ補正制御部１２３に指示し、Ｓ６０４で取得した電子式像振れ補正量とＲＳ歪み補正量に基づいて画像補正を行う。

図１２のフローチャートを参照して、レンズ制御部１１１が行うＲＳ歪み補正を含めた通信と制御内容について説明する。まず、Ｓ７０１で、レンズ制御部１１１はレンズ通信制御部１１２を介してカメラ制御部１２４からの第１の通信を受け付ける。レンズ制御部１１１は第１の通信タイミングで内部のタイマー時間を取得し、その時間をＲＳ歪み補正の先頭補正タイミング算出の基準時間とする。

次にＳ７０２で、レンズ制御部１１１はレンズ通信制御部１１２を介してカメラ制御部１２４からの第２の通信を受け付ける。レンズ制御部１１１は第１の通信による基準時間からの相対時間と、ＲＳ歪み補正の補正点間の差分時間、および電子式像振れ補正の可動範囲を取得する。レンズ制御部１１１は、第１の通信タイミング１００４の時間を基準時間として取得しているため、第２の通信１００２で相対時間１００７を受け取り、内部のタイマー設定によりＲＳ歪み補正の先頭補正タイミングを設定する。また、レンズ制御部１１１は電子式像振れ補正の可動範囲を受け取ることで、レンズ装置の光学式像振れ補正の可動範囲をも含めて分割部２０５で用いる係数Ｋを算出して設定する。

Ｓ７０３で、レンズ制御部１１１はＲＳ歪み補正の補正タイミングの発生について判定する。ＲＳ歪み補正の補正タイミングが発生したことが判定された場合、Ｓ７０４に進み、補正タイミングが発生していない場合には、Ｓ７０３の判定処理を繰り返す。Ｓ７０４で、レンズ制御部１１１はＲＳ歪み補正の補正タイミングで、レンズ振れ検出部１１０から振れ情報を取得する。さらに分割部２０５は、レンズ装置の光学式像振れ補正量と、ＲＳ歪み補正の補正量を算出する。レンズ制御部１１１は、カメラ制御部１２４からの通信要求があるまで、ＲＳ歪み補正量を一時記憶しておく。なお、ＲＳ歪み補正の補正点を１１点とすると、先頭から６番目の補正点が露光重心に相当する。レンズ制御部１１１は、露光重心タイミング１００９でも電子式像振れ補正量を取得しておく。

Ｓ７０５で、レンズ制御部１１１はＲＳ歪み補正の全補正タイミングの終了について判定する。ＲＳ歪み補正の補正タイミングが全て発生済みである場合、Ｓ７０７に進み、全て発生していない場合にはＳ７０６に進む。Ｓ７０６で、レンズ制御部１１１は内部のタイマー設定により次のＲＳ歪み補正の補正タイミングを設定する。次の補正タイミングの設定にてレンズ制御部１１１は、現在のＲＳ歪み補正の補正タイミングと、Ｓ７０２で取得したＲＳ歪み補正の補正点間の差分時間を用いる。タイマー設定後、Ｓ７０３の処理に戻る。

Ｓ７０７で、レンズ制御部１１１はレンズ通信制御部１１２を介してカメラ制御部１２４からの第３の通信の通信要求があるか否かを判定する。第３の通信の通信要求があった場合、Ｓ７０８に進み、当該通信要求がない場合にはＳ７０７の判定処理を繰り返す。Ｓ７０８で、レンズ制御部１１１はレンズ通信制御部１１２を介してカメラ制御部１２４からの第３の通信を受け付ける。レンズ制御部１１１は露光重心タイミングで振り分けられた電子式像振れ補正量と、ＲＳ歪み補正の複数の補正点それぞれにおけるＲＳ歪み補正量をカメラ制御部１２４に通知する。

本実施形態では、カメラ制御部１２４からレンズ制御部１１１へ、ＲＳ歪み補正の先頭補正タイミングおよびＲＳ歪み補正の補正点間の差分時間が送信される。レンズ制御部１１１はＲＳ歪み補正の各補正点のタイミングを把握し、ＲＳ歪み補正量を取得することができる。ＲＳ歪み補正量がカメラ制御部に通知されて、ＲＳ歪み補正が行われる。本実施形態によれば、レンズ交換式の撮像システムにおいて、通信の重なりによる通信タイミングずれを回避して画像の歪補正を行うことができる。

本実施形態では、レンズ制御部から取得したＲＳ歪み補正量を用いてカメラ制御が補正を行う場合を説明した。カメラ制御部が、取得した軸以外の補正軸方向（Ｒｏｌｌ方向）でのＲＳ歪み補正を行うことにより、像振れ補正効果をさらに高めることができる。また、本実施形態では、ＲＳ歪み補正点として、１１点を例示した。ＲＳ歪み補正点の数を所定数に固定する必要はなく、例えばレンズ装置が対応可能な通信速度に応じて補正点の数を変更してもよい。この場合、レンズ装置との通信により対応が可能な通信速度をカメラ制御部が取得し、第２の通信時にＲＳ歪み補正の補正点数をレンズ制御部に通知する。それに応じてレンズ制御部が取得するＲＳ歪み補正点数が決定される。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０５ 像振れ補正ユニット
１０６ 光学式像振れ補正制御部
１１０ レンズ振れ検出部
１１１ レンズシステム制御部
１１２ レンズ通信制御部
１２２ カメラ振れ検出部
１２３ 電子式像振れ補正制御部
１２４ カメラシステム制御部
１２５ カメラ通信制御部

Claims (29)

1. 撮像装置に着脱可能に装着されるレンズ装置であって、
   前記撮像装置と通信する第１の通信手段と、
   振れによる画像の像振れを補正する補正レンズと、
   前記補正レンズを制御する制御手段と、を備え、
   前記第１の通信手段は、前記撮像装置から、
   第１の通信にて、基準時間を示す情報を受信し、
   第２の通信にて、相対時間を示す情報を受信し、
   前記制御手段は、前記第１の通信にて受信した前記基準時間を示す情報と前記第２の通信にて受信した前記相対時間を示す情報と、に基づくタイミングに従って前記補正レンズを制御することを特徴とするレンズ装置。
2. 前記基準時間を示す情報と前記相対時間を示す情報とに基づく決定されるタイミングに対応して前記振れに関する情報を取得する振れ検出手段を備えることを特徴とする請求項１に記載のレンズ装置。
3. 前記第１の通信手段は、前記撮像装置へ、
   第３の通信にて、前記基準時間を示す情報と前記相対時間を示す情報とに基づく情報を送信することを特徴とする請求項１または２に記載のレンズ装置。
4. 前記基準時間を示す情報と前記相対時間を示す情報とに基づくタイミングに対応して前記振れに関する情報を取得する振れ検出手段を備え、
   前記第１の通信手段は、前記振れの情報が取得された後に前記第３の通信を行うことを特徴とする請求項３に記載のレンズ装置。
5. 前記第1の通信手段は、前記第３の通信にて、前記基準時間を示す情報と前記相対時間を示す情報とに基づく情報として、前記振れに関する情報を前記撮像装置へ送信することを特徴とする請求項４項に記載のレンズ装置。
6. 撮像装置に着脱可能に装着されるレンズ装置であって、
   前記撮像装置と通信する第１の通信手段と、
   振れの情報を取得する振れ検出手段と、を備え、
   前記第１の通信手段は、前記撮像装置から、
   第１の通信にて、基準時間を示す情報を受信し、
   第２の通信にて、相対時間を示す情報を受信し、
   前記第１の通信手段は前記撮像装置へ、
   第３の通信にて、前記第１の通信にて受信した前記基準時間を示す情報と、前記第２の通信にて受信した前記相対時間を示す情報と、に基づくタイミングに従って取得された、前記振れに関する情報を前記撮像装置へ送信することを特徴とするレンズ装置。
7. 前記基準時間は、垂直同期信号のタイミングと同期しているタイミングであることを特徴とする請求項１から６のいずれか１項に記載のレンズ装置。
8. 前記第１の通信手段は、前記撮像装置が備える撮像手段の露光期間が決定された後に前記第２の通信により前記相対時間を示す情報を取得することを特徴とする請求項１から７のいずれか１項に記載のレンズ装置。
9. 前記相対時間を示す情報は、前記基準時間から、前記撮像装置が備える撮像手段の露光重心の時間までを示す情報であることを特徴とする請求項１から８のいずれか１項に記載のレンズ装置。
10. 前記撮像装置が備える画像の歪みを補正する補正手段の補正量を算出する算出手段を備え、
    前記第1の通信手段は、前記算出手段により算出された前記補正量を前記撮像装置へ送信することを特徴とする請求項１から９のいずれか１項に記載のレンズ装置。
11. 前記第１の通信手段は前記撮像装置から前記第２の通信にて補正点間の差分時間の情報を受信し、
    前記算出手段は、前記補正点での画像の歪みの補正量を算出することを特徴とする請求項１０に記載のレンズ装置。
12. 装着された交換レンズ装置との通信を行う撮像装置であって、
    撮像手段と、
    前記交換レンズ装置と通信する第２の通信手段と、前記撮像手段の露光タイミングを設定する設定手段と、を備え、
    前記第２の通信手段は、前記交換レンズ装置に対し、
    第１の通信にて、基準時間を示す情報を送信し、
    第２の通信にて、前記露光タイミングと前記基準時間とに基づく相対時間を示す情報を送信することを特徴とする撮像装置。
13. 前記基準時間は、垂直同期信号のタイミングと同期しているタイミングであることを特徴とする請求項１２に記載の撮像装置。
14. 前記第２の通信は、前記撮像手段の露光時間が決定された後に行われることを特徴とする請求項１２または１３に記載の撮像装置。
15. 前記設定手段は、前記撮像手段の露光時間に基づいて前記露光タイミングを設定することを特徴とする請求項１４に記載の撮像装置。
16. 前記設定手段により設定された前記露光タイミングと、前記基準時間とに基づいて、前記相対時間を決定する決定手段を備え、
    前記第２の通信手段は、前記第２の通信にて、前記決定手段により決定された前記相対時間を示す情報を送信することを特徴とする請求項１２から１５のいずれか１項に記載の撮像装置。
17. 前記決定手段は、前記基準時間から、前記撮像手段の露光重心のタイミングまでの時間を前記相対時間として決定することを特徴とする請求項１６に記載の撮像装置。
18. 前記決定手段は、前記第１の通信の通信タイミングと、前記露光タイミングとに基づいて、前記相対時間を決定することを特徴とする請求項１６または１７に記載の撮像装置。
19. 画像の像振れを補正する像振れ補正手段および該像振れ補正手段を制御する制御手段を備えることを特徴とする請求項１２から１８のいずれか１項に記載の撮像装置。
20. 前記第２の通信手段は、前記交換レンズ装置から、
    第３の通信にて、前記基準時間を示す情報と前記相対時間を示す情報とに基づく情報を受信することを特徴とする請求項１２から１９のいずれか１項に記載の撮像装置。
21. 前記第３の通信は、前記基準時間を示す情報と前記相対時間を示す情報とによって決定されるタイミングよりも後に行われることを特徴とする請求項２０に記載の撮像装置。
22. 前記基準時間を示す情報と前記相対時間を示す情報とに基づく情報は、前記基準時間を示す情報と前記相対時間を示す情報とに基づくタイミングに対応して検出された振れ情報に基づく情報であることを特徴とする請求項２０または２１に記載の撮像装置。
23. 画像の像振れを補正する像振れ補正手段および該像振れ補正手段を制御する制御手段を備え、前記第３の通信にて受信した、前記基準時間を示す情報と前記相対時間を示す情報とに基づく情報に基づいて前記像振れ補正手段を制御することを特徴とする請求項２０から２２のいずれか１項に記載の撮像装置。
24. 画像の歪みを補正する補正手段および該補正手段を制御する制御手段を備えることを特徴とする請求項１２から２３のいずれか１項に記載の撮像装置。
25. 前記第２の通信手段は前記交換レンズ装置に対し、前記相対時間を示す情報として先頭の補正タイミングを示す情報を送信することを特徴とする請求項２４に記載の撮像装置。
26. 前記制御手段が、前記画像の歪みを複数の補正点で補正する制御を行う場合、前記第２の通信手段は前記交換レンズ装置に対し、前記第２の通信にて補正点間の差分時間の情報を送信することを特徴とする請求項２４又は２５に記載の撮像装置。
27. 前記第２の通信手段は前記第２の通信にて、前記第１の通信の遅延時間を用いて設定した前記相対時間の情報を送信することを特徴とする請求項１２から２６のいずれか１項に記載の撮像装置。
28. 撮像装置と該撮像装置に装着されたレンズ装置を備える撮像システムであって、
    前記レンズ装置は、
    前記撮像装置と通信する第１の通信手段と、振れによる画像の像振れを補正する補正レンズと、前記補正レンズを制御する制御手段と、を備え、
    前記撮像装置は、
    撮像手段と、前記レンズ装置と通信する第２の通信手段と、前記撮像手段の露光タイミングを設定する設定手段と、を備え、
    前記第２の通信手段は、前記第１の通信手段に対し、
    第１の通信にて、基準時間を示す情報を送信し、
    第２の通信にて、前記露光タイミングと前記基準時間とに基づく相対時間を示す情報を送信し、
    前記制御手段は、
    前記第１の通信にて受信した前記基準時間を示す情報と、前記第２の通信にて受信した前記相対時間を示す情報と、に基づくタイミングに従って前記補正レンズを制御することを特徴とする撮像システム。
29. 撮像装置と通信する第１の通信手段と、
    振れによる画像の像振れを補正する補正レンズと、を備えるレンズ装置と、
    撮像手段と、
    前記レンズ装置と通信する第２の通信手段と、
    撮像素子の露光タイミングを設定する設定手段と、を備える撮像装置とを備える撮像システムにて実行される制御方法であって、
    基準時間を示す情報を前記第２の通信手段から前記第１の通信手段へ送信する第１の通信工程と、
    前記露光タイミングを設定する設定工程と、
    前記露光タイミングと前記基準時間とに基づく相対時間を示す情報を前記第２の通信手段から前記第１の通信手段へ送信する第２の通信工程と、
    前記第１の通信工程にて前記第２の通信手段から前記第１の通信手段へ送信された前記基準時間を示す情報と、前記第２の通信工程にて前記第２の通信手段から前記第１の通信手段へ送信された前記相対時間を示す情報と、により決定されるタイミングに基づいて前記補正レンズを制御する制御工程と、を有することを特徴とする撮像システムの制御方法。

Images