JP4097966B2 - 画像取得装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画素ずらし処理機能を有する画像取得装置に関する。
【０００２】
【従来の技術】
電子カメラ等の、光学的に撮像した画像をデジタルデータとして記録する画像取得装置では、画像の解像度は一般にその画像取得装置に用いられている撮像素子の画素数によって決定される。しかし、顕微鏡の標本を撮影する場合などでは、撮影する標本の種類によっては解像度を高めて撮影したいこともあり、このためにより解像度の高い撮像素子を備えた画像取得装置を導入することはコストの点で問題がある。
【０００３】
そこで、安価でコンパクトな画像取得装置を用い、撮像素子の画素数を増やさずに高解像度の撮影を実現する技術として、画素をずらして撮影した画像を用いる方法が提案されている（特開平６−２２５３１７号公報）。
【０００４】
この画素ずらし機能を有する画像取得装置は、撮像素子に結像する光学像と撮像素子の空間的な相対位置を１画素以下の画素ピッチでずらして撮影した複数の画像と画素をずらさずに撮影した画像とを画像処理することにより、撮像素子の画素数以上の解像度の画像を取得するものである。尚、この画像取得装置では、画素ずらしを行わない通常の撮影による画像も取得することができるように構成されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、画素ずらし処理は複数回の処理動作を行う必要があるため、通常での撮影時間に比べて多くの時間がかかってしまう。すなわち、ｎ回の画素ずらし処理を行って画像を取得する場合には、通常の撮影で必要とされる時間のｎ倍の時間が必要となる。
【０００６】
例えば、９回の画素ずらし処理を行う画像取得装置を用いて、長時間露出による撮影を行う場合、１回の露出時間が５秒ならば、露出時間だけで９倍の時間、即ち４５秒の時間が必要となる。従って、不適切な露出条件、不適切なフレーミングなどによって撮影が失敗していたときは、ユーザは４５秒後に画素ずらし処理結果を確認して初めて撮影の失敗に気付くことになる。
【０００７】
また、１回の露出時間が短時間の場合であっても、画像ずらし処理結果として得られる高解像画像はデータが膨大であるため多くの処理時間を要し、ユーザが処理結果の画像を確認するまでにはかなりの待ち時間が生じていた。
【０００８】
本発明は、このような事情に鑑みてなされたもので、画素ずらし機能を備えた画像取得装置において、画像ずらし処理結果の適否を早期に確認することのできる画像取得装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するための本発明は、撮像素子に入射する光束と該撮像素子との相対位置を移動させる画素ずらし手段と、相対位置が特定位置にあるとき、及び該特定位置から前記画素ずらし手段による一連の動作により移動する少なくとも１つの位置にあるときに撮影する撮影手段と、一連の動作において前記撮影手段が撮影した複数の画像データから高解像度の新たな画像を生成する画像生成手段と、新たな画像が生成されるまでに、撮影した複数の画像の内初期に撮影した画像を表示させる表示制御手段と、適正な露出時間を予測する露出予測手段とを有し、撮影手段は、予測された露出時間よりも短い露出時間で撮影し、予測された露出時間と撮影に使用された短い露出時間とに基づいて該撮影された画像の明るさを補正する補正手段を備えた画像取得装置である。
【００１２】
また本発明は、撮像素子に入射する光束と該撮像素子との相対位置を移動させる画素ずらし手段と、相対位置が特定位置にあるとき、及び該特定位置から前記画素ずらし手段による一連の動作により移動する少なくとも１つの位置にあるときに撮影する撮影手段と、一連の動作において撮影手段が撮影した複数の画像データから高解像度の新たな画像を生成する画像生成手段と、新たな画像が生成されるまでに、撮影した複数の画像の内初期に撮影した画像を表示させる表示制御手段と、を有し、表示制御手段は、予め定められた最小露出時間よりも小さい露出時間で撮影された場合は該撮影された画像を表示しない表示制限手段を備えた画像取得装置である。
【００１３】
また本発明は、上記記載の発明である画像取得装置において、最小露出時間は、変更可能に設けられている画像取得装置である。
【００１５】
【発明の実施の形態】
図１は、本発明に係る画像取得装置の第１の実施形態の構成を示す図である。
【００１６】
この画像取得装置は、撮像部１、メモリ２、画像処理部３、画素ずらし制御部４、制御部５、インターフェース６、画像表示部２３、及び入力装置２４で構成されている。
【００１７】
撮像部１は撮像素子７を備えており、入射した光束を撮像素子７を用いて光電変換し、デジタル画像データ（以下、「画像データ」と言う。）として出力する。そして、撮像部１から出力された画像データはメモリ２に記録される。
【００１８】
画像処理部３は、メモリ２に記録されている画像データを読み取り、画像演算を行った後にその結果を再度メモリ２に書き戻し、またメモリ２から画像データを読み取りインターフェース６に出力する機能を備えている。
【００１９】
このインターフェース６は、読み取られた画像データを、例えばＰＣＩバス等を介して他の画像記録装置や、画像表示装置等に送出する。本実施の形態ではインターフェース６は画像表示部２３に接続し、インターフェース６が送出したデータは画像表示部２３において画像として表示される。
【００２０】
入力装置２４は、画像取得装置に対して各種の指示等を入力するための装置であり、本実施の形態では制御部５に接続され、オペレータからの処理中止指示を制御部５に信号として入力する機能を備えている。
【００２１】
制御部５は、画素ずらし処理を統括して制御しており、画素ずらし制御部４に対して撮像素子７の水平方向と垂直方向の画素ずらしのための移動量を制御する信号を出力すると共に、撮像部１に対して撮影を開始する信号を出力する。さらに、制御部５は、処理中に撮像部１及び画素ずらし制御部４に処理中止信号を出力して処理を中止させる機能を有する。
【００２２】
図２は、本発明の第１の実施形態における撮像部１の構成を示す図である。
【００２３】
撮像部１は、受光素子が縦横に配列状に整列している撮像素子７を備え、この撮像素子７の位置を水平方向に移動させる圧電素子８及び垂直方向に移動させる圧電素子９を一端を撮像素子７に、もう一端を撮像部１に固定したガイド２５に接着した形で有している。
【００２４】
画素ずらし制御部４が、制御部５から入力される信号に対応した大きさの電圧を圧電素子８及び９に印加すると、この印加電圧の大きさに応じて圧電素子８及び９が、ガイド２５を基準点として伸縮することにより、撮像素子７は目的とする位置に移動される。
【００２５】
図３は、第１の実施形態における画像取得装置の概略の手順を示すフロー図である。
【００２６】
先ず、制御部５は、画素ずらし制御部４に対して、初期位置に撮像素子７を移動する指示信号を出力する。画素ずらし制御部４は、この信号を受け取ると２つの圧電素子８及び９に電圧を印加し、この結果各圧電素子は伸縮して撮像素子７を初期位置へ移動する（Ｓ１）。
【００２７】
ここで、撮像素子７の位置は画素単位の座標として表されている。例えば、初期位置の座標は（０，０）として表し、初期位置から水平方向に２／３画素、垂直方向に４／３画素移動した位置の座標は、（２／３、４／３）と表している。
【００２８】
図４は、初期位置における撮像素子７の受光素子の配列の一部を示すモデル図である。
【００２９】
ここで、一つの矩形は１つの画素を表し、各矩形同士は画素１ピッチの間隔で配列されている。そして「Ｒ」はＲフィルタによる赤色の輝度データを生成する受光素子、「Ｇ」はＧフィルタによる緑色の輝度データを生成する受光素子、「Ｂ」はＢフィルタによる青色の輝度データを生成する受光素子を示す。
【００３０】
撮像素子７を初期位置に移動させた後、制御部５は撮像部１に対して露出時間を設定すると共に、撮像部１に対して撮影開始信号を出力する。撮像部１では撮影開始信号を受け取ると、撮像素子７に結像した像を設定された露出時間で露光し、光電変換して得た画像データをメモリ２に出力する。メモリ２は、この画像データを初期位置で撮影した第１画像データとして記録する（Ｓ２）。尚、この際、制御部５は撮影に使用した露出時間を内部のレジスタに記憶する。
【００３１】
次に、画像処理部３は、第１の画像データを撮影部１が出力したＲａｗデータとしてこれに公知の処理である色再生処理を施したカラー画像を作成して、メモリ２に記録する（Ｓ３）。尚、この色再生処理は、本発明の特徴とするところではないため詳細な説明は省略するが、本発明は特定の色再生処理に限定されるものではない。
【００３２】
メモリ２に記憶されたカラー画像は、インターフェース６を介して画像表示部２３に送出され撮像された画像として画像表示部２３に表示される（Ｓ４）。ここで、画素ずらし処理によって高解像度処理された画像を得る前に、撮像された画像を画像表示部２３に送出しオペレータが確認できるように表示処理する機能を、以下プレキャプチャー機能と呼び、画像表示部２３に表示されるように処理された画像を以下プレキャプチャー画像と呼ぶ。
【００３３】
オペレータは画像表示部２３に表示されたプレキャプチャー画像を参照し、露出時間、フォーカス状態などを確認できる。このとき、処理が適切でないと判断した場合は、残りの処理を停止するように入力装置２４に指示入力する。
【００３４】
入力装置２４は、指示を受けると制御部５に信号を出力し、制御部５は画素ずらし制御部４と撮像部１に処理中止信号を出力する。これによって撮像部１と画素ずらし制御部４は以降の処理動作（画素ずらし動作、撮影動作、画像生成動作の内少なくとも１つの動作）を停止する。
【００３５】
なお、オペレータがプレキャプチャー画像を確認している間も、制御部５および、画素ずらし制御部４は処理動作を継続する。ここでは、最初の画素ずらしを行った後に処理中止を指示入力する形態について説明しているが、オペレータがプレキャプチャー画像を確認するための時間を要するため、実際には処理中止が指示入力されるのは、以降に続く処理動作中であることが多い。しかしこの場合であっても、処理中止動作は前述の内容で行われる。
【００３６】
次に、制御部５は、画素ずらし制御部４に対して初期位置から水平方向に２／３画素、撮像素子７を移動するように信号を出力する。画素ずらし制御部４は、この信号を受け取ると圧電素子８に電圧を印加して撮像素子７を水平方向に２／３画素分移動させる（Ｓ５）。
【００３７】
図５は、移動後の撮像素子７の受光素子の配列の一部を示すモデル図である。
【００３８】
図中の矢印が開始される位置の矩形は、画素ずらし前の受光素子の位置を示し、矢印の到達する位置の矩形は水平方向に２／３画素だけ撮像素子７をずらしたときの受光素子の位置を示している。尚、本図及び後述する画素ずらしを説明する各図面は撮像素子７の移動のイメージを説明するモデル図なので、画素の大きさや間隔、移動量等を正確に表している訳ではない。
【００３９】
次に、制御部５は、内部のレジスタからステップＳ２で撮影した時に使用した露出時間を読出し撮像部１に設定する。そして、ステップＳ２のときと同様に、制御部５は撮像部１に対して撮影開始信号を出力し、撮像部１は撮像素子７に結像した像を指定した露出時間で露光した後、画像データに変換してメモリ２に出力する。メモリ２は、この画像データを撮像素子７を水平方向に２／３画素移動して撮影した第２の画像データとして記録する（Ｓ６）。
【００４０】
以下同様に、図６に示すように、撮像素子７を初期位置から垂直方向が初期位置と同じで、水平方向に４／３画素移動し（Ｓ７）、その位置で撮影した第３画像データをメモリ２に記録する（Ｓ８）。尚、本図及び以下の図ではこれまで移動した受光素子の位置の履歴を併せて記載している。
【００４１】
次に、図７に示すように、撮像素子７を初期位置から垂直方向に２／３画素移動し（Ｓ９）、その位置で撮影した第４画像データをメモリ２に記録する（Ｓ１０）。
【００４２】
次に、図８に示すように、撮像素子７を初期位置から垂直方向に２／３画素、水平方向に２／３移動し（Ｓ１１）、その位置で撮影した第５画像データをメモリ２に記録する（Ｓ１２）。
【００４３】
次に、図９に示すように、撮像素子７を初期位置から垂直方向に２／３画素、水平方向に４／３移動し（Ｓ１３）、その位置で撮影した第６画像データをメモリ２に記録する（Ｓ１４）。
【００４４】
次に、図１０に示すように、撮像素子７を初期位置から垂直方向に４／３画素移動し（Ｓ１５）、その位置で撮影した第７画像データをメモリ２に記録する（Ｓ１６）。
【００４５】
次に、図１１に示すように、撮像素子７を初期位置から垂直方向に４／３画素、水平方向に２／３移動し（Ｓ１７）、その位置で撮影した第８画像データをメモリ２に記録する（Ｓ１８）。
【００４６】
次に、図１２に示すように、撮像素子７を初期位置から垂直方向に４／３画素、水平方向に４／３移動し（Ｓ１９）、その位置で撮影した第９画像データをメモリ２に記録する（Ｓ２０）。
【００４７】
以上の手順によって得られた第１画像データ〜第９画像データに基づいて、画像処理部３はＢａｙｅｒ画像を構成するＲａｗＩｍａｇｅを作成し（Ｓ２１）、さらにこの画像から色再生処理を施してカラー画像を作成し（Ｓ２２）、これを最終的な撮影画像としてメモリ２に記録する。そして、この画像はインターフェース６を介して画像表示装置や、他の画像記録装置に送出される（Ｓ２３）。
【００４８】
尚、この色再生処理は、プレキャプチャー画像を作成したときと同様に、本発明の特徴とするところではないので詳細な説明は省略するが、本発明は特定の色再生処理に限定されるものではない。
【００４９】
このように本実施形態の画素ずらし機能を有する画像取得装置は、初期の画素ずらしによって撮影した画像を表示出力する機能を有しているため、オペレータは画素ずらしによる実際の処理が終了する前に撮影画像を確認することができる。
【００５０】
このために、特に長時間露光による撮影を行う場合においては、早期に撮影像を確認できるため、撮影が失敗したとオペレータが判断した場合は、以降の処理を中止でき、全ての画素ずらし処理のための動作が完了するまで待つ必要が無くなる。
【００５１】
尚、本実施形態では、カラー画像の生成を例として説明したが、本発明はこれに限定されるものではなく、モノクロ画像の高解像度処理についても適用できることは当然のことである。
【００５２】
次に本発明の第２の実施形態について説明する。
【００５３】
第２の実施形態は、第１の実施形態と異なりプレキャプチャー専用の撮影を別途行うようにしている。本実施例では、実際の露出時間よりも短い時間にて画像を撮影し、その画像の各画素に対して明るさを補正し、適正な露出時間で撮影した場合と同等の明るさのプレキャプチャー画像を得る。そしてその後で、適切な露出時間にて、実際の画素ずらしによる撮影を行う。
【００５４】
図１３は、本発明に係る画像取得装置の第２の実施形態の構成を示す図である。本第２の実施形態は、第１の実施形態と装置構成はほぼ同じであるが、制御部５が画像処理部３の内部レジスタの値を参照できるようになっている点が異なっている。
【００５５】
また本実施の形態では、制御部５は、撮像部１から取得した画像データを元にして露出時間を予測する機能（自動露出機能）を備えている。撮像部１は制御部５から指定された露出時間で撮影を行った後、光電変換した画像データをメモリ２に書き込む。画像処理部３は、この画像データの任意領域の明るさを計算して画像処理部３内部のレジスタに記憶する。制御部５はこのレジスタの値を参照して次の撮影に使用する露出時間を予測する。
【００５６】
図１４は、制御部５の露出時間の予測手順を示す概略のフロー図である。
【００５７】
先ず制御部５は、画像処理部３の内部レジスタ値が適正な明るさよりも明るい場合には以前に指定した露出時間を短く補正し、逆に暗い場合には露出時間を長く補正することによって、次回の撮影に用いるべき露出時間Ｔｐを計算する（Ｓ３０）。
【００５８】
次に、制御部５は、予測露出時間Ｔｐを予め設定されている閾値ＴＨｅと比較し（Ｓ３１）、予測露出時間Ｔｐが閾値ＴＨｅよりも大きい場合（Ｓ３２）は、次回撮影の露出時間としてＴＨｅを採用する（Ｓ３３）。一方、予測露出時間Ｔｐが閾値ＴＨｅ以下の場合（Ｓ３２）は、次回撮影の露出時間としてＴｐを採用する（Ｓ３４）。
【００５９】
そして、次回撮影の露出時間を撮像部１に設定すると共に、その値を制御部５の内部レジスタに記録する。続いて、制御回路はプレキャプチャー動作を実行する。
【００６０】
図１５は、第２の実施形態における画像取得装置の概略の手順を示すフロー図である。
【００６１】
先ず、制御部５は、画素ずらし制御部４に対して、初期位置に撮像素子７を移動する指示信号を出力する。画素ずらし制御部４は、この信号を受け取ると２つの圧電素子８及び９に電圧を印加し、この結果各圧電素子は伸縮して撮像素子７を初期位置へ移動する（Ｔ１）。
【００６２】
撮像素子７を初期位置に移動させた後、撮像部１に対して撮影開始信号を出力する。撮像部１では撮影開始信号を受け取ると、撮像素子７に結像した像を設定された露出時間で露光し、光電変換して得た画像データをメモリ２に出力する。メモリ２は、この画像データをプレキャプチャー画像データとして記録する（Ｔ２）。
【００６３】
制御部５は、設定した露出時間を調べ（Ｔ３）、予測露出時間Ｔｐが閾値ＴＨｅよりも大きい値であった場合は、プレキャプチャー画像データは予測露出時間Ｔｐよりも短い時間にて撮影しているので、プレキャプチャー画像データの各画素に対して、例えば、係数α＝予測露出時間Ｔｐ／閾値ＴＨｅを乗じるなどして、予測露出時間Ｔｐで撮影した場合の明るさと同等になるように各画素の明るさを補正する（Ｔ４）。予測露出時間Ｔｐが閾値ＴＨｅ以下の値であった場合は、適切な露出時間にて撮影されているので、各画素に対する明るさを補正する必要はない。
【００６４】
次に、画像処理部３は、プレキャプチャー画像データを撮影部１が出力したＲａｗデータとしてこれに公知の処理である色再生処理を施したカラー画像を作成して、メモリ２に記録する（Ｔ５）。メモリ２に記憶されたカラー画像は、インターフェース６を介して画像表示部２３に送出され撮像された画像として画像表示部２３に表示される（Ｔ６）。
【００６５】
次に、画素ずらしにより画像の撮影を行うが、オペレータには既にプレキャプチャー画像が提示されているので、第１の実施形態のステップＳ３とＳ４を外して、ステップＳ１〜Ｓ２３を実行する（Ｔ７、Ｔ８）。
【００６６】
このように本実施形態による画像取得装置では、プレキャプチャー専用の撮影を別途行うように構成されているため、オペレータは早期に提供される画像に基づいて画素ずらしによる実際の撮影が終了する前に撮影画像の良否を確認することができる。
【００６７】
また本実施例では、プレキャプチャー画像を撮影する為の露出時間に対して閾値ＴＨｅを設け、実際の露出時間が閾値ＴＨｅ以上にならないように制限し、撮影した画像の明るさを画像処理により補正しているので、撮影に要する時間を短くすることができる。従って、特に長時間露光による撮影を行う場合に、さらに早い段階で撮像素子と同等の解像度の画像を確認できるため、オペレータの待ち時間によるストレスを軽減することができる。
【００６８】
次に本発明の第３の実施形態について説明する。本実施形態は、第２の実施形態と装置構成は同じであるが、制御部５が露出時間と予め設定された最小露出時間を比較することにより、プレキャプチャーを行うかどうかを自動的に判断する機能を有する点が異なっている。
【００６９】
図１６は、制御部５の露出時間の概略の予測手順を示すフロー図である。
【００７０】
先ず制御部５は、画像処理部３の内部レジスタ値が適正な明るさよりも明るい場合には以前に指定した露出時間を短く補正し、逆に暗い場合には露出時間を長く補正することによって次回の撮影に用いる予測露出時間Ｔｐを算出する（Ｓ４０）。
【００７１】
次に、制御部５は、予測露出時間Ｔｐを予め設定された最小露出時間Ｔｍｉｎと比較し（Ｓ４１）、予測露出時間Ｔｐが最小露出時間Ｔｍｉｎよりも大きい場合（Ｓ４２）は、プレキャプチャーをする、しないを示す制御部５内部のプレキャプチャーフラグをＯＮとし（Ｓ４３）、次回撮影の露出時間としてＴｍｉｎを採用する（Ｓ４４）。
【００７２】
一方、予測露出時間Ｔｐが最小露出時間Ｔｍｉｎ以下の場合（Ｓ４２）は、制御部５内部のプレキャプチャーフラグをＯＦＦとし（Ｓ４５）、次回撮影の露出時間としてＴｐを採用する（Ｓ４６）。
【００７３】
そして、次回撮影の露出時間を撮像部１に設定すると共に、その値を制御部５の内部レジスタに記録する（Ｓ４７）。続いて、制御部５はプレキャプチャー動作と画素ずらし動作の準備を行う。
【００７４】
図１７は、第３の実施形態における画像取得装置の概略の手順を示すフロー図である。
【００７５】
先ず、制御部５は内部のプレキャプチャーフラグがＯＮかどうかを調べ（Ｓ５０）、フラグがＯＮの場合は、第１の実施形態の図３のステップＳ１からＳ４に記載した、画素ずらし処理である第１の画像データの撮影とプレキャプチャー画像の表示動作を実行する（Ｓ５１）。
【００７６】
フラグがＯＦＦの場合は、第１の実施形態の図３のステップＳ１からＳ２に記載した、画素ずらし処理である第１の画像データの撮影を実行する（Ｓ５２）がプレキャプチャーを行わないため、ステップＳ３からＳ４に記載したプレキャプチャー画像の表示動作を実行しない。そして、以降の処理であるステップＳ５からＳ２３に記載した画素ずらし動作と高解像度画像の生成動作を実行する（Ｓ５３）。
【００７７】
以上のように構成すれば、画素ずらしに必要な処理時間がオペレータが長いと感じない時間であるときは、オペレータがプレキャプチャー画像を参照する必要が無いため、最小露出時間Ｔｍｉｎをこの画素ずらし動作時間に対応して設定すれば、自動的にプレキャプチャー機能である画像表示動作を実行させないようにできる。
【００７８】
次に本発明の第４の実施形態について説明する。本実施形態は、第３の実施形態と装置構成は同じであるが、オペレータが予め入力装置２４を介して、最小露出時間Ｔｍｉｎを設定できるようになっている。そして、第３の実施形態と同様に、制御部５は露出時間とオペレータが設定して最小露出時間Ｔｍｉｎを比較することにより、プレキャプチャーを行うかどうかを自動的に判断する機能を有する。
【００７９】
すなわち、オペレータが入力装置２４に対して最小露出時間Ｔｍｉｎを指定すると、そのデータは制御部５に渡され制御部５の内部レジスタに記録される。そして、第３の実施形態と同様に、予測露出時間を求めた後、予測露出時間が、内部レジスタに格納された最小露出時間Ｔｍｉｎよりも大きい場合（予測露出時間＞Ｔｍｉｎ）は、プレキャプチャーをする、しないを示す制御部５内部のプレキャプチャーフラグをＯＮに設定する。一方、予測露出時間が、最小露出時間Ｔｍｉｎ以下の場合（予測露出時間≦Ｔｍｉｎ）はプレキャプチャーフラグをＯＦＦに設定する。
【００８０】
そして、制御部５は内部のプレキャプチャーフラグがＯＮかどうかを調べ、フラグがＯＮの場合は、第１の実施形態の図３のステップＳ１からＳ４に記載した、画素ずらし処理である第１の画像データの撮影とプレキャプチャ画像の表示動作を実行する。
【００８１】
フラグがＯＦＦの場合は、第１の実施形態の図３のステップＳ１からＳ２に記載した、画素ずらし処理である第１の画像データの撮影を実行するが、ステップＳ３からＳ４に記載したプレキャプチャ画像の表示動作は実行しない。
【００８２】
そして、共に以降の処理であるステップＳ５からＳ２３に記載した画素ずらし動作を実行する。
【００８３】
以上のように、最小露出時間Ｔｍｉｎをオペレータが長いと感じる画素ずらし動作時間に対応して設定できるように構成すれば、オペレータ毎の待ち時間の感覚に従ってプレキャプチャー画像を表示するかどうかを切り替えることができるため、操作性が向上し、オペレータの撮影に対するストレスを軽減することができる。
【００８４】
尚、第２、３、４の実施の形態は個別に構成しても良く、また適宜組合せて構成しても良い。
【００８５】
次に本発明の第５の実施形態について説明する。第５の実施形態の構成は、第１の実施形態と比べ、撮像部１の構成が異なっている。
【００８６】
図１８は、第５の実施形態における撮像部１の構成を示す図である。
【００８７】
本実施形態では、撮像素子１７は１次元に配列された受光素子であるラインセンサを２ライン水平に並べた構成を持つ。そして図１９に示すように、各受光素子にはＲＧＢの原色フィルタが配置され、その並びはベイヤ配列を構成している。尚、本実施形態では、撮像素子１７はいわゆるベイヤ方式の原色フィルタ配列を用いているが、本発明は撮像素子１７の色フィルタの配列パターンに依存するものではないので、撮像素子１７の受光素子には補色フィルタを用いてもよいし、またモノクロの撮像素子であってもよい。
【００８８】
この撮像素子１７には、圧電素子１８が接続されており、画素ずらし制御部４によって印加された電圧に基いて圧電素子１８を伸縮させることによって、ガイド１６を基準点として撮像素子１７が水平方向に移動する構成となっている。
【００８９】
更に、撮像部１は、画素ずらし制御部４からの信号により動作する駆動コントローラ１４によって制御される駆動装置１３を有し、この駆動装置１３の動作によりギヤ１５が上下動し、ギヤ１５に歯合して接続された撮像素子１７が撮像範囲１２を垂直方向に平行移動できるように構成されている。
【００９０】
次に、第５の実施形態における動作処理を説明する。
【００９１】
図２０は、第５の実施形態における画像取得装置の概略の手順を示すフロー図である。
【００９２】
画像取得装置は、以下の手順に従って、まず適正露出時間の予測を行う（Ｓ６０）。
【００９３】
撮像部１の撮像範囲１２に光束が入射し像が結像した状態で、制御部５は画素ずらし制御部４に対して、初期位置に撮像素子１７を移動する信号を出力する。画素ずらし制御部４は、この信号を受け取ると撮像素子１７の初期位置である撮像範囲１２の最上部に移動するように駆動コントローラ１４に制御信号を出力すると共に、水平方向の初期位置に撮像素子１７を移動するように、圧電素子１８に電圧を印加する。
【００９４】
駆動コントローラ１４は画素ずらし制御部４からの制御信号に基いて撮像素子１７が初期位置に移動するように駆動装置１３に駆動信号を出力する。駆動装置１３はこの信号に従って駆動動作を行い、撮像素子１７を垂直方向の初期位置まで移動させる。また、圧電素子１８は画素ずらし制御部４からの印加電圧によって伸縮することで、水平方向の初期位置に撮像素子１７を移動させる。
【００９５】
撮像素子１７の初期位置への移動が完了すると、制御部５は撮像部１に対して撮影信号を出力する。撮像部１は、撮影信号を受け取ると、初期値として設定されている露出時間で撮像素子１７に結像した２ライン分の像を露光し、光電変換後に画像データとしてメモリ２に出力する。メモリ２は、取得した画像データを初期位置の２ライン分の画像として記録する。
【００９６】
次に、画素ずらし部４は、駆動コントローラ１４に撮像素子１７が初期位置から２画素分下方に移動するように制御信号を出力し、この制御信号に基いて、駆動コントローラ１４は駆動信号を発する。駆動装置１３はこの駆動信号に従って、撮像素子１７を初期位置から垂直方向へ２画素分移動させる。撮像素子１７の移動が終わると制御部５は撮像部１に撮影信号を出力し、撮像素子１７に結像した像を光電変換後メモリ２に順次出力させ、これをメモリ２は次の２ライン分の画像データとして記憶する。
【００９７】
以降、上記動作処理を撮像素子１７が撮像範囲１２の全ての範囲を走査するまで繰り返すことによって、撮像範囲１２に結像した像がメモリ２に記憶される。
【００９８】
続いて、画像処理部３は、メモリ２に記憶した画像データに基づいて、撮像範囲１２の任意領域の明るさを計算し、その結果を画像処理部３内部のレジスタに記憶する。制御部５はこのレジスタの値を参照し、適正な明るさよりも明るい場合は、露出時間を短く補正し、逆に適正な明るさよりも暗い場合は、露出時間を長くするように補正して露出時間の予測を行い、その結果を制御部５内部のレジスタに保存する。以上の処理により、露出時間の予測が終了する。
【００９９】
尚、上記処理では、撮像範囲１２全域にわたって撮影を行った画像データを元に露出時間の予測を行っているが、撮像範囲１２の特定部分、例えば中央部のみを撮影し、その画像データを元に露出時間の予測を行う構成としても良い。
【０１００】
次に画像取得装置は、以下の手順に従って、予測した露出時間で画像を撮影する（Ｓ６１）。
【０１０１】
撮影動作を行うため、制御部５は、画素ずらし制御部４に対して、初期位置に撮像素子１７を移動する信号を出力する。画素ずらし制御部４は、この信号を受け取ると撮像素子１７を撮像範囲１２の最上部の初期位置に移動するように駆動コントローラ１４に制御信号を出力すると共に、水平方向の初期位置に撮像素子１７を移動するように、圧電素子１８に対応する大きさの電圧を印加する。
【０１０２】
駆動コントローラ１４は、撮像素子１７が初期位置に移動するように駆動装置１３に駆動信号を発し、駆動装置１３はこの信号に従って撮像素子１７を垂直方向の目的の位置へ移動させる。また圧電素子１８は上述したように印加電圧の大きさに従って伸縮して、撮像素子１７を水平方向の目的の位置へ移動させる。
【０１０３】
撮像素子１７が初期位置へ移動した状態で、制御部５は、先に予測した露出時間を制御部５の内部のレジスタより読み出し、撮像部１に対して設定し、制御部５は撮像部１に対して撮影信号を出力する。
【０１０４】
撮像部１は撮影信号を受け取ると、撮像素子１７に結像した２画素ライン分の像を、設定された露出時間で露光し、光電変換後に画像データとしてメモリ２に出力する。メモリ２は、この画像データを初期位置の２画素ライン分の画像として記録する。
【０１０５】
次に、画素ずらし部４は、駆動コントローラ１４に撮像素子１７が初期位置から２画素分下方に移動するように制御信号を出力し、この制御信号に基いて駆動コントローラ１４が発した駆動信号に従って駆動装置１３が稼動し、撮像素子１７が初期位置から垂直方向へ２画素分移動する。
【０１０６】
撮像素子１７の移動が完了すると、制御部５が撮像部１に撮影信号を出力し、撮像部１は撮像素子１７に結像した２画素ライン分の像を光電変換後メモリ２に順次出力する。メモリ２はこの２画素ライン分の画像データを初期位置の画像データの次の位置の画像データとして記憶する。
【０１０７】
以上の処理を撮像範囲１２全域にわたって行うことによって、撮像範囲１２に結像した像を第１の画像データとしてメモリ２に記憶することができる。
【０１０８】
次に、第１の実施形態と同様に、画像処理部３は、第１の画像データを撮影部１が出力したＲａｗデータとしてこれに公知の処理である色再生処理を施してカラー画像を作成し（Ｓ６２）、プレキャプチャー画像として、メモリ２に記録する。そして、インターフェース６を介してプレキャプチャー画像を画像表示部２３に表示する（Ｓ６３）。
【０１０９】
次に、画像取得装置は画素ずらし処理のために第２画像データから第９画像データを撮影して保存する（Ｓ６４）。
【０１１０】
先ず、制御部５は、撮像素子１７を初期位置と垂直方向には同じで、水平方向に初期位置から２／３画素ずれた位置に移動させるよう画素ずらし制御部４に指示する制御信号を出力する。これにより画素ずらし制御部４は、駆動コントローラ１４に撮像素子１７が垂直方向に対して初期位置と同じ位置に移動させる制御信号を発し、また電圧変移素子１８に撮像素子１７が水平方向に対して初期位置とから２／３画素ずれた位置に移動するような大きさの電圧を印可する。そして撮像素子１７の移動が完了すると、撮像素子１７に結像した２画素ライン分の像の撮影を行う。
【０１１１】
その後、撮像素子１７を２画素ライン分ずつ垂直方向に移動して順次撮影を行い、２画素ライン分の画像データをメモリ２へを順次転送する。この処理を撮像範囲１２の全域にわたって行うことによって、メモリ２に垂直方向に対しては初期位置と同じで、水平方向に初期位置から２／３画素ずれた位置での第２画像データが記録される。
【０１１２】
以下同様に、初期位置から垂直方向が初期位置と同じで、水平方向に４／３画素ずれた第３画像データ、初期位置から垂直方向に２／３画素ずれた第３画像データ、初期位置から垂直方向に２／３画素、水平方向に２／３ずれた第５画像データ、初期位置から垂直方向に２／３画素、水平方向に４／３ずれた第６画像データ、初期位置から垂直方向に４／３画素ずれた第７画像データ、初期位置から垂直方向に４／３画素、水平方向に２／３ずれた第８画像データ、初期位置から垂直方向に４／３画素、水平方向に４／３ずれた第９画像データをメモリ２に記録する。
【０１１３】
こうして作成された画像データに基づいて、高解像度の画像が作成される（Ｓ６５）。メモリ２に保存された第１画像データから第９画像データに基づいて、画像処理部３はＢａｙｅｒ画像を構成し、この画像から公知の処理である色再生処理を施してカラー画像を作成し、これを最終的な撮影画像としてメモリ２に記録する。そしてまた、この画像はインターフェース６を介して画像表示装置や、他の画像記録装置に転送される。
【０１１４】
このように第５の実施形態においては、１次元撮像素子で構成される画素ずらし機能を有する画像取得装置において、初期の画素ずらしによって撮影した画像をオペレータに提示するように構成しているため、画素ずらしによる全画像データの撮影が終了する前に撮影画像の良否を確認することができる。
【０１１５】
オペレータがこの表示された画像を参照して不適と判断した場合は、入力装置２４から処理中止を入力する。入力装置２４は、ユーザから処理中止指示を受けると制御部５に信号を発し、制御部５は画素ずらし部制御部４と撮像部１に処理中止信号を発する。撮像部１、および画素ずらし制御部４は、この信号を受け取ると以降の処理動作（画素ずらし動作、撮影動作、画像生成動作の内少なくとも１つの動作）を停止する。
【０１１６】
なお、実施の形態１で説明したように、オペレータが表示された画像を参照している間も、制御部５および、画素ずらし制御部４は処理動作を継続する。第１画像データを表示しても、オペレータが画像を参照する時間があるので、通常処理中止が指示されるのは、以降の画像データの処理動作中であるが、この場合も、処理中止動作は、ここで説明したとおりに行われるのは言うまでも無い。
【０１１７】
次に本発明の第６の実施形態について説明する。
【０１１８】
本実施形態では、第５の実施形態と同じ装置構成において、露出時間を予測するために撮影した画像に対して、初期露出時間と予測露出時間を用いて明るさを補正し、この補正した画像をプレキャプチャー画像としてオペレータに表示することにより、露出時間の予測とプレキャプチャー画像の作成を同時に行う点が異なっている。
【０１１９】
すなわち、第５の実施形態と同様に、初期値の露出時間で画像を撮影し、その画像を元に予測露出時間を求めるが、この際、制御部５は画像処理部３に対して、予測露出時間と画像を撮影したときに用いた初期値の露出時間の関係から取得画像の各画素の明るさを補正するように命令する。
【０１２０】
画像処理部３は、この命令に従って各画素の明るさを補正する。補正方法としては例えば、初期値の露出時間と予測露出時間の比率α（＝予測露出時間／初期の露出時間）を各画素値に乗じることにより明るさを補正しても良い。
【０１２１】
以後、画像処理部３は、この画像に対して色再生処理を施してカラー画像を生成し、プレキャプチャー画像として、メモリ２に記録する。そして、このプレキャプチャー画像を、インターフェース６を介して画像表示部２３に表示する。
【０１２２】
そして、全ての画素ずらしによる撮影を行い高精細画像を作成し、インターフェース６を介して画像表示部へ画像を転送する。
【０１２３】
以上のように、本実施の形態では、露出時間の予測のための撮影とプレキャプチャー画像作成のための撮影を一つにすることができるため、１次元撮像素子で構成される画素ずらし機能を有する画像取得装置において、プレキャプチャー画像をオペレータに提示するまでの時間をさらに短縮することができる。
【０１２４】
次に、第７の実施形態について説明する。本実施の形態は、水平方向及び垂直方向に光束と撮像部１の撮像素子７の位置関係をずらす手段として、撮像素子７に入射する光束の光路を変更するものである。
【０１２５】
図２１は、画素をずらす装置の他の構成を示す図である。
【０１２６】
本図では、撮像素子７と光源の間に光束を透過する平行平板２１を設けて、その角度を変えることにより光路を変え、撮像素子７に入射する光束と撮像素子７の相対位置関係をずらすように構成している。
【０１２７】
ここで、平行平板２１の角度を変える手段としては、水平方向の画素ずらし用の圧電素子２８及び、垂直方向の画素ずらし用の圧電素子２９が平行平板２１に設置されており、この圧電素子への印加電圧を画素ずらし制御部４が制御することによって、平行平板２１の傾きを変化させ、撮像素子７へ入射する光束の光路を変更させる。
【０１２８】
図２２は、平行平板２１と圧電素子との配置を示す平面図である。
【０１２９】
平行平板２１は、支点２２、水平方向の画素ずらし用の圧電素子２８及び、垂直方向の画素ずらし用の圧電素子２９によって支えられており、画素ずらし制御部４が印加する電圧値に基いて各圧電素子２８，２９が伸縮することによって、支点２２を支点としてその傾きが変化する。この結果、平行平板２１を透過する光束は撮像素子１の水平、垂直方向にずらされた位置に結像する。
【０１３０】
次に、この第７の実施形態に係る画像取得装置の動作を説明する。
【０１３１】
制御部５からの指示に基いて画素ずらし制御部４が平行平板２１の傾きを調節し、初期位置での第１の画像データを撮影すると、次に、第１の実施形態と同様に、画像処理部３は、第１の画像データを撮影部１が出力したＲａｗデータとしてこれに色再生処理を施してカラー画像を作成し、プレキャプチャー画像として、メモリ２に記録する。そして、インターフェース６を介してプレキャプチャー画像を画像表示部２３に表示する。
【０１３２】
続いて同様に、初期位置から垂直方向が初期位置と同じで、水平方向に２／３画素ずれた第１の画像データ、初期位置から垂直方向が初期位置と同じで、水平方向に４／３画素ずれた第３の画像データ、初期位置から垂直方向に２／３画素ずれた第４の画像データ、初期位置から垂直方向に２／３画素、水平方向に２／３ずれた第５の画像データ、初期位置から垂直方向に２／３画素、水平方向に４／３ずれた第６の画像データ、初期位置から垂直方向に４／３画素ずれた第７の画像データ、初期位置から垂直方向に４／３画素、水平方向に２／３ずれた第８の画像データ、初期位置から垂直方向に４／３画素、水平方向に４／３ずれた第９の画像データを撮影してそれぞれメモリ２に記録する。
【０１３３】
こうして、第１の画像データ〜第９の画像データがメモリ２に保存されると、画像処理部３は、これらの画像データからＢａｙｅｒ画像を構成し、この画Ｂａｙｅｒ像から公知の処理である色再生処理を施してカラー画像を作成して、これを最終的な高解像度の撮影画像としてメモリ２に記録する。また、この画像はインターフェース６を介して画像表示装置や、他の画像記録装置に転送される。
【０１３４】
このように第７の実施形態においては、平行平板で構成される画素ずらし機能を有する画像取得装置において、画素ずらし撮影において、初期の画素ずらしによって撮影した画像をオペレータに提示することにより、画素ずらしによる実際の撮影が終了する前に撮影画像を確認させることができる。
【０１３５】
ここでオペレータがプレキャプチャー画像を参照して撮像の適否を確認し、不適であると判断した場合は、入力装置２４を介して処理の中止を入力する。入力装置２４は、指示を受けると制御部５に信号を発し、制御部５は画素ずらし部制御部４と撮像部１に処理中止信号を発する。撮像部１、および画素ずらし制御部４は、この信号を受け取ると以降の処理動作（画素ずらし動作、撮影動作、画像生成動作の内少なくとも１つの動作）を中止する。
【０１３６】
従って、本実施の形態では、早期に撮影画像を確認できるために、オペレータの待ち時間によるストレスを軽減することができるとともに、撮影が失敗したとオペレータが判断した場合は、処理動作を中止できるために、全ての画素ずらしによる処理が完了するまで待つ必要が無い。
【０１３７】
尚、本実施形態は、個別に構成しても良く、また前述の各実施の形態と適宜組合せて構成しても良い。
【０１３８】
また、実施形態の説明では、画素ずらしの例として９回の画素ずらしを説明したが、本発明はこの例に限定されるものではなく任意の回数の画素ずらしであっても適用することができる。
【０１３９】
以上の実施形態に示した本発明は、特に顕微鏡用の画像取得装置として好適なものである。
例えば蛍光観察や暗視野観察では、暗黒の背景の中に観察対象物が光っている画像になるので、画像の平均輝度が非常に低い。このような画像の場合、１フレームあたりの露出時間が数十秒から１分を超える場合もある。顕微鏡の観察像の撮影には高い解像度が求められるため画素ずらしを行うことが好ましいが、合計の露出時間は１０分を超えてしまう場合もあり得る。しかし、本発明によれば、画素すらし撮影の途中でも撮影が正しく行われたかどうかを確認することができる。
【０１４０】
【発明の効果】
以上に述べたように本発明によれば、画素ずらし機能を有する画像取得装置であって画素ずらしによる処理が終了する前に、撮影画像をオペレータが確認できるので、撮影が正しく行われたかどうかを処理終了まで待つ必要がないという効果が得られる。
【図面の簡単な説明】
【図１】本発明に係る画像取得装置の第１の実施形態の構成を示す図。
【図２】本発明の第１の実施形態における撮像部の構成を示す図。
【図３】第１の実施形態における画像取得装置の概略の手順を示すフロー図。
【図４】初期位置における撮像素子の受光素子の配列の一部を示すモデル図。
【図５】移動後の撮像素子の受光素子の配列の一部を示すモデル図。
【図６】移動後の撮像素子の受光素子の配列の一部を示すモデル図。
【図７】移動後の撮像素子の受光素子の配列の一部を示すモデル図。
【図８】移動後の撮像素子の受光素子の配列の一部を示すモデル図。
【図９】移動後の撮像素子の受光素子の配列の一部を示すモデル図。
【図１０】移動後の撮像素子の受光素子の配列の一部を示すモデル図。
【図１１】移動後の撮像素子の受光素子の配列の一部を示すモデル図。
【図１２】移動後の撮像素子の受光素子の配列の一部を示すモデル図。
【図１３】本発明に係る画像取得装置の他の実施形態の構成を示す図。
【図１４】制御部の露出時間の予測手順を示す概略のフロー図。
【図１５】他の実施形態における画像取得装置の概略の手順を示すフロー図。
【図１６】制御部の露出時間の概略の予測手順を示すフロー図。
【図１７】他の実施形態における画像取得装置の概略の手順を示すフロー図。
【図１８】他の実施形態における撮像部の構成を示す図。
【図１９】撮像素子の各受光素子のＲＧＢフィルタの配置を示す図。
【図２０】他の実施形態における画像取得装置の概略の手順を示すフロー図。
【図２１】画素をずらす装置の他の構成を示す図。
【図２２】平行平板と圧電素子との配置を示す平面図。
【符号の説明】
１…撮像部
２…メモリ
３…画像処理部
４…画素ずらし制御部
５…制御部
６…インタ−フェース
７…撮像素子
８…圧電素子
９…圧電素子
２３…画像表示部
２４…入力装置

Claims (3)

1. 撮像素子に入射する光束と該撮像素子との相対位置を移動させる画素ずらし手段と、
   前記相対位置が特定位置にあるとき、及び該特定位置から前記画素ずらし手段による一連の動作により移動する少なくとも１つの位置にあるときに撮影する撮影手段と、
   前記一連の動作において前記撮影手段が撮影した複数の画像データから高解像度の新たな画像を生成する画像生成手段と、
   前記新たな画像が生成されるまでに、前記撮影した複数の画像の内初期に撮影した画像を表示させる表示制御手段と、
   適正な露出時間を予測する露出予測手段と
   を有し、
   前記撮影手段は、前記予測された露出時間よりも短い露出時間で撮影し、前記予測された露出時間と撮影に使用された前記短い露出時間とに基づいて該撮影された画像の明るさを補正する補正手段を備えたことを特徴とする画像取得装置。
2. 撮像素子に入射する光束と該撮像素子との相対位置を移動させる画素ずらし手段と、
   前記相対位置が特定位置にあるとき、及び該特定位置から前記画素ずらし手段による一連の動作により移動する少なくとも１つの位置にあるときに撮影する撮影手段と、
   前記一連の動作において前記撮影手段が撮影した複数の画像データから高解像度の新たな画像を生成する画像生成手段と、
   前記新たな画像が生成されるまでに、前記撮影した複数の画像の内初期に撮影した画像を表示させる表示制御手段と、
   を有し、
   前記表示制御手段は、予め定められた最小露出時間よりも小さい露出時間で撮影された場合は該撮影された画像を表示しない表示制限手段を備えたことを特徴とする画像取得装置。
3. 前記最小露出時間は、変更可能に設けられていることを特徴とする請求項２記載の画像取得装置。

Images