JP4809190B2

JP4809190B2 - 信号処理装置および変化情報の生成方法

Info

Publication number: JP4809190B2
Application number: JP2006299484A
Authority: JP
Inventors: 史紀高橋
Original assignee: Nitto Optical Co Ltd
Current assignee: Nitto Optical Co Ltd
Priority date: 2006-11-02
Filing date: 2006-11-02
Publication date: 2011-11-09
Anticipated expiration: 2026-11-02
Also published as: JP2008118399A

Description

本発明は、信号処理装置および変化情報の生成方法に関する。

従来より、信号の計測、観測、記録の過程において、信号処理システムの応答特性またはノイズの影響によって、理想信号である真の入力信号を正確に観測および／または記録をすることができない場合が多い。そのため、観測および／または記録された出力信号から入力信号を得ようとするとき、信号処理システムの応答特性等を利用して、出力信号を逆変換等して入力信号へ復元するなどの手法が用いられている。

信号復元アルゴリズムとしては、ウィーナフィルタ、一般逆フィルタ、反復法などが古くから知られている。それらは、信号処理システムの応答特性等による劣化を伝達関数で表し、信号処理システムを通して得られる観測信号である出力信号から伝達関数を用いて劣化の無い入力信号に復元するアルゴリズムである（非特許文献１）。

取り扱う信号が画像信号の場合、ぶれ画像の復元が最もわかり易い例題となる。たとえば理想信号である入力画像はぶれの無い画像となる。そして撮影時のぶれは、画像を劣化させる信号処理システムの応答特性となる。すると、出力信号として劣化（変化）信号であるぶれ画像が得られる。撮影時のぶれ情報および上述の信号復元アルゴリズムを用いると、ぶれ画像は、ぶれの無い画像へと復元する（非特許文献２）。たとえば特許文献１は、ぶれ情報を検出した後、伝達関数を求めてぶれ画像の復元を行なう技術を提案している。

南茂夫監修、河田聡編著、「科学計測のためのデータ処理入門」、CQ出版社、２００２年１月１０日発行高木幹夫・下田陽久監修、「新編画像解析ハンドブック」、東京大学出版会、２００４年９月９日発行特開平１１−２４１２２号公報

信号復元を行なおうとした場合、重要なことは、出力信号と信号処理システムの応答特性等の関係が正確に取得されることである。非特許文献１および２では、信号処理システムの応答特性である劣化関数が正確であることを前提として、劣化信号または劣化画像から劣化の無い理想信号へ復元する手法を解説している。

しかしながら、出力信号と信号処理システムの応答特性等の関係を、正確に取得することは難しく、必ず誤差またはノイズが含まれる。よって、特許文献１記載の手ぶれ画像復元技術を採用しても、ぶれ情報の検出精度が低い場合、または撮影画像にノイズがある場合等は、ぶれ情報の検出誤差またはノイズの影響を受けるため、良好な復元結果を得ることができない。ここで、ぶれ情報の検出精度が低い場合とは、たとえば手ぶれを検出する角速度センサ等の検出精度が低い場合である。また、撮影画像にノイズがある場合とは、たとえば撮影されたぶれ画像にホワイトノイズが入る場合である。

そこで、本発明の課題は、画像等の信号が変化する要因となる変化情報を利用して信号を復元する際に、その復元結果を向上させることである。

上記課題を解決するため、本発明の信号処理装置は、信号の計測、観測、および／または記録の過程で、変化した観測信号である出力信号から、変化する前の信号もしくは本来取得されるべきであった理想信号、またはその近似信号（以下、入力信号という）への復元を行なう処理部を有し、処理部は、１種または複数種の既知の変化関数を用いて、出力信号をさらに1回または複数回変化させた複数回変化信号に加工し、既知の変化関数および、入力信号から出力信号へと変化する要因となる元変化情報から得られる、加工済み元変化情報を利用して復元を行う。

この発明によれば、得られた加工済み元変化情報は、誤差またはノイズの影響が軽減されている。よって、加工済み元変化情報を利用して画像等の信号を復元する場合に、その復元結果を向上させることができる。

他の発明に係る信号処理装置は、上述した発明に加え、加工済み元変化情報は、元変化情報から算出された伝達関数と、既知の変化関数とを重畳積分して得られる総合変化関数であることとしている。この構成によって、加工済み元変化情報の一種である総合変化関数を設定することができる。

他の発明に係る信号処理装置は、上述した発明に加え、信号処理装置は、外乱を検出する検出部を有し、加工済み元変化情報は、検出部で検出された外乱に起因する誤差またはノイズの影響、および／または信号処理装置に生来的に存するものに起因して生ずる誤差またはノイズの影響を軽減するためのものとしている。この構成によって、信号処理装置が行う信号の計測、観測、記録の過程における動的な変化情報、および／または信号処理装置に生来的に存するものに起因して生ずる静的な変化情報、の影響を軽減することができる。

他の発明に係る信号処理装置は、上述した発明に加え、処理部は、既知の変化関数として、元変化情報に基づく変化関数を用いる。この構成によって、元変化情報の誤差の影響を主に軽減することができる。

他の発明に係る信号処理装置は、上述した発明に加え、処理部は、復元処理対象となる信号に対して逆変換処理または逆畳み込み演算処理を行う。この構成によって、たとえば、伝達関数の逆変換を行うことによる信号の復元といった、ウィナフィルタ、一般逆フィルタまたは反復法等の既存の成熟した技術によって、安定した信号の復元を行うことができる。

他の発明に係る信号処理装置は、上述した発明に加え、信号を画像としている。これによって、カメラの手ぶれによる画像変化が生じても、劣化等の変化が生じた出力画像から、劣化等の変化の無い入力画像へ復元を行うことができる。

他の発明に係る信号処理装置は、上述した発明に加え、元変化情報は、画像のぶれ情報、画像の焦点情報、光学情報のいずれか１つ以上を含んでいる。これによって、元変化情報をぶれ情報とした場合、ぶれ画像の復元を行なう際、ぶれ情報の誤差またはノイズの影響を軽減することができる。また元変化情報を画像の焦点情報とした場合、ピンボケ画像の復元を行なう際、画像の焦点情報の誤差またはノイズの影響を軽減することができる。さらに元変化情報を光学情報とした場合、たとえば、光学収差による変化画像の復元を行なう際、光学情報の誤差またはノイズの影響を軽減することができる。また、これらの情報のいずれか２つ以上を元変化情報に含ませることで、たとえば、ぶれとピンボケがある変化画像を復元する際、ぶれ情報および画像の焦点情報の誤差またはノイズの影響を軽減することができる。

上記課題を解決するため、本発明の変化情報の生成方法は、所定の信号から変化した変化信号へと移行する際に得られる、変化する要因となる元変化情報に対し、１種または複数種の既知のデータを利用している。

この発明によれば、生成された元変化情報は、誤差またはノイズの影響が軽減されている。よって、生成された元変化情報を利用して画像等の信号を復元する場合に、その復元結果を向上させることができる。

上記課題を解決するため、本発明の変化情報の生成方法は、所定の信号から変化した変化信号へと移行する際に得られる、変化する要因となる元変化情報に対し、１種または複数種の既知のデータを重畳積分し、加え、またはかけ合せている。

この発明によれば、生成された元変化情報は、未知量の誤差またはノイズを含む元変化情報と、変化情報としての誤差またはノイズを全く含まないものと扱うことのできる既知のデータとが、その構成要素となる。そうすることで、元変化情報が含有する誤差またはノイズを小さくする、またはその誤差またはノイズの偏在を緩和して、大きな誤差またはノイズの影響力を弱めることができることから、生成された元変化情報を利用して画像等の信号を復元する場合に、その復元結果を向上させることができる。

上記課題を解決するため、本発明の他の変化情報の生成方法は、所定の信号から変化した変化信号へと移行する際に得られる、変化する要因となる元変化情報と、１種または複数種の既知のデータと、その既知のデータを利用して変化信号をさらに変化させて得られる複数回変化信号とを生成し、元変化情報と既知のデータとを重畳積分し、得られた重畳積分値を複数回変化信号から所定の信号へと復元するための加工済み元変化情報としている。

この発明によれば、生成された加工済み元変化情報は、未知量の誤差またはノイズを含む元変化情報と、変化情報としての誤差またはノイズを全く含まない既知のデータとが、その構成要素となる。そうすることで、元変化情報が含有する誤差またはノイズを小さくする、またはその誤差またはノイズの偏在を緩和して、大きな誤差またはノイズの影響力を弱めることができる。また、既知のデータを利用して変化信号をさらに変化させて複数回変化信号とすることで、変化信号に含まれるノイズの偏在を緩和することができる。そのため、生成された複数回変化信号と生成された加工済み元変化情報を利用して画像等の信号を復元する場合に、その復元結果を向上させることができる。

本発明では、画像等の信号が変化する要因となる変化情報を利用して信号を復元する際に、その復元結果を向上させることができる。

以下、本発明の実施の形態に係る変化情報の生成方法を採用した、本発明の実施の形態に係る信号処理装置を、図を参照しながら説明する。なお、この信号処理装置は、民生用カメラとしているが、監視用カメラ、テレビ用カメラ、ビデオカメラ、内視鏡カメラ、等他の用途のカメラとしたり、望遠鏡、顕微鏡、更にはＮＭＲ撮影等の画像診断装置等、カメラ以外の機器、たとえば信号を計測する装置にも適用できる。

図１には信号処理装置１の構成の概要を示している。信号処理装置１は、人物または風景等の画像を撮影する撮影部２と、その撮影部２を駆動する制御系部３と、後述する変化関数の加工処理および撮影部２で撮影された画像信号の処理を行なう処理部４と、更に、処理部４で処理された画像信号または必要に応じて変化情報を記録する記録部５と、撮影時の画像変化の変化情報となる動的変化情報を検出する検出部６と、静的変化情報を保存する静的変化情報保存部７を有する。なお、信号処理装置１が画像信号以外のものを対象として適用される場合、撮影部２は、音声信号等の種々の入力信号を受信する受信部２となる（以下では、適宜、撮影部２と受信部２とを使い分けることとする。）。

撮影部２は、撮影光学系または光学系を通過した光を電気信号に変換するＣＣＤまたはＣ−ＭＯＳ等の撮像素子と、撮像素子で変換された電気信号を画像信号に変換する回路部などを備える部分である。制御系部３は、撮影部２、処理部４、記録部５、検出部６、および静的変化情報保存部７など、信号処理装置１の各部を制御するものである。

処理部４は、画像処理プロセッサで構成されており、ASIC（Application Specific Integrated Circuit）のようなハードウェアで構成されている。あるいは、ASICのようなハードウェアとして構成されるのではなく、ソフトウェアで処理する構成としても良い。処理部４は撮影部２で撮影した画像データを処理する。この処理の際に、動的変化情報および静的変化情報から信号（画像）復元処理のための総合変化関数を算出し、その総合変化関数を利用して劣化（変化）画像の復元処理を行なう。また処理部４は、検出する手ぶれ等の振動検出のためのサンプリング周波数を発生させていると共にそのサンプリング周波数を検出部６に供給している。さらに処理部４は、振動検出の開始と終了を制御している。なお、信号処理装置１が画像処理装置以外のものとして適用される場合、受信部２の受信感度を入力信号の大きさ等によって変えることができる。

記録部５は、半導体メモリで構成されているが、ハードディスクドライブ等の磁気記録手段、またはＤＶＤ等の光記録手段等を採用しても良い。記録部５には必要なデータ、たとえば、変化後のまだ復元処理されていない画像信号、処理された画像信号、変化情報等が保存され、記録される。

検出部６は、計測、観測、記録の過程で生じる動的な変化情報を検出するものである。たとえば、図２に示すように、信号処理装置１の光軸であるＺ軸に対して垂直方向となるＸ軸、Ｙ軸の回りの速度を検出するものである。撮影時に手ぶれがある場合、撮影された画像はぶれた画像となる。このような手ぶれは、Ｘ方向、Ｙ方向、Ｚ方向の各方向への移動、Ｚ軸回りの回動も生ずるが、各変動によって最も大きな影響を受けるのは、Ｙ軸回りの回転とＸ軸回りの回転である。これら２つの変動は、ほんのわずかに変動しただけで、その撮影された画像は大きくぼける。このため、この実施の形態では、図２のＸ軸回りとＹ軸回りのぶれの検出のために、PITCH（上下（Ｙ）方向の動き）検出用センサ、YAW（左右（Ｘ）方向の動き）検出用センサ、およびROLL（左右（Ｘ）方向への傾き）検出センサの３つを用いている。しかし、より完全を期すためＺ軸回りの角速度センサをさらに付加したり、Ｘ方向またはＹ方向への移動を検出するセンサを、さらに付加しても良い。また、使用するセンサとしては、角速度センサではなく、角加速度センサとしても良い。なお、信号処理装置１が画像信号以外のものを対象として適用され、受信特性または信号処理システムの応答特性などが、たとえば温度または湿度に影響を受ける場合には、検出部６には温度計または湿度計を含ませることができる。

静的変化情報保存部７は、静的な変化情報を保存している。この静的な変化情報は、たとえば、光学系の収差などによる点像関数等の、信号処理装置１に生来的に存するものに起因するものである。信号処理装置１が画像信号以外の信号を対象として適用される場合は、信号処理システム全体のインパルス応答など、あらかじめわかっている応答特性を静的変化情報保存部７に保存することができる。さらに、検出部６で検出される温度、湿度等が受信部２の受信特性またはシステム全体の特性を変化させることもあるので、温度特性または湿度特性等を静的な変化情報として用いることができる。

次に、以上のように構成された本実施の形態に係る信号処理装置１の処理部４における、変化信号から復元用データを作成する方法の概要を説明する。図３は、入力信号ｉｎ、観測系の伝達関数ｇ、ノイズｎ、および観測される出力信号ｏｕｔの関係を示す。入力信号ｉｎは、観測系の受信部（撮影部２）で受信されて出力信号ｏｕｔとして出力されている。受信から出力の間に劣化（変化）等が生じなければ出力信号ｏｕｔは入力信号ｉｎと完全に等しくなる。しかし、実際には入力信号の変動に対する追随遅れ等によって、必ず出力信号ｏｕｔに変化が生じる。このような劣化（変化）を信号処理システムの伝達関数ｇとする。またその変化に加えて、さらにノイズｎ等も入り込む。すなわち出力信号ｏｕｔは入力信号ｉｎと伝達関数ｇの畳み込みに、ノイズｎが加わったものとなっている（式（１））。
ｏｕｔ = ｉｎ＊ｇ＋ｎ・・・・・（１）
＊は畳み込み演算を表す。以下同じ。

本実施の形態において、入力信号ｉｎは、本来取得されるべきであった理想画像に相当する。また、出力信号ｏｕｔは、信号の計測、観測、および／または記録の過程で変化した観測信号（撮影画像）に相当する。伝達関数ｇは、元変化情報に対応する。ここで、伝達関数ｇは何らかの方法で取得されていなければ、出力信号ｏｕｔから入力信号ｉｎあるいはその近似信号を得ることはできない。そこで、光学系の収差などによる点像関数のように、元変化情報（伝達関数ｇ）のうち、予め判明している静的変化関数ｇｓについては、上述の静的変化情報保存部７から取得する。また、元変化情報のうち、入力信号ｉｎの取得時の外乱による動的変化関数ｇｄについては、検出部６で外乱を検出して処理部４で算出して取得する。動的変化関数ｇｄは、たとえば検出部６が有する角速度センサによって、手ぶれが軌跡のデータとして検出され、その軌跡のデータに基づき処理部４で算出して取得される。このとき、観測系全体の伝達関数ｇは、静的変化関数ｇｓと動的変化関数ｇｄの畳み込みとなる（式（２））。ただし信号処理装置１は、ぶれによる画像変化のみを問題とする場合、光学収差等の静的変化情報は考慮せず、（３）式のように動的変化関数ｇｄのみを考慮して伝達関数ｇを求めることができる。以下、（３）式によって得られる伝達関数を、ｇと表すこととする。
ｇ=ｇｓ*ｇｄ・・・・・（２）
ｇ=ｇｄ・・・・・・・・（３）

ここで、上述のように検出部６における外乱の検出の際には、通常誤差が生じ、またノイズが検出結果に含まれる。よって、伝達関数ｇは、本来の伝達関数からの誤差、またはノイズを含むこととなる。この誤差またはノイズの影響が小さければ小さいほど、復元処理の結果が向上する。以下に、その誤差またはノイズの影響を軽減する方法を述べる。

＜第１の処理方法＞
処理部４において、既知の変化関数の一種である元変化情報による伝達関数ｇをそのまま使う場合の復元用データの作成方法を図１、図３および図４を用いて説明する。この例では、伝達関数ｇを第１変化関数ｇ＿１として扱う。入力信号ｉｎは撮影部２で撮影される。撮影された画像信号は、出力信号ｏｕｔとして処理部４へ送られる。元変化情報は撮影の際のぶれ情報とし、検出部６で角速度センサを用いて手ぶれを撮影時のぶれの軌跡の情報として検出し、伝達関数ｇ、すなわち第１変化関数ｇ＿１を算出し処理部４へ送る。

復元用データ作成シーケンスでは、次の処理を行なう。出力信号ｏｕｔを既知の変化関数で変化させるための第１変化関数ｇ＿１を算出する（ステップＳ１０１）。ここで第１変化関数ｇ＿１として、伝達関数ｇを採用する。次に、出力信号ｏｕｔを第１変化関数ｇ＿１で、さらに変化させて１回変化信号を得る。そのため、出力信号ｏｕｔと第１変化関数ｇ＿１との畳み込み演算（式（４））を行い、１回変化信号ｏｕｔ＿１を算出する（ステップＳ１０２）。
ｏｕｔ＿１＝ｏｕｔ＊ｇ＿１・・・・・（４）

次に元変化情報である伝達関数ｇと１回変化情報である第１変化関数ｇ＿１との畳み込み演算（式（５））を行い、加工済み元変化情報の一種である総合伝達関数ｇ＿ａｌｌを算出する（ステップＳ１０３）。得られた１回変化信号ｏｕｔ＿１を復元処理対象となる信号とし、総合伝達関数ｇ＿ａｌｌを用いて復元処理を行なう（ステップＳ１０４）。
ｇ＿ａｌｌ＝ｇ＊ｇ＿１・・・・・（５）

これを図５を用いて更に説明する。図５（Ａ）のように入力信号ｉｎから１回変化信号ｏｕｔ＿１が得られる。そして復元処理では、図５（Ｂ）のような入出力関係があるとして復元処理を行なう。すなわち上述の式（１）、（４）および（５）から、以下の式（６）が導かれる。
ｏｕｔ＿１＝ｏｕｔ＊ｇ＿１=（ｉｎ＊ｇ＋ｎ)＊ｇ＿１＝ｉｎ＊ｇ＿ａｌｌ＋ｎ＊ｇ＿１・・・・・（６）

ここで、伝達関数であるｇと総合伝達関数ｇ＿ａｌｌを比較する。伝達関数ｇは検出部６での検出誤差を含んでいるため、未知の正しい伝達関数と、得られた伝達関数ｇの間には誤差が存在する。その誤差をδとし、伝達関数ｇに含まれる誤差δの割合をｅとする。ｅは、式（７）によって導かれる。１回変化信号ｏｕｔ＿１は、出力信号ｏｕｔを、既知、すなわち得られた伝達関数ｇである第１変化関数ｇ＿１で変化させたものである。この変化がなされる際には誤差は存在しない。よって、総合伝達関数ｇ＿ａｌｌに含まれる誤差はδのままである。総合伝達関数ｇ＿ａｌｌに含まれる誤差の割合をｅ＿ａｌｌとすれば、式（８）が成立する。すると、ｅ＿ａｌｌが含有する誤差δの割合は、ｅのそれに比べて小さくなる。したがって、出力信号ｏｕｔを更に変化させた信号ｏｕｔ＿１と、総合伝達関数ｇ＿ａｌｌの間の精度は向上している。したがって、総合伝達関数ｇ＿ａｌｌを用いて復元処理を行うことで元変化情報の誤差の影響を軽減することができる。
ｅ＝｜δ｜／｜ｇ｜・・・・・（７）
ｅ＿ａｌｌ＝｜δ｜／｜ｇ＿ａｌｌ｜＝｜δ｜／｜ｇ＊ｇ＿１｜・・・・・（８）

また、式（１）と式（６）のノイズ成分について比較すると、１回変化信号ｏｕｔ＿１のノイズ成分ｎ＊ｇ＿１はｎが変化し、拡散することになるため、出力信号ｏｕｔに含まれるノイズｎの割合に比べ、１回変化信号ｏｕｔ＿１に含まれるノイズの割合は低くなっている。したがって、復元処理におけるノイズ成分の影響を低減することができる。よって、これを用いて復元処理を行うことで元変化情報の誤差またはノイズの影響を軽減することができるため、復元結果を向上させることができる。出力信号ｏｕｔの変化は、動的変化情報であるぶれを対象としたが、静的変化情報である、信号処理システム全体のインパルス応答、または、動的変化情報と静的変化情報の両方から伝達関数ｇを得ても良い。

＜第２の処理方法＞
第１の実施の形態では、第１変化関数ｇ＿１として、既知の変化関数である元変化情報に基づく伝達関数ｇをそのまま使用した。しかし、元変化情報による伝達関数ｇを加工または利用したものを使用しても良い。その場合の処理を図４を用いて説明する。たとえば、元変化情報をぶれとした場合、ぶれは軌跡と重みで表現される。そこで、検出した軌跡と重みのうち、ぶれの軌跡をそのまま使い、重みを変えて重みが一定となるぶれとして第１変化関数ｇ＿１を算出し（ステップＳ１０１）、それを用いて１回変化信号ｏｕｔ＿１を算出し（ステップＳ１０２）、総合伝達関数ｇ＿ａｌｌの算出を行い（ステップＳ１０３）、１回変化信号ｏｕｔ＿１を復元処理対象となる信号とし、逆変換処理等の復元処理（ステップＳ１０４）を行なっても良い。元変化情報として、信号処理システム全体のインパルス応答を対象とする場合は、第１変化関数ｇ＿１をインパルス応答の長さを変えずに一定出力となる応答特性としても良い。このような処理は、前記重みを一定としたことと同等である。

その他、検出部６においてぶれを検出した場合、検出したぶれの振動をフーリエ変換等して周波数分解し、予め検出部６の検出精度が低いと判明している周波数帯域がある場合、検出したぶれの振動のうち、その帯域の振動を利用して第１変化関数ｇ＿１を作成することで、検出誤差の大きい部分について効果的に誤差要因の影響を軽減することができる。たとえば、ぶれ検出センサのオフセット電圧が不安定な場合、それが信号処理システムの伝達関数の誤差要因となるが、検出したぶれの振動を周波数分解し、その直流成分から第１変化関数ｇ＿１を算出することで、オフセット電圧の不安定による誤差要因の影響を軽減することができる。

＜第３の処理方法＞
出力信号ｏｕｔにノイズがあり、そのノイズが復元結果に大きく影響を及ぼす場合は、第１変化関数として信号処理システムの伝達関数ｇとは関係無く、ノイズを周囲へ分散させる作用を持つ伝達関数とするのが好ましい。画像信号の場合、たとえば図６（Ａ）に網掛け部として示す特定の画素のデータを、隣接する８つの周辺の画素に広げる（図６（Ｂ））、または、４つの斜め方向に隣接する周辺の画素に広げる（図６（Ｃ））、さらに４つの縦横方向に隣接する周辺の画素に広げる（図６（Ｄ））という作用のいずれかを持つ伝達関数を第１変化関数ｇ＿１とする。この方法では、画像の撮影時等にノイズがあり、そのノイズが特定の画素に偏在している場合に、そのノイズに起因する誤差の偏在を緩和することによって、その誤差またはノイズの影響を軽減することができる。

＜第４の処理方法＞
元変化情報に誤差があるため、それから得られた伝達関数ｇに誤差があり、また、出力信号ｏｕｔにノイズがある場合において、その誤差とノイズの両方の影響を軽減させる処理の例を図７を用いて説明する。まず、元変化関数となる伝達関数ｇの誤差の影響を軽減させるための第１変化関数ｇ＿１を算出し（ステップＳ２０１）、これを用いて１回変化信号ｏｕｔ＿１を算出する（ステップＳ２０２）。ここまでは、第１の実施の形態または第２の実施の形態と同じである。つまり、式（１）または式（６）を計算する。

次に、ノイズの影響を軽減させるための第２変化関数ｇ＿２を算出する（ステップＳ２０３）。この第２変化関数ｇ＿２は、たとえば、第３の実施の形態の伝達関数である。次に、１回変化信号ｏｕｔ＿１を第２変化関数ｇ＿２で変化させ、２回変化信号ｏｕｔ＿２を算出する（ステップＳ２０４）。ここでは、式（９）を計算する。
ｏｕｔ＿２＝ｏｕｔ＿１＊ｇ＿２・・・・・（９）

次に、元変化関数ｇと第１変化関数ｇ＿１と第２変化関数ｇ＿２の畳み込みを行い、総合変化関数ｇ＿ａｌｌを算出する（ステップＳ２０５）。ここでは、式（１０）を計算する。
ｇ＿ａｌｌ＝ｇ＊ｇ＿１＊ｇ＿２・・・・・（１０）

得られた２回変化信号ｏｕｔ＿２を復元処理対象となる信号とし、総合変化関数ｇ＿ａｌｌを用いて復元処理を行なう（ステップＳ２０６）。ここで、２回変化信号の算出は、第１変化関数ｇ＿１と第２変化関数ｇ＿２の畳み込みを行なって得た複合変化関数ｇ＿１２を用いても良い。その様子を図８に示す。

まず、第１変化関数ｇ＿１、および第２変化関数ｇ＿２を算出する（ステップＳ３０１，Ｓ３０２）。次に、式（１１）を計算することで、複合変化関数ｇ＿１２を算出する（ステップＳ３０３）。出力信号ｏｕｔを複合変化関数ｇ＿１２で変化させ、２回変化信号ｏｕｔ＿２を算出する（ステップＳ３０４）。ここでは、式（１２）を計算する。次に、元変化関数ｇと複合変化関数ｇ＿１２の畳み込みを行い、総合変化関数ｇ＿ａｌｌを算出する（ステップＳ３０５）。ここでは、式（１３）を計算する。得られた２回変化信号ｏｕｔ＿２と総合変化関数ｇ＿ａｌｌを用いて逆変換等による復元処理を行なう（ステップＳ３０６）。
ｇ＿１２＝ｇ１＊ｇ２・・・・・・・・・（１１）
ｏｕｔ＿２＝ｏｕｔ＊ｇ＿１２・・・・・（１２）
ｇ＿ａｌｌ＝ｇ＊ｇ＿１２・・・・・・・・（１３）

以上、本実施の形態における信号処理装置１について説明したが、本発明の要旨を逸脱しない限り種々変更実施可能である。たとえば処理部４としては、図９に示す、以下に述べる方法を復元の際に利用しても良い。まず任意の信号データＩ_０を用意する（ステップＳ４０１）。任意の信号データＩ_０に元変化情報Ｇを重畳積分し（ステップＳ４０２）、その後さらに既知の変化関数となる既知のデータｓ１を重畳積分して比較用データＩ_０’’を生成する（ステップＳ４０３）。その後出力信号Ｉｍｇ’と既知データｓ１とを重畳積分させた変化済み出力信号のデータ「Ｉｍｇ’＊ｓ１」と、比較用のデータＩ_０’’とを比較する（ステップＳ４０４）。そして、得られた差分のデータδ’を元変化情報Ｇと既知データｓ１とを重畳積分させた加工済み元変化情報を利用して任意の信号データＩ_０、または任意の信号データＩ_０と元変化情報Ｇとの重畳積分値Ｉ_０’のいずれか一方（図９では任意の信号データＩ_０）に配分することで、復元データＩ_０＋ｎを生成する（ステップＳ４０６）。ここで、「ｋ」は、加工済み変化情報に基づく配分比である。この復元データＩ_０＋ｎを、任意の信号データＩ_０または重畳積分値Ｉ_０’の代わりに使用して比較用データＩ_０’’を再度生成して、比較等の処理に供するといった一連の処理を、差分のデータδ’の絶対値が所定値未満となるまで（ステップＳ４０５）繰り返す繰り返し処理を行う。この処理によって最終的に得た復元データＩ_０＋ｎは、理想画像（入力信号ｉｎ）である入力信号Ｉｍｇと推定することができる。このような繰り返し処理によっても復元結果を向上させることができる。

本実施の形態では、静的変化情報について考慮した処理を行っていない。しかし、信号処理装置１に生来的に存するものに起因して生ずる誤差またはノイズの影響が予めわかっている場合には、その誤差またはノイズを考慮し、上述の（２）式によって得られる伝達関数をｇとして信号の復元処理を行うことができる。信号処理装置１に生来的に存するものに起因して生ずる誤差またはノイズは、たとえば、動的元変化情報を検出するジャイロ等の取り付け角度に誤差がある場合の検出誤差、または、ぶれを検出するセンサにジャイロを用いている場合に、そのジャイロの基準電圧（オフセット電圧）が設定値よりもずれている場合の誤差等である。

本実施の形態では、既知のデータとして元変化情報ｇ，Ｇを用いている。しかし、信号を変化させる既知のデータとして、出力信号取得前に用意できるものを用いることができることは言うまでもない。

本実施の形態における、加工済み元変化情報は、元変化情報ｇ，Ｇと画像を変化させる既知のデータとを重畳積分したものであるが、その元変化情報ｇ，Ｇと既知のデータとを加え、またはかけ合わせることで、加工済み元変化情報を生成しても良い。

また、元変化情報、加工済み元変化情報および総合変化関数等に用いられる語である「変化」には、劣化のみではなく、劣化とは逆に、信号（画像）を良くする情報を含むものとする。

上述の実施の形態では、復元対象を画像データとしている。しかし、これらの復元処理の考え方および手法は、あらゆるデータの復元処理に適用できる。たとえば、デジタルの音声データの復元等への適用が可能である。

本発明の実施の形態に係る信号処理装置の主要構成を示すブロック図である。図１に示す信号処理装置の概要を示す外観斜視図で、角速度センサの配置位置を説明するための図である。図１に示す信号処理装置の処理部で行う処理方法の概要を示す図で、入力信号、観測系の伝達関数、ノイズ、および観測される出力信号の関係を示す図である。本発明の実施の形態に係る信号処理装置で実施される第１または第２の処理方法となる復元用データ作成シーケンスを説明するための処理フロー図である。本発明の実施の形態に係る信号処理装置の処理部が行う第１の処理方法の詳細を説明する図で、（Ａ）は入力信号から１回変化信号が得られる過程を示す図で、（Ｂ）は、復元処理の際の考え方を示す図である。本発明の実施の形態に係る信号処理装置の処理部が行う第３の処理方法を説明するための図で、特定の画素に偏在しているノイズを周囲の画素に広げることで、ノイズの影響を軽減する様子を表す図である。本発明の実施の形態に係る信号処理装置の処理部が行う第４の処理方法となる復元用データ作成シーケンスを説明するための処理フロー図である。本発明の実施の形態に係る信号処理装置の処理部が行う第４の処理方法の変形例となる、復元用データ作成シーケンスを説明するための処理フロー図である。本発明の実施の形態に係る信号処理装置の処理部で行う処理方法の他の例となる、画像復元処理方法（反復処理）に係る処理ルーチンを説明するための処理フロー図である。

符号の説明

１信号処理装置
２撮影部（受信部）
３制御系部
４処理部
５記録部
６検出部
７静的変化情報保存部
ｉｎ入力信号
ｏｕｔ出力信号
ｇ伝達関数（元変化情報、既知の変化関数）
ｇ＿１第１変化関数（既知の変化関数）
ｇ＿２第２変化関数（既知の変化関数）
ｏｕｔ＿１１回変化信号（複数回変化信号）
ｏｕｔ＿２２回変化信号（複数回変化信号）
ｇ＿ａｌｌ加工済み元変化情報（総合伝達関数）

Claims

信号の計測、観測、および／または記録の過程で変化した観測信号である出力信号から、上記変化する前の信号もしくは本来取得されるべきであった理想信号、またはその近似信号（以下、入力信号という）への復元を行なう処理部を有する信号処理装置において、
上記処理部は、１種または複数種の既知の変化関数を用いて、上記出力信号をさらに1回または複数回変化させた複数回変化信号に加工し、上記既知の変化関数および、上記入力信号から上記出力信号へと変化する要因となる元変化情報から得られる、加工済み元変化情報を利用して復元を行うことを特徴とする信号処理装置。
前記加工済み元変化情報は、前記元変化情報から算出された伝達関数と、前記既知の変化関数とを重畳積分して得られる総合変化関数であることを特徴とする請求項１記載の信号処理装置。
前記信号処理装置は、外乱を検出する検出部を有し、
前記加工済み元変化情報は、上記検出部で検出された上記外乱に起因する前記誤差またはノイズの影響、および／または前記信号処理装置に生来的に存するものに起因して生ずる前記誤差またはノイズの影響を軽減するためのものであることを特徴とする請求項１記載の信号処理装置。
前記処理部は、前記既知の変化関数として、前記元変化情報に基づく変化関数を用いることを特徴とする請求項１または２記載の信号処理装置。
前記処理部は、復元処理対象となる信号に対して逆変換処理または逆畳み込み演算処理を行うことを特徴とする請求項１記載の信号処理装置。
前記信号を画像としたことを特徴とする請求項１から５のいずれか１項に記載の信号処理装置。
前記元変化情報は、画像のぶれ情報、画像の焦点情報、光学情報のいずれか１つ以上を含むことを特徴とする請求項６記載の信号処理装置。
所定の信号から変化した変化信号へと移行する際に得られる、上記変化する要因となる元変化情報に対し、１種または複数種の既知のデータを利用することを特徴とする変化情報の生成方法。
所定の信号から変化した変化信号へと移行する際に得られる、上記変化する要因となる元変化情報に対し、１種または複数種の既知のデータを重畳積分し、加え、またはかけ合せることを特徴とする変化情報の生成方法。
所定の信号から変化した変化信号へと移行する際に得られる、上記変化する要因となる元変化情報と、１種または複数種の既知のデータと、その既知のデータを利用して上記変化信号をさらに変化させて得られる複数回変化信号とを生成し、上記元変化情報と上記既知のデータとを重畳積分し、得られた重畳積分値を上記複数回変化信号から上記所定の信号へと復元するための加工済み元変化情報とすることを特徴とする変化情報の生成方法。