JP6286982B2 - 構造化照明顕微鏡装置 - Google Patents

Description

本発明は、構造化照明顕微鏡装置に関する。

生体標本などの被観察物を超解像観察するための手法に、被観察物の構造の空間周波数を照明光で変調する手法がある（特許文献１を参照）。

この手法では、空間変調された照明光で被観察物を照明し、被観察物の構造に含まれる解像限界を超える高い空間周波数の情報を、顕微鏡光学系の結像に寄与させる。また、空間照明のパターンを切り替え、互いに異なる照明パターンの下で得られた複数の変調像のデータ（以下、「変調画像」と称す。）へ演算を施すことにより、復調像のデータ（以下、「復調画像」又は「超解像画像」と称す。）を取得する。

米国再発行特許発明第３８３０７号明細書

本発明は、超解像画像（復調画像）の生成に必要な複数の画像を高効率に取得することを目的とする。

本発明の構造化照明顕微鏡装置の一例は、１以上の光束を選択する光束選択部材と、前記光束選択部材により選択された光束で標本を照明する光学系と、前記光束選択部材が選択する光束を切り換える切換部と、撮像部と、演算部とを備え、前記光学系は、前記光束選択部材により選択された光束による干渉縞を前記標本に形成し、前記切換部は、前記光束選択部材を回動させて前記干渉縞の方向を切り替える動作中に前記光束選択部材に１つの光束のみを選択させ、前記撮像部は、前記干渉縞で空間変調された前記標本の像である変調像を撮像し、前記１つの光束が選択されて照明された前記標本の像である無変調像を少なくとも１枚、撮像し、前記演算部は、前記変調像の画像及び前記無変調像の画像に基づき前記標本の復調画像を生成する。

本発明によれば、超解像画像（復調画像）の生成に必要な複数の画像を高効率に取得することができる。

構造化照明顕微鏡装置１の構成図である。 回折格子１３を説明する図である。 ０次光シャッタ２００、光束選択部材１８を説明する図である。 １／２波長板１７の機能を説明する図である。 光束選択部材１８の機能を説明する図である。 １／２波長板１７及び光束選択部２４の機能を説明する図である。 光束選択部材１８の形状を説明する図である。 並進機構１５Ａの機能を説明する図である。 第１実施形態の２Ｄ−ＳＩＭモード（無変調画像の枚数は１）のタイミングチャートである。 第１実施形態の２Ｄ−ＳＩＭモード（無変調画像の枚数は２）のタイミングチャートである。 第１実施形態の３Ｄ−ＳＩＭモード（無変調画像の枚数は１）のタイミングチャートである。 第１実施形態の３Ｄ−ＳＩＭモード（無変調画像の枚数は２）のタイミングチャートである。 第２実施形態の光束選択部材１８’を説明する図である。 第２実施形態の２Ｄ−ＳＩＭモード（無変調画像の枚数は１）のタイミングチャートである。 第２実施形態の２Ｄ−ＳＩＭモード（無変調画像の枚数は２）のタイミングチャートである。 第２実施形態の３Ｄ−ＳＩＭモード（無変調画像の枚数は１）のタイミングチャートである。 第２実施形態の３Ｄ−ＳＩＭモード（無変調画像の枚数は２）のタイミングチャートである。 光束選択部材１８”を説明する図である。 干渉縞の方向を切り換えるための回転対象を光束選択部材ではなく回折格子とした変形例を説明する図である。 従来の２Ｄ−ＳＩＭモードの復調演算を説明する図である。 従来の２Ｄ−ＳＩＭで使用される行列Ｍの条件数の逆数の分布である。 第１．３節の復調演算を説明する図である。 （Ａ）は、Δφ≠πのときに復元可能な範囲を示し、（Ｂ）は、Δφ＝πのときに復元可能な範囲を示す。 第１．３節において干渉縞の方向数を３とした場合に復元可能な範囲を示す。 （Ａ）は、第１．４節の第１ステップで復元可能な領域であり、（Ｂ）は、第２ステップで復元可能な領域である。 （Ａ）は、第１．４節の第３ステップで復元可能な領域であり、（Ｂ）は、第４ステップで復元可能な領域である。 （Ａ）は、第１．４節の式１．２７の図解であり、（Ｂ）は、式１．２７の変形版の図解である。 第１．５節の第１の例による復元領域である。 第１．５節の第２の例による復元領域である。 第１．６節における式１．３３の図解である。 第１．６節で復元される領域である。 第１．６節の式１．３３を詳細に説明する図である。 第１．９節における式１．６３の図解である。 ３方向干渉縞の格子構造と、格子の基本ベクトルａ_１、ａ_２との関係を示す図である。 ４枚の変調画像の間における干渉縞強度分布の関係を示す図である。 ３方向干渉縞の投影方法を説明する図である。 ３方向干渉縞の別の投影方法を説明する図である。 従来の３Ｄ−ＳＩＭの復調画像の周波数域を示す図である。（Ａ）はｘｙ断面、（Ｂ）は、ｚｘ断面である。 第２．４節における復調画像の周波数域を示す図である。（Ａ）はｘｙ断面、（Ｂ）は、ｚｘ断面である。

［第１実施形態］
以下、本発明の第１実施形態として構造化照明顕微鏡装置を説明する。

先ず、構造化照明顕微鏡装置の構成を説明する。

図１は、構造化照明顕微鏡装置１の構成図である。以下では構造化照明顕微鏡装置１を全反射蛍光顕微鏡（ＴＩＲＦＭ：Total Internal Reflection Fluorescence Microscopy）として使用する場合も適宜併せて説明する。ＴＩＲＦＭは、蛍光性を有した試料（標本）５の表面の極めて薄い層を観察するものである。

先ず、構造化照明顕微鏡装置１の構成を説明する。

図１に示すとおり構造化照明顕微鏡装置１には、レーザユニット１００と、光ファイバ１１と、照明光学系１０と、結像光学系３０と、第１撮像素子３５１と、第２撮像素子３５２と、制御装置３９と、画像記憶・演算装置４０と、画像表示装置４５とが備えられる。なお、照明光学系１０は落射型であり、結像光学系３０の対物レンズ６及びダイクロイックミラー７を利用して標本５の照明を行う。

レーザユニット１００には、第１レーザ光源１０１、第２レーザ光源１０２、シャッタ１０３１、１０３２、ミラー１０５、ダイクロイックミラー１０６、レンズ１０７が備えられる。第１レーザ光源１０１及び第２レーザ光源１０２の各々は、可干渉性の高いレーザー光を出射する光源であって、互いの出射波長は異なる。ここでは、第１レーザ光源１０１の波長λ１は、第２レーザ光源１０２の波長λ２よりも長いと仮定する（λ１＞λ２）。これらの第１レーザ光源１０１、第２レーザ光源１０２、シャッタ１０３１、１０３２は、それぞれ制御装置３９によって駆動・制御される。

光ファイバ１１は、レーザユニット１００から射出したレーザ光を導光するために、例えば、偏波面保存型のシングルモードファイバによって構成される。光軸Ｏの方向における光ファイバ１１の出射端の位置は、位置調整機構１１Ａによって調節可能である。この位置調整機構１１Ａは、制御装置３９によって駆動・制御される。なお、位置調整機構１１Ａとしては、例えば、ピエゾ素子等が用いられる。

照明光学系１０には、光ファイバ１１の出射端側から順に、コレクタレンズ１２と、偏光板２３と、光束分岐部１５と、集光レンズ１６と、光束選択部２４と、レンズ２５と、視野絞り２６と、フィールドレンズ２７と、励起フィルタ２８と、ダイクロイックミラー７と、対物レンズ６とが配置される。

なお、光ファイバ１１として偏波面保存型のシングルモードファイバを使用した場合は、光ファイバ１１の前後でレーザ光の偏波面が保存されるので、偏光板２３は非必須であるが、レーザ光の偏光の品質を保つためには有効である。一方、光ファイバ１１としてマルチモードファイバを使用した場合、偏光板２３は必須である。

光束分岐部１５には、回折光学素子（回折格子）１３と、並進機構１５Ａとが備えられ、光束選択部２４には、１／２波長板１７と、光束選択部材１８と、０次光シャッタ２００と、回動機構２４Ａと、回動機構２００Ａとが備えられる。なお、並進機構１５Ａ、回動機構２４Ａ、回動機構２００Ａは、制御装置３９によって駆動・制御される。

結像光学系３０には、標本５の側から順に、対物レンズ６と、ダイクロイックミラー７と、バリアフィルタ３１と、第２対物レンズ３２と、第２ダイクロイックミラー３５と、が配置される。

標本５は、例えば、平行平板状のガラス表面に配置された蛍光性の細胞（蛍光色素で染色された細胞）や、シャーレ内に存在する蛍光性の生体細胞（蛍光色素で染色された動く細胞）などの細胞である。この細胞には、波長λ１の光によって励起される第１蛍光領域と、波長λ２の光によって励起される第２蛍光領域との双方が発現している。

なお、第１蛍光領域は、波長λ１の光に応じて中心波長λ１’の第１蛍光を発生させ、第２蛍光領域は、波長λ２の光に応じて中心波長λ２’の第２蛍光を発生させる。

構造化照明顕微鏡装置１がＴＩＲＦＭ（全反射蛍光顕微鏡）として使用される場合、対物レンズ６は、液浸型（油浸型）の対物レンズとして構成される。つまり、対物レンズ６と標本５のガラスとの間隙は、浸液（油）で満たされる。

第１撮像素子３５１、第２撮像素子３５２の各々は、ＣＣＤやＣＭＯＳ等からなる二次元の撮像素子である。第１撮像素子３５１、第２撮像素子３５２の各々は、制御装置３９によって駆動されると、第１撮像素子３５１の撮像面３６１、第２撮像素子３５２の撮像面３６２の各々に形成された像を撮像し、画像を生成する。これら第１撮像素子３５１、第２撮像素子３５２の各々が生成した画像は、制御装置３９を介して画像記憶・演算装置４０へと取り込まれる。なお、第１撮像素子３５１、第２撮像素子３５２の各々は、所定のフレーム周期で画像生成（撮像）を繰り返すことが可能である。第１撮像素子３５１、第２撮像素子３５２の各々のフレーム周期（撮像の繰り返し周期）は、例えば、８０ｍｓｅｃなどに設定される。なお、撮像素子のフレーム周期は、撮像素子の撮像時間（すなわち電荷蓄積及び電荷読出に要する時間）、干渉縞の方向切り換えに要する時間、その他の所要時間のうち、律速によって定められる。

制御装置３９は、レーザユニット１００、位置調整機構１１Ａ、並進機構１５Ａ、回動機構２４Ａ、回動機構２００Ａ、第１撮像素子３５１、第２撮像素子３５２を駆動制御する。

画像記憶・演算装置４０は、制御装置３９を介して与えられた画像に対して演算を施し、演算後の画像を不図示の内部メモリに格納すると共に、画像表示装置４５へ送出する。

次に、構造化照明顕微鏡装置１におけるレーザ光の振る舞いを説明する。

第１レーザ光源１０１から射出した波長λ１のレーザ光（第１レーザ光）は、シャッタ１０３１を介してミラー１０５へ入射すると、ミラー１０５を反射し、ダイクロイックミラー１０６へ入射する。一方、第２レーザ光源１０２から射出した波長λ２のレーザ光（第２レーザ光）は、シャッタ１０３２を介してビームスプリッタ１０６へ入射し、第１レーザ光と統合される。ダイクロイックミラー１０６から射出した第１レーザ光及び第２レーザ光は、レンズ１０７を介して光ファイバ１１の入射端に入射する。

なお、制御装置３９は、レーザユニット１００のシャッタ１０３１、１０３２を制御することにより、光ファイバ１１の入射端に入射するレーザ光の波長（＝光源波長）を、長い波長λ１と短い波長λ２との間で切り替えたり、光源波長を長い波長λ１と短い波長λ２との双方に設定したりすることができる。

光ファイバ１１の入射端に入射したレーザ光は、光ファイバ１１の内部を伝搬して光ファイバ１１の出射端に点光源を生成する。その点光源から射出したレーザ光は、コレクタレンズ１２によって平行光束に変換され、偏光板２３を介して回折格子１３へ入射すると、各次数の回折光束に分岐される。これら各次数の回折光束（以下、「回折光束群」と称す。）は、集光レンズ１６に入射すると、集光レンズ１６によって瞳共役面６Ａ’の互いに異なる位置に集光される。

ここで、瞳共役面６Ａ’は、後述する対物レンズ６の瞳６Ａ（±１次回折光が集光する位置）に対してフィールドレンズ２７、レンズ２５を介して共役な位置のことである。集光レンズ１６の焦点位置（後ろ側焦点位置）は、この瞳共役面６Ａ’に一致している。但し、ここでいう「共役な位置」の概念には、当業者が対物レンズ６、フィールドレンズ２７、レンズ２５の収差、ビネッティング等の設計上必要な事項を考慮して決定した位置も含まれるものとする。

なお、光ファイバ１１から射出したレーザ光は基本的に直線偏光しているので、偏光板２３は、省略することも可能であるが、余分な偏光成分を確実にカットするために有効である。また、レーザ光の利用効率を高めるため、偏光板２３の軸は、光ファイバ１１から射出したレーザ光の偏光方向に一致していることが望ましい。

瞳共役面６Ａ’に向かった各次数の回折光束は、瞳共役面６Ａ’の近傍に配置された光束選択部２４へ入射する。

ここで、構造化照明顕微鏡装置１がＴＩＲＦＭ（全反射蛍光顕微鏡）として利用される場合、光束選択部２４は、入射した各次数の回折光束のうち、１対の回折光束のみ（ここでは±１次回折光束のみ）を選択的に通過させる。

光束選択部２４を通過した±１次回折光束は、レンズ２５によって視野絞り２６付近で回折格子１３と共役な面を形成する。その後、±１次回折光束の各々は、フィールドレンズ２７により収束光に変換され、さらに励起フィルタ２８を経てからダイクロイックミラー７で反射し、対物レンズ６の瞳面６Ａ上の互いに異なる位置に集光される。

瞳面６Ａ上に集光した±１次回折光束の各々は、対物レンズ６の先端から射出される際には平行光束となり、標本５の表面で互いに干渉し、干渉縞を形成する。この干渉縞が、構造化照明光として使用される。

また、構造化照明顕微鏡装置１がＴＩＲＦＭ（全反射蛍光顕微鏡）として利用される場合、標本５の表面に入射する際の入射角度は、エバネッセント場の生成条件（全反射条件）を満たす。以下、全反射条件を「ＴＩＲＦ条件」と称す。

ＴＩＲＦ条件を満たすためには、瞳面６Ａにおける±１次回折光束の集光点は、瞳面６Ａの最外周に位置する所定の輪帯状領域に位置してればよい。この場合、標本５の表面近傍には、干渉縞によるエバネッセント場が生起する。

このような干渉縞により標本５を照明すると、干渉縞の周期構造と標本５上の蛍光領域の周期構造との差に相当するモアレ縞が現れるが、このモアレ縞においては、蛍光領域の高周波数の構造が元の周波数より低周波数側にシフトしているため、この構造を示す蛍光は、元の角度よりも小さい角度で対物レンズ６へ向かうことになる。よって、干渉縞により標本５を照明すると、蛍光領域の高周波数の構造情報までもが対物レンズ６によって伝達される。

標本５で発生した蛍光は、対物レンズ６に入射すると、対物レンズ６で平行光に変換された後、ダイクロイックミラー７及びバリアフィルタ３１を透過し、第２ダイクロイックミラー３５へ入射する。第２ダイクロイックミラー３５へ入射した波長λ１’の第１蛍光は、第２ダイクロイックミラー３５を反射し、第２ダイクロイックミラー３５へ入射した波長λ２’の第２蛍光は、第２ダイクロイックミラー３５を透過する。

第２ダイクロイックミラー３５を反射した第１蛍光は、第１撮像素子３５１の撮像面３６１上に第１蛍光領域の変調像を形成し、第２ダイクロイックミラー３５を透過した第２蛍光は、第２撮像素子３５２の撮像面３６２上に第２蛍光領域の変調像を形成する。

撮像面３６１に形成された第１蛍光領域の変調像、撮像面３６２に形成された第２蛍光領域の変調像は、第１撮像素子３５１、第２撮像素子３５２によって個別に画像化され、第１蛍光領域の変調画像と、第２蛍光領域の変調画像とが生成される。

第１蛍光領域の変調画像と、第２蛍光領域の変調画像とは、制御装置３９を介して画像記憶・演算装置４０へと取り込まれる。さらに、取り込まれた第１蛍光領域の変調画像と、第２蛍光領域の変調画像との各々には、画像記憶・演算装置４０において復調演算が施され、第１蛍光領域の復調画像（超解像画像）と、第２蛍光領域の復調画像（超解像画像）とが生成される。そして、これらの超解像画像は、画像記憶・演算装置４０の内部メモリ（図示せず）に記憶されるとともに、画像表示装置４５へと送出される。なお、復調演算としては、後述する復調演算（第１．７節、又は、第２．５節を参照）が用いられる。

次に、回折格子１３を詳しく説明する。

図２（Ａ）は、回折格子１３を光軸Ｏの方向から見た図であり、図２（Ｂ）は、±１次回折光束が瞳共役面６Ａ’に形成する集光点の位置関係を示す図である。なお、図２（Ａ）は模式図であるため、図２（Ａ）に示した回折格子１３の構造周期は実際の構造周期と同じとは限らない。

図２（Ａ）に示すように、回折格子１３は、照明光学系１０の光軸Ｏと垂直な面内において互いに異なる複数方向にかけて周期構造を有した回折格子である。この回折格子１３の材質は、例えばガラスである。ここでは、回折格子１３は、１２０°ずつ異なる第１方向Ｖ_１、第２方向Ｖ_２、第３方向Ｖ_３の各々にかけて周期構造を有した３方向回折格子であって、それら周期構造の周期は共通であると仮定する。

なお、回折格子１３の周期構造は、濃度（透過率）を利用して形成された濃度型の周期構造、または段差（位相差）を利用して形成された位相型の周期構造の何れであってもよいが、位相差型の周期構造の方が＋１次回折光束の回折効率が高いという点で好ましい。

このような回折格子１３に入射した平行光束は、第１方向Ｖ_１にかけて分岐した第１回折光束群と、第２方向Ｖ_２にかけて分岐した第２回折光束群と、第３方向Ｖ_３にかけて分岐した第３回折光束群とに変換される。

第１回折光束群には、０次回折光束及び±１次回折光束が含まれ、このうち互いの次数が共通である±１次回折光束は、光軸Ｏに関して対称な方向に進行し、０次回折光束は、光軸Ｏに沿って進行する。

同様に、第２回折光束群には、０次回折光束及び±１次回折光束が含まれ、このうち互いの次数が共通である±１次回折光束は、光軸Ｏに関して対称な方向に進行し、０次回折光束は、光軸Ｏに沿って進行する。

同様に、第３回折光束群には、０次回折光束及び±１次回折光束が含まれ、このうち互いの次数が共通である±１次回折光束は、光軸Ｏに関して対称な方向に進行し、０次回折光束は、光軸Ｏに沿って進行する。

これら第１回折光束群の±１次回折光束、第２回折光束群の±１次回折光束、第３回折光束群の±１次回折光束は、前述した集光レンズ１６により、瞳共役面６Ａ’内の互いに異なる位置に集光される。

そして、図２（Ｂ）に示すように、第１回折光束群の±１次回折光束の集光点１４ｄ、１４ｇは、光軸Ｏに関して対称であり、集光点１４ｄ、１４ｇの配列方向は第１方向Ｖ_１に対応している。

また、第２回折光束群の±１次回折光束の集光点１４ｃ、１４ｆは、光軸Ｏに関して対称であり、集光点１４ｃ、１４ｆの配列方向は、第２方向Ｖ_２に対応している。なお、第２回折光束群の集光点１４ｃ、１４ｆから光軸Ｏまでの距離は、第１回折光束群の集光点１４ｄ、１４ｇのから光軸Ｏまでの距離と同じである。

また、第３回折光束群の±１次回折光束の集光点１４ｂ、１４ｅは、光軸Ｏに関して対称であり、集光点１４ｂ、１４ｅの配列方向は、第３方向Ｖ_３に対応している。なお、第３光束群の集光点１４ｂ、１４ｅから光軸Ｏまでの距離は、第１回折光束群の集光点１４ｄ、１４ｇから光軸Ｏまでの距離と同じである。

また、図２（Ｂ）に示すように、第１〜第３回折光束群の各群の０次回折光束の集光点１４ａは、光軸Ｏ上に位置する。

因みに、光ファイバ１１から射出されるレーザ光の波長をλ、回折格子１３の構造周期をＰ、レンズ１６の焦点距離をｆｃとすると、光軸Ｏから集光点１４ｂ〜１４ｇまでの距離Ｄは下記の式で表される。

Ｄ∝２ｆｃλ／Ｐ
また、ここでいう「集光点」とは、最大強度の８割以上の強度を有する領域の重心位置のことである。そのため、本実施形態の照明光学系１０は、完全な集光点が形成されるまで光束を集光する必要はない。

そして、以上の回折格子１３は、ピエゾモータ等からなる並進機構１５Ａ（図１参照）によって並進移動が可能である。並進機構１５Ａによる回折格子１３の並進移動の方向は、照明光学系１０の光軸Ｏと垂直な方向であって、前述した第１方向Ｖ_１、第２方向Ｖ_２、第３方向Ｖ_３の各々に対して非垂直な方向である。この方向に回折格子１３が並進移動すると、干渉縞の位相がシフトする（詳細は後述。）。

次に、０次光シャッタ２００を詳しく説明する。

図３（Ａ）は、０次光シャッタ２００を説明する図である。図３（Ａ）に示すとおり０次光シャッタ２００は、円形の透明基板の一部に円形の遮光部２００Ｃを形成してなる空間フィルタである。

０次光シャッタ２００の遮光部２００Ｃは、第１〜第３回折光束群に共通する０次回折光束の光路（集光点１４ａ）をカバーし、０次光シャッッタ２００の非遮光部（透過部２００Ｂ）は、第１〜第３回折光束群の各群の±１次回折光束の光路（集光点１４ｂ〜１４ｇ）をカバーする。

この０次光シャッタ２００は、回動機構２００Ａ（図１参照）により、照明光学系１０の光軸Ｏと平行、かつその光軸Ｏから離れた直線（軸ＡＲ）の周りに回動可能である。

なお、 回動機構２００Ａには、例えば、０次光シャッタ２００を保持し、かつ軸ＡＲの周りに回転可能な不図示の回動軸と、その回動軸へ回転力を与える不図示のモータ（回転モータ）とが備えられる。このモータが駆動されると、回転軸が回転し、０次光シャッタ２００が軸ＡＲの周りに回転する。

０次光シャッタ２００の回動角が図３（Ａ）に示した基準角度（０°）に設定されると、遮光部２００Ｃが０次回折光束の光路に挿入され、０次光シャッタ２００の回動角が基準角度から外れた所定角度（例えば３０°）に設定されると、遮光部２００Ｃが０次回折光束の光路から外れる。

したがって、０次光シャッタ２００の回動角を０°と３０°との間で切り換えれば、第１〜第３回折光束群の各群の±１次回折光束をオンしたまま０次回折光束のみをオン／オフすることができる。

但し、０次光シャッタ２００の回動角が基準角度（０°）、所定角度（３０°）の何れである場合にも、０次光シャッタ２００の遮光部２００Ｃは、第１〜第３回折光束群の各群の±１次回折光束の光路を遮ることは無いものとする。

また、ここでは０次光シャッタ２００を回動可能な空間フィルタとしたが、スライド可能な空間フィルタや、固定配置された液晶素子などで０次光シャッタ２００を構成してもよい。なお、液晶素子の配向を電気的に制御すれば、液晶素子の屈折率異方性を制御することができるので、液晶素子を０次光シャッタ２００として機能させることができる。

以下、０次光シャッタ２００が０次回折光束をオン又はオフするために必要な時間は、撮像素子の撮像時間（３０ｍｓｅｃ、６０ｍｓｅｃなど）と比較して、十分に短い（例えば５ｍｓｅｃ程度）と仮定する。

次に、光束選択部材１８を詳しく説明する。

図３（Ｂ）は、光束選択部材１８を説明する図である。図３（Ｂ）に示すとおり光束選択部材１８は、円形の不透明基板（マスク用基板）にスリット状の開口部１９、２０と、円形の開口部２９とを形成してなる空間フィルタである。

光束選択部材１８の開口部１９は、第１〜第３回折光束群のうち、何れか１つの光束群に属する＋１次回折光束の光路（図３（Ｂ）では集光点１４ｇ）をカバーし、光束選択部材１８の開口部２０は、同じ光束群に属する−次回折光束の光路（図３（Ｂ）では集光点１４ｄ）をカバーし、光束選択部材１８の開口部２９は、第１〜第３回折光束群に共通する０次回折光束の光路（集光点１４ａ）をカバーし、光束選択部材１８の非開口部は、他の２つの光束群に属する±１次回折光束の光路（図３（Ｂ）では集光点１４ｂ、１４ｃ、１４ｅ、１４ｆ）をカバーする。

このうち、開口部１９の形成先と開口部２０の形成先とは、照明光学系１０の光軸Ｏに関して対称である。つまり、開口部１９を２等分する光軸Ｏを通る２等分線は、開口部２０を２等分する光軸Ｏを通る２等分線に対して１８０°ずれており、開口部１９の形状と開口部２０の形状とは、照明光学系１０の光軸Ｏに関して対称である。また、開口部２９の形成先は、光軸Ｏの近傍である。よって、光束選択部材１８の開口パターン（開口部１９、２０、２９の全体）は、照明光学系１０の光軸Ｏに関して対称となる。

この光束選択部材１８は、回動機構２４Ａ（図１参照）により、照明光学系１０の光軸Ｏの周りに回動可能である。

なお、回動機構２４Ａには、例えば、光束選択部材１８を保持し、かつ光軸Ｏの周りに回転可能な不図示の保持部材と、その保持部材の周りに形成された不図示の第１の歯車と、第１の歯車に噛み合う不図示の第２の歯車と、第２の歯車に連結された不図示のモータ（回転モータ）とが備えられる。このモータが駆動されると第２の歯車が回転し、その回転力が第１の歯車へと伝達され、光束選択部材１８が光軸Ｏの周りに回転する。

開口部１９、２０、２９の配列方向が第１方向Ｖ_１となるように光束選択部材１８の回動角が設定されると、光束選択部材１９を通過できるのは、第１〜第３回折光束群のうち第１回折光束群のみ（集光点１４ｇ、１４ａ、１４ｄのみ）に制限される。

また、開口部１９、２０、２９の配列方向が第２方向Ｖ_２となるように光束選択部材１８の回動角が設定されると、光束選択部材１９を通過できるのは、第１〜第３回折光束群のうち第２回折光束群のみ（集光点１４ｆ、１４ａ、１４ｃのみ）に制限される。

また、開口部１９、２０、２９の配列方向が第３方向Ｖ_３となるように光束選択部材１８の回動角が設定されると、光束選択部材１９を通過できるのは、第１〜第３回折光束群のうち第３回折光束群のみ（集光点１４ｅ、１４ａ、１４ｂのみ）に制限される。

したがって、光束選択部材１８を例えば６０°の角度周期で２回だけ回動させれば、光束選択部材１８によって選択される回折光束群の分岐方向を、第１方向Ｖ_１、第２方向Ｖ_２、第３方向Ｖ_３の間で切り換えることができる。

なお、光束選択部材１８における開口部１９、２０の各々の径方向の長さ（スリットの長手方向の長さ）は、光源波長の切り換え、又は、光源の多波長化に対処できるよう、十分な大きさを有している。なぜなら、回折格子１３における回折角度は光源波長に依存するので、照明光学系１０の光軸Ｏから集光点１４ｂ、１４ｃ、１４ｄ、１４ｅ、１４ｆ、１４ｇまでの高さも光源波長に依存する。

因みに、光ファイバ１１から射出するレーザ光の波長をλとおき、回折格子１３の構造周期をＰとおき、レンズ１６の焦点距離をｆｃとおくと、光軸Ｏから集光点１４ｂ、１４ｃ、１４ｄ、１４ｅ、１４ｆ、１４ｇまでの高さＤは、Ｄ＝ｆｃ×λ／Ｐで表される。

また、光束選択部材１８における開口部１９、２０の各々の周方向の長さ（スリットの短手方向の長さ）は、十分に小さく抑えられているものとする。具体的に、開口部１９、２０の各々の周方向の長さは、光軸Ｏの周りの中心角が３０°である扇状領域の周方向の長さより小さく抑えられている（なお、ここでいう「３０°」とは、光束選択部材１８の回動角度周期６０°の半分のことである。）。

このような開口パターンの光束選択部材１８を回動させ、選択される回折光束群の分岐方向を第１方向Ｖ_１、第２方向Ｖ_２、第３方向Ｖ_３の間で切り換えたならば、その切り換えの途中で、第１〜第３回折光束群の全ての±１次回折光束（集光点１４ｂ〜１４ｇ）が同時に遮光されるというタイミングが発現する。

以下、選択される回折光束群の分岐方向を切り換えるために必要な光束選択部材１８の最小の回動角（＝６０°）を、１角度周期とする。

また、以下では、光束選択部材１８を１角度周期（＝６０°）だけ回動させるために必要な時間を、８０ｍｓｅｃ程度とする。この時間は、撮像素子の撮像時間（３０ｍｓｅｃ、６０ｍｓｅｃなど）と比較して必ずしも短くない。そこで本実施形態では、後述するとおり光束選択部材１８の回動パターンと撮像素子の駆動パターンとを最適化し、画像取得の効率化を図る。

次に、１／２波長板１７及び光束選択部材１８の機能を詳しく説明する。

図４は、１／２波長板１７の機能を説明する図であり、図５は、光束選択部材１８の機能を説明する図である。

図４に示すとおり、１／２波長板１７は、入射した各次数の回折光束の偏光方向を設定する波長板であって、図５に示すとおり、光束選択部材１８は、第１〜第３回折光束群のうち何れか１群を選択的に通過させるマスクである。

そして、これらの１／２波長板１７及び光束選択部材１８は、回動機構２４Ａ（図１参照）によって光軸Ｏの周りに回動可能である。回動機構２４Ａは、光束選択部材１８を回動させることにより、選択される光束群を第１〜第３回折光束群の間で切り替えると共に、光束選択部材１８に連動して１／２波長板１７を光軸Ｏの周りに回動させることにより、選択された光束群が標本５に入射するときの偏光方向をＳ偏光に保つ。

つまり、１／２波長板１７及び光束選択部材１８は、干渉縞の状態を保ちつつ、干渉縞の方向を切り替える。以下、縞の状態を保つための条件を具体的に説明する。

先ず、１／２波長板１７の進相軸の向きは、選択される光束群の分岐方向（第１方向Ｖ_１〜第３方向Ｖ_３のいずれか）と、その光束群の偏光方向とが垂直となるように設定される必要がある。なお、ここでいう1／２波長板１７の進相軸とは、その軸の方向に偏光した光が１／２波長板１７を通過するときの位相遅延量が最小となるような方向のことである。

ここで、図４（Ａ）に示すように、１／２波長板１７の進相軸の方向が偏光板２３の軸の方向と平行になるときの１／２波長板１７の回動角を、１／２波長板１７の回動角の基準とする（以下、「第１の基準位置」と称する。）。

また、光束選択部材１８の光束選択方向（＝選択される±１次回折光束の分岐方向）が、偏光板２３の軸の方向と垂直になるときの光束選択部材１８の回動角を、光束選択部材１８の回動角の基準とする（以下、「第２の基準位置」と称する。）。

このとき、図４（Ｂ）に示すように、１／２波長板１７の第１基準位置からの回動角は、光束選択部材１８の第２基準位置からの回動角の２分の１に制御されるべきである。すなわち、１／２波長板１７の第１基準位置からの回動角がθ／２であるときには、光束選択部材１８の第２基準位置からの回動角は、θに設定されるべきである。

そこで、回動機構２４Ａ（図１参照）は、第１回折光束群（分岐方向は第１方向Ｖ_１）を選択するために、図５（Ａ）に示すように、光束選択部材１８の光束選択方向を第２の基準位置から右方に回動角θ_１だけ回動させた場合、１／２波長板１７の進相軸の方向を、第１の基準位置から右方に回動角θ_１／２だけ回動させる。

このとき、１／２波長板１７を通過する前における回折光束群の偏光方向は、図５（Ａ）中に破線両矢印で示すとおり、偏光板２３の軸の方向と平行となっているのに対し、１／２波長板１７を通過した後における回折光束群の偏光方向は、右方に回動角θ_１だけ回動するので、選択された回折光束群の偏光方向は、図５（Ａ）に実線両矢印で示すとおり、それら回折光束群の分岐方向（第１方向Ｖ_１）に対して垂直となる。

換言すると、１／２波長板１７の進相軸の方向は、光束選択部材１８により選択される回折光束群の分岐方向（＝第１方向Ｖ_１）に応じた方向であって、１／２波長板１７へ入射する回折光束群が有していた偏光方向（＝偏光板２３の軸方向）と、１／２波長板１７から射出する回折光束群が有するべき偏光方向（＝第１方向Ｖ_１に垂直）とが成す角度の２等分線方向に、設定される。

また、回動機構２４Ａ（図１参照）は、第２回折光束群（分岐方向は第２方向Ｖ_２）を選択するために、図５（Ｂ）に示すように、光束選択部材１８の光束選択方向を第２の基準位置から右方に回動角θ_２だけ回動させた場合、１／２波長板１７の進相軸の方向を、第１の基準位置から右方に回動角θ_２／２だけ回動させる。

このとき、１／２波長板１７を通過する前における回折光束群の偏光方向は、図５（Ｂ）中に破線両矢線で示すとおり、偏光板２３の軸の方向と平行となっているのに対し、１／２波長板１７を通過した後における回折光束群の偏光方向は、右方に回動角θ_２だけ回動するので、選択された回折光束群の偏光方向は、図５（Ｂ）に実線両矢印で示すとおり、それら回折光束群の分岐方向（第２方向Ｖ_２）に対して垂直となる。

換言すると、１／２波長板１７の進相軸の方向は、光束選択部材１８により選択される回折光束群の分岐方向（＝第２方向Ｖ_２）に応じた方向であって、１／２波長板１７へ入射する回折光束群が有していた偏光方向（＝偏光板２３の軸方向）と、１／２波長板１７から射出する回折光束群が有するべき偏光方向（＝第２方向Ｖ_２に垂直）とが成す角度の２等分線方向に、設定される。

また、回動機構２４Ａ（図１参照）は、第３回折光束群（分岐方向は第３方向Ｖ_３）を選択するために、図５（Ｃ）に示すように、光束選択部材１８の光束選択方向を第２の基準位置から左方（標本側から見て。以下同じ）に回動角θ_３だけ回動させた場合、１／２波長板１７の進相軸の方向を、第１の基準位置から左方に回動角θ_３／２だけ回動させる。

このとき、１／２波長板１７を通過する前における回折光束群の偏光方向は、図５（Ｃ）中に破線両矢線で示すとおり、偏光板２３の軸の方向と平行となっているのに対し、１／２波長板１７を通過した後における回折光束群の偏光方向は、左方に回動角θ_３だけ回動するので、選択された回折光束群の偏光方向は、図５（Ｃ）に実両矢印で示すとおり、それら回折光束群の分岐方向（第３方向Ｖ_３）に対して垂直となる。

換言すると、１／２波長板１７の進相軸の方向は、光束選択部材１８により選択される回折光束群の分岐方向（＝第３方向Ｖ_３）に応じた方向であって、１／２波長板１７へ入射する回折光束群が有していた偏光方向（＝偏光板２３の軸方向）と、１／２波長板１７から射出する回折光束群が有するべき偏光方向（＝第３方向Ｖ_３に垂直）とが成す角度の２等分線方向に、設定される。

したがって、回動機構２４Ａは、１／２波長板１７及び光束選択部材１８をギア比２：１で連動すればよい。

図６は、以上説明した１／２波長板１７及び光束選択部２４の機能を説明する図である。なお、図６において円形枠で囲まれた両矢線は、光束の偏光方向を示し、四角枠で囲まれた両矢線は、光学素子の軸方向を示している。なお、図６では、０次回折光束がオフされた状態を想定した。

なお、以上の説明では、標本５に入射する回折光束群をＳ偏光に保つために回動可能な１／２波長板１７を使用したが、回動可能な１／２波長板１７の代わりに固定配置された液晶素子を使用し、その液晶素子を１／２波長板１７として機能させてもよい。液晶素子の配向を電気的に制御すれば、液晶素子の屈折率異方性を制御することができるので、１／２波長板としての進相軸を光軸Ｏの周りに回動させることができる。因みに、標本５に入射する回折光束群をＳ偏光に保つための方法は他にもある（後述）。

また、図７に示すように、光束選択部材１８の外周部には、複数の（図７に示す例では６個の）切り欠き２１が形成されており、回動機構２４Ａ（図１参照）には、これらの切り欠き２１を検出するためのタイミングセンサ２２が備えられている。これによって、回動機構２４Ａは、光束選択部１８の回動角、ひいては１／２波長板１７の回動角を検知することができる。なお、このような切り欠き及びタイミングセンサは、０次光シャッタ２００にも設けられる。

次に、並進機構１５Ａ（図１参照）の機能を詳しく説明する。

図８は、並進機構１５Ａの機能を説明する図である。

先ず、後述する復調演算には、例えば、同一の標本５かつ同一方向の干渉縞に関する変調画像であって、干渉縞の位相の異なる２枚以上の変調画像が使用される可能性がある。なぜなら、構造化照明顕微鏡装置１が生成する変調画像には、標本５の蛍光領域の構造のうち、干渉縞により空間周波数の変調された構造情報である０次変調成分、＋１次変調成分、−１次変調成分が含まれており、それら３つの未知パラメータを復調演算で既知とする必要があるからである。

そこで、並進機構１５Ａは、干渉縞の位相をシフトするために、図８（Ａ）に示すように、照明光学系１０の光軸Ｏと垂直な方向であって、前述した第１方向Ｖ_１、第２方向Ｖ_２、第３方向Ｖ_３の全てに対して非垂直な方向（ｘ方向）にかけて回折格子１３をシフトさせる。

但し、干渉縞の位相を所望のシフト量φだけシフトさせるのに必要な回折格子１３のシフト量Ｌは、光束選択部２４による光束選択方向が第１方向Ｖ_１であるときと、第２方向Ｖ_２であるときと、第３方向Ｖ_３であるときとでは、同じとは限らない。

図８（Ｂ）に示すとおり、回折格子１３の第１方向Ｖ_１、第２方向Ｖ_２、第３方向Ｖ_３の各々の構造周期をＰとおき、回折格子１３のシフト方向（ｘ方向）と第１方向Ｖ_１とのなす角をθ_１とおき、回折格子１３のシフト方向（ｘ方向）と第２方向Ｖ_２とのなす角をθ_２とおき、回折格子１３のシフト方向（ｘ方向）と第３方向Ｖ_３とのなす角をθ_３とおくと、光束選択方向が第１方向Ｖ_１であるときに必要な回折格子１３のｘ方向のシフト量Ｌ_１は、Ｌ_１＝φ×Ｐ／（ａ×４π×｜ｃｏｓθ_１｜）で表され、光束選択方向が第２方向Ｖ_２であるときに必要な回折格子１３のｘ方向のシフト量Ｌ_２は、Ｌ_２＝φ×Ｐ／（ａ×４π×｜ｃｏｓθ_２｜）で表され、光束選択方向が第３方向Ｖ_３であるときに必要な回折格子１３のｘ方向のシフト量Ｌ_３は、Ｌ_３＝φ×Ｐ／（ａ×４π×｜ｃｏｓθ_３｜）で表される。

すなわち、干渉縞の位相シフト量を所望の値φとするために必要な回折格子１３のｘ方向のシフト量Ｌは、光束選択方向（第１方向Ｖ_１、第２方向Ｖ_２、第３方向Ｖ_３の何れか）とｘ方向とのなす角θにより式（１）のとおり表される。

Ｌ＝φ×Ｐ／（ａ×４π×｜ｃｏｓθ｜） …（１）
因みに、干渉縞の位相シフト量φを２πとするために必要な回折格子１３のｘ方向のシフト量Ｌは、Ｐ／（ａ×２×｜ｃｏｓθ｜）となる。これは、回折格子１３の半周期に相当する量である。つまり、回折格子１３を半周期分シフトさせるだけで、構造化照明光の位相を１周期分シフトできる（なぜなら、±１次回折光からなる構造化照明光の縞周期は、回折格子１３の構造周期の２倍に相当する。）。

以下、並進機構１５Ａが干渉縞の位相を１角度周期（例えばπ）だけシフトさせるために必要な時間は撮像素子の撮像時間（３０ｍｓｅｃ、６０ｍｓｅｃなど）と比較して十分に短い（例えば５ｍｓｅｃ程度）と仮定する。

但し、ａ＝１（Ｍ＝１、２のとき）、ａ＝２（Ｍ＝３のとき）である。Ｍは、回折格子１３が有する周期構造の方向数である。よって、本実施形態では、Ｍ＝３、ａ＝２である。ｌ
［第１実施形態の２Ｄ−ＳＩＭモード］
次に、本実施形態の２Ｄ−ＳＩＭモードを詳しく説明する。

２Ｄ−ＳＩＭモードでは、０次回折光束が０次光シャッタ２００によって基本的にオフされ、干渉縞に寄与する回折光束は±１次回折光束の２光束のみに制限される。このような２光束による干渉縞は、標本５の深さ方向にも超解像効果を得ることはできないが、標本５を全反射観察する（ＴＩＲＦ−ＳＩＭモードで観察する）ことができる。

さて、本実施形態の２Ｄ−ＳＩＭモードでは、画像記憶・演算装置４０の復調演算として、後述する第１．７節の復調演算が採用される。この復調演算には、干渉縞の方向の異なる３枚の変調画像と１枚の無変調画像との合計４枚の画像が使用される。無変調画像とは、一様な照度の照明下で取得される画像のことである。

そこで、本実施形態の２Ｄ−ＳＩＭモードでは、光束選択部材１８の回動角を６０°の角度周期で２回だけ切り換え、その回動前後の３つの回動角の各々で１枚ずつ変調画像を撮像することで、光束選択部材１８の回動角を最小限に抑える。

さらに、本実施形態の２Ｄ−ＳＩＭモードでは、光束選択部材１８の回動途中に無変調画像を撮像することで、光束選択部材１８の回動に要する時間（ここでは約８０ｍｓｅｃ）を有効利用する。

図９は、第１実施形態の２Ｄ−ＳＩＭモードにおける制御装置３９のタイミングチャートである。以下、各フレーム周期における制御装置３９の動作を説明する。なお、ここではレーザユニット１００の波長が波長λ１のみ（単色）に設定され、撮像素子として第１撮像素子３５１のみが駆動され、レーザユニット１００の出力がパワー不変の連続波に設定されたと仮定する。この場合、第１撮像素子３５１が生成する変調画像又は無変調画像の明るさ（輝度）は、第１撮像素子３５１の電荷蓄積時間によって制御される。また、ここでは撮像素子３５１のフレーム周期が８０ｍｓｅｃに設定されたと仮定する。

第１フレーム周期：第１フレーム周期の開始に先立ち、制御装置３９は、回動機構２００Ａを介して０次光シャッタ２００を制御することにより、０次回折光束をオフすると共に（図９（６Ａ））、回動機構２４Ａを介して光束選択部材１８を制御することにより、干渉縞の方向を第３方向Ｖ_３にセットする（図９（５Ａ））。図９では、この状態における光束選択部材１８の回動角θをゼロとおいた。よって、第１フレーム周期の開始時点では、光束選択部２４の開口パターンは、図９（１Ａ）のとおりとなり、標本５の照明パターンは、図９（２Ａ）のとおりとなる。第１フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図９（３Ａ））及び電荷読出（図９（４Ａ））を行い、１枚目の変調画像を取得する。

第２フレーム周期：第２フレーム周期の開始に先立ち、制御装置３９は、回動機構２００Ａを介して０次光シャッタ２００を制御することにより、０次回折光束をオンすると共に（図９（６Ｂ））、回動機構２４Ａを介して光束選択部材１８を制御することにより、光束選択部材１８の回動を開始する（図９（５Ｂ））。その後、制御装置３９は、回動機構２４Ａによる光束選択部材１８の回動角が半角度周期（３０°）ほど変化したタイミングで、第２フレーム周期を開始する。よって、第２フレーム周期の開始時点では、光束選択部２４の開口パターンは、図９（１Ｂ）のとおりとなり、標本５の照明パターンは、図９（２Ｂ）のとおりとなる。第２フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図９（３Ｂ））及び電荷読出（図９（４Ｂ））を行い、１枚の無変調画像を取得する。

第３フレーム周期：第３フレーム周期の開始に先立ち、制御装置３９は、回動機構２００Ａを介して０次光シャッタ２００を制御することにより、０次回折光束をオフする（図９（６Ｃ））。そして、制御装置３９は、回動機構２４Ａによる光束選択部材１８の１角度周期分（６０°）の回動が完了したタイミング（図９（５Ｃ））で、第３フレーム周期を開始する。第３フレーム周期の開始時点では、光束選択部２４の開口パターンは、図９（１Ｃ）のとおりとなり、標本５の照明パターンは、図９（２Ｃ）のとおりとなる。第３フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図９（３Ｃ））及び電荷読出（図９（４Ｃ））を行い、２枚目の変調画像を取得する。

第４フレーム周期：第４フレーム周期の開始に先立ち、制御装置３９は、回動機構２４Ａを介して光束選択部材１８を制御することにより、光束選択部材１８の回動を開始する（図９（５Ｄ））。その後、制御装置３９は、回動機構２４Ａによる光束選択部材１８の回動角が半角度周期（３０°）ほど変化したタイミングで、第４フレーム周期を開始する。第４フレーム周期の開始時点では、光束選択部２４の開口パターンは、図９（１Ｄ）のとおりとなり、標本５の照明パターンは、図９（２Ｄ）のとおりとなる。第４フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図９（３Ｄ））及び電荷読出（図９（４Ｄ））を休止する。

第５フレーム周期：制御装置３９は、回動機構２４Ａによる光束選択部材１８の１角度周期分（６０°）の回動が完了したタイミング（図９（５Ｅ））で、第５フレーム周期を開始する。第５フレーム周期の開始時点では、光束選択部２４の開口パターンは、図９（１Ｅ）のとおりとなり、標本５の照明パターンは、図９（２Ｅ）のとおりとなる。第５フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図９（３Ｅ））及び電荷読出（図９（４Ｅ））を行い、３枚目の変調画像を取得する（以上、第５フレーム周期）。

なお、以上の２Ｄ−ＳＩＭモードでは、変調画像の撮像時に標本５へ入射する光束は２光束（±１次回折光束）であるのに対して、無変調画像の撮像時に標本５へ入射する光束は１光束（０次回折光束）のみである。

このため、変調画像の撮像時における第１撮像素子３５１の電荷蓄積時間と、無変調画像の撮像時における第１撮像素子３５１の電荷蓄積時間とを共通にすると、変調画像と無変調画像との少なくとも一方の輝度範囲が適正範囲から外れる虞がある。

そこで、本実施形態の２Ｄ−ＳＩＭモードにおける制御装置３９は、変調画像の輝度範囲と無変調画像の輝度範囲とが同等の範囲に収まるよう、変調画像の撮像時における電荷蓄積時間と、無変調画像の撮像時における電荷蓄積時間との関係を、適切な関係に設定する。

具体的には、無変調画像の撮像時における電荷蓄積時間（図９（３Ｂ））は、変調画像の撮像時における電荷蓄積時間（図９（３Ａ）、（３Ｃ）、（３Ｅ））よりも長い値に設定される。

さらに、本実施形態の２Ｄ−ＳＩＭモードにおける制御装置３９は、無変調画像の電荷蓄積時間と変調画像の電荷蓄積時間とのバランスを、使用波長ごとに設定する。なぜなら、回折格子１３の回折効率は使用波長に依存するので、＋１次回折光束の強度と−１次回折光束の強度と０次回折光束の強度との比も使用波長に依存するからである。

例えば、図１に示した２つの撮像素子（第１撮像素子３５１、第２撮像素子３５２）の一方を長波長観察に使用し、他方を短波長観察に使用する場合は、第１撮像素子３５１の前記バランスと、第２撮像素子３５２の前記バランスとは、個別に設定される。

［第１実施形態の２Ｄ−ＳＩＭモードの補足］
なお、本実施形態の２Ｄ−ＳＩＭモードでは、無変調画像及び変調画像の明るさ（輝度）を、撮像素子の電荷蓄積時間のみによって制御したが、レーザパワー、レーザ照射時間、電荷蓄積時間の組み合わせによって制御してもよいことは言うまでもない。

何れにせよ、変調画像の撮像時における標本像強度Ｉ_ｓｉと、無変調画像の撮像時における標本像強度Ｉ_ｆｌａｔと、変調画像の撮像時における第１撮像素子３５１の電荷蓄積時間Ｔ_ｓｉと、無変調画像の撮像時における第１撮像素子３５１の電荷蓄積時間Ｔ_ｆｌａｔとは、以下の式（Ａ）を満たす。

０．５＜（Ｉ_ｆｌａｔ×Ｔ_ｆｌａｔ）／（Ｉ_ｓｉ×Ｔ_ｓｉ）≦２ …（Ａ）
更に望ましくは、以下の式（Ｂ）を満たす。

（Ｉ_ｆｌａｔ×Ｔ_ｆｌａｔ）／（Ｉ_ｓｉ×Ｔ_ｓｉ）＝１ …（Ｂ）
また、本実施形態の２Ｄ−ＳＩＭモードでは、第２フレーム周期で無変調画像を撮像し、第４フレーム周期の撮像を休止したが、第２フレーム周期の動作と第４フレーム周期の動作とを入れ替えても構わない。

また、本実施形態の２Ｄ−ＳＩＭモードでは、第４フレーム周期で撮像を休止したが、第４フレーム周期で無変調画像を撮像し、その無変調画像を有効利用してもよい（図１０参照）。

但し、図１０の例では、第４フレーム周期の撮像時にも第２フレーム周期の撮像時と同様に０次回折光束がオンされる（図１０（６Ｄ））。

また、図１０の例では、無変調画像の撮像枚数が２枚になるので、無変調画像１枚当たりの電荷蓄積時間（図１０（３Ｂ）、（３Ｄ））を、図９の例における電荷蓄積時間（図９（３Ｂ））の半分に抑えることができる。

また、図１０の例が採用された場合、画像記憶・演算装置４０は、第２フレーム周期で撮像された無変調画像と第４フレーム周期で撮像された無変調画像とを加算することにより、１枚の無変調画像を作成する。

［第１実施形態の３Ｄ−ＳＩＭモード］
次に、本実施形態の３Ｄ−ＳＩＭモードを詳しく説明する。

３Ｄ−ＳＩＭモードでは、０次回折光束が０次光シャッタ２００によって基本的にオンされ、干渉縞に寄与する回折光束は±１次回折光束及び０次回折光束の３光束に設定される。このような３光束による干渉縞は、標本５を全反射観察する（ＴＩＲＦ−ＳＩＭモードで観察する）ことはできないが、標本５の深さ方向にも超解像効果を得ることができる。

さて、本実施形態の３Ｄ−ＳＩＭモードでは、画像記憶・演算装置４０の復調演算として、後述する第２．５節の復調演算が採用される。この復調演算には、干渉縞の方向及び位相の組み合わせの異なる６枚の変調画像と１枚の無変調画像との合計７枚の画像が使用される。

そこで、本実施形態の３Ｄ−ＳＩＭモードでは、光束選択部材１８の回動角を６０°の角度周期で２回だけ切り換え、その回動前後の３つの回動角の各々で２枚ずつ変調画像を撮像することで、光束選択部材１８の回動角を最小限に抑える。

さらに、本実施形態の３Ｄ−ＳＩＭモードでは、光束選択部材１８の回動途中に無変調画像を撮像することで、その回動に要する時間（ここでは８０ｍｓｅｃ）を有効利用する。

図１１は、第１実施形態の３Ｄ−ＳＩＭモードにおける制御装置３９のタイミングチャートである。以下、各フレーム周期における制御装置３９の動作を説明する。なお、ここではレーザユニット１００の波長が波長λ１のみ（単色）に設定され、撮像素子として第１撮像素子３５１のみが駆動され、レーザユニット１００の出力がパワー不変の連続波に設定されたと仮定する。この場合、第１撮像素子３５１が生成する変調画像又は無変調画像の明るさ（輝度）は、第１撮像素子３５１の電荷蓄積時間によって制御される。また、ここでは撮像素子３５１のフレーム周期が８０ｍｓｅｃに設定されたと仮定する。

第１フレーム周期：第１フレーム周期の開始に先立ち、制御装置３９は、回動機構２００Ａを介して０次光シャッタ２００を制御することにより、０次回折光束をオンすると共に（図１１（６Ａ））、回動機構２４Ａを介して光束選択部材１８を制御することにより、干渉縞の方向を第３方向Ｖ_３にセットする（図１１（５Ａ））。図１１では、この状態における光束選択部材１８の回動角θをゼロとおいた。よって、第１フレーム周期の開始時点では、光束選択部２４の開口パターンは、図１１（１Ａ）のとおりとなり、標本５の照明パターンは、図１１（２Ａ）のとおりとなる。第１フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図１１（３Ａ））及び電荷読出（図１１（４Ａ））を行い、１枚目の変調画像を取得する。

第２フレーム周期：第２フレーム周期の開始に先立ち、制御装置３９は、並進機構１５Ａを介して回折格子１３をｘ方向へ所定量シフトさせることにより、干渉縞の位相をπだけシフトさせる。なお、位相をπだけシフトさせるために必要な時間は、フレーム周期（８０ｍｓｅｃ）よりも十分に短いものとする。よって、第２フレーム周期の開始時点では、標本５の照明パターンは、図１１（２Ａ’）のとおりとなる。第２フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図１１（３Ａ’））及び電荷読出（図１１（４Ａ’））を行い、２枚目の変調画像を取得する。

第３フレーム周期：第３フレーム周期の開始に先立ち、制御装置３９は、回動機構２４Ａを介して光束選択部材１８を制御することにより、光束選択部材１８の回動を開始する（図１１（５Ｂ））。その後、制御装置３９は、回動機構２４Ａによる光束選択部材１８の回動角が半角度周期（３０°）ほど変化したタイミングで、第３フレーム周期を開始する。よって、第３フレーム周期の開始時点では、光束選択部２４の開口パターンは、図１１（１Ｂ）のとおりとなり、標本５の照明パターンは、図１１（２Ｂ）のとおりとなる。第３フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図１１（３Ｂ））及び電荷読出（図１１（４Ｂ））を行い、１枚の無変調画像を取得する。

第４フレーム周期：制御装置３９は、回動機構２４Ａによる光束選択部材１８の１角度周期分（６０°）の回動が完了したタイミング（図１１（５Ｃ））で、第４フレーム周期を開始する。第４フレーム周期の開始時点では、光束選択部２４の開口パターンは、図１１（１Ｃ）のとおりとなり、標本５の照明パターンは、図１１（２Ｃ）のとおりとなる。第４フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図１１（３Ｃ））及び電荷読出（図１１（４Ｃ））を行い、３枚目の変調画像を取得する。

第５フレーム周期：第５フレーム周期の開始に先立ち、制御装置３９は、並進機構１５Ａを介して回折格子１３をｘ方向へ所定量シフトさせることにより、干渉縞の位相をπだけシフトさせる。よって、第５フレーム周期の開始時点では、標本５の照明パターンは、図１１（２Ｃ’）のとおりとなる。第５フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図１１（３Ｃ’））及び電荷読出（図１１（４Ｃ’））を行い、４枚目の変調画像を取得する。

第６フレーム周期：第６フレーム周期の開始に先立ち、制御装置３９は、回動機構２４Ａを介して光束選択部材１８を制御することにより、光束選択部材１８の回動を開始する（図１１（５Ｄ））。その後、制御装置３９は、回動機構２４Ａによる光束選択部材１８の回動角が半角度周期（３０°）ほど変化したタイミングで、第６フレーム周期を開始する。第６フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図１１（３Ｄ））及び電荷読出（図１１（４Ｄ））を休止する。

第７フレーム周期：制御装置３９は、回動機構２４Ａによる光束選択部材１８の１角度周期分（６０°）の回動が完了したタイミング（図１１（５Ｅ））で、第７フレーム周期を開始する。第７フレーム周期の開始時点では、光束選択部２４の開口パターンは、図１１（１Ｅ）のとおりとなり、標本５の照明パターンは、図１１（２Ｅ）のとおりとなる。第７フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図１１（３Ｅ））及び電荷読出（図１１（４Ｅ））を行い、５枚目の変調画像を取得する。

第８フレーム周期：第８フレーム周期の開始に先立ち、制御装置３９は、並進機構１５Ａを介して回折格子１３をｘ方向へ所定量シフトさせることにより、干渉縞の位相をπだけシフトさせる。よって、第８フレーム周期の開始時点では、標本５の照明パターンは、図１１（２Ｅ’）のとおりとなる。第８フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図１１（３Ｅ’））及び電荷読出（図１１（４Ｅ’））を行い、６枚目の変調画像を取得する（以上、第８フレーム周期）。

なお、以上の３Ｄ−ＳＩＭモードでは、変調画像の撮像時に標本５へ入射する光束は３光束（±１次回折光束及び０次回折光束）であるのに対して、無変調画像の撮像時に標本５へ入射する光束は１光束（０次回折光束）のみである。

このため、変調画像の撮像時における第１撮像素子３５１の電荷蓄積時間と、無変調画像の撮像時における第１撮像素子３５１の電荷蓄積時間とを共通にすると、変調画像と無変調画像との少なくとも一方の輝度範囲が適正範囲から外れる虞がある。

そこで、本実施形態の３Ｄ−ＳＩＭモードにおける制御装置３９は、変調画像の輝度範囲と無変調画像の輝度範囲とが同等の範囲に収まるよう、変調画像の撮像時における電荷蓄積時間と、無変調画像の撮像時における電荷蓄積時間との関係を、適切な関係に設定する。

具体的には、無変調画像の撮像時における電荷蓄積時間（図１１（３Ｂ））は、変調画像の撮像時における電荷蓄積時間（図１１（３Ａ）、（３Ａ’）、（３Ｃ）、（３Ｃ’）、３（Ｅ）、３（Ｅ’））よりも長い値に設定される。

さらに、本実施形態の３Ｄ−ＳＩＭモードにおける制御装置３９は、無変調画像の電荷蓄積時間と変調画像の電荷蓄積時間とのバランスを、使用波長ごとに設定する。なぜなら、回折格子１３の回折効率は使用波長に依存するので、＋１次回折光束の強度と−１次回折光束の強度と０次回折光束の強度との比も使用波長に依存するからである。

例えば、図１に示した２つの撮像素子（第１撮像素子３５１、第２撮像素子３５２）の一方を長波長観察に使用し、他方を短波長観察に使用する場合は、第１撮像素子３５１の前記バランスと、第２撮像素子３５２の前記バランスとは、個別に設定される。

［第１実施形態の３Ｄ−ＳＩＭモードの補足］
なお、第１実施形態の３Ｄ−ＳＩＭモードでは、無変調画像及び変調画像の明るさ（輝度）を、撮像素子の電荷蓄積時間のみによって制御したが、レーザパワー、レーザ照射時間、電荷蓄積時間の組み合わせによって制御してもよいことは言うまでもない。

何れにせよ、変調画像の撮像時における標本像強度Ｉ_ｓｉと、無変調画像の撮像時における標本像強度Ｉ_ｆｌａｔと、変調画像の撮像時における第１撮像素子３５１の電荷蓄積時間Ｔ_ｓｉと、無変調画像の撮像時における第１撮像素子３５１の電荷蓄積時間Ｔ_ｆｌａｔとは、式（Ａ）を満たす。

更に望ましくは、式（Ｂ）を満たす。

また、本実施形態の３Ｄ−ＳＩＭモードでは、第３フレーム周期で無変調画像を撮像し、第６フレーム周期の撮像を休止したが、第３フレーム周期の動作と第６フレーム周期の動作とを入れ替えても構わない。

また、本実施形態の３Ｄ−ＳＩＭモードでは、第６フレーム周期で撮像を休止したが、第６フレーム周期で無変調画像を撮像し、その無変調画像を有効利用してもよい（図１２参照）。

図１２の例では、無変調画像の撮像枚数が２枚になるので、無変調画像１枚当たりの電荷蓄積時間（図１２（３Ｂ）、（３Ｄ））を、図１１の例における電荷蓄積時間（図１１（３Ｂ））の半分に抑えることができる。

また、図１２の例が採用された場合、画像記憶・演算装置４０は、第３フレーム周期で撮像された無変調画像と第６フレーム周期で撮像された無変調画像とを加算することにより、１枚の無変調画像を作成する。

［第２実施形態］
以下、第２実施形態として第１実施形態の変形例を説明する。ここでは、第１実施形態との相違点のみを説明する。

第１実施形態との相違点は、無変調画像の撮像時に使用される光束を、０次回折光束ではなく±１次回折光束の一方とした点にある。

そのために本実施形態では、光束選択部材１８の代わりに光束選択部材１８’が使用され、制御装置３９の動作も一部変更される。

図１３は、本実施形態の光束選択部材１８’を説明する図である。図１３に示すとおり、光束選択部材１８’は、第１実施形態の光束選択部材１８において、スリット状の開口部１９の代わりに、部分扇状の開口部１９’を形成したものである。

この開口部１９’は、開口部１９と同様、第１〜第３回折光束群のうち、何れか１つの光束群に属する＋１次回折光束の光路をカバーするものであるが、開口部１９’の周方向の長さは、開口部１９の周方向の長さよりも大きく確保されている。

具体的に、開口部１９’の周方向の長さは、光軸Ｏ周りの中心角が６０°である扇状領域の周方向の長さと同等に設定されている（なお、ここでいう「６０°」とは、光束選択部材１８’の回動角度周期と同じ角度のことである。）。

また、開口部１９’の光軸Ｏ周りの形成位置は、開口部２０の光軸Ｏ周りの形成位置に対して反時計周りに１８０°＋３０°程度だけ意図的にずれている。つまり、開口部１９’を２等分する光軸Ｏを通る２等分線は、開口部２０を２等分する光軸Ｏを通る２等分線に対して反時計周りに１８０°＋３０°程度、ずれている。

よって、光束選択部材１８’の開口パターン（開口部１９’、２０、２９の全体）は、照明光学系１０の光軸Ｏに関して非対称となる。

このような開口パターンの光束選択部材１８’を１角度周期（＝６０°）だけ回動させ、選択される回折光束群の分岐方向を切り換えたならば、その切り換えの途中で、第１〜第３回折光束群の各群の±１次回折光束のうち何れか１光束のみが開放されるというタイミングが発現する。

［第２実施形態の２Ｄ−ＳＩＭモード］
次に、本実施形態の２Ｄ−ＳＩＭモードを詳しく説明する。

本実施形態の２Ｄ−ＳＩＭモードでも、第１実施形態の２Ｄ−ＳＩＭモードと同様、復調演算として後述する第１．７節の復調演算が採用される。

そこで、本実施形態の２Ｄ−ＳＩＭモードでも、第１実施形態の２Ｄ−ＳＩＭモードと同様、光束選択部材１８’の回動角を６０°の角度周期で２回だけ切り換え、その回動前後の３つの回動角の各々で１枚ずつ変調画像を取得することで、光束選択部材１８’の回動角を最小限に抑える。

さらに、本実施形態の２Ｄ−ＳＩＭモードでも、光束選択部材１８’の回動途中に無変調画像の取得を行うことで、光束選択部材１８’の回動に要する時間（ここでは８０ｍｓｅｃ）を有効利用する。

図１４は、第２実施形態の２Ｄ−ＳＩＭモードにおける制御装置３９のタイミングチャートである。

本実施形態の２Ｄ−ＳＩＭモードにおける光束選択部材１８’の回動パターン（図１４（５Ａ）〜（５Ｅ））は、第１実施形態の２Ｄ−ＳＩＭモードにおける光束選択部材１８’の回動パターン（図９（５Ａ）〜（５Ｅ））と同じであり、本実施形態の２Ｄ−ＳＩＭモードにおける第１撮像素子３５１の駆動パターン（図１４（３Ａ）〜（３Ｅ）、（４Ａ）〜（４Ｅ））は、第１実施形態の２Ｄ−ＳＩＭモードにおける第１撮像素子３５１の駆動パターン（図９（３Ａ）〜（３Ｅ）、（４Ａ）〜（４Ｅ）を参照）と同じに設定される。

但し、本実施形態では、光束選択部材１８’の開口パターンが図１３のとおりに設定されたので、２Ｄ−ＳＩＭモードにおける０次回折光束のオン／オフパターンは、「常時オフ」に設定される（図１４（６Ａ）〜（６Ｅ）参照）。

したがって、本実施形態の２Ｄ−ＳＩＭモードでは、第１実施形態の２Ｄ−ＳＩＭモードと同様の効果が得られるだけでなく、０次光シャッタ２００の駆動パターンを簡略化できるという付加的な効果も得られる。

［第２実施形態の２Ｄ−ＳＩＭモードの補足］
なお、本実施形態の２Ｄ−ＳＩＭモードでは、無変調画像及び変調画像の明るさ（輝度）を、撮像素子の電荷蓄積時間のみによって制御したが、レーザパワー、レーザ照射時間、電荷蓄積時間の組み合わせによって制御してもよいことは言うまでもない。

何れにせよ、変調画像の撮像時における標本像強度Ｉ_ｓｉと、無変調画像の撮像時における標本像強度Ｉ_ｆｌａｔと、変調画像の撮像時における第１撮像素子３５１の電荷蓄積時間Ｔ_ｓｉと、無変調画像の撮像時における第１撮像素子３５１の電荷蓄積時間Ｔ_ｆｌａｔとは、式（Ａ）を満たす。更に望ましくは、式（Ｂ）を満たす。

また、本実施形態の２Ｄ−ＳＩＭモードでは、第２フレーム周期で無変調画像を撮像し、第４フレーム周期の撮像を休止したが、第２フレーム周期の動作と第４フレーム周期の動作とを入れ替えても構わない。

また、本実施形態の２Ｄ−ＳＩＭモードでは、第４フレーム周期で撮像を休止したが、第４フレーム周期で無変調画像を撮像し、その無変調画像を有効利用してもよい（図１５参照）。

なお、図１５の例では、無変調画像の撮像枚数が２枚になるので、無変調画像１枚当たりの電荷蓄積時間（図１５（３Ｂ）、（３Ｄ））を図１４の電荷蓄積時間（図１４（３Ｂ））の半分に抑えることができる。

また、図１５の例が採用された場合、画像記憶・演算装置４０は、第２フレーム周期で撮像された無変調画像と第４フレーム周期で撮像された無変調画像とを加算することにより、１枚の無変調画像を作成する。

［第２実施形態の３Ｄ−ＳＩＭモード］
次に、本実施形態の３Ｄ−ＳＩＭモードを詳しく説明する。

本実施形態の３Ｄ−ＳＩＭモードでも、第１実施形態の３Ｄ−ＳＩＭモードと同様、復調演算として後述する第２．５節の復調演算が採用される。

そこで、本実施形態の３Ｄ−ＳＩＭモードでも、第１実施形態の３Ｄ−ＳＩＭモードと同様、光束選択部材１８’の回動角を６０°の角度周期で２回だけ切り換え、その回動前後の３つの回動角の各々で２枚ずつ変調画像を取得することで、光束選択部材１８’の回動角を最小限に抑える。

さらに、本実施形態の３Ｄ−ＳＩＭモードでも、光束選択部材１８’の回動途中に無変調画像の取得を行うことで、光束選択部材１８’の回動に要する時間（ここでは８０ｍｓｅｃ）を有効利用する。

図１６は、第２実施形態の３Ｄ−ＳＩＭモードにおける制御装置３９のタイミングチャートである。

本実施形態の３Ｄ−ＳＩＭモードにおける光束選択部材１８’の回動パターン（図１６（１Ａ）〜（１Ｅ）を参照）は、第１実施形態の３Ｄ−ＳＩＭモードにおける光束選択部材１８の回動パターン（図１１（１Ａ）〜（１Ｅ）を参照）と同じであり、本実施形態の３Ｄ−ＳＩＭモードにおける第１撮像素子３５１の駆動パターン（図１６（３Ａ）〜（３Ｅ’）、（４Ａ）〜（４Ｅ’））は、第１実施形態の３Ｄ−ＳＩＭモードにおける第１撮像素子３５１の駆動パターン（図１１（３Ａ）〜（３Ｅ’）、（４Ａ）〜（４Ｅ’））と同じに設定される。

但し、本実施形態では、光束選択部材１８’の開口パターンが図１３のとおりに設定されたので、３Ｄ−ＳＩＭモードでは、変調画像の撮像時（第１フレーム周期、第２フレーム周期、第４フレーム周期、第５フレーム周期、第７フレーム周期、第８フレーム周期の撮像時）に０次回折光束をオンし、かつ、無変調画像の撮像時（第３フレーム周期の撮像時）に０次回折光束をオフする必要がある。

［第２実施形態の３Ｄ−ＳＩＭモードの補足］
なお、本実施形態の３Ｄ−ＳＩＭモードでは、無変調画像及び変調画像の明るさ（輝度）を、撮像素子の電荷蓄積時間のみによって制御したが、レーザパワー、レーザ照射時間、電荷蓄積時間の組み合わせによって制御してもよいことは言うまでもない。

何れにせよ、変調画像の撮像時における標本像強度Ｉ_ｓｉと、無変調画像の撮像時における標本像強度Ｉ_ｆｌａｔと、変調画像の撮像時における第１撮像素子３５１の電荷蓄積時間Ｔ_ｓｉと、無変調画像の撮像時における第１撮像素子３５１の電荷蓄積時間Ｔ_ｆｌａｔとは、式（Ａ）を満たす。更に望ましくは、式（Ｂ）を満たす。

また、本実施形態の３Ｄ−ＳＩＭモードでは、第３フレーム周期で無変調画像を撮像し、第６フレーム周期の撮像を休止したが、第３フレーム周期の動作と、第６フレーム周期の動作とを入れ替えても構わない。

また、本実施形態の３Ｄ−ＳＩＭモードでは、第６フレーム周期で撮像を休止したが、第６フレーム周期で無変調画像を撮像し、その無変調画像を有効利用してもよい（図１７参照）。

但し、図１７の例では、第６フレーム周期の撮像時にも、第３フレーム周期の撮像時と同様に０次回折光束がオフされる。

また、図１７の例では、無変調画像の撮像枚数が２枚になるので、無変調画像１枚当たりの電荷蓄積時間（図１７（３Ｂ）、（３Ｄ））を図１６の例における電荷蓄積時間（図１６（３Ｂ））の半分に抑えることができる。

また、図１７の例が採用された場合、画像記憶・演算装置４０は、第３フレーム周期で撮像された無変調画像と第６フレーム周期で撮像された無変調画像とを加算することにより、１枚の無変調画像を作成する。

［第２実施形態の変形例］
第２実施形態では、構造化照明顕微鏡装置（１）のモードを２Ｄ−ＳＩＭモードと３Ｄ−ＳＩＭモードとの間で切り換えることを想定したが、３Ｄ−ＳＩＭモードが不要である場合は、０次回折光束が不要となるので、０次光シャッタ２００を省略すると共に、光束選択部材１８’の代わりに図１８に示すような光束選択部材１８”を使用してもよい。

図１８に示す光束選択部材１８”は、光束選択部材１８’において、開口部２９を無くしたもの（開口部２９を遮光部に置き換えたもの）である。

［各実施形態の補足］
なお、上述した各実施形態では、干渉縞の位相をシフトさせるために回折格子１３をシフトさせたが、回折格子１３をシフトさせる代わりに、±１次回折光束の光路長差を変化させてもよい。その場合は、例えば、＋１次回折光束の光路と−１次回折光束の光路との少なくとも一方に対して位相板を挿脱させてもよい。

但し、位相板の厚さと位相シフト量との関係は、使用波長によって異なるので、厚さの異なる複数の位相板をターレットに装着し、それらの位相板を使用波長に応じて選択的に光路へ挿入してもよい。

また、上述した各実施形態において、無変調画像の撮像時には、偏光方向がどの方向に設定されても構わないし、撮像中に偏光方向が変化しても構わない。

また、上述した各実施形態では、光源波長の数を２としたが、３以上に拡張してもよい。

また、上述した各実施形態では、標本５に入射する±１次回折光束をＳ偏光に保つために、光軸Ｏの周りを回動可能な１／２波長板１７を使用したが、固定配置された１／４波長板と光軸Ｏの周りを回動可能な１／４波長板とを使用してもよい。但し、その場合は、第１の基準位置を基準とした１／４波長板の回動角は、第２の基準位置を基準とした光束選択部材１８の回動角と同じに設定される。

また、上述した各実施形態では、構造化照明顕微鏡装置１を２Ｄ−ＳＩＭモードで使用する際に、干渉縞に寄与する回折光束として、＋１次回折光束と−１次回折光束との組み合わせを使用したが、他の組み合わせを使用してもよいことは言うまでもない。

また、上述した各実施形態では、構造化照明顕微鏡装置１を３Ｄ−ＳＩＭモードで使用する際に、干渉縞に寄与する回折光束として、＋１次回折光束と−１次回折光束と０次回折光束との組み合わせを使用したが、他の組み合わせを使用してもよいことは言うまでもない。

また、上述した各実施形態の照明光学系１０は、対物レンズ６による落射照明光学系で構成されたが、これに限られず、対物レンズ６に代えてコンデンサレンズによる透過・反射照明光学系で構成されてもよい。その場合、集光点が形成されるのは、コンデンサレンズの瞳面である。

また、上述した各実施形態では、干渉縞の方向を切り換えるために、複数の光束から所定数の光束を選択する部材（光束選択部材）を回動させたが、光束及び光束選択部材の少なくとも一方を回動させることで、同様の効果を得てもよい。因みに、光束を回動させるためには、例えば、光源からの射出光束を複数の光束に分岐する部材（回折格子など）を回動させればよい。

図１９は、干渉縞の方向を切り換えるための回転対象を光束選択部材ではなく回折格子とした変形例を説明する図である。

図１９（ｂ）〜（ｄ）は、３Ｄ−ＳＩＭモードの変形例であり、図１９（ｆ）〜（ｈ）は、２Ｄ−ＳＩＭモードの変形例であり、図１９（ａ）は、従来の２Ｄ−ＳＩＭモード、図１９（ｅ）は、従来の３Ｄ−ＳＩＭモードである。

以下、３Ｄ−ＳＩＭモードの変形例（ｂ）、（ｃ）、（ｄ）、２Ｄ−ＳＩＭモードの変形例（ｆ）、（ｇ）、（ｈ）を順に説明する。なお、ここでは、上述した第１実施形態又は第２実施形態との相違点を主として説明する。

＜３Ｄ−ＳＩＭモードの変形例（ｂ）＞
この変形例（ｂ）は、第１実施形態の変形例である。この変形例（ｂ）で使用される回折格子は、光軸Ｏと垂直な面内の単一方向にかけて周期構造を有した１方向回折格子であって、この回折格子が瞳共役面に形成する集光点は、単一方向に配列された３つの集光点（＋１次回折光束の集光点、０次回折光束の集光点、−１次回折光束の集光点）である。また、この変形例（ｂ）で使用される光束選択部材１８には、スリット状開口部として、第１方向に配列された１対の開口部２０ａ、２０ｂと、第１方向から６０°ずれた第２方向に配列された１対の開口部２０ｃ、２０ｄと、第２方向から６０°ずれた第３方向に配列された１対の開口部２０ｅ、２０ｆとが形成されている。そして、この変形例（ｂ）では、０次回折光束を常時オンしたまま、光軸Ｏ周りの回折格子の回動角を６０°の角度周期で切り換え、３つの集光点の全部が開放される角度１、２、３となったタイミング（Ａ）、（Ｃ）、（Ｅ）の各々で変調画像を撮像し、３つの集光点のうち０次回折光束の集光点のみが開放される角度（角度１、２の間、又は角度２、３の間）となったタイミング（Ｂ）又は（Ｄ）で無変調画像を撮像する。この変形例（ｂ）によると、図１１の例と同様の効果を得ることができる。

＜３Ｄ−ＳＩＭモードの変形例（ｃ）＞
この変形例（ｃ）は、変形例（ｂ）の変形例である。この変形例（ｃ）では、０次回折光束を常時オンしたまま、光軸Ｏ周りの回折格子の回動角を６０°の角度周期で切り換え、３つの集光点の全部が開放される角度１、２、３となったタイミング（Ａ）、（Ｃ）、（Ｅ）の各々で変調画像を撮像し、３つの集光点のうち０次回折光束の集光点のみが開放される角度（角度１、２の間、及び角度２、３の間）となったタイミング（Ｂ）、（Ｄ）の各々で無変調画像を撮像する。この変形例（ｃ）によると、図１２の例と同様の効果を得ることができる。

＜３Ｄ−ＳＩＭモードの変形例（ｄ）＞
この変形例（ｄ）は、第２実施形態の変形例である。この変形例（ｄ）で使用される回折格子は、光軸Ｏと垂直な面内の単一方向にかけて周期構造を有した１方向回折格子であって、この回折格子が瞳共役面に形成する集光点は、単一方向に配列された３つの集光点（＋１次回折光束の集光点、０次回折光束の集光点、−１次回折光束の集光点）である。また、この変形例（ｄ）で使用される光束選択部材１８は、変形例（ａ）の光束選択部材１８において、６つのスリット状開口部２０ａ〜２０ｆのうち何れか１つを部分扇状の開口部１９’（図１３参照）に置き換えたものである。この変形例では、光軸Ｏ周りの回折格子の回動角を６０°の角度周期で切り換え、３つの集光点の全部が開放される角度１、２、３となったタイミング（Ａ）、（Ｃ）、（Ｅ）で変調画像を撮像し、３つの集光点のうち１つの集光点のみが開放される角度（角度１、２の間、及び角度２、３の間）となったタイミング（Ｂ）、（Ｄ）で無変調画像を撮像する。但し、この変形例（ｄ）では、０次回折光束は基本的にオンされるが、無変調画像の撮像時に開放される集光点の数が２以上とならないよう、適当なタイミングで０次回折光束がオフされる（図１９（ｄ）では、回折格子の回動角が角度１、２の間となったタイミング（Ｂ）で０次回折光束がオフされている。）。この変形例（ｄ）によると、図１７の例と同様の画像群を取得することができる。

＜２Ｄ−ＳＩＭモードの変形例（ｆ）＞
この２Ｄ−ＳＩＭの変形例（ｆ）は、３Ｄ−ＳＩＭの変形例（ｂ）において、０次回折光束のオン／オフパターンを変えたものに相当する。具体的に、変形例（ｆ）では、変調画像の撮像タイミング（Ａ）、（Ｃ）、（Ｅ）の各々で０次回折光束がオフされ、無変調画像の撮像タイミング（Ｂ）又は（Ｄ）で０次回折光束がオンされる。この変形例（ｆ）によると、図９の例と同様の画像群を取得することができる。

＜２Ｄ−ＳＩＭの変形例（ｇ）＞
この２Ｄ−ＳＩＭの変形例（ｇ）は、３Ｄ−ＳＩＭの変形例（ｃ）において、０次回折光束のオン／オフパターンを変えたものに相当する。具体的に、変形例（ｇ）では、変調画像の撮像タイミング（Ａ）、（Ｃ）、（Ｅ）の各々で０次回折光束がオフされ、無変調画像の撮像タイミング（Ｂ）、（Ｄ）の各々で０次回折光束がオンされる。この変形例（ｇ）によると、図１０の例と同様の画像群を取得することができる。

＜２Ｄ−ＳＩＭの変形例（ｈ）＞
この２Ｄ−ＳＩＭの変形例（ｈ）は、３Ｄ−ＳＩＭの変形例（ｄ）において、０次回折光束のオン／オフパターンを変えたものに相当する。具体的に、変形例（ｈ）では、０次回折光束は基本的にオフされるが、無変調画像の撮像時に開放される集光点の数がゼロとならないよう、適当なタイミングで０次回折光束がオンされる（図１９（ｈ）では、回折格子の回動角が角度２、３の間となったタイミング（Ｄ）で０次回折光束がオンされている）。この変形例（ｈ）によると、図１５の例と同様の画像群を取得することができる。

また、上述した各実施形態では、複数の光束から一部の光束を選択する部材（光束選択部材）として、透過型のマスク部材（つまり、透過部からなる開口部と遮光部からなる非開口部とを有したマスク部材）を使用したが、反射型のマスク部材（つまり、反射部からなる開口部と遮光部からなる非開口部とを有したマスク部材）を使用してもよい。

また、透過型のマスク部材において、開口部の透過率、非開口部の透過率は、それぞれ１００％、０％であることが望ましいが、開口部の透過率の方が非開口部の透過率よりも高ければ、それぞれ１００％、０％から外れていてもよい。

また、反射型のマスク部材において、開口部の反射率、非開口部の反射率は、それぞれ１００％、０％であることが望ましいが、開口部の反射率の方が非開口部の反射率よりも高ければ、それぞれ１００％、０％から外れていてもよい。

［各実施形態の作用効果］
上述した何れかの実施形態の構造化照明顕微鏡装置１は、所定数の光束（±１次回折光束及び０次回折光束）による干渉縞を標本（５）に形成する光学系（レンズ１６、２５、２７、６）と、前記干渉縞の方向を切り換える切換部と、前記干渉縞で空間変調された前記標本の像である変調像を撮像する撮像部（撮像素子３５１、３５２、制御装置３９）とを備え、前記撮像部（撮像素子３５１、３５２、制御装置３９）は、前記切り換えの途中であって前記標本（５）へ入射する前記光束の数が１となる期間内の所定のタイミングで、空間変調されていない前記標本（５）の像である無変調像を少なくとも１枚、撮像する。

したがって、上述した何れかの実施形態の構造化照明顕微鏡装置１は、前記干渉縞の方向の異なる複数枚の前記変調像と、少なくとも１枚の前記無変調像とを、高効率に撮像することができる。

上述した何れかの実施形態の構造化照明顕微鏡装置１は、光源（レーザユニット１００）からの射出光束を複数の光束に分岐する分岐部（回折格子１３）と、前記複数の光束のうち、前記所定数の光束のみを選択する所定数の選択部（開口部）を有した光束選択部材とを備え、前記切換部は、前記光束選択部材を前記光学系（レンズ１６、２５、２７、６）の光軸周りに回動させることにより前記光束選択部材で選択される前記所定数の光束の組み合わせを切り換える回動機構（２４Ａ）である。

或いは、上述した何れかの実施形態の構造化照明顕微鏡装置１は、光源（レーザユニット１００）からの射出光束を前記所定数の光束に分岐する分岐部（一方向回折格子）を備え、前記切換部は、前記所定数の光束を前記光学系の光軸周りに回動させる回動機構（例えば一方向回折格子を回動させる機構）である。
また、構造化照明顕微鏡装置１は、前記回動の前に前記所定数の光束のみを選択する所定数の選択部（開口部）からなる組と、前記回動の後に前記所定数の光束のみを略同時に選択する所定数の選択部（開口部）からなる組とを有した光束選択部材（例えば、図１９（ｂ）〜（ｄ）、（ｆ）〜（ｈ）の何れかの光束選択部材）を備える。

因みに、第１実施形態の前記光束選択部材は、前記光軸（Ｏ）に関して対称な選択部（スリット状開口部）を有する。

また、第２実施形態の前記光束選択部材は、前記光軸（Ｏ）に関して非対称な選択部（部分扇状開口部）を有する。

また、第２実施形態の前記光束選択部材が前記タイミングで選択する前記光束は、前記所定数の光束のうち前記光軸（Ｏ）外の光束である。

また、上述した何れかの実施形態の構造化照明顕微鏡装置１は、前記所定数の光束のうち前記光軸（Ｏ）上の光束を遮光する遮光部材（０次光シャッタ２００の遮光部２００Ｃ）を更に備える。

また、前記遮光部材（遮光部２００Ｃ）は、前記変調像の撮像時には前記光軸（Ｏ）上の光束の光路へ挿入され、前記無変調像の撮像時には前記光軸（Ｏ）上の光束の光路から離脱される（第１実施形態の２Ｄ−ＳＩＭモードなどを参照。）。

或いは、前記遮光部材（遮光部２００Ｃ）は、前記変調像の撮像時には前記光軸（Ｏ）上の光束の光路から離脱され、前記無変調像の撮像時には前記光軸（Ｏ）上の光束の光路へ挿入される（第２実施形態の３Ｄ−ＳＩＭモードなどを参照。）。

また、上述した何れかの実施形態の構造化照明顕微鏡装置１は、前記標本（５）を照射する光束の強度、前記光束の照射時間、前記撮像部（撮像素子３５１、３５２、制御装置３９）の電荷蓄積時間のうち少なくとも１つを、条件式（Ａ）を満たすように制御する制御部（制御装置３９）を備える。但し、式（Ａ）におけるＩ_ｓｉは、前記変調像の撮像時における標本像強度、Ｉ_ｆｌａｔは、前記無変調像の撮像時における標本像強度、Ｔ_ｓｉは、前記変調像の撮像時における前記撮像部（撮像素子３５１、３５２、制御装置３９）の電荷蓄積時間、Ｔ_ｆｌａｔは、前記無変調像の撮像時における前記撮像部（撮像素子３５１、３５２、制御装置３９）の電荷蓄積時間である。

また、前記所定数の光束は、回折光学素子で分岐されたものであり、前記制御部（制御装置３９）は、前記所定数の光束の波長に応じて前記制御を行う。

また、上述した何れかの実施形態の構造化照明顕微鏡装置１は、前記干渉縞の位相をシフトさせる位相シフト部（並進機構１５Ａ）を更に備える。

また、上述した何れかの実施形態の構造化照明顕微鏡装置１は、前記変調像の画像及び前記無変調像の画像に基づき前記標本の復調画像を生成する演算部（画像記憶・演算装置４０）を更に備える。

［復調演算の説明］
以下、画像記憶・演算装置４０による復調演算を説明する。

上述した画像記憶・演算装置４０は、演算用のプログラムを実行することで演算を行う計算機、演算処理を行う演算回路、或いは、両者の組み合わせによって構成される。また、計算機は、記憶媒体又は通信網経由で演算用のプログラムをインストールした汎用の計算機であってもよい。画像記憶・演算装置４０による復調演算の基本手順は、以下の４つのステップからなる。

第１ステップ：制御装置３９から転送された複数の画像（変調画像、無変調画像など）の各々をフーリエ変換し、複数の空間周波数スペクトルを生成する。

第２ステップ：個々の空間周波数スペクトルに重畳されている、蛍光の０次変調成分、蛍光の＋１次変調成分、蛍光の−１次変調成分を、フーリエ空間上で互いに分離する。

第３ステップ：互いに分離された蛍光の０次変調成分、蛍光の＋１次変調成分、蛍光の−１次変調成分を、フーリエ空間上で再配置することにより、復調画像の空間周波数スペクトルを生成する。

第４ステップ：復調画像の空間周波数スペクトルを逆フーリエ変換することにより、復調画像（＝超解像画像）を取得する。

なお、これらステップの少なくとも２つは、１つの演算式によって一括で実行されてもよい。

［第１．１節（２Ｄ−ＳＩＭの前提）］
本節では、２Ｄ−ＳＩＭの前提を説明する。

ここでは、２Ｄ−ＳＩＭモードにおける干渉縞強度分布を、以下のとおり定義する。

標本の蛍光物質密度をＩ_０（ｘ）とし、標本面上の干渉縞強度分布をＫ（ｘ）とおく。また、標本で発生する蛍光が照明強度に比例すると仮定する。この場合、蛍光強度分布Ｉ_ｆｌ（ｘ） は、以下のとおり表される。

また、標本の各点で発生した蛍光はインコヒーレントなので、この蛍光強度分布Ｉ_ｆｌ（ｘ）を対物レンズで捉えた像、すなわち、変調画像Ｉ（ｘ）は、インコヒーレント結像の式により、以下のとおり表される。

以下、各関数のFourier 変換を以下のとおり表す。

この場合、変調画像をフーリエ空間で表したもの（すなわち変調画像の空間周波数スペクトル）は、以下のとおり表される。

ＯＴＦは｜ξ｜＞２ＮＡでゼロとなるので、変調画像の空間周波数スペクトルも｜ξ｜＞２ＮＡでゼロとなる。なお、ここでは、以下の関係を用いた。

また、フーリエ空間上の蛍光強度分布は、以下のとおり表される。

以下、復調演算の説明に必要の無い係数を無視する。

［第１．２節（従来の２Ｄ−ＳＩＭ）］
本節では、比較のため、従来の２Ｄ−ＳＩＭの復調演算を説明する。

先ず、２Ｄ−ＳＩＭの干渉縞強度分布は、以下のとおり表される（縞は正弦波状の強度分布を有する）。

但し、ξ_０は、干渉縞の空間周波数（変調周波数）である。

よって、フーリエ空間上の干渉縞強度は、以下のとおり表される。

なお、ξは、フーリエ空間上の座標である。

この式１．６と、式１．３、式１．４とによると、フーリエ空間上の変調画像は、以下のとおり表されることがわかる。

以下、フーリエ空間上の空間周波数スペクトルを単に「スペクトル」と称す。また、干渉縞の位相がφ_ｉであるときに取得された変調画像には、対応する添字「φ_ｉ」を付す。

ここで、前述したとおり、２Ｄ−ＳＩＭで取得される変調画像のスペクトルの観測点ξには、蛍光の−１次変調成分、蛍光の＋１次変調成分、蛍光の０次変調成分の３成分が重畳している。式１．７の右辺における３つの項がこれらの各変調成分に対応する。つまり、正弦波の強度分布を有する縞で標本（蛍光）を空間変調したので、変調画像のスペクトルは、蛍光の３つの変調成分（０次変調成分、±１次変調成分）で表現することができる。観測点ξに重畳された＋１次変調成分は、復調画像のスペクトルにおける復元点（ξ−ξ_０）が有するべき値（復元値）であり、観測点ξに重畳された−１次変調成分は、復調画像のスペクトルにおける復元点（ξ＋ξ_０）が有するべき値（復元値）であり、観測点ξに重畳された０次変調成分は、復調画像のスペクトルにおける復元点ξが有するべき値（復元値）である。このことは、変調画像のスペクトルの各観測点について当てはまる。図２０における大きな１つの黒点は、或る観測点に対応し、大きな黒点及びその両側の小さな２つの黒点は、その観測点から復元される３つの復元点に対応している。

そこで、従来の２Ｄ−ＳＩＭの復調演算では、変調画像のスペクトルの各観測点に重畳された３つの変調成分を互いに分離するために、縞の位相の異なる３つの変調画像を取得し、それらの変調画像の各々のスペクトルを生成し、それらのスペクトルを３つの式（以下の式１．８、式１．９、式１．１０）へ当てはめることで、３つの方程式を取得していた。従来は、この３つの方程式を解くことで、図２０における塗りつぶし領域（通常解像範囲及び超解像範囲）の復元値を求めていた。

因みに、簡単のため、τ＝ＯＴＦ（ξ） と書くと、式１．８、式１．９、式１．１０は、以下のとおりに書き換えることができる。

なお、この式の行列（以下、Ｍとおく）の行列式がゼロでなければ、３つの変調画像のスペクトルにおける或る観測点の３つの観測値（左辺）から、その観測点に対応する３つの復元点の復元値（右辺）を求めることができる。

ここで、従来の２Ｄ−ＳＩＭにおける縞の空間周波数（変調周波数）ξ_０は、｜ξ_０｜＜２ＮＡが成り立つように設定され、通常解像領域｜ξ｜＜２ＮＡから得られる観測値によって、｜ξ±ξ_０｜＞２ＮＡとなる復元点の復元値を求めることができる。よって、従来の２Ｄ−ＳＩＭでは、通常解像領域外（超解像領域）の復元値を復元すること、つまり復調画像として超解像画像を得ることができる。

なお、上記の行列Ｍは、ξに依存しない。すなわち、フーリエ空間上の座標（＝空間周波数）に依存しない。そこで、位相φ_ｉをパラメータとして行列Ｍの条件数をプロットすると、図２１ のとおりとなった。

図２１は、行列Ｍの条件数の逆数の分布である。但し、ここでは、第１の変調画像の位相φ_１＝０°とおき、第２の変調画像の位相φ_２及び第３の変調画像の位相φ_３を変数とした。図２１の横軸がφ_２であり、図２１の縦軸がφ_３である。

図２１からは、φ_２＝１２０°、φ_３＝２４０°のとき、条件数の逆数が最大値０．５となり、最も条件が良いことがわかる。このため、従来の２Ｄ−ＳＩＭでは、３フレーム間の位相差を、１２０°に設定することが一般的であった。

［第１．３節（２Ｄ−ＳＩＭの２画像２点復元）］
本節では、２Ｄ−ＳＩＭの復調演算として、「２画像２点復元」を説明する。本節における変調画像の取得は、上述した制御装置３９が各部を制御して行うものとし、本節における演算は、上述した画像記憶・演算装置４０が実行するものとする（他の節においても同様。）。

本節では、２Ｄ−ＳＩＭで取得される１枚の変調画像のスペクトルにおいて、変調方向にかけて変調周波数ξ_０だけ離れた２つの観測点ξ、（ξ＋ξ_０）には、互いに値の共通する変調成分が重畳されていることに着目する。

具体的には、観測点ξに重畳した蛍光の−１次変調成分と、観測点（ξ＋ξ_０）に重畳した蛍光の０次変調成分とは、何れも復元点（ξ＋ξ_０）の復元値に相当し、観測点（ξ＋ξ_０）に重畳した蛍光の＋１次変調成分と、観測点ξに重畳した蛍光の０次変調成分とは、何れも復元点ξの復元値に相当する。つまり、これら２つの観測点ξ、（ξ＋ξ_０）には、互いに共通する２つの復元点ξ、（ξ＋ξ_０）の復元値が含まれている。本節の２画像２点復元では、この関係を利用する。以下、具体的に説明する。

先ず、干渉縞強度分布を従来の２Ｄ−ＳＩＭと同様に仮定すると、対物レンズのＮＡにより、変調画像のスペクトルの観測範囲は、｜ξ｜＜２ＮＡで表される。

本節の縞の空間周波数（変調周波数）ξ_０は、｜ξ_０｜＜２ＮＡが成り立つように設定される。なお、縞の空間周波数（変調周波数）ξ_０は回折格子１３の格子周期（標本上に形成される縞周期）により設定される。

この場合、１枚の変調画像のスペクトルから、ξ_０だけ離れた２つの観測点ξ、（ξ＋ξ_０）の観測値を得ることができる。ただし、（ξ＋ξ_０）の観測値を得ることができるのは、ξが｜ξ＋ξ_０｜＜２ＮＡを満たす範囲に限られる。

ここで、1枚の変調画像のスペクトルにおける、観測点ξの観測値と、観測点（ξ＋ξ_０）の観測値とは、以下の式で表される。

これらの式１．１２、式１．１３の右辺には、４つの復元点の復元値（未知数）が登場している。これら４つの復元値を既知とするためには、更に２つの式が必要である。

そこで、本節では、互いに位相φの異なる２枚の変調画像の各々のスペクトルを生成し、それら２つのスペクトルの各々から、２つの観測点ξ、（ξ＋ξ_０）に関する合計４つの観測値を参照し、それら４つの観測値を、式１．１２、式１．１３へ当てはめることにより、４つの復元値（未知数）を含んだ合計４つの式を取得する。

ここで、簡単のため、τ_１ ＝ＯＴＦ（ξ）、 τ_２＝ＯＴＦ（ξ＋ξ_０）とおき、第１の変調画像の位相φをφ_１とおき、第２の変調画像の位相φをφ_２とおくと、４つの式は、次のような行列で表わされる。

よって、本節では、この行列（以下Ｍとおく）の行列式がゼロでなければ、２枚の変調画像のスペクトルにおける４つの観測値（左辺）から、４つの復元値（右辺）を求めることができる。

ここで、図２２における２つの円枠のうち、内側の円枠は、通常解像範囲の外縁（｜ξ｜＝２ＮＡ）である。また、外側の円枠は、超解像範囲の外縁（｜ξ｜＝４ＮＡ）である。

図２２における２つの大きな黒点は、縞の空間周波数（変調周波数）ξ_０の分だけずれた或る２つの観測点を示しており、図２２における２つの大きな黒点及び２つの小さな黒点は、それら２つの観測点から復元される４つの復元点を示している。

本節では、干渉縞の位相の異なる２枚分の変調画像のスペクトルが取得されるので、それら２つのスペクトルの各々における２つの観測点から、合計４つの観測値が取得される。そして、これら４つの観測値を上述した式１．１４へ当てはめることで、４つの復元点の各々の復元値を求める。

そして、本節では、２つの観測点を通常解像範囲内で移動させながら、４つの復元値の算出を繰り返すことで、図２２における塗りつぶし領域全域の復元値を求める。

したがって、本節では、取得される変調画像の枚数（生成されるスペクトルの数）が２のみであるにも拘わらず、通常解像範囲の少なくとも一部の復元値と、超解像範囲の少なくとも一部の復元値とを求めることができる。

［第１．３．１節（復元可能条件）］
本節では、第１．３節の復調演算に必要な条件を説明する。

上述した式１．１４が一意的な解を持つためには、行列Ｍの行列式がゼロ以外の値をとればよい。ここで、行列Ｍの行列式は、以下のとおり表される。

したがって、第１の変調画像の位相φ_１と、第２の変調画像の位相φ_２との位相差Δφが、Δφ≠０でありさえすれば、ｄｅｔＭ≠０となり、式１．１４は一意的な解を持つ。以上の結果、第１．３節の復調演算に必要な条件は、Δφ≠０であることがわかる。

［第１．３．４節（Δφ＝πの特徴）］
本節では、Δφ＝πの特徴を説明する。

Δφ＝πのときには、以下の式が成り立つ。

この場合、

に掛かる位相が等しくなるので、Ｉ_０（ξ）については簡単に解けて、

となる。したがって、Δφ＝πとすれば、通常解像領域において復元できない領域を無くすことができる。

図２３（Ａ）の塗りつぶし領域は、Δφ≠πのときに復元可能な範囲であるのに対して、図２３（Ｂ）の塗りつぶし領域は、Δφ＝πのときに復元可能な範囲である（何れも、｜ξ_０｜＝２ＮＡの場合。）。図２３における２つの円のうち、内側の円は、通常解像範囲の外縁（｜ξ｜＝２ＮＡ）であり、外側の円は、超解像範囲の外縁（｜ξ｜＝４ＮＡ）である。

なお、ここでは干渉縞の方向数を１と仮定したが、干渉縞の方向数を３とし、各方向について第１．３節と同様の復調演算を適用したならば、図２４に示すような広い領域を復元することができる。

［第１．４節（２Ｄ−ＳＩＭのTwo-pass 復元）］
本節では、２Ｄ−ＳＩＭの復調演算として、「Two-pass 復元」を説明する。Two-pass 復元では、干渉縞の方向数は２に設定される。

以下、互いに方向及び周期の異なる複数の干渉縞を区別するために、個々の干渉縞を波数ベクトルで表す。この波数ベクトルの大きさは、干渉縞の空間周波数の大きさを示し、波数ベクトルの方向は、干渉縞の方向を示す。

本節では、以下の４つのステップが実行される。

第１ステップ：波数ベクトルがξ_０であり、かつ、位相の異なる２枚の変調画像が取得され、それら２枚の変調画像の各々のスペクトルが生成される。これら２枚の変調画像の各々を、以下のとおり表す。

さらに、これら２枚の変調画像の各々のスペクトルに対して第１．３節と同様の復調演算を施すことにより、図２５（Ａ）に示す領域の復元値を求める。

第２ステップ：波数ベクトルがξ_１であり、かつ、位相の異なる２枚の変調画像が取得され、それら２枚の変調画像の各々のスペクトルが生成される。これら２枚の変調画像の各々を、以下のとおり表す。

さらに、これら２枚の変調画像の各々のスペクトルに対して第１．３節と同様の復調演算を施すことにより、図２５（Ｂ）に示す領域の復元値を求める。

第３ステップ：以上のステップで求めた復元値と、以下の式とに基づき、図２６（Ａ）に示す領域の復元値を求める。

すなわち、以上のステップで求めた復元値、すなわち、

を式１．２６へ当てはめることで、図２６（Ａ）に示す領域の復元値を求める。なお、式１．２６は、式１．２４と式１．２５とを、

について解いた式である。

ただし、本ステップを可能とするために、少なくとも第２ステップでは、Δφ≠πｎ（n は整数）とする。

第４ステップ：第２ステップで求めた通常解像範囲の復元値（＝図２５（Ｂ）の塗りつぶし領域のうち｜ξ｜＜２ＮＡの部分）に基づき同様に、図２６（Ｂ）に示す領域の復元値を求める。

ただし、本ステップを可能とするために、第１ステップでは、Δφ≠πｎ（n は整数）とする。

第１ステップと第３ステップをまとめて、図２７（Ｂ）のように表すこともできる。すなわち、図２７（Ｂ）の横線において横方向に連なる４つの黒点は、第１ステップで解く式１．１４と同等の連立方程式から求まる４つの復元値（未知数）のフーリエ空間（波数空間）における位置を表している。

図２７（Ｂ）にある２本の縦線の各々において、縦方向に連なる３つの黒点のうち、中央の大きい黒点は、第１ステップの式から求まる１つの既知数のフーリエ空間（波数空間）における位置を示しており、両端の小さな黒点は、第３ステップで解く連立方程式１．２６の２つの復元値（未知数）のフーリエ空間（波数空間）における位置を示している。

これらの８つの黒点の相互の位置関係は、どの例を選んでも同一である。フーリエ空間（波数空間）において黒点の取りうる位置の範囲は、フーリエ空間（波数空間）において２つの大きな黒点（中央）の取りうる位置の範囲によって制限される。２つの大きな黒点が取りうる位置の範囲は｜ξ｜＜２ＮＡであるので、第１ステップ及び第３ステップの計算によって求めることができる復元値（未知数）の位置の範囲は、図２７（Ｂ）の塗りつぶし領域の範囲となる。

なお、図２７（Ａ）は、第２ステップ及び第４ステップを、図２７（Ｂ）と同様に示したものである。

したがって、本節では、図２８に示す塗りつぶし領域の全域を復元することができる。

［第１．５節（２Ｄ−ＳＩＭの超解像の例）］
本節では、前節までの結果を踏まえ、超解像の例を２つ説明する。

先ず、第１の例では、変調画像の枚数（スペクトルの数）を抑えることを重視し、Two-pass 復元を行う。そのために、第１の例では、波数ベクトルの方向数を２とし、互いに異なる２つの波数ベクトルξ_１、ξ_２の各々で、位相の異なる２枚の変調画像を取得し（合計４枚の変調画像を取得し）、それら４枚の変調画像の各々のスペクトルを生成する（合計４つのスペクトルを生成する）。そして、Two-pass 復元を可能とするため、同一の波数ベクトルで取得される２枚の変調画像間の位相差Δφを、Δφ≠πに設定する。また、波数ベクトルの大きさ｜ξ_ｉ｜を、｜ξ_ｉ｜＝２ＮＡに設定する（ｉ＝１、２）。この場合、図２８に示す塗りつぶし領域が復元される。

次に、第２の例では、演算精度を重視し、Two-pass 復元ではなく「２画像２点復元」を行う。そのために、第２の例では、波数ベクトルの方向数を３とし、互いに異なる３つの波数ベクトルξ_１、ξ_２、ξ_３の各々で、位相の異なる２枚の変調画像を取得し（合計６枚の変調画像を取得し）、それら６枚の変調画像の各々のスペクトルを生成する（合計６つのスペクトルを生成する）。そして、同一の波数ベクトルで取得される２枚の変調画像間の位相差Δφを、Δφ＝πとする。また、復元領域に隙間が生じるのを避けるために、｜ξ_ｉ｜を２ＮＡより意図的に小さくする。具体的には、復元領域に隙間が生じない範囲内で｜ξ_ｉ｜を最大にするために、波数ベクトルの大きさ|ξ_ｉ|を、|ξ_ｉ| ＝（√３）×ＮＡに設定する（ｉ＝１、２）。この場合、図２９に示す領域が復元される。

［第１．６節（２Ｄ−ＳＩＭの４画像３点復元）］
本節では、２Ｄ−ＳＩＭの復調演算として、２Ｄ−ＳＩＭの「４画像３点復元」を説明する。

本節では、波数ベクトルの方向数を３とする（３つの波数ベクトルξ_１、ξ_２、ξ_３の各々で変調画像を取得し、それら変調画像の各々のスペクトルを生成する。）。

また、３つの波数ベクトルξ_１、ξ_２、ξ_３を閉じた関係（ξ_３＝ξ_１−ξ_２）に設定する。

そして、３つの方向のうち何れか１つの方向（波数ベクトルξ_１）では、位相数を２とする（縞方向が同じであり位相の異なる２枚の変調画像Ｉ^（０）、Ｉ^（１）を得る）が、他の２つの方向（波数ベクトルξ_２、ξ_３）の各々では、位相数を１に抑える（縞方向の異なる２枚の変調画像Ｉ^（２）、Ｉ^（３）を得る）。

また、縞方向が同じである２枚の変調画像間の位相差Δφは、Δφ＝πに設定する。

また、本節では、個々の波数ベクトルの大きさを、｜ξ_ｉ｜ ＝２ＮＡに設定する（ｉ＝１、２、３）。

このとき、４枚の変調画像Ｉ^（０）、Ｉ^（１）、Ｉ^（２）、Ｉ^（３）の各々の干渉縞強度分布は、

と表される。

ここで、これら４枚の変調画像Ｉ^（０）、Ｉ^（１）、Ｉ^（２）、Ｉ^（３）の各々のスペクトルにおいて、３つの波数ベクトルξ_１、ξ_２、ξ_３が描く三角形を想定し、その三角形の頂点（大きな黒点）に位置する３つの観測点ξ、（ξ＋ξ_１）、（ξ＋ξ_２）に着目する。

本節で取得した４枚の変調画像Ｉ^（０）、Ｉ^（１）、Ｉ^（２）、Ｉ^（３）の各々のスペクトルにおける３つの観測点ξ、（ξ＋ξ_１）、（ξ＋ξ_２）からは、合計１２個の観測値が得られるので、それら１２個の観測値に対応する式１．７相当の式を、１２個分、取得することができる。本節では、これら１２式からなる連立方程式を解くために、以下の条件が必要となる。

図３０は、計算の図解である。ただし、｜ξ_１｜＝｜ξ_２｜、ξ_１・ξ_２＝｜ξ_１｜｜ξ_２｜／２とした。

図３０（Ａ）における３つの大きな黒点は、変調画像のスペクトルにおいて３つの波数ベクトルξ_１、ξ_２、ξ_３によって描かれる三角形の頂点に位置する３つの観測点を示しており、図３０（Ａ）における３つの大きな黒点及び９つの小さな黒点は、それら３つの観測点から復元される復元点（合計１２個の復元点）を示している。

上記したとおり本節において変調画像の枚数（スペクトルの数）は４であるので、３つの観測点から合計１２個の観測値が取得される。これら１２個の観測値に関する１２個の式を連立させて解くことによって、１２個の復元点の復元値が個別に求まる。

そして、本節では、３つの観測点を移動させながら、１２個の復元値の算出を繰り返すことで、図３０（Ａ）に示す塗りつぶし領域全域の復元値を求める。

なお、図３０（Ｂ）は、三角形の方向を反転させて同様の復元を行った場合の図解である。図３０（Ａ）の復元と、図３０（Ｂ）の復元とは、並行して行うことが可能である。本節では、これら２通りの復元を行い、図３１に示した塗りつぶし領域の全域を復元する。

図３１は、図３０（Ａ）に示した復元領域と、図３０（Ｂ）に示した復元領域と合成したものである。

以下、本節で述べた１２式から成る連立方程式を解く計算の一例を詳しく説明する。

図３２は、本節の計算を３つのステップに分けて説明した図である。

図３２（Ａ）は、第１ステップで復元される４つの復元点１〜４を示している。

図３２（Ｂ）は、第２ステップで復元される４つの復元点５〜８を示している。

図３２（Ｃ）は、第３ステップで復元される４つの復元点９〜１２を示している
図３２（Ｄ）は、図中の番号１〜１２と復元値との対応関係を示している。

第１ステップ：波数ベクトルξ_１の方向に間隔｜ξ_１｜で並ぶ２つの観測点１、２に関する４つの観測値を、２画像２点復元の式へ当てはめることにより、復元点１、２、３、４の各々の復元値を求める。

第２ステップ：復元点１、２の各々の復元値を使用して、それら復元点１、２から波数ベクトルξ_２、ξ_３の分だけずれた４つの復元点５、６、７、８ の各々の復元値を求める。この際に使用される式は、波数ベクトルξ_１の方向に関する２つの式（２位相分）と、波数ベクトルξ_２の方向に関する１つの式と、波数ベクトルξ_３の方向に関する１つの式と、の合計４つの式である。

第３ステップ：復元点１、２、５の各々の復元値を使用して、それら復元点１、２、５から波数ベクトルξ_２、ξ_３の分だけずれた残りの復元点９、１０、１１、１２の各々の復元値を求める。この際に使用される式は、波数ベクトルξ_２の方向に関する２つの式（観測点２つ分）と、波数ベクトルξ_３の方向に関する２つの式（観測点２つ分）と、の合計４つの式である。

もちろん、本節で述べた１２式から成る連立方程式の解法は、上記の手順に限られるものではない。

［第１．７節（２Ｄ−ＳＩＭの４画像３点復元の変形例）］
本節では、４画像３点復元の変形例を説明する。

本節では、３つの方向の全ての位相数を１に抑え、その代わりに、１枚の無変調画像を取得し、その無変調画像のスペクトルを生成する。

無変調画像は、Ｋ^（０）＝１で取得された画像のことであって、例えば上述した回折格子１３及び光束選択部１８を光路から外した状態で取得することができる。また、無変調画像のスペクトルは、その無変調画像をフーリエ変換したものである。

上記したとおり本節において変調画像の枚数（変調画像のスペクトルの数）は３、無変調画像の枚数（無変調画像のスペクトルの数）は１であるので、３つの観測点から合計１２個の観測値が取得される。これら１２個の観測値に関する１２個の式（変調画像のスペクトルに関する式１．７を９つと、無変調画像のスペクトルに関する式１．５３を３つと）を連立させて解くことによって、１２個の復元点の復元値が個別に求まる。

なお、本節では、以下の条件が必要となる。

［第１．９節（２Ｄ−ＳＩＭの同時３方向４画像３点復元）］
本節では、４画像３点復元の変形例として、「同時３方向４画像３点復元」を説明する。

先ず、本節では、標本へ投影する干渉縞は、以下のとおり方向の異なる３つの干渉縞の足しあわせ（３方向干渉縞）とされる。なお、３方向干渉縞の投影方法は後述する。

つまり、本節では、３つの波数ベクトルξ_１、ξ_２、ξ_３を同時に有する３方向干渉縞を採用し、この３方向干渉縞で、位相の互いに異なる４枚の変調画像を取得し、それら４枚の変調画像の各々のスペクトルを生成する。

ただし、｜ξ_ｉ｜≦２ＮＡとし（ｉ＝１、２、３）、３つの波数ベクトルξ_１、ξ_２、ξ_３を閉じた関係（ξ_３＝ξ_１−ξ_２）とする。

また、３方向干渉縞の振幅を規定するａの値は、以下の式を満たすように選択されるものとする。

先ず、本節で取得された或る１枚の変調画像のスペクトルにおける或る観測点ξには、復調画像のスペクトルにおける復元点ξに与えるべき復元値と、復調画像のスペクトルにおける復元点（ξ±ξ_ｉ）に与えるべき復元値（ｉ＝１、２、３）と、の合計７つの復元点の復元値が重畳されている。

言い換えると、変調画像のスペクトルにおける或る観測点ξには、蛍光の０次変調成分と、波数ベクトルξ_１による蛍光の±１次変調成分と、波数ベクトルξ_２による蛍光の±１次変調成分と、波数ベクトルξ_３による蛍光の±１次変調成分と、の合計７成分が重畳されている。

ここで、変調画像のスペクトルにおいて３つの波数ベクトルξ_１、ξ_２、ξ_３が描く三角形を想定し、その三角形の頂点に位置する３つの観測点ξ、（ξ＋ξ_１）、（ξ＋ξ_２）に着目する。

これら３つの観測点ξ、（ξ＋ξ_１）、（ξ＋ξ_２）の全体には、１２個の復元点の復元値が含まれている。

図３３は、その図解である。ただし、｜ξ_１｜＝｜ξ_２｜、ξ_１・ξ_２＝｜ξ_１｜｜ξ_２｜／２とした。

図３３（Ａ）における３つの大きな黒点は、変調画像のスペクトルにおいて３つの波数ベクトルξ_１、ξ_２、ξ_３によって描かれる三角形の頂点に位置する３つの観測点を示しており、図３３（Ａ）における３つの大きな黒点及び９つの小さな黒点は、それら３つの観測点から復元される復元点（合計１２個の復元点）を示している。

上記したとおり本節において変調画像の枚数（スペクトルの数）は４であるので、３つの観測点から合計１２個の観測値が取得される。これら１２個の観測値に関する１２個の式を連立させて解くことにより、１２個の復元点の復元値が個別に求まる。

そして、本節では、３つの観測点を移動させながら、１２個の復元値の算出を繰り返せば、図３３（Ａ）に示す塗りつぶし領域全域の復元値を求める。

なお、図３３（Ｂ）は、三角形の方向を反転させて同様の復元を行った場合の図解である。図３３（Ａ）の復元と、図３３（Ｂ）の復元とは、並行して行うことが可能である。本節では、これら２通りの復元を行い、図３１に示した塗りつぶし領域と同じ領域を復元する。

ここで、４枚の変調画像Ｉ^（１）、Ｉ^（２）、Ｉ^（３）、Ｉ^（４）の各々に反映されている３方向干渉縞の位相（３成分からなる）は、例えば、

すなわち、４枚の変調画像Ｉ^（１）、Ｉ^（２）、Ｉ^（３）、Ｉ^（４）の各々における干渉縞強度分布は、以下のとおり。

因みに、４枚の変調画像における干渉縞強度分布の和は、以下の通りである。

つまり、このような干渉強度分布及び位相の組み合わせの下で４枚の変調画像を取得したならば、標本の各部が互いに等しい光量で照明されることになる。４枚の変調画像間で、３方向干渉縞のパターンは共通、かつ、パターンの位置のみがシフトした関係になっている。よって、次の関係が成り立つ。

ただし、ａ_１、ａ_２は、干渉縞の周期構造を結晶格子に見立てたときの格子の基本ベクトルであって、逆格子ベクトル（波数ベクトル）ｋ_ｉを、ｋ_１＝（２π／λ）ξ_１、ｋ_２＝（２π／λ）ξ_２、ｋ_３＝ｅ_Ｚとおくと（ｅ_Ｚ：ｚ方向の単位ベクトル）、以下の式で与えられる。

図３４は、３方向干渉縞の格子構造と、格子の基本ベクトルａ_１、ａ_２との関係を示す図である。

図３５は、４枚の変調画像の間における干渉縞強度分布の関係を示す図である。

図３５に示すとおり、４枚の変調画像の間では、格子パターンが互いに重ならないように平行移動している。また、その移動量の単位は、格子の基本ベクトルの半分となっている。

［第１．９．２節（３方向干渉縞の投影方法）］
ここで、３方向干渉縞の投影方法を説明する。

３方向干渉縞を上述した構造化照明顕微鏡装置１で生起させる際には、他の干渉縞（１方向干渉縞）を生起させる場合と同様、上述した回折格子１３（図２（Ａ））を使用することができる。

但し、光束選択部材１８の開口パターンは、回折格子１３において生成する３群の回折光のうち、各群の０次回折光と各群の２次以降の高次回折光と各群の＋１次回折光とをカットし、かつ、各群の−１次回折光のみを透過するように設定される。これによって、瞳面上に形成される集光点は、３つの−１次回折光による集光点のみとなる。図３６（Ａ）は、光束選択部材１８によって余分な回折光がカットされなかった場合の集光点の配置を示しており、図３６（Ｂ）は、光束選択部材１８によって余分な回折光がカットされた場合の集光点の配置を示している。この場合、１２０°ずつずれた位置に３つの集光点が形成される。これら３つの集光点から射出した３つの回折光（ここでは３つの−１次回折光）は、３方向から標本の照明エリアへ入射し、標本上に３方向干渉縞を形成する。なお、ここでは、干渉縞に寄与する回折光を３つの−１次回折光としたが、３つの＋１次回折光としてもよいことは言うまでもない。

但し、この場合、３方向干渉縞として、３通りの２光束干渉縞の重ね合わせではなく、３光束干渉縞が生起してしまうので、超解像効果が低くなってしまう。また、±１次回折光の一方をカットするので、レーザ光の利用効率が低くなってしまう。

そこで、次のとおりにしてもよい。すなわち、独立した３つのレーザ光源Ａ、Ｂ、Ｃを用意し、レーザ光源Ａから射出したレーザ光、レーザ光源Ｂから射出したレーザ光、レーザ光源Ｃから射出したレーザ光の各々を、２分岐ファイバで分岐し、６つの点光源ａ、ａ’、ｂ、ｂ’、ｃ、ｃ’を形成する。なお、点光源ａ、ａ’は、レーザ光源Ａから生成された可干渉な光源であり、点光源ｂ、ｂ’は、レーザ光源Ｂから生成された可干渉な光源であり、点光源ｃ、ｃ’は、レーザ光源Ｃから生成された可干渉な光源である。そして、ファイバを適切に配線することにより、それら６つの点光源ａ、ａ’、ｂ、ｂ’、ｃ、ｃ’を、図３７に示すような位置関係で瞳共役面へ配置する。つまり、点光源ａ、ａ’の配列方向と、点光源ｂ、ｂ’の配列方向と、点光源ｃ、ｃ’の配列方向とは、１２０°ずつ異なる互いに異なる方向に設定される。これら６つの点光源から射出した６つのレーザ光は、６方向から標本の照明エリアへ入射し、標本上に３方向干渉縞を形成する。

ここで、点光源ａ、ａ’から射出したレーザ光Ｌａ、Ｌａ’と、点光源ｂ、ｂ’から射出したレーザ光Ｌｂ、Ｌｂ’と 、点光源ｃ、ｃ’から射出したレーザ光Ｌｃ、Ｌｃ’とは、互いに干渉しない。したがって、標本上に形成される干渉縞は、３通りの２光束干渉縞の重ね合わせとなる。よって、超解像効果が低くなることはなく、レーザ光の利用効率も高い。

なお、このように、光の分岐手段として回折格子１３の代わりに２分岐ファイバが使用された場合は、３方向干渉縞の位相（３成分からなる）を変化させるために、回折格子１３を並進移動させる代わりに、レーザ光Ｌａ、ａ’の位相差と、レーザ光Ｌｂ、Ｌｂ’の位相差と、レーザ光Ｌｃ、Ｌｃの位相差とをそれぞれ変化させればよい。

［第２．１節（３Ｄ−ＳＩＭの前提）］
本節では、３Ｄ−ＳＩＭの復調演算の前提を説明する。

ここでは、３Ｄ−ＳＩＭにおける干渉縞強度分布を、以下のとおり仮定する。

３光束干渉の波長をλとおくと、３Ｄ−ＳＩＭにおける干渉縞強度分布Ｋ（ｒ） は、以下のとおり表される。

ただし、ｋ_０= 2π／λ、ｊ＝−１、０、＋１として、ベクトルk_ｊを以下の通り定義する。

ここで、ξ_０・ｅ_Ｚ＝０とした。

簡単のため、ａ_０＝１、ａ_＋＝ａ＝｜a｜ｅ^ｉφ、ａ₋＝ａ^＊＝｜a｜ｅ^−ｉφと仮定すると、

となるので、干渉縞強度分布Ｋは、以下のとおり表される。縞は、正弦波状の強度分布を有する第１の周期の縞(中央光とその左右の光からなる３光束のうち、左右の光による干渉縞)と、正弦波状の強度分布を有する第２の周期（第１の周期の２倍）の縞（中央光とその左右の光からなる３光束のうち、中央光と右光（又は左光）による干渉縞）とが重畳したものからなる。

ここで、ζ_０＝√［１−ξ_０ ^２］−１とおくと、

と表せる。これを、ｚに依存する成分とｘに依存する成分とに分離して、

とおく。ただし、

となる。ただし、J_−１＝J_１ ^＊、J_−２＝J_２ ^＊とする。

さて、標本の蛍光物質密度をＩ_０（ｘ）とし、以上の干渉縞強度分布Ｋの干渉縞を標本へ投影したときに、標本の蛍光強度分布は、Ｉ_０（ｒ）Ｋ（ｒ）で表されると仮定し、標本の各点で発生した蛍光は他の点の蛍光物質を励起しないという近似（Born 近似）を採用する。

このとき、３Ｄ−ＳＩＭモードで取得される変調画像Ｉ（ｘ、ｚ）は、次のように表される。

すなわち、

ここで、干渉縞のｚ方向（光軸Ｏの方向）の起点を、観測点のｚ座標（ｚ’）が常に中心となるように設定したならば、

３次元ＯＴＦを、

とおくと、

そして、変調画像をフーリエ空間で表したもの（すなわち変調画像の空間周波数スペクトル）は、以下のとおり表される。

これを書き下すと、以下のとおりとなる。

ただし、第一項の係数が1 となるように、

とした。なお、ａ、ｂ、ｃは、３Ｄ−ＳＩＭの干渉縞に寄与する３光束（±１次回折光及び０次回折光）の強度バランスによって決まる値である。

以下、フーリエ空間上の空間周波数スペクトルを単に「スペクトル」と称す。また、以下では、この式に現れるφを「位相」と称す。

［第２．２節（従来の３Ｄ−ＳＩＭ）］
本節では、比較のため、従来の３Ｄ−ＳＩＭの復調演算を説明する。

先ず、３Ｄ−ＳＩＭモードで取得される変調画像のスペクトルにおける観測点ξには、蛍光の−１次変調成分、蛍光の＋１次変調成分、蛍光の＋２次変調成分、蛍光の＋２次変調成分、蛍光の０次変調成分の５成分が重畳されている。観測点ξに重畳された±１次変調成分は、復調画像のスペクトルにおける復元点（ξ±ξ_０）が有するべき値（復元値）であり、観測点ξに重畳された±２次変調成分は、復調画像のスペクトルにおける復元点（ξ±２ξ_０）が有するべき値（復元値）であり、観測点ξに重畳された０次変調成分は、復調画像のスペクトルにおける復元点ξが有するべき値（復元値）である。
つまり、観測点ξに重畳された±１次変調成分は、正弦波状の強度分布を有する第２の周期（第１の周期の２倍）の縞（中央光とその左右の光からなる３光束のうち、中央光と右光（又は左光）による干渉縞）によって変調された成分であり、観測点ξに重畳された±２次変調成分は正弦波状の強度分布を有する第１の周期の縞(中央光とその左右の光からなる３光束のうち、左右の光による干渉縞)によって変調された成分である。
このことは、変調画像のスペクトルの各観測点について当てはまる。図３８における大きな黒点は、或る観測点に対応し、大きな黒点及びその両側の小さな４つの黒点は、その観測点から復元される５つの復元点に対応している。

そこで、従来の３Ｄ−ＳＩＭの復調演算では、変調画像のスペクトルの各観測点に重畳された５つの変調成分を互いに分離するために、位相の異なる５枚の変調画像を取得し、それらの変調画像の各々のスペクトルを生成していた。従来は、これらのスペクトルが満たす５つの方程式を連立させて解くことで、図３８における塗りつぶし領域（通常解像範囲及び超解像範囲）の復元値を求めていた。

［第２．４節（３Ｄ−ＳＩＭの９画像２点復元）］
本節では、３Ｄ−ＳＩＭの復調演算として、「９画像２点復元」を説明する。本節における変調画像の取得は、上述した制御装置３９が各部を制御して行うものとし、本節における演算は、上述した画像記憶・演算装置４０が実行するものとする（他の節においても同様。）。

本節では、３Ｄ−ＳＩＭで取得される１枚の変調画像のスペクトルにおいて、変調方向にかけて変調周波数ξ_０だけ離れた２つの観測点ξ、（ξ＋ξ_０）には、互いに値の共通する変調成分が重畳されていることに着目する。

具体的には、観測点ξに重畳した蛍光の−１次変調成分と、観測点（ξ＋ξ_０）に重畳した蛍光の０次変調成分とは、何れも復元点（ξ＋ξ_０）の復元値に相当し、観測点ξに重畳した蛍光の−２次変調成分と、観測点（ξ＋ξ_０）に重畳した蛍光の−１変調成分とは、何れも復元点（ξ＋２ξ_０）の復元値に相当し、観測点（ξ＋ξ_０）に重畳した蛍光の＋１次変調成分と、観測点ξに重畳した蛍光の０次変調成分とは、復元点ξの復元値に相当し、観測点（ξ＋ξ_０）に重畳した蛍光の＋２次変調成分と、観測点ξに重畳した蛍光の１次変調成分とは、何れも（ξ−ξ_０）の復元値に相当する。つまり、これら２つの観測点ξ、（ξ＋ξ_０）には、互いに共通する４つの復元点（ξ−ξ_０）、ξ、（ξ＋ξ_０）、（ξ＋２ξ_０）の復元値が含まれている。

本節の９画像２点復元では、この関係を利用する。以下、具体的に説明する。

１枚の変調画像のスペクトルにおいて、観測点ξの観測値と、観測点（ξ＋ξ_０）の観測値とは、以下の式で表される。

そこで、本節では、同一の波数ベクトルξ_０で互いに位相φの異なる３枚の変調画像を取得し、それら３枚の変調画像の各々のスペクトルを生成し、それら３つのスペクトルの各々から、２つの観測点ξ、（ξ＋ξ_０）に関する合計６個の観測値を参照し、それら６つの観測値を、これらの式へ当てはめることにより、６個の復元値（未知数）を含んだ合計６個の式を取得する。

図３９は、本節の３Ｄ−ＳＩＭの復調画像の周波数域を示す図である。図３９（Ａ）はｘｙ断面、図３９（Ｂ）は、ｚｘ断面である。

図３９における大きな黒点は、ξ_０だけずれた或る２つの観測点ξ、（ξ＋ξ_０）を示しており、図３９における２つの大きな黒点及び４つの小さな黒点は、それらの観測点ξ、（ξ＋ξ_０）から復元される復元点（合計６つの復元点）を示している。

以上の説明は、或る波数ベクトル（１方向）に関する復元の説明である。

よって、本節では、互いに方向の異なる３つの波数ベクトルの各々で位相の異なる３枚の変調画像を取得し、それら変調画像の各々のスペクトルを生成し、それらのスペクトルに対して方向毎に上記と同様の復元処理を施す。これによって、周波数範囲の広い復調画像を得ることができる。

なお、本節では、同一の波数ベクトルで取得される３枚の変調画像間の位相差Δφは、２π／３に設定されることが望ましい。

［第２．５節（３Ｄ−ＳＩＭの7画像３点復元）］
本節では、３Ｄ−ＳＩＭの7画像３点復元を説明する。本節は、無変調画像のスペクトルを利用した第１．７節を３Ｄ−ＳＩＭに応用したものである。

先ず、本節では、方向数（波数ベクトルの数）を３とする。

つまり、本節では、３つの波数ベクトルξ_１、ξ_２、ξ_３を閉じた関係（ξ_３＝ξ_１−ξ_２）にし、かつ、１枚の無変調画像を取得する代わりに、３つの方向の各々の位相数を、１ずつ抑える（２ずつとする。）。

また、本節では、同一の波数ベクトルで取得される２枚の変調画像間の位相差Δφを、Δφ＝πに設定する。

また、ここでは３つの波数ベクトルの番号をｋ（ｋ＝１、２、３） とおき、ｋ番目の波数ベクトルで取得された、互いに位相の異なる２枚の変調画像を、以下の通り表す。

また、無変調画像を、Ｉ^（０）と表す。

式２．２３より、以下の式が成り立つ。

ただし、±１次変調成分と±２次変調成分とをそれぞれまとめて、次のように表した。

また、τ_０＝ＯＴＦ_０（ξ，ζ）、τ_０’＝ＯＴＦ_１（ξ，ζ）とおいた。

ここで、同一の波数ベクトルで取得される２枚の変調画像間の位相差Δφを、Δφ＝πに設定したので、式２．３５より、以下の式が成り立つ。

よって、式２．３４より、以下の式が得られる。

なお、簡単のため、右辺では添字φkを省略した。

また、０次変調成分（通常解像成分）は、次のように表せる。

以上の式２．３９、式２．４０、式２．４１をまとめて行列で書くと、以下のとおりである。

そこで、本節では、先ず、７枚分の変調画像の各々のスペクトルにおける観測点ξに関する７つの観測値を式２．４２へ当てはめることで、式２．４２の右辺における７つの復元値、すなわち以下の復元値（±１次変調成分と±２次変調成分および０次変調成分）をそれぞれ求める。

ここからの先の計算は、第１．７節の計算と同様である。すなわち、スペクトル

において、３つの波数ベクトルξ_k（k=1,2,3）の分だけ互いにずれた任意の３つの観測点に関する１２の観測値に基づけば、３つの観測点に重畳された蛍光の＋１次変調成分と−１次変調成分とを分離することができる。

また、スペクトル

において、３つの波数ベクトルの２倍分２ξ_k（k=1,2,3）だけ互いにずれた任意の３つの観測点に関する１２の観測値に基づけば、３つの観測点に重畳された蛍光の＋２次変調成分と−２次変調成分とを分離することができる。

［第２．６節（３Ｄ−ＳＩＭの１２画像３点復元）］
本節では、画像の枚数（スペクトルの数）の削減よりも演算精度の維持を目的として、方向数（波数ベクトルの数）を３とし、各方向の位相数を４とすることで、合計１２枚の変調画像を取得する（合計１２個のスペクトルを生成する）。

また、本節では、同一の波数ベクトルで取得される４枚の変調画像間の位相差Δφを、Δφ＝π／２に設定する。

また、ここでは方向番号をｋ（ｋ＝１、２、３） とおき、位相番号をl（ｌ＝０、１、２、３）とおく。

先ず、±１次変調成分は、式２．３５より、

また、±２次変調成分は、式２．３６より、

と表される。そして、

が成り立つ。

よって、本節の復調演算を行列で書くと、

となる。

したがって、本節では、１２枚の変調画像のスペクトル（１２のスペクトル）の観測値をこの式へ当てはめることにより、０次変調成分と±１次変調成分とを分離する。

そして、残る±２次変調成分については、第１．７節と同様の手順で分離する。

このように、本節では、第２．５節の手順を踏まずに±１次変調成分を分離することができるので、高いセクショニング効果が期待できる。

［第２．７節（３Ｄ−ＳＩＭの８画像３点復元）］
なお、上述した第１．６節を以下の通り３Ｄ−ＳＩＭに応用してもよい。

本節では、方向数（波数ベクトルの数）を３とする。

また、３つの波数ベクトルξ_１、ξ_２、ξ_３を閉じた関係（ξ_３＝ξ_１−ξ_２）に設定する。

そして、３つの方向のうち何れか１つの方向（波数ベクトルξ_１）については、位相数を４とするが、他の２つの方向の各々の位相数を２に抑える。

つまり、本節では、３つの波数ベクトルξ_１、ξ_２、ξ_３を閉じた関係（ξ_３＝ξ_１−ξ_２）にする代わりに、２つの方向の各々の変調画像数を、１ずつ抑える。よって、変調画像の合計数（スペクトルの合計数）は、８となる。

ただし、本節では、第１方向（k＝１）の変調画像間の位相差は、Δφ＝π／２、第２方向（k＝２）の変調画像間の位相差は、Δφ＝π、第３方向（k＝３）の変調画像間の位相差は、Δφ＝πに設定される。

このようにして取得された８枚の変調画像のスペクトルによると、各変調成分を分離することが可能である。すなわち、第１ステップにおいて、第１方向（ｋ＝１）に関する４枚の変調画像のスペクトルで０次変調成分を求めてから、第２ステップにおいて、±１次変調成分、±２次変調成分の分離を行えばよい。

［その他］
なお、上述の各実施形態の要件は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。また、法令で許容される限りにおいて、上述の各実施形態及び変形例で引用した装置などに関する全ての公開公報及び米国特許の開示を援用して本文の記載の一部とする。

１…構造化照明顕微鏡装置、１００…レーザユニット、１１…光ファイバ、１０…照明光学系、３０…結像光学系、３５…撮像素子、３９…制御装置、４０…画像記憶・演算装置、４５…画像表示装置、１２…コレクタレンズ、２３…偏光板、１５…光束分岐部、１６…集光レンズ、２４…光束選択部、２５…レンズ、２６…視野絞り、２７…フィールドレンズ、２８…励起フィルタ、７…ダイクロイックミラー、６…対物レンズ、５…標本、１８…光束選択部材、２００…０次光シャッタ、２４Ａ…回動機構、２００Ａ…回動機構

Claims (11)

1. １以上の光束を選択する光束選択部材と、
   前記光束選択部材により選択された光束で標本を照明する光学系と、
   前記光束選択部材が選択する光束を切り換える切換部と、
   撮像部と、
   演算部と
   を備え、
   前記光学系は、前記光束選択部材により選択された光束による干渉縞を前記標本に形成し、
   前記切換部は、前記光束選択部材を回動させて前記干渉縞の方向を切り替える動作中に前記光束選択部材に１つの光束のみを選択させ、
   前記撮像部は、
   前記干渉縞で空間変調された前記標本の像である変調像を撮像し、
   前記１つの光束が選択されて照明された前記標本の像である無変調像を少なくとも１枚、撮像し、
   前記演算部は、前記変調像の画像及び前記無変調像の画像に基づき前記標本の復調画像を生成する
   構造化照明顕微鏡装置。
2. 請求項１に記載の構造化照明顕微鏡装置において、
   光源からの射出光束を複数の光束に分岐する分岐部を更に備え、
   前記切換部は、
   前記光束選択部材を前記光学系の光軸周りに回動させることにより前記光束選択部材で選択される光束の組み合わせを切り換える
   構造化照明顕微鏡装置。
3. 光源からの射出光束を所定数の光束に分岐する分岐部と、
   １以上の光束を選択する光束選択部材と、
   前記光束選択部材により選択された光束で標本を照明する光学系と、
   制御部と、
   撮像部と、
   演算部と
   を備え、
   前記光学系は、前記光束選択部材により選択された光束による干渉縞を前記標本に形成し、
   前記制御部は、前記分岐部を回動させて前記干渉縞の方向を切り替える動作中に前記光束選択部材に１つの光束のみを選択させ、
   前記撮像部は、
   前記干渉縞で空間変調された前記標本の像である変調像を撮像し、
   前記１つの光束が選択されて照明された前記標本の像である無変調像を少なくとも１枚撮像し、
   前記演算部は、前記変調像の画像及び前記無変調像の画像に基づき前記標本の復調画像を生成する
   構造化照明顕微鏡装置。
4. 請求項１〜請求項３の何れか一項に記載の構造化照明顕微鏡装置において、
   前記光束選択部材は、
   前記光学系の光軸に関して対称な選択部を有する
   構造化照明顕微鏡装置。
5. 請求項１〜請求項３の何れか一項に記載の構造化照明顕微鏡装置において、
   前記光束選択部材は、
   前記光学系の光軸に関して非対称な選択部を有する
   構造化照明顕微鏡装置。
6. 請求項５に記載の構造化照明顕微鏡装置において、
   前記１つの光束は、光軸外の光束である
   構造化照明顕微鏡装置。
7. 請求項１〜請求項６の何れか一項に記載の構造化照明顕微鏡装置において、
   前記光束選択部材は、
   所定数の光束のうち前記光学系の光軸上の光束を遮光する遮光部材を更に備える
   構造化照明顕微鏡装置。
8. 請求項７に記載の構造化照明顕微鏡装置において、
   前記遮光部材は、
   前記変調像の撮像時には前記光軸上の光束の光路へ挿入され、前記無変調像の撮像時には前記光軸上の光束の光路から離脱される
   構造化照明顕微鏡装置。
9. 請求項７に記載の構造化照明顕微鏡装置において、
   前記遮光部材は、
   前記変調像の撮像時には前記光軸上の光束の光路から離脱され、前記無変調像の撮像時には前記光軸上の光束の光路へ挿入される
   構造化照明顕微鏡装置。
10. 請求項１〜請求項９の何れか一項に記載の構造化照明顕微鏡装置において、
    前記標本を照射する光束の強度、前記光束の照射時間、前記撮像部の電荷蓄積時間のうち少なくとも１つを、以下の条件を満たすように制御する制御部を備える
    構造化照明顕微鏡装置。
    ０．５＜（Ｉ_ｆｌａｔ×Ｔ_ｆｌａｔ）／（Ｉ_ｓｉ×Ｔ_ｓｉ）≦２
    但し、Ｉ_ｓｉは、前記変調像の撮像時における標本像強度、Ｉ_ｆｌａｔは、前記無変調像の撮像時における標本像強度、Ｔ_ｓｉは、前記変調像の撮像時における前記撮像部の電荷蓄積時間、Ｔ_ｆｌａｔは、前記無変調像の撮像時における前記撮像部の電荷蓄積時間である。
11. 請求項１〜請求項１０の何れか一項に記載の構造化照明顕微鏡装置において、
    前記干渉縞の位相をシフトさせる位相シフト部を更に備える
    構造化照明顕微鏡装置。

Images