JP5103697B2 - 3D optical camera - Google Patents
3D optical camera Download PDFInfo
- Publication number
- JP5103697B2 JP5103697B2 JP2001121191A JP2001121191A JP5103697B2 JP 5103697 B2 JP5103697 B2 JP 5103697B2 JP 2001121191 A JP2001121191 A JP 2001121191A JP 2001121191 A JP2001121191 A JP 2001121191A JP 5103697 B2 JP5103697 B2 JP 5103697B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- dimensional
- image
- unit
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Cameras In General (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Input (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Description
【0001】
【発明の属する技術分野】
この発明は、被写体を撮影した撮影データに基づいてこの被写体の3次元位置情報を得る3次元光学カメラに係り、特に、被写界深度の浅い一群の撮影像を得るための技術に関する。
【0002】
【従来技術】
従来の光学カメラは、図24に示すように、例えば左側にある被写体の像がレンズにより面検出器上に上下左右反転結像するようになっており、この面検出器に結像された被写体像を記録している。なおこの図24では、上述の被写体は、説明を簡単にするために、遠方にある縦置きの黒い楕円体m1と、この縦置きの黒い楕円体m1よりもカメラ側に配置された横置きの白い楕円体m2のみとしている。近年、光学カメラは、上述の面検出器がフィルムからCCD(電荷結合素子:Charge Coupled Device)等の撮像素子に置き換わり、デジタル情報として画像蓄積が行なえる、所謂「デジタルカメラ」に進化しつつある。
【0003】
ところで、被写体の3次元位置情報は、深さ方向(被写体と光学カメラとを結ぶ直線である被写体軸(Z軸)の方向)における撮影像の被写界深度として表される。図24に示すように、例えばA面にフォーカスを合わせた撮影を行なった場合は、図25(a)に示すように、フォーカスの合った縦置きの黒い楕円体m1の像と、この黒い楕円体m1よりも手前にある、ボケた横置きの白い楕円体m2の像とが重複して得られる(A面フォーカス像)。また、図24に示すように、例えばB面にフォーカスを合わせた撮影を行なった場合、図25(b)に示すように、縦置きの黒い楕円体m1および横置きの白い楕円体m2はフォーカスが合っておらず、これらの楕円体は両方ともボケた像として重複して得られる(B面フォーカス像)。また、図24に示すように、例えばC面にフォーカスを合わせた撮影を行なった場合は、図25(c)に示すように、フォーカスの合った横置きの白い楕円体m2の像と、この白い楕円体m2よりも奥側にある、ボケた縦置きの黒い楕円体m1の像とが重複して得られる(C面フォーカス像)。被写界深度が浅いことは、深さ方向の弁別能力が高いことを示し、これはレンズの張る開口角θが大きい程高い。従って、高い深さ方向弁別能力は大口径化レンズの実現によって可能であると考えられるため、できるだけ大口径化したレンズ(大口径化レンズ)を実現することによって、深さ方向弁別能力を高めるようにしている。また、これとは逆に、「絞り」を絞る(θを制限)ことによって被写界深度を深くし、どの面(例えば図24に示したA〜C面)もピントが合ったように撮影することが撮影手技として良く知られている。
【0004】
【発明が解決しようとする課題】
しかしながら、このような構成を有する従来例の場合には、次のような問題がある。すなわち、被写体の3次元位置情報は撮影像の被写界深度を浅くすることによって得られることから、大口径レンズカメラを実現することによって被写界深度の浅い撮影像を得れる構成を実現することが考えられるが、現実的にはレンズの大口径化を例えば従来の100倍のオーダーで行なう、つまり、直径が例えば10m程度もある大口径レンズを製造しなければならず、大口径レンズの実現は、機械精度やコストなどの面から勘案しても極めて困難であることから、被写界深度の浅い撮影像が得れる構成を実現できず、被写界深度の浅い撮影像が得られないという問題がある。
【0005】
また、従来の100倍のオーダーの大口径レンズ(直径が例えば10m程度もある大口径レンズ)が仮に実現したとしても、光学カメラ装置自体が非常に大型化してしまうし、大型化によって操作性の自由度なども極端に低下してしまうし、そのカメラによる撮影像は、被写界深さ方向にθの広がりを持つ応答となることに変わりはなく、そのレンズの大きさによって深さ方向の弁別能力の上限が一義的に決定されるので、被写界深度をさらに浅くするためにはレンズ口径をさらに大きくしなければならず、レンズ口径によって被写界深度が制限されるという問題がある。
【0006】
この発明は、このような事情に鑑みてなされたものであって、被写界深度の浅い一群の撮影像を得ることができる3次元光学カメラを提供することを目的とする。
【0007】
【課題を解決するための手段】
上記目的を達成するために、発明者が鋭意研究をした結果、次のような知見を得た。すなわち、被写体を撮影するための撮影カメラ部と、この撮影カメラ部で撮影しようとする被写体とを相対的に移動させながらその被写体を撮影するように走査することにより、走査各位置で撮影した撮影像(多数方向からの撮影像)を取得し、この取得した走査各位置の撮影像を被写体領域に仮想的に設定される3次元格子群の各格子点に逆投影して、3次元被写体像を生成するという画像再構成を施すことにより、実効開口角の大きい仮想大口径レンズカメラを実現して、被写界深度の浅い一群の被写体像を得ることを見出したのである。また、上述の取得した走査各位置の撮影像や逆投影後の3次元被写体像などに対して適切なフィルタリングを施すことによって高品質な被写体像を得ることも見出したのである。
【0008】
このような知見に基づくこの発明は次のような構成を採る。すなわち、請求項1に記載の3次元光学カメラは、(a)被写体を撮影する撮影カメラ部と、(b)前記撮影カメラ部と被写体とを相対的に直線または円移動させながら被写体を撮影するように走査する走査機構部と、(c)走査各位置において撮影された撮影データを、被写体領域に仮想的に設定される3次元格子群の各格子点に単純逆投影して、3次元被写体像を生成する画像再構成を行う単純逆投影処理部とを備え、走査各位置で撮影された撮影データまたはそれらを画像再構成して生成された3次元被写体像に対して、画像再構成して生成された3次元被写体像における偽像を低減するためのフィルタリングをかけるフィルタリング部を備え、前記フィルタリング部は、走査軌道が直線軌道の場合、走査各位置で撮影された撮影データの走査軌道により決まるフィルタリング方向に対して、通過帯域を走査各位置に応じたローパスフィルタリングをかけ、走査軌道が円軌道の場合、走査各位置で撮影された撮影データの走査軌道により決まるフィルタリング方向に対して、ローパスフィルタリングをかけ、さらに、ローパスフィルタリングをかけた方向に垂直な方向に対して|ω|フィルタリングをかけて前記単純逆投影処理部に出力する2Dフィルタリング部を備えたことを特徴とするものである。
【0009】
また、請求項2に記載の3次元光学カメラは、(a)被写体を撮影する撮影カメラ部と、(b)前記撮影カメラ部と被写体とを相対的に移動させながら被写体を撮影するように走査する走査機構部と、(c)走査各位置において撮影された撮影データを、被写体領域に仮想的に設定される3次元格子群の各格子点に逆投影して、3次元被写体像を生成する画像再構成を行う単純逆投影処理部とを備え、走査各位置で撮影された撮影データまたはそれらを画像再構成して生成された3次元被写体像に対して、画像再構成して生成された3次元被写体像における偽像を低減するためのフィルタリングをかけるフィルタリング部を備え、前記フィルタリング部は、前記単純逆投影処理部で生成された3次元被写体像を3次元フーリエ変換する3次元フーリエ変換部と、3次元フーリエ変換したフーリエ空間データの予め定められた被写体軸方向にローパスフィルタリングをかけるフーリエ空間ローパスフィルタリング部と、ローパスフィルタリングしたフーリエ空間データを3次元逆フーリエ変換して3次元被写体像に戻す3次元逆フーリエ変換部とを備えたことを特徴とするものである。
また、請求項3に記載の3次元光学カメラは、請求項1または2に記載の3次元光学カメラにおいて、前記走査機構部は、前記撮影カメラ部が被写体に対して所定位置にあるときのこの被写体と前記撮影カメラ部とを結ぶ被写体軸に直交する直線軌道上に、前記撮影カメラ部を直線移動させることを特徴とするものである。
【0010】
また、請求項4に記載の3次元光学カメラは、請求項1または2に記載の3次元光学カメラにおいて、被写体に対向して前記撮影カメラ部側に設定される平面は、この平面内の特定点である回転中心点と被写体とを結ぶ被写体軸に直交する平面とし、前記走査機構部は、前記平面内でその回転中心周りに前記撮影カメラ部を回転移動させることを特徴とするものである。
【0011】
また、請求項5に記載の3次元光学カメラは、請求項1または2に記載の3次元光学カメラにおいて、前記走査機構部は、被写体周りの円周軌道の一部である単一の円弧軌道上に前記撮影カメラ部を移動させることを特徴とするものである。
【0012】
また、請求項6に記載の3次元光学カメラは、請求項1または2に記載の3次元光学カメラにおいて、被写体に対向して前記撮影カメラ部側に設定される平面は、この平面内の特定点と被写体とを結ぶ被写体軸に直交する平面とし、前記撮影カメラ部は、前記平面内でその特定点から離れた任意点に固定配置され、前記走査機構部は、被写体を被写体軸周りに回転させることを特徴とするものである。
【0013】
また、請求項7に記載の3次元光学カメラは、請求項1または2に記載の3次元光学カメラにおいて、被写体に対向して前記撮影カメラ部側に設定される平面は、この平面内の特定点である回転中心点と被写体とを結ぶ被写体軸に直交する平面とし、前記撮影カメラ部は、被写体軸上に被写体に向けるようにして配設され、前記走査機構部によって被写体軸周りに回転させられながら、被写体軸に対して傾いた方向から光学像を反射させて前記撮影カメラ部に結像させる回転型光学ミラーを前記撮影カメラ部と前記被写体との間に備えたことを特徴とするものである。
【0014】
また、請求項8に記載の3次元光学カメラは、請求項1または2に記載の3次元光学カメラにおいて、前記走査機構部は、被写体が前記撮影カメラ部に対して所定位置にあるときのこの被写体と前記撮影カメラ部とを結ぶ被写体軸に直交する直線軌道上に、被写体を直線移動させるとともに、この移動中の被写体を追従して撮影するように前記撮影カメラ部を首振りさせることを特徴とするものである。
【0015】
また、請求項9に記載の3次元光学カメラは、請求項3、4、6、7、8のいずれかに記載の3次元光学カメラにおいて、前記単純逆投影処理部は、3次元格子群の直交3軸方向の各格子間隔のうち、被写体軸方向の格子間隔を他の2方向の格子間隔よりも長くして3次元被写体像を生成することを特徴とするものである。
【0016】
また、請求項10に記載の3次元光学カメラは、請求項4、6、7のいずれかに記載の3次元光学カメラにおいて、前記単純逆投影処理部は、3次元格子群の直交3軸方向の各格子間隔のうち、被写体軸方向の格子間隔を他の2方向の格子間隔よりも長くして3次元被写体像を生成し、3次元格子群の被写体軸方向の格子間隔長さは、前記撮影カメラ部の撮像面の1画素分が被写体軸に投影された長さである被写体軸方向検出画素長に基づいて設定されることを特徴とするものである。
【0017】
【0018】
【0019】
【0020】
また、請求項11に記載の3次元光学カメラは、請求項1から請求項10のいずれかに記載の3次元光学カメラにおいて、走査各位置における撮影データの位置校正を行なうためのマーカを被写体領域に配置しておき、前記単純逆投影処理部は、走査各位置において撮影された撮影データを、その撮影データ内のマーカを基準に位置合わせするように3次元格子群の各格子点に逆投影して、3次元被写体像を生成する画像再構成を行うことを特徴とするものである。
【0021】
また、請求項12に記載の3次元光学カメラは、請求項1から請求項11のいずれかに記載の3次元光学カメラにおいて、前記単純逆投影処理部は、被写体領域に仮想的に設定される3次元格子群を、前記撮影カメラ部から離れるに従って末広がりとなる四角錐形状とすることを特徴とするものである。
【0022】
【作用】
この発明の作用は次の通りである。すなわち、請求項1または2に記載の発明によれば、走査機構部は、被写体を撮影する撮影カメラ部と被写体とを相対的に移動させながら被写体を撮影するように走査する。単純逆投影処理部は、走査各位置において撮影された撮影データを、被写体領域に仮想的に設定される3次元格子群の各格子点に単純逆投影して、3次元被写体像を生成する画像再構成を行う。したがって、3次元被写体像を構成する被写界深度の浅い一群の撮影像、すなわち、被写体と撮影カメラ部とを結ぶ直線である被写体軸の方向に並べられた、被写界深度の浅い一群の撮影像が得られる。また、フィルタリング部は、走査各位置で撮影された撮影データまたはそれらを画像再構成して生成された3次元被写体像に対して、画像再構成して生成された3次元被写体像における偽像を低減するためのフィルタリングをかけるので、欠損円錐などの欠損データの影響による偽像を低減した3次元被写体像が得られる。また、請求項1に記載の発明によれば、2Dフィルタリング部は、走査各位置で撮影された撮影データの走査軌道により決まるフィルタリング方向に対して、走査軌道に応じたフィルタリングをかけて単純逆投影処理部に出力するので、欠損円錐などの欠損データの影響による偽像を低減した3次元被写体像が得られる。また、請求項2に記載の発明によれば、3次元フーリエ変換部は、単純逆投影処理部で生成された3次元被写体像を3次元フーリエ変換する。フーリエ空間ローパスフィルタリング部は、3次元フーリエ変換したフーリエ空間データの被写体軸方向にローパスフィルタリングをかける。3次元逆フーリエ変換部は、ローパスフィルタリングしたフーリエ空間データを3次元逆フーリエ変換して3次元被写体像に戻す。したがって、欠損円錐などの欠損データの影響による偽像を低減した3次元被写体像が得られる。
【0023】
また、請求項3に記載の発明によれば、走査機構部は、撮影カメラ部が被写体に対して所定位置にあるときのこの被写体と撮影カメラ部とを結ぶ被写体軸に直交する直線軌道上に、撮影カメラ部を直線移動させる。したがって、撮影カメラ部を直線移動走査させて、3次元被写体像を生成する画像再構成を行うための撮影が行える。
【0024】
また、請求項4に記載の発明によれば、被写体に対向して撮影カメラ部側に設定される平面は、この平面内の特定点である回転中心点と被写体とを結ぶ被写体軸に直交する平面とし、走査機構部は、前記平面内でその回転中心周りに撮影カメラ部を回転移動させる。したがって、撮影カメラ部を回転移動走査させて、3次元被写体像を生成する画像再構成を行うための撮影が行える。
【0025】
また、請求項5に記載の発明によれば、走査機構部は、被写体周りの円周軌道の一部である単一の円弧軌道上に撮影カメラ部を移動させる。したがって、撮影カメラ部を円弧走査させて、3次元被写体像を生成する画像再構成を行うための撮影が行える。
【0026】
また、請求項6に記載の発明によれば、被写体に対向して撮影カメラ部側に設定される平面は、この平面内の特定点と被写体とを結ぶ被写体軸に直交する平面とし、撮影カメラ部は、前記平面内でその特定点から離れた任意点に固定配置され、走査機構部は、被写体を被写体軸周りに回転させる。したがって、被写体自体を回転させることでこの被写体を走査する、3次元被写体像を生成する画像再構成を行うための撮影が行える。
【0027】
また、請求項7に記載の発明によれば、被写体に対向して撮影カメラ部側に設定される平面は、この平面内の特定点である回転中心点と被写体とを結ぶ被写体軸に直交する平面とし、撮影カメラ部は、被写体軸上に被写体に向けるようにして配設され、回転型光学ミラーは、走査機構部によって被写体軸周りに回転させられながら、被写体軸に対して傾いた方向から光学像を反射させて撮影カメラ部に結像させる。したがって、回転型光学ミラーを回転走査させて、3次元被写体像を生成する画像再構成を行うための撮影が行える。
【0028】
また、請求項8に記載の発明によれば、走査機構部は、被写体が撮影カメラ部に対して所定位置にあるときのこの被写体と撮影カメラ部とを結ぶ被写体軸に直交する直線軌道上に、被写体を直線移動させるとともに、この移動中の被写体を追従して撮影するように撮影カメラ部を首振りさせる。したがって、被写体を直線移動させることでこの被写体を走査する、3次元被写体像を生成する画像再構成を行うための撮影が行える。
【0029】
また、請求項9に記載の発明によれば、単純逆投影処理部は、3次元格子群の直交3軸方向の各格子間隔のうち、被写体軸方向の格子間隔を他の2方向の格子間隔よりも長くして3次元被写体像を生成する。被写体の撮影は、通常、撮影カメラ部を被写体周りに半回転以上させない、つまり、被写体の全周囲のうちの極限られた一側面のみから被写体を撮影するという一般的な方式であるので、撮影された被写体、つまり、被写体領域を3次元座標系で説明すると、被写体軸の方向の情報量が少なく、被写体軸方向の分解能は他の残りの2軸方向の分解能に比べて悪いものとなっている。したがって、撮影された被写体領域に仮想的に設定される3次元格子群の3軸のうちの被写体軸方向の格子間隔を他の2軸方向の格子間隔よりも長くして伸ばしたとしても、被写体軸方向の画像情報を無駄にすることにはならないし、却って、処理時間を短くできる。このように、各3軸方向の格子間隔が等間隔に設定された3次元格子群に逆投影する場合と比べて、3次元格子群の被写体軸方向の格子間隔を他の2方向の格子間隔よりも長くしている分逆投影するデータ量が低減され、画像再構成に係る処理時間が短縮される。
【0030】
また、請求項10に記載の発明によれば、3次元格子群の被写体軸方向の格子間隔長さは、撮影カメラ部の撮像面の1画素分が被写体軸に投影された長さである被写体軸方向検出画素長に基づいて設定される。したがって、被写体軸から最も離れた走査位置にある撮影カメラ部と被写体とを結ぶ直線と、被写体軸とのなす角度に応じて被写体軸方向の格子間隔の長さが設定される。
【0031】
【0032】
【0033】
【0034】
また、請求項11に記載の発明によれば、走査各位置における撮影データの位置校正を行なうためのマーカを被写体領域に配置しておき、単純逆投影処理部は、走査各位置において撮影された撮影データを、その撮影データ内のマーカを基準に位置合わせするように3次元格子群の各格子点に逆投影して、3次元被写体像を生成する画像再構成を行う。したがって、撮影データ内のマーカに基づいて、走査各位置における撮影データの位置校正が行なえる。
【0035】
また、請求項12に記載の発明によれば、単純逆投影処理部は、被写体領域に仮想的に設定される3次元格子群を、撮影カメラ部から離れるに従って末広がりとなる四角錐形状とする。したがって、被写体領域を、遠景物を含むような広範囲に設定するような場合に、好適な3次元格子群が設定できる。
【0036】
【発明の実施の形態】
以下、図面を参照してこの発明の3次元光学カメラに係る一実施例について、図面を参照しながら説明する。
【0037】
<第1実施例>
図1は、この発明の3次元光学カメラの第1実施例に係るブロック図である。図2(a)は、撮影カメラ部の一走査形態を示す模式図である。この第1実施例の3次元光学カメラは、種々の情報および命令を入力する操作部10と、これら入力された情報および命令に基づいて被写体撮影を制御する撮影制御部20と、この撮影制御部20による制御に従って、撮影カメラ部40と被写体とを相対的に移動させながら被写体を撮影するように走査する走査機構部30と、被写体を撮影する撮影カメラ部40と、この撮影カメラ部40で撮影された画像情報に基づいて被写体領域の3次元ボリュームデータである3次元被写体像を生成する画像再構成を行ない、その生成した3次元被写体像を記憶するデータ処理部50と、このデータ処理部50に記憶された画像情報を表示する画像表示部としてのモニタ60とを備えている。
【0038】
以下、各部の構成および機能について詳細に説明する。図1、図2(a)に示すように、被写体に対向して撮影カメラ部40側に設定される平面は、この平面内の特定点である回転中心点DSと被写体とを結ぶ被写体軸(Z軸)に直交する平面とし、走査機構部30は、前記平面内でその回転中心(Z軸)周りに撮影カメラ部40を回転移動させるように走査して、被写体すなわち被写体領域を撮影カメラ部40で撮影させる。操作部10からは、被写体を撮影する前に、図1に示す撮影カメラ部40を円形に回転移動させるその円形軌道の直径距離(例えば、1m)や、撮影カメラ部40を円形に回転移動させる間にどの程度のピッチで撮影を行なうかというビュー数(例えば100〜1000)などが予め設定入力される。なお、この操作部10としては、キーボード、マウス、タッチパネルなどの入力装置が用いられる。
【0039】
撮影制御部20には、操作部10と走査機構部30と撮影カメラ部40とデータ処理部50とモニタ60とが接続されている。撮影制御部20は、操作部10より設定入力された各情報に基づいて、走査機構部30と撮影カメラ部40とデータ処理部50とモニタ60とをそれぞれ制御している。制御内容については、各部にて後述する。
【0040】
走査機構部30は、図1,図2(a)に示すように、上述の平面内でその回転中心(Z軸)周りに撮影カメラ部40を円形軌道上に回転移動させるように走査させて、被写体すなわち被写体領域を撮影カメラ部40で撮影させるためのものである。また、このとき、走査各位置において、被写体の特定面の中心点(被写体領域の中心点O)と撮影カメラ部40の撮像面Dの中心点とを結ぶ直線が撮影カメラ部40の撮像面Dに直交するように、常に撮影カメラ部40を被写体に対向させている。また、図2(a),(b)に示すように、走査各位置において撮影カメラ部40の撮像面Dの横軸方向(U方向)は常にX方向と平行になるようにしている。
【0041】
撮影カメラ部40は、被写体を撮影することによって、その撮影した被写体の映像を、レンズ系などを用いて、CCD等の撮像素子で構成される撮像面Dに結像させて、この撮像面Dに結像された被写体像をメモリに記憶し、メモリに記憶された被写体像を適宜に読み出し可能なものであり、例えば光学デジタルカメラなどが挙げられる。この撮影カメラ部40の撮像面Dは、画素と呼ばれる単位撮像素子が縦横に配列されている所謂2次元状マトリックス状の平面形状のものである。この第1実施例の撮像面Dにおける単位撮像素子の配列は、例えば横方向1024,縦方向1024の正方形マトリックスであるが、説明の便宜上、横方向1000,縦方向1000の正方形マトリックスであるものとする。この単位撮像素子は、例えば、ホトダイオードのように光を受けて起電力を生ずる光電素子と、その起電力すなわち電荷を一時的に蓄えておく電荷蓄積素子とのペアで成り立っている。撮影カメラ部40で撮影されてメモリに記憶された被写体像は、逐次、データ処理部50にリアルタイムに出力される。
【0042】
次に、データ処理部50の構成および機能について説明する。データ処理部50は、走査各位置において撮影カメラ部40で撮影された撮影データを、被写体領域に仮想的に設定される3次元格子群の各格子点に逆投影して、3次元被写体像を生成する画像再構成を行った後に、この3次元被写体像に所定のフィルタリング処理を施す3次元演算部51と、この3次元演算部51で画像再構成されてフィルタリング処理された3次元被写体像を記憶する画像情報記憶部52とを備えている。この3次元演算部51と画像情報記憶部52の具体的な機能について説明する。
【0043】
ここで、この3次元演算部51における3次元被写体像を生成する画像再構成の一連の処理手順について、図3を参照しながら概説する。図3に示すように、まず、撮影カメラ部40を円形に回転走査することで、被写体すなわち被写体領域についての撮影を行ない、走査各位置で検出された、被写体領域についての一群の撮影データを取得する。図3には、この一群の撮影データを「撮影像群」として示している。次に、この一群の撮影データを単純逆投影(単純バックプロジェクション:単純BP)して被写体領域の単純BP中間像を生成する。次に、この単純BP中間像を3次元フーリエ変換して、実空間データからフーリエ空間データに変換した3次元フーリエ分布像(図3には、3次元フーリエ空間座標で表示しているものに対応する)を生成する。次に、この3次元フーリエ分布像に対して後述するフィルタリング処理を施す(|ω|フィルタリング(絶対値オメガフィルタリング)やローパスフィルタリング)。次に、フィルタリング処理を施した3次元フーリエ分布像を3次元逆フーリエ変換して、フーリエ空間データから実空間データに戻し、3次元ボリュームデータ(図3には、右端側に表示され、周方向に幾本かの破線が図示されている円柱状のものに対応する)が生成される。このようにして、被写体領域の3次元ボリュームデータである3次元被写体像を生成する画像再構成が行なわれる。なお、オペレータは、この3次元被写体像から任意の面の被写体画像を選択することで、選択した面の被写体画像が見られる(図3には、最右端に表示された厚みの薄い円柱状のものをZ軸方向から見ているものに対応する)。上述したように、一旦、単純BP中間像を生成し、この単純BP中間像をフーリエ空間で所定のフィルタリング処理を施すという手法を、F(フーリエ)空間フィルタ法と呼ぶ。
【0044】
3次元演算部51は、図4に示すように、走査各位置で撮影された、被写体領域についての一群の撮影データを、撮影された被写体領域に仮想的に設定される3次元格子群Kの各格子点に逆投影して、被写体領域の3次元ボリュームデータである3次元被写体像を生成する画像再構成を行う、すなわち、上述の単純BP中間像を生成する逆投影処理を行なう逆投影処理部53を備えている。さらに、この逆投影処理部53は、3次元格子群Kの直交3軸方向の各格子間隔のうちの被写体軸方向の格子間隔を他の2方向の格子間隔よりも長くして3次元被写体像を生成するように設定できる。
【0045】
上述の逆投影処理を説明する前に、どのような位置関係でもって一群の撮影データを3次元格子群Kの各格子点に逆投影するのかということについて説明する。この第1実施例の3次元光学カメラにおける被写体像の撮像面Dへの結像は、図5(a)に示すような針穴写真機の場合の撮影メカニズムと基本的に同じであると言える。すなわち、針穴写真機の撮影メカニズムは、撮影しようとする被写体Mの映像を、針穴写真機の撮像面Dと被写体Mとの間に設けられた針穴を介してその撮像面Dに結像させるものである。図5(a)では、被写体Mとしての2個の楕円体のうちで針穴に近い楕円体の黒点が、撮像面Dの下方側に結像されている。例えば、この撮像面Dから針穴までを、被写体Mの背後側に、撮像面Dに結像された黒点と楕円体の黒点との位置関係が合うように折り返してみると、図5(b)に示すように、図5(a)に示した針穴をX線照射源に見たてるとともに、図5(a)に示すように折り返した撮像面DをX線面検出器に見たてたX線透視像撮影装置におけるX線透視像の撮影メカニズムに置き換えて考えることができる。すなわち、図5(b)に示したX線透視像の撮影メカニズムでは、X線照射源とX線面検出器とを結ぶ各直線上に物体が重複して観測されることに対して、図5(a)に示した針穴写真機の撮影メカニズムでは、針穴に近い楕円体の背後にある楕円体の黒点は見えずに観測されないという違いが両者にはあるが、得られる情報の位置関係は両者とも同じである。したがって、図5(b)に示した位置関係でもって、走査各位置で撮影された一群の撮影データを3次元格子群Kの各格子点に逆投影して上述の単純BP中間像を生成する逆投影処理を行なうことについて説明する。
【0046】
図6,7に示すように、3次元格子群Kの各軸方向における最小単位の格子間隔は、撮影カメラ部40の撮像面Dの画素ピッチとの関係で決まる。すなわち、撮影カメラ部40はその画素が1000×1000の2次元マトリックス状に配置されていることから、3次元格子群Kの各3軸(X,Y,Z軸)方向の格子点の最大設定数はそれぞれ1000となる。この第1実施例では、3次元格子群KのX,Y軸方向の格子点数をそれぞれ1000とし、例えば3次元格子群KのZ軸方向の格子点数を500としている。すなわち、Z軸方向の格子点数は、X,Y軸方向の格子点数の1/2となっており、Z軸方向の格子間隔は、X,Y軸方向の格子間隔の2倍に伸ばされて長くなっていると言える。なお、3次元格子群KのZ軸方向の格子間隔を、X,Y軸方向の格子間隔と比べてどの程度に長く設定するのかは、オペレータが操作部10から入力設定することで、任意に変更設定可能である。
【0047】
なおここで、3次元格子群Kの各軸方向の格子間隔と撮影カメラ部40の撮像面Dの画素ピッチとの関係についてもう少し詳細に説明する。図7に示すように、撮影カメラ部40の撮像面Dの画素ピッチと3次元格子群のZ,Y軸方向の格子間隔、すなわち、Z,Y軸方向検出画素長ΔVZ,ΔVYとは、次に示す式(1),(2)の関係にある。なお、このZ,Y軸方向検出画素長は、図7に示すように、撮影カメラ部40の撮像面Dが仮想照射源Rと撮像面Dとを結ぶ直線RDに直交している場合についてのものであり、仮想照射源Rから3次元格子群Kの中心点Oまでの距離ROとし、仮想照射源Rから撮影カメラ部40の撮像面Dまでの距離RDとし、撮影カメラ部40の撮像面Dの1画素ピッチをΔ(=ΔU、ΔV)とする。Z軸(被写体軸)上に配置された仮想垂直面検出器VDのZ軸方向における対応1画素ピッチΔVZ(被写体軸方向検出画素長)は、式(1)により算出され、仮想垂直面検出器VDのY軸方向における対応1画素ピッチΔVY(Y軸方向検出画素長)は、式(2)により算出される。
【0048】
ΔVZ=Δ・RO/RD/sin θ …… (1)
ΔVY=Δ・RO/RD …… (2)
【0049】
例えば、Δ(=ΔX、ΔY)は160μm、ROは700mm、RDは1200mm、θは30°として被写体撮影された場合は、ΔVZは186.6μm、ΔVYは93.3μmとなる。被写体軸方向検出画素長は、sin θに反比例し、X,Y軸方向検出画素長よりも長くなっている。撮影された被写体領域に仮想的に設定される3次元格子群KのZ軸方向の格子間隔をX,Y軸方向の格子間隔と比べて例えば2倍長く設定する際にも、上述の式(1),(2)を基本として採用している。
【0050】
次に、逆投影処理部53により、特定の走査位置の撮影カメラ部40で検出された撮影データを、上述のZ軸方向の格子間隔を長くした3次元格子群Kに逆投影する動作について説明する。図6に示すように、例えば、3次元格子群Kの任意の格子点P(l,m,n)に逆投影すべき撮影データは、仮想照射源Rと格子点P(l,m,n)とを結ぶ直線が撮影カメラ部40の撮像面Dと交わる点Dpにおける画素値を、この点Dp に最近接する例えば4点の画素d1〜d4 についての画素値を加重平均して求める。この加重平均して求めた画素値を3次元格子群Kの任意の格子点P(l,m,n)に逆投影する。3次元格子群Kの残りの所定の格子点についても、前記と同様にして逆投影を行ない、さらに、走査各位置ごとにこれと同様の逆投影を行なうことで、単純BP中間像が生成される。なお、図4には、撮影カメラ部40が#1位置にあるときに撮影された撮影データは、仮想照射源Rがその#1位置にあると見立てるとともに、撮影カメラ部40の撮像面Dが3次元格子群Kの背面側に仮想照射源Rに対向するように折り返されて配置されたと見立てることによって、3次元格子群Kの各所定面(例えばA面〜C面)のうちの例えばC面のある格子点に逆投影すべき、背面側に配置された撮影カメラ部40の撮像面Dの撮影データにおける画素値Dpを、上述のように加重平均して求めて逆投影する状態を模式的に示している。
【0051】
さらに、3次元演算部51は、図1に示すように、逆投影処理部53で生成された3次元ボリュームデータを3次元フーリエ変換する3次元フーリエ変換部54と、3次元フーリエ変換したフーリエ空間データ(3次元フーリエ分布像)に対して所定のフィルタリング(例えば、|ω|フィルタリングやローパスフィルタリング)を施すフーリエ空間フィルタリング部55と、このフーリエ空間フィルタリング部55でフィルタリングしたフーリエ空間データ(フィルタリング後の3次元フーリエ分布像)を3次元逆フーリエ変換して3次元ボリュームデータに戻す3次元逆フーリエ変換部56とで構成されるフィルタリング部57を備えている。
【0052】
3次元フーリエ変換部54は、次に示す式(3)に基づいて、逆投影処理部53で生成された3次元ボリュームデータ(単純BP中間像)を3次元フーリエ変換する。なお、単純BP中間像をf(X,Y,Z)とし、X,Y,Zは実数であり、3次元フーリエ変換の数式は次に示す式(3)で表される。
F(ωX,ωY,ωZ)=∫∫∫f(X,Y,Z)・exp {−j(ωX・X+ ωY・Y+ωZ・Z)}dX・dY・dZ … (3)
さらに、3次元フーリエ変換部54は、直流成分がフーリエ空間中心に位置するように並べ替えを行ない、図3に示すような3次元フーリエ空間座標表示の3次元フーリエ分布像を得る。
【0053】
フーリエ空間フィルタリング部55は、その機能を大別すると次に説明する3個のフィルタを備えていると言え、図3に示すように、3次元フーリエ変換したフーリエ空間データ(3次元フーリエ分布像)の被写体軸(ωZ軸)方向にローパスフィルタをかけるフーリエ空間ローパスフィルタリング部と、ωR方向(フーリエ空間のωX,ωY軸の形成する面方向:図9参照)に等方的に高周波領域を低減して高周波ノイズ分を抑制するフィルタとデータ収集走査形態に依存するフィルタとにより構成される|ω|フィルタリング部とを備えている。なお、上述のデータ収集走査形態に依存するフィルタは、被写体に対向する平面内で被写体軸(Z軸)周りに円形に回転走査されることによって、3次元フーリエ分布像がωZ軸に密集するのを補正するためにωR面で|ω|に比例するフィルタリングを行なうことになる。すなわち、フィルタリング後の3次元フーリエ分布像を3次元逆フーリエ変換する際に、直流成分が強調されて3次元ボリュームデータが生成されるのを抑制しており、直流成分が強調されることに起因する偽像を低減しているのである。
【0054】
ここで、3次元フーリエ空間でフィルタリング処理を行なうことの意味合いについて説明する。3次元フーリエ空間でフィルタリング処理を行なうことは、数学的には次に示す式(4)で示される。なお、FM(ωX,ωY,ωZ)はフィルタリング処理された後の3次元フーリエ分布像であり、M(ωX,ωY,ωZ)は上述したフーリエ空間フィルタリング部55のフィルタ特性を示す関数である。
FM(ωX,ωY,ωZ)=F(ωX,ωY,ωZ)×M(ωX,ωY,ωZ ) … (4)
【0055】
図10に示すように、上述のフィルタ関数M(ωX,ωY,ωZ)の分布を3次元フーリエ空間の3次元フーリエ分布像に重畳してイメージ的に図示する。3次元フーリエ空間でフィルタリング処理を行なうことは、複素数データである3次元フーリエ分布像に各周波数値に依存した実数値のフィルタ関数Mを重み付けすることであり、その重み関数MがωZ方向につぶれた「パン型」の回転楕円体状を呈しているということである。M(ωX,ωY,ωZ)は、前述の3個のフィルタ特性を表す関数の積として次に示す式(5)のように表される。
【0056】
M(ωX,ωY,ωZ)=Mdepth (ωZ)・Mr(ωr)・Mω(ωR)… (5)
式(5)に示した各フィルタ関数系の典型例について、以下に示す。
【0057】
Mdepth (ωZ)は、図11(a)に示すようなローパスフィルタ特性、すなわち、ガウス型特性を有しており、次に示す式(6)で表される。
Mdepth (ωZ)=exp {−0.693・(ωZ/CFD)2 }… (6)
ただし、CFDはガウス型減衰が半分になる周波数である(図11(a)参照)。
【0058】
Mr(ωr)は、図11(b)に示すようなフィルタ特性を有しており、次に示す式(7)〜(9)で表される。
Mr(ωr)=1 (ωr<CFR−WFR/2である場合) … (7)
Mr(ωr)={1−sin((ωr−CFR)・π/WFR)}/2 (CFR−WFR/2<ωr<CFR+WFR/2である場合)… (8)
Mr(ωr)=0 (CFR+WFR/2<ωrである場合) … (9)
ただし、ωr=√(ωX2+ωY2+ωZ2)であり、高周波成分が図12(b)に示すように滑らかに減衰する正弦波状関数型にした。CFRはカットオフ周波数であり、WFRはフィルタ強度の遷移全周波数幅である(図11(b)参照)。このMr(ωr)は、図9に示した3次元フーリエ空間で原点から離れた成分(高周波成分)を削除するものである。
【0059】
Mω(ωR)は、図11(c)に示すようなフィルタ特性を有しており、次に示す式(10)で表される。ただし、ωR=√(ωX2+ωY2)である。
Mω(ωR)=|ωR| … (10)
【0060】
なお、図11(a)〜(c)には、横軸のプラス方向の特性のみを図示しているが、横軸のマイナス方向の特性は、縦軸を中心に横軸のプラス方向の特性を線対称させたものと同じであるので、図示省略している。
【0061】
ここで、フーリエ空間ローパスフィルタリング部についてもう少し詳細に説明する。フーリエ空間ローパスフィルタリング部は、図11(a)に示すように、上述のMdepth (ωZ)で表されるガウス型のローパスフィルタ特性を有するものであり、図8に示した3次元フーリエ変換したフーリエ空間データ(3次元フーリエ分布像)の被写体軸(ωZ軸)方向にローパスフィルタをかけるものである。このローパスフィルタリングの必要性について以下に説明する。図8に示すように、3次元フーリエ変換したフーリエ空間データ(3次元フーリエ分布像)には、ωZ軸を軸心とし互いの中心角の先端がフーリエ空間座標の原点で交わる2つの欠損円錐(ミッシングコーン:Missing Cone)MSが存在する。この2つの欠損円錐MSは、データが欠落して存在していないものである。この2つの欠損円錐MSは、被写体に対向させた平面内で被写体軸(Z軸)周りに円形に撮影カメラ部40を回転走査させるなどの撮影方式に起因して生じるものである。すなわち、被写体の撮影は、撮影カメラ部40を被写体周りに半回転以上させない、つまり、被写体の全周囲のうちの極限られた一側面のみから被写体を撮影するので、撮影された被写体、つまり、被写体領域を3次元座標系で説明すると、被写体軸の方向の情報量が少なく、被写体軸方向の分解能は他の残りの2軸方向の分解能に比べて悪いものとなっていることに起因しているのである。このように、フーリエ空間ローパスフィルタリング部は、図8に示した2つの欠損円錐MSの影響を低減させるように被写体軸(ωZ軸)方向にローパスフィルタをかけることが特徴となっている。
【0062】
具体的には、図12に示すように、2つの欠損円錐MSが存在するフーリエ空間データ(3次元フーリエ分布像)の被写体軸(ωZ軸)方向に、逆投影処理部53でX,Y軸と比べて例えば4倍長くした被写体軸方向検出画素長に同等なローパスフィルタをかける。すなわち、図12(b)に示すように、3次元フーリエ分布像のZ軸原点から高周波成分までを「4」とすると、ガウス型関数のピークから半値幅FWHMまでを「1」とするようにしてローパスフィルタリングを行なう。このように、ローパスフィルタリング処理前の図12に破線で示す3次元フーリエ分布像に対して、被写体軸方向検出画素長の4倍に相当するローパスフィルタ関数Mdepth (ωZ)をかけると、被写体軸(ωZ軸)方向における高周波成分がカットされて、ローパスフィルタリング処理後の図12に実線で示す3次元フーリエ分布像(ローパスフィルタ関数Mdepth (ωZ)の半値幅FWHMが対応する部分の3次元フーリエ分布像)が生成されることになる。図12(a),(b)に示すように、ローパスフィルタリング処理後の3次元フーリエ分布像全体に対する欠損円錐MSの占める割合は、ローパスフィルタリング処理前の3次元フーリエ分布像全体に対する欠損円錐MSの占める割合と比べて小さくなっているので、3次元フーリエ分布像に対する欠損円錐MSの影響を低減させることができ、これにより、後述の3次元逆フーリエ変換して生成された3次元ボリュームデータでの偽像が低減できるのである。
【0063】
3次元逆フーリエ変換部56は、フーリエ空間ローパスフィルタリング部でローパスフィルタリングされたフーリエ空間データを、次に示す式(11)に基づいて、3次元逆フーリエ変換して3次元ボリュームデータに戻す。なお、3次元フーリエ変換の数式は次に示す式(11)で表され、FM(ωX,ωY,ωZ)はフィルタリング処理された後の3次元フーリエ分布像であり、fm(X,Y,Z)は3次元逆フーリエ変換された3次元ボリュームデータである。
fm(X,Y,Z)=1/8π3 ∫∫∫FM(ωX,ωY,ωZ)・exp {j(ωX・X+ωY・Y+ωZ・Z)}dωX・dωY・dωZ … (11)
【0064】
画像情報記憶部52は、3次元逆フーリエ変換部56で3次元逆フーリエ変換された3次元ボリュームデータ(3次元被写体像)を記憶しており、3次元被写体像のうちの被写体軸(Z軸)に直交する任意の面の被写体の画像情報が操作部10から選択されると、その任意の面の被写体像をモニタ60に出力する。
【0065】
モニタ60は、画像情報記憶部52から出力された被写体像を画面表示するものである。なお、撮影しようとする被写体に対しては、上述の画像再構成された3次元被写体像として十分なコントラストがつくように、十分な照明光が当てられている。
【0066】
次に、上述した構成を備えた第1実施例装置の動作について説明する。まず、オペレータは、被写体領域を撮影する前に、図2に示すように、撮影カメラ部40を円形に回転移動させるその円形軌道の直径距離(例えば、1m)や、撮影カメラ部40を円形に回転移動させる間にどの程度のピッチで撮影を行なうかというビュー数(例えば100〜1000)や、3次元格子群Kの被写体軸(Z軸)方向の格子間隔を、X,Y軸方向の格子間隔と比べて例えば2倍長くする設定などを操作部10から入力する。
【0067】
図3に示すように、撮影カメラ部40が被写体に対向する平面内で被写体軸(Z軸)周りに円形に回転走査されて、被写体領域についての撮影が行なわれ、走査各位置で検出された、被写体領域についての一群の撮影データが取得される。
【0068】
逆投影処理部53は、上述したように、この一群の撮影データを3次元格子群に単純逆投影(単純BP)して単純BP中間像を生成する。
【0069】
次に、3次元フーリエ変換部54は、逆投影処理部53で生成された単純BP中間像を3次元フーリエ変換して、実空間データからフーリエ空間データに変換する。
【0070】
次に、フーリエ空間フィルタリング部55は、上述したように、3次元フーリエ変換部54で3次元フーリエ変換されたフーリエ空間データにフィルタリング(|ω|フィルタリングやローパスフィルタリング)処理を施す。
【0071】
次に、3次元逆フーリエ変換部56は、フーリエ空間フィルタリング部55でフィルタリング処理が施されたフーリエ空間データを3次元逆フーリエ変換して、フーリエ空間データから実空間データに戻し、3次元ボリュームデータが生成される。このようにして、被写体領域の3次元ボリュームデータを生成する画像再構成が行なわれる。
【0072】
画像情報記憶部52は、3次元逆フーリエ変換部56で3次元逆フーリエ変換された3次元ボリュームデータを記憶する。画像情報記憶部52に記憶された3次元ボリュームデータのうちの被写体軸(Z軸)に直交する各面の被写体像は、オペレータの操作によって、適宜にモニタ60に映し出される。例えば、オペレータにより任意に選択された面の被写体像が3次元ボリュームデータから読み出され、モニタ60に映し出される。
【0073】
以上、上述した第1実施例では、走査機構部30は、被写体を撮影する撮影カメラ部40と、被写体とを相対的に移動させながら被写体を撮影するように走査し、逆投影処理部53は、走査各位置において撮影された撮影データを、被写体領域に仮想的に設定される3次元格子群Kの各格子点に逆投影して、3次元被写体像を生成する画像再構成を行うので、3次元被写体像を構成する被写界深度の浅い一群の撮影像、すなわち、被写体と撮影カメラ部40とを結ぶ直線である被写体軸(Z方向)方向に並べられた、被写界深度の浅い一群の撮影像を得ることができる。
【0074】
ここで、図1に示すように、縦置きの黒い楕円体m1と、この縦置きの黒い楕円体m1よりもカメラ側に配置された横置きの白い楕円体m2とを有する被写体領域を、第1実施例の3次元光学カメラで撮影した場合について、具体的に説明する。従来の光学カメラでは被写界深度が浅くないので、図25(a)〜(c)に示すように、各面の被写体像(A面〜C面フォーカス像)には、フォーカスされた面以外の面に位置する楕円体がはっきりと写っていることから、高精度に3次元位置情報が得られないことがわかる。しかし、この発明の3次元光学カメラでは被写界深度を浅くできるので、図13(a)〜(c)に示すように、各面について再構成された被写体像(A面〜C面フォーカス像)には、フォーカスされた面以外の面に位置する楕円体がぼやけてほとんど写っておらず、フォーカスされた面の被写体像のみがはっきりと写るようになっていることから、高精度に3次元位置情報が得られることがわかる。
【0075】
また、被写体に対向して撮影カメラ部40側に設定される平面は、この平面内の特定点である回転中心点と被写体とを結ぶ被写体軸(Z軸)に直交する平面とし、走査機構部30は、前記平面内でその回転中心周りに撮影カメラ部40を回転移動させるので、撮影カメラ部40を回転移動走査させて、3次元被写体像を生成する画像再構成を行うための撮影が行える。
【0076】
また、3次元格子群Kの被写体軸(Z軸)方向の格子間隔長さは、撮影カメラ部40の撮像面Dの1画素分が被写体軸(Z軸)に投影された長さである被写体軸方向検出画素長に基づいて設定されるので、被写体軸(Z軸)から最も離れた走査位置にある撮影カメラ部40と被写体とを結ぶ直線と、被写体軸(Z軸)とのなす角度に応じて被写体軸(Z軸)方向の格子間隔の長さが設定され、3次元格子群Kの被写体軸(Z軸)方向の格子間隔長さを好適に設定することができる。
【0077】
また、逆投影処理部53は、撮影された被写体領域に仮想的に設定される3次元格子群Kの直交3軸方向の各格子間隔のうちの被写体軸(Z軸)方向の格子間隔を、他の2方向(X,Y軸方向)の格子間隔よりも長くし、走査各位置で撮影された撮影データを、被写体軸方向の格子間隔を長くした3次元格子群Kの所定の格子点に逆投影して、被写体領域の3次元ボリュームデータを生成する画像再構成を行なっているので、各3軸方向の格子間隔が等間隔に設定された3次元格子群に逆投影する場合と比べて、3次元格子群Kの被写体軸方向の格子間隔を他の2方向の格子間隔よりも長くしている分逆投影するデータ量を低減することができ、画像再構成に係る処理時間を短縮できるし、被写体軸方向の画像情報を無駄にすることなく逆投影できる。
【0078】
また、フーリエ空間ローパスフィルタリング部は、走査各位置で撮影された撮影データを3次元格子群の各格子点に逆投影して生成した単純BP像を3次元フーリエ変換したフーリエ空間データの被写体軸(ωZ軸)方向に対して、走査軌道に応じたフィルタリング(ローパスフィルタリング)をかけているので、そのローパスフィルタリング後のフーリエ空間データを3次元逆フーリエ変換して生成された3次元ボリュームデータにおける欠損円錐による偽像を低減できる。
【0079】
また、フーリエ空間ローパスフィルタリング部により、被写体軸(Z軸)方向検出画素長の4倍以上にぼかすローパスフィルタリングをかけることは、ローパスフィルタリングのシミュレーション結果から、偽像低減効果が十分得られる最低限の値として得られることが知見によりわかった。勿論、これ以上のローパスフィルタリングをかければ、さらに偽像は低減できるが、その分独立した被写体像の枚数は減少することになる。
【0080】
<第2実施例>
続いて、この発明に係る第2実施例の3次元光学カメラについて説明する。図14は、この発明の3次元光学カメラの第2実施例に係るブロック図である。第2実施例の3次元光学カメラは、第1実施例の3次元演算部51以外については、前述の第1実施例と同様であるので、第2実施例の3次元演算部51aの構成およびその機能について特に詳細に説明するものとする。
【0081】
ここで、この3次元演算部51aにおける、被写体領域の3次元ボリュームデータを生成する画像再構成の一連の処理手順について、図15を参照しながら概説する。図15に示すように、撮影カメラ部40を円形に回転走査することで、被写体すなわち被写体領域についての撮影を行ない、走査各位置で検出された、被写体領域についての一群の撮影データを取得する。図15には、この一群の撮影データを「撮影像群」として示している。次に、これらの撮影データ、すなわち、2D(2次元)データに対して、後述する2Dフィルタリング処理を施す(|ω|フィルタリング(絶対値オメガフィルタリング)やローパスフィルタリング)。次に、2Dフィルタリング処理された一群の撮影データを、被写体領域に仮想的に設定される3次元格子群の各格子点に逆投影(フィルタードバックプロジェクション:Filtered Back Projection)して3次元ボリュームデータ(3次元被写体像)を生成する画像再構成を行なう。
【0082】
このように、前述の第1実施例では、走査各位置の撮影データを3次元格子群Kに逆投影する画像再構成を行なうことで生成した3次元被写体像を3次元フーリエ変換したフーリエ空間データに対してフィルタリング処理を施していたが、この第2実施例では、走査各位置の撮影データ、すなわち、2D(2次元)データに対してフィルタリング処理を施した後に、フィルタリング処理後の一群の撮影データを3次元格子群Kに逆投影する画像再構成を行なっている。なお、オペレータは、この3次元被写体像から任意の面の被写体画像を選択することで、選択した面の被写体画像が見られる(図15には、最右端に表示された厚みの薄い円柱状のものをZ軸方向から見ているものに対応する)。上述したように、一群の撮影データに2Dフィルタリング処理を施して逆投影するという手法を、2D(2次元)フィルタリング法と呼ぶ。
【0083】
前述した第1実施例では、図2(a)に示すように、走査各位置において撮影カメラ部40の撮像面Dの横軸方向(U方向)は常にX軸方向と平行になるようにしていた、すなわち、撮像面D自体は自転せずに非回転としていたが、この第2実施例では、図16(a),(b)に示すように、走査各位置において撮影カメラ部40の撮像面Dの横軸方向(U方向)が、走査軌道である円形軌道に接する接線方向となるように、撮影カメラ部40の撮像面D自体を自転させている。
【0084】
図14に示すように、3次元演算部51aは、円形に回転走査して得られた被写体領域についての一群の撮影データに、所定の2Dフィルタリング処理を施す(|ω|フィルタリングやローパスフィルタリング)2Dフィルタリング部58を備えている。
【0085】
2Dフィルタリング部58は、走査各位置で得られた撮影データの円形軌道に接する接線方向、すなわち、撮影カメラ部40の撮像面Dの横方向(U方向)に|ω|フィルタリングをかける|ω|フィルタリング部と、走査各位置で得られた撮影データの円形軌道に接する接線方向に垂直な方向、すなわち、撮影カメラ部40の撮像面Dの縦方向(V方向)にローパスフィルタリングをかけるローパスフィルタリング部とを備えている。
【0086】
|ω|フィルタリング部における|ω|フィルタリングの関数特性は、前述の第1実施例で図11(b),(c)および式(7)〜(10)で示したMr(ωr)・Mω(ωR)となる。また、ローパスフィルタリング部におけるローパスフィルタリングの関数特性は、前述の第1実施例で図11(a)および式(6)で示したMdepth (ωZ)となる。
【0087】
ここで、2Dフィルタリング部58による|ω|フィルタリングとローパスフィルタリングとについて、図17を用いて概説する。図17(a)に示すように、走査各位置で得られた撮影データを、一旦、2次元フーリエ空間像にフーリエ変換し、図17(b)に示すように、この2次元フーリエ空間像のωV 方向(撮影カメラ部40の撮像面Dの縦方向(V方向)に対応する)にローパスフィルタリングをかけるとともに、2次元フーリエ空間像のωU 方向(撮影カメラ部40の撮像面Dの横方向(U方向)に対応する)に|ω|フィルタリングをかける、いわゆる、2Dフィルタリングをかけ、図17(c)に示すように、2Dフィルタリング後の2次元フーリエ空間像を実空間像に戻す逆フーリエ変換を行なっている。ここでは説明の便宜上、走査各位置で得られた撮影データをフーリエ空間データに変換して2Dフィルタリング処理を施すことについて説明しているが、走査各位置で得られた撮影データに対して実空間上で2Dフィルタリング処理を施してもよく、これらは数学的に全く等価な処理である。上述したように、図17(a)に示す撮影データに2Dフィルタリング処理を施して、図17(c)に示すように、撮影データを適切にぼかしておくことで、後段の逆投影処理部53で3次元格子群Kに逆投影して生成される3次元被写体像での欠損円錐による偽像を低減している点が2Dフィルタリング部58の特徴である。すなわち、走査各位置の撮影データに対して上述の2Dフィルタリング処理を施さずに、後段の逆投影処理部53によって走査各位置の撮影データを3次元格子群Kに逆投影して3次元被写体像を生成すると、図18(a)に示すように、フーリエ空間上の3次元被写体像において被写体軸(ωZ軸)を中心軸とする2つの欠損円錐MSが生じてしまい、この欠損円錐MSの影響によって3次元被写体像に偽像が生じることになる。そこで、上述したように走査各位置の撮影データに対して2Dフィルタリング処理を施して走査各位置の撮影データを適切にぼかして3次元格子群Kに逆投影して3次元被写体像を生成すると、図18(b)に示すように、フーリエ空間上の3次元被写体像における欠損データMDは図18(a)に示す2つの欠損円錐MSに比べて小さくなった葉巻型の形状のものとなり、3次元被写体像での欠損円錐MSによる偽像を低減できるのである。
【0088】
上述した撮像面Dの自転は、図16(b)に示すように、撮影データの縦方向(V方向)にローパスフィルタリングをかけ、撮影データの横方向(U方向)に|ω|フィルタリングをかければよいということから、撮影データに対するフィルタリング方向が走査各位置において変化していくことなく固定であるという利点がある。仮に、前述の第1実施例のように撮像面D自体を自転させずに固定とした場合には、図2(a)に示すように、走査各位置において形成される面(被写体領域の中心点Oと円軌道走査中心点DSと撮像面Dとを結ぶことで形成される三角形O−DS−D)が撮影カメラ部40の撮像面D(撮影データ)に交差する方向にローパスフィルタリングをかけ、撮影カメラ部40の撮像面D(撮影データ)のローパスフィルタリング方向に垂直な方向に|ω|フィルタリングをかければよく、撮影データに対するフィルタリング方向は走査各位置において上述のように変化していくことになる。
【0089】
3次元演算部51aは、2Dフィルタリング処理した走査各位置の撮影を3次元格子群Kの各格子点に逆投影して、被写体領域の3次元ボリュームデータを生成する画像再構成を行う逆投影処理部53を備えている。具体的には、逆投影処理部53は、前述の第1実施例と同様に、3次元格子群Kの直交3軸方向の各格子間隔のうちの被写体軸方向の格子間隔を他の2方向の格子間隔よりも長くしている。また、図16(a)に示すように、走査各位置において撮影カメラ部40の撮像面Dの横軸方向(U方向)が、走査軌道である円形軌道に接する接線方向となるように、撮影カメラ部40の撮像面D自体を自転させた状態のままで、その走査各位置の撮影データを3次元格子群の各格子点に逆投影している。
【0090】
次に、上述した構成を備えた第2実施例装置の動作について説明する。まず、オペレータは、被写体領域を撮影する前に、図16(a)に示すように、撮影カメラ部40を円形に回転移動させるその円形軌道の直径距離(例えば、1m)や、撮影カメラ部40を円形に回転移動させる間にどの程度のピッチで撮影を行なうかというビュー数(例えば100〜1000)や、3次元格子群Kの被写体軸(Z軸)方向の格子間隔を、X,Y軸方向の格子間隔と比べて例えば2倍長くする設定などを操作部10から入力する。
【0091】
図16(a)に示すように、撮影カメラ部40が被写体に対向する平面内で被写体軸(Z軸)周りに円形に回転走査されて、被写体領域についての撮影が行なわれ、走査各位置で検出された、被写体領域についての一群の撮影データが取得される。
【0092】
次に、2Dフィルタリング部58は、これらの一群の撮影データに対して、上述の2Dフィルタリング(|ω|フィルタリングやローパスフィルタリング)処理を施す。
【0093】
逆投影処理部53は、上述の2Dフィルタリング処理された一群の撮影データを3次元格子群に逆投影(バックプロジェクション)して、3次元ボリュームデータを生成する。このようにして、被写体領域の3次元ボリュームデータ(3次元被写体像)を生成する画像再構成が行なわれる。
【0094】
画像情報記憶部52は、2Dフィルタリング処理された一群の撮影データを逆投影処理部53で逆投影した3次元ボリュームデータ(3次元被写体像)を記憶する。画像情報記憶部52に記憶された3次元ボリュームデータのうちの被写体軸(Z軸)に直交する各面の被写体像は、オペレータの操作によって、適宜にモニタ60に映し出される。例えば、オペレータにより任意に選択された面の被写体像が3次元ボリュームデータから読み出され、モニタ60に映し出される。
【0095】
以上、上述した第2実施例では、2Dフィルタリング部58は、走査各位置で撮影された撮影データの走査軌道により決まるフィルタリング方向に対して、走査軌道に応じたフィルタリングをかけて逆投影処理部53に出力するので、前述の第1実施例と同様の効果を有し、欠損円錐の影響による偽像を低減した3次元被写体像が得られる。
【0096】
この発明は、上記各実施例に限られるものではなく、下記のように変形実施することができる。
【0097】
(1)上述の各実施例では、走査機構部30は、図2,16に示すように撮影カメラ部40を円形に回転走査させているが、以下に説明するような種々の走査を採用してもよい。例えば、図19(a)に示すように、撮影カメラ部40が被写体に対して所定位置にあるときのこの被写体と撮影カメラ部40とを結ぶ被写体軸(Z軸)に直交する直線軌道上に、撮影カメラ部40を直線移動させた場合には、撮影カメラ部40を直線移動走査させて、3次元被写体像を生成する画像再構成を行うための撮影を行なうことができる。なお、この直線移動走査の場合で前述の第2実施例の2Dフィルタリング処理を施す場合には、図19(b)に示すように、撮影カメラ部40の直線移動方向、すなわち、撮影カメラ部40の撮像面Dの横方向(U方向)に、その走査各位置に応じたローパスフィルタリングを施すようにすればよい。具体的には、直線走査軌道上の中心位置である#2位置では、ローパスフィルタリングの通過帯域を他の走査位置に比して最も大きくしたローパスフィルタリングを施すようにしており、#1,#3位置では、#2位置から離れるにつれてローパスフィルタリングの通過帯域を小さくしたローパスフィルタリングを施すようにしている。
【0098】
また、走査機構部30は、被写体周りの円周軌道の一部である単一の円弧軌道上に撮影カメラ部40を移動させるようにしてもよい。この場合は、撮影カメラ部40を円弧走査させて、3次元被写体像を生成する画像再構成を行うための撮影が行える。
【0099】
また、図20(a)に示すように、被写体Mに対向して撮影カメラ部40側に設定される平面は、この平面内の特定点と被写体Mとを結ぶ被写体軸(Z軸)に直交する平面とし、撮影カメラ部40は、前記平面内でその特定点から離れた任意点に固定配置され、走査機構部30は、被写体Mを被写体軸(Z軸)周りに回転させてもよい。この場合は、被写体M自体を回転させることでこの被写体Mを走査する、3次元被写体像を生成する画像再構成を行うための撮影が行える。
【0100】
また、図20(b)に示すように、被写体Mに対向して撮影カメラ部40側に設定される平面は、この平面内の特定点である回転中心点と被写体Mとを結ぶ被写体軸(Z軸)に直交する平面とし、撮影カメラ部40は、被写体軸(Z軸)上に被写体Mに向けるようにして配設され、走査機構部30によって被写体軸(Z軸)周りに回転させられながら、被写体軸(Z軸)に対して傾いた方向から撮影した光学像を反射させて撮影カメラ部40に結像させる回転型光学ミラー71を備えてもよい。この場合は、撮影カメラ部40をZ軸上に固定したままで回転型光学ミラー71のみを回転走査させることで、3次元被写体像を生成する画像再構成を行うための撮影が行える。例えば、撮影しようとする被写体Mに対しては、画像再構成された3次元被写体像として十分なコントラストがつくように、図20(a)に示すように照明手段72によって被写体M全体に一様な照明光を当てるようにしたり、図20(b)に示すように照明手段72によって特定方向からのみ被写体Mに照明光を当てるようにしてもよい。
【0101】
また、図20(c)に示すように、走査機構部30は、被写体Mが撮影カメラ部40に対して所定位置にあるときのこの被写体Mと撮影カメラ部40とを結ぶ被写体軸に直交する直線軌道上に、被写体Mを直線移動させるとともに、この移動中の被写体Mを追従して撮影するように撮影カメラ部40を首振りさせるようにしてもよい。この場合は、被写体Mを直線移動させることでこの被写体Mを走査する、3次元被写体像を生成する画像再構成を行うための撮影が行える。
【0102】
(2)また、図21に示すように、この3次元光学カメラは屋外撮影も行なえる。図21(a),(b)に示すように撮影カメラ部40を所定メートル(例えば4〜5m)直線移動させる走査をしたり、図21(c),(d)に示すように撮影カメラ部40を所定メートル(例えば1m)円形移動させる走査をしたりすることもできる。図21には、被写体を例えば木立の背後に位置する人としている。従来の光学カメラでは、人にピントを合わせたとしても、木立の影響を受けてしまい、木立に隠れた人の映像しか得られないが、この3次元光学カメラによれば、木立などの繊維状の前景障害物を取り除いた状態での人の映像が得られる。
【0103】
(3)また、図22に示すように、走査各位置における撮影データの位置校正を行なうためのマーカMKを被写体領域に配置しておき、逆投影処理部53は、走査各位置において撮影された撮影データを、その撮影データ内のマーカMKを基準に位置合わせするように3次元格子群Kの各格子点に逆投影して、3次元被写体像を生成する画像再構成を行うようにしてもよい。上述のマーカMKとしては、図22(a),(b)に示す白黒ストライプのポール状のマーカMKや、図22(c),(d)に示す弓の的のような同心円状に濃淡が変化するマーカMKなど、種々の模様や形状のものが挙げられる。なお、このマーカは、一群の撮影期間中、被写体に対して不動であるとしている。
【0104】
(4)上述の各実施例では、逆投影処理部53は、被写体領域に仮想的に設定される3次元格子群Kを四角柱形状(例えば正方体形状)としているが、図23(a)に示すように、3次元格子群を、撮影カメラ部40から離れるに従って末広がりとなる四角錐形状とすることもできる。図23(a)に示す四角錐形状の3次元格子群Kは、種々のスケールのものとすることができるが、ここでは例えば、両対数スケールのものとしている。図23(a)に示す四角錐形状の3次元格子群Kの3次元光学カメラから10m,100m,1km,10kmの各位置の被写体像を、それぞれ図23(b)〜(e)に示している。図23(b)に示す被写体像のサイズは3.16m角であり、図23(c)に示す被写体像のサイズは10m角であり、図23(d)に示す被写体像のサイズは31.6m角であり、図23(e)に示す被写体像のサイズは100m角である。上述したように、被写体領域を、遠景物を含むような広範囲に設定するような場合に、3次元格子群を四角錐形状とすることで、好適な3次元格子群が設定できる。
【0105】
(5)上述の各実施例では、撮影カメラ部40は被写体からの反射光(可視光)によってその被写体を撮影できるものとしているが、可視光に限らず、赤外線や紫外線などあらゆる波長帯域の電磁波によってその被写体を撮影できる3次元光学カメラにも適用可能である。
【0106】
【発明の効果】
以上の説明からも明らかなように、請求項1または2に記載の3次元光学カメラによれば、被写体を撮影する撮影カメラ部と被写体とを相対的に移動させながら被写体を撮影するように走査する走査機構部と、走査各位置において撮影された撮影データを、被写体領域に仮想的に設定される3次元格子群の各格子点に単純逆投影して、3次元被写体像を生成する画像再構成を行う単純逆投影処理部とを備えているので、3次元被写体像を構成する被写界深度の浅い一群の撮影像、すなわち、被写体と撮影カメラ部とを結ぶ直線である被写体軸の方向に並べられた、被写界深度の浅い一群の撮影像を得ることができる。また、フィルタリング部は、走査各位置で撮影された撮影データまたはそれらを画像再構成して生成された3次元被写体像に対して、画像再構成して生成された3次元被写体像における偽像を低減するためのフィルタリングをかけるので、欠損円錐などの欠損データの影響による偽像を低減した3次元被写体像が得られる。また、請求項1に記載の発明によれば、2Dフィルタリング部は、走査各位置で撮影された撮影データの走査軌道により決まるフィルタリング方向に対して、走査軌道に応じたフィルタリングをかけて単純逆投影処理部に出力するので、欠損円錐などの欠損データの影響による偽像を低減した3次元被写体像が得られる。 また、請求項2に記載の発明によれば、単純逆投影処理部で生成された3次元被写体像を3次元フーリエ変換したフーリエ空間データの被写体軸方向にローパスフィルタリングをかけて、実空間データの3次元被写体像に戻すので、欠損円錐などの欠損データの影響による偽像を低減した3次元被写体像が得られる。
【0107】
また、請求項3に記載の3次元光学カメラによれば、走査機構部は、撮影カメラ部が被写体に対して所定位置にあるときのこの被写体と撮影カメラ部とを結ぶ被写体軸に直交する直線軌道上に、撮影カメラ部を直線移動させるので、撮影カメラ部を直線移動走査させて、3次元被写体像を生成する画像再構成を行うための撮影を行なうことができる。
【0108】
また、請求項4に記載の3次元光学カメラによれば、被写体に対向して撮影カメラ部側に設定される平面は、この平面内の特定点である回転中心点と被写体とを結ぶ被写体軸に直交する平面とし、走査機構部は、前記平面内でその回転中心周りに撮影カメラ部を回転移動させるので、撮影カメラ部を回転移動走査させて、3次元被写体像を生成する画像再構成を行うための撮影を行なうことができる。
【0109】
また、請求項5に記載の3次元光学カメラによれば、走査機構部は、被写体周りの円周軌道の一部である単一の円弧軌道上に撮影カメラ部を移動させるので、撮影カメラ部を円弧走査させて、3次元被写体像を生成する画像再構成を行うための撮影を行うことができる。
【0110】
また、請求項6に記載の3次元光学カメラによれば、被写体に対向して撮影カメラ部側に設定される平面は、この平面内の特定点と被写体とを結ぶ被写体軸に直交する平面とし、撮影カメラ部は、前記平面内でその特定点から離れた任意点に固定配置され、走査機構部は、被写体を被写体軸周りに回転させるので、被写体自体を回転させることでこの被写体を走査する、3次元被写体像を生成する画像再構成を行うための撮影を行うことができる。
【0111】
また、請求項7に記載の3次元光学カメラによれば、被写体に対向して撮影カメラ部側に設定される平面は、この平面内の特定点である回転中心点と被写体とを結ぶ被写体軸に直交する平面とし、撮影カメラ部は、被写体軸上に被写体に向けるようにして配設され、回転型光学ミラーは、走査機構部によって被写体軸周りに回転させられながら、被写体軸に対して傾いた方向から光学像を反射させて撮影カメラ部に結像させるので、回転型光学ミラーを回転走査させて、3次元被写体像を生成する画像再構成を行うための撮影を行なうことができる。
【0112】
また、請求項8に記載の3次元光学カメラによれば、走査機構部は、被写体が撮影カメラ部に対して所定位置にあるときのこの被写体と撮影カメラ部とを結ぶ被写体軸に直交する直線軌道上に、被写体を直線移動させるとともに、この移動中の被写体を追従して撮影するように撮影カメラ部を首振りさせるので、被写体を直線移動させることでこの被写体を走査する、3次元被写体像を生成する画像再構成を行うための撮影を行なうことができる。
【0113】
また、請求項9に記載の発明によれば、単純逆投影処理部は、3次元格子群の直交3軸方向の各格子間隔のうち、被写体軸方向の格子間隔を他の2方向の格子間隔よりも長くして3次元被写体像を生成するので、各3軸方向の格子間隔が等間隔に設定された3次元格子群に逆投影する場合と比べて、3次元格子群の被写体軸方向の格子間隔を他の2方向の格子間隔よりも長くしている分逆投影するデータ量が低減され、画像再構成に係る処理時間が短縮される。
【0114】
また、請求項10に記載の3次元光学カメラによれば、3次元格子群の被写体軸方向の格子間隔長さは、撮影カメラ部の撮像面Dの1画素分が被写体軸に投影された長さである被写体軸方向検出画素長に基づいて設定されるので、被写体軸から最も離れた走査位置にある撮影カメラ部と被写体とを結ぶ直線と、被写体軸とのなす角度に応じて被写体軸方向の格子間隔の長さが設定される。
【0115】
【0116】
【0117】
【0118】
また、請求項11に記載の発明によれば、走査各位置における撮影データの位置校正を行なうためのマーカを被写体領域に配置しておき、単純逆投影処理部は、走査各位置において撮影された撮影データを、その撮影データ内のマーカを基準に位置合わせするように3次元格子群の各格子点に逆投影して、3次元被写体像を生成する画像再構成を行うので、撮影データ内のマーカに基づいて、走査各位置における撮影データの位置校正が行なえる。
【0119】
また、請求項12に記載の発明によれば、単純逆投影処理部は、被写体領域に仮想的に設定される3次元格子群を、撮影カメラ部から離れるに従って末広がりとなる四角錐形状とするので、被写体領域を、遠景物を含むような広範囲に設定するような場合に、好適な3次元格子群が設定できる。
【図面の簡単な説明】
【図1】 この発明の第1実施例に係る3次元光学カメラのブロック図である。
【図2】 (a)は第1実施例の撮影カメラ部の一走査形態を示す模式図であり、(b)は#1〜3位置での撮影データを示す図である。
【図3】 第1実施例の3次元演算部における一連の処理手順を説明するための模式図である。
【図4】 走査各位置で撮影された撮影データを3次元格子群に逆投影する状態を示す説明図である。
【図5】 (a)は針穴写真機の撮影メカニズムを示す説明図であり、(b)はX線透視像撮影装置におけるX線透視像の撮影メカニズムを示す説明図である。
【図6】 この発明の逆投影処理部における逆投影手法を説明するための模式図である。
【図7】 (a)、(b)は3次元格子群の各軸の検出画素長とフラットパネル型X線検出器の1画素ピッチとの関係を説明するための模式図である。
【図8】 ωZ軸方向に欠損円錐が存在する3次元フーリエ分布像を示す模式図である。
【図9】 ωX−ωY平面の半径ωrを示す模式図である。
【図10】 第1実施例のフィルタリング部のフィルタ関数を3次元フーリエ分布像に重畳して示した模式図である。
【図11】 (a)〜(c)は第1実施例のフィルタリング部の各フィルタ関数を示す特性図である。
【図12】 (a)はωZ軸方向に欠損円錐が存在する3次元フーリエ分布像を模式的に示す斜視図であり、(b)は(a)の側面図である。
【図13】 (a)〜(c)は第1実施例の3次元光学カメラで撮影されて再構成された各面の再構成像を示す模式図である。
【図14】 この発明の第2実施例に係る3次元光学カメラを示すブロック図である。
【図15】 第2実施例の3次元演算部における一連の処理手順を説明するための模式図である。
【図16】 (a)は第2実施例の撮影カメラ部の一走査形態を示す模式図であり、(b)は#1〜3位置での撮影データを示す図である。
【図17】 (a)〜(c)は、撮影データに2Dフィルタリング処理を施すことを説明するための様式図である。
【図18】 (a)は2Dフィルタリング処理を施さない場合の3次元被写体像における欠損円錐を示す模式図であり、(b)は2Dフィルタリング処理により欠損円錐が小さく葉巻型形状になることを示す模式図である。
【図19】 (a)は撮影カメラ部の一走査形態を示す模式図であり、(b)は#1〜3位置での撮影データを示す図である。
【図20】 (a)は被写体を回転させる走査形態を示す模式図であり、(b)は回転型光学ミラーを回転させる走査形態を示す模式図であり、(c)は被写体を直線移動させてこの被写体を撮影カメラ部で追従撮影する走査形態を示す模式図である。
【図21】 (a)は3次元光学カメラによる屋外撮影を説明するための模式図であり、(b)は(a)のA−A側面図であり、(c)は3次元光学カメラによる屋外撮影を説明するための模式図であり、(d)は(c)のB−B側面図である。
【図22】 (a)は被写体領域にマーカを設けたことを示す模式図であり、(b)は(a)のA−A側面図であり、(c)は被写体領域にマーカを設けたことを示す模式図であり、(d)は(c)のB−B側面図である。
【図23】 (a)は四角錐形状の3次元格子群を示す模式図であり、(b)〜(e)は被写体軸上の各位置における被写体像を示す模式図である。
【図24】 従来の光学カメラでの撮影状態を説明するための模式図である。
【図25】 (a)〜(c)は従来の3次元光学カメラで撮影された各面のフォーカス像を示す模式図である。
【符号の説明】
30 … 走査機構部
40 … 撮影カメラ部
51 … 3次元演算部
51a… 3次元演算部
53 … 逆投影処理部
54 … 3次元フーリエ変換部
55 … フーリエ空間フィルタリング部
56 … 3次元逆フーリエ変換部
57 … フィルタリング部
58 … 2Dフィルタリング部
71 … 回転型光学ミラー
D … 撮像面
K … 3次元格子群
MK … マーカ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a three-dimensional optical camera that obtains three-dimensional position information of a subject based on photographing data obtained by photographing the subject, and particularly relates to a technique for obtaining a group of photographed images having a shallow depth of field.
[0002]
[Prior art]
In the conventional optical camera, as shown in FIG. 24, for example, an image of a subject on the left side is formed in an inverted image on a surface detector by a lens, and the subject imaged on the surface detector. The image is recorded. In FIG. 24, for the sake of simplicity, the above-described subject includes a vertically placed black ellipsoid m1 that is far away, and a landscape-oriented black ellipsoid m1 that is disposed closer to the camera than the vertically placed black ellipsoid m1. Only the white ellipsoid m2 is shown. In recent years, optical cameras are evolving into so-called “digital cameras” in which the above-described surface detector is replaced with an image pickup device such as a CCD (Charge Coupled Device) from a film, and image storage can be performed as digital information. .
[0003]
By the way, the three-dimensional position information of the subject is expressed as the depth of field of the photographed image in the depth direction (the direction of the subject axis (Z axis) that is a straight line connecting the subject and the optical camera). As shown in FIG. 24, for example, when shooting is performed with focus on the A plane, as shown in FIG. 25A, an image of a vertically placed black ellipsoid m1 in focus and this black ellipse An image of a blurred horizontal white ellipsoid m2 in front of the body m1 is obtained in an overlapping manner (A-plane focus image). Also, as shown in FIG. 24, for example, when shooting is performed with focus on the B surface, the vertically placed black ellipsoid m1 and the horizontally placed white ellipsoid m2 are in focus as shown in FIG. Both of these ellipsoids are obtained as overlapping images (B-plane focus image). As shown in FIG. 24, for example, when shooting is performed with the C plane in focus, as shown in FIG. 25 (c), an image of a horizontally placed white ellipsoid m2 in focus, An image of a blurred vertical ellipsoid m1 located behind the white ellipsoid m2 is overlapped (C-plane focus image). A shallow depth of field indicates that the discrimination capability in the depth direction is high, and this is higher as the aperture angle θ stretched by the lens is larger. Therefore, since it is considered that a high depth direction discrimination capability can be realized by realizing a large aperture lens, the depth direction discrimination capability should be enhanced by realizing a lens having a large aperture as much as possible (a large aperture lens). I have to. On the contrary, the depth of field is increased by reducing the “aperture” (θ is limited), and any surface (for example, surfaces A to C shown in FIG. 24) is photographed so that it is in focus. This is well known as a photography technique.
[0004]
[Problems to be solved by the invention]
However, the conventional example having such a configuration has the following problems. That is, since the three-dimensional position information of the subject can be obtained by reducing the depth of field of the photographed image, a configuration in which a photographed image with a shallow depth of field can be obtained by realizing a large-aperture lens camera is realized. However, in reality, it is necessary to increase the diameter of the lens on the order of 100 times that of the conventional lens, that is, to manufacture a large-diameter lens having a diameter of, for example, about 10 m. Realization is extremely difficult even in consideration of machine accuracy and cost, so it is impossible to realize a configuration that can obtain a photographed image with a shallow depth of field, and a photographed image with a shallow depth of field can be obtained. There is no problem.
[0005]
Even if a conventional large-diameter lens of the order of 100 times (a large-diameter lens having a diameter of, for example, about 10 m) is realized, the optical camera device itself becomes very large and the operability is increased due to the large size. The degree of freedom will also be drastically reduced, and the image taken by the camera will have a response with a spread of θ in the depth direction of the field, and the depth direction depends on the size of the lens. Since the upper limit of the discrimination capability is uniquely determined, in order to further reduce the depth of field, the lens aperture must be further increased, and the depth of field is limited by the lens aperture. .
[0006]
The present invention has been made in view of such circumstances, and an object thereof is to provide a three-dimensional optical camera capable of obtaining a group of photographed images having a shallow depth of field.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, the inventors have conducted intensive research and as a result, obtained the following knowledge. In other words, by taking a scan so as to shoot the subject while relatively moving the photographic camera unit for photographing the subject and the subject to be photographed by the photographic camera unit, photographing taken at each scanning position A three-dimensional subject image is obtained by acquiring an image (photographed images from a number of directions) and back-projecting the acquired photographed image at each scanning position onto each lattice point of a three-dimensional lattice group virtually set in the subject region. It has been found that a virtual large-aperture lens camera with a large effective aperture angle can be realized by performing image reconstruction to generate a group of subject images with a shallow depth of field. It has also been found that a high-quality subject image can be obtained by performing appropriate filtering on the acquired captured image at each scanning position, a three-dimensional subject image after back projection, and the like.
[0008]
The present invention based on such knowledge adopts the following configuration. That is, the three-dimensional optical camera according to claim 1 shoots a subject while (a) a photographing camera unit for photographing the subject, and (b) a relatively straight or circular movement of the photographing camera unit and the subject. The scanning mechanism section that scans in this manner, and (c) imaging data captured at each scanning position is applied to each grid point of the three-dimensional grid group virtually set in the subject area.SimpleA simple backprojection processing unit that performs image reconstruction to generate a three-dimensional subject image by backprojecting, and three-dimensional subject images generated by reconstructing the imaged data captured at each scanning position A filtering unit that performs filtering for reducing a false image in a three-dimensional subject image generated by image reconstruction, and the filtering unit is photographed at each scanning position when the scanning trajectory is a linear trajectory. For the filtering direction determined by the scanning trajectory of the captured image data, the pass band is subjected to low-pass filtering corresponding to each scanning position, and when the scanning trajectory is a circular trajectory, the scanning trajectory of the imaging data captured at each scanning position is used. Apply low-pass filtering to the determined filtering direction, and in a direction perpendicular to the direction of low-pass filtering. Is characterized in that it comprises a 2D filtering unit for outputting filtering the simpler backprojection processor over | to | omega.
[0009]
The three-dimensional optical camera according to claim 2(A) a photographing camera unit that photographs a subject; (b) a scanning mechanism unit that scans to photograph the subject while relatively moving the photographing camera unit and the subject; and (c) photographing at each scanning position. A simple backprojection processing unit that performs image reconstruction by backprojecting the captured image data to each lattice point of a three-dimensional lattice group that is virtually set in the subject region, Filtering for reducing false images in the three-dimensional object image generated by image reconstruction on the image data captured at each scanning position or the three-dimensional object image generated by image reconstruction of the data. A filtering unit that applies the three-dimensional Fourier transform to the three-dimensional Fourier transform of the three-dimensional subject image generated by the simple backprojection processing unit, A Fourier space low-pass filtering unit that performs low-pass filtering in a predetermined subject axis direction of the Rie space data; a three-dimensional inverse Fourier transform unit that converts the low-pass filtered Fourier space data into a three-dimensional subject image by performing three-dimensional inverse Fourier transform; It is characterized by comprising.
The three-dimensional optical camera according to claim 3Claim 1Or 2In the three-dimensional optical camera described above, the scanning mechanism unit is on a linear trajectory orthogonal to a subject axis connecting the subject and the photographing camera unit when the photographing camera unit is at a predetermined position with respect to the subject. The photographing camera unit is linearly moved.
[0010]
Claims4The three-dimensional optical camera according to
[0011]
Claims5The three-dimensional optical camera according to
[0012]
Claims6The three-dimensional optical camera according to
[0013]
Claims7The three-dimensional optical camera according to
[0014]
Claims8The three-dimensional optical camera according to
[0015]
Claims9The three-dimensional optical camera according to
[0016]
Claims10The three-dimensional optical camera according to
[0017]
[0018]
[0019]
[0020]
Claim 11The three-dimensional optical camera according to
[0021]
Claim 12The three-dimensional optical camera according to
[0022]
[Action]
The operation of the present invention is as follows. That is, claim 1Or 2According to the invention described above, the scanning mechanism unit performs scanning so as to photograph the subject while relatively moving the photographing camera unit that photographs the subject and the subject.SimpleThe back projection processing unit simply performs back projection of the image data captured at each scanning position onto each grid point of the 3D grid group virtually set in the subject area, and generates an image re-storing image. Make the configuration. Therefore, a group of photographed images with a shallow depth of field that form a three-dimensional subject image, that is, a group of shallowly-depth fields arranged in the direction of the subject axis that is a straight line connecting the subject and the photographing camera unit. A photographed image is obtained.In addition, the filtering unit generates a false image in the three-dimensional subject image generated by reconstructing the image data captured at each scanning position or the three-dimensional subject image generated by reconstructing the image data. Since filtering for reduction is performed, a three-dimensional subject image in which a false image due to the influence of missing data such as a missing cone is reduced can be obtained. According to the first aspect of the present invention, the 2D filtering unit performs simple back projection by filtering according to the scanning trajectory with respect to the filtering direction determined by the scanning trajectory of the imaging data captured at each scanning position. Since the data is output to the processing unit, a three-dimensional subject image in which a false image due to the influence of missing data such as a missing cone is reduced can be obtained. According to the second aspect of the present invention, the three-dimensional Fourier transform unit performs a three-dimensional Fourier transform on the three-dimensional subject image generated by the simple backprojection processing unit. The Fourier space low-pass filtering unit applies low-pass filtering to the subject axis direction of Fourier space data subjected to three-dimensional Fourier transform. The three-dimensional inverse Fourier transform unit performs a three-dimensional inverse Fourier transform on the low-pass filtered Fourier space data to return it to a three-dimensional subject image. Therefore, a three-dimensional subject image with reduced false images due to the influence of missing data such as a missing cone can be obtained.
[0023]
Claims3According to the invention described in (1), the scanning mechanism unit moves the photographing camera unit on a linear trajectory perpendicular to the subject axis connecting the subject and the photographing camera unit when the photographing camera unit is at a predetermined position with respect to the subject. Move straight. Therefore, it is possible to perform photographing for performing image reconstruction for generating a three-dimensional subject image by linearly scanning the photographing camera unit.
[0024]
Claims4According to the invention described in the above, the plane set on the photographing camera unit side facing the subject is a plane orthogonal to the subject axis connecting the rotation center point that is a specific point in the plane and the subject, and the scanning mechanism The unit rotates the photographing camera unit around the rotation center in the plane. Therefore, it is possible to perform shooting for performing image reconstruction by rotating and scanning the shooting camera unit to generate a three-dimensional subject image.
[0025]
Claims5According to the invention described in (1), the scanning mechanism unit moves the photographing camera unit on a single circular arc trajectory that is a part of the circumferential trajectory around the subject. Therefore, it is possible to perform photographing for performing image reconstruction for generating a three-dimensional subject image by scanning the photographing camera unit with an arc.
[0026]
Claims6According to the invention described above, the plane set on the side of the photographing camera unit facing the subject is a plane orthogonal to the subject axis connecting the specific point in the plane and the subject, and the photographing camera unit is The scanning mechanism unit rotates the subject around the subject axis. Therefore, it is possible to perform photographing for performing image reconstruction for generating a three-dimensional subject image by scanning the subject by rotating the subject itself.
[0027]
Claims7According to the invention described above, the plane set on the side of the photographing camera unit facing the subject is a plane orthogonal to the subject axis connecting the rotation center point, which is a specific point in the plane, and the subject, and the photographing camera. The rotating optical mirror reflects the optical image from a direction inclined with respect to the subject axis while being rotated around the subject axis by the scanning mechanism unit. To form an image on the camera. Therefore, it is possible to perform photographing for performing image reconstruction for generating a three-dimensional subject image by rotating and scanning the rotary optical mirror.
[0028]
Claims8According to the invention, the scanning mechanism unit linearly moves the subject on a linear trajectory perpendicular to the subject axis connecting the subject and the photographing camera unit when the subject is at a predetermined position with respect to the photographing camera unit. At the same time, the photographing camera unit is swung so as to follow and photograph the moving subject. Therefore, it is possible to perform photographing for performing image reconstruction for generating a three-dimensional subject image by scanning the subject by moving the subject in a straight line.
[0029]
Claims9According to the invention described in the above, the simple backprojection processing unit makes the lattice interval in the subject axis direction longer than the lattice intervals in the other two directions among the lattice intervals in the three orthogonal directions of the three-dimensional lattice group. A three-dimensional subject image is generated. Shooting of a subject is usually performed because it is a general method in which the shooting camera unit is not rotated more than half a turn around the subject, that is, the subject is shot from only one side of the entire circumference of the subject. If the subject, that is, the subject area is described in a three-dimensional coordinate system, the amount of information in the direction of the subject axis is small, and the resolution in the subject axis direction is worse than the resolution in the other two axes. . Therefore, even if the lattice interval in the subject axis direction out of the three axes of the three-dimensional lattice group virtually set in the photographed subject region is extended longer than the lattice interval in the other two axis directions, The axial image information is not wasted, and on the contrary, the processing time can be shortened. In this way, the lattice spacing in the subject axis direction of the three-dimensional lattice group is set to the lattice spacing in the other two directions compared to the case of backprojecting to the three-dimensional lattice group in which the lattice spacing in each three-axis direction is set to be equal. As a result, the amount of data to be backprojected is reduced, and the processing time for image reconstruction is shortened.
[0030]
Claims10According to the invention described in the above, the subject axis direction detection pixel length is a length in which one pixel of the imaging surface of the photographing camera unit is projected onto the subject axis in the subject axis direction of the three-dimensional lattice group. Is set based on Therefore, the length of the lattice interval in the subject axis direction is set according to the angle formed by the subject axis and the straight line connecting the photographing camera unit at the scanning position farthest from the subject axis and the subject.
[0031]
[0032]
[0033]
[0034]
Claim 11According to the invention described in the above, a marker for correcting the position of the photographing data at each scanning position is placed in the subject area, and the simple backprojection processing unit captures the photographing data photographed at each scanning position. Image reconstruction is performed to generate a three-dimensional subject image by back projecting onto each lattice point of the three-dimensional lattice group so as to align with the marker in the photographing data as a reference. Therefore, the position of the photographic data can be calibrated at each scanning position based on the marker in the photographic data.
[0035]
Claim 12According to the invention described in (1), the simple backprojection processing unit makes the three-dimensional lattice group that is virtually set in the subject area into a quadrangular pyramid shape that expands toward the end as the distance from the photographing camera unit increases. Therefore, a suitable three-dimensional lattice group can be set when the subject region is set in a wide range including a distant object.
[0036]
DETAILED DESCRIPTION OF THE INVENTION
An embodiment according to a three-dimensional optical camera of the present invention will be described below with reference to the drawings.
[0037]
<First embodiment>
FIG. 1 is a block diagram according to a first embodiment of the three-dimensional optical camera of the present invention. FIG. 2A is a schematic diagram illustrating one scanning mode of the photographing camera unit. The three-dimensional optical camera of the first embodiment includes an
[0038]
Hereinafter, the configuration and function of each unit will be described in detail. As shown in FIGS. 1 and 2A, a plane set on the side of the photographing
[0039]
An
[0040]
As shown in FIGS. 1 and 2A, the
[0041]
The photographing
[0042]
Next, the configuration and function of the data processing unit 50 will be described. The data processing unit 50 back-projects the shooting data shot by the
[0043]
Here, a series of processing procedures for image reconstruction for generating a three-dimensional subject image in the three-dimensional calculation unit 51 will be outlined with reference to FIG. As shown in FIG. 3, first, the photographing
[0044]
As shown in FIG. 4, the three-dimensional calculation unit 51 captures a group of photographing data about a subject area photographed at each scanning position in a three-dimensional lattice group K virtually set in the photographed subject area. Back projection processing is performed to perform back-projection processing to generate a three-dimensional subject image that is three-dimensional volume data of a subject region by back-projecting to each lattice point, that is, to generate the above-described simple BP intermediate image. A portion 53 is provided. Further, the backprojection processing unit 53 makes the three-dimensional subject image by setting the lattice interval in the subject axis direction out of the lattice intervals in the three orthogonal directions of the three-dimensional lattice group K longer than the lattice intervals in the other two directions. Can be set to generate.
[0045]
Before describing the backprojection process described above, it will be described whether a group of imaging data is backprojected to each lattice point of the three-dimensional lattice group K in any positional relationship. The imaging of the subject image on the imaging surface D in the three-dimensional optical camera of the first embodiment can be said to be basically the same as the imaging mechanism in the case of a needle hole camera as shown in FIG. . That is, the shooting mechanism of the needle hole camera connects the image of the subject M to be shot to the image pickup surface D through the needle hole provided between the image pickup surface D of the needle hole camera and the subject M. It is something to be imaged. In FIG. 5A, the black spot of the ellipsoid close to the needle hole among the two ellipsoids as the subject M is imaged on the lower side of the imaging plane D. For example, when the imaging surface D to the needle hole are folded back on the back side of the subject M so that the positional relationship between the black spot imaged on the imaging plane D and the black spot of the ellipsoid matches, FIG. As shown in FIG. 5A, the needle hole shown in FIG. 5A is seen in the X-ray irradiation source, and the folded imaging surface D is seen in the X-ray surface detector as shown in FIG. 5A. The X-ray fluoroscopic image capturing mechanism in the X-ray fluoroscopic image capturing apparatus can be replaced. That is, in the X-ray fluoroscopic image capturing mechanism shown in FIG. 5B, the object is observed in duplicate on each straight line connecting the X-ray irradiation source and the X-ray surface detector. In the shooting mechanism of the needle hole camera shown in FIG. 5 (a), there is a difference that the black spot of the ellipsoid behind the ellipsoid near the needle hole is not seen and is not observed, but the position of the obtained information The relationship is the same for both. Accordingly, the above-described simple BP intermediate image is generated by back projecting a group of image data captured at each scanning position onto each lattice point of the three-dimensional lattice group K with the positional relationship shown in FIG. The back projection process will be described.
[0046]
As shown in FIGS. 6 and 7, the minimum unit lattice interval in each axial direction of the three-dimensional lattice group K is determined by the relationship with the pixel pitch of the imaging surface D of the
[0047]
Here, the relationship between the lattice spacing in each axial direction of the three-dimensional lattice group K and the pixel pitch of the imaging surface D of the
[0048]
ΔVZ = Δ · RO / RD / sin θ (1)
ΔVY = Δ · RO / RD (2)
[0049]
For example, if the subject is photographed with Δ (= ΔX, ΔY) of 160 μm, RO of 700 mm, RD of 1200 mm, and θ of 30 °, ΔVZ is 186.6 μm and ΔVY is 93.3 μm. The subject axis direction detection pixel length is inversely proportional to sin θ, and is longer than the X and Y axis direction detection pixel lengths. Even when the lattice spacing in the Z-axis direction of the three-dimensional lattice group K virtually set in the photographed subject region is set to be, for example, twice as long as the lattice spacing in the X and Y-axis directions, the above formula ( 1) and (2) are adopted as a basis.
[0050]
Next, description will be made on the operation of the back projection processing unit 53 for back projecting the photographing data detected by the photographing
[0051]
Further, as shown in FIG. 1, the three-dimensional calculation unit 51 includes a three-dimensional Fourier transform unit 54 that performs three-dimensional Fourier transform on the three-dimensional volume data generated by the backprojection processing unit 53, and a Fourier space obtained by three-dimensional Fourier transform. Fourier space filtering unit 55 that performs predetermined filtering (for example, | ω | filtering or low-pass filtering) on the data (three-dimensional Fourier distribution image), and Fourier space data filtered by the Fourier space filtering unit 55 (after filtering) A
[0052]
The three-dimensional Fourier transform unit 54 performs three-dimensional Fourier transform on the three-dimensional volume data (simple BP intermediate image) generated by the back projection processing unit 53 based on the following equation (3). Note that the simple BP intermediate image is f (X, Y, Z), X, Y, Z are real numbers, and the mathematical expression of the three-dimensional Fourier transform is expressed by the following expression (3).
F (ωX, ωY, ωZ) = ∫∫∫f (X, Y, Z) · exp {−j (ωX · X + ωY · Y + ωZ · Z)} dX · dY · dZ (3)
Further, the three-dimensional Fourier transform unit 54 performs rearrangement so that the direct current component is positioned at the center of the Fourier space, and obtains a three-dimensional Fourier distribution image of the three-dimensional Fourier space coordinate display as shown in FIG.
[0053]
The Fourier space filtering unit 55 can be said to be provided with three filters to be described next when its functions are roughly classified. As shown in FIG. 3, Fourier space data (three-dimensional Fourier distribution image) obtained by three-dimensional Fourier transform. The low-pass filtering unit applies a low-pass filter in the direction of the subject axis (ωZ axis) and the high-frequency region isotropically reduced in the ωR direction (the surface direction formed by the ωX and ωY axes of the Fourier space: see FIG. 9). | Ω | filtering section configured by a filter that suppresses high-frequency noise and a filter that depends on the data acquisition scanning mode. Note that the above-described filter that depends on the data acquisition scanning mode causes the three-dimensional Fourier distribution image to be concentrated on the ωZ axis by being circularly scanned around the subject axis (Z axis) in a plane facing the subject. In order to correct this, filtering proportional to | ω | is performed on the ωR plane. That is, when the filtered three-dimensional Fourier distribution image is subjected to three-dimensional inverse Fourier transform, the generation of three-dimensional volume data due to the enhancement of the direct current component is suppressed, and the direct current component is enhanced. The false image to be reduced is reduced.
[0054]
Here, the meaning of performing the filtering process in the three-dimensional Fourier space will be described. Performing the filtering process in the three-dimensional Fourier space is mathematically expressed by the following equation (4). FM (ωX, ωY, ωZ) is a three-dimensional Fourier distribution image after the filtering process, and M (ωX, ωY, ωZ) is a function indicating the filter characteristics of the Fourier space filtering unit 55 described above.
FM (ωX, ωY, ωZ) = F (ωX, ωY, ωZ) × M (ωX, ωY, ωZ) (4)
[0055]
As shown in FIG. 10, the distribution of the filter function M (ωX, ωY, ωZ) described above is superimposed and superimposed on a three-dimensional Fourier distribution image in a three-dimensional Fourier space. The filtering process in the three-dimensional Fourier space means that the three-dimensional Fourier distribution image, which is complex data, is weighted with a real-valued filter function M depending on each frequency value, and the weighting function M is collapsed in the ωZ direction. In other words, it has a “pan-shaped” spheroid shape. M (ωX, ωY, ωZ) is expressed as the following equation (5) as a product of the functions representing the three filter characteristics described above.
[0056]
M (ωX, ωY, ωZ) = Mdepth (ωZ) · Mr (ωr) · Mω (ωR) (5)
A typical example of each filter function system shown in Expression (5) is shown below.
[0057]
Mdepth (ωZ) has a low-pass filter characteristic as shown in FIG. 11A, that is, a Gaussian characteristic, and is represented by the following expression (6).
Mdepth (ωZ) = exp {−0.693 · (ωZ / CFD) 2} (6)
However, CFD is a frequency at which Gaussian attenuation is halved (see FIG. 11A).
[0058]
Mr (ωr) has a filter characteristic as shown in FIG. 11B and is expressed by the following equations (7) to (9).
Mr (ωr) = 1 (when ωr <CFR−WFR / 2) (7)
Mr (ωr) = {1-sin ((ωr−CFR) · π / WFR)} / 2 (when CFR−WFR / 2 <ωr <CFR + WFR / 2) (8)
Mr (ωr) = 0 (when CFR + WFR / 2 <ωr) (9)
However, ωr = √ (ωX2 + ωY2 + ωZ2), and a high-frequency component is a sinusoidal function type that attenuates smoothly as shown in FIG. CFR is a cutoff frequency, and WFR is a transition full frequency width of the filter strength (see FIG. 11B). Mr (ωr) is a component that removes a component (high frequency component) away from the origin in the three-dimensional Fourier space shown in FIG.
[0059]
Mω (ωR) has a filter characteristic as shown in FIG. 11C and is expressed by the following equation (10). However, ωR = √ (ωX2 + ωY2).
Mω (ωR) = | ωR | (10)
[0060]
11A to 11C show only the characteristics in the positive direction of the horizontal axis, the characteristics in the negative direction of the horizontal axis are characteristics in the positive direction of the horizontal axis centering on the vertical axis. Are the same as those obtained by making the lines symmetrical with each other, and are not shown.
[0061]
Here, the Fourier space low-pass filtering unit will be described in a little more detail. As shown in FIG. 11A, the Fourier space low-pass filtering unit has a Gaussian low-pass filter characteristic represented by the above-mentioned Mdepth (ωZ), and is a Fourier-transformed Fourier transform shown in FIG. A low-pass filter is applied to the subject axis (ωZ axis) direction of the spatial data (three-dimensional Fourier distribution image). The necessity of this low-pass filtering will be described below. As shown in FIG. 8, in the Fourier space data (three-dimensional Fourier distribution image) obtained by three-dimensional Fourier transform, two missing cones (with the ωZ axis as the center and the tips of the center angles of each other intersect at the origin of the Fourier space coordinates ( Missing Cone) MS exists. The two missing cones MS are missing data. The two missing cones MS are caused by a photographing method such as rotating the photographing
[0062]
Specifically, as shown in FIG. 12, the back projection processing unit 53 performs X and Y axes in the subject axis (ωZ axis) direction of Fourier space data (three-dimensional Fourier distribution image) in which two missing cones MS exist. For example, a low pass filter equivalent to the subject axis direction detection pixel length which is four times longer than that is applied. That is, as shown in FIG. 12B, when the range from the Z-axis origin to the high frequency component of the three-dimensional Fourier distribution image is “4”, the peak from the peak of the Gaussian function to the half-value width FWHM is set to “1”. Perform low pass filtering. In this way, when the low-pass filter function Mdepth (ωZ) corresponding to four times the subject axis direction detection pixel length is applied to the three-dimensional Fourier distribution image indicated by the broken line in FIG. The high-frequency component in the ωZ-axis direction is cut, and the three-dimensional Fourier distribution image corresponding to the half-width FWHM of the three-dimensional Fourier distribution image (low-pass filter function Mdepth (ωZ)) shown by the solid line in FIG. ) Will be generated. As shown in FIGS. 12A and 12B, the ratio of the missing cone MS to the entire three-dimensional Fourier distribution image after the low-pass filtering processing is the ratio of the missing cone MS to the entire three-dimensional Fourier distribution image before the low-pass filtering processing. Since the ratio is smaller than the occupation ratio, it is possible to reduce the influence of the missing cone MS on the three-dimensional Fourier distribution image, and thereby, in the three-dimensional volume data generated by the three-dimensional inverse Fourier transform described later. False images can be reduced.
[0063]
The three-dimensional inverse Fourier transform unit 56 performs the three-dimensional inverse Fourier transform on the Fourier space data subjected to the low-pass filtering by the Fourier space low-pass filtering unit based on the following equation (11) to return the three-dimensional volume data. The mathematical expression of the three-dimensional Fourier transform is expressed by the following expression (11), FM (ωX, ωY, ωZ) is a three-dimensional Fourier distribution image after the filtering process, and fm (X, Y, Z ) Is three-dimensional volume data subjected to three-dimensional inverse Fourier transform.
fm (X, Y, Z) = 1 /
[0064]
The image information storage unit 52 stores the three-dimensional volume data (three-dimensional subject image) subjected to the three-dimensional inverse Fourier transform by the three-dimensional inverse Fourier transform unit 56, and the subject axis (Z-axis) of the three-dimensional subject image. When the image information of the subject on an arbitrary surface orthogonal to () is selected from the
[0065]
The
[0066]
Next, the operation of the first embodiment apparatus having the above-described configuration will be described. First, before the subject area is photographed, as shown in FIG. 2, the operator rotates the photographing
[0067]
As shown in FIG. 3, the photographing
[0068]
As described above, the backprojection processing unit 53 performs simple backprojection (simple BP) on the group of photographing data onto a three-dimensional lattice group to generate a simple BP intermediate image.
[0069]
Next, the three-dimensional Fourier transform unit 54 performs a three-dimensional Fourier transform on the simple BP intermediate image generated by the backprojection processing unit 53 to convert from real space data to Fourier space data.
[0070]
Next, as described above, the Fourier space filtering unit 55 performs filtering (| ω | filtering or low-pass filtering) on the Fourier space data subjected to the three-dimensional Fourier transform by the three-dimensional Fourier transform unit 54.
[0071]
Next, the three-dimensional inverse Fourier transform unit 56 performs three-dimensional inverse Fourier transform on the Fourier space data subjected to the filtering process by the Fourier space filtering unit 55, and returns the Fourier space data to the real space data, thereby returning the three-dimensional volume data. Is generated. In this way, image reconstruction for generating three-dimensional volume data of the subject area is performed.
[0072]
The image information storage unit 52 stores the three-dimensional volume data subjected to the three-dimensional inverse Fourier transform by the three-dimensional inverse Fourier transform unit 56. Of the three-dimensional volume data stored in the image information storage unit 52, the subject image on each surface orthogonal to the subject axis (Z axis) is appropriately displayed on the
[0073]
As described above, in the first embodiment described above, the
[0074]
Here, as shown in FIG. 1, a subject region having a vertically placed black ellipsoid m1 and a horizontally placed white ellipsoid m2 arranged on the camera side with respect to the vertically placed black ellipsoid m1, A case where the image is taken with the three-dimensional optical camera of one embodiment will be specifically described. Since the depth of field is not shallow in the conventional optical camera, as shown in FIGS. 25A to 25C, the subject images (A-plane to C-plane focus images) on each plane are other than the focused plane. Since the ellipsoid located on the surface is clearly shown, it is understood that the three-dimensional position information cannot be obtained with high accuracy. However, since the depth of field can be reduced in the three-dimensional optical camera of the present invention, as shown in FIGS. 13A to 13C, subject images reconstructed for each surface (A surface to C surface focus image). ), The ellipsoid located on the surface other than the focused surface is almost unsharp, and only the subject image of the focused surface is clearly visible. It can be seen that position information can be obtained.
[0075]
The plane set on the side of the photographing
[0076]
In addition, the lattice interval length in the subject axis (Z-axis) direction of the three-dimensional lattice group K is a subject in which one pixel of the imaging surface D of the photographing
[0077]
In addition, the back projection processing unit 53 calculates the lattice interval in the subject axis (Z axis) direction among the lattice intervals in the three orthogonal directions of the three-dimensional lattice group K virtually set in the photographed subject region, The captured data captured at each scanning position is made longer than the lattice spacing in the other two directions (X and Y axis directions), and the predetermined lattice points of the three-dimensional lattice group K in which the lattice spacing in the subject axis direction is increased. Since image reconstruction is performed to generate three-dimensional volume data of the subject region by back projection, compared to the case of back projection to a three-dimensional lattice group in which lattice intervals in each three-axis direction are set at equal intervals. The amount of backprojected data can be reduced by making the lattice spacing in the subject axis direction of the three-dimensional lattice group K longer than the lattice spacing in the other two directions, and the processing time for image reconstruction can be shortened. Without throwing away image information in the subject axis direction. It can be.
[0078]
The Fourier space low-pass filtering unit also subjects the object axis (Fourier space data obtained by performing a three-dimensional Fourier transform on a simple BP image generated by back-projecting the photographing data photographed at each scanning position onto each lattice point of the three-dimensional lattice group. Since the filtering according to the scanning trajectory (low-pass filtering) is applied to the (ωZ axis) direction, the missing cone in the three-dimensional volume data generated by three-dimensional inverse Fourier transform of the Fourier space data after the low-pass filtering. Can reduce false images.
[0079]
In addition, applying low-pass filtering that blurs the subject axis (Z-axis) direction detection pixel length by four times or more by the Fourier space low-pass filtering unit is the minimum that can provide a sufficient false image reduction effect from the simulation result of low-pass filtering. It was found by knowledge that it can be obtained as a value. Of course, if low-pass filtering beyond this is applied, false images can be further reduced, but the number of independent subject images is reduced accordingly.
[0080]
<Second embodiment>
Subsequently, a three-dimensional optical camera according to a second embodiment of the present invention will be described. FIG. 14 is a block diagram according to the second embodiment of the three-dimensional optical camera of the present invention. The three-dimensional optical camera of the second example is the same as the first example except for the three-dimensional calculation unit 51 of the first example, so the configuration of the three-dimensional calculation unit 51a of the second example and The function will be described in particular detail.
[0081]
Here, a series of processing procedures for image reconstruction for generating three-dimensional volume data of a subject area in the three-dimensional calculation unit 51a will be outlined with reference to FIG. As shown in FIG. 15, the photographing
[0082]
As described above, in the first embodiment described above, Fourier space data obtained by three-dimensional Fourier transform of a three-dimensional subject image generated by performing image reconstruction by back-projecting the photographing data at each scanning position onto the three-dimensional lattice group K. In the second embodiment, after the filtering process is performed on the imaging data at each scanning position, that is, 2D (two-dimensional) data, a group of imaging after the filtering process is performed. Image reconstruction is performed to back-project data onto the three-dimensional lattice group K. The operator can select a subject image of an arbitrary surface from the three-dimensional subject image so that the subject image of the selected surface can be seen (FIG. 15 shows a thin cylindrical shape displayed at the rightmost end. Corresponds to what is seen from the Z-axis direction). As described above, the method of performing a 2D filtering process on a group of captured data and performing back projection is called a 2D (two-dimensional) filtering method.
[0083]
In the first embodiment described above, as shown in FIG. 2A, the horizontal axis direction (U direction) of the imaging surface D of the
[0084]
As shown in FIG. 14, the three-dimensional calculation unit 51a performs predetermined 2D filtering processing (| ω | filtering or low-pass filtering) 2D on a group of photographing data about a subject area obtained by rotational scanning in a circle. A filtering unit 58 is provided.
[0085]
The 2D filtering unit 58 applies | ω | filtering in the tangential direction in contact with the circular orbit of the imaging data obtained at each scanning position, that is, in the lateral direction (U direction) of the imaging surface D of the
[0086]
The function characteristics of | ω | filtering in the | ω | filtering section are given by Mr (ωr) · Mω () shown in FIGS. 11B and 11C and equations (7) to (10) in the first embodiment. ωR). Further, the function characteristic of the low-pass filtering in the low-pass filtering unit is Mdepth (ωZ) shown in FIG. 11A and Expression (6) in the first embodiment.
[0087]
Here, an outline of | ω | filtering and low-pass filtering by the 2D filtering unit 58 will be described with reference to FIG. As shown in FIG. 17A, the imaging data obtained at each scanning position is temporarily Fourier transformed into a two-dimensional Fourier space image, and as shown in FIG. Low-pass filtering is applied to the ωV direction (corresponding to the vertical direction (V direction) of the imaging surface D of the imaging camera unit 40), and the ωU direction of the two-dimensional Fourier space image (the horizontal direction of the imaging surface D of the imaging camera unit 40 ( Inverted Fourier transform that returns a two-dimensional Fourier space image after 2D filtering to a real space image as shown in FIG. 17C. Is doing. Here, for convenience of explanation, it has been described that imaging data obtained at each scanning position is converted into Fourier space data and subjected to 2D filtering processing. However, real space is applied to the imaging data obtained at each scanning position. The 2D filtering process may be performed above, and these are mathematically equivalent processes. As described above, the 2D filtering process is performed on the shooting data shown in FIG. 17A, and the shooting data is appropriately blurred as shown in FIG. The feature of the 2D filtering unit 58 is that the false image due to the missing cone in the three-dimensional subject image generated by backprojecting onto the three-dimensional lattice group K is reduced. That is, without performing the above-described 2D filtering process on the captured data at each scanning position, the back projection processing unit 53 in the subsequent stage back-projects the captured data at each scanning position onto the three-dimensional lattice group K to generate a three-dimensional subject image. As shown in FIG. 18A, two missing cones MS having the subject axis (ωZ axis) as the central axis are generated in the three-dimensional subject image in the Fourier space, and the influence of the missing cone MS is generated. As a result, a false image is generated in the three-dimensional subject image. Therefore, as described above, when 2D filtering processing is performed on the shooting data at each scanning position, the shooting data at each scanning position is appropriately blurred and back-projected onto the three-dimensional lattice group K to generate a three-dimensional subject image. As shown in FIG. 18B, the missing data MD in the three-dimensional subject image in the Fourier space has a cigar shape that is smaller than the two missing cones MS shown in FIG. It is possible to reduce the false image due to the missing cone MS in the three-dimensional subject image.
[0088]
As shown in FIG. 16B, the rotation of the imaging surface D described above can be applied with low-pass filtering in the vertical direction (V direction) of the photographic data and | ω | filtering in the horizontal direction (U direction) of the photographic data. Therefore, there is an advantage that the filtering direction with respect to the photographing data is fixed without changing at each scanning position. If the imaging surface D itself is fixed without rotating as in the first embodiment, the surface (center of the subject area) formed at each scanning position as shown in FIG. Low-pass filtering is applied in the direction in which the triangle O-DS-D) formed by connecting the point O, the circular orbit scanning center point DS, and the imaging surface D intersects the imaging surface D (imaging data) of the
[0089]
The three-dimensional calculation unit 51a performs back-projection processing that performs image reconstruction to generate three-dimensional volume data of the subject region by back-projecting the image of each scanning position subjected to the 2D filtering processing onto each lattice point of the three-dimensional lattice group K. A portion 53 is provided. Specifically, the backprojection processing unit 53 sets the lattice interval in the subject axis direction among the lattice intervals in the three orthogonal directions of the three-dimensional lattice group K in the other two directions, as in the first embodiment. Longer than the lattice spacing. In addition, as shown in FIG. 16A, photographing is performed so that the horizontal axis direction (U direction) of the imaging surface D of the photographing
[0090]
Next, the operation of the second embodiment apparatus having the above-described configuration will be described. First, as shown in FIG. 16A, the operator captures the diameter distance (for example, 1 m) of the circular trajectory that rotates the photographing
[0091]
As shown in FIG. 16 (a), the photographing
[0092]
Next, the 2D filtering unit 58 performs the above-described 2D filtering (| ω | filtering or low-pass filtering) processing on the group of captured data.
[0093]
The back projection processing unit 53 back-projects (back-projects) the group of photographing data subjected to the above-described 2D filtering processing onto a three-dimensional lattice group to generate three-dimensional volume data. In this way, image reconstruction for generating three-dimensional volume data (three-dimensional subject image) of the subject area is performed.
[0094]
The image information storage unit 52 stores three-dimensional volume data (three-dimensional subject image) obtained by back-projecting a group of shooting data subjected to 2D filtering processing by the back-projection processing unit 53. Of the three-dimensional volume data stored in the image information storage unit 52, the subject image on each surface orthogonal to the subject axis (Z axis) is appropriately displayed on the
[0095]
As described above, in the second embodiment described above, the 2D filtering unit 58 applies the filtering according to the scanning trajectory to the filtering direction determined by the scanning trajectory of the imaging data photographed at each scanning position. Therefore, a three-dimensional subject image having the same effect as that of the first embodiment described above and having a reduced false image due to the influence of the missing cone can be obtained.
[0096]
The present invention is not limited to the above embodiments, and can be modified as follows.
[0097]
(1) In each of the above-described embodiments, the
[0098]
Further, the
[0099]
As shown in FIG. 20A, the plane set on the photographing
[0100]
Also, as shown in FIG. 20B, the plane set on the photographing
[0101]
Further, as shown in FIG. 20C, the
[0102]
(2) Moreover, as shown in FIG. 21, this three-dimensional optical camera can also perform outdoor photography. As shown in FIGS. 21A and 21B, scanning is performed by linearly moving the
[0103]
(3) Further, as shown in FIG. 22, a marker MK for correcting the position of the photographing data at each scanning position is arranged in the subject area, and the back projection processing unit 53 is photographed at each scanning position. The image reconstruction may be performed by back projecting the photographing data onto each lattice point of the three-dimensional lattice group K so as to align the photographing data with respect to the marker MK in the photographing data to generate a three-dimensional subject image. Good. As the above-described marker MK, the dark and light stripe pole-shaped marker MK shown in FIGS. 22 (a) and 22 (b) and the concentric circle like the bow shown in FIGS. Examples include various patterns and shapes such as a changing marker MK. This marker is assumed to be stationary with respect to the subject during a group of shooting periods.
[0104]
(4) In each of the above-described embodiments, the back projection processing unit 53 sets the three-dimensional lattice group K virtually set in the subject area to a quadrangular prism shape (for example, a rectangular parallelepiped shape), but FIG. As shown, the three-dimensional lattice group may be a quadrangular pyramid shape that expands toward the end as the distance from the photographing
[0105]
(5) In each of the above-described embodiments, the photographing
[0106]
【Effect of the invention】
As is clear from the above description, claim 1Or 2According to the three-dimensional optical camera described above, the photographing camera unit that photographs the subject, the scanning mechanism unit that scans the subject while moving the subject relatively, and the photographing data photographed at each scanning position To each lattice point of the three-dimensional lattice group virtually set in the subject area.SimplePerforms image reconstruction to generate a three-dimensional subject image by back projectionSimpleSince it has a back projection processing unit, it is arranged in the direction of the subject axis, which is a group of photographed images with a shallow depth of field that form a three-dimensional subject image, that is, a straight line connecting the subject and the photographing camera unit A group of captured images with a shallow depth of field can be obtained. In addition, the filtering unit generates a false image in the three-dimensional subject image generated by reconstructing the image data captured at each scanning position or the three-dimensional subject image generated by reconstructing the image data. Since filtering for reduction is performed, a three-dimensional subject image in which a false image due to the influence of missing data such as a missing cone is reduced can be obtained. Claims1According to the invention described in the above, the 2D filtering unit applies filtering according to the scanning trajectory to the filtering direction determined by the scanning trajectory of the imaging data captured at each scanning position.SimpleSince the data is output to the back projection processing unit, a three-dimensional subject image in which a false image due to the influence of missing data such as a missing cone is reduced can be obtained. Claims2According to the invention described inSimpleLow-pass filtering is performed in the direction of the subject axis of the Fourier space data obtained by three-dimensional Fourier transform of the three-dimensional subject image generated by the backprojection processing unit to return it to the three-dimensional subject image of the real space data. Thus, a three-dimensional subject image with reduced false images due to the influence of the above can be obtained.
[0107]
Claims3According to the three-dimensional optical camera described above, the scanning mechanism unit captures an image on a linear trajectory perpendicular to the subject axis connecting the subject and the photographing camera unit when the photographing camera unit is at a predetermined position with respect to the subject. Since the camera unit is linearly moved, it is possible to perform imaging for performing image reconstruction for generating a three-dimensional subject image by linearly scanning the imaging camera unit.
[0108]
Claims4According to the three-dimensional optical camera described above, the plane set on the photographing camera unit side facing the subject is a plane orthogonal to the subject axis connecting the rotation center point, which is a specific point in the plane, and the subject. The scanning mechanism unit rotates the photographing camera unit around the center of rotation in the plane, so that the photographing camera unit rotates and scans to perform image reconstruction for generating a three-dimensional subject image. Can be done.
[0109]
Claims5According to the three-dimensional optical camera described above, the scanning mechanism unit moves the imaging camera unit on a single circular arc trajectory that is a part of the circumferential trajectory around the subject. Shooting for performing image reconstruction for generating a three-dimensional subject image can be performed.
[0110]
Claims6According to the three-dimensional optical camera described above, the plane set on the shooting camera unit side facing the subject is a plane orthogonal to the subject axis connecting the specific point in the plane and the subject, and the shooting camera unit is The three-dimensional subject image that is fixedly arranged at an arbitrary point away from the specific point in the plane and that scans the subject by rotating the subject itself, because the scanning mechanism rotates the subject around the subject axis. It is possible to perform photographing for performing image reconstruction to generate the image.
[0111]
Claims7According to the three-dimensional optical camera described above, the plane set on the photographing camera unit side facing the subject is a plane orthogonal to the subject axis connecting the rotation center point, which is a specific point in the plane, and the subject. The photographing camera unit is disposed on the subject axis so as to be directed toward the subject, and the rotary optical mirror is rotated around the subject axis by the scanning mechanism unit and is optically viewed from a direction inclined with respect to the subject axis. Since the image is reflected and imaged on the photographing camera unit, photographing for performing image reconstruction for generating a three-dimensional subject image by rotationally scanning the rotary optical mirror can be performed.
[0112]
Claims8According to the three-dimensional optical camera described above, the scanning mechanism unit is configured to place the subject on a linear trajectory orthogonal to the subject axis connecting the subject and the photographing camera unit when the subject is at a predetermined position with respect to the photographing camera unit. Is moved in a straight line, and the photographing camera unit is swung so as to follow and photograph the moving subject, so that the subject is scanned by moving the subject in a straight line. Shooting for configuration can be performed.
[0113]
Claims9According to the invention described inSimpleSince the back projection processing unit generates a three-dimensional subject image by setting the lattice interval in the subject axis direction to be longer than the lattice intervals in the other two directions among the lattice intervals in the orthogonal three-axis direction of the three-dimensional lattice group. Compared to back projection onto a three-dimensional lattice group in which the lattice spacing in each three-axis direction is set to be equal, the lattice spacing in the subject axis direction of the three-dimensional lattice group is made longer than the lattice spacing in the other two directions. Therefore, the amount of data to be backprojected is reduced, and the processing time for image reconstruction is shortened.
[0114]
Claims10According to the three-dimensional optical camera described above, the length of the lattice interval in the subject axis direction of the three-dimensional lattice group is the subject axis in which one pixel of the imaging surface D of the photographing camera unit is projected onto the subject axis. Since it is set based on the direction detection pixel length, the length of the lattice spacing in the subject axis direction depends on the angle between the subject axis and the straight line that connects the camera unit and the subject at the scanning position farthest from the subject axis. Is set.
[0115]
[0116]
[0117]
[0118]
Claim 11According to the invention described in the above, a marker for performing position calibration of the photographing data at each scanning position is arranged in the subject area,SimpleThe backprojection processing unit backprojects the image data captured at each scanning position onto each lattice point of the 3D lattice group so as to align the image data with reference to the marker in the image data. Since the generated image is reconstructed, the position of the photographic data at each scanning position can be calibrated based on the marker in the photographic data.
[0119]
Claim 12According to the invention described inSimpleThe backprojection processing unit sets the three-dimensional lattice group virtually set in the subject area to a quadrangular pyramid shape that expands toward the end as it moves away from the photographing camera unit. In such a case, a suitable three-dimensional lattice group can be set.
[Brief description of the drawings]
FIG. 1 is a block diagram of a three-dimensional optical camera according to a first embodiment of the present invention.
FIG. 2A is a schematic diagram showing one scanning mode of the photographing camera unit of the first embodiment, and FIG. 2B is a diagram showing photographing data at
FIG. 3 is a schematic diagram for explaining a series of processing procedures in the three-dimensional calculation unit of the first embodiment.
FIG. 4 is an explanatory diagram illustrating a state in which imaging data captured at each scanning position is back-projected onto a three-dimensional lattice group.
5A is an explanatory diagram showing an imaging mechanism of a needle hole camera, and FIG. 5B is an explanatory diagram showing an X-ray fluoroscopic imaging mechanism in an X-ray fluoroscopic imaging apparatus.
FIG. 6 is a schematic diagram for explaining a back projection method in a back projection processing unit of the invention.
FIGS. 7A and 7B are schematic diagrams for explaining the relationship between the detected pixel length of each axis of the three-dimensional lattice group and the one-pixel pitch of the flat panel X-ray detector.
FIG. 8 is a schematic diagram showing a three-dimensional Fourier distribution image in which a missing cone exists in the ωZ-axis direction.
FIG. 9 is a schematic diagram showing a radius ωr of a ωX-ωY plane.
FIG. 10 is a schematic diagram showing the filter function of the filtering unit of the first embodiment superimposed on a three-dimensional Fourier distribution image.
11A to 11C are characteristic diagrams showing filter functions of the filtering unit of the first embodiment.
12A is a perspective view schematically showing a three-dimensional Fourier distribution image in which a defect cone exists in the ωZ-axis direction, and FIG. 12B is a side view of FIG.
FIGS. 13A to 13C are schematic views showing reconstructed images of the respective surfaces reconstructed by being photographed by the three-dimensional optical camera of the first embodiment. FIGS.
FIG. 14 is a block diagram showing a three-dimensional optical camera according to a second embodiment of the present invention.
FIG. 15 is a schematic diagram for explaining a series of processing procedures in the three-dimensional calculation unit according to the second embodiment;
FIG. 16A is a schematic diagram showing one scanning form of the photographing camera unit of the second embodiment, and FIG. 16B is a diagram showing photographing data at
FIGS. 17A to 17C are style diagrams for explaining that 2D filtering processing is performed on captured data. FIGS.
18A is a schematic diagram showing a missing cone in a three-dimensional subject image when 2D filtering processing is not performed, and FIG. 18B shows that the missing cone becomes small and has a cigar shape by 2D filtering processing. It is a schematic diagram.
FIG. 19A is a schematic diagram showing one scanning form of the photographing camera unit, and FIG. 19B is a diagram showing photographing data at
20A is a schematic diagram showing a scanning mode for rotating a subject, FIG. 20B is a schematic diagram showing a scanning mode for rotating a rotary optical mirror, and FIG. 20C is a diagram showing a linear movement of the subject. It is a schematic diagram which shows the scanning form which carries out tracking imaging | photography of the lever subject with an imaging camera part.
FIGS. 21A and 21B are schematic diagrams for explaining outdoor shooting by a three-dimensional optical camera, FIG. 21B is a side view of AA of FIG. 21A, and FIG. 21C is a three-dimensional optical camera. It is a schematic diagram for demonstrating outdoor imaging | photography, (d) is a BB side view of (c).
22A is a schematic diagram showing that a marker is provided in the subject area, FIG. 22B is a side view of AA in FIG. 22A, and FIG. 22C is a diagram showing that a marker is provided in the subject area; (D) is a BB side view of (c).
23A is a schematic diagram illustrating a quadrangular pyramid-shaped three-dimensional lattice group, and FIGS. 23B to 23E are schematic diagrams illustrating subject images at respective positions on the subject axis.
FIG. 24 is a schematic diagram for explaining a photographing state with a conventional optical camera.
FIGS. 25A to 25C are schematic views showing focus images of respective surfaces taken by a conventional three-dimensional optical camera. FIGS.
[Explanation of symbols]
30 ... Scanning mechanism
40 ... Camera unit
51 ... Three-dimensional operation part
51a ... Three-dimensional calculation unit
53 ... Back projection processing unit
54 ... 3D Fourier transform
55 ... Fourier space filtering unit
56 ... 3D inverse Fourier transform unit
57… Filtering section
58 ... 2D filtering unit
71… Rotating optical mirror
D: Imaging surface
K ... 3D lattice group
MK ... Marker
Claims (12)
(b)前記撮影カメラ部と被写体とを相対的に直線または円移動させながら被写体を撮影するように走査する走査機構部と、
(c)走査各位置において撮影された撮影データを、被写体領域に仮想的に設定される3次元格子群の各格子点に単純逆投影して、3次元被写体像を生成する画像再構成を行う単純逆投影処理部とを備え、
走査各位置で撮影された撮影データまたはそれらを画像再構成して生成された3次元被写体像に対して、画像再構成して生成された3次元被写体像における偽像を低減するためのフィルタリングをかけるフィルタリング部を備え、
前記フィルタリング部は、走査軌道が直線軌道の場合、走査各位置で撮影された撮影データの走査軌道により決まるフィルタリング方向に対して、通過帯域を走査各位置に応じたローパスフィルタリングをかけ、
走査軌道が円軌道の場合、走査各位置で撮影された撮影データの走査軌道により決まるフィルタリング方向に対して、ローパスフィルタリングをかけ、さらに、ローパスフィルタリングをかけた方向に垂直な方向に対して|ω|フィルタリングをかけて前記単純逆投影処理部に出力する2Dフィルタリング部を備えた
ことを特徴とする3次元光学カメラ。(A) a shooting camera unit for shooting a subject;
(B) a scanning mechanism that scans the subject while photographing the subject while relatively moving the photographing camera unit and the subject in a straight line or a circle;
(C) Image reconstruction that generates a three-dimensional subject image is performed by simply back projecting the photographing data taken at each scanning position onto each lattice point of a three-dimensional lattice group that is virtually set in the subject region. A simple backprojection processing unit,
Filtering for reducing false images in the three-dimensional object image generated by image reconstruction on the image data captured at each scanning position or the three-dimensional object image generated by image reconstruction of the data. With a filtering section
When the scanning trajectory is a linear trajectory, the filtering unit applies a low-pass filtering according to each scanning position in the passband with respect to a filtering direction determined by a scanning trajectory of imaging data captured at each scanning position,
When the scanning trajectory is a circular trajectory, low-pass filtering is applied to the filtering direction determined by the scanning trajectory of the imaging data captured at each scanning position, and | ω is applied to the direction perpendicular to the direction of low-pass filtering. A three-dimensional optical camera comprising a 2D filtering unit that performs filtering and outputs to the simple backprojection processing unit.
(b)前記撮影カメラ部と被写体とを相対的に移動させながら被写体を撮影するように走査する走査機構部と、
(c)走査各位置において撮影された撮影データを、被写体領域に仮想的に設定される3次元格子群の各格子点に単純逆投影して、3次元被写体像を生成する画像再構成を行う単純逆投影処理部とを備え、
走査各位置で撮影された撮影データまたはそれらを画像再構成して生成された3次元被写体像に対して、画像再構成して生成された3次元被写体像における偽像を低減するためのフィルタリングをかけるフィルタリング部を備え、
前記フィルタリング部は、前記単純逆投影処理部で生成された3次元被写体像を3次元フーリエ変換する3次元フーリエ変換部と、3次元フーリエ変換したフーリエ空間データの予め定められた被写体軸方向にローパスフィルタリングをかけるフーリエ空間ローパスフィルタリング部と、ローパスフィルタリングしたフーリエ空間データを3次元逆フーリエ変換して3次元被写体像に戻す3次元逆フーリエ変換部とを備えた
ことを特徴とする3次元光学カメラ。(A) a shooting camera unit for shooting a subject;
(B) a scanning mechanism unit that scans the subject while photographing the subject while relatively moving the photographing camera unit and the subject;
(C) Image reconstruction that generates a three-dimensional subject image is performed by simply back projecting the photographing data taken at each scanning position onto each lattice point of a three-dimensional lattice group that is virtually set in the subject region. A simple backprojection processing unit,
Filtering for reducing false images in the three-dimensional object image generated by image reconstruction on the image data captured at each scanning position or the three-dimensional object image generated by image reconstruction of the data. With a filtering section
The filtering unit includes a three-dimensional Fourier transform unit that performs a three-dimensional Fourier transform on the three-dimensional subject image generated by the simple backprojection processing unit, and a low pass in a predetermined subject axis direction of Fourier space data that has been subjected to the three-dimensional Fourier transform. A three-dimensional optical camera comprising: a Fourier space low-pass filtering unit that performs filtering; and a three-dimensional inverse Fourier transform unit that returns the three-dimensional inverse Fourier transform of the low-pass filtered Fourier space data to a three-dimensional subject image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001121191A JP5103697B2 (en) | 2001-04-19 | 2001-04-19 | 3D optical camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001121191A JP5103697B2 (en) | 2001-04-19 | 2001-04-19 | 3D optical camera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002311523A JP2002311523A (en) | 2002-10-23 |
| JP5103697B2 true JP5103697B2 (en) | 2012-12-19 |
Family
ID=18971117
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001121191A Expired - Fee Related JP5103697B2 (en) | 2001-04-19 | 2001-04-19 | 3D optical camera |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5103697B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101085676B1 (en) * | 2010-04-21 | 2011-11-22 | 김성도 | Monocular 3D Imaging Device and 3D Camera |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0610603B2 (en) * | 1987-07-16 | 1994-02-09 | 工業技術院長 | Robot 3D measurement system |
| JPH06101023B2 (en) * | 1987-07-16 | 1994-12-12 | 工業技術院長 | Robot 3D measurement system |
| JPH02100589A (en) * | 1988-10-07 | 1990-04-12 | Nippon Telegr & Teleph Corp <Ntt> | Binocular parallax detecting method |
| JPH0486957A (en) * | 1990-07-31 | 1992-03-19 | Fuji Facom Corp | Method for inputting appearance data of stereoscopic object |
| JPH05141930A (en) * | 1991-11-19 | 1993-06-08 | Nippon Telegr & Teleph Corp <Ntt> | Three-dimensional shape measuring device |
| JP2741984B2 (en) * | 1992-03-25 | 1998-04-22 | 凸版印刷株式会社 | 3D shape measuring device |
| US5375156A (en) * | 1992-03-31 | 1994-12-20 | Siemens Medical Systems, Inc. | Method and apparatus for 3-D computer tomography |
| JP3106036B2 (en) * | 1992-08-19 | 2000-11-06 | 株式会社エイ・ティ・アール人間情報通信研究所 | 3D information extraction method |
| JP3315175B2 (en) * | 1993-01-26 | 2002-08-19 | 日本電信電話株式会社 | 3D measuring device |
| JP2976774B2 (en) * | 1993-09-30 | 1999-11-10 | 凸版印刷株式会社 | Display with diffraction grating pattern |
| JPH07116146A (en) * | 1993-10-21 | 1995-05-09 | Shiseido Co Ltd | Measuring crease method and apparatus |
| JPH08105724A (en) * | 1994-10-05 | 1996-04-23 | Fujitsu Ltd | Three-dimensional shape measuring device and three-dimensional shape measuring method |
| JP3332310B2 (en) * | 1994-12-13 | 2002-10-07 | 日本電信電話株式会社 | Method and apparatus for extracting three-dimensional information of feature points |
| WO1997006406A1 (en) * | 1995-08-07 | 1997-02-20 | Komatsu Ltd. | Distance measuring apparatus and shape measuring apparatus |
| DE19618140A1 (en) * | 1996-05-06 | 1997-11-13 | Fraunhofer Ges Forschung | 3D measuring arrangement for whole body detection and measurement of a corresponding measuring arrangement |
| JP2913021B2 (en) * | 1996-09-24 | 1999-06-28 | 和歌山大学長 | Shape measuring method and device |
| JP2912287B2 (en) * | 1997-03-14 | 1999-06-28 | 興和株式会社 | Fundus three-dimensional shape measurement device |
| JPH11252585A (en) * | 1998-03-05 | 1999-09-17 | Nippon Hoso Kyokai <Nhk> | Parallax estimation device |
| JP4282110B2 (en) * | 1998-06-04 | 2009-06-17 | 株式会社東芝 | X-ray computed tomography system |
| US6262818B1 (en) * | 1998-10-07 | 2001-07-17 | Institute Of Applied Optics, Swiss Federal Institute Of Technology | Method for simultaneous amplitude and quantitative phase contrast imaging by numerical reconstruction of digital holograms |
| JP3514373B2 (en) * | 1999-07-12 | 2004-03-31 | 日本電信電話株式会社 | Three-dimensional information extraction method and apparatus, and recording medium storing three-dimensional information extraction program |
-
2001
- 2001-04-19 JP JP2001121191A patent/JP5103697B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002311523A (en) | 2002-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5881960B2 (en) | 3D imaging using telecentric defocusing | |
| JP6841863B2 (en) | OCT retinal image data rendering method, storage medium storing OCT retinal image data rendering program, OCT retinal image data rendering program and OCT retinal image data rendering device | |
| JP6223169B2 (en) | Information processing apparatus, information processing method, and program | |
| JP4742190B2 (en) | 3D object measuring device | |
| JP7431016B2 (en) | How to image a sample using an electron microscope | |
| CN109187591B (en) | An X-ray super-resolution imaging method and its application | |
| JP7462890B2 (en) | Method and system for calibrating a plenoptic camera system - Patents.com | |
| CN104142353B (en) | Method and system for positioning local CT scanning with assistance of visible imaging | |
| JPH0793924B2 (en) | Reconstruction method of tomographic image using radiation crossing plane | |
| US20100289874A1 (en) | Square tube mirror-based imaging system | |
| Kagawa et al. | A three‐dimensional multifunctional compound‐eye endoscopic system with extended depth of field | |
| JP2020173175A (en) | Projection image capture method, control device, control program, processing device and processing program | |
| KR102479827B1 (en) | Image processing device and image processing method | |
| JP2016208438A (en) | Image processing apparatus and image processing method | |
| CN111080774B (en) | Method and system for reconstructing light field by applying depth sampling | |
| KR101399274B1 (en) | multi 3-DIMENSION CAMERA USING MULTI PATTERN BEAM AND METHOD OF THE SAME | |
| JP6108575B2 (en) | Image processing apparatus and X-ray imaging apparatus | |
| JP5103697B2 (en) | 3D optical camera | |
| JP2005021661A (en) | Tomographic x-ray equipment | |
| JP2019520897A (en) | Intraoral imaging device with extended depth of field | |
| JPWO2016175045A1 (en) | Image processing apparatus and image processing method | |
| JPH0766436B2 (en) | 3D model construction device using continuous silhouette images | |
| JPH09138850A (en) | Surface shape reconstitution device | |
| JP6684454B2 (en) | Image processing apparatus and image processing method | |
| CN116977449B (en) | An active calibration method for compound eye event cameras based on flickering checkerboard |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070705 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100707 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100713 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100910 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110920 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120508 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120531 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120904 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120917 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5103697 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151012 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |