JP3869702B2 - ステレオ画像撮像装置 - Google Patents
ステレオ画像撮像装置 Download PDFInfo
- Publication number
- JP3869702B2 JP3869702B2 JP2001332368A JP2001332368A JP3869702B2 JP 3869702 B2 JP3869702 B2 JP 3869702B2 JP 2001332368 A JP2001332368 A JP 2001332368A JP 2001332368 A JP2001332368 A JP 2001332368A JP 3869702 B2 JP3869702 B2 JP 3869702B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- parallax
- shielding
- stop
- wavelength region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000003287 optical effect Effects 0.000 claims description 98
- 238000003384 imaging method Methods 0.000 claims description 97
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000000903 blocking effect Effects 0.000 claims 2
- 238000001444 catalytic combustion detection Methods 0.000 description 22
- 238000000034 method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Diaphragms For Cameras (AREA)
- Shutters For Cameras (AREA)
- Blocking Light For Cameras (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Color Television Image Signal Generators (AREA)
Description
【発明の属する技術分野】
本発明は、ステレオ視法における視差画像を撮像するための装置に関する。
【0002】
【従来の技術】
異なる視点から撮像され、視差のある複数の画像(以下視差画像と呼ぶ)を用いるステレオ視法に関しては、解析写真測量やコンピュータビジョンの分野で広く研究されている。視差画像の撮像には視点の異なる複数のカメラを用いる方法や、1台のカメラの視点を順次移動する方法などがある。また、単一の光学系を用いた視差画像の撮像方法としては、例えば特開平10−42314号公報に記載された方法がある。この方法では、光軸に垂直な面内の異なる位置に設けられた開口を通して撮像面に導かれる被写体像が視差を持つことを利用して視差画像を得ている。すなわち、光軸に垂直な面内を移動できる絞りを設け、絞りをこの面内で移動させることにより異なる位置に絞りを配置し、それぞれの位置に絞りが配置された状態で被写体を撮像することにより視差画像を得ている。この方法によれば、カメラを複数設けたり、カメラを移動させたりすることなく、単一の光学系を用いて視差画像を撮像することができる。
【0003】
【発明が解決しようとする課題】
しかし、それぞれの視差画像を撮像する毎に絞りの位置を移動させる方法では、絞り位置を移動させるための駆動機構が必要となるため機構的に複雑になり製造コストも高くなる。また、絞りの移動には時間を要するため、それぞれの視差画像は同時に撮像されたものではなく、所定の時間間隔をおいて撮像された画像となる。したがって、上述の方法では静止した被写体しか撮像することができない。
【0004】
本発明は、簡単な機構により視差画像を単一の光学系で同時に撮像できるステレオ画像撮像装置を得ること及び通常画像を同一の装置で得ることを目的としている。
【0005】
【課題を解決するための手段】
本発明のステレオ画像撮像装置は、被写体の第1の波長領域の光による第1の被写体像と、第1の波長領域とは異なる第2の波長領域の光による第2の被写体像とを検出可能な撮像部と、撮像部に第1及び第2の被写体像を結像可能な撮像光学系と、撮像光学系の光路内に第1の波長領域の光を選択的に透過可能な第1の視差絞りを形成するとともに、光路内の前記第1の領域とは異なる位置に第2の波長領域の光を選択的に透過可能な第2の視差絞りを形成する視差絞り形成手段と、光路内に第1及び第2の波長領域を含む波長領域の光を透過可能な開口絞りを形成する開口絞り形成手段と、視差絞り形成手段により第1及び第2の視差絞りを光路内に形成し、第1の視差絞りを介して第1の被写体像を撮像部に結像させ、第2の視差絞りを介して第2の被写体像を撮像部に結像させることにより視差のある第1及び第2の被写体像を撮像部において検出する第1の撮影モードと、開口絞り形成手段により開口絞りを光路内に形成し、開口絞りを介して第1及び第2の波長領域を含む光による第3の被写体像を撮像部に視差のない1つの画像として結像させて第3の被写体像を撮像部において検出する第2の撮影モードと、第1又は第2の撮影モードを択一的に選択するためのモード選択手段とを備えることを特徴としている。
【0006】
ステレオ画像撮像装置は、光路の少なくとも一部を遮光可能な複数の遮光セグメントを備え、視差絞り形成手段と開口絞り形成手段とが複数の遮光セグメントを重ね合わせることにより第1、第2の視差絞りと開口絞りとを形成することが好ましい。このとき、視差絞り形成手段は第1及び第2の視差絞りを形成するときに開口絞りがこれら複数の遮光セグメントにより閉じられ、開口絞り形成手段が開口絞りを形成するとき、第1及び第2の視差絞りがこれら複数の遮光セグメントにより閉じられることが好ましい。これにより、より簡略な構成で視差絞りと開口絞りとを兼用することができる。
【0007】
例えば、複数の遮光セグメントは第1及び第2の遮光セグメントを有し、第1及び第2の遮光セグメントに第1及び第2の開口部がそれぞれ設けられるとともに第1の遮光セグメントの第1の開口部に第1の波長領域の光を選択的に透過可能な光学フィルタが、また第2の遮光セグメントの第1の開口部に第2の波長領域の光を選択的に透過可能な光学フィルタが設けられ、第1の撮影モードにおいて第1の遮光セグメントの第1の開口部と第2の遮光セグメントの第2の開口部とが相互に重なり合うことにより第1又は第2の視差絞りが形成される。
【0008】
また例えば、複数の遮光セグメントが第1及び第2の遮光セグメントを有するとともに、撮像光学系が開口絞りの最大開口に相当する開口が形成された遮光板を有し、遮光板の開口の周囲に第1及び第2の波長領域を選択的に透過可能な光学フィルタが貼付された開口が第1及び第2の視差絞りとして形成され、第2の撮影モードにおいて第1及び第2の視差絞りが遮光セグメントにより遮光され、光軸上に開口絞りを形成されることにより光が透過可能になり、第1の撮影モードにおいてこれら複数の遮光セグメントが遮光板から退避されることにより、光軸上の開口絞りを閉じると同時に第1及び第2の視差絞りを光が透過可能となる。
【0009】
例えば複数の遮光セグメントは絞り羽根であり、複数の絞り羽根が全閉可能なアイリス絞りとして開口絞りを構成する。また、例えば複数の遮光セグメントはシャッター羽根であり、複数のシャッター羽根がレンズシャッターとして開口絞りを構成する。これにより従来のアイリス絞りやレンズシャッターを用いて視差絞りを形成することができる。
【0010】
また、上記開口に替えて、第1及び第2の遮光セグメントに第1の切欠部及び第2の切欠部をそれぞれ設け、第1の切欠部に第1の波長領域の光を選択的に透過可能な光学フィルタを設け、第1の撮影モードにおいて第1の遮光セグメントの第1の切欠部と第2の遮光セグメントの第2の切欠部とが相互に重なり合うことにより第1又は第2の視差絞りが形成されるようにしてもよい。更に、第1及び第2の遮光セグメントに開口部及び切欠部とをそれぞれ設け、開口部又は切欠部の一方に第1の波長領域の光を選択的に透過可能な光学フィルタを設け、第1の撮影モードにおいて第1の遮光セグメントの開口部と第2の遮光セグメントの切欠部とが相互に重なり合うことにより第1又は第2の開口を形成してもよい。
【0011】
また、第2の撮影モードにおいてカラー画像を撮像する場合には、第1及び第2の波長領域は赤(R)、緑(G)、青(B)のうちの何れか一つであることが好ましく、撮像部で検出可能な波長領域と前記視差絞りとが1対1に対応することが好ましい。また撮像部は、例えばオンチップカラーフィルタを搭載した撮像素子からなり、第1及び第2の波長領域がオンチップカラーフィルタの各色フィルタの透過波長領域に対応することが好ましい。
【0012】
また、本発明のステレオ画像撮像装置は、第1の波長領域の光による第1の被写体像と、第1の波長領域とは異なる第2の波長領域の光による第2の被写体像と、第1及び第2の波長領域とは異なる第3の波長領域の光による第3の被写体像とを検出可能な撮像部と、撮像部に第1、第2及び第3の被写体像を結像可能な撮像光学系と、撮像光学系の光路内に第1の波長領域の光を選択的に透過可能な第1の視差絞りと、第1の領域とは異なる位置に第2の波長領域の光を選択的に透過可能な第2の視差絞りと、第1及び第2の領域とは異なる位置に第3の波長領域の光を選択的に透過可能な第3の視差絞りとを形成する視差絞り形成手段と、光路内に第1、第2及び第3の波長領域を含む波長領域の光を透過可能な開口絞りを形成する開口絞り形成手段と、視差絞り形成手段により第1、第2及び第3の視差絞りを光路内に形成し、第1、第2及び第3の視差絞りを介してそれぞれ第1、第2及び第3の被写体像を撮像部に結像させることにより視差のある第1、第2及び第3の被写体像を撮像部において検出する第1の撮影モードと、開口絞り形成手段により開口絞りを光路内に形成し、開口絞りを介して第1、第2及び第3の波長領域を含む光による第4の被写体像を撮像部に視差のない1つの画像として結像させて第4の被写体像を撮像部において検出する第2の撮影モードと、第1又は第2の撮影モードを択一的に選択するためのモード選択手段とを備えることを特徴としている。
【0013】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
本発明の第1の実施形態におけるステレオ画像撮像装置について図1〜図4を参照して説明する。
【0014】
まず、図1、図2を参照して、本発明において利用される視差画像撮像の原理について説明する。図1、図2において撮像光学系10は模式的に表されており、図1では、撮像部11の撮像面Siに、光軸Lよりも上方に設けられた開口12を介して被写体像が投影される場合を示している。図2では、光軸Lよりも下方に設けられた開口13を介して被写体像が投影される場合を示している。なお、開口12、13以外の太い実線で示された部分は遮光されており、Faは開放絞りのときの径を示している。
【0015】
図1、図2には光軸L上の異なる3つの物点A、B、Cの位置と、これらが投影される撮像面Si上の位置とが示されている。物点Bは合焦面So上の点であり、物点Aは撮像系からみて合焦面Soよりも遠い点、物点Cは合焦面Soよりも近い点である。このとき開口12を介して各物点A、B、Cが結像される位置はそれぞれ撮像面Siよりも手前側の結像点A’、撮像面Si上の結像点B’、撮像面Siよりも後方側の結像点C’となる。また開口13を介して各物点A、B、Cが結像される位置はそれぞれ撮像面Siよりも手前側の結像点A”、撮像面Si上の結像点B’、撮像面Siよりも後方側の結像点C”となる。すなわち、開口12を介して撮像面Siに投影される各物点A、B、Cの投影像は、物点Aは光軸Lよりも下側の領域A1に、物点Bは光軸L上の結像点B’に、物点Cは光軸Lよりも上側の領域C1に投影される。また開口13を介して撮像面Siに投影される各物点A、B、Cの投影像は、物点Aは光軸Lよりも上側の領域A2に、物点Bは光軸L上の結像点B’に、物点Cは光軸Lよりも下側の領域C2に投影される。なお、開口12、13の大きさは、物点A、Cが投影される領域A1、A2、C1、C2の大きさが十分に小さく、物点A、Cの像のピンぼけが十分に小さいと見なせる程度の大きさに設定されている。
【0016】
合焦面So上にある物点の撮像面Si上の投影像は開口の位置によらないのに対し、合焦面So上にない物点の撮像面Si上への投影像は開口の位置により変化する。この変化は、物点の位置が合焦面Soから離れるほど大きく、その変化の方向は物点の位置が合焦面Soよりも撮像面Siに近い位置にあるときには開口の位置が変化する方向と同方向に変化し、物点の位置が合焦面Soよりも撮像面Siから遠い位置にあるときには開口の位置が変化する方向とは逆方向に変化する。例えば、開口の位置が図1の開口12の位置から図2の開口13の位置に変化(下向きに移動)したとすると、合焦面Soよりも撮像面Siに近い位置にある物点Cが投影される位置は、光軸Lの上方にある領域C1から光軸Lの下方にある領域C2に変化(下向きに移動)する。一方、合焦面Soよりも撮像面Siから遠い位置にある物点Aが投影される位置は、光軸Lよりも下方にある領域A1から光軸よりも上方にある領域A2に変化(上向きに移動)する。
【0017】
したがって、2つの異なる位置に設けられた開口を通して撮像される2枚の被写体像には、被写体までの距離に対応したズレが生じ、このズレは2つの視点から被写体を撮像したときに得られる視差に対応する。すなわち、2つの異なる位置に設けられた開口を通して被写体像を撮像することにより1組の視差画像を得ることができる。以下視差画像を撮像するために用いられる上述の開口を視差絞りと呼ぶ。
【0018】
次に図3〜図7を参照して第1の実施形態のステレオ画像撮像装置について説明する。図3は本実施形態のステレオ画像撮像装置の回路構成を示すブロック図である。なお、図1、図2と共通部分に関しては同一の記号を用いる。
【0019】
撮像光学系10に入射した被写体からの光は、絞り(例えばアイリス絞り)20を介して被写体像を撮像するための撮像部11の撮像面Siに投影(結像)され被写体像を形成する。アイリス絞り20は後に詳述するように視差絞りとしても用いられ、撮像面Siでは通常のカラー画像の他、視差画像の撮像も行うことができる。撮像光学系10のフォーカスやズーム動作はレンズ駆動回路35により制御され、アイリス絞り20の開閉動作はアイリス絞り駆動回路36により制御される。また、レンズ駆動回路35及びアイリス絞り駆動回路36はシステムコントロール回路31によって制御される。
【0020】
撮像部11は例えばR、G、Bのオンチップカラーフィルタ14が搭載されたCCDから構成され、CCD11で検出された画像信号は、画像処理装置30に入力され、A/D変換されデジタルの画像信号に変換されるとともに従来公知の各種信号処理が施される。その後画像信号は、ステレオ画像撮像装置全体の制御を行うシステムコントロール回路31内のメモリ(図示せず)にRGBの画像データとして一時的に記憶される。システムコントロール回路31内のメモリに記憶されたRGBの画像データは画像記録装置32を介してメモリカード等の記録媒体Mに記録される。また、CCD11の駆動はCCDドライバ33により制御され、CCDドライバ33はシステムコントロール回路31によって制御される。
【0021】
システムコントロール回路31には、後述する通常撮影モード(第2の撮影モード)とステレオ撮影モード(第1の撮影モード)との間におけるモード切替を行うためのモード切替スイッチ37が接続されている。また、ステレオ画像撮像装置の撮像動作や画像データの記録媒体Mへの記録動作などは、システムコントロール回路31に接続された操作部34に設けられた図示しないレリーズスイッチや各種操作ボタンを操作することにより行われる。なお、ステレオ画像撮像装置は、この他にもデジタルカメラが通常具備する機能及び機構を備えているがここでは省略する。
【0022】
次に図4〜図6を参照して第1の実施形態のアイリス絞り20について説明する。図4は、アイリス絞り20に用いられる絞り羽根(遮光セグメント)51の形状を示す平面図であり、図5、図6は3枚の絞り羽根51から成るアイリス絞り20全体の平面図である。図5は絞りが開放された状態を示しており、このときアイリス絞り20は通常の絞り(開口絞り)としての機能を果たし、通常のカラー画像の撮像が行われる。図6はアイリス絞りが全閉され、かつ視差絞りとしての機能を果たす状態を示している。
【0023】
図4に示されるように、絞り羽根51は撮像光学系10(図3参照)の光路を遮光する幅広のブレード部60と、絞り羽根51を回動自在に鏡筒に固定するための軸部61と、ブレード部60と軸部61とを連絡するレバー部62とから構成される。軸部61には軸孔51aが形成され、レバー部62にはカム孔51bが形成されている。ブレード部60のレバー部61側には例えば円形の開口21が形成されており、レバー部61とは反対のブレード部60の先端側には例えば開口21と略同じ大きさの円形の開口22が設けられている。開口21には、例えばR、G、Bのうちの何れかの色フィルタ(斜線で示す)が設けられている。以下、Rの色フィルタが設けられた絞り羽根を符号51Rで、G、Bの色フィルタが設けられた絞り羽根をそれぞれ符号51G、51Bで表す。なお、開口21、22の配置の詳細に関しては後述する。
【0024】
図5において、光軸Lを中心とする円形開口LPは、撮像光学系10内の遮光板40に形成された固定絞りであり、アイリス絞り20の最大開口に相当する。開口LPが形成された遮光板(固定絞り)40の上にはアイリス絞り20を駆動するための駆動リング53が載置される。駆動リング53は、その外周の一部に絞りセグメントギア部53bを有する。セグメントギア部53bはアイリス駆動回路36(図3参照)に設けられた図示しないモーターに取り付けられたピニオンと噛合し光軸Lを中心に回動可能である。駆動リング53上には光軸Lを中心とする回転対称な位置に、3つの駆動ピン53aが設けられ、駆動リングの外側には光軸Lに対し回転対称な位置に、3つのピボット52が撮像光学系10の鏡筒内に固定的に配置される。なお、本図において、遮光板40の外周形状を示す輪郭線は省略されている。
【0025】
3つの絞り羽根51R、51G、51Bは、駆動リング53上の光軸Lに対し回転対称となるように配置される。絞り羽根51R、51G、51Bは、例えば絞り羽根51B、絞り羽根51G、絞り羽根51Rの順にその一部が重なる状態で駆動リング上に載置される。このとき3つの絞り羽根51R、51G、51Bの軸孔51aはそれぞれ3つのピボット52に回動自在に取り付けられ、カム孔51bは駆動ピン53aに摺動自在に係合される。これにより各絞り羽根51のカム孔51bと駆動ピン53aはカム機構を構成し、駆動リング53が光軸L周りに回転されると、このカム機構により絞り羽根51R、51G、51Bはそれぞれ軸孔52を中心に、光軸Lに対する回転対称性を維持しながら回動され、絞り羽根51R、51G、51Bにより光軸Lを中心に開口LPに形成される開口絞りの拡縮動作が行われる。
【0026】
図5は、アイリス絞り20が最も開いた状態を示しているので、絞り羽根51R、51G、51Bは何れも開口LPの光路を遮光しないように、開口LPよりも外側(遮光板40上)に位置している。このとき各駆動ピン53aはカム孔51bのブレード部60よりの位置にある。駆動リング53が図5の位置から光軸Lを軸に反時計回りに回転されると、各絞り羽根51R、51G、51Bは、カム孔51bと駆動ピン53aによるカム機構により各々ピボット52を中心に時計回りに回動される。このとき開口LPは重ね合わされた絞り羽根51R、51G、51Bにより周縁から徐々に遮光され、光軸Lを中心とする開口が開口絞りとして形成される。開口絞りの大きさは、駆動リング53の回転角に対応して拡縮される。駆動リング53が反時計回りに限界となる位置まで回転されると、図6に示される状態となり、絞り羽根51R、51G、51Bは開口LPの中心付近で完全に重なり合い光軸Lを中心として絞り羽根51R、51G、51Bにより形成された開口絞りは完全に閉じられる。一方、視差絞りが開口LP内に絞り羽根51R、51G、51Bの開口21、22により形成される。なお、このとき、駆動ピン53aはカム孔51bの軸部61よりの位置にある。
【0027】
次に、図6を参照して絞り羽根51R、51G、51Bに設けられる開口21、22の配置について説明する。
【0028】
絞り羽根51R、51G、51Bに設けられる開口21、22は、図6の状態において、絞り羽根51Rの開口21に絞り羽根51Bの開口22が重なり、絞り羽根51Gの開口21に絞り羽根51Rの開口22が重なり、絞り羽根51Bの開口21に絞り羽根51Gの開口22が重なるように配置される。また、このとき絞り羽根51の開口21、22は、開口LP内に位置する。
【0029】
すなわち、駆動リング53が反時計周りに限界位置まで回転されたとき、撮像光学系10に入射した光のうちR成分の光は絞り羽根51Bの開口22及びRフィルタが貼付された絞り羽根51Rの開口21を透過し、G成分の光は絞り羽根51Rの開口22及びGフィルタが貼付された絞り羽根51Gの開口21を透過し、B成分の光は絞り羽根51Gの開口22及びBフィルタが貼付された絞り羽根51Bの開口21を透過する。このとき絞り羽根51R、51G、51Bに設けられた各々の開口20、21は視差絞りとしての役割を果たす。以下においては、絞り羽根51Bの開口22及び絞り羽根51Rの開口21から成る視差絞りを符号21Rを用いて参照し、絞り羽根51Rの開口22及び絞り羽根51Gの開口21から成る視差絞りを符号21G、絞り羽根51Gの開口22及び絞り羽根51Bの開口21から成る視差絞りを符号21Bを用いて参照する。なお、絞り羽根51R、51G、51Bにより開口LPの中心に形成される開口絞りが完全に閉じ切っていないときには、開口21、22は、開口LPの外側の領域(遮光板40上)に位置するか、他の絞り羽根により遮光されており、視差絞り21R、21G、21Bを光が透過することはない。
【0030】
図6の状態において、撮像光学系10に入射した光のRGB成分はそれぞれ視差絞り21R、21G、21Bを介してCCD11の撮像面Siに投影(結像)され被写体像を形成する。視差絞り21R、21G、21Bは異なる位置に設けられているので、図1、2を参照して説明したように、各視差絞り21R、21G、21Bを介してCCD11の撮像面Siに投影されるR光、G光、B光によるR、G、Bの被写体像は相互に視差のある視差画像として投影される。すなわち、CCD11の撮像面SiにはRGB各々の光による3つの視差画像が同時に投影される。
【0031】
視差絞り21R、21G、21Bに貼付される色フィルタとCCD11に用いられる色フィルタとはそれぞれ対応しており、視差絞り21R、21G、21Bを介して結像されるRGBの被写体像は、それぞれR、G、Bの波長領域の光を選択的に透過するフィルタが設けられた画素で、それぞれRGBの画像として検出される。なお、これらRGB画像の撮像は、本実施形態の場合、例えばCCDの電子シャッター動作により行われるが、視差絞り部20とは別にメカシャッターを設けることによって行ってもよい。なお、RGBによる視差画像の視差を大きくするには、図6の状態において、視差絞り21R、21G、21Bの各々がなるべく離れていることが望ましく、例えば開口LPの縁に沿って略等間隔で配置されるように構成される。また、形成される3つの視差絞りのうちの2つの視差絞りの中心を結ぶ直線がCCDの水平又は垂直ラインと平行となるような配置にすると、エピポーララインの取り扱いが容易になる。
【0032】
図7は、視差画像を撮像するための処理手順を示すフローチャートである。
本実施形態のステレオ画像撮像装置は、通常のカメラとしての機能を果たし被写体像を1枚ずつ撮像するための通常撮影モードと、複数(本実施形態では3つ)の視差画像を同時に撮像するためのステレオ撮影モードとを備える。これらの撮影モードの切替は、モード切替スイッチ37(図3参照)を操作して行われる。モード切替スイッチ37がステレオ撮影モードに設定され操作部34(図3参照)のレリーズスイッチが全押されるとステップ101が開始する。ステップ101では、アイリス絞り20が図6に示される全閉状態まで絞り込まれるとともに、CCD11を通常のスチルビデオを撮影するときと同様の方法で駆動し、被写体のカラー画像を撮像する。このとき被写体のカラー画像は視差絞り21R、21G、21Bを介して撮像されるので、RGBの各画素で検出される被写体のRGBの画像は、視差のある3つの画像(視差画像)として検出される。ステップ102では、CCD11で取得されたRGBの画像データをRGB毎に分離し、Rの画像、Gの画像、Bの画像の画像データを生成する。ステップ103では、各RGBの色毎に分離された画像を不揮発性の記録媒体Mに記録する。これによりこの視差画像撮像処理は終了する。なお、検出された3つの視差画像であるRGBの画像データからは、従来公知の方法により立体画像が得られる。また、通常のカラー画像は、モード切替スイッチ37を通常撮影モードに設定することにより撮像され、このときアイリス絞り20は3つの絞り羽根51R、51G、51Bにより光軸Lを中心に開口LP内に適切な大きさの開口絞り形成し被写体の画像を撮像する。
【0033】
以上のように第1の実施形態によれば、簡単な構成により通常の被写体像を撮影できるとともに、被写体の3つの視差画像を1回の撮像動作で同時に検出できるステレオ画像撮像装置を得ることができる。このステレオ画像撮像装置では複数の視差画像を同時に撮像できるので、移動する物体であっても容易に立体画像の撮影を行うことが可能である。また、通常の画像を撮像するための絞りを視差絞りとして兼用しているため、小型化に有利であり製造コストも低く抑えることが可能である。
【0034】
次に図8、図9を参照して本発明の第2の実施形態について説明する。第2の実施形態は、第1の実施形態と視差絞りが設けられる部材及び位置が異なるがその他の構成は第1の実施形態と同様である。以下第1の実施形態と異なるところについて説明し、共通の構成部分に対しては同一の参照符号を用いる。
【0035】
図8は、図5と同様にアイリス絞り20’が開放された状態を示しており、このときアイリス絞り20’は通常の開口絞りとして用いられ通常のカラー画像の撮像が行われる。図9は通常の開口絞りとしては、絞りが全閉された状態を示しており、このときアイリス絞り20’は視差絞りとしての役割を果たす。
【0036】
第2の実施形態のアイリス絞り20’は、第1の実施形態と同様に3つの絞り羽根51R’、51G’、51B’から構成される。しかし、絞り羽根51R’、51G’、51B’のブレード部には視差絞りとして用いられる開口(第1の実施形態における開口21、22)は設けられていない。第2の実施形態では、3つの開口(視差絞り)21R’、21G’、21B’が遮光板40’に形成されている。これらの開口(視差絞り)21R’、21G’、21B’は、遮光板40’の開口LRと駆動リング53とに挟まれる円環領域に、光軸Lに対し軸対称に形成される。開口21R’にはRの色フィルタが貼付され、開口(視差絞り)21G’、21B’にはそれぞれG、Bの色フィルタが貼付されている。アイリス絞り20’が開口絞りとして機能している間は、各視差絞り21R’、21G’、21B’はそれぞれ絞り羽根51R’、51G’、51B’によりその光路が塞がれており、撮像光学系10に入射した光は、3つの絞り羽根51R’、51G’、51B’により光軸Lを中心に開口LP内に形成される開口絞りのみを通過することができる。すなわち、開口21R’、21G’、21B’は何れも撮像光学系の光学系内に配置されている。
【0037】
モード切替スイッチ37がステレオ撮像モードに設定されているとき、駆動リング53は反時計回りに限界位置まで回転され、アイリス絞り20’は図9の状態となり、開口LPは全て絞り羽根51R’、51G’、51B’により遮蔽される。一方、絞り羽根51R’、51G’、51B’のブレード部の略全体が、開口LP上に移動するため遮光板40’に形成された視差絞り21R’、21G’、21B’は、絞り羽根51R’、51G’、51B’によりその光路が遮蔽されず、撮像光学系10に入射した光は、視差絞り21R’、21G’、21B’を介してCCD11で受光される。CCD11に投影されたR、G、Bの被写体像の撮像は、第1の実施形態と同様にCCD11の電子シャッター(あるいは別途設けられたメカシャッター)により行われる。なお、図9の状態から駆動リング53が時計回りに回転されるとき、視差絞り21R’、21G’、21B’が完全に絞り羽根51R’、51G’、51B’により遮光されるまで、絞り羽根51R’、51G’、51B’のブレード部は開口LPを完全に遮蔽しており、その中心に開口絞りが形成されることはない。
【0038】
以上のように第2の実施形態においても第1の実施形態と同様の効果を得ることができる。また第2の実施形態では、各視差絞りが単独の開口により構成されるのでより簡単に構成することができる。
【0039】
次に図4〜図6及び図10を参照して本発明の第3の実施形態について説明する。第1の実施形態のステレオ画像撮像装置では、アイリス絞りと電子シャッタ−を用いていたが、第3の実施形態ではレンズシャッターを用いている。
【0040】
第3の実施形態のレンズシャッターは第1の実施形態におけるアイリス絞りと同様の構成を備えており、その駆動方法のみが第1の実施形態とは異なりレンズシャッターとして機能するように駆動される。なお第3の実施形態では第1の実施形態におけるアイリス絞り20をレンズシャッター20”と読み替え、絞り羽根51R、51G、51Bをシャッター羽根(遮光セグメント)51R、51G、51Bと読み替える。
【0041】
第3の実施形態におけるレンズシャッター20”において、各シャッター羽根51R、51G、51Bは、撮影時以外は図10に示される位置に配置され、開口LRはレンズシャッター20”の各シャッター羽根51R、51G、51Bにより完全に遮光されている。すなわち、開口LRの中心(光軸L)では、3枚のシャッター羽根51R、51G、51Bが重なり合っており開口は形成されず、各シャッター羽根51R、51G、51Bに設けられた開口21、22も、互いに重なり合うことは無い。また、図10の状態は、図6の状態から駆動リング53が若干時計回りに回転移動した状態に対応している。
【0042】
撮影モードが通常撮影モードに設定されているときに、レリーズスイッチが全押さえると、レンズシャッター20”は、通常のレンズシャッターとして駆動される。すなわち、図10の状態から駆動リング53が時計回りに高速で所定の位置まで回転された後再び図10の位置に戻される。これによりシャッター羽根51R、51G、51Bは光路から所定の位置まで退避されることにより露光が開始され、元の位置に復帰することにより露光が終了する。
【0043】
一方、撮影モードがステレオ撮影モードに設定されているときに、レリーズスイッチが全押されると、図10の状態から駆動リング53が反時計回りに高速で図6に示される位置にまで回転され、その後再び図10の位置に戻される。これにより視差絞り21R、21G、21Bを介して所定時間のR、G、Bの光がCCD11において受光され3つの視差画像が検出される。
【0044】
以上のように、第3の実施形態においても第1の実施形態と同様の効果が得られる。なお、第2の実施形態のアイリス絞りを、第3の実施形態のようにレンズシャッターとして用いても同様の効果が得られる。
【0045】
本実施形態ではRGBのオンチップカラーフィルタを搭載したCCDを用いたため、RGBの色フィルタを貼付した3つの視差絞りが用いられたが、視差絞りの色フィルタはCCDの色フィルタに対応したものであればよくRGBに限定されるものではない。
【0046】
色フィルタの数は3色に限定されるものではなく2色あるいは4色以上であってもよく、絞り(シャッター)羽根の数も2枚あるいは4枚以上であってもよく、視差絞りの数は絞り(シャッター)羽根の枚数よりも少なくともよい。
【0047】
第1及び第2の実施形態では、絞りとしてアイリス絞りが用いられたが本発明はアイリス絞りに限定されるものではない。また、第3の実施形態ではレンズシャッターとして3枚羽根のセクタシャッターが用いられたが、本発明はセクタシャッターに限定されるものではない。
【0048】
本実施形態の視差絞りに用いられた色フィルタは可視光領域の光を選択的に透過する光学フィルタであったが、これは可視光領域に限定されるものではなく、例えば赤外領域や紫外領域の波長の光であってもよい。
【0049】
本実施形態では、撮像部にオンチップカラーフィルタを搭載したカラー単板式のCCDを用いて視差画像の撮像を行ったが、ダイクロイックプリズム等を利用して光を複数の色成分に分離し、それぞれの色成分に対応する複数のCCDを用いて視差画像を撮像してもよい。
【0050】
また、本実施形態では、絞り羽根、シャッター羽根、遮光板には視差絞りを形成するための開口が設けられていたが、これらの一部又は全部を切欠に置き換えて開口を形成してもよい。
【0051】
【発明の効果】
以上のように、本発明によれば、簡単な機構により視差画像を単一の光学系で同時に撮像できるとともに通常画像を撮像できるステレオ画像撮像装置を得ることができる。
【図面の簡単な説明】
【図1】本発明における視差画像撮像の原理を説明する図である。
【図2】本発明における視差画像撮像の原理を説明する図である。
【図3】本発明の第1の実施形態におけるステレオ画像撮像装置の概略を示すブロック図である。
【図4】第1の実施形態で用いられる遮光セグメント(絞り羽根)の平面図である。
【図5】第1の実施形態のステレオ画像撮像装置で用いられるアイリス絞りの開放時の平面形状を模式的に示す図である。
【図6】第1の実施形態のステレオ画像撮像装置で用いられるアイリス絞りが全閉し視差絞りとして用いられるときの平面形状を模式的に示す図である。
【図7】ステレオ画像撮像装置で実行される視差画像撮像処理の手順を示すフローチャートである。
【図8】第2の実施形態のステレオ画像撮像装置で用いられるアイリス絞りの開放時の平面形状を模式的に示す図である。
【図9】第2の実施形態のステレオ画像撮像装置で用いられるアイリス絞りが全閉し視差絞りとして用いられるときの平面形状を模式的に示す図である。
【図10】第3の実施形態のステレオ画像撮像装置で用いられるレンズシャッターが閉じられているときの平面図を模式的に示す図である。
【符号の説明】
10 撮像光学系
11 撮像部(CCD)
14 オンチップカラーフィルタ
20、20’ アイリス絞り
20” レンズシャッター
21R、21G、21B 視差絞り
Claims (12)
- 第1の波長領域の光による被写体の第1の被写体像と、前記第1の波長領域とは異なる第2の波長領域の光による前記被写体の第2の被写体像とを検出可能な撮像部と、
前記撮像部に前記第1及び第2の被写体像を結像可能な撮像光学系と、
前記撮像光学系の光路内に前記第1の波長領域の光を選択的に透過可能な第1の視差絞りを形成するとともに、前記光路内の前記第1の領域とは異なる位置に前記第2の波長領域の光を選択的に透過可能な第2の視差絞りを形成する視差絞り形成手段と、
前記光路内に前記第1及び第2の波長領域を含む波長領域の光を透過可能な開口絞りを形成する開口絞り形成手段と、
前記光路の少なくとも一部を遮光可能な複数の遮光セグメントと、
前記視差絞り形成手段により前記第1及び第2の視差絞りを前記光路内に形成し、前記第1の視差絞りを介して前記第1の被写体像を前記撮像部に結像させ、前記第2の視差絞りを介して前記第2の被写体像を前記撮像部に結像させることにより視差のある前記第1及び第2の被写体像を前記撮像部において検出する第1の撮影モードと、
前記開口絞り形成手段により前記開口絞りを前記光路内に形成し、前記開口絞りを介して前記第1及び第2の波長領域を含む光による第3の被写体像を前記撮像部に視差のない1つの画像として結像させて前記第3の被写体像を前記撮像部において検出する第2の撮影モードと、
前記第1又は第2の撮影モードを択一的に選択するためのモード選択手段と、
前記視差絞り形成手段と前記開口絞り形成手段とが前記複数の遮光セグメントにより前記第1、第2の視差絞りと前記開口絞りとを形成する
ことを特徴とするステレオ画像撮像装置。 - 前記視差絞り形成手段が前記第1及び第2の視差絞りを形成するときに前記開口絞りが前記複数の遮光セグメントにより閉じられ、前記開口絞り形成手段が前記開口絞りを形成するとき、前記第1及び第2の視差絞りが前記複数の遮光セグメントにより閉じられることを特徴とする請求項1に記載のステレオ画像撮像装置。
- 前記複数の遮光セグメントが第1及び第2の遮光セグメントを有し、前記第1及び第2の遮光セグメントに第1及び第2の開口部がそれぞれ設けられるとともに前記第1の遮光セグメントの第1の開口部に前記第1の波長領域の光を選択的に透過可能な光学フィルタが設けられ、また第2の遮光セグメントの第1開口部に前記第2の波長領域の光を選択的に透過可能な光学フィルタが設けられ、前記第1の撮影モードにおいて前記第1の遮光セグメントの前記第1の開口部と前記第2の遮光セグメントの第2の開口部とが相互に重なり合うことにより前記第1又は第2の視差絞りが形成されることを特徴とする請求項2に記載のステレオ画像撮像装置。
- 前記複数の遮光セグメントが第1及び第2の遮光セグメントを有するとともに前記撮像光学系が前記開口絞りの最大開口に相当する開口が形成された遮光板を有し、前記遮光板の前記開口の周囲に前記第1及び第2の波長領域を選択的に透過可能な光学フィルタが貼付された開口が前記第1及び第2の視差絞りとして形成され、前記第2の撮影モードにおいて前記第1及び第2の視差絞りが前記遮光セグメントにより遮光され、同時に光軸上に前記開口絞りを形成し、この開口絞りを光が透過可能になり、また前記第1の撮影モードにおいて前記複数の遮光セグメントが前記遮光板から退避されることにより光軸上の開口絞りを閉じると同時に前記第1及び第2の視差絞りを光が透過可能となることを特徴とする請求項2に記載のステレオ画像撮像装置。
- 前記複数の遮光セグメントが絞り羽根であり、前記複数の絞り羽根が全閉可能なアイリス絞りとして前記開口絞りを構成することを特徴とする請求項3に記載のステレオ画像撮像装置。
- 前記複数の遮光セグメントがシャッター羽根であり、前記複数のシャッター羽根がレンズシャッターとして前記開口絞りを構成することを特徴とする請求項3及び請求項4に記載のステレオ画像撮像装置。
- 前記複数の遮光セグメントが第1及び第2の遮光セグメントを有し、前記第1及び第2の遮光セグメントに第1の切欠部及び第2の切欠部がそれぞれ設けられるとともに前記第1の遮光セグメントの第1の切欠部に前記第1の波長領域の光を選択的に透過可能な光学フィルタが設けられ、第2の遮光セグメントの第1の切欠部に前記第2の波長領域の光を選択的に透過可能な光学フィルタが設けられ、前記第1の撮影モードにおいて前記第1の遮光セグメントの前記第1の切欠部と前記第2の遮光セグメントの第2の切欠部とが相互に重なり合うことにより前記第1又は第2の視差絞りが形成されることを特徴とする請求項1に記載のステレオ画像撮像装置。
- 前記複数の遮光セグメントが第1及び第2の遮光セグメントを有し、前記第1及び第2の遮光セグメントに開口部及び切欠部とがそれぞれ設けられるとともに前記第1の遮光セグメントの開口部又は切欠部の一方に前記第1の波長領域の光を選択的に透過可能な光学フィルタが設けられ、また第2の遮光セグメントの開口部又は切欠部の一方に前記第2の波長領域の光を選択的に透過可能な光学フィルタが設けられ、前記第1の撮影モードにおいて前記第1の遮光セグメントの前記開口部と前記第2の遮光セグメントの切欠部、あるいは前記第1の遮光セグメントの前記切欠部と前記第2の遮光セグメントの開口部とが相互に重なり合うことにより前記第1又は第2の視差絞りが形成されることを特徴とする請求項1に記載のステレオ画像撮像装置。
- 前記第1及び第2の波長領域が赤(R)、緑(G)、青(B)のうちの何れか一つであることを特徴とする請求項1に記載のステレオ画像撮像装置。
- 前記撮像部で検出可能な波長領域と前記視差絞りとが1対1に対応することを特徴とする請求項1に記載のステレオ画像撮像装置。
- 前記撮像部がオンチップカラーフィルタを搭載した撮像素子からなり、前記第1及び第2の波長領域が前記オンチップカラーフィルタの各色フィルタの透過波長領域に対応することを特徴とする請求項1に記載のステレオ画像撮像装置。
- 第1の波長領域の光による第1の被写体像と、前記第1の波長領域とは異なる第2の波長領域の光による第2の被写体像と、前記第1及び第2の波長領域とは異なる第3の波長領域の光による第3の被写体像とを検出可能な撮像部と、
前記撮像部に前記第1、第2及び第3の被写体像を結像可能な撮像光学系と、
前記撮像光学系の光路内に前記第1の波長領域の光を選択的に透過可能な第1の視差絞りと、前記第1の領域とは異なる位置に前記第2の波長領域の光を選択的に透過可能な第2の視差絞りと、前記第1及び第2の領域とは異なる位置に前記第3の波長領域の光を選択的に透過可能な第3の視差絞りとを形成する視差絞り形成手段と、
前記光路内に前記第1、第2及び第3の波長領域を含む波長領域の光を透過可能な開口絞りを形成する開口絞り形成手段と、
前記光路の少なくとも一部を遮光可能な複数の遮光セグメントと、
前記視差絞り形成手段により前記第1、第2及び第3の視差絞りを前記光路内に形成し、前記第1、第2及び第3の視差絞りを介してそれぞれ前記第1、第2及び第3の被写体像を前記撮像部に結像させることにより視差のある前記第1、第2及び第3の被写体像を前記撮像部において検出する第1の撮影モードと、
前記開口絞り形成手段により前記開口絞りを前記光路内に形成し、前記開口絞りを介して前記第1、第2及び第3の波長領域を含む光による第4の被写体像を前記撮像部に視差のない1つの画像として結像させて前記第4の被写体像を前記撮像部において検出する第2の撮影モードと、
前記第1又は第2の撮影モードを択一的に選択するためのモード選択手段とを備え、
前記視差絞り形成手段と前記開口絞り形成手段とが前記複数の遮光セグメントにより前記第1、第2、第3の視差絞りと前記開口絞りとを形成する
ことを特徴とするステレオ画像撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001332368A JP3869702B2 (ja) | 2001-10-30 | 2001-10-30 | ステレオ画像撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001332368A JP3869702B2 (ja) | 2001-10-30 | 2001-10-30 | ステレオ画像撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003134533A JP2003134533A (ja) | 2003-05-09 |
| JP3869702B2 true JP3869702B2 (ja) | 2007-01-17 |
Family
ID=19147790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001332368A Expired - Fee Related JP3869702B2 (ja) | 2001-10-30 | 2001-10-30 | ステレオ画像撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3869702B2 (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5227368B2 (ja) | 2010-06-02 | 2013-07-03 | パナソニック株式会社 | 3次元撮像装置 |
| JP5507362B2 (ja) | 2010-06-30 | 2014-05-28 | パナソニック株式会社 | 3次元撮像装置および光透過板 |
| JP5406151B2 (ja) | 2010-09-24 | 2014-02-05 | パナソニック株式会社 | 3次元撮像装置 |
| JP5406163B2 (ja) | 2010-10-21 | 2014-02-05 | パナソニック株式会社 | 3次元撮像装置および画像処理装置 |
| CN102823230B (zh) | 2011-01-17 | 2016-08-24 | 松下知识产权经营株式会社 | 摄像装置 |
| JP5903670B2 (ja) * | 2011-04-07 | 2016-04-13 | パナソニックIpマネジメント株式会社 | 3次元撮像装置、画像処理装置、画像処理方法および画像処理プログラム |
| JP5927570B2 (ja) | 2011-04-22 | 2016-06-01 | パナソニックIpマネジメント株式会社 | 3次元撮像装置、光透過部、画像処理装置、およびプログラム |
| JP5995084B2 (ja) | 2011-05-19 | 2016-09-21 | パナソニックIpマネジメント株式会社 | 3次元撮像装置、撮像素子、光透過部、および画像処理装置 |
| CN102986236B (zh) | 2011-05-19 | 2016-01-20 | 松下知识产权经营株式会社 | 三维摄像装置、图像处理装置、图像处理方法 |
| JP5923754B2 (ja) | 2011-08-11 | 2016-05-25 | パナソニックIpマネジメント株式会社 | 3次元撮像装置 |
| WO2013027320A1 (ja) | 2011-08-25 | 2013-02-28 | パナソニック株式会社 | 画像処理装置、3次元撮像装置、画像処理方法、および画像処理プログラム |
| JP5860251B2 (ja) * | 2011-09-05 | 2016-02-16 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム |
| CN103119516B (zh) | 2011-09-20 | 2016-09-07 | 松下知识产权经营株式会社 | 光场摄像装置和图像处理装置 |
| JP5755989B2 (ja) * | 2011-09-30 | 2015-07-29 | 日本電産コパル株式会社 | 撮像装置用羽根駆動装置 |
| WO2013054469A1 (ja) | 2011-10-13 | 2013-04-18 | パナソニック株式会社 | 奥行き推定撮像装置および撮像素子 |
| US9462254B2 (en) | 2012-02-08 | 2016-10-04 | Panasonic Intellectual Property Management Co., Ltd. | Light field image capture device and image sensor |
| US9565420B2 (en) | 2012-05-28 | 2017-02-07 | Panasonic Intellectual Property Management Co., Ltd. | Image processor, image capture device, image processing method and program |
| WO2013179538A1 (ja) | 2012-05-28 | 2013-12-05 | パナソニック株式会社 | 奥行き推定撮像装置 |
| WO2015137148A1 (ja) * | 2014-03-14 | 2015-09-17 | ソニー株式会社 | 撮像装置、アイリス装置、撮像方法、およびプログラム |
| CN104155828B (zh) * | 2014-08-26 | 2017-04-05 | 中国科学院光电技术研究所 | 一种改进型的旋转快门机构 |
| CN115494681B (zh) * | 2022-01-30 | 2024-08-27 | 华为技术有限公司 | 可变光圈、摄像模组以及电子设备 |
-
2001
- 2001-10-30 JP JP2001332368A patent/JP3869702B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003134533A (ja) | 2003-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3869702B2 (ja) | ステレオ画像撮像装置 | |
| JP3697256B2 (ja) | 撮像装置およびレンズ装置 | |
| US8749696B2 (en) | Image pickup apparatus having an exit pupil with divided areas | |
| JP2002344999A (ja) | ステレオ画像撮像装置 | |
| US10225451B2 (en) | Imaging apparatus having a focus adjustment apparatus | |
| JP6781859B2 (ja) | 撮像装置、その焦点合わせ補助方法、及び、その焦点合わせ補助プログラム | |
| JPH11311832A (ja) | 多焦点カメラ | |
| JP2008294981A (ja) | カメラシステム | |
| JP4833129B2 (ja) | デジタルカメラ及びオートフォーカス装置 | |
| JP3849636B2 (ja) | 撮像装置 | |
| JP4040638B2 (ja) | 撮像装置 | |
| JPH08254750A (ja) | 撮影装置 | |
| US7665912B2 (en) | Image-taking apparatus and control method thereof | |
| JP5796388B2 (ja) | 焦点検出装置および撮像装置 | |
| US7483072B2 (en) | Image-taking apparatus and image-taking system | |
| JP4863370B2 (ja) | 撮像装置 | |
| JP6561437B2 (ja) | 焦点調節装置および撮像装置 | |
| JP5293282B2 (ja) | デジタルカメラの撮影方法及びデジタルカメラ | |
| JP2002350718A (ja) | カメラ | |
| JP2002006205A (ja) | 自動焦点カメラ | |
| JP2004126416A (ja) | カメラ | |
| JP2012247723A (ja) | 焦点調節装置および撮像装置 | |
| JP5545278B2 (ja) | レンズアダプタおよびカメラボディ | |
| JP4143622B2 (ja) | 撮像装置 | |
| JP4194577B2 (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040818 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060710 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060719 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060907 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061003 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061013 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |