JP2993089B2 - 光学機器 - Google Patents
光学機器Info
- Publication number
- JP2993089B2 JP2993089B2 JP2260839A JP26083990A JP2993089B2 JP 2993089 B2 JP2993089 B2 JP 2993089B2 JP 2260839 A JP2260839 A JP 2260839A JP 26083990 A JP26083990 A JP 26083990A JP 2993089 B2 JP2993089 B2 JP 2993089B2
- Authority
- JP
- Japan
- Prior art keywords
- focus
- sight
- line
- user
- gaze
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B2213/02—Viewfinders
- G03B2213/025—Sightline detection
Landscapes
- Eye Examination Apparatus (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Description
【発明の詳細な説明】 (産業上の利用分野) 本発明は、使用者の視線を検出する視線検出手段と、
複数のフォーカスエリアに対してそれぞれピント調節の
ための情報を形成することのできるピント情報形成手段
とを有した光学機器に関するものである。
複数のフォーカスエリアに対してそれぞれピント調節の
ための情報を形成することのできるピント情報形成手段
とを有した光学機器に関するものである。
(従来の技術) 従来より撮影者の視線方向を検知し、撮影者がファイ
ンダー視野内のどの領域(位置)を観察しているか、所
謂撮影者の注視方向をカメラの一部に設けた視線検出手
段で検出し、該視線検出手段からの信号に基づいて自動
焦点調節や自動露出等の各種の撮影機能を制御するよう
にしたカメラが種々と提案されている。
ンダー視野内のどの領域(位置)を観察しているか、所
謂撮影者の注視方向をカメラの一部に設けた視線検出手
段で検出し、該視線検出手段からの信号に基づいて自動
焦点調節や自動露出等の各種の撮影機能を制御するよう
にしたカメラが種々と提案されている。
例えば特開昭61−61135号公報では視線検出手段から
の出力信号に基づいて焦点検出装置の測距方向を機械的
に制御し、撮影系の焦点状態を調節するようにしたカメ
ラが提案されている。
の出力信号に基づいて焦点検出装置の測距方向を機械的
に制御し、撮影系の焦点状態を調節するようにしたカメ
ラが提案されている。
又、本出願人は特開平1−241511号公報において、撮
影者の注視方向を検出する視線検出手段と複数個の測距
視野を持つ焦点検出手段と複数個の測光感度分布を持つ
自動露出制御手段とを有し、このとき該視線検出手段か
らの出力信号に基づいて焦点検出手段や自動露出制御手
段の駆動を制御するようにしたカメラを提案している。
影者の注視方向を検出する視線検出手段と複数個の測距
視野を持つ焦点検出手段と複数個の測光感度分布を持つ
自動露出制御手段とを有し、このとき該視線検出手段か
らの出力信号に基づいて焦点検出手段や自動露出制御手
段の駆動を制御するようにしたカメラを提案している。
従来のカメラではファインダー視野内の中心領域を基
準にして焦点調節や露出制御等の撮影条件の設定を自動
的に行っていたのに対して同公報で提案したカメラでは
フィインダー視野内の任意の領域(多数領域の場合もあ
る。)を撮影者の意志に基づいて選択して該領域で焦点
調節や露出制御等を行っている。これにより作画上最も
重要な因子である構図を自動制御する方法と切り離して
撮影者の意図する自由な条件で撮影することできるよう
にしている。
準にして焦点調節や露出制御等の撮影条件の設定を自動
的に行っていたのに対して同公報で提案したカメラでは
フィインダー視野内の任意の領域(多数領域の場合もあ
る。)を撮影者の意志に基づいて選択して該領域で焦点
調節や露出制御等を行っている。これにより作画上最も
重要な因子である構図を自動制御する方法と切り離して
撮影者の意図する自由な条件で撮影することできるよう
にしている。
(発明が解決しようとする問題点) 従来よりカメラで使用される自動焦点検出方式には、
大別して被写体から到来する自然光を利用するパッシブ
方式とカメラ側から光束を被写体側へ投光し、被写体か
らの反射光を利用するアクティブ方式との2種類があ
る。
大別して被写体から到来する自然光を利用するパッシブ
方式とカメラ側から光束を被写体側へ投光し、被写体か
らの反射光を利用するアクティブ方式との2種類があ
る。
パッシブ方式のうちには被写体像のシャープネスを把
えて行うコントラスト検知方式と3角測距の原理に基づ
き被写体の2重像の合致判定を光電的に検出して行う相
関方式とがある。このパッシブ方式ではいずれの方式に
おいても被写体面の光量分布を把え、それより画像解析
を行って焦点検出を行うので被写体が極度に低輝度であ
ったり、極度に低コントラストであったりすると画像解
析の基礎となる十分な光量分布パターンが得られず焦点
検出が不能となったり検出精度が低下してくる傾向があ
った。
えて行うコントラスト検知方式と3角測距の原理に基づ
き被写体の2重像の合致判定を光電的に検出して行う相
関方式とがある。このパッシブ方式ではいずれの方式に
おいても被写体面の光量分布を把え、それより画像解析
を行って焦点検出を行うので被写体が極度に低輝度であ
ったり、極度に低コントラストであったりすると画像解
析の基礎となる十分な光量分布パターンが得られず焦点
検出が不能となったり検出精度が低下してくる傾向があ
った。
一方、アクティブ方式は (イ)被写体面の反射率が低いと反射光量が不足してく
る。
る。
(ロ)周囲に高輝度物体があると投射光成分との弁別が
難しくなってくる。
難しくなってくる。
(ハ)被写体距離が長くなってくると投射光の反射成分
が減少してくる。
が減少してくる。
等の原因により焦点検出が不能となったり、検出精度
が低下してくる傾向があった。
が低下してくる傾向があった。
以上のようにいずれの焦点検出方式においても焦点検
出が不能となったり、検出精度が低下してくる場合があ
った。
出が不能となったり、検出精度が低下してくる場合があ
った。
この為、カメラに設けた視線検出手段で得られる撮影
者の注視方向の信号に基づいて焦点検出領域(測距点)
を設定しても、その領域での合焦信号が得られず、又得
られたとしても信頼性の乏しいものとなってくる場合が
ある。
者の注視方向の信号に基づいて焦点検出領域(測距点)
を設定しても、その領域での合焦信号が得られず、又得
られたとしても信頼性の乏しいものとなってくる場合が
ある。
この他、自動焦点検出を行う場合には検出ができず、
又は検出誤差が多く発生する被写体パターンもあるので
撮影者の注視方向がこのような被写体に向けられている
ときには精度の良い合焦信号が得られないという問題点
があった。
又は検出誤差が多く発生する被写体パターンもあるので
撮影者の注視方向がこのような被写体に向けられている
ときには精度の良い合焦信号が得られないという問題点
があった。
又、視線検出手段としては撮影者は一般に撮影対象た
る主被写体以外にも背景や周辺物をも着眼する性質を持
っている。この為、撮影者の視線方向の動きの時間的経
過から真の注視方向(注視点)を識別しなくてはならな
い。しかしながら視線の動き方次第によっては視線検出
が困難となり、又検出光学系に強度のゴーストや外光ノ
イズがあると視線検出精度が低下してくる。この為視線
方向からファインダー視野内の注視方向を検出するのが
大変難しくなってくる。
る主被写体以外にも背景や周辺物をも着眼する性質を持
っている。この為、撮影者の視線方向の動きの時間的経
過から真の注視方向(注視点)を識別しなくてはならな
い。しかしながら視線の動き方次第によっては視線検出
が困難となり、又検出光学系に強度のゴーストや外光ノ
イズがあると視線検出精度が低下してくる。この為視線
方向からファインダー視野内の注視方向を検出するのが
大変難しくなってくる。
一方、最近のカメラの自動焦点検出手段では測距対象
となる画面範囲は必ずしも撮影画面全域には及ばず、そ
の一部の領域に複数個の測距視野が設定されることが多
い。即ち主要被写体が画面の縁に来ることは少ないので
四方の画面端を除いた中心部の面積にして全画面の1/10
〜1/2程度の領域に自動焦点検出領域が設定されてい
る。
となる画面範囲は必ずしも撮影画面全域には及ばず、そ
の一部の領域に複数個の測距視野が設定されることが多
い。即ち主要被写体が画面の縁に来ることは少ないので
四方の画面端を除いた中心部の面積にして全画面の1/10
〜1/2程度の領域に自動焦点検出領域が設定されてい
る。
このように構成されたカメラでは撮影者の注視方向が
焦点検出領域外にあった場合焦点検出が出来なくなって
くる。
焦点検出領域外にあった場合焦点検出が出来なくなって
くる。
従来のカメラでは撮影者の視線方向の動きに対応して
自動焦点検出の対象領域を単に移動するようにして構成
していた。即ち焦点検出手段や視線検出手段の一部が検
出不能となったり、若しくは制御上のミスマッチが発生
したとしても何んら対策が考慮されていなかった。
自動焦点検出の対象領域を単に移動するようにして構成
していた。即ち焦点検出手段や視線検出手段の一部が検
出不能となったり、若しくは制御上のミスマッチが発生
したとしても何んら対策が考慮されていなかった。
この為、カメラにこのような焦点検出手段や視線検出
手段を設けた場合であってもカメラとしてのこれらの機
能が十分発揮されない場合が生じてくるという問題点が
あった。
手段を設けた場合であってもカメラとしてのこれらの機
能が十分発揮されない場合が生じてくるという問題点が
あった。
本発明は、視線検出手段の検出動作が不能であった
り、信頼性の高い信号が得られないと判断された場合
に、使用者の視線に基づいたピント調節動作を禁止する
ことで誤動作を防止する光学機器を提供することを目的
とする。
り、信頼性の高い信号が得られないと判断された場合
に、使用者の視線に基づいたピント調節動作を禁止する
ことで誤動作を防止する光学機器を提供することを目的
とする。
(課題を解決するための手段) 請求項1に記載した発明は、使用者の視線を検出する
視線検出手段と、複数のフォーカスエリアに対してそれ
ぞれピント調節のための情報を形成することのできるピ
ント情報形成手段と、前記使用者の視線に基づいて前記
複数のフォーカスエリアの中から1つのフォーカスエリ
アを選択する選択手段と、前記選択手段にて選択された
フォーカスエリアのピント調節のための情報に基づいて
ピント調節を行うピント調節手段と、前記視線検出手段
による視線検出が可能か不能かを判定する判定手段と、
前記判定手段により視線検出が不能と判定された場合
に、視線検出が不能と判定した回数をカウントするカウ
ント手段と、前記判定手段により視線検出が不能と判定
され、且つ視線検出が不能と判定された回数が所定回数
を超えた場合に、前記ピント調節手段による前記使用者
の視線に基づいたピント調節動作を禁止する禁止手段と
を有することを特徴としている。
視線検出手段と、複数のフォーカスエリアに対してそれ
ぞれピント調節のための情報を形成することのできるピ
ント情報形成手段と、前記使用者の視線に基づいて前記
複数のフォーカスエリアの中から1つのフォーカスエリ
アを選択する選択手段と、前記選択手段にて選択された
フォーカスエリアのピント調節のための情報に基づいて
ピント調節を行うピント調節手段と、前記視線検出手段
による視線検出が可能か不能かを判定する判定手段と、
前記判定手段により視線検出が不能と判定された場合
に、視線検出が不能と判定した回数をカウントするカウ
ント手段と、前記判定手段により視線検出が不能と判定
され、且つ視線検出が不能と判定された回数が所定回数
を超えた場合に、前記ピント調節手段による前記使用者
の視線に基づいたピント調節動作を禁止する禁止手段と
を有することを特徴としている。
請求項2に記載した発明は、使用者の視線を検出する
視線検出手段と、複数のフォーカスエリアに対してそれ
ぞれピント調節のための情報を形成することのできるピ
ント情報形成手段と、前記使用者の視線に基づいて前記
複数のフォーカスエリアの中から1つのフォーカスエリ
アを選択する選択手段と、前記選択手段にて選択された
フォーカスエリアのピント調節のための情報に基づいて
ピント調節を行うピント調節手段と、前記視線検出手段
により検出された前記使用者の視線に対応するフォーカ
スエリアが存在するかどうかを判定する判定手段と、前
記判定手段により前記使用者の視線に対応するフォーカ
スエリアが存在しないと判定された場合に、前記使用者
の視線に対応するフォーカスエリアが存在しないと判定
した回数をカウントするカウント手段と、前記判定手段
により前記使用者の視線に対応するフォーカスエリアが
存在しないと判定され、且つ前記使用者の視線に対応す
るフォーカスエリアが存在しないと判定した回数が所定
回数を超えた場合に、前記ピント調節手段による前記使
用者の視線に基づいたピント調節動作を禁止する禁止手
段とを有することを特徴としている。
視線検出手段と、複数のフォーカスエリアに対してそれ
ぞれピント調節のための情報を形成することのできるピ
ント情報形成手段と、前記使用者の視線に基づいて前記
複数のフォーカスエリアの中から1つのフォーカスエリ
アを選択する選択手段と、前記選択手段にて選択された
フォーカスエリアのピント調節のための情報に基づいて
ピント調節を行うピント調節手段と、前記視線検出手段
により検出された前記使用者の視線に対応するフォーカ
スエリアが存在するかどうかを判定する判定手段と、前
記判定手段により前記使用者の視線に対応するフォーカ
スエリアが存在しないと判定された場合に、前記使用者
の視線に対応するフォーカスエリアが存在しないと判定
した回数をカウントするカウント手段と、前記判定手段
により前記使用者の視線に対応するフォーカスエリアが
存在しないと判定され、且つ前記使用者の視線に対応す
るフォーカスエリアが存在しないと判定した回数が所定
回数を超えた場合に、前記ピント調節手段による前記使
用者の視線に基づいたピント調節動作を禁止する禁止手
段とを有することを特徴としている。
請求項3に記載した発明は請求項1又は2の発明にお
いて、前記禁止手段の作動に連動して、前記使用者に警
告を発する警告表示手段を有することを特徴としてい
る。
いて、前記禁止手段の作動に連動して、前記使用者に警
告を発する警告表示手段を有することを特徴としてい
る。
(実施例) 第1図は本発明を一眼レフカメラに適用したときの第
1実施例の要部概略図、第2図は第1図の一部分の説明
図である。
1実施例の要部概略図、第2図は第1図の一部分の説明
図である。
図中、10は接眼レンズ、94は光学ブロックでその内部
には可視光透過で、赤外光に対して半透過のダイクロイ
ックミラー95が斜設されており、光路分割器を兼ねてい
る。11は受光レンズ、93はミラー、14は受光素子列であ
る。受光レンズ11と光電素子列14は受光手段の一要素を
構成している。光電素子列14は通常は図面垂直方向に1
次元的に複数の光電素子が並んだデバイスを使うが、必
要に応じて2次元に光電素子が並んだデバイスを使用す
る。
には可視光透過で、赤外光に対して半透過のダイクロイ
ックミラー95が斜設されており、光路分割器を兼ねてい
る。11は受光レンズ、93はミラー、14は受光素子列であ
る。受光レンズ11と光電素子列14は受光手段の一要素を
構成している。光電素子列14は通常は図面垂直方向に1
次元的に複数の光電素子が並んだデバイスを使うが、必
要に応じて2次元に光電素子が並んだデバイスを使用す
る。
13は光源で例えば赤外用発光ダイオードから成ってい
る。91は投光レンズ、7はピント板であり、その内部に
は光分割面92が斜設されている。光分割面92はハーフミ
ラー又はダイクロイックミラーから成っている。
る。91は投光レンズ、7はピント板であり、その内部に
は光分割面92が斜設されている。光分割面92はハーフミ
ラー又はダイクロイックミラーから成っている。
同図においては光源13からの赤外光は投光レンズ91で
集光され、ピント板7内に導入され、光分割面92で反射
し、ペンタプリズム8を介して接眼レンズ10に入射す
る。接眼レンズ10に入射し射出した赤外光はダイクロイ
ックミラー95を通過し、アイポイントE近傍に位置する
観察者の眼球15を照明する。又眼球15で反射した赤外光
はダイクロイックミラー95で反射され受光レンズ11によ
って収斂しながらミラー93で反射し光電素子列14上に例
えば眼球からの反射に基づくプルキンエ像等を形成する 演算手段101は光電素子列14からの信号を用いて撮影
者の眼球15の視線方向を求めると共にファインダー視野
内における注視方向及び注視点を求めている。
集光され、ピント板7内に導入され、光分割面92で反射
し、ペンタプリズム8を介して接眼レンズ10に入射す
る。接眼レンズ10に入射し射出した赤外光はダイクロイ
ックミラー95を通過し、アイポイントE近傍に位置する
観察者の眼球15を照明する。又眼球15で反射した赤外光
はダイクロイックミラー95で反射され受光レンズ11によ
って収斂しながらミラー93で反射し光電素子列14上に例
えば眼球からの反射に基づくプルキンエ像等を形成する 演算手段101は光電素子列14からの信号を用いて撮影
者の眼球15の視線方向を求めると共にファインダー視野
内における注視方向及び注視点を求めている。
本実施例における視線検出方法は例えば本出願人の先
の提案による特開平1−241511号公報や特開平1−2747
36号公報等に詳述されている為、又本発明の要旨でない
ので詳細は割愛する。
の提案による特開平1−241511号公報や特開平1−2747
36号公報等に詳述されている為、又本発明の要旨でない
ので詳細は割愛する。
本実施例において前述の各要素10,11,13,14,91,94,10
1は視線検出手段の一要素を構成している。1は撮影系
(撮影レンズともいう。)、2はクイックリターンミラ
ー、3はサブミラーでクイックリターンミラー2に固設
されている。4は感光面(像面)、5はシャッターであ
る。6aは焦点検出手段(ピント情報形成手段)であり、
ファインダー視野内の複数の位置(領域)の合焦状態
(ピント情報)を検出する所謂多点焦点検出機能を有し
ている。
1は視線検出手段の一要素を構成している。1は撮影系
(撮影レンズともいう。)、2はクイックリターンミラ
ー、3はサブミラーでクイックリターンミラー2に固設
されている。4は感光面(像面)、5はシャッターであ
る。6aは焦点検出手段(ピント情報形成手段)であり、
ファインダー視野内の複数の位置(領域)の合焦状態
(ピント情報)を検出する所謂多点焦点検出機能を有し
ている。
102は選択手段であり、視線検出手段の一要素である
演算手段101で求めた注視方向に関する信号に基づいて
焦点検出手段6aから送出されてくる複数の測距領域に基
づく複数の焦点検出信号(合焦信号)のうちから1つの
焦点検出信号(合焦信号)を選択している。
演算手段101で求めた注視方向に関する信号に基づいて
焦点検出手段6aから送出されてくる複数の測距領域に基
づく複数の焦点検出信号(合焦信号)のうちから1つの
焦点検出信号(合焦信号)を選択している。
103は調節手段(ピント調節手段)であり、選択手段1
02からの焦点検出信号に基づいて撮影系1のフォーカス
部(不図示)を駆動させて合焦状態を調整している。10
4は禁止手段であり、視線検出手段の一要素である演算
手段101からの出力信号と焦点検出手段6aからの出力信
号のうち一方の出力信号に依存して調整手段190の動作
を禁止させたりしている。105は発光手段であり、光源
部及び駆動回路を有しており、禁止手段104の動作に基
づき表示ランプや警告ランプを点灯させている。106は
発音手段であり、禁止手段104の動作に基づき発音ブザ
ーを動作させている。
02からの焦点検出信号に基づいて撮影系1のフォーカス
部(不図示)を駆動させて合焦状態を調整している。10
4は禁止手段であり、視線検出手段の一要素である演算
手段101からの出力信号と焦点検出手段6aからの出力信
号のうち一方の出力信号に依存して調整手段190の動作
を禁止させたりしている。105は発光手段であり、光源
部及び駆動回路を有しており、禁止手段104の動作に基
づき表示ランプや警告ランプを点灯させている。106は
発音手段であり、禁止手段104の動作に基づき発音ブザ
ーを動作させている。
尚、本実施例における焦点検出手段6aの焦点検出方法
は本発明の要旨ではなく、公知の技術を適用しているの
で、次にその概略のみを第2図を用いて説明することに
する。
は本発明の要旨ではなく、公知の技術を適用しているの
で、次にその概略のみを第2図を用いて説明することに
する。
第2図において予定焦点面近傍における画面フレーム
141に5個の測距視野142a,142b,‥‥,142eがあり、各視
野に対し公知の焦点検出系一系列が構成されいる。例え
ば同図で左端の測距視野142aの矩形の視野マスク開口を
通過した結像光束は一体成形された複合フィールドレン
ズ143の左端部レンズにより偏向され一対の2次結像レ
ンズ144a1,144a2に入射する。
141に5個の測距視野142a,142b,‥‥,142eがあり、各視
野に対し公知の焦点検出系一系列が構成されいる。例え
ば同図で左端の測距視野142aの矩形の視野マスク開口を
通過した結像光束は一体成形された複合フィールドレン
ズ143の左端部レンズにより偏向され一対の2次結像レ
ンズ144a1,144a2に入射する。
2次結像レンズ144a1,144a2の前面には、不図示の絞
りが置かれている。2次結像レンズ144a1を通過した光
束は光電素子(以下、光電変換素子をこのように表記す
る)列145a1上に視野142aの光像を再結像する。一方、
2次結像レンズ144a2を通過した光束は、光電素子列145
a2上に視野142aの光像を再結像する。先述した2次結像
レンズ近傍の不図示の絞りはフィールドレンズにより撮
影レンズの射出瞳に略結像される結果、上記光学系によ
り、所謂瞳分割焦点検出装置が構成されている。これを
5個符設し、一体製造可能な部材を構造的に一体化して
構成している。
りが置かれている。2次結像レンズ144a1を通過した光
束は光電素子(以下、光電変換素子をこのように表記す
る)列145a1上に視野142aの光像を再結像する。一方、
2次結像レンズ144a2を通過した光束は、光電素子列145
a2上に視野142aの光像を再結像する。先述した2次結像
レンズ近傍の不図示の絞りはフィールドレンズにより撮
影レンズの射出瞳に略結像される結果、上記光学系によ
り、所謂瞳分割焦点検出装置が構成されている。これを
5個符設し、一体製造可能な部材を構造的に一体化して
構成している。
このような焦点検出装置の概念は公知の技術であり、
同図は該技術は複数並設したものである。光電素子列の
出力信号から撮影レンズ1のデフォーカスを演算し、判
定する方法も公知の技術を用いている。
同図は該技術は複数並設したものである。光電素子列の
出力信号から撮影レンズ1のデフォーカスを演算し、判
定する方法も公知の技術を用いている。
通常、光電素子列からの信号はシリアルに出力され、
マイクロコンピュータのA/D変換ポートに入力される。
カメラ内のマイクロコンピュータは該シリアル信号を適
当なタイミングで順次AD変換しメモリーにストアする。
シリアル信号の読取りが終了すると2次結像レンズのペ
アにより形成された2像の光量分布パターンの類似性を
相関演算により算出し、撮影レンズ1のデフォーカスを
検出する。
マイクロコンピュータのA/D変換ポートに入力される。
カメラ内のマイクロコンピュータは該シリアル信号を適
当なタイミングで順次AD変換しメモリーにストアする。
シリアル信号の読取りが終了すると2次結像レンズのペ
アにより形成された2像の光量分布パターンの類似性を
相関演算により算出し、撮影レンズ1のデフォーカスを
検出する。
本実施例においては焦点検出手段に用いるマイクロコ
ンピュータと視線検出手段に用いるマイクロコンピュー
タとは同一のものを共通に使用しても良いし、又は関連
して動作する異なるハードウエアであっても良い。本発
明は焦点検出演算と視線検出演算の相互的な関連の方法
論を述べるものであるから統一的なフローのもとに全体
を制御できるハードウエアが前提となっている。
ンピュータと視線検出手段に用いるマイクロコンピュー
タとは同一のものを共通に使用しても良いし、又は関連
して動作する異なるハードウエアであっても良い。本発
明は焦点検出演算と視線検出演算の相互的な関連の方法
論を述べるものであるから統一的なフローのもとに全体
を制御できるハードウエアが前提となっている。
次に第1図に示す第1実施例の各動作を第3図のフロ
ーチャートを用いて説明する。
ーチャートを用いて説明する。
先ずスイッチ(SW)状態の検出ルーチン(001)にて
レリーズボタンの半押し状態、又は全押し状態を検出す
るとステップ(002)以降に進み、撮影者の視線方向の
検出を行う。一般に撮影者の視線は撮影対象たる主被写
体以外にも背景や主被写体周辺部をも着眼するので視線
の動きを所定時間刻々と追いながら撮影者の意図を統計
的に抽出する作業を必要とする。
レリーズボタンの半押し状態、又は全押し状態を検出す
るとステップ(002)以降に進み、撮影者の視線方向の
検出を行う。一般に撮影者の視線は撮影対象たる主被写
体以外にも背景や主被写体周辺部をも着眼するので視線
の動きを所定時間刻々と追いながら撮影者の意図を統計
的に抽出する作業を必要とする。
即ちステップ(002)〜(004)は視線方向を一回検出
するための過程を示し、ステップ(007)に於いてこれ
らの視線検出を基にして撮影者の意志たる注視点(注視
方向)の抽出を所定の演算により行い、ステップ(00
8)において抽出した演算の結果がカメラの制御に用い
る信頼度を持つか否かを判定手段により判定する。
するための過程を示し、ステップ(007)に於いてこれ
らの視線検出を基にして撮影者の意志たる注視点(注視
方向)の抽出を所定の演算により行い、ステップ(00
8)において抽出した演算の結果がカメラの制御に用い
る信頼度を持つか否かを判定手段により判定する。
視線演算(ステップ(003))及び注視点抽出(ステ
ップ(007))の結果が不良の場合は再度視線データを
累積するためにステップ(002)に戻り、その際検出NG
の回数をステップ(005)でカウントし、所定のNO回以
上、NGを繰り返したとステップ(006)で判定されると
検出不能とみなす。尚、注視点の抽出判定の方法として
は最も単純には次のような手法がある。
ップ(007))の結果が不良の場合は再度視線データを
累積するためにステップ(002)に戻り、その際検出NG
の回数をステップ(005)でカウントし、所定のNO回以
上、NGを繰り返したとステップ(006)で判定されると
検出不能とみなす。尚、注視点の抽出判定の方法として
は最も単純には次のような手法がある。
ファインダー視野内に相当する画面領域を有限個の小
領域に分割し、各小領域の中心に測距視野が配置される
ようにする。例えば第4図(A)において5個の測距視
野142a〜142eを中心として小領域146a〜146eと測距視野
を含まない小領域146fを区分けする。視線検出のN回の
結果で全6個の小領域(146a〜146e)の内特定の一領域
にその所定比率以上のデータを集中し、かつ数Nが所定
値以上の量であれば上記特定領域を主被写体が存在する
領域(注視点)とみなし、その中心に位置する測距視野
を抽出する。又は小領域146fの周辺領域であれば測距範
囲外と判定する。
領域に分割し、各小領域の中心に測距視野が配置される
ようにする。例えば第4図(A)において5個の測距視
野142a〜142eを中心として小領域146a〜146eと測距視野
を含まない小領域146fを区分けする。視線検出のN回の
結果で全6個の小領域(146a〜146e)の内特定の一領域
にその所定比率以上のデータを集中し、かつ数Nが所定
値以上の量であれば上記特定領域を主被写体が存在する
領域(注視点)とみなし、その中心に位置する測距視野
を抽出する。又は小領域146fの周辺領域であれば測距範
囲外と判定する。
一般に撮影者の眼の視線は連続的に滑らかな動きをと
ることは少なく、不連続に離れた点を移動する場合が多
い。従って一定の点に視線方向が停止した時間等を加味
すると、更に良い意志抽出が出来る。
ることは少なく、不連続に離れた点を移動する場合が多
い。従って一定の点に視線方向が停止した時間等を加味
すると、更に良い意志抽出が出来る。
第4図(B)のように測距視野が互いに離れている場
合は、上記小領域も離した方が良いこともある。ステッ
プ(010)の測距シーケンスでは抽出された注視点にお
いて測距を行う。測距データがカメラの焦点調節制御に
用いるだけの精度を持つかどうか判定するステップ(01
1)での手法は公知である。例えば光学像のコントラス
ト、隣接画素出力の差の2乗和、2個の比較光学像の形
状、類似性等若しくはそれらの組み合せがパッシブ方式
の焦点検出の場合の判定基準として多く用いられる。
合は、上記小領域も離した方が良いこともある。ステッ
プ(010)の測距シーケンスでは抽出された注視点にお
いて測距を行う。測距データがカメラの焦点調節制御に
用いるだけの精度を持つかどうか判定するステップ(01
1)での手法は公知である。例えば光学像のコントラス
ト、隣接画素出力の差の2乗和、2個の比較光学像の形
状、類似性等若しくはそれらの組み合せがパッシブ方式
の焦点検出の場合の判定基準として多く用いられる。
又、アクティブ方式の焦点検出では反射光信号の大き
さが用いられることが多い。いずれにせよ何らかの測距
結果の信頼性判定に基づき、撮影者の注視方向における
測距と、その判定を行う。判定によりその測距結果が使
用可能であればステップ(012)に進み上記結果で選択
した測距点位置と測距情報を確定する。
さが用いられることが多い。いずれにせよ何らかの測距
結果の信頼性判定に基づき、撮影者の注視方向における
測距と、その判定を行う。判定によりその測距結果が使
用可能であればステップ(012)に進み上記結果で選択
した測距点位置と測距情報を確定する。
そして後述するレンズ駆動禁止フラグの状態を見て、
リセット状態ならばステップ(015)に進み、調整手段
により撮影レンズのフォーカス部の駆動を行う。
リセット状態ならばステップ(015)に進み、調整手段
により撮影レンズのフォーカス部の駆動を行う。
一方、ステップ(011)において注視点情報に基づき
測距点を選択し、測距した結果がカメラの制御に用いう
るだけの精度(信頼性)を持たないと判断された場合や
及びステップ(006)で視線検出不能と判断された場合
やステップ(009)で注視点が測距対象範囲外と判断さ
れた場合には、ステップ(013)にてレンズ駆動禁止フ
ラグがセットされる。ステップ(014)で上記禁止フラ
グのセット状態で検出されるとステップ(016)で警告
表示を行ない合焦の為のレンズ駆動は行なわない。
測距点を選択し、測距した結果がカメラの制御に用いう
るだけの精度(信頼性)を持たないと判断された場合や
及びステップ(006)で視線検出不能と判断された場合
やステップ(009)で注視点が測距対象範囲外と判断さ
れた場合には、ステップ(013)にてレンズ駆動禁止フ
ラグがセットされる。ステップ(014)で上記禁止フラ
グのセット状態で検出されるとステップ(016)で警告
表示を行ない合焦の為のレンズ駆動は行なわない。
警告の方法としては例えば発音手段による発音ブザー
や発光手段による合焦表示ランプの特定周期の点滅、色
変化、若しくは警告ランプの点灯等が適用可能である。
ステップ(016)に至った場合、この状態でロックし、
レリーズスイッチ状態をモニターしながら変化がない限
り脱出できないようにするのが一つのシーケンスの組み
方である。
や発光手段による合焦表示ランプの特定周期の点滅、色
変化、若しくは警告ランプの点灯等が適用可能である。
ステップ(016)に至った場合、この状態でロックし、
レリーズスイッチ状態をモニターしながら変化がない限
り脱出できないようにするのが一つのシーケンスの組み
方である。
又、ステップ(016)で警告装置を起動したのち、NG
カウンタをリセットしてステップ(002)へ戻り、シー
ケンスを繰り返すようにしても良い。この組み方では一
端何らかの理由で禁止フラグが立っても再度のシーケン
スでステップ(012)に至り測距点と、その位置での測
距情報を確定することができれば、このステップにおい
て禁止フラグのリセット動作を含むように構成し、レン
ズ駆動に至るようにも構成できる。
カウンタをリセットしてステップ(002)へ戻り、シー
ケンスを繰り返すようにしても良い。この組み方では一
端何らかの理由で禁止フラグが立っても再度のシーケン
スでステップ(012)に至り測距点と、その位置での測
距情報を確定することができれば、このステップにおい
て禁止フラグのリセット動作を含むように構成し、レン
ズ駆動に至るようにも構成できる。
尚、本発明において視線検出そして注視点抽出と測距
動作とは連続していても良く、又時間的に前後関係が確
定している必要はなく任意であっても良い。この他並列
的に動作する方がカメラの制御に要する時間が短くてす
み望ましい場合もある。
動作とは連続していても良く、又時間的に前後関係が確
定している必要はなく任意であっても良い。この他並列
的に動作する方がカメラの制御に要する時間が短くてす
み望ましい場合もある。
第5図はこのような並列的動作に基づく本発明の第2
実施例のフローチャート図である。次に第5図の第2実
施例の動作について説明する。スイッチ(SW)状態の検
出ルーチン(021)にてレリーズボタンの半押し状態、
又は全押し状態を検出するとステップ(022)〜(023)
に進み撮影者の視線方向の検出を行う。
実施例のフローチャート図である。次に第5図の第2実
施例の動作について説明する。スイッチ(SW)状態の検
出ルーチン(021)にてレリーズボタンの半押し状態、
又は全押し状態を検出するとステップ(022)〜(023)
に進み撮影者の視線方向の検出を行う。
次いでステップ(025)にて撮影者の意志による注視
点(注視方向)の抽出を所定の演算により行い、ステッ
プ(026)において抽出演算の結果がカメラの制御に用
いうる信頼度を持つか否かを判定する。判定結果がNGの
場合は再度視線データを累積するためにカウンタ動作
(ステップ(029)、ステップ(030))を経てステップ
(022)に戻る。
点(注視方向)の抽出を所定の演算により行い、ステッ
プ(026)において抽出演算の結果がカメラの制御に用
いうる信頼度を持つか否かを判定する。判定結果がNGの
場合は再度視線データを累積するためにカウンタ動作
(ステップ(029)、ステップ(030))を経てステップ
(022)に戻る。
視線検出系が上記の動作を繰り返す間に測距系はステ
ップ(027)〜(028)において並列して全視野測距を行
う。各視野の光像を受光するセンサーは視野毎に設けら
れているので、全視野のセンサーの光電変換動作は同時
的に開始できる。以降の多点測距系の信号処理演算につ
いては公知の技術により各測距点のデフォーカス量若し
くは距離が計測される。
ップ(027)〜(028)において並列して全視野測距を行
う。各視野の光像を受光するセンサーは視野毎に設けら
れているので、全視野のセンサーの光電変換動作は同時
的に開始できる。以降の多点測距系の信号処理演算につ
いては公知の技術により各測距点のデフォーカス量若し
くは距離が計測される。
ステップ(026)の注視点抽出の判定がOKとなり、こ
の注視点が測距対象範囲内にあってかつステップ(02
8)までの測距が終了するとステップ(032)にて注視点
方向の測距データの精度、信頼性判定を行う。判定結果
がOKであればステップ(034)にて測距点位置を確定す
る。判定結果がNGであればステップ(033)に進む。ス
テップ(033)は注視方向(視線方向)の検出が不能で
あった場合、注視点が測距対象範囲外であった場合等を
含め視線検出系、焦点検出系の不具合、あるいはミスマ
ッチが発生したときにレンズ駆動の禁止フラグをセット
する。
の注視点が測距対象範囲内にあってかつステップ(02
8)までの測距が終了するとステップ(032)にて注視点
方向の測距データの精度、信頼性判定を行う。判定結果
がOKであればステップ(034)にて測距点位置を確定す
る。判定結果がNGであればステップ(033)に進む。ス
テップ(033)は注視方向(視線方向)の検出が不能で
あった場合、注視点が測距対象範囲外であった場合等を
含め視線検出系、焦点検出系の不具合、あるいはミスマ
ッチが発生したときにレンズ駆動の禁止フラグをセット
する。
ステップ(033),(034)の処理を経てステップ(03
5)に至りレンズ駆動の禁止フラグの内容を確認し、リ
セットされていればステップ(036)に進み、ステップ
(034)で確定した内容に従い調整手段により合焦に向
け撮影レンズのフォーカスレンズを駆動する。以降のシ
ーケンスは必須ではないがレンズ駆動終了後、再測距し
(037)合焦確認を行い(038)合焦であれば表示やAFロ
ック動作等の不図示の次のシーケンスへ、又合焦に至っ
ていなければステップ(036)に戻り補正のレンズ駆動
を行う。この再測距シーケンスは前実施例においても実
施可能である。
5)に至りレンズ駆動の禁止フラグの内容を確認し、リ
セットされていればステップ(036)に進み、ステップ
(034)で確定した内容に従い調整手段により合焦に向
け撮影レンズのフォーカスレンズを駆動する。以降のシ
ーケンスは必須ではないがレンズ駆動終了後、再測距し
(037)合焦確認を行い(038)合焦であれば表示やAFロ
ック動作等の不図示の次のシーケンスへ、又合焦に至っ
ていなければステップ(036)に戻り補正のレンズ駆動
を行う。この再測距シーケンスは前実施例においても実
施可能である。
一方、ステップ(035)で禁止フラグがセットされて
いればステップ(039)に進んで警告表示等を行い、レ
ンズ駆動は行なわない。警告の方法としては第1実施例
と同様に発音ブザーや合焦表示ランプの特定周期の点
滅、色変化、若しくは警告ランプの点灯等が有効であ
る。ステップ(039)に至った場合、この状態でロック
し、レリーズスイッチ状態をモニターしながら変化がな
い限り脱出できないようにするのが一つのシーケンスの
組み方である。
いればステップ(039)に進んで警告表示等を行い、レ
ンズ駆動は行なわない。警告の方法としては第1実施例
と同様に発音ブザーや合焦表示ランプの特定周期の点
滅、色変化、若しくは警告ランプの点灯等が有効であ
る。ステップ(039)に至った場合、この状態でロック
し、レリーズスイッチ状態をモニターしながら変化がな
い限り脱出できないようにするのが一つのシーケンスの
組み方である。
又、ステップ(039)で警告装置を起動したのち、NG
カウンタをリセットしてステップ(002)へ戻りシーケ
ンスを繰り返すようにしても良い。この組み方では、一
端何らかの理由で禁止フラグが立っても再度のシーケン
スでステップ(034)に至り、測距点とその位置での測
距情報を確定することができれば、このステップにおい
て禁止フラグのリセット動作を含むように構成し、レン
ズ駆動に至るように構成できる。
カウンタをリセットしてステップ(002)へ戻りシーケ
ンスを繰り返すようにしても良い。この組み方では、一
端何らかの理由で禁止フラグが立っても再度のシーケン
スでステップ(034)に至り、測距点とその位置での測
距情報を確定することができれば、このステップにおい
て禁止フラグのリセット動作を含むように構成し、レン
ズ駆動に至るように構成できる。
以上の各実施例は焦点検出系をパッシブ方式として説
明したが、アクティブ方式の多点測距系でも本発明は同
様の効果を有する。
明したが、アクティブ方式の多点測距系でも本発明は同
様の効果を有する。
又、ビデオカメラで用いられている焦点検出方式のよ
うにTV画面用の2次元撮像デバイスと焦点検出用の受光
手段とを共用するような場合でも画面を適当に分割(重
複してもよい)することにより多点の焦点検出系を実質
的に構成することができ、視線検出系との組み合せにお
いて本発明を有効に用いることができる。
うにTV画面用の2次元撮像デバイスと焦点検出用の受光
手段とを共用するような場合でも画面を適当に分割(重
複してもよい)することにより多点の焦点検出系を実質
的に構成することができ、視線検出系との組み合せにお
いて本発明を有効に用いることができる。
(発明の効果) 以上、説明したように、請求項1に記載した発明は、
視線検出が不能と判定され、且つ視線検出が不能と判定
された回数が所定回数を超えた場合に、使用者の視線に
基づいたピント調節動作を禁止するので、誤ったピント
調節動作を防止することができ、好適なピント調節動作
を行う光学機器を提供することができる。
視線検出が不能と判定され、且つ視線検出が不能と判定
された回数が所定回数を超えた場合に、使用者の視線に
基づいたピント調節動作を禁止するので、誤ったピント
調節動作を防止することができ、好適なピント調節動作
を行う光学機器を提供することができる。
また、請求項2に記載した発明は、使用者の視線に対
応するフォーカスエリアが存在しないと判定され、且つ
使用者の視線に対応するフォーカスエリアが存在しない
と判定した回数が所定回数を超えた場合に、使用者の視
線に基づいたピント調節動作を禁止するので、誤ったピ
ント調節動作を防止することができ、好適なピント調節
動作を行う光学機器を提供することができる。
応するフォーカスエリアが存在しないと判定され、且つ
使用者の視線に対応するフォーカスエリアが存在しない
と判定した回数が所定回数を超えた場合に、使用者の視
線に基づいたピント調節動作を禁止するので、誤ったピ
ント調節動作を防止することができ、好適なピント調節
動作を行う光学機器を提供することができる。
第1図は本発明を一眼レフカメラに適用したときの第1
実施例の要部概略図、第2図は第1図の一部分の説明
図、第3図は第1実施例のフローチャート図、第4図
(A),(B)は本発明に係るカメラの撮影画面内にお
ける説明図、第5図は本発明の第2実施例のフローチャ
ート図である。 図中、1は撮影系、10は接眼レンズ、11は受光レンズ、
13は光源、14は受光素子列、15は眼球、92は光分割面、
95はダイクロイックミラー、4aは感光面、5はシャッタ
ー、6aは焦点検出手段、101は演算手段、102は選択手
段、103は調整手段、104は禁止手段である。
実施例の要部概略図、第2図は第1図の一部分の説明
図、第3図は第1実施例のフローチャート図、第4図
(A),(B)は本発明に係るカメラの撮影画面内にお
ける説明図、第5図は本発明の第2実施例のフローチャ
ート図である。 図中、1は撮影系、10は接眼レンズ、11は受光レンズ、
13は光源、14は受光素子列、15は眼球、92は光分割面、
95はダイクロイックミラー、4aは感光面、5はシャッタ
ー、6aは焦点検出手段、101は演算手段、102は選択手
段、103は調整手段、104は禁止手段である。
Claims (3)
- 【請求項1】使用者の視線を検出する視線検出手段と、 複数のフォーカスエリアに対してそれぞれピント調節の
ための情報を形成することのできるピント情報形成手段
と、 前記使用者の視線に基づいて前記複数のフォーカスエリ
アの中から1つのフォーカスエリアを選択する選択手段
と、 前記選択手段にて選択されたフォーカスエリアのピント
調節のための情報に基づいてピント調節を行うピント調
節手段と、 前記視線検出手段による視線検出が可能か不能かを判定
する判定手段と、 前記判定手段により視線検出が不能と判定された場合
に、視線検出が不能と判定した回数をカウントするカウ
ント手段と、 前記判定手段により視線検出が不能と判定され、且つ視
線検出が不能と判定された回数が所定回数を超えた場合
に、前記ピント調節手段による前記使用者の視線に基づ
いたピント調節動作を禁止する禁止手段とを有すること
を特徴とする光学機器。 - 【請求項2】使用者の視線を検出する視線検出手段と、 複数のフォーカスエリアに対してそれぞれピント調節の
ための情報を形成することのできるピント情報形成手段
と、 前記使用者の視線に基づいて前記複数のフォーカスエリ
アの中から1つのフォーカスエリアを選択する選択手段
と、 前記選択手段にて選択されたフォーカスエリアのピント
調節のための情報に基づいてピント調節を行うピント調
節手段と、 前記視線検出手段により検出された前記使用者の視線に
対応するフォーカスエリアが存在するかどうかを判定す
る判定手段と、 前記判定手段により前記使用者の視線に対応するフォー
カスエリアが存在しないと判定された場合に、前記使用
者の視線に対応するフォーカスエリアが存在しないと判
定した回数をカウントするカウント手段と、 前記判定手段により前記使用者の視線に対応するフォー
カスエリアが存在しないと判定され、且つ前記使用者の
視線に対応するフォーカスエリアが存在しないと判定し
た回数が所定回数を超えた場合に、前記ピント調節手段
による前記使用者の視線に基づいたピント調節動作を禁
止する禁止手段とを有することを特徴とする光学機器。 - 【請求項3】前記禁止手段の作動に連動して、前記使用
者に警告を発する警告表示手段を有することを特徴とす
る請求項1または2に記載の光学機器。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2260839A JP2993089B2 (ja) | 1990-09-29 | 1990-09-29 | 光学機器 |
| US08/443,687 US5579078A (en) | 1990-09-29 | 1995-05-18 | Camera with visual axis detection equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2260839A JP2993089B2 (ja) | 1990-09-29 | 1990-09-29 | 光学機器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04138436A JPH04138436A (ja) | 1992-05-12 |
| JP2993089B2 true JP2993089B2 (ja) | 1999-12-20 |
Family
ID=17353476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2260839A Expired - Lifetime JP2993089B2 (ja) | 1990-09-29 | 1990-09-29 | 光学機器 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2993089B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3070624B2 (ja) * | 1991-05-02 | 2000-07-31 | キヤノン株式会社 | 自動焦点検出装置 |
| JP2008287064A (ja) | 2007-05-18 | 2008-11-27 | Sony Corp | 撮像装置 |
-
1990
- 1990-09-29 JP JP2260839A patent/JP2993089B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04138436A (ja) | 1992-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3158643B2 (ja) | 焦点検出手段と視線検出手段とを有したカメラ | |
| JP3070624B2 (ja) | 自動焦点検出装置 | |
| US8184197B2 (en) | Focus detecting apparatus and image pick-up apparatus having the same | |
| JPH0265836A (ja) | 視線検出装置及び視線検出装置を有するカメラ | |
| JP5641771B2 (ja) | 焦点検出装置 | |
| JP2920940B2 (ja) | 視線検出手段を有した機器 | |
| JP3297481B2 (ja) | 視線検出装置 | |
| US5579078A (en) | Camera with visual axis detection equipment | |
| US5402199A (en) | Visual axis detecting apparatus | |
| JP2749818B2 (ja) | 視線検出装置 | |
| JP2993089B2 (ja) | 光学機器 | |
| US5579080A (en) | Camera including an apparatus for detecting a line of sight | |
| JP3038863B2 (ja) | 焦点検出手段と視線検出手段とを有したカメラ | |
| US5576796A (en) | Optical apparatus having function to detect visual axis | |
| JP2000258683A (ja) | 焦点検出装置及び測距装置 | |
| JP3184633B2 (ja) | カメラ | |
| JPH06138377A (ja) | 焦点検出手段と視線検出手段とを有したカメラ | |
| JP2000171695A (ja) | 焦点検出装置 | |
| JPH04138435A (ja) | 焦点検出手段と視線検出手段とを有したカメラ | |
| JP5424834B2 (ja) | 焦点調節装置および撮像装置 | |
| JP3184542B2 (ja) | カメラ | |
| JPH11281886A (ja) | 光学装置及び自動焦点カメラ | |
| JPH06148511A (ja) | 視線検出装置及びそれを有した光学装置 | |
| JP3239396B2 (ja) | 焦点検出手段と視線検出手段を有したカメラ | |
| JP3211427B2 (ja) | 視線検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071022 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081022 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091022 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091022 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101022 Year of fee payment: 11 |
|
| EXPY | Cancellation because of completion of term |