JP3416355B2 - カラー画像のノイズ除去装置および方法 - Google Patents
カラー画像のノイズ除去装置および方法Info
- Publication number
- JP3416355B2 JP3416355B2 JP27413095A JP27413095A JP3416355B2 JP 3416355 B2 JP3416355 B2 JP 3416355B2 JP 27413095 A JP27413095 A JP 27413095A JP 27413095 A JP27413095 A JP 27413095A JP 3416355 B2 JP3416355 B2 JP 3416355B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pixel data
- filter
- image
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、高品質カラー画像
を提供するための、カラー画像のノイズを除去する装置
および方法に関するものである。
を提供するための、カラー画像のノイズを除去する装置
および方法に関するものである。
【０００２】
【従来の技術】一般に、画像処理装置においては、高品
質な画像を提供するために、画像のノイズ除去や鮮鋭化
処理が行われる。このノイズ除去は、画像入力装置など
から混入したノイズを、空間フィルタによって除去する
処理である。
質な画像を提供するために、画像のノイズ除去や鮮鋭化
処理が行われる。このノイズ除去は、画像入力装置など
から混入したノイズを、空間フィルタによって除去する
処理である。
【０００３】従来より、ノイズ除去フィルタとしては、
注目画素を中心とした局所画素群の画素データを平均化
して当該注目画素の画素データとして出力するフィル
タ、すなわち積分操作により高周波成分を除去するフィ
ルタを使用していた。このフィルタを画像上に走査させ
て、局所移動平均をとることにより、画像のノイズを除
去することができる。
注目画素を中心とした局所画素群の画素データを平均化
して当該注目画素の画素データとして出力するフィル
タ、すなわち積分操作により高周波成分を除去するフィ
ルタを使用していた。このフィルタを画像上に走査させ
て、局所移動平均をとることにより、画像のノイズを除
去することができる。
【０００４】しかしながら、上記のようなフィルタを使
用すると、画像の高周波成分が平滑化されて失われるた
め、ノイズが除去されるとともに、画像中の輪郭部分の
鮮鋭度も失われる結果となる。そこで、一般には、画像
中の輪郭部分などの視覚的に鮮鋭度を与える情報を劣化
させずに、ノイズを除去する方法として、中央値フィル
タが使用されている。この中央値フィルタは、局所画素
群を構成する各画素の画素データの中央値を注目画素の
画素データとして出力するものである。したがって、出
力された画素データは注目画素の近傍領域に実際に存在
する画素（注目画素も含む）の画素データであるため、
画像中の輪郭部分の鮮鋭度を保存しつつ、ノイズを除去
することができる。
用すると、画像の高周波成分が平滑化されて失われるた
め、ノイズが除去されるとともに、画像中の輪郭部分の
鮮鋭度も失われる結果となる。そこで、一般には、画像
中の輪郭部分などの視覚的に鮮鋭度を与える情報を劣化
させずに、ノイズを除去する方法として、中央値フィル
タが使用されている。この中央値フィルタは、局所画素
群を構成する各画素の画素データの中央値を注目画素の
画素データとして出力するものである。したがって、出
力された画素データは注目画素の近傍領域に実際に存在
する画素（注目画素も含む）の画素データであるため、
画像中の輪郭部分の鮮鋭度を保存しつつ、ノイズを除去
することができる。
【０００５】
【発明が解決しようとする課題】ところで、上記の方法
はモノクロ画像について適用されてきたものであるが、
この方法をカラー画像について適用すると新たな問題が
生じる。すなわち、周知のように、カラー画像は複数の
色要素（例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ））のプ
レーンによって構成されている。このようなカラー画像
においては、各プレーンにおける高周波成分のみなら
ず、近傍領域に比較して人間の視覚的に大きく色が異な
る画素が散在する場合にもノイズとして認識される。し
かし、一般に、カラー画像のノイズ除去を行う際には、
画像を構成する各プレーンごとに上記の中央値フィルタ
を走査させているため、各プレーン単位でのノイズの除
去と輪郭部分の保存は達成されるものの、それらがカラ
ー画像として表現された場合にもノイズ除去および輪郭
部分の保存が的確に行われているか否かは予測不能であ
る。すなわち、各プレーンにおける高周波成分のノイズ
は効率よく除去されるものの、各プレーンがカラー画像
として表現されたときの画素がその近傍領域と比較して
視覚的に大きな色の差がある場合には、当該画素はノイ
ズとして認識されることがある。このようなノイズを上
記方法によって除去することは不可能である。
はモノクロ画像について適用されてきたものであるが、
この方法をカラー画像について適用すると新たな問題が
生じる。すなわち、周知のように、カラー画像は複数の
色要素（例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ））のプ
レーンによって構成されている。このようなカラー画像
においては、各プレーンにおける高周波成分のみなら
ず、近傍領域に比較して人間の視覚的に大きく色が異な
る画素が散在する場合にもノイズとして認識される。し
かし、一般に、カラー画像のノイズ除去を行う際には、
画像を構成する各プレーンごとに上記の中央値フィルタ
を走査させているため、各プレーン単位でのノイズの除
去と輪郭部分の保存は達成されるものの、それらがカラ
ー画像として表現された場合にもノイズ除去および輪郭
部分の保存が的確に行われているか否かは予測不能であ
る。すなわち、各プレーンにおける高周波成分のノイズ
は効率よく除去されるものの、各プレーンがカラー画像
として表現されたときの画素がその近傍領域と比較して
視覚的に大きな色の差がある場合には、当該画素はノイ
ズとして認識されることがある。このようなノイズを上
記方法によって除去することは不可能である。
【０００６】また、上記のように各プレーンごとにフィ
ルタを走査させると、各プレーンで独立に画素の写像値
（フィルタ作用後の画素データ）を決定するために、各
写像値を組み合わせてカラー画像を表現した場合に、局
所的に不自然な発色が生ずるなど色の安定性に問題があ
った。
ルタを走査させると、各プレーンで独立に画素の写像値
（フィルタ作用後の画素データ）を決定するために、各
写像値を組み合わせてカラー画像を表現した場合に、局
所的に不自然な発色が生ずるなど色の安定性に問題があ
った。
【０００７】そこで、本発明は、上記課題に鑑み、カラ
ー画像においても的確にノイズの除去が可能なノイズ除
去装置および方法を提供することを目的とする。
ー画像においても的確にノイズの除去が可能なノイズ除
去装置および方法を提供することを目的とする。
【０００８】また、本発明は、ノイズ除去後に不自然な
発色などが認められない、色の安定性の高いノイズ除去
装置および方法を提供することを目的とする。
発色などが認められない、色の安定性の高いノイズ除去
装置および方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】請求項１の発明は、複数
の画素からなるフィルタによってカラー画像を走査して
前記カラー画像のノイズ除去を行う方法において、上記
目的を達成するため、(a) その時点で前記フィルタで走
査されている各画素についての前記カラー画像の画素デ
ータを色空間にマッピングした分布を求め、前記分布の
前記色空間における平均的位置を求める平均的位置算出
工程と、(b) 前記色空間にマッピングされた各画素デー
タの位置と前記平均的位置との隔たりの分散値の大きさ
に応じて前記各画素データのひとつを選択画素データと
して選択する画素選択工程と、(c) 前記選択画素につい
ての画素データを、その時点での前記フィルタの出力と
して与えるフィルタ出力制御工程と、を備えることを特
徴とする。
の画素からなるフィルタによってカラー画像を走査して
前記カラー画像のノイズ除去を行う方法において、上記
目的を達成するため、(a) その時点で前記フィルタで走
査されている各画素についての前記カラー画像の画素デ
ータを色空間にマッピングした分布を求め、前記分布の
前記色空間における平均的位置を求める平均的位置算出
工程と、(b) 前記色空間にマッピングされた各画素デー
タの位置と前記平均的位置との隔たりの分散値の大きさ
に応じて前記各画素データのひとつを選択画素データと
して選択する画素選択工程と、(c) 前記選択画素につい
ての画素データを、その時点での前記フィルタの出力と
して与えるフィルタ出力制御工程と、を備えることを特
徴とする。
【００１０】また、請求項２の発明は、上記目的を達成
するため、前記平均的位置を前記分布の重心位置とし、
整数Ｍを、前記フィルタを構成する画素の数Ｎに対し
て、１≦Ｍ≦Ｎの条件を満足する所定の整数としたと
き、前記画素選択工程を、前記色空間にマッピングされ
た各画素データの位置のうち、前記重心位置からＭ番目
に近い画素の画素データを前記選択画素データとして選
択する工程としていることを特徴とする。
するため、前記平均的位置を前記分布の重心位置とし、
整数Ｍを、前記フィルタを構成する画素の数Ｎに対し
て、１≦Ｍ≦Ｎの条件を満足する所定の整数としたと
き、前記画素選択工程を、前記色空間にマッピングされ
た各画素データの位置のうち、前記重心位置からＭ番目
に近い画素の画素データを前記選択画素データとして選
択する工程としていることを特徴とする。
【００１１】
【００１２】また、請求項３の発明は、上記目的を達成
するため、複数の画素からなるフィルタによってカラー
画像を走査して前記カラー画像のノイズ除去を行う装置
において、(a) その時点で前記フィルタで走査されてい
る各画素についての前記カラー画像の画素データを色空
間にマッピングした分布を求め、前記分布の前記色空間
における平均的位置を求める平均的位置算出手段と、
(b) 前記色空間にマッピングされた各画素データの位置
と前記平均的位置との隔たりの分散値の大きさに応じて
前記各画素データのひとつを選択画素データとして選択
する画素選択手段と、(c) 前記選択画素についての画素
データを、その時点での前記フィルタの出力として与え
るフィルタ出力制御手段と、を備えることを特徴とす
る。
するため、複数の画素からなるフィルタによってカラー
画像を走査して前記カラー画像のノイズ除去を行う装置
において、(a) その時点で前記フィルタで走査されてい
る各画素についての前記カラー画像の画素データを色空
間にマッピングした分布を求め、前記分布の前記色空間
における平均的位置を求める平均的位置算出手段と、
(b) 前記色空間にマッピングされた各画素データの位置
と前記平均的位置との隔たりの分散値の大きさに応じて
前記各画素データのひとつを選択画素データとして選択
する画素選択手段と、(c) 前記選択画素についての画素
データを、その時点での前記フィルタの出力として与え
るフィルタ出力制御手段と、を備えることを特徴とす
る。
【００１３】また、請求項４の発明は、上記目的を達成
するため、前記平均的位置を前記分布の重心位置とし
て、整数Ｍを、前記フィルタを構成する画素の数Ｎに対
して、１≦Ｍ≦Ｎの条件を満足する所定の整数としたと
き、前記画素選択手段を、前記色空間にマッピングされ
た各画素データの位置のうち、前記重心位置からＭ番目
に近い画素の画素データを前記選択画素データとして選
択する手段としていることを特徴とする。
するため、前記平均的位置を前記分布の重心位置とし
て、整数Ｍを、前記フィルタを構成する画素の数Ｎに対
して、１≦Ｍ≦Ｎの条件を満足する所定の整数としたと
き、前記画素選択手段を、前記色空間にマッピングされ
た各画素データの位置のうち、前記重心位置からＭ番目
に近い画素の画素データを前記選択画素データとして選
択する手段としていることを特徴とする。
【００１４】
【００１５】
【発明の実施の形態】以下、図面を参照しつつ、本発明
の実施の形態について詳細に説明する。この明細書で
は、まず本発明にかかるカラー画像のノイズ除去装置を
備えた画像処理装置の概要について説明した後、本発明
にかかるカラー画像のノイズ除去方法について説明す
る。
の実施の形態について詳細に説明する。この明細書で
は、まず本発明にかかるカラー画像のノイズ除去装置を
備えた画像処理装置の概要について説明した後、本発明
にかかるカラー画像のノイズ除去方法について説明す
る。
【００１６】Ａ．画像処理装置の概要：図１は、この発
明にかかるカラー画像のノイズ除去装置を組み込んだ画
像処理装置１００の電気的構成を示すブロック図であ
る。この画像処理装置１００は、制御部５０に操作部１
０、表示部２０、画像入力部３０および画像出力部４０
が接続されて構成されている。操作部１０は、ユーザー
が指令や情報を与える入力手段（例えばキーボードやマ
ウス）であり、また表示部２０は、カラー画像を表示可
能な表示手段（例えばカラーディスプレイ）である。ユ
ーザーは操作部１０から指令や情報を制御部５０に与
え、表示部２０によって画像処理の結果や制御部５０か
らのメッセージを確認することができる。画像入力部３
０はカラー原画を入力する機能を有する画像入力手段
（例えば入力スキャナ）である。また、画像出力部４０
は、本発明にかかるノイズ除去処理やその他所望の処理
（例えば色調の調整）を行ったカラー画像を出力する出
力手段（例えば出力スキャナ）である。
明にかかるカラー画像のノイズ除去装置を組み込んだ画
像処理装置１００の電気的構成を示すブロック図であ
る。この画像処理装置１００は、制御部５０に操作部１
０、表示部２０、画像入力部３０および画像出力部４０
が接続されて構成されている。操作部１０は、ユーザー
が指令や情報を与える入力手段（例えばキーボードやマ
ウス）であり、また表示部２０は、カラー画像を表示可
能な表示手段（例えばカラーディスプレイ）である。ユ
ーザーは操作部１０から指令や情報を制御部５０に与
え、表示部２０によって画像処理の結果や制御部５０か
らのメッセージを確認することができる。画像入力部３
０はカラー原画を入力する機能を有する画像入力手段
（例えば入力スキャナ）である。また、画像出力部４０
は、本発明にかかるノイズ除去処理やその他所望の処理
（例えば色調の調整）を行ったカラー画像を出力する出
力手段（例えば出力スキャナ）である。
【００１７】制御部５０は、図１に示すように、記憶部
６０、画像処理部７０およびノイズ除去処理部８０を備
えている。記憶部６０はメモリであり、カラー画像デー
タを記憶する画像データ記憶部６０Ａと画像処理に必要
な設定データを記憶する設定データ記憶部６０Ｂが設け
られている。また、画像処理部７０は操作部１０からの
ユーザーの指令に基づいて、画像入力部３０から画像デ
ータを受け取って、画像データ記憶部６０Ａに記憶させ
るとともに、当該画像データに画像処理を行い、その結
果を表示部２０または画像出力部４０に出力する機能を
有している。また、ノイズ除去処理部８０は、ノイズ除
去の指令を画像処理部７０から受け取ると、設定データ
記憶部６０Ｂに記憶された設定データに基づいて画像デ
ータのノイズ除去処理を行う機能を有している。このノ
イズ除去処理部８０によるノイズ除去処理方法について
は後に詳述する。
６０、画像処理部７０およびノイズ除去処理部８０を備
えている。記憶部６０はメモリであり、カラー画像デー
タを記憶する画像データ記憶部６０Ａと画像処理に必要
な設定データを記憶する設定データ記憶部６０Ｂが設け
られている。また、画像処理部７０は操作部１０からの
ユーザーの指令に基づいて、画像入力部３０から画像デ
ータを受け取って、画像データ記憶部６０Ａに記憶させ
るとともに、当該画像データに画像処理を行い、その結
果を表示部２０または画像出力部４０に出力する機能を
有している。また、ノイズ除去処理部８０は、ノイズ除
去の指令を画像処理部７０から受け取ると、設定データ
記憶部６０Ｂに記憶された設定データに基づいて画像デ
ータのノイズ除去処理を行う機能を有している。このノ
イズ除去処理部８０によるノイズ除去処理方法について
は後に詳述する。
【００１８】Ｂ．ノイズ除去方法：図２は、この発明に
かかるノイズ除去方法の一例を示すフローチャートであ
る。
かかるノイズ除去方法の一例を示すフローチャートであ
る。
【００１９】まず、ノイズ除去処理に先立って、所望の
カラー画像が画像入力部３０によって読み込まれる（ス
テップＳ１）。ここで読み込まれた画像データはＲＧＢ
で表現されたデータであり、画像データ記憶部６０Ａに
記憶されるとともに、表示部２０のディスプレイ上にカ
ラー画像として表示される。図３（ａ）は表示部２０に
カラー画像が表示された様子を示す概念図である。表示
部２０のディスプレイ上の画面２１に、画像Ｅとノイズ
Ｎ１が表示されている。なお、ここで考えている例で
は、画像Ｅ、ノイズＮ１ともにバックグラウンドＡとは
異なる色を有している。
カラー画像が画像入力部３０によって読み込まれる（ス
テップＳ１）。ここで読み込まれた画像データはＲＧＢ
で表現されたデータであり、画像データ記憶部６０Ａに
記憶されるとともに、表示部２０のディスプレイ上にカ
ラー画像として表示される。図３（ａ）は表示部２０に
カラー画像が表示された様子を示す概念図である。表示
部２０のディスプレイ上の画面２１に、画像Ｅとノイズ
Ｎ１が表示されている。なお、ここで考えている例で
は、画像Ｅ、ノイズＮ１ともにバックグラウンドＡとは
異なる色を有している。
【００２０】ところで、人間の目にノイズとして認識さ
れるのは、近傍領域に比較して視覚的に大きく色が異な
る画素である。したがって、ノイズの除去は人間の視覚
を基準にして行われる必要がある。ところが、ＲＧＢ空
間上で評価される色差（空間上では２点間の距離）は、
人間が認識する色差と一致していない。すなわち、ＲＧ
Ｂ空間上で２点間の距離が大きくても、人間の視覚には
それほど色が異ならないと感じられることもあれば、逆
に、ＲＧＢ空間での距離が小さくても人間には大きく色
が異なると感じられることがある。そのため、画像デー
タ記憶部６０ａに読み込まれた画像データ（ＲＧＢデー
タ）を、人間の視覚に対応した色空間であるＬａｂ均等
色空間に展開する処理を行う。このようにすれば人間の
視覚に対応したノイズ除去を行うことができる。
れるのは、近傍領域に比較して視覚的に大きく色が異な
る画素である。したがって、ノイズの除去は人間の視覚
を基準にして行われる必要がある。ところが、ＲＧＢ空
間上で評価される色差（空間上では２点間の距離）は、
人間が認識する色差と一致していない。すなわち、ＲＧ
Ｂ空間上で２点間の距離が大きくても、人間の視覚には
それほど色が異ならないと感じられることもあれば、逆
に、ＲＧＢ空間での距離が小さくても人間には大きく色
が異なると感じられることがある。そのため、画像デー
タ記憶部６０ａに読み込まれた画像データ（ＲＧＢデー
タ）を、人間の視覚に対応した色空間であるＬａｂ均等
色空間に展開する処理を行う。このようにすれば人間の
視覚に対応したノイズ除去を行うことができる。
【００２１】図２に戻って、次に、ユーザーがノイズ除
去コマンドを操作部１０より入力すると、ステップＳ２
へ進んで、ノイズ除去処理部８０が先に読み込まれたカ
ラー画像の局所画素群の画素データを上記Ｌａｂ均等色
空間上に展開（マッピング）する。図３（ｂ）は、カラ
ー画像の局所画素群を選択するためのフィルタＦの概念
図である。ここで考えている例では、フィルタＦは、３
×３の画素行列から構成されており、局所画素群の選択
は、このフィルタＦにより画面２１に表示されたカラー
画像を走査させることによって行われる。なお、この走
査手順は、まず、フィルタＦを、画面２１の左上隅を出
発点として図中のＸ方向（主走査方向）に走査させ、画
面２１の右端に達すると、次に、Ｙ方向（副走査方向）
に隣接した線上の左端の位置からＸ方向に走査させ、以
下フィルタＦが画面２１の右下隅に達するまで同様の手
順を繰り返す。そして、ある時点でのフィルタＦによっ
て走査されている局所画素群の画素データがＬａｂ均等
色空間に展開されることになる。例えば、フィルタＦが
図３（ａ）の位置Ｆ１にあるときは、当該位置Ｆ１内に
含まれる９画素の画素データがＬａｂ均等色空間に展開
されることになる。
去コマンドを操作部１０より入力すると、ステップＳ２
へ進んで、ノイズ除去処理部８０が先に読み込まれたカ
ラー画像の局所画素群の画素データを上記Ｌａｂ均等色
空間上に展開（マッピング）する。図３（ｂ）は、カラ
ー画像の局所画素群を選択するためのフィルタＦの概念
図である。ここで考えている例では、フィルタＦは、３
×３の画素行列から構成されており、局所画素群の選択
は、このフィルタＦにより画面２１に表示されたカラー
画像を走査させることによって行われる。なお、この走
査手順は、まず、フィルタＦを、画面２１の左上隅を出
発点として図中のＸ方向（主走査方向）に走査させ、画
面２１の右端に達すると、次に、Ｙ方向（副走査方向）
に隣接した線上の左端の位置からＸ方向に走査させ、以
下フィルタＦが画面２１の右下隅に達するまで同様の手
順を繰り返す。そして、ある時点でのフィルタＦによっ
て走査されている局所画素群の画素データがＬａｂ均等
色空間に展開されることになる。例えば、フィルタＦが
図３（ａ）の位置Ｆ１にあるときは、当該位置Ｆ１内に
含まれる９画素の画素データがＬａｂ均等色空間に展開
されることになる。
【００２２】上記の展開処理に際しては、局所画素群の
画素データをＲＧＢ空間からＬａｂ均等色空間へ変換す
る必要があるが、ここで考えている例では、予め設定デ
ータ記憶部６０Ｂに記憶されたルックアップテーブル
（変換表）に基づいて画像処理部７０が変換処理を行
う。変換後の画素データは画像データ記憶部６０Ａに記
憶される。
画素データをＲＧＢ空間からＬａｂ均等色空間へ変換す
る必要があるが、ここで考えている例では、予め設定デ
ータ記憶部６０Ｂに記憶されたルックアップテーブル
（変換表）に基づいて画像処理部７０が変換処理を行
う。変換後の画素データは画像データ記憶部６０Ａに記
憶される。
【００２３】図４は、局所画素群の画素データがＬａｂ
均等色空間に展開された様子を示す概念図である。図４
（ａ）はフィルタＦが画面２１上の位置Ｆ１にあるとき
で、図４（ｂ）はフィルタＦが位置Ｆ２にあるときの図
である。図４（ａ）、図４（ｂ）のそれぞれに示すよう
に、フィルタＦによって選択された９個の画素Ｐａ１〜
Ｐａ９、Ｐｂ１〜Ｐｂ９がＬａｂ均等色空間に展開され
ている。なお、位置Ｆ１には、図３（ａ）に示すよう
に、ノイズＮ１が含まれており、また、位置Ｆ２には画
像Ｅの輪郭部分Ｅ１が含まれている。したがって、図４
（ａ）ではノイズの画素Ｐａ８、Ｐａ９の２つの画素の
みがその他の画素Ｐａ１〜Ｐａ７より色彩的に乖離した
位置に存在しているのに対して、図４（ｂ）では画像Ｅ
に含まれる画素Ｐｂ５〜Ｐｂ９とその他の画素Ｐｂ１〜
Ｐｂ４の、ほぼ同数の２つの画素群が存在している。
均等色空間に展開された様子を示す概念図である。図４
（ａ）はフィルタＦが画面２１上の位置Ｆ１にあるとき
で、図４（ｂ）はフィルタＦが位置Ｆ２にあるときの図
である。図４（ａ）、図４（ｂ）のそれぞれに示すよう
に、フィルタＦによって選択された９個の画素Ｐａ１〜
Ｐａ９、Ｐｂ１〜Ｐｂ９がＬａｂ均等色空間に展開され
ている。なお、位置Ｆ１には、図３（ａ）に示すよう
に、ノイズＮ１が含まれており、また、位置Ｆ２には画
像Ｅの輪郭部分Ｅ１が含まれている。したがって、図４
（ａ）ではノイズの画素Ｐａ８、Ｐａ９の２つの画素の
みがその他の画素Ｐａ１〜Ｐａ７より色彩的に乖離した
位置に存在しているのに対して、図４（ｂ）では画像Ｅ
に含まれる画素Ｐｂ５〜Ｐｂ９とその他の画素Ｐｂ１〜
Ｐｂ４の、ほぼ同数の２つの画素群が存在している。
【００２４】次に、図２に戻って、ステップＳ３では、
ノイズ除去処理部８０がＬａｂ均等色空間に展開された
画素データの座標値群の平均的位置を求める。この例で
は平均的位置として重心位置を考えており、重心位置Ｇ
は
ノイズ除去処理部８０がＬａｂ均等色空間に展開された
画素データの座標値群の平均的位置を求める。この例で
は平均的位置として重心位置を考えており、重心位置Ｇ
は
【００２５】
【数１】
【００２６】によって算出される。数１において、Ｌ
ｋ、ａｋ、ｂｋはそれぞれ、Ｌａｂ均等色空間に展開さ
れた９画素の画素データのＬ軸座標値、ａ軸座標値、ｂ
軸座標値であり、Ｌｘ、ａｘ、ｂｘはそれぞれ重心位置
ＧのＬ軸座標値、ａ軸座標値、ｂ軸座標値である。
ｋ、ａｋ、ｂｋはそれぞれ、Ｌａｂ均等色空間に展開さ
れた９画素の画素データのＬ軸座標値、ａ軸座標値、ｂ
軸座標値であり、Ｌｘ、ａｘ、ｂｘはそれぞれ重心位置
ＧのＬ軸座標値、ａ軸座標値、ｂ軸座標値である。
【００２７】図４（ａ）に示すように、局所画素群中に
色彩的に乖離したノイズ（画素Ｐａ８、Ｐａ９）が含ま
れる場合は、ノイズ以外の画素群（Ｐａ１〜Ｐａ７）近
傍に重心位置Ｇａが存在する。これに対して、図４
（ｂ）に示すように、局所画素群が画像の輪郭部分の画
素を含む場合には、２つの画素群はほぼ同数であるた
め、当該両画素群の中間近傍に重心位置Ｇｂは存在す
る。
色彩的に乖離したノイズ（画素Ｐａ８、Ｐａ９）が含ま
れる場合は、ノイズ以外の画素群（Ｐａ１〜Ｐａ７）近
傍に重心位置Ｇａが存在する。これに対して、図４
（ｂ）に示すように、局所画素群が画像の輪郭部分の画
素を含む場合には、２つの画素群はほぼ同数であるた
め、当該両画素群の中間近傍に重心位置Ｇｂは存在す
る。
【００２８】図２に戻って、次にステップＳ４では、上
記の重心位置から各画素までの距離を算出する。この距
離は、Ｌａｂ均等色空間において算出されるので、先述
したように、人間の視覚に対応したものである。重心位
置から各画素への距離ＸＰｋ（ｋ＝１、９）は次式によ
って算出される。
記の重心位置から各画素までの距離を算出する。この距
離は、Ｌａｂ均等色空間において算出されるので、先述
したように、人間の視覚に対応したものである。重心位
置から各画素への距離ＸＰｋ（ｋ＝１、９）は次式によ
って算出される。
【００２９】
【数２】
【００３０】次に、ステップＳ５では、上記のようにし
て求めた距離ＸＰｋの分散値を求める。分散値σ2は次
式によって算出される。
て求めた距離ＸＰｋの分散値を求める。分散値σ2は次
式によって算出される。
【００３１】
【数３】
【００３２】この分散値σ2はＬａｂ均等色空間におけ
る局所画素群の画素データのバラツキの程度を示してい
るため、ノイズを含む局所画素群（図４（ａ））に比較
して、輪郭部分の局所画素群（図４（ｂ））では大きく
なる。
る局所画素群の画素データのバラツキの程度を示してい
るため、ノイズを含む局所画素群（図４（ａ））に比較
して、輪郭部分の局所画素群（図４（ｂ））では大きく
なる。
【００３３】図２に戻って、ステップＳ６では、ノイズ
除去処理部８０が上記の分散値σ2に応じて局所画素群
の中から選択画素を決定する。このときに、図４（ａ）
のように分散値σ2が小さい場合（局所画素群にノイズ
を含む場合）には、ノイズ以外の画素群に比較してノイ
ズに対応した画素は重心位置Ｇａから遠くに位置してい
るため、重心位置Ｇａから近い画素を選択画素とする。
また、図４（ｂ）のように分散値σ2が大きい場合（局
所画素群に画像の輪郭部分の画素が含まれる場合）に
は、輪郭部分の鮮鋭度を強調するため、重心位置Ｇｂか
ら遠い画素を選択画素とする。ここで考えている例で
は、分散値σ2と重心位置から選択画素までの距離を小
さい方から並べた順番の数Ｍ（選択画素は重心位置から
Ｍ番目に近い画素、ただしＭは１≦Ｍ≦Ｎを満たす整数
であり、Ｎは局所画素群の画素数（この例では９））の
対応関係は、当該分散値σ2と所定の閾値αとの比較に
よって決定される。すなわち、まず、分散値σ2と所定
の閾値αを比較する。そして、σ2＜αならば選択画素
を重心位置から最も近い画素（Ｍ＝１）とし、σ2≧α
ならば選択画素を重心位置から６番目に近い画素（Ｍ＝
６）とする。
除去処理部８０が上記の分散値σ2に応じて局所画素群
の中から選択画素を決定する。このときに、図４（ａ）
のように分散値σ2が小さい場合（局所画素群にノイズ
を含む場合）には、ノイズ以外の画素群に比較してノイ
ズに対応した画素は重心位置Ｇａから遠くに位置してい
るため、重心位置Ｇａから近い画素を選択画素とする。
また、図４（ｂ）のように分散値σ2が大きい場合（局
所画素群に画像の輪郭部分の画素が含まれる場合）に
は、輪郭部分の鮮鋭度を強調するため、重心位置Ｇｂか
ら遠い画素を選択画素とする。ここで考えている例で
は、分散値σ2と重心位置から選択画素までの距離を小
さい方から並べた順番の数Ｍ（選択画素は重心位置から
Ｍ番目に近い画素、ただしＭは１≦Ｍ≦Ｎを満たす整数
であり、Ｎは局所画素群の画素数（この例では９））の
対応関係は、当該分散値σ2と所定の閾値αとの比較に
よって決定される。すなわち、まず、分散値σ2と所定
の閾値αを比較する。そして、σ2＜αならば選択画素
を重心位置から最も近い画素（Ｍ＝１）とし、σ2≧α
ならば選択画素を重心位置から６番目に近い画素（Ｍ＝
６）とする。
【００３４】なお、閾値αおよび分散値σ2に応じた重
心位置からの選択画素までの距離の順番の数Ｍの値は、
予め設定データ記憶部６０Ｂに記憶されており、ユーザ
ーが所望の処理を行えるように、必要に応じて変更する
ことも可能である。
心位置からの選択画素までの距離の順番の数Ｍの値は、
予め設定データ記憶部６０Ｂに記憶されており、ユーザ
ーが所望の処理を行えるように、必要に応じて変更する
ことも可能である。
【００３５】また、図４（ｂ）のように、局所画素群に
画像の輪郭部分の画素が含まれ、Ｌａｂ均等色空間では
ほぼ同数の２つの画素群が形成される場合には、上記Ｍ
番目の画素がどちらの画素群に属しているかは偶然的要
素によって支配されているので、輪郭部分の形状が画素
単位で変形される可能性はあるものの、上述のような方
法によれば、輪郭部分の鮮鋭度が失われないので画像全
体としては問題ない。
画像の輪郭部分の画素が含まれ、Ｌａｂ均等色空間では
ほぼ同数の２つの画素群が形成される場合には、上記Ｍ
番目の画素がどちらの画素群に属しているかは偶然的要
素によって支配されているので、輪郭部分の形状が画素
単位で変形される可能性はあるものの、上述のような方
法によれば、輪郭部分の鮮鋭度が失われないので画像全
体としては問題ない。
【００３６】次に、ステップＳ７へ進んで、画像処理部
７０が上記選択画素の画素データをフィルタＦの中央の
画素の画素データとして原画像上に出力し、当該原画像
を画像データ記憶部６０Ａに記憶するとともに、表示部
２０のディスプレイ上に表示する。なお、この際に画素
データとして原画像上に出力されるのはＲＧＢで表現さ
れた画素データである。
７０が上記選択画素の画素データをフィルタＦの中央の
画素の画素データとして原画像上に出力し、当該原画像
を画像データ記憶部６０Ａに記憶するとともに、表示部
２０のディスプレイ上に表示する。なお、この際に画素
データとして原画像上に出力されるのはＲＧＢで表現さ
れた画素データである。
【００３７】次に、ステップＳ８では、フィルタＦを１
画素分走査させる。なお、フィルタＦの操作手順は既に
述べた通りである。そして、フィルタＦが右下隅の画素
まで処理を終了した後では、ステップＳ９において、一
連の処理が終了したと判断され、ノイズ除去処理は終了
する。また、フィルタＦが右下隅に達していない場合
は、処理が未終了と判断されて、ステップＳ２へ戻り、
再びノイズ除去処理が行われる。すなわち、上記一連の
処理は、フィルタＦが右下隅に達するまで繰り返される
ことになる。
画素分走査させる。なお、フィルタＦの操作手順は既に
述べた通りである。そして、フィルタＦが右下隅の画素
まで処理を終了した後では、ステップＳ９において、一
連の処理が終了したと判断され、ノイズ除去処理は終了
する。また、フィルタＦが右下隅に達していない場合
は、処理が未終了と判断されて、ステップＳ２へ戻り、
再びノイズ除去処理が行われる。すなわち、上記一連の
処理は、フィルタＦが右下隅に達するまで繰り返される
ことになる。
【００３８】以上のようにすれば、局所画素群中にノイ
ズが含まれる場合（分散値σ2が小さい場合）には、当
該局所画素群の重心位置から近い画素が選択され、当該
選択画素のＲＧＢ画素データがフィルタの中央画素の画
素データとして出力されるため、ノイズは効率よく除去
される。また、選択画素の決定は、Ｌａｂ均等色空間に
おいて行っているため、人間の視覚がノイズと認識する
箇所のみを除去することができる。
ズが含まれる場合（分散値σ2が小さい場合）には、当
該局所画素群の重心位置から近い画素が選択され、当該
選択画素のＲＧＢ画素データがフィルタの中央画素の画
素データとして出力されるため、ノイズは効率よく除去
される。また、選択画素の決定は、Ｌａｂ均等色空間に
おいて行っているため、人間の視覚がノイズと認識する
箇所のみを除去することができる。
【００３９】一方、局所画素群中に輪郭部分が含まれる
場合（分散値σ2が大きい場合）には、当該局所画素群
の重心位置から遠い画素が選択され、当該選択画素のＲ
ＧＢ画像データがフィルタの中央画素の画像データとし
て出力されるため、輪郭部分の鮮鋭度は確実に保存され
る。
場合（分散値σ2が大きい場合）には、当該局所画素群
の重心位置から遠い画素が選択され、当該選択画素のＲ
ＧＢ画像データがフィルタの中央画素の画像データとし
て出力されるため、輪郭部分の鮮鋭度は確実に保存され
る。
【００４０】また、出力する画素データは局所画素群に
実際に存在する画素の画素データであるため、不自然な
発色の認められない色の安定した画像が得られる。
実際に存在する画素の画素データであるため、不自然な
発色の認められない色の安定した画像が得られる。
【００４１】
【変形例】以上、この発明の一例について説明をした
が、この発明は上記の例に限定されるものではない。例
えば、この例のノイズ除去処理技術におけるフィルタは
３×３の画素行列であったが、これが他の形状やサイズ
のフィルタであってもかまわない。
が、この発明は上記の例に限定されるものではない。例
えば、この例のノイズ除去処理技術におけるフィルタは
３×３の画素行列であったが、これが他の形状やサイズ
のフィルタであってもかまわない。
【００４２】また、この例では、Ｌａｂ均等色空間にお
ける重心位置から各画素までの距離の分散値を求め、そ
の分散値に応じて数Ｍを選択していたが、この数Ｍを固
定値として、重心位置からＭ番目に近い距離にある画素
を選択画素としても良い。もっとも、上記の実施の形態
のようにした方が、高いノイズ除去処理能力と画像の輪
郭部分の保存性の両方を満たしやすい。
ける重心位置から各画素までの距離の分散値を求め、そ
の分散値に応じて数Ｍを選択していたが、この数Ｍを固
定値として、重心位置からＭ番目に近い距離にある画素
を選択画素としても良い。もっとも、上記の実施の形態
のようにした方が、高いノイズ除去処理能力と画像の輪
郭部分の保存性の両方を満たしやすい。
【００４３】さらに、この例では、Ｌａｂ均等色空間に
おける各画素の平均的位置として重心位置を用いていた
が、重心位置の代わりに中央値座標位置を用いても良
い。なお、中央値座標位置とは、Ｌａｂ均等色空間に展
開された各画素のＬ座標値、ａ座標値およびｂ座標値の
それぞれについて独立に中央値を求め、これら３つの座
標値に対応する位置を示すものである。ここで考えてい
る座標値の中央値は、対象画素数をＮとすると、座標の
最小値から数えて、Ｎが偶数のときはＮ／２番目、Ｎが
奇数のときは（Ｎ＋１）／２番目の座標値である。
おける各画素の平均的位置として重心位置を用いていた
が、重心位置の代わりに中央値座標位置を用いても良
い。なお、中央値座標位置とは、Ｌａｂ均等色空間に展
開された各画素のＬ座標値、ａ座標値およびｂ座標値の
それぞれについて独立に中央値を求め、これら３つの座
標値に対応する位置を示すものである。ここで考えてい
る座標値の中央値は、対象画素数をＮとすると、座標の
最小値から数えて、Ｎが偶数のときはＮ／２番目、Ｎが
奇数のときは（Ｎ＋１）／２番目の座標値である。
【００４４】
【発明の効果】以上説明したように、請求項１および請
求項３の発明によれば、ある時点でフィルタによって走
査されている各画素についてのカラー画像の画像データ
を色空間にマッピングした分布を求め、当該分布の色空
間における平均的位置を求め、その平均的位置と各画素
との隔たりの分散値の大きさに応じて前記各画素データ
のひとつを選択画素データとして選択し、当該選択画素
データを、その時点でのフィルタの出力として与えてい
るので、カラー画像においても的確にノイズの除去がで
きるとともに、不自然な発色などを防止することができ
る。
求項３の発明によれば、ある時点でフィルタによって走
査されている各画素についてのカラー画像の画像データ
を色空間にマッピングした分布を求め、当該分布の色空
間における平均的位置を求め、その平均的位置と各画素
との隔たりの分散値の大きさに応じて前記各画素データ
のひとつを選択画素データとして選択し、当該選択画素
データを、その時点でのフィルタの出力として与えてい
るので、カラー画像においても的確にノイズの除去がで
きるとともに、不自然な発色などを防止することができ
る。
【００４５】また、請求項２および請求項４の発明によ
れば、前記平均的位置を前記分布の重心位置とし、整数
Ｍを前記フィルタを構成する画素の数Ｎに対して、１≦
Ｍ≦Ｎの条件を満足する所定の整数としたとき、前記各
画素データの位置のうち、前記重心位置からＭ番目に近
い画素の画素データを前記選択画素データとして選択し
ているので、カラー画像においても的確にノイズの除去
ができるとともに、不自然な発色などを防止することが
できる。
れば、前記平均的位置を前記分布の重心位置とし、整数
Ｍを前記フィルタを構成する画素の数Ｎに対して、１≦
Ｍ≦Ｎの条件を満足する所定の整数としたとき、前記各
画素データの位置のうち、前記重心位置からＭ番目に近
い画素の画素データを前記選択画素データとして選択し
ているので、カラー画像においても的確にノイズの除去
ができるとともに、不自然な発色などを防止することが
できる。
【００４６】
【図１】この発明にかかるカラー画像のノイズ除去技術
を適用することができる画像処理装置１００の電気的構
成を示すブロック図である。
を適用することができる画像処理装置１００の電気的構
成を示すブロック図である。
【図２】この発明の実施の形態のノイズ除去方法の一例
を示すフローチャートである。
を示すフローチャートである。
【図３】表示部での表示状態およびフィルタの一例を示
す概念図である。
す概念図である。
【図４】局所画素群の画素データがＬａｂ均等色空間に
展開された様子を示す概念図である。
展開された様子を示す概念図である。
１００ 画像処理装置
１０ 操作部
２０ 表示部
３０ 画像入力部
４０ 画像出力部
６０ 記憶部
７０ 画像処理部
８０ ノイズ除去処理部
Ｆ フィルタ
─────────────────────────────────────────────────────
フロントページの続き
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 1/00 - 7/60
H04N 1/40
Claims (4)
- 【請求項１】 複数の画素からなるフィルタによってカ
ラー画像を走査して前記カラー画像のノイズ除去を行う
方法であって、 (a) その時点で前記フィルタで走査されている各画素に
ついての前記カラー画像の画素データを色空間にマッピ
ングした分布を求め、前記分布の前記色空間における平
均的位置を求める平均的位置算出工程と、 (b) 前記色空間にマッピングされた各画素データの位置
と前記平均的位置との隔たりの分散値の大きさに応じて
前記各画素データのひとつを選択画素データとして選択
する画素選択工程と、 (c) 前記選択画素についての画素データを、その時点で
の前記フィルタの出力として与えるフィルタ出力制御工
程と、 を備えることを特徴とするカラー画像のノイズ除去方
法。 - 【請求項２】 前記平均的位置は前記分布の重心位置で
あり、 整数Ｍを、前記フィルタを構成する画素の数Ｎに対し
て、１≦Ｍ≦Ｎの条件を満足する所定の整数としたと
き、 前記画素選択工程は、 前記色空間にマッピングされた各画素データの位置のう
ち、前記重心位置からＭ番目に近い画素の画素データを
前記選択画素データとして選択する工程とされているこ
とを特徴とする請求項１記載のカラー画像のノイズ除去
方法。 - 【請求項３】 複数の画素からなるフィルタによってカ
ラー画像を走査して前記カラー画像のノイズ除去を行う
装置であって、 (a) その時点で前記フィルタで走査されている各画素に
ついての前記カラー画像の画素データを色空間にマッピ
ングした分布を求め、前記分布の前記色空間における平
均的位置を求める平均的位置算出手段と、 (b) 前記色空間にマッピングされた各画素データの位置
と前記平均的位置との隔たりの分散値の大きさに応じて
前記各画素データのひとつを選択画素データとして選択
する画素選択手段と、 (c) 前記選択画素についての画素データを、その時点で
の前記フィルタの出力として与えるフィルタ出力制御手
段と、 を備えることを特徴とするカラー画像のノイズ除去装
置。 - 【請求項４】 請求項３の装置において、 前記平均的位置は前記分布の重心位置であり、 整数Ｍを、前記フィルタを構成する画素の数Ｎに対し
て、１≦Ｍ≦Ｎの条件を満足する所定の整数としたと
き、 前記画素選択手段は、 前記色空間にマッピングされた各画素データの位置のう
ち、前記重心位置からＭ番目に近い画素の画素データを
前記選択画素データとして選択する手段とされているこ
とを特徴とするカラー画像のノイズ除去装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27413095A JP3416355B2 (ja) | 1995-10-23 | 1995-10-23 | カラー画像のノイズ除去装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27413095A JP3416355B2 (ja) | 1995-10-23 | 1995-10-23 | カラー画像のノイズ除去装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09114975A JPH09114975A (ja) | 1997-05-02 |
| JP3416355B2 true JP3416355B2 (ja) | 2003-06-16 |
Family
ID=17537441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27413095A Expired - Lifetime JP3416355B2 (ja) | 1995-10-23 | 1995-10-23 | カラー画像のノイズ除去装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3416355B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6807300B1 (en) * | 2000-07-20 | 2004-10-19 | Eastman Kodak Company | Noise reduction method utilizing color information, apparatus, and program for digital image processing |
| GB2400257A (en) | 2003-04-05 | 2004-10-06 | Autodesk Canada Inc | Removal of grain |
| CN114627007B (zh) * | 2022-03-01 | 2025-06-06 | 广州瑞多思医疗科技有限公司 | 一种胶片干扰点擦除方法 |
-
1995
- 1995-10-23 JP JP27413095A patent/JP3416355B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09114975A (ja) | 1997-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0398268B1 (en) | Video printer device | |
| JP4209599B2 (ja) | ２次元非線形補間システム及び補間方法、並びに２次元混合補間システム及び混合補間方法 | |
| JP4317134B2 (ja) | 画像を補間しかつ鮮鋭化するための方法 | |
| EP0693738A2 (en) | Method and apparatus for generating color image mask | |
| EP0369719B1 (en) | Image processing apparatus and method | |
| US7812993B2 (en) | Lossy method for compressing images and video | |
| EP0709808B1 (en) | Color picture processing method and apparatus | |
| JPH08287239A (ja) | 色彩調整装置及びその方法 | |
| US5355446A (en) | Method and apparatus for preparing picture masks | |
| JP3126046B2 (ja) | カラー画像の色調整方法及び色調整装置 | |
| JP3539665B2 (ja) | 顔領域補正方法、顔領域補正装置および顔領域補正プログラムを記録した記録媒体 | |
| JPH05324809A (ja) | スプリットレベルフレームバッファ | |
| JP3873477B2 (ja) | 画像処理装置および画像処理方法 | |
| JP3416355B2 (ja) | カラー画像のノイズ除去装置および方法 | |
| EP0477904B1 (en) | Method and apparatus for generating images of reduced size | |
| JP2702408B2 (ja) | 画像変換システム | |
| US5502642A (en) | HSL neighborhoods in CMY color space | |
| JPH04139589A (ja) | 図形処理装置 | |
| JP3953897B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体 | |
| JP2601265B2 (ja) | 色彩補正方式 | |
| JP4992379B2 (ja) | 画像の階調変換装置、プログラム、電子カメラ、およびその方法 | |
| JPH0814843B2 (ja) | 色変換方法および色変換装置 | |
| JPH0822556A (ja) | テクスチャマッピング装置 | |
| JP4067538B2 (ja) | 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム、及び記録媒体 | |
| JPH0588653A (ja) | 画面合成表示領域決定装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090404 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090404 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100404 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100404 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100404 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120404 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130404 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130404 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130404 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140404 Year of fee payment: 11 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |