JP6958718B2 - ノイズ除去装置およびノイズ除去方法 - Google Patents

Description

本開示は、ノイズ除去装置、ノイズ除去方法および静止検出方法に関する。

近年、４Ｋや８Ｋなどの表示装置の増加に伴い、映像信号を処理するデータ量は増加している。それにより、フレームメモリに一旦信号を保持するフレーム遅延を利用した映像信号の処理技術では、映像信号の処理に必要となるバンド幅を削減するために、映像信号を圧縮する技術が使用されるようになっている（例えば、特許文献１参照）。例えば、映像信号を圧縮する技術として、ビット圧縮技術(非可逆圧縮)が用いられている。

特開２００５−３１８２５１号公報

しかし、ビット圧縮技術では、圧縮した映像を元のビット精度に戻した場合、データが圧縮前のデータと一致しないため、映像信号に静止画像が含まれる場合には、静止画像がちらついたり、静止画像と異なる画像が出力されることとなり、見る人に違和感を与えるという課題がある。

そこで、本開示は、違和感のない静止画像を表示することができるノイズ除去装置およびノイズ除去方法を提供することを目的とする。

上記の課題を解決するために、本開示の一形態におけるノイズ除去装置は、入力画像データに対してノイズ除去を行うノイズ除去装置であって、フレームごとの前記入力画像データに対してノイズ除去を行い、ノイズ除去データを生成するノイズ除去部と、前記ノイズ除去データを圧縮して圧縮データを生成するデータ圧縮部と、前記圧縮データを伸長して伸長データを生成するデータ伸長部と、前記入力画像データが静止画像のデータであるか否かを検出する静止検出部と、前記静止検出部の検出結果に基づいて、出力画像データとして前記入力画像データまたは前記ノイズ除去データを選択する出力選択部と、を備え、第１のフレームと、前記第１のフレームに続く第２のフレームとがあるときに、前記第２のフレームにおいて、前記ノイズ除去部は、前記第２のフレームの前記入力画像データと前記第１のフレームの前記伸長データとに基づいて、前記第２のフレームの前記入力画像データからノイズ除去を行い、前記ノイズ除去データを生成し、前記第２のフレームにおいて、前記出力選択部は、前記入力画像データが静止画像のデータであると検出された場合には前記入力画像データを前記出力画像データとして選択し、前記入力画像データが静止画像のデータでないと検出された場合には前記ノイズ除去データを前記出力画像データとして選択する。

この構成によれば、入力画像データが静止画像のデータであるか否かを検出し、入力画像データが静止画像のデータである場合には入力画像データが出力され、入力画像データが静止画像のデータでない場合にはノイズ除去データが出力される。したがって、静止画像のデータについては、データ圧縮、データ伸長およびノイズ除去が行われず、入力されたデータがそのまま出力されるので、データ圧縮、データ伸長およびノイズ除去の処理によるデータの差分が生じることがない。これにより、当該データの差分の影響を抑制して、違和感のない静止画像を表示することができる。

また、前記静止検出部は、前記フレームごとに、前記入力画像データに含まれる輝度信号を累積する信号累積部と、前記第１のフレームにおける前記輝度信号の累積値と、前記第２のフレームにおける前記輝度信号の累積値とを比較する比較部と、前記比較部における比較結果に基づいて、前記入力画像データまたは前記ノイズ除去データのいずれかを前記出力画像データとして決定する決定部とを有してもよい。

この構成によれば、第１のフレームとこれに続く第２のフレームの輝度信号の累積値を比較するので、比較した累積値に差分があるか否かを判定することにより、的確に静止画像を検出することができる。

また、上記の課題を解決するために、本開示の一形態におけるノイズ除去装置は、入力画像データに対してノイズ除去を行うノイズ除去装置であって、フレームごとの前記入力画像データに対してノイズ除去を行い、ノイズ除去データを生成するノイズ除去部と、前記ノイズ除去データを圧縮して圧縮データを生成するデータ圧縮部と、前記圧縮データを伸長して伸長データを生成するデータ伸長部と、前記入力画像データが静止画像のデータであるか否かを検出する静止検出部と、前記静止検出部の検出結果に基づいて、前記ノイズ除去部に入力されるデータとして前記入力画像データまたは前記伸長データを選択する入力選択部と、を備え、第１のフレームと、前記第１のフレームに続く第２のフレームとがあるときに、前記第２のフレームにおいて、前記ノイズ除去部は、前記第２のフレームの前記入力画像データと前記第１のフレームの前記伸長データとに基づいて、前記第２のフレームの前記入力画像データからノイズ除去を行い、前記ノイズ除去データを生成し、前記第２のフレームにおいて、前記入力選択部は、前記入力画像データが静止画像のデータであると検出された場合には前記入力画像データを前記ノイズ除去部に入力されるデータとして選択し、前記入力画像データが静止画像のデータでないと検出された場合には前記伸長データを前記ノイズ除去部に入力されるデータとして選択する。

この構成によれば、入力画像データが静止画像のデータであるか否かを検出し、入力画像データが静止画像のデータである場合には入力画像データからノイズが除去されて出力され、入力画像データが静止画像のデータでない場合には伸長データからノイズが除去されて出力される。したがって、静止画像のデータについては、データ圧縮およびデータ伸長が行われないので、データ圧縮およびデータ伸長の処理によるデータの差分が生じるのを抑制することができる。これにより、違和感のない静止画像を表示することができる。

また、前記静止検出部は、前記フレームごとに、前記入力画像データに含まれる輝度信号を累積する信号累積部と、前記第１のフレームにおける前記輝度信号の累積値と、前記第２のフレームにおける前記輝度信号の累積値とを比較する比較部と、前記比較部における比較結果に基づいて、前記入力画像データまたは前記伸長データのいずれかを前記ノイズ除去部に入力されるデータとして決定する決定部とを有してもよい。

この構成によれば、第１のフレームとこれに続く第２のフレームの輝度信号の累積値を比較するので、比較した累積値に差分があるか否かを判定することにより、的確に静止画像を検出することができる。

また、前記比較部は、前記第１のフレームにおける前記輝度信号の累積値と前記第２のフレームにおける前記輝度信号の累積値とが同一である場合に、前記第２のフレームにおける前記入力画像データが静止画像のデータであると判定してもよい。

この構成によれば、入力画像データに必ず含まれる輝度信号を用いて静止検出を行うので、容易にかつ的確に静止画像を検出することができる。

また、前記ノイズ除去部は、前記第２のフレームの前記入力画像データと前記第１のフレームの前記伸長データとを所定の割合で混合することにより、前記第２のフレームの前記入力画像データからノイズ除去を行ってもよい。

この構成によれば、第２のフレームの入力画像データと第１のフレームの伸長データとを所定の割合で混合することでノイズを除去するので、ノイズを除去しつつ違和感が低減された画像を表示することができる。

また、上記の課題を解決するために、本開示の一形態におけるノイズ除去方法は、入力画像データに対してノイズ除去を行うノイズ除去方法であって、第１のフレームと、前記第１のフレームに続く第２のフレームとがあるときに、前記第１のフレームの前記入力画像データに対してノイズ除去を行い、ノイズ除去データを生成し、前記ノイズ除去データを圧縮して圧縮データを生成し、前記圧縮データを伸長して伸長データを生成し、前記第２のフレームにおいて、前記第２のフレームの前記入力画像データと前記第１のフレームの前記伸長データとに基づいて、前記第２のフレームの前記入力画像データからノイズ除去を行い、前記ノイズ除去データを生成し、前記入力画像データが静止画像のデータであるか否かを検出し、前記入力画像データが静止画像のデータであると検出された場合には前記入力画像データを出力し、前記入力画像データが静止画像のデータでないと検出された場合には前記ノイズ除去データを出力する。

この構成によれば、入力画像データが静止画像のデータであるか否かを検出し、入力画像データが静止画像のデータである場合には入力画像データが出力され、入力画像データが静止画像のデータでない場合にはノイズ除去データが出力される。したがって、静止画像のデータについては、データ圧縮、データ伸長およびノイズ除去が行われず、入力されたデータがそのまま出力されるので、データ圧縮、データ伸長およびノイズ除去の処理によるデータの差分が生じることがない。これにより、当該データの差分の影響を抑制して、違和感のない静止画像を表示することができる。

また、上記の課題を解決するために、本開示の一形態における静止検出方法は、第１のフレームにおける入力画像データに含まれる輝度信号を累積し、第２のフレームにおける入力画像データに含まれる輝度信号を累積し、前記第１のフレームにおける輝度信号の累積値と前記第２のフレームにおける輝度信号の累積値とが同一である場合に、前記第２のフレームにおける前記入力画像データが静止していると判定する。

この構成によれば、第１のフレームとこれに続く第２のフレームの輝度信号の累積値を比較するので、比較した累積値が同一か否かを判定することにより、的確に静止画像を検出することができる。また、入力画像データに必ず含まれる輝度信号を用いて静止検出を行うので、簡便に静止画像を検出することができる。

本発明によれば、違和感のない静止画像を表示することができるノイズ除去装置、ノイズ除去方法および静止検出方法を提供することができる。

図１は、実施の形態１にかかるノイズ除去装置の構成を示すブロック図である。 図２は、実施の形態１にかかるノイズ除去装置の静止検出部の構成を示す図である。 図３Ａは、入力画像データが静止画像のデータであってノイズが含まれる場合の、連続するフレームの輝度信号のレベルを示す図である。 図３Ｂは、入力画像データが静止画像のデータであってノイズが含まれる場合の、実施の形態１にかかるノイズ除去装置による処理を行ったときの第Ｎフレームの表示画像の輝度信号のレベルを示す図である。 図４Ａは、入力画像データが動画像のデータの場合の、連続するフレームの輝度信号のレベルを示す図である。 図４Ｂは、入力画像データが動画像のデータの場合の、実施の形態１にかかるノイズ除去装置による処理を行ったときの第Ｎフレームの表示画像の輝度信号のレベルを示す図である。 図５Ａは、入力画像データを圧縮および伸長したときに圧縮および伸長処理の前後でデータに差分が生じる場合の、連続するフレームの輝度信号のレベルを示す図である。 図５Ｂは、入力画像データを圧縮および伸長したときに圧縮および伸長処理の前後でデータに差分が生じる場合の、実施の形態１にかかるノイズ除去装置による処理を行ったときの第Ｎフレームの表示画像の輝度信号のレベルを示す図である。 図５Ｃは、入力画像データを圧縮および伸長したときに圧縮および伸長処理の前後でデータに差分が生じる場合の、実施の形態１にかかるノイズ除去装置の出力である表示画像の輝度信号のレベルを示す図である。 図６は、実施の形態１に係るノイズ除去装置の処理手順を説明するためのフローチャートである。 図７は、実施の形態１にかかるノイズ除去装置の動作を示すタイミングチャートである。 図８は、実施の形態１の変形例にかかるノイズ除去装置の処理手順を示すフローチャートである。 図９は、実施の形態２にかかるノイズ除去装置の構成を示すブロック図である。 図１０は、実施の形態１にかかるノイズ除去装置を用いた表示装置の構成を示すブロック図である。 図１１は、実施の形態１にかかるノイズ除去装置を用いた録画再生装置の構成を示すブロック図である。

以下、適宜図面を参照しながら、本開示にかかるノイズ除去装置およびノイズ除去方法の実施の形態について詳細に説明する。なお、以下の実施の形態では、実質的に同一の構成に対して同一の符号を付し、説明を省略する場合がある。

また、以下で説明する実施の形態は、いずれも一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、以下において、同一の構成または変更のないものについては、同じ符号で説明する。

なお、添付図面及び以下の説明は当業者が本開示を十分に理解するためのものであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
［１−１．ノイズ除去装置の構成］
はじめに、実施の形態１にかかるノイズ除去装置の構成について説明する。図１は、実施の形態１にかかるノイズ除去装置の構成を示すブロック図である。図２は、本実施の形態にかかるノイズ除去装置１の静止検出部１６の構成を示す図である。

図１に示すように、本実施の形態に係るノイズ除去装置１は、ノイズ除去部１０と、動き検出部１１と、データ圧縮部１３と、データ伸長部１４と、静止検出部１６と、出力選択部２０とを備えている。また、ノイズ除去装置１は、ノイズ除去装置１の外部に設けられたフレームメモリ２に接続されている。ノイズ除去部１０と動き検出部１１とは、フレーム遅延を用いたノイズ除去に使用される巡回型のノイズリダクション（ＮＲ）回路である。

ノイズ除去部１０は、ノイズ除去装置１に入力された入力画像データＶｉからノイズを除去する処理を行う処理部である。入力画像データＶｉは、入力された画像を表示するための輝度情報を有する輝度信号を含んでいる。ノイズ除去部１０は、例えばコンピュータ、プロセッサまたは回路によって実現される。

ノイズ除去部１０は、フレーム遅延を利用してノイズ除去装置１に入力された入力画像データＶｉからノイズを除去する。すなわち、ノイズ除去部１０は、ノイズ除去装置１に入力された現フレームの入力画像データＶｉと、データ伸長部１４で伸長された１つ前のフレームの伸長データＶｆとを混合することにより、現フレームの出力画像データＶｏにおけるノイズの影響を低減させる。なお、ノイズ除去部１０および動き検出部１１により入力画像データＶｉからノイズを除去する処理、ＮＲ効果をＯＮにする、入力画像データＶｉからノイズを除去しない処理を、ＮＲ効果をＯＦＦにする、という。

より詳細には、ノイズ除去部１０は、ノイズ除去装置１に入力された入力画像データＶｉと、データ伸長部１４で伸長された伸長データＶｆとを所定の割合で混合したノイズ除去データＶｎを出力する。ここで、所定の割合とは、ノイズ除去データＶｎが、
Ｖｎ＝（１−Ｋ）×Ｖｉ＋Ｋ×Ｖｆ・・・（式１）
を満たすような係数Ｋ（０≦Ｋ≦１）のことをいう。例えば、Ｋ＝０．５の場合、Ｖｎ＝０．５×Ｖｉ＋０．５×Ｖｆとなり、入力画像データＶｉと伸長データＶｆとが同じ割合で混合されたデータが、ノイズ除去データＶｎとなる。

動き検出部１１は、データ伸長部１４で伸長された伸長データＶｆを、あらかじめ定められた動き判定閾値と比較し、入力画像が動きを有するものであるか否かを検出する検出部である。

一般的な動き検出では、フレーム間の信号レベルの差分に基づいて画像の動きを検出する。したがって、フレーム間の信号の差分が小さくなるほど入力された信号はノイズである確率が高く、フレーム間の信号の差分が大きくなるほど入力された信号は動きのある画像である確率が高くなる。よって、フレーム間の信号の差分が小さい場合はノイズが含まれていると判断され、その画像は静止画像であると判断される。

動き検出部１１は、動き検出の結果から係数Ｋの値を決定し、決定された係数Ｋの値をノイズ除去部１０に出力する。これにより、ノイズ除去部１０では、入力画像データＶｉと伸長データＶｆとを所定の割合で混合することにより、ノイズが除去された出力画像データＶｏを出力することができる。なお、動き検出部１１は、ノイズ除去部１０にノイズ除去の処理を行わせないこととしてもよい。

データ圧縮部１３は、フレームメモリ２のメモリ容量削減のためにフレームメモリ２の前段に配置された、入力映像信号を圧縮する処理を行う処理部である。データ圧縮部１３で圧縮された圧縮データは、フレームメモリ２に入力され、保持される。

データ伸長部１４は、データ圧縮部１３で圧縮されたデータを伸長する処理を行う処理部である。データ伸長部１４で伸長された伸長データは、ノイズ除去部１０および動き検出部１１に出力される。

静止検出部１６は、図２に示すように、輝度信号累積部１６ａと、比較部１６ｂと、決定部１６ｃとを有している。

輝度信号累積部１６ａは、例えばレジスタであり、入力画像データＶｉから１フレーム分の輝度信号を累積する信号累積部である。累積された１フレーム分の輝度信号は、フレームごとに保持される。

比較部１６ｂは、連続するフレームの輝度信号の累積値を比較する処理部である。比較部１６ｂは、後述するように、輝度信号累積部１６ａにおいて現フレームの輝度信号の累積が終了したときに、現フレームの輝度信号の累積値と１つ前のフレームの輝度信号の累積値とを比較する。比較部１６ｂは、現フレームの輝度信号の累積値と１つ前のフレームの輝度信号の累積値とが同一であれば、現フレームの画像は静止画像であると判定する。また、比較部１６ｂは、現フレームの輝度信号の累積値と１つ前のフレームの輝度信号の累積値とが同一でなければ、現フレームの画像は動画像であると判定する。

決定部１６ｃは、比較部１６ｂの判定結果に基づいて、入力画像データＶｉそのものとノイズ除去されたノイズ除去データＶｎのいずれのデータを出力画像データＶｏとして出力選択部２０に選択させるかを決定する処理部である。比較部１６ｂにおいて現フレームの画像が静止画像であると判定された場合には、決定部１６ｃは、出力選択部２０に入力画像データＶｉを出力させると決定する。また、比較部１６ｂにおいて現フレームの画像が動画像であると判定された場合には、決定部１６ｃは、出力選択部２０にノイズ除去データＶｎを出力させると決定する。決定部１６ｃは、決定した結果を出力選択部２０に出力する。

なお、静止検出部１６は、輝度信号以外の信号から静止画像か否かを検出してもよい。例えば、静止検出部１６において、輝度信号累積部１６ａに代えて、ＲＧＢ信号またはＹＵＶ信号など少なくとも輝度信号を用いた他の信号を累積する信号累積部を備え、当該他の信号を累積し、比較してもよい。

出力選択部２０は、静止検出部１６の検出結果に基づいて、ノイズ除去装置１から出力される出力画像データＶｏを選択する選択部である。出力選択部２０は、例えば、入力画像データＶｉが伝達される信号経路とノイズ除去データＶｎが伝達される信号経路とを切り替えて選択するスイッチである。

静止検出部１６において、入力画像データＶｉが静止画像であると検出された場合には、出力選択部２０は、静止検出部１６の決定部１６ｃからの出力結果に基づいて、入力された入力画像データＶｉがノイズ除去装置１から出力されるように信号経路を選択する。これにより、ノイズ除去装置１からは、ノイズが除去されていない入力画像データがそのまま出力される。

また、静止検出部１６で、入力画像データＶｉが静止画像でないと検出された場合には、出力選択部２０は、静止検出部１６の決定部１６ｃからの出力結果に基づいて、１つ前のフレームにおいてノイズ除去部１０でノイズが除去されたノイズ除去データＶｎがノイズ除去装置１から出力されるように信号経路を選択する。これにより、ノイズ除去装置１からは、入力画像データＶｉからノイズが除去されたノイズ除去データＶｎが出力される。

また、ノイズ除去装置１の外部に設けられたフレームメモリ２は、デジタル信号である入力映像信号を遅延させるためのメモリである。フレームメモリ２は、例えば汎用のＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを用いてもよい。また、フレームメモリ２は、ＦＩＦＯ（Ｆｉｒｓｔ−Ｉｎ−Ｆｉｒｓｔ−Ｏｕｔ機能をもつメモリ）であってもよい。なお、フレームメモリ２は、フィールド間での処理を実行する場合にはフィールドメモリと呼ばれる。フレームメモリ２を用いることにより、ノイズ除去装置１は、入力画像信号を１フレーム遅延させてノイズ除去を行う巡回型フィルタとして機能する。

フレームメモリ２の前段には、入力画像信号を圧縮するデータ圧縮部１３が接続され、後段には圧縮されたデータを伸長するデータ伸長部１４が接続されている。

ここで、（ａ）入力画像データが静止画像のデータであってノイズが含まれる場合、（ｂ）入力画像データが動画像のデータの場合、（ｃ）入力画像データを圧縮および伸長したときに圧縮および伸長処理の前後でデータに差分が生じる場合、の３つの場合について、ノイズ除去装置１における処理および表示される画像について説明する。

まず、（ａ）入力画像データが静止画像のデータであってノイズが含まれる場合について説明する。図３Ａは、入力画像データが静止画像のデータであってノイズが含まれる場合の、連続するフレームの輝度信号のレベルを示す図である。図３Ｂは、入力画像データが静止画像のデータであってノイズが含まれる場合の、実施の形態１にかかるノイズ除去装置による処理を行ったときの第Ｎフレームの表示画像の輝度信号のレベルを示す図である。

なお、図３Ａおよび図３Ｂに示す数値は輝度信号のレベルを示している。また、図３Ａおよび図３Ｂにおいて、（１）〜（５）は単位エリア（例えば１画素）を示している。つまり、図３Ａおよび図３Ｂでは、単位エリア（１）〜（５）のそれぞれにおける信号輝度のレベルを示している。また、第Ｎフレームは現フレーム、第Ｎ−１フレームは現フレームの１つ前のフレーム、第Ｎ＋１フレームは、現フレームの１つ後のフレームを示している。

図３Ａでは、第Ｎ−１フレーム、第Ｎフレーム、第Ｎ＋１フレームにおける単位エリア（１）〜（５）における信号輝度のレベルは、第Ｎフレームの単位エリア（３）を除いて全て１００である。したがって、フレームの連続性と各フレームの輝度信号のレベルの連続性とから、入力画像データは静止画像を示すデータであると予想される。この場合、図３Ａに示すように、第Ｎフレームの単位エリア（３）では輝度信号のレベルが１２０となっており、ノイズが含まれていることが予想できる。

そこで、ノイズ除去装置１では、（式１）においてＫ＝０．５としてノイズ除去処理が行われる。これにより、単位エリア（３）の第Ｎフレームでは、図３Ｂに示すように、ノイズ除去後の出力信号（ＮＲ出力）として、ノイズを含む輝度信号のレベル１２０とノイズを含まない輝度信号のレベル１００との平均の輝度信号のレベル１１０で画像が表示される。なお、その他の単位エリア（１）、（２）、（４）、（５）では、ノイズは含まれないため、輝度信号のレベル１００で画像が表示される。

次に、（ｂ）入力画像データが動画像のデータの場合について説明する。図４Ａは、入力画像データが動画像のデータの場合の、連続するフレームの輝度信号のレベルを示す図である。図４Ｂは、入力画像データが動画像のデータの場合の、実施の形態１にかかるノイズ除去装置による処理を行ったときの第Ｎフレームの表示画像の輝度信号のレベルを示す図である。

なお、図４Ａおよび図４Ｂにおいても、図４Ａおよび図４Ｂに示す数値は輝度信号のレベル、（１）〜（５）は単位エリア（例えば１画素）を示している。また、第Ｎフレームは現フレーム、第Ｎ−１フレームは現フレームの１つ前のフレーム、第Ｎ＋１フレームは、現フレームの１つ後のフレームを示している。

入力画像データは動画像のデータであり、図４Ａに示すように、単位エリア（４）では、輝度信号のレベルは第Ｎ−１フレームで１００、第Ｎフレームで１２０と変化している。また、単位エリア（５）では、輝度信号のレベルは第Ｎ−１フレームで１００、第Ｎフレームで１４０と変化している。

ここで、単位エリア（５）では、第Ｎ−１フレームと第Ｎフレームとで輝度信号のレベルの差分が４０と大きいので動画像であると判断される。したがって、ノイズ除去装置１では、（式１）においてＫ＝０として処理が行われる。これにより、図４Ｂに示すように、第Ｎフレームの単位エリア（５）では、処理後の入力画像の輝度信号（ＮＲ出力）のレベルとして、レベル１４０で画像が表示される。

また、単位エリア（４）では、第Ｎ−１フレームと第Ｎフレームとで輝度信号のレベルの差分が２０と小さいので、第Ｎフレームにはノイズが含まれていると判断される。したがって、（式１）においてＫ＝０．５としてノイズ除去処理が行われる。これにより、図４Ｂに示すように、第Ｎフレームの単位エリア（４）では、ノイズ除去後の出力信号（ＮＲ出力）として、ノイズを含む輝度信号のレベル１２０とノイズを含まない輝度信号のレベル１００との平均の輝度信号のレベル１１０で画像が表示される。

さらに、（ｃ）入力画像データを圧縮および伸長したときに圧縮および伸長処理の前後でデータに差分が生じる場合について説明する。図５Ａは、入力画像データを圧縮および伸長したときに圧縮および伸長処理の前後でデータに差分が生じる場合の、連続するフレームの輝度信号の入力時のレベルを示す図である。図５Ｂは、入力画像データを圧縮および伸長したときに圧縮および伸長処理の前後でデータに差分が生じる場合（差分により、本来レベル１００である、第Ｎフレームの単位エリア（３）、（４）のレベルが１２０となっている場合）の、実施の形態１にかかるノイズ除去装置のノイズ除去部の出力である第Ｎフレームの表示画像の輝度信号のレベル（〇印）を示す図である。図５Ｃは、図５Ｂと同条件の場合のノイズ除去装置の出力である表示画像の輝度信号のレベルを示す図である。

なお、図５Ａ〜図５Ｃにおいても、図５Ａ〜図５Ｃに示す数値は輝度信号のレベル、（１）〜（５）は単位エリア（例えば１画素）を示している。また、第Ｎフレームは現フレーム、第Ｎ−１フレームは現フレームの１つ前のフレーム、第Ｎ＋１フレームは、現フレームの１つ後のフレームを示している。

入力画像データは図５Ａに示す状態であったが、図５Ｂで示すように，入力画像データの圧縮および伸長を経て、単位エリア（３）および（４）では、輝度信号のレベルは第Ｎ−１フレームで１００で変化がないものの、第Ｎフレームおよび第Ｎ＋１フレームで１２０と変化している。したがって、第Ｎ−１フレーム、第Ｎフレーム、第Ｎ＋１フレームの画像は、静止画像のデータであるが圧縮および伸長処理の前後でデータに差分が生じているものであると予想される。

図５Ｂでは、単位エリア（３）および（４）では、第Ｎ−１フレームと第Ｎフレームとで輝度信号のレベルの差分が２０と小さいので、（式１）においてＫ＝０．５として処理が行われる。これにより、図５Ｂに示すように、第Ｎフレームの単位エリア（４）では、ノイズ除去部の出力信号（〇印）として、ノイズを含む輝度信号のレベル１２０とノイズを含まない輝度信号のレベル１００との平均の輝度信号のレベル１１０で入力画像データを圧縮および伸長したときに圧縮および伸長処理の前後でデータの差分画像が生成される。

しかし、第Ｎ−１フレーム、第Ｎフレーム、第Ｎ＋１フレームにおいて入力される輝度信号の累積値は５２０と同一であることにより、静止検出部１６は、入力画像データを静止している画像と判定する。これにより、ノイズ除去装置１からは、ノイズ除去部の出力信号（〇印）でなく、入力画像データを出力画像データ(ＮＲ出力)とし、単位エリア（３）および（４）において輝度信号レベル１００が出力される。

したがって、静止している映像が入力された場合において、圧縮および伸長処理の前後でデータに差分が生じる場合であっても、その差分を小さくし、表示画像に表れる影響を小さくすることができる。

なお、単位エリア（１）、（２）、（５）では、第Ｎ−１フレーム、第Ｎフレームおよび第Ｎ＋１フレームにおいて輝度信号レベルは変化しないため、単位エリア（１）および（２）では輝度信号のレベル１００、単位エリア（５）では輝度信号のレベル１２０が出力される。

本実施の形態に係るノイズ除去装置１によると、圧縮および伸長処理の前後でデータに差分が生じる場合であっても、上述したように、当該データの差分の影響を抑制して、違和感のない静止画像を表示することができる。

［１−２．ノイズ除去装置の動作］
以下、ノイズ除去装置１の動作について説明する。図６は、本実施の形態に係るノイズ除去装置１の処理手順を説明するためのフローチャートである。

図６に示すように、ノイズ除去装置１において、静止検出部１６の輝度信号累積部１６ａは、有効映像期間の入力画像データの輝度信号を累積する（ステップＳ１０）。有効映像期間は、１フレームの画像信号のデータが入力される期間である。例えば、後述する図７に示すように、第Ｎフレームの有効映像期間は時刻ｔ１からｔ２まで、第Ｎ＋１フレームの有効映像期間は時刻ｔ３から時刻ｔ４までである。ノイズ除去装置１は、有効映像期間の開始時から輝度信号の累積を開始し、有効映像期間が終了すると、輝度信号の累積を終了する（ステップＳ１１）。有効映像期間が終了していない場合には、輝度信号の累積を継続する（ステップＳ１１においてＮＯ）。

１フレーム分の有効映像期間が終了すると（ステップＳ１１においてＹＥＳ）、輝度信号累積部１６ａにおいて累積された輝度信号の累積値は、比較部１６ｂにおいて、現フレームの１つ前のフレームにおける累積された輝度信号の累積値と比較される（ステップＳ１２）。そして、現フレームの累積値と１フレーム前の累積値とが一致する場合（ステップＳ１３においてＹＥＳ）、決定部１６ｃはＮＲ効果をＯＦＦにする決定を行う（ステップＳ１４）。すなわち、決定部１６ｃは、出力選択部２０に入力画像データＶｉを出力するように選択させる。また、現フレームの累積値と１フレーム前の累積値とが一致しない場合（ステップＳ１３においてＮＯ）、決定部１６ｃはＮＲ効果をＯＮにする決定を行う（ステップＳ１５）。すなわち、決定部１６ｃは、出力選択部２０にノイズ除去データＶｎを出力するように選択させる。

図７は、本実施の形態の変形例にかかるノイズ除去装置１の動作を示すタイミングチャートである。図７に示すように、時刻ｔ１において第Ｎフレームの有効映像期間が開始すると、ノイズ除去装置１は、第Ｎフレームにおける輝度信号の累積を開始する。そして、ノイズ除去装置１は、時刻ｔ２において、第Ｎフレームにおける輝度信号の累積を終了する。

次に、時刻ｔ３において第Ｎ＋１フレームの有効映像期間が開始すると、ノイズ除去装置１は、第Ｎ＋１フレームにおける輝度信号の累積を開始する。そして、ノイズ除去装置１は、時刻ｔ４において、第Ｎ＋１フレームにおける輝度信号の累積を終了する。また、時刻ｔ３から時刻ｔ４までの間は、第Ｎフレームにおいて累積された輝度信号の累積値が保持される。そして、時刻ｔ４において第Ｎ＋１フレームにおける輝度信号の累積が終了すると、ノイズ除去装置１は、第Ｎフレームにおける輝度信号の累積値と第Ｎ＋１フレームにおける輝度信号の累積値とを比較する。

そして、これらの累積値の差分が０またはあらかじめ定められた所定の閾値よりも小さい場合には、入力画像データは静止画像のデータであると判定される。この場合、ノイズ除去装置１は、出力画像データＶｏとして入力画像データＶｉを出力する。また、累積値の差分が所定の閾値よりも大きい場合には、入力画像データは動画像のデータであると判定される。この場合、ノイズ除去装置１は、出力画像データＶｏとしてノイズ除去データＶｎを出力する。

なお、図示を省略するが、時刻ｔ２からｔ３の間では、第Ｎ−１フレームで累積された輝度信号の累積値と、第Ｎフレームで累積された輝度信号の累積値とが比較される。

［１−３．効果等］
以上のような構成のノイズ除去装置１によると、入力画像データが静止画像のデータであるか否かを検出し、入力画像データが静止画像のデータである場合には入力画像データが出力され、入力画像データが静止画像のデータでない場合にはノイズ除去データが出力される。したがって、静止画像のデータについては、データ圧縮、データ伸長およびノイズ除去が行われず、入力されたデータがそのまま出力されるので、データ圧縮、データ伸長およびノイズ除去の処理によるデータの差分が生じることがない。これにより、当該データの差分の影響を抑制して、違和感のない静止画像を表示することができる。

（実施の形態１の変形例）
図８は、実施の形態１の変形例にかかるノイズ除去装置１の処理手順を示すフローチャートである。

上述した実施の形態１にかかるノイズ除去装置１では、ノイズ除去部１０は、決定部１６ｃの判定に基づいてＮＲ効果をＯＦＦまたはＯＮにすることとしたが、ノイズ除去部１０は、決定部１６ｃの判定に基づいてＮＲ効果を下げるまたは上げる制御を行ってもよい。

つまり、図８に示すように、決定部１６ｃにおいて、現フレームの輝度信号の累積値が１フレーム前の輝度信号の累積値と一致していると判定された場合には（ステップＳ１３においてＹＥＳ）、ノイズ除去部１０は、ＮＲ効果を下げる制御を行う（ステップＳ２４）。例えば、ノイズ除去部１０は、上述したＫの値を０．５から０．３へと減少させる。これにより、入力画像データＶｉとノイズ除去データＶｎとの混合割合を変更してＮＲ効果を下げた画像を出力することができる。

また、決定部１６ｃにおいて、現フレームの輝度信号の累積値が１フレーム前の輝度信号の累積値と一致していないと判定された場合には（ステップＳ１３においてＮＯ）、ノイズ除去部１０は、ＮＲ効果を上げる制御を行う（ステップＳ２５）。例えば、ノイズ除去部１０は、上述したＫの値を０．５から０．７へと増加させる。これにより、入力画像データＶｉとノイズ除去データＶｎとの混合割合を変更してＮＲ効果を上げた画像を出力することができる。

（実施の形態２）
［２−１．ノイズ除去装置の構成および動作］
次に、実施の形態２にかかるノイズ除去システムおよびノイズ除去装置１００について説明する。本実施の形態にかかるノイズ除去装置１００は、実施の形態１にかかるノイズ除去装置１と比較して、ノイズ除去部１１０に入力される信号データを切り替える入力選択部１２０を備えている点が異なっている。

図９は、本実施の形態にかかるノイズ除去装置１００の構成を示すブロック図である。

図９に示すように、ノイズ除去装置１００は、ノイズ除去部１１０と、動き検出部１１と、データ圧縮部１３と、データ伸長部１４と、静止検出部１６と、入力選択部１２０とを備えている。また、ノイズ除去装置１００は、ノイズ除去装置１００の外部に設けられたフレームメモリ２に接続されている。ノイズ除去部１１０と、動き検出部１１と、データ圧縮部１３と、データ伸長部１４と、静止検出部１６の構成は実施の形態１に示したノイズ除去部１０と、動き検出部１１と、データ圧縮部１３と、データ伸長部１４と、静止検出部１６と同様であるため、詳細な説明は省略する。ノイズ除去部１１０と動き検出部１１とは、フレーム遅延を用いたノイズ除去に使用される構成である。

また、ノイズ除去装置１００は、実施の形態１に示したノイズ除去装置１が備えていた出力選択部２０を備えていない。さらに、ノイズ除去装置１００において、静止検出部１６から出力された出力データは、入力選択部１２０に入力される。

入力選択部１２０は、静止検出部１６の検出結果に基づいて、ノイズ除去部１１０に入力される信号データを選択する選択部である。入力選択部１２０は、例えば、入力画像データＶｉが伝達される信号経路とノイズ除去データＶｎが伝達される信号経路とを切り替えてノイズ除去部１１０に接続させるスイッチである。

具体的には、静止検出部１６において、入力画像データＶｉが静止画像であると検出された場合には、ノイズ除去部１１０に入力画像データＶｉが入力されるように、経路を切り替える。

静止検出部１６において、入力画像データＶｉが静止画像であると検出された場合には、入力選択部１２０は、静止検出部１６の決定部１６ｃからの出力結果に基づいて、ノイズ除去部１１０に入力画像データＶｉが入力されるように信号経路を選択する。これにより、ノイズ除去部１１０には、入力画像データがそのまま入力される。

また、静止検出部１６で、入力画像データＶｉが静止画像でないと検出された場合には、入力選択部１２０は、静止検出部１６の決定部１６ｃからの出力結果に基づいて、１つ前のフレームにおいてノイズ除去部１０でノイズが除去されたノイズ除去データＶｎがノイズ除去部１１０に入力されるように信号経路を選択する。これにより、ノイズ除去部１１０には、１つ前のフレームのノイズ除去データＶｎが現フレームのデータとして入力される。

ノイズ除去部１１０に入力された入力画像データＶｉまたはノイズ除去データＶｎは、ノイズ除去部１１０において（式１）によりノイズ除去の処理が行われ、ノイズ除去データＶｎとして出力される。このノイズ除去データＶｎは、出力画像データＶｏとしてノイズ除去装置１００から出力される。

ノイズ除去装置１００における処理手順は、実施の形態１および実施の形態１の変形例に示したノイズ除去装置１における処理手順と同様である。

［２−２．効果等］
以上のような構成のノイズ除去装置１００によると、入力画像データが静止画像のデータであるか否かを検出し、入力画像データが静止画像のデータである場合には入力画像データからノイズが除去されて出力され、入力画像データが静止画像のデータでない場合には伸長データからノイズが除去されて出力される。したがって、静止画像のデータについては、データ圧縮およびデータ伸長が行われないので、データ圧縮およびデータ伸長の処理によりデータの差分が生じるのを抑制することができる。これにより、違和感のない静止画像を表示することができる。

（その他の実施の形態）
以上、本開示の態様に係るノイズ除去装置について、実施の形態等に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。例えば、本開示において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本開示の実施の形態としてもよい。また、上記実施の形態に対して本開示の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本開示に含まれる。

例えば、上述した実施の形態に示したノイズ除去装置１は、図１０および図１１に示すように、表示装置または録画再生装置などの機器に備えられてもよい。なお、実施の形態１の変形例に示したノイズ除去装置１、実施の形態２に示したノイズ除去装置１００についても同様である。

図１０は、実施の形態１にかかるノイズ除去装置１を用いた表示装置の構成を示すブロック図である。図１０に示す表示装置２００は、ＨＤＭＩ（登録商標）２０１と、チューナ２０２と、切替部２０５と、ノイズ除去装置１と、解像度変換部２１０と、画質調整部２２０と、表示タイミング制御部２３０と、モニター２４０とを備えている。

ＨＤＭＩ（登録商標）２０１には外部映像信号が入力され、チューナ２０２にはアンテナ入力信号が入力される。切替部２０５は、入力された外部映像信号またはアンテナ入力信号がノイズ除去装置１に入力されるように切り替えを行う。

ノイズ除去装置１に入力された外部映像信号またはアンテナ入力信号には、上述したノイズ除去処理が行われる。さらに、ノイズ除去処理が行われたノイズ除去データは、解像度変換部２１０および画質調整部２２０において、それぞれ解像度と画質の調整が行われる。さらに、解像度と画質の調整が行われたノイズ除去データは、表示タイミング制御部２３０により表示タイミングが制御され、モニター２４０に表示される。

これにより、表示装置２００は、モニター２４０に、違和感のない静止画像を表示することができる。

図１１は、実施の形態１にかかるノイズ除去装置１を用いた録画再生装置の構成を示すブロック図である。図１１に示す録画再生装置３００は、ＨＤＭＩ（登録商標）３０１と、チューナ３０２と、ディスク再生部３０３と、切替部３０５と、ノイズ除去装置１と、解像度変換部３１０と、画質調整部３２０とを備えている。

ＨＤＭＩ（登録商標）３０１には外部映像信号が入力され、チューナ３０２にはアンテナ入力信号が入力される。また、ディスク再生部３０３には、ＢＤ、ＤＶＤ、ＳＤ等の録画媒体から映像信号が入力される。切替部２０５は、入力された外部映像信号、アンテナ入力信号または映像信号がノイズ除去装置１に入力されるように切り替えを行う。

ノイズ除去装置１に入力された外部映像信号、アンテナ入力信号または映像信号には、上述したノイズ除去処理が行われる。さらに、ノイズ除去処理が行われたノイズ除去データは、解像度変換部２１０および画質調整部２２０において、それぞれ解像度と画質の調整が行われ、録画再生装置３００から外部の表示装置などの他の装置へ出力される。

これにより、録画再生装置３００は、外部の表示装置等に違和感のない静止画像を表示することができる。

以上、本開示にかかるノイズ除去装置、ノイズ除去方法および静止検出方法について実施の形態に基づいて説明したが、本開示はこの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。

例えば、静止検出部は、１フレーム分の輝度信号から静止画像を検出するとしたが、輝度信号以外の信号から静止画像か否かを検出してもよい。例えば、輝度信号累積部に代えて、ＲＧＢ信号またはＹＵＶ信号など少なくとも輝度信号を用いた他の信号を累積する信号累積部を備え、当該他の信号を累積し、比較してもよい。

また、動き検出部は、係数Ｋの値を変更してノイズ除去部にノイズ除去の処理を行わせてもよいし、ノイズ除去部にノイズ除去の処理を行わせないこととしてもよい。

なお、本開示において、ノイズ除去装置における各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ、またはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。また、集積回路であるＬＳＩ、専用回路、汎用プロセッサ、ＦＰＧＡ、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィグアブル・プロセッサで実現してもよい。

本開示にかかるノイズ除去装置は、動画像および静止画像の双方を表示させる表示装置、録画再生装置等に応用することができる。

１、１００ ノイズ除去装置
２ フレームメモリ
１０、１１０ ノイズ除去部
１１ 動き検出部
１３ データ圧縮部
１４ データ伸長部
１６ 静止検出部
１６ａ 輝度信号累積部（信号累積部）
１６ｂ 比較部
１６ｃ 決定部
２０ 出力選択部
１２０ 入力選択部
２００ 表示装置
２０１、３０１ ＨＤＭＩ（登録商標）
２０２、３０２ チューナ
２０５、３０５ 切替部
２１０、３１０ 解像度変換部
２２０、３２０ 画質調整部
２３０ 表示タイミング制御部
２４０ モニター
３００ 録画再生装置
３０３ ディスク再生部

Claims (7)

1. 入力画像データに対してノイズ除去を行うノイズ除去装置であって、
   フレームごとの前記入力画像データに対してノイズ除去を行い、ノイズ除去データを生成するノイズ除去部と、
   前記ノイズ除去データを圧縮して圧縮データを生成するデータ圧縮部と、
   前記圧縮データを伸長して伸長データを生成するデータ伸長部と、
   前記入力画像データが静止画像のデータであるか否かを検出する静止検出部と、
   前記静止検出部の検出結果に基づいて、出力画像データとして前記入力画像データまたは前記ノイズ除去データを選択する出力選択部と、を備え、
   第１のフレームと、前記第１のフレームに続く第２のフレームとがあるときに、
   前記第２のフレームにおいて、前記ノイズ除去部は、前記第２のフレームの前記入力画像データと前記第１のフレームの前記伸長データとに基づいて、前記第２のフレームの前記入力画像データからノイズ除去を行い、前記ノイズ除去データを生成し、
   前記第２のフレームにおいて、前記出力選択部は、
   前記入力画像データが静止画像のデータであると検出された場合には前記入力画像データを前記出力画像データとして選択し、
   前記入力画像データが静止画像のデータでないと検出された場合には前記ノイズ除去データを前記出力画像データとして選択する、
   ノイズ除去装置。
2. 前記静止検出部は、
   前記フレームごとに、前記入力画像データに含まれる輝度信号を累積する信号累積部と、
   前記第１のフレームにおける前記輝度信号の累積値と、前記第２のフレームにおける前記輝度信号の累積値とを比較する比較部と、
   前記比較部における比較結果に基づいて、前記入力画像データまたは前記ノイズ除去データのいずれかを前記出力画像データとして決定する決定部とを有する、
   請求項１に記載のノイズ除去装置。
3. 入力画像データに対してノイズ除去を行うノイズ除去装置であって、
   フレームごとの前記入力画像データに対してノイズ除去を行い、ノイズ除去データを生成するノイズ除去部と、
   前記ノイズ除去データを圧縮して圧縮データを生成するデータ圧縮部と、
   前記圧縮データを伸長して伸長データを生成するデータ伸長部と、
   前記入力画像データが静止画像のデータであるか否かを検出する静止検出部と、
   前記静止検出部の検出結果に基づいて、前記ノイズ除去部に入力されるデータとして前記入力画像データまたは前記伸長データを選択する入力選択部と、を備え、
   第１のフレームと、前記第１のフレームに続く第２のフレームとがあるときに、
   前記第２のフレームにおいて、前記ノイズ除去部は、前記第２のフレームの前記入力画像データと前記第１のフレームの前記伸長データとに基づいて、前記第２のフレームの前記入力画像データからノイズ除去を行い、前記ノイズ除去データを生成し、
   前記第２のフレームにおいて、前記入力選択部は、
   前記入力画像データが静止画像のデータであると検出された場合には前記入力画像データを前記ノイズ除去部に入力されるデータとして選択し、
   前記入力画像データが静止画像のデータでないと検出された場合には前記伸長データを前記ノイズ除去部に入力されるデータとして選択する、
   ノイズ除去装置。
4. 前記静止検出部は、
   前記フレームごとに、前記入力画像データに含まれる輝度信号を累積する信号累積部と、
   前記第１のフレームにおける前記輝度信号の累積値と、前記第２のフレームにおける前記輝度信号の累積値とを比較する比較部と、
   前記比較部における比較結果に基づいて、前記入力画像データまたは前記伸長データのいずれかを前記ノイズ除去部に入力されるデータとして決定する決定部とを有する、
   請求項３に記載のノイズ除去装置。
5. 前記比較部は、前記第１のフレームにおける前記輝度信号の累積値と前記第２のフレームにおける前記輝度信号の累積値とが同一である場合に、前記第２のフレームにおける前記入力画像データが静止画像のデータであると判定する、
   請求項２または４に記載のノイズ除去装置。
6. 前記ノイズ除去部は、前記第２のフレームの前記入力画像データと前記第１のフレームの前記伸長データとを所定の割合で混合することにより、前記第２のフレームの前記入力画像データからノイズ除去を行う、
   請求項１〜５のいずれか１項に記載のノイズ除去装置。
7. 入力画像データに対してノイズ除去を行うノイズ除去方法であって、
   第１のフレームと、前記第１のフレームに続く第２のフレームとがあるときに、
   前記第１のフレームの前記入力画像データに対してノイズ除去を行い、ノイズ除去データを生成し、
   前記ノイズ除去データを圧縮して圧縮データを生成し、
   前記圧縮データを伸長して伸長データを生成し、
   前記第２のフレームにおいて、
   前記第２のフレームの前記入力画像データと前記第１のフレームの前記伸長データとに基づいて、前記第２のフレームの前記入力画像データからノイズ除去を行い、前記ノイズ除去データを生成し、
   前記入力画像データが静止画像のデータであるか否かを検出し、
   前記入力画像データが静止画像のデータであると検出された場合には前記入力画像デー
   タを出力し、
   前記入力画像データが静止画像のデータでないと検出された場合には前記ノイズ除去データを出力する、
   ノイズ除去方法。

Images