JP7767374B2 - 画像処理装置 - Google Patents

Description

本開示は、画像処理装置、画像処理装置の処理方法及びプログラムに関する。

近年、カメラ等で撮影した画像を、ニューラルネットワークを用いて高画質化する装置が提案されている。ニューラルネットワークを用いることで、ノイズ低減や超解像等の高画質化処理を従来よりも高性能かつ高速に実行することが可能となる。

特に、動画の場合は、高画質化処理をリアルタイムで実行できる性能が求められている。動画のリアルタイム性能を実現する方法として、再帰的ニューラルネットワーク（ｒｅｃｕｒｒｅｎｔ ｎｅｗｒａｌ ｎｅｔｗｏｒｋ、以下ＲＮＮと称す）が広く用いられている。

ＲＮＮは、ＲＮＮからの出力結果、即ち履歴情報を再帰的にＲＮＮに入力する構造を特徴とする。この特徴により、単一のニューラルネットワークで任意の長さの時系列データに対する処理を行うことが可能となる。

また、ＲＮＮは、再帰的な構造を持つので、時系列分のニューラルネットワークを用意する必要がなくなり、ニューラルネットワークのサイズ低減が可能となる。これにより、処理の高速化、即ちリアルタイム処理が実現できる。

特許文献１には、ＲＮＮを用いることで、レイテンシーが小さくかつ低コストで実現できる画像処理装置が開示されている。

特許文献２には、処理が停止してから再開する際に、履歴生成処理にて得られた履歴を取り出し、取り出された履歴中の入力情報が未だに有効か無効かを判定し、無効であれば履歴中の入力情報を使わない装置が開示されている。

特開２０２１－１４９３３３号公報 特開２００６－３７４３号公報

ＲＮＮのようなニューラルネットワークは、高画質化のような複雑な処理を高性能かつ高速に実行できる一方で、演算量が多くなる傾向がある。演算量が多くなると、装置の消費電力も多くなる。

近年、車両、船舶、航空機、ドローン等の移動体に、カメラ等で撮影した画像を処理するためのエッジデバイスが搭載されている。このようなエッジデバイスは、バッテリーや発電機等の燃料を節約するため、省電力化が求められている。

省電力化を実現するには、必要のないときは装置の機能を一時的にオフにし、必要な時に即座に装置の機能をオンにできることが求められる。

ここで、処理にＲＮＮを用いる場合、ＲＮＮは前回の出力結果、即ち履歴情報を再帰的にＲＮＮに入力する構造を持つ。従って、ＲＮＮの性能を十分に発揮するには、ＲＮＮに継続的に画像等を入力する必要がある。

しかし、省電力等の理由でＲＮＮの動作を停止させると、履歴情報が古いままとなるため、ＲＮＮの実行再開時にＲＮＮの性能を十分に発揮できないという課題が生じる。

特に、監視カメラに多い低フレームレートでの動画では、処理間隔が長くなるため、ＲＮＮの実行再開時に性能を発揮できない時間が長くなる。これにより、例えば、画面のちらつきや、高速で移動する監視対象（走っている人や車両等）の見逃しが発生し得る。

一方で、画面のちらつきや監視対象の見逃しを避けるためにＲＮＮの処理を常時稼働させていると、消費電力が常に大きい状態になるので、バッテリーや発電機等の環境で長時間使うことができなくなる。

特許文献２の方法では、履歴情報を消去することはできても、処理の再開時に有効な履歴情報が無い状態となるため、処理の再開後に即座に性能を発揮できないという課題がある。

本開示の目的は、情報処理部が稼働状態であり、かつ、履歴情報が無効である場合に、適切な処理を行えるようにすることである。

画像処理装置は、情報処理部と、出力部とを有し、前記情報処理部が稼働状態であり、かつ、履歴情報保持部に保持されている履歴情報が有効である場合には、前記情報処理部は、入力画像及び前記履歴情報保持部に保持されている履歴情報を用いて情報処理を実行し、情報処理済み画像を生成し、前記履歴情報保持部に保持されている履歴情報を更新し、前記出力部は、前記情報処理済み画像を出力し、前記情報処理部が稼働状態であり、かつ、履歴情報保持部に保持されている履歴情報が無効である場合には、前記情報処理部は、入力画像を基に履歴情報を再生成し、入力画像及び前記再生成された履歴情報を用いて情報処理を実行し、情報処理済み画像を生成し、前記履歴情報保持部に保持されている履歴情報を更新し、前記出力部は、前記情報処理済み画像を出力し、前記情報処理部が停止状態である場合には、前記出力部は、入力画像を出力する。

本開示によれば、情報処理部が稼働状態であり、かつ、履歴情報が無効である場合に、適切な処理を行うことができる。

画像処理装置のハードウェア構成の一例を示す図である。 画像処理装置の機能構成の一例を示す図である。 画像処理装置の処理の流れの一例を示す図である。 情報処理部の処理の一例を示す図である。 ニューラルネットワークを使用した場合の一例を示す図である。 画像処理装置の処理の流れの別の一例を示す図である。 ニューラルネットワークを使用した場合の一例を示す図である。 ユーザーインターフェースの一例を示す図である。

以下、好ましい実施形態を、図面に基づき詳細に説明する。なお、以下の実施形態における構成は一例にすぎず、これらの構成に限定されるものではない。

図１は、本実施形態に係る画像処理装置１０のハードウェア構成例を示す図である。画像処理装置１０は、ハードウェア構成として、制御装置１１、記憶装置１２、演算装置１３、入力装置１４、出力装置１５、及びＩ／Ｆ装置１６を有している。

制御装置１１は、画像処理装置１０の全体を制御する。記憶装置１２は、制御装置１１の動作に必要なプログラム及びデータを保持する。演算装置１３は、制御装置１１からの制御に基づき、必要な演算処理を実行する。

入力装置１４は、ヒューマンインターフェースデバイス等であり、ユーザーの操作を画像処理装置１０に入力する。出力装置１５は、ディスプレイ等であり、画像処理装置１０の処理結果等をユーザーに提示する。

Ｉ／Ｆ装置１６は、ユニバーサルシリアルバス、イーサネット、光ケーブル等の有線インターフェース、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ等の無線インターフェースである。また、Ｉ／Ｆ装置１６は、カメラ等を接続して撮影画像を画像処理装置１０に入力する、画像処理装置１０で得られた処理結果を外部に送信する、画像処理装置１０の動作に必要なプログラムやデータ等を画像処理装置１０に入力する等の機能を有する。カメラは、ビデオカメラ又は防犯カメラ等である。

図２は、本実施形態に係る画像処理装置１０の機能構成例を示す図である。画像処理装置１０は、機能構成として、画像取得部２０１、入力画像保持部２０２、履歴情報保持部２０３、情報処理部２０４、及び出力部２０５を有している。

画像取得部２０１は、画像処理装置１０による画像処理の対象となる画像を、入力画像として取得する。

入力画像保持部２０２は、画像取得部２０１が取得した入力画像を保持する。履歴情報保持部２０３は、履歴情報を保持する。

情報処理部２０４は、入力画像保持部２０２が保持している入力画像、及び、履歴情報保持部２０３が保持している履歴情報を用いて、情報処理を実行し、情報処理済み画像、及び更新された履歴情報を生成する。

情報処理部２０４の実行前に、履歴情報保持部２０３が保持している履歴情報が無効であると判定された場合には、履歴情報保持部２０３は、入力画像保持部２０２が保持している入力画像から履歴情報を再生成し、新たな履歴情報として保持する。

ここで、再生成とは、履歴情報保持部２０３が保持している履歴情報が無効であると判定された時点で、履歴情報保持部２０３が保持している無効な履歴情報を破棄し、入力画像保持部２０２が保持している入力画像から、履歴情報のみを再生成することを指す。

履歴情報保持部２０３は、情報処理部２０４が生成した更新された履歴情報を受け取り、新たな履歴情報として保持する。

出力部２０５は、情報処理部２０４が稼働状態である場合には、情報処理部２０４が生成した情報処理済み画像を出力し、情報処理部２０４が停止状態である場合には、入力画像保持部２０２が保持している入力画像を出力する。

図３（ａ）は、本実施形態に係る画像処理装置１０の処理方法の例を示すフローチャートである。

ステップＳ１０１では、画像取得部２０１は、画像処理装置１０による画像処理の対象となる画像を、入力画像として取得する。ここで、入力画像とは、例えば、ストリーミング、動画ファイル、又はフレーム毎に保存された一連の画像ファイル、メディアに保存された動画又は画像等である。

画像取得部２０１は、ＣＭＯＳセンサ、ＣＣＤセンサ、ＳＰＡＤセンサ等の固体撮像素子、あるいはこれらの固体撮像素子を搭載するカメラ等から入力画像を取得してもよいし、ハードディスクやＳＳＤ等の記憶装置及び記録メディア等から入力画像を取得してもよい。入力画像を取得する素子、カメラ、記憶装置、記録メディア等は、１台だけでもよいし、複数台あってもよい。

ステップＳ１０２では、入力画像保持部２０２は、画像取得部２０１が取得した入力画像を保持する。入力画像保持部２０２は、最新の画像を１枚だけ保持してもよいし、時系列順に複数枚の画像を保持してもよい。

また、入力画像保持部２０２は、保持できる画像の枚数に上限を設けて、上限を越えた場合には、古い画像から順に破棄するようにしてもよい。情報処理部２０４が情報処理を実行する際に複数枚の画像を必要とする場合には、上記の上限を、情報処理部２０４が必要とする画像枚数としてもよい。

また、上記の上限を、画像取得部２０１が取得した入力画像の入力画像保持部２０２への書き込みと、情報処理部２０４による入力画像の入力画像保持部２０２からの読み取りが競合しないよう、余裕を持たせた画像枚数に設定してもよい。

例えば、画像取得部２０１が取得した入力画像の入力画像保持部２０２への書き込みが１枚であり、情報処理部２０４が情報処理を実行する際に３枚の画像を必要とする場合には、入力画像保持部２０２は、少なくとも４枚の画像を保持するようにすればよい。

さらに、後続の処理が遅れた際に、処理落ちを防ぐ目的で、保持できる画像の枚数の上限を追加で増やしてもよい。例えば、動画像において２０フレームまでの処理落ちを許容する場合には、入力画像保持部２０２は、追加で２０フレーム分を保存するようにしてもよい。

入力画像保持部２０２は、ステップＳ１０７で履歴情報を再生成する際に必要な分だけ追加で画像を保持してもよい。例えば、入力画像保持部２０２は、ステップＳ１０７で履歴情報を再生成する際に連続した３フレーム分の画像が必要であれば、追加で３フレーム分を保存するようにしてもよい。その場合、入力画像保持部２０２には、少なくとも情報処理部２０４の履歴情報の再生成に必要な数の入力画像が保持されている。

ステップＳ１０５からＳ１０８までの処理にレイテンシーがある場合には、入力画像保持部２０２は、レイテンシーの分だけ追加で画像を保持してもよい。例えば、レイテンシーが３フレーム分である場合は、入力画像保持部２０２は、３フレーム前の画像を１枚だけ保持しておいてもよいし、追加で３フレーム分を保存するようにしてもよい。その場合、入力画像保持部２０２には、少なくとも情報処理部２０４のレイテンシーの数の入力画像が保持されている。

入力画像保持部２０２は、画像取得部２０１が取得した入力画像に加えて、その入力画像を一意に識別するための識別子を同時に保存することが好ましい。ここで、識別子としては、例えば、撮影時刻等が挙げられる。

識別子は、入力画像の時系列的な順序を表すものであることがより好ましい。そのような識別子の例として、フレーム番号や通し番号等が挙げられる。ここで、フレーム番号及び通し番号は、例えば、固体撮像素子を搭載するカメラ、ハードディスクやＳＳＤ等の記憶装置、及び記録メディア等から取得してもよいし、入力画像保持部２０２の内部で、時刻を付与したり、一意な番号を生成したりしてもよい。

ステップＳ１０３では、画像処理装置１０は、情報処理部２０４の状態を判定する。ここで、情報処理部２０４の状態とは、情報処理部２０４が停止状態であるか、又は情報処理部２０４が稼働状態であるかの、いずれかである。

情報処理部２０４が停止状態であるとは、情報処理部２０４が新たな処理を開始できない状態であり、情報処理部２０４が稼働状態であるとは、情報処理部２０４が新たな処理を開始できる状態である。

情報処理部２０４が処理待ち状態である、例えば、初期化待ちや、オプション変更等による再設定待ち、情報処理の完了待ち等である場合も、情報処理部２０４は新たな処理を開始できないので、停止状態であるとみなす。

情報処理部２０４の処理を飛ばす、即ち、入力画像に対して情報処理を行わずに、入力画像をそのまま出力する等である場合も、情報処理部２０４は入力画像が供給されないため新たな処理を開始できないので、停止状態であるとみなす。

上記の判定の結果、情報処理部２０４が停止状態の場合には、ステップＳ１０４に進み、情報処理部２０４が稼働状態の場合には、ステップＳ１０５に進む。

ステップＳ１０４では、出力部２０５は、入力画像保持部２０２が保持している入力画像を出力する。

ここで、入力画像保持部２０２が保持している入力画像が１枚の場合には、出力部２０５は、その入力画像を出力する。入力画像保持部２０２が保持している入力画像が２枚以上の場合には、出力部２０５は、入力画像保持部２０２が保持している入力画像のうち、いずれか１枚の画像を出力する。

上記のいずれか１枚の画像は、例えば、入力画像保持部２０２が保持している入力画像のうち、時系列的に最も古い画像を出力する方法が挙げられる。

また、ステップＳ１０５からＳ１０８までの処理にレイテンシーがある場合には、出力部２０５は、そのレイテンシーに合わせて、レイテンシーの分だけ過去の画像を、入力画像保持部２０２から取得して出力してもよい。

ステップＳ１０４の処理のレイテンシーを、ステップＳ１０５以降の処理のレイテンシーと合わせることで、動画像処理においてステップＳ１０３で処理が切り替わる際に、フレームが抜けたり飛んだりといった不都合を防止できる。

出力部２０５は、出力した画像に識別子が付与されている場合には、識別子を画像と同時に出力してもよい。

ステップＳ１０５では、履歴情報保持部２０３は、保持している履歴情報が有効又は無効であるかを判定し、履歴情報が有効である場合にはステップＳ１０６に進み、履歴情報が無効である場合にはステップＳ１０７に進む。

ステップＳ１０５の後段にあるステップＳ１０６では、情報処理部２０４は、入力画像保持部２０２が保持している入力画像、及び、履歴情報保持部２０３が保持している履歴情報を用いて情報処理を実行し、情報処理済み画像、及び更新された履歴情報を生成する。

ステップＳ１０６の時点で、履歴情報保持部２０３が保持している履歴情報が、情報処理部２０４で想定されたよりも時系列的に古いものである場合、情報処理部２０４の処理が想定通りに行われず、処理精度の低下や、出力異常、出力欠損等が生じ得る。

そこで、ステップＳ１０５では、履歴情報保持部２０３が保持している履歴情報が、情報処理部２０４で想定されたよりも時系列的に古いものかどうかを判定して履歴情報の有効又は無効を判定し、判定結果に基づいて以降の処理を分岐させる。

上記の判定は、履歴情報が、情報処理部２０４で想定されたよりも時系列的に古いものである場合には、保持している履歴情報が無効であると判定し、そうでない場合には有効と判定する。

例えば、図４（ａ）の例において、情報処理部２０４が、現在のフレームＮの画像４０１を入力画像とし、直前のフレームＮ－１の履歴情報４０２を用いるように設計されているとする。

図４（ａ）では、情報処理部２０４に、フレームＮの画像４０１とフレームＮ－１の履歴情報４０２が入力されているので、現在のフレームＮの画像の処理結果４０３及びフレームＮの履歴情報４０４が生成される。

ここで、フレーム番号は、入力画像保持部２０２が保持している入力画像に、識別子として付与されていることを想定している。

図４（ｂ）は、フレームＮ－１０までは情報処理部２０４を稼働させ、その直後に情報処理部２０４を停止状態にし、フレームＮの処理の際に再び稼働状態にした例である。

図４（ｂ）では、情報処理部２０４に、入力画像としてはフレームＮの画像４０１が入力されているが、履歴情報としては、前回実行時のフレームＮ－１０の履歴情報４０５が入力されている。

情報処理部２０４は、図４（ａ）に示すように、フレームＮの画像４０１を入力画像とする場合、直前のフレームＮ－１の履歴情報４０２を用いるよう設計されている。

しかし、図４（ｂ）では、情報処理部２０４は、フレームＮ－１０の処理以降、フレームＮ－１まで停止していたので、直前のフレームＮ－１の履歴情報は存在しない。従って、フレームＮの入力画像４０１に対して、本来使うはずのないフレームＮ－１０の履歴情報４０５を使うと、情報処理部２０４は、本来の性能を発揮できず、劣化した情報処理済み画像４０６及び劣化したフレームＮの履歴情報４０７を出力する。

図４（ｂ）の場合は、履歴情報保持部２０３が保持しているフレームＮ－１０の履歴情報４０５は、本来必要なフレームＮ－１よりも時系列的に古いフレームであるため、フレームＮ－１０の履歴情報４０５は無効であると判定する。

一方、情報処理部２０４を停止状態にしなかった場合は、図４（ａ）に示すように、フレームＮの画像４０１を入力画像とする時点で、履歴情報保持部２０３は、直前のフレームＮ－１の履歴情報４０２を保持しているので、履歴情報４０２は有効であると判定する。

図４（ｂ）の例では、履歴情報が１フレーム以上遅れた場合に無効と判定したが、高フレームレートでの処理、若しくは被写体の移動速度が遅い場合には、隣り合うフレーム間の画像の変化が少ないので、履歴情報が数フレーム遅れても処理ができる可能性がある。

このような場合は、Ｍを１より大きい定数として、履歴情報がＭフレーム以上遅れた場合には、履歴情報が古いとみなして無効と判定し、履歴情報がＭフレーム未満の遅れの場合には、履歴情報が古いとはみなさず有効と判定すればよい。

即ち、履歴情報保持部２０３に保持されている履歴情報が有効である場合は、履歴情報保持部２０３に保持されている履歴情報が閾値フレーム数未満前のフレームの履歴情報である場合である。また、履歴情報保持部２０３に保持されている履歴情報が無効である場合は、履歴情報保持部２０３に保持されている履歴情報が閾値フレーム数以上前のフレームの履歴情報である場合である。

ステップＳ１０６の時点で、履歴情報保持部２０３が保持している履歴情報が存在しない場合、情報処理部２０４の処理が想定通りに行われず、処理精度の低下や、出力異常、出力欠損等が生じ得る。

そこで、ステップＳ１０５では、履歴情報保持部２０３が履歴情報を保持していない、即ち、履歴情報が存在しない場合は、履歴情報が無効であると判定してもよい。

一方で、履歴情報保持部２０３が履歴情報を保持している、即ち、履歴情報が存在している場合は、例えば、前述のように履歴情報が時系列的に古いものかどうかを判定して履歴情報の有効又は無効を判定し、判定結果に基づいて以降の処理を分岐させればよい。

情報処理部２０４の処理を飛ばす、即ち、入力画像に対して情報処理を行わずに、入力画像をそのまま出力する等の場合、履歴情報保持部２０３が保持している履歴情報は更新されないので、履歴情報が時系列的に古くなる。

このような場合、履歴情報保持部２０３は、保持している時系列的に古くなった履歴情報を削除してもよい。

履歴情報が削除された場合、ステップＳ１０５では、履歴情報保持部２０３が履歴情報を保持していない、即ち、履歴情報が存在しないことになるので、履歴情報が無効であると判定する。

履歴情報保持部２０３は、履歴情報の更新が必要か、又は履歴情報の更新が不要かの、いずれかを表す更新フラグを保持するようにしてもよい。

履歴情報の更新が必要な場合とは、例えば、情報処理部２０４の処理を飛ばす等により、履歴情報保持部２０３が保持している履歴情報が更新されず、履歴情報が時系列的に古くなった場合である。

前記更新フラグは、例えば、更新が必要な場合は真であり、更新が不要である場合は偽であるような真偽値で表すことができる。

例えは、履歴情報保持部２０３が保持している履歴情報が更新された場合は、更新フラグを偽に設定し、履歴情報保持部２０３が保持している履歴情報が更新されない場合は、更新フラグを真に設定する。

この場合、ステップＳ１０５では、前記更新フラグに基づいて履歴情報の有効又は無効を判定し、判定結果に基づいて以降の処理を分岐させる。

例えば、前記更新フラグが真である場合は履歴情報が無効であると判定し、前記更新フラグが偽である場合は履歴情報が有効であると判定する。

ステップＳ１０６では、情報処理部２０４は、入力画像保持部２０２が保持している入力画像、及び、履歴情報保持部２０３が保持している履歴情報を用いて情報処理を実行し、情報処理済み画像、及び更新された履歴情報を生成し、ステップＳ１０８に進む。

上記の情報処理は、既知の様々な画像処理であり、例えば、ノイズ除去、超解像、鮮鋭化、霧霞除去、又は、暗部強調等の処理が挙げられる。

入力画像に識別子が付与されている場合には、情報処理部２０４は、情報処理済み画像、及び更新された履歴情報に、入力画像に付与されていた識別子を付与する。

入力画像、及び情報処理済み画像は、１枚であってもよいし、複数枚であってもよい。また、入力画像と情報処理済み画像の枚数は、同じであってもよいし、異なっていてもよい。

履歴情報、及び更新された履歴情報は、１つであってもよいし、複数であってもよい。また、履歴情報と更新された履歴情報の数は、同じであってもよいし、異なっていてもよい。

また、情報処理済み画像を、更新された履歴情報として扱ってもよい。この場合、情報処理部２０４は、更新された履歴情報を出力しなくてもよい。

履歴情報保持部２０３は、情報処理部２０４が生成した更新された履歴情報を、新たな履歴情報として保持する。

更新された履歴情報に識別子が付与されている場合には、履歴情報保持部２０３は、識別子を、更新された履歴情報と共に、新たな履歴情報として保持する。

情報処理を実行する方法としては、例えば、機械学習やニューラルネットワーク等が挙げられる。

機械学習の方法としては、例えば、デシジョンツリー、ランダムフォレスト、ＬｉｇｈｔＧＢＭ等が挙げられる。

ニューラルネットワークとしては、例えば、畳み込みニューラルネットワーク、逆畳み込みニューラルネットワーク、及びその双方を連結したオートエンコーダー等が挙げられる。

図５は、情報処理部２０４の情報処理の方法にニューラルネットワーク５０１を使用する場合の一例を示す図である。

図５の例に示したニューラルネットワーク５０１において、Ｃｏｎｖは畳み込み層を、Ｐｏｏｌｉｎｇはプーリング層を、Ｕｐｓａｍｐｌｅはアップサンプリング層を、Ｃｏｎｃａｔは結合層を、Ｏｕｔｐｕｔは出力層を表す。

図５の例では、入力画像保持部２０２が保持している入力画像５０２、及び、履歴情報保持部２０３が保持している履歴情報５０３を、ニューラルネットワーク５０１へ入力する。

ニューラルネットワーク５０１のＣｏｎｖ１０１に入力画像５０２が入力され、Ｃｏｎｖ１０３に履歴情報５０３が入力されると、図５の流れに従って、演算処理が実行される。

ニューラルネットワーク５０１の処理が完了すると、ニューラルネットワーク５０１のＯｕｔＰｕｔ１０１より情報処理済み画像５０４が出力され、ニューラルネットワーク５０１のＯｕｔＰｕｔ１０２より更新された履歴情報５０５が出力される。

情報処理部２０４は、図５の例に示したニューラルネットワーク５０１を多段階で使用し、情報処理を行ってもよい。

例えば、ニューラルネットワーク５０１を２段階で使用する場合、第１段階において、情報処理部２０４は、フレームＮ－１の入力画像とフレームＮ－２の履歴情報を用いて、フレームＮ－１の更新された履歴情報を生成する。

引き続く第２段階において、情報処理部２０４は、フレームＮの入力画像とフレームＮ－１の履歴情報を用いて、フレームＮの情報処理済み画像と、フレームＮの更新された履歴情報を生成する。

情報処理部２０４は、情報処理を再帰的ニューラルネットワーク（ＲＮＮ）により実行することができる。ニューラルネットワーク５０１は、ＲＮＮの一例である。例えば、ＲＮＮは、前回の出力結果の履歴情報５０５を再帰的にＲＮＮの今回の入力の履歴情報５０３として入力する。履歴情報５０５は、例えば、情報処理部２０４の情報処理済み画像である。

情報処理部２０４は、履歴情報として、機械学習やニューラルネットワークの中間出力を、更新された履歴情報として扱ってもよい。

例えば、図５に示したニューラルネットワーク５０１の例において、ニューラルネットワーク５０１の内部に含まれる、出力層Ｏｕｔｐｕｔ１及びＯｕｔｐｕｔ２以外の任意の層からの出力を、前記中間出力として取り出し、更新された履歴情報として扱ってもよい。

情報処理部２０４は、機械学習やニューラルネットワークを多段階で使用する場合、最終段階の機械学習やニューラルネットワーク以外からの出力を、前記中間出力として取り出し、更新された履歴情報として扱ってもよい。

例えば、図５のニューラルネットワーク５０１を２段階で使用する場合、第１段階において、フレームＮ－１の入力画像とフレームＮ－２の履歴情報を用いて、出力層Ｏｕｔｐｕｔ１又はＯｕｔｐｕｔ２から得られた出力を、前記中間出力として取り出し、更新された履歴情報として扱ってもよい。

ステップＳ１０７では、情報処理部２０４は、入力画像保持部２０２が保持している入力画像を基に、履歴情報を再生成し、ステップＳ１０６に進む。ここで、入力画像に識別子が付与されている場合には、情報処理部２０４は、再生成した履歴情報に、入力画像に付与されていた識別子を付与する。

入力画像は、１枚であってもよいし、複数枚であってもよい。更新された履歴情報は、１つであってもよいし、複数であってもよい。

履歴情報を再生成する方法としては、例えば、情報処理部２０４に入力画像保持部２０２が保持している入力画像、及び、仮の履歴情報を入力して情報処理を実行し、情報処理済み画像を破棄して、更新された履歴情報のみを取得する方法が挙げられる。

または、情報処理済み画像を、破棄するのではなく、更新された履歴情報として扱ってもよい。この場合、情報処理部２０４は、更新された履歴情報を出力しなくてもよい。

仮の履歴情報としては、例えば、ステップＳ１０７の実行時点で履歴情報保持部２０３が保持している最新の履歴情報を利用してもよいし、入力画像保持部２０２が保持している入力画像を使用してもよい。

仮の履歴情報の別の例としては、例えば、ベタ画像、パターン画像、ノイズ画像等が挙げられる。

履歴情報保持部２０３は、その再生成された履歴情報を、新たな履歴情報として保持する。再生成された履歴情報に識別子が付与されている場合には、履歴情報保持部２０３は、識別子を、再生成された履歴情報と共に、新たな履歴情報として保持する。

ステップＳ１０７における履歴情報の再生成には時間がかかることがある。このことにより、例えば、図３（ａ）に示した処理を一定時間間隔で行う場合、ステップＳ１０７の処理が開始されると、処理全体が一旦停止したように見えることがあり得る。

このような場合、図３（ｂ）の例に示すように、画像処理装置１０は、ステップＳ１０７の処理に並行して、ステップＳ１０４の処理を行ってもよい。即ち、画像処理装置１０は、ステップＳ１０７の処理が終わって、ステップＳ１０６の処理を再開するまでは、ステップＳ１０４の処理を並行して行い、入力画像をそのまま出力してもよい。

ステップＳ１０７が実行されると、画像処理装置１０が行わなければならない処理が増えることになる。ステップＳ１０７の実行によって処理時間が増大するため、処理の遅れが発生する可能性がある。

このような場合、画像処理装置１０は、ステップＳ１０７の実行に伴う処理の遅れを解消するようにしてもよい。例えば、ステップＳ１０７の処理を別スレッドで行う方法や、処理フレームレートを一時的に増す方法が挙げられる。

ステップＳ１０５において、履歴情報保持部２０３が、保持している履歴情報が無効であると判定した場合、仮にステップＳ１０７を行わないとすると、ステップＳ１０６において、情報処理部２０４は無効な履歴情報を使用して情報処理を実行することとなる。

履歴情報が無効であると、情報処理部２０４の性能を十分に発揮することができなくなる。これにより、動画の画像処理時におけるちらつきや精度低下等が発生し、ちらつきや精度低下等による監視対象の見逃し等の不都合が発生する。

従って、情報処理部２０４の性能を十分に発揮するには、情報処理部２０４を常に稼働状態にしておき、履歴情報が常に最新の状態にあるようにしなければならない。

このため、不要な時に情報処理部２０４を停止状態にすることができず、画像処理装置１０の消費電力を抑えることができないため、バッテリーや発電機等の環境で長時間使うことができなくなる。

一方、ステップＳ１０５において、履歴情報保持部２０３が、保持している履歴情報が無効であると判定し、Ｓ１０７の処理の後にＳ１０６が実行される場合、情報処理部２０４は、再生成された最新の履歴情報、即ち有効な履歴情報を用いて情報処理を実行できる。ステップＳ１０６では、情報処理部２０４は、入力画像及び再生成された履歴情報を用いて情報処理を実行し、情報処理済み画像を生成し、履歴情報保持部２０３に保持されている履歴情報を更新する。

履歴情報が有効であるので、情報処理部２０４の性能が十分に発揮できる。これにより、動画の画像処理時におけるちらつきや精度低下等が発生しないので、ちらつきや精度低下等による監視対象の見逃し等の不都合を防止できる。

また、履歴情報が無効の場合には、再生成された最新の履歴情報を使うようになるので、情報処理部２０４を常に稼働状態にしておく必要がなくなる。

このため、不要な時に情報処理部２０４を停止状態にして、画像処理装置１０の消費電力を抑えることができるため、バッテリーや発電機等の環境でも長時間使うことが可能となる。

ステップＳ１０３において情報処理部２０４が停止状態と判定された場合は、図６のように、画像処理装置１０は、ステップＳ１０４に並行して、ステップＳ１０９の処理を実行してもよい。

ステップＳ１０９では、履歴情報保持部２０３は、ステップＳ１０７と同様の処理を実行する。即ち、履歴情報保持部２０３は、入力画像保持部２０２が保持している入力画像を基に、履歴情報を再生成し、履歴情報保持部２０３に保持されている履歴情報を更新する。ここで、入力画像に識別子が付与されている場合には、履歴情報保持部２０３は、再生成した履歴情報に、入力画像に付与されていた識別子を付与する。

情報処理部２０４を停止状態にしたい理由の一つとして、不要な時に情報処理部２０４を停止状態にして、画像処理装置１０の消費電力を抑えることが挙げられる。従って、ステップＳ１０９を実行する場合には、画像処理装置１０は、消費電力を抑えつつ処理することが好ましい。

ステップＳ１０９の消費電力を抑える方法としては、例えば、図５の例に示したような、ステップＳ１０７の処理で使用される履歴情報の再生成方法と比較して、より軽量な方法でＳ１０９の再生成の処理を行うことが挙げられる。その場合、ステップＳ１０９による履歴情報の再生成は、ステップＳ１０７による履歴情報の再生成より軽量な方法で行われる。

軽量な方法としては、例えば、機械学習やニューラルネットワーク等が挙げられる。機械学習の方法としては、例えば、デシジョンツリー、ランダムフォレスト、ＬｉｇｈｔＧＢＭ等が挙げられる。

ニューラルネットワークとしては、例えば、畳み込みニューラルネットワーク、逆畳み込みニューラルネットワーク、及びその双方を連結したオートエンコーダー等が挙げられる。

図７は、軽量な方法として、ニューラルネットワーク７０１を使用する場合の一例を示す図である。図７の例に示したニューラルネットワーク７０１において、Ｃｏｎｖは畳み込み層を、Ｐｏｏｌｉｎｇはプーリング層を、Ｕｐｓａｍｐｌｅはアップサンプリング層を、Ｃｏｎｃａｔは結合層を、Ｏｕｔｐｕｔは出力層を表す。

図７の例では、入力画像保持部２０２が保持している入力画像７０２を、ニューラルネットワーク７０１へ入力する。

ニューラルネットワーク７０１のＣｏｎｖ１０１に入力画像７０２が入力されると、図７の流れに従って、演算処理が実行される。

ニューラルネットワーク７０１の処理が完了すると、ニューラルネットワーク５０１のＯｕｔＰｕｔ１０１より、更新された履歴情報７０３が出力される。

図７の例において、ニューラルネットワーク７０１は、図５のニューラルネットワーク５０１の一部を省略したものとなっているが、これに限らず、蒸留や量子化等により軽量化してもよいし、全く別の構造のニューラルネットワークを用いてもよい。

ステップＳ１０９では、履歴情報保持部２０３は、履歴情報の再生成をニューラルネットワーク７０１により実行することができる。

ステップＳ１０９の消費電力を抑える別の方法としては、例えば、画像処理装置１０の演算装置１３に、通常時より省電力のデバイスを用いる方法が挙げられる。その場合、ステップＳ１０９による履歴情報の再生成は、ステップＳ１０７による履歴情報の再生成より消費電力が少ないデバイスにより行われる。省電力デバイスでの実行を可能にするため、蒸留や量子化等の軽量化方法を併用してもよい。

または、バッテリーや発電機の燃料等の残量に応じて、消費電力の異なる複数の方法を選択して使用してもよい。

例えば、残量が多い場合には、計算量の多い方法で高精度に履歴情報を再生成し、残量が少なくなるにつれ、軽量化方法や、省電力デバイスの使用等に段階的に切り替えてもよい。残量がさらに少なくなった場合には、ステップＳ１０９の処理自体を止めてもよい。

情報処理部２０４が停止状態で、且つ、ステップＳ１０４に並行してＳ１０９の処理を実行しない場合には、履歴情報が停止した分だけ古くなっていく。

この状態で情報処理部２０４を稼働状態にして、ステップＳ１０５で履歴情報が無効と判定された場合には、ステップＳ１０７、Ｓ１０６の順で処理が実行され、ステップＳ１０７で有効な履歴情報の再生成が実行されることになる。

図６のように、ステップＳ１０４に並行してＳ１０９の処理を実行するかどうかを決定する別の方法として、ユーザーインターフェースの動作を利用したものが挙げられる。

例えば、情報処理部２０４を停止状態にするか、又は稼働状態にするかを、画像処理装置１０の入力装置１４又はＩ／Ｆ装置１６を介したユーザーからの操作によって切り替える場合を想定する。

例として、図８（ａ）に示すようなユーザーインターフェースを使用する場合を考える。図８（ａ）の例では、画面８０１の中に、情報処理部２０４が出力した情報処理済み画像８０２と、情報処理部２０４を停止状態から稼働状態にするユーザーインターフェース８０３が示されている。

図８（ａ）において、情報処理部２０４が停止状態にあり、ユーザーインターフェース８０３をクリック等で操作することにより、情報処理部２０４を稼働状態にすることができるとする。

図８（ｂ）は、ユーザーインターフェース８０３をクリック等で操作するため、ユーザーがカーソル８０４を操作してユーザーインターフェース８０３の上に置き、ユーザーインターフェース８０３にフォーカスを当てた状態を表している。

図８（ｂ）では、ユーザーインターフェース８０３にフォーカスが当たっていることを表すため、図８（ａ）とはボタンの色を変えている。

図８（ｂ）のユーザーからの操作により、情報処理部２０４を停止状態から稼働状態にするユーザーインターフェース８０３にフォーカスが当てられると、その後にユーザーインターフェース８０３に対してクリック等の操作がされ、稼働状態になる可能性が高い。

そこで、情報処理部２０４が停止状態にある場合、図８（ｂ）のように、ユーザーインターフェース８０３にフォーカスが当てられた時点で、図６のステップＳ１０４に並行してＳ１０９の処理を開始してもよい。

図８（ｂ）の状態で、停止状態から稼働状態にするユーザーインターフェース８０３に対してフォーカスが当たった後、クリック等の操作がされ、情報処理部２０４が停止状態から稼働状態になったとする。

ここで、ユーザーインターフェース８０３に対してフォーカスが当たった時点から、情報処理部２０４が稼働状態になるまで間に、ステップＳ１０９の処理が完了したとする。

ステップＳ１０９の処理が完了すると、履歴情報保持部２０３で保持する履歴情報が最新のものに更新されるので、情報処理部２０４が稼働状態になった際に、Ｓ１０５で履歴情報が有効と判定され、追加のオーバーヘッド無しでＳ１０６を即座に実行できる。

ステップＳ１０８では、出力部２０５は、ステップＳ１０６において情報処理部２０４が生成した情報処理済み画像を出力する。出力部２０５は、出力した画像に識別子が付与されている場合には、識別子を画像と同時に出力してもよい。

出力部２０５は、画像処理装置１０の出力装置１５を介してユーザーに処理結果を提示してもよいし、Ｉ／Ｆ装置１６を介して別の端末等に処理結果を提示してもよい。

本実施形態において、情報処理として画像処理を例に挙げているが、情報処理は画像処理のみに限定されるものではない。例えば、行動認識、姿勢推定、転倒検知、追尾、流量推定等が挙げられる。

以上、本実施形態によれば、画像処理装置１０は、情報処理部２０４のＲＮＮの処理を一時的に停止し、再度、稼働させる際に、履歴情報が無効である場合は、適切な履歴情報を再生成することを特徴とする。この特徴により、ＲＮＮの処理の再開時に、ＲＮＮの性能を即座に発揮することが可能となるため、動画の画像処理時におけるちらつきや精度低下等が発生せず、ちらつきや精度低下等による監視対象の見逃し等を防止できる。

また、画像処理装置１０は、情報処理部２０４のＲＮＮの処理性能を低下させることなく処理の停止と再開ができるので、情報処理部２０４のＲＮＮの処理性能を保つために常時稼働させる必要が無く、画像処理装置１０の消費電力を抑えることができる。これにより、画像処理装置１０は、バッテリーや発電機等の環境でも長時間使うことができる。

（その他の実施形態）
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上述の実施形態は、何れも本開示を実施するにあたっての具体例を示したものに過ぎず、これらによって本開示の技術的範囲が限定的に解釈されない。すなわち、本開示はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

本実施形態の開示は、以下の構成、方法及びプログラムを含む。
（構成１）
情報処理部と、
出力部とを有し、
前記情報処理部が稼働状態であり、かつ、履歴情報保持部に保持されている履歴情報が有効である場合には、前記情報処理部は、入力画像及び前記履歴情報保持部に保持されている履歴情報を用いて情報処理を実行し、情報処理済み画像を生成し、前記履歴情報保持部に保持されている履歴情報を更新し、前記出力部は、前記情報処理済み画像を出力し、
前記情報処理部が稼働状態であり、かつ、履歴情報保持部に保持されている履歴情報が無効である場合には、前記情報処理部は、入力画像を基に履歴情報を再生成し、入力画像及び前記再生成された履歴情報を用いて情報処理を実行し、情報処理済み画像を生成し、前記履歴情報保持部に保持されている履歴情報を更新し、前記出力部は、前記情報処理済み画像を出力し、
前記情報処理部が停止状態である場合には、前記出力部は、入力画像を出力することを特徴とする画像処理装置。
（構成２）
前記履歴情報保持部に履歴情報が保持されていない場合は、履歴情報が無効であると判定することを特徴とする構成１に記載の画像処理装置。
（構成３）
前記履歴情報保持部に保持されている履歴情報が更新されなかった場合、履歴情報を削除することを特徴とする構成１に記載の画像処理装置。
（構成４）
前記履歴情報保持部は、履歴情報の更新が必要か、又は履歴情報の更新が不要かの、いずれかを表す更新フラグを保持し、前記更新フラグを参照して、履歴情報の更新が必要な場合は履歴情報が無効であると判定し、履歴情報の更新が不要な場合は履歴情報が有効であると判定することを特徴とする構成１に記載の画像処理装置。
（構成５）
前記情報処理部が稼働状態であり、かつ、履歴情報保持部に保持されている履歴情報が無効である場合には、前記情報処理部の履歴情報の再生成に並行して、前記出力部は、入力画像を出力することを特徴とする構成１～４のいずれか１項に記載の画像処理装置。
（構成６）
前記情報処理部が停止状態である場合には、前記出力部の入力画像の出力に並行して、前記履歴情報保持部は、入力画像を基に履歴情報を再生成し、前記履歴情報保持部に保持されている履歴情報を更新することを特徴とする構成１～５のいずれか１項に記載の画像処理装置。
（構成７）
前記履歴情報保持部に保持されている履歴情報が有効である場合は、前記履歴情報保持部に保持されている履歴情報が閾値フレーム数未満前のフレームの履歴情報である場合であり、
前記履歴情報保持部に保持されている履歴情報が無効である場合は、前記履歴情報保持部に保持されている履歴情報が閾値フレーム数以上前のフレームの履歴情報である場合であることを特徴とする構成１～６のいずれか１項に記載の画像処理装置。
（構成８）
前記履歴情報は、前記情報処理部の情報処理済み画像であることを特徴とする構成１～７のいずれか１項に記載の画像処理装置。
（構成９）
前記入力画像は、入力画像保持部に保持されていることを特徴とする構成１～８のいずれか１項に記載の画像処理装置。
（構成１０）
前記入力画像保持部には、少なくとも前記情報処理部の履歴情報の再生成に必要な数の入力画像が保持されていることを特徴とする構成９に記載の画像処理装置。
（構成１１）
前記入力画像保持部には、少なくとも前記情報処理部のレイテンシーの数の入力画像が保持されていることを特徴とする構成９又は１０に記載の画像処理装置。
（構成１２）
前記情報処理部が停止状態であり、かつ、前記情報処理部を停止状態から稼働状態にするユーザーインターフェースにフォーカスが当たった場合に、前記出力部の入力画像の出力に並行して、前記履歴情報保持部は、入力画像を基に履歴情報を再生成する処理を開始することを特徴とする構成６に記載の画像処理装置。
（構成１３）
前記履歴情報保持部による履歴情報の再生成は、前記情報処理部による履歴情報の再生成より軽量な方法で行われることを特徴とする構成６又は１２に記載の画像処理装置。
（構成１４）
前記履歴情報保持部による履歴情報の再生成は、前記情報処理部による履歴情報の再生成より消費電力が少ないデバイスにより行われることを特徴とする構成６又は１２に記載の画像処理装置。
（構成１５）
前記情報処理は、ノイズ除去、超解像、鮮鋭化、霧霞除去、又は、暗部強調の処理であることを特徴とする構成１～１４のいずれか１項に記載の画像処理装置。
（構成１６）
前記情報処理部は、前記情報処理を再帰的ニューラルネットワークにより実行することを特徴とする構成１～１５のいずれか１項に記載の画像処理装置。
（構成１７）
前記履歴情報保持部は、前記履歴情報の再生成をニューラルネットワークにより実行することを特徴とする構成６に記載の画像処理装置。
（方法１）
情報処理部が稼働状態であり、かつ、履歴情報保持部に保持されている履歴情報が有効である場合には、前記情報処理部は、入力画像及び前記履歴情報保持部に保持されている履歴情報を用いて情報処理を実行し、情報処理済み画像を生成し、前記履歴情報保持部に保持されている履歴情報を更新し、出力部は、前記情報処理済み画像を出力するステップと、
情報処理部が稼働状態であり、かつ、履歴情報保持部に保持されている履歴情報が無効である場合には、前記情報処理部は、入力画像を基に履歴情報を再生成し、入力画像及び前記再生成された履歴情報を用いて情報処理を実行し、情報処理済み画像を生成し、前記履歴情報保持部に保持されている履歴情報を更新し、出力部は、前記情報処理済み画像を出力するステップと、
前記情報処理部が停止状態である場合には、出力部は、入力画像を出力するステップと
を有することを特徴とする画像処理装置の処理方法。
（プログラム１）
情報処理部が稼働状態であり、かつ、履歴情報保持部に保持されている履歴情報が有効である場合には、前記情報処理部は、入力画像及び前記履歴情報保持部に保持されている履歴情報を用いて情報処理を実行し、情報処理済み画像を生成し、前記履歴情報保持部に保持されている履歴情報を更新し、出力部は、前記情報処理済み画像を出力するステップと、
情報処理部が稼働状態であり、かつ、履歴情報保持部に保持されている履歴情報が無効である場合には、前記情報処理部は、入力画像を基に履歴情報を再生成し、入力画像及び前記再生成された履歴情報を用いて情報処理を実行し、情報処理済み画像を生成し、前記履歴情報保持部に保持されている履歴情報を更新し、出力部は、前記情報処理済み画像を出力するステップと、
前記情報処理部が停止状態である場合には、出力部は、入力画像を出力するステップと
をコンピュータに実行させるためのプログラム。

１０ 画像処理装置、２０１ 画像取得部、２０２ 入力画像保持部、２０３ 履歴情報保持部、２０４ 情報処理部、２０５ 出力部

Claims (19)

1. 情報処理部と、
   出力部とを有し、
   前記情報処理部が稼働状態であり、かつ、履歴情報保持部に保持されている履歴情報が有効である場合には、前記情報処理部は、入力画像及び前記履歴情報保持部に保持されている履歴情報を用いて情報処理を実行し、情報処理済み画像を生成し、前記履歴情報保持部に保持されている履歴情報を更新し、前記出力部は、前記情報処理済み画像を出力し、
   前記情報処理部が稼働状態であり、かつ、履歴情報保持部に保持されている履歴情報が無効である場合には、前記情報処理部は、入力画像を基に履歴情報を再生成し、入力画像及び前記再生成された履歴情報を用いて情報処理を実行し、情報処理済み画像を生成し、前記履歴情報保持部に保持されている履歴情報を更新し、前記出力部は、前記情報処理済み画像を出力し、
   前記情報処理部が停止状態である場合には、前記出力部は、入力画像を出力することを特徴とする画像処理装置。
2. 前記履歴情報保持部に履歴情報が保持されていない場合は、履歴情報が無効であると判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記履歴情報保持部に保持されている履歴情報が更新されなかった場合、履歴情報を削除することを特徴とする請求項１に記載の画像処理装置。
4. 前記履歴情報保持部は、履歴情報の更新が必要か、又は履歴情報の更新が不要かの、いずれかを表す更新フラグを保持し、前記更新フラグを参照して、履歴情報の更新が必要な場合は履歴情報が無効であると判定し、履歴情報の更新が不要な場合は履歴情報が有効であると判定することを特徴とする請求項１に記載の画像処理装置。
5. 前記情報処理部が稼働状態であり、かつ、履歴情報保持部に保持されている履歴情報が無効である場合には、前記情報処理部の履歴情報の再生成に並行して、前記出力部は、入力画像を出力することを特徴とする請求項１に記載の画像処理装置。
6. 前記情報処理部が停止状態である場合には、前記出力部の入力画像の出力に並行して、前記履歴情報保持部は、入力画像を基に履歴情報を再生成し、前記履歴情報保持部に保持されている履歴情報を更新することを特徴とする請求項１に記載の画像処理装置。
7. 前記履歴情報保持部に保持されている履歴情報が有効である場合は、前記履歴情報保持部に保持されている履歴情報が閾値フレーム数未満前のフレームの履歴情報である場合であり、
   前記履歴情報保持部に保持されている履歴情報が無効である場合は、前記履歴情報保持部に保持されている履歴情報が閾値フレーム数以上前のフレームの履歴情報である場合であることを特徴とする請求項１に記載の画像処理装置。
8. 前記履歴情報は、前記情報処理部の情報処理済み画像であることを特徴とする請求項１に記載の画像処理装置。
9. 前記入力画像は、入力画像保持部に保持されていることを特徴とする請求項１に記載の画像処理装置。
10. 前記入力画像保持部には、少なくとも前記情報処理部の履歴情報の再生成に必要な数の入力画像が保持されていることを特徴とする請求項９に記載の画像処理装置。
11. 前記入力画像保持部には、少なくとも前記情報処理部のレイテンシーの数の入力画像が保持されていることを特徴とする請求項９に記載の画像処理装置。
12. 前記情報処理部が停止状態であり、かつ、前記情報処理部を停止状態から稼働状態にするユーザーインターフェースにフォーカスが当たった場合に、前記出力部の入力画像の出力に並行して、前記履歴情報保持部は、入力画像を基に履歴情報を再生成する処理を開始することを特徴とする請求項６に記載の画像処理装置。
13. 前記履歴情報保持部による履歴情報の再生成は、前記情報処理部による履歴情報の再生成より軽量な方法で行われることを特徴とする請求項６に記載の画像処理装置。
14. 前記履歴情報保持部による履歴情報の再生成は、前記情報処理部による履歴情報の再生成より消費電力が少ないデバイスにより行われることを特徴とする請求項６に記載の画像処理装置。
15. 前記情報処理は、ノイズ除去、超解像、鮮鋭化、霧霞除去、又は、暗部強調の処理であることを特徴とする請求項１に記載の画像処理装置。
16. 前記情報処理部は、前記情報処理を再帰的ニューラルネットワークにより実行することを特徴とする請求項１に記載の画像処理装置。
17. 前記履歴情報保持部は、前記履歴情報の再生成をニューラルネットワークにより実行することを特徴とする請求項６に記載の画像処理装置。
18. 情報処理部が稼働状態であり、かつ、履歴情報保持部に保持されている履歴情報が有効である場合には、前記情報処理部は、入力画像及び前記履歴情報保持部に保持されている履歴情報を用いて情報処理を実行し、情報処理済み画像を生成し、前記履歴情報保持部に保持されている履歴情報を更新し、出力部は、前記情報処理済み画像を出力するステップと、
    情報処理部が稼働状態であり、かつ、履歴情報保持部に保持されている履歴情報が無効である場合には、前記情報処理部は、入力画像を基に履歴情報を再生成し、入力画像及び前記再生成された履歴情報を用いて情報処理を実行し、情報処理済み画像を生成し、前記履歴情報保持部に保持されている履歴情報を更新し、出力部は、前記情報処理済み画像を出力するステップと、
    前記情報処理部が停止状態である場合には、出力部は、入力画像を出力するステップと
    を有することを特徴とする画像処理装置の処理方法。
19. 情報処理部が稼働状態であり、かつ、履歴情報保持部に保持されている履歴情報が有効である場合には、前記情報処理部は、入力画像及び前記履歴情報保持部に保持されている履歴情報を用いて情報処理を実行し、情報処理済み画像を生成し、前記履歴情報保持部に保持されている履歴情報を更新し、出力部は、前記情報処理済み画像を出力するステップと、
    情報処理部が稼働状態であり、かつ、履歴情報保持部に保持されている履歴情報が無効である場合には、前記情報処理部は、入力画像を基に履歴情報を再生成し、入力画像及び前記再生成された履歴情報を用いて情報処理を実行し、情報処理済み画像を生成し、前記履歴情報保持部に保持されている履歴情報を更新し、出力部は、前記情報処理済み画像を出力するステップと、
    前記情報処理部が停止状態である場合には、出力部は、入力画像を出力するステップと
    をコンピュータに実行させるためのプログラム。