JP4151963B2 - 画像サーバ装置、クライアント装置、動画像配信方法、プログラム、及び、情報記録媒体 - Google Patents

Description

本発明は、画像を符号化して伝送する技術の分野に係り、特に、動画像をクライアント装置へ配信する画像サーバ装置及び動画像配信システムに関する。

例えば、特許文献１には、動画像を画質上の重要度に従って階層符号化し、階層毎に符号をパケット化して優先順位に従って順次送信し、フレーム周期内で送信できなかったパケットは次周期に優先順位に従ってさらに送信する動画像送受信装置が記載されている。より具体的には、フレーム画像をブロック毎に離散コサイン変換（ＤＣＴ）し、各ブロックのＤＣＴ係数を３つの周波数帯域に分け、各帯域毎にエントロピー符号化する。周波数の低い帯域のＤＣＴ係数の符号ほど重要度が高い階層の符号として、そのパケットを優先して送信する。

また、特許文献２には、伝送速度が遅い場合、画像データの符号化に先立って、画像データのトリミング、間引きなどにより解像度を落とし、あるいは画素当たりのビット数を減らするような処理を行うことにより、伝送データ量を減らす画像データ送信装置が記載されている。

また、特許文献３には、送信側のデータ通信装置において、画像を階層符号化して複数のデータストリームを生成し、その複数のデータストリームを送信し、受信側のデータ通信装置において、パケットロスや伝送遅延などの受信状況をモニタし、受信状況に応じて、送られてくる複数のデータストリームの中から受信するデータストリームを選択するデータ通信システムが記載されている。

特許第３００３６１８号公報 特開２００２−２６２２８８号公報 特開２００１−４５０９８号公報

特許文献１に記載の技術にあっては、ネットワークの混雑などにより一部階層の符号のパケットを受信できないフレームで受信側で再生される画像全体の画質が低下する。そのような不都合を避けるためには、当該文献に記載されていように、受信側装置において、受信できなかった符号のパケットを次フレーム周期以降で受信し処理する必要があり、したがって、複数フレーム分の符号を蓄積するための大きな受信バッファを受信側装置に備えなければならず、また、フレームの送信（受信）から再生までのタイムラグが大きくなる。

特許文献２に記載の技術にあっては、伝送速度が遅い場合に、受信側で再生される画像は、元の画像の一部が欠落したものになったり、画像全体の品質が低下する。

特許文献３に記載の技術は、複数の受信装置に同じ画像を配信する場合に利益があるものであり、個々の受信装置に対し、その受信処理環境（例えば、回線状況、復号処理能力、又はその両方）に適応した画像配信を行うものではない。また、受信処理環境の悪い受信装置において再生される画像は、その全体の品質が低下する。

本発明は、画像サーバ装置（画像送信装置）よりクライアント装置（画像受信装置）へ動画像の各フレームを独立に符号化して配信する動画像配信システムに係る。

本発明の目的は、かかる動画像配信システムのための改良された画像サーバ装置、動画像配信方法及びクライアント装置を提供することにある。

より具体的な目的は、配信先のクライアント装置の受信処理環境（具体的には、回線状況、復号処理状況、又はその両方）に応じて動画像の各フレームの符号化を制御するが、受信処理環境の悪いクライアント装置においても、動画像の各フレームの画像の全体の再生品質が悪化するのではなく、少なくともその主要部分については高い品質で再生可能とするように符号化を制御する画像サーバ装置及び動画像配信方法を提供することにある。もう１つの目的は、クライアント装置に複数フレーム分の符号を蓄積するための大きな受信バッファを備えることなく、動画像のストリーミング配信の場合でも駒落ちなどのない画像再生を可能とすることである。もう１つの目的は、高品質で再生させる部分を配信先クライアント装置側で制御可能とするための手段を備えた画像サーバ装置を提供すること、また、そのような制御を容易に行うための手段を備えたクライアント装置を提供することにある。

請求項１の発明は、動画像をクライアント装置へ配信する画像サーバ装置であって、
配信先のクライアント装置の受信処理環境（配信先のクライアント装置との間の回線の状況、配信先のクライアント装置の復号処理能力、又はその両方）を取得する手段と、
動画像の各フレームの静止画像を分割したブロックを、その重要度に従い注目ブロックと非注目ブロックとに分類するブロック分類手段と、
動画像の各フレームの静止画像を独立に符号化し、解像度プログレッシブ方式、画質プログレッシブ方式、コンポーネントプログレッシブ方式又は位置プログレッシブ方式の符号を生成する符号化処理手段とを有し、
前記符号化処理手段は、注目ブロックより優先して非注目ブロックに対し符号削減を行い、解像度プログレッシブ方式、画質プログレッシブ方式又はコンポーネントプログレッシブ方式の符号を生成する場合、前記受信処理環境が悪化するにつれて、注目ブロックに対する符号削減量と非注目ブロックに対する符号削減量との差を増加させ、
前記ブロック分類手段は、前記符号化処理手段により位置プログレッシブ方式の符号が生成される場合、前記受信処理環境が悪化するにつれて非注目ブロックの個数を増加させることを特徴とする画像サーバ装置である。

請求項２の発明は、請求項１の発明の画像サーバ装置において、
前記ブロック分類手段は、各フレームの静止画像の中央に近いブロックほど重要度を高く評価することを特徴とする画像サーバ装置である。

請求項３の発明は、請求項１の発明の画像サーバ装置において、前記ブロック分類手段は動き量の大きいブロックほど重要度を高く評価することを特徴とする画像サーバ装置である。

請求項４の発明は、配信先のクライアント装置よりブロックの重要度の指示を取得する手段を有し、前記ブロック分類手段は前記重要度指示に従ってブロックの重要度を評価することを特徴とする請求項１の発明の画像サーバ装置である。

請求項５の発明は、配信先のクライアント装置より、注目ブロックと非注目ブロックの符号削減量の差の程度の指示を取得する手段を有し、前記符号化処理手段は、前記差の程度の指示に従って注目ブロックと非注目ブロックの符号削減量の差を制御することを特徴とする請求項１又は４の発明の画像サーバ装置である。

請求項６の発明は、配信先のクライアント装置より、注目ブロックと非注目ブロックの個数の差の程度の指示を取得する手段を有し、前記ブロック分類手段は、前記差の程度の指示に従って注目ブロックと非注目ブロックの個数の差を制御することを特徴とする請求項１又は４の発明の画像サーバ装置である。

請求項７の発明は、前記差の程度の指示はブロック毎に指示可能であることを特徴とする請求項５又は６の発明の画像サーバ装置である。

請求項８の発明は、配信先のクライアント装置よりブロックの重要度の指示を取得する手段と、
配信先のクライアント装置より、注目ブロックと非注目ブロックの符号削減量の差の程度の指示を取得する手段と、
配信先のクライアント装置より、注目ブロックと非注目ブロックの個数の差の程度の指示を取得する手段とを有し、
前記ブロック分類手段は、前記重要度指示に従ってブロックの重要度を評価し、
前記符号化処理手段は、解像度プログレッシブ方式、画質プログレッシブ方式又はコンポーネントプログレッシブ方式の符号を生成する場合には、前記符号削減量の差の程度の指示に従って注目ブロックと非注目ブロックの符号削減量の差を制御し、
前記ブロック分類手段は、前記符号化処理手段により位置プログレッシブ方式の符号が生成される場合、前記個数の差の程度の指示に従って注目ブロックと非注目ブロックの個数の差を制御することを特徴とする請求項１の発明の画像サーバ装置である。

請求項９の発明は、配信先のクライアント装置よりプログレッシブ方式の指示を取得する手段を有し、前記符号化処理手段は該指示に従ったプログレッシブ方式の符号を生成することを特徴とする請求項１又は８の発明の画像サーバ装置である。

請求項１０の発明は、請求項４，５，６，７，８又は９の発明の画像サーバ装置より動画像の配信を受けるクライアント装置であって、前記画像サーバ装置に対する前記指示を入力するためのグラフィカル・ユーザインターフェースを備えることを特徴とするクライアント装置である。

請求項１１の発明は、請求項１乃至９のいずれか１項の発明の画像サーバ装置と、該画像サーバ装置より動画像の配信を受けるクライアント装置とからなる動画像配信システムである。

請求項１２の発明は、動画像をクライアント装置へ配信する画像サーバ装置における動画像配信方法であって、
配信先のクライアント装置の受信処理環境（配信先のクライアント装置との間の回線の状況、配信先のクライアント装置の復号処理能力、又はその両方）を取得するステップと、
動画像の各フレームの静止画像を分割したブロックを、その重要度に従い注目ブロックと非注目ブロックとに分類するステップと、
動画像の各フレームの静止画像を独立に符号化し、解像度プログレッシブ方式、画質プログレッシブ方式、コンポーネントプログレッシブ方式又は位置プログレッシブ方式の符号を生成するステップとを有し、
前記符号化のステップでは、注目ブロックより優先して非注目ブロックに対し符号削減を行い、解像度プログレッシブ方式、画質プログレッシブ方式又はコンポーネントプログレッシブ方式の符号を生成する場合、配信先のクライアント装置の受信処理環境が悪化するにつれて注目ブロックに対する符号削減量と非注目ブロックに対する符号削減量との差を増加させ、
前記ブロック分類のステップでは、前記符号化のステップで位置プログレッシブ方式の符号が生成される場合、前記受信処理環境が悪化するにつれて非注目ブロックの個数を増加させることを特徴とする動画像配信方法である。

請求項１３の発明は、請求項１乃至９のいずれか１項の発明の画像サーバ装置の各手段としてコンピュータを機能させるプログラムである。

請求項１４の発明は、請求項１２の発明の動画像配信方法の各ステップをコンピュータに実行させるプログラムである。

請求項１５の発明は、請求項１３又は１４の発明のプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。

請求項１乃至１２の発明によれば、回線状況の悪化などによりクライアント装置の受信処理環境が悪い場合においても、受信処理環境に応じた符号削減量の調整あるいは非注目ブロック数の調整により、フレームの符号量を調整することができるため、クライアント装置で駒落ちを生じることなく画像再生が可能になる。また、受信処理環境が悪い場合においても、動画像の各フレームの画像全体の再生品質（解像度、画質、色再現性など）が悪化するのではなく、少なくともその主要部分（画像中の主要被写体や動きの速い物体など）については高い品質で再生可能である。また、画像サーバ装置側でクライアント装置の受信処理環境に応じて各フレームの符号量が調整されるため、動画像のストリーミング配信の場合でも、クライアント装置に複数フレーム分の符号を蓄積するための大きな受信バッファを備えなくとも支障なくリアルタイムな画像再生が可能である。

特に、請求項１，８，１２の発明によれば、符号のプログレッシブ方式に応じた符号量調整を行うことができる。すなわち、解像度プログレッシブ方式の場合には解像度を徐々に落とすような符号削減を、画質プログレッシブ方式の場合には画質を徐々に落とすような符号削減を、コンポーネントプログレッシブ方式の場合には色成分を徐々に減らすような符号削減を、また、位置プログレッシブ方式の場合には画質や解像度が落とす領域を徐々に拡大させるような符号削減をそれぞれ行うことができる。そして、請求項９，１０の発明によれば、クライアント装置側でプログレッシブ方式を選択することができる。

また、請求項４乃至８，１０の発明によれは、高品質で再生させる部分、高品質部分とそれ以外の部分の画像品質の差の程度などを、クライアント装置側より制御することが可能であり、特に請求項１０の発明によれば、そのような制御をグラフィカル・ユーザインターフェースを介して容易に行うことができる。

また、請求項１３乃至１５の発明によれば、コンピュータを利用し、請求項１乃至９，１２の発明を容易に実施することができる。
等々の効果を得られる。

以下に説明する本発明の好ましい実施形態において扱われる動画像は、その各フレームを構成する静止画像が独立にＪＰＥＧ２０００のアルゴリズムにより符号化され、また復号されるため、実施の形態の説明に先立ちＪＰＥＧ２０００の概要を説明する。ただし、本発明において、ＪＰＥＧ２０００は好適ではあるが、他の符号化アルゴリズムを利用することも可能であることは明らかである。

図１６にＪＰＥＧ２０００の符号化処理の典型的なフローを示す。
例えばＲＧＢの３コンポ−ネントで構成されるカラー画像を符号化する場合、各コンポーネントは重複しないタイルに分割され、各コンポーネントの各タイル毎に処理が行われる。タイルのサイズはユーザにより指定可能であり、タイルサイズを画像サイズと一致させることも可能である。つまり、タイル分割を行わないことも可能である。

各タイル毎に、ＤＣレベルシフトと輝度・色差コンポ−ネントへの色変換がなされる。ただし、ＤＣレベルシフト及び色変換は必須ではない。

次に、各コンポーネントの各タイル毎にウェーブレット変換（離散ウェーブレット変換）が行われる。ＪＰＥＧ２０００では、ウェーブレット変換として可逆の５×３ウェーブレット変換と非可逆の９×７ウェーブレット変換が規定されている。ウェーブレット変換のデコンポジションレベル数（ウェーブレット変換の適用回数、階層数）はユーザにより指定可能である。

ウェーブレット係数は、サブバンド毎に、（９×７ウェーブレット変換が用いられる場合には線形量子化された後に）エントロピー符号化されるが、通常、圧縮効率を高めるため、ウェーブレット係数はビットプレーンに分解され、ビットプレーンを単位としたエントロピー符号化（ビットプレーン符号化）が行われる。正確には、ビットプレーンは３つのサブビットプレーンに細分化されて符号化（サブビットプレーン符号化）される。

そして、得られた符号の中から不要な符号がトランケート（破棄）され、必要な符号がまとめられてパケットが生成される。最後に、パケットが所定の順序に並べられ、また必要なタグ又はタグ情報が付加されることにより、所定のフォーマットのコードストリーム（符号化データ）が形成される。

復号化処理は符号化処理と丁度逆の処理である。コードストリームは各コンポーネントの各タイルのコードストリームに分解され、エントロピー復号によりウェーブレット係数に戻される。ウェーブレット係数は、符号化時に量子化されている場合には逆量子化された後、逆ウェーブレット変換が施されて画素値に戻される。符号化時にＤＣレベルシフトと色変換が適用された場合には、逆ウェーブレット変換後の画素値に逆色変換と逆ＤＣレベルシフトが適用され、元のＲＧＢの画素値に戻される。

符号化時のエントロピー符号化、パケット生成、符号形成についてさらに説明する。
図１７に、画像、タイル、サブバンド、プリシンクト、コードブロックの関係を示す。ここではタイルサイズと画像サイズが同一（タイル分割数＝１）とされている。また、ウェーブレット変換のデコンポジションレベル数は３であり、サブバンドとして、デコンポジションレベル１の１ＬＨ，１ＨＬ，１ＨＨの各サブバンド、デコンポジションレベル２の２ＬＨ，２ＨＬ，２ＨＨの各サブバンド、デコンポジションレベル３の３ＬＬ，３ＬＨ，３ＨＬ，３ＨＨの各サブバンドがある。

プリシンクトとは、サブバンドを（ユーザが指定可能なサイズの）矩形に分割したもので、画像中の大まかな場所を表すものである。ＨＬ，ＬＨ，ＨＨの各サブバンドを分割したプリシンクトについては、各サブバンドの対応位置のプリシンクト（合計３個）がひとまとまりとして扱われる。ただし、ＬＬサブバンドを分割したプリシンクトは、１つでひとまとまりとして扱われる。プリシンクトはサブバンドと同じサイズにすることもできる。プリシンクトを（ユーザが指定可能なサイズの）矩形に分割したものが、コードブロックである。サブバンドの係数はコードブロック毎に符号化される。

プリシンクトに含まれる全てのコードブロックから、符号の一部を取り出して集めたもの（例えば、全てのコードブロックのMSBから３枚目までのビットプレーンの符号を集めたもの）がパケットである。

また、ＪＰＥＧ２０００では、レイヤー構造をとることができる。全てのプリシンクト（＝全てのコードブロック＝全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の、MSBから３枚目までのビットプレーンの符号）ができるが、これをレイヤーと呼ぶ。レイヤーは、大まかには画像全体のビットプレーンの符号の一部であるから、復号されるレイヤー数が増えれば画質は上がる。すなわち、レイヤはいわば画質の単位である。

図１８は、デコンポジションレベル数（階層数)＝２，プリシンクトサイズ＝サブバンドサイズ、としたときのレイヤー構造の例を示し、また、図１９に、レイヤーに含まれるパケットの例が太線で囲んで示されている。ここに示す例では、プリシンクトサイズ＝サブバンドサイズであり、またプリンシンクトの大きさと同じ大きさのコードブロックを採用しているため、デコンポジションレベル２のサブバンドは４つのコードブロックに、デコンポジションレベル１のサブバンドは９個のコードブロックに、それぞれ分割されている。パケットはプリシンクトを単位とするものであるから、プリシンクト＝サブバンドとした場合には、パケットはＨＬ〜ＨＨサブバンドをまたいだものとなる。

ここで、パケットは「コードブロックの符号の一部を取り出して集めたもの」であり、不要な符号はパケットとして生成する必要はない。例えば、図１８のレイヤー９に含まれる様な下位ビットプレーンの符号は破棄（トランケート）されるのが通常である。したがって、トランケーションによる画質制御は、コードブロック単位（かつサブビットプレーン単位）で可能である。つまり、トランケーションによる画質制御単位はコードブロックである。

また、ＪＰＥＧ２０００では、パケットの生成方法及びパケットの並び順の多様な制御が可能であり、解像度プログレッシブ方式、画質プログレッシブ方式、コンポーネントプログレッシブ方式、位置プログレッシブ方式の符号を形成できる。

なお、本発明においては符号量調整のための符号削減が行われるが、その符号削減は図１６に示したパケット生成段階での符号破棄、符号形成段階での符号破棄、符号形成後の符号破棄によって行うことができ、さらにビットプレーン符号化の段階での係数破棄によて実質的な符号破棄を行うこともできる。このように、再符号化を行うことなく、様々な段階で、かつ柔軟な符号量調整が可能であることは、ＪＰＥＧ２０００の特長の一つであり、また、本発明の実施の形態においてＪＰＥＧ２０００が選ばれた理由の一つでもある。

以下、本発明の好ましい実施の形態について説明する。図１は、その説明のためのブロック図である。

ここに示す本発明の動画像配信システム１００は、本発明の画像サーバ装置１０１と、１台以上の本発明のクライアント装置１０２をネットワーク１０３（例えば、インターネット、ＬＡＮ、イントラネット）の回線経由で接続した構成である。画像サーバ装置１０１は、動画像を符号化してクライアント装置１０２へストリーミング配信することができる。

画像サーバ装置１０１は、ネットワーク１０３を介してクライアント装置１０２との間で通信を行うための通信インターフェース部２０１、動画像データを蓄積している画像記憶部２０２、動画像データの符号化処理を行う符号化処理部２０３、符号化処理の際の符号削減に関連したブロック分類を行うブロック分類部２０４、及び、クライアント装置１０２より受信する各種メッセージの管理及び各部の制御を行う制御部２０５を備えた構成である。

クライアント装置１０２より、受信処理環境、プログレッシブ方式に関する指示、ブロックの重要度に関する指示、符号削減量の差の程度に関する指示、ブロック数の差の程度に関する指示などをメッセージとして受信するが、その受信内容は制御部２０５の記憶域２０６に記憶される。すなわち、制御部２０６は、通信インターフェース部２０１とともに、それら情報を取得する手段でもある。記憶域２０６の記憶内容は、符号化処理部２０３及びブロック分類部２０４より参照される。

クライアント装置１０２は、ネットワーク１０３を介して画像サーバ装置１０１との間で通信を行うための通信インターフェース部３０１、受信した動画像の符号化データ（コードストリーム）の復号処理を行う復号処理部３０２、復号された画像の表示及びユーザインターフェースのための表示装置３０３、ポインティングデバイスなどのユーザ入力装置３０４、パケットロスや伝送遅延などからネットワーク回線の状況を判定する回線状況判定部３０５、画像サーバ装置１０１へ送信するメッセージの作成と、その送信や各部の動作の制御を行う制御部３０６を備えた構成である。

制御部３０６により作成され送信されるメッセージの内容としては、受信処理環境、プログレッシブ方式に関する指示、ブロックの重要度に関する指示、符号削減量の差の程度に関する指示、ブロック数の差の程度に関する指示、プログレッシブ方式の指示がある。

なお、受信処理環境とは、配信された動画像をリアルタイムに復号・表示する能力の状況であり、具体的には、回線状況判定部３０５により判定された回線状況、復号処理能力（復号処理部３０２の処理速度、受信バッファやワークメモリの容量など）、又は、その両方を用いることができる。回線速度が遅く、回線状況によって受信能力が決まるような環境では、回線状況のみを受信処理環境として用いるのが妥当であろう。回線速度が速く、復号処理能力によって受信能力が左右されような環境では、復号処理能力を受信処理環境として用いるのが妥当であろう。回線状況と復号処理能力の両方を考慮する必要がある環境では、回線状況と復号処理能力の両方を合わせて受信処理環境として用いるのが妥当であろう。どのような内容の受信処理環境を用いるかは、個々のクライアント装置１０２で選択することができる。上記指示に関しては後に詳しく説明する。

クライアント装置１０２は、各種指示などを行うためのグラフィカル・ユーザインターフェース（ＧＵＩ）を提供する。その例について次に説明する。

図２は、そのようなＧＵＩのための表示装置３０３の画面表示の例を示す。図２において、３１０は画像表示領域である。３１２はユーザが注目ブロックの決定方法を選択するための領域で、この例では「自動」と「手動」のボタンがある。３１３はユーザがプログレッシブ方式を指示するための領域で、この例では「解像度」（解像度プログレッシブ方式）、「画質」（画質プログレッシブ方式）、「色」（コンポーネントプログレッシブ方式）、「位置」（位置プログレッシブ方式）のボタンがある。３１４は、ユーザが注目ブロックと非注目ブロックの符号削減量の差の程度、又は、注目ブロックと非注目ブロックの個数の差の程度を指示するための領域で、この例では、「自動」、「小」、「中」、「大」のボタンがある。３１５はユーザの指示操作の終了を入力するためのボタンである。

画像サーバ装置１０１は、あるクライアント装置１０２へ動画像を配信する場合、動画像の最初のフレームについては全てのブロックを注目ブロックとして扱って符号化処理を行い、所定のプログレッシブ方式の符号を生成して送信する。第２フレーム以降の送信は、クライアント装置１０２からの指示を受けてから開始する。

クライアント装置１０２においては、復号処理部３０２で最初のフレームの復号処理を行い、その画像を表示装置３０３の画面上の画像表示領域３１０に表示するが、その際、画像に重ねてブロックの分割線（図２中の格子線）も表示する。なお、この実施の形態においては、符号化処理の際にタイル分割を行い、各タイルをブロックとして扱う。したがって、ブロックの分割線はタイル分割線に相当する。ただし、より小さな領域、例えばプリシンクトをブロックとして扱うことも可能である。なお、第２フレーム以降の処理時には、ブロック分割線は表示されず、動画像の各フレームの画像のみ表示される。

クライアント装置１０２のユーザは、領域３１２の「自動」又は「手動」のボタンを選ぶことができる。ユーザにより「自動」ボタンが選択された場合には、画像サーバ装置１０１側がブロックの重みを自動的に評価して注目ブロックの決定（注目ブロックと非注目ブロックの分類）を行う。

「手動」ボタンが選択された場合には、ユーザは、画像表示領域３１０上で重要と考えるブロックを指定することができる。例えば、マウスのポインタをブロックに移動させ、クリックすることによりブロックの指定が行われる。指定したブロックに対し、指定操作を再度行うことにより指定が取り消される。このようにして指定された各ブロックは高い重要度が指示され、それ以外の各ブロックは低い重要度が指示されたことになる。なお、ＧＵＩの変更により、各ブロック毎に３段階以上の重要度を指示することも容易であることは明白であろう。そのような指示を行う態様も本発明に包含される。

ユーザは、領域３１３のボタンの選択によりプログレッシブ方式を指示することができ、さらに、領域３１４のボタンの選択により「程度」を指示することができる。画像サーバ装置１０１では、配信先のクライアント装置１０２の受信処理環境が悪化するほど、注目ブロックと非注目ブロックの符号削減量の差を増加させ、あるいは、注目ブロック数と非注目ブロック数の差を増大させるが、その差の程度を指示するものが上記「程度」の指示である。その指示の内容はプログレッシブ方式によって異なる。

すなわち、解像度プログレッシブ方式、画質プログレッシブ方式、又は、コンポーネントプログレッシブ方式が選択された場合には、「程度」の指示は注目ブロックと非注目ブロックの符号削減量の差の程度に関する指示である。つまり、「自動」ボタンを選択することにより符号削減量の差の程度を画像サーバ装置１０１で決められた基準によることを指示できる。「小」、「中」又は「大」ボタンを選択することにより、符号量削減量の差の程度を小、中、大にすることを指示できる。なお、ボタンに代えてスライドバーを用いることも可能である。

この「小」、「中」、「大」の指示は、ブロック毎に個別に指示することもできる。すなわち、例えば、「小」を選択してブロックを選択することにより、当該ブロックに関して「小」を指示することができる。「中」、「大」についても同様にブロック毎に指示することができる。

他方、位置プログレッシブ方式が選択された場合には、「程度」の指示は注目ブロックと非注目ブロックの個数の差の程度に関する指示である。つまり、「自動」ボタンの選択は、個数の差の程度を画像サーバ装置１０１で決められた基準によることを指示することである。「小」、「中」又は「大」ボタンの選択は、符号量削減量の差の程度を小、中、大にすることを指示することである。

なお、ＧＵＩはこの例に限定するものではなく、様々な変形が許される。

以上のようなＧＵＩを利用したユーザによる必要な指示をし終えたならば、ユーザは指示終了ボタン３１５を例えばクリックすることによって、指示終了を入力する。なお、キーボードのリターンキーの押下などによって指示終了を入力してもよい。

クライアント装置１０２において、制御部３０６は、指示終了が入力されると、ユーザによる指示内容及び受信処理環境（例えば回線状況判定部３０５により判定された回線状況）のメッセージを作成し、通信インターフェース３０１を介し画像サーバ装置１０１へ送信し、また、動画像の第２フレーム以降の配信要求をクライアント装置１０２へ送信する。そして、画像サーバ装置１０１は、クライアント装置１０１から受信した各種指示の内容及び受信処理環境に従って、動画像の第２フレーム以降の各フレームの符号化処理を制御し、生成された符号化データをクライアント装置１０２へ送信する。なお、動画像の第２フレーム以降の各フレーム周期毎に、受信処理環境のメッセージは画像サーバ装置１０１へ送信される。

図３は、ここまで述べたクライアント装置１０２の動作のタイミング関係の説明図である。T=T0の時刻で動画像の第１フレームを受信し、それを復号して表示する。そして、前述のような各種の指示操作が終了したT=T1の時刻から、フレーム周期毎に、回線状況判定が繰り返され、回線状況などの受信処理環境が画像サーバ装置１０１へ送信されるとともに、受信したフレームの復号・表示が行われる。画像サーバ装置１０１では、各フレーム毎に、その時点の受信処理環境に応じて、クライアント装置１０２がフレーム周期内で各フレームの復号・表示を行うことができるような符号化処理が行われる。したがって、クライアント装置１０２に大きな受信バッファを設けることなく、リアルタイム動画配信において、配信途中で回線状況が悪化したような場合でも、駒落ちのない動きの滑らかな映像を見ることができる。また、回線状況の悪化などにより受信処理環境が悪化した場合でも、後に具体的に説明するように、画像全体の再生品質が低下するのではなく、少なくとも注目ブロックに対応する重要な部分については良好な再生品質が維持される。

次に、画像サーバ装置１０１について詳細に説明する。
図４は、動画像の第２フレーム以降の各フレームに関する画像サーバ装置１０１の概略処理フローである。まず、ブロック分類部２０４において、フレームを構成する静止画像の各ブロック（ここでは各タイル）を、その優先度に従い注目ブロックと非注目ブロックに分類する処理が行われる（ステップＳ１）。次に、符号化処理部２０３によりフレームの符号化処理が行われる（ステップＳ２）。最後に、生成された符号化データ（コードストリーム）が送信される（ステップＳ３）。以下の説明は、ステップＳ１，Ｓ２の詳細内容と装置構成に関連するものである。

ブロック分類部２０４は、動画像の各フレームの静止画像を分割したブロック（前述のように、ここではタイル分割によるタイル）を、その重要度に従って注目ブロックと非注目ブロックに分類し、その分類情報を符号化処理部２０３に与える手段である。制御部２０６は、クライアント装置１０２より受信した指示及び受信処理環境を記憶域２０６に記憶するが、その受信処理環境、ブロックの重要度の指示、注目ブロックと非注目ブロックの個数差の程度の指示、プログレッシブ方式の指示をブロック分類部２０４から参照することができる。受信処理環境はフレーム毎に更新される。

クライアント装置１０２よりブロック重要度に関し「自動」を指示された場合、ブロック分類部２０４は、予め決められた基準に基づいて各ブロックの重要度を評価する。その具体例について次に説明する。

一つの実施例においては、ブロック毎の重要度をランク付けした例えば図５の様なテーブルが予め用意される。図５のテーブルにおいて、数字１が付けられたブロックは最も重要度が高く、数字２５が付けられたブロックは最も重要度が低いことを意味する。この例では、画像中央のブロックに最も高い重要度が割り当てられ、画像端に向かって渦巻き状に重要度が低下する。ブロック分類部２０４は、そのランク付けに従い、重要度の高いブロックから注目ブロックを選ぶ。

別の実施例においては、各ブロックにおける「動き量」を検出し、動き量を例えば大、中、小の３段階に分類する。その例を図６に示す。動き量の大きなブロックでは、圧縮率が高いと画像品質の劣化が顕著である。このことに鑑み、ブロック分類部２０４においては、動き量が大のブロックの重要度を最も高く評価し、動き量が小のブロックの重要度を最も低く評価し、そして、重要度の高いブロックから注目ブロックを選ぶ。

なお、ブロックの移動量の検出方法は任意である。例えば、ブロック毎にフレーム間の差分をとる方法を用いることができる。また、動画像の各フレームの静止画像が、奇偶２フィールドのインターレース画像から合成されたものである場合には、符号化処理の過程で得られるウェーブレット変換係数に基づいて動き量を検出することができる。その詳細は、特開２００２−６４８３０号公報、本出願人に係る特願２００２−２８９８０７号、特願２００２−３００４６８号、特願２００２−３００４７６号、及び、特願２００２−３６０８０９号の願書に添付された明細書及び図面に譲るが、要するに、フィールド間の動きにより生じる「櫛形」の影響が１ＬＨサブバンド係数に強く表れることを利用し、動き量を検出することができる。

さらに別の実施例においては、例えば各ブロックのエッジ量を検出し、エッジ量に基づいて文字ブロックと絵柄ブロックを識別し、文字ブロックの重要度を高く評価し、絵柄ブロックの重要度を低く評価する。文字ブロック相互間、絵柄ブロック相互間では、エッジ量が大きいものほど重要度を高く評価する。

クライアント装置１０２より「手動」によるブロック重要度の指示が与えられた場合には、ブロック分類部２０４は、その指示に従ってブロックの重要度を評価する。例えば、クライアント装置１０２のユーザにより指定されたブロック（図２中の網掛けされたブロック）の重要度を最も高く評価し、それらブロックから遠いブロックほど、その重要度を下げるように評価する。そして、重要度の高いブロックから優先的に注目ブロックに分類する。

また、プログレッシブ方式に関し、「位置プログレッシブ方式」を指示された場合、ブロック分類部２０４は、受信処理環境が悪化するほど、非注目ブロックの個数を増加させることにより、注目ブロックと非注目ブロックの個数の差を増大させる。この際、注目ブロックの中から、重要度の低いものから順に非注目ブロックへ変更する。その個数の差を増大させる程度は、それに関する指示に従って制御される。すなわち、「程度」に関して「自動」が指示された場合には、ブロック分類部２０４は、予め設定された標準的な程度に従って個数の差を増大させる。「程度」に関し、「小」、「中」又は「大」が指示された場合には、「小」、「中」又は「大」に対応した程度に従って個数の差を増大させる。

符号化処理部２０３は、ＪＰＥＧ２０００のアルゴリズムにより各フレームの符号化処理を行う手段であるが、クライアント装置１０２で各フレームをフレーム周期内で復号・表示することができるよう各フレームの符号量を調整するために、必要な符号削減を行う。この符号削減は、注目ブロックより非注目ブロックに対し優先的に行われる。制御部２０５の記憶域２０６に記憶されている受信処理環境、その他指示の内容は、符号化処理部２０３から参照可能である。

符号化処理部２０３は、クライアント装置１０２より指示されたプログレッシブ方式に従った符号を生成する。解像度プログレッシブ方式、画質プログレッシブ方式又はコンポーネントプログレッシブ方式を指示された場合には、符号化処理部２０３は、受信処理環境が悪化するほど、注目ブロックに対する符号削減量と非注目ブロックに対する符号化削減量の差を増大させるように符号削減の制御を行う。その符号削減量の差を増大させる程度は、それに関する指示に従って制御される。すなわち、「程度」に関して「自動」が指示された場合には、符号化処理部２０３は、予め設定された標準的な程度に従って符号削減量の差を増大させる。「程度」に関し、「小」、「中」又は「大」が指示された場合には、「小」、「中」又は「大」に対応した程度に従って符号削減量の差を増大させる。なお、コンポーネントプログレッシブ方式の場合、色差コンポーネントの符号が優先して削減される。

プログレッシブ方式として位置プログレッシブ方式が指示され場合には、上に述べたような符号削減量の制御は行われず、注目ブロックと非注目ブロックの符号削減量の差は、受信処理環境に関わらず一定である。符号量の調整は、非注目ブロックの個数の増減によって行われるからである。ただし、この場合においても、受信処理環境に応じて符号削減量の差を変化させることも可能であり、かかる態様も本発明に包含される。

図７乃至図１０により、各プログレッシブ方式において、回線状況（受信処理環境）が良好な場合と不良の場合における再生画像の品質について説明する。

図７は、解像度プログレッシブ方式の場合の再生画像例を示す。回線状況が良好な場合は、左図のように全てのブロックの解像度は良好で、画像全体がクリアである。回線状況が不良な場合、右図のように、注目ブロック（この例では人物の顔の部分）は符号が削減されないか削減量が小さいために解像度は良好であるが、それ以外のブロックでは符号削減量が大きいために解像度が悪化し不鮮明である。このように全体としては画像の品質は悪化するが、重要な人物の顔の部分の品質は良好である。

図８は、画質プログレッシブ方式の場合の再生画像例を示す。回線状況が良好な場合は、左図のように全てのブロックの画質は良好で、画像全体が高画質である。回線状況が不良な場合、右図のように、注目ブロック（この例では人物の顔の部分）は符号が削減されないか削減量が小さいために高画質であるが、それ以外のブロックでは符号削減量が大きいために画質が悪化する。このように全体としては画像の品質は悪化するが、重要な人物の顔の部分の品質は良好である。

図９は、コンポーネントプログレッシブ方式の場合の再生画像例を示す。回線状況が良好な場合は、左図のように全てのブロックの色再生は良好である（作図の制約から色は表すことができない）。回線状況が不良な場合、右図のように、注目ブロック（この例では人物の顔の部分）は色差の符号が削減されないか又は削減量が小さいために色再生は良好であるが、それ以外のブロックについては、この例では色差の符号が完全に破棄され白黒で再生される。なお、非注目ブロックで色差の符号を部分的に破棄することも可能であり、この場合は色味が不自然になる。

図１０は、位置プログレッシブ方式の場合の再生画像例を示す。回線状況が良好な場合は、全てのブロックが注目ブロックとされ、左図のように画像全体が高画質である。回線状況が不良な場合、非注目ブロックが増加するため、右図のように、注目ブロック（この例では人物の顔の部分）は符号が削減されないか削減量が小さいために高画質であるが、それ以外のブロックでは符号削減量が大きいために画質が悪化する。

図１１乃至図１５は、各プログレッシブ方式における符号構成と符号削減の例を説明するための模式図である。

図１１は解像度プログレッシブ方式の場合の例を説明する図である。ここでは４つのタイル（ここではタイル＝ブロック）に分割され、２階層で符号化されている。回線状況が良好な場合は、上図のように各タイルの全ての階層の符号がそのまま送信される。回線状況が悪化すると、注目ブロックであるタイル２以外の３つのタイル（非注目ブロック）については下層（デコンポジションレベル１）のサブバンドの符号が破棄される。この例では、デコンポジションレベル１の全てのサブバンドの符号が破棄されているが、回線状況の悪化の程度により、例えば、１ＨＨ，１ＬＨ，１ＨＬのサブバンドの符号をその順に破棄するような制御も可能である。また、回線状況がさらに悪化した場合に、デコンポジションレベル２の２ＨＨ，２ＬＨ，２ＨＬのサブバンドの符号をその順に破棄するような制御も可能である。また、この例では注目ブロックの符号は全く破棄されていないが、注目ブロックについても例えば１ＨＨサブバンドの符号を削除するような符号削減も可能である。ただし、回線状況（より広くは受信処理環境）が悪化するほど、注目ブロックと非注目ブロックの削減符号量の差を増大させるように符号削減が行われる。さらに付言すれば、符号破棄はサブバンド単位である必要はなく、例えば、サブバンドのビットプレーン単位で下位ビットプレーンから符号を破棄するような符号削減も可能である。

図１２は画質プログレッシブ方式の場合の例を説明する図である。ここでは４つのタイル（ここではタイル＝ブロック）に分割されて符号化されており、符号はビットプレーン単位で上位のビットプレーンから順に並べられている。回線状況が良好な場合は、上図のように各タイルの全てのビットプレーンの符号がそのまま送信される。回線状況が悪化すると、下図のように、注目ブロックであるタイル２以外の３つのタイル（非注目ブロック）については下位のビットプレーン（図示の例では３ビットプレーン）の符号が破棄される。なお、この例では注目ブロックの符号は全く破棄されていないが、注目ブロックについても下位のビットプレーンの符号を破棄するような符号削減も可能である。ただし、回線状況（より広くは受信処理環境）が悪化するほど、注目ブロックと非注目ブロックの削減符号量の差を増大させるように符号削減が行われる。また、ビットプレーン単位ではなくサブビットプレーン単位での符号破棄も可能である。

図１３も画質プログレッシブ方式の場合の例を説明する図である。ただし、この例では符号はマルチレイヤ構造であり、符号はレイヤ単位で上位のレイヤから順に並べられている。回線状況が良好な場合は、上図のように各タイルの全てのレイヤの符号がそのまま送信される。回線状況が悪化すると、下図のように、注目ブロックであるタイル２以外の３つのタイル（非注目ブロック）については下位のレイヤ（図示の例では３レイヤ）の符号が破棄される。なお、この例では注目ブロックの符号は全く破棄されていないが、注目ブロックについても下位のレイヤの符号を破棄するような符号削減も可能である。ただし、回線状況（より広くは受信処理環境）が悪化するほど、注目ブロックと非注目ブロックの削減符号量の差を増大させるように符号削減が行われる。

図１４はコンポーネントプログレッシブ方式の場合の例を説明する図である。ここでは４つのタイル（タイル＝ブロック）に分割されて符号化されており、符号はコンポーネント単位でＹ（輝度）、Ｃｂ，Ｃｒ（色差）の順に並べられている。回線状況が良好な場合は、上図のように各タイルの全てのコンポーネントの符号がそのまま送信される。回線状況が悪化すると、下図のように、注目ブロックであるタイル２以外の３つのタイル（非注目ブロック）についてはＣｒ，Ｃｂの符号が破棄される。色差の符号をビットプレーン単位で破棄するような符号削減も可能であることは当然である。

図１５は位置プログレッシブ方式の場合の例を説明する図である。この例では、タイル＝ブロック）であり、各タイルの符号はビットプレーン単位で上位ビットプレーンから並べられているため符号構造は図１２と同一である（例えば、プリシンクトをブロックとした場合には、各タイルの符号はプリシンクト単位で並ぶ）。回線状況がやや悪い場合は、上図のようにタイル２，３が注目ブロックとされ、タイル１，４が非注目ブロックとされ、非注目ブロックについては下位の３つのビットプレーンの符号が破棄される。回線状況がさらに悪化すると、下図のように、タイル２のみが注目ブロックとされ、それ以外の３つのタイルは非注目ブロックとされ、非注目ブロックについて下位の３つのビットプレーンの符号が破棄される。

なお、画像サーバ装置１０１に、各クライアント装置１０２との間の回線の状況を判定する手段を設け、該手段により判定した回線状況に従って前述のような符号削減制御あるいはブロック分類制御を行ってもよく、かかる態様も本発明に包含される。ただし、この場合においても、クライアント装置１０２より通知される復号処理能力、あるいは、その復号処理能力と回線状況を、受信処理環境として用いることも可能である。

以上に説明した本発明に係る画像サーバ装置１０１及びクライアント装置１０２は、パソコンなどの通信インターフェースを備えるコンピュータを利用し、プログラムにより実現することも可能である。すなわち、図１に示したような各装置の各手段を１つ又は複数のプログラムにより実現する形態も本発明に包含される。そのようなプログラム、及び、同プログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などの各種情報記録（記憶）媒体も本発明に包含される。

さらに、画像サーバ装置１０１における本発明の動画像配信方法の手順、すなわち、少なくとも図４に示したステップＳ１，Ｓ２を含む手順をコンピュータ上でプログラムにより実行させることも可能である。そのためのプログラム、及び、同プロクラムが記録された各種情報記録（記憶）媒体も本発明に包含される。

本発明の実施の形態を説明するためのブロック図である。 クライアント装置のグラフィカル・ユーザインターフェースの例を示す模式図である。 クライアント装置の動作タイミングの説明図である。 画像サーバ装置の概略処理フローを示すフローチャートである。 ブロックの重要度のランク付け例を示す図である。 ブロックの動き量の例を示す図である。 解像度プログレッシブ方式の場合における回線状況良好時と回線状況不良時の画像再生例を示す図である。 画質プログレッシブ方式の場合における回線状況良好時と回線状況不良時の画像再生例を示す図である。 コンポーネントプログレッシブ方式の場合における回線状況良好時と回線状況不良時の画像再生例を示す図である。 位置プログレッシブ方式の場合における回線状況良好時と回線状況不良時の画像再生例を示す図である。 解像度プログレッシブ符号とその符号削減の例を示す模式図である。 画質プログレッシブ符号とその符号削減の例を示す模式図である。 マルチレイヤ構造の画質プログレッシブ符号とその符号削減の例を示す模式図である。 コンポーネントプログレッシブ符号とその符号削減の例を示す模式図である。 位置プログレッシブ符号とその符号削減の例を示す模式図である。 ＪＰＥＧ２０００の処理アルゴリズムを説明するためのブロック図である。 画像、タイル、サブバンド、プリシンクト、コードブロックの関係を説明するための図である。 マルチレイヤ構造の例を示す図である。 レイヤを構成するパケットの例を示す図である。

符号の説明

１００ 動画像配信システム
１０１ 画像サーバ装置
１０２ クライアント装置
１０３ ネットワーク
２０１ 通信インターフェース部
２０２ 画像記憶部
２０３ 符号化処理部
２０４ ブロック分類部
２０５ 制御部
２０６ 記憶域
３０１ 通信インターフェース部
３０２ 復号処理部
３０３ 表示装置
３０４ ユーザ入力装置
３０５ 回線状況判定部
３０６ 制御部

Claims (15)

1. 動画像をクライアント装置へ配信する画像サーバ装置であって、
   配信先のクライアント装置との間の回線の状況、配信先のクライアント装置の復号処理能力、又はその両方を、配信先のクライアント装置の受信処理環境として取得する手段と、
   動画像の各フレームの静止画像を分割したブロックを、その重要度に従い注目ブロックと非注目ブロックとに分類するブロック分類手段と、
   動画像の各フレームの静止画像を独立に符号化し、解像度プログレッシブ方式、画質プログレッシブ方式、コンポーネントプログレッシブ方式又は位置プログレッシブ方式の符号を生成する符号化処理手段とを有し、
   前記符号化処理手段は、注目ブロックより優先して非注目ブロックに対し符号削減を行い、解像度プログレッシブ方式、画質プログレッシブ方式又はコンポーネントプログレッシブ方式の符号を生成する場合、前記受信処理環境が悪化するにつれて、注目ブロックに対する符号削減量と非注目ブロックに対する符号削減量との差を増加させ、
   前記ブロック分類手段は、前記符号化処理手段により位置プログレッシブ方式の符号が生成される場合、前記受信処理環境が悪化するにつれて非注目ブロックの個数を増加させることを特徴とする画像サーバ装置。
2. 請求項１に記載の画像サーバ装置において、前記ブロック分類手段は、各フレームの静止画像の中央に近いブロックほど重要度を高く評価することを特徴とする画像サーバ装置。
3. 請求項１に記載の画像サーバ装置において、前記ブロック分類手段は動き量の大きいブロックほど重要度を高く評価することを特徴とする画像サーバ装置。
4. 配信先のクライアント装置よりブロックの重要度の指示を取得する手段を有し、
   前記ブロック分類手段は前記重要度指示に従ってブロックの重要度を評価することを特徴とする請求項１に記載の画像サーバ装置。
5. 配信先のクライアント装置より、注目ブロックと非注目ブロックの符号削減量の差の程度の指示を取得する手段を有し、
   前記符号化処理手段は、前記差の程度の指示に従って注目ブロックと非注目ブロックの符号削減量の差を制御することを特徴とする請求項１又は４に記載の画像サーバ装置。
6. 配信先のクライアント装置より、注目ブロックと非注目ブロックの個数の差の程度の指示を取得する手段を有し、
   前記ブロック分類手段は、前記差の程度の指示に従って注目ブロックと非注目ブロックの個数の差を制御することを特徴とする請求項１又は４に記載の画像サーバ装置。
7. 前記差の程度の指示はブロック毎に指示可能であることを特徴とする請求項５又は６に記載の画像サーバ装置。
8. 配信先のクライアント装置よりブロックの重要度の指示を取得する手段と、
   配信先のクライアント装置より、注目ブロックと非注目ブロックの符号削減量の差の程度の指示を取得する手段と、
   配信先のクライアント装置より、注目ブロックと非注目ブロックの個数の差の程度の指示を取得する手段とを有し、
   前記ブロック分類手段は、前記重要度指示に従ってブロックの重要度を評価し、
   前記符号化処理手段は、解像度プログレッシブ方式、画質プログレッシブ方式又はコンポーネントプログレッシブ方式の符号を生成する場合、前記符号削減量の差の程度の指示に従って注目ブロックと非注目ブロックの符号削減量の差を制御し、
   前記ブロック分類手段は、前記符号化処理手段により位置プログレッシブ方式の符号が生成される場合、前記個数の差の程度の指示に従って注目ブロックと非注目ブロックの個数の差を制御することを特徴とする請求項１に記載の画像サーバ装置。
9. 配信先のクライアント装置よりプログレッシブ方式の指示を取得する手段を有し、
   前記符号化処理手段は該指示に従ったプログレッシブ方式の符号を生成することを特徴とする請求項１又は８に記載の画像サーバ装置。
10. 請求項４，５，６，７，８又は９に記載の画像サーバ装置より動画像の配信を受けるクライアント装置であって、前記画像サーバ装置に対する前記指示を入力するためのグラフィカル・ユーザインターフェースを備えることを特徴とするクライアント装置。
11. 請求項１乃至９のいずれか１項に記載の画像サーバ装置と、該画像サーバ装置より動画像の配信を受けるクライアント装置とからなる動画像配信システム。
12. 動画像をクライアント装置へ配信する画像サーバ装置における動画像配信方法であって、
    配信先のクライアント装置との間の回線の状況、配信先のクライアント装置の復号処理能力、又はその両方を、配信先のクライアント装置の受信処理環境として取得するステップと、
    動画像の各フレームの静止画像を分割したブロックを、その重要度に従い注目ブロックと非注目ブロックとに分類するステップと、
    動画像の各フレームの静止画像を独立に符号化し、解像度プログレッシブ方式、画質プログレッシブ方式、コンポーネントプログレッシブ方式又は位置プログレッシブ方式の符号を生成するステップとを有し、
    前記符号化のステップでは、注目ブロックより優先して非注目ブロックに対し符号削減を行い、解像度プログレッシブ方式、画質プログレッシブ方式又はコンポーネントプログレッシブ方式の符号を生成する場合、配信先のクライアント装置の前記受信処理環境が悪化するにつれて注目ブロックに対する符号削減量と非注目ブロックに対する符号削減量との差を増加させ、
    前記ブロック分類のステップでは、前記符号化のステップで位置プログレッシブ方式の符号が生成される場合、前記受信処理環境が悪化するにつれて非注目ブロックの個数を増加させることを特徴とする動画像配信方法。
13. 請求項１乃至９のいずれか１項に記載の画像サーバ装置の各手段としてコンピュータを機能させるプログラム。
14. 請求項１２に記載の動画像配信方法の各ステップをコンピュータに実行させるプログラム。
15. 請求項１３又は１４に記載のプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。

Images