JP4517685B2 - 動画像符号化装置、動画像復号装置及び動画像強調変換システム - Google Patents

Description

本発明は、動画像符号化装置、動画像復号装置及び動画像強調変換システムに関し、例えば、カメラなどによって入力された動画像データの全部若しくは一部分を受信側で強調して表示することができるようにしようとしたものである。

例えば、高齢者等の行動特性として、視認される全景のうちの、どの部分が重要であるかを認知するために、一つ一つ全部を見る傾向にあると言われている。このため、視覚に基づいた状況判断等が完了するまでに余計な時間が掛かってしまうことになる。また、高齢者や過度に疲労した人などに多く見られる傾向として、動くものを認知、判断する能力が低くなるということが挙げられる。

このような高齢者等に特有の運動生理学的な問題に対しては、画像表示装置によって重要な部分の画像を強調して見せるようにするという方策や、重要でない部分は表示しない、又は、薄く表示することによって、重要な部分を相対的に強調して見せるようにする、などの方策が有効であると考えられている。

上記の高齢者の場合の一例のように、全画像のうちの重要な部分のみを強調して見せるようにすることが必要とされる場合は多いが、そのような画像の強調方法としては、例えば、特許文献１にて提案された技術がある。

これは、自動車の周囲の状況の画像情報に対して上記のような強調を行うための技術として提案されたものである。この技術は、強調する領域を特定するに際して、そのときの自動車のハンドル、方向指示器、障害物センサなどの動きや状態に関する情報を用いて、そのときに強調することが必要であると想定される画像情報を自動的に判定する、というものである。

また、受信側では、送られてきた画像データを受けて、その画像中の強調すべき箇所を判別することができるようにしておかなければならない。このため、送信側で、送信する画像を複数ブロックに分割し、その各ブロックごとに強調する／しないという情報を、画像信号を符号化してなるデータとは別に付加しておく、という技術なども提案されている（特許文献２）。
特開２００２−２３０６９８号公報 特開平５−１１０８１９号公報

しかしながら、特許文献１にて提案された技術では、強調表示する／しないを決定するための判定材料として用いる情報を、ハンドル、方向指示器、障害物センサなど、自動車が備えている各種の機器の動きや状態から収集しているので、ハンドルや方向指示器のような情報源となる機器を有している自動車やそれに類似した乗り物などには適用可能であるが、それ以外の、例えば、動画像表示機能付きの携帯電話機のような電子機器等の用途に適用することは、極めて困難あるいは実際上不可能である。

また、特許文献２にて提案された技術を、例えば、カメラ機能を備えた携帯電話機のような画像通信装置に適用しようとすると、上記のような強調を指示するための付加情報分の符号量が、さらに増えてしまうという問題がある。

しかも、それに加えて、受信側では、送信側と同様の強調パラメータや強調ロジックなどのような、強調を指示するための付加情報に対応した特殊な復号機能等をサポートしている画像復号装置を用意しておく必要がある。これは換言すれば、受信側では、送信されてきた画像データに付加されている付加情報を、本来の画像データとは区別して捉えて、その付加情報をデコード化することができ、かつその付加情報を取り除いて本来の画像データのみに基づいて画像を再現することができるような、特殊な機能を備えた画像復号装置がなければ、正しい画像復号処理を行うことは困難あるいは不可能である、ということである。

例えば、ＭＰＥＧ４用の画像復号装置のような汎用の復号機では、強調変換を指示するための付加情報のデータを、画像復号の対象とするべき本来の純然たる画像データとは異なったものとして識別することができないので、その付加情報のデータの存在が、あたかも画像データ中におけるデータバグのように機能することとなり、本来の画像データを正しく復号することの妨げとなってしまう。

本発明は、上述した課題を解決するためになされたものであり、送信側では、特殊な復号機能が受信側で必要となるような特殊な付加情報等を画像データに混在させることなしに、強調表示すべき重要箇所を指定することができ、かつ受信側では、強調変換機能を有している動画像復号装置ならば、送信側にて既に指定された重要箇所を強調して復号することができる、あるいは強調変換機能を有していないＭＰＥＧ４のような汎用の画像復号装置でも通常の動画像としての正常な復号を行うことができるようにした、動画像符号化装置、動画像復号装置及び動画像強調変換システムを提供することを目的とする。

かかる課題を解決するため、第１の本発明の動画像符号化装置は、動画像データを入力する動画像データ入力手段と、上記入力された動画像データを符号化する動画像符号化手段と、上記動画像符号化手段における上記動画像データの符号化を制御する符号化制御手段と、対向する動画像復号装置で再現され得る画像の中で強調変換を要する強調変換領域をユーザによって設定させる強調変換領域設定手段と、上記動画像データを受けて、上記動画像データから再現され得る画像における強調変換領域を判定し、当該強調変換領域のデータの符号化については他の領域で行う所定の符号化方式とは異なった符号化方式を用いて行うように、上記符号化制御手段を制御する強調変換領域判定手段とを備えたことを特徴とする。

また、第２の本発明の動画像復号装置は、受信した符号化された動画像データを復号する動画像復号手段と、受信した符号化された動画像データにおいて、所定の符号化方式とは異なった特定の符号化方式が適用されている領域を強調変換領域として抽出する強調変換領域抽出手段と、抽出された強調変換領域については、上記動画像復号手段によって復号された画像に対して強調変換を行う強調変換手段とを備えたことを特徴とする。

また、第３の本発明の動画像強調変換システムは、上述した第１の本発明の動画像符号化装置と、第２の本発明の動画像復号装置と、それら両者間でのデータの通信を行う通信手段とを備えたことを特徴とする。

以上のように、本発明の動画像符号化装置又は動画像復号装置若しくは動画像強調変換システムによれば、動画像符号化装置において、入力された動画像データから再現され得る画像における強調変換すべき強調変換領域を特定し、当該強調変換領域のデータの符号化については他の領域で行う上記所定の符号化方式とは異なった符号化方式を用いて行うようにしたので、特殊な復号機能が受信側で必要となるような特殊な付加情報等を画像データに混在させることなしに、強調変換すべき強調変換領域を動画像復号装置に通知することができる。

また、受信側では、本発明の動画像復号装置において、符号化された動画像データ自体の符号化方式に基づいて、送信側にて指定されている強調変換領域を復号後に強調変換することが可能となる。あるいは、受信側の復号機が強調変換機能を有していないＭＰＥＧ４のような汎用の画像復号装置である場合でも、本発明の動画像符号化装置から伝送されて来た符号化してなる動画像データを受けて、その画像データを通常の動画像として正常に出力することができる。

以下、本発明による動画像符号化装置及び動画像復号装置並びにそれらを含んだ動画像強調変換システムの最良の形態について図面を参照して説明する。

（Ａ）第１の実施形態
図１は、本発明の第１の実施形態に係る動画像符号化装置及び動画像復号装置並びにそれらを含んだ動画像強調変換システムを示す図である。

この動画像強調変換システム１は、入力された画像データを符号化して圧縮する画像符号化装置１００と、その符号化された画像データを送信する機能を有する通信部１０６と、符号化された画像データを送受信することが可能な（例えば電話回線やインターネットのような）通信網１０７と、符号化された画像データを受信する機能を有する通信部１０８と、受信した画像データを復号する動画像復号装置２００と、復号された画像を表示する表示部１１２とから、その主要部が構成されている。

動画像符号化装置１００は、通信部１０６に接続され、入力した画像データを符号化（及びそれに伴って圧縮化）し、その符号化された画像データを通信部１０６に送信する機能を備えている。

通信部１０６は、動画像符号化装置１００及び通信網１０７に接続されており、動画像符号化装置１００から送出される符号化された画像データを受け、それを目的の送信先へと送信するために、まず通信網１０７へと送信する機能を有する。

通信網１０７は、通信部１０６と通信部１０８とを結ぶ通信回線を形成することが可能ないわゆる通信ネットワークであり、この実施形態の場合、通信部１０６から送出された画像データを目的の送信先である通信部１０８へと送信するための通信回線を形成する役割を担うものである。

通信部１０８は、動画像復号装置２００に接続され、通信網１０７を介して受信したデータを動画像復号装置２００へと送信する機能を備えている。

動画像復号装置２００は、通信部１０８及び表示部１１２に接続され、通信部１０８から受け取った画像データを復号し、該当する重要箇所には強調処理を施し、必要に応じて表示部１１２で画像を表示出力することができるような画像表示信号に変換して、表示部１１２へと送出する機能を備えている。

表示部１１２は、動画像復号装置２００に接続され、その動画像復号装置２００によって復号された動画像を表示する機能を備えている。

さらに具体的には、動画像符号化装置１００は、カメラ付携帯電話機の動画撮影が可能なカメラやビデオカメラなどのような撮像装置から画像データが入力される動画像データ入力部１０１と、入力された画像データの重要箇所を判定する重要箇所制御部１１３と、入力された画像データを符号化する動画像符号化部１０２と、入力された画像データの符号化方式を選択する符号化制御部１０５とから、その主要部が構成されている。

重要箇所制御部１１３は、重要箇所を設定する重要箇所設定部１０４と、入力された画像データが重要箇所を含んでいるか否かを判定する重要箇所判定部１０３とを備えている。

動画像データ入力部１０１は、動画像符号化部１０２及び重要箇所判定部１０３に接続され、入力された画像データを、動画像符号化部１０２と重要箇所判定部１０３とに、並行してそれぞれ送信する機能を持つ。

動画像符号化部１０２は、動画像データ入力部１０１、符号化制御部１０５及び通信部１０６に接続されており、動画像データ入力部１０１から受けた画像データを、符号化制御部１０５によって指示された符号化方式に則して符号化し、その符号化された画像データを通信部１０６へと送出する機能を備えている。

重要箇所設定部１０４は、重要箇所判定部１０３に接続され、予め重要であると指定されている箇所、若しくは受信側に重要であることを通知したい箇所（以下、これらをまとめて重要箇所と呼ぶ）を設定する情報を、重要箇所判定部１０３へと送出する機能を備えている。この重要箇所を設定する方法については、例えば、ユーザがペン入力デバイスを用いて領域を指定する、といった一般的な方法が可能である。

重要箇所判定部１０３は、動画像データ入力部１０１及び重要箇所設定部１０４並びに符号化制御部１０５に接続されており、動画像データ入力部１０１から入力された画像データについて、重要箇所設定部１０４によって設定された重要箇所に該当するものであるか否かを判定し、その結果を符号化制御部１０５へと送出する機能を備えている。

符号化制御部１０５は、重要箇所判定部１０３と動画像符号化部１０２とに接続されており、重要箇所判定部１０３から受けた判定結果に基づいて、そのときの画像データに対して用いるべき符号化方式を決定し、それを選択する旨の指示を動画像符号化部１０２に通知する機能を備えている。

他方、動画像復号装置２００は、受信した画像圧縮データを復号する動画像復号部１０９と、復号された画像の全部若しくは一部を強調変換する画像強調部１１４とから、その主要部が構成されている。画像強調部１１４は、重要箇所を抽出する重要箇所抽出部１１０と、復号された画像に対して強調変換を行う画像変換部１１１とを備えている。

動画像復号部１０９は、通信部１０８と画像変換部１１１と重要箇所抽出部１１０とに接続され、符号化された画像データを通信部１０８から受信する機能と、その受信した画像データを復号する機能と、その復号したデータを画像変換部１１１に送信する機能と、そのとき復号の対象となっている画像データの符号化方式の情報を重要箇所抽出部１１０に伝送する機能とを備えている。

画像変換部１１１は、動画像復号部１０９と、重要箇所抽出部１１０と、表示部１１２とに接続され、動画像復号部１０９で復号された画像データのうち重要箇所抽出部１１０から通知された重要箇所だけを強調変換する機能と、その変換された箇所を含めて復号された画像を表示するための画像表示信号を表示部１１２へと送出する機能とを備えている。

重要箇所抽出部１１０は、動画像復号部１０９及び画像変換部１１１に接続され、動画像復号部１０９から受けた符号化方式の情報に基づいて、そのとき復号の対象となっている画像データが、強調変換すべき重要箇所のものであるか否かを判断し、その判断結果を画像変換部１１１へと伝達する機能を備えている。

表示部１１２は、画像変換部１１１に接続されており、画像変換部１１１からの出力を受けて、動画像を表示する機能を備えている。

次に、この第１の実施形態に係る動画像符号化装置１００及び動画像復号装置２００並びにそれらを含んだ動画像強調変換システム１の動作を、図１、図２、図３を用いて説明する。

まず、図１及び図２を用いて、送信側すなわち動画像符号化装置１００及び通信部１０６の動作を説明する。

図２に示すように、動画像データ入力部１０１に画像データが入力される（ステップＳ２０１）。続いて、重要箇所を指定若しくは変更する場合には（ステップＳ２０２のＹＥＳ）、重要箇所設定部１０４で重要箇所が設定される（ステップＳ２０３）。指定も変更もない場合には（ステップＳ２０２のＮＯ）、ステップＳ２０３をスキップしてステップＳ２０４に進む。ここで重要箇所を設定する方法としては、例えばペン入力デバイスを用いて領域を指定したりすることなどが可能である。

重要箇所判定部１０３では、符号化しようとしている画像データが、重要箇所設定部１０４で設定された重要箇所に該当するものであるか否かを判定し（ステップＳ２０４）、重要箇所である場合と、そうでない場合とで、相異なった符号化方式を選択する指示を符号化制御部１０５に送出する。例えば、１フレームの画像を複数のブロックに分割して符号化する場合に、重要であると設定されたブロックの位置と符号化しようとしているブロックの位置とが同じか否かで判断することなどが可能である。

重要箇所であるとの指示を、重要箇所判定部１０３から符号化制御部１０５が受けた場合には（ステップＳ２０４のＹＥＳ）、フレーム内符号化を動画像符号化部１０２に指示する。そして動画像符号化部１０２では、フレーム内符号化を実行する（ステップＳ２０５）。あるいはここで重要箇所でないとの指示を受けた場合には（ステップＳ２０４のＮＯ）、フレーム内符号化以外の、一般的な所定の符号化方式（例えばフレーム間符号化方式）による符号化を実行するように、符号化制御部１０５は動画像符号化部１０２に対して指示する。そして、動画像符号化部１０２では、その指示された符号化方式による符号化を行う（ステップＳ２０６）。

動画像符号化部１０２によって符号化された画像データは、通信部１０６を通じて動画像復号装置２００へと送信される（ステップＳ２０７）。

こうして画像データの符号化、符号化データの送信が終了した場合には（ステップＳ２０８のＹＥＳ）、一連の処理を終了する。あるいは引き続いて画像データの入力がある場合には（ステップＳ２０８のＮＯ）、ステップＳ２０１に戻って、以上と同様の処理を繰り返す。

そして、図３に示すように、受信側である動画像復号装置２００、通信部１０８及び表示部１１２では、符号化された画像データを通信部１０８で受信し（ステップＳ３０１）、動画像復号部１０９へと送り込む。そして動画像復号部１０９では、復号処理を実行する（ステップＳ３０２）。

動画像復号部１０９では、そのとき受信している（復号の対象となる）画像データの符号化方式を判別して、その符号化方式の情報を重要箇所抽出部１１０に知らせる。そして、重要箇所抽出部１１０では、受け取った符号化方式の情報に基づいて、そのとき受けている画像データが重要箇所に該当するものであるか否かを判断する（ステップＳ３０３、Ｓ３０４）。

そして、この実施形態では、フレーム内符号化が行われている画像データの場合には（ステップＳ３０４のＹＥＳ）、強調表示されるべき重要箇所であると判断して、強調処理（ステップＳ３０５）へと進み、それ以外の符号化が行われている画像データの場合には（ステップＳ３０４のＮＯ）、重要箇所以外であるものとして、復号を行った後に、強調処理は行うことなく画像の表示を実行する（ステップＳ３０７）。

画像変換部１１１では、重要箇所抽出部１１０の判別結果を受けて、該当する画像データに重要箇所としての強調処理を行う（ステップＳ３０５）。ここで、強調処理とは、例えば、強調したい部分だけ明るくする、色を変更する、拡大する、などがあるが、このような強調処理の具体的な方法それ自体については一般的なものが適用可能であることは勿論である。このようにして強調処理を行った後、その強調処理された画像と動画像復号部１０９で復号された画像との合成処理を行って（ステップＳ３０６）、その画像を表示するための画像表示信号を表示部１１２へと送信する。こうして合成された画像表示信号に基づいて表示部１１２が画像を表示する（ステップＳ３０７）。

このようにして、入力されてきた一連の画像データの復号が完了すると（ステップＳ３０８のＹＥＳ）、一連の処理を終了する。あるいは、ここでさらに継続して画像データの入力がある場合には（ステップＳ３０８のＮＯ）、ステップＳ３０１に戻って、以上と同様の処理を繰り返す。

次に、この実施形態に係る動画像強調変換システムにおける作用及び効果について、その動画像強調処理の一例を挙げて、それに則して説明する。

図４は、送信側の動画像符号化装置に入力される画像（ａ）、及び受信側の動画像復号装置で重要箇所に強調処理を施して表示される画像（ｂ）を表したものである。送信側の画像は、タワーを中心とする大都会の街並みの画像である。ここでは、一例として、タワーを重要箇所として強調するものとする。

タワーを強調するためには、そのタワーの部分を黒い四角形のカーソルで囲んで、この部分を強調するということを指定する。この画像は、上述した手順で動画像符号化装置１００によって符号化されて、通信網１０７等を介して動画像復号装置２００へと送信される。

受信側では、符号化された画像データが送信されてくると、それを動画像復号装置２００が復号するが、このとき、重要箇所であるか否かは、送信されてきた（つまり復号の対象となる）画像データ自体の符号化方式の違いに基づいて、重要箇所抽出部１１０が判断する。そして、強調表示すべき重要箇所であると判断されると、その箇所の画像データに対して画像変換部１１１が強調処理を施す。この実施形態では、強調表示すべき重要箇所の画像データについてはフレーム内符号化されているので、フレーム内符号化されている画像データの部分を抽出して強調処理する。図４に示した一例では、強調処理として具体的には拡大処理を行っている。図４にも明らかに示したように、送信側で重要であると設定されたタワーの画像のみが（図４（ｂ）のほぼ中央部）、元の画像のそれ（図４（ａ）のほぼ中央部）よりも顕著に拡大されて強調表示されている。

以上のように、この第１の実施形態によれば、動画像符号化装置１００で画像データを符号化する際に、画像中の強調表示したい重要箇所を予め指定するにあたり、特殊な付加情報を付加するのではなくて、画像データ自体の符号化方式を重要箇所とそうでない箇所とで異ならせることで、強調箇所を特定するようにしたので、そのような符号化方式の違いに対応して強調変換を行うか否かを判別する機能を備えた動画像復号装置２００によって、指定された重要箇所を識別してその部分を強調表示することができる。

あるいは、例えば、ＭＰＥＧ４のような一般の汎用復号機で復号を行う場合には、そのような汎用機は符号化方式の違いに対応して強調変換を行うか否かを判別する機能は備えていないので、指定された重要箇所を強調表示することはできないが、動画像符号化装置１００から送信されてくる画像データには、上記のように重要箇所を指定するために特別に付加した情報などは含まれていないので、強調処理等を行わない通常の一般的な復号を支障なく行うことができる。

また、上記のように、画像データ自体の符号化方式を、重要箇所を指定する情報として用いているので、重要箇所を指定するための特別な付加情報等を加えなくとも済むこととなり、少なくともその分、送信側での処理すべき負荷データ量や送信データ量を軽減することができる。これは、例えば動画像を遠隔地域に送信してテレビジョン放送を行う、といった用途において特に有効である。

（Ｂ）第２の実施形態
図５は、本発明の第２の実施形態に係る動画像符号化装置及び動画像復号装置並びにそれらを含んだ動画像強調変換システムを示す図である。

この動画像強調変換システム２では、強調表示すべき重要な箇所の画像を判定する重要画像判定部５０１、及び重要画像を設定する重要画像設定部５０２が、第１の実施形態と異なっている点である。そして、その他については、第１の実施形態と同様である。なお、第１の実施形態と同様の構成部位には同じ符号を付し、その詳細な説明については省略する。

重要画像設定部５０２は、重要画像判定部５０１に接続され、予め重要画像であると指定された、若しくは受信側に重要画像であることを通知したい箇所の画像（以下、重要画像と呼ぶ）を設定した後、その重要画像を蓄積し、その蓄積された重要画像の情報を、重要画像判定部５０１へと送出する機能を備えている。この重要画像を設定する方法としては、例えば、入力デバイスを用いて領域を指定したりするなどが可能である。

重要画像判定部５０１は、動画像データ入力部１０１と符号化制御部１０５と重要画像設定部５０２とに接続され、動画像データ入力部１０１から入力された画像データが、重要画像設定部５０１で設定又は蓄積されている重要画像に該当するものであるか否かを判定し、その結果を符号化制御部１０５に送信する機能を備えている。

次に、この動画像強調変換システム２の主要な動作を、図５及び図６に基づいて説明する。

この動画像強調変換システム２では、第１の実施形態と異なった動作を行うのは送信側（図５の動画像符号化装置３００及び通信部１０６）であるので、ここでは送信側の動作のみについて説明することとし、受信側の動作の詳細な説明については省略する。

まず、重要画像を指定若しくは変更する場合には（ステップＳ６０１のＹＥＳ）、その設定入力等を重要画像設定部５０２で行い、指定も変更もない場合には（ステップＳ６０１のＮＯ）ステップＳ６０３へと進む。ここで重要画像を設定する方法としては、例えばペン入力デバイスを用いて領域を指定したりすることなどが可能である。重要画像の指定若しくは変更を設定した場合には、その指定された箇所の画像を切り出して、重要画像として保存する（ステップＳ６０２）。

動画像データ入力部１０１に画像データが入力されると（ステップＳ６０３）、重要画像判定部５０１では、その画像データが重要画像設定部５０２に保存されている（又は指定されている）画像に該当するものであるか否かを、その画像データが保存されている画像とマッチするか否かによって判定する（ステップＳ６０４〜ステップＳ６０５）。ここで、マッチした場合（すなわち、重要画像であった場合；ステップＳ６０５のＹＥＳ）と、そうでない場合（ステップＳ６０５のＮＯ）とで、異なった符号化方式を選択する指示を、重要画像判定部５０１が符号化制御部１０５に対して送出する。

より具体的には、重要画像であると重要画像判定部５０１で判定された場合には、フレーム内符号化を選択することが符号化制御部１０５に指示され、符号化制御部１０５による制御によって、フレーム内符号化による画像データの符号化が、動画像符号化部１０２によって行われる（ステップＳ６０６）。あるいは、重要画像でないと判定された場合には、フレーム内符号化以外の所定の符号化方式で符号化を行うように、符号化制御部１０５が動画像符号化部１０２を制御して、その所定の符号化方式による符号化が、動画像符号化部１０２によって行われる（ステップＳ６０７）。

動画像符号化部１０２で符号化された画像データ（圧縮データ）は、通信部１０６等を通じて動画像復号装置２００へと送信される（ステップＳ６０８）。

ステップＳ６０９で画像データの入力が終了した場合には（ステップＳ６０９のＹＥＳ）、一連の処理を終了する。あるいはさらに継続して画像データの入力がある場合には（ステップＳ６０９のＮＯ）、ステップＳ６０１に戻って、以上と同様の処理を繰り返す。その場合、前回のステップＳ６０１〜６０９のプロセスで重要画像であると指定した画像に変更がない場合には、保存されている前回と同じ画像を重要画像であるものとして前回と同様の処理を行えば良いことは勿論である。

次に、この第２の実施形態に係る動画像強調変換システム２における作用及び効果について、その動画像強調処理の一例を挙げて、それに則して説明する。

図７は、送信側の動画像符号化装置に入力される画像（ａ）、（ｃ）、及び受信側の動画像復号装置で重要箇所に強調処理を施して表示された画像（ｂ）、（ｄ）を表したものである。

送信側にて外部のビデオカメラ等から入力される、サッカーの試合の一場面を撮影した原画像は、選手とボールとからその画像の主要部が構成されている。このような画像において、ボールを重要画像として強調したい場合には、例えば、図７（ａ）に示したように、その強調したいボールを黒い四角形のカーソルで囲んで、この部分を強調するということが指定される。このボールの部分を強調することを指定された画像全体の画像データは、上述した手順で動画像符号化装置３００によって符号化されて、通信網１０７等を介して動画像復号装置２００へと送信される。

受信側では、符号化された画像データが送信されて来ると、それを動画像復号装置２００が復号するが、このとき、重要画像であるか否かは、送信されて来た（つまり復号の対象である）画像データ自体の符号化方式の違いに基づいて、重要箇所抽出部１１０が判断する。そして強調表示すべき重要画像であると判断されると、その箇所の画像データに対して画像変換部１１１が強調処理を施す。この第２の実施形態では、強調表示すべき重要画像（より具体的にはボールの画像）の画像データについてはフレーム内符号化されているので、フレーム内符号化されている画像データの部分が抽出され、その部分について強調処理が施される。図７に示した一例では、強調処理として具体的には拡大処理を行っている。この図７（ｂ）にも明らかに示したように、送信側で重要画像であると設定されたボールの画像のみが、元の画像（図７（ａ））よりも顕著に拡大されて強調表示されている。

そして、次フレームで、ボールが選手によって蹴られるなどして、その画面中における位置が移動した場合でも（図７（ｃ））、前フレームから継続して、ボールの画像データを重要画像として抽出し、そのボールの画像を拡大して強調表示することができる（図７（ｄ））。

すなわち、ボールが強調表示すべき重要画像であることは既に前フレーム（図７（ａ）、（ｂ））で設定済みであり、その設定は次フレームでも生きている（保存されている）ので、次フレームでボールの全画面中における位置が変化しても、新たにボールを重要画像として再設定する必要はなく、従って、次フレームの画面中（図７（ｃ）、（ｄ））でも、自動的に前フレームから継続してボールの画像データを重要画像として抽出し、その画像を拡大して強調表示することができるのである。

以上のように、この第２の実施形態によれば、第１の実施形態で説明した作用、効果にさらに加えて、強調表示すべき重要画像であると指定した画像を保存し、その画像に基づいて、入力された画像データのうちから重要箇所を抽出するようにしたので、例えば、サッカーボールのように重要画像の位置が頻繁に移動する場合が多い動画像の場合などにも、送信側で一度重要画像を指定すると、その後はその保存された重要画像について、受信側で強調表示を自動的に継続することが可能となる。そしてその結果、送信側での処理すべき負荷データ量や送信データ量をさらに軽減することができる。

（Ｃ）第３の実施形態
図８は、本発明の第３の実施形態に係る動画像符号化装置及び動画像復号装置並びにそれらを含んだ動画像強調変換システムを示す図である。

この動画像強調変換システム３は、第２の実施形態で説明した動画像符号化装置２における重要箇所制御部２を取り去ると共に、動き情報重視制御部８０１を追加し、かつ符号化制御部１０５の代りに別個の符号化制御部８０２を設けたことが、第２の実施形態とは異なる点である。そしてその他については、第２の実施形態とほぼ同様である。なお、第２の実施形態と同様の構成部位には同じ符号を付し、その詳細な説明については省略する。

動き情報重視制御部８０１は、符号化制御部８０２に接続され、動き情報を重視した（動きベクトルを優先的に用いた）符号化を選択して実行することを指示する場合には、その旨の指示を符号化制御部８０２へと送出する機能を備えている。

符号化制御部８０２は、動画像データ入力部１０１、動き情報重視制御部８０１、動画像符号化部１０２に接続されており、動き情報重視制御部８０１からの指示を受けて、動画像データ入力部１０１から入力された画像の符号化を行う際に用いるべき符号化方式を、動画像符号化部１０２に対して指示する機能を備えている。

他方、動画像復号装置２００では、画像変換部８０４は、動画像復号部１０９、重要箇所抽出部８０３、表示部１１２に接続されており、動画像復号部１０９で復号された画像データのうちから、重要箇所抽出部８０３による指示に従って、重要箇所のデータを抽出し、それに対して強調又は非強調などの変換を施す機能と、その変換したデータを合成した画像表示信号を表示部１１２へと送出する機能とを備えている。

重要箇所抽出部８０３は、動画像復号部１０９及び画像変換部８０４に接続され、動画像復号部１０９によって判別された符号化方式に基づいて、そのとき受信している画像データが重要箇所のものであるか否かを判定して、その判定結果の情報を画像変換部８０４に伝達する機能を備えている。

次に、この動画像強調変換システム２の主要な動作を、図８及び図９並びに図１０に基づいて説明する。

まず、図８及び図９に基づいて、送信側（動画像符号化装置４００及び通信部１０６）の動作について説明する。動画像データ入力部１０１に画像データが入力されると（ステップＳ９０１）、ユーザによって、動き情報を重視するか否かの選択（判断）が行われる（ステップＳ９０２）。例えば、ユーザが図示しない入力部からボタンなどによって動き情報重視を選択する（ステップＳ９０２のＹＥＳ）。あるいは動き重視は選択しない（ステップＳ９０２のＮＯ）。

動き情報を重視する場合には（ステップＳ９０２のＹＥＳ）、その旨を動き情報重視制御部８０１が符号化制御部８０２に指示し、符号化制御部８０２が、動き重視の具体的な符号化方式を動画像符号化部１０２に指示する（ステップＳ９０３）。

あるいは、ここで動き情報を重視しない（通常の符号化の望む）場合には（ステップＳ９０２のＮＯ）、符号化制御部８０２は通常の符号化方式を動画像符号化部１０２に指示する（ステップＳ９０４）。

動画像符号化部１０２は、指示された符号化方式による符号化を実行する（ステップ９０５）。こうして動画像符号化部１０２で符号化された画像データは、通信部１０６等を通じて動画像復号装置５００へと送信される（ステップＳ９０６）。

画像データの入力が終了した場合には（ステップＳ９０７のＹＥＳ）、上記の一連の処理を終了する。あるいはここでさらに画像データの入力が継続される場合には（ステップＳ９０７のＮＯ）、ステップＳ９０１に戻って、以上と同様の処理を繰り返す。

ここで、上記の「動き情報を重視する」ということについて説明する。一般に、符号化処理においては、画質が同じであれば圧縮率をより高くすることができる方式が選択されることが多い。そのための有効な符号化方式の一つが、動きベクトルを用いた符号化である。

動きベクトルとは、文字通り、動いたことを示す情報（動き情報）として用いることは可能であるが、圧縮率を上げるための一つの方法であるので、他の方法（例えばフレーム内符号化方式による符号化）を採用した方が圧縮率を高くできるのであれば、その方法を優先的に用いて、動きベクトルによる符号化（ステップＳ９０７のＹＥＳ）方法は用いないことも多い。

この第３の実施形態で「動き情報を重視する場合」というのは、動きベクトルを優先して使用して符号化を行う、ということである。

例えば、動きベクトルを使用した場合に期待される圧縮率（Ａ）と、フレーム内符号化を使用した場合に期待される圧縮率（Ｂ）との関係が、Ａ＞Ｂ（Ａの方が圧縮率が高い）のときには、動きベクトルを用いることは勿論である。あるいは、仮にＡ＜Ｂ（Ｂの方、つまりフレーム内符号化の方が圧縮率が高い場合）であっても、予め設定された規定値（例えばα）をＡに加えた値を、Ｂと比較する（すなわち、Ａ＋αとＢとを比較する）というような方法をとれば、動きベクトルが選択される可能性が増えて、動きベクトルは純粋に動き情報として用いられる可能性を高めることができる。

次に、図８及び図１０に基づいて、受信側（動画像復号装置５００、通信部１０８及び表示部１１２）の動作を説明する。

通信部１０８で、符号化された画像データを受信すると（ステップＳ１００１）、動画像復号部１０９では、それを復号する（ステップＳ１００２）。そして重要箇所抽出部８０３に、そのときの画像データの符号化方式に関する情報を知らせる。より具体的には、この実施形態では、動きベクトルの値を知らせる。

重要箇所抽出部８０３では、動画像復号部１０９から知らされた動きベクトルの値の情報に基づいて、現在受信している画像データが重要箇所のものであるか否かを判断する（ステップＳ１００４）。

例えば、動きベクトルの値が、予め設定された基準参照値（β）よりもさらに大きい場合には、重要箇所であると判断して、強調処理を施すようにし（Ｓ１００５）、β以下の場合には、重要箇所ではないと判断して、強調処理は施さない（ステップＳ１００７）。

重要箇所であると判断された場合には、ステップＳ１００５で、画像変換部８０４が重要箇所抽出部８０３による抽出結果を受けて、その抽出された部分の画像データに対して所定の強調処理を行う。このときの強調処理としては、例えば、強調したい部分だけを、明るく表示する、又は色を変更して表示する、若しくは拡大して表示する、などの具体的手法が可能である。

画像変換部８０４では、強調処理を行い、その強調処理が施された部分（箇所）とその他の動画像復号部１０９で復号されたままの部分との合成処理を行って（ステップＳ１００６）画像表示信号を形成し、それを表示部１１２へと送信する。

他方、ステップＳ１００４で、重要箇所でない（上述例では動きベクトルがβ以下）と判定された場合には（ステップＳ１００４のＮＯ）、引き続いてステップＳ１００７で、非重要箇所であるか否かを判断する。例えば、動きベクトルの値が予め設定された値γ（但し、γ＜βと設定）よりもさらに小さい場合には、その部分は非重要箇所であると判定する（ステップＳ１００７のＹＥＳ）。そして、画像変換部８０４によって、例えば色をグレーにするなどの非強調処理を行い（ステップＳ１００８）、その部分を他の動画像復号部１０９で復号された部分と合成して（ステップＳ１００６）、表示部１１２へと送信する。

あるいは、ステップＳ１００７で、重要箇所でも非重要箇所でもないと判定された場合（より具体的には、ここでは動きベクトルの値がβ以下でありかつγ以上であるとき；ステップＳ１００４のＮＯ〜Ｓ１００７のＮＯ）には、動画像復号部１０９で復号された画像をそのまま（画像変換部８０４による変換処理を施すことなく）表示部１１２へと送信する。

そして、画像表示信号を受けて、表示部１１２が、画像を表示出力する（ステップＳ１００９）。

画像データの受信が終了した場合には（ステップＳ１０１０のＹＥＳ）、一連の処理を終了する。あるいはさらに画像データの受信が継続している場合には（ステップＳ１０１０のＮＯ）、ステップＳ１００１に戻って、以上と同様の処理を繰り返す。

次に、この第３の実施形態に係る動画像強調変換システム３における作用及び効果について、その動画像強調処理の一例を挙げて、それに則して説明する。

図１１は、送信側の動画像符号化装置に入力される画像（ａ）、及び受信側の動画像復号装置で重要箇所に強調処理を施して表示された画像（ｂ）を表したものである。

送信側にて外部のビデオカメラ等から入力される原画像（図１１（ａ））は、横断歩道を渡っている子供の画像と、その背景として停車しているバス及び街角にある店舗等の画像とから、その主要部が構成されている。

送信側で動き情報を重視した上記のような符号化を行うと、受信側へと送信される画像（圧縮）データは、所定の大きさ以上に顕著な動きがある箇所については、受信側で復号されたときに、動きベクトルが所定の閾値よりも大きな値となって（ここではβよりもさらに大きな値となり）、これに基づいて、その部分には強調処理が施される（ここでは拡大処理が行われる）。あるいは逆に、所定の小ささよりもさらに小さい程度の動きしかない箇所については、動きベクトルがある閾値よりも小さな値となって（ここではγよりもさらに小さな値となり）、これに基づいて、その部分には非強調処理が施される（ここでは色をグレーにして目立たなくする等の処理が行われる）。このような変換処理が行われる結果、ほとんど静止状態のバスや街角の店舗等などの画像については、目立たないグレー色で表示され、逆に、それらとは対照的に動きが顕著である、歩いている子供の画像については、重要箇所として拡大されて強調して表示される。

以上のように、第３の実施形態によれば、動き情報を重視するために、画像データの符号化方式として、動きベクトルを積極的に取り入れた符号化方式を採用するようにしたので、受信側では、動き情報や強調すべき箇所を特定するための特殊な付加情報等を必要とすることなしに、符号化された画像データ自体の有する動きベクトルに基づいて、動きが顕著で強調すべき重要箇所と、ほとんど動きがなくて敢えてぼかして表示しても構わない非重要箇所とを、それぞれ特定することが可能となる。

そして、このようにして重要箇所は強調して表示すると共に、非重要箇所はぼかして表示することにより、動きの顕著な重要箇所がさらにはっきりと強調されて、明確に視認されるようになる。

一般に、高齢者や疲労の著しい人などにおいては、動くものを判断する能力が低くなり、また映っている映像はすべて見ようとして疲れるという傾向があるので、動くもののみを重要箇所として強調して表示すると共に、その他のものは敢えて適宜に省略して表示することが要請されるが、この第３の実施形態の動画像強調変換システム３は、そのような要請に適応することができるものである。

（Ｄ）他の実施形態
なお、上記の第１の実施形態及び第２の実施形態においては、フレーム内符号化を行った箇所に対して強調処理を施すように設定した場合の一例を示したが、その他の符号化方式を用いて強調処理すべき箇所を特定するように設定することなども可能であることは勿論である。

また、上記の第１の実施形態及び第２の実施形態においては、重要箇所に対して拡大のような強調処理を行うことで、その部分を他の部分よりも強調するようにした場合について説明したが、これとは逆に、重要箇所以外の部分をぼかすなどの、非強調処理によっても、相対的に重要箇所が強調されるこことなって、同様の効果を得ることが可能である。あるいは、第３の実施形態のように、両方を同時に行うことで、さらなる効果を達成することが可能である。

また、第３の実施形態においては、強調部分と非強調部分とそれ以外の部分との、合計３種類の部分に区別しているが、このような区別のみには限定されないことは勿論である。さらに多種類に区別するようにしても良い。その場合の具体的な強調方法（又は、ぼかし方法）としては、例えば拡大率を多段階に変える、明るさを多段階に変えるなど、強調、非強調の仕方をさらに多段階に区別することなどが有効である。

上記各実施形態では、重要箇所によって符号化方式を切り換えるものを示したが、同一符号化方式での符号化のためのパラメータを変更するようにしても良い。この場合も、符号化方式の切換の概念に含まれる。

なお、動画像復号装置において、強調表示するか否かを設定可能とし、強調表示しない設定の場合には、重要箇所も他と同様に表示するようにしても良い。また、強調表示には、重要箇所の画像だけを表示することも含まれる。

また、第１や第２の実施形態においても、重要か否かの２段階ではなく、３段階以上に分け、符号化方式を切り換えるようにしても良い。

第１の実施形態に係る動画像符号化装置及び動画像復号装置並びにそれらを含んだ動画像強調変換システムを示す図である。 第１の実施形態に係る動画像符号化装置の動作の主要な流れを示す簡易フローチャートである。 第１の実施形態に係る動画像復号装置の動作の主要な流れを示す簡易フローチャートである。 第１の実施形態に係る送信側の動画像符号化装置に入力される画像（ａ）、及び受信側の動画像復号装置で重要箇所に強調処理を施して表示される画像（ｂ）を表した図である。 第２の実施形態に係る動画像符号化装置及び動画像復号装置並びにそれらを含んだ動画像強調変換システムを示す図である。 第２の実施形態に係る動画像符号化装置の動作の主要な流れを示す簡易フローチャートである。 第２の実施形態に係る送信側の動画像符号化装置に入力される画像（ａ）、（ｃ）、及び受信側の動画像復号装置で重要箇所に強調処理を施して表示される画像（ｂ）、（ｄ）を表した図である。 第３の実施形態に係る動画像符号化装置及び動画像復号装置並びにそれらを含んだ動画像強調変換システムを示す図である。 第３の実施形態に係る動画像符号化装置の動作の主要な流れを示す簡易フローチャートである。 第３の実施形態に係る動画像復号装置の動作の主要な流れを示す簡易フローチャートである。 第３の実施形態に係る送信側の動画像符号化装置に入力される画像（ａ）、及び受信側の動画像復号装置で重要箇所に強調処理を施して表示される画像（ｂ）を表した図である。

符号の説明

１…動画像強調変換システム、１００、３００、４００…動画像符号化装置、１０１…動画像データ入力部、１０２…動画像符号化部、１０３…重要箇所判定部、１０４…重要箇所設定部、１０５、８０２…符号化制御部、１０９…動画像復号部、１１０、８０３…重要箇所抽出部、１１１、８０４…画像変換部、１１２…表示部、１１３…重要箇所制御部、１１４…画像強調部、２００、５００…動画像復号装置、５０１…重要画像判定部、５０２…重要画像設定部、８０１…動き情報重視制御部。

Claims (8)

1. 動画像データを入力する動画像データ入力手段と、
   上記入力された動画像データを符号化する動画像符号化手段と、
   上記動画像符号化手段における上記動画像データの符号化を制御する符号化制御手段と、
   対向する動画像復号装置で再現され得る画像の中で強調変換を要する強調変換領域をユーザによって設定させる強調変換領域設定手段と、
   上記動画像データを受けて、上記動画像データから再現され得る画像における強調変換領域を判定し、当該強調変換領域のデータの符号化については他の領域で行う所定の符号化方式とは異なった符号化方式を用いて行うように、上記符号化制御手段を制御する強調変換領域判定手段と
   を備えたことを特徴とする動画像符号化装置。
2. 上記強調変換領域設定手段は、上記強調変換領域として、対向する動画像復号装置で強調変換を要する箇所をユーザによって設定させ、
   上記強調変換領域判定手段は、上記入力された動画像データにおける上記強調変換箇所を認識し、上記強調変換箇所には、上記強調変換箇所でない箇所に用いられる上記所定の符号化方式とは異なった符号化方式を選択して、当該符号化方式を用いた符号化を上記動画像符号化手段に実行させる制御を行うように、上記符号化制御手段を制御する
   ことを特徴とする請求項１に記載の動画像符号化装置。
3. 上記強調変換領域設定手段は、上記強調変換領域として、動画像データにおける部分画像データをユーザによって設定させて保存し、
   上記強調変換領域判定手段は、上記入力された動画像データにおける、保存されている部分画像データと同じ部分画像データを認識し、認識した部分画像データには、その他の部分の符号化のために用いる所定の符号化方式とは異なった特定の符号化方式を選択して用いる制御を上記符号化制御手段に対して行うように、上記符号化制御手段を制御する
   ことを特徴とする請求項１に記載の動画像符号化装置。
4. 上記符号化制御手段は、上記動画像符号化手段に対して、上記強調変換領域に対してはフレーム内符号化の実行を指示し、上記強調変換領域ではない領域に対しては上記フレーム内符号化以外の所定の符号化の実行を指示することを特徴とする請求項１〜３のいずれかに記載の動画像符号化装置。
5. 受信した符号化された動画像データを復号する動画像復号手段と、
   受信した符号化された動画像データにおいて、所定の符号化方式とは異なった特定の符号化方式が適用されている領域を強調変換領域として抽出する強調変換領域抽出手段と、
   抽出された強調変換領域については、上記動画像復号手段によって復号された画像に対して所定の強調変換を行う強調変換手段と
   を備えたことを特徴とする動画像復号装置。
6. 上記強調変換領域抽出手段は、受信した上記符号化された動画像データにおけるフレーム内符号化されたデータの領域を強調変換を行う領域として抽出し、
   上記強調変換手段は、上記動画像復号手段がフレーム内復号を行った復号画像の領域を強調変換する
   ことを特徴とする請求項５に記載の動画像復号装置。
7. 上記強調変換領域抽出手段は、受信した上記符号化された動画像データにおけるフレーム内符号化以外で符号化されたデータの領域を非強調変換を行う領域として抽出し、
   上記強調変換手段は、上記動画像復号手段がフレーム内復号以外で復号を行った復号画像の領域を非強調変換する
   ことを特徴とする請求項５に記載の動画像復号装置。
8. 請求項１に記載の動画像符号化装置と、請求項５に記載の動画像復号装置と、これら両者間でのデータの通信を行う通信手段とを備えたことを特徴とする動画像強調変換システム。

Images