JP4167245B2 - デジタル映像処理方法及びその装置 - Google Patents

Description

本発明はデジタル映像処理方法及びその装置に係り、特に、与えられた場面の動き情報に基づき、映像場面を分類するためのデジタル映像処理方法及び装置に関する。

映像場面のインテンシティは、観察者が前記映像場面を観察するとき、前記観察者により体験される視覚的なインテンシティを称する。これは、前記場面が全体の映像プログラムに照らして極めて重要であるということを表わす抽象的な概念である。このため、前記インテンシティに基づき、映像ストリームを検索するための方法が要求される。しかし、今まで、前記インテンシティに基づき、映像ストリームを検索したり、或いは処理したりするためのいかなる方法も存在しない。

本発明の第１目的は、インテンシティに基づき、映像検索を許容するデジタル映像処理方法を提供することである。

本発明の第２目的は、前記デジタル映像処理方法を具現するためのコンピュータにて読取り可能な媒体を提供することである。

本発明の第３目的は、前記デジタル映像処理方法を具現するためのデジタル映像処理装置を提供することである。

本発明の第４目的は、前記デジタル映像処理方法により処理される映像ストリームのインテンシティを比較するためのデジタル映像分析方法を提供することである。

本発明の第５目的は、前記デジタル映像処理方法により処理される映像ストリームのインテンシティに基づき、映像ストリームを検索するためのデジタル映像検索方法を提供することである。

本発明の第６目的は、前記デジタル映像検索方法を具現するためのデジタル映像検索装置を提供することである。

本発明の第１目的を達成するために、（ａ）インターフレームの動き補償に関する情報に基づき、領域インテンシティヒストグラム（以下、ＲＩＨと称する）を決定する段階を含む、圧縮された映像ストリームの形で受信されたデジタル映像を処理するための方法が提供される。

また、前記（ａ）段階前に、（ｐ-ａ）映像ストリームを受信する段階と、（ｐ-ｂ）所定のアルゴリズムを用いて前記映像ストリームを複数のグループにグルーピングする段階、及び（ｐ-ｃ）処理されるグループを選択する段階がさらに含まれえ、前記（ａ）段階において、前記選択されたグループのＲＩＨはインターフレームの動き補償に関する情報に基づき、決定される。

本発明の他の態様によれば、（ａ）前記映像ストリームからインターフレームを選択する段階と、（ｂ）前記選択されたインターフレームに対し、マクロブロックの総数に対する動き補償値が０であるブロックの数の割合を計算する段階と、（ｃ）ｉを所定の正数としたとき、前記割合をｉレベルに量子化する段階と、（ｄ）前記処理されたインターフレームが最後のインターフレームであるかどうかを検査する段階と、（ｅ）前記（ｄ）段階において前記処理されたインターフレームが最後のインターフレームではないと決定された場合、次のインターフレームを選択し、前記（ｂ）段階ないし前記（ｄ）段階を行う段階と、（ｆ）前記（ｄ）段階において前記処理されたインターフレームが最後のインターフレームであると決定された場合、与えられた領域内のインターフレームの総数に対する前記ｉ番目のレベルのインターフレームの数の割合を計算する段階、及び（ｇ）前記（ｆ）段階において得られた割合を所定のヒストグラム情報として決定する段階を含む、圧縮された映像ストリームの形で受信されたデジタル映像を処理するための方法が提供される。

また、前記デジタル映像処理方法は、（ｐ-ａ）映像ストリームを受信する段階と、（ｐ-ｂ）所定のアルゴリズムを用いて前記映像ストリームを複数のグループにグルーピングする段階、及び（ｐ-ｃ）処理されるグループを選択する段階をさらに含みえ、前記（ａ）段階において、前記インターフレームは、前記（ｐ−ｃ）段階において選択された前記映像ストリームグループから選択される。

望ましくは、前記（ｇ）段階後に、（ｈ）前記選択されたグループが最後のグループであるかどうかを検査する段階と、（ｉ）前記（ｈ）段階において前記選択されたグループが最後のグループではないと決定された場合、次のグループを選択する段階、及び（ｊ）前記（ｉ）段階において選択された次のグループに対し、前記（ａ）段階ないし前記（ｈ）段階を行う段階をさらに含む。

また、望ましくは、前記所定のアルゴリズムは場面カット検出アルゴリズムである。望ましくは、前記映像ストリームはＭＰＥＧ-７映像ストリームである。

また、前記所定のヒストグラム情報は、与えられた映像場面領域のインテンシティを表わすＲＩＨにより定義される。

本発明の他の態様によれば、インターフレームに対し、動き補償値が０であるブロックの分布を動き活動として定義する段階を含むデジタル映像処理方法が提供される。

本発明の第２目的を達成するために、（ａ）映像ストリームからインターフレームを選択する段階と、（ｂ）前記選択されたインターフレームに対し、マクロブロックの総数に対する動き補償値が０であるブロックの数の割合を計算する段階と、（ｃ）ｉを所定の正数としたとき、前記割合をｉレベルに量子化する段階と、（ｄ）前記処理されたインターフレームが最後のインターフレームであるかどうかを検査する段階と、（ｅ）前記（ｄ）段階において前記処理されたインターフレームが最後のインターフレームではないと決定された場合、次のインターフレームを選択し、前記（ｂ）段階ないし前記（ｄ）段階を行う段階と、（ｆ）前記（ｄ）段階において前記処理されたインターフレームが最後のインターフレームであると決定された場合、与えられた領域内のインターフレームの総数に対する前記ｉ番目のレベルのインターフレームの数の割合を計算する段階、及び（ｇ）前記（ｆ）段階において得られた割合を所定のヒストグラム情報として決定する段階を含む、デジタル映像処理方法を行うためにコンピュータにより実行可能なプログラムコードを備えたコンピュータにて読取り可能な媒体が提供される。

本発明の第３目的を達成するために、所定のアルゴリズムを用いて映像ストリームをグルーピングし、処理されるグループを選択し、前記選択されたグループから各インターフレームを順次選択しかつ出力するためのグルーピング手段と、前記選択されたインターフレームに対し、マクロブロックの総数に対する動き補償値が０であるブロックの数の割合を計算するための割合計算手段と、ｉを所定の正数としたとき、前記割合をｉレベルに量子化し、各レベルを表わすレベル表示信号を出力するための量子化手段、及び領域内のインターフレームの総数に対する前記ｉ番目のレベルのインターフレームの数の割合を計算し、前記計算結果をＲＩＨ情報として出力するためのＲＩＨ計算手段を含むデジタル映像処理装置が提供される。

本発明の第４目的を達成するために、

により表現される、RIH₁とRIH₂との間の差分値である

を計算する段階を含み、与えられた映像場面において両映像ストリームのうち、第１映像ストリームのＲＩＨ情報はRIH₁であり、第２映像ストリームのＲＩＨ情報はRIH₂であり、Ｍは共分散行列であることを特徴とするデジタル映像分析方法が提供される。

本発明の第５目的を達成するために、（ａ）映像ストリームを受信する段階と、（ｂ）前記映像ストリームを所定のアルゴリズムを用いて複数のグループにグルーピングする段階と、（ｃ）処理されるグループを選択する段階と、（ｄ）前記選択されたグループにおけるインターフレームの動き補償に関する情報に基づき、前記選択されたグループのＲＩＨを決定する段階と、（ｅ）検索される映像場面を選択する段階と、（ｆ）前記選択された映像場面のＲＩＨを抽出する段階、及び（ｇ）前記処理された映像ストリームの各々において、前記抽出されたＲＩＨ情報に基づき、類似したＲＩＨ情報を備えた領域を検索する段階を含む、圧縮された映像ストリームで所望のデジタル映像場面を検索するための方法が提供される。

本発明の第６目的を達成するために、入力映像ストリームを所定のアルゴリズムを用いて複数のグループにグルーピングするためのグルーピング手段と、選択されたグループからインターフレームの動き補償に関する情報を抽出し、前記情報を含む処理された映像ストリームを前記選択されたグループのＲＩＨ情報として出力するための動き補償情報抽出手段、及び検索される選択されたグループのＲＩＨ情報を抽出し、前記抽出されたＲＩＨ情報に基づき、類似したＲＩＨ情報を備えた領域を検索するための検索手段を含む、圧縮された映像ストリームで所望のデジタル映像場面を検索するための装置が提供される。

本発明の前記諸目的及び長所は添付された図面を参照して望ましい実施形態を詳細に説明することにより一層明らかになる。

以下、本発明の実施形態が添付された図面を参照して詳細に説明される。 本発明において、映像場面のインテンシティを分類するために、動き情報が使用される。図１を参照すれば、本発明によるデジタル映像処理方法は、映像ストリーム、望ましくは、ＭＰＥＧ-２映像ストリームを入力する段階（段階１００）を含む。次に、前記映像ストリームは場面カット検出アルゴリズムを用いてグルーピングされる（段階１０２）。次に、処理される映像ストリームのグループが選択される（段階１０４）。ＭＰＥＧ技術の当業者に公知されたように、各映像ストリームは複数の映像フレームで構成される。映像フレームはイントラーフレームとインターフレームとに大別される。ＭＰＥＧ技術分野において、前記イントラーフレームは一般にＩフレームと呼ばれ、前記インターフレームはＰフレーム及びＢフレームを含む。説明の便宜のために、ＢフレームをＰフレームとしたとき、前記映像フレームはＩフレーム及びＰフレームとして分類される。すなわち、映像ストリームの選択されたグループはＩフレーム及びＰフレームで構成される。

次に、映像ストリームの選択されたグループの各Ｐフレームが順次選択される（段階１０６）。次に、段階１０８において、前記選択されたＰフレームに対し、マクロブロックの総数に対する動き補償値が０であるブロックの数の割合Ｒが、下記式（３）のように計算される。

前式（３）において、ＮＯ＿ＭＣブロックは前記Ｐフレームを構成するマクロブロックのうち動き補償値が０であるブロックである。インターフレームに対し、動き補償値が０であるブロックの分布は動き活動として定義される。

次に、前記割合Ｒが５つのレベル（I1,I2,I3,I4,I5）のうちいずれか一つのレベルに量子化される。例えば、前記レベル（I1,I2,I3,I4,I5）は、前記割合Ｒが５％未満である場合、５％以上１０％未満である場合、１０％以上３０％未満である場合、３０％以上５０％未満である場合、そして５０％以上である場合を各々表わす。このような方法により、各Ｐフレームの処理が完了する。

次に、前記処理されたＰフレームが最後のＰフレームであるかどうかが検査される（段階１１２）。もし、そうでなければ、次のＰフレームが選択され（段階１１４）、最後のＰフレームが処理されるまで段階１０６ないし段階１１０が行われる。次に、ｉを１から５までの整数であるとしたとき、領域内のＰフレームの総数に対するｉ番目のレベルI_iのＰフレームの数の割合はP_iとして表示され、P_iはＲＩＨを決定するために次のように計算される。

ＲＩＨは次のように決定される。

前式（５）において、領域は選択されたグループを表わす（段階１１６）。 次に、前記選択されたグループが最後のグループであるかどうかが検査される（段階１１８）。もし、そうでなければ、次のグループが選択され（段階１２０）、段階１０６ないし段階１１６が行われる。このような方法により、全てのグループに対する映像処理が完了する。

前記デジタル映像処理方法によれば、前記ＲＩＨ情報はＰフレームの動き補償値に基づき、得られる。前記ＲＩＨ情報は映像場面の動き情報の過不足ない表示器である。また、ＲＩＨ情報は前記映像場面のインテンシティの過不足ない表示器である。

前記デジタル映像処理方法は、コンピュータによりプログラムできる。コンピュータプログラムを構成するコード及びコードセグメントは当技術のコンピュータプログラマーにより容易に誘導されうる。また、前記プログラムはコンピュータにて読取り可能な媒体に貯蔵され、前記コンピュータにより読取りされかつ実行されることにより、前記デジタル映像処理方法を具現する。前記媒体は磁気記録媒体、光記録媒体、搬送波媒体などを含む。

また、前記デジタル映像処理方法はデジタル映像処理装置上で具現できる。図２は、本発明による前記デジタル映像処理装置のブロック図である。図２を参照すれば、前記デジタル映像処理装置は、グルーピングユニット２００、ＮＯ＿ＭＣブロック割合計算ユニット２０２、量子化ユニット２０４、ＲＩＨ計算ユニット２０６及びＲＩＨ情報貯蔵ユニット２０８を含む。

前記デジタル映像処理装置の動作において、前記グルーピングユニット２００は場面カット検出アルゴリズムを用いて映像ストリームをグルーピングし、処理されるグループを選択し、前記選択されたグループから各Ｐフレームを順次選択しかつ出力する。

前記ＮＯ＿ＭＣブロック割合計算ユニット２０２は、計算された割合を表わす割合データＲを出力するために、前式（３）に定義されたように、マクロブロックの総数に対する動き補償値が０であるブロックの数の割合を計算する。

前記量子化ユニット２０４は、前記割合Ｒを５つのレベル（I1,I2,I3,I4,I5）に量子化して各レベルを表わすレベル表示信号（I1,I2,I3,I4,I5）を出力する。各レベル（I1,I2,I3,I4,I5）は、前記割合Ｒが５％未満である場合、５％以上１０％未満である場合、１０％以上３０％未満である場合、３０％以上５０％未満である場合、そして５０％以上である場合に関するものである。このような方法により、各Ｐフレームの処理が完了する。

もし、最後のＰフレームの処理が完成されるならば、前記ＲＩＨ計算ユニット２０６は、前式（４）により表わされたように、Ｐ_iにより表示される、領域内のＰフレームの総数に対するｉ番目のレベルIiのＰフレームの数の割合を計算し、前式（５）により表わされたように、ＲＩＨを出力する。

前記ＲＩＨ情報貯蔵ユニット２０８は、前記ＲＩＨ情報（P1,P2,P3,P4,P5）を受信し、そこに前記ＲＩＨ情報を貯蔵する。より望ましくは、前記ＲＩＨ情報貯蔵ユニット２０８は映像ストリームデータを受信し、前記ＲＩＨ情報を前記映像ストリームデータとインターリービングし、前記ＲＩＨ情報がインターリービングされた映像ストリームを出力する。

図１に示されたデジタル映像処理方法により処理された前記映像ストリームにより、そして図２に示されたデジタル映像処理装置を用い、２本の任意の映像ストリームのインテンシティが比較され、かつ分析されうる。

本発明のデジタル映像分析方法によれば、RIH₁とRIH₂との間の差分値、すなわち、

が下記式（７）により計算される。

前式（７）において、与えられた映像場面において両映像ストリームのうち、第１映像ストリームのＲＩＨ情報はRIH₁であり、第２映像ストリームのＲＩＨ情報はRIH₂であり、Ｍは共分散行列である。

前述したデジタル映像分析方法により計算された前記

は両映像ストリーム間のインテンシティの差を適宜に表わす。

図２に示されたデジタル映像処理装置上で具現される、図１に示されたデジタル映像処理方法により処理された映像ストリームを用い、領域検索が、本発明によるデジタル映像検索方法により効率良く行える。

本発明によるデジタル映像検索方法は、前記映像ストリームが図１に示されたデジタル映像処理方法により処理されるという仮定に基づく。すなわち、本発明によるデジタル映像検索方法が図１を参照して説明されていたデジタル映像処理方法を含むということは理解されなければならない。

本発明のデジタル映像検索方法によれば、先ず、選択された映像場面、すなわち、映像領域のＲＩＨ情報が得られる。

次に、図１に示されたデジタル映像処理方法により処理された映像ストリームに対し、類似したＲＩＨ情報を備えた領域、すなわち、類似したインテンシティを備えた映像場面が前記得られたＲＩＨ情報に基づき、検索される。

前記ＲＩＨ情報がＰフレームの動き補償値に基づき、決定されるため、それは前記映像場面の動き情報を適宜に表わす。また、インターフレームに対し動き補償値が０であるブロックの分布は動き活動を極めてよく説明する。さらに、映像プログラム、特に、スポーツプログラムにおいて、動き情報は関連した映像ストリームの内容と極めて密接に関連する。動き情報に基づく前記ＲＩＨ情報は映像場面のインテンシティの極めて優れた表示器である。すなわち、類似したインテンシティを備えた場面の映像ストリームは前記ＲＩＨ情報に基づき、類似した映像場面を検索することにより効率良く検索されうる。

前述したデジタル映像検索方法は、内容に基づく映像検索エンジンなどのマルチメディアプッシュ／プル応用分野に適用できる。

また、前記デジタル映像検索方法は、コンピュータプログラムによりプログラムできる。コンピュータプログラムを構成するコード及びコードセグメントは当技術のコンピュータプログラマーにより容易に誘導されうる。また、前記プログラムはコンピュータにて読取り可能な媒体に貯蔵され、前記コンピュータにより読取りされかつ実行されることにより、前記デジタル映像検索方法を具現する。前記媒体は磁気記録媒体、光記録媒体、搬送波媒体などを含む。

また、前記デジタル映像処理方法は、デジタル映像検索装置（図示せず）上で具現できる。本発明による前記デジタル映像検索装置はグルーピングユニット、動き補償情報抽出ユニット及び検索ユニットを含む。

前記デジタル映像検索装置の動作において、前記グルーピングユニットは場面カット検出アルゴリズムを用いて映像ストリームを複数のグループにグルーピングする。

前記動き補償情報抽出ユニットは、選択されたグループからＰフレームの動き補償に関する情報を抽出し、前記情報を含む処理された映像ストリームを前記選択されたグループのＲＩＨ情報として出力する。

前記検索ユニットは、検索される選択されたグループのＲＩＨ情報を抽出し、前記抽出されたＲＩＨ情報に基づき、類似したＲＩＨ情報を備えた領域を検索する。

前述したデジタル映像検索装置は、前記ＲＩＨ情報に基づき、類似した映像場面を検索することにより類似したインテンシティを備えた場面の映像ストリームを効率良く検索できる。

前述したように、本発明によれば、前記ＲＩＨ情報はインターフレームの動き補償値に基づき、決定され、前記ＲＩＨ情報は前記映像場面の動き情報の優れた表示器である。また、前記ＲＩＨ情報は前記映像場面のインテンシティの極めて優れた表示器であるため、類似したインテンシティを備えた映像ストリームは、本発明のデジタル映像処理方法により得られた前記ＲＩＨ情報に基づき、類似した映像場面を検索することにより効率良く検索できる。

＜産業上の利用可能性＞
本発明は、内容に基づく映像検索エンジンなどのマルチメディアプッシュ／プル応用分野に適用できる。

本発明によるデジタル映像処理方法を示したフローチャートである。 本発明によるデジタル映像処理装置のブロック図である。

符号の説明

２００ グルーピングユニット
２０２ ＮＯ＿ＭＣブロック割合計算ユニット
２０４ 量子化ユニット
２０６ ＲＩＨ計算ユニット
２０８ ＲＩＨ情報貯蔵ユニット

Claims (4)

1. デジタル映像処理方法において、
   圧縮されたデジタル映像データを入力される段階と、
   フレーム毎に、前記圧縮されたデジタル映像データに備えられたフレームの動き情報が量子化された５つのレベルのインテンシティを生成する段階と、
   前記生成された５つのレベルのインテンシティを用いて、各レベルのインテンシティに対応する前記フレームの個数を計算することによって前記各レベルのインテンシティによる頻度ヒストグラムを生成する段階と、を含み、
   前記各インテンシティに対応する頻度ヒストグラムを示す段階は、
   前記圧縮されたデジタル映像データに備えられたインターフレームの総数と、前記５つの量子化されたレベル別に各レベルのインテンシティに属する前記インターフレームの個数との比率を計算して前記頻度ヒストグラムを示すことを特徴とするデジタル映像処理方法。
2. 前記インテンシティは前記動き情報の単調増大関数であることを特徴とする請求項１に記載のデジタル映像処理方法。
3. デジタル映像処理装置において、
   フレーム毎に、圧縮された入力デジタル映像データに含まれた動き情報に基づき、５つの量子化されたレベルのインテンシティを生成する量子化ユニットと、
   前記生成された５つの量子化されたレベルのインテンシティを用いて各インテンシティに対応する頻度ヒストグラムを示す領域インテンシティヒストグラム計算ユニット、とを含み、
   前記領域インテンシティヒストグラム計算ユニットは、
   前記圧縮されたデジタル映像データに備えられたインターフレームの総数と、前記５つの量子化されたレベル別に各レベルのインテンシティに属する前記インタフレームの個数との比率を計算して前記頻度ヒストグラムを示すことを特徴とするデジタル映像処理装置。
4. 前記インテンシティは前記動き情報の単調増大関数であることを特徴とする請求項３に記載のデジタル映像処理装置。

Images