JP7736085B2 - 映像処理装置、方法およびプログラム - Google Patents

Description

本発明の実施形態は、映像処理装置、方法およびプログラムに関する。

近年、映像（動画像）に係るユーザ（user）の満足度の向上およびリソース（resource）の効率化を図るために、インテント（intent）に基づいて通信リソース等を制御する方式が検討および実装されている。
具体的には、映像に対するユーザの体感品質（ＱоＥ：Quality of Experience）要件をユーザのインテントとして捉え、この要件を満たすためにネットワーク（ＮＷ：network）リソースおよびサーバ（server）リソース等が適切に割り当てられる。従って、映像に対するユーザの体感品質を正確に把握して、ＱоＥの変化状況からインテントを抽出する必要がある。

映像配信系の体感品質の定量化技術は、主観品質評価と客観品質に分類されている。
主観的な評価方式では、アプリケーションプログラム（application program）（以下、アプリケーションまたはアプリ（app）と称されることもある）を使用するユーザにより品質に関する評点を付してもらうこと、またはアンケート（questionnaire）を行なうことで、ユーザが体感品質を評価する（例えば非特許文献１参照）。
また、客観的な評価方式では、通信環境および状況に関するパラメータ（parameter）（e.g.パケットロス（packet loss）およびジッター（jitter）等）に基づいてユーザの体感品質を推定することが一般的である（例えば非特許文献２乃至４参照）。

T. Hoβfeld, R. Schatz, M. Seufert, M. Hirth, T. Zinner, &P. Tran-Gia, (2011) "Quantification of YouTube（登録商標） QoE via Crowdsourcing," in IEEE International Workshop on Multimedia Quality of Experience - Modeling, Evaluation, and Directions (MQoE), Dana Point, CA, USA M.H. Pinson, & S.Wolf, (2004) "A New Standardized Method for Objectively Measuring Video Quality", IEEE Transactions on Broadcasting, Vol. 50, pp. 312-322. F. Agboma &A. Liotta, (2008) "QoE-aware QoS management," in Proceedings of the 6th International Conference on Advances in Mobile Computing and Multimedia, pp. 111-116 V. A. Machado et al., "A new proposal to provide estimation of QoS and QoE over WiMAX networks: An approach based on computational intelligence and discrete-event simulation," 2011 IEEE Third Latin-American Conference on Communications, 2011, pp. 1-6

しかし、上記の主観的な評価方式において、アプリケーションプログラムの種類が異なると、ＱоＥを評価するためにユーザに品質に関する評点を再度付してもらうなどの必要があり、コスト（cost）が膨大になる懸念がある。また、上記の客観的な評価方式においても、通信環境などから取得されるパラメータがベース（base）であることから、アプリケーションプログラムまたは通信方式が異なると、パラメータを見直す必要がある。
すなわち、既存の技術では、汎用的にアプリケーションのＱоＥを評価し、ユーザのインテントを抽出する技術が未解決である。

この発明は、上記事情に着目してなされたもので、その目的とするところは、映像の体感品質を適切に評価することができるようにした映像処理装置、方法およびプログラムを提供することにある。

本発明の一態様に係る映像処理装置は、アプリケーションプログラムにより表示される映像に対する、ユーザの体感品質に影響を与える可能性がある少なくとも１種類の事象を検出する検出部と、前記検出部による検出結果に基づいて、前記事象が前記映像に対する前記体感品質に与える影響の度合いを判定する判定部と、を備え、前記検出部は、前記映像に現れる物体、前記映像に現れるピクセレーション、および前記映像に現れる待ち表示をそれぞれ検出し、前記判定部は、前記検出部により検出された物体の挙動が時間経過によっても停止した状態であるときの、この停止が前記体感品質に与える影響の度合いを示す第１のスコア、前記検出部により検出された前記ピクセレーションが前記体感品質に与える影響の度合いを示す第２のスコア、および前記検出部により検出された前記待ち表示が前記体感品質に与える影響の度合いを示す第３のスコア、をそれぞれ計算し、前記計算した前記第１、第２、および第３のスコアに基づいて、前記事象が前記体感品質に与える影響の度合いを判定し、前記判定部は、前記検出部により検出された前記物体の位置およびサイズが時間経過によっても変化しないときに、前記物体の挙動が停止した状態の継続時間を判定し、前記物体の位置、前記物体のサイズ、および前記物体の挙動が停止した状態の継続時間に基づいて前記第１のスコアを計算し、前記物体の位置および前記物体のサイズは、前記物体の面積、および前記物体の中心部から前記映像の表示画面の中心部までの距離に基づく。

本発明の一態様に係る映像処理方法は、映像処理装置により行われる方法であって、前記映像処理装置の検出部により、アプリケーションプログラムにより表示される映像に対する、ユーザの体感品質に影響を与える可能性がある少なくとも１種類の事象を検出することと、前記映像処理装置の判定部により、前記検出された結果に基づいて、前記事象が前記映像に対する前記体感品質に与える影響の度合いを判定することと、を備え、前記検出することは、前記映像に現れる物体、前記映像に現れるピクセレーション、および前記映像に現れる待ち表示をそれぞれ検出することを含み、前記判定することは、前記検出された物体の挙動が時間経過によっても停止した状態であるときの、この停止が前記体感品質に与える影響の度合いを示す第１のスコア、前記検出された前記ピクセレーションが前記体感品質に与える影響の度合いを示す第２のスコア、および前記検出された前記待ち表示が前記体感品質に与える影響の度合いを示す第３のスコア、をそれぞれ計算することと、前記計算した前記第１、第２、および第３のスコアに基づいて、前記事象が前記体感品質に与える影響の度合いを判定することとを含み、前記判定することは、前記検出された前記物体の位置およびサイズが時間経過によっても変化しないときに、前記物体の挙動が停止した状態の継続時間を判定することと、前記物体の位置、前記物体のサイズ、および前記物体の挙動が停止した状態の継続時間に基づいて前記第１のスコアを計算することとを含み、前記物体の位置および前記物体のサイズは、前記物体の面積、および前記物体の中心部から前記映像の表示画面の中心部までの距離に基づく。

本発明によれば、映像の体感品質を適切に評価することができる。

図１は、本発明の一実施形態に係る映像処理装置の適用例を示す図である。 図２は、主体検出部により検出される主体の一例を示す図である。 図３は、停止判定部による処理手順の一例を示す図である。 図４は、一つの主体に対しての停止時間算出の一例を説明する図である。 図５は、過去時間帯の主体の位置および主体のサイズ（size）の更新の一例を示す図である。 図６は、待ち判定部による処理手順の一例を示す図である。 図７は、待ち表示に対しての待ち継続時間算出の一例を説明する図である。 図８は、過去時間帯の待ち表示の位置および待ち表示のサイズの更新の一例を示す図である。 図９は、ピクセレーション（pixelation）判定部による処理手順の一例を示す図である。 図１０は、ピクセレーションに対してのピクセレーション継続時間算出の一例を説明する図である。 図１１は、過去時間帯のピクセレーションの位置およびピクセレーションのサイズの更新の一例を示す図である。 図１２は、体感計算部およびインテント導出部による処理手順の一例を示す図である。 図１３は、Web会議用アプリケーションの画面から検出された主体、ピクセレーション、および待ち表示の一例を示す図である。 図１４は、動画配信用アプリケーションの画面から各時刻において検出された主体、ピクセレーション、および待ち表示、ならびにスコア（score）算出の第１の例を示す図である。 図１５は、動画配信用アプリケーションの画面から各時刻において検出された主体、ピクセレーション、および待ち表示、ならびにスコア算出の第２の例を示す図である。 図１６は、動画配信用アプリケーションの画面から各時刻において検出された主体、ピクセレーション、および待ち表示、ならびにスコア算出の第３の例を示す図である。 図１７は、動画配信用アプリケーションの画面から各時刻において検出された主体、ピクセレーション、および待ち表示、ならびにスコア算出の第４の例を示す図である。 図１８は、本発明の一実施形態に係る映像処理装置のハードウエア（hardware）構成の一例を示すブロック図（block diagram）である。

以下、図面を参照しながら、この発明に係わる一実施形態を説明する。
図１は、本発明の一実施形態に係る映像処理装置の適用例を示す図である。
図１に示されるように、本発明の一実施形態に係る映像処理装置１００は、主体検出部１１、ピクセレーション検出部１２、待ち表示検出部１３、停止判定部１４、ピクセレーション判定部１５、待ち判定部１６、体感計算部１７、およびインテント導出部１８を有する。

主体検出部１１は、アプリケーションの画面を現在時刻から過去の所定の時刻までの複数のタイミング（timing）の各々の映像（動画像）として取得し、この映像に、ユーザが関心を持つ物体である主体が現れる対象タイミングにおける、このタイミングおよび当該タイミングに時系列で連なる過去のタイミングの映像に現れる主体の位置およびサイズを検出して、これらの検出の結果を対象タイミングの情報とともに停止判定部１４に出力する。

ピクセレーション検出部１２は、上記アプリケーションの画面を複数のタイミングの各々の映像として取得し、この映像にピクセレーションが現れる対象タイミングにおける、この映像に現れるピクセレーションの位置およびサイズを検出して、これらの検出の結果を対象タイミングの情報とともにピクセレーション判定部１５に出力する。

待ち表示検出部１３は、上記アプリケーションの画面を複数のタイミングの各々の映像として取得し、この映像に待ち表示が現れる対象タイミングにおける、この映像に現れる待ち表示の位置およびサイズを検出して、これらの検出の結果を対象タイミングの情報とともに待ち判定部１６に出力する。
これらの主体検出部１１、ピクセレーション検出部１２、および待ち表示検出部１３は、アプリケーションプログラムにより表示される映像に対する、ユーザの体感品質に影響を与える可能性がある事象を検出する。

停止判定部１４、ピクセレーション判定部１５、待ち判定部１６、体感計算部１７、およびインテント導出部１８の動作については、以下で順次説明する。
主体検出部１１、ピクセレーション検出部１２、および待ち表示検出部１３については、市中物体検出ライブラリ（library）（e.g., yolo）を活用または再訓練することで実装され得る。

次に、停止判定部１４による処理について説明する。図２は、主体検出部により検出される主体の一例を示す図である。図３は、停止判定部による処理手順の一例を示す図である。
まず、停止判定部１４は、主体検出部１１から現在時刻（現時点）t、主体の位置の情報、および主体のサイズの情報を入力する。

主体の位置は、検出対象である主体、例えば図２に示される「主体Ａ」の左上の頂点の横座標ｘ、および主体の左上の頂点の縦座標ｙでなる。
また、主体のサイズは、主体の横幅ｗ、および主体の縦幅ｈでなる。これらｘ、ｙ、ｗおよびｈは全て正規化済みであるとする。

次に、現在時刻tでの映像にて主体検出部１１により主体が検出されたとき、停止判定部１４は、過去時間帯[t-INT～t-N*INT]と現在時刻tとの間の対象タイミングから当該タイミングから遡ったタイミングまでの、主体の位置およびサイズが変化しない時間、すなわち主体の挙動が継続して停止する時間である停止時間の長さを算出する（Ｓ１１）。
ここでは、対象タイミングおよび当該対象タイミングに時系列で連なる過去のタイミングにて、同じ位置およびサイズの主体が検出されたときは、これらのタイミングに対応する時間にて主体の挙動が停止していると判定され、この時間が上記対象タイミングに係る主体の停止時間に対応する。

INTは主体、ピクセレーション、または待ち表示の検出の時間間隔であり、映像処理装置１００に係るシステム（system）管理者により設定可能である。
t～N＊INTは、現在時刻(t)からN*INTの間隔であって例えば画面上の主体、ピクセレーション、または待ち表示の検出時間の範囲であり、システム管理者により設定可能である。
例えば、検出の時間間隔INTが5[ms]で、Nが100である場合、現時点から500[ms]（5[ms]×100回）以内の主体、ピクセレーション、または待ち表示をベースにして、例えば後述する停止時間、ピクセレーション継続時間、または待ち継続時間などが算出される。

停止判定部１４は、過去時間帯[t-INT～t-N*INT]の位置およびサイズを更新する（Ｓ１２）。
停止判定部１４は、主体の停止位置、停止した主体のサイズ、およびＳ１１で算出された停止時間の長さを加味して、挙動が停止した主体が、映像に対するユーザの体感品質に与える影響の度合いを示す停止スコアを算出し、これを出力する（Ｓ１３）。
この停止スコアは、上記の現在時刻tから過去の時刻「t-INT*N」までの各タイミングのうち、主体検出部１１により主体が検出され、かつ当該主体の挙動の停止が判定されたタイミングの各々について算出され得る。

図４は、一つの主体に対しての停止時間算出の一例を説明する図である。
図４に示された例では、現在時刻t、時刻「t-INT」から「t-INT＊2」では、主体位置の横座標、主体位置の縦座標、主体の横幅、主体の縦幅であるパラメータ（ｘ，ｙ，ｗ，ｈ）は同じ(0.1, 0.1, 0.3, 0.4)であり、時刻「t-INT＊2」から時間間隔「INT」だけ遡った時刻「t-INT＊3」でのパラメータは、時刻「t-INT＊2」からみて(0.2, 0.1, 0.3, 0.5)に変化することが示される。Ｓ１１では、停止判定部１４は、現在時刻tからみてパラメータが変化しない時間「INT＊2」を、現在時刻tに係る主体の挙動の停止時間として算出する。

図５は、過去時間帯の主体の位置および主体のサイズの更新の一例を示す図である。
図５に示された例では、図４に示される現在時刻tでの新たなパラメータ（ｘ，ｙ，ｗ，ｈ）が(0.1, 0.1, 0.3, 0.4)であることに伴い、Ｓ１２にて、停止判定部１４により、図４に示された時刻「t-INT」におけるパラメータが当該現在時刻tでのパラメータに更新されることが示される。

この更新に伴い、図４に示された時刻「t-INT＊2」におけるパラメータは、更新前の当該時刻「t-INT＊2」から時間間隔「INT」だけ後の時刻「t-INT＊1」におけるパラメータに更新され、他の各時刻におけるパラメータは、当該時刻から時間間隔「INT」だけ後の時刻「t-INT＊1」におけるパラメータに更新される。

上記更新の後で、Ｓ１３にて、停止判定部１４は、主体の位置、主体のサイズ、および上記算出された停止時間の長さを加味して、以下の式（１）を用いて停止スコアを算出する。

停止スコア＝Σ（主体面積＊主体の中心部から画面の中心部までの距離＊停止時間＊重み） …式（１）
この式（１）を用いて、停止スコアは、例えば以下のように算出される。
主体の中心部の座標は、（ｘ，ｙ，ｗ，ｈ）から算出できる。主体の中心部の横座標および主体の中心部の縦座標は、以下の式（２）および（３）によりそれぞれ算出される。
主体の中心部の横座標＝ｘ＋ｗ／２ …式（２）
主体の中心部の縦座標＝ｙ－ｈ／２ …式（３）
画面の横座標および縦座標の最大値が１であるとき、画面の中心部の座標は(0.5, 0.5)である。
そして、主体の中心部から画面の中心部への距離disは、以下の式（４）により算出される。
すなわち、停止スコアは、以下の式（５）で算出され得る。
停止スコア＝ｗ＊ｈ＊dis＊停止時間＊重み …式（５）

次に、待ち判定部１６による処理について説明する。図６は、待ち判定部による処理手順の一例を示す図である。
まず、待ち判定部１６は、待ち表示検出部１３から現在時刻tと、待ち表示の位置の情報、および待ち表示のサイズの情報であるパラメータ（ｘ１，ｙ１，ｗ１，ｈ１）とを入力する。

待ち表示の位置は、検出対象の左上の頂点の横座標ｘ１、および検出対象の左上の頂点の縦座標ｙ１でなる。また、待ち表示のサイズは、検出対象の横幅ｗ１、および検出対象の縦幅ｈ１でなる。これらｘ１、ｙ１、ｗ１およびｈ１は全て正規化済みであるとする。

次に、待ち判定部１６は、過去時間帯[t-INT～t-N*INT]と現在時刻tとの間の対象タイミングから当該タイミングから遡ったタイミングまでの、待ち表示が映像に継続して現れる時間である待ち継続時間の長さを算出する（Ｓ２１）。
待ち判定部１６は、過去時間帯[t-INT～t-N*INT]において、待ち表示の位置およびサイズを更新する（Ｓ２２）。
待ち判定部１６は、Ｓ２１で算出された待ち継続時間を加味して、待ち表示が、映像に対するユーザの体感品質に与える影響の度合いを示す待ちスコアを算出し、これを出力する（Ｓ２３）。
この待ちスコアは、上記の現在時刻tから過去の時刻「t-INT*N」までの各タイミングのうち、待ち表示検出部１３により待ち表示が検出されたタイミングの各々について算出され得る。

図７は、待ち表示に対しての待ち継続時間算出の一例を説明する図である。
図７に示された例では、現在時刻ｔ、時刻「t-INT」、および「t-INT＊2」では、待ち表示の横座標、待ち表示の縦座標、待ち表示の横幅、待ち表示の縦幅であるパラメータ（ｘ１，ｙ１，ｗ１，ｈ１）は同じ(0.4, 0.6, 0.1, 0.1)であり、時刻「t-INT＊2」から時間間隔「INT」だけ遡った時刻「t-INT＊3」でのパラメータは、時刻「t-INT＊2」からみて(null)に変化することが示される。Ｓ２１では、待ち判定部１６は、現在時刻tからみてパラメータが変化しない時間「INT＊2」を現在時刻tに係る待ち継続時間として算出する。

図８は、過去時間帯の待ち表示の位置および待ち表示のサイズの更新の一例を示す図である。
図８に示された例では、図７に示される現在時刻tでのパラメータ（ｘ１，ｙ１，ｗ１，ｈ１）が(0.4, 0.6, 0.1, 0.1)であることに伴い、Ｓ２２にて、待ち判定部１６により、図７に示された時刻「t-INT」におけるパラメータが当該現在時刻tでのパラメータに更新されることが示される。

この更新に伴い、図７に示された時刻「t-INT＊2」におけるパラメータは、更新前の当該時刻「t-INT＊2」から時間間隔「INT」だけ後の時刻「t-INT＊1」におけるパラメータに更新され、他の各時刻におけるパラメータは、当該時刻から時間間隔「INT」だけ後の時刻「t-INT＊1」におけるパラメータに更新される。

上記更新の後で、Ｓ２３にて、待ち判定部１６は、待ち継続時間を加味して、以下の式（６）を用いて、待ちスコアを算出する。
待ちスコア＝待ち表示の有無＋待ち継続時間＊重み …式（６）

待ち表示が画面に現れているときは上記待ち表示の有無は「１」であり、待ち表示が画面に現れていないときは上記待ち表示の有無は「０」である。
上記式（６）を用いて、待ちスコアは、例えば以下のように算出される。
待ちスコア＝１＋（INT＊２）＊重み

次に、ピクセレーション判定部１５による処理について説明する。図９は、ピクセレーション判定部による処理手順の一例を示す図である。
まず、ピクセレーション判定部１５は、ピクセレーション検出部１２から現在時刻tと、ピクセレーションの位置の情報、およびピクセレーションのサイズの情報であるパラメータ（ｘ２，ｙ２，ｗ２，ｈ２）とを入力する。

ピクセレーションの位置は、検出対象の左上の頂点の横座標ｘ２、および検出対象の左上の頂点の縦座標ｙ２でなる。また、ピクセレーションのサイズは、検出対象の横幅ｗ２、および検出対象の縦幅ｈ２でなる。これらｘ２、ｙ２、ｗ２およびｈ２は全て正規化済みであるとする。

次に、ピクセレーション判定部１５は、過去時間帯[t-INT～t-N*INT]と現在時刻tとの間の対象タイミングから当該タイミングから遡ったタイミングまでの、ピクセレーションが映像に継続して現れる時間であるピクセレーション継続時間の長さを算出する（Ｓ３１）。
ピクセレーション判定部１５は、過去時間帯[t-INT～t-N*INT]において、ピクセレーションの位置およびサイズを更新する（Ｓ３２）。

ピクセレーション判定部１５は、ピクセレーションサイズと、Ｓ３１で算出されたピクセレーション継続時間とを加味して、ピクセレーションが、映像に対するユーザの体感品質に与える影響の度合いを示すピクセレーションスコアを算出し、これを出力する（Ｓ３３）。
このピクセレーションスコアは、上記の現在時刻tから過去の時刻「t-INT*N」までの各タイミングのうち、ピクセレーション検出部１２によりピクセレーションが検出されたタイミングの各々について算出され得る。

図１０は、ピクセレーションに対してのピクセレーション継続時間算出の一例を説明する図である。
図１０に示された例では、現在時刻ｔおよび時刻「t-INT」では、ピクセレーションの横座標、ピクセレーションの縦座標、ピクセレーションの横幅、ピクセレーションの縦幅であるパラメータ（ｘ２，ｙ２，ｗ２，ｈ２）は同じ(0.2, 0.2, 0.3, 0.5)であり、時刻「t-INT＊1」から時間間隔「INT」だけ遡った時刻「t-INT＊2」でのパラメータは、時刻「t-INT＊1」からみて(null)に変化することが示される。
Ｓ３１では、ピクセレーション判定部１５は、現在時刻tからみてパラメータが変化しない時間「INT」を現在時刻tに係るピクセレーション継続時間として算出する。

図１１は、過去時間帯のピクセレーションの位置およびピクセレーションのサイズの更新の一例を示す図である。
図１１に示された例では、図１０に示される現在時刻tでの新たなパラメータ（ｘ２，ｙ２，ｗ２，ｈ２）が(0.2, 0.2, 0.3, 0.5)であることに伴い、Ｓ３２にて、ピクセレーション判定部１５により、図１０に示された時刻「t-INT」におけるパラメータが上記現在時刻ｔでのパラメータに更新されることが示される。

この更新に伴い、図１０に示された時刻「t-INT＊2」におけるパラメータは、更新前の当該時刻「t-INT＊2」から時間間隔「INT」だけ後の時刻「t-INT＊1」におけるパラメータに更新され、他の各時刻におけるパラメータは、当該時刻から時間間隔「INT」だけ後の時刻「t-INT＊1」におけるパラメータに更新される。

上記更新の後で、Ｓ３３にて、ピクセレーション判定部１５は、ピクセレーション継続時間を加味して、以下の式（７）を用いて、ピクセレーションスコアを算出する。
ピクセレーションスコア＝ピクセレーションの有無＋ピクセレーション継続時間＊ピクセレーションサイズ＊重み …式（７）

ピクセレーションが画面に現れているときは上記ピクセレーションの有無は「１」であり、ピクセレーションが画面に現れていないときは上記ピクセレーションの有無は「０」である。
この式（７）を用いて、ピクセレーションスコアは、例えば以下のように算出される。
ピクセレーションスコア＝１＋INT＊（0.3＊0.5）＊重み

次に、体感計算部１７およびインテント導出部１８による処理について説明する。図１２は、体感計算部およびインテント導出部による処理手順の一例を示す図である。
まず、体感計算部１７は、停止判定部１４から出力された停止スコア、ピクセレーション判定部１５により出力されたピクセレーションスコア、および待ち判定部１６により出力された待ちスコアをそれぞれ入力する。

体感計算部１７は、入力された停止スコア、ピクセレーションスコア、および待ちスコアに対し、スコアの種別に応じた所定の重みを乗じた上で、各スコアの和を計算することで、主体の挙動の停止、ピクセレーション、および待ち表示がユーザの体感品質に与える影響の度合いを示す体感スコアを計算する（Ｓ４１）。
この体感スコアは、上記の現在時刻tから過去の時刻「t-INT*N」までの各タイミングのうち、上記停止スコアが算出されたタイミング、上記待ちスコアが算出されたタイミング、および上記ピクセレーションスコアが算出されたタイミングの各々について算出され得る。

この計算された体感スコアが閾値を超えるときは、インテント導出部１８は、映像に対してユーザが体感する品質が劣化していると判定し、この体感する品質の改善を要求するインテントを生成して、これを出力する（Ｓ４２）。このインテントは、上記の現在時刻tから過去の時刻「t-INT*N」までの各タイミングのうち、上記体感スコアが算出されたタイミングの各々について生成され得る。

次に、本実施形態に係る映像処理装置１００がWeb会議用アプリケーションに適用されたときの例を説明する。
図１３は、Web会議用アプリケーションの画面から検出された主体、ピクセレーション、および待ち表示の一例を示す図である。
図１３に示された例では、時刻「t-INT」および現在時刻tにおいて、主体（主体Ａ、主体Ｂ、主体Ｃ）、ピクセレーション、および待ち表示（Wait）がそれぞれ検出されたことが示される。ここでは、説明を簡潔にするために上記N＊INTのNは１であるとして説明する。

図１３に示された例では、停止判定部：時刻「t-INT」から現在時刻tまでの時間で、主体ＢおよびＣの位置およびサイズが変化しないため、この時刻「t-INT」から現在時刻tまでの時間を現在時刻tに係る主体の挙動の停止時間として算出した上で、この停止時間を加味して、当該現在時刻tに係る停止スコアを算出する。この例では、主体Ｂのサイズ比較的大きく、画面の中心部に近いため、停止スコアへの影響が比較的大きい。

図１３に示された例では、現在時刻tから時刻「t-INT」の間にピクセレーションが継続して検出されるため、ピクセレーション判定部１５は、この時間を現在時刻tに係るピクセレーション継続時間として算出し、この時間およびピクセレーションのサイズを加味して、上記現在時刻tに係るピクセレーションスコアを算出する。

図１３に示された例では、現在時刻tから時刻「t-INT」の間に待ち表示が継続して検出されるため、待ち判定部１６は、この時間を現在時刻tに係る待ち継続時間として算出した上で、この時間を加味して、上記現在時刻tに係る待ちスコアを算出する。

体感計算部１７は、同じタイミングについて上記算出された停止スコア、ピクセレーションスコア、および待ちスコアに基づいて、このタイミングに係る体感スコアを算出する。
また、インテント導出部１８は、この算出された体感スコアを、設定した閾値と比較することで、ユーザの体感品質が劣化したと判定した際に、ユーザの体感品質の改善を要求するためのインテントを発出する。

次に、本実施形態に係る映像処理装置１００が動画配信用アプリケーションに適用されたときの例を説明する。
図１４は、動画配信用アプリケーションの画面から各時刻において検出された主体、ピクセレーション、および待ち表示、ならびにスコア算出の第１の例を示す図である。
図１４に示された例では、時刻「t-INT*3」にて待ち表示（Wait）が検出されたので、待ち判定部１６は、この時刻「t-INT*3」に係る待ちスコアを算出する。

図１５は、動画配信用アプリケーションの画面から各時刻において検出された主体、ピクセレーション、および待ち表示、ならびにスコア算出の第２の例を示す図である。
図１５に示された例では、時刻「t-INT＊１」にて主体およびピクセレーションがそれぞれ検出され、現在時刻tにて、主体が検出されたことが示される。

図１５に示された例では、時刻「t-INT*2」にて「主体Ａ」が検出されたが、この時刻より１つ前の時刻「t-INT*3」にて主体が検出されないため、停止判定部１４は、この時刻「t-INT*2」に係る主体の挙動の停止は無いと判定する。
したがって、この時刻「t-INT*2」に係るユーザ体感スコアは算出されず、インテントは出力されない。

図１６は、動画配信用アプリケーションの画面から各時刻において検出された主体、ピクセレーション、および待ち表示、ならびにスコア算出の第３の例を示す図である。
図１６に示された例では、時刻「t-INT」にて「主体Ａ」が検出され、この時刻に時系列で連なる前の時刻「t-INT*2」にても「主体Ａ」が検出され、かつこれらの時刻の間にて「主体А」の位置およびサイズが変動しない。このため、停止判定部１４は、時刻「t-INT」における主体の挙動の停止を判定し、この時刻「t-INT」に係る停止スコアを算出する。

また、図１６に示された例では、時刻「t-INT」にてピクセレーションが検出されるので、ピクセレーション判定部１５は、この時刻「t-INT」に係るピクセレーションスコアを算出する。

図１７は、動画配信用アプリケーションの画面から各時刻において検出された主体、ピクセレーション、および待ち表示、ならびにスコア算出の第４の例を示す図である。
図１７に示された例では、現在時刻tにて「主体Ａ」が検出され、この時刻に時系列で連なる前の時刻「t-INT」にても「主体Ａ」が検出され、現在時刻tと時刻「t-INT」との間で「主体А」の位置およびサイズが変動する。このため、停止判定部１４は、この時刻「t-INT」に係る主体の挙動の停止は無いと判定する。したがって、この現在時刻tに係るユーザ体感スコアは算出されない。
体感計算部１７は、同じタイミングについて上記算出された停止スコア、ピクセレーションスコア、および待ちスコアに基づいて、このタイミングに係る体感スコアを算出する。
また、インテント導出部１８は、この算出された体感スコアを、設定した閾値と比較することで、ユーザの体感品質が劣化したと判定した際に、ユーザの体感品質の改善を要求するためのインテントを発出する。

以上説明した、本発明の一実施形態では、映像用のアプリケーションプログラムにより画面に表示された映像からユーザの体感品質に影響する指標を判定するので、様々な種類のアプリケーションプログラムについて、映像に対するユーザの体感品質を汎用的に評価できる。

図１８は、本発明の一実施形態に係る映像処理装置のハードウエア構成の一例を示すブロック図である。
図１８に示された例では、上記の実施形態に係る映像処理装置１００は、例えばサーバコンピュータ（server computer）またはパーソナルコンピュータ（personal computer）により構成され、ＣＰＵ（Central Processing Unit）等のハードウエアプロセッサ（hardware processor）１１１Ａを有する。そして、このハードウエアプロセッサ１１１Ａに対し、プログラムメモリ（program memory）１１１Ｂ、データメモリ（data memory）１１２、入出力インタフェース（interface）１１３及び通信インタフェース１１４が、バス（bus）１１５を介して接続される。

通信インタフェース１１４は、例えば１つ以上の無線の通信インタフェースユニットを含んでおり、通信ネットワーク（network）ＮＷとの間で情報の送受信を可能にする。無線インタフェースとしては、例えば無線ＬＡＮ（Local Area Network）などの小電力無線データ通信規格が採用されたインタフェースが使用される。

入出力インタフェース１１３には、映像処理装置１００に付設される、利用者などにより用いられる入力デバイス（device）２００および出力デバイス３００が接続される。
入出力インタフェース１１３は、キーボード（keyboard）、タッチパネル（touch panel）、タッチパッド（touchpad）、マウス（mouse）等の入力デバイス２００を通じて利用者などにより入力された操作データを取り込むとともに、出力データを液晶または有機ＥＬ（Electro Luminescence）等が用いられた表示デバイスを含む出力デバイス３００へ出力して表示させる処理を行なう。なお、入力デバイス２００および出力デバイス３００には、映像処理装置１００に内蔵されたデバイスが使用されてもよく、また、ネットワークＮＷを介して映像処理装置１００と通信可能である他の情報端末の入力デバイスおよび出力デバイスが使用されてもよい。

プログラムメモリ１１１Ｂは、非一時的な有形の記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリ（non-volatile memory）と、ＲＯＭ（Read Only Memory）等の不揮発性メモリとが組み合わせて使用されたもので、一実施形態に係る各種制御処理等を実行する為に必要なプログラムが格納されている。

データメモリ１１２は、有形の記憶媒体として、例えば、上記の不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリ（volatile memory）とが組み合わせて使用されたもので、各種処理が行なわれる過程で取得および作成された各種データが記憶される為に用いられる。

本発明の一実施形態に係る映像処理装置１００は、ソフトウエア（software）による処理機能部として、図１に示される主体検出部１１、ピクセレーション検出部１２、待ち表示検出部１３、停止判定部１４、ピクセレーション判定部１５、待ち判定部１６、体感計算部１７、およびインテント導出部１８を有するデータ処理装置として構成され得る。

映像処理装置１００の各部によるワークメモリ（working memory）などとして用いられる各情報記憶部は、図１８に示されたデータメモリ１１２が用いられることで構成され得る。ただし、これらの構成される記憶領域はデータ解析装置１内に必須の構成ではなく、例えば、ＵＳＢ（Universal Serial Bus）メモリなどの外付け記憶媒体、又はクラウド（cloud）に配置されたデータベースサーバ（database server）等の記憶装置に設けられた領域であってもよい。

上記の主体検出部１１、ピクセレーション検出部１２、待ち表示検出部１３、停止判定部１４、ピクセレーション判定部１５、待ち判定部１６、体感計算部１７、およびインテント導出部１８の各部における処理機能部は、いずれも、プログラムメモリ１１１Ｂに格納されたプログラムを上記ハードウエアプロセッサ１１１Ａにより読み出させて実行させることにより実現され得る。なお、これらの処理機能部の一部または全部は、特定用途向け集積回路（ＡＳＩＣ（Application Specific Integrated Circuit））またはＦＰＧＡ（Field-Programmable Gate Array）などの集積回路を含む、他の多様な形式によって実現されてもよい。

また、各実施形態に記載された手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウエア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク（Floppy disk）、ハードディスク（hard disk）等）、光ディスク（optical disc）（ＣＤ－ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ（Flash memory）等）等の記録媒体に格納し、また通信媒体により伝送して頒布され得る。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウエア手段（実行プログラムのみならずテーブル（table）、データ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスク、半導体メモリ等の記憶媒体を含むものである。

なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

１００…映像処理装置
１１…主体検出部
１２…ピクセレーション検出部
１３…待ち表示検出部
１４…停止判定部
１５…ピクセレーション判定部
１６…待ち判定部
１７…体感計算部
１８…インテント導出部

Claims (7)

1. アプリケーションプログラムにより表示される映像に対する、ユーザの体感品質に影響を与える可能性がある少なくとも１種類の事象を検出する検出部と、
   前記検出部による検出結果に基づいて、前記事象が前記映像に対する前記体感品質に与える影響の度合いを判定する判定部と、
   を備え、
   前記検出部は、
   前記映像に現れる物体、前記映像に現れるピクセレーション、および前記映像に現れる待ち表示をそれぞれ検出し、
   前記判定部は、
   前記検出部により検出された物体の挙動が時間経過によっても停止した状態であるときの、この停止が前記体感品質に与える影響の度合いを示す第１のスコア、前記検出部により検出された前記ピクセレーションが前記体感品質に与える影響の度合いを示す第２のスコア、および前記検出部により検出された前記待ち表示が前記体感品質に与える影響の度合いを示す第３のスコア、をそれぞれ計算し、
   前記計算した前記第１、第２、および第３のスコアに基づいて、前記事象が前記体感品質に与える影響の度合いを判定し、
   前記判定部は、
   前記検出部により検出された前記物体の位置およびサイズが時間経過によっても変化しないときに、前記物体の挙動が停止した状態の継続時間を判定し、
   前記物体の位置、前記物体のサイズ、および前記物体の挙動が停止した状態の継続時間に基づいて前記第１のスコアを計算し、
   前記物体の位置および前記物体のサイズは、前記物体の面積、および前記物体の中心部から前記映像の表示画面の中心部までの距離に基づく、
   映像処理装置。
2. 前記判定部は、
   前記検出部により検出されたピクセレーションが前記映像に継続して現れる時間を判定し、前記ピクセレーションのサイズ、および前記ピクセレーションが前記映像に継続して現れる時間に基づいて前記第２のスコアを計算する、
   請求項１に記載の映像処理装置。
3. 前記判定部は、
   前記検出部により検出された待ち表示が前記映像に継続して現れる時間を判定し、前記待ち表示が前記映像に継続して現れる時間に基づいて前記第３のスコアを計算する、
   請求項１に記載の映像処理装置。
4. 映像処理装置により行われる方法であって、
   前記映像処理装置の検出部により、アプリケーションプログラムにより表示される映像に対する、ユーザの体感品質に影響を与える可能性がある少なくとも１種類の事象を検出することと、
   前記映像処理装置の判定部により、前記検出された結果に基づいて、前記事象が前記映像に対する前記体感品質に与える影響の度合いを判定することと、
   を備え、
   前記検出することは、
   前記映像に現れる物体、前記映像に現れるピクセレーション、および前記映像に現れる待ち表示をそれぞれ検出することを含み、
   前記判定することは、
   前記検出された物体の挙動が時間経過によっても停止した状態であるときの、この停止が前記体感品質に与える影響の度合いを示す第１のスコア、前記検出された前記ピクセレーションが前記体感品質に与える影響の度合いを示す第２のスコア、および前記検出された前記待ち表示が前記体感品質に与える影響の度合いを示す第３のスコア、をそれぞれ計算することと、
   前記計算した前記第１、第２、および第３のスコアに基づいて、前記事象が前記体感品質に与える影響の度合いを判定することとを含み、
   前記判定することは、
   前記検出された前記物体の位置およびサイズが時間経過によっても変化しないときに、前記物体の挙動が停止した状態の継続時間を判定することと、
   前記物体の位置、前記物体のサイズ、および前記物体の挙動が停止した状態の継続時間に基づいて前記第１のスコアを計算することとを含み、
   前記物体の位置および前記物体のサイズは、前記物体の面積、および前記物体の中心部から前記映像の表示画面の中心部までの距離に基づく、
   映像処理方法。
5. 前記判定することは、
   前記検出されたピクセレーションが前記映像に継続して現れる時間を判定し、前記ピクセレーションのサイズ、および前記ピクセレーションが前記映像に継続して現れる時間に基づいて前記第２のスコアを計算することを含む、
   請求項４に記載の映像処理方法。
6. 前記判定することは、
   前記検出された待ち表示が前記映像に継続して現れる時間を判定し、前記待ち表示が前記映像に継続して現れる時間に基づいて前記第３のスコアを計算することを含む、
   請求項４に記載の映像処理方法。
7. 請求項１乃至３のいずれか１項に記載の映像処理装置の各部としてプロセッサを機能させる映像処理プログラム。