JP6357548B2

JP6357548B2 - 動画像処理装置

Info

Publication number: JP6357548B2
Application number: JP2016573173A
Authority: JP
Inventors: 岡田　充弘; 充弘岡田
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2015-02-03
Filing date: 2015-10-07
Publication date: 2018-07-11
Anticipated expiration: 2035-10-07
Also published as: JPWO2016125339A1; WO2016125339A1; US10489658B2; US20180012075A1

Description

本発明は、動画像に関連する静止画像の表示制御を行う動画像処理装置、サーバ装置、動画像処理方法、動画像処理プログラム、及び情報記憶媒体に関する。

動画像から複数のフレーム画像を抽出し、画像列として表示する技術がある。このような技術によれば、ユーザーは表示される画像列を閲覧することによって、動画像の概要を素早く把握したり、自分が見たいシーンを簡単に探したりすることができる（例えば特許文献１参照）。

特開２０１０−９２２４６号公報

上記従来例の技術においては、動画像から抽出して得られる画像を一度に全部画面に表示できない場合であっても、ユーザーは画像列をスクロールさせることによって見たいシーンを探すことができる。しかしながら、多数の画像を含む画像列をスクロールさせる場合、スクロールが速すぎると、ユーザーが画像列を確認しながらスクロールさせることが難しくなる。また、スクロールが遅すぎると、見たいシーンを探すのに時間がかかってしまう。

本発明は上記実情を考慮してなされたものであって、その目的の一つは、ユーザーが画像列の内容を容易に確認しながら素早く見たいシーンを探すことのできる動画像処理装置、サーバ装置、動画像処理方法、動画像処理プログラム、及び情報記憶媒体を提供することにある。

本発明に係る動画像処理装置は、注目動画像から複数のフレーム画像を抽出してなる第１画像列を取得する第１画像列取得部と、前記注目動画像から複数のフレーム画像を抽出してなる、前記第１画像列とは異なる第２画像列を取得する第２画像列取得部と、前記第１画像列を注目画像列として表示装置の画面に表示させる制御を行う表示制御部と、を含み、前記表示制御部は、前記第１画像列の表示中に、ユーザーによるスクロール操作に応じて当該第１画像列に含まれるフレーム画像をスクロールさせ、前記スクロール操作が所定の判定条件を満たす場合には、前記注目画像列を前記第１画像列から前記第２画像列に切り替えることを特徴とする。

また、本発明に係る別の動画像処理装置は、注目動画像から複数のフレーム画像を抽出してなる第１画像列を取得する第１画像列取得部と、前記注目動画像から複数のフレーム画像を抽出してなる、前記第１画像列とは異なる第２画像列を取得する第２画像列取得部と、前記第１画像列及び第２画像列を同時期に表示装置の画面に表示させる制御を行う表示制御部と、を含み、前記表示制御部は、前記第１画像列及び第２画像列の表示中に、ユーザーによるスクロール操作に応じて当該第１画像列及び第２画像列に含まれるフレーム画像をスクロールさせ、前記スクロール操作が所定の判定条件を満たす場合には、前記第１画像列に含まれるフレーム画像の表示を抑制することを特徴とする。

また、本発明に係るサーバ装置は、動画像処理装置と接続可能なサーバ装置であって、注目動画像、及び、当該注目動画像の表示制御に用いる制御プログラムを前記動画像処理装置に送信する送信部を含み、前記制御プログラムは、注目動画像から複数のフレーム画像を抽出してなる第１画像列を取得するステップと、前記注目動画像から複数のフレーム画像を抽出してなる、前記第１画像列とは異なる第２画像列を取得するステップと、前記第１画像列を注目画像列として表示装置の画面に表示させる制御を行うステップと、前記第１画像列の表示中に、ユーザーによるスクロール操作に応じて当該第１画像列に含まれるフレーム画像をスクロールさせるステップと、前記スクロール操作が所定の判定条件を満たす場合に、前記注目画像列を前記第１画像列から前記第２画像列に切り替えるステップと、を前記動画像処理装置に実行させることを特徴とする。

また、本発明に係る動画像処理方法は、注目動画像から複数のフレーム画像を抽出してなる第１画像列を取得するステップと、前記注目動画像から複数のフレーム画像を抽出してなる、前記第１画像列とは異なる第２画像列を取得するステップと、前記第１画像列を注目画像列として表示装置の画面に表示させる制御を行うステップと、前記第１画像列の表示中に、ユーザーによるスクロール操作に応じて当該第１画像列に含まれるフレーム画像をスクロールさせるステップと、前記スクロール操作が所定の判定条件を満たす場合に、前記注目画像列を前記第１画像列から前記第２画像列に切り替えるステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、コンピュータを、注目動画像から複数のフレーム画像を抽出してなる第１画像列を取得する第１画像列取得手段、前記注目動画像から複数のフレーム画像を抽出してなる、前記第１画像列とは異なる第２画像列を取得する第２画像列取得手段、及び、前記第１画像列を注目画像列として表示装置の画面に表示させる制御を行う表示制御手段、として機能させるためのプログラムであって、前記表示制御手段は、前記第１画像列の表示中に、ユーザーによるスクロール操作に応じて当該第１画像列に含まれるフレーム画像をスクロールさせ、前記スクロール操作が所定の判定条件を満たす場合には、前記注目画像列を前記第１画像列から前記第２画像列に切り替えることを特徴とする。このプログラムは、コンピュータ読み取り可能な情報記憶媒体に格納されて提供されてよい。

本発明の実施の形態に係る動画像処理装置の構成を示す構成ブロック図である。本発明の実施の形態に係る動画像処理装置の機能を示す機能ブロック図である。第１画像列の表示例を示す図である。第２画像列の表示例を示す図である。第１画像列と第２画像列の表示態様を異ならせる場合の第１の例を示す図である。第１画像列と第２画像列の表示態様を異ならせる場合の第２の例を示す図である。第１画像列と第２画像列の表示態様を異ならせる場合の第３の例における注目画像列切り替え前の表示例を示す図である。第１画像列と第２画像列の表示態様を異ならせる場合の第３の例における注目画像列切り替え後の表示例を示す図である。第１画像列と第２画像列の表示態様を異ならせる場合の第４の例における注目画像列切り替え前の表示例を示す図である。第１画像列と第２画像列の表示態様を異ならせる場合の第４の例における注目画像列切り替え後の表示例を示す図である。

以下、本発明の実施形態について、図面に基づき詳細に説明する。

図１は、本発明の一実施形態に係る動画像処理装置１の構成を示す構成ブロック図である。動画像処理装置１は、例えば携帯型ゲーム機や家庭用ゲーム機、パーソナルコンピュータ、スマートフォン、ビデオプレーヤー等であって、同図に示されるように、制御部１１と、記憶部１２と、画像処理部１３と、を含んで構成されている。また、動画像処理装置１は表示装置１４及び操作デバイス１５と接続されている。

制御部１１はＣＰＵ等を含んで構成され、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。なお、本実施形態において制御部１１が実行する処理の具体例については、後述する。記憶部１２は、ＲＡＭ等のメモリデバイスを含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。

画像処理部１３はＧＰＵ等を含んで構成され、制御部１１からの指示に従って表示装置１４の画面に表示すべき画像を描画する。画像処理部１３によって描画された画像は、映像信号に変換されて表示装置１４に対して出力される。表示装置１４は、液晶ディスプレイや有機ＥＬディスプレイ等であって、画像処理部１３から入力される映像信号に応じた画像を画面上に表示する。特に本実施形態では、後述するように、表示装置１４は、注目動画像や、複数の静止画像を配列してなる画像列を画面上に表示する。

操作デバイス１５は、例えばキーボードやマウス、家庭用ゲーム機のコントローラなどであって、ユーザーからの操作入力を受け付ける。なお、表示装置１４、及び操作デバイス１５は、いずれも動画像処理装置１の筐体内に内蔵されてもよいし、動画像処理装置１と有線又は無線により接続される別個の装置であってもよい。特に操作デバイス１５は、動画像処理装置１の筐体表面に配置された押しボタンやタッチパネルであってもよい。

以下、動画像処理装置１が実現する機能について、図２を用いて説明する。図２に示すように、動画像処理装置１は、機能的に、動画像再生部２１と、画像列生成部２２と、画像列表示制御部２３と、を含んで構成されている。これらの機能は、制御部１１及び画像処理部１３が記憶部１２に記憶されたプログラムに従って動作することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して動画像処理装置１に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。

動画像再生部２１は、動画像の再生処理を行う。以下では、動画像再生部２１が再生対象とする動画像を注目動画像Ａと表記する。注目動画像Ａのデータは、記憶部１２に予め記憶されてもよいし、光ディスク等の情報記憶媒体から読み出されるものであってもよい。また、通信ネットワークを介して外部の装置から受信するものであってもよい。動画像再生部２１は、注目動画像Ａのデータを復号化して再生処理を行うことにより、表示装置１４の画面に注目動画像Ａを表示する。

画像列生成部２２は、注目動画像Ａのデータから複数のフレーム画像を抽出することによって、画像列を生成する。画像列生成部２２によって生成された画像列は、後述する画像列表示制御部２３によって表示装置１４の画面に表示される。具体的に画像列生成部２２は、抽出対象となる各フレーム画像のデータを注目動画像Ａのデータから抽出してフレーム画像を描画し、所定サイズに縮小して表示用のサムネイル画像とする。そして、これらのサムネイル画像を注目動画像Ａ内における出現順に並べて配置することによって画像列を生成する。生成された画像列のデータは記憶部１２に確保されるバッファ内に格納される。

特に本実施形態では、画像列生成部２２は、第１画像列Ｓ１及び第２画像列Ｓ２の二つの画像列を生成する。各画像列を構成するフレーム画像は、注目動画像Ａから所定の選択規則によって選択される。ここで所定の選択規則は、例えば注目動画像Ａ内において一定の時間間隔で現れるフレーム画像を選択する規則である。ただし、注目動画像Ａのデータフォーマットによっては、直接抽出することができないフレーム画像や抽出に必要な処理負荷が比較的大きなフレーム画像が注目動画像Ａ内に含まれる場合がある。このような場合、画像列生成部２２は、厳密に一定の時間間隔で選択されるフレーム画像の代わりに、注目動画像Ａ内においてそのフレーム画像に近いタイミングで表示される、容易に抽出可能な別のフレーム画像を抽出対象として選択してもよい。容易に抽出可能なフレーム画像とは、例えばシーンやチャプターの切り替わりに表示されるフレーム画像であって、ＭＰＥＧ形式のデータにおけるＩフレームなどであってよい。

ここで、第１画像列Ｓ１と第２画像列Ｓ２とは、一部共通するフレーム画像を構成要素としてもよいが、全体として互いに異なるフレーム画像群を構成要素とする。特に本実施形態では、第２画像列Ｓ２は、第１画像列Ｓ１の構成要素となるフレーム画像よりも注目動画像Ａ内における時間間隔が長い複数のフレーム画像を抽出することによって生成される。具体例として、画像列生成部２２は、注目動画像Ａを再生した際に１５秒間隔で表示されるフレーム画像を第１画像列Ｓ１の構成要素とし、２分間隔で表示されるフレーム画像を第２画像列Ｓ２の構成要素とする。

画像列表示制御部２３は、画像列生成部２２が生成した画像列を表示装置１４の画面内に表示させる制御を行う。なお、以下では画像列表示制御部２３が画像列を画面上に表示する状態をシーンサーチモードという。画像列表示制御部２３は、動画像再生部２１による注目動画像Ａの再生中、または注目動画像Ａの再生が行われる前に、ユーザーが操作デバイス１５に対して入力するシーンサーチモードの開始指示に応じて、画像列を表示する。また、以下ではシーンサーチモードにおいて画像列表示制御部２３が表示対象とし、ユーザーに主として閲覧される画像列を注目画像列という。シーンサーチモードの開始時には、第１画像列Ｓ１が注目画像列となる。ここで、画像列表示制御部２３は第１画像列Ｓ１に含まれる全てのフレーム画像を表示するのではなく、画面内に収まる数のフレーム画像だけを並べて表示する。

以下では、シーンサーチモードにおいて画面内に表示されるフレーム画像のうち、画面略中央の所定位置に表示されるフレーム画像を基準画像Ｒという。また、この基準画像Ｒの注目動画像Ａ内における再生時刻を、基準時刻という。シーンサーチモード開始時の基準時刻は、例えば注目動画像Ａの再生開始時点（００：００：００）であってもよい。また、ユーザーが注目動画像Ａの再生中にシーンサーチモードの開始指示を行った場合、その指示時点での注目動画像Ａの再生時刻に応じて決定されてもよい。

図３は、第１画像列Ｓ１が表示される画面の一例を示している。この図の例では、画面の左右方向に沿って第１画像列Ｓ１に含まれるフレーム画像が配列されている。なお、以降の説明でも、画像列を構成するフレーム画像は画面の左右方向に沿って直線状に並んで配置されるものとするが、これに限らず、画像列内のフレーム画像はその順序をユーザーが認識可能な態様であればどのような向きに並べられてもよい。また、これ以降の図においては、画面内に表示されるフレーム画像の内容については省略し、その代わりにそのフレーム画像が注目動画像Ａ内において表示される再生時刻を記述するものとする。図３の例において、第１画像列Ｓ１の下方には基準時刻（ここでは００：３４：００）及び注目動画像Ａの全再生時間（ここでは０１：３０：００）が表示されており、さらにその下方には第１画像列Ｓ１の構成要素となるフレーム画像の時間間隔（ここでは１５秒間隔）を案内する案内表示が配置されている。なお、画像列表示制御部２３は基準画像Ｒを枠線で囲むなどして他のフレーム画像と区別できるように強調表示してもよい。

また、第１画像列Ｓ１の上方にはタイムラインバーＴＬが表示されている。これは注目動画像Ａの全再生時間に対応する線状の領域であって、左端が注目動画像Ａの再生開始時点（再生時刻０：００：００）に、右端が注目動画像Ａの再生終了時点（再生時刻０１：３０：００）に、それぞれ対応している。また、タイムラインバーＴＬ上において強調表示されているマーカー画像Ｍは、画面内に表示中の第１画像列Ｓ１が示す注目動画像Ａの時間範囲に対応する範囲を示している。具体的に、マーカー画像Ｍの左端の位置は、画面内に表示されている第１画像列Ｓ１の左端のフレーム画像が注目動画像Ａ中で表示される再生時刻に対応しており、マーカー画像Ｍの右端の位置は、画面内に表示されている第１画像列Ｓ１の右端のフレーム画像が表示される再生時刻に対応している。

この第１画像列Ｓ１が表示された状態において画像列表示制御部２３は、ユーザーのスクロール操作に応じて画像列Ｓ１内のフレーム画像をスクロールさせる。図３の例では、画面の左右方向に沿ってフレーム画像が配置されているので、この配置方向と同じ方向（図中矢印の方向）に沿ってフレーム画像がスクロールする。ここでスクロール操作は、ユーザーが操作デバイス１５に対して入力する指示操作であって、例えば矢印ボタンを押下して右方向又は左方向を指示する操作であってよい。また、操作デバイス１５が表示装置１４の画面に重畳して配置されるタッチパネルを含む場合、スクロール操作はタッチパネル上で左右方向に指やスタイラスなどを動かすドラッグ操作やフリック操作であってもよい。このスクロール操作によって、ユーザーは注目動画像Ａの再生開始時から再生終了時までの間に含まれる複数のフレーム画像を時系列に沿って閲覧することができる。

スクロールによって基準画像Ｒが順に切り替えられると、これに伴って基準時刻も変化する。すなわち、ユーザーのスクロール操作は、基準画像Ｒを切り替える操作であるとともに、基準時刻を進めたり戻したりする操作であるとみなすこともできる。具体例として、第１画像列Ｓ１が１５秒間隔で抽出されたフレーム画像によって構成され、スクロール操作が右矢印ボタン、及び左矢印ボタンを押下する操作であることとする。この場合、ユーザーが右矢印ボタンを１回押下すると、注目画像列に含まれるフレーム画像は左方向へスクロールする。これに応じて、基準画像Ｒはスクロール前の基準画像Ｒの一つ右に配置されたフレーム画像に切り替えられ、基準時刻が１５秒進む。逆にユーザーが左矢印ボタンを１回押下した場合、注目画像列に含まれるフレーム画像は右方向へスクロールする。これに応じて基準画像Ｒはそれまでの一つ左に配置されたフレーム画像に切り替えられ、基準時刻が１５秒前に巻き戻る。

ユーザーがスクロール操作を行って基準画像Ｒを任意のフレーム画像に切り替えた後、操作デバイス１５に対して所定の再生指示操作を行った場合、動画像再生部２１は、再生指示が行われた時点の基準画像Ｒに対応する基準時刻から、注目動画像Ａの再生を開始する。このような制御によれば、ユーザーはシーンサーチモードにより注目動画像Ａ内の自分が見たいシーンを探して、そのシーンから注目動画像Ａを視聴することができる。

さらに画像列表示制御部２３は、第１画像列Ｓ１が表示された状態でユーザーのスクロール操作が所定の判定条件を満たした場合には、画面上に表示する注目画像列を第１画像列Ｓ１から第２画像列Ｓ２に切り替える。ここで、画像列切り替えを行うための判定条件は、ユーザーが大きく（又は長く）画像列をスクロールさせようとしていることを判定する条件である。例えばこの判定条件は、スクロール操作の操作時間が所定時間以上であるという判定条件であってよい。より具体的には、スクロール操作の内容がボタンの押下である場合、画像列表示制御部２３はそのボタンをユーザーが所定時間以上押下し続けたと判定した時点で注目画像列を切り替える。また、画像列切り替えの判定条件は、スクロール操作の操作量が所定値以上となる条件であってもよい。この場合の操作量は、例えばドラッグ操作における操作距離や操作速度であってよい。

前述したように、第１画像列Ｓ１を構成するフレーム画像の注目動画像Ａ内における時間間隔よりも、第２画像列Ｓ２を構成するフレーム画像の時間間隔のほうが長い。そのため、注目画像列を第１画像列Ｓ１から第２画像列Ｓ２に切り替えると、基準画像Ｒを一つ切り替えるごとに変化する基準時刻の量が大きくなる。すなわち、注目画像列が第２画像列Ｓ２に切り替えられると、仮にフレーム画像のスクロール速度自体は切り替え前と同じだとしても、基準時刻の変化スピードは速くなることになる。具体例として、第１画像列Ｓ１が１５秒間隔、第２画像列Ｓ２が２分間隔で抽出されたフレーム画像によって構成される場合、注目画像列を切り替えることによって基準時刻の変化スピードは８倍になる。そのため、ユーザーは基準時刻を素早く変化させて見たいシーンを探すことができる。しかも、注目画像列の切り替え前後でフレーム画像のスクロール速度自体を変化させないこととすれば、ユーザーは切り替え後もスクロール中のフレーム画像を視認しながら見たいシーンを探すことができる。

図４は、注目画像列が第２画像列Ｓ２に切り替えられた後の画面の表示例を示している。ここでは、フレーム画像が第２画像列Ｓ２に含まれるものに切り替わるとともに、画面下部の時間間隔の案内表示が図３の「１５秒間隔」から「２分間隔」に切り替わっている。また、タイムラインバーＴＬ上で強調表示されているマーカー画像Ｍの横幅が図３のおよそ８倍に変化している。これは、注目画像列が第２画像列Ｓ２に切り替えられることによって、画面内に表示されているフレーム画像が示す注目動画像Ａの時間範囲が長くなっているからである。この図に示すように注目画像列の切り替えに伴って時間間隔の案内表示やタイムラインバーＴＬ上のマーカー画像Ｍを切り替えることで、ユーザーに注目画像列の切り替えが行われたことを知らせることができる。

なお、注目画像列を切り替えるタイミングで表示すべき第２画像列Ｓ２の基準画像Ｒは、切り替えタイミングで表示されていた第１画像列Ｓ１の基準画像Ｒの再生時刻（基準時刻）に対応するように選択される。例えば注目動画像Ａ内における再生時刻ｔで表示されるフレーム画像が基準画像Ｒとして表示されているタイミングで画像列切り替えの判定条件が満たされた場合、第２画像列Ｓ２を構成するフレーム画像のうち、その再生時刻が再生時刻ｔに最も近いフレーム画像を基準画像Ｒとして第２画像列Ｓ２を表示し、第２画像列Ｓ２に含まれるフレーム画像のスクロールを継続する。これにより、第１画像列Ｓ１から第２画像列Ｓ２への切り替え後も連続的にスクロールが続いているようにユーザーに感じさせることができる。

さらに、第２画像列Ｓ２への表示切り替えが行われてスクロールが続行した後にユーザーがスクロール操作を終了した場合、画像列表示制御部２３は、フレーム画像のスクロールを停止するとともに、注目画像列を第２画像列Ｓ２から第１画像列Ｓ１に戻すこととする。こうすると、ユーザーが所定の判定条件を満たすスクロール操作を行っている間だけ注目画像列を第２画像列Ｓ２に切り替えることができる。

以上説明したような第２画像列Ｓ２への表示切り替えをスムーズに実現するためには、スクロール操作が所定の判定条件を満たす前に予め第２画像列Ｓ２を生成しておくことが好ましい。そのため本実施形態では、画像列生成部２２は、シーンサーチモードが開始された時点で、最初に表示すべき第１画像列Ｓ１だけでなく、第２画像列Ｓ２も生成して記憶部１２内に一時的に記憶しておくこととする。なお、画像列生成部２２は、最初から注目動画像Ａの全再生時間に対応する長さの画像列を生成する必要はなく、画面内に表示される分のフレーム画像と、その前後の、スクロール操作によってすぐに表示される可能性のあるフレーム画像とを含んだ画像列を用意できれば十分である。そのため画像列生成部２２は、シーンサーチモードの開始時には、基準時刻に対応するフレーム画像、及び基準時刻の前後の所定数のフレーム画像を抽出して第１画像列Ｓ１及び第２画像列Ｓ２を生成する。そして、ユーザーのスクロール操作に伴って基準時刻が変化した場合、変化後の基準時刻の前後の時間範囲をカバーするように、新たなフレーム画像を抽出して追加することにより、第１画像列Ｓ１及び第２画像列Ｓ２の双方を更新する。これにより画像列表示制御部２３は、比較的少ない処理負荷で、ユーザーを待たせることなく直ちに第１画像列Ｓ１と第２画像列Ｓ２との間の表示切り替えを行うことができる。

以上の説明では、第２画像列Ｓ２は第１画像列Ｓ１と同じ態様で画面内に表示されることとしたが、画像列表示制御部２３は第２画像列Ｓ２を第１画像列Ｓ１とは異なる態様で表示することとしてもよい。第１画像列Ｓ１と第２画像列Ｓ２の表示態様が変化することにより、ユーザーは注目画像列の切り替えが行われたことを直感的に把握することができる。以下、第２画像列Ｓ２の表示態様を変化させる方法のいくつかの具体例について、説明する。

まず第１の例として、画像列表示制御部２３は、第２画像列Ｓ２を第１画像列Ｓ１とは異なる大きさで表示してもよい。図５はこの場合の表示例を示している。この図の例では、第１画像列Ｓ１から第２画像列Ｓ２に注目画像列が切り替えられた際に、注目画像列に含まれる各フレーム画像の大きさが切り替え前よりも小さくなっている。

第２の例として、画像列表示制御部２３は、第２画像列Ｓ２を第１画像列Ｓ１とは異なる位置に表示してもよい。図６はこの場合の表示例を示している。この図の例では、注目画像列が切り替えられた際に、注目画像列全体が切り替え前よりも上方に移動している。

なお、第１及び第２の例のいずれにおいても、注目画像列が第２画像列Ｓ２に切り替えられた際には、第１画像列Ｓ１が表示されていた位置に第１画像列Ｓ１に含まれるフレーム画像の位置及び大きさを示す枠画像を表示してもよい。こうすれば、枠画像と対比することによってユーザーはより明確に注目画像列が第２画像列Ｓ２に切り替えられたことを認識できる。図５及び図６はいずれも枠画像が表示される例を示している。また、枠画像を表示する代わりに、第２画像列Ｓ２の背面側に重ねて第１画像列Ｓ１を表示し続けることとしてもよい。

第３の例として、画像列表示制御部２３は、注目画像列の表示切り替え前から第２画像列Ｓ２を部分的に表示してもよい。図７Ａはこの第３の例における注目画像列切り替え前の表示例を示している。この図の例では、第１画像列Ｓ１が注目画像列として表示されているが、第２画像列Ｓ２もその一部が第１画像列と重なる位置に表示されている。なお、この図は注目画像列が第１画像列Ｓ１である状態を示しているので、第１画像列Ｓ１は第２画像列Ｓ２の前面に表示されており、第２画像列Ｓ２に含まれる各フレーム画像はその全体が表示されるわけではなく一部が隠れた状態になっている。

この例においてユーザーのスクロール操作が所定の判定条件を満たした場合、画像列表示制御部２３は、第２画像列Ｓ２の表示位置はそのまま変えずに、第２画像列Ｓ２を第１画像列Ｓ１の前面に表示する表示切り替えを行う。これにより、注目画像列が第２画像列Ｓ２となり、第２画像列Ｓ２に含まれる少なくとも一部のフレーム画像はその全体をユーザーが確認でき、第１画像列Ｓ１に含まれる各フレーム画像はいずれもその一部が隠れた状態になる。図７Ｂはこのような注目画像列の切り替えが行われた後の表示例を示している。なお、図７Ｂでは基準画像Ｒが切り替えられる途中の状態が示されている。

この第３の例において画像列表示制御部２３は、スクロール操作が行われた際には第１画像列Ｓ１と第２画像列Ｓ２とを連動して（すなわち、両者の基準時刻が対応するようなタイミングで）スクロールさせることとする。具体例として、第１画像列Ｓ１が１５秒間隔で抽出されたフレーム画像によって構成され、第２画像列Ｓ２が２分間隔で抽出されたフレーム画像によって構成される場合、画像列表示制御部２３は、第１画像列Ｓ１に含まれるフレーム画像を８個分スクロールさせる毎に第２画像列Ｓ２に含まれるフレーム画像を１個分スクロールさせる。ただし、両者を連動してスクロールさせることとすると、注目画像列が第２画像列Ｓ２に切り替えられた場合、第１画像列Ｓ１は注目画像列が第１画像列Ｓ１になっている場合と比較して約８倍の速さでスクロールすることになる。そうなると、スクロール中に第１画像列Ｓ１に新たに追加すべきフレーム画像を画像列生成部２２が抽出、描画する処理を実行するための時間的余裕が少なくなり、また高速にスクロールするフレーム画像をユーザーが視認することが困難になる。そのため、画像列表示制御部２３は、注目画像列が第２画像列Ｓ２に切り替えられている間は、第１画像列Ｓ１の表示を抑制することしてもよい。より具体的に、画像列表示制御部２３は、注目画像列が第２画像列Ｓ２に切り替えられた際には、それまで表示されていた第１画像列Ｓ１に含まれるフレーム画像の位置及び大きさに対応する枠画像だけを表示し、第１画像列Ｓ１に含まれるフレーム画像の内容については画面上に表示させないよう制御する。こうすれば、画像列生成部２２による第１画像列Ｓ１の生成処理がスクロールに間に合わなくなるという問題を回避することができる。

なお、このように第１画像列Ｓ１及び第２画像列Ｓ２が同時期に画面内に表示される場合、注目画像列以外の画像列に対してユーザーが直接スクロール操作を行うことを可能にしてもよい。具体例として、図７Ａの表示例においてスクロール操作がタッチパネル上のドラッグ操作である場合、ユーザーは第１画像列Ｓ１の上方に露出している第２画像列Ｓ２の表示部分をドラッグ操作してもよい。この場合、画像列表示制御部２３は直ちに注目画像列を第２画像列Ｓ２に切り替えて各画像列をスクロールさせる表示制御を行う。

第４の例として、画像列表示制御部２３は注目画像列の切り替え前から第１画像列Ｓ１及び第２画像列Ｓ２の双方を並べて表示してもよい。この例では、第３の例と異なり、注目画像列の切り替え前から第２画像列Ｓ２に含まれる少なくとも一部のフレーム画像はその全体が画面内に表示されている。図８Ａは、この例における注目画像列切り替え前の表示例を示している。図８Ａでは第１画像列Ｓ１に含まれるフレーム画像と第２画像列Ｓ２に含まれるフレーム画像とではその大きさが異なっており、第２画像列Ｓ２に含まれるフレーム画像の方が小さく表示されている。

この第４の例においてユーザーがスクロール操作を行った場合、第３の例と同様に、画像列表示制御部２３は２つの画像列を連動してスクロールさせる。そして、ユーザーのスクロール操作が所定の判定条件を満たして注目画像列を第１画像列Ｓ１から第２画像列Ｓ２に切り替える場合、画像列表示制御部２３は、画面下方の時間間隔の案内表示を第１画像列Ｓ１の時間間隔（例えば「１５秒」）から第２画像列Ｓ２の時間間隔（例えば「２分」）に切り替えるとともに、タイムラインバーＴＬ上のマーカー画像Ｍの横幅も第２画像列Ｓ２に対応するよう変更する。これにより、所定の判定条件が満たされるスクロール操作をユーザーが行った場合に、第１画像列Ｓ１及び第２画像列Ｓ２の表示位置及び大きさは変化しないにもかかわらず、注目画像列が切り替えられたことをユーザーに示すことができる。また、この第４の例において画像列表示制御部２３は、注目画像列の基準画像Ｒに対して枠線を付加するなどしてその基準画像Ｒを強調表示してもよい。こうすれば、ユーザーは同時期に表示される二つの画像列のうち枠線が付加された基準画像Ｒを含む画像列を注目画像列として認識することができる。

なお、この第４の例では、第１画像列Ｓ１及び第２画像列Ｓ２の両方が同時期に画面上に表示されるので、画面下方の時間間隔の案内表示についても、例えば「１５秒間隔（２分間隔）」などのように２種類の時間間隔を併記するようにしてもよい。

また、第３の例と同様に第４の例においても、画像列表示制御部２３は注目画像列が第２画像列Ｓ２に切り替えられた後は第１画像列Ｓ１に含まれるフレーム画像の表示を抑制してもよい。図８Ｂは、このように第１画像列Ｓ１に含まれるフレーム画像を枠画像に置き換えてその表示を抑制する場合の表示例を示している。さらに画像列表示制御部２３は、注目画像列として選択されていない方の画像列に含まれるフレーム画像の内容を全く表示させないように制御する代わりに、その輝度を低下させたり、透明度を上昇させたり、あるいはモノクロ画像に変換したりするなど、注目画像列でない画像列が目立ちにくくするような色変換処理を施してもよい。このような色変換処理によって第１画像列Ｓ１の表示を抑制することで、画像列表示制御部２３は、ユーザーが第２画像列Ｓ２に注目するよう誘導することができる。

以上説明した本発明の実施の形態に係る動画像処理装置１によれば、画像列をスクロールさせてユーザーに注目動画像Ａの概要を提示する場合において、スクロールが継続する際の基準時刻の変化量を大きくしながら、ユーザーが画像列に含まれる各フレーム画像を容易に視認できるようにすることができる。そのため、ユーザーは素早く自分が見たい注目動画像Ａ内のシーンを探すことができるようになる。

なお、本発明の実施の形態は以上説明したものに限られない。例えば以上の説明では画像列生成部２２は２つの画像列だけを生成することとしたが、画像列生成部２２は互いに時間間隔の異なる３以上の画像列を生成することとしてもよい。この場合、スクロール操作の内容に応じて段階的に注目画像列を切り替えることによって、ユーザーが基準時刻を変化させる際の自由度を高めることができる。

また、以上の説明では、動画像処理装置１は自身で第１画像列Ｓ１及び第２画像列Ｓ２を生成することによって各画像列を取得することとした。しかしながら、これらの画像列は動画像処理装置１とは別の装置によって生成されてもよい。例えば、インターネット等の通信ネットワークを介して動画像処理装置１と接続されるサーバ装置が、注目動画像Ａを動画像処理装置１に配信する場合がある。この場合、サーバ装置が抽出対象のフレーム画像を決定して注目動画像Ａから抽出することによって、第１画像列Ｓ１及び第２画像列Ｓ２を生成してもよい。この例においてサーバ装置は、動画像処理装置１の要求に応じて、生成した各画像列を構成するフレーム画像の画像データを動画像処理装置１に対して送信する。動画像処理装置１は、サーバ装置から画像データを受信することによって各画像列を取得し、表示装置１４の画面に表示させる。この場合にも動画像処理装置１の画像列表示制御部２３は、サーバ装置から取得した画像列を用いて、前述したのと同様の画像列のスクロールや注目画像列の切り替えなどの表示制御を実現できる。

また、動画像処理装置１は、以上説明したような画像列の取得及び表示制御の処理を、サーバ装置から配信される制御プログラムによって実現してもよい。例えば前述したようにサーバ装置が注目動画像Ａを配信する場合、サーバ装置は、この注目動画像Ａとともにその表示用の制御プログラムを配信してもよい。さらに、この制御プログラムは、スクリプト言語によって記述され、ウェブページのＨＴＭＬデータなどに埋め込まれてサーバ装置から動画像処理装置１に配信されてもよい。この場合動画像処理装置１は、ブラウザプログラムなどを実行してウェブページを表示する際に、ＨＴＭＬデータに含まれる制御プログラムを実行することによって、画像列の取得や画像列のスクロール制御、注目画像列の切り替え制御などを実現する。

また、以上の説明では動画像処理装置１はユーザーが直接使用するクライアント側の端末装置であることとしたが、注目動画像Ａをクライアント端末に配信するサーバ装置が動画像処理装置１として機能してもよい。この場合、クライアント端末で行ったスクロール操作等の操作内容を示す操作情報がサーバ装置に送信される。サーバ装置は、注目動画像Ａからフレーム画像を抽出して第１画像列Ｓ１及び第２画像列Ｓ２を生成し、生成した画像列を用いてクライアント端末に接続された表示装置に表示すべき画面を生成する。また、クライアント端末から受信した操作情報に応じて画像列のスクロールや注目画像列の切り替え制御を行い、その結果に応じてクライアント端末側に表示される画面を更新する。これにより、クライアント端末を使用するユーザーはクライアント端末が動画像処理装置１として機能する場合と同様に画像列を閲覧できる。

１動画像処理装置、１１制御部、１２記憶部、１３画像処理部、１４表示装置、１５操作デバイス、２１動画像再生部、２２画像列生成部、２３画像列表示制御部。

Claims

注目動画像から複数のフレーム画像を抽出してなる第１画像列を取得する第１画像列取得部と、
前記注目動画像から複数のフレーム画像を抽出してなる、前記第１画像列とは異なる第２画像列を取得する第２画像列取得部と、
前記第１画像列を注目画像列として表示装置の画面に表示させる制御を行う表示制御部と、
を含み、
前記表示制御部は、前記第１画像列の表示中に、ユーザーによるスクロール操作に応じて当該第１画像列に含まれるフレーム画像をスクロールさせ、前記スクロール操作が所定の判定条件を満たす場合には、前記第１画像列が表示されていた位置と重複する位置にそれまで表示されていなかった前記第２画像列を新たに表示して、スクロール中の前記注目画像列を第１画像列から前記第２画像列に切り替えるとともに、当該切り替えが行われた際には、前記第２画像列を構成するフレーム画像を、前記第１画像列を構成するフレーム画像とは異なる大きさで表示させる
ことを特徴とする動画像処理装置。
請求項１に記載の動画像処理装置において、
前記第２画像列は、前記第１画像列の構成要素となる複数のフレーム画像よりも前記注目動画像内における時間間隔が長い複数のフレーム画像によって構成される
ことを特徴とする動画像処理装置。
請求項１に記載の動画像処理装置において、
前記表示制御部は、前記第２画像列を前記画面内の前記第１画像列とは異なる位置に表示させる
ことを特徴とする動画像処理装置。
請求項１に記載の動画像処理装置において、
前記表示制御部は、前記注目動画像の再生時間に対応する帯状の領域を前記画面に表示させるとともに、前記第１画像列及び前記第２画像列のいずれかを前記注目画像列として表示中に、当該表示中の注目画像列が示す前記注目動画像の時間範囲に対応する前記帯状の領域の範囲を強調表示させる
ことを特徴とする動画像処理装置。
動画像処理装置と接続可能なサーバ装置であって、
注目動画像、及び、当該注目動画像の表示制御に用いる制御プログラムを前記動画像処理装置に送信する送信部を含み、
前記制御プログラムは、
注目動画像から複数のフレーム画像を抽出してなる第１画像列を取得するステップと、
前記注目動画像から複数のフレーム画像を抽出してなる、前記第１画像列とは異なる第２画像列を取得するステップと、
前記第１画像列を注目画像列として表示装置の画面に表示させる制御を行うステップと、
前記第１画像列の表示中に、ユーザーによるスクロール操作に応じて当該第１画像列に含まれるフレーム画像をスクロールさせるステップと、
前記スクロール操作が所定の判定条件を満たす場合に、前記第１画像列が表示されていた位置と重複する位置にそれまで表示されていなかった前記第２画像列を新たに表示して、スクロール中の前記注目画像列を第１画像列から前記第２画像列に切り替えるとともに、当該切り替えが行われた際には、前記第２画像列を構成するフレーム画像を、前記第１画像列を構成するフレーム画像とは異なる大きさで表示させるステップと、
を前記動画像処理装置に実行させることを特徴とするサーバ装置。
注目動画像から複数のフレーム画像を抽出してなる第１画像列を取得するステップと、
前記注目動画像から複数のフレーム画像を抽出してなる、前記第１画像列とは異なる第２画像列を取得するステップと、
前記第１画像列を注目画像列として表示装置の画面に表示させる制御を行うステップと、
前記第１画像列の表示中に、ユーザーによるスクロール操作に応じて当該第１画像列に含まれるフレーム画像をスクロールさせるステップと、
前記スクロール操作が所定の判定条件を満たす場合に、前記第１画像列が表示されていた位置と重複する位置にそれまで表示されていなかった前記第２画像列を新たに表示して、スクロール中の前記注目画像列を第１画像列から前記第２画像列に切り替えるとともに、当該切り替えが行われた際には、前記第２画像列を構成するフレーム画像を、前記第１画像列を構成するフレーム画像とは異なる大きさで表示させるステップと、
を含むことを特徴とする動画像処理方法。
コンピュータを、
注目動画像から複数のフレーム画像を抽出してなる第１画像列を取得する第１画像列取得手段、
前記注目動画像から複数のフレーム画像を抽出してなる、前記第１画像列とは異なる第２画像列を取得する第２画像列取得手段、及び、
前記第１画像列を注目画像列として表示装置の画面に表示させる制御を行う表示制御手段、
として機能させるためのプログラムであって、
前記表示制御手段は、前記第１画像列の表示中に、ユーザーによるスクロール操作に応じて当該第１画像列に含まれるフレーム画像をスクロールさせ、前記スクロール操作が所定の判定条件を満たす場合には、前記第１画像列が表示されていた位置と重複する位置にそれまで表示されていなかった前記第２画像列を新たに表示して、スクロール中の前記注目画像列を第１画像列から前記第２画像列に切り替えるとともに、当該切り替えが行われた際には、前記第２画像列を構成するフレーム画像を、前記第１画像列を構成するフレーム画像とは異なる大きさで表示させる
ことを特徴とするプログラム。