JP7757552B2 - ライブ配信ビデオの処理方法、装置、機器及び媒体 - Google Patents

Description

本出願は、２０２２年６月３０日にて中国特許庁に提出され、出願番号が２０２２１０７７２６５９．３であり、出願名称が「ライブ配信ビデオの処理方法、装置、機器及び媒体」である中国特許出願に基づく優先権を主張し、その全内容は本出願に援用により組み込まれている。

本出願は、コンピュータ技術の分野に関し、具体的に、ライブ配信ビデオの処理方法、装置、機器及び媒体に関している。

ライブ配信技術の継続的な発展に伴い、ライブ配信によって交流するユーザーがますます増えている。ライブ配信の興趣性を増やすために、ユーザーは、ライブ配信中に、コラボ配信や対決を行って、より多くの視聴者を引き付けることができる。コラボ配信シナリオでは、ユーザーは、通常、位置切替のニーズを有し、例えば、ＰＫでは、グループ切替のニーズを有し、関連技術において、位置を切り替える時、ライブルームのビデオストリームは一瞬の「ホッピング」が生じて、ビデオストリームのラグを招致して、視聴者の視聴エクスペリエンスに影響を与える。

これに鑑みると、本出願は、ライブ配信ビデオの処理方法、装置、機器及び媒体を提供する。

上記の目的を実現するために、本出願によって提供される技術案は、次の通りである。
本出願の第１の態様によれば、ライブ配信ビデオの処理方法を提供し、当該方法は、
第１の表示領域と第２の表示領域を含むライブルームインターフェースを表示し、第１のライバーに対応する表示画像を前記第１の表示領域に表示し、第２のライバーに対応する表示画像を前記第２の表示領域に表示するステップと、
前記第１の表示領域及び第２の表示領域に対する表示切替要求に応答して、前記第１の表示領域及び第２の表示領域にマスク層をそれぞれ表示するステップと、
切替が完了したことに応答して、前記第１の表示領域及び第２の表示領域において、マスク層の表示をキャンセルして、前記第２のライバーに対応する表示画像を前記第１の表示領域に表示し、前記第１のライバーに対応する表示画像を前記第２の表示領域に表示するステップと、を含む。

本出願の第２の態様によれば、ライブ配信ビデオ処理装置を提供し、当該装置は、
第１の表示領域と第２の表示領域を含むライブルームインターフェースを表示し、第１のライバーに対応する表示画像を前記第１の表示領域に表示し、第２のライバーに対応する表示画像を前記第２の表示領域に表示する第１の表示ユニットと、
前記第１の表示領域及び第２の表示領域に対する表示切替要求に応答して、前記第１の表示領域及び第２の表示領域にマスク層をそれぞれ表示する第２の表示ユニットと、
切替が完了したことに応答して、前記第１の表示領域及び第２の表示領域において、マスク層の表示をキャンセルして、前記第２のライバーに対応する表示画像を前記第１の表示領域に表示し、前記第１のライバーに対応する表示画像を前記第２の表示領域に表示する第３の表示ユニットと、を含む。

本出願の第３の態様によれば、電子機器を提供し、前記機器は、
指令又はコンピュータプログラムを記憶するメモリと、
前記メモリにおける前記指令又はコンピュータプログラムを実行して、前記電子機器に第１の態様に記載の方法を実行させるプロセッサーと、を含む。

本出願の第４の態様によれば、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体には指令が記憶され、前記指令が機器上で実行すると、前記機器に、第１の態様に記載の方法を実行させる。

本出願の第５の態様によれば、コンピュータプログラム製品を提供し、前記コンピュータプログラム製品は、コンピュータプログラム／指令を含み、前記コンピュータプログラム／指令は、プロセッサーによって実行されると、第１の態様に記載の方法を実現する。

本出願の実施例又は関連技術の技術案をより明らかに説明するために、以下、実施例又は関連技術の記載の必要な図面を簡単に紹介し、以下に記載の図面は本出願に記載のいくつかの実施例に過ぎず、当業者にとって、進歩性に値する労働をしないことを前提として、これらの図面に基づいて他の図面を取得できる。
本出願の実施例によるライブ配信ビデオ処理方法のフローチャートである。 本出願の実施例によるライブ配信シナリオの概略図である。 本出願の実施例による別のライブ配信シナリオの概略図である。 本出願の実施例によるライブ配信ウィンドウを調整する概略図である。 本出願の実施例によるマスク層がカバーされた概略図である。 本出願の実施例による別のマスク層がカバーされた概略図である。 本出願の実施例によるライブ配信ビデオ処理装置の概略図である。 本出願の実施例による電子機器の構造概略図である。

当業者が本出願の解決策をよりよく理解できるようにするために、以下、本出願の実施例の図面を結合して、本出願の実施例の技術案を明らか且つ完全に記載し、記載される実施例は全ての実施例ではなく、本出願の一部の実施例に過ぎない。本出願の実施例に基づいて、当業者が進歩性に値する労働をしないことを前提として、取得した他の全ての実施例は何れも本出願の保護範囲に属している。

ライブ配信シナリオでは、１つのライブルームにおいて複数のライバーがコラボ配信を行う場合、複数のライバーの表示位置を調整する必要があり、例えば、ライブルームの中央位置（センター位置）に表示されるライバーを他のライバーに切り替える必要があり、又は、ライブルームにおいて複数人のコラボ配信からチーム対決に移行した時、同じチームのライバーが同じ側にない場合、ライブルームインターフェースのライブ配信グループと、当該グループに属するＰＫ進行状況バーとを一致に保持させて、ＰＫ進行状況、及び各ＰＫグループに対応するライバーを容易にユーザーに知らせるために、ライバーのシートを交換する必要がある。現在、ライブ配信視聴側でプッシュストリーミング技術を使用するため、ライバーの表示位置を交換する時、ライブルームのビデオストリームは一瞬のホッピングが生じて、視聴者にラグの仮象を与える。また、ライバー表示位置のホッピングが、視聴者にプロンプトしていないため、ユーザーの理解コストを増やし、システムの異常であると誤解される。コラボ配信とは、マイクシーケンスモードで、複数のプレイヤーがマイクで同時に話すことができ、マルチプレイヤーのインタラクションや番組交流などのニーズを実現することである。ライブ配信のコラボ配信は、ライブ配信を基礎として、音声技術を用いてインタラクション、交流を緊密にする新たなソーシャル方式である。

これに基づいて、本出願は、ライブ配信ビデオ処理方法を提供し、具体的に、切替前に、表示されるライブルームインターフェースは、第１の表示領域及び第２の表示領域を含む。第１のライバーに対応する表示画像を第１の表示領域に表示し、第２のライバーに対応する表示画像を第２の表示領域に表示する。第１の表示領域及び第２の表示領域に対する表示切替要求を受信した後、第１の表示領域及び第２の表示領域にマスク層をそれぞれ表示することで、各表示領域に表示される画像を遮蔽する。表示の切替が完了した後、第１の表示領域及び第２の表示領域において、マスク層の表示をキャンセルして、第２のライバーに対応する表示画像を第１の表示領域に表示し、第１のライバーに対応する表示画像を第２の表示領域に表示する。即ち、マスク層による遮蔽で、第１のライバー及び第２のライバーのライブルームにおける表示位置を入れ替え、ライブ配信視聴側でビデオストリームは一瞬のホッピングが生じることを回避して、ライブ配信視聴エクスペリエンスのスムーズさを保証する。

ここで、本開示の各実施例の技術案を使用する前に、いずれも関連する個人情報のタイプ、使用範囲、使用シナリオなどが適切な方式でユーザーに通知されて、ユーザーの許可が得られることを理解されたい。

例えば、ユーザーからの自発的要求を受信したことに応答する際に、実行を要求された操作がユーザーの個人情報への取得及び使用を必要とすることを明らかにユーザーにプロンプトするように、ユーザーにプロンプト情報を送信する。これにより、ユーザーは、プロンプト情報に基づいて、本開示の技術案の操作を実行する電子機器、アプリケーションプログラム、サーバー又は記憶媒体などのソフトウェア、或いはハードウェアに個人情報を提供するかどうかを、自発的に選択することができる。

任意選択であるが非限定的な実現形態として、ユーザーからの自発的要求を受信したことに応答して、ユーザーにプロンプト情報を送信する形態は、例えばポップアップウインドウの形態であってもよく、プロンプト情報を文字の形態でポップアップウインドウに表現する。また、ポップアップウインドウには、ユーザーが、電子機器に個人情報を提供することを「同意」又は「拒否」することを選択するための選択コントロールが搭載されてもよい。

ここで、上記の通知及びユーザー許可の取得過程は、本開示の実現形態を限定していなく、単に概略的なものであり、関連法令を満たす他の形態も本開示の実現形態に適用することができる。

本出願の実施例によって提供される技術案を容易に理解するために、以下、図面を結合して説明する。

図１を参照し、当該図面は、本出願の実施例によって提供されるライブ配信ビデオ処理方法のフローチャートであり、当該方法は、ライブ配信ビデオ処理機器によって実行されることができ、当該ライブ配信ビデオ処理機器は、電子機器であってもよく、当該電子機器は、携帯電話、タブレット、ノートパソコン、デスクトップパソコン、車載端末、ウェアラブル電子機器、一体型機器、スマートホーム機器などの通信機能を備える機器であってもよいし、仮想マシン又はシミュレータがシミュレートする機器であってもよい。図１に示すように、当該方法は以下のステップを含むことができる。
Ｓ１０１：ライブルームインターフェースを表示する。
ライブルームインターフェースは、第１の表示領域及び第２の表示領域を含み、第１のライバーに対応する表示画像を第１の表示領域に表示し、第２のライバーに対応する表示画像を第２の表示領域に表示する。
Ｓ１０２：第１の表示領域及び第２の表示領域に対する表示切替要求に応答して、第１の表示領域及び第２の表示領域にマスク層をそれぞれ表示する。

本実施例において、第１の表示領域及び第２の表示領域に対する表示切替要求を受信した後、第１の表示領域にマスク層（例えば、第１のマスク層）を表示し、第２の表示領域にマスク層（例えば、第２のマスク層）を表示し、マスク層によって各表示領域に表示される画像を遮蔽することで、マスク層が存在する場合、表示画像を切り替える。マスク層は、マスク層に接続された領域における画像を被覆することができる。

表示切替要求は、第１の表示領域及び第２の表示領域に表示される表示画像を切り替えるように要求し、以下のように表示切替要求をトリガーすることができる。

１つの場合において、ライブルームの中央位置に表示される画像を切り替える必要がある時、表示切替要求を送信し、当該表示切替要求は、第１のライバー及び第２のライバーの表示領域を対象とする切替要求である。中央位置に表示される画像の切り替えをトリガーするステップは、以下を含み、即ち、ライバーがライブルームにおいて切替操作をトリガーし、例えば、第１の表示領域はライブルームの中央位置に対応する表示領域であり、第１のライバーがライブルームにおいて切替操作をトリガーし、当該切替操作に応答して、ライブ配信クライアントは、対応するサーバーに表示切替要求を送信する。又は、ライブルームにおける他のライバーが取得したリソース値が、予め設定されたリソース閾値以上である場合、ライブ配信クライアントは、サーバーに表示切替要求を自発的に送信する。例えば、第１の表示領域は、ライブルーム中央位置に対応する表示領域であり、第１のライバーは、中央位置に位置し、第２のライバーが取得したリソース値が、予め設定されたリソース閾値と等しい場合、表示切替をトリガーする。さらに、各ライバーの中央位置での表示期間閾値を予め設定し、あるライバーの中央位置での表示期間が表示期間閾値と等しい場合、表示切替をトリガーする。

例えば、図２ａに示すライブルームシナリオ概略図において、当該ライブルームには、表示領域１、表示領域２、表示領域３及び表示領域４という４つの表示領域が含まれ、ライバーＡ、ライバーＢ、ライバーＣ及びライバーＤの表示画像をそれぞれ表示し、中央位置は表示領域１である。ライバーＡがライブルームにおいて切替操作をトリガーした場合、表示切替要求を送信する。

もう１つの場合において、ライブルームにおける複数のライバーがコラボ配信を行ってチームを編成してＰＫをする時、同一のライブ配信グループに属する、異なるライバーのライブ配信ウィンドウが同じ側に位置していない場合、ライブ配信ウィンドウの表示位置を調整する必要がある。具体的に、ＰＫが開始される前、どのライバーが同一のチームに属するかを直観的に視聴者に理解させるために、同一のチームに属するライバーに対応するライブ配信ウィンドウを同一側、例えば左側又は右側に表示する。ライブルームにおいて、同一のチームのライバーのライブ配信ウィンドウが同じ側に位置していない場合、表示切替要求をトリガーする。この場合、第１のライブ配信グループにおける第１のライバーに対応する表示画像を第１の表示領域に表示し、第２のライブ配信グループにおける第２のライバーに対応する表示画像を第２の表示領域に表示し、表示切替要求は、第１のライバー及び第２のライバーのライブ配信グループを対象とする切替要求である。サービス側は、同一のチームに属するライバーのライブ配信ウィンドウが同じ側に位置していないことを検出した場合、表示切替をトリガーしてもよいし、表示切替は、ライバーによってライブ配信クライアントを介してトリガーされてもよい。

具体的に、チームを編成してＰＫをする過程では、チーム編成を開始するライバーはさらにクライアントを介してチームメンバーを選択してもよく、当該ライバーがトリガーした選択操作に応答して、表示切替をトリガーする。具体的に、ライブ配信クライアントには選択コントロールが含まれ、ライバーが当該選択コントロールをトリガーした場合、メンバー選択インターフェースを表示し、ライバーは当該メンバー選択インターフェースからチーム編成対象となるメンバーを選択する。ライバーがトリガーした選択操作に応答して、ライブ配信サービス側に表示切替要求を送信する。

第１のライブ配信グループにおける各ライバーのライブ配信ウィンドウはライブルームの第１の側に位置し、第２のライブ配信グループにおける各ライバーのライブ配信ウィンドウはライブルームの第２の側に位置する。具体的に、ライブルームを左側表示領域及び右側表示領域に区画し、第１の側はライブルームの左側表示領域であり、第２の側は右側表示領域である。

例えば、図２ｂに示す４人のコラボ配信からチーム対決へ移行する時、ライバーＡ及びライバーＢはチーム１に属し、ライバーＣ及びライバーＤはチーム２に属し、表示領域１にライバーＡのライブ配信ビデオストリームを表示し、表示領域２にライバーＢのライブ配信ビデオストリームを表示し、表示領域３にライバーＣのライブ配信ビデオストリームを表示し、表示領域４にライバーＤのライブ配信ビデオストリームを表示する。しかし、ライバーＡ及びライバーＢは異なる側にそれぞれ位置し、ライバーＣ及びライバーＤも異なる側にそれぞれ位置する場合、第１のライバーはライバーＡであり、第２のライバーはライバーＤであり、第１の表示領域は表示領域１であり、第２の表示領域は表示領域４であり、又は、第１のライバーはライバーＢであり、第２のライバーはライバーＣであり、第１の表示領域は表示領域２であり、第２の表示領域は表示領域３である。

ライブルームの複数のライバーがチーム編成を完了したことに対応して、対決を開始する前に、ライブルームのライブ配信ウィンドウを全体的に下へ移動させ、対決するグループにそれぞれ対応する対決進行状況バーを下向き移動部分に表示する。対決進行状況バーは、対決中のあるチームが取得した成果を反映するために使用される。図２ｃに示すように、右側の図のライブ配信ウィンドウは、左側の図のライブ配信ウィンドウに対して下へ移動し、チーム１の対決進行状況バー及びチーム２の対決進行状況バーを下向き移動部分に表示する。

本開示の一実施例において、ライブルームを視聴するユーザーは、マスクされる表示領域にどのライバーの表示画像を表示するかということを直観的に知るために、マスク層には、マスクされる表示領域に表示される表示画像に対応するライバーのライバー標識が表示され、これにより、ユーザーは、現在の領域に対応するライバーを直接的に知ることができ、ユーザーの理解コストを低減させる。ライバー標識はライバーアバターを含んでもよい。

例えば、図２ｂに示す適用シナリオにおいて、第１のライバーはライバーＢであり、第２のライバーはライバーＣである場合、ライバーＢに対応する表示領域２及びライバーＣに対応する表示領域３のそれぞれに１層のマスク層を被覆し、図２ｄに示すように、マスクされるライバーに対応するライバーアバターを各マスク層に表示する。

ライバーアバターは、ライバーに対応するライブ配信ウィンドウから取得した当該ライバーのアバターであってもよい。具体的に、ライバーアバターは、ライバーが表示用に設置した画像であってもよい。

Ｓ１０３：切替が完了したことに応答して、第１の表示領域及び第２の表示領域においてマスク層の表示をキャンセルして、第２のライバーに対応する表示画像を第１の表示領域に表示し、第１のライバーに対応する表示画像を第２の表示領域に表示する。

第１の表示領域及び第２の表示領域にマスク層をそれぞれ表示した後、２つの表示領域上の表示画像の相互交換をトリガーする。即ち、第１の表示領域に表示される表示画像は、第１のライバーに対応する表示画像から第２のライバーに対応する表示画像に切り替えられ、第２の表示領域に表示される表示画像は、第２のライバーに対応する表示画像から第１のライバーに対応する表示画像に切り替えられ、これにより、切替操作は完了する。切替操作が完了した後、マスク層の表示をキャンセルして、ライブルームにおいてライブ配信ビデオストリームを閲覧することができる。上記の表示画像の切替は、マスク層の下方で行われるため、視聴者はビデオストリームのホッピングを知覚することはない。なお、一実施例において、ライバー側及びライブ配信視聴側で何れも上記の表示切替を実行してもよい。

本開示の一実施例において、第１の表示領域に対応する表示画像と第２の表示領域に対応する表示画像とを相互に交換することは以下の２つの実現形態がある。

１つの形態によれば、第１の表示領域上の表示コンテナと第２の表示領域上の表示コンテナとの位置を相互に交換することで、第１の表示領域に対応する表示画像と、第２の表示領域に対応する表示画像とを相互に交換する。表示コンテナは、ライバーがライブ配信を行う時に対応するビデオストリームをロードするために使用される。具体的に、ライバーがライブ配信プラットフォームを介してライブ配信を開始する時、当該ライブ配信プラットフォームは当該ライバーに表示コンテナを割り当て、異なるライバーは異なる表示コンテナに対応する。第１の表示領域及び第２の表示領域に表示される表示画像を相互に交換する必要がある場合、第１の表示領域に表示されるライバーに対応する表示コンテナと、第２の表示領域に表示されるライバーに対応する表示コンテナとを相互に交換する。

ここで、ライバー側で、表示コンテナと、当該表示コンテナにロードされるビデオストリームに対して同時に相互交換を行う。即ち、第１の表示領域上の表示コンテナ、表示画像と、第２の表示領域上の表示コンテナ、表示画像に対して同時に相互交換を行うことで、ライバー側が切替後の効果を適時に閲覧できることを保証する。ライブ配信視聴側で、ビデオストリームを切り替えてから、表示コンテナを切り替える。即ち、第１の表示領域に対応する表示画像と、第２の表示領域に対応する表示画像とを相互に交換してから、第１の表示領域上の表示コンテナと、第２の表示領域上の表示コンテナとを相互に交換する。ライブ配信視聴側のユーザーの数が比較的多いため、上記の切替によって、同時切替によるシステムリソースの占用を回避することができる。

他方の態様によれば、第１の表示領域上の表示コンテナにおけるライブ配信ビデオストリームと、第２の表示領域上の表示コンテナにおけるビデオストリームとを相互に交換することで、第１の表示領域に対応する表示画像と、第２の表示領域に対応する表示画像とを相互に交換する。当該実現形態において、表示領域上の表示コンテナに対して相互交換を行わず、表示コンテナにおけるライブ配信ビデオストリームを相互に交換するように制御し、これにより、表示領域に表示される表示画像は相互に交換される。

本開示の一実施例において、ライバーの表示画像の入れ替えに対するユーザーの理解を低減するために、同時にマスク層上のライバー標識を相互に交換することで、マスク層上のライバー標識と、マスクされる表示領域に対応するライバーとを一々対応させる。具体的に、第１の表示領域上のマスク層と、第２の表示領域上のマスク層との位置を相互に交換することで、ライバー標識を相互に交換することができる。又は、第１の表示領域上のマスク層に表示されるライバー標識と、第２の表示領域上のマスク層に表示されるライバー標識とを相互に交換する。

例えば、図２ｄに示す適用シナリオにおいて、ライバーＢに対応する表示領域２にはマスク層１がカバーされるとともに、ライバーＢのアバター標識が表示され、ライバーＣに対応する表示領域３にはマスク層２がカバーされるとともに、ライバーＣのアバター標識が表示される場合、ライバーＢに対応する表示画像と、ライバーＣに対応する表示画像とを入れ替えるとともに、マスク層１にライバーＣのアバター標識を表示し、マスク層２にライバーＢのアバター標識を表示する。

マスク層でライバー標識を相互に交換するタイミングは以下の３つを含み、１つは、表示切替要求を受信した後、マスク層上のライバー標識を相互に交換してから、第１の表示領域に対応する表示画像と第２の表示領域に対応する表示画像との相互交換をトリガーすることである。もう１つは、表示切替要求を受信した後、第１の表示領域に対応する表示画像と第２の表示領域に対応する表示画像とを相互に交換してから、マスク層上のライバー標識の相互交換をトリガーすることである。さらに別の１つは、表示切替要求を受信した後、表示画像及びライバー標識の相互交換を同時に行うことである。

本開示の一実施例において、マスク層上のライバー標識を相互に交換する時、視聴者に相互交換の効果を展示するために、ライバー標識をスケーリングすることによって、マスク層上のライバー標識を相互に交換することができ、ユーザーの視聴エクスペリエンスを向上させる。例えば、まず、マスク層上の元のライバー標識を縮小して表示し、ライバー標識を相互に交換した後、相互交換後のライバー標識を拡大して表示する。

具体的に、以下のようにライバー標識のスケーリング表示を実現し、即ち、第１のマスク層上のライバー標識及び第２のマスク層上のライバー標識を縮小して表示し、切替が完了したことに応答して、マスク層の表示をキャンセルする前に、第１のマスク層上のライバー標識と、第２のマスク層上のライバー標識とを相互に交換し、第１のマスク層上のライバー標識及び第２のマスク層上のライバー標識を拡大して表示する。第１のマスク層は、第１の表示領域上に表示されるマスク層であり、第２のマスク層は第２の表示領域に表示されるマスク層である。例えば、第１のマスク層は、図２ｄのマスク層１であり、第２のマスク層は、図２ｄのマスク層２であり、まず、マスク層１上のライバーＢのライバー標識、及びマスク層２上のライバーＣのライバー標識を縮小して表示する。マスク層１及びマスク層２での表示画像が入れ替えられた後、マスク層１においてライバーＣのライバー標識に置き換えられ、マスク層２においてライバーＢのライバー標識に置き換えられ、各ライバー標識を拡大して表示する。

本開示の一実施例において、異なるライバーの表示画像の位置調整に対するユーザーの理解をさらに低減するために、マスク層は、相互交換が進行中であることをユーザーにプロンプトするためのプロンプト情報をさらに含み、ユーザーはマスク層の存在意味を理解しやすくなり、ユーザーに迷惑をかけることを回避する。例えば、図２ｅに示すように、マスク層には、マスクされるライバーに対応するライバーアバター及びプロンプト情報である「位置変更中」が含まれる。

本開示の一実施例において、マスク層にはプロンプト情報が含まれる場合、切替が完了したことに応答して、プロンプト情報の表示を停止し、対応するそれぞれのビデオストリームを表示する。

このように、表示されるライブルームインターフェースは第１の表示領域及び第２の表示領域を含み、第１のライバーに対応する表示画像を第１の表示領域に表示し、第２のライバーに対応する表示画像を第２の表示領域に表示する。第１の表示領域及び第２の表示領域に対する表示切替要求を受信した後、第１の表示領域及び第２の表示領域にマスク層をそれぞれ表示することで、マスク層によって各表示領域に表示される画像を遮蔽する。表示切替が完了した後、第１の表示領域及び第２の表示領域において、マスク層の表示をキャンセルして、第２のライバーに対応する表示画像を第１の表示領域に表示し、第１のライバーに対応する表示画像を第２の表示領域に表示する。即ち、本出願において、マスク層を追加して、マスク層の下で異なる表示領域上の表示画像の切替を完了させることで、ライブ配信視聴側でビデオストリームは一瞬のホッピングが生じることを回避して、ライブ配信視聴エクスペリエンスのスムーズさを保証する。

これから分かるように、本出願は以下の有益な効果を備える。
本出願において、表示されるライブルームインターフェースは、第１の表示領域及び第２の表示領域を含み、第１のライバーに対応する表示画像を第１の表示領域に表示し、第２のライバーに対応する表示画像を第２の表示領域に表示する。第１の表示領域及び第２の表示領域に対する表示切替要求を受信した後、第１の表示領域及び第２の表示領域にマスク層をそれぞれ表示することで、マスク層によって各表示領域に表示される画像を遮蔽する。表示切替が完了した後、第１の表示領域及び第２の表示領域においてマスク層の表示をキャンセルして、第２のライバーに対応する表示画像を第１の表示領域に表示し、第１のライバーに対応する表示画像を第２の表示領域に表示する。即ち、本出願において、マスク層を追加して、マスク層の下で異なる表示領域上の表示画像の切替を完了させることで、ライブ配信視聴側でビデオストリームは一瞬のホッピングが生じることを回避して、ライブ配信視聴エクスペリエンスのスムーズさを保証する。

上記の方法実施例に基づいて、本出願の実施例はライブ配信ビデオ処理装置及び機器を提供し、以下、図面を結合して説明する。

図３を参照し、当該図面は、本出願の実施例によって提供されるライブ配信ビデオ処理装置の構成図であり、図３に示すように、当該装置３００は、
第１の表示領域と第２の表示領域を含むライブルームインターフェースを表示し、第１のライバーに対応する表示画像を前記第１の表示領域に表示し、第２のライバーに対応する表示画像を前記第２の表示領域に表示する第１の表示ユニット３０１と、
前記第１の表示領域及び第２の表示領域に対する表示切替要求に応答して、前記第１の表示領域及び第２の表示領域にマスク層をそれぞれ表示する第２の表示ユニット３０２と、
切替が完了したことに応答して、前記第１の表示領域及び第２の表示領域においてマスク層の表示をキャンセルして、前記第２のライバーに対応する表示画像を前記第１の表示領域に表示し、前記第１のライバーに対応する表示画像を前記第２の表示領域に表示する第３の表示ユニット３０３と、を含む。

本開示の一実施例において、第１のライバーに対応する表示画像を前記第１の表示領域に表示し、第２のライバーに対応する表示画像を前記第２の表示領域に表示するステップは、第１のライブ配信グループにおける第１のライバーに対応する表示画像を前記第１の表示領域に表示するステップと、第２のライブ配信グループにおける第２のライバーに対応する表示画像を前記第２の表示領域に表示するステップと、を含む。

本開示の一実施例において、前記第１の表示領域及び第２の表示領域に対する表示切替要求に応答するステップは、前記第１のライバー及び第２のライバーに対する表示領域切替要求に応答するステップを含む。

本開示の一実施例において、前記第１の表示領域及び第２の表示領域に対する表示切替要求に応答するステップは、前記第１のライバー及び第２のライバーに対するライブ配信グループ切替要求に応答するステップを含む。

本開示の一実施例において、前記装置は、
前記第１の表示領域及び第２の表示領域においてマスク層の表示をキャンセルする前に、前記第１の表示領域に対応する表示画像と、前記第２の表示領域に対応する表示画像とを相互に交換する第１の相互交換ユニットをさらに含む。

本開示の一実施例において、前記第１の相互交換ユニットは具体的に、前記第１の表示領域上の表示コンテナと、前記第２の表示領域上の表示コンテナとの位置を相互に交換することによって、前記第１の表示領域に対応する表示画像と、前記第２の表示領域に対応する表示画像とを相互に交換し、又は、前記第１の表示領域上の表示コンテナにおけるライブ配信ビデオストリームと、前記第２の表示領域上の表示コンテナにおけるビデオストリームとを相互に交換することによって、前記第１の表示領域に対応する表示画像と、前記第２の表示領域に対応する表示画像とを相互に交換する。

本開示の一実施例において、前記マスク層には、マスクされる表示領域に表示される表示画像に対応するライバーのライバー標識が表示される。

本開示の一実施例において、前記装置は、
前記表示切替要求に応答して、前記マスク層上のライバー標識を相互に交換する第２の相互交換ユニットをさらに含む。

本開示の一実施例において、前記第２の相互交換ユニットは具体的に、ライバー標識をスケーリングすることによって、前記マスク層上のライバー標識を相互に交換する。

本開示の一実施例において、前記第２の相互交換ユニットは具体的に、第１のマスク層上のライバー標識及び第２のマスク層上のライバー標識を縮小して表示し、前記第１のマスク層は、前記第１の表示領域に表示されるマスク層であり、前記第２のマスク層は、前記第２の表示領域に表示されるマスク層であり、マスク層の表示をキャンセルする前に、切替が完了したことに応答して、前記第１のマスク層上のライバー標識と、前記第２のマスク層上のライバー標識とを相互に交換し、前記第１のマスク層上のライバー標識及び前記第２のマスク層上のライバー標識を拡大して表示する。

本開示の一実施例において、前記装置は、
前記切替が完了する前に、前記マスク層に、相互交換が進行中であることをプロンプトするためのプロンプト情報を表示する第４の表示ユニットをさらに含む。

本開示の一実施例において、前記装置は、
切替が完了したことに応答して、前記プロンプト情報の表示を停止する制御ユニットをさらに含む。

ここで、本実施例において各ユニットの具体的な実現について、上記の方法実施例における関連記載を参照すればよい。

本出願の実施例においてユニットの区画は概略的であり、単に論理機能の区画であり、実際に実現する場合、別の区画形態があってもよい。本出願の実施例において各機能ユニットは１つの処理ユニットに集積されてもよいし、各ユニットは個別で物理的に存在してもよいし、さらに、２つ以上のユニットは１つのユニットに集積されてもよい。例えば、上記の実施例において、処理ユニット及び送信ユニットは同一のユニットであってもよいし、異なるユニットであってもよい。上記の集積されたユニットについて、ハードウェアの形態で実現されてもよいし、ソフトウェア機能ユニットの形態で実現されてもよい。

図４を参照し、本開示の実施例を実現するための電子機器４００の構造概略図である。本開示の実施例において端末機器は、例えば携帯電話、ノートパソコン、デジタル放送受信機、ＰＤＡ（携帯情報端末）、ＰＡＤ（タブレット）、ＰＭＰ（ポータブルメディア再生器）、車載端末（例えば車載ナビゲーション端末）などのモバイル端末、及び例えばデジタルＴＶ、デスクトップコンピュータなどの固定端末を含んでもよいが、これらに限定されていない。図４に示す電子機器は本開示の実施例の機能及び使用範囲を限定していなく、一例に過ぎない。

図４に示すように、電子機器４００は処理装置（例えば中央演算処理装置、グラフィックスプロセッサーなど）４０１を含み、読み取り専用メモリ（ＲＯＭ）４０２に記憶されたプログラム、又は記憶装置４０８からランダムアクセスメモリ（ＲＡＭ）４０３に読み込まれたプログラムに従って、各種の適切な動作及び処理を実行することができる。ＲＡＭ４０３には、電子機器４００の操作に必要な各種のプログラム及びデータがさらに記憶される。処理装置４０１、ＲＯＭ
４０２及びＲＡＭ ４０３はバス４０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース４０５もバス４０４に接続される。

一般的に、例えばタッチスクリーン、タッチパネル、キーボード、マウス、カメラ、マイク、加速度計、ジャイロなどを含む入力装置４０６、例えば液晶ディスプレイ（ＬＣＤ）、スピーカ、振動器などを含む出力装置４０７、例えば磁気テープ、ハードディスクなどを含む記憶装置４０８、及び通信装置４０９はＩ／Ｏインターフェース４０５に接続される。通信装置４０９は、電子機器４００と他の装置とが無線又は有線通信を行ってデータを交換することを可能にする。図４は、各種の装置を備える電子機器４００を示すが、示される全ての装置を実施又は備えるように要求されていない。代わりとして、より多く又は少ない装置を実施又は備えてもよい。

特に、本開示の実施例によれば、以上、フローチャートを参照して記載される過程は、コンピュータソフトウェアプログラムとして実現されてもよい。例えば、本開示の実施例は、非一時的コンピュータ可読媒体に担持されるコンピュータプログラムを含むコンピュータプログラム製品を含み、当該コンピュータプログラムは、フローチャートに示す方法を実行するためのプログラムコードを含む。このような実施例において、当該コンピュータプログラムは通信装置４０９によってネットワークからダウンロードされてインストールされ、又は記憶装置４０８からインストールされ、或いはＲＯＭ４０２からインストールされる。当該コンピュータプログラムが処理装置４０１によって実行されると、本開示の実施例の方法に限定される上記の機能を実行する。

本開示の実施例によって提供される電子機器は、上記の実施例によって提供される方法と同一の発明構想に属し、本実施例において詳しく記載されていない技術細部について、上記の実施例を参照すればよく、本実施例は上記の実施例と同じ有益な効果を備える。

本開示の実施例は、コンピュータプログラムが記憶されたコンピュータ記憶媒体を提供し、当該プログラムはプロセッサーによって実行されると、上記の実施例によって提供される方法を実行する。

ここで、本開示の上記のコンピュータ可読媒体は、コンピュータ可読信号媒体、又はコンピュータ可読記憶媒体、或いは上記の両者の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば電気、磁気、光、電磁、赤外線、又は半導体のシステム、装置或いはデバイス、若しくは以上の任意の組み合わせであってもよいが、これらに限定されていない。コンピュータ可読記憶媒体のより具体的な例は、１つ又は複数のリード線を有する電気接続、ポータブルコンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光メモリ、磁気メモリ、又は上記の任意の適切な組み合わせを含んでもよいが、これらに限定されていない。本開示において、コンピュータ可読記憶媒体は、プログラムを含み、又は記憶する任意の有形媒体であってもよく、当該プログラムは、指令実行システム、装置又はデバイスによって使用され、又はそれと結合するように使用されてもよい。本開示において、コンピュータ可読信号媒体は、ベースバンドにおいて、又はキャリアの一部として伝播されるデータ信号を含み、当該データ信号には、コンピュータ読み取り可能なプログラムコードが担持される。このような伝播されるデータ信号は、多種の形態を採用でき、電磁信号、光信号又は上記の任意の適切な組み合わせを含むが、これらに限定されていない。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよく、当該コンピュータ可読信号媒体は、指令実行システム、装置又はデバイスによって使用され、又はそれと結合するように使用されるプログラムを送信、伝播又は伝送する。コンピュータ可読媒体に含まれるプログラムコードは、任意の適切な媒体によって伝送され、当該媒体は、ワイヤ、光ケーブル、ＲＦ（無線周波数）など、又は上記の任意の適切な組み合わせを含むが、これらに限定されない。

いくつかの実施形態において、クライアント、サーバーは、例えばＨＴＴＰ（Ｈｙｐｅｒ
Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ、ハイパーテキストトランスファープロトコルセキュア）のような、既知又は将来開発される任意のネットワークプロトコルを介して通信して、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）と互いに接続される。通信ネットワークの例はローカルネットワーク（「ＬＡＮ」）、広域ネットワーク（「ＷＡＮ」）、インターナショナルネットワーク（例えば、インターネット）及びエンドツーエンドネットワーク（例えば、ａｄｈｏｃエンドツーエンドネットワーク）、及び既知又は将来開発される任意のネットワークを含む。

上記のコンピュータ可読媒体は上記の電子機器に含まれてもよいし、当該電子機器に装着されず、個別に存在してもよい。

上記のコンピュータ可読媒体には１つ又は複数のプログラムが搭載され、上記の１つ又は複数のプログラムは当該電子機器によって実行されると、当該電子機器に上記の方法を実行させる。

１つ又は複数のプログラミング言語又はその組み合わせで本開示の操作を実行するコンピュータプログラムコードを書くことができ、上記のプログラミング言語は、例えばＪａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、例えば「Ｃ」言語又は類似するプログラミング言語などの普通の手続き型プログラミング言語を含むが、これらに限定されていない。プログラムコードは、全部的にユーザーコンピュータで実行されてもよいし、部分的にユーザーコンピュータで実行されてもよいし、独立するソフトウェアパッケージとして実行されてもよいし、部分的にユーザーコンピュータでかつ部分的にリモートコンピュータで実行されてもよいし、又は全部的にリモートコンピュータ或いはサーバーで実行されてもよい。リモートコンピュータが関与する場合、リモートコンピュータは、ローカルネットワーク（ＬＡＮ）や広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザーコンピュータに接続され、又は外部コンピュータに接続される（例えば、インターネットサービスプロバイダーを用いてインターネットを介して接続される）。

図面におけるフローチャート及びブロック図は、本開示の各実施例によるシステム、方法及びコンピュータプログラム製品が実現可能な体系アーキテクチャ、機能及び操作を示す。これについて、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセクション、又はコードの一部を代表し、当該モジュール、プログラムセクション、又はコードの一部は、規定される論理機能を実現する１つ又は複数の実行可能な指令を含む。また、差替えとしてのいくつかの実現において、ブロックに示される機能は、図面に示すものとは異なる順序に従って発揮してもよい。例えば、接続される２つのブロックは実際に、基本的に並行するように実行されてもよいし、ある場合、逆の順序に従って実行されてもよく、これは、係る機能に応じて決定される。また、ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、規定される機能又は操作を実行するための、ハードウェアによる専用システムによって実現されてもよいし、又は専用ハードウェアとコンピュータ指令との組み合わせで実現されてもよい。

本開示の実施例に記載のユニットはソフトウェアの形態で実現されてもよいし、ハードウェアの形態で実現されてもよい。ある場合、ユニット／モジュールの名称は当該ユニット自体を限定するものではない。

本明細書に記載の機能は少なくとも部分的に１つ又は複数のハードウェア論理部材によって実行される。例えば、非限定的に、使用可能なハードウェア論理部材の例示的なタイプは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）などを含む。

本開示において、マシン可読媒体は、有形の媒体であってもよく、指令実行システム、装置又は機器によって使用され、又は指令実行システム、装置又は機器と結合するように使用されるプログラムを含み、又は記憶する。マシン可読媒体は、マシン可読信号媒体、又はマシン可読記憶媒体であってもよい。マシン可読媒体は、電子、磁気、光、電磁、赤外線、又は半導体システム、装置又は機器、或いは上記の内容の任意の適切な組み合わせを含んでもよいが、これらに限定されていない。マシン可読記憶媒体のより具体的な例は、１つ又は複数のワイヤによる電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光記憶機器、磁気記憶機器、又は上記の内容の任意の適切な組み合わせを含む。

ここで、本明細書における各実施例に対して漸進方式で記載され、各実施例は主に他の実施例との相違点を説明し、各実施例の間の同様又は類似の部分について、互いに参照すればよい。実施例が開示するシステム又は装置について、実施例が開示する方法に対応するため、その記載は比較的簡単であり、関連するところについて、方法部分の説明を参照すればよい。

ここで、本出願において、「少なくとも１つ（項）」は１つ又は複数を指し、「複数」は２つ又は２つ以上を指す。「及び／又は」は、関連オブジェクトの関連関係を記載し、３つの関係が存在することを示し、例えば、「Ａ及び／又はＢ」は、Ａのみが存在する場合、Ｂのみが存在する場合、及びＡとＢが同時に存在する場合を示し、Ａ、Ｂは単数又は複数であってもよい。文字「／」は一般的に、前後で関連しているオブジェクトが「又は」という関係にあることを示す。「以下の少なくとも一項（個）」又はその類似表現は、これらの項目における任意の組み合わせを指し、単一項（個）又は複数項（個）の任意の組み合わせを含む。例えば、ａ、ｂ又はｃのうちの少なくとも一項（個）は、ａ、ｂ、ｃ、「ａ及びｂ」、「ａ及びｃ」、「ｂ及びｃ」、又は「ａ、ｂ及びｃ」を示し、ａ、ｂ、ｃは単一であってもよいし、複数であってもよい。

ここで、本明細書において、例えば第１及び第２のような関係用語は単に１つのエンティティ又は操作を他のエンティティ又は操作と区別するためのものであり、これらのエンティティ又は操作同士の間にはこのような実際の関係又は順序があるように要求又は暗示するとは限らない。且つ、用語「含む」「包含」又はその他の任意の変形は非排他的包含を含むように意図され、それにより、一連の要素を含む過程、方法、品物又は機器はそれらの要素を含むだけでなく、更に明確に列挙されていない他の要素を含み、或いは、更にこのような過程、方法、品物又は機器に固有の要素を含む。これ以上限定しない限り、語句「○○を含む」で限定された要素は、前記要素を含む過程、方法、品物又は機器には更に他の同じ要素があることを排除しない。

本明細書が開示する実施例を結合して記載される方法又はアルゴリズムのステップは、直接的に、ハードウェア、プロセッサーが実行するソフトウェアモジュール、又は両者の結合で実施される。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、メモリ、読み取り専用メモリ（ＲＯＭ）、電気プログラマブルＲＯＭ、電気的消去可能プログラマブルＲＯＭ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭ、又は技術分野内の公知としての他の任意の記憶媒体に設けられる。

開示される実施例への上記の説明によって、当業者は本出願を実現又は使用できる。これらの実施例に対する複数の修正は当業者にとって自明であり、本明細書に定義される一般的な原理は、本出願の精神又は範囲から逸脱しない場合、他の実施例において実現されてもよい。従って、本出願は本明細書におけるこれらの実施例に限定されず、本明細書が開示する原理及び新規特点と一致する、最も幅広い範囲に合う。

Claims (16)

1. 電子機器が実行するライブ配信ビデオ処理方法であって、
   第１の表示領域と第２の表示領域を含むライブルームインターフェースを表示し、第１のライバーに対応する表示画像を前記第１の表示領域に表示し、第２のライバーに対応する表示画像を前記第２の表示領域に表示するステップと、
   前記第１の表示領域及び第２の表示領域に対する表示切替要求に応答して、前記第１の表示領域及び第２の表示領域にマスク層をそれぞれ表示するステップと、
   切替が完了したことに応答して、前記第１の表示領域及び第２の表示領域において、マスク層の表示をキャンセルし、前記第２のライバーに対応する表示画像を前記第１の表示領域に表示し、前記第１のライバーに対応する表示画像を前記第２の表示領域に表示するステップと、
   を含む方法。
2. 第１のライバーに対応する表示画像を前記第１の表示領域に表示し、第２のライバーに対応する表示画像を前記第２の表示領域に表示するステップは、
   第１のライブ配信グループにおける第１のライバーに対応する表示画像を前記第１の表示領域に表示し、第２のライブ配信グループにおける第２のライバーに対応する表示画像を前記第２の表示領域に表示するステップ、
   を含む請求項１に記載の方法。
3. 前記第１の表示領域及び第２の表示領域に対する表示切替要求に応答することは、前記第１のライバー及び第２のライバーに対する表示領域切替要求に応答すること、を含む、請求項１に記載の方法。
4. 前記第１の表示領域及び第２の表示領域に対する表示切替要求に応答することは、前記第１のライバー及び第２のライバーに対するライブ配信グループ切替要求に応答することを含む、請求項２に記載の方法。
5. 前記切替が完了したことに応答して、前記第１の表示領域及び第２の表示領域においてマスク層の表示をキャンセルする前に、さらに、
   前記第１の表示領域に対応する表示画像と、前記第２の表示領域に対応する表示画像とを相互に交換するステップ、
   を含む請求項１に記載の方法。
6. 前記第１の表示領域に対応する表示画像と、前記第２の表示領域に対応する表示画像とを相互に交換するステップは、
   前記第１の表示領域上の表示コンテナと前記第２の表示領域上の表示コンテナとの位置を相互に交換することによって、前記第１の表示領域に対応する表示画像と、前記第２の表示領域に対応する表示画像とを相互に交換するステップ、又は、
   前記第１の表示領域上の表示コンテナにおけるライブ配信ビデオストリームと、前記第２の表示領域上の表示コンテナにおけるビデオストリームとを相互に交換することによって、前記第１の表示領域に対応する表示画像と、前記第２の表示領域に対応する表示画像とを相互に交換するステップ、
   を含む請求項５に記載の方法。
7. 前記マスク層には、マスクされた表示領域に表示される表示画像に対応するライバーのライバー標識が表示される、請求項１に記載の方法。
8. 前記表示切替要求に応答して、前記マスク層上のライバー標識を相互に交換するステップ、をさらに含む請求項７に記載の方法。
9. 前記前記マスク層上のライバー標識を相互に交換するステップは、
   ライバー標識をスケーリングすることによって、前記マスク層上のライバー標識を相互に交換するステップ、を含む請求項８に記載の方法。
10. 前記ライバー標識をスケーリングすることによって、前記マスク層上のライバー標識を相互に交換するステップは、
    第１のマスク層上のライバー標識及び第２のマスク層上のライバー標識を縮小して表示するステップであって、前記第１のマスク層は、前記第１の表示領域に表示されるマスク層であり、前記第２のマスク層は、前記第２の表示領域に表示されるマスク層であるステップと、
    マスク層の表示をキャンセルする前に、切替が完了したことに応答して、前記第１のマスク層上のライバー標識と、前記第２のマスク層上のライバー標識とを相互に交換するステップと、
    前記第１のマスク層上のライバー標識及び前記第２のマスク層上のライバー標識を拡大して表示するステップと、
    を含む請求項９に記載の方法。
11. 前記切替が完了する前に、前記マスク層に、相互交換が進行中であることをプロンプトするためのプロンプト情報を表示するステップ、をさらに含む請求項７に記載の方法。
12. 切替が完了したことに応答して、前記プロンプト情報の表示を停止するステップを、さらに含む請求項１１に記載の方法。
13. ライブ配信ビデオ処理装置であって、
    第１の表示領域と第２の表示領域を含むライブルームインターフェースを表示し、第１のライバーに対応する表示画像を前記第１の表示領域に表示し、第２のライバーに対応する表示画像を前記第２の表示領域に表示する第１の表示ユニットと、
    前記第１の表示領域及び第２の表示領域に対する表示切替要求に応答して、前記第１の表示領域及び第２の表示領域にマスク層をそれぞれ表示する第２の表示ユニットと、
    切替が完了したことに応答して、前記第１の表示領域及び第２の表示領域において、マスク層の表示をキャンセルして、前記第２のライバーに対応する表示画像を前記第１の表示領域に表示し、前記第１のライバーに対応する表示画像を前記第２の表示領域に表示する第３の表示ユニットと、
    を含む装置。
14. メモリとプロセッサーを含む電子機器であって、
    前記メモリは、指令又はコンピュータプログラムを記憶するために使用され、
    前記プロセッサーは、前記メモリにおける前記指令又はコンピュータプログラムを実行して、前記電子機器に、請求項１～１２の何れか１項に記載の方法を実行させるために使用される、電子機器。
15. コンピュータ可読記憶媒体であって、
    前記コンピュータ可読記憶媒体には指令が記憶され、前記指令が機器で実行されるときに、前記機器に、請求項１～１２の何れか１項に記載の方法を実行させるコンピュータ可読記憶媒体。
16. コンピュータプログラムであって、前記コンピュータプログラムはコンピュータプログラム／指令を含み、前記コンピュータプログラム／指令はプロセッサーによって実行されるときに、請求項１～１２の何れか１項に記載の方法を実現するコンピュータプログラム。