JP4011082B2

JP4011082B2 - 情報処理装置、グラフィックプロセッサ、制御用プロセッサおよび情報処理方法

Info

Publication number: JP4011082B2
Application number: JP2005323784A
Authority: JP
Inventors: 幸代青木
Original assignee: Sony Computer Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2005-11-08
Filing date: 2005-11-08
Publication date: 2007-11-21
Anticipated expiration: 2025-11-08
Also published as: EP1947602A1; EP1947602B1; WO2007055067A1; EP1947602A4; US20080211820A1; US7999814B2; JP2007133493A

Description

本発明は、情報処理技術に関し、特に画像処理を含む情報処理方法、およびそれを適用した情報処理装置、グラフィックプロセッサ、および制御用プロセッサに関する。

近年のコンピュータグラフィックス技術の発達に伴い、大型計算機や、パーソナルコンピュータ、ゲーム機器などの情報処理装置から出力される画像データは、ますます複雑化、高度化している。そこで、このような情報処理装置は、通常の演算処理を行うメインプロセッサとは別に、画像処理専用のグラフィックプロセッサを搭載し、メインプロセッサを画像処理から解放して、システムのオーバーヘッドの解消を図っている。

これらの情報処理装置において、複数のアプリケーションに対応したタスクを時分割して処理する場合、一般的には、グラフィックプロセッサはメインプロセッサが処理する複数のタスクに対応した画像処理を、メインプロセッサの高速演算に対応させて行っている。

一方、コンピュータグラフィックスによって表示される動画像に対する、高精細化の要求は留まるところを知らない。リアルタイムな高精細画像表示のニーズへの対応として、高速なＣＰＵや大容量メモリ、広帯域のバスの導入などハード面での改良にのみ解決策を見出すことは、コストや設計上の理由から困難となりつつある。

本発明はこのような課題に鑑みてなされたものでありその目的は、画像処理演算を含む情報処理を効率的に行う技術の提供にある。

本発明のある態様は情報処理装置に関する。この情報処理装置は、表示単位の第１の画像の画像データを生成する第１の画像処理プロセスと、第１の画像に処理を施し第２の画像を生成する第２の画像処理プロセスと、を切り替えて実行するグラフィックプロセッサと、グラフィックプロセッサを制御するメインプロセッサと、を備え、グラフィックプロセッサは、第１の画像処理プロセスの１回の処理の時間を伸縮して実行し、第２の画像処理プロセスの１回の処理を所定の処理時間で実行する演算処理部と、メインプロセッサに対して第１の画像処理プロセスの１回の処理終了の通知を行う処理終了通知部と、を備え、メインプロセッサは、演算処理部における処理を、処理終了通知部が通知した第１の画像処理プロセスの１回の処理終了を検知して第１の画像処理プロセスから第２の画像処理プロセスに切り替え、所定の処理時間経過時点で前記第２の画像処理プロセスから前記第１の画像処理プロセスに切り替えるよう、前記グラフィックプロセッサへ要求するプロセス切り替え要求部と、を備えたことを特徴とする。

ここで「表示単位」の画像とは、フレーム、ピクチャ、フィールドなど、画像を構成する単位のいずれでもよい。

この情報処理装置は、グラフィックプロセッサが第１の画像の画像データを一時記憶する記憶領域を含むローカルメモリをさらに備え、メインプロセッサは、グラフィックプロセッサに対する、第１の画像処理プロセスにおける処理内容の要求情報を生成して発行する第１プロセス処理部と、グラフィックプロセッサに対する、第２の画像処理プロセスにおける処理内容の要求情報を生成して発行する第２プロセス処理部と、をさらに備え、第１プロセス処理部は、第１の画像の画像データのローカルメモリ内の記憶領域に係る情報を第１の画像処理プロセスにおける処理内容の要求情報を生成する際に決定し、決定した第１の画像の画像データの記憶領域に係る情報を第２プロセス処理部へ供給し、第２プロセス処理部は、前記第１プロセス処理部より取得した記憶領域に係る情報を、第２の画像処理プロセスにおける処理内容の要求情報に含め、グラフィックプロセッサにおける演算処理部は、第２の画像処理プロセスにおいて、第２プロセス処理部から取得した命令情報に含まれる記憶領域に係る情報に基づき第１の画像の画像データを特定し、特定した画像データに処理を施してもよい。

ここで「処理内容の要求情報」は、グラフィックプロセッサが行う処理の１つ１つについての要求の情報でもよいし、それらを束ねた複数の要求の情報でもよい。また、グラフィックプロセッサが行う処理であれば、画像処理に含まれる処理の要求である必要はなく、例えばプロセスの切り替え要求の情報も、「処理内容の要求情報」に含まれる。また、「記憶領域に係る情報」は、ローカルメモリ内のアドレスの情報、ローカルメモリ内の区分けされた領域のＩＤなどのいずれでもよい。また記憶領域の容量や区分けされた領域の個数などのいずれを含んでもよい。

本発明のさらに別の態様はグラフィックプロセッサに関する。このグラフィックプロセッサは、表示単位の第１の画像の画像データを生成する第１の画像処理プロセスと、第１の画像に処理を施し第２の画像を生成する第２の画像処理プロセスと、を切り替えて実行する演算処理部と、演算処理部における処理を、所定の処理内容終了時点で第１の画像処理プロセスから第２の画像処理プロセスへ切り替え、所定の処理時間経過時点で第２の画像処理プロセスから第１の画像処理プロセスへ切り替える切り替え処理部と、を備えたことを特徴とする。

本発明のさらに別の態様は制御用プロセッサに関する。この制御用プロセッサは、表示単位の第１の画像の画像データを生成しメモリ内の記憶領域に一時記憶させる第１の画像処理プロセスと、メモリ内の記憶領域に記憶された第１の画像の画像データを特定し、処理を施して第２の画像を生成する第２の画像処理プロセスと、を切り替えて実行するグラフィックプロセッサを制御する制御用プロセッサであって、グラフィックプロセッサに対する、第１の画像処理プロセスにおける処理内容の要求情報を生成して発行する第１プロセス処理部と、グラフィックプロセッサに対する、第２の画像処理プロセスにおける処理内容の要求情報を生成して発行する第２プロセス処理部と、を備え、第１プロセス処理部は、第１の画像の画像データのメモリ内での記憶領域に係る情報を第１の画像処理プロセスにおける処理内容の要求情報を生成する際に決定し、決定した第１の画像の画像データの記憶領域に係る情報を第２プロセス処理部へ供給し、第２プロセス処理部は、第１プロセス処理部より取得した記憶領域に係る情報を、第２の画像処理プロセスにおける処理内容の要求情報に含めることにより、第２の画像処理プロセスにおいて、グラフィックプロセッサに第１の画像の画像データを特定させることを特徴とする。

本発明のさらに別の態様は情報処理方法に関する。この情報処理方法は、第１の画像処理プロセスを実行するステップと、第１の画像処理プロセスに対して課せられた所定の処理項目が終了した時点で、第２の画像処理プロセスへの切り替えを行うステップと、第２の画像処理プロセスを実行するステップと、第２の画像処理プロセスに対して定められた処理時間が経過した時点で、第１の画像処理プロセスへの切り替えを行うステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、画像処理を含む情報処理を効率よく行うことができる。

本実施の形態では、メインプロセッサの要求に基づきグラフィックプロセッサが画像処理を行う。メインプロセッサは、例えばゲームのアプリケーションに対応して、ゲーム世界を表現する動画像の生成要求を行う。さらに、当該アプリケーションやＯＳが提供するいずれかの機能を実現するために、ゲーム世界を表現する動画像上に表示するオンスクリーン画面の生成要求を行う。これら２つの要求は異なるプロセスとして、グラフィックプロセッサにおいて、切り替えられながら処理される。以後、ゲーム世界を表現する動画像のように、アプリケーションなどに対応した主たる画像を「ベース画像」、オンスクリーン表示などが加わった、最終的に表示装置に表示される画像を「表示画像」と呼ぶ。表示画像は、最終的に表示装置に表示される画像であれば、ベース画像と同一の画像でもよい。また、オンスクリーン表示以外に、枠を施したり背景画像を施したりといった、ベース画像に何らかの処理を施した画像でもよい。

一般に、画像データのサイズが大きい高精細のベース画像をグラフィックプロセッサが生成する場合、１表示単位の画像を生成するための処理量が多くなる。ここでメインプロセッサにおけるプロセスの切り替えと同調させて、グラフィックプロセッサにおけるプロセスを切り替えると、途中まで処理したベース画像の画像データの退避や復活などによるオーバーヘッドが増大する可能性のあることを本発明者は認識した。ゲームなどユーザの操作によって出力される動画像がリアルタイムで変化するアプリケーションの場合には、このオーバーヘッドが動画の停止やコマ落ちなどの画質低下の原因となってしまう。そこで本実施の形態では、グラフィックプロセッサにおけるプロセス切り替えをメインプロセッサに同調させないことにより、リアルタイム性に優れた処理システムを実現する。

図１は、本実施の形態に係る情報処理装置１０００の全体構成を示している。情報処理装置１０００は、グラフィックプロセッサ１００とメインプロセッサ２００、メインメモリ５０、ディスプレイコントローラ１０４、ローカルメモリ１０８、および表示装置５００を含む。それらのユニットはメインバス４０によって相互にデータ信号の送受を行っている。情報処理装置１０００は、メインプロセッサ２００およびグラフィックプロセッサ１００の処理の結果得られ、ローカルメモリ１０８内のフレームバッファ１０９へ格納された画像、映像を、ディスプレイコントローラ１０４の制御のもと、表示装置５００へ表示する。図１などにおいて、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされた予約管理機能のあるプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

この情報処理装置１０００では、情報処理装置１０００を効率よく使用するための機能、環境を提供し、装置全体を統括的に制御するオペレーティングシステム（以下、ＯＳと略す）が実行される。そのＯＳ上で複数のアプリケーションソフトウェア（以下、単にアプリケーションという）が実行される。

メインプロセッサ２００は、アプリケーションやＯＳが提供する機能に対応するタスクを時分割して生成されたそれぞれのプロセスを順次処理することにより、それらのタスクを並列に処理する。メインプロセッサ２００は複数のサブプロセッサを含んでいてもよく、その場合は時分割したタスクを各サブプロセッサに割り当て実行させる。タスクのひとつとしてメインプロセッサ２００は、ベース画像および表示画像の画像データの生成にかかる処理をグラフィックプロセッサ１００が行うための命令を生成し、画像処理に必要なデータとともにグラフィックプロセッサ１００へ提供する。さらにグラフィックプロセッサ１００におけるプロセスの切り替えについて管理を行う。

メインメモリ５０は、主にメインプロセッサ２００によって使用される記憶領域である。このメインメモリ５０には、アプリケーションやＯＳに対応するタスクに関連するデータが格納される。例えば、グラフィックプロセッサ１００への命令情報や、画像処理に必要なモデリングデータなどが一時的に格納される。

グラフィックプロセッサ１００は、画像に関する処理を専用に実行するブロックであり、レンダリング処理などを行うユニットである。グラフィックプロセッサ１００は、制御ブロック１０２、および演算処理部１０６を含む。これらのブロック同士は、内部バス４５で接続されており、ブロック間でデータ信号の送受が行われる。グラフィックプロセッサ１００では、複数のプロセスを切り替えながら順次処理することにより、最終的に表示される表示画像を生成する。プロセスの切り替えは、メインプロセッサ２００で行われるプロセスの切り替えと同調せずに行われる。

制御ブロック１０２は、このグラフィックプロセッサ１００全体を制御するブロックである。例えば制御ブロック１０２は、メインプロセッサ２００が発行した演算処理部１０６で行われるべき処理の命令情報を取得して演算処理部１０６に実行させたり、プロセスの切り替えに係る処理を行う。

演算処理部１０６は、メインプロセッサ２００からの命令に従って、グラフィックに関する様々な演算処理を行う。その処理の一例としては、３次元モデリングデータをもとに座標変換、陰面消去、シェーディングを行ってベース画像や表示画像の画像データを作成し、ローカルメモリ１０８内のフレームバッファ１０９に書込む一連のレンダリング処理などが挙げられる。演算処理部１０６は、特に３次元グラフィックスに関する処理を高速に行うために、図示しないラスタライザ、シェーダユニット、テクスチャユニットなどの機能ブロックを含んでいる。

ローカルメモリ１０８は、主にグラフィックプロセッサ１００によって使用される記憶領域であり、画像処理に必要なデータなどが格納される。ローカルメモリ１０８には演算処理部１０６によって生成された画像データを格納する領域であるフレームバッファ１０９が含まれる。アプリケーションに対応する画像処理の結果生成されたベース画像の一部の領域などに別の画像を加えて最終的に表示される表示画像を生成する場合、ベース画像の画像データを一旦フレームバッファ１０９に格納する。そしてそのデータに対して所定の処理を施すことによって得られた表示画像を、さらにフレームバッファ１０９に格納する。

ディスプレイコントローラ１０４は、水平および垂直同期信号を生成し、表示装置５００の表示タイミングに従って、フレームバッファ１０９から画像データのピクセルデータをライン状に順次読み込んでいく。さらにディスプレイコントローラ１０４は、ライン状に読み込まれたピクセルデータを、ＲＧＢのカラー値からなるデジタルデータから表示装置５００に対応したフォーマットに変換して出力する。

つぎに、以上のように構成された情報処理装置１０００の動作について、本実施の形態の特徴であるグラフィックプロセッサ１００におけるプロセス切り替え制御手法を中心に説明する。図２は本実施の形態に係るグラフィックプロセッサ１００、メインプロセッサ２００、メインメモリ５０、およびディスプレイコントローラ１０４の構成をより詳細に示している。

メインプロセッサ２００はあるアプリケーションに対応し、ベース画像の生成要求を含む第１プロセスを処理する第１プロセス処理部２０２、当該アプリケーションの一部の機能やＯＳなどに対応し、表示画像の生成要求を含む第２プロセスを処理する第２プロセス処理部２０４を含む。第１プロセス処理部２０２および第２プロセス処理部２０４は、それぞれのプロセスの処理途上で発生した画像処理をグラフィックプロセッサ１００に実行させるための命令情報をメインメモリ５０の、それぞれのプロセスに割り当てられた領域に書き込む。以後、メインメモリ５０内のそれらの記憶領域をそれぞれ第１記憶領域、第２記憶領域と呼ぶ。また命令情報は、グラフィックプロセッサ１００内の図示しないメモリに記憶させてもよい。

ここで第１プロセスはユーザが主に実行するゲームや動画像再生のアプリケーションの主たるプロセスなどで、ベース画像を生成する元となるプロセスである。一方、第２プロセスは、チャットウィンドウや警告用のダイアログなどをベース画像に重ねたり、ベース画像に枠を設けたりして、表示画像を生成する元となるプロセスであり、アプリケーションやＯＳが提供する機能のいずれに対応していてもよい。第２プロセスにはベース画像に何の処理も施さず表示画像とするプロセスも含んでよい。同図では簡単のために第１プロセス処理部２０２と第２プロセス処理部２０４を分けて示しているが、それぞれのプロセスを異なるサブプロセッサに割り当てた場合、および、時分割したものをタイムスライスに割り当てた場合のいずれか、またはその組み合わせでよい。さらに第１プロセスおよび第２プロセスの少なくともいずれかが、複数のサブプロセスによって構成されていてもよい。このとき第１プロセス処理部２０２および第２プロセス処理部２０４は、ラウンドロビン方式など一般的な手法によってサブプロセスを切り替えて処理することにより、第１プロセスおよび第２プロセスをそれぞれ処理してよい。

メインプロセッサ２００はさらに、グラフィックプロセッサ１００におけるプロセスの切り替えタイミングを制御する切り替え命令発行部２０８、グラフィックプロセッサ１００において実行されるプロセスのうち、１回の処理に対する処理時間が管理されるプロセスの、当該処理時間を決定する処理時間決定部２０６、および、グラフィックプロセッサ１００において表示画像が１表示単位分完成した際、画像表示を切り替える命令をディスプレイコントローラ１０４に発行する画像切り替え要求部２１０を含む。１表示単位は１度に表示装置５００に表示する画像領域の単位であり、以降の説明では１フレームとする。

本実施の形態ではグラフィックプロセッサ１００で行われるプロセスは、第１プロセスより発生した画像処理である第１画像処理プロセス、および第２プロセスより発生した画像処理である第２画像処理プロセスの２つとする。すなわち、第１画像処理プロセスはベース画像を生成するプロセスであり、第２画像処理プロセスは当該ベース画像に必要に応じて処理を施した表示画像を生成するプロセスである。切り替え命令発行部２０８は、第１画像処理プロセスから第２画像処理プロセスへの切り替えタイミングを、第１画像処理プロセス自らが発行する処理終了通知により決定し、第２画像処理プロセスから第１画像処理プロセスへの切り替えタイミングを、処理時間決定部２０６が決定した処理時間の経過により決定する。

グラフィックプロセッサ１００は、図１に示したように、第１画像処理プロセスおよび第２画像処理プロセスを交互に実行し、ベース画像および表示画像をそれぞれ生成する演算処理部１０６、グラフィックプロセッサ１００における処理を統括的に制御する制御ブロック１０２を含む。制御ブロック１０２は、メインプロセッサ２００が発行しメインメモリ５０に記憶させた命令情報を取得する命令取得部１１２、演算処理部１０６で実行される第１画像処理プロセスおよび第２画像処理プロセスの切り替え処理を行うプロセス切り替え部１１６、演算処理部１０６が第１画像処理プロセスを終了した際、それを検知しメインプロセッサ２００へ通知する処理終了通知部１１８、および演算処理部１０６が第２画像処理プロセスを実行している際、表示画像が１フレーム分完成した時点でそれを検知し、メインプロセッサ２００の画像切り替え要求部２１０へ通知する画像完成通知部１１４を含む。

次に、以上の構成による情報処理装置１０００の動作を説明する。図３および図４は、グラフィックプロセッサ１００において各プロセスを実行するための、メインプロセッサ２００、メインメモリ５０、およびグラフィックプロセッサ１００における処理の流れとデータの授受の様子を模式的に示している。図３は第１画像処理プロセスを実行するための動作、図４は第２画像処理プロセスを実行するための動作を示しており、どちらも図の横方向を時間軸としている。

図３および図４に共通して示すように、グラフィックプロセッサ１００の演算処理部１０６は、第１画像処理プロセスおよび第２画像処理プロセスを交互に行う。このとき第１画像処理プロセスは、１回あたりの処理を、所定の処理項目が終了するまで続行する。その結果、第１画像処理プロセスの処理時間Ａおよび処理時間Ａ’は処理の進捗によって変動する。ここで所定の処理項目が終了するまでとは、例えばベース画像を１枚、または複数枚生成し終えるまで、などであり、計算途中のデータの退避など、プロセスを切り替えることによって発生する処理の量が少なくて済む区切りのよい段階とする。この区切りのよい段階は第１プロセス処理部２０２が実行する第１プロセスの発生元であるアプリケーションのプログラム中で指定することができ、第１プロセス処理部２０２が発行する命令情報に含められる。

一方、第２画像処理プロセスは与えられた処理時間Ｂにおいて実行される。処理時間Ｂは予め定められた固定値でもよいし、第１プロセス処理部２０２が実行する第１プロセスの要求に従い、処理時間決定部２０６が適宜処理時間Ｂを決定してもよい。これら２つのモードをアプリケーション、ＯＳまたはユーザが選択できるようにしてもよい。後者のモードを実現するためには、あらかじめ、第１プロセス処理部２０２が実行中のアプリケーションに含まれるチャット、警告用のダイアログ、文字情報表示などの機能のＩＤと、その機能を実行するために第２画像処理プロセスに必要な処理時間の増加分とを対応づけた処理時間テーブルを当該アプリケーションのロードとともにメインメモリ５０に格納しておく。そして第１プロセス処理部２０２は、それらの機能を実行したいときに、その機能のＩＤを処理時間決定部２０６に通知する。処理時間決定部２０６は取得したＩＤをもとに処理時間テーブルを検索し、当該機能に必要な処理時間の増加分を取得する。そして、それまで第２画像処理プロセスに与えられていた処理時間に、取得した増加分を加算し、新たな処理時間Ｂを決定する。実際には処理時間決定部２０６は第１プロセス処理部２０２に含まれていてもよい。

処理時間Ａと処理時間Ｂとの和は、表示装置５００への垂直同期信号の周期と同期していても非同期でもよい。いずれの場合でも、第２画像処理プロセスを、第１プロセスが許容した所定の処理時間Ｂ内での処理とすることにより、ある単位時間において第１画像処理プロセスを実行できる時間が一定以上確保される。そのため第１画像処理プロセス、すなわち第１プロセスの発生元であるアプリケーションが、ゲームや動画像の再生など画像表示にリアルタイム性を求められるものであった場合に、そのリアルタイム性を保障することができる。さらに、第１画像処理プロセスを実行する処理時間Ａを、処理の進捗状況に応じて可変とすることにより、データの退避などプロセスの切り替えに必要な時間を削減することができ、全体として効率のよい画像処理を実現できる。

グラフィックプロセッサ１００における第１画像処理プロセスにおいて、演算処理部１０６が行うべき処理についての命令情報３０ａ、３０ｂ、および３０ｃは、図３に示すように、メインプロセッサ２００の第１プロセス処理部２０２において生成されたものがメインメモリ５０の第１記憶領域に順次記憶される（矢印Ａ、矢印Ａ’、矢印Ａ’’）。同図では、個別の処理単位の命令情報を複数束ねた命令群を、命令情報３０ａ、３０ｂ、および３０ｃとして示しており、命令情報３０ａ、３０ｂ、および３０ｃに含まれる各矩形が１つの処理単位の命令情報を示している。第１プロセス処理部２０２からメインメモリ５０への命令情報の送信は、１つの処理単位の命令情報ごとでよいが、ここでは図を煩雑にしないため、命令情報３０ａ、３０ｂ、および３０ｃのそれぞれに１つずつの矢印でデータの流れを示している。

メインメモリ５０の第１記憶領域に記憶された命令情報３０ａ、３０ｂ、および３０ｃは、その命令群を１単位としてグラフィックプロセッサ１００の命令取得部１１２によって読み出される。そして、そのうち最初に発行された、１つの処理単位の命令情報から演算処理部１０６によって処理される。これらの命令情報には、上述のとおり、第１画像処理プロセスを終了する命令が含まれている。

さらに本実施の形態では、第１プロセス処理部２０２においてベース画像の生成についての命令情報を生成する際、そのベース画像を格納するフレームバッファ１０９内の記憶領域の決定も行う。記憶領域を動的に設定することよりゲームの場面など、アプリケーションの実行状況に応じて、使用する容量を変化させることができ、生成される画像を多様化したりフレームバッファ１０９を効率的に使用したりすることができる。

上述のとおり第２画像処理プロセスでは、第１画像処理プロセスにおいて生成したベース画像に所定の処理を施すことにより表示画像を生成する。そこで、第１プロセス処理部２０２において決定した、ベース画像のフレームバッファ１０９内での記憶領域のアドレス情報を、所定のタイミングで第２プロセス処理部２０４へ供給する（矢印Ｃ、Ｃ’）。アドレス情報は、フレームバッファ１０９の区画分けされた領域のＩＤなどでもよい。所定のタイミングについては後述する。

図４に示すように、第２プロセス処理部２０４はアドレス情報を第１プロセス処理部２０２から取得し、その情報を含めて、第２画像処理プロセスにおいて演算処理部１０６が行うべき処理についての命令情報３２ａおよび３２ｂを生成し、メインメモリ５０の第２記憶領域に記憶させる（矢印Ｄ、Ｄ’）。同図における命令情報３２ａおよび３２ｂの図示の仕方は図３と同様である。そして、グラフィックプロセッサ１００の命令取得部１１２はメインメモリ５０の第２記憶領域から命令情報３２ａおよび３２ｂを順次読み出し、図３の場合と同様、演算処理部１０６に処理させる。第２画像処理プロセスは上述のとおり、処理時間によって切り替えられるため、命令情報３２ａおよび３２ｂには第２画像処理プロセスを終了する命令は含まれない。

図５は、上述した第１画像処理プロセスおよび第２画像処理プロセスの切り替えおよび、生成された画像の表示切り替えを行う処理の手順を示している。同図は第１画像処理プロセスおよび第２画像処理プロセスをそれぞれ１度ずつ行った場合の処理手順を示している。この手順を繰り返し、表示画像を順次表示していくことにより動画像の表示が実現される。第１画像処理プロセスおよび第２画像処理プロセスに対する命令情報の転送のタイミングは図５では省略し、図６により詳述する。

まず、グラフィックプロセッサ１００の命令取得部１１２は図３に示すように、メインメモリ５０の第１記憶領域から命令情報３０ａを取得し、演算処理部１０６に処理させることにより、第１画像処理プロセスを実行し、ベース画像を生成する（Ｓ１０）。そして処理が命令情報３０ａに含まれる切り替え命令に到達すると、グラフィックプロセッサ１００の処理終了通知部１１８は、メインプロセッサ２００の切り替え命令発行部２０８へ割り込み信号を送信し、１回あたりの第１画像処理プロセスの処理が完了したことを通知する（Ｓ１２）。Ｓ１０において生成されるベース画像は１フレーム分でもよいし、複数フレーム分でもよく、さらに、あるベース画像を生成した後に次のベース画像を生成するための前処理などを、１回あたりの第１画像処理プロセスの処理に含めてもよい。それらの処理項目はすべて命令情報３０ａに含まれる。

メインプロセッサ２００の切り替え命令発行部２０８は、次に演算処理部１０６が処理すべき第２画像処理プロセスの命令情報３２ａを格納したメインメモリ５０の第２記憶領域内のアドレスなどの情報を含むプロセス切り替え命令をグラフィックプロセッサ１００に対して発行する（Ｓ１４）。これと同時に切り替え命令発行部２０８は、内部に搭載された図示しないタイマを作動させ、時間経過の監視を開始する（Ｓ１６）。グラフィックプロセッサ１００のプロセス切り替え部１１６はプロセス切り替え命令を取得すると、第１画像処理プロセスにかかるデータの退避処理や、命令取得部１１２に対する命令情報３２ａを格納したアドレスの通知など、プロセスの切り替えに必要な処理を行う（Ｓ１８）。

グラフィックプロセッサ１００の命令取得部１１２は、メインメモリ５０の第２記憶領域から命令情報３２ａを、プロセス切り替え部１１６から送信されたアドレスに基づき取得し、演算処理部１０６に処理させることにより、第２画像処理プロセスを開始し、表示画像を生成する（Ｓ２０）。命令情報３２ａには、上述のとおり、先に第１画像処理プロセスにおいて生成されたベース画像の画像データの、フレームバッファ１０９における記憶領域のアドレス情報が含まれている。Ｓ２０では、そのアドレス情報に基づきベース画像の画像データを特定し、命令情報３２ａに含まれる処理を施すことにより、表示画像を生成する。この際、演算処理部１０６は、特定したベース画像の画像データに上書きすることにより処理を施してもよいし、特定した画像データを読み出し、フィルタリング処理などの演算器に代入することにより新たに表示画像の画像データを生成し、フレームバッファ１０９に記憶させてもよい。

１フレーム分の表示画像が完成すると、画像完成通知部１１４は、メインプロセッサ２００へその旨を通知する（Ｓ２２）。メインプロセッサ２００の画像切り替え要求部２１０は、表示画像の完成通知を受信すると、完成した表示画像を記憶したフレームバッファ１０９内の記憶領域についてのアドレス情報とともに、ディスプレイコントローラ１０４に対し表示装置５００へ表示する表示画像の切り替え命令を発行する（Ｓ２４）。画像切り替え要求部２１０が切り替え命令に含める表示画像のアドレス情報は、第２プロセス処理部２０４から取得するようにしてもよいし、画像完成通知部１１４からの通知に含めるようにしてもよい。ディスプレイコントローラ１０４は表示画像の切り替え命令を受信すると、第２プロセス処理部２０４から送信された表示画像の記憶領域にについてのアドレス情報に基づき、新たに完成した表示画像の画像データを特定する。そしてそれまで表示装置５００に表示していた表示画像を、新たに完成した表示画像に切り替える（Ｓ２８）。表示画像の切り替えのタイミングは、ディスプレイコントローラ１０４が表示画像の画像データを特定した直後でもよいし、垂直同期信号の周期などを考慮して所定の時間が経過した後でもよい。

一方、メインプロセッサ２００における図示しないタイマによって、第２画像処理プロセスに割り当てられた時間の経過を検知したら（Ｓ２６）、メインプロセッサ２００の切り替え命令発行部２０８は、プロセス切り替え命令をグラフィックプロセッサ１００に対して発行する（Ｓ３０）。プロセス切り替え命令は、次に演算処理部１０６が処理すべき第１画像処理プロセスの命令情報３０ｂを格納したメインメモリ５０の第１記憶領域内のアドレスなどの情報を含む。第２画像処理プロセスに割り当てられた時間は、上述のとおり固定値を設定してもよいし、第１プロセス処理部２０２からの要求に従い処理時間決定部２０６が決定した時間を設定してもよい。グラフィックプロセッサ１００のプロセス切り替え部１１６はプロセス切り替え命令を取得すると、第２画像処理プロセスにかかるデータの退避処理や、命令取得部１１２への命令情報３０ｂを格納したアドレスの通知など、プロセスの切り替えに必要な処理を行う（Ｓ３２）。

以上の手順により、グラフィックプロセッサ１００の演算処理部１０６において、ベース画像を生成する第１画像処理プロセスと、ベース画像に処理を施す第２画像処理プロセスとを切り替えて行うことにより表示画像が生成され、表示装置５００における表示を切り替えることができる。

次に、第１プロセス処理部２０２および第２プロセス処理部２０４において、命令情報３０ａ、命令情報３２ａなどが生成および発行される際、ベース画像のアドレス情報を第１プロセス処理部２０２から第２プロセス処理部２０４へ送信するタイミングについて説明する。図６は、第１プロセス処理部２０２および第２プロセス処理部２０４による命令情報の発行とアドレス情報の送信のタイミングを示している。まず第１プロセス処理部２０２は、図３に示したように、生成した命令情報をメインメモリ５０へ記憶させる（Ｓ４０）。この命令情報の発行処理は、上述のとおり、実際には１つの処理単位の命令情報が逐次送信され、メインメモリ５０に蓄積された複数の命令情報が結果的に１つの命令群を形成する。そのため、Ｓ４０はある時間的幅を有する。その時間的幅のうちのいずれかの時点において、第１プロセス処理部２０２は、ベース画像のアドレス情報を第２プロセス処理部２０４へ送信する（Ｓ４２）。例えば、Ｓ４０で発行する複数の処理単位の命令情報のうち所定の処理についての命令情報をメインメモリ５０に送信する際、同時に第２プロセス処理部２０４にアドレス情報を送信するようにする。そして第２プロセス処理部２０４は、Ｓ４２で送信されたアドレス情報を取得してから、それを含む命令情報を生成し、メインメモリ５０へ記憶させる（Ｓ４４）。

一方、一旦メインメモリ５０へ記憶させた命令情報に、アドレス情報を補充するようにして命令情報を完成させてもよい。図７は、命令情報の発行後にアドレス情報を補充する場合の、命令情報の発行とアドレス情報の送信のタイミングを示している。第１プロセス処理部は図６で示したのと同様、命令情報を発行し（Ｓ５０）、その途中のいずれかのタイミングでアドレス情報を第２プロセス処理部２０４へ送信する（Ｓ５４）。一方、図６と異なり、第２プロセス処理部２０４は、第１プロセス処理部２０２からのアドレス情報の送信を待たずに暫定的な命令情報を生成し、メインメモリ５０へ記憶させる（Ｓ５２）。このとき第２プロセス処理部２０４は、ベース画像のアドレス情報を設定すべきデータ領域を空白とするなどし、その領域の、メインメモリ５０におけるアドレスやＩＤなどを記憶しておく。そしてＳ５４においてアドレス情報を取得すると、当該アドレス情報を、先にメインメモリ５０に記憶させた命令情報のうち、記憶しておいた空白のデータ領域に補充するように記憶させる（Ｓ５６）。命令情報３０ａや命令情報３２ａは、グラフィックプロセッサ１００において各命令に対応したプロセスが開始される前に完成され、メインメモリ５０に格納されている必要があるため、命令情報生成処理の状況に応じて図６の場合または図７の場合のいずれかを選択するようにしてよい。

以上述べたように、ベース画像のアドレス情報を第１プロセス処理部２０２から第２プロセス処理部２０４へ送信することにより、第１画像処理プロセスにおけるベース画像の画像データの記憶領域を変化させても、第２画像処理プロセスではそのベース画像の画像データを特定することができる。これにより、ベース画像のフレームバッファ１０９内でのアドレスを動的に割り当てることが可能となり、ゲームの場面など、アプリケーションが処理中の状況に応じてベース画像のデータサイズを変化させることができる。また、フレームバッファ１０９に格納しておくベース画像や表示画像の枚数を変化させることができる。

以上述べた本実施の形態によれば、アプリケーションに対応した主たる画像を処理する第１画像処理プロセスの処理時間Ａの終了をアプリケーション側で動的に設定する。このため、グラフィックプロセッサ１００において第１画像処理プロセスから第２画像処理プロセスへ処理を切り替える際、データ退避処理に起因したオーバヘッドが小さい時点など好適なタイミングでの切り替えが可能となる。さらにこのような切り替えタイミングの場合、例えばメインプロセッサ２００におけるプロセスの切り替えと同調させた場合と比較すると、グラフィックプロセッサにおけるプロセス切り替えの回数を削減することができる。また、グラフィックプロセッサ１００においてプロセスの切り替えが可能となるまでの間、メインプロセッサ２００が自らのプロセス切り替えを待つ必要がない。結果として、全体的な画像処理の効率が向上し、画像生成処理の速度が増加する。

また、ベース画像に所望の処理を施して最終的な表示画像を生成する第２画像処理プロセスの処理時間Ｂをあらかじめ定められた値とする。これにより、第２画像処理プロセスの処理内容が変化しても、第１画像処理プロセスの処理時間Ａへの影響がないため、ある単位時間内ではベース画像が必ず生成され、リアルタイム性に優れた動画像の生成が可能となる。さらに第２画像処理プロセスの処理内容が限定されないよう、処理時間Ｂを変化させることもできるが、この変化も第１画像処理プロセスの発生元である第１プロセス処理部２０２による指示によってのみ可能となるため、この変化によってベース画像の生成が想定外に遅延したりすることがなくなり、生成された動画像のリアルタイム性は保証される。以上のことから、処理時間Ａと処理時間Ｂの和が、例え垂直同期信号の周期と非同期であったとしても、リアルタイム性に優れた動画像を生成することが可能となる。

さらに本実施の形態では、第１画像処理プロセスにおいて生成されるベース画像の画像データの、フレームバッファ１０９内でのアドレス情報を、当該プロセスの発生元である第１プロセス処理部２０２が決定し、第２プロセス処理部２０４に通知する。これにより、第２プロセス処理部が要求する第２画像処理プロセスでは、処理対象となるベース画像の画像データの格納領域が変動しても、常にそのデータが特定される。結果としてベース画像に含ませるデータサイズを可変としたり、フレームバッファ１０９に格納しておくベース画像や表示画像の枚数を可変とすることができるため、多様な画像をアプリケーションの処理状況などに応じて表示させることができる。

これらのことから本実施の形態によれば、処理時間や一時記憶させる画像データのサイズなどグラフィックプロセッサ１００での処理条件を、アプリケーション側で設定可能としながらもリアルタイム性を損なわない情報処理装置を実現することができる。これにより、アプリケーションのプログラム設計の自由度が増し、幅広い画像世界の表現が可能となる。また本実施の形態は垂直同期信号の周期と異なった画像処理でもリアルタイム性が保持されるため、アプリケーションのプログラム設計時に考慮することにより、周波数の異なる表示装置においても容易に適用が可能である。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

本実施の形態における情報処理装置の全体構成を示す図である。本実施の形態におけるグラフィックプロセッサ、メインプロセッサ、メインメモリ、ローカルメモリ、およびディスプレイコントローラの構成を示す図である。本実施の形態のグラフィックプロセッサにおいて、第１画像処理プロセスを実行する様子を説明する模式図である。本実施の形態のグラフィックプロセッサにおいて、第２画像処理プロセスを実行する様子を説明する模式図である。本実施の形態において、第１画像処理プロセスおよび第２画像処理プロセスの切り替えおよび、生成された画像の表示切り替えを行う処理の手順を示すフローチャートである。本実施の形態において、第１プロセス処理部および第２プロセス処理部による命令情報の発行とアドレス情報の送信のタイミングを示すタイミングチャートである。本実施の形態において、第１プロセス処理部および第２プロセス処理部による命令情報の発行とアドレス情報の送信のタイミングの、別の場合を示すタイミングチャートである。

符号の説明

５０メインメモリ、１００グラフィックプロセッサ、１０２制御ブロック、１０４ディスプレイコントローラ、１０６演算処理部、１０８ローカルメモリ、１０９フレームバッファ、１１２命令取得部、１１４画像完成通知部、１１６プロセス切り替え部、１１８処理終了通知部、２００メインプロセッサ、２０２第１プロセス処理部、２０４第２プロセス処理部、２０６処理時間決定部、２０８切り替え命令発行部、２１０画像切り替え要求部、５００表示装置、１０００情報処理装置。

Claims

表示単位の第１の画像の画像データを生成する第１の画像処理プロセスと、前記第１の画像に処理を施し第２の画像を生成する第２の画像処理プロセスと、を切り替えて実行するグラフィックプロセッサと、
前記グラフィックプロセッサを制御するメインプロセッサと、
を備え、
前記グラフィックプロセッサは、
前記第１の画像処理プロセスの１回の処理時間を伸縮して実行し、前記第２の画像処理プロセスの１回の処理を所定の処理時間で実行する演算処理部と、
前記メインプロセッサに対して前記第１の画像処理プロセスの１回の処理終了の通知を行う処理終了通知部と、
を備え、
前記メインプロセッサは、
前記演算処理部における処理を、前記処理終了通知部が通知した前記第１の画像処理プロセスの１回の処理終了を検知して前記第１の画像処理プロセスから前記第２の画像処理プロセスに切り替え、前記所定の処理時間経過時点で前記第２の画像処理プロセスから前記第１の画像処理プロセスに切り替えるよう、前記グラフィックプロセッサへ要求するプロセス切り替え要求部と、
を備えたことを特徴とする情報処理装置。
前記演算処理部における前記第１の画像処理プロセスの１回の処理の時間は、前記第１の画像処理プロセスの１回の処理に要求された所定の処理内容終了時点で終了することを特徴とする請求項１に記載の情報処理装置。
前記第２の画像を表示する表示装置を制御する表示装置制御部をさらに備え、
前記グラフィックプロセッサは、前記演算処理部が実行する前記第２の画像処理プロセスにおいて、新たな前記第２の画像の画像データの生成が完了した際、その旨の通知を前記メインプロセッサに対して行う画像完成通知部をさらに備え、
前記メインプロセッサは、前記画像完成通知部が通知した前記新たな第２の画像の画像データの生成完了通知を取得し、前記表示装置制御部へ画像切り替え要求を行う画像切り替え要求部をさらに備え、
前記表示装置制御部は、前記画像切り替え要求部からの切り替え要求を受け取った後、前記表示装置に前記新たな第２の画像を表示するよう前記表示装置を制御することを特徴とする請求項１または２に記載の情報処理装置。
前記情報処理装置は、前記グラフィックプロセッサが前記第１の画像の画像データを一時記憶する記憶領域を含むローカルメモリをさらに備え、
前記メインプロセッサは、
前記グラフィックプロセッサに対する、前記第１の画像処理プロセスにおける処理内容の要求情報を生成して発行する第１プロセス処理部と、
前記グラフィックプロセッサに対する、前記第２の画像処理プロセスにおける処理内容の要求情報を生成して発行する第２プロセス処理部と、
をさらに備え、
前記第１プロセス処理部は、前記第１の画像の画像データの前記ローカルメモリ内の記憶領域に係る情報を前記第１の画像処理プロセスにおける処理内容の要求情報を生成する際に決定し、決定した前記第１の画像の画像データの記憶領域に係る情報を前記第２プロセス処理部へ供給し、
前記第２プロセス処理部は、前記第１プロセス処理部より取得した前記記憶領域に係る情報を、前記第２の画像処理プロセスにおける処理内容の要求情報に含め、
前記グラフィックプロセッサにおける前記演算処理部は、前記第２の画像処理プロセスにおいて、前記第２プロセス処理部から取得した命令情報に含まれる前記記憶領域に係る情報に基づき前記第１の画像の画像データを特定し、特定した画像データに処理を施すことを特徴とする請求項１から３のいずれかに記載の情報処理装置。
前記プロセス切り替え要求部は、前記演算処理部における処理を、あらかじめ定められた固定の処理時間経過時点で前記第２の画像処理プロセスから前記第１の画像処理プロセスに切り替えるよう、前記グラフィックプロセッサへ要求することを特徴とする請求項１から４のいずれかに記載の情報処理装置。
前記プロセス切り替え要求部は、前記演算処理部における処理を、前記第１プロセス処理部からの要求に従い、あらかじめ定められた複数の処理時間から選択した処理時間経過時点で前記第２の画像処理プロセスから前記第１の画像処理プロセスに切り替えるよう、前記グラフィックプロセッサへ要求することを特徴とする請求項４に記載の情報処理装置。
前記第２プロセス処理部は、前記第１プロセス処理部が供給する前記記憶領域に係る情報を取得した後、前記記憶領域に係る情報を含めた、前記第２の画像処理プロセスにおける処理内容の要求情報を生成することを特徴とする請求項４に記載の情報処理装置。
前記メインプロセッサは前記処理内容の要求情報を記憶するメインメモリをさらに備え、
前記第２プロセス処理部は、前記第１プロセス処理部が供給する前記記憶領域に係る情報を取得する前に、前記第２の画像処理プロセスにおける処理内容の要求情報を、前記記憶領域に係る情報を除いて生成して前記メインメモリに記憶させ、前記第１プロセス処理部が供給する前記記憶領域に係る情報を取得した際、前記メインメモリに記憶させた前記第２の画像処理プロセスにおける処理内容の要求情報へ前記記憶領域に係る情報を書き込むことにより、前記第２の画像処理プロセスにおける処理内容の要求情報を完成させることを特徴とする請求項４に記載の情報処理装置。
前記演算処理部は、前記第２の画像処理プロセスにおいて、前記ローカルメモリ内の記憶領域に記憶された前記第１の画像の画像データに書き込みを行うことにより前記第２の画像の画像データを生成することを特徴とする請求項４から８のいずれかに記載の情報処理装置。
前記演算処理部は、前記第２の画像処理プロセスにおいて、前記ローカルメモリ内の記憶領域に記憶された前記第１の画像の画像データを読み出し、読み出した画像データに対して処理を施した結果得られた前記第２の画像の画像データを前記ローカルメモリ内の記憶領域に記憶させることを特徴とする請求項４から８のいずれかに記載の情報処理装置。
表示単位の第１の画像の画像データを生成する第１の画像処理プロセスと、前記第１の画像に処理を施し第２の画像を生成する第２の画像処理プロセスと、を切り替えて実行する演算処理部と、
前記演算処理部における処理を、所定の処理内容終了時点で前記第１の画像処理プロセスから前記第２の画像処理プロセスへ切り替え、所定の処理時間経過時点で前記第２の画像処理プロセスから前記第１の画像処理プロセスへ切り替える切り替え処理部と、
を備えたことを特徴とするグラフィックプロセッサ。
前記演算処理部が実行する前記第２の画像処理プロセスにおいて、新たな前記第２の画像の画像データの生成が完了した際、その旨の通知を発行することにより表示装置に前記新たな第２の画像を表示させる画像完成通知部をさらに備えたことを特徴とする請求項１１に記載のグラフィックプロセッサ。
表示単位の第１の画像の画像データを生成しメモリ内の記憶領域に一時記憶させる第１の画像処理プロセスと、前記メモリ内の記憶領域に記憶された前記第１の画像の画像データを特定し、処理を施して第２の画像を生成する第２の画像処理プロセスと、を切り替えて実行するグラフィックプロセッサを制御する制御用プロセッサであって、
前記グラフィックプロセッサに対する、前記第１の画像処理プロセスにおける処理内容の要求情報を生成して発行する第１プロセス処理部と、
前記グラフィックプロセッサに対する、前記第２の画像処理プロセスにおける処理内容の要求情報を生成して発行する第２プロセス処理部と、
を備え、
前記第１プロセス処理部は、前記第１の画像の画像データの前記メモリ内での記憶領域に係る情報を前記第１の画像処理プロセスにおける処理内容の要求情報を生成する際に決定し、前記第１の画像処理プロセスにおいて生成した前記第１の画像の画像データを、決定した記憶領域に一時記憶させるとともに、前記記憶領域に係る情報を前記第２プロセス処理部へ供給し、
前記第２プロセス処理部は、前記第１プロセス処理部より取得した前記記憶領域に係る情報を、前記第２の画像処理プロセスにおける処理内容の要求情報に含めることにより、前記第２の画像処理プロセスにおいて、前記グラフィックプロセッサに前記第１の画像の画像データを特定させることを特徴とする制御用プロセッサ。
第１の画像の画像データを生成するプロセスを実行するステップと、
前記第１の画像の画像データが少なくとも所定の単位分生成された後に、前記第１の画像に処理を施して第２の画像の画像データを生成するプロセスへの切り替えを行うステップと、
前記第２の画像の画像データを生成するプロセスを実行するステップと、
前記第２の画像の画像データを生成するプロセスに対して定められた処理時間が経過した時点で、前記第１の画像の画像データを生成するプロセスへの切り替えを行うステップと、
を含むことを特徴とする情報処理方法。
前記第２の画像の画像データを生成するプロセスを実行するステップにおいて、前記第２の画像の画像データが少なくとも表示単位分生成された際、その旨の通知を発行するステップと、
前記通知が発行された後、前記第２の画像を表示装置へ表示するステップと、
をさらに含むことを特徴とする請求項１４に記載の情報処理方法。