JP5385592B2 - Image processing apparatus and control method thereof - Google Patents
Image processing apparatus and control method thereof Download PDFInfo
- Publication number
- JP5385592B2 JP5385592B2 JP2008292607A JP2008292607A JP5385592B2 JP 5385592 B2 JP5385592 B2 JP 5385592B2 JP 2008292607 A JP2008292607 A JP 2008292607A JP 2008292607 A JP2008292607 A JP 2008292607A JP 5385592 B2 JP5385592 B2 JP 5385592B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- area
- displayed
- image
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Image Generation (AREA)
- Transforming Electric Information Into Light Information (AREA)
Description
本発明は、符号化された動画像データを処理し、複数の表示領域により形成される表示部に表示するフレーム画像を生成する技術に関するものである。 The present invention relates to a technique for processing encoded moving image data and generating a frame image to be displayed on a display unit formed by a plurality of display areas.
一般的に、動画像の描画情報を描画する場合、描画部は例えば1フレーム毎に描画情報を解釈し画素情報を生成する。入力される描画情報は、図形やテキストに代表される複数種類のオブジェクト(描画オブジェクト)の集合である。描画情報や描画オブジェクトは、例えばSVG(Scalable Vector Graphics)やFlash、PostScript等により記述される。 In general, when drawing drawing information of a moving image, the drawing unit interprets the drawing information for each frame, for example, and generates pixel information. The input drawing information is a set of a plurality of types of objects (drawing objects) represented by figures and texts. Drawing information and drawing objects are described by, for example, SVG (Scalable Vector Graphics), Flash, PostScript, and the like.
ところで、複数の表示デバイスが1つの大きな画像を表示するような場合、異なる表示デバイスに接続された描画装置の描画結果が揃った時点で、表示デバイスに対する画素情報の出力を行う必要がある。このような状況は、例えば、マトリックス型表示装置やマルチテレビジョンシステムにおいて、グラフィック装置を複数接続するマルチディスプレイ構成を使用する場合に生じる。そして、複数の描画部により分割して処理されるアニメーションオブジェクトが存在する場合、各描画部の違いによるちらつきやフレームずれが生じ得る。このようなちらつきやフレームずれが表示画像として現れないようにするため、全ての描画部で同一のフレームを描画するよう制御する必要がある。ただし、描画速度は描画時に利用される描画部の性能によって決まる。 By the way, when a plurality of display devices display one large image, it is necessary to output pixel information to the display devices when drawing results of drawing devices connected to different display devices are obtained. Such a situation occurs when, for example, a matrix display device or a multi-television system uses a multi-display configuration in which a plurality of graphic devices are connected. Then, when there is an animation object that is divided and processed by a plurality of drawing units, flickering or frame displacement may occur due to differences between the drawing units. In order to prevent such flicker and frame deviation from appearing as a display image, it is necessary to control all the drawing units to draw the same frame. However, the drawing speed is determined by the performance of the drawing unit used at the time of drawing.
そこで、例えば特許文献1には、通信手段で相互に接続された複数の描画ユニットを用いて、画素情報を生成する画像形成装置が開示されている。特に特許文献1は、通信処理部を用いて、描画手段が描画情報を伝達するために必要となる伝達時間を測定し、測定結果に基づいて画素情報の送出タイミングを調整することによって、表示画像を同期させる技術を開示している。
しかしながら、特許文献1に開示される技術によると、最終的に表示デバイスに送出する1フレーム分の画素情報を生成する速度は、もっとも性能の低い描画ユニットの描画速度のレートとなる。これは、より性能の高い描画ユニットの速度に同期させて表示デバイスに画素情報を送出した場合、性能の低い描画ユニットは描画すべき領域の画像の描画が完了できないためである。ただし、描画処理部の性能が異なる場合、もっとも性能の低い描画処理部を有するグラフィック装置の速度に、全てのグラフィック装置の表示速度をあわせなければならない。また、ベクタ画像の描画処理に要する時間は、描画対象となる画像の複雑度によって変化するため、描画対象画像によって個別の対応が必要となる。そのため、各描画ユニットで実現可能な最高画質の画像を常に表示することができない。 However, according to the technique disclosed in Patent Document 1, the speed of generating pixel information for one frame that is finally sent to the display device is the drawing speed of the drawing unit with the lowest performance. This is because when the pixel information is sent to the display device in synchronization with the speed of the higher performance drawing unit, the lower performance drawing unit cannot complete the drawing of the image to be drawn. However, when the performance of the drawing processing unit is different, the display speed of all the graphic devices must be matched to the speed of the graphic device having the drawing processing unit having the lowest performance. In addition, since the time required for the drawing process of the vector image changes depending on the complexity of the image to be drawn, individual handling is required depending on the drawing target image. Therefore, it is impossible to always display an image with the highest image quality that can be realized by each drawing unit.
本発明は上述の問題点に鑑みなされたものであり、描画性能低下を低減しつつ複数の表示領域により表示部を形成する表示装置により高画質の動画を表示する可能とする技術を提供することを目的とする。 The present invention has been made in view of the above-described problems, and provides a technique that enables a high-quality moving image to be displayed by a display device that forms a display unit with a plurality of display areas while reducing deterioration in drawing performance. With the goal.
上述の1以上の問題点を解決するため、本発明の画像処理装置は以下の構成を備える。すなわち、N個(Nは2以上の整数)の表示部により形成される表示装置に表示するフレーム画像を生成する画像処理装置において、1以上のオブジェクトを含む動画像データを入力するための入力手段と、前記動画像データを描画処理し、前記N個の表示領域の各々に表示するN個のフレーム画像を生成する描画手段と、前記動画像データに含まれるオブジェクトの各々について、2以上の表示部に分割されて表示されるか否かを判定する判定手段と、前記判定手段により2以上の表示部に分割されて表示されると判定されたオブジェクトの表示領域を制御対象領域として設定する領域設定手段と、前記制御対象領域に表示する画像を、所定時間内に描画処理可能なフレーム数が異なる2以上の描画手段により描画処理する場合、当該制御対象領域に表示する画像の描画処理については、前記2以上の描画手段のうち所定時間内に描画処理可能なフレーム数がもっとも少ない描画手段が描画処理可能なフレーム数で前記2以上の描画手段が描画処理を実行するよう制御する制御手段と、を備える。 In order to solve one or more problems described above, the image processing apparatus of the present invention has the following configuration. That is, in an image processing apparatus that generates a frame image to be displayed on a display device formed by N (N is an integer of 2 or more) display units, input means for inputting moving image data including one or more objects Drawing processing for rendering the moving image data and generating N frame images to be displayed in each of the N display areas; and two or more displays for each of the objects included in the moving image data A determination unit that determines whether or not to be divided and displayed, and an area that sets a display area of an object determined to be divided and displayed by two or more display units by the determination unit as a control target region setting means, the control image to be displayed in the target region, if the rendering processing can be the number of frames to draw processed by two or more different rendering means within a predetermined time, the control As for the drawing process of the image displayed in the elephant area, among the two or more drawing means, the drawing means having the smallest number of frames that can be drawn within a predetermined time is the number of frames that can be drawn. Control means for controlling to execute the drawing process .
本発明によれば、描画性能低下を低減しつつ、複数の表示領域により表示部を形成する表示装置により高画質の動画を表示する可能とする技術を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the technique which makes it possible to display a high quality moving image with the display apparatus which forms a display part by a some display area, reducing drawing performance fall can be provided.
以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. The following embodiments are merely examples, and are not intended to limit the scope of the present invention.
(第1実施形態)
本発明に係る画像処理装置の第1実施形態として、2個の表示デバイスにより構成される表示装置を有する画像表示システムを例に挙げて以下に説明する。
(First embodiment)
As an image processing apparatus according to a first embodiment of the present invention, an image display system having a display device constituted by two display devices will be described below as an example.
<装置構成>
図1は、第1実施形態に係る画像処理装置の内部構成を示す図である。また、図2は、2個の表示デバイスにより単一の大画面を構成する様子を例示的に示す図である。特に、3個(1以上)のオブジェクトを含む動画像データを表示する様子を示している。
<Device configuration>
FIG. 1 is a diagram illustrating an internal configuration of the image processing apparatus according to the first embodiment. FIG. 2 is a diagram exemplarily showing a state in which a single large screen is constituted by two display devices. In particular, a state is shown in which moving image data including three (one or more) objects is displayed.
画像処理装置200は、描画ユニット219および描画ユニット220を備える。そして、画像処理装置200の外部には、描画ユニット219および描画ユニット220が生成し出力する映像信号を表示するための表示デバイス213および表示デバイス210が単一の大画面を構成するよう配置される(図2)。なお、表示デバイス213および表示デバイス210は表示コントローラ209を介して入力される映像信号に応じて映像を表示するのみであり、同一の性能を有するものとして説明する。
The
描画ユニット220は、第1の描画部201、領域指定部203、描画速度検出部204、描画速度変更部205、通信部206を備える。一方、描画ユニット219は、第2の描画部202、描画速度を検出する描画速度検出部215、通信部212を備える。なお、説明を簡単にするために、図1では、領域指定部203および描画速度変更部205の各機能部は、描画ユニット220のみに含まれるよう図示されている。しかし、描画ユニット219に同様の機能部を含まれるよう構成してもよい。
The
描画速度検出部204および描画速度検出部215は、それぞれ、描画部201および描画部202における描画処理の速度を検出するための機能部である。領域指定部203は、描画部201が処理する画像に含まれる領域を指定するための機能部である。また、描画速度変更部205は、描画部201を制御し描画処理の速度を変更する機能部である。さらに、通信部206および通信部212は、描画ユニット219と描画ユニット220とが相互に通信を行なうための機能部である。なお、各機能部のさらに詳細な動作については図5を参照して後述する。
The drawing
第1の描画部201および第2の描画部202は、CPUなどの汎用プロセッサにプログラムを実行させることにより実現してもよいし専用ハードウェアにより実現しても良い。また、描画速度変更部205、領域指定部203、描画速度検出部204、描画速度検出部215についても、プログラムを実行することにより実現される機能部でおきかえてもよい。
The
画像処理装置200は、バスアクセス調停部207を介して画像バス211に接続される。バスアクセス調停部207には、装置全体の制御、ベクタ画像データの処理などを行うCPU214が接続される。また、CPU214は、描画部201および描画部202の設定を行なうための描画部設定バス217および描画部設定バス218を持つ。
The
また、画像バス211には、画像デバイスへの画像の描画処理に必要なデータを一時格納するメモリ208も接続される。表示コントローラ209は、メモリ208からデータを読み出し表示デバイス210および表示デバイス213に対して画像を構成する画素情報を送出する。表示デバイスとしては、液晶、リアプロジェクションディスプレイ、陰極線管(CRT)などがある。
The
なお、図1では、表示コントローラ209およびメモリ208は、表示デバイス210と表示デバイス213とで共有するブロックとして示しているが、表示デバイスごとに設けてもよい。また、単一の表示デバイスの表示領域を複数の領域に分割し、それぞれを描画部201および描画部202に対する表示領域として割り当ててもよい。
In FIG. 1, the
画像処理装置200は、接続される表示デバイス210および213を用いて、全体画像308を表示する。ここでは説明を簡単にするため、全体画像308は、表示デバイス210および213の各々の表示領域に対応する領域301と領域302とから構成される領域全体に表示されるものとする。
The
ここでは、領域301に表示される画像の描画処理は描画部201が実行する。一方、領域302に表示される画像の描画処理は描画部202が実行する。また、図2に示されるように、全体画像308は、アニメーション304、アニメーション307、アニメーション303を含んでいるとする。さらに、図2および図3に示すように、アニメーション304は、表示デバイス210上の表示領域である領域305と、表示デバイス213上の表示領域である領域306と、に分割されて表示されている。
Here, the
図4は、基準クロックと描画部201および描画部202に入力される各クロックとを例示的に示す図である。描画部201および描画部202は各々に入力されるクロック401およびクロック402に基づいて動作をしている。以下では説明を簡単にするために、各描画部における描画速度はクロックに比例するものとして説明する。なお、描画速度とは単位時間当たりの処理フレームの数を意味している。また、描画部201に入力されるクロック401は基準クロック400の2倍の周波数であり、描画部202に入力されるクロック402は基準クロック400の1/2倍の周波数であるとする。つまり、クロック401はクロック402の4倍の周波数である。
FIG. 4 is a diagram exemplarily showing the reference clock and each clock input to the
<装置の動作>
図5は、第1実施形態に係る画像処理装置による描画処理の制御を示す動作フローチャートである。
<Operation of the device>
FIG. 5 is an operation flowchart illustrating drawing process control by the image processing apparatus according to the first embodiment.
ステップS501では、CPU214は、画像処理装置200の初期化を行う。例えば、システム起動時または1フレームの画像形成処理の処理前に実行される。より具体的には、CPU214は、表示デバイス210および表示デバイス213に対応する描画領域座標を描画ユニット220および描画ユニット219に設定する。また、描画対象となる全体画像308の描画情報を、画像処理装置200に入力する。
In step S501, the
ステップS502では、CPU214は、図3に示すように、全体画像308に含まれる描画情報を、領域301および領域302における描画情報に分割する。そして、領域301および領域302に表示される画像の描画情報をそれぞれ描画部201および描画部202に送出する。領域301の描画情報は、アニメーション307とアニメーション304の描画情報を含む。領域302の描画情報は、アニメーション303とアニメーション304の描画情報を含む。なお、描画情報には、少なくともアニメーションを構成する画像オブジェクトの情報と、当該アニメーションが表示される領域の座標情報とが含まれる。
In step S <b> 502, the
なお、描画情報を分割して送出する代わりに、全体画像308に対応する描画情報を描画部201および描画部202の双方に送出するよう構成してもよい。この場合、描画部201および描画部202の各々は、自身が描画すべき領域301および領域302の座標情報に基づいて、受信した全体画像308に対応する描画情報の一部の描画処理を行なうとよい。
Note that instead of dividing and sending drawing information, drawing information corresponding to the
ステップS503では、描画情報送出後、CPU214は、描画部設定バス217、218を使用して、描画部201および描画部202を起動する。
In step S503, after sending the drawing information, the
ステップS504では、描画速度検出部204および描画速度検出部215は、描画部201および描画部202の各々の描画速度情報を取得する。ここでは、描画速度検出部204は、各描画部のクロック速度に基づいて描画速度情報を導出するものとする。描画速度検出部204は、基準クロック400と描画部201のクロック401とを比較し、例えばクロック比を描画速度変更部205に送出する。また、描画速度検出部215は、基準クロック400と描画部202のクロック402とを比較し、例えばクロック比を通信部212および通信部206を介しで描画速度変更部205に送出する。
In step S504, the drawing
ステップS505では、描画速度変更部205は、描画部201と描画部202との描画速度比を導出し、描画部201に指示する。ここでは、描画速度比は描画部201:描画部202=4:1であるため、描画速度比は4となる。つまり、クロック比を描画速度と見なし、描画部202に対する相対的速度を描画部201に対して通知するのである。そして、描画速度変更部205は、描画部201と描画部202に描画開始許可を指示する。
In step S <b> 505, the drawing
ステップS506では、描画部201は、描画部201が描画する対象である領域301の座標情報を領域指定部203に通知する。また、描画部202は、描画部202が描画する対象である領域302の座標情報を通信部212を介して領域指定部203に通知する。
In step S <b> 506, the
ステップS507では、領域指定部203(判定手段)は、領域301に含まれるオブジェクト(アニメーション307および304)の各々が表示される領域の情報(フレーム画像内の配置情報)と、各描画部に対応する領域301および領域302の座標情報(表示領域の配置情報)と、を比較する。そして、2以上の表示領域にまたがって(分割されて)表示されるオブジェクトを判定する。図2に示した配置の場合、比較の結果、アニメーション307は全領域が領域301内に含まれ、アニメーション304は領域301と領域302にまたがるオブジェクトであることを検知する。そして、領域指定部203(領域設定手段、オブジェクト設定手段)は、アニメーション304(制御対象オブジェクト)のうち、領域301内にある領域305を指定領域(制御対象領域)として描画部201に指示する。
In step S507, the area specifying unit 203 (determination unit) corresponds to information (area information in the frame image) of the area in which each of the objects (
描画部201は、領域指定部203から指示された指定領域である領域305について、描画速度変更部205で算出した速度比に基づき、以下で説明するように描画処理(ステップS508)を行なう。
The
<フレームの描画処理詳細>
次に、描画部201および描画部202における描画処理の詳細について説明する。なお、描画部201は60フレーム/秒で描画処理可能であり、描画部202は15フレーム/秒で描画処理可能であるとする。つまり、前述のように、描画部の速度比は、描画部201:描画部202=4:1である。
<Details of frame drawing processing>
Next, details of the drawing processing in the
まず、描画部201は、CPU214から描画領域301の第1フレームの描画情報を受信する。つまり、図2の状況においては、アニメーション304(または305)およびアニメーション307の描画情報を受信する。そして、描画部201は、第1フレームとして領域301内の全領域の描画を行う。描画終了後、描画部201は、第1フレームの描画終了をCPU214に通知し、第1フレームから1/60秒後のフレームに相当する描画領域301の第2フレームの描画情報をCPU214から受信する。
First, the
描画部201は、第2フレームについてはアニメーション307(制御対象領域外のオブジェクト、制御対象オブジェクト以外)の内部領域についてのみ描画を行う(描画速度の制限を禁止する)。つまり、アニメーション304(制御対象領域内のオブジェクト)については描画を行なわない。描画終了後、描画部201は、第2フレームの描画終了をCPU214に通知し、描画領域301の第3フレームの描画情報をCPU214から受信する。また、第3、第4フレームについても、上述の第2フレームと同様にアニメーション307の内部領域についてのみ描画を行う。
The
そして、描画部201は、第1フレームから1/15秒後のフレームに相当する描画領域301の第5フレームの描画情報をCPU214から受信する。そして、描画部201は、第5フレームとして領域301内の全領域の描画を行う。描画終了後、描画部201は、第5フレームの描画終了をCPU214に通知し、第5フレームから1/60秒後のフレームに相当する描画領域301の第6フレームの描画情報をCPU214から受信する。
Then, the
以下同様にして、領域301内の全領域の描画は4フレーム毎に実行するよう制限し、領域301内に全領域が含まれるオブジェクト(アニメーション307)に関してのみ1フレーム毎に描画を実行するよう制御する。
Similarly, the drawing of all areas in the
一方、描画部202は、CPU214から描画領域302の第1フレームの描画情報を受信する。つまり、図2の状況においては、アニメーション304(または306)およびアニメーション303の描画情報を受信する。そして、描画部202は、第1フレームとして領域302内の全領域の描画を行う。描画終了後、描画部202は、第1フレームの描画終了をCPU214に通知し、第1フレームから1/15秒後のフレームに相当する描画領域302の第2フレームの描画情報をCPU214から受信する。なお、表示タイミングの観点では、描画領域302の第2フレームは、描画領域301の第5フレームに相当する。そして、描画部202は、第2フレームとして領域302内の全領域の描画を行う。以下同様にして、領域302内の全領域の描画を1フレーム毎に実行するよう制御する。
On the other hand, the
描画開始後も、描画速度検出部204および描画速度検出部215は、描画部201および描画部202の動作速度を監視する。そして、描画部201または描画部202の動作速度に変更があった場合は、描画速度変更部205の描画速度の再設定を要求すると良い。なお、再設定の処理は上述の起動前の設定の処理と同様である。また、全体画像308内におけるオブジェクトの配置変更があった場合にも再設定を行なうと良い。例えば、領域301と領域302にまたがるオブジェクトがなくなった場合には、本来の描画速度で動作するよう描画部201を制御すると良い。さらに、領域301と領域302にまたがるオブジェクトが静止画オブジェクトの場合には境目部分でのちらつき等は発生しないので、描画速度の制限を禁止してもよい。
Even after the drawing is started, the drawing
以上説明したように、第1実施形態に係る画像処理装置によれば、複数の描画部の少なくとも1つに対して、当該描画部が描画する一部のオブジェクト画像の描画速度の制御を行う。このように構成することにより、複数の描画ユニットにより複数の表示デバイスに描画処理する場合であっても、描画部間の性能差による画像ずれが発生しない画像処理装置を実現することが出来る。また、複数の表示デバイスにまたがらないオブジェクト画像については各描画ユニットで実現可能な最高画質の画像を表示することが可能となる。 As described above, according to the image processing apparatus according to the first embodiment, the drawing speed of some object images drawn by the drawing unit is controlled for at least one of the plurality of drawing units. With this configuration, it is possible to realize an image processing apparatus that does not cause an image shift due to a performance difference between rendering units even when rendering processing is performed on a plurality of display devices by a plurality of rendering units. For object images that do not extend over a plurality of display devices, it is possible to display an image with the highest image quality that can be realized by each drawing unit.
特に、N個(Nは2以上の整数)の表示部をそれぞれ独立に有するマトリックス型表示装置や、マルチテレビジョンシステムの構成を構築してアニメーションを表示する場合に好適に適用可能である。すなわち、表示装置の境目部分でアニメーションのフレームレート差によるちらつきが発生するのを防止可能である。なお、オブジェクトが3つ以上の表示部にまたがる場合は、3つの中で最も遅い描画速度で描画するよう決定すると良い。 In particular, the present invention can be suitably applied to a matrix type display device having N display units (N is an integer of 2 or more) and a multi-television system configuration to display animation. In other words, it is possible to prevent flickering due to the difference in the frame rate of the animation at the boundary portion of the display device. When an object extends over three or more display units, it is preferable to determine to draw at the slowest drawing speed among the three.
なお、第1実施形態では、表示画面が物理的に複数の表示部により構成される例について説明を行った。しかし、例えば、物理的には1つの表示部の表示領域を複数に分割し各表示領域に対して異なる描画部を用いて描画するよう構成してもよい。 In the first embodiment, the example in which the display screen is physically configured by a plurality of display units has been described. However, for example, the display area of one display unit may be physically divided into a plurality of parts and each display area may be drawn using a different drawing unit.
また、画像処理装置に対し、描画部を追加するような場合においても、描画速度を既存の描画部に合わせることが出来る。そのため、画像処理装置をより柔軟に構成することが可能となる。 In addition, even when a drawing unit is added to the image processing apparatus, the drawing speed can be matched with the existing drawing unit. Therefore, the image processing apparatus can be configured more flexibly.
(第2実施形態)
第2実施形態では、描画の開始及び完了タイミングを検出し複数の描画部の各々の描画速度を予測し描画速度比を算出する例について説明する。
(Second Embodiment)
In the second embodiment, an example will be described in which drawing start and completion timings are detected, drawing speeds of a plurality of drawing units are predicted, and a drawing speed ratio is calculated.
図6は、第2実施形態に係る画像処理装置の内部構成を示す図である。また、図2は、2個の表示デバイスにより単一の大画面を構成する様子を例示的に示す図である。 FIG. 6 is a diagram illustrating an internal configuration of the image processing apparatus according to the second embodiment. FIG. 2 is a diagram exemplarily showing a state in which a single large screen is constituted by two display devices.
第2実施形態に係る画像処理装置600は、第1実施形態に係る画像処理装置200と同様に2つの描画ユニットを備える。ただし、描画ユニット601は、描画速度予測部603をさらに備える点が描画ユニット220と異なる。他の機能部については第1実施形態とほぼ同様であるので説明を省略する。
Similar to the
<装置の動作>
図7は、第2実施形態に係る画像処理装置による描画処理の制御を示す動作フローチャートである。
<Operation of the device>
FIG. 7 is an operation flowchart illustrating drawing process control by the image processing apparatus according to the second embodiment.
ステップS701では、CPU214は、画像処理装置200の初期化を行う。例えば、システム起動時または1フレームの画像形成処理の処理前に実行される。より具体的には、CPU214は、表示デバイス210および表示デバイス213に対応する描画領域座標を描画ユニット220および描画ユニット219に設定する。また、描画対象となる全体画像308の描画情報を、画像処理装置200に入力する。
In step S701, the
ステップS702では、CPU214は、図3に示すように、全体画像308に含まれる描画情報を、領域301および領域302における描画情報に分割する。そして、領域301および領域302に表示される画像の描画情報をそれぞれ描画部201および描画部202に送出する。領域301の描画情報は、アニメーション307とアニメーション304の描画情報を含む。領域302の描画情報は、アニメーション303とアニメーション304の描画情報を含む。なお、描画情報には、少なくともアニメーションを構成する画像オブジェクトの情報と、当該アニメーションが表示される領域の座標情報とが含まれる。
In step S <b> 702, the
なお、描画情報を分割して送出する代わりに、全体画像308に対応する描画情報を描画部201および描画部202の双方に送出するよう構成してもよい。この場合、描画部201および描画部202の各々は、自身が描画すべき領域301および領域302の座標情報に基づいて、受信した全体画像308に対応する描画情報の一部の描画処理を行なうとよい。
Note that instead of dividing and sending drawing information, drawing information corresponding to the
ステップS703では、描画情報送出後、CPU214は、描画部設定バス217、218を使用して、描画部201および描画部202を起動する。
In step S <b> 703, after the drawing information is transmitted, the
ステップS704では、描画速度検出部204および描画速度検出部215は、描画部201および描画部202の各々の描画速度情報を、各々の描画部に描画処理を実行させることにより取得する。より具体的には、描画速度検出部204および描画速度検出部215は描画部201および描画部202の各々に対し描画開始を指示しそのタイミングを記録する。そして、描画速度検出部204および描画速度検出部215は描画部201および描画部202の各々から描画完了の通知を受けそのタイミングを記録する。そして、描画速度検出部215は、描画開始タイミングおよび描画完了タイミングの情報を通信部212および通信部206を介して描画速度予測部603に送出する。
In step S704, the drawing
なお、描画部201が1フレーム目の描画が終了した時点で、描画速度予測部603に描画部202の描画速度情報が到達していなかった場合、描画部201は、領域301に含まれるアニメーション303の領域および領域306を描画する。
Note that when the
ステップS705では、描画速度予測部603は、描画部201と描画部202との描画速度比を導出し、描画部201に指示する。より具体的には、描画速度予測部603は、描画部201および第2の描画部202の両方の描画速度情報を得た時点で、描画速度比を算出する。描画速度比は、例えば、描画開始タイミングと描画完了タイミングとの差分に基づいてフレーム当たりの速度を直接求めることにより導出可能である。また、描画部201および描画部202における単位時間当たりの描画完了フレーム数の比によっても求めることが出来る。つまり、所定のテストデータとして1フレーム目の画像を処理させ、速度を予測するのである。
In step S <b> 705, the drawing
ステップS706では、描画部201は、描画部201が描画する対象である領域301の座標情報を領域指定部203に通知する。また、描画部202は、描画部202が描画する対象である領域302の座標情報を通信部212を介して領域指定部203に通知する。
In step S <b> 706, the
ステップS707では、領域指定部203(判定手段)は、領域301に含まれるオブジェクト(アニメーション307および304)の各々が表示される領域の情報と、各描画部に対応する領域301および領域302の座標情報と、を比較する。図2に示した配置の場合、比較の結果、アニメーション307は全領域が領域301内に含まれ、アニメーション304は領域301と領域302にまたがるオブジェクトであることを検知する。そして、領域指定部203は、アニメーション304のうち、領域301内にある領域305を指定領域として描画部201に指示する。
In step S707, the area specifying unit 203 (determination unit) displays information on the area in which each of the objects (
描画部201は、領域指定部203から指示された指定領域である領域305について、描画速度変更部205で算出した速度比に基づき、以下で説明するように描画処理(ステップS708)を行なう。
The
<フレームの描画処理詳細>
描画速度予測部603は、指定領域である領域305の描画速度として、描画部202が1フレームの描画を完了するまでに、描画部201が描画可能なフレーム数を仮設定する。そして、描画部201は、領域301全体の描画を1フレーム分完了する。つまり、描画レート仮設定後に描画完了する最初のフレームについては全領域を描画する。そして、引き続くフレームについては、仮設定されたフレーム数の数だけアニメーション307のみを描画する。つまり、領域305の描画は行わない。
<Details of frame drawing processing>
The drawing
描画速度の仮設定後、描画速度予測部603は、領域305を描画しない場合の第1の描画部201の1フレーム描画時間を計測する。描画速度予測部603は、全領域を1フレーム分を描画する描画速度と領域305を描画しない場合の1フレーム分を描画する描画速度とから、描画部202が1フレーム描画完了する前に、描画部201が描画する描画速度を更新する。
After temporarily setting the drawing speed, the drawing
描画速度の設定後も、描画速度検出部204および描画速度検出部215は、描画部201および描画部202の動作速度を監視する。そして、描画部201または描画部202の動作速度に変更があった場合は、描画速度予測部603に対して、設定された描画速度の無効化を要求する。描画速度の設定を無効化した場合は、描画部201は再度描画速度の設定がなされるまで領域302の全領域の描画を行う。以後、同様にして各フレームの描画を継続する。
Even after the drawing speed is set, the drawing
以上説明したように、第2実施形態に係る画像処理装置によれば、複数の描画部の少なくとも1つに対して、当該描画部が描画する一部のオブジェクト画像の描画速度の制御を行う。特に、実際に描画する描画情報を描画する処理速度を逐次計測することにより、省電力モードなどの動作モード変更による各描画ユニットの動作速度に変更が発生する場合にも対応が可能となる。 As described above, according to the image processing apparatus according to the second embodiment, the drawing speed of some object images drawn by the drawing unit is controlled for at least one of the plurality of drawing units. In particular, by sequentially measuring the processing speed for drawing the drawing information to be actually drawn, it is possible to cope with the case where the operation speed of each drawing unit is changed due to the operation mode change such as the power saving mode.
また、一般にフレームごとの描画時間が不確定的なベクタ画像の描画においても、適応的に描画速度を変更可能となり、描画ユニット間の画像ずれを防止できる。なお、ベクタ画像としては、SVGやFlash、PostScript等が含まれる。 In general, even in the drawing of a vector image in which the drawing time for each frame is indeterminate, the drawing speed can be adaptively changed, and the image shift between the drawing units can be prevented. Note that vector images include SVG, Flash, PostScript, and the like.
(他の実施形態)
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
(Other embodiments)
Although the embodiments of the present invention have been described in detail above, the present invention may be applied to a system constituted by a plurality of devices or may be applied to an apparatus constituted by one device.
なお、本発明は、前述した実施形態の機能を実現するプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置が、供給されたプログラムコードを読み出して実行することによっても達成される。従って、本発明の機能処理をコンピュータで実現するために、コンピュータにインストールされるプログラムコード(コンピュータプログラム)自体も本発明の技術的範囲に含まれる。 The present invention can also be achieved by supplying a program that realizes the functions of the above-described embodiments directly or remotely to a system or apparatus, and the system or apparatus reads and executes the supplied program code. The Accordingly, the program code (computer program) itself installed in the computer in order to realize the functional processing of the present invention by the computer is also included in the technical scope of the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。 In this case, the program may be in any form as long as it has a program function, such as an object code, a program executed by an interpreter, or script data supplied to the OS.
プログラムを供給するための記録媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク(CD、DVD)、光磁気ディスク、磁気テープ、不揮発性のメモリカード、ROMなどがある。 Examples of the recording medium for supplying the program include a floppy (registered trademark) disk, a hard disk, an optical disk (CD, DVD), a magneto-optical disk, a magnetic tape, a nonvolatile memory card, and a ROM.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the functions of the above-described embodiments are realized by the computer executing the read program. In addition, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can also be realized by the processing.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。 Further, the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments are realized by the processing.
Claims (5)
1以上のオブジェクトを含む動画像データを入力するための入力手段と、
前記動画像データを描画処理し、前記N個の表示領域の各々に表示するN個のフレーム画像を生成する複数の描画手段と、
前記動画像データに含まれるオブジェクトの各々について、2以上の表示領域に分割されて表示されるか否かを判定する判定手段と、
前記判定手段により2以上の表示領域に分割されて表示されると判定されたオブジェクトの表示領域を制御対象領域として設定する領域設定手段と、
前記制御対象領域に表示する画像を、所定時間内に描画処理可能なフレーム数が異なる2以上の描画手段により描画処理する場合、当該制御対象領域に表示する画像の描画処理については、前記2以上の描画手段のうち所定時間内に描画処理可能なフレーム数がもっとも少ない描画手段が描画処理可能なフレーム数で前記2以上の描画手段が描画処理を実行するよう制御する制御手段と、
を備えることを特徴とする画像処理装置。 An image processing device that generates a frame image to be displayed on a display device that forms a display unit with N display areas (N is an integer of 2 or more),
Input means for inputting moving image data including one or more objects;
A plurality of drawing means for drawing the moving image data and generating N frame images to be displayed in each of the N display areas;
Determination means for determining whether or not each of the objects included in the moving image data is divided and displayed in two or more display areas;
An area setting means for setting a display area of an object determined to be divided and displayed in two or more display areas by the determination means as a control target area;
When drawing an image to be displayed in the control target area by two or more drawing means having different numbers of frames that can be drawn within a predetermined time, the drawing process of the image to be displayed in the control target area is the two or more. A control means for controlling the two or more drawing means to execute the drawing process with the number of frames that can be drawn by the drawing means having the smallest number of frames that can be drawn within a predetermined time of the drawing means;
An image processing apparatus comprising:
予め指定される前記表示装置における前記N個の表示領域の配置情報と、前記動画像データに含まれるオブジェクトの各々についてのフレーム画像内の配置情報と、に基づいて、前記判定を行うことを特徴とする請求項1に記載の画像処理装置。 The determination means includes
The determination is performed based on arrangement information of the N display areas in the display device designated in advance and arrangement information in a frame image for each object included in the moving image data. The image processing apparatus according to claim 1.
入力手段が、1以上のオブジェクトを含む動画像データを入力するための入力工程と、
判定手段が、前記動画像データに含まれるオブジェクトの各々について、2以上の表示領域に分割されて表示されるか否かを判定する判定工程と、
領域設定手段が、前記判定工程により2以上の表示領域に分割されて表示されると判定されたオブジェクトの表示領域を制御対象領域として設定する領域設定工程と、
制御手段が、前記制御対象領域に表示する画像を、所定時間内に描画処理可能なフレーム数が異なる2以上の描画手段により描画処理する場合、当該制御対象領域に表示する画像の描画処理については、前記2以上の描画手段のうち所定時間内に描画処理可能なフレーム数がもっとも少ない描画手段が描画処理可能なフレーム数で前記2以上の描画手段が描画処理を実行するよう制御する制御工程と、
を含むことを特徴とする画像処理装置の制御方法。 A control method for an image processing apparatus, wherein a frame image to be displayed on a display device forming a display unit by N display areas (N is an integer of 2 or more) is generated by a drawing unit.
An input step for inputting moving image data including one or more objects;
A determination step of determining whether or not each of the objects included in the moving image data is displayed by being divided into two or more display areas;
An area setting step in which an area setting unit sets a display area of an object determined to be divided and displayed in two or more display areas by the determination process as a control target area;
When the control means performs drawing processing of an image to be displayed in the control target area by two or more drawing means having different numbers of frames that can be drawn within a predetermined time, the drawing process of the image to be displayed in the control target area is as follows. A control step for controlling the two or more drawing means to execute the drawing process with the number of frames that can be drawn by the drawing means having the smallest number of frames that can be drawn within a predetermined time among the two or more drawing means ; ,
A control method for an image processing apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008292607A JP5385592B2 (en) | 2008-11-14 | 2008-11-14 | Image processing apparatus and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008292607A JP5385592B2 (en) | 2008-11-14 | 2008-11-14 | Image processing apparatus and control method thereof |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2010117678A JP2010117678A (en) | 2010-05-27 |
| JP2010117678A5 JP2010117678A5 (en) | 2012-01-05 |
| JP5385592B2 true JP5385592B2 (en) | 2014-01-08 |
Family
ID=42305367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008292607A Expired - Fee Related JP5385592B2 (en) | 2008-11-14 | 2008-11-14 | Image processing apparatus and control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5385592B2 (en) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2746129B2 (en) * | 1994-08-10 | 1998-04-28 | 日本電気株式会社 | Drawing equipment |
| JPH1138953A (en) * | 1997-07-16 | 1999-02-12 | F F C:Kk | Method of controlling multiple screen display of computer system |
| JP3935605B2 (en) * | 1998-05-15 | 2007-06-27 | 三菱電機株式会社 | Multi-display video display device |
| JP4016914B2 (en) * | 2003-09-10 | 2007-12-05 | 株式会社日立製作所 | Movie display control system |
| JP4731827B2 (en) * | 2004-04-09 | 2011-07-27 | 三菱電機株式会社 | Multi-screen video display device and multi-screen video display method |
-
2008
- 2008-11-14 JP JP2008292607A patent/JP5385592B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010117678A (en) | 2010-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9293119B2 (en) | Method and apparatus for optimizing display updates on an interactive display device | |
| US9383851B2 (en) | Method and apparatus for buffering sensor input in a low power system state | |
| US8760470B2 (en) | Mixed reality presentation system | |
| US10890966B2 (en) | Graphics processing systems | |
| CN1928700B (en) | Projection type display device and method for controlling the same | |
| US9288455B2 (en) | Information processing apparatus, control method of information processing apparatus, and storage medium for determining whether a projection pattern of a current frame differs from that of a previous frame | |
| KR20190141698A (en) | Fit displays in multi-head mounted display virtual reality configurations | |
| US6844879B2 (en) | Drawing apparatus | |
| US20120154411A1 (en) | Multiple display frame rendering method and apparatus | |
| US10412320B1 (en) | Method and system for switching display from first video source to second video source | |
| KR20190032109A (en) | Image display method | |
| JP4869611B2 (en) | Screen burn-in prevention device and screen burn-in prevention method | |
| CN114153416B (en) | A display control method and related devices | |
| US20190018443A1 (en) | Image transmission apparatus, image transmission system, and method of controlling image transmission apparatus | |
| JP5511361B2 (en) | Image display apparatus, control method therefor, and program | |
| JP5385592B2 (en) | Image processing apparatus and control method thereof | |
| US8170348B2 (en) | Image processing apparatus, image processing method, computer program for realizing functions thereof, and recording medium having the computer program recorded thereon | |
| US20210241425A1 (en) | Image processing apparatus, image processing system, image processing method, and medium | |
| EP4373073A1 (en) | Video playback method and apparatus, and electronic device | |
| US10867587B2 (en) | Display control apparatus, electronic equipment, and control method of display control apparatus | |
| JP2013117601A (en) | Multi-display control system, control method thereof, and multi-display device | |
| JP2009230615A (en) | Image processor, image processing system, and head-up display system for vehicle | |
| JP3985451B2 (en) | Image processing apparatus and image display apparatus | |
| US11688031B2 (en) | Resynchronization of a display system and GPU after panel self refresh | |
| JP5097685B2 (en) | Image processing apparatus and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111111 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130327 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130405 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130604 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130906 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131004 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5385592 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |