JP4954966B2 - 表示装置、表示方法、表示プログラムおよびコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、画像と、当該画像に付随する文字列とを表示装置の同一の表示画面に表示するための表示装置に関するものである。

近年、携帯型情報端末の機能が向上したことに伴い、これまでデスクトップ型のパソコン等の大型の情報端末によって受信されていた画像データが、携帯電話等の携帯型情報端末によって受信され、閲覧されるようになった。

一般に、携帯型情報端末が有する表示画面は小さいため、閲覧対象の画像に文字が含まれている場合には、画像が縮小されることにより文字がつぶれ、その文字を読み取ることが困難な場合がある。

そこで、特許文献１に記載の画像表示装置では、画像表示装置が有する表示領域を２つに分割し、一方の表示領域に画像を表示し、他方の表示領域に当該画像に含まれる文字列を表示している。
特開２００３−１０８２８４号公報（２００３年４月１１日公開）

ところが、上記従来の構成では、以下の問題が生ずる。すなわち、文字列の表示領域の大きさが固定されているため、文字数が多い場合および見やすくするために文字サイズを大きくした場合には、当該表示領域に文字列がすべて入りきらない可能性がある。また、表示すべき文字の数が少なく、文字の表示領域が余っている場合であっても、その領域を画像の表示領域に割り当てられないため、表示領域を有効利用できないという問題が生じる。

本発明は、上記の問題点を解決するためになされたもので、その目的は、画像（主表示データ）と当該画像に付随する文字列（副表示データ）とをひとつの画面上に効率良く表示することができる表示装置を提供することにある。

本発明に係る表示装置は、上記の課題を解決するために、画像と、当該画像に付随する文字列とを表示装置の同一の表示画面に表示するために、上記画像または上記文字列、もしくはその両方の位置を調節する表示装置であって、上記表示画面の全領域から上記画像を表示する画像表示領域と上記文字列を表示する文字列表示領域とを除いた領域である余白領域を検出する余白領域検出手段と、上記余白領域を利用することにより、上記画像と上記文字列とが同一の表示画面内に収まるように上記画像または上記文字列、もしくはその両方の位置または大きさを初期状態から変更する再配置手段とを備えることを特徴としている。

本発明に係る表示方法は、上記の課題を解決するために、画像と、当該画像に付随する文字列とを表示装置の同一の表示画面に表示するために、上記画像または上記文字列、もしくはその両方の位置を調節する表示装置における表示方法であって、上記表示画面の全領域から上記画像を表示する画像表示領域と上記文字列を表示する文字列表示領域とを除いた領域である余白領域を検出する余白領域検出工程と、上記余白領域を利用することにより、上記画像と上記文字列とが同一の表示画面内に収まるように上記画像または上記文字列、もしくはその両方の位置または大きさを初期状態から変更する再配置工程とを含むことを特徴としている。

上記の構成によれば、余白領域検出手段は、表示画面における余白領域を検出し、再配置手段は、余白領域検出手段によって検出された余白領域を利用することにより、画像と文字列とが同一の表示画面内に収まるように、これらの表示対象の位置または大きさを初期状態から変更する。

それゆえ、余白領域を利用することにより、画像と当該画像に付随する文字列とをひとつの表示画面上に効率良く表示することができ、画像および文字列をそれぞれ見易く表示することができる。

また、上記余白領域検出手段は、上記画像表示領域の上側および下側の余白領域のサイズを検出するものであり、上記再配置手段は、上記上側の余白領域のサイズと上記下側の余白領域のサイズとを比較する余白比較手段を備え、上記上側の余白領域と上記下側の余白領域とのうちサイズの大きい方の余白領域が位置する方向へ上記画像を移動させることが好ましい。

上記の構成によれば、画像表示領域の周囲に存在する余白領域のうち、上側および下側の余白領域のサイズを余白領域検出手段が検出し、余白比較手段は、上側と下側との余白領域のサイズを比較する。そして、再配置手段は、比較された余白領域のうち、サイズの大きい方の余白領域が位置する方向へ画像を移動させる。例えば、上側の余白領域のサイズが下側の余白領域のサイズよりも大きい場合には、再配置手段は、画像を上側へ移動させる。

それゆえ、文字列が横書きの場合、すなわち、画像表示領域の上側または下側に文字列が位置している場合には、当該文字列の表示領域を広げることができる。

また、上記余白領域検出手段は、上記画像表示領域の左側および右側の余白領域のサイズを検出するものであり、上記再配置手段は、上記左側の余白領域のサイズと上記右側の余白領域のサイズとを比較する余白比較手段を備え、上記左側の余白領域と上記右側の余白領域とのうちサイズの大きい方の余白領域が位置する方向へ上記画像を移動させることが好ましい。

上記の構成によれば、画像表示領域の周囲に存在する余白領域のうち、左側および右側の余白領域のサイズを余白領域検出手段が検出し、余白比較手段は、左側と右側との余白領域のサイズを比較する。そして、再配置手段は、比較された余白領域のうち、サイズの大きい方の余白領域が位置する方向へ画像を移動させる。例えば、左側の余白領域のサイズが右側の余白領域のサイズよりも大きい場合には、再配置手段は、画像を左側へ移動させる。

それゆえ、文字列が縦書きの場合、すなわち、画像表示領域の左側または右側に文字列が位置している場合には、当該文字列の表示領域を広げることができる。

また、上記余白領域検出手段は、上記画像表示領域の上側および下側、または、左側および右側の余白領域の面積を検出するものであり、上記再配置手段は、上側および下側、または、左側および右側の余白領域の合計面積と、上記文字列表示領域の面積とを比較する面積比較手段と、上記合計面積が上記文字列表示領域の面積以上である場合に、上記文字列の表示方向を９０度回転させる文字列方向変更手段とを備えることが好ましい。

上記の構成によれば、余白領域検出手段は、画像表示領域の上側および下側、または、左側および右側の余白領域の面積を検出する。そして、面積比較手段は、上側および下側、または、左側および右側の余白領域の合計面積と、上記文字列表示領域の面積とを比較する。上記合計面積が上記文字列表示領域の面積以上である場合に、文字列方向変更手段は、文字列の表示方向を９０度回転させる。

上側および下側の余白領域の合計面積が文字列表示領域の面積以上である場合とは、文字列が縦書きの場合に、当該文字列を横書きにして、文字列を画像表示領域の左側または右側に配置することができることを意味している。

また、左側および右側の余白領域の合計面積が文字列表示領域の面積以上である場合とは、文字列が横書きの場合に、当該文字列を縦書きにして、文字列を画像表示領域の左側または右側に配置することができることを意味している。

つまり、文字列方向変更手段は、文字列を縦書きから横書きに、または、横書きから縦書きに変更可能な場合に、文字列表示領域の表示方向を９０度回転させる。

それゆえ、画像と文字列とを同一の表示画面に収めることができる可能性を広げることができる。

また、上記表示装置は、上記画像において上記文字列を上書きすることが可能な領域である上書き可能領域を検出する上書き可能領域検出手段をさらに備え、上記余白領域検出手段は、上記上書き可能領域を上記余白領域と見なすことが好ましい。

上記の構成によれば、上書き可能領域検出手段は、画像内の上書き可能領域を検出する。そして、余白領域検出手段は、上書き可能領域を余白領域と見なす。すなわち、余白領域検出手段は、正規の余白領域に上書き可能領域を加えた領域を余白領域と見なす。

それゆえ、余白領域が少ない場合でも、上書き可能領域を利用することにより、画像表示領域と文字列表示領域とを適切な位置に配置することが可能となる。

なお、上記上書き可能領域とは、対象画像に含まれる、情報量の少ない領域であり、例えば、対象画像における輝度値のばらつき（変化量）が所定の閾値内に収まる領域である。

また、上記上書き可能領域検出手段は、上記画像における輝度値のばらつきが所定の閾値内である領域を上記上書き可能領域として検出することが好ましい。

輝度値のばらつきが所定の閾値内である領域は、ベタ塗りの背景など、情報量の少ない領域である可能性が高い。そのため、当該領域を文字列表示領域として利用しても、表示対象の画像から読み取ることができる情報量は顕著には減少しない可能性が高い。

上記の構成によれば、表示対象の画像における輝度値のばらつきが所定の閾値内である領域を上書き可能領域とすることができ、輝度値を比較するという簡単な処理により上書き可能領域を検出することができる。

また、上記再配置手段は、上記画像または上記文字列のいずれを優先的に移動させるのかという優先順位が示された配置ルールテーブルを参照して、上記画像または上記文字列、もしくはその両方を移動させることが好ましい。

上記の構成によれば、再配置手段は、配置ルールテーブルに示された優先順位に従って画像または文字列、もしくはその両方を移動させる。

それゆえ、画像または文字列のどちらかを見易い状態に維持しつつ、画像または文字列の位置を調節することができる。

なお、上記の各手段の説明において、画像を主表示データに読み替え、文字列を副表示データに読み替えてもよい。

また、上記表示装置の上記各手段としてコンピュータを機能させるための表示プログラムおよび当該表示プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の技術的範囲に含まれる。

本発明に係る表示装置は、以上のように、表示画面の全領域から画像を表示する画像表示領域と文字列を表示する文字列表示領域とを除いた領域である余白領域を検出する余白領域検出手段と、上記余白領域を利用することにより、上記画像と上記文字列とが同一の表示画面内に収まるように上記画像または上記文字列、もしくはその両方の位置または大きさを初期状態から変更する再配置手段とを備える構成である。

本発明に係る表示方法は、以上のように、表示画面の全領域から画像を表示する画像表示領域と文字列を表示する文字列表示領域とを除いた領域である余白領域を検出する余白領域検出工程と、上記余白領域を利用することにより、上記画像と上記文字列とが同一の表示画面内に収まるように上記画像または上記文字列、もしくはその両方の位置または大きさを初期状態から変更する再配置工程とを含む構成である。

それゆえ、余白領域を利用することにより、画像と当該画像に付随する文字列とをひとつの表示画面上に効率的に表示することができ、画像および文字列をそれぞれ見易く表示することができるという効果を奏する。

〔実施の形態１〕
本発明の実施の一形態について図１〜図２１に基づいて説明すれば、以下のとおりである。以下では、本発明の表示装置の一例として携帯電話１を挙げて説明するが、本発明の表示装置は、携帯電話に限定されない。本発明の表示装置は、画像（主表示データ）と、当該画像に付随する文字列（副表示データ）とを表示装置の同一の表示画面に表示する装置であればよい。なお、主表示データは、画像に限定されず、副表示データは、文字列に限定されない。

図２は、携帯電話１の構成を示す機能ブロック図である。同図に示すように、携帯電話１は、主制御部２、記憶部６、入出力制御部７、操作部８、表示部９および通信部１０を備えている。なお、携帯電話１は、スピーカ、マイク等、携帯電話として機能するための部材を備えているが、これらの部材は、図２では省略してある。

主制御部２は、データ取得部３、画像形成制御部４および表示用画像形成部５を備えている。

データ取得部３は、表示部９に表示するデータ（以下、表示対象データ６１と称する）を記憶部６から取得し、その表示対象データ６１を表示用画像形成部５へ出力する。表示対象データ６１は、基本的に、表示対象となる対象画像と当該対象画像に付随する文字列（以下、付随文字列と称する）とからなるデータであるが、画像のみのデータまたは文字列のみのデータであってもよい。ただし、携帯電話１は、対象画像と付随文字列とからなる表示対象データを表示する場合に効果を奏するものである。

表示用画像形成部５は、対象画像と付随文字列との相対位置を調節し、表示部９に表示するための表示用画像を形成する。表示用画像形成部５の詳細については後述する。

画像形成制御部４は、データ取得部３および表示用画像形成部５を制御する。

記憶部６は、表示対象データ６１および配置ルールテーブル６２を格納している。配置ルールテーブル６２は、表示対象データ６１に含まれる対象画像および付随文字列を配置する時のルールが示されているテーブルであり、対象画像の表示領域または付随文字列の表示領域のいずれを優先的に移動させるのかという優先順位が示されているものである。この配置ルールテーブル６２は、後述するように表示用画像形成部５によって参照される。

図２０は、配置ルールテーブル６２に含まれる、優先順位を示すテーブルの一例を示す図である。同図には、対象画像および付随文字列の両方が再配置可能であり、対象画像よりも付随文字列の方を優先的に移動させる（付随文字列の優先順位が「１」である）ことが示された配置ルールテーブルを示している。配置ルールテーブル６２には、再配置可能であるかどうかを示す情報および再配置する場合の優先順位を示す情報の他にも、対象画像および付随文字列のデフォルトの状態（初期位置、初期表示方向および初期サイズ）を示す情報、および、対象画像および／または付随文字列を再配置する場合の対象画像および／または付随文字列の移動様式および表示方向の変更様式を示す情報（再配置ルール）等が含まれているが、これらの情報は、図２０には示していない。

操作部８は、ユーザからの指示を受け付けるものであり、複数の操作キーを有している。

表示部９は、表示用画像形成部５によって形成された表示用画像を表示するものであり、例えば、液晶表示装置である。

通信部１０は、外部の装置、例えば、サーバから表示対象データを受信する。

入出力制御部７は、操作部８、表示部９および通信部１０から出力された信号を受付け、信号の変換を行った後、変換された信号を主制御部２へ出力する。

（表示用画像形成部５の構成）
図１は、表示用画像形成部５の構成を示す機能ブロック図である。同図に示すように、表示用画像形成部５は、再配置制御部５１（再配置手段）、文字列配置部５２（再配置手段）および画像配置部５３（再配置手段）を含む表示状態決定部（表示位置決定手段、再配置手段）６０、重複領域検出部（再配置要否判定手段）５４、余白領域検出部５５（余白領域検出手段）、余白領域比較部５６（余白比較手段）、余白／文字列比較部５７（面積比較手段）、文字列方向変更部５８（文字列方向変更手段）および上書き可能領域検出部５９（上書き可能領域検出手段）を備えている。

再配置制御部５１は、表示用画像形成部５の各部を制御し、後述するように、余白領域を利用して、画像と文字列とが同一の表示画面内に収まるように画像または文字列、もしくはその両方の位置または大きさを調節し、表示用画像を形成する。換言すれば、再配置制御部５１は、画像表示領域および／または文字列表示領域の、位置または大きさを初期状態から変更する。この再配置制御部５１は、形成した表示用画像を画像形成制御部４へ出力する。

表示状態決定部６０は、文字列配置部５２および画像配置部５３を備えており、対象画像および付随文字列の、表示部９の表示画面における表示状態（表示位置および表示の大きさ）を決定する。特に、表示状態決定部６０は、後述する再配置処理が行われる前の初期表示状態（特に初期表示位置）を決定する。

文字列配置部５２は、配置ルールテーブル６２に示された配置ルールに従って、付随文字列の表示領域（以下、文字列表示領域と称する）を決定する。文字列配置部５２は、文字列表示領域の座標の値を重複領域検出部５４へ出力する。

画像配置部５３は、配置ルールテーブル６２に示された配置ルールに従って、対象画像の表示領域（以下、画像表示領域と称する）を決定する。画像配置部５３は、画像表示領域の座標の値を重複領域検出部５４へ出力する。

重複領域検出部５４は、文字列表示領域と画像表示領域とが表示画面からはみ出ることなく表示されているか否か、および、文字列表示領域と画像表示領域とが重複しているか否かを検出し、その検出結果を再配置制御部５１へ出力する。換言すれば、重複領域検出部５４は、表示状態決定部６０が決定した、対象画像の表示位置または付随文字列の表示位置、もしくはその両方を変更する再配置処理が必要であるかどうかを判定し、その判定結果を再配置制御部５１へ出力する。

以下の説明では、文字列表示領域または画像表示領域が表示画面からはみ出ている場合、または、文字列表示領域と画像表示領域とが重複している場合に、重複領域検出部５４は、再配置処理が必要であると判定するものとする。ただし、重複領域検出部５４が、再配置処理が必要であると判定する条件は、上記のものに限定されない。例えば、対象画像と付随文字列との距離が、所定の値より小さい場合に、重複領域検出部５４は再配置処理が必要であると判定してもよい。重複領域検出部５４における処理の詳細については後述する。

余白領域検出部５５は、画像表示領域の周囲に存在する余白領域のサイズ（または面積）を検出する。ここで、余白領域とは、表示部９が有する表示画面の全領域（以下、全表示領域と称する）から画像表示領域および文字列表示領域を除いた領域である。余白領域検出部５５は、検出した余白領域のサイズに関する情報（以下、余白領域情報と称する）を余白領域比較部５６へ出力する。この余白領域情報、および余白領域検出部５５による余白領域の検出方法の詳細については後述する。なお、後述するように、余白領域のサイズとは、画像表示領域６３の辺と表示画面９ａの辺との間の距離（図６参照）を意味する。

また、余白領域検出部５５は、上書き可能領域検出部５９から上書き可能領域の情報を受け取った場合に、当該上書き可能領域を余白領域と見なし、既に検出している余白領域に当該上書き可能領域を加える。

余白領域比較部５６は、余白領域検出部５５から余白情報を受け取り、画像表示領域の上側に位置する余白領域の面積と、下側に位置する余白領域の面積とを比較する。または、余白領域比較部５６は、画像表示領域の左側に位置する余白領域の面積と、右側に位置する余白領域の面積とを比較する。そして、余白領域比較部５６は、比較結果を再配置制御部５１へ出力する。

余白／文字列比較部５７は、文字列表示領域の面積と、画像表示領域の左右に位置する余白領域の面積の合計または画像表示領域の上下に位置する余白領域の面積の合計とを比較し、比較結果を再配置制御部５１へ出力する。

文字列方向変更部５８は、余白領域の、上下または左右の合計面積が文字列表示領域の面積以上である場合に、文字列表示領域の表示方向を９０度回転させる。すなわち、文字列方向変更部５８は、横書きの文字列を縦書きに、縦書きの文字列を横書きに変更する。

上書き可能領域検出部５９は、表示対象データ６１に含まれる対象画像における上書き可能領域を検出する。上書き可能領域とは、対象画像に含まれる、情報量の少ない領域である。本実施形態では、上書き可能領域とは、対象画像における輝度値の変化量（ばらつき）が所定の閾値内に収まる領域である。例えば、上書き可能領域は、同一色でベタ塗りされた領域である。つまり、上書き可能領域検出部５９は、対象画像における輝度値のばらつきが所定の閾値内である領域を上書き可能領域として検出する。

図３は、上書き可能領域検出部５９の構成を示す機能ブロック図である。同図に示すように、上書き可能領域検出部５９は、上部上書き可能領域検出部５９ａ、下部上書き可能領域検出部５９ｂ、左部上書き可能領域検出部５９ｃ、右部上書き可能領域検出部５９ｄおよび上書き可能領域検出制御部５９ｅを備えている。

上部上書き可能領域検出部５９ａ、下部上書き可能領域検出部５９ｂ、左部上書き可能領域検出部５９ｃおよび右部上書き可能領域検出部５９ｄは、それぞれ、対象画像の上部、下部、左部および右部における上書き可能領域を検出し、検出結果を上書き可能領域検出制御部５９ｅへ出力する。

上書き可能領域検出制御部５９ｅは、上部上書き可能領域検出部５９ａ、下部上書き可能領域検出部５９ｂ、左部上書き可能領域検出部５９ｃおよび右部上書き可能領域検出部５９ｄを制御し、得られた上書き可能領域の検出結果をまとめ、上書き可能領域の位置およびサイズを示す情報である上書き可能領域情報を、余白領域検出部５５へ出力する。

上書き可能領域検出部５９における処理の詳細については後述する。

（表示対象データ６１のデータ構造）
図４は、表示対象データ６１のデータ構造の一例を示す概略図である。「データ位置」は、表示対象データ６１に含まれる表示対象要素（対象画像または付随文字列）を特定するための情報である。ここでは、「データ位置」は、表示対象データ６１の先頭から何番目の表示対象要素であるかを示す値である。

「種類」は、表示対象要素が対象画像であるか付随文字列であるかを示す。「ＩＭＡＧＥ」は、その表示対象要素が対象画像であることを示し、「ＳＴＲＩＮＧ」は、その表示対象要素が付随文字列であることを示している。

「ＸＹ位置」は、各表示対象要素を表示領域に表示するときのＸＹ座標値を示す。なお、ＸＹ座標とは、表示画面の左上をＸ＝０、Ｙ＝０として、右方向に行くにつれてＸが増加していき、下方向に行くにつれてＹが増加していく座標系のことである。

「関連データ番号」は、表示対象要素同士の関連を示す。ここに番号が格納されている場合、自分自身を親として、関連データ番号が示す表示対象要素を子とする親子関係があることになる。また、親子関係にある表示対象要素は、基本的に同じ表示画面に表示するものとする。その時、親子関係にある表示対象要素は、同一画面上において独立に位置を変更することができる。

換言すれば、「関連データ番号」が「ＮＯＮＥ」でない場合には、その表示対象要素は、対象画像（主表示データ）であり、「ＮＯＮＥ」である場合には、その表示対象要素は、付随文字列（副表示データ）である。つまり、副表示データが対応付けられていない表示データが主表示データである。関連データ番号が「ＮＯＮＥ」であるかどうかで、その表示対象要素が主表示データであるのか副表示データであるのかを区別することができる。

図４に示す例では、データ位置が「１」である画像にデータ位置が「２」または「３」である文字列が付随している。データ位置が「２」である文字列と、データ位置が「３」である文字列とはひと続きの文字列であるが、２つの文字列として存在している。このように、ひと続きの文字列を複数の文字列に分割して対象画像に付随させてもよい。換言すれば、ひとつの対象画像に付随する付随文字列の数は、ひとつでもよいし、複数でもよい。

表示対象データ６１に含まれる対象画像および付随文字列の内容は、どのようなものであってもよい。例えば、対象画像がマンガの絵柄であり、付随文字列がマンガの吹き出しであってもよい。また、対象画像がユーザが撮像した写真であり、付随文字列が当該写真の説明文であってもよい。

また、付随文字列は、背景を有するものであってもよいし、背景を有しないものであってもよい。すなわち、付随文字列を対象画像に重ねた時に、対象画像が部分的に透けて見えるものであってもよいし、重なっている領域において対象画像が完全に隠れるものであってもよい。

また、対象画像の代わりに動画を用いてもよく、付随文字列の代わりに文字を画像化した画像を用いてもよい。

（表示対象データ６１の表示例）
図５は、表示対象データ６１（対象画像および付随文字列）を表示部９の表示画面９ａに表示した状態の一例を示す図である。同図に示すように、矩形の対象画像の画像表示領域６３と「おはようございます。」という付随文字列の文字列表示領域６４とが重複することなく、かつ、表示画面９ａからはみ出ることなく、対象画像と付随文字列とが表示されている。

図６は、図５に示す付随文字列（換言すれば、文字列表示領域６４）のサイズを大きくした状態を示す概略図である。同図に示すように、付随文字列のサイズを大きくした場合には、付随文字列は表示画面９ａからはみ出ることがある。このような付随文字列のサイズ変更は、ユーザの指示に従って行われる。付随文字列が表示画面９ａからはみ出た場合には、付随文字列の一部は、ユーザによって視認されなくなる。また、図示しないが、画像表示領域６３と文字列表示領域６４とが重なる場合には、対象画像または付随文字列の一部が視認されなくなる。このような場合に、表示用画像形成部５は、画像表示領域６３と文字列表示領域６４との相対位置を調節する。

なお、上述した初期状態とは、通常、付随文字列が表示画面９ａからはみ出た状態または画像表示領域６３と文字列表示領域６４とが重なっている状態を指すが、より見易い状態にするために、上記の状態にない、画像表示領域６３および／または文字列表示領域６４を再配置してもかまわない。本実施形態では、上記初期状態とは、表示状態決定部６０が決定した、対象画像および付随文字列の表示状態に対して、ユーザが操作部８を介して入力した変更指示（対象画像および／または付随文字列の、大きさおよび／または表示位置を変更する指示）を反映させた表示状態を意味するものとする。

（余白領域検出部５５における余白領域検出方法）
次に、余白領域検出部５５における余白領域検出方法について、図６を参照しつつ説明する。

余白領域検出部５５は、画像表示領域６３の各辺（外郭）の座標をもとに、画像表示領域６３の辺と表示画面９ａの辺との間の距離（図６にて、矢印６５ａ〜６５ｃによって示される距離）を算出する。画像表示領域６３の辺と表示画面９ａの辺との間に文字列表示領域６４が存在する場合には、余白領域検出部５５は、画像表示領域６３の辺と文字列表示領域６４の辺との間の距離（矢印６５ｄによって示される距離）を算出する。余白領域検出部５５は、これらの距離を余白領域のサイズを表す余白領域情報として余白領域比較部５６へ出力する。

または、余白領域検出部５５は、上記距離および表示画面の大きさから、画像表示領域６３の周囲４方向（上下左右）に位置する余白領域の面積をそれぞれ算出し、算出した余白領域の面積を余白／文字列比較部５７へ出力する。

また、余白領域検出部５５は、上書き可能領域検出部５９から後述する上書き可能領域情報を受け取ると、既に算出した余白領域のサイズに、上書き可能領域のサイズを加算する。換言すれば、余白領域検出部５５は、上書き可能領域を余白領域と見なす。

なお、余白領域検出部５５における余白領域検出方法は、上述した方法に限定されない。例えば、余白領域検出部５５は、上書き可能領域情報を受け取ると、画像表示領域６３から上書き可能領域を除いた領域を新たな画像表示領域６３として認識し、余白領域のサイズを再計算してもよい。

（上書き可能領域検出部５９における上書き可能領域検出方法）
次に、上書き可能領域検出部５９における上書き可能領域検出方法について図７を参照しつつ説明する。図７は、対象画像における上書き可能領域を検出する方法を説明するための図である。同図に示すように、対象画像は高さ方向（図７にてＹ軸方向）および幅方向（図７にてＸ軸方向）に配列した複数の画素から構成されている。同図には、一例として、Ｙ軸方向に８つ、Ｘ軸方向に５つの画素が配列した、８行５列の対象画像が示されている。

上書き可能領域検出部５９は、対象画像における輝度値のばらつきが所定の閾値内であるかどうかを検出することにより、上書き可能領域を検出する。より具体的には、上書き可能領域検出部５９の上部上書き可能領域検出部５９ａ、下部上書き可能領域検出部５９ｂ、左部上書き可能領域検出部５９ｃおよび右部上書き可能領域検出部５９ｄは、対象画像の或る辺（注目辺）から当該注目辺に対向する辺に向かう方向へ、検出対象となる、対象画像の注目行（または注目列）を移動させる。そして、各上書き可能領域検出部は、それぞれ、各注目行（または注目列）において、或る画素（注目画素）と当該注目画素に隣接する画素との輝度値の差分値を算出し、当該差分値が所定の範囲内のものであるかどうかを判定する。注目行（または注目列）において、すべての差分値が所定の範囲内のものである場合に、各上書き可能領域検出部は、当該注目行（または注目列）を、上書き可能行（または上書き可能列）として上書き可能領域に追加する。

以下において、上書き可能領域検出部５９における処理の流れを説明する。図８は、上書き可能領域検出部５９における処理の流れを示すフローチャートである。

再配置制御部５１から上書き可能領域を検出することを命じる上書き可能領域検出命令を受け取ると、上書き可能領域検出制御部５９ｅは、上部上書き可能領域の検出を命じる命令を上部上書き可能領域検出部５９ａへ出力する。ここで、上部上書き可能領域とは、対象画像の中央部よりも上側に位置する上書き可能領域を指している。

上記命令を受け取ると、上部上書き可能領域検出部５９ａは、上部上書き可能領域の高さ（Ｙ軸方向における画素数）を算出し、その情報を上書き可能領域検出制御部５９ｅへ出力する（Ｓ１）。

その後、同様に、上書き可能領域検出制御部５９ｅは、下部、左部および右部上書き可能領域の検出を命じる命令を、下部上書き可能領域検出部５９ｂ、左部上書き可能領域検出部５９ｃおよび右部上書き可能領域検出部５９ｄへそれぞれ順に出力する。

下部上書き可能領域検出部５９ｂは、上記命令を受け取ると、下部上書き可能領域の高さ（Ｙ軸方向における画素数）を算出し、その情報を上書き可能領域検出制御部５９ｅへ出力する（Ｓ２）。

左部上書き可能領域検出部５９ｃは、上記命令を受け取ると、左部上書き可能領域の幅（Ｘ軸方向における画素数）を算出し、その情報を上書き可能領域検出制御部５９ｅへ出力する（Ｓ３）。

右部上書き可能領域検出部５９ｄは、上記命令を受け取ると、右部上書き可能領域の幅（Ｘ軸方向における画素数）を算出し、その情報を上書き可能領域検出制御部５９ｅへ出力する（Ｓ４）。

各上書き可能領域の情報を受け取ると、上書き可能領域検出制御部５９ｅは、それらの情報をまとめ、上書き可能領域検出情報として余白領域検出部５５へ出力する。

なお、上部、下部、左部、右部の各上書き可能領域を検出する順番はどのようなものであってもよい。また、各上書き可能領域を並行して検出してもよい。

（上書き可能領域検出処理の詳細）
次に、上部上書き可能領域検出部５９ａにおける処理の流れについて図９を参照しつつ説明する。図９は、上部上書き可能領域検出部５９ａにおける処理の流れを示すフローチャートである。上書き可能領域検出制御部５９ｅから上部上書き可能領域の検出を命じる命令を受け取ると、上部上書き可能領域検出部５９ａは、自らが備える座標カウンタ（Ｙ、Ｘ）を、Ｘ＝１、Ｙ＝１に設定する（Ｓ１１）。

そして、上部上書き可能領域検出部５９ａは、Ｘに１を加算し、１を加算する前の座標カウンタが示す画素の輝度値と、１を加算した後の座標カウンタが示す画素の輝度値との差分値を算出する。例えば、上部上書き可能領域検出部５９ａは、（１、１）の画素（第１行第１列目の画素）と、（１、２）の画素（第１行第２列目の画素）との輝度値の差分値を算出する。

その後、上部上書き可能領域検出部５９ａは、上記差分値が所定の範囲内のものかどうかを判定する（Ｓ１３）。換言すれば、上部上書き可能領域検出部５９ａは、輝度値が所定の範囲を超えて変化しているかどうかを判定する。

上記差分値が所定の範囲を超えていた場合（Ｓ１３にてＹＥＳ）、上部上書き可能領域検出部５９ａは、その時点の座標カウンタのＹの値から１を引いた数を上部上書き可能領域の高さとし、当該高さの情報を上書き可能領域検出制御部５９ｅへ出力する（Ｓ１４）。例えば、座標カウンタが（１、２）であった場合、上部上書き可能領域の高さは０となる。

一方、上記差分値が所定の範囲内であった場合（Ｓ１３にてＮＯ）、上部上書き可能領域検出部５９ａは、その時点の座標カウンタのＸの値が幅方向（Ｘ軸方向）の画素数に一致しているかどうかを判定する（Ｓ１４）。

Ｘの値が幅方向の画素数に一致していない場合（Ｓ１５にてＮＯ）、Ｘの値に１を加算し、再度差分値を算出する（Ｓ１２に戻る）。

Ｘの値が幅方向の画素数に一致している場合（Ｓ１５にてＹＥＳ）、上部上書き可能領域検出部５９ａは、座標カウンタのＹの値に１を加算するとともに、Ｘの値を１に設定する（Ｓ１６）。すなわち、上部上書き可能領域検出部５９ａは、注目行における輝度値の比較がすべて終了すると、注目行を次の行に移す。

そして、上部上書き可能領域検出部５９ａは、座標カウンタのＹの値が高さ方向（Ｙ軸方向）の画素数より大きいかどうかを判定する。

座標カウンタのＹの値が高さ方向の画素数以下の場合（Ｓ１７にてＮＯ）、Ｘの値に１を加算し、再度差分値を算出する（Ｓ１２に戻る）。

一方、座標カウンタのＹの値が高さ方向の画素数より大きい場合（Ｓ１７にてＹＥＳ）、上部上書き可能領域検出部５９ａは、その時点の座標カウンタのＹから１を引いた値を上部上書き可能領域の高さとし、当該高さの情報を上書き可能領域検出制御部５９ｅへ出力する（Ｓ１４）。

図１０は、下部上書き可能領域検出部５９ｂにおける処理の流れを示すフローチャートである。図１１は、左部上書き可能領域検出部５９ｃにおける処理の流れを示すフローチャートである。図１２は、右部上書き可能領域検出部５９ｄにおける処理の流れを示すフローチャートである。

下部上書き可能領域検出部５９ｂ、左部上書き可能領域検出部５９ｃおよび右部上書き可能領域検出部５９ｄにおける処理の流れは、上部上書き可能領域検出部５９ａにおける処理の流れとほぼ同様であり、差分値を算出するために注目する行（または列）の順番と、比較する画素の方向が異なるだけである。それゆえ、下部上書き可能領域検出部５９ｂ、左部上書き可能領域検出部５９ｃおよび右部上書き可能領域検出部５９ｄにおける処理の流れの説明については、これを省略する。

（携帯電話１における処理の流れ）
次に携帯電話１における処理の流れについて、図１３を参照しつつ説明する。図１３は、携帯電話１における処理の流れを示すフローチャートである。以下では、表示対象データ６１は、記憶部６に既に格納されているという前提に立って説明を行う。

ユーザから、操作部８を介して表示対象データを表示する指示を受け付けると、その指示は、入出力制御部７を経て、画像形成制御部４へ伝達される。上記指示を受け取ると、画像形成制御部４は、表示対象データを取得することを命じる取得命令をデータ取得部３へ出力する。

この取得命令を受け取ると、データ取得部３は、記憶部６から表示対象データ６１を取得し、当該表示対象データ６１を表示用画像形成部５の再配置制御部５１へ出力する（Ｓ５１）。

表示対象データ６１を受け取ると、再配置制御部５１は、表示対象データ６１に文字列が含まれているか否かを検出する（Ｓ５２）。

表示対象データ６１に文字列が含まれていない場合、すなわち、表示対象データ６１が画像のみから構成されている場合（Ｓ５２にてＮＯ）、再配置制御部５１は、表示対象データ６１を画像配置部５３へ出力し、表示対象データ６１に含まれている対象画像の表示画面上の位置（画像表示領域）を決定するよう画像配置部５３に命じる。

この命令を受け取ると、画像配置部５３は、配置ルールテーブル６２を参照して画像表示領域を決定し（Ｓ５８）、画像表示領域の位置を示す座標を再配置制御部５１へ出力する。そして、再配置制御部５１は、当該座標を基に表示用画像を形成し、画像形成制御部４へ出力する（Ｓ５９へ進む）。

一方、文字列が含まれている場合（Ｓ５２にてＹＥＳ）、再配置制御部５１は、文字列配置部５２へ表示対象データを出力する。

表示対象データ６１を受け取ると、文字列配置部５２は、配置ルールテーブル６２を参照しつつ、表示対象データに含まれる文字列の表示画面上の位置、すなわち、文字列表示領域および文字列のサイズを決定し（Ｓ５３）、文字列表示領域の位置を示す座標を重複領域検出部５４へ出力する。

なお、文字列の表示サイズとは、表示する文字を画面上に全て配置したときの合計面積（ドット数）を表す。

次に、再配置制御部５１は、表示対象データ６１に画像が含まれているか否かを検出し（Ｓ５４）、表示対象データ６１に画像が含まれていた場合（Ｓ５４にてＹＥＳ）、画像配置部５３へ表示対象データ６１を出力する。

表示対象データを受け取ると、画像配置部５３は、配置ルールテーブル６２を参照しつつ、表示対象データに含まれる対象画像の表示画面上の位置、すなわち、画像表示領域を決定し（Ｓ５５）、画像表示領域の位置を示す座標を重複領域検出部５４へ出力する。

上記ステップＳ５１〜５５およびＳ５８が、表示状態決定部６０が行う表示状態決定工程（表示位置決定工程）である。

なお、ユーザが、対象画像および／または付随文字列の、大きさおよび／または表示位置を変更する指示を、操作部８を介して入力した場合には、表示状態決定部６０（文字列配置部５２および画像配置部５３）は、その指示を反映させた座標を重複領域検出部５４へ出力する。

上記の座標を受け取ると、重複領域検出部５４は、文字列表示領域と画像表示領域とが重複していないかどうか、および、文字列表示領域が表示画面９ａからはみ出ていないかどうかを検出し、検出結果を再配置制御部５１へ出力する（Ｓ５６）。換言すれば、重複領域検出部５４は、再配置処理が必要であるかどうかを判定し、その判定結果を再配置制御部５１へ出力する。

文字列表示領域と画像表示領域とが重複していた場合、または、文字列表示領域が表示画面９ａからはみ出ていた場合、すなわち、重複領域検出部５４が、再配置処理が必要であると判定した場合に（Ｓ５６にてＹＥＳ）、再配置制御部５１は、表示位置を調節するため処理（表示位置調節処理（再配置処理））を行う（Ｓ５７）。そして、再配置制御部５１は、表示位置の調節を行った表示用画像を画像形成制御部４へ出力する。

この表示用画像を受け取ると、画像形成制御部４は、当該表示用画像を表示部９に表示させる（Ｓ５９）。

一方、表示対象データ６１に画像が含まれていない場合（Ｓ５４にてＮＯ）、および文字列表示領域と画像表示領域とが重複しておらず、かつ、文字列表示領域が表示画面９ａからはみ出ていない場合、すなわち、重複領域検出部５４が、再配置処理は必要でないと判定した場合（Ｓ５６にてＮＯ）、再配置制御部５１は、表示位置調節処理を行わずに、対象画像と付随文字列とから、または文字列のみからなる表示用画像を形成し、当該表示用画像を画像形成制御部４へ出力する。この表示用画像を受け取ると、画像形成制御部４は、当該表示用画像を表示部９に表示させる（Ｓ５９）。

その後、主制御部２は、ユーザからさらなる入力操作、例えば、次の表示対象画像を表示させるための入力操作が行われれば（Ｓ６０にてＹＥＳ）、当該入力操作に対応する処理を行い（Ｓ６１）、操作を終了するための入力操作を受け付けると（Ｓ６２にてＹＥＳ）、一連の処理を終了する。

（表示用画像形成部５における表示位置調節処理の流れ）
次に、表示用画像形成部５における表示位置調節処理の流れについて図１４を参照しつつ説明する。図１４は、表示用画像形成部５における処理の流れを示すフローチャートである。

文字列表示領域と画像表示領域とが重複していることを示す情報、または、文字列表示領域が表示画面からはみ出ていることを示す情報（すなわち、再配置処理が必要であるとの判定結果）を重複領域検出部５４から受け取ると、再配置制御部５１は、余白領域を検出する命令を余白領域検出部５５へ出力する。

この命令を受け取ると、余白領域検出部５５は、画像表示領域の周囲に存在する余白領域のサイズを算出する。このとき、余白領域検出部５５は、付随文字列が横書きであれば（Ｓ７１にてＹＥＳ）、画像表示領域の上下に存在する余白領域のサイズを算出し（Ｓ７２）、付随文字列が縦書きであれば（Ｓ７１にてＮＯ）、画像表示領域の左右に存在する余白領域のサイズを算出する（Ｓ７３）。

余白領域検出部５５は、算出した余白領域のサイズに関する余白情報を余白領域比較部５６へ出力する。

なお、画像表示領域の上下または左右に余白領域がない場合（Ｓ７２またはＳ７３にてＮＯ）、余白領域検出部５５は、その旨を再配置制御部５１へ伝え、再配置制御部５１は、文字列表示領域と画像表示領域とが重複していないかどうか、および、文字列表示領域が表示画面からはみ出ていないかどうかを検出するよう重複領域検出部５４に命じる（Ｓ７６へ進む）。

余白情報を受け取ると、余白領域比較部５６は、付随文字列が横書きの場合、画像表示領域の上側に位置する余白領域のサイズと、下側に位置する余白領域のサイズとを比較する。または、余白領域比較部５６は、付随文字列が縦書きの場合、画像表示領域の左側に位置する余白領域のサイズと、右側に位置する余白領域のサイズとを比較する。そして、余白領域比較部５６は、比較結果を再配置制御部５１へ出力する。

この比較結果を受け取ると、再配置制御部５１は、比較された余白領域のうちサイズの大きい方の余白領域が位置する方向へ画像表示領域を移動させる（Ｓ７４）。このとき、再配置制御部５１は、サイズの大きい方の余白領域がほぼなくなる位置まで、画像表示領域を移動させる。ただし、再配置制御部５１は、サイズの大きい方の余白領域が完全になくなる位置まで画像表示領域を移動させる必要はなく、当該余白領域が所定のサイズになるまで画像表示領域を移動させてもよい。

その後、再配置制御部５１は、再度、文字列配置部５２に文字列表示領域を決定させる（Ｓ７５）。文字列配置部５２は、文字列表示領域の座標を重複領域検出部５４へ出力する。

また、再配置制御部５１は、移動後の画像表示領域の座標を重複領域検出部５４へ出力する。

上記の位置情報を受け取ると、重複領域検出部５４は、文字列表示領域と画像表示領域とが重複していないかどうか、および、文字列表示領域が表示画面９ａからはみ出ていないかどうかを検出し、検出結果を再配置制御部５１へ出力する（Ｓ７６）。換言すれば、重複領域検出部５４は、再配置処理が必要であるかどうかを判定し、その判定結果を再配置制御部５１へ出力する。

文字列表示領域と画像表示領域とが重複していた場合、または、文字列表示領域が表示画面９ａからはみ出ていた場合、すなわち、重複領域検出部５４が、再配置処理が必要であると判定した場合（Ｓ７６にてＹＥＳ）、再配置制御部５１は、余白領域を検出する命令を余白領域検出部５５へ出力する。

この命令を受け取ると、余白領域検出部５５は、画像表示領域の周囲に存在する余白領域の面積を算出する。このとき、余白領域検出部５５は、付随文字列が横書きであれば（Ｓ７７にてＹＥＳ）、画像表示領域の上下に存在する余白領域の面積を算出し（Ｓ７８）、付随文字列が縦書きであれば（Ｓ７７にてＮＯ）、画像表示領域の左右に存在する余白領域の面積を算出する（Ｓ８１）。

余白領域検出部５５は、算出した余白領域の面積に関する余白情報を余白／文字列比較部５７へ出力する。

この余白情報を受け取ると、余白／文字列比較部５７は、付随文字列が横書きの場合、文字列表示領域の面積と、画像表示領域の左右に位置する余白領域を足した合計面積とを比較する（Ｓ７９）。または、余白／文字列比較部５７は、付随文字列が縦書きの場合、文字列表示領域の面積と、画像表示領域の上下に位置する余白領域を足した合計面積とを比較する（Ｓ８２）。

画像表示領域の左右に位置する余白領域を足した合計面積が、文字列表示領域の面積以上である場合（Ｓ７９にてＹＥＳ）、余白／文字列比較部５７は、付随文字列を縦書きに変更する変更命令を文字列方向変更部５８へ出力する。

または、画像表示領域の上下に位置する余白領域を足した合計面積が、文字列表示領域の面積以上である場合（Ｓ８２にてＹＥＳ）、余白／文字列比較部５７は、付随文字列を横書きに変更する変更命令を文字列方向変更部５８へ出力する。

この変更命令を受け取ると、文字列方向変更部５８は、横書きの付随文字列を縦書きに（Ｓ８０）、縦書きの付随文字列を横書きに変更する（Ｓ８３）。文字列方向変更部５８は、変更した文字列表示領域の情報を再配置制御部５１へ出力する。

この情報を受け取ると、再配置制御部５１は、再度、文字列配置部５２に文字列表示領域を決定させる（Ｓ７５に戻る）。

一方、画像表示領域の左右に余白領域が存在しない場合（Ｓ７８にてＮＯ）、画像表示領域の上下に余白領域が存在しない場合（Ｓ８１にてＮＯ）、画像表示領域の左右に位置する余白領域を足した合計面積が、文字列表示領域の面積より小さい場合（Ｓ７９にてＮＯ）および画像表示領域の上下に位置する余白領域を足した合計面積が、文字列表示領域の面積より小さい場合（Ｓ８２にてＮＯ）、余白領域検出部５５および余白／文字列比較部５７は、その旨を示す情報を再配置制御部５１へ出力する。

当該情報を受け取ると、再配置制御部５１は、上書き可能領域を既に検出しているかどうかを確認する（Ｓ８４）。上書き可能領域を未だ検出していない場合（Ｓ８４にてＮＯ）、再配置制御部５１は、上書き可能領域の検出を命じる命令を上書き可能領域検出部５９へ出力する。

この命令を受け取ると、上書き可能領域検出部５９は、上述したように上書き可能領域を検出し、上書き可能領域情報を余白領域検出部５５へ出力する（Ｓ８５）。

この上書き可能領域情報を受け取ると、余白領域検出部５５は、当該上書き可能領域情報によって示される上書き可能領域を、既に検出している余白領域に加え（Ｓ８６）、余白領域の再検出を行う（Ｓ７１に戻る）。

文字列表示領域と画像表示領域とが重複しておらず、かつ、文字列表示領域が表示画面からはみ出ていない場合、すなわち、重複領域検出部５４が、再配置処理は必要ないと判定した場合（Ｓ７６にてＮＯ）、および、上書き可能領域が既に検出されている場合（Ｓ８４にてＹＥＳ）、再配置制御部５１は、一連の処理を終了する。

（重複領域検出部５４における処理の流れ）
次に、重複領域検出部５４における処理（再配置要否判定処理）の流れの一例について、図２１を参照しつつ説明する。図２１は、重複領域検出部５４における処理の流れの一例を示すフローチャートである。

重複領域検出部５４は、文字列配置部５２が決定した文字列表示領域の位置を示す座標および画像配置部５３が決定した画像表示領域の位置を示す座標を、自らが備えるメモリ（不図示）に格納しているものとする。また、ここでは、ひとつの対象画像に複数の付随文字列が対応付けられている場合の処理の流れについて説明する。

まず、重複領域検出部５４は、上記メモリから対象画像が表示される画像表示領域の座標を取得する（Ｓ９１）。なお、表示領域とは、表示開始位置と、表示データの幅および高さとによって定まる矩形である。また、表示開始位置および表示データの幅・高さは、ユーザの指示した文字サイズや文字の縦書き／横書きによって変化する。

そして、重複領域検出部５４は、記憶部６に格納された表示対象データ６１に含まれる、対象画像の関連データ番号（付随文字列の番号）を全て取得し、上記メモリに格納する（Ｓ９２）。そして、重複領域検出部５４は、自らが備えるカウンタを「１」に設定する（Ｓ９３）。

その後、重複領域検出部５４は、上記メモリから、１番目の付随文字列が表示される文字列表示領域の座標を取得する（Ｓ９４）。

そして、重複領域検出部５４は、１番目の文字列表示領域が表示画面からはみ出るかどうかを判定する（Ｓ９５）。文字列表示領域が画面からはみ出るとは、表示領域の上下左右のいずれかの端のＸＹ座標値が、表示画面の全表示領域を規定するＸＹ座標値の範囲を超えることを意味する。

１番目の文字列表示領域が表示画面からはみ出ると判定した場合（Ｓ９５にてＹＥＳ）、重複領域検出部５４は、再配置が必要であるとの判定結果を再配置制御部５１へ出力する（Ｓ９６）。

一方、１番目の文字列表示領域が表示画面からはみ出ないと判定した場合には（Ｓ９５にてＮＯ）、重複領域検出部５４は、画像表示領域と１番目の文字列表示領域とが互いに重なっているかどうかを判定する（Ｓ９７）。表示領域が互いに重なるとは、一方の表示領域（表示矩形）を規定する４辺の少なくとも１つと、他方の表示領域を規定する４辺の少なくとも１つとが交わる状態、または、一方の表示領域が、他方の表示領域に完全に含まれている状態を意味する。

画像表示領域と１番目の文字列表示領域とが互いに重なっていると判定した場合（Ｓ９７にてＹＥＳ）、重複領域検出部５４は、再配置が必要であるとの判定結果を再配置制御部５１へ出力する（Ｓ９６）。

一方、画像表示領域と１番目の文字列表示領域とが互いに重なっていないと判定した場合（Ｓ９７にてＮＯ）、重複領域検出部５４は、全ての付随文字列について上記の判定を行ったかどうかを判定する（Ｓ９８）。

全ての付随文字列について上記の判定を行っていない場合（Ｓ９８にてＮＯ）、重複領域検出部５４は、カウンタに「１」を加算し、上記メモリから、２番目の付随文字列が表示される文字列表示領域の座標を取得する（Ｓ９４に戻る）。

一方、全ての付随文字列について上記の判定を行っている場合（Ｓ９８にてＹＥＳ）、重複領域検出部５４は、再配置は不要であるとの判定結果を再配置制御部５１へ出力する（Ｓ１００）。

すなわち、上記再配置要否判定処理において、重複領域検出部５４は、重なりおよびはみ出しの判定を、複数の付随文字列の全てについて行い、１つでも重なりまたははみ出しがあると判定した場合には、再配置が必要であると判定する。

（相対位置調節の具体例）
次に、文字列表示領域および画像表示領域の相対位置調節の具体例について、図５〜図６および図１５〜図１９を参照しつつ説明する。図１５は、図６に示す状態から、付随文字列を縦書きに変更し、かつ文字列表示領域の位置を変更することで、文字列表示領域が表示画面に収まるように配置変更した状態を示す図である。図１６は、図６に示す状態から、画像表示領域を上方向に移動し、付随文字列を２行表示することで、文字列表示領域が表示画面に収まるように配置変更した状態を示す図である。

図５に示す状態の付随文字列の大きさを、ユーザの指示に従い大きくすると、図６に示すように、文字列表示領域６４が表示画面９ａからはみ出る場合がある。このような場合には、図１５に示すように、付随文字列を横書きから縦書きに変更し、かつ文字列表示領域の位置を表示画面９ａの下部から右部に変更することで、付随文字列を表示画面に収めることができる。

また、別の方法としては、図１６に示すように、画像表示領域６３を表示画面９ａの上方向に移動することで、文字列表示領域６４を上下方向に広げ、付随文字列を２行表示することで、付随文字列を表示画面に収めることができる。

上述の説明では、付随文字列の方向を変更する方法よりも対象画像の位置を移動させる方法を優先させたが、付随文字列の方向を変更する方法を優先させてもよい。

図１７は、図５に示す対象画像とは異なる対象画像および付随文字列を同一の表示画面に表示した状態の一例を示す図である。図１８は、対象画像に含まれる上書き可能領域の一例を示す図である。図１９は、上書き可能領域に文字列表示領域を重ね、付随文字列を２行表示することで、文字列表示領域が表示画面に収まるように配置変更した状態を示す図である。

図１７に示すように、文字列表示領域６４が表示画面９ａからはみ出ている場合には、上記の例のように、画像表示領域６５を移動させる処理または文字列表示領域６４の方向および位置を変更する処理を行うこともできるが、以下のように上書き可能領域を利用することもできる。

図１８に示すように、画像表示領域６５に示される画像の下部には、上書き可能領域６６が存在している。この上書き可能領域６６は、同一色を有する背景を表す領域である。図１９に示すように、上書き可能領域６６に文字列表示領域６４の一部を重ね、付随文字列を２行表示することで、付随文字列を表示画面に収めることができる。

上述の説明では、上書き可能領域を利用する方法よりも、付随文字列の方向を変更する方法および対象画像の位置を移動させる方法を優先させたが、上書き可能領域を利用する方法を優先させてもよい。どの処理を優先させるかは、配置ルールテーブル６２に規定されていてもよい。このような配置ルールテーブル６２を再配置制御部５１が参照し、配置ルールテーブル６２に規定されたルールに従って表示位置調節処理を行えばよい。

（携帯電話１の効果）
以上のように、携帯電話１では、余白領域検出部５５が検出した余白領域を利用することにより、再配置制御部５１は、画像表示領域と文字列表示領域とが同一の表示画面内に収まるように当該画像表示領域または当該文字列表示領域、もしくはその両方の位置を調節する。

それゆえ、対象画像と付随文字列とを表示装置の同一の表示画面に効率良く表示することができる。

さらに、上書き可能領域検出部５９が上書き可能領域を検出し、再配置制御部５１が当該上書き可能領域に文字列表示領域を重ねることにより、対象画像と付随文字列とを表示装置の同一の表示画面に表示できる可能性を広げることができる。

（変更例）
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

上述した例では、全表示領域は、表示画面９ａそのものであったが、全表示領域は、表示画面９ａに表示されるウィンドウであってもよい。ユーザがウィンドウの大きさを変更すれば、全表示領域の面積は変化するが、この変化に応じて画像表示領域と文字列表示領域との相対位置を調節してもよい。

また、上述の説明では、余白領域検出部５５は、付随文字列が横書きであれば、画像表示領域の上下に存在する余白領域のサイズを算出し、付随文字列が縦書きであれば、画像表示領域の左右に存在する余白領域のサイズを算出しているが、付随文字列の方向に関わらず、画像表示領域の上下左右に存在する余白領域のサイズを算出してもよい。

また、上書き可能領域検出部５９における上書き可能領域検出方法は、上述したものに限定されない。例えば、対象画像全体について輝度値のばらつきを検出し、対象画像の外郭周辺であって、輝度値のばらつきが所定の範囲内である領域を上書き可能領域としてもよい。ただし、上述のように、上部、下部、左部、右部の４方向から上書き可能領域を検出する方が、上書き可能領域の検出にかかる処理量を低減することができるため、より好ましい。

また、輝度値以外の指標を用いて上書き可能領域を検出してもよい。例えば、対象画像の画素における色調の変化を検出してもよい。

また、主表示データは、動画であってもよい。動画と当該動画に付随する文字列とを同一の表示画面に表示することにより、映画の字幕と同様の表現が可能となる。

また、画像形成制御部４は、主表示データが動画の場合、当該動画に付随する付随文字列（副表示データ）を、動画が表示されてから所定の時間後（例えば、１秒後）に所定の時間（例えば、５秒間）表示してもよい。すなわち、付随文字列を、動画が表示されてから何時間後に何時間表示するかを示す表示スケジュールが、記憶部６に格納されており、画像形成制御部４は、当該表示スケジュールを参照することにより付随文字列を所定のタイミングで表示部９に表示してもよい。

また、付随文字列が再配置不可であることが配置ルールテーブル６２に規定されており、かつ重複領域検出部５４において当該付随文字列の再配置が必要と判定された場合に、画像形成制御部４は、ｉ）付随文字列を、表示画面上の特定の表示範囲においてスクロールさせて表示させたり、ｉｉ）特定の表示範囲に収まる分だけ付随文字列を表示させた後、所定時間経過後に、表示しきれなかった分の付随文字列を上記表示範囲に表示させたりするなどの、アニメーション効果を活用して付随文字列を表示してもよい。この場合、配置ルールテーブル６２に、再配置が必要であるにも関わらず再配置できない場合には、上記アニメーション効果を用いて表示することが規定されていてもよい。

また、上述した携帯電話１の各ブロック、特に表示用画像形成部５は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、携帯電話１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである携帯電話１の制御プログラム（表示プログラム）のプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記携帯電話１およびレジスタ２に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、携帯電話１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

また、本発明は、以下のようにも表現できる。すなわち、主表示データおよび主表示データに付随する副表示データを表示する表示装置であって、前記主表示データならびに前記副表示データを表示する位置を示す表示対象データに基づいて初期状態を算出する初期状態算出手段と、前記初期状態において、再配置が必要かどうかを判定する再配置要否判定手段と、前記主表示データを表示する領域と前記副表示データを表示する領域とを表示画面の全領域から除いた領域である余白領域を検出する余白領域検出手段と、前記再配置要否判定手段において再配置が必要と判定された場合において、前記余白領域を利用し、前記主表示データならびに前記副表示データを再配置する再配置手段と、を備えている。

以上のように、本発明に係る表示装置は、上記の課題を解決するために、主表示データおよび当該主表示データに付随する副表示データを表示する表示装置であって、上記主表示データおよび上記副表示データの、表示画面における表示位置を決定する表示位置決定手段と、上記表示位置決定手段が決定した、上記主表示データの表示位置または上記副表示データの表示位置、もしくはその両方を変更する再配置処理が必要であるかどうかを判定する再配置要否判定手段と、上記主表示データを表示する主表示データ表示領域と上記副表示データを表示する副表示データ表示領域とを上記表示画面の全領域から除いた領域である余白領域を検出する余白領域検出手段と、上記再配置要否判定手段が、上記再配置処理が必要であると判定した場合に、上記余白領域検出手段が検出した余白領域を利用し、上記再配置処理を行う再配置手段とを備えることを特徴としている。

上記の構成によれば、表示位置決定手段は、主表示データおよび副表示データの、表示画面における表示位置を決定する。再配置要否判定手段は、表示位置決定手段が決定した、主表示データの表示位置または副表示データの表示位置、もしくはその両方を変更する必要があるかどうか、すなわち、再配置処理を行う必要があるかどうかを判定する。再配置手段は、再配置処理が必要であると再配置要否判定手段が判定した場合に、余白領域検出手段が検出した余白領域を利用して上記再配置処理を行う。

それゆえ、余白領域を利用することにより、主表示データと当該主表示データに付随する副表示データとをひとつの表示画面上に効率良く表示することができ、主表示データおよび副表示データをそれぞれ見易く表示することができる。

また、上記主表示データは画像であり、上記主表示データ表示領域は、画像表示領域であり、上記副表示データは上記画像に付随する文字列であり、上記副表示データ表示領域は、文字列表示領域であってもよい。

上記の構成により、画像と当該画像に付随する文字列とをひとつの表示画面上に効率良く表示することができ、画像および文字列をそれぞれ見易く表示することができる。

対象画像と当該対象画像に付随する付随文字列とをひとつの画面上に効率良く表示することができるため、対象画像と付随文字列とをひとつの画面に同時に表示する表示装置、特に画面の小さい携帯型の表示装置に適用できる。

一実施形態の携帯電話が備える表示用画像形成部の構成を示す機能ブロック図である。 一実施形態の携帯電話の構成を示す機能ブロック図である。 上記携帯電話が備える上書き可能領域検出部の構成を示す機能ブロック図である。 表示対象データのデータ構造の一例を示す概略図である。 対象画像と付随文字列とを同一の表示画面に表示した状態の一例を示す図である。 図５に示す付随文字列のサイズを大きくした状態を示す図である。 対象画像における上書き可能領域を検出する方法を説明するための図である。 上書き可能領域検出部における処理の流れを示すフローチャートである。 上書き可能領域検出部が備える上部上書き可能領域検出部における処理の流れを示すフローチャートである。 上書き可能領域検出部が備える下部上書き可能領域検出部における処理の流れを示すフローチャートである。 上書き可能領域検出部が備える左部上書き可能領域検出部における処理の流れを示すフローチャートである。 上書き可能領域検出部が備える右部上書き可能領域検出部における処理の流れを示すフローチャートである。 上記携帯電話における処理の流れを示すフローチャートである。 表示用画像形成部における処理の流れを示すフローチャートである。 図６に示す状態から、付随文字列を縦書きに変更し、かつ文字列表示領域の位置を変更することで、文字列表示領域が表示画面に収まるように配置した状態を示す図である。 図６に示す状態から、画像表示領域を上方向に移動し、付随文字列を２行表示することで、文字列表示領域が表示画面に収まるように配置変更した状態を示す図である。 図５に示す対象画像とは異なる対象画像と付随文字列とを同一の表示画面に表示した状態の一例を示す図である。 対象画像に含まれる上書き可能領域の一例を示す図である。 上書き可能領域に文字列表示領域を重ね、付随文字列を２行表示することで、文字列表示領域が表示画面に収まるように配置変更した状態を示す図である。 配置ルールテーブルに含まれる、優先順位を示すテーブルの一例を示す図である。 重複領域検出部における処理の流れの一例を示すフローチャートである。

符号の説明

１ 携帯電話（表示装置）
９ａ 表示画面
５１ 再配置制御部（再配置手段）
５２ 文字列配置部（再配置手段）
５３ 画像配置部（再配置手段）
５４ 重複領域検出部（再配置要否判定手段）
５５ 余白領域検出部（余白領域検出手段）
５６ 余白領域比較部（余白比較手段）
５７ 余白／文字列比較部（面積比較手段）
５８ 文字列方向変更部（文字列方向変更手段）
５９ 上書き可能領域検出部（上書き可能領域検出手段）
５９ａ 上部上書き可能領域検出部（上書き可能領域検出手段）
５９ｂ 下部上書き可能領域検出部（上書き可能領域検出手段）
５９ｃ 左部上書き可能領域検出部（上書き可能領域検出手段）
５９ｄ 右部上書き可能領域検出部（上書き可能領域検出手段）
６０ 表示状態決定部（表示位置決定手段、再配置手段）
６１ 表示対象データ
６２ 配置ルールテーブル
６３ 画像表示領域
６４ 文字列表示領域
６５ 画像表示領域
６６ 上書き可能領域

Claims (4)

1. 画像と、当該画像に付随する文字列とを表示装置の同一の表示画面に表示するために、上記画像または上記文字列、もしくはその両方の位置を調節する表示装置であって、
   上記表示画面の全領域から上記画像を表示する画像表示領域と上記文字列を表示する文字列表示領域とを除いた領域である余白領域を検出する余白領域検出手段と、
   上記余白領域を利用することにより、上記画像と上記文字列とが同一の表示画面内に収まるように上記画像または上記文字列、もしくはその両方の位置または大きさを初期状態から変更する再配置手段とを備え、
   上記余白領域検出手段は、上記画像表示領域の上側および下側の余白領域のサイズ、または、上記画像表示領域の左側および右側の余白領域のサイズを検出するものであり、
   上記再配置手段は、上記余白領域検出手段が検出した、上記上側の余白領域のサイズと上記下側の余白領域のサイズとを比較するか、または、上記左側の余白領域のサイズと上記右側の余白領域のサイズとを比較する余白比較手段を備え、当該余白比較手段が比較した余白領域のうちサイズの大きい方の余白領域が位置する方向へ上記画像を移動させることを特徴とする表示装置。
2. 請求項１に記載の表示装置の上記各手段としてコンピュータを機能させるための表示プログラム。
3. 請求項２に記載の表示プログラムを記録したコンピュータ読み取り可能な記録媒体。
4. 画像と、当該画像に付随する文字列とを表示装置の同一の表示画面に表示するために、上記画像または上記文字列、もしくはその両方の位置を調節する表示装置における表示方法であって、
   上記表示画面の全領域から上記画像を表示する画像表示領域と上記文字列を表示する文字列表示領域とを除いた領域である余白領域を検出する余白領域検出工程と、
   上記余白領域を利用することにより、上記画像と上記文字列とが同一の表示画面内に収まるように上記画像または上記文字列、もしくはその両方の位置または大きさを初期状態から変更する再配置工程とを含み、
   上記余白領域検出工程において、上記画像表示領域の上側および下側の余白領域のサイズ、または、上記画像表示領域の左側および右側の余白領域のサイズを検出し、
   上記再配置工程において、上記余白領域検出工程で検出した、上記上側の余白領域のサイズと上記下側の余白領域のサイズとを比較するか、または、上記左側の余白領域のサイズと上記右側の余白領域のサイズとを比較し、比較した余白領域のうちサイズの大きい方の余白領域が位置する方向へ上記画像を移動させることを特徴とする表示方法。

Images