JP3764972B2

JP3764972B2 - Image deformation device and image deformation method

Info

Publication number: JP3764972B2
Application number: JP23859599A
Authority: JP
Inventors: 林　　哲也
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 1999-08-25
Filing date: 1999-08-25
Publication date: 2006-04-12
Anticipated expiration: 2019-08-25
Also published as: JP2001069337A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像変形装置に関し、特に、ディジタル画像を元画像とし、この元画像の非相似形の変形画像を生成する装置に関する。
【０００２】
【従来の技術】
近時、ディジタル信号処理とＬＳＩ技術の進歩によって、テレビジョン信号等のアナログ画像をディジタル画像として容易に処理できるようになり、画像の圧縮や画像の編集加工等を自在に行えるようになった。例えば、画像の編集加工の一つに“変形”がある。この変形処理は「相似変形」と「非相似変形」に分けることができる。前者は元画像と相似の変形画像を生成し、後者は元画像と非相似の変形画像を生成する。
ここで、両者の処理時間に着目すると、非相似変形の処理時間は相似変形のそれに比べて長い。相似変形では元画像の水平方向と垂直方向の画素を変形率に応じた割合で間引きまたは補間するだけでよいのに対し、非相似変形では写像関数などを用いて変形画像のすべての画素情報を逐一再現しなければならないからである。
【０００３】
図１５は、元画像１と変形画像２を示す概念図である。図示の元画像１と変形画像２は非相似の関係にあり、この関係は写像（ｍａｐｐｉｎｇ）として表現することができる。今、元画像１の任意画素Ｐの座標を（Ｘｓ，Ｙｓ）とすると、この画素Ｐに対応する変形画像２の画素Ｑの座標（Ｘｄ，Ｙｄ）は、次式（１）で表すことができる。
（Ｘｄ，Ｙｄ）＝Ｆ（Ｘｓ，Ｙｓ） ……（１）
Ｆは写像であり、写像Ｆの逆写像をＦ^-1とすると、元画像１の画素Ｐの座標（Ｘｓ，Ｙｓ）は、次式（２）で表すことができる。
（Ｘｓ，Ｙｓ）＝Ｆ^-1（Ｘｄ，Ｙｄ） ……（２）
【０００４】
変形画像２を生成する場合、変形画像２を構成するすべての画素について、式(２)を用いてその画素座標（Ｘｄ，Ｙｄ）に対応する元画像１の画素座標（Ｘｓ，Ｙｓ）を特定し、その画素値を取得して変形画像２の座標（Ｘｄ，Ｙｄ）の画素値にセットするという処理を繰り返す。繰り返しの回数は変形画像２の画素数であり、例えば、変形画像２の横方向画素数をＷｄ、縦方向画素数をＨｄとすると、Ｗｄ×Ｈｄ回の繰返しになる。
【０００５】
図１６は、従来の画像変形処理（特に非相似変形を行うもの）のフローチャートである。このフローチャートは、まず、変形画像２の横方向画素数と縦方向画素数をそれぞれ変数Ｗｄ、Ｈｄにセットし（ステップＳ１）、二つのループ変数Ｙｄ、Ｘｄに１をセットして初期化（ステップＳ２、ステップＳ３）した後、前式（２）を用いて、変形画像２の座標（Ｘｄ，Ｙｄ）に対応する元画像１の座標（Ｘｓ，Ｙｓ）を特定する（ステップＳ４）。ここに、Ｙｄ＝１、Ｘｄ＝１の場合、（Ｘｄ，Ｙｄ）は（１，１）となる。
【０００６】
次に、特定された元画像１の座標（Ｘｓ，Ｙｓ）の画素値を変形画像２の座標（Ｘｄ，Ｙｄ）にセット（ステップＳ５）し、Ｘｄを＋１（ステップＳ６）した後、式「Ｘｄ＝＝Ｗｄ」（“＝＝”は等号演算子；以下同様）を評価（ステップＳ７）する。そして、評価結果がＦａｌｓｅ（フロー中では“ＮＯ”）の間、Ｘｄを＋１しながら、ステップＳ４〜ステップＳ７のループを繰り返し実行する。ここに、Ｘｄはループ変数、Ｗｄは変形画像２の横方向画素数であるから、ループ回数（Ｘｄ）が変形画像２の横方向画素数Ｗｄに到達するまでの間、式「Ｘｄ＝＝Ｗｄ」の評価結果はＦａｌｓｅを維持する。したがって、ステップＳ４の実行回数はＷｄ回となる。
【０００７】
一方、ステップＳ４の実行回数がＷｄ回に達して、ステップＳ７の評価結果がＴｒｕｅ（フロー中では“ＹＥＳ”）になると、Ｙｄを＋１（ステップＳ８）した後、式「Ｙｄ＝＝Ｈｄ」を評価（ステップＳ９）し、そして、評価結果がＦａｌｓｅであれば、再びＸｄを初期化してステップＳ４をＷｄ回繰り返し実行する。
ここに、Ｙｄはループ変数、Ｈｄは変形画像２の縦方向画素数であるから、ループ回数（Ｙｄ）が変形画像２の縦方向画素数Ｈｄに到達するまでの間、式「Ｙｄ＝＝Ｈｄ」の評価結果はＦａｌｓｅを維持する。したがって、ステップＳ４の最終的な実行回数はＷｄ×Ｈｄ回、すなわち、変形画像２の画素数に相当する回数になる。
【０００８】
【発明が解決しようとする課題】
上記従来の画像変形処理にあっては、変形画像２の画素数に相当する回数だけ前式（２）を繰り返す必要がある。一般に前式（２）は非線形の変換であるから、演算に時間がかかり、特に、ディスプレイの表示を見ながら非相似変形の操作を行う場合に表示の更新が間に合わないことがあり、この場合、変形途中の画像をリアルタイムに描画できず、画像の表示にギクシャク感を伴うという問題点があった。
したがって、本発明が解決しようとする課題は、非相似変形を行う場合の処理を効率化し、以って変形途中の画像をリアルタイムに描画できるようにすることにある。
【０００９】
【課題を解決するための手段】
本発明の画像変形装置は、元画像を用いて非相似形の変形画像に変形する画像変形装置において、前記元画像の変形方法を示す変形情報に基づいて前記元画像上の指定された画素座標に対応する前記変形画像上の画素座標を特定する第１特定手段と、前記第１特定手段によって特定された前記変形画像上の画素座標に隣接する１または複数の画素座標を補間画素座標として特定する第２特定手段と、前記第１特定手段によって特定された前記変形画像上の画素座標および前記第２特定手段によって特定された前記補間画素座標に対して、前記元画像上の前記指定された画素座標の画素値を設定する画素値設定手段と、前記元画像を構成する複数の画素座標の各々に対して、前記第１特定手段、前記第２特定手段、および前記画素値設定手段による処理を実行させることにより前記変形画像を構成する複数の画素座標の各々に対する画素値を設定する第１制御手段と、を備えたことを特徴とする。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
＜画像変形装置の構成＞
図１は、画像変形装置１０のブロック図であり、それぞれのブロックは以下の機能を有する。なお、各機能は論理回路等のハードロジックで実現してもよいし、パーソナルコンピュータ等のハードウェアリソースと所要のアプリケーションソフトプログラム等のソフトウェアリソースとの有機的結合によって実現してもよい。
【００１１】
画像入力部１１は、変形対象の画像（元画像３）を取り込み保持する。元画像３はｎ×ｍ個の画素で構成されたディジタル画像であり、各々の画素に色や輝度の情報（モノクロの場合は輝度のみ）をもつ、例えば、写真やビットマップイメージ等のグラフィックデータである。
情報入力部１２は、ユーザによって入力された変形情報５を取り込み保持する。変形情報５は元画像３をどのように変形するかを示す情報である。例えば、元画像３を単純に拡大・縮小する場合（相似変形）はその拡大率または縮小率であるが、複雑な変形（非相似変形）を行う場合は元画像３の写像Ｆを表す情報である。
【００１２】
第１パラメータ生成部１３は、変形画像４の画素座標の特定に必要な第１パラメータ群を生成する。第１パラメータ群は、例えば、元画像３の横方向画素数Ｗｓと縦方向画素数Ｈｓおよび変形情報５から特定した変形画像４の横方向画素数Ｗｄと縦方向画素数Ｈｄなどである。
第２パラメータ生成部１４は、変形画像４の補間画素の座標特定に必要な第２パラメータ群を生成する。第２パラメータ群は、例えば、元画像３の横方向画素数Ｗｓと変形画像４の横方向画素数Ｗｄの比（以下「横方向画素数比Ｗｒ」という）および元画像３の縦方向画素数Ｈｓと変形画像４の縦方向画素数Ｈｄの比（以下「縦方向画素数比Ｈｒ」という）である。但し、横方向画素数比Ｗｒおよび縦方向画素数比Ｈｒは小数点以下の値を含まない整数値である。
【００１３】
変形画像座標生成部（第１特定手段）１５は、前記第１パラメータ群を用いて変形画像４の画素座標を生成する。生成される画素座標は、元画像３の画素座標（Ｘｓ，Ｙｓ）に対応する画素座標（Ｘｄ，Ｙｄ）であり、元画像３はｎ×ｍ個の画素で構成されているから、この変形画像座標生成部１５は、変形画像４を構成するすべての画素のうちｎ×ｍ個の画素座標（Ｘｄ，Ｙｄ）を生成する。
補間座標生成部（第２特定手段）１６は、前記第２パラメータ群を用いて変形画像４の補間画素座標を生成する。生成される補間画素座標は、変形画像４を構成するすべての画素のうち上記変形画像座標生成部１５で生成されたｎ×ｍ個の画素座標（Ｘｄ，Ｙｄ）を除く画素座標である。すなわち、１個の画素座標（Ｘｄ，Ｙｄ）につき（Ｗｒ×Ｈｒ）−１個の補間画素座標を生成する。
【００１４】
画素値設定部（画素値設定手段）１７は、変形画像座標生成部１５で生成された画素座標（Ｘｄ，Ｙｄ）と補間座標生成部１６で生成された補間画素座標とに画素値を設定し、変形画像４を生成する。
変形画像出力部１８は、画素値設定部１７で生成された変形画像４を取り込み、所定の表示フォーマットに変換して表示部１９に出力し、表示部１９は、変形画像出力部１８から出力された変形画像４を画面に表示する。
【００１５】
＜画像変形装置の動作＞
図２は、元画像３と変形画像４の概念図である。便宜的に元画像３は矩形状図形３ａを含み、変形画像４は矩形状図形３ａの変形図形である略台形状図形４ａを含むものとする。すなわち、図示の例では、変形画像４は元画像３の左辺側を上下に引き伸ばした非相似形の画像になっている。
元画像３および変形画像４の小さな桝目は各々画素を表している。ここで、図示の元画像３の横方向画素数Ｗｓと縦方向画素数Ｈｓは１０個、変形画像４の横方向画素数Ｗｄと縦方向画素数Ｈｄはそれぞれ１０個、２０個であるから、両者の横方向画素数比Ｗｒは「１」、縦方向画素数比Ｈｒは「２」である。
【００１６】
画像変形装置１０は、前式（１）を用いて元画像３の画素座標（Ｘｓ，Ｙｓ）に対応する変形画像４の画素座標（Ｘｄ，Ｙｄ）を特定し、その画素座標（Ｘｄ，Ｙｄ）に元画像３の画素座標（Ｘｓ，Ｙｓ）の画素値を設定するとともに、横方向画素数比Ｗｒと縦方向画素数比Ｈｒによって決定された補間画素座標にも同一の画素値を設定する。
【００１７】
図３は、画素座標の特定と画素値設定の概念図である。図３において、Ｐ１〜Ｐ４は元画像３を構成する画素の代表であり、Ｑ１〜Ｑ４は、それぞれ元画像３の画素Ｐ１、Ｐ２、Ｐ３、Ｐ４に対応する変形画像４の画素である。すなわち、Ｑ１は元画像３の画素Ｐ１に対応する変形画像４の画素であり、Ｑ２は元画像３の画素Ｐ２に対応する変形画像４の画素であり、Ｑ３は元画像３の画素Ｐ３に対応する変形画像４の画素であり、Ｑ４は元画像３の画素Ｐ４に対応する変形画像４の画素である。
【００１８】
変形画像４は、横方向画素数比Ｗｒと縦方向画素数比Ｈｒの値によって決まる幾つかの補間画素を有する。例えば、Ｗｒ＝１、Ｈｒ＝２の場合はＱ１〜Ｑ４の各々ごとに１個の補間画素を有し、Ｗｒ＝２、Ｈｒ＝２の場合はＱ１〜Ｑ４の各々ごとに３個の補間画素を有し、Ｗｒ＝２、Ｈｒ＝３の場合はＱ１〜Ｑ４の各々ごとに５個の補間画素を有し、Ｗｒ＝３、Ｈｒ＝３の場合はＱ１〜Ｑ４の各々ごとに８個の補間画素を有している。この関係は、Ｗｒ＝Ｉ、Ｈｒ＝Ｊとした場合、「Ｑ１〜Ｑ４の各々ごとに（Ｉ×Ｊ）−１個の補間画素を有している」と表現することができる。
【００１９】
画像変形装置１０は、前式（１）を用いて元画像３の画素Ｐｉ（ｉは１〜４；以下同様）に対応する変形画像４の画素Ｑｉの座標（Ｘｄ，Ｙｄ）を特定し、その画素Ｑｉに元画像３の画素Ｐｉの画素値を設定するとともに、横方向画素数比Ｗｒと縦方向画素数比Ｈｒによって決定された補間画素（図中太線内のハッチングなしの桝目）にも同一の画素値を設定する。
【００２０】
図４は、画像変形装置１０の全体的な動作を示すフローチャートである。このフローチャートでは、まず、第１パラメータ群の各変数（Ｗｓ、Ｈｓ、Ｗｄ、Ｈｄ）に元画像３の横方向画素数、縦方向画素数、変形画像４の横方向画素数および縦方向画素数をセットし（ステップＳ１１、ステップＳ１２）、次いで、第１パラメータ群の値に基づいて第２パラメータ群の各変数（Ｗｒ、Ｈｒ）の値をセットする（ステップＳ１３）。ここで、Ｗｒは横方向画素数比（Ｗｄ／Ｗｓ）、Ｈｒは縦方向画素数比（Ｈｄ／Ｈｓ）であるが、ＷｒとＨｒを整数値とするために、このフローチャートではＩｎｔ関数（引数で指定した数値の整数部分を返す関数）を使用している。
【００２１】
次に、二つのループ変数Ｙｓ、Ｘｓに１をセットして初期化（ステップＳ１４、ステップＳ１５）した後、前式（１）を用いて、元画像３の画素Ｐｉの座標（Ｘｓ，Ｙｓ）に対応する変形画像４の画素Ｑｉの座標（Ｘｄ，Ｙｄ）を特定する（ステップＳ１６）。ここに、Ｙｓ＝１、Ｘｓ＝１の場合、（Ｘｓ，Ｙｓ）は（１，１）となる。
次に、元画像３の座標（Ｘｓ，Ｙｓ）の画素値を画素値変数Ｇにセットし（ステップＳ１７）、後述の「画素値設定処理」（ステップＳ１８）を実行した後、Ｘｓを＋１（ステップＳ１９）し、式「Ｘｓ＝＝Ｗｓ」を評価（ステップＳ２０）する。そして、評価結果がＦａｌｓｅの間、Ｘｓを＋１しながら、ステップＳ１６〜ステップＳ２０のループを繰り返し実行する。
ここに、Ｘｓはループ変数、Ｗｓは元画像３の横方向画素数であるから、ループ回数（Ｘｓ）が元画像３の横方向画素数Ｗｓに到達するまでの間、式「Ｘｓ＝＝Ｗｓ」の評価結果はＦａｌｓｅを維持する。したがって、ステップＳ１６を含むループの実行回数はＷｓ回となる。
【００２２】
一方、ステップＳ１６を含むループの実行回数がＷｓ回に達して、ステップＳ２０の評価結果がＴｒｕｅになると、Ｙｓを＋１（ステップＳ２１）した後、式「Ｙｓ＝＝Ｈｓ」を評価（ステップＳ２２）し、そして、評価結果がＦａｌｓｅであれば、再びＸｓを初期化してステップＳ１６を含むループをＷｓ回繰り返し実行する。
ここに、Ｙｓはループ変数、Ｈｓは元画像３の縦方向画素数であるから、ループ回数（Ｙｓ）が元画像３の縦方向画素数Ｈｓに到達するまでの間、式「Ｙｓ＝＝Ｈｓ」の評価結果はＦａｌｓｅを維持する。したがって、ステップＳ１６を含むループの最終的な実行回数はＷｓ×Ｈｓ回、すなわち、元画像３の画素数に相当する回数となる。
【００２３】
実施の形態におけるループ回数（Ｗｓ×Ｈｓ回）と冒頭の従来技術におけるループ回数（Ｗｄ×Ｈｄ回）を対比すると、実施の形態のループ回数は明らかに少なく、非線形変換の実行回数（前式（１）の演算回数）をそれだけ減らすことができる。これは、冒頭の従来技術では変形画像の画素座標（Ｘｄ，Ｙｄ）に対応する元画像の画素座標（Ｘｓ，Ｙｓ）を特定するのに対して、実施の形態では、その逆に、元画像の画素座標（Ｘｓ，Ｙｓ）に対応する変形画像の画素座標（Ｘｄ，Ｙｄ）を特定するからであり、元画像と変形画像の画素数差だけ演算回数を減らすことができるからである。
【００２４】
ところで、元画像の画素座標（Ｘｓ，Ｙｓ）に対応する変形画像の画素座標（Ｘｄ，Ｙｄ）を特定した場合、図３に示すように、Ｑ１〜Ｑ４の座標しか特定できず、図３の太線内のハッチングなしの桝目で示す画素（補間画素）の座標を何らかの方法で特定しなければならない。
図５は、補間画素の座標特定を含む「画素値設定処理」のフローチャートであり、このフローチャートは、図４のステップＳ１８に相当するものである。このフローチャートでは、まず、二つのループ変数（ｙ、ｘ）に０をセットして初期化し（ステップＳ１８ａ、ステップＳ１８ｂ）、次いで、変形画像４の座標（Ｘｄ＋ｘ，Ｙｄ＋ｙ）に画素値変数Ｇの値を設定する（ステップＳ１８ｃ）。ここに、画素値変数Ｇには元画像３の座標（Ｘｓ，Ｙｓ）の画素値がセットされており（図４のステップＳ１７参照）、かつ、ｙ＝０、ｘ＝０であるから、変形画像４の座標（Ｘｄ＋０，Ｙｄ＋０）に元画像３の座標（Ｘｓ，Ｙｓ）の画素値が設定される（図６参照）。
【００２５】
次に、ｘを＋１（ステップＳ１８ｄ）し、式「ｘ＝＝Ｗｒ」を評価（ステップＳ１８ｅ）する。そして、評価結果がＦａｌｓｅの間、ｘを＋１しながら、ステップＳ１８ｃ〜ステップＳ１８ｅのループを繰り返し実行し、そのループ中に式「ｘ＝＝Ｗｒ」の評価結果がＴｒｕｅになると、ｙを＋１（ステップＳ１８ｆ）し、式「ｙ＝＝Ｈｒ」を評価（ステップＳ１８ｇ）する。そして、評価結果がＦａｌｓｅであれば、再びｘを初期化してステップＳ１８ｃ〜ステップＳ１８ｅのループを繰り返し実行する一方、式「ｙ＝＝Ｈｒ」の評価結果がＴｒｕｅになると、フローチャートを終了して図４に戻り、ステップＳ１９以降を実行する。
【００２６】
ここで、画素値設定処理の動作を具体的に説明する。今、Ｗｒ＝３、Ｈｒ＝３とすると、図５のフローチャートを実行することにより、図６に示す３×３個の画素に対する画素値設定の操作が行われる。図６において、ハッチングで示す画素(Ｘｄ＋０，Ｙｄ＋０）は元画像３の画素Ｐｉに対応する画素Ｑｉであり、その他の８個の画素〔（Ｘｄ＋１，Ｙｄ＋０）、（Ｘｄ＋２，Ｙｄ＋０）、（Ｘｄ＋０，Ｙｄ＋１）、（Ｘｄ＋１，Ｙｄ＋１）、（Ｘｄ＋２，Ｙｄ＋１）、（Ｘｄ＋０，Ｙｄ＋２）、（Ｘｄ＋１，Ｙｄ＋２）、（Ｘｄ＋２，Ｙｄ＋２）〕は補間画素である。
【００２７】
＜ｙ＝０の場合＞
ｘ＝０のときは、変形画像４の座標（Ｘｄ＋０，Ｙｄ＋０）に元画像３の座標（Ｘｓ，Ｙｓ）の画素値が設定される。
ｘ＝１のときは、変形画像４の座標（Ｘｄ＋１，Ｙｄ＋０）に元画像３の座標（Ｘｓ，Ｙｓ）の画素値が設定される。
ｘ＝２のときは、変形画像４の座標（Ｘｄ＋２，Ｙｄ＋０）に元画像３の座標（Ｘｓ，Ｙｓ）の画素値が設定される。
【００２８】
＜ｙ＝１の場合＞
ｘ＝０のときは、変形画像４の座標（Ｘｄ＋０，Ｙｄ＋１）に元画像３の座標（Ｘｓ，Ｙｓ）の画素値が設定される。
ｘ＝１のときは、変形画像４の座標（Ｘｄ＋１，Ｙｄ＋１）に元画像３の座標（Ｘｓ，Ｙｓ）の画素値が設定される。
ｘ＝２のときは、変形画像４の座標（Ｘｄ＋２，Ｙｄ＋１）に元画像３の座標（Ｘｓ，Ｙｓ）の画素値が設定される。
【００２９】
＜ｙ＝２の場合＞
ｘ＝０のときは、変形画像４の座標（Ｘｄ＋０，Ｙｄ＋２）に元画像３の座標（Ｘｓ，Ｙｓ）の画素値が設定される。
ｘ＝１のときは、変形画像４の座標（Ｘｄ＋１，Ｙｄ＋２）に元画像３の座標（Ｘｓ，Ｙｓ）の画素値が設定される。
ｘ＝２のときは、変形画像４の座標（Ｘｄ＋２，Ｙｄ＋２）に元画像３の座標（Ｘｓ，Ｙｓ）の画素値が設定される。
【００３０】
＜設定される画素値＞
図６に示す３×３個の画素、すなわち、ハッチングで示す画素(Ｘｄ＋０，Ｙｄ＋０）と、その他の８個の画素〔（Ｘｄ＋１，Ｙｄ＋０）、（Ｘｄ＋２，Ｙｄ＋０）、（Ｘｄ＋０，Ｙｄ＋１）、（Ｘｄ＋１，Ｙｄ＋１）、（Ｘｄ＋２，Ｙｄ＋１）、（Ｘｄ＋０，Ｙｄ＋２）、（Ｘｄ＋１，Ｙｄ＋２）、（Ｘｄ＋２，Ｙｄ＋２）〕に設定される画素値は、いずれも同一の画素値（元画像３の画素Ｐｉの画素値）である。言い換えれば、図５のフローチャートでは、元画像３の画素Ｐｉの画素値を変形画像４の画素Ｑｉと幾つかの補間画素に同一に設定する。
【００３１】
＜まとめ＞
以上のとおり、本実施の形態の画像変形装置１０によれば、演算時間の長い非線形の変換処理、すなわち、図４のステップＳ１６における演算処理（前式（１））の繰返し回数を元画像３の画素数に相当するＷｓ×Ｈｓ回とすることができ、冒頭の従来技術における繰返し回数（変形画像４の画素数に相当するＷｄ×Ｈｄ回）よりも少なくすることができる。
したがって、元画像３と変形情報５の入力から、その変形画像４を表示部１９に出力するまでの時間を短くして画像の表示更新をスムーズにすることができ、特に、変形画像４のリアルタイムな描画を行うことができるという格別有益な効果が得られる。
【００３２】
なお、この効果は、元画像３の画素数（Ｗｓ×Ｈｓ）より変形画像４の画素数（Ｗｄ×Ｈｄ）が多い場合に成立する。言い換えれば、元画像３の画素数（Ｗｓ×Ｈｓ）が変形画像４の画素数（Ｗｄ×Ｈｄ）より少ない場合は、却って、演算処理の繰返し回数が増加して逆効果になるが、このような場合は冒頭の従来技術を適用すればよい。すなわち、図４のステップＳ１２の後に、元画像３の画素数（Ｗｓ×Ｈｓ）と変形画像４の画素数（Ｗｄ×Ｈｄ）の大小関係を判定するステップを追加し、その判定結果が「（Ｗｓ×Ｈｓ）＜（Ｗｄ×Ｈｄ）」を満たす場合に、図４のステップＳ１３以降を実行し、満たさない場合に図１６のステップＳ２以降を実行すればよい。
【００３３】
また、本実施の形態では、元画像３の画素Ｐｉの座標（Ｘｓ，Ｙｓ）から変形画像４の画像Ｑｉの座標（Ｘｄ，Ｙｄ）を特定するために、前式（１）の写像Ｆを用いているが、これに限定されない。例えば、以下に説明するような線形補間式を用いてもよい。
図７は、元画像の図形と変形画像の図形を示す図である。この図では、矩形状図形を略台形状図形に変形する例を示している。矩形状図形の各コーナ座標はそれぞれ時計周り順に（０，０）、（ｘ１，０）、（ｘ１，ｙ１）、（０，ｙ１）であり、略台形状図形の各コーナ座標はそれぞれ時計周り順に（ｘ３，ｙ３）、（ｘ１，０）、（ｘ１，ｙ１）、（ｘ４，ｙ４）である。両図形の右上コーナおよび右下コーナの座標は同一であるから、両図形の右辺は等長である。
したがって、図示の変形画像は、元画像の左辺側を上下に少し引き伸ばし、かつ、同左辺側を若干右に傾けたものであり、元画像と非相似の変形画像である。
【００３４】
このような変形画像において、その任意の画素Ｑの座標（Ｘｄ，Ｙｄ）は、次の二つの線形補間式（３）（４）によって特定することができる。
Ｘｄ＝［Ａ］＋［Ｂ］＋［Ｃ］−［Ｄ］ ……（３）
Ｙｄ＝［Ｅ］＋［Ｆ］−［Ｇ］＋［Ｈ］ ……（４）
但し、［Ａ］＝ｘ３
［Ｂ］＝（ｘ４−ｘ３）×Ｙｓ／ｙ１
［Ｃ］＝（ｘ１−ｘ３）×Ｘｓ／ｘ１
［Ｄ］＝（ｘ４−ｘ３）×Ｘｓ×Ｙｓ／ｘ１×ｙ１
［Ｅ］＝ｙ３
［Ｆ］＝（ｙ４−ｙ３）×Ｙｓ／ｙ１
［Ｇ］＝ｙ３×Ｘｓ／ｘ１
［Ｈ］＝（ｙ１＋ｙ３−ｙ４）×Ｘｓ×Ｙｓ／ｘ１×ｙ１
【００３５】
＜パノラマエディタへの応用＞
本発明は、先にも述べたように、非相似形の変形を行う画像変形装置に適用することができる。この種の画像変形装置としては、例えば、グラフィックデザイン用など様々のものが知られているが、その一つに、ディジタルカメラ等で撮影した画像の編集加工を行うエディタツールがあり、さらに、このエディタツールにはパノラマ写真の編集加工機能を搭載したもの（以下「パノラマエディタ」という）がある。
パノラマ写真とは、カメラを水平にパンさせて撮影した複数枚の画像をつなぎ合わせたものである。つなぎ合わせの部分に不自然さのないパノラマ写真を得るためには、正確な水平レベル合わせと、パン動作中のカメラの上下方向への動きを阻止する必要がある。このため、手持ち撮影では良好なパノラマ写真を得ることが困難で、撮影後におけるパノラマ写真の編集加工（特につなぎ部分の合わせ込み調整）は欠かせない。
【００３６】
以下、パノラマエディタについて説明する。
図８は、パノラマエディタ２１の構成図である。図において、パノラマエディタ２１は、オペレーティングシステムとアプリケーションプログラムソフトを実行してパノラマエディタに必要な各種機能を実現するＣＰＵ２２、ＣＰＵ２２のワークエリアとして動作するメモリ２３、オペレーティングシステムやアプリケーションプログラムソフトを格納するハードディスク２４、パノラマエディタの編集画面を表示するディスプレイ２５、不図示の他のハードウェアリソースとのインターフェースをとるＩ／Ｏ２６、キーボードやマウス等の入力装置２７およびバス２８などを含んで構成される。
なお、これらの構成は汎用のパーソナルコンピュータやワークステーション等（以下「パソコン」）におけるハードウェア構成に匹敵する。したがって、パノラマエディタ２１の典型的な実施例は、パノラマエディタに必要な各種機能を実現するためのアプリケーションプログラムソフトとパソコンとを組み合わせたものであるが、これに限定されない。上記構成と上記アプリケーションプログラムソフトとを有する電子機器であればよく、例えば、ディジタルカメラであってもよくまたはその他の画像処理機器であってもよい。
【００３７】
図９（ａ）は、パノラマエディタ２１の編集画面の表示例であり、この例では、三つの画像３２〜３４で構成されたパノラマ写真３１が表示されている。中央の画像３３と左隣の画像３２との間の重合部分および中央の画像３３と右隣の画像３４との間の重合部分は“ステッチ”と呼ばれており、重ね合わせを行うための同一画像の記録部分である。ステッチ幅は固定されていることもある。ステッチ幅固定のカメラを用いパノラマ撮影モードで１枚の画像を撮影すると、その右端のステッチ幅部分の画像が次の画像を撮影する際にモニター画面の左端に表示されるようになっており、スルー画像（構図調整用のモニター画像）をそのステッチ幅画像に重ね合わせることによって撮影時のつなぎ部分の大まかな調整を行えるようになっている。
【００３８】
ハッチングで示す中央の画像３３は選択中の画像（編集対象の画像）を示している。例えば、画像を選択したままドラッグすることにより、左右上下に移動できるようになっている。また、編集対象画像の四隅に設けられたコーナパッド３５〜３８（図１０参照）は、編集対象画像の非相似変形を行う際に用いられるものである。例えば、任意のコーナパッドをドラッグすると、そのドラッグ方向に画像が拡大または縮小されるようになっている。
【００３９】
図９（ｂ）は、左上のコーナパッド３５（または左下のコーナパッド３６）を上方向（または下方向）にドラッグしたときの選択画像３３の変形状態を示す図であり、コーナパッド３５（または３６）の動きに伴って、選択画像３３が徐々に変形しつつ表示されている。この変形表示の過程において、変形画像の表示更新が間に合わない場合、表示がギクシャクして操作感を損なうことになる。このパノラマエディタ２１は、以下に説明するように、前述の画像変形装置１０の原理を応用して変形画像の生成時間を短くしているので、かかる不都合を招くことはない。
【００４０】
図１１および図１２は、ＣＰＵ２２で実行するアプリケーションプログラムソフトのフローチャートである。このフローチャートを実行すると、まず、パノラマ画像を構成する複数の画像を読み込むためのファイル選択画面を表示し、ユーザによって選択された画像ファイルを読み込む（ステップＳ３１）。次に、各画像ファイルのステッチ情報から隣りの画像との重合部分を設定し（ステップＳ３２）、その重合部分を適用して編集画面にパノラマ写真（例えば、図９（ａ）のパノラマ写真３１参照）を表示する（ステップＳ３３）。
【００４１】
次に、イベントを検出するまで待機し（ステップＳ３４）、イベントを検出すると、そのイベントに対応した処理を実行する。例えば、画像のクリックイベントを検出すると画像選択処理を実行し（ステップＳ３５）、画像のドラッグイベントを検出すると選択画像の上下移動処理を実行し（ステップＳ３６）、コーナパッド３５〜３８のドラッグイベントを検出すると選択画像の変形編集処理を実行し（ステップＳ３７）、あるいは、不図示のメニュー選択イベント（画像の追加、挿入、削除、保存、再生、……、終了）を検出するとそのメニュー処理を実行する（ステップＳ３８〜４１）。
【００４２】
＜選択画像の変形編集処理＞
図１３は、選択画像の変形編集処理（ステップＳ３７参照）のフローチャートである。このフローチャートでは、まず、ドラッグ中であるか否かを判定し（ステップＳ５１）、ドラッグ中であれば変数ＷＤにステッチ幅の画素数ＷＤ１をセットし（ステップＳ５２）、そうでなければ変数ＷＤに選択画像の横方向画素数ＷＤ２をセットする（ステップＳ５３）。
【００４３】
次に、二つのループ変数（Ｙｓ、Ｘｓ）に０をセットして初期化（ステップＳ５４、ステップＳ５５）し、式「Ｙｓ＝＝ＨＴ」（ＨＴは選択画像３３の縦方向画素数；図９参照）を評価（ステップＳ５６）する。そして、評価結果がＦａｌｓｅの間、式「Ｘｓ＝＝ＷＤ」を評価（ステップＳ５７）し、そして、評価結果がＴｒｕｅであれば、Ｙｓを＋１（ステップＳ５８）した後、ステップＳ５５以降を実行する。
【００４４】
式「Ｘｓ＝＝ＷＤ」の評価結果がＦａｌｓｅの場合、元画像（選択画像３３）の座標（Ｘｓ，Ｙｓ）から変形画像の座標（Ｘｄ，Ｙｄ）を計算する（ステップＳ５９）。この計算には、前式（１）または前式（３）、（４）を用いることができる。座標（Ｘｄ，Ｙｄ）を計算すると、次に、座標（Ｘｄ，Ｙｄ）の画素を含む四つの画素に元画像の座標（Ｘｓ，Ｙｓ）の画素値を書き込んだ後（ステップＳ６０）、Ｘｓを＋１し（ステップＳ６１）、ステップ５７に戻る。
【００４５】
図１４は、座標（Ｘｄ，Ｙｄ）の画素を含む四つの画素の概念図であり、これら四つの画素〔（Ｘｄ，Ｙｄ）、（Ｘｄ＋１，Ｙｄ）、（Ｘｄ，Ｙｄ＋１）、（Ｘｄ＋１，Ｙｄ＋１）〕に元画像の座標（Ｘｓ，Ｙｓ）の画素値を書き込む。図１４の画素配列は、図３の上から２段目の画素配列に相当する。したがって、図１３のフローチャートは、前出の画像変形装置１０における横画素数比Ｗｒと縦画素数比Ｈｒを「２」に固定したものである。
【００４６】
元画像の対象画素（ドラッグ中はＷＤ１×ＨＴ個の画素、ドラック中でなければＷＤ２×ＨＴ個の画素）のすべてについて、ステップＳ５９の座標計算およびステップＳ６０の画素値書込みを完了すると、ステップＳ５６の式「Ｙｓ＝＝ＨＴ」の評価結果がＴｒｕｅとなり、変形後の選択画像３３を表示更新して（ステップＳ６２〜ステップＳ６５）、プログラムを終了する。
【００４７】
この表示更新処理においては、まず、左隣の画像３２と変形後の選択画像３３との重ね合わせを行い（ステップＳ６２）、次に、ドラッグ中であるか否かを判定（ステップＳ５３）してドラッグ中でなければ右隣の画像３４との重ね合わせを行った後（ステップＳ６４）、変形後のパノラマ画像３１を表示し（ステップＳ６５）、ドラッグ中であればそのまま変形後のパノラマ画像３１を表示する（ステップＳ６５）。
【００４８】
以上のようにしたから、このパノラマエディタ２１によれば、以下の効果が得られる。
（ａ）座標計算（ステップＳ５９）の繰返し回数を元画像の対象画素の数にすることができ、従来技術のように、変形画像の画素数だけ繰り返すものに比べて計算時間を短くすることができる。
（ｂ）ドラッグ中の場合は、座標計算（ステップＳ５９）の繰返し回数を元画像の一部の画素（ステッチ幅の画素）の数にすることができ、特にスムーズな画像の更新が求められるドラッグ中の操作感を改善することができる。
（ｃ）ドラッグ中の場合は、右隣の画像３４との重ね合わせ処理（ステップＳ６４）をパスするので、この点においてもスムーズな画像の更新が求められるドラッグ中の操作感を改善することができる。
【００４９】
＜付記＞
本実施の形態の主要な機能は、マイクロコンピュータを含むハードウェア資産と、ＯＳや各種プログラムなどのソフトウェア資産との有機的結合によって機能的に実現されるものであるが、ハードウェア資産およびＯＳは汎用のものを利用できるから、本発明にとって欠くことのできない必須の事項は、実質的に、図４または図１３のフローチャートで示すプログラムに集約されているということがいえる。したがって、本発明は、図４または図１３のフローチャートで示すプログラムのすべてまたはその要部を格納した、フロッピィディスク、光ディスク、コンパクトディスク、磁気テープ、ハードディスクまたは半導体メモリなどの記憶媒体若しくはこれらの記憶媒体を含む構成品（ユニット品や完成品または半完成品）を包含する。なお、上記記憶媒体または構成品は、それ自体が流通経路にのるものはもちろんのこと、ネットワーク上にあって記録内容だけを提供するものも含まれる。
【００５０】
【発明の効果】
本発明によれば、変形情報に基づいて画素座標を特定する演算処理は、元画像を構成する画素座標の個数に対応する回数だけ実行すればよく、他の補間画素の画素座標は、隣接関係によって容易に特定できるので、例えば、写像関数または線形補間式等を用いた画素座標の演算回数が実質的に元画像の画素数を超えることがなく、非相似変形を行う場合の処理を効率化することができ、例えば、変形途中の画像をリアルタイムに描画できるようになる。
【図面の簡単な説明】
【図１】画像変形装置のブロック図である。
【図２】元画像と変形画像の概念図である。
【図３】画素座標の特定と画素値設定の概念図である。
【図４】画像変形装置の全体的な動作を示すフローチャートである。
【図５】画素値設定処理のフローチャートである。
【図６】３×３個の画素に対する画素値設定の操作説明図である。
【図７】元画像の図形と変形画像の図形を示す図である。
【図８】パノラマエディタの構成図である。
【図９】パノラマエディタの編集画面の表示例を示す図である。
【図１０】コーナパッドを含む編集画面の要部拡大図である。
【図１１】ＣＰＵで実行するアプリケーションプログラムソフトのフローチャート（１／２）である。
【図１２】ＣＰＵで実行するアプリケーションプログラムソフトのフローチャート（２／２）である。
【図１３】選択画像の変形編集処理のフローチャートである。
【図１４】座標（Ｘｄ，Ｙｄ）の画素を含む四つの画素の概念図である。
【図１５】元画像１と変形画像２を示す概念図である。
【図１６】従来の画像変形処理（特に非相似変形を行うもの）のフローチャートである。
【符号の説明】
３元画像
４変形画像
５変形情報
１０画像変形装置
１１画像入力部
１２情報入力部
１３第１パラメータ生成部
１４第２パラメータ生成部
１５変形画像座標生成部（第１特定手段）
１６補間座標生成部（第２特定手段）
１７画素値設定部（画素値設定手段）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image deformation apparatus, and more particularly to an apparatus that uses a digital image as an original image and generates a non-similar deformed image of the original image.
[0002]
[Prior art]
Recently, with advances in digital signal processing and LSI technology, analog images such as television signals can be easily processed as digital images, and image compression and image editing can be performed freely. For example, one of image editing processes is “deformation”. This deformation process can be divided into “similar deformation” and “non-similar deformation”. The former generates a deformed image similar to the original image, and the latter generates a deformed image dissimilar to the original image.
Here, paying attention to the processing time of both, the processing time of the non-similar deformation is longer than that of the similar deformation. In the similar deformation, only the pixels in the horizontal and vertical directions of the original image need be thinned out or interpolated at a rate corresponding to the deformation rate, whereas in the non-similar deformation, all pixel information of the deformed image is obtained using a mapping function or the like. This is because it must be reproduced one by one.
[0003]
FIG. 15 is a conceptual diagram showing the original image 1 and the deformed image 2. The original image 1 and the deformed image 2 shown in the figure have a dissimilar relationship, and this relationship can be expressed as a mapping. Now, assuming that the coordinates of the arbitrary pixel P of the original image 1 are (Xs, Ys), the coordinates (Xd, Yd) of the pixel Q of the modified image 2 corresponding to the pixel P can be expressed by the following equation (1). it can.
(Xd, Yd) = F (Xs, Ys) (1)
F is a map, and the inverse map of map F is F ^-1 Then, the coordinates (Xs, Ys) of the pixel P of the original image 1 can be expressed by the following equation (2).
(Xs, Ys) = F ^-1 (Xd, Yd) (2)
[0004]
When generating the deformed image 2, the pixel coordinates (Xs, Ys) of the original image 1 corresponding to the pixel coordinates (Xd, Yd) are specified for all the pixels constituting the deformed image 2 using Equation (2). Then, the process of acquiring the pixel value and setting it to the pixel value of the coordinates (Xd, Yd) of the deformed image 2 is repeated. The number of repetitions is the number of pixels of the modified image 2. For example, if the number of horizontal pixels of the modified image 2 is Wd and the number of vertical pixels is Hd, the number of repetitions is Wd × Hd.
[0005]
FIG. 16 is a flowchart of conventional image deformation processing (particularly, for performing non-similar deformation). In this flowchart, first, the number of horizontal pixels and the number of vertical pixels of the deformed image 2 are set to variables Wd and Hd, respectively (step S1), and two loop variables Yd and Xd are set to 1 and initialized (step S1). After step S2 and step S3), the coordinates (Xs, Ys) of the original image 1 corresponding to the coordinates (Xd, Yd) of the deformed image 2 are specified using the previous equation (2) (step S4). Here, when Yd = 1 and Xd = 1, (Xd, Yd) is (1, 1).
[0006]
Next, the pixel value of the identified coordinates (Xs, Ys) of the original image 1 is set to the coordinates (Xd, Yd) of the deformed image 2 (step S5), Xd is incremented by 1 (step S6), and then the expression “ Xd == Wd ”(“ == ”is an equality operator; the same applies hereinafter) is evaluated (step S7). Then, while the evaluation result is False (“NO” in the flow), the loop of Step S4 to Step S7 is repeatedly executed while Xd is incremented by 1. Here, since Xd is a loop variable and Wd is the number of horizontal pixels of the deformed image 2, the expression “Xd == Wd” until the number of loops (Xd) reaches the number of horizontal pixels Wd of the deformed image 2. The evaluation result of “is maintained as False. Therefore, the number of executions of step S4 is Wd.
[0007]
On the other hand, when the number of executions of step S4 reaches Wd and the evaluation result of step S7 becomes True (“YES” in the flow), Yd is incremented by 1 (step S8), and then the expression “Yd == Hd” is obtained. Evaluation is performed (step S9), and if the evaluation result is false, Xd is initialized again and step S4 is repeatedly executed Wd times.
Here, Yd is a loop variable, and Hd is the number of pixels in the vertical direction of the deformed image 2. Therefore, until the number of loops (Yd) reaches the number of vertical pixels Hd in the deformed image 2, the expression “Yd == Hd The evaluation result of “is maintained as False. Therefore, the final number of executions of step S4 is Wd × Hd, that is, the number of times corresponding to the number of pixels of the deformed image 2.
[0008]
[Problems to be solved by the invention]
In the conventional image deformation process, it is necessary to repeat the above equation (2) as many times as the number of pixels of the deformed image 2. In general, since the previous equation (2) is a non-linear conversion, it takes time to calculate, and in particular, when the operation of non-similar deformation is performed while watching the display on the display, the update of the display may not be in time. There is a problem that an image in the middle of deformation cannot be drawn in real time, and the display of the image is accompanied by a tingling sensation.
Therefore, the problem to be solved by the present invention is to improve the efficiency of processing when performing non-similar deformation, and to render an image in the middle of deformation in real time.
[0009]
[Means for Solving the Problems]
The image deformation device according to the present invention is an image deformation device that deforms into an unsimilar deformed image using the original image, and the designated pixel coordinates on the original image based on deformation information indicating a deformation method of the original image. Adjacent to the pixel coordinates on the deformed image specified by the first specifying means and first specifying means for specifying the pixel coordinates on the deformed image corresponding to One or more Second specifying means for specifying pixel coordinates as interpolated pixel coordinates, pixel coordinates on the deformed image specified by the first specifying means, and the interpolated pixel coordinates specified by the second specifying means, A pixel value setting means for setting a pixel value of the designated pixel coordinate on the original image; and for each of a plurality of pixel coordinates constituting the original image, the first specifying means, the second specifying means, And a first control unit that sets a pixel value for each of a plurality of pixel coordinates constituting the modified image by executing processing by the pixel value setting unit.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
<Configuration of image transformation device>
FIG. 1 is a block diagram of the image deformation apparatus 10, and each block has the following functions. Each function may be realized by hardware logic such as a logic circuit, or may be realized by organic coupling of hardware resources such as a personal computer and software resources such as required application software programs.
[0011]
The image input unit 11 captures and holds the deformation target image (original image 3). The original image 3 is a digital image composed of n × m pixels, and each pixel has color and luminance information (only luminance in the case of monochrome), for example, graphic data such as a photograph or a bitmap image. It is.
The information input unit 12 captures and holds the deformation information 5 input by the user. The deformation information 5 is information indicating how to deform the original image 3. For example, when the original image 3 is simply enlarged / reduced (similar deformation), the enlargement ratio or the reduction ratio is used, but when complex deformation (non-similar deformation) is performed, information representing the mapping F of the original image 3 is used. is there.
[0012]
The first parameter generation unit 13 generates a first parameter group necessary for specifying the pixel coordinates of the deformed image 4. The first parameter group includes, for example, the number of horizontal pixels Ws and the number of vertical pixels Hs of the original image 3 and the number of horizontal pixels Wd and the number of vertical pixels Hd of the modified image 4 specified from the deformation information 5.
The second parameter generation unit 14 generates a second parameter group necessary for specifying the coordinates of the interpolation pixel of the deformed image 4. The second parameter group includes, for example, a ratio between the number of horizontal pixels Ws of the original image 3 and the number of horizontal pixels Wd of the modified image 4 (hereinafter referred to as “horizontal pixel number ratio Wr”) and the number of vertical pixels of the original image 3. This is a ratio of Hs to the number of vertical pixels Hd of the deformed image 4 (hereinafter referred to as “vertical pixel number ratio Hr”). However, the horizontal pixel number ratio Wr and the vertical pixel number ratio Hr are integer values that do not include values after the decimal point.
[0013]
The deformed image coordinate generation unit (first specifying unit) 15 generates the pixel coordinates of the deformed image 4 using the first parameter group. The generated pixel coordinates are pixel coordinates (Xd, Yd) corresponding to the pixel coordinates (Xs, Ys) of the original image 3, and the original image 3 is composed of n × m pixels. The image coordinate generation unit 15 generates n × m pixel coordinates (Xd, Yd) among all the pixels constituting the deformed image 4.
The interpolation coordinate generation unit (second specifying means) 16 generates the interpolation pixel coordinates of the deformed image 4 using the second parameter group. The generated interpolation pixel coordinates are pixel coordinates excluding n × m pixel coordinates (Xd, Yd) generated by the modified image coordinate generation unit 15 among all the pixels constituting the modified image 4. That is, (Wr × Hr) −1 interpolation pixel coordinates are generated for each pixel coordinate (Xd, Yd).
[0014]
The pixel value setting unit (pixel value setting unit) 17 sets pixel values to the pixel coordinates (Xd, Yd) generated by the deformed image coordinate generation unit 15 and the interpolation pixel coordinates generated by the interpolation coordinate generation unit 16. Then, the deformed image 4 is generated.
The modified image output unit 18 takes in the modified image 4 generated by the pixel value setting unit 17, converts it into a predetermined display format, and outputs it to the display unit 19. The display unit 19 is output from the modified image output unit 18. The deformed image 4 is displayed on the screen.
[0015]
<Operation of image deformation device>
FIG. 2 is a conceptual diagram of the original image 3 and the deformed image 4. For convenience, the original image 3 includes a rectangular figure 3a, and the deformed image 4 includes a substantially trapezoidal figure 4a that is a deformed figure of the rectangular figure 3a. That is, in the illustrated example, the deformed image 4 is an unsimilar image in which the left side of the original image 3 is stretched up and down.
Small squares in the original image 3 and the deformed image 4 each represent a pixel. Here, the horizontal pixel number Ws and the vertical pixel number Hs of the original image 3 shown in the figure are 10, and the horizontal pixel number Wd and the vertical pixel number Hd of the modified image 4 are 10 and 20, respectively. The horizontal pixel number ratio Wr of both is “1”, and the vertical pixel number ratio Hr is “2”.
[0016]
The image deformation device 10 specifies the pixel coordinates (Xd, Yd) of the deformed image 4 corresponding to the pixel coordinates (Xs, Ys) of the original image 3 using the previous equation (1), and the pixel coordinates (Xd, Yd). ), The pixel value of the pixel coordinate (Xs, Ys) of the original image 3 is set, and the same pixel value is also set to the interpolated pixel coordinate determined by the horizontal pixel number ratio Wr and the vertical pixel number ratio Hr. .
[0017]
FIG. 3 is a conceptual diagram of specifying pixel coordinates and setting pixel values. In FIG. 3, P1 to P4 are representative pixels constituting the original image 3, and Q1 to Q4 are pixels of the modified image 4 corresponding to the pixels P1, P2, P3, and P4 of the original image 3, respectively. That is, Q1 is a pixel of the modified image 4 corresponding to the pixel P1 of the original image 3, Q2 is a pixel of the modified image 4 corresponding to the pixel P2 of the original image 3, and Q3 corresponds to the pixel P3 of the original image 3. Q4 is a pixel of the deformed image 4 corresponding to the pixel P4 of the original image 3.
[0018]
The deformed image 4 has several interpolation pixels determined by the values of the horizontal pixel number ratio Wr and the vertical pixel number ratio Hr. For example, when Wr = 1 and Hr = 2, there is one interpolation pixel for each of Q1 to Q4, and when Wr = 2 and Hr = 2, three interpolation pixels for each of Q1 to Q4. When Wr = 2 and Hr = 3, there are 5 interpolated pixels for each of Q1 to Q4, and when Wr = 3 and Hr = 3, 8 for each of Q1 to Q4 Interpolated pixels. This relationship can be expressed as “having (I × J) −1 interpolation pixels for each of Q1 to Q4” when Wr = I and Hr = J.
[0019]
The image deformation device 10 specifies the coordinates (Xd, Yd) of the pixel Qi of the deformed image 4 corresponding to the pixel Pi (i is 1 to 4; the same shall apply hereinafter) of the original image 3 using the previous equation (1). In addition to setting the pixel value of the pixel Pi of the original image 3 to the pixel Qi, the interpolation pixel determined by the horizontal pixel number ratio Wr and the vertical pixel number ratio Hr (the hatched cell in the bold line in the figure) Set the same pixel value.
[0020]
FIG. 4 is a flowchart showing the overall operation of the image deformation apparatus 10. In this flowchart, first, each variable (Ws, Hs, Wd, Hd) of the first parameter group includes the number of horizontal pixels, the number of vertical pixels of the original image 3, the number of horizontal pixels and the number of vertical pixels of the modified image 4. Is set (step S11, step S12), and then the value of each variable (Wr, Hr) of the second parameter group is set based on the value of the first parameter group (step S13). Here, Wr is the horizontal pixel number ratio (Wd / Ws), and Hr is the vertical pixel number ratio (Hd / Hs). In this flowchart, an Int function (argument) is used to set Wr and Hr to integer values. Function that returns the integer part of the number specified in.
[0021]
Next, the two loop variables Ys and Xs are set to 1 and initialized (steps S14 and S15), and then the coordinates (Xs, Ys) of the pixel Pi of the original image 3 using the previous equation (1). The coordinates (Xd, Yd) of the pixel Qi of the deformed image 4 corresponding to are specified (step S16). Here, when Ys = 1 and Xs = 1, (Xs, Ys) is (1, 1).
Next, the pixel value of the coordinates (Xs, Ys) of the original image 3 is set to the pixel value variable G (step S17), and after executing “pixel value setting processing” (step S18) described later, Xs is increased by +1 ( In step S19), the expression “Xs == Ws” is evaluated (step S20). Then, while the evaluation result is False, the loop from Step S16 to Step S20 is repeatedly executed while adding Xs to +1.
Here, Xs is a loop variable, and Ws is the number of pixels in the horizontal direction of the original image 3. Therefore, until the number of loops (Xs) reaches the number of horizontal pixels Ws in the original image 3, the expression “Xs == Ws”. The evaluation result of “is maintained as False. Therefore, the number of executions of the loop including step S16 is Ws.
[0022]
On the other hand, when the number of executions of the loop including step S16 reaches Ws and the evaluation result in step S20 becomes True, Ys is incremented by +1 (step S21), and then the expression “Ys == Hs” is evaluated (step S22). If the evaluation result is False, Xs is initialized again and the loop including Step S16 is repeatedly executed Ws times.
Here, Ys is a loop variable, and Hs is the number of pixels in the vertical direction of the original image 3. Therefore, until the number of loops (Ys) reaches the number of vertical pixels Hs of the original image 3, the expression “Ys == Hs”. The evaluation result of “is maintained as False. Therefore, the final number of executions of the loop including step S16 is Ws × Hs, that is, the number of times corresponding to the number of pixels of the original image 3.
[0023]
Comparing the number of loops in the embodiment (Ws × Hs times) with the number of loops in the prior art (Wd × Hd times) in the beginning, the number of loops in the embodiment is clearly small, and the number of times nonlinear transformation is executed (formula ( The number of operations 1) can be reduced accordingly. This is because the pixel coordinates (Xs, Ys) of the original image corresponding to the pixel coordinates (Xd, Yd) of the deformed image are specified in the conventional technique at the beginning, whereas in the embodiment, conversely, the original image This is because the pixel coordinates (Xd, Yd) of the modified image corresponding to the pixel coordinates (Xs, Ys) are specified, and the number of computations can be reduced by the difference in the number of pixels between the original image and the modified image.
[0024]
By the way, when the pixel coordinates (Xd, Yd) of the modified image corresponding to the pixel coordinates (Xs, Ys) of the original image are specified, only the coordinates of Q1 to Q4 can be specified as shown in FIG. The coordinates of pixels (interpolated pixels) indicated by unhatched cells in the thick line must be specified by some method.
FIG. 5 is a flowchart of the “pixel value setting process” including the coordinate specification of the interpolation pixel, and this flowchart corresponds to step S18 of FIG. In this flowchart, first, two loop variables (y, x) are initialized by setting them to 0 (step S18a, step S18b), and then the value of the pixel value variable G is set to the coordinates (Xd + x, Yd + y) of the deformed image 4. Is set (step S18c). Here, the pixel value variable G is set with the pixel value of the coordinates (Xs, Ys) of the original image 3 (see step S17 in FIG. 4), and y = 0 and x = 0. The pixel value of the coordinates (Xs, Ys) of the original image 3 is set to the coordinates (Xd + 0, Yd + 0) of the image 4 (see FIG. 6).
[0025]
Next, x is incremented by 1 (step S18d), and the expression “x == Wr” is evaluated (step S18e). Then, while the evaluation result is False, x is incremented by 1 and the loop of Step S18c to Step S18e is repeatedly executed. When the evaluation result of the expression “x == Wr” becomes True in the loop, y is incremented by +1 ( Step S18f) and evaluate the expression “y == Hr” (Step S18g). If the evaluation result is False, x is initialized again, and the loop from Step S18c to Step S18e is repeatedly executed. On the other hand, when the evaluation result of the expression “y == Hr” becomes True, the flowchart is ended and FIG. Returning to step 4, step S19 and subsequent steps are executed.
[0026]
Here, the operation of the pixel value setting process will be specifically described. Now, assuming that Wr = 3 and Hr = 3, the pixel value setting operation for 3 × 3 pixels shown in FIG. 6 is performed by executing the flowchart of FIG. In FIG. 6, the pixels (Xd + 0, Yd + 0) indicated by hatching are the pixels Qi corresponding to the pixels Pi of the original image 3, and the other eight pixels [(Xd + 1, Yd + 0), (Xd + 2, Yd + 0), (Xd + 0, Yd + 1), (Xd + 1, Yd + 1), (Xd + 2, Yd + 1), (Xd + 0, Yd + 2), (Xd + 1, Yd + 2), (Xd + 2, Yd + 2)] are interpolation pixels.
[0027]
<When y = 0>
When x = 0, the pixel value of the coordinates (Xs, Ys) of the original image 3 is set to the coordinates (Xd + 0, Yd + 0) of the deformed image 4.
When x = 1, the pixel value of the coordinates (Xs, Ys) of the original image 3 is set to the coordinates (Xd + 1, Yd + 0) of the deformed image 4.
When x = 2, the pixel value of the coordinates (Xs, Ys) of the original image 3 is set to the coordinates (Xd + 2, Yd + 0) of the deformed image 4.
[0028]
<When y = 1>
When x = 0, the pixel value of the coordinates (Xs, Ys) of the original image 3 is set to the coordinates (Xd + 0, Yd + 1) of the deformed image 4.
When x = 1, the pixel value of the coordinates (Xs, Ys) of the original image 3 is set to the coordinates (Xd + 1, Yd + 1) of the deformed image 4.
When x = 2, the pixel value of the coordinates (Xs, Ys) of the original image 3 is set to the coordinates (Xd + 2, Yd + 1) of the deformed image 4.
[0029]
<When y = 2>
When x = 0, the pixel value of the coordinates (Xs, Ys) of the original image 3 is set to the coordinates (Xd + 0, Yd + 2) of the deformed image 4.
When x = 1, the pixel value of the coordinates (Xs, Ys) of the original image 3 is set to the coordinates (Xd + 1, Yd + 2) of the deformed image 4.
When x = 2, the pixel value of the coordinates (Xs, Ys) of the original image 3 is set to the coordinates (Xd + 2, Yd + 2) of the deformed image 4.
[0030]
<Set pixel value>
6, that is, the hatched pixel (Xd + 0, Yd + 0) and the other eight pixels [(Xd + 1, Yd + 0), (Xd + 2, Yd + 0), (Xd + 0, Yd + 1), ( Xd + 1, Yd + 1), (Xd + 2, Yd + 1), (Xd + 0, Yd + 2), (Xd + 1, Yd + 2), (Xd + 2, Yd + 2)] all have the same pixel value (pixel Pi of the original image 3) Pixel value). In other words, in the flowchart of FIG. 5, the pixel value of the pixel Pi of the original image 3 is set to be the same for the pixel Qi of the modified image 4 and several interpolation pixels.
[0031]
<Summary>
As described above, according to the image transformation device 10 of the present embodiment, the non-linear conversion process with a long calculation time, that is, the number of repetitions of the calculation process (formula (1)) in step S16 in FIG. Ws × Hs times corresponding to the number of pixels, and the number of repetitions (Wd × Hd times corresponding to the number of pixels of the deformed image 4) in the first prior art can be reduced.
Accordingly, it is possible to shorten the time from the input of the original image 3 and the deformation information 5 to the output of the deformation image 4 to the display unit 19 and to smoothly update the display of the image. A special beneficial effect of being able to perform simple drawing is obtained.
[0032]
This effect is realized when the number of pixels of the deformed image 4 (Wd × Hd) is larger than the number of pixels of the original image 3 (Ws × Hs). In other words, when the number of pixels of the original image 3 (Ws × Hs) is smaller than the number of pixels of the deformed image 4 (Wd × Hd), the number of repetitions of the arithmetic processing increases, which is counterproductive. In such a case, the prior art at the beginning may be applied. That is, after step S12 in FIG. 4, a step of determining the magnitude relationship between the number of pixels of the original image 3 (Ws × Hs) and the number of pixels of the modified image 4 (Wd × Hd) is added, and the determination result is “( When satisfying “Ws × Hs) <(Wd × Hd)”, step S13 and subsequent steps in FIG. 4 may be executed, and when not satisfying, step S2 and subsequent steps in FIG. 16 may be executed.
[0033]
Further, in the present embodiment, in order to identify the coordinates (Xd, Yd) of the image Qi of the deformed image 4 from the coordinates (Xs, Ys) of the pixel Pi of the original image 3, the mapping F of the previous formula (1) is used. Although used, it is not limited to this. For example, a linear interpolation formula as described below may be used.
FIG. 7 is a diagram showing a graphic of the original image and a graphic of the deformed image. This figure shows an example in which a rectangular figure is transformed into a substantially trapezoidal figure. The corner coordinates of the rectangular figure are (0, 0), (x1,0), (x1, y1), (0, y1) in the clockwise order, and the corner coordinates of the substantially trapezoid figure are clockwise. In order, (x3, y3), (x1, 0), (x1, y1), (x4, y4). Since the coordinates of the upper right corner and the lower right corner of both figures are the same, the right sides of both figures are of equal length.
Accordingly, the illustrated deformed image is a deformed image that is slightly similar to the original image, with the left side of the original image slightly stretched up and down and the left side slightly tilted to the right.
[0034]
In such a deformed image, the coordinates (Xd, Yd) of the arbitrary pixel Q can be specified by the following two linear interpolation equations (3) and (4).
Xd = [A] + [B] + [C]-[D] (3)
Yd = [E] + [F] − [G] + [H] (4)
However, [A] = x3
[B] = (x4-x3) × Ys / y1
[C] = (x1-x3) × Xs / x1
[D] = (x4-x3) × Xs × Ys / x1 × y1
[E] = y3
[F] = (y4-y3) × Ys / y1
[G] = y3 × Xs / x1
[H] = (y1 + y3−y4) × Xs × Ys / x1 × y1
[0035]
<Application to panorama editor>
As described above, the present invention can be applied to an image deformation apparatus that performs non-similar deformation. As this type of image transformation device, for example, various devices such as for graphic design are known, and one of them is an editor tool for editing and processing images taken with a digital camera or the like. Some editor tools have a panoramic photo editing function (hereinafter referred to as “panorama editor”).
A panoramic photograph is a combination of a plurality of images taken by panning the camera horizontally. In order to obtain a panoramic photo with no unnaturalness at the stitched portion, it is necessary to prevent accurate horizontal leveling and vertical movement of the camera during panning. For this reason, it is difficult to obtain a good panoramic photo by hand-held shooting, and editing of the panoramic photo after shooting (especially adjustment of the joining portion) is indispensable.
[0036]
Hereinafter, the panorama editor will be described.
FIG. 8 is a configuration diagram of the panorama editor 21. In the figure, a panorama editor 21 executes an operating system and application program software to realize various functions necessary for the panorama editor, a memory 23 that operates as a work area of the CPU 22, and a hard disk that stores the operating system and application program software. 24, a display 25 for displaying the editing screen of the panorama editor, an I / O 26 for interfacing with other hardware resources (not shown), an input device 27 such as a keyboard and a mouse, a bus 28, and the like.
Note that these configurations are comparable to the hardware configurations of general-purpose personal computers, workstations, etc. (hereinafter “PCs”). Therefore, a typical embodiment of the panorama editor 21 is a combination of application program software for realizing various functions required for the panorama editor and a personal computer, but is not limited thereto. Any electronic device having the above configuration and the above application program software may be used. For example, a digital camera or other image processing device may be used.
[0037]
FIG. 9A is a display example of the editing screen of the panorama editor 21. In this example, a panoramic photograph 31 composed of three images 32-34 is displayed. The overlapping portion between the central image 33 and the left adjacent image 32 and the overlapping portion between the central image 33 and the right adjacent image 34 are called “stitch” and are the same for superimposing. This is the recording part of the image. The stitch width may be fixed. When one image is shot in panoramic shooting mode using a camera with a fixed stitch width, the image of the stitch width portion on the right end is displayed on the left end of the monitor screen when the next image is shot. By superimposing a through image (a monitor image for composition adjustment) on the stitch width image, it is possible to roughly adjust the connecting portion at the time of photographing.
[0038]
A central image 33 indicated by hatching indicates a currently selected image (image to be edited). For example, it is possible to move left and right and up and down by dragging while selecting an image. Further, the corner pads 35 to 38 (see FIG. 10) provided at the four corners of the edit target image are used when performing dissimilar deformation of the edit target image. For example, when an arbitrary corner pad is dragged, the image is enlarged or reduced in the drag direction.
[0039]
FIG. 9B is a diagram showing a deformed state of the selected image 33 when the upper left corner pad 35 (or the lower left corner pad 36) is dragged upward (or downward), and the corner pad 35 (or The selected image 33 is displayed while being gradually deformed along with the movement of 36). In the process of the deformed display, if the display update of the deformed image is not in time, the display is jerky and the operational feeling is impaired. As will be described below, the panorama editor 21 shortens the generation time of the deformed image by applying the principle of the image deforming apparatus 10 described above, and thus does not cause such inconvenience.
[0040]
11 and 12 are flowcharts of application program software executed by the CPU 22. When this flowchart is executed, first, a file selection screen for reading a plurality of images constituting a panoramic image is displayed, and an image file selected by the user is read (step S31). Next, an overlap portion with the adjacent image is set from the stitch information of each image file (step S32), and the overlap portion is applied to the panorama photo (for example, see the panorama photo 31 in FIG. 9A). ) Is displayed (step S33).
[0041]
Next, the process waits until an event is detected (step S34). When an event is detected, a process corresponding to the event is executed. For example, when an image click event is detected, an image selection process is executed (step S35). When an image drag event is detected, a vertical movement process of the selected image is executed (step S36). When it is detected, the selected image is subjected to deformation editing processing (step S37), or when a menu selection event (not shown) (image addition, insertion, deletion, storage, playback,..., End) is detected, the menu processing is executed. (Steps S38-41).
[0042]
<Deformation editing processing of selected image>
FIG. 13 is a flowchart of the selected image deformation editing process (see step S37). In this flowchart, first, it is determined whether or not the drag is being performed (step S51). If the drag is being performed, the number of pixels WD1 of the stitch width is set in the variable WD (step S52), and if not, the variable WD is set. The number of horizontal pixels WD2 of the selected image is set (step S53).
[0043]
Next, initialization is performed by setting two loop variables (Ys, Xs) to 0 (steps S54 and S55), and the expression “Ys == HT” (HT is the number of pixels in the vertical direction of the selected image 33; FIG. Reference) is evaluated (step S56). Then, while the evaluation result is False, the expression “Xs == WD” is evaluated (Step S57). If the evaluation result is True, Ys is incremented by 1 (Step S58), and then Step S55 and subsequent steps are executed. .
[0044]
When the evaluation result of the expression “Xs == WD” is False, the coordinates (Xd, Yd) of the deformed image are calculated from the coordinates (Xs, Ys) of the original image (selected image 33) (step S59). In this calculation, the previous formula (1) or the previous formulas (3) and (4) can be used. When the coordinates (Xd, Yd) are calculated, the pixel values of the coordinates (Xs, Ys) of the original image are written in the four pixels including the pixel of the coordinates (Xd, Yd) (step S60), and then Xs is changed. +1 (step S61), and returns to step 57.
[0045]
FIG. 14 is a conceptual diagram of four pixels including a pixel of coordinates (Xd, Yd), and these four pixels [(Xd, Yd), (Xd + 1, Yd), (Xd, Yd + 1), (Xd + 1, Yd + 1). )] Is written with the pixel value of the coordinates (Xs, Ys) of the original image. The pixel array in FIG. 14 corresponds to the pixel array in the second stage from the top in FIG. Therefore, the flowchart of FIG. 13 is obtained by fixing the horizontal pixel number ratio Wr and the vertical pixel number ratio Hr to “2” in the image deformation apparatus 10 described above.
[0046]
When the coordinate calculation in step S59 and the pixel value writing in step S60 are completed for all target pixels of the original image (WD1 × HT pixels during dragging, WD2 × HT pixels if not dragging), step S56 is performed. The evaluation result of the equation “Ys == HT” becomes True, the selected image 33 after deformation is displayed and updated (steps S62 to S65), and the program ends.
[0047]
In this display update process, first, the image 32 adjacent to the left and the selected image 33 after deformation are superimposed (step S62), and then it is determined whether or not the drag is being performed (step S53). If it is not being dragged, it is superimposed on the image 34 on the right side (step S64), and then the modified panorama image 31 is displayed (step S65). Displayed (step S65).
[0048]
As described above, according to the panorama editor 21, the following effects can be obtained.
(A) The number of repetitions of the coordinate calculation (step S59) can be set to the number of target pixels of the original image, and the calculation time can be shortened compared to the case of repeating the number of pixels of the deformed image as in the prior art. it can.
(B) When dragging, the number of times the coordinate calculation (step S59) is repeated can be set to the number of partial pixels (stitch width pixels) in the original image, and dragging that requires particularly smooth image updating is possible. The operational feeling inside can be improved.
(C) When dragging, the superimposition process (step S64) with the image 34 on the right side is passed, so that in this respect as well, the operational feeling during dragging that requires smooth image updating can be improved. it can.
[0049]
<Appendix>
The main functions of this embodiment are functionally realized by organic coupling of hardware assets including a microcomputer and software assets such as an OS and various programs. Since general-purpose items can be used, it can be said that essential items essential to the present invention are substantially concentrated in the program shown in the flowchart of FIG. 4 or FIG. Therefore, the present invention is a storage medium such as a floppy disk, an optical disk, a compact disk, a magnetic tape, a hard disk, or a semiconductor memory, or a storage medium thereof, which stores all or the main part of the program shown in the flowchart of FIG. 4 or FIG. Including components (unit products, finished products, or semi-finished products). Note that the above-mentioned storage medium or component includes not only those which are themselves on the distribution channel but also those that are on the network and provide only the recorded contents.
[0050]
【The invention's effect】
According to the present invention, the calculation process for specifying the pixel coordinates based on the deformation information only needs to be executed the number of times corresponding to the number of pixel coordinates constituting the original image, and the pixel coordinates of the other interpolation pixels are adjacent to each other. For example, The number of pixel coordinate operations using mapping functions or linear interpolation formulas does not substantially exceed the number of pixels in the original image, and the processing for dissimilar deformation is made more efficient For example, you can The image in the middle of deformation can be drawn in real time.
[Brief description of the drawings]
FIG. 1 is a block diagram of an image transformation device.
FIG. 2 is a conceptual diagram of an original image and a modified image.
FIG. 3 is a conceptual diagram of specifying pixel coordinates and setting pixel values.
FIG. 4 is a flowchart showing an overall operation of the image transformation apparatus.
FIG. 5 is a flowchart of a pixel value setting process.
FIG. 6 is an operation explanatory diagram of pixel value setting for 3 × 3 pixels.
FIG. 7 is a diagram illustrating a graphic of an original image and a graphic of a deformed image.
FIG. 8 is a configuration diagram of a panorama editor.
FIG. 9 is a diagram illustrating a display example of an editing screen of the panorama editor.
FIG. 10 is an enlarged view of a main part of an editing screen including a corner pad.
FIG. 11 is a flowchart (1/2) of application program software executed by a CPU.
FIG. 12 is a flowchart (2/2) of application program software executed by the CPU.
FIG. 13 is a flowchart of selected image deformation editing processing;
FIG. 14 is a conceptual diagram of four pixels including a pixel at coordinates (Xd, Yd).
FIG. 15 is a conceptual diagram showing an original image 1 and a modified image 2;
FIG. 16 is a flowchart of conventional image deformation processing (particularly, for performing non-similar deformation).
[Explanation of symbols]
3 Original image
4 Modified images
5 deformation information
10 Image deformation device
11 Image input section
12 Information input section
13 First parameter generator
14 Second parameter generator
15 Deformed image coordinate generation unit (first specifying means)
16 Interpolated coordinate generator (second specifying means)
17 Pixel value setting unit (pixel value setting means)

Claims

In an image transformation device that transforms into an unsimilar deformed image using an original image,
First specifying means for specifying a pixel coordinate on the deformed image corresponding to a designated pixel coordinate on the original image based on deformation information indicating a deformation method of the original image;
Second specifying means for specifying one or more pixel coordinates adjacent to the pixel coordinates on the deformed image specified by the first specifying means as interpolated pixel coordinates;
The pixel value of the specified pixel coordinate on the original image is set with respect to the pixel coordinate on the deformed image specified by the first specifying unit and the interpolation pixel coordinate specified by the second specifying unit. Pixel value setting means for
A plurality of pixels constituting the deformed image by causing the first specifying means, the second specifying means, and the pixel value setting means to perform processing on each of a plurality of pixel coordinates constituting the original image. First control means for setting pixel values for each of the coordinates;
An image deformation apparatus comprising:

In an image deformation method for deforming into an unsimilar deformed image using an original image,
A first step of specifying pixel coordinates on the modified image corresponding to designated pixel coordinates on the original image based on deformation information indicating a deformation method of the original image;
A second step of specifying one or more pixel coordinates adjacent to the pixel coordinates on the deformed image specified by the first step as interpolated pixel coordinates;
A pixel value of the designated pixel coordinate on the original image is set with respect to the pixel coordinate on the deformed image specified by the first step and the interpolated pixel coordinate specified by the second step. 3 steps,
For each of the plurality of pixel coordinates constituting the original image, the process of the first step, the second step, and the third step is repeatedly executed, whereby the plurality of pixel coordinates constituting the modified image are determined. A fourth step of setting pixel values for each;
An image deformation method comprising:

The second specifying means determines the number of pixel coordinates adjacent to the pixel coordinates on the deformed image specified by the first specifying means based on a pixel number ratio between the original image and the converted image; 2. The image transformation device according to claim 1, wherein the determined number of adjacent pixel coordinates are specified as the interpolation pixel coordinates.

The second specifying means is a plurality of pixel coordinates located in one of the left and right directions and in one of the up and down directions with respect to the pixel coordinates on the deformed image specified by the first specifying means. The image transformation device according to claim 1, wherein: is specified as the interpolation pixel coordinate.

Third specifying means for specifying pixel coordinates on the original image corresponding to designated pixel coordinates on the deformed image based on deformation information indicating a deformation method of the original image;
For each of a plurality of pixel coordinates constituting the deformed image, a plurality of pixel coordinates constituting the deformed image are set by setting pixel values of the pixel coordinates on the original image specified by the third specifying means. Second control means for setting pixel values for each of
Determination means for determining a magnitude relationship of the number of pixels between the original image and the converted image;
When the determination unit determines that the number of pixels of the converted image is larger, the first control unit sets a pixel value for each of a plurality of pixel coordinates constituting the modified image, and the determination unit When it is determined that the number of pixels of the converted image is smaller, the second control means includes third control means for setting pixel values for each of a plurality of pixel coordinates constituting the modified image. The image transformation apparatus according to claim 1.

Image input means for capturing and holding the original image;
Deformation information input means for capturing and holding the deformation information input by the user;
With
The first control means transforms the original image captured by the image input means into a deformed image based on the deformation information in response to the deformation information being captured by the deformation information input means. The image deformation device according to claim 1.

The image input means captures and holds a plurality of images constituting a panoramic photo,
The deformation information input unit displays an original image to be deformed from the plurality of images to the user on an editing screen displayed so that a part of the plurality of images captured by the image input unit is overlapped. In addition to the selection, the transformation information specified by the transformation operation of the user for the selected original image is captured,
The first control unit transforms the selected original image into a sequentially deformed image according to the deformation operation of the user, and updates the display of the original image on the editing screen to a deformed image that is sequentially deformed. The image transformation device according to claim 6.

The shape of the original image is a rectangle,
The image deforming apparatus according to claim 1, wherein the deforming operation of the user is a deforming operation for changing a corner position in the original image having a rectangular shape by a drag operation.

The first control unit includes the first specifying unit, the second specifying unit, and the pixel only for the image portion corresponding to the overlapping portion in the original image during the drag operation by the user. 9. The image deformation apparatus according to claim 7, wherein a process by a value setting unit is executed to set a pixel value of a pixel coordinate corresponding to the image portion in the deformed image.

First specifying means for specifying pixel coordinates on the deformed image corresponding to designated pixel coordinates on the original image based on deformation information indicating a deformation method of the original image;
Second specifying means for specifying one or more pixel coordinates adjacent to the pixel coordinates on the deformed image specified by the first specifying means as interpolated pixel coordinates;
The pixel value of the specified pixel coordinate on the original image is set with respect to the pixel coordinate on the deformed image specified by the first specifying unit and the interpolation pixel coordinate specified by the second specifying unit. Pixel value setting means for
A plurality of pixels constituting the deformed image by causing the first specifying means, the second specifying means, and the pixel value setting means to perform processing on each of a plurality of pixel coordinates constituting the original image. First control means for setting pixel values for each of the coordinates;
A recording medium storing a program for realizing the above.