JP4561302B2 - 撮影装置、撮影装置の画像処理方法及びプログラム - Google Patents

Description

本発明は、撮影装置、撮影装置の画像処理方法及びプログラムに関するものである。

近年、撮影装置として、ユーザが原稿台に載置した原稿をカメラで撮影して、カメラで撮影した原稿の画像データを記憶して画像処理を行い、プロジェクタを用いてスクリーン上に原稿の画像を拡大して投影するものがある（例えば、特許文献１参照）。

図２４（ａ）、（ｂ）に示すように、この撮影装置の支柱５２は、カメラ部５１の向きを変えることができるように可動式になっている。図２４（ａ）に示すように、カメラ部５１が原稿台５３の真上に配置されて、原稿台５３に載置された原稿（用紙）が撮影されると、図２５（ａ）に示すような画像が得られる。

ライトの映り込みがある場合は、図２４（ｂ）に示すように、カメラ部５１が少し斜め上方向に配置される。このようにカメラ部５１が配置されて原稿台５３に載置された原稿が撮影されると、図２５（ｂ）に示すような画像が得られる。

撮影装置は、図２５（ａ）又は図２５（ｂ）に示すような撮影画像から、図２５（ｃ）に示すような原稿に対応する原稿画像を生成する。撮影によって得られた原稿画像が歪んでいる場合、撮影装置は、台形歪み補正を行う。台形歪み補正は、図２５（ａ）又は図２５（ｂ）に示すような撮影画像から、原稿画像を切り出して、原稿画像の輪郭によって特定される形状としての台形が矩形になるように画像変換することにより行われる。

この撮影装置は、原稿が長方形であることを利用して、抽出された原稿画像の輪郭の４点の頂点座標から射影補正パラメータを求め、この射影補正パラメータを用いて正面補正画像への補正を行う。即ち、従来の撮影装置は、原稿が長方形であって、原稿の形状を取得できることを前提に射影補正パラメータを求めている。さらに、原稿画像が傾いている場合、従来の撮影装置は、射影補正パラメータを用いて正面補正画像への補正を行った後、この射影補正画像から回転補正パラメータを取得して原稿画像の回転補正を行う。
特開２００２−３５４３３１号公報（第２−３頁、図１）

しかし、回転補正パラメータは、原稿の傾きを示すものであり、原稿画像に対して射影補正を行い、射影補正画像を取得してから回転補正を行っていたのでは、画像処理に時間を要することになる。

本発明は、このような従来の問題点に鑑みてなされたもので、画像処理に要する時間を短縮することが可能な撮影装置、撮影装置の画像処理方法及びプログラムを提供することを目的とする。

この目的を達成するため、本発明の第１の観点に係る撮影装置は、
台座に載置された原稿を前記台座とともに撮影する撮影装置において、
前記原稿を前記台座とともに撮影する撮影部と、
前記撮影部が撮影した撮影画像から、歪み補正と傾き補正を行った補正後原稿画像を取得する画像処理部と、を備え、
前記画像処理部は、
前記撮影部の撮影によって得られた撮影画像から台座画像の形状を取得し、取得した前記台座画像の形状を前記台座の形状に補正するための射影補正パラメータを取得する射影補正パラメータ取得部と、
前記撮影画像中の前記原稿の輪郭によって形成された直線である原稿画像の直線を取得する原稿画像直線取得部と、
前記原稿画像直線取得部が取得した原稿画像の直線を前記射影補正パラメータ取得部が取得した射影補正パラメータを用いて射影変換し、射影変換後の原稿画像直線と射影変換後の台座画像の輪郭によって形成される台座画像直線との傾き角度を取得する傾き角度取得部と、
前記傾き角度取得部が取得した傾き角度に基づいて、前記原稿画像の回転補正を行うための回転補正パラメータを取得する回転補正パラメータ取得部と、
前記射影補正パラメータ取得部が取得した射影補正パラメータと前記回転補正パラメータ取得部が取得した回転補正パラメータとに基づいて、前記撮影画像に含まれている前記原稿画像の画像変換を行い、前記補正後原稿画像を取得する原稿画像取得部と、を備えた、ことを特徴とする。

前記傾き角度取得部は、数１〜数３に示す関係式に従って射影変換後の原稿画像直線と射影変換後の台座画像直線との傾き角度を取得するようにしてもよい。

本発明の第２の観点に係る撮影装置の画像処理方法は、
台座に載置された原稿を前記台座とともに撮影する撮影装置の画像処理方法であって、
前記原稿を前記台座とともに撮影することによって得られた撮影画像から台座画像の形状を取得し、取得した前記台座画像の形状を前記台座の形状に補正するための射影補正パラメータを取得するステップと、
前記撮影画像中の前記原稿の輪郭によって形成された直線である原稿画像の直線を取得するステップと、
前記取得した原稿画像直線を前記取得した射影補正パラメータを用いて射影変換し、射影変換した原稿画像直線と射影変換後の台座画像の輪郭によって形成される台座画像直線との傾き角度を取得するステップと、
前記取得した傾き角度に基づいて、前記原稿画像の回転補正を行うための回転補正パラメータを取得するステップと、
前記取得した射影補正パラメータと前記取得した回転補正パラメータとに基づいて、前記撮影画像に含まれている前記原稿画像の画像変換を行い、歪み補正と傾き補正を行った補正後原稿画像を取得するステップと、を備えたことを特徴とする。

本発明の第３の観点に係るプログラムは、
コンピュータに、
原稿を台座とともに撮影することによって得られた撮影画像から台座画像の形状を取得し、取得した前記台座画像の形状を前記台座の形状に補正するための射影補正パラメータを取得する手順、
前記撮影画像中の前記原稿の輪郭によって形成された直線である原稿画像の直線を取得する手順、
前記取得した原稿画像直線を前記取得した射影補正パラメータを用いて射影変換し、射影変換した原稿画像直線と射影変換後の台座画像の輪郭によって形成される台座画像直線との傾き角度を取得する手順、
前記取得した傾き角度に基づいて、前記原稿画像の回転補正を行うための回転補正パラメータを取得する手順、
前記取得した射影補正パラメータと前記取得した回転補正パラメータとに基づいて、前記撮影画像に含まれている前記原稿画像の画像変換を行い、歪み補正と傾き補正を行った補正後原稿画像を取得する手順、
を実行させるためのものである。

本発明によれば、画像処理に要する時間を短縮することができる。

以下、本発明の実施形態に係る撮影装置を図面を参照して説明する。

本実施形態に係る撮影の構成を図１に示す。
撮影装置は、書画カメラ１と、プロジェクタ２と、を備える。書画カメラ１とプロジェクタ２とは、ビデオ映像ケーブル３１を介して接続される。

書画カメラ１は、撮影対象を撮影するためのカメラシステムであり、カメラ部１１と、支柱１２と、台座１３と、を備える。カメラ部１１は、原稿４を撮影するためのものである。カメラ部１１には、デジタルカメラが用いられる。支柱１２は、カメラ部１１を取り付けるためのものである。台座１３は、支柱１２を支えるためのものである。

この書画カメラ１は、各辺の長さが既知の基準長方形の取得が可能な被写体を撮影し、被写体の基準長方形とこの被写体の画像の長方形とを比較して射影補正パラメータを取得することにより、原稿画像を正面補正画像に正しく補正する機能を有している。この機能を実現するための構成については、後述する。

また、この書画カメラ１は、図２に示すように、画像データ生成部２１と、データ処理部２２と、からなる。画像データ生成部２１は、原稿４を撮影して得られた原稿画像のデータを取り込むためのものである。

データ処理部２２は、画像データ生成部２１から、撮影対象の画像データを取得して、プロジェクタ２に出力するための画像の処理を行うものである。

尚、画像データ生成部２１とデータ処理部２２とは、図１に示すカメラ部１１に備えられてもよいし、画像データ生成部２１、データ処理部２２が、カメラ部１１に備えられてもよい。

画像データ生成部２１は、光学レンズ装置１０１と、イメージセンサ１０２と、から構成される。
光学レンズ装置１０１は、原稿４を撮影するために、光を集光するレンズなどで構成されたものであり、焦点、露出、ホワイトバランス等のカメラ設定パラメータを調整するための周辺回路を備える。

イメージセンサ１０２は、光学レンズ装置１０１が光を集光することによって結像した画像を、デジタル化した画像データとして取り込むためのものであり、ＣＣＤ等によって構成される。

また、画像データ生成部２１は、高解像度画像撮影と低解像度画像撮影が可能なものである。低解像度画像撮影は、例えば、画像解像度がＸＧＡ（１０２４×７６８ドット）程度での撮影である。低解像度画像撮影では、解像度は低いものの、画像を３０fps（フレーム/秒）の速さで動画撮影と画像読み出しが可能になる。

一方、高解像度画像撮影は、撮影可能な最大の画素数、例えば４００万画素（２３０４×１７２８）のカメラである場合はその４００万画素での画像撮影である。高解像度画像撮影では、画像データの読み取りは遅くなるものの、低解像度画像撮影と比較して解像度の高い画像が得られる。

データ処理部２２は、メモリ２０１と、ビデオ出力装置２０２と、画像処理装置２０３と、操作部２０４と、支柱傾き変化検出部２０５と、プログラムコード記憶装置２０６と、ＣＰＵ２０７と、から構成される。

メモリ２０１は、画像データ、各種フラグの値、閾値等を記憶するものである。メモリ２０１は、これらのデータが書き込まれる領域として、図３に示すように、センサ画像記憶領域２０１ａ１，２０１ａ２と、処理画像記憶領域２０１ｂと、表示画像記憶領域２０１ｃと、作業データ記憶領域２０１ｄと、閾値記憶領域２０１ｅと、を有する。

センサ画像記憶領域２０１ａ１，２０１ａ２は、イメージセンサ１０２が取り込んだ画像データを、撮影する毎に交互に一時記憶するための領域である。イメージセンサ１０２は、画像データをセンサ画像記憶領域２０１ａ１，２０１ａ２に交互に記憶し、画像処理装置２０３、ＣＰＵ２０７は、一時記憶された画像データをセンサ画像記憶領域２０１ａ１，２０１ａ２から交互に読み出す。

処理画像記憶領域２０１ｂは、画像処理装置２０３が処理に必要な画像データを書き込むための領域である。作業データ記憶領域２０１ｄは、座標データ、各種フラグを記憶するための領域である。閾値記憶領域２０１ｅは、各種判定に用いる閾値を記憶するための領域である。

図２に戻り、ビデオ出力装置２０２は、メモリ２０１の表示画像記憶領域２０１ｃに記憶された画像データに基づいてＲＧＢ信号を生成するものである。ビデオ出力装置２０２は、生成したＲＧＢ信号をプロジェクタ２に出力する。

画像処理装置２０３は、ＣＰＵ２０７に制御されて、メモリ２０１のセンサ画像記憶領域２０１ａ１，２０１ａ２に一時記憶された画像データに対して画像処理を行うためのものである。画像処理装置２０３は、上記書画カメラ１の機能を実現するため、以下のような画像処理を行う。

単機能画像処理
（１）縮小画像の作成処理
（２）２値エッジ画像の作成処理
（３）矩形取得処理
（４）画像の動き検出処理
（５）画像の圧縮処理
（６）画像変換処理
複合機能処理
（７）射影補正パラメータ取得処理
（８）回転補正パラメータ取得処理
（９）動画投影処理
（１０）静止画投影処理

（１）〜（６）の処理は、単機能の画像処理であり、（７）〜（１０）の処理は、（１）〜（６）のうちのいくつかの画像処理機能を組み合わせた複合機能処理である。この（１）〜（１０）までの処理を具体的に説明する。

（１）縮小画像の作成処理
縮小画像の作成処理は、元画像からいくつかの近傍の画素（画素値）を平均化して縮小画像の画素を求め、画素数を減らした（輝度）縮小画像を作成する処理である。この処理は、画像の動き検出処理、射影パラメータ取得処理、回転補正パラメータ取得処理において実行される処理である。

画像処理装置２０３は、元画像からいくつかの近傍の画素の平均化を行うことによって画素数を減らした縮小画像を作成する。
元画像のサイズが（Xbmax,Ybmax）で縮小画像のサイズが（Xsmax,Ysmax）である場合、縮小画像の画素ｑ(k,l) (1≦k≦Xsmax, 1≦l≦Ysmax)は、次の数４に従い、元画像p(x,y)の周辺近傍９点の平均で求められる。尚、縮小画像ｑ(k,l)は、縮小画像の座標(k,l)における画素の画素値を表す。

例えば、元画像がＸＧＡ（１０２４×７６８）の画像であり、縮小画像が１７万画素の画像（４８０×３６０）であるときは、Xbmax＝1024，Ybmax＝768，Xsmax＝480，Ysmax＝360として縮小画像ｑ(k,l)が計算される。

（２）２値エッジ画像の作成処理
２値エッジ画像の作成処理は、生成した縮小画像から、エッジを検出し、縮小画像の輪郭によって形成されるエッジ画像を作成する処理である。例えば、撮影画像が図４（ａ）に示すような撮影画像１１ａの場合、画像処理装置２０３は、２値エッジ画像の作成処理を実行することにより、図４（ｂ）に示すような２値エッジ画像１１ｂを取得する。この処理は、射影パラメータ処理、矩形取得処理において実行される処理である。

エッジ画像を作成するには、例えば、Ｒｏｂｅｒｔｓフィルタと呼ばれるエッジ検出用のフィルタを用いる。このＲｏｂｅｒｔｓフィルタとは、２つの４近傍画素の重み付けを行って２つのフィルタΔ１、Δ２を取得し、平均化することによって、画像のエッジを検出するフィルタである。

ある着目した座標（x,y）の画素の画素値ｆ(x,y）にＲｏｂｅｒｔｓフィルタを適用すると、変換後の画素値ｇ(x,y）は、次の数５によって表される。

画像処理装置２０３は、このようにして得られたエッジ画像を２値化する。画像処理装置２０３は、画素値ｇ(x,y）を予め設定された閾値g_thと比較することにより、エッジ画像の２値化を行う。

閾値g_thは、固定値であってもよいし、可変閾値法等の方法によって求められた可変値であってもよく、メモリ２０１の閾値記憶領域２０１ｅに予め記憶される。画像処理装置２０３は、数５に基づいて得られたエッジ画像の画素値ｇ（x,y）から、次の数６を用いて２値エッジ画像の座標(x,y)における画素値ｈ(x,y)を求める。

（３）矩形取得処理
矩形取得処理は、撮影画像に含まれる矩形形状を取得する処理であり、回転補正パラメータ取得処理において、この処理を実行し、原稿画像の輪郭によって特定される矩形形状を取得する。

画像処理装置２０３は、マスキングを行うように指定されている場合、図４（ｃ）に示すようなマスキング画像ｍを用いてマスキング処理を行う。尚、画像処理装置２０３は、このマスキング画像ｍを、後述する射影補正パラメータ取得処理において作成する。

マスキング処理を行う場合、画像処理装置２０３は、２値エッジ画像の作成処理において得られた２値画像とこのマスキング画像ｍとの論理積演算を行い、マスキング領域内の原稿画像の切り出しを行う。そして、画像処理装置２０３は、図４（ｄ）に示すような２値画像１１ｃを取得する。

一方、マスキングを行うような指定がない場合、画像処理装置２０３は、マスキングを行わずに、矩形形状を取得する。

画像処理装置２０３は、矩形形状を取得するため、２値エッジ画像の作成処理において生成した２値エッジ画像に対し、ハフ変換を行い、原稿画像の輪郭を形成する直線を検出する。

ハフ変換とは、図５（ａ）に示すようなＸ−Ｙ平面上の直線を構成する点を、次の数７によって表される図５（ｂ）に示すようなρ-θ平面上に投票して、ρ-θ平面上の投票数に変換する変換手法である。

具体的には ２値エッジ画像を走査し、０°≦θ＜１８０°の範囲で、順次、エッジが検出された画素(x,y)を数７に代入し、各角度θにおける投票数ρの計算を行い、投票箱(ρ,θ)に投票する。角度θが１８０°までとしたのは、この範囲で全ての直線の検出が可能であって、１８０°≦θ＜３６０°までの間は、０°≦θ＜１８０°の範囲のρが負の値で一致するからである。

各点の座標（ｘ、ｙ）において角度θを０から１８０°まで変化させた場合、同一直線はρ-θ平面では一点で表される。このため、投票数ρの多いρ-θ座標を直線と判断することができる。この際、投票数ρは、直線上のピクセル数になるため、直線の長さとみなすことができる。したがって、投票数ρの極端に少ないρ-θ座標は、短い直線を表し、直線の候補から除外される。

原稿４又は台座１３のような撮影対象の中心が画像の中心近辺に位置する場合、実際に撮影される撮影対象（四角形）の各辺は、上下左右に存在することになる。この場合、上辺下辺はθ＝９０°を中心に存在し、左右の辺は０°または１８０°を中心に存在することになる、この理由から、ρ-θ平面上の投票箱は０°≦θ＜１８０°の範囲で作成するよりは、６０°≦θ＜１２０°、および、１５０°≦θ＜２１０°の範囲で作成した方が効率的であり実用的である。

また、投票数ρの値が正の値か負の値かによって、辺の上下、または辺の左右を特定することが可能である。さて、このようにして作成された投票箱は数８によって表される。

従って、撮影対象の中心が画像の中心近辺に位置する場合、数８に示す範囲内で投票数ρを検索することによって、撮影対象の輪郭を構成する辺をより効率的に選択することが可能となる。

画像処理装置２０３は、投票数ρに対して予め閾値を設定し、数８に示す各辺の範囲内でこの閾値以上である直線（ρ、θ）を探し、各辺の候補リストを作成する。画像処理装置２０３は、その候補の中から、｜ρ|が最大となる直線を、撮影対象の輪郭を構成する辺による直線として、この直線を取得する。

画像処理装置２０３は、このようにして得られた上辺、下辺、左辺、右辺のそれぞれの輪郭候補の有無を調べ、輪郭の直線情報（ρ、θ）からなる輪郭情報を作成して矩形取得処理を行う。

（４）画像の動き検出処理
画像の動き検出処理は、撮影された被写体の動きを検出する処理である。画像処理装置２０３は、この動きの検出を画像変化量ＭＤに基づいて行う。この画像変化量ＭＤは、新たに撮影した画像が前回撮影した時の画像と比較してどれぐらい変化したかを示す量である。画像処理装置２０３は、次の数９に基づいて、画像変化量ＭＤを求める。

尚、全画素の総和を求めるには、計算量が多いので、画像処理装置２０３は、いくつかの画素を抜き出して画像変化量ＭＤを求めるようにしてもよい。

画像処理装置２０３は、被写体の動きを検出するため、この画像変化量ＭＤと予め設定された閾値MD_thとを比較する。閾値MD_thは、この判定を行うために予め設定されたものであり、メモリ２０１は、この閾値MD_thを閾値記憶領域２０１ｅに記憶する。

原稿４等を差し替えている場合、撮影画像は変化して、画像変化量ＭＤは大きくなる。画像変化量ＭＤが閾値MD_thを越えた場合、画像処理装置２０３は、撮影された被写体に動きがあったことを検出する。

一方、原稿４の載置が終了して原稿４の投影が行われようとしている場合、画像変化量ＭＤは、原稿４等を差し替えている場合と比較して小さくなる。画像変化量ＭＤが閾値MD_th以下となった場合、画像処理装置２０３は、撮影された被写体に動きがないことを検出する。

画像処理装置２０３は、動きの有無に基づいて、動きの検出結果を示す動き検出結果フラグのフラグ値をセット又はリセットする。即ち、画像変化量ＭＤが閾値MD_thを越えた場合、画像処理装置２０３は、撮影された被写体に動きがあったことを示すため、動き検出結果フラグのフラグ値をセットする。

一方、画像変化量ＭＤが閾値MD_th以下の場合、画像処理装置２０３は、撮影された被写体に動きがなかったことを示すため、動き検出結果フラグのフラグ値をリセットする。画像処理装置２０３は、動き検出結果フラグのセット又はリセットしたフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記録する。

（５）画像の圧縮処理
画像の圧縮処理は、静止画処理において補正した画像の画像データを、プロジェクタ２に送り出すために圧縮する処理である。
画像処理装置２０３は、メモリ２０１の表示画像記憶領域２０１ｃに記憶されている画像データに対してＪＰＥＧ画像圧縮を行い、画像データを圧縮する。画像処理装置２０３は、圧縮した画像データをメモリ２０１の表示画像記憶領域２０１ｃに書き込む。

（６）画像変換処理
画像変換処理は、切り抜いた原稿画像に対して、射影補正、回転補正、ズーム処理を行う処理である。画像処理装置２０３は、抽出した矩形の４つの頂点に基づいて、撮影画像から原稿画像を切り抜く。通常、補正を行わずに切り抜かれた原稿画像は歪んだものになる。

画像処理装置２０３は、切り抜いた原稿画像に対し、後述する各処理において取得した射影補正パラメータ、回転補正パラメータ、ズームパラメータに基づいて画像変換処理を行い、補正後原稿画像を取得する。

射影補正処理は、切り取った原稿画像を射影変換することにより、原稿画像の歪みを補正する処理である。画像処理装置２０３は、この歪みを補正するため、画像の空間変換に幅広く応用されているアフィン変換を用いる。本実施形態では、原稿画像の回転補正、画像の拡大、縮小処理にもこのアフィン変換を用いる。

画像処理装置２０３は、原稿画像等の元画像から、射影補正画像とのアフィン変換の関係を示すアフィンパラメータＡを抽出し、この変換Ａを用いて、求める射影補正画像の各画素Ｐ(u,v)に対応する元画像の画素点ｐ(x,y)を求めることによって射影補正を行う。

次に、このアフィン変換についての基本的な考え方（実現方法）を説明する。
画像の空間変換にアフィン変換が幅広く応用されている。本実施形態では、３次元のカメラパラメータを用いずに２次元アフィン変換を用いて射影変換を行う。変換前の座標(u,v）の点は、移動、拡大縮小、回転などの変換が行われることによって変換後の座標(x,y)になる。変換前の座標(u,v）と変換後の座標(x,y)とは、次の数１０によって関係付けられる。射影変換もこのアフィン変換により行われる。

最終的な座標(x,y)は、次の数１１によって算出される。

数１１は、射影変換するための式であり、座標(x,y)は、z'の値に従い、０に向かって縮退する。即ち、z'に含まれるパラメータが射影に影響を及ぼすことになる。このパラメータはａ13，ａ23，ａ33である。また、他のパラメータは、パラメータａ33で正規化されることができるので、ａ33を１としてもよい。

本実施形態の画像処理装置２０３は、このアフィン変換を用いて、入力画像ｐと出力画像Ｐとの関係付けを行う。

ここで、入力画像ｐから出力画像Ｐを求める場合、入力画像ｐの画素位置に対応する出力画像Ｐの画素位置を求めるのではなく、出力画像Ｐの画素位置に対応する入力画像ｐの画素位置を求める方が好ましい。

本実施形態の画像処理装置２０３は、入力画像ｐと出力画像Ｐとの関係付け行うのに、以下の３つのアフィン変換を用いるものとする。この変換を図６に基づいて説明する。

図６（ａ）に示すように、撮影画像１１ａの座標系を入力画像ｘｙ座標系として、画素位置(x,y)における入力画像（画素値）をｐ(x,y)とする。また、撮影画像１１ａのサイズを、０≦ｘ＜ｘmax，０≦ｙ＜ｙmaxとする。

画像処理装置２０３は、この入力画像ｐ(x,y)を、図６（ｂ）に示すような台座画像１３ａの座標系である台座ＵＶ座標系に射影補正し、原稿画像４ａを含む台座画像１３ａを、台座画像１３ａの輪郭に沿って切り出す。画像処理装置２０３は、このような処理を行って画像ｐ(U,V)を生成する。尚、台座ＵＶ座標系の画像のサイズを、０≦Ｕ＜Ｕsc，０≦Ｖ＜Ｖscとする。また、入力画像ｐ(x,y)を台座ＵＶ座標系に射影補正するための射影補正パラメータをＡtpとする。

次に、画像処理装置２０３は、台座ＵＶ座標系の原稿画像に対して回転補正を行い、図６（ｃ）に示すような回転補正後の回転補正ｐｑ座標系の画像ｐ(p,q)を生成する。この回転補正パラメータをＡrfとする。

次に、画像処理装置２０３は、図６（ｃ）に示す画像ｐ(p,q)の全体、あるいは、その一部を拡大し、さらに出力画像のサイズに合わせ、図６（ｄ）に示すように出力画像ｕｖ座標系の画像Ｐ(u,v)を生成する。尚、出力画像ｕｖ座標系の画像のサイズを、０≦ｕ＜ｕmax，０≦ｖ＜ｖmaxとする。また、このようなズーム処理を行うためのズームパラメータをＡzmとする。

入力画像ｐ(x,y)と補正出力画像Ｐ(u,v)とは、射影補正パラメータＡtpによる射影補正、回転補正パラメータＡrfによる回転補正と原稿画像の切り出し、ズームパラメータＡzmによるズーム処理の３つの変換によって関係付けられると考える。このように考えて、モデル化すると、入力画像ｐ(x,y)と補正出力画像Ｐ(u,v)との入出力関係は、次の数１２によって表される。

但し、数１０より、次の数１３の関係が成り立つ。

尚、図６（ａ）〜（ｄ）に示すそれぞれの座標系の関係は、次の数１４〜数１６によって表される。

画像処理装置２０３がこのような画像変換処理を実行するにあたって、以下のような入力値を必要とする。
（ａ）アフィン変換パラメータＡ
（ｂ）入力画像ｐ(x,y)のデータが記憶されているメモリ２０１内の領域（センサ画像記憶領域２０１ａ１，２０１ａ２）とその画像サイズ（０≦ｘ＜ｘmax，０≦ｙ＜ｙmax）
（ｃ）出力画像Ｐ(u,v)のデータを書き込むメモリ２０１内の領域（表示画像記憶領域２１０ｃ）と、変換を行う出力範囲（ｕmin≦ｕ＜ｕmax，ｖmin≦ｖ＜ｖmax）

画像処理装置２０３は、上記（ａ）〜（ｃ）に示すパラメータが供給されて出力画像の画素値Ｐ(u,v)を１画素毎に求める。まず、画像処理装置２０３は、数１１に従い、出力画像Ｐの座標(u,v)に対応する入力画像ｐの座標(x,y)を求める。

座標(x,y)は、整数になるとは限らないため、画像処理装置２０３は、出力画素Ｐの座標(u,v)の画素値Ｐ(u,v)を、入力画像ｐの座標(x,y)の周辺の画素値からバイリニア法による補間方法を用いて求める。バイリニア法による補間方法は、次の数１７によって表され、画像処理装置２０３は、数１７に従い、出力範囲全ての座標点について画素値を求める。

（７）射影補正パラメータ取得処理
射影補正パラメータ取得処理とは、入力した撮影画像と撮影画像に含まれる台座画像との関係に基づいて、数１４に示す射影補正パラメータＡtpを求める処理である。

各辺の長さが既知である長方形の取得可能な被写体を撮影し、その被写体画像から、被写体の長方形に対応する画像輪郭を取得して射影補正パラメータＡtpを求めれば、原稿４の反り等の影響を受けずに射影補正を行うことができる。このような観点から、書画カメラ１は、原稿を台座とともに撮影し、台座画像１３ａの形状を取得する。

具体的には、図７（ａ１）に示すような既知の外形を有する台座１３を被写体として撮影し、図７（ａ２）に示すような撮影画像から台座画像１３ａの形状を取得することが考えられる。

但し、台座１３が載置されたテーブル等によって、台座画像１３ａの輪郭（形状）の取得をうまく行えない場合があるので、図７（ｂ１）に示すような台座１３に描画された長方形図形１３−１を用いる他の方法もある。

この場合、長方形１３−１の内部を、長方形１３−１外部とは異なる色で塗りつぶしておく。書画カメラ１は、この台座１３を被写体として撮影して、図８（ｂ２）に示すような撮影画像１１ａを取得する。この図８（ｂ２）に示す撮影画像１１ａから、図８（ｂ１）に示す長方形１３−１に対応する台座画像１３ａの頂点座標を取得すれば、台座画像１３ａの形状を取得することができる。

また、図７（ｃ１）に示すような台座１３上の四隅に描画又は刻印されたＬ型のコーナーマーク１３−２を用いる方法がある。

この場合、各コーナーマーク１３−２の位置は既知とし、各コーナーマーク１３−２の位置に基づいて台座画像１３ａの形状に対応する長方形の取得が可能となる。

そして、台座１３の色を暗いグレーの無地の色とし、コーナーマーク１３−２の色を白色とする。書画カメラ１は、このコーナーマーク１３−２が刻印された（付された）台座１３を被写体として撮影して、図７（ｃ２）に示すような撮影画像１１ａを取得する。

そして、画像処理装置２０３は、この図７（ｃ２）に示す４つのコーナーマーク１３−２の画像１３−２ａの位置を検出し、検出したコーナーマーク画像１３−２ａの位置に基づいて台座画像１３ａの形状に対応する長方形画像を取得する。

尚、メモリ２０１は、図７（ａ１）に示すような台座１３の外形、図７（ｂ１）に示すような台座１３上の長方形図形１３−１、図７（ｃ１）に示すようなコーナーマーク１３−２の位置に基づいて取得される長方形の各辺の長さ（寸法）を、この基準多角形の形状として予め処理画像記憶領域２０１ｂに記憶する。

本実施形態では、例として、このコーナーマーク１３−２を用いて射影補正パラメータＡtpを取得する場合について説明する。

台座ＵＶ座標系における台座マークの位置の座標を図８（ｂ）に示すように(0,0)，(Usc,0)，(Usc,Vsc)，(0,Vsc)であるとする。また、図８（ａ）に示すように、台座１３を含めて撮影を行ったときに、それぞれのマーク位置座標を(x0,y0), (x1,y1), (x2,y2), (x3,y3)であるとする。数１４、数１１の関係式から、次の数１８の関係式が成立する。

このとき、射影係数α、βは次の数１９によって表される。

この場合、射影補正パラメータＡtpは次の数２０によって表される。

二値化や、ラベリングなどの良く知られた画像処理方法等を用いて、台座１３の４つのコーナーマーク１３−２が写った撮影画像１１ａから、容易にコーナーマーク１３−２の位置を抜き出すことができる。画像処理装置２０３は、４つの頂点(x0,y0)，(x1,y1)，(x2,y2)，(x3,y3)から数２０に基づいて、射影補正パラメータAtpを求める。画像処理装置２０３は、求めた射影補正パラメータAtpの値をメモリ２０１の作業データ記憶領域２０１ｄに記憶する。

また、画像処理装置２０３は、この座標点からなる四角形領域を有する図４（ｃ）に示すようなマスキング画像ｍを作成する。このマスキング画像ｍは回転補正パラメータ取得処理において、原稿画像４ａの輪郭取得を行う際に、台座画像１３ａの輪郭除去のために用いる。次に、画像処理装置２０３は、４点のコーナーマーク１３−２の座標が正しく抜き出せたときに射影補正パラメータ取得結果フラグのフラグ値をセットし、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記憶する。

一方、大きな原稿４等が載置されていたためにコーナーマーク画像１３−２ａを検出できずに、四角領域を正しく取得できなかった場合には、ユーザに警告するため、射影補正パラメータ取得結果フラグのフラグ値をリセットし、このフラグをメモリ２０１の作業データ記憶領域２０１ｄに記憶する。

（８）回転補正パラメータ取得処理
回転補正パラメータ取得処理は、図６（ｂ）に示すような回転補正前の原稿画像４ａから、輪郭を構成する直線を取得して、台座ＵＶ座標系の台座画像１３ａの辺に対する原稿画像４ａの傾きを補正するための回転補正パラメータを取得する処理である。さらに、この処理は、原稿画像４ａの輪郭から原稿画像４ａの領域を求め、原稿画像４ａの切り出し領域を決定する処理も含んでいる。

回転補正パラメータを取得する考え方について説明する。画像処理装置２０３は、回転補正パラメータ取得処理を実行する際、以下のパラメータを参照する。

（ａ）回転補正制御フラグRotate_Control_Flag
回転補正制御フラグRotate_Control_Flagは、回転補正を行うか否かを示すフラグである。ＣＰＵ２０７は、この回転補正制御フラグRotate_Control_Flagのフラグ値をセット又はリセットし、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記憶する。そして、画像処理装置２０３が、このフラグを作業データ記憶領域２０１ｄから読み出して、回転補正を行うか否かを判別する。回転補正制御フラグRotate_Control_Flagがセットされている場合、回転補正の実行が指示されたことを示し、画像処理装置２０３は回転補正を行う。一方、このフラグがリセットされている場合、回転補正を行わないことを示し、画像処理装置２０３は、この処理を実行しない。

（ｂ）切り出し制御フラグFitting_Control_Flag
制御フラグFitting_Control_Flagは、切り出した原稿画像を原稿４のサイズに合わせ、スクリーン３に投影する原稿画像４ａを最大表示する処理を有効にするか否かを示すフラグである。ＣＰＵ２０７がこの切り出し制御フラグFitting_Control_Flagのフラグ値をセット又はリセットして、メモリ２０１の作業データ記憶領域２０１ｄにこのフラグ値を記憶する。そして、画像処理装置２０３が、作業データ記憶領域２０１ｄから、このフラグ値を読み出す。切り出し制御フラグFitting_Control_Flagがセットされている場合、この処理は有効であり、画像処理装置２０３は、この処理を実行する。一方、このフラグがリセットされている場合、この処理は無効であり、画像処理装置２０３は、この処理を行わない。

（ｃ）入力画像データｐ(x,y)が書き込まれているメモリ領域（センサ画像記憶領域２０１ａ１，２０１ａ２）と入力画像データｐ（x,y）のデータサイズ（０≦ｘ＜ｘmax，０≦ｙ＜ｙmax）の指定

（ｄ）出力画像データＰ(u,v)を書き込むメモリ領域（表示画像記憶領域２０１ｃ）と出力画像データＰ(u,v)のデータサイズ（０≦ｕ＜ｕmax，０≦ｖ＜ｖmax）の指定

次に、原稿画像４ａの輪郭と原稿画像４ａの傾きとの関係について説明する。図９は、画像処理装置２０３が射影補正を行って、原稿４を真上から見たような画像に変換した後の輪郭の一例を示す。射影補正後の画像であっても、輪郭から直線の検出を行う場合、原稿４ａの大きさや置かれた状態によって検出される直線は、図９（ａ）〜（ｇ）に示すように変化する。

図９（ａ）は、台座１３上に原稿４の輪郭が全て含まれている例を示す。図９（ｂ）は、原稿４の一辺が台座１３からはみ出し、３辺の直線しか検出されない例を示す。図９（ｃ）は、原稿４の２辺がはみ出して２辺の直線しか検出されない例を示す。

図９（ｄ）は、原稿４が大きくて１辺の直線しか検出されない例を示す。図９（ｅ）は、台座１３に原稿４以外のものが載置されて直線を全く検出できない例を示す。図９（ｆ）は、五角形の形状の原稿が載置されて検出直線を誤ってしまう例を示す。図９（ｇ）は、原稿４とともに原稿４とは異なる物体が載置された例を示す。

このように、様々な状況であっても、画像処理装置２０３は、原稿画像４ａの輪郭線の中で縦の辺、横の辺を区別する。そして、画像処理装置２０３は、縦の辺は９０度の傾きからの差分、横の辺は０度からの差分を求め、これらの差分の平均を原稿画像４ａの傾きとして、輪郭を形成する直線を特定する。

しかし、補正前の元画像では、長方形の輪郭を持つ原稿４を斜めから撮影した場合、射影ひずみによって長方形がひずむため、上の輪郭線と下の輪郭線の傾きが同じでない。

本実施形態の画像処理装置２０３は、射影補正画像を作成せずに、原稿画像４ａの輪郭による直線の傾きを求め、原稿画像４ａの傾きを特定する。

まず、アフィン変換によって直線がどのように変換されるかについて説明する。入力画像ｘｙ座標系のxy座標と台座ＵＶ座標系のUV座標との間に次の数２１によって表される関係があるものとする。

数２１に、直線式ax＋ｂｙ＋ｃ＝０を代入することによって、次の数２２が得られる。

ρ-θ座標の直線の場合、数２２に、次の数２３の関係を代入し、a',b',c'を求める。

変換後の直線の傾き角度θ'は次の数２４によって表される。

画像処理装置２０３は、数２４に従って、直線の傾き角度θ'を取得する。

画像処理装置２０３は、このような直線の傾き角度θ'を取得するため、書画カメラ１が原稿４を高解像度撮影を行った元画像から、射影補正を行った縮小画像を作成する。

画像処理装置２０３は、射影パラメータ取得処理において取得したマスキング画像ｍを用いて台座画像１３ａの輪郭をマスクして、矩形取得処理を実行する。そして、画像処理装置２０３は、矩形取得処理において原稿画像４ａの輪郭によって形成された直線を取得する。画像処理装置２０３は、さらに、矩形取得処理において取得した原稿画像直線の上下左右の直線情報（ρ、θ）から、数２４に従って射影補正後の原稿画像直線と台座画像直線との傾き角度θ'を求める。

次に、画像処理装置２０３は、各辺の傾きのない角度からの差分を求める。即ち、画像処理装置２０３は、上下の辺の場合は δ＝θ'−１８０°とする。また、画像処理装置２０３は、左右の辺の場合は δ＝θ'−９０°とする。そして、画像処理装置２０３は、このようにして取得したこれらの差分の平均を原稿画像４ａの傾き角度θpとして、傾き角度θpを取得する。

この傾き角度θpを用いると、台座ＵＶ座標系と回転ｐｑ座標系との間には、次の数２５の関係が成り立つ。

逆変換は次の数２６によって表される。

画像処理装置２０３は、数２６に従い、回転補正を行う。次に、画像処理装置２０３は、回転補正された画像から、原稿部分（撮影対象）の切り出しを行う。この切り出し処理について説明する。

切り出しは、図１０（ａ）に示すような射影補正を行った画像から、図１０（ｄ）に示すように、出力画像に最大表示されるように行われることが望ましい。このため、回転補正画像を求める必要がある。

しかし、回転補正画像を求めていたのでは、画像処理に時間を要する。そこで、本実施形態の画像処理装置２０３は、被写体の形状が原稿のように四角形である場合、次のような手順で切り出し領域を決定する。

画像処理装置２０３は、矩形取得処理において、検出できなかった原稿画像４ａの辺を、台座画像１３ａの対応する辺（境界の辺）、即ち、台座画像１３ａの上辺、下辺、右辺、左辺で代用する。例えば、原稿画像１３ａの上辺が検出されていないとき、画像処理装置２０３は、台座画像１３ａの上辺を原稿画像４ａの上辺とする。このようにして、原稿画像４ａの上下左右の４辺の辺が得られる。

画像処理装置２０３は、これらの辺からなる四角形の頂点を求める。但し、矩形取得処理で得られる直線情報（ρ、θ）は入力画像ｘｙ座標系の情報であるので、画像処理装置２０３は、これを用いずに、数２４で求めた（a',b',c'）を直線情報（直線パラメータ）として用いる。台座画像１３ａの辺は、図１１に示す直線パラメータによって表される。

この直線パラメータは台座ＵＶ座標系のパラメータである。従って、画像処理装置２０３は、数２５を用いて、台座ＵＶ座標系の頂点座標（U0,V0），（U1,V1），（U2,V2），（U3,V3）を、回転補正ｐｑ座標系の座標（p0,q0），（p1,q1），（p2,q2），（p3,q3）に変換する。

画像処理装置２０３は、このように回転補正を行った原稿画像４ａに対して、図１０（ｃ）に示すように外接四角形Ｒを求め、外接四角形Ｒを最小の長方形として、出力画像が最大表示されるように原稿画像４ａを切り出す。

外接四角形Ｒの対角点を(p_L,q_L)，(p_H,q_H)とすると、外接四角形Ｒの対角点(p_L,q_L)，(p_H,q_H)は、次の数２７によって求められる。

原稿画像４ａが図９（ｅ）〜（ｇ）に示すように四角形でない場合、画像処理装置２０３は、回転補正を行わずに、切り出しだけを行う。この場合、回転補正を行わないので、画像処理装置２０３は、矩形検出処理において作成したエッジ画像を用いて、エッジの画素をスキャンする。そして、画像処理装置２０３は、エッジのある画素の座標点(pi,qi)から、数２７に従って、ｐｑ成分のそれぞれの最大、最小値を検索し、最小の外接長方形Ｒを求める。

回転補正と切り出しを行うための回転補正パラメータArfは、次の数２８、数２９によって表される。

（９）動画投影処理
動画投影処理は、原稿４が載置される前、あるいは原稿４の差し替えを行っているときに、プロジェクタ２を介してリアルタイムに現在の画像を投影する処理である。

画像処理装置２０３は、画像データ生成部２１から取り込まれた低解像度画像をメモリ２０１のセンサ画像記憶領域２０１ａ１，２０１ａ２から交互に読み出し、同じメモリ２０１内の表示画像記憶領域２０１ｃにコピーして画像圧縮処理を行う。

（１０）静止画投影処理
静止画投影処理は、原稿４が載置されて静止したときに、プロジェクタ２に図２５（ａ）または（ｂ）に示すような撮影画像から、図２５（ｃ）に示すような画像に変換し、スクリーン３に投影させる処理である。

画像処理装置２０３は、すでに求めた３つのアフィン変換パラメータＡzm，Ａrf，Ａtpから合成したアフィンパラメータＡtを、数１２に従って求める。
次に、画像処理装置２０３は、以下のパラメータを用いて画像変換処理を実行する。
（ａ）アフィン変換パラメータＡt
（ｂ）入力画像ｐ(x,y)が記憶されているメモリ領域（センサ画像記憶領域２０１ａ１，２０１ａ２）と、その画像サイズ（０≦ｘ＜ｘmax，０≦ｙ＜ｙmax）
（ｃ）出力画像Ｐ(u,v)を書き込むメモリ領域（表示画像記憶領域２０１ｃ）と、変換を行う出力範囲（０≦ｕ＜ｕmax，０≦ｖ＜ｖmax）
この画像変換処理を行うことにより、画像処理装置２０３は、正面補正とズーム処理とを行った正面補正画像を取得する。

画像処理装置２０３は、正面補正画像を取得すると、この正面補正画像に対して画像引き延ばし処理等の画像の鮮明化処理を行い、正面補正画像を、視認性の高い画像に変換する。画像処理装置２０３は、このようにして歪み補正と傾き補正を行った補正後原稿画像を取得する。

画像処理装置２０３は、この鮮明化処理を行った画像を、メモリ２０１の表示画像記憶領域２０１ｃに記録する。

次に、図２に戻り、操作部２０４は、ユーザの操作情報を取得するためのものである。操作部２０４は、図１２に示すように、電源スイッチ４１と、拡大キー４２ａと、縮小キー４２ｂと、左移動キー４３ａと、右移動キー４３ｂと、上移動キー４３ｃと、下移動キー４３ｄと、回転補正有効スイッチ４４と、画像フィッティングスイッチ４５と、ＬＥＤ４６，４７と、を備える。

電源スイッチ４１は、書画カメラ１の電源をオン（ＯＮ）、オフ（ＯＦＦ）するためのものである。
拡大キー４２ａと縮小キー４２ｂとは、ズーム制御キーであり、静止画投影画像を拡大、縮小表示を制御するためのプッシュ型のキーである。拡大キー４２ａは、押下される毎に、ズーム比Zoomを予め設定されたZOOM_RATIO倍して、現倍率の静止画像を拡大することを示す。縮小キー４２ｂは、押下される毎に、ズーム比Zoomを予め設定された1/ZOOM_RATIO倍して、現倍率の静止画像を縮小することを示す。

左移動キー４３ａと右移動キー４３ｂと上移動キー４３ｃと下移動キー４３ｄとは、画像の拡大表示中に、表示の中心座標の移動を指示するための表示移動キーである。

回転補正有効スイッチ４４は、回転補正を有効にするか無効にするかを指示するためのスイッチであり、例えば、プッシュ型のロックキーによって構成される。回転補正有効スイッチ４４は、投影する原稿画像の傾き補正を行う場合に押下され、押下されて回転補正を有効とすることを示す。

また、被写体が斜め線を有して、好ましい回転補正を行えない場合に、この回転補正有効スイッチ４４が押下されると、回転補正有効スイッチ４４は、回転補正を無効にすることを示す。

画像フィッティングスイッチ４５は、切り出した原稿画像を原稿４のサイズに合わせる処理を有効とするか否かを指示するためのスイッチである。画像フィッティングスイッチ４５は、押下されてフィッティングを有効とすることを示す。

ＬＥＤ４６は、回転補正有効スイッチ４４の上部に備えられ、点灯して傾き補正を有効としたことを示す表示灯である。ＬＥＤ４７は、画像フィッティングスイッチ４５の上部に備えられ、点灯してフィッティングを有効としたことを示すための表示灯である。

支柱傾き変化検出部２０５は、図１に示す支柱１２の傾きなどを切り替えた場合に、その支柱１２の傾きの変化を検出するためのものである。支柱傾き変化検出部２０５は、例えば、重力加速度計等を備え、機構的に支柱１２の動作を検出する。

プログラムコード記憶装置２０６は、ＣＰＵ２０７が実行するプログラムを記憶するためのものであり、ＲＯＭ等によって構成される。

ＣＰＵ２０７は、プログラムコード記憶装置２０６に格納されているプログラムに従って、各部を制御する。

具体的には、ＣＰＵ２０７は、後述するカメラ基本処理を実行する。ＣＰＵ２０７は、カメラ基本処理において、カメラ部１１の撮影条件の初期化を行う。撮影条件には、カメラ部１１のフォーカス、シャッター速度（露光時間）、絞りなどの露出、ホワイトバランス、ＩＳＯ感度などを含む。ＣＰＵ２０７は、オートフォーカス測定、測光などをおこなって撮影が最適になる条件を探して、画像データ生成部２１をその条件となるように初期化を行う。

また、ＣＰＵ２０７は、メモリ２０１の初期化、通信、画像処理等に用いるデータの初期化、射影補正パラメータ取得要求フラグのセット、動画モードの設定を行う。

尚、撮影モードとしては、動画モードと静止画モードとがあり、動画モードは、画像データ生成部２１に低解像度画像撮影を行わせるモードであり、リアルタイム性を重視したモードである。一方、静止画モードは、画像データ生成部２１に高解像度画像撮影を行わせるモードであり、解像度を重視するモードである。ＣＰＵ２０７は、撮影モードを設定すると、設定した撮影モードをメモリ２０１の作業データ記憶領域２０１ｄに記憶する。

ＣＰＵ２０７は、初期化を行うと、低解像度画像撮影を行うように画像データ生成部２１を制御する。ＣＰＵ２０７は、イメージセンサ１０２が取り込んだ画像データをメモリ２０１のセンサ画像記憶領域２０１ａ１，２０１ａ２に、交互に記憶するように、イメージセンサ１０２、メモリ２０１を制御する。

そして、ＣＰＵ２０７は、センサ画像記憶領域２０１ａ１，２０１ａ２から、画像データを交互に読み出して処理画像記憶領域２０１ｂに書き込み、画像処理装置２０３に画像の動き検出処理を実行させる。

そして、ＣＰＵ２０７は、メモリ２０１の作業データ記憶領域２０１ｄに記録された動き検出結果フラグを参照して撮影範囲内の被写体に動きがあるか否かを判定する。

ＣＰＵ２０７は、動き検出結果フラグがセットされ、撮影範囲内の被写体に動きがあると判定した場合、撮影モードを動画モードに設定し、画像処理装置２０３に動画投影処理を実行させる。

一方、動き検出結果フラグがセット状態からリセット状態に変化した場合、撮影範囲内の被写体に動きが停止したと判定し、ＣＰＵ２０７は、画像処理装置２０３に、前述の各処理を実行させる。

また、ＣＰＵ２０７は、支柱傾き変化検出部２０５が支柱１２の傾きの変化を検出すると、射影補正パラメータの取得を要求するため、射影補正パラメータ取得要求フラグのフラグ値をセットし、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記憶する。

そして、ＣＰＵ２０７は、メモリ２０１の作業データ記憶領域２０１ｄに記憶されている射影補正パラメータ取得結果フラグのフラグ値を参照する。そして、このフラグ値がセットされていれば、ＣＰＵ２０７は、射影補正パラメータ取得処理が繰り返し実行されないように、射影補正パラメータ取得要求フラグのフラグ値をリセットし、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記憶する。

一方、ＣＰＵ２０７は、射影補正パラメータ取得結果フラグのフラグ値がリセットされていれば、射影補正パラメータの取得に失敗したことを判別し、警告を発する。警告は、例えば、音声による警告であっても、書画カメラ１の液晶ディスプレイ（図示せず）への表示による警告であってもよい。

また、ＣＰＵ２０７は、操作部２０４から、ユーザの操作情報を取得し、取得した操作情報に基づいて各種フラグを設定し、ズームパラメータを取得する。
即ち、回転補正有効スイッチ４４が押下された場合、ＣＰＵ２０７は、回転補正を有効とするため、回転補正制御フラッグRotate_Control_Flagのフラグ値をセットする。そして、ＣＰＵ２０７は、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記憶する。

また、画像フィッティングスイッチ４５が押下された場合、ＣＰＵ２０７は、切り出した画像の出力画像へのフィッティングを指示するため、切り出し制御フラグFitting_Control_Flagのフラグ値をセットする。ＣＰＵ２０７は、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記憶する。

また、ＣＰＵ２０７は、静止画モードに設定し、原稿４又は台座１３に動きがない間、ズーム制御キー及び表示移動キーの操作を監視する。ズーム制御キー又は表示移動キーが押下されると、ＣＰＵ２０７は、投影されている静止画像の拡大縮小、画像移動処理を行うため、ズームパラメータの修正処理を実行する。

ここで、ズームパラメータ修正処理の説明を行う前に、数１２に示すズームパラメータＡzmについて説明する。

ズームパラメータＡzmは、単位行列Ｉであって、このアフィン変換によっては変化しない。このため、出力画像には、射影補正パラメータＡtp及び回転補正パラメータＡrfによる変換によって、正面補正と回転補正がされた原稿４の全領域が最大表示されることになる。

ズームパラメータＡzmはこの全原稿画像の一部を拡大するための変換パラメータであって、次の数３０によって表される。

ここで、Zoomは、拡大比である。Ｃx，Ｃyは、拡大を行う表示基点を示す。本実施形態では、表示基点Ｃx，Ｃyを画像の左下の位置とする。

次に、ズームパラメータ修正処理について説明する。本実施形態において、最大拡大倍率をMAX_ZOOMとする。出力画像サイズは、前述のようにｕmax，ｖmaxとする。

まず、ズームパラメータの初期化処理が実行された状態において、ＣＰＵ２０７は、Zoom＝１，Ｃx＝０，Ｃy＝０に設定する。これにより、ズームパラメータＡzmは単位行列Ｉとなる。

次に、ＣＰＵ２０７は、操作部２０４の操作情報に基づいて、ズームパラメータＡzmの修正を行う。ズームパラメータＡzmの修正処理において、拡大キー４２ａ、縮小キー４２ｂが押下される毎に、拡大倍率はZOOM_RATIO毎に変化するものとする。また、カーソル移動では、出力画像ｕｖ座標系でMOVE_STEPずつ移動するものとする。

拡大キー４２ａ又は縮小キー４２ｂが１回押された場合、ＣＰＵ２０７は、ズーム比ZoomをZOOM_RATIO倍又はZOOM_RATIO分の１する。

次に、ＣＰＵ２０７は、計算されたズーム比Zoomのチェックを行う。次の数３１に示す条件に適合する場合、ＣＰＵ２０７は、ズーム比Zoomを修正する。式中MAX_ZOOM_RATIOは最大拡大率であり、予め決められた値である。通常最大拡大は８倍ぐらいまでなので、MAX_ZOOM_RATIOは８となる。

左右カーソルが押された場合、ＣＰＵ２０７は、表示基点ＣxをMOVE_STEP/Zoomだけプラス又はマイナスする。上下カーソルが押された場合、ＣＰＵ２０７は、表示基点ＣｙをMOVE_STEP/Zoomだけプラス又はマイナスする。

次に、ＣＰＵ２０７は、数３２に従って、表示基点Ｃx，Ｃｙが表示上、支障がないか否かを検証する。

ＣＰＵ２０７は、このような検証を行って支障がなければ、ズーム比Zoom，表示基点Ｃx，ＣyからズームパラメータＡzmを作成してメモリ２０１の作業データ記憶領域２０１ｄに保存する。

図１に戻り、プロジェクタ２は、書画カメラ１から供給された画像データを投影光に変換し、スクリーン３にこの投影光を照射して原稿画像をスクリーン３上に結像させるものである。

次に、本実施形態に係る撮影装置の動作を説明する。
ユーザが書画カメラ１の電源スイッチ４１を押下すると、書画カメラ１の電源はＯＮし、書画カメラ１のＣＰＵ２０７は、プログラムコード記憶装置２０６からプログラムコードを読み出してカメラ基本処理を実行する。

このカメラ基本投影処理の内容を図１３及び図１４に示すフローチャートに従って説明する。
ＣＰＵ２０７は、光学レンズ装置１０１の周辺回路を制御して、光学レンズ装置１０１の焦点、ズームレンズ位置、絞りなどのカメラ設定と、ビデオ出力装置２０２等の初期化と、を行う（ステップＳ１１）。

ＣＰＵ２０７は、メモリ２０１の初期化、通信、画像処理等に用いるデータの初期化を行う（ステップＳ１２）。

ＣＰＵ２０７は、初期値として、射影補正パラメータ取得要求フラグをセットし、撮影モードを動画モードに設定する（ステップＳ１３）。このとき、ＣＰＵ２０７は、あわせて、カメラのフォーカス、シャッター速度（露光時間）、絞りなどの露出、ホワイトバランス、ＩＳＯ感度等の撮影条件の初期化を行う。そして、ＣＰＵ２０７は、オートフォーカス測定、測光等を行って撮影が最適になる条件を探して初期化を行う。

ＣＰＵ２０７は、画像データ生成部２１を制御して、低解像度でのカメラ撮影を行わせる（ステップＳ１４）。そして、ＣＰＵ２０７は、撮影によって得られた撮影画像をイメージセンサ１０２からメモリ２０１のセンサ画像記憶領域２０１ａ１，２０１ａ２に交互に書き込む。

ＣＰＵ２０７は、画像処理装置２０３に画像の動き検出処理を実行させる（ステップＳ１５）。画像処理装置２０３は、図１５に示すフローチャートに従って画像の動き検出処理を実行する。

画像処理装置２０３は、縮小画像の作成処理を実行し、撮影画像から、縮小輝度画像を生成する（ステップＳ４１）。画像処理装置２０３は、生成した縮小輝度画像をメモリ２０１の処理画像記憶領域２０１ｂに記憶する。

画像処理装置２０３は、既に処理画像記憶領域２０１ｂに記憶されている前回の縮小輝度画像と、新たに生成した縮小輝度画像とを比較し、数９に従い、画像変化量ＭＤを計算する（ステップ４２）。

画像処理装置２０３は、閾値MD_thを閾値記憶領域２０１ｅから読み出し、計算した画像変化量ＭＤと閾値MD_thとを比較して、画像変化量ＭＤが閾値MD_thを超えているか否かを判定する（ステップＳ４３）。

画像変化量ＭＤが閾値MD_thを超えていると判定した場合（ステップＳ４３においてＹｅｓ）、画像処理装置２０３は、動きがあったことを示すため、動き検出結果フラグのフラグ値をセットし、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記憶する（ステップＳ４４）。

画像変化量ＭＤが閾値MD_th以下であると判定した場合（ステップＳ４３においてＮｏ）、画像処理装置２０３は、動きがなかったことを示すため、動き検出結果フラグのフラグ値をリセットし、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記憶する（ステップＳ４５）。

ＣＰＵ２０７は、画像処理装置２０３が画像の動き検出処理を実行すると、メモリ２０１の作業データ記憶領域２０１ｄに記憶されている動き検出結果フラグのフラグ値に基づいて、動きがあったか否かを判定する（図１３のステップＳ１６）。

動き検出結果フラグのフラグ値がセットされている場合、ＣＰＵ２０７は、被写体に動きがあったと判定し（ステップＳ１６においてＹｅｓ）、撮影モードを動画モードに設定する（ステップＳ１７）。

ＣＰＵ２０７は、画像処理装置２０３に動画投影処理を実行させる（ステップＳ１８）。画像処理装置２０３は、図１６に示すフローチャートに従って動作投影処理を実行する。

画像処理装置２０３は、低解像度画像撮影によって得られた画像データをメモリ２０１のセンサ画像記憶領域２０１ａ１又は２０１ａ２から交互に読み出す（ステップＳ５１）。

画像処理装置２０３は、読み出した画像データを表示画像記憶領域２０１ｃにコピーする（ステップＳ５２）。

画像処理装置２０３は、画像の圧縮処理を実行し、この画像データを圧縮する（ステップＳ５３）。そして、ビデオ出力装置２０２は、圧縮された画像データを表示画像記憶領域２０１ｃから読み出して、プロジェクタ２に送り出す。

画像処理装置２０３が動画投影処理を実行すると、ＣＰＵ２０７は、支柱傾き変化検出部２０５が支柱１２の傾きを検出したか否かを判定する（図１３のステップＳ１９）。

支柱傾き変化検出部２０５が支柱１２の傾きの変化を検出しなかったと判定した場合（ステップＳ１９においてＮｏ）、ＣＰＵ２０７は、画像データ生成部２１を制御して、低解像度でのカメラ撮影を行わせ（ステップＳ１４）、画像処理装置２０３に画像の動き検出処理を実行させる（ステップＳ１５）。

動き検出結果フラグのフラグ値がリセットされた場合、ＣＰＵ２０７は、被写体の動きは停止したと判定し（ステップＳ１６においてＮｏ）、撮影モードが動画モードか否かを判定する（ステップＳ２０）。

撮影モードが動画モードであると判定した場合（ステップＳ２０においてＹｅｓ）、ＣＰＵ２０７は、動いていた被写体の動きが停止したと判定し、メモリ２０１の作業データ記憶領域２０１ｄから射影パラメータ取得要求フラグのフラグ値を読み出す。そして、ＣＰＵ２０７は、このフラグ値に基づいて、射影補正パラメータ取得が要求されているか否かを判定する（ステップＳ２１）。

射影補正パラメータ取得要求フラグがセットされている場合（ステップＳ２１においてＹｅｓ）、ＣＰＵ２０７は、射影補正パラメータ取得が要求されていると判定し、画像処理装置２０３に射影補正パラメータ取得処理を実行させる。

画像処理装置２０３は、図１７に示すフローチャートに従って射影補正パラメータ取得処理を実行する。

画像処理装置２０３は、縮小画像の作成処理を実行し、撮影画像から、縮小画像を生成する（ステップＳ６１）。画像処理装置２０３は、生成した縮小画像をメモリ２０１の処理画像記憶領域２０１ｂに記憶する。

画像処理装置２０３は、二値化、あるいはラベリング法等の画像処理方法を用いて、撮影画像１１ａから、コーナーマーク画像１３−２ａの位置を求める（ステップＳ６２）。

画像処理装置２０３は、コーナーマーク画像１３−２ａの位置を取得できたか否かを判定する（ステップＳ６３）。

コーナーマーク画像１３−２ａの位置を取得できたと判定した場合（ステップＳ６３においてＹｅｓ）、画像処理装置２０３は、数２０に従って射影補正パラメータＡtpを求め、求めた射影補正パラメータＡtpをメモリ２０１の作業データ記憶領域２０１ｄに記憶する（ステップＳ６４）。

画像処理装置２０３は、取得した輪郭から台座画像１３ａの輪郭のマスキング画像ｍを作成する（ステップＳ６５）。

画像処理装置２０３は、マスキング画像ｍを作成すると、射影補正パラメータの取得に成功したことを示すため、射影補正パラメータ取得結果フラグのフラグ値をセットする（ステップＳ６６）。そして、画像処理装置２０３は、このフラグ値を作業データ記憶領域２０１ｄに記憶する。

一方、コーナーマーク画像１３−２ａの位置を取得できなかったと判定した場合（ステップＳ６３においてＮｏ）、画像処理装置２０３は、射影補正パラメータの取得に失敗したことを示すため、射影補正パラメータ取得結果フラグのフラグ値をリセットする（ステップＳ６７）。そして、画像処理装置２０３は、このフラグ値を作業データ記憶領域２０１ｄに記憶する。

画像処理装置２０３がこのように射影補正パラメータ取得処理を実行すると、ＣＰＵ２０７は、作業データ記憶領域２０１ｄに記憶されている射影補正パラメータ取得結果フラグのフラグ値を参照する（図１４のステップＳ２３）。

そして、ＣＰＵ２０７は、このフラグ値に基づいて射影補正パラメータの取得に成功したか否かを判定する（ステップＳ２４）。

射影補正パラメータ取得結果フラグがリセットされている場合、ＣＰＵ２０７は、射影補正パラメータの取得に失敗したと判定し（ステップＳ２４においてＮｏ）、警告を発する（ステップＳ２５）。

一方、射影補正パラメータ取得結果フラグがセットされている場合、ＣＰＵ２０７は、射影補正パラメータの取得に成功したと判定する（ステップＳ２４においてＹｅｓ）。この場合、ＣＰＵ２０７は、射影補正パラメータ取得要求フラグをリセットする（ステップＳ２６）。

ＣＰＵ２０７は、撮影モードを静止画モードに設定する（ステップＳ２７）。
ＣＰＵ２０７は、高品質な画像を得るために撮影条件の最適化を行ってから、画像データ生成部２１を制御して、高解像度静止画撮影を行わせる（ステップ２８）。

ＣＰＵ２０７は、画像処理装置２０３に回転補正パラメータ取得処理を実行させる（ステップＳ２９）。画像処理装置２０３は、図１８に示すフローチャートに従って回転補正パラメータ取得処理を実行する。

画像処理装置２０３は、縮小画像の作成処理を実行して縮小画像を作成する（ステップＳ７１）。尚、画像処理装置２０３は、台座画像が最大となるように、数１８に従って台座画像１３ａのサイズ(ｕsc,ｖsc)をスケーリングし直す。画像処理装置２０３は、生成した縮小画像をメモリ２０１の処理画像記憶領域２０１ｂに記憶する。

画像処理装置２０３は、図１９に示すフローチャートに従って矩形取得処理を実行する（ステップＳ７２）。

画像処理装置２０３は、２値エッジ画像作成処理を実行し、メモリ２０１の処理画像記憶領域２０１ｂに記憶された縮小画像のエッジ画像を作成する（ステップＳ９１）。

画像処理装置２０３は、直線を検出するため、数７を用いてハフ変換を行う（ステップＳ９２）。

画像処理装置２０３は、数８に従い、６０°≦θ＜１２０°の範囲において、上下の辺を形成する直線の候補として、ρが＋、−それぞれの領域において、予め設定された閾値以上の投票数のピーク点を、複数探し出す。このとき、ρが＋である候補は上辺に対応し、ρが−である候補は下辺に対応する。

また、画像処理装置２０３は、１５０°≦θ＜２１０°の範囲においても、数８に従い、左右の辺を形成する直線の候補として、あらかじめ設定された閾値以上を有する投票数のピーク点を、複数探し出す。このとき、ρが＋である候補は左辺に対応し、ρが−である候補は右辺に対応する（ステップＳ９３）

画像処理装置２０３は、上下左右の直線候補のなかから、｜ρ｜が最大であるものを、各辺の最優先候補として選択する（ステップＳ９４）。

画像処理装置２０３は、各辺の輪郭候補の有無と、その直線候補（ρ、θ）からなる輪郭情報と、を作成する（ステップＳ９５）。

画像処理装置２０３は、このように矩形取得処理を実行すると、回転補正パラメータ取得処理に戻り、原稿画像の傾き角度θｐを０に初期化する（図１８のステップＳ７３）。

画像処理装置２０３は、輪郭による直線が１本以上取得できたか否かを判定する（ステップＳ７４）。

直線が１本以上取得できたと判定した場合（ステップＳ７４においてＹｅｓ）、画像処理装置２０３は、取得した直線に基づいて原稿画像４ａの傾き角度θp、原稿画像４ａの切り出しを行う。

まず、画像処理装置２０３は、メモリ２０１の作業データ記憶領域２０１ｄに記憶されている回転補正制御フラグRotate_Control_Flagのフラグ値を参照する。そして、画像処理装置２０３は、回転補正制御フラグRotate_Control_Flagがセットされているか否かを判定する（ステップＳ７５）。

回転補正制御フラグRotate_Control_Flagがセットされていると判定した場合（ステップＳ７５においてＹｅｓ）、画像処理装置２０３は、回転補正の実行が指示されたと判別する。この場合、画像処理装置２０３は、矩形取得処理において取得した直線情報から数２４に従って、各辺の射影補正後の傾き角度θ'を求める（ステップＳ７６）。

画像処理装置２０３は、原稿画像４ａの輪郭線の中で縦の辺、横の辺を区別し、縦の辺は９０度の傾きからの差分δ、横の辺は１８０度からの差分δを求め、これらの差分δの平均を原稿画像４ａの傾き角度θpとして、傾き角度θpを取得する（ステップＳ７７）。

一方、回転補正制御フラグRotate_Control_Flagがリセットされていると判定した場合（ステップＳ７５においてＮｏ）、画像処理装置２０３は、回転補正の実行が指示されなかったと判別し、原稿画像４ａの傾き角度θpの計算は行わない。

次に、画像処理装置２０３は、メモリ２０１の作業データ記憶領域２０１ｄに記憶されている切り出し制御フラグFitting_Control_Flagのフラグ値を参照し、このフラグがセットされているか否かを判定する（ステップＳ７８）。

切り出し制御フラグFitting_Control_Flagがセットされていると判定した場合（ステップＳ７８においてＹｅｓ）、画像処理装置２０３は、原稿画像４ａの切り出しの実行が指示されたと判別する。この場合、画像処理装置２０３は、上下左右で検出された直線パラメータから、数２２から台座ＵＶ座標系の直線パラメータを求めた後、これらの直線の交点座標を求めることで、台座ＵＶ座標系の原稿画像４ａを囲む四角形の頂点座標(U0,V0)，(U1,V1)，(U2,V2)，(U3,V3)を求める（ステップＳ７９）。

一方、切り出し制御フラグFitting_Control_Flagがリセットされていると判定した場合（ステップＳ７８においてＮｏ）、画像処理装置２０３は、原稿画像４ａの切り出しの実行は指示されなかったと判別する。この場合、画像処理装置２０３は、台座画像１３ａの頂点を四角形の頂点として、その頂点座標を求める（ステップＳ８０）。

画像処理装置２０３は、取得した回転補正前の画像の頂点座標から、原稿画像４ａの傾き角度θpを用い、回転補正後である回転補正ｐｑ座標系の画像の四角形の頂点座標(p0,q0)，(p1,q1)，(p2,q2)，(p3,q3)を求める（ステップＳ８１）。

画像処理装置２０３は、補正後の頂点座標(p0,q0)，(p1,q1)，(p2,q2)，(p3,q3)から、数２７に従い、対角点(p_L,q_L)，(p_H,q_H)を求め、頂点を含む外接四角形Ｒを求める（ステップＳ８２）。

一方、図９（ｅ）〜（ｇ）に示すように、直線が１本も取得できなかったと判定した場合（ステップＳ７４においてＮｏ）、画像処理装置２０３は、原稿画像の回転補正、切り出しを行わず、エッジ画像から外接四角形を求める（ステップＳ８３）。

画像処理装置２０３は、原稿画像４ａの傾き角度θpと求めた外接四角形Ｒとから、数２８に従い、回転補正パラメータＡrfを取得する（ステップＳ８４）。

画像処理装置２０３が、このような回転補正パラメータ取得処理を実行すると、ＣＰＵ２０７は、図２０に示すフローチャートに従ってズームパラメータ初期化処理を実行する（図１４のステップＳ３０）。

ＣＰＵ２０７は、ズーム比ZoomをZoom＝１に設定する（ステップＳ１０１）。

ＣＰＵ２０７は、表示基点Ｃx，Ｃyを、それぞれ、Ｃx＝０，Ｃy＝０に設定する（ステップＳ１０２）。

ＣＰＵ２０７は、ズームパラメータＡzmを単位行列（Ａzm＝１）に設定する（ステップＳ１０３）。

このように、ズームパラメータ初期化を実行すると、ＣＰＵ２０７は、画像処理装置２０３に、静止画投影処理を実行させる（図１４のステップＳ３１）。画像処理装置２０３は、図２１に示すフローチャートに従って静止画投影処理を実行する。

画像処理装置２０３は、数１２に基づいてアフィンパラメータＡtを算出する（ステップＳ１１１）。
画像処理装置２０３は、図２２に示すフローチャートに従って画像変換処理を実行する（ステップＳ１１２）。

画像処理装置２０３は、座標ｕを入力パラメータｕminに初期化する（ステップＳ１２１）。
画像処理装置２０３は、座標ｖを入力パラメータｖminに初期化する（ステップＳ１２２）。

画像処理装置２０３は、アフィンパラメータＡtを用いて、数１１に座標(u,v)を代入し、座標(x,y)を求める（ステップ１２３）。
画像処理装置２０３は、得られた座標(x,y)から、バイリニア法を示す数１７に従って出力画像の画素値P(u,v)を求める（ステップ１２４）。

画像処理装置２０３は、座標ｖをインクリメントして、次のコラム座標点に移動させる（ステップＳ１２５）。
画像処理装置２０３は、座標ｖが指定範囲ｖmaxを超えたか否かを判定する（ステップ１２６）。

座標ｖが指定範囲ｖmax以下と判定した場合（ステップ１２６において、ｖ≦vmax）、画像処理装置２０３は、再び、ステップＳ１２３〜１２５を実行し、同一ラインにおける画素値の取得が終了するまで、順番に出力画像の画素値Ｐ(u,v)を求める。

座標ｖが指定範囲ｖmaxを超えたと判定した場合（ステップ１２６において、ｖ＞ｖmax）、画像処理装置２０３は、座標ｕをインクリメントする（ステップＳ１２７）。
画像処理装置２０３は、座標ｕが指定範囲ｕmaxを超えたか否かを判定する（ステップ１２８）。

座標ｕが指定範囲ｕmax以下と判定した場合（ステップ１２８において、ｕ≦ｕmax）、画像処理装置２０３は、座標ｖを初期化し、そのラインを始点から順番に出力画像の画素値Ｐ(u,v)を求める（ステップＳ１２２〜Ｓ１２７）。

一方、座標ｕが指定範囲ｕmaxを超えたと判定した場合（ステップ１２８において、ｕ＞ｕmax）、画像処理装置２０３は、この画像変換処理を終了させる。

画像処理装置２０３は、画像変換処理が終了すると、画像の鮮明化処理を実行する（図２１のステップＳ１１３）。

画像処理装置２０３は、切り出し画像を表示する（ステップＳ１１４）。
画像処理装置２０３は、画像データを圧縮する（ステップＳ１１５）。
画像処理装置２０３は、圧縮した画像データを送信し（ステップＳ１１６）、この静止画投影処理を終了させる。

画像処理装置２０３が静止画投影処理を終了させると、ＣＰＵ２０７は、再び、支柱傾き変化検出部２０５が支柱１２の傾きを検出したか否かを判定し（図１３のステップＳ１９）、低解像度画像撮影を行うように制御して被写体に動きがあるか否かを判定する（ステップＳ１３〜Ｓ１６）。

動いていた被写体の動きが停止したと判定し（ステップＳ１６，Ｓ２０においてそれぞれＮｏ，Ｙｅｓ）、さらに、メモリ２０１の作業データ記憶領域２０１ｄから読み出した射影パラメータ取得要求フラグのフラグ値がリセットされている場合、ＣＰＵ２０７は、射影補正パラメータ取得の要求はないと判定する（ステップＳ２１においてＮｏ）。

この場合、ＣＰＵ２０７は、射影補正パラメータＡtpは既に取得されているため、メモリ２０１の作業データ記憶領域２０１から射影補正パラメータＡtpを読み出して、ステップＳ２７〜Ｓ３１を実行する。

また、静止していた被写体が動いたと判定した場合（ステップＳ１６，Ｓ２０において、ともにＮｏ）、ＣＰＵ２０７は、操作部２０４の操作情報に基づいてズームパラメータの修正を行うか否かを判定する（ステップＳ３２）。

ズーム制御キー及び表示移動キーが押下されていなければ、ＣＰＵ２０７は、ズームパラメータの修正を行わないと判定する（ステップＳ３２においてＮｏ）。

一方、ズーム制御キー又は表示移動キーが押下されていれば、ＣＰＵ２０７は、ズームパラメータの修正を行うと判定し（ステップＳ３２においてＹｅｓ）、ズームパラメータ修正処理を実行する（ステップＳ３３）。

ＣＰＵ２０７は、図２３に示すフローチャートに従って、ズームパラメータ修正処理を実行する。

ＣＰＵ２０７は、操作部２０４から操作情報を取得し、ズーム制御キーが押下されたか否かを判定する（ステップＳ１３１）。

ズーム制御キーが押下されたと判定した場合（ステップＳ１３１においてＹｅｓ）、ＣＰＵ２０７は、押下されたキーの種別を判別する。
拡大キー４２ａが押下されたと判定した場合、ＣＰＵ２０７は、ズーム比ZoomをZoom＝Zoom*ZOOM_RATIOに設定する（ステップＳ１３２）。

縮小キー４２ｂが押下されたと判定した場合、ＣＰＵ２０７は、ズーム比ZoomをZoom＝Zoom/ZOOM_RATIOに設定する（ステップＳ１３３）。

ズーム制御キーが押下されなかったと判定した場合（ステップＳ１３１においてＮｏ）、ＣＰＵ２０７は、ズーム比Zoomを修正せずに、次の処理を実行する。

ＣＰＵ２０７は、数３１に従ってズーム比Zoomのチェックを行い、条件と一致する場合、そのズーム比Zoomを修正する（ステップＳ１３４）。

ＣＰＵ２０７は、左移動キー４３ａ又は右移動キー４３ｂが押下されたか否かを判定する（ステップＳ１３５）。

左移動キー４３ａ又は右移動キー４３ｂが押下されたと判定した場合（ステップＳ１３５においてＹｅｓ）、ＣＰＵ２０７は、押下されたキーの種別を判別する。

押下されたキーが左移動キー４３ａと判別した場合、ＣＰＵ２０７は、表示基点ＣxをＣx＝Ｃx−MOVE_STEP/Zoomに設定する（ステップＳ１３６）。

押下されたキーが右移動キー４３ｂと判別した場合、ＣＰＵ２０７は、表示基点ＣxをＣx＝Ｃx＋MOVE_STEP/Zoomに設定する（ステップＳ１３７）。

左移動キー４３ａ又は右移動キー４３ｂが押下されなかったと判定した場合（ステップＳ１３５においてＮｏ）、ＣＰＵ２０７は、表示基点Ｃxを修正せずに次の処理を実行する。

ＣＰＵ２０７は、上移動キー４３ｃ又は下移動キー４３ｄが押下されたか否かを判定する（ステップＳ１３８）。

上移動キー４３ｃ又は下移動キー４３ｄが押下されたと判定した場合（ステップＳ１３８においてＹｅｓ）、ＣＰＵ２０７は、押下されたキーの種別を判別する。

押下されたキーが上移動キー４３ｃと判別した場合、ＣＰＵ２０７は、表示基点ＣyをＣy＝Ｃy−MOVE_STEP/Zoomに設定する（ステップＳ１３９）。

押下されたキーが下移動キー４３ｄと判別した場合、ＣＰＵ２０７は、表示基点ＣyをＣy＝Ｃy＋MOVE_STEP/Zoomに設定する（ステップＳ１４０）。

上移動キー４３ｃ又は下移動キー４３ｄが押下されなかったと判定した場合（ステップＳ１３８においてＮｏ）、ＣＰＵ２０７は、表示基点Ｃyの修正を行わずに次の処理を実行する。

ＣＰＵ２０７は、数３２に従って表示基点(Ｃx,Ｃy)の座標のチェックを行い、修正すべきであれば、修正を行う（ステップＳ１４１）。

ＣＰＵ２０７は、ズーム比Zoom，表示基点Ｃx，Ｃyから、数３０に従い、ズームパラメータＡzmを作成する（ステップＳ１４２）。ＣＰＵ２０７は、作成したズームパラメータＡzmを、メモリ２０１の作業データ記憶領域２０１ｄに保存して、ズームパラメータ修正処理を終了させる。

ＣＰＵ２０７は、ズームパラメータ修正処理を終了させると、画像処理装置２０３に静止画投影処理を実行させる（図１４のステップＳ３１）。

以上説明したように、本実施形態によれば、画像処理装置２０３は、撮影画像１１ａに含まれている台座画像１３ａの形状から、この形状を台座１３の形状に射影するための射影補正パラメータＡtpを取得し、撮影画像１１ａから、原稿画像４ａに含まれる直線を取得する。そして、画像処理装置２０３は、射影補正パラメータＡtpによる射影補正画像を生成する代わりに、原稿画像４ａの直線情報から、原稿画像４ａの傾き角度θpを取得し、取得した傾き角度θpに基づいて原稿画像４ａの回転補正パラメータＡrfを取得するようにした。

従って、原稿画像４ａの射影補正、回転補正を高速に行うことができ、補正時間に要する時間を短縮することができる。

また、画像処理装置２０３は、射影補正、回転補正を行うだけでなく、ズームパラメータの修正処理も行うので、真上から撮影して得られたような正面補正画像を取得することができ、原稿４の載置等において、操作性の良い書画カメラ１を構成することができる。

また、画像処理装置２０３は、被写体の輪郭等を取得できなくても、一本の縦線又は横線から原稿画像の傾き補正を行うようにしたので、原稿４がカメラ画角からはみ出すような大きなものであっても、容易に原稿画像の傾き補正を行うことができる。また、被写体から一本の直線でさえ取得できない場合であっても、被写体を真上から撮影した画像を作成することができる。

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
例えば、上記実施形態では、撮影装置は、コンピュータを備えたものであってもよい。そして、コンピュータが、画像処理装置を備え、コンピュータが画像処理等を行うようにしてもよい。このようにすれば、カメラ部１１には、汎用のデジタルカメラを用いることもできる。

上記実施形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、撮影装置を、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。

さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

本発明の実施形態に係る撮影装置の構成を示す図である。 図１に示す書画カメラの構成を示すブロック図である。 図２に示すメモリの各記憶領域を示すブロック図である。 図２に示す画像処理装置が実行する２値エッジ画像の作成処理と矩形取得処理とを説明するための図であり、（ａ）〜（ｄ）は、それぞれ、撮影画像、マスキング処理を行わない２値エッジ画像、マスキング画像、マスキング処理後の２値エッジ画像を示す。 ハフ変換を説明するための図である。 入力画像を補正して出力画像を取得するまでの各座標系の関係を示す図であり、（ａ）は入力画像ｘｙ座標系、（ｂ）は、台座ＵＶ座標系、（ｃ）は、回転補正ｐｑ座標系、（ｄ）は出力画像ｕｖ座標系を示す。 射影補正パラメータを取得するために長方形の対象物とその撮影画像との形状の関係を説明するための図であり、（ａ）は台座とその台座画像との形状の関係、（ｂ）は、台座上の印画とその印画画像との形状の関係、（ｃ）は、台座上のコーナーマークとその画像との形状の関係を示す。 撮影画像におけるコーナーマーク画像の位置を示す図であり、（ａ）は、入力画像座標系におけるコーナーマークの位置を示し、（ｂ）は、台座座標系におけるコーナーマークの位置を示す。 原稿と台座との位置関係と直線取得方法を説明するための図である。 台座座標系における原稿画像の傾きを取得する方法を説明するための図である。 台座画像の辺の直線パラメータを示す図である。 図２に示す操作部の各キー、スイッチの説明図である。 図１の書画カメラが実行するカメラ基本処理（その１）を示すフローチャートである。 図１の書画カメラが実行するカメラ基本処理（その２）を示すフローチャートである。 図１の書画カメラが実行する画像の動き検出処理を示すフローチャートである。 図１の書画カメラが実行する動画投影処理を示すフローチャートである。 図１の書画カメラが実行する射影補正パラメータ取得処理を示すフローチャートである。 図１の書画カメラが実行する回転補正パラメータ取得処理を示すフローチャートである。 図１の書画カメラが実行する矩形取得処理を示すフローチャートである。 図１の書画カメラが実行するズームパラメータ初期化処理を示すフローチャートである。 図１の書画カメラが実行する静止画投影処理を示すフローチャートである。 図１の書画カメラが実行する画像変換処理を示すフローチャートである。 図１の書画カメラが実行するズームパラメータ修正処理を示すフローチャートである。 従来の撮影装置の説明図である。 従来の撮影装置の機能の説明図である。

符号の説明

１・・・書画カメラ、２・・・プロジェクタ、３・・・スクリーン、４・・・原稿、１１・・・カメラ部、１３・・・台座、２０１・・・メモリ、２０２・・・ビデオ出力装置、２０３・・・画像処理装置、２０４・・・操作部、２０５・・・支柱傾き変化検出部、２０７・・・ＣＰＵ

Claims (4)

1. 台座に載置された原稿を前記台座とともに撮影する撮影装置において、
   前記原稿を前記台座とともに撮影する撮影部と、
   前記撮影部が撮影した撮影画像から、歪み補正と傾き補正を行った補正後原稿画像を取得する画像処理部と、を備え、
   前記画像処理部は、
   前記撮影部の撮影によって得られた撮影画像から台座画像の形状を取得し、取得した前記台座画像の形状を前記台座の形状に補正するための射影補正パラメータを取得する射影補正パラメータ取得部と、
   前記撮影画像中の前記原稿の輪郭によって形成された直線である原稿画像の直線を取得する原稿画像直線取得部と、
   前記原稿画像直線取得部が取得した原稿画像の直線を前記射影補正パラメータ取得部が取得した射影補正パラメータを用いて射影変換し、射影変換後の原稿画像直線と射影変換後の台座画像の輪郭によって形成される台座画像直線との傾き角度を取得する傾き角度取得部と、
   前記傾き角度取得部が取得した傾き角度に基づいて、前記原稿画像の回転補正を行うための回転補正パラメータを取得する回転補正パラメータ取得部と、
   前記射影補正パラメータ取得部が取得した射影補正パラメータと前記回転補正パラメータ取得部が取得した回転補正パラメータとに基づいて、前記撮影画像に含まれている前記原稿画像の画像変換を行い、前記補正後原稿画像を取得する原稿画像取得部と、を備えた、
   ことを特徴とする撮影装置。
2. 前記傾き角度取得部は、数１〜数３に示す関係式に従って射影変換後の原稿画像直線と射影変換後の台座画像直線との傾き角度を取得する、
   ことを特徴とする請求項１に記載の撮影装置。
   

   

   

   
3. 台座に載置された原稿を前記台座とともに撮影する撮影装置の画像処理方法であって、
   前記原稿を前記台座とともに撮影することによって得られた撮影画像から台座画像の形状を取得し、取得した前記台座画像の形状を前記台座の形状に補正するための射影補正パラメータを取得するステップと、
   前記撮影画像中の前記原稿の輪郭によって形成された直線である原稿画像の直線を取得するステップと、
   前記取得した原稿画像直線を前記取得した射影補正パラメータを用いて射影変換し、射影変換した原稿画像直線と射影変換後の台座画像の輪郭によって形成される台座画像直線との傾き角度を取得するステップと、
   前記取得した傾き角度に基づいて、前記原稿画像の回転補正を行うための回転補正パラメータを取得するステップと、
   前記取得した射影補正パラメータと前記取得した回転補正パラメータとに基づいて、前記撮影画像に含まれている前記原稿画像の画像変換を行い、歪み補正と傾き補正を行った補正後原稿画像を取得するステップと、を備えた、
   ことを特徴とする撮影装置の画像処理方法。
4. コンピュータに、
   原稿を台座とともに撮影することによって得られた撮影画像から台座画像の形状を取得し、取得した前記台座画像の形状を前記台座の形状に補正するための射影補正パラメータを取得する手順、
   前記撮影画像中の前記原稿の輪郭によって形成された直線である原稿画像の直線を取得する手順、
   前記取得した原稿画像直線を前記取得した射影補正パラメータを用いて射影変換し、射影変換した原稿画像直線と射影変換後の台座画像の輪郭によって形成される台座画像直線との傾き角度を取得する手順、
   前記取得した傾き角度に基づいて、前記原稿画像の回転補正を行うための回転補正パラメータを取得する手順、
   前記取得した射影補正パラメータと前記取得した回転補正パラメータとに基づいて、前記撮影画像に含まれている前記原稿画像の画像変換を行い、歪み補正と傾き補正を行った補正後原稿画像を取得する手順、
   を実行させるためのプログラム。

Images