JP5299502B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、撮影された画像に対する画像処理を行う画像処理装置に関する。

従来、台上に載置した各種ドキュメントの画像を撮影して画像信号化し、外部接続したプロジェクタ装置等へ出力することで、ドキュメント画像を拡大して表示させることが可能な書画カメラ装置が各種製品化されている。

この種の書画カメラ装置では、例えばカメラ部をスタンド部と着脱自在な構成とし、カメラ部単独でも携帯して使用可能とすることで、使用範囲を広げ、使い勝手に優れたものとするなど、各種の技術が考えられている。（例えば、特許文献１）

特開２００５−１４３０９１号公報

しかるに、上記特許文献１に記載された技術も含め、書画カメラ装置本来の使用環境下では、書画台上に載置したドキュメントの画像を撮影して得た画像データを出力する。その際の技術として、例えば撮影画像中のドキュメントの矩形範囲を抽出することで、書画台上に斜めに載置されたドキュメント画像を正しい向きの画像にして出力する斜め補正処理、カメラ撮影光軸に対するドキュメント画像の位置の離間により本来は矩形であるドキュメント画像が台形状に撮影されてしまうのを元の矩形画像に変形する台形補正処理、など、各種の補正処理を行なうことが考えられている。

また、ドキュメント画像をその内容の向きに関係なく、とりあえず書画台上に載置した後、表示される内容を見ながら適宜出力画像の向きを例えば９０°単位で順次回転させることにより、画面上でドキュメント画像が正しい天地方向で表示させる回転補正処理を行なうことが可能なものも考えられている。

しかしながら、それらの補正処理は、いずれも何らかのユーザのキー操作による指示に伴って実行されるものであり、その操作が煩雑であると考えられることも多い。

本発明は、その目的とするところは、撮影状態に応じて撮影画像に対する画像処理を自動的に特定することにある。

請求項１記載の発明は、撮影対象物を撮影した撮影画像内における背景部分が、その対象物の撮影により上下あるいは左右の何れの方向で隠れたかを検出する検出手段と、上記検出手段により何れかの方向が隠れたと検出された際に、上記撮影画像に対する画像回転処理を、その隠れた方向に応じて決まる回転方向の画像回転処理に決定する処理決定手段と、を具備したことを特徴とする。
請求項２記載の発明は、撮影された画像に対する画像処理を行う画像処理装置であって、
撮影対象物を撮影した撮影画像内における背景部分が、その対象物の撮影により複数の方向の内で何れの方向で隠れたかを検出する検出手段と、上記検出手段により何れかの方向が隠れたと検出された際に、上記撮影画像に対する画像回転処理を、その隠れた方向に応じて決まる回転方向の画像回転処理に決定する処理決定手段と、を具備したことを特徴とする。

本発明によれば、撮影画像内における対象物の背景部分の撮影状態に応じて、その撮影画像に対する画像処理を自動的に特定することができる。

本発明の一実施形態に係る書画カメラ装置の外観構成を示す斜視図。 同実施形態に係る書画台単体の構成を示す平面図。 同実施形態に係る機能構成を示すブロック図。 同実施形態に係るドキュメント画像データの出力処理内容を示すフローチャート。 同実施形態に係る書画台上のドキュメント用紙と出力される画像データの内容とを例示する図。 同実施形態に係る書画台上のドキュメント用紙と出力される画像データの内容とを例示する図。 同実施形態に係る書画台単体の他の構成を示す平面図。

以下本発明を書画カメラ装置に適用した場合の一実施形態について図面を参照して説明する。
図１は、本実施形態に係る書画カメラ装置１０の外観構成を示すもので、本書画カメラ装置１０は、書画台１１、スタンド部１２、及びカメラ部１３を組み合わせて構成される。

書画台１１は、例えばヒンジを介して接続された３枚の折りたたみ式の薄板状部材（合成樹脂板）からなり、その中央の合成樹脂板の端部からスタンド部１２が直立する。スタンド部１２の上部には回動アーム部１２ａが延在され、この回動アーム部１２ａの先端にカメラ取付け部１２ｂが上記書画台１１と平行となるように回動自在に配置される。

そして、このカメラ取付け部１２ｂに対してカメラ部１３が取付けられ、上記書画台１１上に載置された各種ドキュメントの画像を撮影することとなる。

図２は、上記書画台１１のみを示す平面図である。上述した如く折りたたみ式の書画台１１を展開した状態で、ユーザは任意のドキュメント用紙をこの書画台１１上に載置することで、上記カメラ部１３によりドキュメント用紙を含んだ書画台１１上のほぼ全域を撮影し、その画像データを適宜補正して書画カメラ装置１０と接続した外部機器、例えばパーソナルコンピュータやプロジェクタ装置へ出力することができる。

図示する如く書画台１１の左端側には回転マークＲＭが付加配設される。この回転マークＲＭは、矩形のフレーム枠内にアルファベット「Ａ」を配したものとなっており、樹脂製の書画台１１上に透明地の粘着シールを貼付して構成しても良いし、あるいは凹凸を有するものとして樹脂製の書画台１１をモールド製造する際に一体的に凹部がパターン形成された後、凹部に塗料が塗布されるものとしてもよい。いずれにしても、回転マークＲＭは、書画台１１を構成する周囲の樹脂の色とは大きく異なるコントラストとなる色彩が選定され、撮影画像中でその存在の有無の判別が容易になるものとする。

なお、この書画カメラ装置１０は、ＵＳＢケーブル１４を介して図示しない外部機器、例えばプロジェクタ装置等と接続され、書画台１１上の画像を撮影して得た画像データを当該外部機器へ出力する。

次に書画カメラ装置１０の概略機能構成について図３を用いて説明する。
図３は、同実施の形態に係る書画カメラ装置１０全体の電子回路の概念構成を示すものである。
図中、モータ（Ｍ）２１の駆動により、カメラ部１３の下面側に取付けられた撮影レンズ光学系２２中の一部のレンズ、具体的にはズームレンズ及びフォーカスレンズの位置が適宜移動される。この撮影レンズ光学系２２の撮影光軸後方の結像位置に、図示しないメカニカルシャッタを介して、固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）２３が配置される。

ＣＣＤ２３は、タイミング発生器（ＴＧ）２４、ＣＣＤドライバ（Ｄｖ．）２５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。

この光電変換出力は、サンプルホールド（Ｓ／Ｈ）回路２６において、アナログ値の信号の状態でＲＧＢの各原色成分毎にその時点に設定されているＩＳＯ感度に応じてＡＧＣ（自動ゲイン調整）された後にサンプルホールドされ、Ａ／Ｄ変換器２７に送られる。

Ａ／Ｄ変換器２７では、アナログの画像データをデジタルデータに変換し、カラープロセス回路２８へ出力する。

カラープロセス回路２８は、デジタルの画像データに対して画素補間処理及びγ補正処理を含むカラープロセス処理を行ない、マトリックス変換によりデジタル値の輝度色差系の画像データＹＵＶを生成した後にバッファコントローラ２９に出力する。

バッファコントローラ２９は、カラープロセス回路２８の出力する画像データＹＵＶを、同じくカラープロセス回路２８からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度バッファコントローラ２９内部に書込んだ後、バッファメモリとして使用されるＤＲＡＭ３０にＤＭＡ転送を行なう。

このＤＲＡＭ３０は、上記撮影により得た画像データを保持する領域と、後述する外部出力する画像データを保持する領域の少なくとも２枚分の画像データを保持するだけの記憶容量を有するものとする。

制御部３１は、ＣＰＵで構成され、ワークメモリとして使用されるメインメモリ３２、動作プログラムやデータ等を固定的に記憶した不揮発性メモリでなるプログラムメモリ３３とシステムバスＳＢを介して接続されるもので、プログラムメモリ３３から必要なプログラム等を読出し、該メインメモリ３２に適宜必要なプログラムやデータを一時的に展開して書込みながら、この書画カメラ装置１０全体の制御動作を司る。

しかして制御部３１は、上記画像データのＤＲＡＭ３０へのＤＭＡ転送終了後に、この画像データをバッファコントローラ２９を介してＤＲＡＭ３０より読出し、表示制御部３４を介してＶＲＡＭ３５に書込む。

表示制御部３４は、上記画像データをＶＲＡＭ３５より定期的に読出して表示部３６に出力する。

この表示部３６は、バックライト付きのカラー液晶パネルとその駆動回路とで構成される。この表示部３６は、上記カメラ部１３の上面側に配置され、この書画カメラ装置１０を外部機器に接続していない状態でも撮影内容を視認できるビューファインダとして機能するもので、表示制御部３４からの画像データ等に基づいた表示を行なうことで、その時点で上記ＣＣＤ２３から取込んでいる画像等をリアルタイムにモニタ表示する。

一方で、制御部３１は、ＤＲＡＭ３０に保持される出力用の画像データをバッファコントローラ２９により読出させ、ＵＳＢインタフェース（Ｉ／Ｆ）３７へ出力する。ＵＳＢインタフェース３７は、ＵＳＢ２．０規格に則って外部機器の間で画像データを含む各種データの送受を行なうもので、上記ＵＳＢケーブル１４を介して画像データをアイソクロナス転送により外部機器へ出力する。

なお、上記ＵＳＢケーブル１４は電源ケーブルを兼ねており、ＵＳＢ規格で規定されている電力線が電源制御部３８と接続される。電源制御部３８は、ＵＳＢケーブル１４から供給される直流５．０［Ｖ］の電力を元に各種電圧、例えば１．５［Ｖ］、３．３［Ｖ］の電力を生成し、他の各回路に必要な動作電圧を印加する。

また、上記システムバスＳＢにはさらに、補助光駆動部３９、画像処理部４０、及びメモリカード４１が接続される。
補助光駆動部３９は、制御部３１の制御の下に、複数の高輝度白色ＬＥＤ４２を同時に発光駆動し、書画台１１上に載置されたドキュメント用紙を照明する。

画像処理部４０は、後述する画像認識処理、斜め補正処理等の画像処理を行なう他、制御部３１の制御に基づいてＤＲＡＭ３０に保持される画像データを所定の規格、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）に則ってデータ圧縮する。

メモリカード４１は、この書画カメラ装置１０のカメラ部１３に着脱自在に装着されるもので、上記画像処理部４０でデータ圧縮された画像データ等を記録する。

なお、書画カメラ装置１０のカメラ部１３部及びスタンド部１２に設けられる各種キースイッチを含んでキー入力部４３が構成され、このキー入力部４３でのキー操作信号が直接制御部３１へ送出されるもので、制御部３１はこのキー入力部４３からのキー操作信号に応じた制御動作を実行する。

次に上記実施形態の動作について説明する。
なお、以下に示す動作は、いずれも制御部３１がプログラムメモリ３３に記憶された動作プログラムを読出して実行することにより制御される。

図４は、書画カメラ装置１０を外部機器、例えばプロジェクタ装置と接続して使用する場合の基本的な処理内容を示すものである。その処理当初には、所定周期、例えば０．５［秒］周期で撮影レンズ光学系２２及びＣＣＤ２３を含む撮影系により書画台１１上を撮影し（ステップＳ１０１）、サンプルホールド回路２６、Ａ／Ｄ変換器２７、カラープロセス回路２８、バッファコントローラ２９を介してバッファメモリであるＤＲＡＭ３０に保持した上で、その画像データに対する認識処理を行なう（ステップＳ１０２）。

この認識処理としては、書画台１１上にドキュメント用紙が載置されているか否かの判断と、さらに載置されていると判断した場合にその矩形領域の検出と上記回転マークＲＭの有無の判断を含む。

その後、上記撮影により得てＤＲＡＭ３０に保持した画像データと、同じくこのＤＲＡＭ３０に保持してＵＳＢインタフェース３７を介して外部機器へ出力している画像データとを比較し（ステップＳ１０３）、実質的に同一の内容であるか否かにより書画台１１上の状態に変化を生じたか否かを判断する（ステップＳ１０４）。

ここでＤＲＡＭ３０に保持される２枚の画像データの比較により書画台１１上での変化がないと判断した場合には、そのまま上記ステップＳ１０１の処理に戻って同様の処理を繰返すことで、周期的な書画台１１の撮影を続行する。

また、上記ステップＳ１０４でＤＲＡＭ３０に保持される２枚の画像データの比較により書画台１１上での変化があったと判断すると、次に撮影した画像データ中に回転マークＲＭがあったかどうかを判断する（ステップＳ１０５）。

図５（Ａ）は、書画台１１上にドキュメント用紙ＤＰが載置された状態を示すもので、ここではドキュメント用紙ＤＰが書画台１１の回転マークＲＭ上にかかっておらず、画像データ中でドキュメント用紙ＤＰとは別に回転マークＲＭを認識することができる。

この場合、上記ステップＳ１０５で画像データ中に回転マークＲＭがあったと判断すると、画像データ中からドキュメント用紙ＤＰの矩形領域を抽出し、そのままの方向で新たに出力する画像データとしてＤＲＡＭ３０に保持させた上で、その画像データを読出してＵＳＢインタフェース３７より外部機器へ出力させ（ステップＳ１０７）、その後に上記ステップＳ１０１からの処理に戻る。

したがって、ドキュメント用紙ＤＰの内容が縦書きか横書きかに拘わらず、書画台１１上に載置したままの方向の画像データが外部機器、例えばプロジェクタ装置へ出力され、図５（Ｂ）に示すように投影される。

また、上記ステップＳ１０５で画像データ中に回転マークＲＭがなかったと判断すると、画像データ中からドキュメント用紙ＤＰの矩形領域を抽出し、抽出した内容を右方向に９０°回転した画像データに変換した上でＤＲＡＭ３０に保持させた後に（ステップＳ１０６）、上記ステップＳ１０７に進んで、ＤＲＡＭ３０の画像データを読出してＵＳＢインタフェース３７より外部機器へ出力させる。

図６（Ａ）は、書画台１１上にドキュメント用紙ＤＰが載置された状態を示すもので、ここではドキュメント用紙ＤＰが書画台１１の回転マークＲＭ上にかかっているために回転マークＲＭを認識することができない。

したがって、上記ステップＳ１０６で画像データ中からドキュメント用紙ＤＰの矩形領域を抽出すると、抽出した内容を右方向に９０°回転した画像データに変換した上でＤＲＡＭ３０に保持させることとなり、この回転した画像データが続くステップＳ１０７でＤＲＡＭ３０から読出され、ＵＳＢインタフェース３７より外部機器へ出力されて、図６（Ｂ）に示すように投影されることとなる。

このように本実施形態によれば、単に書画台１１上に載置されたドキュメント用紙ＤＰが書画台１１の回転マークＲＭを覆っているか否かを撮影で得た画像データから判定することで、当該画像データを９０°回転変換するか否か、その出力を制御するものとしたため、ユーザは書画台１１上へドキュメントを置く位置のみを留意すれば良く、より簡易な取扱いながら、正しい状態のドキュメント画像を出力させることができる。

なお上記実施形態では、書画台１１上に載置したドキュメント用紙ＤＰが回転マークＲＭを覆った場合に、ドキュメント用紙ＤＰの画像を右方向に９０°回転させてから出力させるものとしたが、撮影画像中におけるドキュメント用紙ＤＰ自体が書画台１１に対して斜めに載置されている場合には、斜め補正により画像データ中のドキュメント用紙ＤＰの矩形領域を一旦書画台１１に対して正確に双方の長手方向どうしが平行または直交するように４５°以下の回転変換を行なった後、あらためて９０°単位での回転変換を行なうものとしても良い。

また、本発明は、上記実施形態のように対象となる画像データに対して必要により９０°を単位として回転変換するものとは限らず、他の回転角度、例えば４５°単位、１８０°単位、‥‥のような角度で回転変換を行なうものとしてもよい。

しかしながら、９０°を単位として所定の方向に回転変換を行なうものとした場合、ユーザにとっては回転変換動作が感覚的に把握し易く、且つ書画台１１上に載置するドキュメント用紙ＤＰの位置を再調整する際の頻度も少なくてすむため、使い勝手がより向上するものと思われる。

また、上記実施形態では、書画台１１上の左端側に１箇所の回転マークＲＭのみを配置するものとしてその構成とそれに伴う作用効果とを説明したが、本発明はこれに限らず、例えば図７に示すように書画台１１の左端側に回転マークＲＭ１を、同右端側に回転マークＲＭ２を配置し、ドキュメント用紙ＤＰが回転マークＲＭ１を覆う場合にはドキュメント用紙ＤＰの画像を右方向に９０°回転変換し、反対にドキュメント用紙ＤＰが回転マークＲＭ２を覆う場合にはドキュメント用紙ＤＰの画像を左方向に９０°回転変換するような構成も考えることができる。

このような構成とした場合、上記実施形態で説明した場合に比べて、回転マークＲＭ１，ＲＭ２のいずれかを適宜覆うように位置を調整することで、より容易に正しい回転方向での画像データを出力して投影、あるいは表示させることができる。

さらに、書画台１１の左右の各端部と、上または下側の端部の計３箇所に回転マークを配置し、左右両端の回転マークを覆った場合には上記図７で説明した如くドキュメント用紙ＤＰの画像を回転変換させ、上端または下端の回転マークを覆った場合にはドキュメント用紙ＤＰの画像を１８０°回転変換させることも考えられる。

このような構成とした場合、とりあえずドキュメント用紙ＤＰの裏表のみを間違えることなく書画台１１上に載置するものとすれば、ドキュメント用紙ＤＰの上側がどちらであるのか等を予め揃えておく必要もなく、３つの回転マークのいずれかを適宜覆うように位置を調整することで、より容易に正しい回転方向での画像データを出力して投影、あるいは表示させることができる。

なお、上記実施形態では書画台１１の出力する画像データを図示しないプロジェクタ装置で投影させるものとして説明したが、当然ながら接続する外部機器を限定するものではなく、パーソナルコンピュータ、大型のディスプレイ装置、プリンタ等であっても良い。

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件により適宜の組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

１０…書画カメラ装置、１１…書画台、１２…スタンド部、１２ａ…回動アーム部、１２ｂ…カメラ取付け部、１３…カメラ部、１４…ＵＳＢケーブル、２１…モータ（Ｍ）、２２…撮影レンズ光学系、２３…ＣＣＤ、２４…タイミング発生器（ＴＧ）、２５…ＣＣＤドライバ（Ｄｖ．）、２６…サンプルホールド回路（Ｓ／Ｈ）、２７…Ａ／Ｄ変換器、２８…カラープロセス回路、２９…バッファコントローラ、３０…ＤＲＡＭ、３１…制御部、３２…メインメモリ、３３…プログラムメモリ、３４…表示制御部、３５…ＶＲＡＭ、３６…表示部、３７…ＵＳＢインタフェース（Ｉ／Ｆ）、３８…電源制御部、３９…補助光駆動部、４０…画像処理部、４１…メモリカード、４２…高輝度白色ＬＥＤ、４３…キー入力部、ＲＭ，ＲＭ１，ＲＭ２…回転マーク、ＳＢ…システムバス。

Claims (8)

1. 撮影された画像に対する画像処理を行う画像処理装置であって、
   撮影対象物を撮影した撮影画像内における背景部分が、その対象物の撮影により上下あるいは左右の何れの方向で隠れたかを検出する検出手段と、
   上記検出手段により何れかの方向が隠れたと検出された際に、上記撮影画像に対する画像回転処理を、その隠れた方向に応じて決まる回転方向の画像回転処理に決定する処理決定手段と、
   を具備したことを特徴とする画像処理装置。
2. 撮影された画像に対する画像処理を行う画像処理装置であって、
   撮影対象物を撮影した撮影画像内における背景部分が、その対象物の撮影により複数の方向の内で何れの方向で隠れたかを検出する検出手段と、
   上記検出手段により何れかの方向が隠れたと検出された際に、上記撮影画像に対する画像回転処理を、その隠れた方向に応じて決まる回転方向の画像回転処理に決定する処理決定手段と、
   を具備したことを特徴とする画像処理装置。
3. 上記検出手段は、上記撮影画像内における背景部分の上下あるいは左右方向に存在するはずの複数のマークの内、何れの方向のマークが隠れたか否かを検出する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 上記検出手段は、上記撮影画像内に変化があった際に検出する、
   ことを特徴とする請求項１〜３の何れかに記載の画像処理装置。
5. 上記撮影画像を出力する出力手段と、
   を更に具備し、
   上記出力手段は、上記検出手段より何れかの方向が隠れたと検出された際は、上記撮影画像に対して上記処理決定手段で決定された画像回転処理を施して画像出力する、
   ことを特徴とする請求項１〜４の何れかに記載の画像処理装置。
6. 上記出力手段は、上記検出手段で何れの方向も隠れてないことを検出した際は、上記撮影画像に対して上記画像回転処理を施さずに画像出力する、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 撮影された画像に対する画像処理を行う画像処理装置のコンピュータを制御するためのプログラムであって、
   前記コンピュータを、
   撮影対象物を撮影した撮影画像内における背景部分が、その対象物の撮影により上下あるいは左右の何れの方向で隠れたかを検出する検出手段、
   上記検出手段により何れかの方向が隠れたと検出された際に、上記撮影画像に対する画像回転処理を、その隠れた方向に応じて決まる回転方向の画像回転処理に決定する処理決定手段、
   として機能させるようにしたコンピュータ読み取り可能なプログラム。
8. 撮影された画像に対する画像処理を行う画像処理装置のコンピュータを制御するためのプログラムであって、
   前記コンピュータを、
   撮影対象物を撮影した撮影画像内における背景部分が、その対象物の撮影により複数の方向の内で何れの方向で隠れたかを検出する検出手段、
   上記検出手段により何れかの方向が隠れたと検出された際に、上記撮影画像に対する画像回転処理を、その隠れた方向に応じて決まる回転方向の画像回転処理に決定する処理決定手段、
   として機能させるようにしたコンピュータ読み取り可能なプログラム。

Images