JP4968936B2 - Control device, control method and program - Google Patents
Control device, control method and program Download PDFInfo
- Publication number
- JP4968936B2 JP4968936B2 JP2007259072A JP2007259072A JP4968936B2 JP 4968936 B2 JP4968936 B2 JP 4968936B2 JP 2007259072 A JP2007259072 A JP 2007259072A JP 2007259072 A JP2007259072 A JP 2007259072A JP 4968936 B2 JP4968936 B2 JP 4968936B2
- Authority
- JP
- Japan
- Prior art keywords
- photographing
- image
- unit
- range
- photographed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Accessories Of Cameras (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
本発明は、制御装置、制御方法及びプログラムに関するものであり、特に、画像を撮影する撮影部を移動できる撮影装置に適用されて好適である。 The present invention, control apparatus, control is related control method, and a program, particularly suitable are applied to the imaging apparatus can move the imaging unit for capturing an image.
従来から、画像を撮影する撮影部を上下左右に回転させることで広範囲の撮影を行うことができる撮影装置が知られている。この撮影装置を、ネットワーク等を介してPC(パーソナルコンピュータ)に接続することで、ユーザは遠隔で撮影装置を上下左右に回転させる等の操作を行うことができる。 2. Description of the Related Art Conventionally, there has been known a photographing apparatus capable of photographing a wide range by rotating a photographing unit for photographing an image vertically and horizontally. By connecting this photographing apparatus to a PC (personal computer) via a network or the like, the user can remotely perform operations such as rotating the photographing apparatus up and down, left and right.
また、このような撮影装置において撮影装置が撮影することができる範囲を複数撮影し、その撮影した複数の画像を1枚の画像に合成する、いわゆるパノラマ画像を作成することができる(例えば、特許文献1参照)。作成したパノラマ画像をモニターに表示することで、ユーザは撮影することができる撮影範囲を容易に理解することができると共に、現在撮影されている範囲が全撮影可能範囲のどの範囲であるのかを容易に理解することができる。また、ユーザがパノラマ画像の中から撮影したい位置を指定して、指定された位置の撮影範囲になるように撮影装置を移動させれば、ユーザの使い勝手が向上する。 In addition, a so-called panoramic image can be created by shooting a plurality of ranges that can be shot by the shooting device in such a shooting device and combining the shot images into a single image (for example, patents). Reference 1). By displaying the created panorama image on the monitor, the user can easily understand the shooting range that can be shot, and it is easy to determine which range of the total shooting range is currently shot. Can understand. Further, if the user designates a position where the user wants to photograph from the panoramic image and moves the photographing apparatus so as to be within the photographing range of the designated position, user convenience is improved.
上述したような撮影装置を設置する場合、その使用態様によって、例えば、撮影装置を天井面に設置したり、床面に設置したり、机や台の上等、地上より上の面に設置したりする場合がある。撮影装置を天井面に設置した場合、撮影角度が水平よりも上方向に回転できるような構造の撮影装置では、全撮影範囲をパノラマ画像として作成すると、パノラマ画像には天井を撮影している部分が含まれる。また、同様に、撮影装置を床面に設置した場合、撮影角度が水平よりも下方向に回転できるような構造の撮影装置では、全撮影範囲をパノラマ画像として作成すると、パノラマ画像には床を撮影している部分が含まれる。 When installing an imaging device such as that described above, depending on how it is used, for example, the imaging device may be installed on the ceiling, on the floor, or on a surface above the ground, such as on a desk or table. Sometimes. When the shooting device is installed on the ceiling surface, if the shooting device has a structure in which the shooting angle can be rotated upward from the horizontal, if the entire shooting range is created as a panoramic image, the panoramic image captures the ceiling Is included. Similarly, when the photographing device is installed on the floor, in a photographing device having a structure in which the photographing angle can be rotated downward from the horizontal, if the entire photographing range is created as a panoramic image, the panoramic image has a floor. Includes the part being shot.
しかしながら、撮影装置がパノラマ画像を作成するために、天井や床等の部分を撮影するのは、パノラマ画像の撮影時間に長時間かかるという問題がある。 However, there is a problem that it takes a long time to take a panoramic image when the photographing device shoots a part such as a ceiling or a floor in order to create a panoramic image.
本発明は、上述したような問題点に鑑みてなされたものであり、撮影装置が撮影することができる撮影範囲を示す画像を作成する時間を短くすることを目的とする。 The present invention has been made in view of the above-described problems, and an object of the present invention is to shorten the time for creating an image indicating a shooting range that can be shot by a shooting apparatus.
本発明の制御装置は、画像を撮影する撮影部及び前記撮影部を移動させる可動部を有する撮影装置を制御する制御装置であって、前記撮影部を端側から水平移動させる動作を垂直方向に対して複数回行うことにより撮影することができる撮影範囲を示す画像を作成する画像作成手段と、前記画像作成手段において作成される画像の撮影のために行われる前記撮影部の移動を、非撮影対象部に基づいて制御する可動部制御手段と、前記撮影部において撮影される画像から所定閾値以上の照度が水平方向に連続し且つ所定閾値以下の照度が水平方向に連続する境界線を検出することにより前記撮影範囲に含まれる前記非撮影対象部を判定する判定手段と、を有し、前記可動部制御手段は、前記判定手段により判定された非撮影対象部を除いた前記撮影範囲の画像の撮影を行うとともに前記撮影される画像の端部が前記判定手段により検出された境界線に一致するように前記撮影部の水平移動を制御することを特徴とする。
本発明の制御方法は、画像を撮影する撮影部及び前記撮影部を移動させる可動部を有する撮影装置を制御する制御方法であって、前記撮影部を端側から水平移動させる動作を垂直方向に対して複数回行うことにより撮影することができる撮影範囲を示す画像を作成する画像作成ステップと、前記撮影部において撮影される画像から所定閾値以上の照度が水平方向に連続し且つ所定閾値以下の照度が水平方向に連続する境界線を検出することにより前記撮影範囲に含まれる非撮影対象部を判定する判定ステップと、前記判定ステップにおいて判定された非撮影対象部を除いた前記撮影範囲の画像の撮影を行うとともに前記撮影される画像の端部が前記判定ステップにおいて検出された境界線に一致するように前記撮影部の水平移動を制御する可動部制御ステップと、を有することを特徴とする。
本発明のプログラムは、画像を撮影する撮影部及び前記撮影部を移動させる可動部を有する撮影装置を制御するプログラムであって、前記撮影部を端側から水平移動させる動作を垂直方向に対して複数回行うことにより撮影することができる撮影範囲を示す画像を作成する画像作成ステップと、前記撮影部において撮影される画像から所定閾値以上の照度が水平方向に連続し且つ所定閾値以下の照度が水平方向に連続する境界線を検出することにより前記撮影範囲に含まれる非撮影対象部を判定する判定ステップと、前記判定ステップにおいて判定された非撮影対象部を除いた前記撮影範囲の画像の撮影を行うとともに前記撮影される画像の端部が前記判定ステップにおいて検出された境界線に一致するように前記撮影部の水平移動を制御する可動部制御ステップと、をコンピュータに実行させることを特徴とする。
The control device of the present invention is a control device that controls a photographing device having a photographing unit that captures an image and a movable unit that moves the photographing unit, and the operation of horizontally moving the photographing unit from the end side in the vertical direction. An image creating unit that creates an image showing a photographing range that can be photographed by performing a plurality of times, and a movement of the photographing unit that is performed for photographing an image created by the image creating unit is not photographed. A movable part control means that controls based on a target part, and a boundary line in which an illuminance equal to or greater than a predetermined threshold continues in a horizontal direction and an illuminance equal to or less than a predetermined threshold continues in a horizontal direction from an image captured by the imaging unit Determining means for determining the non-photographing target portion included in the photographing range, and the movable part control means excludes the non-photographing target portion determined by the determining means. And controlling the horizontal movement of the imaging unit so that the end portion of the image to be the imaging performs imaging of the shadow area of the image matches the detected boundary lines by the determination means.
Control method of the present invention is a control method for controlling an imaging apparatus having a movable portion that moves the imaging unit and the imaging unit for taking an image, vertical operation for horizontally moving the imaging unit from the end side An image creating step for creating an image showing a photographing range that can be photographed by performing a plurality of times, and an illuminance that is equal to or greater than a predetermined threshold from the image photographed in the photographing unit is continuous in the horizontal direction and less than or equal to the predetermined threshold A step of determining a non-shooting target portion included in the shooting range by detecting a boundary line in which the illuminance is continuous in a horizontal direction, and the shooting range excluding the non-shooting target portion determined in the determination step Yes for controlling the horizontal movement of the imaging unit so that the end portion of the image to be the imaging performs imaging of the image matches the detected boundary line in said decision step And having a section control step.
The program according to the present invention is a program for controlling a photographing apparatus having a photographing unit for photographing an image and a movable unit for moving the photographing unit, wherein an operation for horizontally moving the photographing unit from an end side is performed in a vertical direction. An image creation step for creating an image showing a photographing range that can be photographed by performing a plurality of times, and an illuminance that is equal to or greater than a predetermined threshold is continuous in the horizontal direction from the image that is captured by the photographing unit, and the illuminance that is equal to or less than the predetermined threshold A determination step of determining a non-shooting target portion included in the shooting range by detecting a boundary line that continues in the horizontal direction, and shooting of an image in the shooting range excluding the non-shooting target portion determined in the determination step to control the horizontal movement of the imaging unit so that the end portion of the image to be the image capturing matches the detected boundary in said determination step performs a Characterized in that to execute a movable section control step, to the computer.
本発明によれば、撮影装置が撮影することができる撮影範囲を示す画像を作成する時間を短くすることができる。 ADVANTAGE OF THE INVENTION According to this invention, the time which produces the image which shows the imaging | photography range which an imaging device can image | photograph can be shortened.
以下、図面を参照して本発明に係る実施形態について説明する。
(第1の実施形態)
図1は、本発明を適用した撮影システム100の概略の構成を示す図である。
図1において、撮影システム100は、パーソナルコンピュータ18と、撮影装置14であるネットワークカメラとを含んで構成されている。パーソナルコンピュータ18は制御装置11と、表示装置12と、入力装置13と、を含んで構成されている。また、各装置はLAN、イーサネット(登録商標)、バス等の接続手段15を介して接続されている。図1における表示装置12の表示画面には、後述する処理により作成されたパノラマ画像16が表示されている。
Embodiments according to the present invention will be described below with reference to the drawings.
(First embodiment)
FIG. 1 is a diagram showing a schematic configuration of an
In FIG. 1, the
図2は、撮影システム100の内部構成を示す図である。
図2において、制御装置11は、制御部21と、記憶部22と、通信部23とを含んで構成される。制御部21はCPUであり、記憶部22に格納されたパノラマ画像を作成するパノラマ画像作成プログラム及び撮影装置14を制御するプログラム等を読み込んで、実行する。また制御部21は、上述したプログラムに基づいて撮影装置14によって撮影された画像を表示装置12に表示したり、ユーザによって入力装置13を介して入力された情報に基づいて撮影装置14を制御したりする。記憶装置である記憶部22は、ROM、RAM、HD等であり、上述したプログラムが格納されたり、撮影装置14によって撮影された画像データが記憶されたりする。通信部23は通信インターフェースであり、撮影装置14を制御するための制御データを送信したり、撮影装置14により撮影された画像データを受信したりする。
FIG. 2 is a diagram illustrating an internal configuration of the
In FIG. 2, the
表示装置12は、モニターであり、撮影装置14によって撮影された画像が表示される。
入力装置13は、キーボード、マウス等である。ユーザは入力装置13を介して制御装置11に対する指示を入力することができる。
The
The
撮影装置14は、撮影部41と、画像処理部47と、可動部48と、通信部49とを含んで構成される。撮影部41は、レンズ42や撮像素子等を含み、制御装置11により送信された制御データに基づいてズームを行ったり、画像の撮影を行ったりする。画像処理部47は、撮影部41によって撮影された画像に対して色変換処理等の画像処理を行う。可動部48は、撮影部41が移動できるようにモータ等により構成されている。可動部48の詳細については図3において後述する。通信部49は通信インターフェースであり、撮影装置14を制御する制御データを受信したり、撮影部41により撮影された画像データを送信したりする。
The
次に、撮影装置14について図3を参照してより具体的に説明する。図3は、撮影装置14を天井30に設置したときの状態を示す図である。撮影装置14を監視カメラとして用いる場合は、このように撮影範囲を広くカバーできるように天井等、上方に設置される。図3に示すように、撮影装置14は、撮影部41、支持体43、回転体45、取付ベース46を含んで構成されている。支持体43は、撮影部41を水平方向に沿ったチルト軸44を介して支持している。従って、撮影部41は、図3に示すようにチルト軸44の回りを図示しないモータにより回転することができる(この回転方向をチルト方向という)。本実施形態の撮影装置14は、撮影部41が水平の状態から上方向及び下方向に数十度の角度で回転できるようになっている。回転体45は、支持体43を支持しており、内部に取付ベース46が収容されている。取付ベース46は、天井30や床等と接する設置面を有している。ここで、回転体45は、取付ベース46に対して図3に示すように鉛直方向のパン軸を中心として図示しないモータにより回転することができる(この回転方向をパン方向という)。本実施形態の撮影装置14は、撮影部41の基準となる位置から左右に100度以上の角度で回転できるようになっている。
Next, the photographing
このように撮影部41を回転させて移動させる構造、即ち撮影部41と支持体43との間をモータを用いて移動させる構造及び回転体45と取付ベース46との間をモータで移動させる構造を可動部48という。なお、可動部48は図3に示すようなものに限られない。例えば、撮影部41を自由に移動させることができる自在継手のようなものであってもよい。なお、可動部48は制御装置11の制御部21からの制御データに基づいて撮影部41を移動させる。
Thus, a structure for rotating and moving the photographing
次に、撮影システム100を用いて、撮影部41が撮影することができる範囲を複数撮影し、その撮影した複数の画像を1枚の画像に合成する、いわゆるパノラマ画像を作成する処理について説明する。このパノラマ画像を作成する処理は、撮影装置14を設置した際、ユーザの入力装置13を介したパノラマ画像作成プログラムの実行が指示されたときに、実行される。
Next, a process of creating a so-called panoramic image in which a plurality of ranges that can be captured by the
まず、制御装置11の制御部21は、ユーザによるパノラマ画像作成プログラムの実行指示を検出すると、記憶部22に格納されているパノラマ画像作成プログラムを読み込む。
次に、制御装置11の制御部21は、撮影装置14の可動部48に対して撮影部41をパン方向、チルト方向に回動させる制御データを生成したり、撮影部41に対してズームを行う制御データを生成したりする。制御部21は、生成した制御データを通信部23を介して撮影装置14に送信する。即ち制御部21は、可動部48を制御し撮影部41を移動させる制御をしたり、撮影部41を制御してズーム等を行ったりする。
First, the
Next, the
より具体的には、制御部21は、可動部48を制御してパン方向及びチルト方向の最も端側に撮影部41を移動させる制御を行う。次に、制御部21は、撮影部41をズームのワイド端から順番に撮影範囲の画像を複数、撮影するように制御を行う。撮影部41は、制御部21による制御に基づいて撮影範囲の画像を複数、撮影する。次に、画像処理部47は、撮影された画像に色変換処理等の画像処理を行う。次に、制御部21は、撮影部41により撮影された複数の画像(画像処理が行われた画像)を通信部49及び通信部23を介して受信し、記憶部22に記憶する。次に、制御部21は、受信した複数の画像が連続するように合成して1枚のパノラマ画像を作成する。次に、制御部21は、作成したパノラマ画像を記憶部22に保存すると共に、作成したパノラマ画像を表示装置12に表示する。なお、撮影装置14に記憶部が設けられている場合、制御部21は、作成したパノラマ画像を撮影装置14の記憶部に保存してもよい。
More specifically, the
図4は、制御部21が作成し、表示装置12に表示したパノラマ画像16の一例を示す図である。図4に示すパノラマ画像16の撮影では、可動部48が制御部21の制御に基づいて、撮影部41を左下の画像から順番に右下の画像を撮影できるよう移動させる。撮影部41は制御部21の制御に基づいて、画像A〜画像Fの6枚を撮影する。次に、可動部48は制御部21の制御に基づいて、撮影部41を下から2段目の左の画像から順番に下から2段目の右の画像を撮影できるように移動させる。撮影部41は、制御部21の制御に基づいて、画像G〜画像Lの6枚を撮影する。同様に、撮影部41は、制御部21の制御に基づいて、画像M〜画像Rの6枚を撮影し、続いて画像S〜画像Xの6枚を撮影する。制御部21は、このようにして撮影した合計24枚の画像を合成して図4に示すような1枚のパノラマ画像16を作成する。
FIG. 4 is a diagram illustrating an example of the
次に、図5に撮影装置14が天井面に設置された場合に、制御部21が作成し、表示装置12に表示したパノラマ画像17の一例を示す。図5に示すように、作成されたパノラマ画像17のうち画像S〜画像X及び画像M〜画像Rの一部に、天井30が写っている(ハッチング部分が天井部分を示している)。このようにパノラマ画像17に天井部分が含まれるのは、図3に示すように撮影部41が水平状態から上方向に回転できる構造によるもの、又は撮影装置14に設定されている画角によるもの等のためである。図5に示すパノラマ画像17を作成するとき、制御部21は、例えば、撮影した画像A〜画像Rと予め記憶部22に記憶されている画像S〜画像Xとを使用して合成するようにする。なお、天井30、床、壁等を、非撮影対象部ということとする。
Next, FIG. 5 shows an example of the
次に、制御部21が例えば図5に示す画像S〜画像X、又は画像S〜画像Xと画像M〜画像Rの一部とが天井である、即ち非撮影対象部であると判定する方法について説明する。
まず、ユーザが非撮影対象部の範囲を認識している場合について説明する。この場合、ユーザは、パノラマ作成プログラムに従って制御部21が表示装置12に表示したパノラマ作成ツールに対し、入力装置13を介して非撮影対象部の範囲である画像S〜画像Xを指定する。制御部21は、指定された画像S〜画像Xの範囲を検出し、検出した範囲を非撮影対象部の範囲として決定する。また、制御部21は、決定した非撮影対象部の範囲情報を記憶部22に記憶する。
従って、撮影部41は、判定した非撮影対象部の範囲に基づいて、画像A〜画像Rの部分の撮影だけを行うようにする。
Next, for example, the method in which the
First, a case where the user recognizes the range of the non-photographing target part will be described. In this case, the user designates the image S to the image X that are the range of the non-photographing target portion via the
Accordingly, the photographing
次に、制御部21が、撮影した画像の画像情報から非撮影対象部の範囲を判定する方法について図6のフローチャートを参照して説明する。まず、ステップS10において、撮影部41は、制御部21の制御に基づいて、可動部48によって移動できる範囲のうち最も上側で端側、即ち隅部を撮影する。例えば、撮影部41は、図5に示される撮影範囲のうち画像S(又は画像X)について撮影を行う。このように撮影部41が最初に隅部を撮影するのは、その撮影範囲の画像に天井が写されている可能性が高く、早期に非撮影対象部の範囲を判定することができるためである。
Next, a method in which the
次に、ステップS11において、制御部21は、撮影した画像を受信し、撮影した画像の全てが非撮影対象部であるか否かを判定する。制御部21は、撮影した画像の全てが暗い場合は天井、即ち非撮影対象部であると判定する。例えば、図5に示される画像S(又は画像X)は全てが暗いため、制御部21は、画像S(又は画像X)の撮影した範囲を非撮影対象部の範囲と判定する。ここで、全てが暗いか否かの判定は、撮影された画像の画像情報のうち、例えば画像全体が所定の閾値以下の照度である場合に、画像の全てが非撮影対象部であると判定する。制御部21は、撮影した画像の全てが非撮影対象部であると判定した場合、ステップS12に処理を進める。また一部又は全部が明るい部分である場合は、ステップS14に処理を進める。
Next, in step S <b> 11, the
ステップS12において、制御部21は、撮影部41を鉛直下方向に移動させることができるか否かを判定する。例えば、ステップS11において、撮影部41が図5に示される画像S(又は画像X)を撮影した場合は、鉛直下方向に移動できると判定する。鉛直下方向に移動できると判定した場合は、ステップS13に処理を進める。鉛直下方向に移動できないと判定した場合は、ステップS17に処理を進める。
In step S12, the
ステップS13において、撮影部41は、制御部21の制御に基づいて、鉛直下方向に移動して画像を撮影する。例えば、ステップS11において撮影部41が画像S(又は画像X)を撮影した場合は、撮影部41は、画像M(又は画像R)を撮影する。次にステップS11に戻り、制御部21は、撮影した画像の全てが非撮影対象部であるか否かを判定する。
In step S <b> 13, the
ステップS14において、制御部21は、撮影した画像に暗い部分と明るい部分とに分かれる境界線があるか否かを判定する。例えば、画像M(又は画像R)は、暗い部分と明るい部分とに分かれているため、制御部21は、画像M(又は画像R)の撮影した範囲に境界線があると判定する。ここで、境界線があるか否かの判定は、撮影された画像の画像情報の周波数成分のうち、例えば所定の閾値以上の高周波を水平方向に連続して検出することで、境界線があると判定する。また、撮影された画像の画像情報から、例えば所定の閾値以下の照度が水平方向に連続し、所定の閾値以上の照度が水平方向に連続する場合に境界線があると判定してもよい。制御部21は、撮影した画像に境界線があると判定した場合、ステップS15に処理を進める。また境界線がないと判定した場合は、処理を終了する。
In step S14, the
ステップS15において、撮影部41は、制御部21の制御に基づいて、水平方向に移動して画像を撮影する。例えば、ステップS14において撮影部41が画像M(又は画像R)を撮影した場合は、撮影部41は、画像N(又は画像Q)を撮影する。次にステップS16に処理を進める。
In step S <b> 15, the photographing
ステップS16において、制御部21は、撮影した画像にステップS14において判定した境界線が連続してあるか否かを判定する。例えば、画像N(又は画像Q)には、暗い部分と明るい部分とに分かれる境界線があり、その境界線は画像M(又は画像R)において判定された境界線と連続しているため、制御部21は、連続する境界線があると判定する。連続する境界線があると判定した場合、ステップS17に処理を進める。また連続する境界線がないと判定した場合は、処理を終了する。
In step S16, the
ステップS17において、制御部21は、非撮影対象部の範囲を決定する。制御部21は、ステップS16において連続する境界線が更に水平して連続すると判断し、判断した水平方向の境界線までを非撮影対象部の範囲であると決定する。例えば、画像Mと画像N(又は画像Rと画像Q)に連続する境界線がある場合、制御部21は、画像R(又は画像M)まで水平方向に境界線が連続すると判断する。そして、制御部21は、境界線の上側、即ち画像M〜画像Rの境界線の上側、及び画像S〜画像Xの全範囲を非撮影対象部の範囲として決定する。なお、ステップS12において鉛直下方向に移動できないと判定した場合は、ステップS17において、撮影範囲の全てが非撮影対象部の範囲であると決定する。また、制御部21は、決定した非撮影対象部の範囲情報又は境界線の境界線情報を記憶部22に記憶する。
In step S <b> 17, the
制御部21が、このような処理を行うことにより撮影した画像の画像情報から非撮影対象部の範囲を自動的に判定することができる。なお、制御部21が、非撮影対象部の範囲をより正確に判定できるのであれば、非撮影対象部の範囲を確定させるための処理であるステップS15とステップS16とを省略することができ、パノラマ画像の作成時間をより短くすることができる。
By performing such processing, the
次に、非撮影対象部の範囲を決定した後、パノラマ画像を作成する処理について説明する。まず、ユーザが非撮影対象部の範囲を指定する場合は、撮影部41は、制御部21の制御に基づいて、即ち決定した非撮影対象部の範囲情報に基づいて、非撮影対象部の範囲を除いた範囲の撮影だけを行うようにする。より具体的には、撮影部41は、図5に示す画像S〜画像Xの範囲を除いた画像A〜画像Rについて撮影を行う。このとき、制御部21は、撮影した画像を順次、記憶部22に記憶する。
Next, processing for creating a panoramic image after determining the range of the non-photographing target portion will be described. First, when the user designates the range of the non-photographing target part, the photographing
次に、制御部21が画像情報から非撮影対象部の範囲を決定した場合は、撮影部41は、制御部21の制御に基づいて、非撮影対象部の範囲を除いた範囲の撮影だけを行うようにする。更に、制御部21は、非撮影対象部の範囲情報又は境界線情報に基づいて、撮影部41の移動の範囲を制御し(可動部制御)、撮影部41が、境界線に合わせるように撮影位置をずらして画角を決め、撮影する。より具体的には、図7(a)のように画像M〜画像Rに境界線がある場合に、撮影部41は、図7(b)に示すように境界線が画像の上端と一致するように、撮影部41の可動の範囲を制御する。撮影部41は制御部21の制御に基づいて、図7(a)に示す画像S〜画像Xの撮影を行わず、図7(b)に示す画像A〜画像Rの撮影を行う。このとき、制御部21は、撮影した画像を順次、記憶部22に記憶する。
Next, when the
このように、撮影部41は、パノラマ画像の撮影を行うときに、非撮影対象部の範囲情報又は境界線情報に基づいて、例えば図7(a)に示すように画像S〜画像Xの撮影は行わず、画像A〜画像Rの部分の撮影だけを行う。従って、撮影部41が撮影する枚数は、撮影範囲の全ての24枚を撮影するときに比べて、例えば、画像A〜画像Rまでの18枚を撮影すればよく、撮影時間を短くすることができる。
As described above, when shooting the panoramic image, the
次に、制御部21は、記憶部22に記憶した画像を合成してパノラマ画像を作成する。このとき、制御部21は、撮影が行われなかった範囲、即ち非撮影対象部の範囲であると決定した範囲の画像には、記憶部22に予め記憶された画像を用いて合成しパノラマ画像を作成する。例えば、図7(a)に示す場合は、制御部21は、記憶部22に記憶されている画像M〜画像Rの境界線の上側、及び画像S〜画像Xの全範囲の画像を図7(b)に示すように撮影された画像A〜画像Rに合成する。従って、制御部21が画像S〜画像Xを撮影したり記憶部22に記憶させたりする処理が必要ないので、撮影範囲の全てを撮影するときに比べて、パノラマ画像を作成する時間を短くすることができる。
Next, the
なお、図7(a)に示す画像M〜画像Rのように、撮影する画像に暗い部分と明るい部分とがある場合、撮影部41の絞りが開放になり、透過している部分までも白く飛んで撮影されてしまい、見えなくなってしまうことがある。しかしながら、上述したように、撮影部41は、制御部21による制御に基づいて、暗い部分と明るい部分との境界線が画像の上端と一致するように、撮影部41の移動の範囲が制御されて撮影する。従って、撮影部41は、最適な自動露出で撮影でき、良好なパノラマ画像を撮影することができる。
Note that, as in the images M to R shown in FIG. 7A, when the image to be photographed includes a dark part and a bright part, the aperture of the photographing
制御部21がパノラマ画像を作成した後、ユーザの指示や撮影装置14を制御するプログラムに従って、撮影部41は、非撮影対象部の範囲を含み、撮影部41が移動できる範囲で撮影を行うことができる。
なお、上述した説明では、非撮影対象部として天井のみを取り上げて説明したが、この場合に限られるものではない。例えば、撮影装置14が床面に設置されている場合は、非撮影対象部は床である。そのような場合、図6で示したフローチャートにおける非撮影対象部の判定処理のうち、撮影部41の鉛直方向の移動は上下が入れ替わる。例えば、ステップS10において撮影部41は、制御部21の制御に基づいて、可動部48によって移動される範囲のうち最も下側で端側、を撮影する。また、制御部21は、垂直方向に沿って撮影された壁等を非撮影対象部として判定するようにしてもよい。
After the
In the above description, only the ceiling has been described as the non-photographing target part. However, the present invention is not limited to this case. For example, when the
このように、第1の実施形態によれば、撮影装置が撮影することができる撮影範囲を示す画像、即ちパノラマ画像を作成する時間を短くすることができる。 As described above, according to the first embodiment, it is possible to shorten the time for creating an image indicating a photographing range that can be photographed by the photographing apparatus, that is, a panoramic image.
(第2の実施形態)
第2の実施形態では、撮影装置14をほこりや汚れ等から保護したり、撮影部41の向きがわからないように隠したりするために、撮影部41にドームといわれる保護ケース(以下、ケースという)を覆う場合について説明する。
(Second Embodiment)
In the second embodiment, in order to protect the photographing
図8は、撮影装置14にケース61を装着した状態の一例を示す図である。第2の実施形態に係る撮影装置14の回転体45及び取付ベース46は、天井30に埋め込まれている。ケース61は、内部に撮影装置14を収容することができる空間を有する略半球状に形成されている。ケース61には、透明部61Aと、非撮影対象部である不透明部61Bとを有している。図8に示す撮影装置14は、ケース61の構造によって、例えば不透明部61Bの範囲が多くあったり、天井30に撮影装置14が埋め込まれたりされている場合がある。このような場合、撮影部41がチルト方向の上向きに小さな角度で回転した場合であっても、不透明部61Bに遮られ、撮影できない範囲が広くなってしまう。
FIG. 8 is a diagram illustrating an example of a state in which the
図9は、撮影装置14のレンズの画角を模式的に示した図である。図9に示す撮影装置14は、チルト軸44が撮像素子70の後ろに位置しているものである。このような場合、レンズの画角(図9に示す点線の範囲)によっては、天井30に設置した場合で撮影部41を下に移動させると逆にケース61の透明部61Aと不透明部61Bとの境界線の上の部分7Aが見えてくる。従って、撮影する範囲や合成する方法によって、撮影可能な部分が境界線で消えてしまう。なお、撮影装置14を床に設置した場合も同様である。
FIG. 9 is a diagram schematically showing the angle of view of the lens of the photographing
次に、このような撮影装置14において、パノラマ画像を作成する処理について説明する。このパノラマ画像を作成する処理は、撮影装置14を設置した際、ユーザの入力装置13を介したパノラマ画像作成プログラムの実行が指示されたときに、実行される。
Next, processing for creating a panoramic image in such a photographing
まず、制御装置11の制御部21は、ユーザによるパノラマ画像作成プログラムの実行指示を検出すると、記憶部22に格納されているパノラマ画像作成プログラムを読み込む。
次に、制御装置11の制御部21は、パノラマ画像作成プログラムに従って、表示装置12にパノラマ作成ツールを表示する。このパノラマ作成ツールには、例えば、ケース61を使用するか否かをユーザが入力することができるチェックボックスが用意されている。
First, the
Next, the
パノラマ作成ツールにおいてケース61を使用するチェックボックスにチェックが入力されている場合、制御部21は、その情報に基づいて撮影装置14にケース61が装着されていると判定する(装着判定)。ここで、記憶部22には、ケース61が装着された場合に、ケース61の透明部61Aと不透明部61Bとの境界線が記憶されている。例えば、記憶部22には、図7(a)に示すように画像M〜画像Rの水平方向にケース61の透明部61Aと不透明部61Bとの境界線が位置するという境界線情報が記憶されている。
When a check is input to the check box that uses the
従って、制御部21は、ケース61の装着判定の結果に応じて記憶部22に記憶された境界線情報に基づいて、撮影部41の移動の範囲を制御する(可動部制御)。そして、撮影部41が、ケース61の透明部61Aと不透明部61Bとの境界線に合わせるように撮影位置をずらして画角を決め、撮影する。より具体的には、撮影部41は、図7(b)に示すように境界線が画像の上端と一致するように、撮影部41の可動の範囲を制御する。撮影部41は制御部21の制御に基づいて、図7(a)に示す画像S〜画像Xの撮影を行わず、図7(b)に示す画像A〜画像Rの撮影を行う。このとき、制御部21は、撮影した画像を順次、記憶部22に記憶する。
Therefore, the
次に、制御部21は、記憶部22に記憶した画像を合成してパノラマ画像を作成する。このとき、制御部21は、撮影が行われなかった範囲、即ち不透明部61Bの範囲の画像には、記憶部22に予め記憶された不透明部61Bに相当する画像を用いて合成しパノラマ画像を作成する。
Next, the
このように、撮影部41は、パノラマ画像の撮影を行うときに、ケース61の装着判定の結果に応じて、例えば図7(a)に示すように画像S〜画像Xの撮影は行わず、画像A〜画像Rの部分の撮影だけを行う。従って、撮影部41が撮影する枚数は、撮影範囲の全ての24枚を撮影するときに比べて、例えば、画像A〜画像Rまでの18枚を撮影すればよく、撮影時間を短くすることができる。
As described above, when the panorama image is shot, the
なお、透明部61Aと不透明部61Bとの境界線が、図7(a)に示す画像M〜画像Rにある場合、上側が暗いために自動露出(AE)機能により絞りが開放になり、透過している部分までも白く飛んで撮影されてしまい、見えなくなってしまうことがある。しかしながら、上述したように、撮影部41は、制御部21による制御に基づいて、透明部61Aと不透明部61Bとの境界線が画像の上端と一致するように、撮影部41の移動の範囲が制御されて撮影する。従って、撮影部41は、最適な自動露出で撮影でき、良好なパノラマ画像を撮影することができる。
When the boundary line between the
このように、第2の実施形態によれば、撮影装置が撮影することができる撮影範囲を示す画像、即ちパノラマ画像を作成する時間を短くすることができる。 As described above, according to the second embodiment, it is possible to shorten the time for creating an image indicating a photographing range that can be photographed by the photographing apparatus, that is, a panoramic image.
(第3の実施形態)
なお、上述した第1、第2の実施形態の撮影システム100は、制御装置11と撮影装置14とを含む場合について説明したが、その場合に限られるものではない。例えば、撮影装置14に制御装置11の制御部21や記憶部22を含むように構成させてもよい。即ち、撮影装置14自身が、境界線があるか否かの判断を行ったり、ケース61の設定に合わせて撮影範囲を決めたりするようにしてもよい。このようにすることで、撮影システム100の構成を簡略化することができる。
(Third embodiment)
In addition, although the imaging |
上述した本発明の実施形態における撮影システム、制御装置及び撮影装置を構成する各手段、並びに制御方法の各ステップは、コンピュータのRAMやROM等に記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。 Each step of the photographing system, the control device, each means constituting the photographing device, and the control method in the embodiment of the present invention described above can be realized by operating a program stored in a RAM, a ROM, or the like of a computer. This program and a computer-readable recording medium recording the program are included in the present invention.
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、一つの機器からなる装置に適用してもよい。 Further, the present invention can be implemented as, for example, a system, apparatus, method, program, or recording medium, and may be applied to an apparatus composed of a single device.
なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム又は装置に直接、又は遠隔から供給する。そして、そのシステム又は装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。 The present invention supplies a software program for realizing the functions of the above-described embodiments directly or remotely to a system or apparatus. In addition, this includes a case where the system or the computer of the apparatus is also achieved by reading and executing the supplied program code.
従って、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。 Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention. In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。更に、そのプログラムの指示に基づき、コンピュータ上で稼動しているOS等が、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the functions of the above-described embodiments are realized by the computer executing the read program. Furthermore, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can be realized by the processing.
更に、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。 As another method, a program read from a recording medium is first written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Then, based on the instructions of the program, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are also realized by the processing.
100 撮影システム
11 制御装置
12 表示装置
13 入力装置
14 撮影装置
15 接続手段
41 撮影部
43 支持体
44 チルト軸
45 回転体
46 取付ベース
61 ケース
61A 透明部
61B 不透明部
70 撮像素子
DESCRIPTION OF
Claims (4)
前記撮影部を端側から水平移動させる動作を垂直方向に対して複数回行うことにより撮影することができる撮影範囲を示す画像を作成する画像作成手段と、
前記画像作成手段において作成される画像の撮影のために行われる前記撮影部の移動を、非撮影対象部に基づいて制御する可動部制御手段と、
前記撮影部において撮影される画像から所定閾値以上の照度が水平方向に連続し且つ所定閾値以下の照度が水平方向に連続する境界線を検出することにより前記撮影範囲に含まれる前記非撮影対象部を判定する判定手段と、を有し、
前記可動部制御手段は、前記判定手段により判定された非撮影対象部を除いた前記撮影範囲の画像の撮影を行うとともに前記撮影される画像の端部が前記判定手段により検出された境界線に一致するように前記撮影部の水平移動を制御することを特徴とする制御装置。 A control device for controlling a photographing device having a photographing unit for photographing an image and a movable unit for moving the photographing unit,
An image creating means for creating an image indicating a photographing range that can be photographed by performing an operation of horizontally moving the photographing unit from the end side a plurality of times in the vertical direction ;
A movable part control means for controlling movement of the photographing part performed for photographing an image created by the image creating means based on a non-photographing target part;
The non-shooting target portion included in the shooting range by detecting a boundary line in which an illuminance equal to or greater than a predetermined threshold is continuous in the horizontal direction and an illuminance equal to or less than the predetermined threshold is continued in the horizontal direction from an image photographed in the photographing unit Determining means for determining
The movable part control means captures an image in the photographing range excluding the non-photographing target part determined by the determination means, and an end of the photographed image is on the boundary line detected by the determination means. A control apparatus that controls horizontal movement of the photographing unit so as to coincide with each other .
前記撮影部を端側から水平移動させる動作を垂直方向に対して複数回行うことにより撮影することができる撮影範囲を示す画像を作成する画像作成ステップと、
前記撮影部において撮影される画像から所定閾値以上の照度が水平方向に連続し且つ所定閾値以下の照度が水平方向に連続する境界線を検出することにより前記撮影範囲に含まれる非撮影対象部を判定する判定ステップと、
前記判定ステップにおいて判定された非撮影対象部を除いた前記撮影範囲の画像の撮影を行うとともに前記撮影される画像の端部が前記判定ステップにおいて検出された境界線に一致するように前記撮影部の水平移動を制御する可動部制御ステップと、を有することを特徴とする制御方法。 A control method for controlling a photographing device having a photographing unit for photographing an image and a movable part for moving the photographing unit,
An image creating step for creating an image indicating a photographing range that can be photographed by performing the operation of horizontally moving the photographing unit from the end side a plurality of times in the vertical direction ;
A non-shooting target portion included in the shooting range is detected by detecting a boundary line in which an illuminance equal to or greater than a predetermined threshold value is continuous in a horizontal direction and an illuminance value equal to or less than a predetermined threshold value is continued in a horizontal direction from an image photographed in the photographing unit. A determination step for determining;
The photographing unit performs photographing of the image in the photographing range excluding the non-photographing target portion determined in the determination step and the end of the photographed image coincides with the boundary line detected in the determination step. And a movable part control step for controlling the horizontal movement of the control method.
前記撮影部を端側から水平移動させる動作を垂直方向に対して複数回行うことにより撮影することができる撮影範囲を示す画像を作成する画像作成ステップと、
前記撮影部において撮影される画像から所定閾値以上の照度が水平方向に連続し且つ所定閾値以下の照度が水平方向に連続する境界線を検出することにより前記撮影範囲に含まれる非撮影対象部を判定する判定ステップと、
前記判定ステップにおいて判定された非撮影対象部を除いた前記撮影範囲の画像の撮影を行うとともに前記撮影される画像の端部が前記判定ステップにおいて検出された境界線に一致するように前記撮影部の水平移動を制御する可動部制御ステップと、をコンピュータに実行させるためのプログラム。 A program for controlling a photographing device having a photographing unit for photographing an image and a movable unit for moving the photographing unit,
An image creating step for creating an image indicating a photographing range that can be photographed by performing the operation of horizontally moving the photographing unit from the end side a plurality of times in the vertical direction ;
A non-shooting target portion included in the shooting range is detected by detecting a boundary line in which an illuminance equal to or greater than a predetermined threshold value is continuous in a horizontal direction and an illuminance value equal to or less than a predetermined threshold value is continued in a horizontal direction from an image photographed in the photographing unit. A determination step for determining;
The photographing unit performs photographing of the image in the photographing range excluding the non-photographing target portion determined in the determination step and the end of the photographed image coincides with the boundary line detected in the determination step. And a movable part control step for controlling the horizontal movement of the computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007259072A JP4968936B2 (en) | 2007-10-02 | 2007-10-02 | Control device, control method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007259072A JP4968936B2 (en) | 2007-10-02 | 2007-10-02 | Control device, control method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009089268A JP2009089268A (en) | 2009-04-23 |
| JP4968936B2 true JP4968936B2 (en) | 2012-07-04 |
Family
ID=40662012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007259072A Expired - Fee Related JP4968936B2 (en) | 2007-10-02 | 2007-10-02 | Control device, control method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4968936B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6726931B2 (en) | 2015-03-20 | 2020-07-22 | キヤノン株式会社 | Image processing apparatus and method, and image processing system |
| CN112578559A (en) * | 2020-12-30 | 2021-03-30 | 深圳达光传感技术有限公司 | Imaging optical system based on all-round looking lens |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000244783A (en) * | 1999-02-19 | 2000-09-08 | Fujitsu General Ltd | Surveillance camera device |
| JP4005409B2 (en) * | 2002-05-08 | 2007-11-07 | 株式会社エイブイプランニングセンター | Background image estimation method and background image estimation apparatus |
| JP2004186907A (en) * | 2002-12-02 | 2004-07-02 | Canon Inc | Panoramic image shooting system |
-
2007
- 2007-10-02 JP JP2007259072A patent/JP4968936B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009089268A (en) | 2009-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5967473B2 (en) | Imaging apparatus and imaging system | |
| CN101715053B (en) | Imaging apparatus and imaging method | |
| KR20110004085A (en) | Shooting device and shooting method | |
| US20100134641A1 (en) | Image capturing device for high-resolution images and extended field-of-view images | |
| JP4579980B2 (en) | Taking a series of images | |
| CN105025208B (en) | Photographic device, camera component, long-distance operating device, method for imaging, display methods and recording medium | |
| JP5991514B2 (en) | Imaging apparatus and imaging system | |
| KR20100066864A (en) | Terminal having camera and method for processing image thereof | |
| KR20120065997A (en) | Electronic device, control method, program, and image capturing system | |
| CN109714524B (en) | Image pickup apparatus, system, control method of image pickup apparatus, and storage medium | |
| JP2020107956A (en) | Imaging apparatus, imaging method, and program | |
| CN110944101A (en) | Camera and image recording method | |
| JP7158841B2 (en) | Imaging device, imaging method, program, recording medium, and image processing device | |
| JP6312460B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP6226731B2 (en) | Imaging apparatus, control method, and program | |
| JP4968936B2 (en) | Control device, control method and program | |
| JP6483661B2 (en) | Imaging control apparatus, imaging control method, and program | |
| JP6590894B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP2015171116A (en) | Display device of camera | |
| JP5861420B2 (en) | Electronic camera | |
| JP4443990B2 (en) | Electronics | |
| JP2013012848A (en) | Camera device and control method therefor | |
| JP7738611B2 (en) | Photographing control device, photographing control method, and imaging system | |
| JP4923674B2 (en) | Digital camera, focus position specifying method, program | |
| JP2010268029A (en) | Digital camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100913 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111109 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120306 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120402 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150413 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4968936 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150413 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |