Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4968936B2 - Control device, control method and program - Google Patents
[go: Go Back, main page]

JP4968936B2 - Control device, control method and program - Google Patents

Control device, control method and program Download PDF

Info

Publication number
JP4968936B2
JP4968936B2 JP2007259072A JP2007259072A JP4968936B2 JP 4968936 B2 JP4968936 B2 JP 4968936B2 JP 2007259072 A JP2007259072 A JP 2007259072A JP 2007259072 A JP2007259072 A JP 2007259072A JP 4968936 B2 JP4968936 B2 JP 4968936B2
Authority
JP
Japan
Prior art keywords
photographing
image
unit
range
photographed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007259072A
Other languages
Japanese (ja)
Other versions
JP2009089268A (en
Inventor
信一 小山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007259072A priority Critical patent/JP4968936B2/en
Publication of JP2009089268A publication Critical patent/JP2009089268A/en
Application granted granted Critical
Publication of JP4968936B2 publication Critical patent/JP4968936B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Accessories Of Cameras (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

本発明は、御装置、御方法及びプログラムに関するものであり、特に、画像を撮影する撮影部を移動できる撮影装置に適用されて好適である。 The present invention, control apparatus, control is related control method, and a program, particularly suitable are applied to the imaging apparatus can move the imaging unit for capturing an image.

従来から、画像を撮影する撮影部を上下左右に回転させることで広範囲の撮影を行うことができる撮影装置が知られている。この撮影装置を、ネットワーク等を介してPC(パーソナルコンピュータ)に接続することで、ユーザは遠隔で撮影装置を上下左右に回転させる等の操作を行うことができる。   2. Description of the Related Art Conventionally, there has been known a photographing apparatus capable of photographing a wide range by rotating a photographing unit for photographing an image vertically and horizontally. By connecting this photographing apparatus to a PC (personal computer) via a network or the like, the user can remotely perform operations such as rotating the photographing apparatus up and down, left and right.

また、このような撮影装置において撮影装置が撮影することができる範囲を複数撮影し、その撮影した複数の画像を1枚の画像に合成する、いわゆるパノラマ画像を作成することができる(例えば、特許文献1参照)。作成したパノラマ画像をモニターに表示することで、ユーザは撮影することができる撮影範囲を容易に理解することができると共に、現在撮影されている範囲が全撮影可能範囲のどの範囲であるのかを容易に理解することができる。また、ユーザがパノラマ画像の中から撮影したい位置を指定して、指定された位置の撮影範囲になるように撮影装置を移動させれば、ユーザの使い勝手が向上する。   In addition, a so-called panoramic image can be created by shooting a plurality of ranges that can be shot by the shooting device in such a shooting device and combining the shot images into a single image (for example, patents). Reference 1). By displaying the created panorama image on the monitor, the user can easily understand the shooting range that can be shot, and it is easy to determine which range of the total shooting range is currently shot. Can understand. Further, if the user designates a position where the user wants to photograph from the panoramic image and moves the photographing apparatus so as to be within the photographing range of the designated position, user convenience is improved.

特開2004−186907号公報JP 2004-186907 A

上述したような撮影装置を設置する場合、その使用態様によって、例えば、撮影装置を天井面に設置したり、床面に設置したり、机や台の上等、地上より上の面に設置したりする場合がある。撮影装置を天井面に設置した場合、撮影角度が水平よりも上方向に回転できるような構造の撮影装置では、全撮影範囲をパノラマ画像として作成すると、パノラマ画像には天井を撮影している部分が含まれる。また、同様に、撮影装置を床面に設置した場合、撮影角度が水平よりも下方向に回転できるような構造の撮影装置では、全撮影範囲をパノラマ画像として作成すると、パノラマ画像には床を撮影している部分が含まれる。   When installing an imaging device such as that described above, depending on how it is used, for example, the imaging device may be installed on the ceiling, on the floor, or on a surface above the ground, such as on a desk or table. Sometimes. When the shooting device is installed on the ceiling surface, if the shooting device has a structure in which the shooting angle can be rotated upward from the horizontal, if the entire shooting range is created as a panoramic image, the panoramic image captures the ceiling Is included. Similarly, when the photographing device is installed on the floor, in a photographing device having a structure in which the photographing angle can be rotated downward from the horizontal, if the entire photographing range is created as a panoramic image, the panoramic image has a floor. Includes the part being shot.

しかしながら、撮影装置がパノラマ画像を作成するために、天井や床等の部分を撮影するのは、パノラマ画像の撮影時間に長時間かかるという問題がある。   However, there is a problem that it takes a long time to take a panoramic image when the photographing device shoots a part such as a ceiling or a floor in order to create a panoramic image.

本発明は、上述したような問題点に鑑みてなされたものであり、撮影装置が撮影することができる撮影範囲を示す画像を作成する時間を短くすることを目的とする。   The present invention has been made in view of the above-described problems, and an object of the present invention is to shorten the time for creating an image indicating a shooting range that can be shot by a shooting apparatus.

発明の制御装置は、画像を撮影する撮影部及び前記撮影部を移動させる可動部を有する撮影装置を制御する制御装置であって、前記撮影部を端側から水平移動させる動作を垂直方向に対して複数回行うことにより撮影することができる撮影範囲を示す画像を作成する画像作成手段と、前記画像作成手段において作成される画像の撮影のために行われる前記撮影部の移動を、非撮影対象部に基づいて制御する可動部制御手段と、前記撮影部において撮影される画像から所定閾値以上の照度が水平方向に連続し且つ所定閾値以下の照度が水平方向に連続する境界線を検出することにより前記撮影範囲に含まれる前記非撮影対象部を判定する判定手段と、を有し、前記可動部制御手段は、前記判定手段により判定された非撮影対象部を除いた前記撮影範囲の画像の撮影を行うとともに前記撮影される画像の端部が前記判定手段により検出された境界線に一致するように前記撮影部の水平移動を制御することを特徴とする。
発明の御方法は、画像を撮影する撮影部及び前記撮影部を移動させる可動部を有する撮影装置を制御する制御方法であって、前記撮影部を端側から水平移動させる動作を垂直方向に対して複数回行うことにより撮影することができる撮影範囲を示す画像を作成する画像作成ステップと、前記撮影部において撮影される画像から所定閾値以上の照度が水平方向に連続し且つ所定閾値以下の照度が水平方向に連続する境界線を検出することにより前記撮影範囲に含まれる非撮影対象部を判定する判定ステップと、前記判定ステップにおいて判定された非撮影対象部を除いた前記撮影範囲の画像の撮影を行うとともに前記撮影される画像の端部が前記判定ステップにおいて検出された境界線に一致するように前記撮影部の水平移動を制御する可動部制御ステップと、を有することを特徴とする。
本発明のプログラムは、画像を撮影する撮影部及び前記撮影部を移動させる可動部を有する撮影装置を制御するプログラムであって、前記撮影部を端側から水平移動させる動作を垂直方向に対して複数回行うことにより撮影することができる撮影範囲を示す画像を作成する画像作成ステップと、前記撮影部において撮影される画像から所定閾値以上の照度が水平方向に連続し且つ所定閾値以下の照度が水平方向に連続する境界線を検出することにより前記撮影範囲に含まれる非撮影対象部を判定する判定ステップと、前記判定ステップにおいて判定された非撮影対象部を除いた前記撮影範囲の画像の撮影を行うとともに前記撮影される画像の端部が前記判定ステップにおいて検出された境界線に一致するように前記撮影部の水平移動を制御する可動部制御ステップと、をコンピュータに実行させることを特徴とする。
The control device of the present invention is a control device that controls a photographing device having a photographing unit that captures an image and a movable unit that moves the photographing unit, and the operation of horizontally moving the photographing unit from the end side in the vertical direction. An image creating unit that creates an image showing a photographing range that can be photographed by performing a plurality of times, and a movement of the photographing unit that is performed for photographing an image created by the image creating unit is not photographed. A movable part control means that controls based on a target part, and a boundary line in which an illuminance equal to or greater than a predetermined threshold continues in a horizontal direction and an illuminance equal to or less than a predetermined threshold continues in a horizontal direction from an image captured by the imaging unit Determining means for determining the non-photographing target portion included in the photographing range, and the movable part control means excludes the non-photographing target portion determined by the determining means. And controlling the horizontal movement of the imaging unit so that the end portion of the image to be the imaging performs imaging of the shadow area of the image matches the detected boundary lines by the determination means.
Control method of the present invention is a control method for controlling an imaging apparatus having a movable portion that moves the imaging unit and the imaging unit for taking an image, vertical operation for horizontally moving the imaging unit from the end side An image creating step for creating an image showing a photographing range that can be photographed by performing a plurality of times, and an illuminance that is equal to or greater than a predetermined threshold from the image photographed in the photographing unit is continuous in the horizontal direction and less than or equal to the predetermined threshold A step of determining a non-shooting target portion included in the shooting range by detecting a boundary line in which the illuminance is continuous in a horizontal direction, and the shooting range excluding the non-shooting target portion determined in the determination step Yes for controlling the horizontal movement of the imaging unit so that the end portion of the image to be the imaging performs imaging of the image matches the detected boundary line in said decision step And having a section control step.
The program according to the present invention is a program for controlling a photographing apparatus having a photographing unit for photographing an image and a movable unit for moving the photographing unit, wherein an operation for horizontally moving the photographing unit from an end side is performed in a vertical direction. An image creation step for creating an image showing a photographing range that can be photographed by performing a plurality of times, and an illuminance that is equal to or greater than a predetermined threshold is continuous in the horizontal direction from the image that is captured by the photographing unit, and the illuminance that is equal to or less than the predetermined threshold A determination step of determining a non-shooting target portion included in the shooting range by detecting a boundary line that continues in the horizontal direction, and shooting of an image in the shooting range excluding the non-shooting target portion determined in the determination step to control the horizontal movement of the imaging unit so that the end portion of the image to be the image capturing matches the detected boundary in said determination step performs a Characterized in that to execute a movable section control step, to the computer.

本発明によれば、撮影装置が撮影することができる撮影範囲を示す画像を作成する時間を短くすることができる。   ADVANTAGE OF THE INVENTION According to this invention, the time which produces the image which shows the imaging | photography range which an imaging device can image | photograph can be shortened.

以下、図面を参照して本発明に係る実施形態について説明する。
(第1の実施形態)
図1は、本発明を適用した撮影システム100の概略の構成を示す図である。
図1において、撮影システム100は、パーソナルコンピュータ18と、撮影装置14であるネットワークカメラとを含んで構成されている。パーソナルコンピュータ18は制御装置11と、表示装置12と、入力装置13と、を含んで構成されている。また、各装置はLAN、イーサネット(登録商標)、バス等の接続手段15を介して接続されている。図1における表示装置12の表示画面には、後述する処理により作成されたパノラマ画像16が表示されている。
Embodiments according to the present invention will be described below with reference to the drawings.
(First embodiment)
FIG. 1 is a diagram showing a schematic configuration of an imaging system 100 to which the present invention is applied.
In FIG. 1, the photographing system 100 includes a personal computer 18 and a network camera that is the photographing device 14. The personal computer 18 includes a control device 11, a display device 12, and an input device 13. Each device is connected via connection means 15 such as a LAN, Ethernet (registered trademark), or a bus. On the display screen of the display device 12 in FIG. 1, a panoramic image 16 created by processing to be described later is displayed.

図2は、撮影システム100の内部構成を示す図である。
図2において、制御装置11は、制御部21と、記憶部22と、通信部23とを含んで構成される。制御部21はCPUであり、記憶部22に格納されたパノラマ画像を作成するパノラマ画像作成プログラム及び撮影装置14を制御するプログラム等を読み込んで、実行する。また制御部21は、上述したプログラムに基づいて撮影装置14によって撮影された画像を表示装置12に表示したり、ユーザによって入力装置13を介して入力された情報に基づいて撮影装置14を制御したりする。記憶装置である記憶部22は、ROM、RAM、HD等であり、上述したプログラムが格納されたり、撮影装置14によって撮影された画像データが記憶されたりする。通信部23は通信インターフェースであり、撮影装置14を制御するための制御データを送信したり、撮影装置14により撮影された画像データを受信したりする。
FIG. 2 is a diagram illustrating an internal configuration of the imaging system 100.
In FIG. 2, the control device 11 includes a control unit 21, a storage unit 22, and a communication unit 23. The control unit 21 is a CPU that reads and executes a panoramic image creation program for creating a panoramic image stored in the storage unit 22 and a program for controlling the photographing apparatus 14. In addition, the control unit 21 displays an image photographed by the photographing device 14 based on the above-described program on the display device 12 or controls the photographing device 14 based on information input via the input device 13 by the user. Or The storage unit 22 which is a storage device is a ROM, a RAM, an HD, or the like, and stores the above-described program or image data captured by the image capturing device 14. The communication unit 23 is a communication interface, and transmits control data for controlling the photographing device 14 and receives image data photographed by the photographing device 14.

表示装置12は、モニターであり、撮影装置14によって撮影された画像が表示される。
入力装置13は、キーボード、マウス等である。ユーザは入力装置13を介して制御装置11に対する指示を入力することができる。
The display device 12 is a monitor, and displays an image photographed by the photographing device 14.
The input device 13 is a keyboard, a mouse, or the like. The user can input an instruction to the control device 11 via the input device 13.

撮影装置14は、撮影部41と、画像処理部47と、可動部48と、通信部49とを含んで構成される。撮影部41は、レンズ42や撮像素子等を含み、制御装置11により送信された制御データに基づいてズームを行ったり、画像の撮影を行ったりする。画像処理部47は、撮影部41によって撮影された画像に対して色変換処理等の画像処理を行う。可動部48は、撮影部41が移動できるようにモータ等により構成されている。可動部48の詳細については図3において後述する。通信部49は通信インターフェースであり、撮影装置14を制御する制御データを受信したり、撮影部41により撮影された画像データを送信したりする。   The imaging device 14 includes an imaging unit 41, an image processing unit 47, a movable unit 48, and a communication unit 49. The imaging unit 41 includes a lens 42, an imaging element, and the like, and performs zooming and imaging of images based on control data transmitted by the control device 11. The image processing unit 47 performs image processing such as color conversion processing on the image photographed by the photographing unit 41. The movable part 48 is configured by a motor or the like so that the photographing part 41 can move. Details of the movable portion 48 will be described later with reference to FIG. The communication unit 49 is a communication interface, and receives control data for controlling the photographing device 14 and transmits image data photographed by the photographing unit 41.

次に、撮影装置14について図3を参照してより具体的に説明する。図3は、撮影装置14を天井30に設置したときの状態を示す図である。撮影装置14を監視カメラとして用いる場合は、このように撮影範囲を広くカバーできるように天井等、上方に設置される。図3に示すように、撮影装置14は、撮影部41、支持体43、回転体45、取付ベース46を含んで構成されている。支持体43は、撮影部41を水平方向に沿ったチルト軸44を介して支持している。従って、撮影部41は、図3に示すようにチルト軸44の回りを図示しないモータにより回転することができる(この回転方向をチルト方向という)。本実施形態の撮影装置14は、撮影部41が水平の状態から上方向及び下方向に数十度の角度で回転できるようになっている。回転体45は、支持体43を支持しており、内部に取付ベース46が収容されている。取付ベース46は、天井30や床等と接する設置面を有している。ここで、回転体45は、取付ベース46に対して図3に示すように鉛直方向のパン軸を中心として図示しないモータにより回転することができる(この回転方向をパン方向という)。本実施形態の撮影装置14は、撮影部41の基準となる位置から左右に100度以上の角度で回転できるようになっている。   Next, the photographing apparatus 14 will be described more specifically with reference to FIG. FIG. 3 is a diagram illustrating a state when the imaging device 14 is installed on the ceiling 30. When the imaging device 14 is used as a surveillance camera, it is installed above the ceiling or the like so as to cover a wide imaging range. As shown in FIG. 3, the imaging device 14 includes an imaging unit 41, a support body 43, a rotating body 45, and a mounting base 46. The support body 43 supports the imaging unit 41 via a tilt shaft 44 along the horizontal direction. Therefore, the photographing unit 41 can be rotated around the tilt shaft 44 by a motor (not shown) as shown in FIG. 3 (this rotational direction is referred to as a tilt direction). The imaging device 14 of the present embodiment is configured such that the imaging unit 41 can rotate at an angle of several tens of degrees upward and downward from a horizontal state. The rotating body 45 supports the support body 43, and the mounting base 46 is accommodated therein. The mounting base 46 has an installation surface in contact with the ceiling 30 or the floor. Here, the rotating body 45 can be rotated with respect to the mounting base 46 by a motor (not shown) around a vertical pan axis as shown in FIG. 3 (this rotational direction is referred to as the pan direction). The photographing apparatus 14 of the present embodiment is configured to be able to rotate at an angle of 100 degrees or more from the position serving as the reference of the photographing unit 41 to the left and right.

このように撮影部41を回転させて移動させる構造、即ち撮影部41と支持体43との間をモータを用いて移動させる構造及び回転体45と取付ベース46との間をモータで移動させる構造を可動部48という。なお、可動部48は図3に示すようなものに限られない。例えば、撮影部41を自由に移動させることができる自在継手のようなものであってもよい。なお、可動部48は制御装置11の制御部21からの制御データに基づいて撮影部41を移動させる。   Thus, a structure for rotating and moving the photographing unit 41, that is, a structure for moving between the photographing unit 41 and the support 43 using a motor and a structure for moving between the rotating body 45 and the mounting base 46 by a motor. Is referred to as a movable part 48. The movable part 48 is not limited to that shown in FIG. For example, it may be a universal joint that can move the photographing unit 41 freely. The movable unit 48 moves the photographing unit 41 based on control data from the control unit 21 of the control device 11.

次に、撮影システム100を用いて、撮影部41が撮影することができる範囲を複数撮影し、その撮影した複数の画像を1枚の画像に合成する、いわゆるパノラマ画像を作成する処理について説明する。このパノラマ画像を作成する処理は、撮影装置14を設置した際、ユーザの入力装置13を介したパノラマ画像作成プログラムの実行が指示されたときに、実行される。   Next, a process of creating a so-called panoramic image in which a plurality of ranges that can be captured by the imaging unit 41 using the imaging system 100 and combining the captured images into one image will be described. . The process of creating the panoramic image is executed when the execution of the panoramic image creation program is instructed via the input device 13 by the user when the photographing apparatus 14 is installed.

まず、制御装置11の制御部21は、ユーザによるパノラマ画像作成プログラムの実行指示を検出すると、記憶部22に格納されているパノラマ画像作成プログラムを読み込む。
次に、制御装置11の制御部21は、撮影装置14の可動部48に対して撮影部41をパン方向、チルト方向に回動させる制御データを生成したり、撮影部41に対してズームを行う制御データを生成したりする。制御部21は、生成した制御データを通信部23を介して撮影装置14に送信する。即ち制御部21は、可動部48を制御し撮影部41を移動させる制御をしたり、撮影部41を制御してズーム等を行ったりする。
First, the control unit 21 of the control device 11 reads the panorama image creation program stored in the storage unit 22 when detecting the execution instruction of the panorama image creation program by the user.
Next, the control unit 21 of the control device 11 generates control data for rotating the imaging unit 41 in the pan direction and the tilt direction with respect to the movable unit 48 of the imaging device 14, and zooms the imaging unit 41. Control data to be generated. The control unit 21 transmits the generated control data to the imaging device 14 via the communication unit 23. That is, the control unit 21 controls the movable unit 48 to move the photographing unit 41 or controls the photographing unit 41 to perform zooming or the like.

より具体的には、制御部21は、可動部48を制御してパン方向及びチルト方向の最も端側に撮影部41を移動させる制御を行う。次に、制御部21は、撮影部41をズームのワイド端から順番に撮影範囲の画像を複数、撮影するように制御を行う。撮影部41は、制御部21による制御に基づいて撮影範囲の画像を複数、撮影する。次に、画像処理部47は、撮影された画像に色変換処理等の画像処理を行う。次に、制御部21は、撮影部41により撮影された複数の画像(画像処理が行われた画像)を通信部49及び通信部23を介して受信し、記憶部22に記憶する。次に、制御部21は、受信した複数の画像が連続するように合成して1枚のパノラマ画像を作成する。次に、制御部21は、作成したパノラマ画像を記憶部22に保存すると共に、作成したパノラマ画像を表示装置12に表示する。なお、撮影装置14に記憶部が設けられている場合、制御部21は、作成したパノラマ画像を撮影装置14の記憶部に保存してもよい。   More specifically, the control unit 21 controls the movable unit 48 to move the photographing unit 41 to the extreme end side in the pan direction and the tilt direction. Next, the control unit 21 controls the photographing unit 41 to photograph a plurality of images in the photographing range in order from the wide end of the zoom. The imaging unit 41 captures a plurality of images in the imaging range based on control by the control unit 21. Next, the image processing unit 47 performs image processing such as color conversion processing on the captured image. Next, the control unit 21 receives a plurality of images (images on which image processing has been performed) taken by the photographing unit 41 via the communication unit 49 and the communication unit 23 and stores them in the storage unit 22. Next, the control unit 21 synthesizes the received plurality of images so as to create a single panoramic image. Next, the control unit 21 stores the created panoramic image in the storage unit 22 and displays the created panoramic image on the display device 12. Note that when the storage unit is provided in the photographing device 14, the control unit 21 may store the created panoramic image in the storage unit of the photographing device 14.

図4は、制御部21が作成し、表示装置12に表示したパノラマ画像16の一例を示す図である。図4に示すパノラマ画像16の撮影では、可動部48が制御部21の制御に基づいて、撮影部41を左下の画像から順番に右下の画像を撮影できるよう移動させる。撮影部41は制御部21の制御に基づいて、画像A〜画像Fの6枚を撮影する。次に、可動部48は制御部21の制御に基づいて、撮影部41を下から2段目の左の画像から順番に下から2段目の右の画像を撮影できるように移動させる。撮影部41は、制御部21の制御に基づいて、画像G〜画像Lの6枚を撮影する。同様に、撮影部41は、制御部21の制御に基づいて、画像M〜画像Rの6枚を撮影し、続いて画像S〜画像Xの6枚を撮影する。制御部21は、このようにして撮影した合計24枚の画像を合成して図4に示すような1枚のパノラマ画像16を作成する。   FIG. 4 is a diagram illustrating an example of the panoramic image 16 created by the control unit 21 and displayed on the display device 12. In photographing the panoramic image 16 shown in FIG. 4, the movable unit 48 moves the photographing unit 41 in order from the lower left image so that the lower right image can be photographed based on the control of the control unit 21. The imaging unit 41 captures six images A to F based on the control of the control unit 21. Next, based on the control of the control unit 21, the movable unit 48 moves the photographing unit 41 so that the second image from the bottom in the second row can be photographed in order from the left image in the second row from the bottom. The photographing unit 41 photographs six images G to L based on the control of the control unit 21. Similarly, the photographing unit 41 photographs six images M to R and then six images S to X based on the control of the control unit 21. The control unit 21 synthesizes a total of 24 images taken in this way to create a single panoramic image 16 as shown in FIG.

次に、図5に撮影装置14が天井面に設置された場合に、制御部21が作成し、表示装置12に表示したパノラマ画像17の一例を示す。図5に示すように、作成されたパノラマ画像17のうち画像S〜画像X及び画像M〜画像Rの一部に、天井30が写っている(ハッチング部分が天井部分を示している)。このようにパノラマ画像17に天井部分が含まれるのは、図3に示すように撮影部41が水平状態から上方向に回転できる構造によるもの、又は撮影装置14に設定されている画角によるもの等のためである。図5に示すパノラマ画像17を作成するとき、制御部21は、例えば、撮影した画像A〜画像Rと予め記憶部22に記憶されている画像S〜画像Xとを使用して合成するようにする。なお、天井30、床、壁等を、非撮影対象部ということとする。   Next, FIG. 5 shows an example of the panoramic image 17 created by the control unit 21 and displayed on the display device 12 when the photographing device 14 is installed on the ceiling surface. As shown in FIG. 5, the ceiling 30 is shown in a part of the image S to image X and the image M to image R in the created panoramic image 17 (the hatched portion indicates the ceiling portion). As described above, the panoramic image 17 includes the ceiling portion because of the structure in which the photographing unit 41 can rotate upward from the horizontal state as shown in FIG. 3 or the angle of view set in the photographing device 14. Is for etc. When creating the panoramic image 17 shown in FIG. 5, the control unit 21 combines the captured images A to R with the images S to X stored in the storage unit 22 in advance, for example. To do. Note that the ceiling 30, floor, wall, and the like are referred to as non-photographing target portions.

次に、制御部21が例えば図5に示す画像S〜画像X、又は画像S〜画像Xと画像M〜画像Rの一部とが天井である、即ち非撮影対象部であると判定する方法について説明する。
まず、ユーザが非撮影対象部の範囲を認識している場合について説明する。この場合、ユーザは、パノラマ作成プログラムに従って制御部21が表示装置12に表示したパノラマ作成ツールに対し、入力装置13を介して非撮影対象部の範囲である画像S〜画像Xを指定する。制御部21は、指定された画像S〜画像Xの範囲を検出し、検出した範囲を非撮影対象部の範囲として決定する。また、制御部21は、決定した非撮影対象部の範囲情報を記憶部22に記憶する。
従って、撮影部41は、判定した非撮影対象部の範囲に基づいて、画像A〜画像Rの部分の撮影だけを行うようにする。
Next, for example, the method in which the control unit 21 determines that the image S to the image X illustrated in FIG. 5 or the image S to the image X and a part of the image M to the image R is a ceiling, that is, a non-photographing target unit. Will be described.
First, a case where the user recognizes the range of the non-photographing target part will be described. In this case, the user designates the image S to the image X that are the range of the non-photographing target portion via the input device 13 for the panorama creation tool displayed on the display device 12 by the control unit 21 according to the panorama creation program. The control unit 21 detects the range of the designated image S to image X, and determines the detected range as the range of the non-photographing target unit. Further, the control unit 21 stores the determined range information of the non-photographing target unit in the storage unit 22.
Accordingly, the photographing unit 41 only performs photographing of the portions of the images A to R based on the determined range of the non-photographing target portion.

次に、制御部21が、撮影した画像の画像情報から非撮影対象部の範囲を判定する方法について図6のフローチャートを参照して説明する。まず、ステップS10において、撮影部41は、制御部21の制御に基づいて、可動部48によって移動できる範囲のうち最も上側で端側、即ち隅部を撮影する。例えば、撮影部41は、図5に示される撮影範囲のうち画像S(又は画像X)について撮影を行う。このように撮影部41が最初に隅部を撮影するのは、その撮影範囲の画像に天井が写されている可能性が高く、早期に非撮影対象部の範囲を判定することができるためである。   Next, a method in which the control unit 21 determines the range of the non-photographing target part from the image information of the photographed image will be described with reference to the flowchart of FIG. First, in step S <b> 10, the photographing unit 41 photographs the uppermost end side, that is, the corner portion of the range that can be moved by the movable unit 48 based on the control of the control unit 21. For example, the imaging unit 41 captures an image S (or image X) in the imaging range shown in FIG. The reason why the photographing unit 41 first captures the corner in this way is that there is a high possibility that the ceiling is captured in the image of the photographing range, and the range of the non-photographing target portion can be determined early. is there.

次に、ステップS11において、制御部21は、撮影した画像を受信し、撮影した画像の全てが非撮影対象部であるか否かを判定する。制御部21は、撮影した画像の全てが暗い場合は天井、即ち非撮影対象部であると判定する。例えば、図5に示される画像S(又は画像X)は全てが暗いため、制御部21は、画像S(又は画像X)の撮影した範囲を非撮影対象部の範囲と判定する。ここで、全てが暗いか否かの判定は、撮影された画像の画像情報のうち、例えば画像全体が所定の閾値以下の照度である場合に、画像の全てが非撮影対象部であると判定する。制御部21は、撮影した画像の全てが非撮影対象部であると判定した場合、ステップS12に処理を進める。また一部又は全部が明るい部分である場合は、ステップS14に処理を進める。   Next, in step S <b> 11, the control unit 21 receives the captured image and determines whether all of the captured images are non-photographing target portions. When all the captured images are dark, the control unit 21 determines that the image is a ceiling, that is, a non-photographing target portion. For example, since the image S (or image X) shown in FIG. 5 is all dark, the control unit 21 determines that the captured range of the image S (or image X) is the range of the non-capturing target portion. Here, it is determined whether or not all of the images are dark, for example, when the entire image has illuminance equal to or less than a predetermined threshold among the image information of the captured image, it is determined that all of the images are non-shooting target portions. To do. If the control unit 21 determines that all of the captured images are non-photographing target units, the control unit 21 proceeds to step S12. If part or all is a bright part, the process proceeds to step S14.

ステップS12において、制御部21は、撮影部41を鉛直下方向に移動させることができるか否かを判定する。例えば、ステップS11において、撮影部41が図5に示される画像S(又は画像X)を撮影した場合は、鉛直下方向に移動できると判定する。鉛直下方向に移動できると判定した場合は、ステップS13に処理を進める。鉛直下方向に移動できないと判定した場合は、ステップS17に処理を進める。   In step S12, the control unit 21 determines whether or not the photographing unit 41 can be moved vertically downward. For example, in step S11, when the imaging unit 41 has captured the image S (or image X) shown in FIG. 5, it is determined that the image can be moved vertically downward. If it is determined that it can move vertically downward, the process proceeds to step S13. If it is determined that it cannot move vertically downward, the process proceeds to step S17.

ステップS13において、撮影部41は、制御部21の制御に基づいて、鉛直下方向に移動して画像を撮影する。例えば、ステップS11において撮影部41が画像S(又は画像X)を撮影した場合は、撮影部41は、画像M(又は画像R)を撮影する。次にステップS11に戻り、制御部21は、撮影した画像の全てが非撮影対象部であるか否かを判定する。   In step S <b> 13, the imaging unit 41 captures an image by moving vertically downward based on the control of the control unit 21. For example, when the imaging unit 41 captures the image S (or image X) in step S11, the imaging unit 41 captures the image M (or image R). Next, it returns to step S11 and the control part 21 determines whether all the image | photographed images are non-photographing object parts.

ステップS14において、制御部21は、撮影した画像に暗い部分と明るい部分とに分かれる境界線があるか否かを判定する。例えば、画像M(又は画像R)は、暗い部分と明るい部分とに分かれているため、制御部21は、画像M(又は画像R)の撮影した範囲に境界線があると判定する。ここで、境界線があるか否かの判定は、撮影された画像の画像情報の周波数成分のうち、例えば所定の閾値以上の高周波を水平方向に連続して検出することで、境界線があると判定する。また、撮影された画像の画像情報から、例えば所定の閾値以下の照度が水平方向に連続し、所定の閾値以上の照度が水平方向に連続する場合に境界線があると判定してもよい。制御部21は、撮影した画像に境界線があると判定した場合、ステップS15に処理を進める。また境界線がないと判定した場合は、処理を終了する。   In step S14, the control unit 21 determines whether or not the captured image has a boundary line that is divided into a dark part and a bright part. For example, since the image M (or image R) is divided into a dark portion and a bright portion, the control unit 21 determines that there is a boundary line in the captured range of the image M (or image R). Here, whether or not there is a boundary line is determined by continuously detecting, for example, a high frequency equal to or higher than a predetermined threshold among the frequency components of the image information of the captured image in the horizontal direction. Is determined. Further, from the image information of the captured image, for example, it may be determined that there is a boundary line when illuminance below a predetermined threshold value continues in the horizontal direction and illuminance above the predetermined threshold value continues in the horizontal direction. When it is determined that the captured image has a boundary line, the control unit 21 proceeds to step S15. If it is determined that there is no boundary line, the process is terminated.

ステップS15において、撮影部41は、制御部21の制御に基づいて、水平方向に移動して画像を撮影する。例えば、ステップS14において撮影部41が画像M(又は画像R)を撮影した場合は、撮影部41は、画像N(又は画像Q)を撮影する。次にステップS16に処理を進める。   In step S <b> 15, the photographing unit 41 moves in the horizontal direction and photographs an image based on the control of the control unit 21. For example, when the imaging unit 41 captures the image M (or image R) in step S14, the imaging unit 41 captures the image N (or image Q). Next, the process proceeds to step S16.

ステップS16において、制御部21は、撮影した画像にステップS14において判定した境界線が連続してあるか否かを判定する。例えば、画像N(又は画像Q)には、暗い部分と明るい部分とに分かれる境界線があり、その境界線は画像M(又は画像R)において判定された境界線と連続しているため、制御部21は、連続する境界線があると判定する。連続する境界線があると判定した場合、ステップS17に処理を進める。また連続する境界線がないと判定した場合は、処理を終了する。   In step S16, the control unit 21 determines whether or not the boundary line determined in step S14 is continuous with the captured image. For example, the image N (or image Q) has a boundary line that is divided into a dark part and a bright part, and the boundary line is continuous with the boundary line determined in the image M (or image R). The unit 21 determines that there is a continuous boundary line. If it is determined that there is a continuous boundary line, the process proceeds to step S17. If it is determined that there is no continuous boundary line, the process ends.

ステップS17において、制御部21は、非撮影対象部の範囲を決定する。制御部21は、ステップS16において連続する境界線が更に水平して連続すると判断し、判断した水平方向の境界線までを非撮影対象部の範囲であると決定する。例えば、画像Mと画像N(又は画像Rと画像Q)に連続する境界線がある場合、制御部21は、画像R(又は画像M)まで水平方向に境界線が連続すると判断する。そして、制御部21は、境界線の上側、即ち画像M〜画像Rの境界線の上側、及び画像S〜画像Xの全範囲を非撮影対象部の範囲として決定する。なお、ステップS12において鉛直下方向に移動できないと判定した場合は、ステップS17において、撮影範囲の全てが非撮影対象部の範囲であると決定する。また、制御部21は、決定した非撮影対象部の範囲情報又は境界線の境界線情報を記憶部22に記憶する。   In step S <b> 17, the control unit 21 determines the range of the non-photographing target part. In step S16, the control unit 21 determines that the continuous boundary line is further horizontally continuous, and determines that the determined horizontal boundary line is within the range of the non-photographing target part. For example, when there is a continuous boundary line between the image M and the image N (or the image R and the image Q), the control unit 21 determines that the boundary line continues in the horizontal direction up to the image R (or the image M). Then, the control unit 21 determines the upper side of the boundary line, that is, the upper side of the boundary line of the image M to the image R and the entire range of the image S to the image X as the range of the non-photographing target unit. If it is determined in step S12 that the image cannot be moved vertically downward, in step S17, it is determined that the entire shooting range is the range of the non-shooting target portion. In addition, the control unit 21 stores the determined range information of the non-photographing target unit or boundary line information of the boundary line in the storage unit 22.

制御部21が、このような処理を行うことにより撮影した画像の画像情報から非撮影対象部の範囲を自動的に判定することができる。なお、制御部21が、非撮影対象部の範囲をより正確に判定できるのであれば、非撮影対象部の範囲を確定させるための処理であるステップS15とステップS16とを省略することができ、パノラマ画像の作成時間をより短くすることができる。   By performing such processing, the control unit 21 can automatically determine the range of the non-photographing target part from the image information of the photographed image. If the control unit 21 can more accurately determine the range of the non-photographing target part, steps S15 and S16, which are processes for determining the range of the non-photographing target part, can be omitted. Panorama image creation time can be further shortened.

次に、非撮影対象部の範囲を決定した後、パノラマ画像を作成する処理について説明する。まず、ユーザが非撮影対象部の範囲を指定する場合は、撮影部41は、制御部21の制御に基づいて、即ち決定した非撮影対象部の範囲情報に基づいて、非撮影対象部の範囲を除いた範囲の撮影だけを行うようにする。より具体的には、撮影部41は、図5に示す画像S〜画像Xの範囲を除いた画像A〜画像Rについて撮影を行う。このとき、制御部21は、撮影した画像を順次、記憶部22に記憶する。   Next, processing for creating a panoramic image after determining the range of the non-photographing target portion will be described. First, when the user designates the range of the non-photographing target part, the photographing unit 41 is based on the control of the control unit 21, that is, based on the determined non-photographing target part range information. Only shoot in the range excluding. More specifically, the imaging unit 41 captures images A to R excluding the ranges of the images S to X shown in FIG. At this time, the control unit 21 sequentially stores the captured images in the storage unit 22.

次に、制御部21が画像情報から非撮影対象部の範囲を決定した場合は、撮影部41は、制御部21の制御に基づいて、非撮影対象部の範囲を除いた範囲の撮影だけを行うようにする。更に、制御部21は、非撮影対象部の範囲情報又は境界線情報に基づいて、撮影部41の移動の範囲を制御し(可動部制御)、撮影部41が、境界線に合わせるように撮影位置をずらして画角を決め、撮影する。より具体的には、図7(a)のように画像M〜画像Rに境界線がある場合に、撮影部41は、図7(b)に示すように境界線が画像の上端と一致するように、撮影部41の可動の範囲を制御する。撮影部41は制御部21の制御に基づいて、図7(a)に示す画像S〜画像Xの撮影を行わず、図7(b)に示す画像A〜画像Rの撮影を行う。このとき、制御部21は、撮影した画像を順次、記憶部22に記憶する。   Next, when the control unit 21 determines the range of the non-photographing target part from the image information, the photographing unit 41 performs only the photographing of the range excluding the non-photographing target part range based on the control of the control unit 21. To do. Further, the control unit 21 controls the range of movement of the imaging unit 41 based on the range information or boundary line information of the non-imaging target unit (movable unit control), and the imaging unit 41 performs imaging so as to match the boundary line. Shift the position, determine the angle of view, and shoot. More specifically, when the image M to the image R have a boundary line as shown in FIG. 7A, the photographing unit 41 matches the upper edge of the image as shown in FIG. 7B. Thus, the movable range of the imaging unit 41 is controlled. Based on the control of the control unit 21, the photographing unit 41 does not shoot the images S to X shown in FIG. 7A, and shoots the images A to R shown in FIG. At this time, the control unit 21 sequentially stores the captured images in the storage unit 22.

このように、撮影部41は、パノラマ画像の撮影を行うときに、非撮影対象部の範囲情報又は境界線情報に基づいて、例えば図7(a)に示すように画像S〜画像Xの撮影は行わず、画像A〜画像Rの部分の撮影だけを行う。従って、撮影部41が撮影する枚数は、撮影範囲の全ての24枚を撮影するときに比べて、例えば、画像A〜画像Rまでの18枚を撮影すればよく、撮影時間を短くすることができる。   As described above, when shooting the panoramic image, the shooting unit 41 shoots the images S to X based on the range information or the boundary line information of the non-shooting target unit, for example, as illustrated in FIG. And only the image A to image R are taken. Accordingly, the number of images captured by the image capturing unit 41 may be 18 images from image A to image R, for example, compared to when all 24 images in the image capturing range are imaged. it can.

次に、制御部21は、記憶部22に記憶した画像を合成してパノラマ画像を作成する。このとき、制御部21は、撮影が行われなかった範囲、即ち非撮影対象部の範囲であると決定した範囲の画像には、記憶部22に予め記憶された画像を用いて合成しパノラマ画像を作成する。例えば、図7(a)に示す場合は、制御部21は、記憶部22に記憶されている画像M〜画像Rの境界線の上側、及び画像S〜画像Xの全範囲の画像を図7(b)に示すように撮影された画像A〜画像Rに合成する。従って、制御部21が画像S〜画像Xを撮影したり記憶部22に記憶させたりする処理が必要ないので、撮影範囲の全てを撮影するときに比べて、パノラマ画像を作成する時間を短くすることができる。   Next, the control unit 21 combines the images stored in the storage unit 22 to create a panoramic image. At this time, the control unit 21 synthesizes a panoramic image by using an image stored in advance in the storage unit 22 for an image in a range where shooting has not been performed, that is, a range determined to be a non-shooting target range. Create For example, in the case illustrated in FIG. 7A, the control unit 21 displays the images in the upper side of the boundary line between the images M to R and the entire range of the images S to X stored in the storage unit 22 as illustrated in FIG. 7. As shown in (b), the images A to R are combined. Accordingly, since the control unit 21 does not need to capture the images S to X or store them in the storage unit 22, the time for creating the panoramic image is shortened compared to when capturing the entire imaging range. be able to.

なお、図7(a)に示す画像M〜画像Rのように、撮影する画像に暗い部分と明るい部分とがある場合、撮影部41の絞りが開放になり、透過している部分までも白く飛んで撮影されてしまい、見えなくなってしまうことがある。しかしながら、上述したように、撮影部41は、制御部21による制御に基づいて、暗い部分と明るい部分との境界線が画像の上端と一致するように、撮影部41の移動の範囲が制御されて撮影する。従って、撮影部41は、最適な自動露出で撮影でき、良好なパノラマ画像を撮影することができる。   Note that, as in the images M to R shown in FIG. 7A, when the image to be photographed includes a dark part and a bright part, the aperture of the photographing unit 41 is opened, and the transmitted part is also white. It may be shot away and disappear. However, as described above, the photographing unit 41 controls the range of movement of the photographing unit 41 based on the control by the control unit 21 so that the boundary line between the dark part and the bright part coincides with the upper end of the image. To shoot. Therefore, the photographing unit 41 can photograph with an optimum automatic exposure and can photograph a good panoramic image.

制御部21がパノラマ画像を作成した後、ユーザの指示や撮影装置14を制御するプログラムに従って、撮影部41は、非撮影対象部の範囲を含み、撮影部41が移動できる範囲で撮影を行うことができる。
なお、上述した説明では、非撮影対象部として天井のみを取り上げて説明したが、この場合に限られるものではない。例えば、撮影装置14が床面に設置されている場合は、非撮影対象部は床である。そのような場合、図6で示したフローチャートにおける非撮影対象部の判定処理のうち、撮影部41の鉛直方向の移動は上下が入れ替わる。例えば、ステップS10において撮影部41は、制御部21の制御に基づいて、可動部48によって移動される範囲のうち最も下側で端側、を撮影する。また、制御部21は、垂直方向に沿って撮影された壁等を非撮影対象部として判定するようにしてもよい。
After the control unit 21 creates a panoramic image, the imaging unit 41 performs imaging within a range in which the imaging unit 41 can move, including a range of non-imaging target units, according to a user instruction or a program for controlling the imaging device 14. Can do.
In the above description, only the ceiling has been described as the non-photographing target part. However, the present invention is not limited to this case. For example, when the imaging device 14 is installed on the floor, the non-imaging target part is the floor. In such a case, in the determination process of the non-photographing target portion in the flowchart shown in FIG. For example, in step S <b> 10, the photographing unit 41 photographs the lowermost end side of the range moved by the movable unit 48 based on the control of the control unit 21. Further, the control unit 21 may determine a wall or the like taken along the vertical direction as a non-photographing target part.

このように、第1の実施形態によれば、撮影装置が撮影することができる撮影範囲を示す画像、即ちパノラマ画像を作成する時間を短くすることができる。   As described above, according to the first embodiment, it is possible to shorten the time for creating an image indicating a photographing range that can be photographed by the photographing apparatus, that is, a panoramic image.

(第2の実施形態)
第2の実施形態では、撮影装置14をほこりや汚れ等から保護したり、撮影部41の向きがわからないように隠したりするために、撮影部41にドームといわれる保護ケース(以下、ケースという)を覆う場合について説明する。
(Second Embodiment)
In the second embodiment, in order to protect the photographing device 14 from dust, dirt, etc., or to hide the orientation of the photographing unit 41, the photographing unit 41 is referred to as a protective case (hereinafter referred to as a case). A case where the cover is covered will be described.

図8は、撮影装置14にケース61を装着した状態の一例を示す図である。第2の実施形態に係る撮影装置14の回転体45及び取付ベース46は、天井30に埋め込まれている。ケース61は、内部に撮影装置14を収容することができる空間を有する略半球状に形成されている。ケース61には、透明部61Aと、非撮影対象部である不透明部61Bとを有している。図8に示す撮影装置14は、ケース61の構造によって、例えば不透明部61Bの範囲が多くあったり、天井30に撮影装置14が埋め込まれたりされている場合がある。このような場合、撮影部41がチルト方向の上向きに小さな角度で回転した場合であっても、不透明部61Bに遮られ、撮影できない範囲が広くなってしまう。   FIG. 8 is a diagram illustrating an example of a state in which the case 61 is attached to the photographing apparatus 14. The rotating body 45 and the mounting base 46 of the imaging device 14 according to the second embodiment are embedded in the ceiling 30. The case 61 is formed in a substantially hemispherical shape having a space in which the photographing device 14 can be accommodated. The case 61 has a transparent portion 61A and an opaque portion 61B that is a non-photographing target portion. The imaging device 14 shown in FIG. 8 may have a large range of the opaque part 61B or the imaging device 14 may be embedded in the ceiling 30 depending on the structure of the case 61, for example. In such a case, even when the photographing unit 41 is rotated upward at a small angle in the tilt direction, the opaque portion 61B is blocked by the opaque portion 61B, and the range in which photographing cannot be performed becomes wide.

図9は、撮影装置14のレンズの画角を模式的に示した図である。図9に示す撮影装置14は、チルト軸44が撮像素子70の後ろに位置しているものである。このような場合、レンズの画角(図9に示す点線の範囲)によっては、天井30に設置した場合で撮影部41を下に移動させると逆にケース61の透明部61Aと不透明部61Bとの境界線の上の部分7Aが見えてくる。従って、撮影する範囲や合成する方法によって、撮影可能な部分が境界線で消えてしまう。なお、撮影装置14を床に設置した場合も同様である。   FIG. 9 is a diagram schematically showing the angle of view of the lens of the photographing apparatus 14. In the photographing apparatus 14 shown in FIG. 9, the tilt shaft 44 is located behind the image sensor 70. In such a case, depending on the angle of view of the lens (the range of the dotted line shown in FIG. 9), when the photographing unit 41 is moved downward when installed on the ceiling 30, the transparent portion 61A and the opaque portion 61B of the case 61 are reversed. A portion 7A above the boundary line of the line can be seen. Therefore, the portion that can be photographed disappears at the boundary line depending on the photographing range and the composition method. The same applies when the photographing device 14 is installed on the floor.

次に、このような撮影装置14において、パノラマ画像を作成する処理について説明する。このパノラマ画像を作成する処理は、撮影装置14を設置した際、ユーザの入力装置13を介したパノラマ画像作成プログラムの実行が指示されたときに、実行される。   Next, processing for creating a panoramic image in such a photographing apparatus 14 will be described. The process of creating the panoramic image is executed when the execution of the panoramic image creation program is instructed via the input device 13 by the user when the photographing apparatus 14 is installed.

まず、制御装置11の制御部21は、ユーザによるパノラマ画像作成プログラムの実行指示を検出すると、記憶部22に格納されているパノラマ画像作成プログラムを読み込む。
次に、制御装置11の制御部21は、パノラマ画像作成プログラムに従って、表示装置12にパノラマ作成ツールを表示する。このパノラマ作成ツールには、例えば、ケース61を使用するか否かをユーザが入力することができるチェックボックスが用意されている。
First, the control unit 21 of the control device 11 reads the panorama image creation program stored in the storage unit 22 when detecting the execution instruction of the panorama image creation program by the user.
Next, the control unit 21 of the control device 11 displays the panorama creation tool on the display device 12 according to the panorama image creation program. In this panorama creation tool, for example, a check box that allows the user to input whether or not to use the case 61 is prepared.

パノラマ作成ツールにおいてケース61を使用するチェックボックスにチェックが入力されている場合、制御部21は、その情報に基づいて撮影装置14にケース61が装着されていると判定する(装着判定)。ここで、記憶部22には、ケース61が装着された場合に、ケース61の透明部61Aと不透明部61Bとの境界線が記憶されている。例えば、記憶部22には、図7(a)に示すように画像M〜画像Rの水平方向にケース61の透明部61Aと不透明部61Bとの境界線が位置するという境界線情報が記憶されている。   When a check is input to the check box that uses the case 61 in the panorama creation tool, the control unit 21 determines that the case 61 is attached to the photographing apparatus 14 based on the information (attachment determination). Here, the storage unit 22 stores a boundary line between the transparent portion 61A and the opaque portion 61B of the case 61 when the case 61 is attached. For example, the storage unit 22 stores boundary line information that the boundary line between the transparent part 61A and the opaque part 61B of the case 61 is positioned in the horizontal direction of the images M to R as shown in FIG. ing.

従って、制御部21は、ケース61の装着判定の結果に応じて記憶部22に記憶された境界線情報に基づいて、撮影部41の移動の範囲を制御する(可動部制御)。そして、撮影部41が、ケース61の透明部61Aと不透明部61Bとの境界線に合わせるように撮影位置をずらして画角を決め、撮影する。より具体的には、撮影部41は、図7(b)に示すように境界線が画像の上端と一致するように、撮影部41の可動の範囲を制御する。撮影部41は制御部21の制御に基づいて、図7(a)に示す画像S〜画像Xの撮影を行わず、図7(b)に示す画像A〜画像Rの撮影を行う。このとき、制御部21は、撮影した画像を順次、記憶部22に記憶する。   Therefore, the control unit 21 controls the range of movement of the imaging unit 41 based on the boundary line information stored in the storage unit 22 according to the result of the case 61 attachment determination (movable unit control). Then, the photographing unit 41 shifts the photographing position so as to match the boundary line between the transparent portion 61A and the opaque portion 61B of the case 61, and determines the angle of view. More specifically, the photographing unit 41 controls the movable range of the photographing unit 41 so that the boundary line coincides with the upper end of the image as shown in FIG. Based on the control of the control unit 21, the photographing unit 41 does not shoot the images S to X shown in FIG. 7A, and shoots the images A to R shown in FIG. At this time, the control unit 21 sequentially stores the captured images in the storage unit 22.

次に、制御部21は、記憶部22に記憶した画像を合成してパノラマ画像を作成する。このとき、制御部21は、撮影が行われなかった範囲、即ち不透明部61Bの範囲の画像には、記憶部22に予め記憶された不透明部61Bに相当する画像を用いて合成しパノラマ画像を作成する。   Next, the control unit 21 combines the images stored in the storage unit 22 to create a panoramic image. At this time, the control unit 21 synthesizes a panoramic image by using an image corresponding to the opaque part 61B stored in advance in the storage unit 22 for an image in the range where the photographing is not performed, that is, the range of the opaque part 61B. create.

このように、撮影部41は、パノラマ画像の撮影を行うときに、ケース61の装着判定の結果に応じて、例えば図7(a)に示すように画像S〜画像Xの撮影は行わず、画像A〜画像Rの部分の撮影だけを行う。従って、撮影部41が撮影する枚数は、撮影範囲の全ての24枚を撮影するときに比べて、例えば、画像A〜画像Rまでの18枚を撮影すればよく、撮影時間を短くすることができる。   As described above, when the panorama image is shot, the shooting unit 41 does not take the images S to X as shown in FIG. Only the image A to image R are captured. Accordingly, the number of images captured by the image capturing unit 41 may be 18 images from image A to image R, for example, compared to when all 24 images in the image capturing range are imaged. it can.

なお、透明部61Aと不透明部61Bとの境界線が、図7(a)に示す画像M〜画像Rにある場合、上側が暗いために自動露出(AE)機能により絞りが開放になり、透過している部分までも白く飛んで撮影されてしまい、見えなくなってしまうことがある。しかしながら、上述したように、撮影部41は、制御部21による制御に基づいて、透明部61Aと不透明部61Bとの境界線が画像の上端と一致するように、撮影部41の移動の範囲が制御されて撮影する。従って、撮影部41は、最適な自動露出で撮影でき、良好なパノラマ画像を撮影することができる。   When the boundary line between the transparent portion 61A and the opaque portion 61B is in the image M to the image R shown in FIG. 7A, the aperture is opened by the automatic exposure (AE) function because the upper side is dark, and transmission is performed. Even the part that is being shot may be shot in white and disappear. However, as described above, the photographing unit 41 has a range of movement of the photographing unit 41 based on the control by the control unit 21 so that the boundary line between the transparent part 61A and the opaque part 61B coincides with the upper end of the image. Controlled shooting. Therefore, the photographing unit 41 can photograph with an optimum automatic exposure and can photograph a good panoramic image.

このように、第2の実施形態によれば、撮影装置が撮影することができる撮影範囲を示す画像、即ちパノラマ画像を作成する時間を短くすることができる。   As described above, according to the second embodiment, it is possible to shorten the time for creating an image indicating a photographing range that can be photographed by the photographing apparatus, that is, a panoramic image.

(第3の実施形態)
なお、上述した第1、第2の実施形態の撮影システム100は、制御装置11と撮影装置14とを含む場合について説明したが、その場合に限られるものではない。例えば、撮影装置14に制御装置11の制御部21や記憶部22を含むように構成させてもよい。即ち、撮影装置14自身が、境界線があるか否かの判断を行ったり、ケース61の設定に合わせて撮影範囲を決めたりするようにしてもよい。このようにすることで、撮影システム100の構成を簡略化することができる。
(Third embodiment)
In addition, although the imaging | photography system 100 of 1st, 2nd embodiment mentioned above demonstrated the case where the control apparatus 11 and the imaging device 14 were included, it is not restricted to that case. For example, the imaging device 14 may be configured to include the control unit 21 and the storage unit 22 of the control device 11. That is, the imaging device 14 itself may determine whether or not there is a boundary line, or may determine the imaging range according to the setting of the case 61. By doing in this way, the structure of the imaging system 100 can be simplified.

上述した本発明の実施形態における撮影システム、制御装置及び撮影装置を構成する各手段、並びに制御方法の各ステップは、コンピュータのRAMやROM等に記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。   Each step of the photographing system, the control device, each means constituting the photographing device, and the control method in the embodiment of the present invention described above can be realized by operating a program stored in a RAM, a ROM, or the like of a computer. This program and a computer-readable recording medium recording the program are included in the present invention.

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、一つの機器からなる装置に適用してもよい。   Further, the present invention can be implemented as, for example, a system, apparatus, method, program, or recording medium, and may be applied to an apparatus composed of a single device.

なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム又は装置に直接、又は遠隔から供給する。そして、そのシステム又は装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。   The present invention supplies a software program for realizing the functions of the above-described embodiments directly or remotely to a system or apparatus. In addition, this includes a case where the system or the computer of the apparatus is also achieved by reading and executing the supplied program code.

従って、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。   Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention. In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。更に、そのプログラムの指示に基づき、コンピュータ上で稼動しているOS等が、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。   Further, the functions of the above-described embodiments are realized by the computer executing the read program. Furthermore, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can be realized by the processing.

更に、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。   As another method, a program read from a recording medium is first written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Then, based on the instructions of the program, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are also realized by the processing.

撮影システムの概略の構成を示す図である。1 is a diagram illustrating a schematic configuration of a photographing system. 撮影システムの内部構成を示す図である。It is a figure which shows the internal structure of an imaging | photography system. 撮影装置を天井面に設置したときの状態を示す図である。It is a figure which shows a state when an imaging device is installed in a ceiling surface. 表示装置に表示したパノラマ画像の一例を示す図である。It is a figure which shows an example of the panoramic image displayed on the display apparatus. 撮影装置を天井面に設置したときに作成されるパノラマ画像の一例を示す図である。It is a figure which shows an example of the panoramic image produced when an imaging device is installed in a ceiling surface. 非撮影対象部の範囲を判定する処理を示すフローチャートである。It is a flowchart which shows the process which determines the range of a non-photographing object part. 境界線に合わせて撮影位置をずらして撮影する状態の一例を示す図である。It is a figure which shows an example of the state which image | photographs by shifting an imaging position according to a boundary line. 撮影装置にケースが装着された状態を示す図である。It is a figure which shows the state with which the case was mounted | worn with the imaging device. 撮影装置のレンズの画角を模式的に示した図である。It is the figure which showed typically the field angle of the lens of an imaging device.

符号の説明Explanation of symbols

100 撮影システム
11 制御装置
12 表示装置
13 入力装置
14 撮影装置
15 接続手段
41 撮影部
43 支持体
44 チルト軸
45 回転体
46 取付ベース
61 ケース
61A 透明部
61B 不透明部
70 撮像素子
DESCRIPTION OF SYMBOLS 100 Imaging system 11 Control apparatus 12 Display apparatus 13 Input apparatus 14 Imaging apparatus 15 Connection means 41 Imaging part 43 Support body 44 Tilt axis 45 Rotating body 46 Mounting base 61 Case 61A Transparent part 61B Opaque part 70 Imaging element

Claims (4)

画像を撮影する撮影部及び前記撮影部を移動させる可動部を有する撮影装置を制御する制御装置であって、
前記撮影部を端側から水平移動させる動作を垂直方向に対して複数回行うことにより撮影することができる撮影範囲を示す画像を作成する画像作成手段と、
前記画像作成手段において作成される画像の撮影のために行われる前記撮影部の移動を、非撮影対象部に基づいて制御する可動部制御手段と、
前記撮影部において撮影される画像から所定閾値以上の照度が水平方向に連続し且つ所定閾値以下の照度が水平方向に連続する境界線を検出することにより前記撮影範囲に含まれる前記非撮影対象部を判定する判定手段と、を有し、
前記可動部制御手段は、前記判定手段により判定された非撮影対象部を除いた前記撮影範囲の画像の撮影を行うとともに前記撮影される画像の端部が前記判定手段により検出された境界線に一致するように前記撮影部の水平移動を制御することを特徴とする制御装置。
A control device for controlling a photographing device having a photographing unit for photographing an image and a movable unit for moving the photographing unit,
An image creating means for creating an image indicating a photographing range that can be photographed by performing an operation of horizontally moving the photographing unit from the end side a plurality of times in the vertical direction ;
A movable part control means for controlling movement of the photographing part performed for photographing an image created by the image creating means based on a non-photographing target part;
The non-shooting target portion included in the shooting range by detecting a boundary line in which an illuminance equal to or greater than a predetermined threshold is continuous in the horizontal direction and an illuminance equal to or less than the predetermined threshold is continued in the horizontal direction from an image photographed in the photographing unit Determining means for determining
The movable part control means captures an image in the photographing range excluding the non-photographing target part determined by the determination means, and an end of the photographed image is on the boundary line detected by the determination means. A control apparatus that controls horizontal movement of the photographing unit so as to coincide with each other .
前記画像作成手段は、前記非撮影対象部の範囲に記憶装置に記憶された画像を合成することにより、前記撮影部において撮影することができる撮影範囲を示す画像を作成することを特徴とする請求項に記載の制御装置。 The image creating means creates an image indicating a photographing range that can be photographed by the photographing unit by combining an image stored in a storage device with the range of the non-photographing target portion. Item 2. The control device according to Item 1 . 画像を撮影する撮影部及び前記撮影部を移動させる可動部を有する撮影装置を制御する制御方法であって、
前記撮影部を端側から水平移動させる動作を垂直方向に対して複数回行うことにより撮影することができる撮影範囲を示す画像を作成する画像作成ステップと、
前記撮影部において撮影される画像から所定閾値以上の照度が水平方向に連続し且つ所定閾値以下の照度が水平方向に連続する境界線を検出することにより前記撮影範囲に含まれる非撮影対象部を判定する判定ステップと、
前記判定ステップにおいて判定された非撮影対象部を除いた前記撮影範囲の画像の撮影を行うとともに前記撮影される画像の端部が前記判定ステップにおいて検出された境界線に一致するように前記撮影部の水平移動を制御する可動部制御ステップと、を有することを特徴とする制御方法。
A control method for controlling a photographing device having a photographing unit for photographing an image and a movable part for moving the photographing unit,
An image creating step for creating an image indicating a photographing range that can be photographed by performing the operation of horizontally moving the photographing unit from the end side a plurality of times in the vertical direction ;
A non-shooting target portion included in the shooting range is detected by detecting a boundary line in which an illuminance equal to or greater than a predetermined threshold value is continuous in a horizontal direction and an illuminance value equal to or less than a predetermined threshold value is continued in a horizontal direction from an image photographed in the photographing unit. A determination step for determining;
The photographing unit performs photographing of the image in the photographing range excluding the non-photographing target portion determined in the determination step and the end of the photographed image coincides with the boundary line detected in the determination step. And a movable part control step for controlling the horizontal movement of the control method.
画像を撮影する撮影部及び前記撮影部を移動させる可動部を有する撮影装置を制御するプログラムであって、
前記撮影部を端側から水平移動させる動作を垂直方向に対して複数回行うことにより撮影することができる撮影範囲を示す画像を作成する画像作成ステップと、
前記撮影部において撮影される画像から所定閾値以上の照度が水平方向に連続し且つ所定閾値以下の照度が水平方向に連続する境界線を検出することにより前記撮影範囲に含まれる非撮影対象部を判定する判定ステップと、
前記判定ステップにおいて判定された非撮影対象部を除いた前記撮影範囲の画像の撮影を行うとともに前記撮影される画像の端部が前記判定ステップにおいて検出された境界線に一致するように前記撮影部の水平移動を制御する可動部制御ステップと、をコンピュータに実行させるためのプログラム。
A program for controlling a photographing device having a photographing unit for photographing an image and a movable unit for moving the photographing unit,
An image creating step for creating an image indicating a photographing range that can be photographed by performing the operation of horizontally moving the photographing unit from the end side a plurality of times in the vertical direction ;
A non-shooting target portion included in the shooting range is detected by detecting a boundary line in which an illuminance equal to or greater than a predetermined threshold value is continuous in a horizontal direction and an illuminance value equal to or less than a predetermined threshold value is continued in a horizontal direction from an image photographed in the photographing unit. A determination step for determining;
The photographing unit performs photographing of the image in the photographing range excluding the non-photographing target portion determined in the determination step and the end of the photographed image coincides with the boundary line detected in the determination step. And a movable part control step for controlling the horizontal movement of the computer.
JP2007259072A 2007-10-02 2007-10-02 Control device, control method and program Expired - Fee Related JP4968936B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007259072A JP4968936B2 (en) 2007-10-02 2007-10-02 Control device, control method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007259072A JP4968936B2 (en) 2007-10-02 2007-10-02 Control device, control method and program

Publications (2)

Publication Number Publication Date
JP2009089268A JP2009089268A (en) 2009-04-23
JP4968936B2 true JP4968936B2 (en) 2012-07-04

Family

ID=40662012

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007259072A Expired - Fee Related JP4968936B2 (en) 2007-10-02 2007-10-02 Control device, control method and program

Country Status (1)

Country Link
JP (1) JP4968936B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6726931B2 (en) 2015-03-20 2020-07-22 キヤノン株式会社 Image processing apparatus and method, and image processing system
CN112578559A (en) * 2020-12-30 2021-03-30 深圳达光传感技术有限公司 Imaging optical system based on all-round looking lens

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000244783A (en) * 1999-02-19 2000-09-08 Fujitsu General Ltd Surveillance camera device
JP4005409B2 (en) * 2002-05-08 2007-11-07 株式会社エイブイプランニングセンター Background image estimation method and background image estimation apparatus
JP2004186907A (en) * 2002-12-02 2004-07-02 Canon Inc Panoramic image shooting system

Also Published As

Publication number Publication date
JP2009089268A (en) 2009-04-23

Similar Documents

Publication Publication Date Title
JP5967473B2 (en) Imaging apparatus and imaging system
CN101715053B (en) Imaging apparatus and imaging method
KR20110004085A (en) Shooting device and shooting method
US20100134641A1 (en) Image capturing device for high-resolution images and extended field-of-view images
JP4579980B2 (en) Taking a series of images
CN105025208B (en) Photographic device, camera component, long-distance operating device, method for imaging, display methods and recording medium
JP5991514B2 (en) Imaging apparatus and imaging system
KR20100066864A (en) Terminal having camera and method for processing image thereof
KR20120065997A (en) Electronic device, control method, program, and image capturing system
CN109714524B (en) Image pickup apparatus, system, control method of image pickup apparatus, and storage medium
JP2020107956A (en) Imaging apparatus, imaging method, and program
CN110944101A (en) Camera and image recording method
JP7158841B2 (en) Imaging device, imaging method, program, recording medium, and image processing device
JP6312460B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP6226731B2 (en) Imaging apparatus, control method, and program
JP4968936B2 (en) Control device, control method and program
JP6483661B2 (en) Imaging control apparatus, imaging control method, and program
JP6590894B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP2015171116A (en) Display device of camera
JP5861420B2 (en) Electronic camera
JP4443990B2 (en) Electronics
JP2013012848A (en) Camera device and control method therefor
JP7738611B2 (en) Photographing control device, photographing control method, and imaging system
JP4923674B2 (en) Digital camera, focus position specifying method, program
JP2010268029A (en) Digital camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120306

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120402

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150413

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4968936

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150413

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees