JP6451110B2

JP6451110B2 - Imaging apparatus, image generation method, and program

Info

Publication number: JP6451110B2
Application number: JP2014142094A
Authority: JP
Inventors: 喜多　一記; 一記喜多
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2014-07-10
Filing date: 2014-07-10
Publication date: 2019-01-16
Anticipated expiration: 2034-07-10
Also published as: JP2016019210A

Description

本発明は、撮影装置、画像生成方法及びプログラムに関する。 The present invention relates to a photographing apparatus, an image generation method, and a program.

ユーザの身体、ヘルメット等に装着し、活動中のダイナミックな動画をユーザの視点から撮影できる小型の撮影装置が、撮影した動画をライフログとして保存する、ＳＮＳ等により友人間で共有する等の目的で、広く利用されている。
動画をライフログとして保存する目的であれば、長時間撮影した高画質な動画であって周りの風景も含む広画角の動画が望まれる。一方、友人等に公開する目的であれば、撮影時間が長いと見る者を飽きさせやすく、感動も伝わりにくいため、数分程度の短い動画が好まれる。また、画角が広いと、個々の被写体が小さく、周縁の像がひずむ等、不自然な動画になりやすく、鑑賞に不向きであるため、広画角よりは通常の画角が好まれる。 A small photographic device that can be worn on the user's body, helmet, etc. and can shoot dynamic moving images from the user's point of view, save the captured video as a life log, share it with friends via SNS, etc. And widely used.
For the purpose of saving a moving image as a life log, a high-quality moving image taken for a long time and a wide-angle moving image including surrounding scenery is desired. On the other hand, for the purpose of showing it to friends and the like, a short moving picture of about several minutes is preferred because it is easy to get tired of viewers when the shooting time is long and the impression is not easily transmitted. In addition, when the angle of view is wide, each subject is small, the peripheral image is distorted, and it tends to be an unnatural moving image and is not suitable for viewing. Therefore, a normal angle of view is preferred over a wide angle of view.

このように、目的によって求められる撮影条件が異なるが、撮影する段階で目的に応じて撮影条件を切り替える操作をその都度行うことは、ユーザにとって非常に煩雑である。
ユーザの操作を容易にするため、心拍が変化すると撮影条件を自動で設定する撮像装置がある（例えば、特許文献１参照）。また、撮影装置の加速度が一定値以上になると、フレームレートを低下させる撮影装置もある（例えば、特許文献２参照）。 As described above, although the photographing conditions required for each purpose are different, it is very troublesome for the user to perform an operation for switching the photographing conditions according to the purpose at the stage of photographing.
In order to facilitate user operations, there is an imaging apparatus that automatically sets imaging conditions when the heart rate changes (see, for example, Patent Document 1). In addition, there is a photographing apparatus that reduces the frame rate when the acceleration of the photographing apparatus reaches a certain value (for example, see Patent Document 2).

特開２００９−４９９５１号公報JP 2009-49951 A 特開２０１４−４５４３８号公報JP 2014-45438 A

しかしながら、撮影条件を自動的に設定できても、長時間撮影された動画のなかから、活動中の動画を探したり、切り出したりする編集作業が必要であり、この編集作業もユーザにとっては煩雑な作業であった。 However, even if the shooting conditions can be set automatically, it is necessary to perform an editing operation to search for or cut out an active video from videos that have been shot for a long time, which is also complicated for the user. It was work.

本発明の課題は、ユーザの状態に応じて撮影し、編集した画像を提供することである。 The subject of this invention is providing the image image | photographed and edited according to the user's state.

本発明の一態様の撮影装置は、
撮影手段と、
ユーザの活動情報を取得し、当該活動情報に基づいてユーザの状態の変化を検出する状態検出手段と、
前記状態検出手段により検出されたユーザの状態の変化に応じて、前記撮影手段の撮影条件を、第１撮影条件と前記第１撮影条件と異なる第２撮影条件との間で切り替える撮影制御手段と、
前記撮影手段により撮影された画像のなかから、前記第１撮影条件により撮影された画像又は前記第２撮影条件により撮影された画像を抽出して、新たな画像を生成する編集手段と、を備え、
前記編集手段は、前記ユーザの活動情報を表す付加画像を生成し、当該付加画像を抽出した画像に合成することにより、前記新たな画像を生成する、
ことを特徴とする。 The imaging device of one embodiment of the present invention includes:
Photographing means;
State detection means for acquiring user activity information and detecting a change in the user state based on the activity information;
Photographing control means for switching the photographing condition of the photographing means between the first photographing condition and a second photographing condition different from the first photographing condition in accordance with a change in the state of the user detected by the state detecting means; ,
From among the image taken by the imaging means, the extracts an image captured by the captured image or the second imaging condition by the first imaging condition, comprising an editing means for generating a new image, the ,
The editing unit generates an additional image representing the activity information of the user and generates the new image by combining the additional image with the extracted image;
And wherein a call.

本発明の一態様の画像生成方法は、
撮影手段を備えた撮影装置の画像生成方法であって、
ユーザの活動情報を取得し、当該活動情報に基づいてユーザの状態の変化を検出する状態検出工程と、
前記状態検出工程において検出されたユーザの状態の変化に応じて、前記撮影手段の撮影条件を、第１撮影条件と前記第１撮影条件と異なる第２撮影条件との間で切り替える撮影制御工程と、
前記撮影手段により撮影された画像のなかから、前記第１撮影条件により撮影された画像又は前記第２撮影条件により撮影された画像を抽出して、新たな画像を生成する編集工程と、を含み、
前記編集工程は、前記ユーザの活動情報を表す付加画像を生成し、当該付加画像を抽出した画像に合成することにより、前記新たな画像を生成する、
ことを特徴とする。 An image generation method of one embodiment of the present invention includes:
An image generation method for an imaging apparatus including an imaging means,
A state detection step of acquiring user activity information and detecting a change in the state of the user based on the activity information;
A shooting control step of switching a shooting condition of the shooting unit between a first shooting condition and a second shooting condition different from the first shooting condition in accordance with a change in the state of the user detected in the state detection step; ,
From among the image taken by the imaging means, the extracts an image captured by the captured image or the second imaging condition by the first imaging condition, anda editing step of generating a new image ,
The editing step generates an additional image representing the activity information of the user and generates the new image by combining the additional image with the extracted image.
And wherein a call.

本発明の一態様のプログラムは、
撮影手段を備えた撮影装置に用いられるコンピュータを、
ユーザの活動情報を取得し、当該活動情報に基づいてユーザの状態の変化を検出する状態検出手段、
前記状態検出手段により検出されたユーザの状態の変化に応じて、前記撮影手段の撮影条件を、第１撮影条件と前記第１撮影条件と異なる第２撮影条件との間で切り替える撮影制御手段、
前記撮影手段により撮影された画像のなかから、前記第１撮影条件により撮影された画像又は前記第２撮影条件により撮影された画像を抽出して、新たな画像を生成する編集手段、として機能させ、
前記編集手段は、前記ユーザの活動情報を表す付加画像を生成し、当該付加画像を抽出した画像に合成することにより、前記新たな画像を生成する、
ことを特徴とする。 The program of one embodiment of the present invention is:
A computer used in a photographing apparatus provided with photographing means,
State detection means for acquiring user activity information and detecting a change in the user state based on the activity information;
Shooting control means for switching the shooting condition of the shooting means between the first shooting condition and a second shooting condition different from the first shooting condition in accordance with a change in the state of the user detected by the state detection means;
Extracting an image photographed under the first photographing condition or an image photographed under the second photographing condition from the images photographed by the photographing means to function as an editing means for generating a new image. ,
The editing unit generates an additional image representing the activity information of the user and generates the new image by combining the additional image with the extracted image;
It is characterized by that .

本発明によれば、ユーザの状態に応じて撮影し、編集した画像を提供することができる。 According to the present invention, it is possible to provide an image that has been shot and edited according to the state of the user.

本実施の形態に係る撮影装置と、ネットワーク上のサーバとを示す図である。It is a figure which shows the imaging device which concerns on this Embodiment, and the server on a network. 撮影装置の構成を機能ごとに表すブロック図である。It is a block diagram showing the structure of an imaging device for every function. 撮影時の撮影装置の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the imaging device at the time of imaging | photography. 編集時の撮影装置の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the imaging device at the time of editing. 付加画像が合成された画像の一例を示す図である。It is a figure which shows an example of the image with which the additional image was synthesize | combined.

以下、本発明の撮影装置、画像生成方法及びプログラムの実施の形態について、図面を参照して説明する。 Hereinafter, embodiments of a photographing apparatus, an image generation method, and a program of the present invention will be described with reference to the drawings.

図１は、本実施の形態に係る撮影装置１Ａ及び１Ｂを示している。
撮影装置１Ａ及び１Ｂは、図１に示すようにインターネット等のネットワーク４経由でサーバ３と通信し、撮影した画像をサーバ３に送信することができる。
撮影装置１Ａはサーバ３と直接通信でき、撮影装置１Ｂは通信端末２を介してサーバ３と通信できる。 FIG. 1 shows photographing apparatuses 1A and 1B according to the present embodiment.
As illustrated in FIG. 1, the photographing apparatuses 1 A and 1 B can communicate with the server 3 via the network 4 such as the Internet and transmit the photographed image to the server 3.
The photographing apparatus 1 A can directly communicate with the server 3, and the photographing apparatus 1 B can communicate with the server 3 via the communication terminal 2.

撮影装置１Ａ及び１Ｂは、形態が装着型であり、ユーザの身体に装着されて撮影を行う。装着型の撮影装置１Ａ及び１Ｂの形態としては、メガネ、ヘッドセット、ヘルメット、アームバンド、チェストベルト、腕時計、リストバンド、指輪、ペンダント、バッジ等が挙げられる。 The photographing apparatuses 1A and 1B are wearable in form and are attached to the user's body for photographing. Examples of the wearable photographing apparatuses 1A and 1B include glasses, a headset, a helmet, an armband, a chest belt, a wristwatch, a wristband, a ring, a pendant, and a badge.

図２は、アームバンド型の撮影装置１Ａの構成を機能ごとに表すブロック図である。
撮影装置１Ａは、図２に示すように、制御部１１、記憶部１２、表示部１３、操作部１４、通信部１５、情報生成部１６及び撮影部１７を備えて構成されている。 FIG. 2 is a block diagram illustrating the configuration of the armband type photographing apparatus 1A for each function.
As illustrated in FIG. 2, the photographing apparatus 1A includes a control unit 11, a storage unit 12, a display unit 13, an operation unit 14, a communication unit 15, an information generation unit 16, and a photographing unit 17.

制御部１１は、記憶部１２に記憶されたプログラムを読み出して、当該プログラムを実行することにより、撮影装置１Ａの各部の動作を制御する。制御部１１は、ＬＳＩ（Large Scale Integration）、ＲＡＭ（Random Access Memory）等により構成することができる。 The control unit 11 reads out the program stored in the storage unit 12 and executes the program, thereby controlling the operation of each unit of the photographing apparatus 1A. The control unit 11 can be configured by an LSI (Large Scale Integration), a RAM (Random Access Memory), or the like.

制御部１１（状態検出手段）は、いくつかの撮影メニューのなかから、スポーツログの撮影メニューが選択された場合、情報生成部１６からユーザの活動情報を取得し、当該活動情報に基づいてユーザの状態の変化を検出する。制御部１１（撮影制御手段）は、検出したユーザの状態の変化に応じて、撮影部１７の撮影条件を第１撮影条件又は第１撮影条件と異なる第２撮影条件に切り替える撮影制御を行う。第１撮影条件はユーザの通常状態に応じて設定された撮影条件であり、第２撮影条件はユーザの活動状態に応じて設定された撮影条件である。
制御部１１（編集手段）は、撮影部１７により撮影された画像のなかから、第１撮影条件又は第２撮影条件により撮影された画像を抽出して、新たな画像を生成する。 When a sports log shooting menu is selected from among several shooting menus, the control unit 11 (state detection means) acquires user activity information from the information generation unit 16, and the user is based on the activity information. Detect changes in the state of The control unit 11 (shooting control means) performs shooting control to switch the shooting condition of the shooting unit 17 to the first shooting condition or the second shooting condition different from the first shooting condition in accordance with the detected change in the user's state. The first shooting condition is a shooting condition set according to the normal state of the user, and the second shooting condition is a shooting condition set according to the user's activity state.
The control unit 11 (editing unit) extracts an image photographed under the first photographing condition or the second photographing condition from the images photographed by the photographing unit 17, and generates a new image.

また、制御部１１（第１合成手段）は、ユーザの活動情報を表す付加画像を生成し、当該付加画像を生成した新たな画像に合成することができる。
さらに、制御部１１（心身判定手段、第２合成手段）は、ユーザの活動情報に基づいて、ユーザの心身の状態を判定し、判定した心身の状態を表す付加画像を生成して新たな画像に合成することもできる。 Moreover, the control part 11 (1st synthetic | combination means) can produce | generate the additional image showing a user's activity information, and can synthesize | combine with the new image which produced | generated the said additional image.
Further, the control unit 11 (mental body determination unit, second synthesis unit) determines the state of the user's mind and body based on the user's activity information, generates an additional image representing the determined state of mind and body, and creates a new image. It can also be synthesized.

記憶部１２は、制御部１１により読み取り可能なプログラム及び当該プログラムの実行に用いる情報を記憶している。記憶部１２としては、例えばＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリ等の記憶媒体を用いることができる。 The storage unit 12 stores a program readable by the control unit 11 and information used for executing the program. As the storage unit 12, for example, a storage medium such as a ROM (Read Only Memory), an EEPROM (Electrically Erasable Programmable ROM), or a flash memory can be used.

記憶部１２は、撮影部１７により撮影された画像を記憶する。また、記憶部１２は、情報生成部１６により生成された活動情報を、活動情報を取得した時間又は活動情報を取得した際に撮影された画像に対応付けて記憶する。 The storage unit 12 stores the image captured by the imaging unit 17. In addition, the storage unit 12 stores the activity information generated by the information generation unit 16 in association with the time when the activity information is acquired or the image taken when the activity information is acquired.

表示部１３は、制御部１１の表示制御にしたがって、操作画面、撮影部１７により撮影された画像等を表示する。表示部１３としては、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイ等を用いることができる。 The display unit 13 displays an operation screen, an image photographed by the photographing unit 17 and the like according to display control of the control unit 11. As the display unit 13, a liquid crystal display, an organic electroluminescence display, or the like can be used.

操作部１４は、操作キー、表示部１３と一体に構成されたタッチパネル等を備え、これらの操作に応じた操作信号を生成して、制御部１１に出力する。 The operation unit 14 includes an operation key, a touch panel configured integrally with the display unit 13, etc., generates an operation signal corresponding to these operations, and outputs the operation signal to the control unit 11.

通信部１５は、無線通信又は有線通信により、ネットワーク４経由でサーバ３と通信する。通信部１５は、ＷｉＦｉ（登録商標）等により無線ＬＡＮ経由で通信できるものであってもよい。
通信部１５（通信手段）は、ネットワーク４上のサーバ３に、制御部１１により生成された新たな画像を送信することができる。 The communication unit 15 communicates with the server 3 via the network 4 by wireless communication or wired communication. The communication unit 15 may be capable of communicating via a wireless LAN using WiFi (registered trademark) or the like.
The communication unit 15 (communication means) can transmit a new image generated by the control unit 11 to the server 3 on the network 4.

情報生成部１６（情報生成手段）は、ユーザの活動情報を生成する。
情報生成部１６は、活動情報として、ユーザの生体情報、動き情報及び位置情報の少なくとも１つ以上を生成することができる。
ユーザの生体情報、動き情報及び位置情報を生成する場合、図２に示すように、情報生成部１６は、血流測定部１６１、体温測定部１６２、動き測定部１６３及び位置測定部１６４を備えることができる。 The information generating unit 16 (information generating means) generates user activity information.
The information generation part 16 can generate | occur | produce at least 1 or more of a user's biometric information, movement information, and position information as activity information.
When generating user's biological information, motion information, and position information, the information generation unit 16 includes a blood flow measurement unit 161, a body temperature measurement unit 162, a motion measurement unit 163, and a position measurement unit 164, as shown in FIG. be able to.

血流測定部１６１は、ユーザの脈拍及び血圧を測定する。測定方法としては特に限定されず、光学センサを用いて血管中の血液流量を検出し、脈拍及び血圧を算出する光電式を一般的に用いることができる。撮影装置１Ａの形態が腕時計型等であれば、圧電素子を用いて圧脈波を検出し、圧脈波から脈拍及び血圧を算出する圧電式を用いることもでき、撮影装置１Ａの形態に応じた測定方法を使用できる。
情報生成部１６は、血流測定部１６１により得られた脈拍及び血圧の測定値をそれぞれ生体情報とする。 The blood flow measurement unit 161 measures the user's pulse and blood pressure. The measurement method is not particularly limited, and a photoelectric method that detects the blood flow rate in the blood vessel using an optical sensor and calculates the pulse and blood pressure can be generally used. If the form of the photographing apparatus 1A is a wristwatch type or the like, a piezoelectric type that detects a pressure pulse wave using a piezoelectric element and calculates a pulse and a blood pressure from the pressure pulse wave can be used, depending on the form of the photographing apparatus 1A. Different measurement methods can be used.
The information generation unit 16 uses the measured values of the pulse and blood pressure obtained by the blood flow measurement unit 161 as biological information.

なお、撮影装置１Ａの形態が心臓付近に撮影装置１Ａを装着できるチェストバンド型等である場合、血流測定部１６１により、心拍を測定することもできる。
この場合、情報生成部１６は、血流測定部１６１により得られた心拍の測定値を生体情報の１つとする。 In addition, when the form of the imaging device 1A is a chest band type or the like in which the imaging device 1A can be mounted near the heart, the blood flow measuring unit 161 can also measure the heart rate.
In this case, the information generation unit 16 uses the measurement value of the heartbeat obtained by the blood flow measurement unit 161 as one piece of biological information.

体温測定部１６２は、ユーザの体温を測定する。
情報生成部１６は、体温測定部１６２により得られた体温の測定値を生体情報の１つとする。 The body temperature measurement unit 162 measures the user's body temperature.
The information generation unit 16 uses the measurement value of the body temperature obtained by the body temperature measurement unit 162 as one piece of biological information.

動き測定部１６３は、ユーザの３軸方向の加速度を検出する加速度センサ、角速度を検出するジャイロセンサ等を備え、これらセンサの検出値に基づいて、ユーザの速度、加速度、振動数、歩数、高さ位置等のユーザの動きを測定する。ユーザの動きを測定するのであれば、一定の高さ位置を維持したときのジャンプ時間を測定してもよい。
情報生成部１６は、動き測定部１６３により得られた速度、加速度、振動数、歩数及び高さ位置の測定値を、それぞれ動き情報とする。 The motion measurement unit 163 includes an acceleration sensor that detects acceleration in the three-axis direction of the user, a gyro sensor that detects angular velocity, and the like. Based on the detection values of these sensors, the user's speed, acceleration, vibration number, step count, Measure the user's movement such as the position. If the user's movement is measured, the jump time when a certain height position is maintained may be measured.
The information generation unit 16 uses the measured values of the speed, acceleration, vibration frequency, number of steps, and height position obtained by the motion measurement unit 163 as motion information.

位置測定部１６４は、ＧＰＳアンテナにより複数のＧＰＳ衛星から発信された電波を受信し、当該電波により撮影装置１Ａの現在位置を算出する。
情報生成部１６は、位置測定部１６４により得られた現在位置を位置情報とする。 The position measurement unit 164 receives radio waves transmitted from a plurality of GPS satellites by the GPS antenna, and calculates the current position of the photographing apparatus 1A using the radio waves.
The information generation unit 16 uses the current position obtained by the position measurement unit 164 as position information.

撮影部１７（撮影手段）は、イメージセンサ等を備えて撮影を行い、画像を生成する。
撮影部１７は、ユーザの身体に装着された状態で撮影し、ユーザの視線上に配置された場合は、ユーザの視点から撮影することができる。スポーツログの撮影メニューが選択された場合、撮影部１７は、制御部１１により切り替えられた第１撮影条件又は第２撮影条件により撮影を行う。 The photographing unit 17 (photographing means) includes an image sensor or the like and performs photographing to generate an image.
The image capturing unit 17 captures an image while being worn on the user's body. When the image capturing unit 17 is disposed on the user's line of sight, the image capturing unit 17 can capture an image from the user's viewpoint. When the sports log shooting menu is selected, the shooting unit 17 performs shooting according to the first shooting condition or the second shooting condition switched by the control unit 11.

撮影装置１Ｂは、メガネ型の撮影装置であり、情報生成部１６がリストバンドとして撮影装置１Ｂとは別に構成されていること以外は、撮影装置１Ｂは撮影装置１Ａと基本的な構成が同一であるので、同じ構成部には同じ符号を付して異なる動作のみを説明する。 The imaging apparatus 1B is a glasses-type imaging apparatus, and the imaging apparatus 1B has the same basic configuration as the imaging apparatus 1A except that the information generation unit 16 is configured as a wristband separately from the imaging apparatus 1B. Therefore, the same components are assigned the same reference numerals and only different operations will be described.

撮影装置１Ｂの制御部１１は、通信部１５を介してリストバンド型の情報生成部１６からユーザの活動情報を取得する。無線通信により活動情報を取得する場合は、Bluetooth（登録商標）、ZigBee（登録商標）、ＲＦＩＤ（Radio Frequency IDentifier）、ＮＦＣ（Near Field Communication）等の近距離型の無線通信を用いることができる。
また、撮影装置１Ｂの通信部１５は通信端末２と通信し、通信端末２を介してサーバ３に撮影した画像を送信する。 The control unit 11 of the photographing apparatus 1B acquires user activity information from the wristband type information generation unit 16 via the communication unit 15. When acquiring activity information by wireless communication, short-range wireless communication such as Bluetooth (registered trademark), ZigBee (registered trademark), RFID (Radio Frequency IDentifier), NFC (Near Field Communication), or the like can be used.
In addition, the communication unit 15 of the photographing apparatus 1 B communicates with the communication terminal 2 and transmits the photographed image to the server 3 via the communication terminal 2.

通信端末２は、無線通信又は有線通信により、ネットワーク４上のサーバ３と通信する。通信端末２は、例えばスマートフォン、携帯電話、ネットワーク４に接続されたＰＣ等である。通信端末２としては、ＷｉＦｉ（登録商標）等により無線ＬＡＮ経由でネットワーク４に接続するものであってもよい。 The communication terminal 2 communicates with the server 3 on the network 4 by wireless communication or wired communication. The communication terminal 2 is, for example, a smartphone, a mobile phone, a PC connected to the network 4 or the like. The communication terminal 2 may be connected to the network 4 via a wireless LAN using WiFi (registered trademark) or the like.

サーバ３は、ネットワーク４経由でＳＮＳ等のウェブサービスを提供する。ウェブサービスの具体例としては、ユーザのプロフィール、スケジュール、ブログ等のユーザ専用のページの提供、チャットルーム、掲示板等の複数のユーザ間で共有できるページの提供、ユーザによりアップロードされた画像、電子書籍、音楽ファイル等の記憶資源の提供等が挙げられる。 The server 3 provides a web service such as SNS via the network 4. Specific examples of web services include user-specific pages such as user profiles, schedules, and blogs, provision of pages that can be shared among multiple users such as chat rooms and bulletin boards, images uploaded by users, and electronic books And provision of storage resources such as music files.

上記撮影装置１Ａ及び１Ｂは、スポーツログの撮影メニューにおいて、長時間撮影して得られた動画を編集して、ユーザが活動状態にあるときの動画を生成し、サーバ３に送信することができる。以下、動画を生成する際の撮影装置１Ａの処理手順を説明するが、撮影装置１Ｂも撮影装置１Ａと同様の処理手順により動画を生成することができる。 The photographing apparatuses 1A and 1B can edit a moving image obtained by photographing for a long time in a sports log photographing menu, generate a moving image when the user is in an active state, and transmit the moving image to the server 3. . Hereinafter, although the processing procedure of the photographing apparatus 1A when generating a moving image will be described, the photographing apparatus 1B can also generate a moving image by the same processing procedure as that of the photographing apparatus 1A.

図３は、撮影時の撮影装置１Ａの処理手順を示している。
操作部１４を介してユーザにより撮影開始を指示する操作が行われると、撮影装置１Ａでは、図３に示すように制御部１１が撮影条件を第１撮影条件に初期設定して、撮影部１７による撮影を開始させる(ステップＳ１)。また、制御部１１は情報生成部１６による活動情報の生成を開始させる。 FIG. 3 shows a processing procedure of the photographing apparatus 1A during photographing.
When an operation for instructing the start of photographing is performed by the user via the operation unit 14, in the photographing apparatus 1 A, as illustrated in FIG. 3, the control unit 11 initially sets the photographing condition to the first photographing condition, and the photographing unit 17. The photographing by is started (step S1). In addition, the control unit 11 causes the information generation unit 16 to start generating activity information.

制御部１１は、情報生成部１６により生成された活動情報を取得する(ステップＳ２)。制御部１１は、ユーザの状態を適切に判断できるように、活動情報として、ユーザの生体情報、動き情報及び位置情報の少なくとも１つ以上を取得することが好ましい。
制御部１１は、取得した活動情報に基づいて、通常状態から活動状態へのユーザの状態の変化を検出する。通常状態とは、ユーザの心身の動きが少ない安静な状態をいい、活動状態は、走る、ジャンプする等、身体の動きが大きい、感情が高まっている、特定範囲内に位置する等、通常状態よりもユーザの心身が活発化した状態をいう。 The control unit 11 acquires the activity information generated by the information generation unit 16 (step S2). It is preferable that the control part 11 acquires at least 1 or more of a user's biometric information, movement information, and position information as activity information so that a user's state can be judged appropriately.
The control unit 11 detects a change in the state of the user from the normal state to the active state based on the acquired activity information. Normal state is a state where the user's physical and mental movements are low, and the active state is a normal state such as running, jumping, etc., large body movement, feelings of emotion, being located within a specific range, etc. Rather than the user's mind and body.

具体的には、制御部１１が、ユーザの心拍、脈拍、体温及び血圧の少なくとも１つ以上の測定値を、ユーザの生体情報として取得した場合、各測定値をそれぞれの閾値と比較することにより、ユーザの状態が通常状態から活動状態へと変化したことを検出する。
例えば、脈拍の測定値の場合、安静時の脈拍の正常範囲が６０〜１００回／分であれば、当該正常範囲の上限を閾値とすることができる。取得した脈拍が１１０回／分であり、脈拍の閾値が１００回／分である場合、取得した脈拍が閾値を超えるため、制御部１１はユーザの状態が活動状態に変化したことを検出する。 Specifically, when the control unit 11 acquires at least one measurement value of the user's heartbeat, pulse, body temperature, and blood pressure as the user's biological information, the control unit 11 compares each measurement value with each threshold value. , Detecting that the user's state has changed from the normal state to the active state.
For example, in the case of a measured value of a pulse, if the normal range of the pulse at rest is 60 to 100 times / minute, the upper limit of the normal range can be set as a threshold value. When the acquired pulse is 110 times / minute and the pulse threshold is 100 times / minute, the acquired pulse exceeds the threshold value, so the control unit 11 detects that the user's state has changed to the active state.

また、制御部１１が、ユーザの速度、加速度、振動数、歩数及び高さ位置の少なくとも１つ以上の測定値を、ユーザの動き情報として取得した場合、各測定値をそれぞれの閾値と比較することにより、ユーザが通常状態から活動状態へと変化したことを検出する。
例えば、速度の測定値の場合、通常状態にあるユーザの速度が１ｋｍ／ｈ以下であれば、上限の１ｋｍ／ｈを閾値とすることができる。取得したユーザの速度が１０ｋｍ／ｈである場合、取得した速度が閾値を超えるため、制御部１１はユーザの状態が活動状態に変化したことを検出する。 Moreover, when the control part 11 acquires at least 1 or more measured value of a user's speed, acceleration, vibration frequency, step count, and height position as a user's motion information, each measured value is compared with each threshold value. Thus, it is detected that the user has changed from the normal state to the active state.
For example, in the case of a speed measurement value, if the speed of a user in a normal state is 1 km / h or less, the upper limit of 1 km / h can be set as a threshold value. When the acquired speed of the user is 10 km / h, the acquired speed exceeds the threshold value, so the control unit 11 detects that the user's state has changed to the active state.

また、制御部１１が、ユーザの現在位置をユーザの位置情報として取得し、当該現在位置が特定範囲内にある場合、ユーザの状態が通常状態から活動状態へと変化したことを検出する。特定範囲は、ユーザにより指定された範囲であってもよいし、サーバ３により指定された範囲であってもよい。
例えば、観光名所、マラソン時のゴール等の地点から半径３ｋｍ内が特定範囲であり、現在位置がこの特定範囲内にある場合、制御部１１はユーザの状態が活動状態へと変化したことを検出する。 Moreover, the control part 11 acquires a user's present position as a user's position information, and when the said present position exists in a specific range, it detects that the user's state changed from the normal state to the active state. The specific range may be a range specified by the user or a range specified by the server 3.
For example, when a specific area is within a radius of 3 km from a point such as a tourist attraction or a goal during a marathon, and the current position is within this specific range, the control unit 11 detects that the user's state has changed to an active state. To do.

通常状態から活動状態へのユーザの状態の変化を検出しなかった場合(ステップＳ３；Ｎ)、制御部１１は撮影条件の切り替えを行わず、撮影部１７は第１撮影条件による撮影を継続する。ユーザにより撮影終了の操作が行われていなければ(ステップＳ９；Ｎ)、ステップＳ２の処理に戻る。 When the change in the user state from the normal state to the active state is not detected (step S3; N), the control unit 11 does not switch the shooting condition, and the shooting unit 17 continues shooting according to the first shooting condition. . If the user has not performed the photographing end operation (step S9; N), the process returns to step S2.

一方、通常状態から活動状態へのユーザの状態の変化を検出した場合(ステップＳ３；Ｙ)、制御部１１は撮影部１７の撮影条件を、第１撮影条件から第２撮影条件に切り替える(ステップＳ４)。
第２撮影条件は、第１撮影条件に比較して、ズームの設定が望遠側であること、フレームレートが高いこと、画像の解像度が高いこと及び画像のサイズが大きいことの少なくとも１つ以上の条件を満たす。例えば、第１撮影条件が、ズーム：広角、フレームレート：３０ｆｐｓ、画像のサイズ：３２０×２４０画素である場合、第２撮影条件は、ズーム：望遠、フレームレート：１００ｆｐｓ、画像のサイズ：６４０×４８０画素とすることができる。
撮影部１７は、第２撮影条件により撮影を開始する。制御部１１は、第２撮影条件により撮影された各フレームの画像に、第２撮影条件で撮影されたことを示すタグ情報を付加する。 On the other hand, when a change in the user state from the normal state to the active state is detected (step S3; Y), the control unit 11 switches the shooting condition of the shooting unit 17 from the first shooting condition to the second shooting condition (step S3). S4).
The second shooting condition includes at least one of a zoom setting on the telephoto side, a high frame rate, a high image resolution, and a large image size compared to the first shooting condition. Meet the conditions. For example, when the first shooting conditions are zoom: wide angle, frame rate: 30 fps, and image size: 320 × 240 pixels, the second shooting conditions are zoom: telephoto, frame rate: 100 fps, and image size: 640 ×. It can be 480 pixels.
The photographing unit 17 starts photographing based on the second photographing condition. The control unit 11 adds tag information indicating that the image is captured under the second imaging condition to each frame image captured under the second imaging condition.

第２撮影条件に切り替えた後、制御部１１は、一定時間ごとに情報生成部１６から活動情報を取得し(ステップＳ５)、活動状態から通常状態へのユーザの状態の変化を検出する(ステップＳ６)。活動情報が生体情報又は動き情報である場合、前述の場合とは逆に、生体情報又は動き情報中の各測定値が閾値以下である場合に、制御部１１は活動状態から通常状態へ変化したことを検出する。活動情報が位置情報である場合、位置情報が示す現在位置が特定範囲外である場合に、制御部１１は活動状態から通常状態へ変化したことを検出する。 After switching to the second shooting condition, the control unit 11 acquires activity information from the information generation unit 16 at regular time intervals (step S5), and detects a change in the user state from the active state to the normal state (step S5). S6). When the activity information is biological information or motion information, contrary to the case described above, the control unit 11 changes from the active state to the normal state when each measurement value in the biological information or motion information is equal to or less than a threshold value. Detect that. When the activity information is position information, when the current position indicated by the position information is outside a specific range, the control unit 11 detects that the activity state has changed to the normal state.

活動状態から通常状態へのユーザの状態の変化を検出しなかった場合(ステップＳ６；Ｎ)、ユーザによる撮影終了の操作が行われていなければ(ステップＳ８；Ｎ)、ステップＳ５の処理に戻り、操作が行われた場合は(ステップＳ８；Ｙ)、本処理を終了する。 If no change in the user's state from the active state to the normal state is detected (step S6; N), if the user has not performed a photographing end operation (step S8; N), the process returns to step S5. If the operation has been performed (step S8; Y), this process ends.

一方、活動状態から通常状態へのユーザの状態の変化を検出した場合(ステップＳ６；Ｙ)、制御部１１は撮影部１７の撮影条件を、第２撮影条件から第１撮影条件に切り替える(ステップＳ７)。撮影部１７は、第１撮影条件により撮影を開始する。
その後、ユーザにより撮影終了の操作が行われていなければ(ステップＳ９；Ｎ)、ステップＳ２に戻る。撮影終了の操作が行われた場合は(ステップＳ９；Ｙ)、本処理を終了する。 On the other hand, when a change in the user state from the active state to the normal state is detected (step S6; Y), the control unit 11 switches the photographing condition of the photographing unit 17 from the second photographing condition to the first photographing condition (step S6). S7). The photographing unit 17 starts photographing based on the first photographing condition.
Thereafter, if the user does not perform an operation for ending photographing (step S9; N), the process returns to step S2. If the photographing end operation has been performed (step S9; Y), this process ends.

以上の処理手順により、撮影装置１Ａは、ユーザの状態が通常状態である間は第１撮影条件で撮影し、ユーザの状態が活動状態である間は第２撮影条件で撮影して、複数のフレームの画像からなる１つの動画を生成する。
撮影装置１Ａは、この１つの動画を編集して、ユーザが活動状態にあるときの動画を新たに生成する。 According to the above processing procedure, the imaging apparatus 1A captures images under the first imaging condition while the user's state is the normal state, and captures images under the second imaging condition while the user's state is the active state. One moving image composed of frame images is generated.
The photographing apparatus 1A edits this one moving image and newly generates a moving image when the user is in an active state.

図４は、編集時の撮影装置１Ａの処理手順を示している。
撮影装置１Ａでは、図４に示すように、制御部１１が、第１撮影条件及び第２撮影条件により撮影されて記憶部１２に保存された画像のなかから、第２撮影条件で撮影された画像を抽出して、新たな画像を生成する(ステップＳ１１)。上述のように、制御部１１は第２撮影条件で撮影された画像にタグ情報を付加しているので、当該タグ情報が付加された画像を抽出すればよい。 FIG. 4 shows a processing procedure of the photographing apparatus 1A during editing.
In the photographing apparatus 1A, as shown in FIG. 4, the control unit 11 is photographed under the second photographing condition from the images photographed under the first photographing condition and the second photographing condition and stored in the storage unit 12. An image is extracted and a new image is generated (step S11). As described above, the control unit 11 adds the tag information to the image shot under the second shooting condition, and therefore, the image added with the tag information may be extracted.

次に、制御部１１は、新たに生成した画像の撮影時間中に生成され、保存された活動情報を記憶部１２から読み出して、取得する(ステップＳ１２)。
制御部１１は、取得した活動情報を表す付加画像を生成して、新たに生成した画像に合成する(ステップＳ１３)。
活動情報を表す付加画像としては、活動情報が生体情報であれば、脈拍、体温等を表す数値、記号等の画像が挙げられる。また、活動情報が動き情報であれば、速度、振動数、歩数等を表す数値、ゲージの図形等が挙げられる。活動情報が位置情報であれば、現在位置の経度緯度を表す文字、現在位置を含む地図等の画像が挙げられる。 Next, the control unit 11 reads out and acquires the activity information generated and stored during the photographing time of the newly generated image from the storage unit 12 (step S12).
The control part 11 produces | generates the additional image showing the acquired activity information, and synthesize | combines it with the newly produced | generated image (step S13).
As the additional image representing the activity information, if the activity information is biological information, an image such as a numerical value or a symbol representing a pulse, a body temperature or the like can be cited. In addition, if the activity information is movement information, numerical values representing speed, vibration number, number of steps, etc., gauge figures, etc. may be mentioned. If the activity information is position information, examples include characters representing the longitude and latitude of the current position, and images such as a map including the current position.

また、制御部１１は、取得した活動情報に基づいて、ユーザの心身の状態を判定する(ステップＳ１４)。
例えば、制御部１１は、脈拍の測定値からユーザの心身の状態を表す指標となるユーザのストレス度を求めることができる。具体的には、制御部１１は、一定時間内に得られた脈拍の測定値から脈波形を求めて高速フーリエ変換することにより脈拍間隔（Ｒ−Ｒインターバル）を算出し、一定時間内における脈拍間隔のゆらぎをユーザのストレス度として判定することができる。なお、心身の状態を判定できるのであれば、この判定方法に限定されない。特開平６−５４８１３号公報に開示されているように、一定時間ごとの脈拍の測定値を４次元数空間に展開することにより、心身の状態を表すアトラクターを作成し、元気な時、疲労時等の心身の状態ごとにあらかじめ特定されているアトラクターと照合することにより、心身の状態を判定することもできる。４次元数空間への展開とは、ある測定値を第１の軸Ｘ、当該測定値から１０、２０及び３０個目の測定値をそれぞれ第２の軸Ｙ、第３の軸Ｚ、第４の軸Ｗとして４次元のベクトルを形成する操作を、測定値を１つずつずらしながら実行し、多数のベクトルを４次元空間に展開することをいう。 Moreover, the control part 11 determines a user's mental and physical state based on the acquired activity information (step S14).
For example, the control part 11 can obtain | require the user's stress level used as the parameter | index showing a user's mind and body state from the measured value of a pulse. Specifically, the control unit 11 calculates a pulse interval (RR interval) by obtaining a pulse waveform from the measured pulse value obtained within a certain time and performing fast Fourier transform, and the pulse within the certain time. The fluctuation of the interval can be determined as the user's stress level. Note that the determination method is not limited as long as the state of mind and body can be determined. As disclosed in Japanese Patent Laid-Open No. 6-54813, an attractor representing the state of mind and body is created by expanding the measured value of the pulse at regular intervals in a four-dimensional number space. The state of mind and body can be determined by collating with an attractor specified in advance for each state of mind and body. Expansion into a four-dimensional number space means that a certain measurement value is the first axis X, and the tenth, twentieth and thirtyth measurement values from the measurement value are the second axis Y, the third axis Z, and the fourth, respectively. The operation of forming a four-dimensional vector as the axis W of the image is executed while shifting the measured values one by one to develop a large number of vectors in a four-dimensional space.

制御部１１は、判定した心身の状態を表す付加画像を生成し、新たに生成した画像に合成する(ステップＳ１５)。
心身の状態を表す付加画像としては、例えば笑顔、泣き顔等のように心身の状態に応じたユーザの顔の表情を表す画像、元気な姿、疲労した姿等を表すアバター画像、ストレス度を表すグラフ、数値、記号等の図形等が挙げられる。 The control part 11 produces | generates the additional image showing the determined mind-body state, and synthesize | combines it with the newly produced | generated image (step S15).
As an additional image representing the state of mind and body, for example, an image representing the facial expression of the user according to the state of mind and body, such as a smile, a crying face, an avatar image representing a healthy figure, a tired figure, etc., and a degree of stress Examples include graphics such as graphs, numerical values, and symbols.

図５は、付加画像が合成された画像の例を示している。
図５に示すように、ユーザの視点から撮影した画像Ｇの左下に、ユーザの状態を表すアバター画像ｇ１が付加画像として合成されている。アバター画像ｇ１は、ユーザの脈拍の測定値から判定されたストレス度が高いため、疲労したユーザの状態を表している。アバター画像ｇ１の下には、ユーザの生体情報として画像Ｇの撮影時に取得した脈拍の測定値を表す付加画像ｇ２が合成されている。 FIG. 5 shows an example of an image obtained by combining the additional images.
As shown in FIG. 5, an avatar image g 1 representing the user's state is synthesized as an additional image at the lower left of the image G taken from the user's viewpoint. The avatar image g 1 represents a fatigued user state because the degree of stress determined from the measured value of the user's pulse is high. Under the avatar image g1, an additional image g2 representing the measured value of the pulse acquired when the image G is captured as the user's biological information is synthesized.

撮影装置１Ａは、付加画像を合成した画像をサーバ３へ送信し(ステップＳ１６)、本処理を終了する。
上記処理手順により、ユーザが活動状態にあるときの動画を自動的に編集してサーバ３へ送信することができるが、ユーザが通常状態にあるときの動画を自動的に編集して送信することもできる。この場合、第１撮影条件及び第２撮影条件により撮影されて記憶部１２に保存された画像のなかから、第１撮影条件により撮影された画像を抽出して、抽出した画像からなる新たな画像を生成すればよい。 The photographing apparatus 1A transmits an image obtained by synthesizing the additional image to the server 3 (Step S16), and ends this process.
According to the above processing procedure, the moving image when the user is in the active state can be automatically edited and transmitted to the server 3, but the moving image when the user is in the normal state is automatically edited and transmitted. You can also. In this case, an image shot under the first shooting condition is extracted from the images shot under the first shooting condition and the second shooting condition and stored in the storage unit 12, and a new image composed of the extracted image is extracted. Should be generated.

以上のように、本実施の形態の撮影装置１Ａ及び１Ｂは、撮影部１７と、ユーザの活動情報を取得し、当該活動情報に基づいてユーザの状態の変化を検出し、検出されたユーザの状態の変化に応じて、撮影部１７の撮影条件を第１撮影条件又は第１撮影条件と異なる第２撮影条件に切り替える制御部１１と、を備える。さらに、制御部１１は、第１撮影条件及び第２撮影条件により撮影された画像のなかから、第１撮影条件により撮影された画像又は第２撮影条件により撮影された画像を抽出して、新たな画像を生成する。 As described above, the imaging apparatuses 1A and 1B according to the present embodiment acquire the activity information of the imaging unit 17 and the user, detect the change in the user's state based on the activity information, and detect the detected user's activity. And a control unit 11 that switches the imaging condition of the imaging unit 17 to the first imaging condition or a second imaging condition different from the first imaging condition in accordance with a change in state. Further, the control unit 11 extracts an image photographed under the first photographing condition or an image photographed under the second photographing condition from the images photographed under the first photographing condition and the second photographing condition, and newly A simple image.

上記撮影装置１Ａ及び１Ｂによれば、撮影した複数の画像のなかから、ユーザの状態の変化に応じて第１撮影条件で撮影した画像と第２撮影条件で撮影した画像とを、別々に提供することができる。ユーザが撮影条件を切り替える、異なる撮影条件で撮影した画像のなかから、ある撮影条件で撮影した画像をユーザがＰＣ等の情報処理装置を使用して切り出す等の作業がなくとも、ユーザの状態に応じて撮影し、編集した画像を提供することができる。 According to the photographing apparatuses 1A and 1B, an image photographed under the first photographing condition and an image photographed under the second photographing condition are separately provided from a plurality of photographed images according to a change in the state of the user. can do. Even if the user does not perform an operation such as cutting out an image shot under a certain shooting condition by using an information processing device such as a PC from among images shot under different shooting conditions, the user's state is changed. It is possible to provide a photographed and edited image accordingly.

上記第２撮影条件は、第１撮影条件に比較して、ズームが望遠側であること、フレームレートが高いこと、画像の解像度が高いこと及び画像のサイズが大きいことの少なくとも１つ以上の条件を満たす。 The second shooting condition is at least one condition that the zoom is on the telephoto side, the frame rate is high, the image resolution is high, and the image size is large compared to the first shooting condition. Meet.

上記制御部１１は、活動情報として、ユーザの生体情報、動き情報及び位置情報の少なくとも１つ以上を取得することにより、ユーザの状態を適切に判定することができる。 The said control part 11 can determine a user's state appropriately by acquiring at least 1 or more of a user's biometric information, movement information, and position information as activity information.

また、上記制御部１１は、ユーザの心拍、脈拍、体温及び血圧の少なくとも１つ以上の測定値を、ユーザの生体情報として取得し、当該測定値を閾値と比較することにより通常状態から活動状態へのユーザの状態の変化を検出し、活動状態への変化が検出されると、撮影部１７の撮影条件を、第１撮影条件から第２撮影条件に切り替える。また、上記制御部１１は、第２撮影条件により撮影された画像を抽出して、新たな画像を生成する。 Further, the control unit 11 acquires at least one measurement value of the user's heartbeat, pulse, body temperature, and blood pressure as the user's biological information, and compares the measurement value with a threshold value to change from the normal state to the active state. When a change in the user's state is detected and a change to the active state is detected, the shooting condition of the shooting unit 17 is switched from the first shooting condition to the second shooting condition. Further, the control unit 11 extracts an image photographed under the second photographing condition and generates a new image.

また、上記制御部１１は、ユーザの速度、加速度、振動数、歩数及び高さ位置の少なくとも１つ以上の測定値を、ユーザの動き情報として取得し、当該測定値を閾値と比較することにより通常状態から活動状態へのユーザの状態の変化を検出し、活動状態への変化が検出されると、撮影部１７の撮影条件を、第１撮影条件から第２撮影条件に切り替える。また、制御部１１は、第２撮影条件により撮影された画像を抽出して、新たな画像を生成する。 Further, the control unit 11 acquires at least one measurement value of the user's speed, acceleration, vibration frequency, number of steps, and height position as user movement information, and compares the measurement value with a threshold value. When a change in the state of the user from the normal state to the active state is detected, and the change to the active state is detected, the shooting condition of the shooting unit 17 is switched from the first shooting condition to the second shooting condition. Further, the control unit 11 extracts an image photographed under the second photographing condition, and generates a new image.

また、上記制御部１１は、ユーザの現在位置をユーザの位置情報として取得し、ユーザの現在位置が特定範囲内にある場合、通常状態から活動状態へのユーザの状態の変化を検出し、活動状態への変化が検出されると、撮影部１７の撮影条件を、第１撮影条件から第２撮影条件に切り替える。また、制御部１１は、第２撮影条件により撮影された画像を抽出して、新たな画像を生成する。 Moreover, the said control part 11 acquires a user's present position as a user's position information, and when a user's present position is in a specific range, it detects the change of the user's state from a normal state to an active state, When the change to the state is detected, the photographing condition of the photographing unit 17 is switched from the first photographing condition to the second photographing condition. Further, the control unit 11 extracts an image photographed under the second photographing condition, and generates a new image.

ユーザが活動状態にあるときの画像を、上記第２撮影条件で撮影して生成することができるため、ユーザが活動中の画像を、狭画角で歪みの無いダイナミックな画像、細やかな動きを表す高画質な画像として提供することができる。画像の再生時間、データ量を減らすこともでき、ＳＮＳ、動画共有サイト等への投稿に適した画像を提供することができる。 Since an image when the user is in an active state can be shot and generated under the second shooting conditions, a dynamic image without distortion and a detailed movement of the user's active image can be displayed. It can be provided as a high-quality image. It is possible to reduce the image reproduction time and the data amount, and to provide an image suitable for posting to an SNS, a moving image sharing site, or the like.

上記制御部１１は、ユーザの活動情報を表す付加画像を生成し、当該付加画像を新たな画像に合成する。
画像の観察者は、付加画像により撮影時のユーザの活動状態を容易に把握することができる。また、付加画像を簡易な活動情報として画像とともに保存することができるため、体調管理、スポーツ時の記録等として利用することができる。 The said control part 11 produces | generates the additional image showing a user's activity information, and synthesize | combines the said additional image with a new image.
The observer of the image can easily grasp the user's activity state at the time of shooting by the additional image. Further, since the additional image can be stored together with the image as simple activity information, it can be used for physical condition management, sports recording, and the like.

上記制御部１１は、ユーザの活動情報に基づいて、ユーザの心身の状態を判定し、判定された心身の状態を表す付加画像を生成し、当該付加画像を新たな画像に合成する。
画像の観察者は、付加画像により撮影時のユーザの心身の状態を容易に把握することができる。 The control unit 11 determines the state of mind and body of the user based on the activity information of the user, generates an additional image representing the determined state of mind and body, and synthesizes the additional image with a new image.
The observer of the image can easily grasp the state of mind and body of the user at the time of shooting using the additional image.

撮影装置１Ａ及び１Ｂは、ネットワーク４上のサーバ３に、上記制御部１１により生成された新たな画像を送信する通信部１５を備える。
編集して得られた新たな画像をユーザがサーバ３へアップロードする手間を省くことができる。また、ユーザの活動中に撮影した画像を、リアルタイムにＳＮＳ、動画共有サイト等へ自動的に投稿することができる。 The photographing apparatuses 1A and 1B include a communication unit 15 that transmits a new image generated by the control unit 11 to the server 3 on the network 4.
It is possible to save the user from having to upload a new image obtained by editing to the server 3. In addition, images taken during user activities can be automatically posted to an SNS, a video sharing site, and the like in real time.

撮影装置１Ａ及び１Ｂは、ユーザの活動情報を生成する情報生成部１６を備え、上記制御部１１は、情報生成部１６により生成された活動情報を取得することができる。
また、上記画像は、動画であることができる。 The imaging devices 1A and 1B include an information generation unit 16 that generates user activity information, and the control unit 11 can acquire the activity information generated by the information generation unit 16.
The image can be a moving image.

なお、上記実施の形態では、撮影装置１Ａ及び１Ｂが動画を撮影した例を示したが、静止画を撮影し、撮影された複数の静止画の画像のなかから第１撮影条件により撮影された画像又は第２撮影条件により撮影された画像を抽出して、新たな画像を生成してもよい。 In the above-described embodiment, an example in which the photographing apparatuses 1A and 1B photograph a moving image is shown. However, a still image is photographed and is photographed from the plurality of photographed still images according to the first photographing condition. A new image may be generated by extracting an image or an image shot under the second shooting condition.

本発明のいくつかの実施の形態を説明したが、本発明の範囲は上記実施の形態に限定されず、特許請求の範囲に記載した発明の範囲と当該範囲と均等の範囲を含む。
以下、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。下記付記における各請求項の番号は、この出願の願書に最初に添付した特許請求の範囲のとおりである。 Although several embodiments of the present invention have been described, the scope of the present invention is not limited to the above-described embodiments, and includes the scope of the invention described in the claims and a scope equivalent to the scope.
Hereinafter, the invention described in the scope of claims attached to the application of this application will be added. The number of each claim in the following supplementary notes is as in the scope of the claims initially attached to the application of this application.

＜付記＞
〔請求項１〕
撮影手段と、
ユーザの活動情報を取得し、当該活動情報に基づいてユーザの状態の変化を検出する状態検出手段と、
前記状態検出手段により検出されたユーザの状態の変化に応じて、前記撮影手段の撮影条件を第１撮影条件又は前記第１撮影条件と異なる第２撮影条件に切り替える撮影制御手段と、
前記第１撮影条件及び前記第２撮影条件により撮影された画像のなかから、前記第１撮影条件により撮影された画像又は前記第２撮影条件により撮影された画像を抽出して、新たな画像を生成する編集手段と、
を備えることを特徴とする撮影装置。
〔請求項２〕
前記第２撮影条件は、前記第１撮影条件に比較して、ズームの設定が望遠側であること、フレームレートが高いこと、画像の解像度が高いこと及び画像のサイズが大きいことの少なくとも１つ以上の条件を満たすことを特徴とする請求項１に記載の撮影装置。
〔請求項３〕
前記状態検出手段は、前記活動情報として、前記ユーザの生体情報、動き情報及び位置情報の少なくとも１つ以上を取得することを特徴とする請求項１又は２に記載の撮影装置。
〔請求項４〕
前記状態検出手段は、前記ユーザの心拍、脈拍、体温及び血圧の少なくとも１つ以上の測定値を、前記ユーザの生体情報として取得し、前記測定値を閾値と比較することにより通常状態から活動状態への前記ユーザの状態の変化を検出し、
前記撮影制御手段は、前記状態検出手段により前記活動状態への変化が検出されると、前記撮影手段の撮影条件を、前記第１撮影条件から前記第２撮影条件に切り替え、
前記編集手段は、前記第２撮影条件により撮影された画像を抽出して、新たな画像を生成することを特徴とする請求項３に記載の撮影装置。
〔請求項５〕
前記状態検出手段は、前記ユーザの速度、加速度、振動数、歩数及び高さ位置の少なくとも１つ以上の測定値を、前記ユーザの動き情報として取得し、前記測定値を閾値と比較することにより通常状態から活動状態への前記ユーザの状態の変化を検出し、
前記撮影制御手段は、前記状態検出手段により前記活動状態への変化が検出されると、前記撮影手段の撮影条件を、前記第１撮影条件から前記第２撮影条件に切り替え、
前記編集手段は、前記第２撮影条件により撮影された画像を抽出して、新たな画像を生成することを特徴とする請求項３又は４に記載の撮影装置。
〔請求項６〕
前記状態検出手段は、前記ユーザの現在位置を前記ユーザの位置情報として取得し、前記ユーザの現在位置が特定範囲内にある場合、通常状態から活動状態への前記ユーザの状態の変化を検出し、
前記撮影制御手段は、前記状態検出手段により前記活動状態への変化が検出されると、前記撮影手段の撮影条件を、前記第１撮影条件から前記第２撮影条件に切り替え、
前記編集手段は、前記第２撮影条件により撮影された画像を抽出して、新たな画像を生成することを特徴とする請求項３〜５のいずれか一項に記載の撮影装置。
〔請求項７〕
前記ユーザの活動情報を表す付加画像を生成し、当該付加画像を前記編集手段により生成された新たな画像に合成する第１合成手段を備えることを特徴とする請求項１〜６のいずれか一項に記載の撮影装置。
〔請求項８〕
前記ユーザの活動情報に基づいて、ユーザの心身の状態を判定する心身判定手段と、
前記心身判定手段により判定された心身の状態を表す付加画像を生成し、当該付加画像を前記編集手段により生成された新たな画像に合成する第２合成手段を備えることを特徴とする請求項１〜７のいずれか一項に記載の撮影装置。
〔請求項９〕
ネットワーク上のサーバに、前記編集手段により生成された新たな画像を送信する通信手段を備えることを特徴とする請求項１〜８のいずれか一項に記載の撮影装置。
〔請求項１０〕
前記ユーザの活動情報を生成する情報生成手段を備え、
前記状態検出手段は、前記情報生成手段により生成された活動情報を取得することを特徴とする請求項１〜９のいずれか一項に記載の撮影装置。
〔請求項１１〕
前記画像は、動画であることを特徴とする請求項１〜１０のいずれか一項に記載の撮影装置。
〔請求項１２〕
撮影工程と、
ユーザの活動情報を取得し、当該活動情報に基づいてユーザの状態の変化を検出する状態検出工程と、
前記状態検出工程において検出されたユーザの状態の変化に応じて、前記撮影工程における撮影条件を第１撮影条件又は前記第１撮影条件と異なる第２撮影条件に切り替える撮影制御工程と、
前記第１撮影条件及び前記第２撮影条件により撮影された画像のなかから、前記第１撮影条件により撮影された画像又は前記第２撮影条件により撮影された画像を抽出して、新たな画像を生成する編集工程と、
を含むことを特徴とする画像生成方法。
〔請求項１３〕
撮影装置に用いられるコンピュータを、
ユーザの活動情報を取得し、当該活動情報に基づいてユーザの状態の変化を検出する状態検出手段、
前記状態検出手段により検出されたユーザの状態の変化に応じて、前記撮影装置の撮影条件を第１撮影条件又は前記第１撮影条件と異なる第２撮影条件に切り替える撮影制御手段、
前記第１撮影条件及び前記第２撮影条件により撮影された画像のなかから、前記第１撮影条件により撮影された画像又は前記第２撮影条件により撮影された画像を抽出して、新たな画像を生成する編集手段、
として機能させるためのプログラム。 <Appendix>
[Claim 1]
Photographing means;
State detection means for acquiring user activity information and detecting a change in the user state based on the activity information;
Shooting control means for switching the shooting condition of the shooting means to a first shooting condition or a second shooting condition different from the first shooting condition in accordance with a change in the state of the user detected by the state detection means;
An image photographed under the first photographing condition or an image photographed under the second photographing condition is extracted from the images photographed according to the first photographing condition and the second photographing condition, and a new image is obtained. Editing means to generate,
An imaging apparatus comprising:
[Claim 2]
The second shooting condition is at least one of a zoom setting on the telephoto side, a high frame rate, a high image resolution, and a large image size compared to the first shooting condition. The imaging apparatus according to claim 1, wherein the above condition is satisfied.
[Claim 3]
The imaging apparatus according to claim 1, wherein the state detection unit acquires at least one or more of the user's biological information, movement information, and position information as the activity information.
[Claim 4]
The state detection means acquires at least one measurement value of the user's heartbeat, pulse, body temperature, and blood pressure as biological information of the user, and compares the measurement value with a threshold value to change from the normal state to the active state. Detecting a change in the state of the user to
The photographing control means switches the photographing condition of the photographing means from the first photographing condition to the second photographing condition when a change to the active state is detected by the state detecting means,
4. The photographing apparatus according to claim 3, wherein the editing unit extracts an image photographed under the second photographing condition and generates a new image.
[Claim 5]
The state detection means acquires at least one measurement value of the user's speed, acceleration, vibration frequency, number of steps, and height position as the movement information of the user, and compares the measurement value with a threshold value. Detecting a change in the user's state from a normal state to an active state;
The photographing control means switches the photographing condition of the photographing means from the first photographing condition to the second photographing condition when a change to the active state is detected by the state detecting means,
5. The photographing apparatus according to claim 3, wherein the editing unit extracts an image photographed under the second photographing condition to generate a new image.
[Claim 6]
The state detection means acquires the current position of the user as the position information of the user, and detects a change in the state of the user from a normal state to an active state when the current position of the user is within a specific range. ,
The photographing control means switches the photographing condition of the photographing means from the first photographing condition to the second photographing condition when a change to the active state is detected by the state detecting means,
The photographing apparatus according to claim 3, wherein the editing unit extracts an image photographed under the second photographing condition to generate a new image.
[Claim 7]
7. The apparatus according to claim 1, further comprising: a first combining unit that generates an additional image representing the activity information of the user and combines the additional image with a new image generated by the editing unit. The imaging device according to item.
[Claim 8]
A mind-body determination means for determining a state of mind of the user based on the activity information of the user;
2. The image processing apparatus according to claim 1, further comprising: a second synthesizing unit that generates an additional image representing a state of mind and body determined by the psychosomatic determination unit and combines the additional image with a new image generated by the editing unit. The imaging device according to any one of? 7.
[Claim 9]
The photographing apparatus according to claim 1, further comprising a communication unit that transmits a new image generated by the editing unit to a server on a network.
[Claim 10]
Comprising information generating means for generating the user activity information;
The imaging apparatus according to claim 1, wherein the state detection unit acquires the activity information generated by the information generation unit.
[Claim 11]
The imaging device according to claim 1, wherein the image is a moving image.
[Claim 12]
Shooting process,
A state detection step of acquiring user activity information and detecting a change in the state of the user based on the activity information;
A shooting control step of switching the shooting condition in the shooting step to the first shooting condition or a second shooting condition different from the first shooting condition in accordance with a change in the state of the user detected in the state detection step;
An image photographed under the first photographing condition or an image photographed under the second photographing condition is extracted from the images photographed according to the first photographing condition and the second photographing condition, and a new image is obtained. Editing process to generate,
An image generation method comprising:
[Claim 13]
The computer used for the imaging device
State detection means for acquiring user activity information and detecting a change in the user state based on the activity information;
An imaging control unit that switches the imaging condition of the imaging device to a first imaging condition or a second imaging condition different from the first imaging condition in accordance with a change in the state of the user detected by the state detection unit,
An image photographed under the first photographing condition or an image photographed under the second photographing condition is extracted from the images photographed according to the first photographing condition and the second photographing condition, and a new image is obtained. Editing means to generate,
Program to function as.

１Ａ、１Ｂ撮影装置
１１制御部
１２記憶部
１５通信部
１６情報生成部
１６１血流測定部
１６２体温測定部
１６３動き測定部
１６４位置測定部
１７撮影部
２通信端末
３サーバ
４ネットワーク 1A, 1B Imaging device 11 Control unit 12 Storage unit 15 Communication unit 16 Information generation unit 161 Blood flow measurement unit 162 Body temperature measurement unit 163 Motion measurement unit 164 Position measurement unit 17 Imaging unit 2 Communication terminal 3 Server 4 Network

Claims

Photographing means;
State detection means for acquiring user activity information and detecting a change in the user state based on the activity information;
Photographing control means for switching the photographing condition of the photographing means between the first photographing condition and a second photographing condition different from the first photographing condition in accordance with a change in the state of the user detected by the state detecting means; ,
Editing means for extracting, from the images photographed by the photographing means, an image photographed under the first photographing condition or an image photographed under the second photographing condition, and generating a new image. ,
The editing unit generates an additional image representing the activity information of the user and generates the new image by combining the additional image with the extracted image;
An imaging apparatus characterized by that.

Photographing means;
State detection means for acquiring user activity information and detecting a change in the user state based on the activity information;
Photographing control means for switching the photographing condition of the photographing means between the first photographing condition and a second photographing condition different from the first photographing condition in accordance with a change in the state of the user detected by the state detecting means; ,
An editing unit that extracts an image shot under the first shooting condition or an image shot under the second shooting condition from the images shot by the shooting unit, and generates a new image;
Psychosomatic determination means for determining the state of mind and body of the user based on the activity information of the user,
The editing means generates an additional image representing the state of mind and body determined by the mind and body determination means, and generates the new image by combining the additional image with the extracted image;
An imaging apparatus characterized by that.

The imaging apparatus according to claim 1, wherein the state detection unit acquires at least one or more of the user's biological information, movement information, and position information as the activity information.

The state detection means acquires at least one measurement value of the user's heartbeat, pulse, body temperature, and blood pressure as biological information of the user, and compares the measurement value with a threshold value to change from the normal state to the active state. Detecting a change in the state of the user to
The photographing control means switches the photographing condition of the photographing means from the first photographing condition to the second photographing condition when a change to the active state is detected by the state detecting means,
4. The photographing apparatus according to claim 3 , wherein the editing unit extracts an image photographed under the second photographing condition and generates a new image.

The state detection means acquires at least one measurement value of the user's speed, acceleration, vibration frequency, number of steps, and height position as the movement information of the user, and compares the measurement value with a threshold value. Detecting a change in the user's state from a normal state to an active state;
The photographing control means switches the photographing condition of the photographing means from the first photographing condition to the second photographing condition when a change to the active state is detected by the state detecting means,
It said editing means, the second by extracting an image captured by the imaging condition, the imaging apparatus according to claim 3 or 4, characterized in that to generate a new image.

Comprising information generating means for generating the user activity information;
The photographing apparatus according to claim 1, wherein the state detection unit acquires the activity information generated by the information generation unit.

The second shooting condition is at least one of a zoom setting on the telephoto side, a high frame rate, a high image resolution, and a large image size compared to the first shooting condition. The imaging apparatus according to claim 1, wherein the above condition is satisfied.

The image capturing apparatus according to claim 1, wherein the image is a moving image.

The editing unit extracts an image shot under the second shooting condition from the images shot by the shooting unit, edits the extracted image shot under the second shooting condition, and creates a new one. The imaging device according to claim 1, wherein an image is generated.

The photographing apparatus according to claim 1, further comprising a communication unit that transmits a new image generated by the editing unit to a server on a network.

An image generation method for an imaging apparatus including an imaging means,
A state detection step of acquiring user activity information and detecting a change in the state of the user based on the activity information;
A shooting control step of switching a shooting condition of the shooting unit between a first shooting condition and a second shooting condition different from the first shooting condition in accordance with a change in the state of the user detected in the state detection step; ,
An editing step of extracting an image photographed under the first photographing condition or an image photographed under the second photographing condition from the images photographed by the photographing means, and generating a new image. ,
The editing step generates an additional image representing the activity information of the user and generates the new image by combining the additional image with the extracted image.
An image generation method characterized by the above.

A computer used in a photographing apparatus provided with photographing means,
State detection means for acquiring user activity information and detecting a change in the user state based on the activity information;
Shooting control means for switching the shooting condition of the shooting means between the first shooting condition and a second shooting condition different from the first shooting condition in accordance with a change in the state of the user detected by the state detection means;
Extracting an image photographed under the first photographing condition or an image photographed under the second photographing condition from the images photographed by the photographing means to function as an editing means for generating a new image. ,
The editing unit generates an additional image representing the activity information of the user and generates the new image by combining the additional image with the extracted image;
A program characterized by that.