JP7602950B2

JP7602950B2 - Imaging device, imaging method, imaging program, and recording medium

Info

Publication number: JP7602950B2
Application number: JP2021058062A
Authority: JP
Inventors: 健太新居
Original assignee: Pioneer Corp
Current assignee: Pioneer Corp
Priority date: 2021-03-30
Filing date: 2021-03-30
Publication date: 2024-12-19
Anticipated expiration: 2041-03-30
Also published as: JP2022154830A

Description

本発明は、撮像装置、撮像方法、撮像プログラム及び記録媒体に関する。 The present invention relates to an imaging device, an imaging method, an imaging program, and a recording medium.

予め撮影された複数の画像の中から、ベストショットの静止画等の目的の画像を抽出する技術が知られている。 Technology is known that extracts a desired image, such as a best still image, from multiple images captured in advance.

例えば、特許文献１には、動画データを静止画像化する場合に、撮影タイミング（シャッター操作タイミング）で得られた画像をメインフレームとして配置すると共に、その撮影タイミングの前に得られた所定数分のフレーム画像をその他のフレーム画像として配置した静止画を作成する撮像装置が開示されている。 For example, Patent Document 1 discloses an imaging device that, when converting video data into still images, creates a still image by arranging the image obtained at the shooting timing (the timing of the shutter operation) as the main frame, and arranging a predetermined number of frame images obtained before that shooting timing as other frame images.

特開２００７－３１８７７３Patent Publication 2007-318773

上記のような撮像装置において、ユーザーからの指示のタイミングと、目的の画像が実際に撮影されたタイミングとが合わない場合も多く、ユーザーからの指示があったタイミングで得られた画像を静止画像化しても、ユーザーが撮像したいと希望する画像が抽出されない場合もあることが課題の１つとして挙げられる。 In imaging devices like the one described above, the timing of the user's instructions often does not match the timing at which the desired image is actually captured, and one of the issues is that even if the image obtained at the time of the user's instructions is converted into a still image, the image that the user wants to capture may not be extracted.

本発明は上記した点に鑑みてなされたものであり、ユーザーによる撮像指示に従って撮像する撮像装置において、ユーザーが撮像を希望する風景が映った画像を高い確率で取得することを可能とする撮像装置、撮像方法、撮像プログラム及び記録媒体を提供することを目的の１つとしている。 The present invention has been made in consideration of the above points, and one of its objectives is to provide an imaging device, imaging method, imaging program, and recording medium that enables an image capturing the scenery that the user wishes to capture to be obtained with a high probability in an imaging device that captures images according to imaging instructions from a user.

請求項１に記載の発明は、移動体と共に移動する撮像部により最近撮像された連続画像を記憶する記憶部と、ユーザー操作による撮像指示を受付ける受付部と、前記受付部が撮像指示を受付けた時点から第１時間遡った時点までの期間内において、前記移動体が予め設定された撮像地点に位置していた場合に、当該撮像地点に前記移動体が位置していた時点を基準とする１又は複数のタイミングの各々で前記撮像部により撮像された所定数の画像を前記記憶部から撮像画像として抽出する抽出部と、を備える。 The invention described in claim 1 includes a storage unit that stores consecutive images captured recently by an imaging unit that moves together with a moving object, a reception unit that receives an imaging instruction by a user operation, and an extraction unit that extracts, when the moving object is located at a preset imaging point within a period from the time when the reception unit receives the imaging instruction to a time going back a first time, from the storage unit a predetermined number of images captured by the imaging unit at one or more timings based on the time when the moving object was located at the imaging point as captured images.

請求項１０に記載の発明は、撮像装置によって実行される撮像方法であって、移動体と共に移動する撮像部により最近撮像された連続画像を記憶部に記憶する記憶ステップと、ユーザー操作による撮像指示を受付ける受付ステップと、前記受付ステップにおいて前記撮像指示を受付けた時点から第１時間遡った時点までの期間内において、前記移動体が予め設定された撮像地点に位置していた場合に、当該撮像地点に前記移動体が位置していた時点を基準とする１又は複数のタイミングの各々で前記撮像部により撮像された所定数の画像を前記記憶部から撮像画像として抽出する抽出ステップと、を含む。 The invention described in claim 10 is an imaging method executed by an imaging device, and includes a storage step of storing in a storage unit consecutive images captured recently by an imaging unit moving together with a moving object, a reception step of receiving an imaging instruction by a user operation, and an extraction step of extracting, from the storage unit, as captured images, a predetermined number of images captured by the imaging unit at one or more timings based on the time when the moving object was located at the imaging point, if the moving object was located at a preset imaging point within a period from the time when the imaging instruction was received in the reception step to a time going back a first time.

請求項１１に記載の発明は、コンピュータを備える撮像装置によって実行される撮像プログラムであって、前記コンピュータに、移動体と共に移動する撮像部により最近撮像された連続画像を記憶部に記憶する記憶ステップと、ユーザー操作による撮像指示を受付ける受付ステップと、前記受付ステップにおいて前記撮像指示を受付けた時点から第１時間遡った時点までの期間内において、前記移動体が予め設定された撮像地点に位置していた場合に、当該撮像地点に前記移動体が位置していた時点を基準とする１又は複数のタイミングの各々で前記撮像部により撮像された所定数の画像を前記記憶部から撮像画像として抽出する抽出ステップと、を実行させる。 The invention described in claim 11 is an imaging program executed by an imaging device equipped with a computer, which causes the computer to execute a storage step of storing in a storage unit consecutive images captured recently by an imaging unit moving together with a moving object, a reception step of receiving an imaging instruction by a user operation, and an extraction step of extracting, when the moving object is located at a preset imaging point within a period from the time when the imaging instruction is received in the reception step to a time going back a first time, from the storage unit a predetermined number of images captured by the imaging unit at each of one or more timings based on the time when the moving object was located at the imaging point as captured images.

実施例に係る撮像装置が搭載されている車両の前席部分を示す図である。1 is a diagram showing a front seat portion of a vehicle in which an imaging device according to an embodiment is mounted; 実施例に係る撮像装置の構成を示すブロック図である。1 is a block diagram showing a configuration of an imaging device according to an embodiment. 実施例に係る電子地図に含まれる情報の一例を示す図である。FIG. 4 is a diagram showing an example of information included in an electronic map according to an embodiment; 実施例に係る撮像装置の撮像のタイミングの一例を示す図である。5A and 5B are diagrams illustrating an example of imaging timing of the imaging device according to the embodiment. 実施例に係る撮像装置によって実行されるルーチンの一例を示すフローチャートである。4 is a flowchart showing an example of a routine executed by the imaging device according to the embodiment. 実施例に係る撮像装置によって実行されるサブルーチンの一例を示すフローチャートである。10 is a flowchart showing an example of a subroutine executed by the imaging device according to the embodiment. 実施例に係る撮像装置によって実行されるサブルーチンの他の一例を示すフローチャートである。10 is a flowchart showing another example of a subroutine executed by the imaging device according to the embodiment. 実施例に係る撮像装置によって実行されるルーチンの他の一例を示すフローチャートである。10 is a flowchart showing another example of the routine executed by the imaging device according to the embodiment.

以下に本発明の実施例について詳細に説明する。なお、以下の説明及び添付図面においては、実質的に同一又は等価な部分には同一の参照符号を付している。 The following describes in detail an embodiment of the present invention. In the following description and accompanying drawings, the same reference numerals are used to refer to substantially the same or equivalent parts.

図１～図３を参照しつつ、実施例に係る撮像装置１０の構成について説明する。図１は、実施例に係る撮像装置１０が搭載されている移動体の一例としての車両Ｍの前席部分を示す図である。 The configuration of the imaging device 10 according to the embodiment will be described with reference to Figures 1 to 3. Figure 1 is a diagram showing the front seat portion of a vehicle M as an example of a moving body in which the imaging device 10 according to the embodiment is mounted.

図１に示すように、撮像装置１０は、車両Ｍのセンターコンソールに配置されている。撮像装置１０は、車両Ｍから外部の風景を映した映像を取得し、ユーザーからの撮像の指示に応じて当該映像から撮像画像として画像を抽出する装置である。 As shown in FIG. 1, the imaging device 10 is disposed in the center console of the vehicle M. The imaging device 10 is a device that acquires video of the external scenery from the vehicle M and extracts an image from the video as a captured image in response to an imaging instruction from the user.

撮像部としての前方カメラ１１は、ルームミラーＲＭの裏、すなわちフロントガラスＦＧに対向する面に設けられている。前方カメラ１１は、車両Ｍの進行方向を撮影方向としている。車両Ｍの進行方向を前方としたとき、前方カメラ１１は、車両Ｍの前方、右前方及び左前方を含む範囲の画像を撮影可能に配置されている。従って、前方カメラ１１は、車両Ｍの前席に搭乗するユーザーの前方を見ている際の視界の範囲内の画像を撮影可能である。前方カメラ１１は、撮像装置１０と通信可能に接続されており、撮影した映像の信号を撮像装置１０に送信することが可能である。 The front camera 11, which serves as an imaging unit, is provided behind the rear-view mirror RM, i.e., on the surface facing the windshield FG. The imaging direction of the front camera 11 is the traveling direction of the vehicle M. When the traveling direction of the vehicle M is the forward direction, the front camera 11 is positioned so that it can capture images of a range including the front, right front, and left front of the vehicle M. Therefore, the front camera 11 can capture images within the field of view of a user sitting in the front seat of the vehicle M when looking forward. The front camera 11 is connected to the imaging device 10 so that it can communicate with the imaging device 10, and can transmit a signal of the captured image to the imaging device 10.

前方カメラ１１は、車両Ｍの前方の映像を撮影可能であれば車両Ｍのいずれの箇所に設けられてもよい。例えば、前方カメラ１１は、ダッシュボードＤＢ上に配されていてもよく、車両Ｍの外側面（外装面）、例えばボンネット上またはフロントバンパー等に設けられていてもよい。 The forward camera 11 may be provided anywhere on the vehicle M as long as it is capable of capturing an image of the area in front of the vehicle M. For example, the forward camera 11 may be provided on the dashboard DB, or on the outer surface (exterior surface) of the vehicle M, such as on the hood or the front bumper.

撮像部としての側方カメラ１３は、左前側のドアの上方に取り付けられている。側方カメラ１３は、車両Ｍの側方、すなわち車両Ｍの進行方向に垂直な水平方向を撮影方向としている。車両Ｍの進行方向を前方としたとき、側方カメラ１３は、左側方、左前方及び左後方を含む範囲の画像を撮影可能に配置されている。従って、側方カメラ１３は、車両Ｍの前席の左側又は後部座席の左側に搭乗するユーザーの左側方を見ている際の視界の範囲内の画像を撮影可能である。側方カメラ１３は、撮影した映像の信号を撮像装置１０に送信することが可能である。 The side camera 13 serving as an imaging unit is attached above the left front door. The imaging direction of the side camera 13 is the side of the vehicle M, i.e., the horizontal direction perpendicular to the traveling direction of the vehicle M. When the traveling direction of the vehicle M is the forward direction, the side camera 13 is positioned so that it can capture images of a range including the left side, front left, and rear left. Therefore, the side camera 13 can capture images within the field of view when a user sitting on the left side of the front seat or the left side of the rear seat of the vehicle M is looking to the left. The side camera 13 can transmit a signal of the captured image to the imaging device 10.

側方カメラ１３は、車両Ｍの側方の映像を撮影可能であれば車両Ｍのいずれの箇所に設けられてもよい。例えば、側方カメラ１３は、車両Ｍの外装面の、例えばドアの上方に配されていてもよい。 The side camera 13 may be installed anywhere on the vehicle M as long as it is capable of capturing images of the sides of the vehicle M. For example, the side camera 13 may be disposed on the exterior surface of the vehicle M, for example, above the door.

なお、上記前方カメラ１１及び側方カメラ１３と同様のカメラ（図示せず）が、車両Ｍの右側方を含む範囲の画像を撮影可能に車両Ｍに取り付けられていてもよい。また、上記前方カメラ１１及び側方カメラ１３と同様のカメラが、車両Ｍの後方を撮影可能なリアカメラとして車両Ｍに取り付けられていてもよい。 In addition, a camera (not shown) similar to the above-mentioned front camera 11 and side camera 13 may be attached to the vehicle M so as to be able to capture images of a range including the right side of the vehicle M. In addition, a camera similar to the above-mentioned front camera 11 and side camera 13 may be attached to the vehicle M as a rear camera capable of capturing images of the rear of the vehicle M.

マイク１５は、車両Ｍ内の音声を取得可能に配置された音声入力装置である。マイク１５は、撮像装置１０と通信可能に接続されており、取得した音声を電気信号に変換して撮像装置１０に送信することが可能である。撮像装置１０は、マイク１５から信号を受信して、ユーザーの発話に基づく音声について音声認識を行い、特定の言葉を認識した場合に、当該音声をユーザーからの撮像指示として認識する。 The microphone 15 is a voice input device arranged to acquire voice within the vehicle M. The microphone 15 is communicably connected to the imaging device 10, and is capable of converting the acquired voice into an electrical signal and transmitting it to the imaging device 10. The imaging device 10 receives a signal from the microphone 15 and performs voice recognition on the voice based on the user's speech, and when it recognizes a specific word, it recognizes the voice as an imaging instruction from the user.

タッチパネルディスプレイ１７は、タッチパネル及びディスプレイからなる。タッチパネルディスプレイ１７は、撮像装置１０と通信可能に接続されている。タッチパネルディスプレイ１７のディスプレイは、撮像装置１０から供給される画像を表示する。タッチパネルディスプレイ１７のタッチパネルは、タッチパネルへの接触による入力操作を示す信号を撮像装置１０に送信する。 The touch panel display 17 is made up of a touch panel and a display. The touch panel display 17 is communicatively connected to the imaging device 10. The display of the touch panel display 17 displays images supplied from the imaging device 10. The touch panel of the touch panel display 17 transmits a signal indicating an input operation by touching the touch panel to the imaging device 10.

例えば、タッチパネルディスプレイ１７は、撮像装置１０への撮像指示を示すボタンをディスプレイに表示する。例えば、撮像装置１０は、当該撮像指示を示すボタンが押されると、タッチパネルディスプレイ１７のタッチパネルを介して、ユーザーからの撮像指示を受け付ける。 For example, the touch panel display 17 displays a button on the display that indicates an image capture instruction to the imaging device 10. For example, when the button indicating the image capture instruction is pressed, the imaging device 10 accepts the image capture instruction from the user via the touch panel of the touch panel display 17.

ＧＮＳＳ受信機１９は、ＧＮＳＳ（Global Navigation Satellite System）衛星からの信号（ＧＮＳＳ信号）を受信する装置である。ＧＮＳＳ受信機１９は、例えば、ダッシュボードＤＢ上に配されている。なお、ＧＮＳＳ受信機１９は、ＧＮＳＳ信号が受信できればいずれの箇所に配されていてもよい。 The GNSS receiver 19 is a device that receives signals (GNSS signals) from GNSS (Global Navigation Satellite System) satellites. The GNSS receiver 19 is arranged, for example, on a dashboard DB. Note that the GNSS receiver 19 may be arranged anywhere as long as it can receive GNSS signals.

ＧＮＳＳ受信機１９は、撮像装置１０と通信可能に接続されており、受信したＧＮＳＳ信号を撮像装置１０に送信することが可能である。撮像装置１０は、ＧＮＳＳ信号を用いて車両Ｍの現在位置情報を取得して記憶する。 The GNSS receiver 19 is communicatively connected to the imaging device 10 and is capable of transmitting the received GNSS signal to the imaging device 10. The imaging device 10 uses the GNSS signal to obtain and store current position information of the vehicle M.

撮像装置１０は、前方カメラ１１及び側方カメラ１３によって撮像された動画を取得して記憶する。言い換えれば、本実施例において、撮像装置１０は、いわゆるドライブレコーダと同様の機能を有する。 The imaging device 10 acquires and stores video captured by the front camera 11 and the side camera 13. In other words, in this embodiment, the imaging device 10 has the same function as a so-called drive recorder.

撮像装置１０は、マイク１５又はタッチパネルディスプレイ１７を介してユーザーからの音声操作又はタッチパネルの接触操作による撮像指示を示す入力操作を受け付けると、記憶した動画を用いて撮像画像としての静止画を撮像する。具体的には、撮像装置１０は、記憶されている動画を構成する多数のフレーム画像の中から所定数のフレーム画像を抽出して静止画を生成する。撮像装置１０は、当該抽出された静止画をサーバ（図示せず）に送信する、すなわちアップロードする。 When the imaging device 10 receives an input operation indicating an imaging instruction from the user by voice operation or touch operation on the touch panel via the microphone 15 or the touch panel display 17, it captures a still image as a captured image using the stored video. Specifically, the imaging device 10 extracts a predetermined number of frame images from the many frame images that make up the stored video to generate a still image. The imaging device 10 transmits the extracted still images to a server (not shown), i.e., uploads them.

図２は、撮像装置１０の構成を示すブロック図である。図２に示すように、撮像装置１０は、システムバス２１を介して各部が接続されて構成されている。 Figure 2 is a block diagram showing the configuration of the imaging device 10. As shown in Figure 2, the imaging device 10 is configured with each unit connected via a system bus 21.

入力部２３は、撮像装置１０と車両Ｍ１に備えられた機器とを通信可能に接続するインターフェースである。 The input unit 23 is an interface that communicatively connects the imaging device 10 to equipment provided in the vehicle M1.

入力部２３は、撮像装置１０と、前方カメラ１１及び側方カメラ１３とを通信可能に接続する。また、入力部２３は、撮像装置１０と、マイク１５とを通信可能に接続する。 The input unit 23 communicably connects the imaging device 10 to the front camera 11 and the side camera 13. The input unit 23 also communicably connects the imaging device 10 to the microphone 15.

入力部２３は、撮像装置１０と、タッチパネルディスプレイ１７のタッチパネルとを通信可能に接続する。 The input unit 23 connects the imaging device 10 and the touch panel of the touch panel display 17 so that they can communicate with each other.

入力部２３は、撮像装置１０とＧＮＳＳ受信機１９及び車両Ｍに備えられたセンサ２４とを通信可能に接続するインターフェースである。センサ２４は、加速度センサ及びジャイロセンサを含むセンサ群である。例えば、加速度センサは撮像装置１０に内蔵されていてもよい。 The input unit 23 is an interface that communicatively connects the imaging device 10 to the GNSS receiver 19 and a sensor 24 provided in the vehicle M. The sensor 24 is a group of sensors including an acceleration sensor and a gyro sensor. For example, the acceleration sensor may be built into the imaging device 10.

撮像装置１０は、ＧＮＳＳ受信機１９、及びセンサ２４のセンサ信号から、車両Ｍの現在位置を含む車両Ｍの走行に関する情報を取得して記憶することで車両Ｍの走行履歴を作成する。 The imaging device 10 creates a driving history of the vehicle M by acquiring and storing information about the driving of the vehicle M, including the current position of the vehicle M, from the GNSS receiver 19 and the sensor signals of the sensor 24.

大容量記憶装置２５は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成された記憶装置である。大容量記憶装置２５は、撮像装置１０において実行される各種プログラムを記憶する。なお、各種プログラムは、例えば他のサーバ装置等からネットワークを介して取得されてもよく、記録媒体に記録されて各種ドライブ装置を介して読み込まれてもよい。例えば、大容量記憶装置２５は、撮像装置１０によって、動画から画像を抽出して静止画を作成する場合に実行される撮像プログラムを記憶する。 The large-capacity storage device 25 is a storage device configured, for example, by a hard disk device, an SSD (solid state drive), a flash memory, etc. The large-capacity storage device 25 stores various programs executed by the imaging device 10. Note that the various programs may be acquired, for example, from another server device or the like via a network, or may be recorded on a recording medium and read via various drive devices. For example, the large-capacity storage device 25 stores an imaging program executed by the imaging device 10 when extracting an image from a video and creating a still image.

大容量記憶装置２５は、各種プログラムを実行するために必要な情報を記憶する。例えば、大容量記憶装置２５は、車両Ｍの走行履歴に関する情報を記憶する。具体的には、当該走行履歴には、例えば、所定間隔の時刻毎の車両Ｍの位置が当該時刻に対応付けられた情報が含まれる。 The large-capacity storage device 25 stores information necessary to execute various programs. For example, the large-capacity storage device 25 stores information related to the driving history of the vehicle M. Specifically, the driving history includes, for example, information that associates the position of the vehicle M at each time at a predetermined interval with that time.

大容量記憶装置２５は、各種プログラムを実行するために必要なデータが格納されたデータベースを記憶している。 The large-capacity storage device 25 stores a database that contains the data required to execute various programs.

大容量記憶装置２５は、地図情報データベース（以下、地図情報ＤＢと称する）２５Ａを含む。地図情報ＤＢ２５Ａには、車両Ｍが走行する領域の地図情報（以下、電子地図とも称する）が記憶されている。 The large-capacity storage device 25 includes a map information database (hereinafter referred to as map information DB) 25A. The map information DB 25A stores map information (hereinafter also referred to as electronic map) of the area in which the vehicle M travels.

図３は、地図情報ＤＢ２５Ａにおいて電子地図とともに記憶されている情報の一例を示す図である。地図情報ＤＢ２５Ａには、電子地図上の地点のうち、移動体が位置した際に撮像が推奨される地点、またはユーザーが撮像を希望すると予想される地点として予め設定された地点である設定地点が当該電子地図に対応付けられて記憶されている。以下の説明において、設定地点を「撮像地点」とも称する。 Figure 3 is a diagram showing an example of information stored together with an electronic map in map information DB 25A. Map information DB 25A stores set points, which are points on an electronic map that are recommended for imaging when a moving object is located, or points that have been set in advance as points where a user is expected to want to image, in association with the electronic map. In the following description, set points are also referred to as "imaging points."

図３に示すように、設定地点を示す位置情報の各々に、設定地点の各々を識別するための設定地点ＩＤが対応付けられている。なお、設定地点を示す位置情報は、道路リンク又は車線リンクを示す情報であってもよく、領域を示す情報であってもよい。 As shown in FIG. 3, each piece of location information indicating a set point is associated with a set point ID for identifying the set point. Note that the location information indicating a set point may be information indicating a road link or lane link, or may be information indicating an area.

上述のように、設定地点は、移動体が位置した際に撮像が推奨される地点、またはユーザーが撮像を希望すると予想される地点である。設定地点は、例えば、景観の良い地点である。例えば、設定地点は、当該設定地点に移動体が位置する際に、移動体から山、海または建物等の見ごたえのある地物が視認可能である地点である。撮像装置１０は、車両Ｍが設定地点に位置していたタイミングに基づいて、抽出すべき画像を特定することで、ユーザーが撮像を希望する風景が映った画像を取得する確率を高めることを可能とする。 As described above, the set point is a point where it is recommended that an image be captured when the moving body is located, or a point where the user is expected to want to capture an image. The set point is, for example, a point with a good view. For example, the set point is a point where a scenic feature such as a mountain, the sea, or a building can be seen from the moving body when the moving body is located at the set point. The imaging device 10 identifies the image to be extracted based on the timing when the vehicle M was located at the set point, thereby making it possible to increase the probability of obtaining an image that captures the scenery that the user wants to capture.

再び図２を参照すると、大容量記憶装置２５は、動画記憶部２５Ｂを有している。動画記憶部２５Ｂは、前方カメラ１１及び側方カメラ１３によって撮像された動画像を記憶する。動画記憶部２５Ｂは、例えば、一定時間分の動画像を保持する。また、動画記憶部２５Ｂは、例えば、所定容量分の動画像を記憶する。 Referring again to FIG. 2, the large-capacity storage device 25 has a video storage unit 25B. The video storage unit 25B stores video images captured by the front camera 11 and the side camera 13. The video storage unit 25B holds, for example, a certain amount of video images. The video storage unit 25B also stores, for example, a predetermined amount of video images.

さらに、大容量記憶装置２５は、画像一時保存部２５Ｃを有している。画像一時保存部２５Ｃには、例えば、動画記憶部２５Ｂに記憶されている動画像に含まれる画像が一部抜粋されて一時保存される。例えば、画像一時保存部２５Ｃは、リングバッファのように、時々刻々と新しい画像が保存されるメモリ部分である。画像一時保存部２５Ｃには、例えば、数十秒分の動画像の中の複数のフレーム画像が保存され得る。例えば、画像一時保存部２５Ｃには、動画像の中から所定時間毎に抽出されたフレーム画像が保存される。画像一時保存部２５Ｃにおいて、古いフレーム画像が新しいフレーム画像によって書き換えられることで、時々刻々と画像の更新がなされる。 The large-capacity storage device 25 further has a temporary image storage unit 25C. In the temporary image storage unit 25C, for example, some images included in the moving image stored in the video storage unit 25B are extracted and temporarily stored. For example, the temporary image storage unit 25C is a memory portion in which new images are stored from time to time, like a ring buffer. For example, the temporary image storage unit 25C can store multiple frame images from a moving image of several tens of seconds. For example, the temporary image storage unit 25C stores frame images extracted from the moving image at predetermined time intervals. In the temporary image storage unit 25C, old frame images are overwritten with new frame images, thereby updating the images from time to time.

例えば、画像一時保存部２５Ｃは、動画記憶部２５Ｂに記憶されている動画像が１５～３０fps程度（例えば、２７．５fps)のフレームレートで撮像されている場合に、例えば、約１秒毎に１つのフレーム画像を１０枚、すなわち約１０秒間分保存してもよい。例えば、１秒間に６つ程度の画像を等時間間隔で数十秒分保存してもよい。 For example, when the moving images stored in the moving image storage unit 25B are captured at a frame rate of about 15 to 30 fps (e.g., 27.5 fps), the temporary image storage unit 25C may store, for example, 10 frame images, one per second, for about 10 seconds. For example, it may store about six images per second at equal time intervals for several tens of seconds.

大容量記憶装置２５の動画記憶部２５Ｂ及び画像一時保存部２５Ｃには、移動体と共に移動する撮像部により最近撮像された連続画像が記憶される。なお、連続画像とは、時系列に沿って並んでいる画像を指す。 The video storage section 25B and the temporary image storage section 25C of the large-capacity storage device 25 store consecutive images recently captured by an imaging section that moves with the moving object. Note that consecutive images refer to images that are arranged in chronological order.

制御部２７は、ＣＰＵ（Central Processing Unit）２７Ａ、ＲＯＭ（Read Only Memory）２７Ｂ、ＲＡＭ（Random Access Memory）２７Ｃ等により構成され、コンピュータとして機能する。そして、ＣＰＵ２７Ａが、ＲＯＭ２７Ｂや大容量記憶装置２５に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。 The control unit 27 is configured with a CPU (Central Processing Unit) 27A, a ROM (Read Only Memory) 27B, a RAM (Random Access Memory) 27C, etc., and functions as a computer. The CPU 27A reads and executes various programs stored in the ROM 27B and the large-capacity storage device 25 to realize various functions.

制御部２７は、大容量記憶装置２５に記憶された撮像プログラムを読み出して実行することで、ユーザーからの撮像指示に応じて撮像画像を抽出する。 The control unit 27 reads out and executes the imaging program stored in the mass storage device 25 to extract the captured image in response to an imaging instruction from the user.

制御部２７は、入力部２３を介して、前方カメラ１１及び側方カメラ１３によって取得された動画像を大容量記憶装置２５の動画記憶部２５Ｂに記憶する。また、制御部２７は、動画記憶部２５Ｂに記憶されている動画像に含まれる画像を一部抜粋して画像一時保存部２５Ｃに一時保存する。 The control unit 27 stores the moving images captured by the front camera 11 and the side camera 13 in the moving image storage unit 25B of the mass storage device 25 via the input unit 23. The control unit 27 also extracts some images included in the moving images stored in the moving image storage unit 25B and temporarily stores them in the temporary image storage unit 25C.

換言すれば、制御部２７は、移動体と共に移動する撮像部により最近撮像された連続画像を、記憶部としての動画記憶部２５Ｂ又は画像一時保存部２５Ｃに記憶する記憶ステップを実行する。 In other words, the control unit 27 executes a storage step in which successive images recently captured by the imaging unit moving with the moving object are stored in the video storage unit 25B or the temporary image storage unit 25C as a storage unit.

制御部２７は、入力部２３を介して、車両Ｍ内の音声をマイク１５から取得し、音声認識を行う。制御部２７は、車両Ｍ内に居るユーザーの発話に基づいて特定の音声を認識した場合に、当該ユーザーからの撮像指示を受け付ける。例えば、制御部２７は、所定のウェイクワード及び音声コマンドを認識した場合に、ユーザーからの撮像指示を受け付ける。言い換えれば、制御部２７は、ユーザーの音声操作による撮像指示を受け付ける。 The control unit 27 acquires voice from inside the vehicle M through the microphone 15 via the input unit 23 and performs voice recognition. When the control unit 27 recognizes a specific voice based on the speech of a user inside the vehicle M, it accepts an image capture instruction from the user. For example, when the control unit 27 recognizes a predetermined wake word and voice command, it accepts an image capture instruction from the user. In other words, the control unit 27 accepts an image capture instruction through a voice operation by the user.

制御部２７は、入力部２３を介して、タッチパネルディスプレイ１７を用いた入力操作を認識する。制御部２７は、タッチパネルディスプレイ１７のタッチパネルになされた特定の接触操作を認識した場合に、ユーザーからの撮像指示を受け付ける。例えば、制御部２７は、タッチパネルディスプレイ１７のディスプレイに表示された撮像指示のボタンが押されたことを認識した場合に、ユーザーからの撮像指示を受け付ける。 The control unit 27 recognizes an input operation using the touch panel display 17 via the input unit 23. When the control unit 27 recognizes a specific contact operation performed on the touch panel of the touch panel display 17, it accepts an image capture instruction from the user. For example, when the control unit 27 recognizes that an image capture instruction button displayed on the display of the touch panel display 17 has been pressed, it accepts an image capture instruction from the user.

このように、制御部２７は、ユーザーの発話による音声操作又はユーザーのタッチパネルへの接触操作等のユーザー操作を認識することによって当該ユーザーからの撮像指示を受け付ける。制御部２７は、ユーザー操作による撮像指示を受付ける受付ステップを実行する受付部として機能する。 In this way, the control unit 27 accepts an image capture instruction from the user by recognizing a user operation such as a voice operation by the user's speech or a touch operation on the touch panel. The control unit 27 functions as a reception unit that executes a reception step of accepting an image capture instruction by a user operation.

制御部２７は、入力部２３を介してＧＮＳＳ受信機１９及びセンサ２４から取得したデータに基づいて、車両Ｍの現在位置を取得する。また、制御部２７は、地図情報ＤＢ２５Ａに記憶されている電子地図を参照して車両Ｍの現在位置に対応する電子地図上の位置を特定し、位置特定部として機能する。 The control unit 27 acquires the current position of the vehicle M based on the data acquired from the GNSS receiver 19 and the sensor 24 via the input unit 23. The control unit 27 also refers to the electronic map stored in the map information DB 25A to identify the position on the electronic map that corresponds to the current position of the vehicle M, and functions as a position identification unit.

また、制御部２７は、車両Ｍの現在位置と、現在時刻とを対応付けた情報を含む走行履歴を生成して大容量記憶装置２５に記憶させる。 In addition, the control unit 27 generates a driving history including information correlating the current position of the vehicle M with the current time, and stores the history in the large-capacity storage device 25.

制御部２７は、ユーザーからの撮像指示を受け付けると、大容量記憶装置２５に記憶された画像の中から所定数の画像を撮像画像として抽出する。 When the control unit 27 receives an image capture instruction from the user, it extracts a predetermined number of images from the images stored in the mass storage device 25 as captured images.

より詳細には、制御部２７は、撮像指示を受付けた時点から所定の長さの時間（第１時間）だけ遡った時点までの期間内において、車両Ｍが予め設定された撮像地点に位置していた場合に、当該撮像地点に車両Ｍが位置していた時点を基準とする１又は複数のタイミングの各々で撮像部としての前方カメラ１１又は側方カメラ１３により撮像された所定数の画像を記憶部としての画像一時保存部２５Ｃから撮像画像として抽出する抽出ステップを実行する抽出部として機能する。 More specifically, when the vehicle M is located at a preset imaging point within a period going back a predetermined length of time (first time) from the time when the imaging instruction is received, the control unit 27 functions as an extraction unit that executes an extraction step of extracting, as captured images, a predetermined number of images captured by the front camera 11 or the side camera 13 as an imaging unit at one or more timings based on the time when the vehicle M was located at the imaging point from the temporary image storage unit 25C as a memory unit.

制御部２７は、画像一時保存部２５Ｃに記憶されている画像から所定数の画像を抽出する。画像一時保存部２５Ｃにおいて、動画を構成する多数のフレーム画像を予め間引いた画像が保存されていることによって、撮像画像の抽出が効率良く実行される。なお、制御部２７は、動画記憶部２５Ｂに記憶されている動画像から所定数の画像を抽出してもよい。 The control unit 27 extracts a predetermined number of images from the images stored in the temporary image storage unit 25C. The temporary image storage unit 25C stores images that have been thinned out in advance from a large number of frame images that make up the video, allowing the extraction of captured images to be performed efficiently. The control unit 27 may also extract a predetermined number of images from the video stored in the video storage unit 25B.

出力部２９は、車両Ｍに備えられたタッチパネルディスプレイ１７のディスプレイに接続されている。出力部２９は、制御部２７からの命令に従って、ディスプレイに表示させるための各種情報を供給するためのインターフェースである。 The output unit 29 is connected to the display of the touch panel display 17 provided in the vehicle M. The output unit 29 is an interface for supplying various information to be displayed on the display in accordance with commands from the control unit 27.

出力部２９は、制御部２７からの指示に応じて、タッチパネルディスプレイ１７のディスプレイに表示させるための画像を出力する。例えば、出力部２９は、撮像指示を受け付けるための撮像指示ボタンをユーザーに提示するための画像をディスプレイに供給する。 The output unit 29 outputs an image to be displayed on the display of the touch panel display 17 in response to an instruction from the control unit 27. For example, the output unit 29 supplies an image to the display for presenting to the user an image capture instruction button for accepting an image capture instruction.

なお、出力部２９は、車両Ｍ内に備えられたスピーカー（図示せず）に通信可能に接続されていてもよく、例えば撮像指示を受け付けた旨又は撮像が完了したことをユーザーに向けて音声によって報知してもよい。 The output unit 29 may be communicatively connected to a speaker (not shown) provided in the vehicle M, and may, for example, notify the user by voice that an image capture instruction has been received or that image capture has been completed.

送受信部３１は、無線装置（図示せず）に接続されているＮＩＣ（Network Interface Card）等のネットワークアダプタである。送受信部３１は、制御部２７からの命令に従って、撮像装置１０と外部とのデータの送受信を行う。 The transmission/reception unit 31 is a network adapter such as a network interface card (NIC) connected to a wireless device (not shown). The transmission/reception unit 31 transmits and receives data between the imaging device 10 and the outside in accordance with commands from the control unit 27.

例えば、送受信部３１は、撮像装置１０において撮像画像として抽出された画像をサーバに送信する送信部として機能する。また、例えば、送受信部３１は、地図情報ＤＢの更新のための地図情報を受信してもよい。 For example, the transmission/reception unit 31 functions as a transmission unit that transmits an image extracted as a captured image in the imaging device 10 to a server. Also, for example, the transmission/reception unit 31 may receive map information for updating a map information DB.

図４を参照しつつ、制御部２７による撮像画像の抽出について説明する。図４は、道路Ｌに沿って車両Ｍが走行する様子を模式的に示す図である。 The extraction of captured images by the control unit 27 will be described with reference to FIG. 4. FIG. 4 is a schematic diagram showing a vehicle M traveling along a road L.

ところで、ユーザーが撮像指示の操作を行ってから、撮像装置１０の制御部２７がユーザー操作による撮像指示を受付けるまでには、制御部２７が撮像指示を認識するための処理時間を要する。さらに、ユーザーが撮像したいと思った時点から実際に撮像指示の操作を行うまでにも任意の時間を要する。特に車両Ｍが高速で走行している場合や、カーブを走行している場合、これらの時間分の遅れにより、撮像装置１０の制御部２７が撮像指示を認識したタイミングで前方カメラ１１又は側方カメラ１３により撮像されている風景と、ユーザーが撮影したいと思った風景は、大きく乖離している可能性がある。 However, after the user issues an image capture instruction, the control unit 27 of the imaging device 10 requires processing time to recognize the image capture instruction before the control unit 27 accepts the image capture instruction issued by the user. Furthermore, an arbitrary amount of time is also required from the time the user decides that he or she wants to capture an image until the user actually issues the image capture instruction. In particular, when the vehicle M is traveling at high speed or on a curve, the delay due to these times may cause a large discrepancy between the scenery captured by the front camera 11 or the side camera 13 at the time the control unit 27 of the imaging device 10 recognizes the image capture instruction and the scenery that the user wanted to capture.

図４において、撮像装置１０の制御部２７がユーザーからの撮像指示を受け付けた時点（ｔ_０）の車両ＭをＭ（ｔ_０）、当該撮像指示を受け付けた時点に車両Ｍが位置していた地点をＰ１と示している。また、図４において、撮像指示を受け付けた時点から所定の長さの時間Ｔ１（第１時間）遡った時点（ｔ₁）における車両ＭをＭ（ｔ₁）、当該時間Ｔ１遡った時点に車両Ｍが位置していた地点をＰ２と示している。また、図４中、道路Ｌ上の設定地点Ｓ１を示している。例えば、設定地点Ｓ１は、設定地点Ｓ１に位置する移動体から地物Ａが視認可能であることから撮像が推奨される地点である。 In Fig. 4, vehicle M at the time ( _t0 ) when the control unit 27 of the imaging device 10 receives an imaging instruction from the user is indicated as M( _t0 ), and the point where vehicle M was located at the time when the imaging instruction was received is indicated as P1. Also in Fig. 4, vehicle M at a time (t1) a predetermined length of time T1 (first _time ) prior to the time when the imaging instruction was received is indicated as M( _t1 ), and the point where vehicle M was located at the time prior to the time T1 is indicated as P2. Also in Fig. 4, a set point S1 on road L is indicated. For example, set point S1 is a point where imaging is recommended because feature A is visible from a moving body located at set point S1.

制御部２７は、ユーザーからの撮像指示を受け付けると、撮像指示を受け付けた時点から時間Ｔ１（第１時間）遡った時点（ｔ₁）から、撮像指示を受け付けた時点（ｔ_０）までの期間の車両Ｍの走行履歴及び地図情報を参照する。上述したように、走行履歴において、車両Ｍが位置していた地点と時刻とが対応付けられている。また、上述したように、地図情報には、予め設定されている地点である設定地点の位置情報が含まれている（図３参照）。 When the control unit 27 receives an image capture instruction from the user, the control unit 27 refers to the travel history and map information of the vehicle M from a time point ( _t1 ) that is a time T1 (first time) before the time point when the image capture instruction was received to the time point when the image capture instruction was received ( _t0 ). As described above, in the travel history, the points where the vehicle M was located are associated with the times. Also, as described above, the map information includes position information of set points that are preset points (see FIG. 3).

制御部２７は、当該走行履歴において、車両Ｍが予め設定された設定地点に位置していたか否かを判定する。制御部２７は、車両Ｍが時点（ｔ₁）から時点（ｔ_０）までの期間に走行した経路（道程）に、設定地点が含まれるか否かを判定する。 The control unit 27 determines whether or not the vehicle M was located at a preset point in the travel history. The control unit 27 determines whether or not the set point is included in a route (journey) traveled by the vehicle M during a period from time ( _t1 ) to time ( _t0 ).

制御部２７は、車両Ｍが設定地点に位置していたと判定した場合に、当該設定地点に車両Ｍが位置していた時点を基準とする１又は複数のタイミングで所定数の画像を画像一時保存部２５Ｃから撮像画像として抽出する。 When the control unit 27 determines that the vehicle M is located at the set location, it extracts a predetermined number of images from the temporary image storage unit 25C as captured images at one or more timings based on the time when the vehicle M was located at the set location.

例えば、図４の例においては、車両Ｍが時点（ｔ₁）から時点（ｔ_０）までの期間に走行した経路（道程）に、設定地点Ｓ１が含まれる。図４において、設定地点Ｓ１に位置していた時点の車両ＭをＭ（ｔ_３）として示している。この場合、例えば、制御部２７は、設定地点Ｓ１に車両Ｍが位置していた時点（ｔ_３）に、前方カメラ１１又は側方カメラ１３によって撮像された画像を抽出する。 For example, in the example of Fig. 4, the route (journey) traveled by the vehicle M from time point ( _t1 ) to time point ( _t0 ) includes the set point S1. In Fig. 4, the vehicle M at the time point when it was located at the set point S1 is shown as M( _t3 ). In this case, for example, the control unit 27 extracts an image captured by the front camera 11 or the side camera 13 at the time point ( _t3 ) when the vehicle M was located at the set point S1.

なお、例えば、地図情報において、カメラ毎に設定地点が設定されていても良い。例えば、前方カメラ１１用の設定地点と、側方カメラ１３用の設定地点があっても良い。例えば、車両Ｍの前方に撮影が望まれるだろう地物がある地点は、前方カメラ１１用の設定地点となり得る。例えば、車両Ｍの側方に撮影が望まれるだろう地物がある地点は、側方カメラ１３用の設定地点となり得る。例えば、図４の例においては、設定地点Ｓ１は、前方カメラ１１用の設定地点として設定されていてもよく、前方カメラ１１によって撮像された画像が優先的に抽出されてもよい。 For example, a set point may be set for each camera in the map information. For example, there may be set points for the front camera 11 and set points for the side camera 13. For example, a point in front of the vehicle M where there is a feature that would be desired to be photographed may be a set point for the front camera 11. For example, a point to the side of the vehicle M where there is a feature that would be desired to be photographed may be a set point for the side camera 13. For example, in the example of FIG. 4, the set point S1 may be set as a set point for the front camera 11, and the image captured by the front camera 11 may be preferentially extracted.

なお、例えば、設定地点には、当該設定地点から視認可能である地物の位置を示す情報が対応付けられていてもよい。例えば、撮像装置１０は、設定地点と当該地物との位置関係に応じて、前方カメラ１１又は側方カメラ１３のいずれかによって撮像された画像を優先的に抽出してもよい。例えば、図４の例においては、設定地点Ｓ１に対する地物Ａの相対位置が設定地点Ｓ１に対応付けられており、当該相対位置に基づいて、前方カメラ１１によって撮像された画像が優先的に抽出されてもよい。 For example, a set point may be associated with information indicating the position of a feature that is visible from the set point. For example, the imaging device 10 may preferentially extract an image captured by either the forward camera 11 or the side camera 13 depending on the positional relationship between the set point and the feature. For example, in the example of FIG. 4, the relative position of feature A with respect to the set point S1 is associated with the set point S1, and an image captured by the forward camera 11 may be preferentially extracted based on the relative position.

図４に示す例のように、制御部２７がユーザーからの指示を受け付けた時点（ｔ_０）よりも前に、車両Ｍが設定地点Ｓ１に位置していた場合、ユーザーは、設定地点Ｓ１から視認可能な地物である地物Ａを含む画像の撮像を希望していた可能性が高い。 As shown in the example of Figure 4, if the vehicle M was located at the set point S1 before the time ( _t0 ) when the control unit 27 received an instruction from the user, it is highly likely that the user wanted to capture an image including feature A, which is a feature visible from the set point S1.

例えば、撮像指示を受け付けた時点（ｔ_０）は、車両Ｍが設定地点Ｓ１に位置していた時点（ｔ_３）から、撮像指示を認識するためにかかる時間に加えて、ユーザーが地物Ａを撮像したいと思った時点からユーザーが撮像指示を実際に行うまでの時間の分の遅れが発生している可能性がある。 For example, the time when the imaging instruction is received ( _t0 ) may include a delay from the time when the vehicle M was located at the set point S1 ( _t3 ) to the time it takes for the vehicle M to recognize the imaging instruction, as well as the time from when the user decides that he or she wants to image feature A to when the user actually issues the imaging instruction.

本実施例では、制御部２７が、撮像指示を受け付けた時点（ｔ_０）から所定時間Ｔ１遡って、車両Ｍが設定地点に位置していた時点（ｔ_３）を基準とする１又は複数のタイミングで画像を抽出することで、例えば、車両Ｍが高速で走行している場合や、カーブを走行している場合であっても、より確実にユーザーが希望する画像を抽出することができる。 In this embodiment, the control unit 27 extracts images at one or more timings based on the time ( _t3 ) when the vehicle M was located at the set point, going back a predetermined time T1 from the time ( _t0 ) when the image capture instruction was received. This makes it possible to more reliably extract the image desired by the user, for example, even when the vehicle M is traveling at high speed or traveling around a curve.

制御部２７は、例えば、車両Ｍが設定地点に位置していた時点（ｔ_３）に撮像された１つの画像を抽出する。制御部２７は、例えば、車両Ｍが設定地点に位置していた時点（ｔ_３）に撮像された１つの画像を中心として、複数のタイミングの各々で撮像された複数の画像を抽出してもよい。例えば、当該複数のタイミングは、等時間間隔のタイミングであってもよい。 The control unit 27 extracts, for example, one image captured at the time ( _t3 ) when the vehicle M was located at the set point. The control unit 27 may extract, for example, multiple images captured at multiple timings centered around the one image captured at the time ( _t3 ) when the vehicle M was located at the set point. For example, the multiple timings may be equal time intervals.

制御部２７は、例えば、車両Ｍの位置として特定された電子地図上の位置が、当該電子地図において予め設定された撮像地点に位置していた時点を基準とする所定時間幅内において、撮像部により撮像された所定数の画像を画像一時保存部２５Ｃから撮像画像として抽出してもよい。 The control unit 27 may extract, as captured images, from the temporary image storage unit 25C, a predetermined number of images captured by the imaging unit within a predetermined time period based on the time when the position on the electronic map identified as the position of the vehicle M was located at a predetermined imaging point on the electronic map.

例えば、図４に示す例においては、制御部２７は、設定地点Ｓ１に車両Ｍが位置していた時点（ｔ_３）を含む所定期間内において、前方カメラ１１又は側方カメラ１３により撮像された所定数の画像を画像一時保存部２５Ｃから撮像画像として抽出してもよい。 For example, in the example shown in FIG. 4, the control unit 27 may extract as captured images from the temporary image storage unit 25C a predetermined number of images captured by the front camera 11 or the side camera 13 within a predetermined period including the time ( _t3 ) when the vehicle M was located at the set point S1.

制御部２７は、例えば、車両Ｍの位置として特定された電子地図上の位置が、当該電子地図において予め設定された撮像地点を基準とする所定距離内に位置していた際に、撮像部により撮像された所定数の画像を画像一時保存部２５Ｃから撮像画像として抽出してもよい。 For example, when a position on an electronic map identified as the position of vehicle M is located within a predetermined distance based on an imaging point previously set on the electronic map, the control unit 27 may extract a predetermined number of images captured by the imaging unit as captured images from the temporary image storage unit 25C.

なお、撮像地点を基準とする所定距離とは、直線距離ではなく、車両Ｍが走行した道程のうちの所定の区間、すなわち道程上の所定の距離であってもよい。 Note that the specified distance based on the imaging point may not be a straight-line distance, but may be a specified section of the route traveled by vehicle M, i.e., a specified distance on the route.

例えば、図４に示す例においては、制御部２７は、設定地点Ｓ１を基準とする所定距離内に、車両Ｍが位置していた際に前方カメラ１１又は側方カメラ１３により撮像された所定数の画像を画像一時保存部２５Ｃから撮像画像として抽出してもよい。 For example, in the example shown in FIG. 4, the control unit 27 may extract as captured images from the temporary image storage unit 25C a predetermined number of images captured by the front camera 11 or the side camera 13 when the vehicle M is located within a predetermined distance based on the set point S1.

なお、上記の説明において、制御部２７が、撮像指示を受け付けた時点から第１時間遡った時点（ｔ₁）から撮像指示を受け付けた時点（ｔ_０）までの期間に車両Ｍが走行した経路（道程）に、設定地点が含まれるか否かを判定する例について説明したが、これに限られない。例えば、第１時間遡った時点（ｔ₁）を基準とする所定期間内に設定地点が含まれるか否かを判定してもよい。例えば、第１時間遡った時点（ｔ₁）よりも前の所定期間内、又は時点（ｔ₁）の前後の所定期間内に、設定地点が含まれるか否かを判定してもよい。 In the above description, an example has been described in which the control unit 27 determines whether or not the set point is included in the route (journey) traveled by the vehicle M during the period from the time point ( _t1 ) going back the first time from the time point when the image capture instruction was received to the time point ( _t0 ) when the image capture instruction was received, but this is not limiting. For example, it may be determined whether or not the set point is included within a predetermined period based on the time point ( _t1 ) going back the first time. For example, it may be determined whether or not the set point is included within a predetermined _period before the time point (t1) going back the first time, or within a predetermined period before or after the time point ( _t1 ).

図５～図８を参照しつつ、本実施例における撮像装置１０によって撮像が行われる際に制御部２７によって実行される情報処理について説明する。 With reference to Figures 5 to 8, the information processing executed by the control unit 27 when imaging is performed by the imaging device 10 in this embodiment will be described.

図５は、制御部２７によって実行されるルーチンの一例である撮像ルーチンＲＴ１を示すフローチャートである。制御部２７は、例えば、撮像装置１０に電源が投入されると、撮像ルーチンＲＴ１を開始する。また、制御部２７は、例えば、撮像装置１０に電源が投入されると、前方カメラ１１及び側方カメラ１３によって取得された動画像の動画記憶部２５Ｂへの記憶を開始する。また、制御部２７は、例えば、動画像の動画記憶部２５Ｂへの記憶を開始すると、動画記憶部２５Ｂに記憶されている動画像に含まれる画像の画像一時保存部２５Ｃへの一時保存を開始する。 FIG. 5 is a flowchart showing an imaging routine RT1, which is an example of a routine executed by the control unit 27. The control unit 27 starts the imaging routine RT1, for example, when the imaging device 10 is powered on. In addition, the control unit 27 starts storing moving images captured by the front camera 11 and the side camera 13 in the video storage unit 25B, for example, when the imaging device 10 is powered on. In addition, the control unit 27 starts storing moving images in the video storage unit 25B, for example, and starts temporarily storing images included in the moving images stored in the video storage unit 25B in the temporary image storage unit 25C.

制御部２７は、撮像ルーチンＲＴ１を開始すると、ユーザーからの撮像指示を受け付けたか否かを判定する（ステップＳ１０１）。ステップＳ１０１において、例えば、制御部２７は、マイク１５から入力された音声について音声認識を行い、例えばウェイクワードに続いて撮像指示を示す所定の音声コマンドを認識した場合に、ユーザーからの撮像指示を受け付けたと判定する。 When the control unit 27 starts the imaging routine RT1, it determines whether or not an imaging instruction has been received from the user (step S101). In step S101, for example, the control unit 27 performs voice recognition on the voice input from the microphone 15, and when it recognizes, for example, a wake word followed by a predetermined voice command indicating an imaging instruction, it determines that an imaging instruction from the user has been received.

ステップＳ１０１において、例えば、制御部２７は、タッチパネルディスプレイ１７のディスプレイに表示された撮像指示のボタンが、タッチパネルへの接触操作によって押されたことを認識した場合に、撮像指示を受け付けたと判定してもよい。 In step S101, for example, the control unit 27 may determine that an image capture instruction has been received if it recognizes that an image capture instruction button displayed on the display of the touch panel display 17 has been pressed by a contact operation on the touch panel.

ステップＳ１０１において、制御部２７は、ユーザー操作による撮像指示を受付ける受付部として機能する。 In step S101, the control unit 27 functions as a reception unit that receives an image capture instruction from a user operation.

制御部２７は、ステップＳ１０１において、撮像指示を受け付けていないと判定する（ステップＳ１０１：ＮＯ）と、ステップＳ１０１を繰り返し、撮像指示を受け付けたか否かを再び判定する。 If the control unit 27 determines in step S101 that an image capture instruction has not been received (step S101: NO), it repeats step S101 and again determines whether an image capture instruction has been received.

制御部２７は、ステップＳ１０１において、撮像指示を受け付けたと判定する（ステップＳ１０１：ＹＥＳ）と、撮像指示を受け付けた時点から所定の長さの時間（第１時間）遡って、走行履歴を参照する（ステップＳ１０２）。ステップＳ１０２において、例えば、制御部２７は、撮像指示を受付けた時点から第１時間遡った時点までの期間内の走行履歴を参照する。 When the control unit 27 determines in step S101 that an image capture instruction has been received (step S101: YES), the control unit 27 refers to the driving history going back a predetermined length of time (first time) from the time when the image capture instruction was received (step S102). In step S102, for example, the control unit 27 refers to the driving history during the period from the time when the image capture instruction was received to the time going back the first time.

また、例えば、ステップＳ１０２において、第１時間遡った時点の前又は前後の所定時間幅の走行履歴が参照されてもよい。また、例えば、ステップＳ１０２において、第１時間遡った時点に車両Ｍが位置していた地点の所定距離内の走行履歴が参照されてもよい。 For example, in step S102, the driving history for a predetermined time period before or around the point going back the first time may be referenced.For example, in step S102, the driving history for a predetermined distance from the point where vehicle M was located at the point going back the first time may be referenced.

制御部２７は、ステップＳ１０２の実行後、画像抽出サブルーチンを実行し、画像一時保存部２５Ｃに記憶されている画像から撮像画像を抽出する（ステップＳ１０３）。ステップＳ１０３において、例えば、制御部２７は、ステップＳ１０２で参照した走行履歴において、車両Ｍが予め設定された撮像地点（設定地点）に位置していた場合に、当該設定地点に位置していた時点に基づいたタイミングに撮像された画像を撮像画像として抽出する。ステップＳ１０３において、例えば、当該設定地点に位置していた時点に撮像された画像が抽出される。 After executing step S102, the control unit 27 executes an image extraction subroutine and extracts a captured image from the images stored in the temporary image storage unit 25C (step S103). In step S103, for example, when the vehicle M is located at a preset image capture point (set point) in the driving history referenced in step S102, the control unit 27 extracts, as a captured image, an image captured at a timing based on the time when the vehicle M was located at the set point. In step S103, for example, an image captured at the time when the vehicle M was located at the set point is extracted.

ステップＳ１０３において、例えば、当該設定地点に位置していた時点に撮像された画像を中心として、当該時点の前後の時間に撮像された複数の画像が抽出されてもよい。また、ステップＳ１０３において、例えば、当該設定地点に位置していた時点に撮像された画像を中心として、当該設定地点の前後の地点に車両Ｍが位置していた際に撮像された画像を含む複数の画像が抽出されてもよい。 In step S103, for example, a plurality of images captured at a time before and after the set point may be extracted, with the image captured at the time when the vehicle M was located at the set point as the center. Also, in step S103, a plurality of images may be extracted, with the image captured at the time when the vehicle M was located at the set point as the center, including images captured when the vehicle M was located at points before and after the set point.

制御部２７は、ステップＳ１０３の実行後、ステップＳ１０３において抽出された画像を外部に送信する（ステップＳ１０４）。ステップＳ１０４において、例えば、制御部２７は、抽出された画像を予め設定されたサーバに送信する。ステップＳ１０４において、例えば、制御部２７は、抽出された画像をユーザーが保有する端末装置に送信してもよい。 After executing step S103, the control unit 27 transmits the image extracted in step S103 to the outside (step S104). In step S104, for example, the control unit 27 transmits the extracted image to a preset server. In step S104, for example, the control unit 27 may transmit the extracted image to a terminal device owned by the user.

制御部２７は、ステップＳ１０４の実行後、撮像ルーチンＲＴ１を終了し、新たに撮像ルーチンＲＴ１を開始する。 After executing step S104, the control unit 27 ends the imaging routine RT1 and starts a new imaging routine RT1.

図６は、撮像ルーチンＲＴ１のステップＳ１０３において、抽出部としての制御部２７によって実行される画像抽出サブルーチンの一例である画像抽出サブルーチンＲＴ２を示すフローチャートである。 Figure 6 is a flowchart showing an image extraction subroutine RT2, which is an example of an image extraction subroutine executed by the control unit 27 as an extraction unit in step S103 of the imaging routine RT1.

制御部２７は、画像抽出サブルーチンＲＴ２を開始すると、撮像ルーチンＲＴ１のステップＳ１０２で参照した走行履歴において、車両Ｍが予め設定された撮像地点（設定地点）に位置していたか否かを判定する（ステップＳ２０１）。 When the control unit 27 starts the image extraction subroutine RT2, it determines whether or not the vehicle M was located at a previously set imaging location (set location) in the driving history referenced in step S102 of the imaging routine RT1 (step S201).

例えば、撮像ルーチンＲＴ１のステップＳ１０２において、撮像指示を受付けた時点から第１時間遡った時点までの期間（以下、第１期間とも称する）内の走行履歴が参照された場合、制御部２７は、ステップＳ２０１において、当該第１期間内に車両Ｍが走行した経路中に設定地点が含まれる場合に、車両Ｍが設定地点に位置していたと判定する。 For example, in step S102 of the imaging routine RT1, when the driving history during the period from the time when the imaging instruction was received to the time going back by the first time (hereinafter also referred to as the first period) is referenced, the control unit 27 determines in step S201 that the vehicle M was located at the set point if the set point is included in the route traveled by the vehicle M during the first period.

制御部２７は、ステップＳ２０１において、車両Ｍが設定地点に位置していたと判定する（ステップＳ２０１：ＹＥＳ）と、当該設定地点に車両Ｍが位置していた時点に撮像された画像を特定する（ステップＳ２０２）。ステップＳ２０２において、例えば、制御部２７は、大容量記憶装置２５の画像一時保存部２５Ｃを参照し、設定地点に車両Ｍが位置していた時点（以下、特定時点とも称する）に最も近い時刻に撮像された画像を特定する。 When the control unit 27 determines in step S201 that the vehicle M was located at the set point (step S201: YES), it identifies an image captured at the time when the vehicle M was located at the set point (step S202). In step S202, for example, the control unit 27 refers to the temporary image storage unit 25C of the large-capacity storage device 25, and identifies an image captured at the time closest to the time when the vehicle M was located at the set point (hereinafter also referred to as the specific time).

制御部２７は、ステップＳ２０２の実行後、特定時点を基準とする所定時間幅内に撮像された所定数の画像を抽出する（ステップＳ２０３）。ステップＳ２０３において、例えば、特定時点に撮像された１つの画像が抽出される。また、ステップＳ２０３において、例えば、特定時点を基準とする所定時間幅内に撮像された画像のうち、特定時点に撮像された１つの画像を含む複数の画像が抽出されてもよい。 After executing step S202, the control unit 27 extracts a predetermined number of images captured within a predetermined time span based on a specific point in time (step S203). In step S203, for example, one image captured at the specific point in time is extracted. Also, in step S203, for example, from among the images captured within a predetermined time span based on a specific point in time, multiple images including one image captured at the specific point in time may be extracted.

ステップＳ２０３において、例えば、特定時点よりも前の所定時間前までの期間内に撮像された所定数の画像が抽出されてもよい。また、ステップＳ２０３において、例えば、特定時点の前後の所定の期間内に撮像された所定数の画像が抽出されてもよい。 In step S203, for example, a predetermined number of images captured within a period up to a predetermined time before the specific point in time may be extracted. Also, in step S203, for example, a predetermined number of images captured within a predetermined period before and after the specific point in time may be extracted.

ステップＳ２０３において、例えば、画像一時保存部２５Ｃに記憶された画像から撮像画像が抽出される。これによって、効率良く抽出がなされる。なお、ステップＳ２０３において、動画記憶部２５Ｂに記憶された画像から撮像画像が抽出されてもよい。 In step S203, for example, the captured image is extracted from the image stored in the temporary image storage unit 25C. This allows efficient extraction. Note that in step S203, the captured image may also be extracted from the image stored in the video storage unit 25B.

制御部２７は、ステップＳ２０１において、車両Ｍが設定地点に位置していなかったと判定する（ステップＳ２０１：ＮＯ）と、撮像指示を受け付けた時点から、第１時間とは異なる第２時間だけ遡ったタイミングで撮像部により撮像された１つの画像又は複数の画像を抽出する（ステップＳ２０４）。 When the control unit 27 determines in step S201 that the vehicle M was not located at the set location (step S201: NO), it extracts one image or multiple images captured by the imaging unit at a time that is a second time, different from the first time, prior to the time when the imaging instruction was received (step S204).

例えば、第２時間として、制御部２７が撮像指示を受け付けるための音声認識又はタッチパネルへの接触操作の認識にかかる時間に加えて、ユーザーが撮像を希望した時点からユーザーが撮像指示を行った時点までの時間を統計的に考慮して予め設定された長さの時間が設定される。 For example, the second time is set to a length of time that is preset by statistically taking into account the time it takes for the control unit 27 to perform voice recognition or recognize a touch operation on the touch panel to receive an image capture instruction, as well as the time from when the user desires to capture an image to when the user issues an image capture instruction.

制御部２７は、ステップＳ２０３の実行後又はステップＳ２０４の実行後、画像抽出サブルーチンＲＴ２を終了する。 After executing step S203 or step S204, the control unit 27 ends the image extraction subroutine RT2.

画像抽出サブルーチンＲＴ２によれば、ステップＳ２０３において、特定時点を基準とする所定時間幅内に撮像された画像を抽出することで、ユーザーが撮像を希望する画像を抽出する確率を高めることが可能となる。 According to the image extraction subroutine RT2, in step S203, by extracting images captured within a predetermined time period based on a specific point in time, it is possible to increase the probability of extracting the image that the user wishes to capture.

また、画像抽出サブルーチンＲＴ２のステップＳ２０４によって、例えば、ユーザーが撮像を希望する画像が、設定地点とは関係の無い地点で撮像された画像である場合であっても、ユーザーが希望する画像を抽出する確率を高めることができる。 In addition, step S204 of the image extraction subroutine RT2 can increase the probability of extracting the image the user desires, even if the image the user desires to capture is an image captured at a location unrelated to the set location.

なお、画像抽出サブルーチンＲＴ２によって、１つ以上の画像が抽出されるが、例えば１つの画像のみが抽出される場合、抽出された画像を保存する際の容量を小さくすることができる。また、１つの画像のみが抽出される場合、ユーザーにとっても撮像画像の取扱が容易になる。 Note that the image extraction subroutine RT2 extracts one or more images. However, for example, if only one image is extracted, the capacity required to save the extracted image can be reduced. Also, if only one image is extracted, it becomes easier for the user to handle the captured image.

図７は、撮像ルーチンＲＴ１のステップＳ１０３において、抽出部としての制御部２７によって実行される画像抽出サブルーチンの他の一例である画像抽出サブルーチンＲＴ３を示すフローチャートである。画像抽出サブルーチンＲＴ３は、ステップＳ３０３を除いて画像抽出サブルーチンＲＴ２（図６参照）と同様に進行するため、説明の一部を省略する。 Figure 7 is a flowchart showing an image extraction subroutine RT3, which is another example of an image extraction subroutine executed by the control unit 27 as an extraction unit in step S103 of the imaging routine RT1. The image extraction subroutine RT3 proceeds in the same manner as the image extraction subroutine RT2 (see Figure 6) except for step S303, and therefore some of the explanation will be omitted.

制御部２７は、画像抽出サブルーチンＲＴ３を開始すると、撮像ルーチンＲＴ１のステップＳ１０２で参照した走行履歴において、車両Ｍが予め設定された撮像地点（設定地点）に位置していたと判定する（ステップＳ３０１：ＹＥＳ）と、当該設定地点に車両Ｍが位置していた時点に撮像された画像を特定する（ステップＳ３０２）。 When the control unit 27 starts the image extraction subroutine RT3, it determines that the vehicle M was located at a preset imaging point (set point) in the driving history referenced in step S102 of the imaging routine RT1 (step S301: YES), and identifies an image captured at the time when the vehicle M was located at the set point (step S302).

制御部２７は、ステップＳ３０２の実行後、当該設定地点を基準とする所定距離内に車両Ｍが位置していた際に、撮像部により撮像された所定数の画像を画像一時保存部２５Ｃから撮像画像として抽出する（ステップＳ３０３）。 After executing step S302, the control unit 27 extracts a predetermined number of images captured by the imaging unit as captured images from the temporary image storage unit 25C when the vehicle M is located within a predetermined distance from the set point (step S303).

ステップＳ３０３において、設定地点を基準とする所定距離内とは、直線距離ではなく、車両Ｍが走行した道程のうちの所定の区間であり、道程上の所定距離であってもよい。 In step S303, the "within a specified distance from the set point" does not mean a straight-line distance, but a specified section of the route traveled by vehicle M, and may also be a specified distance on the route.

ステップＳ３０３において、例えば、設定地点に車両Ｍが位置していた際に撮像された１つの画像が抽出される。ステップＳ３０３において、例えば、設定地点を中心として、設定地点の前後の所定道程内に車両Ｍが位置していた時点に撮像された所定数の画像が抽出されてもよい。 In step S303, for example, one image captured when vehicle M was located at the set point is extracted. In step S303, for example, a predetermined number of images captured when vehicle M was located within a predetermined distance before and after the set point, centered on the set point, may be extracted.

制御部２７は、ステップＳ３０１において、車両Ｍが設定地点に位置していなかったと判定する（ステップＳ３０１：ＮＯ）と、撮像指示を受け付けた時点から、第１時間とは異なる第２時間だけ遡ったタイミングで撮像部により撮像された１つの画像又は複数の画像を抽出する（ステップＳ３０４）。 When the control unit 27 determines in step S301 that the vehicle M was not located at the set location (step S301: NO), it extracts one image or multiple images captured by the imaging unit at a timing that is a second time, different from the first time, prior to the time when the imaging instruction was received (step S304).

制御部２７は、ステップＳ３０３の実行後又はステップＳ３０４の実行後、画像抽出サブルーチンＲＴ３を終了する。 After executing step S303 or step S304, the control unit 27 ends the image extraction subroutine RT3.

このように、画像抽出サブルーチンＲＴ３によれば、当該設定地点を基準とする所定距離内に車両Ｍが位置していた際に撮像された画像を抽出することができる。このような画像の抽出方法であっても、ユーザーの所望の画像を抽出する確率を高めることができる。 In this way, the image extraction subroutine RT3 can extract an image captured when the vehicle M is located within a specified distance from the set point. Even with this type of image extraction method, the probability of extracting the image desired by the user can be increased.

図８は、制御部２７によって実行されるルーチンの他の一例である撮像ルーチンＲＴ４を示すフローチャートである。撮像ルーチンＲＴ４は、図６において説明した撮像ルーチンＲＴ１と、ステップＳ４０２及びステップＳ４０３を含む点において異なり、その他の点においては同様に進行するため、説明の一部を省略する。 Figure 8 is a flowchart showing an imaging routine RT4, which is another example of a routine executed by the control unit 27. The imaging routine RT4 differs from the imaging routine RT1 described in Figure 6 in that it includes steps S402 and S403, but proceeds in the same way in other respects, so some of the description will be omitted.

制御部２７は、撮像ルーチンＲＴ４を開始すると、ユーザーからの撮像指示を受け付けたか否かを判定する（ステップＳ４０１）。 When the control unit 27 starts the imaging routine RT4, it determines whether or not an imaging instruction has been received from the user (step S401).

ステップＳ４０１において、制御部２７は、ユーザーの発話に基づく撮像指示又はユーザーの接触操作に基づく撮像指示を受け付ける。例えば、制御部２７は、マイク１５から入力された、ユーザーの発話による音声について音声認識を行い、例えばウェイクワードに続いて撮像指示を示す所定の音声コマンドを認識した場合に、ユーザーからの撮像指示を受け付けたと判定する。例えば、制御部２７は、タッチパネルディスプレイ１７のタッチパネルへの接触操作による撮像指示を認識した場合に、撮像指示を受け付けたと判定する。 In step S401, the control unit 27 accepts an imaging instruction based on the user's speech or a touch operation by the user. For example, the control unit 27 performs voice recognition on the voice spoken by the user input from the microphone 15, and when the control unit 27 recognizes, for example, a wake word followed by a predetermined voice command indicating an imaging instruction, it determines that an imaging instruction from the user has been accepted. For example, the control unit 27 determines that an imaging instruction has been accepted when it recognizes an imaging instruction by a touch operation on the touch panel of the touch panel display 17.

制御部２７は、ステップＳ４０１において、撮像指示を受け付けたと判定する（ステップＳ４０１：ＹＥＳ）と、受け付けた撮像指示がユーザーの発話に基づく撮像指示であるか否かを判定する（ステップＳ４０２）。ステップＳ４０２において、例えば、制御部２７は、ステップＳ４０１において音声認識を実行していた場合に、ユーザーの発話に基づく撮像指示であると判定する。 When the control unit 27 determines in step S401 that an image capture instruction has been received (step S401: YES), the control unit 27 determines whether the received image capture instruction is an image capture instruction based on the user's speech (step S402). In step S402, for example, if the control unit 27 has performed voice recognition in step S401, the control unit 27 determines that the image capture instruction is based on the user's speech.

制御部２７は、ステップＳ４０２において発話による撮像指示であると判定する（ステップＳ４０２：ＹＥＳ）と、撮像指示を受け付けた時点から遡って、抽出すべき画像を特定するための時間である第１時間をユーザーの接触操作による撮像指示を受け付けた場合よりも長く設定する（ステップＳ４０３）。 When the control unit 27 determines in step S402 that the imaging instruction is made by speech (step S402: YES), it sets the first time, which is the time for identifying the image to be extracted, going back from the time when the imaging instruction was received, to be longer than when the imaging instruction is received by the user's touch operation (step S403).

ステップＳ４０３において、例えば、音声認識によるユーザーからの撮像指示の認識に係る時間が、タッチパネルへの接触操作の認識にかかる時間を超える分だけ、第１時間を長く設定する。 In step S403, the first time is set to be longer by the amount of time it takes for the user's image capture instruction to be recognized by voice recognition to exceed the time it takes for a touch operation on the touch panel to be recognized, for example.

制御部２７は、ステップＳ４０２において、ユーザーの発話に基づく撮像指示ではないと判定した場合（ステップＳ４０２：ＮＯ）、又はステップＳ４０３の実行後、第１時間遡って走行履歴を参照する（ステップＳ４０４）。その後、制御部２７は、画像抽出サブルーチンを実行して撮像画像として画像を抽出する（ステップＳ４０５）。 If the control unit 27 determines in step S402 that the image capture instruction is not based on the user's speech (step S402: NO), or after executing step S403, the control unit 27 refers to the driving history going back a first time (step S404). After that, the control unit 27 executes an image extraction subroutine to extract an image as a captured image (step S405).

ステップＳ４０５において、例えば、図６に示した画像抽出サブルーチンＲＴ２又は図７に示した画像抽出サブルーチンＲＴ３等のサブルーチンが実行される。 In step S405, a subroutine such as the image extraction subroutine RT2 shown in FIG. 6 or the image extraction subroutine RT3 shown in FIG. 7 is executed.

制御部２７は、ステップＳ４０５の実行後、サーバ等の外部装置に抽出した画像を送信し（ステップＳ４０６）、撮像ルーチンＲＴ４を終了して新たに撮像ルーチンＲＴ４を繰り返す。 After executing step S405, the control unit 27 transmits the extracted image to an external device such as a server (step S406), ends the imaging routine RT4, and repeats a new imaging routine RT4.

撮像ルーチンＲＴ４によれば、ユーザーが撮像指示を行う際の操作方法に応じて適切に第１時間を設定することができる。従って、例えば音声認識に要する時間が接触操作の認識に要する時間よりも長い場合でも、車両Ｍが設定地点に位置していた時点に基づいて、撮像画像を抽出することができる。従って、ユーザーが撮像を希望する風景が映った画像を抽出する確率を高めることができる。 According to the imaging routine RT4, the first time can be appropriately set according to the operation method used by the user when issuing an imaging instruction. Therefore, even if the time required for voice recognition is longer than the time required for recognition of a touch operation, for example, an image can be extracted based on the time when the vehicle M was located at the set point. This increases the probability of extracting an image showing the scenery the user wishes to capture.

なお、撮像ルーチンＲＴ４ステップＳ４０５において、例えば、第１時間遡って走行履歴を参照しても車両Ｍが設定地点に位置していなかった場合（ステップＳ２０１：ＮＯ、又はステップＳ３０１：ＮＯ）であって、ユーザーの発話に基づく撮像指示が受付けられていた場合（ステップＳ４０２：ＹＥＳ）には、サブルーチンにおける第２時間（ステップＳ２０４又はステップＳ３０４）の長さについても、ユーザーの接触操作に基づく指示が受付けられていた場合よりも長く設定されてもよい。 In addition, in step S405 of the imaging routine RT4, for example, if the vehicle M is not located at the set location even when the driving history is referenced going back to the first time (step S201: NO or step S301: NO), and an imaging instruction based on the user's speech has been accepted (step S402: YES), the length of the second time in the subroutine (step S204 or step S304) may also be set to be longer than when an instruction based on the user's touch operation has been accepted.

それによって、車両Ｍが設定地点に位置していなかった場合であっても、ユーザーが撮像指示を行う際の操作方法に応じて適切に第２時間を設定することができる。従って、例えば音声認識に要する時間が接触操作の認識に要する時間よりも長い場合でも、ユーザーが撮像を希望する風景が映った画像を抽出する確率を高めることができる。 As a result, even if the vehicle M is not located at the set location, the second time can be appropriately set according to the operation method used by the user when issuing an image capture instruction. Therefore, even if, for example, the time required for voice recognition is longer than the time required for touch operation recognition, the probability of extracting an image showing the scenery the user wishes to capture can be increased.

以上、詳細に説明したように、本実施例の撮像装置１０は、移動体と共に移動する撮像部により最近撮像された連続画像を記憶する記憶部と、ユーザー操作による撮像指示を受付ける受付部と、受付部が撮像指示を受付けた時点から第１時間遡った時点までの期間内において、移動体が予め設定された撮像地点に位置していた場合に、当該撮像地点に移動体が位置していた時点を基準とする１又は複数のタイミングで撮像部により撮像された所定数の画像を記憶部から撮像画像として抽出する抽出部と、を備える。 As described above in detail, the imaging device 10 of this embodiment includes a storage unit that stores consecutive images captured recently by an imaging unit that moves together with the moving object, a reception unit that receives an imaging instruction from a user, and an extraction unit that, if the moving object is located at a preset imaging point within a period from the time the reception unit receives the imaging instruction to a time going back a first time, extracts from the storage unit a predetermined number of images captured by the imaging unit at one or more timings based on the time when the moving object was located at the imaging point as captured images.

従って、撮像装置１０によれば、移動体が予め設定された撮像地点に位置していた場合、当該撮像地点に移動体が位置していた時点を基準とするタイミングで撮像された画像を抽出することができる。 Therefore, when a moving object is located at a preset imaging point, the imaging device 10 can extract an image captured at a timing based on the time when the moving object was located at the imaging point.

当該撮像地点に移動体が位置していた時点を基準とするタイミングで撮像された画像は、ユーザーが撮像を希望する風景が映っている画像である可能性が高い。 An image captured at a time based on the time when the moving object was located at the imaging location is likely to contain the scenery that the user wishes to capture.

従って、撮像装置１０によれば、ユーザーによる撮像指示に従って撮像する撮像装置において、ユーザーが撮像を希望する風景が映った画像を高い確率で取得することを可能とする撮像装置、撮像方法、撮像プログラム及び記録媒体を提供することができる。 Accordingly, the imaging device 10 can provide an imaging device, imaging method, imaging program, and recording medium that can capture an image of the scenery that the user wishes to capture with a high probability in an imaging device that captures images according to imaging instructions from the user.

当該第１時間として、任意の長さの時間を設定することができ、例えば、ユーザーからの撮像指示を受け付けるために必要な時間に加えて、ユーザーが撮像を希望する画像が撮像されたタイミングと、ユーザーが撮像指示を行ったタイミングとの差を考慮した十分に長い時間を設定することができる。 The first time period can be set to any length of time, for example, a sufficiently long time that takes into account the time required to accept an image capture instruction from the user, as well as the difference between the time when the image the user wishes to capture is captured and the time when the user issues the image capture instruction.

なお、上記の実施例において、撮像装置１０は、ユーザーからの撮像指示をタッチパネルディスプレイ１７を介して受け付けることが可能である場合について説明したが、これに限られない。例えば、撮像装置１０は、タッチパネルディスプレイ１７に接続されていなくともよい。例えば、車両Ｍにタッチパネルディスプレイ１７が備えられていなくともよい。例えば、撮像装置１０は、音声認識のみによって撮像指示を受け付けても良い。また、例えば、撮像装置１０は、音声認識に加えて、例えば、タッチパネルディスプレイではないプッシュボタンを用いたボタン操作による撮像指示を受け付け可能に構成されていてもよい。 In the above embodiment, the imaging device 10 is described as being capable of receiving imaging instructions from a user via the touch panel display 17, but this is not limiting. For example, the imaging device 10 does not need to be connected to the touch panel display 17. For example, the vehicle M does not need to be equipped with a touch panel display 17. For example, the imaging device 10 may receive imaging instructions only through voice recognition. Also, for example, the imaging device 10 may be configured to be able to receive imaging instructions by button operation using, for example, a push button that is not a touch panel display, in addition to voice recognition.

なお、上記の実施例において、撮像装置１０は、大容量記憶装置２５が有する画像一時保存部２５Ｃに保存されている画像から撮像画像を抽出する例について説明したが、これに限られない。例えば、撮像装置１０は、動画記憶部２５Ｂに逐次記憶されて一定時間保持されている動画から、撮像画像を抽出してもよい。 In the above embodiment, the imaging device 10 extracts captured images from images stored in the temporary image storage unit 25C of the large-capacity storage device 25, but this is not limiting. For example, the imaging device 10 may extract captured images from videos that are sequentially stored in the video storage unit 25B and held for a certain period of time.

なお、上記の実施例において、撮像画像として抽出した画像により静止画を生成する例について説明したが、これに限られない。撮像装置１０は、例えば、撮像画像として抽出した複数のフレーム画像からなる動画を生成してもよい。 In the above embodiment, an example of generating a still image from an image extracted as a captured image has been described, but the present invention is not limited to this. For example, the imaging device 10 may generate a video made up of a plurality of frame images extracted as captured images.

なお、上記の実施例において、撮像装置１０は、抽出した撮像画像をサーバに送信する例について説明したが、これに限られない。撮像装置１０は、抽出した撮像画像を、ユーザーが保有する端末等の他の外部装置に送信してもよく、記憶部に保持してもよい。また、撮像装置１０は、抽出した撮像画像を、移動体に備えられたディスプレイに表示してもよい。 In the above embodiment, the imaging device 10 transmits the extracted captured image to a server, but this is not limited to the above example. The imaging device 10 may transmit the extracted captured image to another external device, such as a terminal owned by the user, or may store the image in a storage unit. The imaging device 10 may also display the extracted captured image on a display provided on a moving object.

上述した実施例における構成及びルーチンは例示に過ぎず、用途等に応じて適宜選択及び変更可能である。 The configurations and routines in the above-described embodiments are merely examples and can be selected and modified as appropriate depending on the application, etc.

１０撮像装置
１１前方カメラ
１３側方カメラ
１５マイク
１７タッチパネルディスプレイ
１９ＧＮＳＳ受信機
２１システムバス
２３入力部
２４センサ
２５大容量記憶装置
２５Ａ地図情報ＤＢ
２５Ｂ動画記憶部
２５Ｃ画像一時保存部
２７制御部
２９出力部
３１送受信部 10 Imaging device 11 Front camera 13 Side camera 15 Microphone 17 Touch panel display 19 GNSS receiver 21 System bus 23 Input unit 24 Sensor 25 Large-capacity storage device 25A Map information DB
25B: Video storage unit 25C: Image temporary storage unit 27: Control unit 29: Output unit 31: Transmitting/receiving unit

Claims

a storage unit that stores consecutive images captured recently by an imaging unit that moves together with the moving object;
a reception unit that receives an image capture instruction by a user operation;
an extracting unit that extracts, when the moving object is located at a preset imaging point within a period from the time when the accepting unit accepts an imaging instruction to a time point going back a first time, from the storage unit as captured images, a predetermined number of images captured by the imaging unit at one or more timings based on the time when the moving object was located at the imaging point;
An imaging device comprising:

a position specifying unit that specifies a position on an electronic map corresponding to a current position of the moving object,
2. The imaging device according to claim 1, wherein the extraction unit extracts, as captured images, from the storage unit, a predetermined number of images captured by the imaging unit within a predetermined time width based on a point in time when the position identified by the position identification unit was located at the imaging point previously set in the electronic map.

a position specifying unit that specifies a position on an electronic map corresponding to a current position of the moving object,
2. The imaging device according to claim 1, wherein the extraction unit extracts, as captured images, from the storage unit, a predetermined number of images captured by the imaging unit when the position identified by the position identification unit is located within a predetermined distance based on the imaging point previously set in the electronic map.

the reception unit receives the image capture instruction based on a speech and a touch operation of the user;
4. The imaging device according to claim 1, wherein the extraction unit sets the first time longer when the reception unit receives the imaging instruction based on the utterance than when the reception unit receives the imaging instruction based on the contact operation.

The imaging device according to any one of claims 1 to 4, wherein the extraction unit extracts, from the storage unit, as captured images, a predetermined number of images captured by the imaging unit at a timing that is a second time prior to the time that the imaging instruction was received, when the moving object was not located at a preset imaging point within a period from the time that the reception unit received the imaging instruction to the time that is the first time prior.

the reception unit receives the image capture instruction based on a speech and a touch operation of the user;
6. The imaging device according to claim 5, wherein, when the moving body is not located at a predetermined imaging point within a period from the time when the reception unit receives an imaging instruction to the time going back the first time, the extraction unit sets the second time longer when the reception unit receives the imaging instruction based on the utterance than when the reception unit receives the imaging instruction based on the contact operation.

The imaging device according to any one of claims 1 to 6, wherein the extraction unit extracts one image captured by the imaging unit at one timing based on the time when the moving object was located at the imaging point.

The imaging device according to any one of claims 1 to 7, wherein the preset imaging points include points that are set as points with good scenery.

The imaging device according to any one of claims 1 to 8, further comprising a transmission unit that transmits the image extracted by the extraction unit to an external device.

An imaging method performed by an imaging device, comprising:
a storage step of storing in a storage unit consecutive images captured recently by an imaging unit moving together with the moving object;
a receiving step of receiving an image capturing instruction by a user operation;
an extraction step of extracting, when the moving object is located at a preset imaging point within a period from the time when the imaging instruction is received in the receiving step to a time going back a first time, from the storage unit as captured images, a predetermined number of images captured by the imaging unit at one or more timings based on the time when the moving object was located at the imaging point;
An imaging method comprising:

An imaging program executed by an imaging apparatus including a computer, the computer comprising:
a storage step of storing in a storage unit consecutive images captured recently by an imaging unit moving together with the moving object;
a receiving step of receiving an image capturing instruction by a user operation;
an extraction step of extracting, when the moving object is located at a preset imaging point within a period from the time when the imaging instruction is received in the receiving step to a time going back a first time, from the storage unit as captured images, a predetermined number of images captured by the imaging unit at one or more timings based on the time when the moving object was located at the imaging point;
An imaging program that executes the above.

A computer-readable recording medium storing the imaging program according to claim 11.