JP6281737B2 - 画像処理装置、画像処理システム、画像処理方法及びプログラム - Google Patents

Description

本発明は、移動体を視点とした撮影画像を編集する画像処理装置、画像処理システム、画像処理方法及びプログラムに関する。

移動体を視点とした撮影、つまり、撮影者（移動体）が移動しながら撮影を行う場合には、撮影者自体に装着するカメラ装置（ウェアラブルカメラ）を使用することがあるが、ウェアラブルカメラは、その小型軽量化により電池容量が小さく、長時間の連続撮影（常時の動画撮影）には不向きであるために一定時間間隔毎のインターバル撮影を行うようにしている（特許文献１参照）。

特開２００４−３５６９７０号公報

しかしながら、ウェアラブルカメラにあっては、撮影者（移動体）を視点とした撮影であり、その視点（高さ）も固定されているためにウェアラブルカメラによる画像だけでは画像全体として単調なものとなることがある。

本発明の課題は、移動体を視点に間欠撮影された画像を主体とした映像であっても全体としては変化に富んだものを提供できるようにすることである。

上述した課題を解決するために本発明の画像処理システムは、
移動体に装着され、間欠的な撮影を行うと共に、撮影した時刻を表す時刻情報および撮影した位置を表す位置情報を発生する第１の撮像手段と、
前記移動体の移動経路に対応付けた複数の設置位置にそれぞれ設けられ、撮影時刻を計時しながら継続的な撮影を行う複数の第２の撮像手段と、
前記第１の撮像手段が間欠的に撮影した第１の撮影画像、前記時刻情報および前記位置情報を取得する第１の画像取得手段と、
前記複数の第２の撮像手段により前記複数の設置位置で各々撮影され、前記撮影時刻を含む複数の第２の撮影画像を取得する第２の画像取得手段と、
前記複数の第２の撮像手段の各設置位置の内、何れかの設置位置の付近を前記移動体が通過する際に前記第１の撮像手段の間欠的な撮影が為されていない時間帯を前記第１の画像取得手段により取得された前記時刻情報と前記位置情報とから特定する特定手段と、
前記第２の画像取得手段により取得された前記撮影時刻を含む複数の第２の撮影画像の内、前記何れかの設置位置で撮影された第２の撮影画像の中から前記特定手段により特定された時間帯の画像部分を抽出する抽出手段と、
前記移動体が前記何れかの設置位置を通過する前に前記第１の画像取得手段が取得した第１の撮影画像と、当該設置位置を通過した後に前記第１の画像取得手段が取得した第１の撮影画像との間に、前記抽出手段によって抽出された画像部分を挿入した編集映像を生成する生成手段と、
を備えたことを特徴とする。

上述した課題を解決するために本発明の画像処理装置は、
移動体に装着され、間欠的な撮影を行う第１の撮像手段により撮影された第１の撮影画像、当該第１の撮影画像を撮影した時刻を表す時刻情報および撮影した位置を表す位置情報を取得する第１の画像取得手段と、
前記移動体の移動経路に対応付けた複数の設置位置にそれぞれ設けられ、撮影時刻を計時しながら継続的な撮影を行う複数の第２の撮像手段を備え、これら複数の第２の撮像手段により前記複数の設置位置で各々撮影され、前記撮影時刻を含む複数の第２の撮影画像を取得する第２の画像取得手段と、
前記複数の第２の撮像手段の各設置位置の内、何れかの設置位置の付近を前記移動体が通過する際に前記第１の撮像手段の間欠的な撮影が為されていない時間帯を前記第１の画像取得手段により取得された前記時刻情報と前記位置情報とから特定する特定手段と、
前記第２の画像取得手段により取得された前記撮影時刻を含む複数の第２の撮影画像の内、前記何れかの設置位置で撮影された第２の撮影画像の中から前記特定手段により特定された時間帯の画像部分を抽出する抽出手段と、
前記移動体が前記何れかの設置位置を通過する前に前記第１の画像取得手段が取得した第１の撮影画像と、当該設置位置を通過した後に前記第１の画像取得手段が取得した第１の撮影画像との間に、前記抽出手段によって抽出された画像部分を挿入した編集映像を生成する生成手段と、
を備えたことを特徴とする。

上述した課題を解決するために本発明の画像処理方法は、
画像処理装置が、
移動体に装着され、間欠的な撮影を行う第１の撮像装置により撮影された第１の撮影画像、当該第１の撮影画像を撮影した時刻を表す時刻情報および撮影した位置を表す位置情報を取得し、
前記移動体の移動経路に対応付けた複数の設置位置にそれぞれ設けられ、撮影時刻を計時しながら継続的な撮影を行う複数の第２の撮像装置により各々撮影され、前記撮影時刻を含む複数の第２の撮影画像を取得し、
前記複数の第２の撮像装置の各設置位置の内、何れかの設置位置の付近を前記移動体が通過する際に前記第１の撮像装置の間欠的な撮影が為されていない時間帯を前記時刻情報と前記位置情報とから特定し、
前記撮影時刻を含む複数の第２の撮影画像の内、前記何れかの設置位置で撮影された第２の撮影画像の中から特定された時間帯の画像部分を抽出し、
前記移動体が前記何れかの設置位置を通過する前に取得した第１の撮影画像と、当該設置位置を通過した後に取得した第１の撮影画像との間に、抽出された画像部分を挿入した編集映像を生成する、
ことを特徴とする。

上述した課題を解決するために本発明のプログラムは、
画像処理装置に搭載されるコンピュータに、
移動体に装着され、間欠的な撮影を行う第１の撮像装置により撮影された第１の撮影画像、当該第１の撮影画像を撮影した時刻を表す時刻情報および撮影した位置を表す位置情報を取得する第１の画像取得ステップと、
前記移動体の移動経路に対応付けた複数の設置位置にそれぞれ設けられ、撮影時刻を計時しながら継続的な撮影を行う複数の第２の撮像装置を備え、これら複数の第２の撮像装置により前記複数の設置位置で各々撮影され、前記撮影時刻を含む複数の第２の撮影画像を取得する第２の画像取得ステップと、
前記複数の第２の撮像装置の各設置位置の内、何れかの設置位置の付近を前記移動体が通過する際に前記第１の撮像装置の間欠的な撮影が為されていない時間帯を前記第１の画像取得ステップで取得された前記時刻情報と前記位置情報とから特定する特定ステップと、
前記第２の画像取得ステップで取得された前記撮影時刻を含む複数の第２の撮影画像の内、前記何れかの設置位置で撮影された第２の撮影画像の中から前記特定ステップにより特定された時間帯の画像部分を抽出する抽出ステップと、
前記移動体が前記何れかの設置位置を通過する前に前記第１の画像取得ステップで取得した第１の撮影画像と、当該設置位置を通過した後に前記第１の画像取得ステップで取得した第１の撮影画像との間に、前記抽出ステップで抽出された画像部分を挿入した編集映像を生成する生成ステップと、
を実行させることを特徴とする。

本発明によれば、移動体を視点に間欠撮影された画像を主体として、その移動体を客観的な視点から見た画像を含めることができ、画像全体として変化に富んだ画像を提供することができる。

画像処理システムを説明するための図。 ウェアラブルカメラ１（及び設置カメラ２）の基本的な構成要素を示したブロック図。 ユーザ端末装置６（及び管理サーバ装置５）の基本的な構成要素を示したブロック図。 （１）、（２）は、ウェアラブルカメラ１でインターバル撮影された第１の撮影画像（視点移動の撮影画像）を主体とし、設置カメラ２でそのマラソンランナを客観的な視点から撮影された第２の撮影画像（視点固定の撮影画像）を含める画像編集を説明するための図。 （１）〜（４）は、第１の撮影画像（視点移動の撮影画像）と第２の撮影画像（視点固定の撮影画像）の具体例を示した図。 電源投入に応じて実行開始されるウェアラブルカメラ１の全体動作の概要を示したフローチャート。 マラソン終了後にユーザ端末装置６で実行される画像処理を示したフローチャート。 マラソン終了後に管理サーバ装置５で実行される画像処理を示したフローチャート。 編集結果の先頭部分又は末尾部分に付加される経路付き地図を例示した図。 第２実施形態の特徴部分を説明するための図。 第２実施形態において設置カメラ２の動作概要を示したフローチャート。 第１及び第２実施形態の変形例を説明するための図として、ウェアラブルカメラ１とリスト型情報装置（腕時計）７の構成要素を示したブロック図。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（実施形態１）
先ず、図１〜図９を参照して本発明の第１実施形態を説明する。
図１は、画像処理システムを説明するための図である。
この画像処理システムは、競技（マラソン大会）で撮影された画像を編集処理するもので、被写体としての移動体（参加者：マラソンランナ）の帽子などに装着されたウェアラブルカメラ１と、マラソンコースに沿って複数の箇所に設置された設置カメラ（定点カメラ）２を備え、マラソンランナを視点としてウェアラブルカメラ１による間欠的な複数回の撮影動作（間欠撮影：インターバル撮影）された一連の画像（視点移動の撮影画像）を主体とし、設置カメラ２によってそのマラソンランナを客観的な視点から撮影された画像（視点固定の撮影画像）を含めるような画像編集を行うようにしている。

画像処理システムは、上述のウェアラブルカメラ１、設置カメラ２を備えるほか、更に、この設置カメラ２は、公衆無線通信網３及びインターネット４を介して管理サーバ装置５に接続可能となっており、この管理サーバ装置５は、インターネット４を介してユーザ端末装置６に接続可能となっている。ユーザ端末装置６は、マラソンランナ（ユーザ）が所有しているノート型ＰＣ（パーソナルコンピュータ）又はタブレット端末、多機能型携帯電話機（スマートフォン）などである。

ウェアラブルカメラ１は、小型軽量化された撮像装置であり、マラソンランナの帽子などに装着されることによってマラソンランナの前方をインターバル撮影するものである。例えば、インターバル撮影として、所定時間（例えば、１５秒間）の動画撮影を一定時間間隔（６０秒間隔）毎に行うようにしている。なお、一定時間毎に動画撮影する場合に限らず、一定時間毎に複数枚の静止画を高速連続撮影するようにしてもよい。また本実施形態においては、撮影動作の開始／停止は、マラソンランナ自身によるキー操作（図示省略）に応じて制御するようにしているが、キー操作に限らず、外部からの無線電波によって撮影動作の開始／停止を指示する指示信号を受信した場合に、その指示信号に応じて撮影動作を開始したり停止したりするようにしてもよく、また、マラソンの開始時刻から自己がゴールするまでの予想時刻を予め設定しておき、その開始時刻、終了時刻の到達した際に撮影動作を開始したり停止したりするようにしてもよい。

設置カメラ２は、移動体マラソンランナが移動する位置（マラソンコースの所定位置）を撮影エリアとして撮影する撮像装置であり、高画質・広画角で常時撮影を行うようにしている。設置カメラ２は、大会開催者側が用意して設置したものであるが、例えば、参加者個人が任意の位置に設置したカメラであってもよい。また、設置カメラ２は、外部から撮影開始／停止を制御する指示信号を受信した場合に、その指示信号に応じて撮影動作を開始したり停止したりするようにしているが、全てのマラソンランナがその設置位置を通過し始めてから通過し終わるまでの予想時間帯を予め設定しておき、その予想時間帯に応じて撮影動作を開始したり停止したりするようにしてもよい。また、撮影動作として常時、動画撮影を行うようにしているが、動画撮影に限らず、複数枚の静止画を高速連続撮影するようにしてもよい。

マラソンコースに沿って複数の箇所に設置された設置カメラ２として、図示の例では、スタート地点の撮影エリアに設置されている設置カメラ２と、スタート地点から所定距離、例えば、５ｋｍ付近の撮影エリアに設置されている設置カメラ２と、１０ｋｍ付近の撮影エリアに設置されている設置カメラ２１と、ゴール地点の撮影エリアに設置されている設置カメラ２１を示しているが、これに限らないことは勿論である。また、例えば、各撮影エリアに設置される設置カメラ２は一台に限らず、例えば、一つの撮影エリア内に、正面向き撮影用や横向き撮影用のように撮影する方向や撮影の仕方が異なる複数台の設置カメラ２をそれぞれ設置するようにしてもよい。この場合、一台の設置カメラ２が複数の撮像部を備えるようにしてもよい。

図２は、ウェアラブルカメラ１（及び設置カメラ２）の基本的な構成要素を示したブロック図である。なお、図中、括弧内の各符号は設置カメラ２の構成要素を示している。
ウェアラブルカメラ１は、小型軽量化された筺体の背面部に装着部（図示省略）を有し、帽子の前面部などに装着可能なもので、静止画像のほかに動画像の撮影も可能なデジタルカメラ部（撮像部）を備え、撮像機能、計時機能などの基本的な機能のほかに、自己位置取得機能、通信機能などを備えている。制御部１１は、電源部（二次電池）１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じてこのウェアラブルカメラ１の全体動作を制御するもので、この制御部１１には図示しないＣＰＵ（中央演算処理装置）やメモリのほかに計時部１１ａが設けられている。

記憶部１３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、後述する図６に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ１３ａと、このウェアラブルカメラ１が動作するために必要となる各種の情報（例えば、フラグ、タイマなど）を一時的に記憶するワークメモリ１３ｂと、撮影画像を記録保存する画像メモリ１３ｃなどを有している。なお、記憶部１３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側における記憶領域を含むものであってもよい。

操作部１４は、押しボタン式のキーとして、図示省略の電源キー、インターバル撮影の開始／停止を指示する開始／停止キーなどを備え、制御部１１は、この操作部１４から操作キーに対応して出力される入力操作信号に応じた処理を行う。撮像部１５は、光学レンズからの被写体像が撮像素子（ＣＣＤやＣＭＯＳなど）に結像されることにより被写体を高精細に撮影可能なカメラ部を構成するもので、撮影レンズ、撮像素子、各種のセンサなどを有している。画像処理部１６は、撮像素子によって光電変換された画像信号（アナログ値の信号）を色分離やＲＧＢの色成分毎のゲイン調整などを行った後、デジタル値のデータに変換して色補間処理（デモザイク処理）などを施したり、画像データを圧縮したりする。

通信処理部１７は、有線ＬＡＮ（Local Area Network）やＵＳＢ（Universal
Serial Bus）などの有線接続、無線ＬＡＮであるＷＩ-Ｆｉ（ワイファイ、Wireless Fidelity）、ブルートゥス（Bluetooth：登録商標）などの無線接続を含む構成となっており、ユーザ端末装置６などとの間で画像データなどの送受信を行うようにしている。自己位置情報取得部１８は、ＧＰＳ（Global Positioning System）ユニットであり、インターバル撮影の開始時から終了時までの間、インターバル撮影に同期して一定時間（６０秒間隔）毎に自己の現在の位置情報（経緯度情報）を取得するもので、インターバル撮影された撮影画像は、一定時間（６０秒間隔）毎に自己位置情報取得部１８によって得られた位置情報（撮影位置を示す経緯度情報）と計時部１１ａによって得られた現在の時刻情報（撮影タイミングを示すタイム情報）がそれぞれ付加されて画像メモリ１３ｃに記録保存される。なお、タイム情報としては、現在の時刻情報に限らず、マラソンスタート時からのタイマ計測時間（経過時間）であってもよい。

設置カメラ２の基本的な構成要素については、ウェアラブルカメラ１と略同様である。
すなわち、設置カメラ２は、撮像機能、計時機能などの基本的な機能のほかに通信機能などを備え、制御部２１、電源部２２、記憶部２３、操作部２４、撮像部２５、画像処理部２６、通信処理部２７を有し、記憶部２３にはプログラムメモリ２３ａ、ワークメモリ２３ｂ、画像メモリ２３ｃを有している。設置カメラ２は、その撮像部２５によって常時撮影（動画撮影）を行うと共に、この動画撮影された撮影画像は、一定時間（１秒間隔）毎に制御部２１内の計時部２１ａによって得られた現在の時刻情報（撮影タイミング）が付加されて記憶部２３内に記録保存される。なお、タイム情報としては、現在の時刻情報に限らず、マラソンスタート時からのタイマ計測時間（経過時間）であってもよい。

図３は、ユーザ端末装置６（及び管理サーバ装置５）の基本的な構成要素を示したブロック図である。なお、図中、括弧内の各符号は管理サーバ装置５の構成要素を示している。
ユーザ端末装置６は、ウェアラブルカメラ１によって撮影された画像（第１の撮影画像：視点移動の撮影画像）を主体とし、設置カメラ２によってそのマラソンランナを客観的な視点から撮影された画像（第２の撮影画像：視点固定の撮影画像）を含めた映像を生成する画像編集を行う画像処理機能などを備えた画像処理装置で、制御部６１を中核として、電源部６２、記憶部６３、操作部６４、表示部６５、通信処理部６６を有している。制御部６１は、電源部６２からの電力供給によって動作し、記憶部６３内の各種のプログラムに応じてこのユーザ端末装置６の全体動作を制御する中央演算処理装置である。

記憶部６３は、各種のプログラムや情報を記憶するもので、図７に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているほか、ユーザ端末装置６が動作するために必要な各種の情報（例えば、計時機能により計時された現在日時、フラグ、タイマなど）を一時的に記憶するワーク領域を有している。なお、記憶部６３は、所定の外部サーバ側の記憶領域を含むものであってもよい。通信処理部６６は、有線ＬＡＮやＵＳＢなどの有線接続、ＷＩ-Ｆｉなどの無線接続を含む構成で、ウェアラブルカメラ１に接続されたり、インターネット４を介して管理サーバ装置５に接続されたりする。

管理サーバ装置５の基本的な構成要素についてもユーザ端末装置６と略同様である。
すなわち、管理サーバ装置５は、各設置カメラ２をアクセスして第２の撮影画像（視点固定の撮影画像）を収集して、設置カメラ２毎に第２の撮影画像を記憶管理する画像管理機能と、ユーザ端末装置６からの画像要求に応答して、この第２の撮影画像の中から要求元のユーザ（マラソンランナ）が写っている画像部分（移動体の撮影画像部分）を抽出する機能と、この抽出機能が抽出した画像部分を要求元のユーザ端末装置６に対して配信する画像配信機能などを備え、制御部５１、電源部５２、記憶部５３、操作部５４、表示部５５、通信処理部５６を有する構成となっている。

図４は、ウェアラブルカメラ１によってインターバル撮影された第１の撮影画像（視点移動の撮影画像）を主体とし、設置カメラ２によってそのマラソンランナを客観的な視点から撮影された第２の撮影画像（視点固定の撮影画像）を含める画像編集を説明するための図である。
図４（１）は、マラソンランナが図中、左側から右側方向に走行している場合に、ウェアラブルカメラ１によるインターバル撮影の実行タイミングを示した図である。
ここで、インターバル撮影としては、所定時間（例えば、１５秒）の動画撮影を一定時間（６０秒間隔）毎に行う場合を示している。なお、図中、パルス波形のような立ち上がり部分（ハイレベル部分）は、動画撮影を行っている期間を示し、また、ローレベル部分は、動画撮影を行っていない期間を示している。このようなインターバル撮影によって撮影された撮影画像に、インターバル撮影に同期して６０秒間隔毎に自己位置情報取得部１８によって得られた位置情報Ｐ１、Ｐ２、…、Ｐ２５、Ｐ２６、…と、計時部１１ａによって得られた時刻情報Ｔ１、Ｔ２、…、Ｔ２５、Ｔ２６、…を対応付けて付加するようにしている。

図４（２）は、第２の撮影画像の中からそのウェアラブルカメラ１（マラソンランナ）が写し込まれている画像部分を抽出する場合に、どの部分を挿入対象として抽出するかを示した図である。ここで、本実施形態においては、設置カメラ２の設置位置付近でウェアラブルカメラ１による撮影が行われていないことを条件に、その設置カメラ２による第２の撮影画像の中から挿入対象を抽出するようにしている。図示の例では、５ｋｍ地点の設置カメラ２の通過時にインターバル撮影が行われていない場合を示し、インターバル撮影時の位置情報が“Ｐ２５”から“Ｐ２６”に移る間に、５ｋｍ地点の設置カメラ２を通過した場合を示している。

ここで、平均走行速度として略時速１２ｋｍで走行している場合に、インターバル撮影時の時刻情報が“Ｔ２５”のとき（スタート時から２５分後）には、その設置カメラ２の設置位置付近に到着し、インターバル撮影時の時刻情報が“Ｔ２６”のとき（スタート時から２６分後）には、その設置カメラ２の設置位置付近から遠ざかった場合であり、この時刻情報が“Ｔ２５”から“Ｔ２６”までの期間、その設置カメラ２によって撮影された画像部分（例えば、３０秒間の画像部分）を挿入対象として抽出するようにしている。

この場合、第１の撮影画像の位置情報及び時刻情報と設置カメラ２の設置位置（存在位置）とを比較することによって、第１の撮影画像の各位置情報の中で設置カメラ２の設置位置を基準にその前後に存在する位置範囲（“Ｐ２５”〜“Ｐ２６”）を特定すると共に、この位置範囲に対応する時間帯（“Ｔ２５”〜“Ｔ２６”）を設置カメラ２を通過した時間として特定し、第２の撮影画像の中からその特定時間に相当する画像部分をそのマラソンランナが写し込まれている画像部分（移動体の撮影画像部分）として抽出するようにしている。図４（３）は、第１の撮影画像の中に、抽出した画像部分を挿入する編集処理を行った状態を示した図である。この場合、第１の撮影画像の（Ｐ２５、Ｔ２５）と（Ｐ２６、Ｔ２６）の間が編集箇所となり、その編集箇所に挿入対象の画像部分（第２の撮影画像から抽出された画像部分）を挿入した映像を生成する編集処理が行われる。

図５は、ウェアラブルカメラ１によってインターバル撮影された第１の撮影画像（視点移動の撮影画像）と、設置カメラ２によって撮影された第２の撮影画像（視点固定の撮影画像）の具体例を示した図である。
図５（１）は、あるタイミングでウェアラブルカメラ１によって撮影された第１の撮影画像を示し、図５（２）は、画像における左上に写っている建造物の全体が収まり、かつマラソンランナをその横方向から撮影することが可能なボジションに設置されている設置カメラ２による第２の撮影画像を示している。図５（３）は、他のタイミングで撮影された第１の撮影画像を示し、図５（４）は、ゴール地点の横断幕の全体が収まり、かつマラソンランナをその正面方向から撮影することが可能なボジションに設置されている設置カメラ２による第２の撮影画像を示している。

次に、第１実施形態における画像処理システムの動作概念を図６〜図８に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。

図６は、ウェアラブルカメラ１の全体動作の概要を示したフローチャートであり、電源投入に応じて実行開始される。
先ず、ウェアラブルカメラ１の制御部１１は、マラソンランナがスタート地点を出発するに当たり、撮影動作の開始／停止キーが操作されることによって撮影開始が指示されたかを調べる（ステップＡ１）。この場合、上述したように外部（例えば、管理サーバ装置５）からの無線電波によって撮影動作の開始を指示する撮影指示信号を受信したかを調べたり、予め設定したマラソンの開始時刻に到達したかを調べたりしてもよい。いま、撮影開始が指示されたときには（ステップＡ１でＹＥＳ）、自己位置情報取得部１８に電源供給を行い、撮像部１５をスリープ状態とする動画撮影記録の待機状態となる（ステップＡ２）。

この待機状態において、インターバル撮影の開始タイミング（６０秒間隔）となったかを調べ（ステップＡ３）、開始タイミングとなるまで待機状態（ステップＡ２）に戻るが、開始タイミングとなったときには（ステップＡ３でＹＥＳ）、自己位置情報取得部１８から位置情報を撮影位置を示す情報として取得すると共に（ステップＡ４）、計時部１１ａから現在の時刻情報を撮影タイミングを示す情報として取得する（ステップＡ５）。そして、取得した位置情報及び時刻情報を画像メモリ１３ｃに記録保存する処理（ステップＡ６）を行った後、撮像部１５に電源を供給して起動させ（ステップＡ７）、所定時間（１５秒間）分の動画撮影を行い、その動画像を第１の撮影画像（視点移動の撮影画像）として画像メモリ１３ｃに記録保存する処理を行う（ステップＡ８）。これによって画像メモリ１３ｃには位置情報及び時刻情報に対応付けて第１の撮影画像が記録保存される。

そして、ゴール地点の到達に応じて撮影動作の開始／停止キーが操作されて撮影停止が指示されたかを調べる（ステップＡ９）。この場合、上述したように外部（例えば、管理サーバ装置５）からの無線電波によって撮影動作の停止を指示する指示信号を受信したかを調べたり、予め設定したマラソン停止時刻に到達したかを調べたりしてもよい。いま、撮影停止が指示されなければ（ステップＡ９でＮＯ）、上述の待機状態（ステップＡ２）に戻り、以下、インターバル撮影の開始タイミング（６０秒間隔）になる毎に、上述の撮影に関する動作を繰り返す（ステップＡ２〜Ａ９）。ここで、撮影動作の停止が指示されたときには（ステップＡ９でＹＥＳ）、図６のフローの終了となる。

このようなマラソンコースに沿って複数の箇所に設置された各設置カメラ２は、撮像部２５がマラソン中に常時動作して動画像を撮影すると共に、動画撮影された画像を第２の撮影画像（視点固定の撮影画像）として記憶部２３内に記録保存する際に一定時間（例えば、１秒間隔）毎に現在の時刻情報をその撮影タイミングを示す情報として付加して記録保存するようにしている。この場合、各設置カメラ２の撮影開始／停止は、予め設定した時間情報に基づいて所定の時間差を持って順次行うように制御するようにしてもよい。

図７は、マラソン終了後にユーザ端末装置６側で実行される画像処理を示したフローチャートであり、図８は、マラソン終了後に管理サーバ装置５側で実行される画像処理を示したフローチャートである。
先ず、ユーザ端末装置６においてその制御部６１は、自己のウェアラブルカメラ１に対して画像の送信要求を行い（図７のステップＢ１）、その要求に応じてウェアラブルカメラ１から送信されるマラソンの撮影画像（第１の撮影画像）を、それに対応付けられている位置情報及び時刻情報と共に受信取得する（ステップＢ２）。

そして、受信した第１の撮影画像と位置情報及び時刻情報を対応付けて記憶部６３に一時記憶する処理を行う（ステップＢ３）。そして、管理サーバ装置５にアクセス要求を行い（ステップＢ４）、今回一時記憶した第１の撮影画像に対応する位置情報及び時刻情報を読み出して管理サーバ装置５に対して送信する処理を行う（ステップＢ５）。次に、管理サーバ装置５から画像（設置カメラ２による第２の撮影画像）が送信されたかを調べたり（ステップＢ６）、管理サーバ装置５から画像終了信号（後述する）を受信したかを調べたりする（ステップＢ８）。

一方、管理サーバ装置５においてその制御部５１は、各設置カメラ２を順次アクセスして第２の撮影画像及び時刻情報を受信取得すると（図８のステップＣ１）、その第２の撮影画像及び時刻情報を設置カメラ２毎に記憶部５３に一時記憶する（ステップＣ２）。そして、ユーザ端末装置６からアクセス要求が有るまで待機状態となる（ステップＣ３）。ここで、ユーザ端末装置６からのアクセス要求を受信すると（ステップＣ３でＹＥＳ）、ログイン認証を行い（ステップＣ４）、正規なユーザ端末装置６からのアクセス要求ではなければ（ステップＣ５でＮＯ）、今回の要求を無視するために上述のステップＣ３に戻るが、正規なユーザ端末装置６からのアクセス要求であれば（ステップＣ５でＹＥＳ）、
第１の撮影画像対応の位置情報及び時刻情報をユーザ端末装置６から受信取得する（ステップＣ６）。

そして、管理サーバ装置５は、複数の設置カメラ２のいずれかを指定してその設置位置を取得する（ステップＣ７）。最初はスタート地点の設置カメラ２を指定してその設置位置を取得する。なお、予め管理サーバ装置５の記憶部５３に各設置カメラ２の設置位置が記憶されていれば、その設置位置を読み出し取得するようにするが、指定した設置カメラ２をアクセスしてその位置を直接受信するようにしてもよい。次に、ユーザ端末装置６から取得した第１の撮影画像対応の各位置情報と、指定した設置カメラ２の設置位置とを比較することにより（ステップＣ８）、その設置位置又はその付近（例えば、±１０ｍ）でインターバル撮影が行われたか、つまり、ユーザ端末装置６から取得した各位置情報の中に設置カメラ２の設置位置又はその付近の位置情報が含まれているかを調べる（ステップＣ９）。

ここで、設置カメラ２の設置位置又はその付近でインターバル撮影が行われていない場合には（ステップＣ９でＮＯ）、第２の撮影画像（視点固定の撮影画像）よりも第１の撮影画像（視点移動の撮影画像）の方を優先するために、ステップＣ１５に移り、全ての設置カメラ２を指定し終わったかを調べる。いま、最初の設置カメラ２を指定した場合であるから（ステップＣ１５でＮＯ）、上述のステップＣ７に戻り、次の設置カメラ２を指定した後、以下、同様の処理を行う（ステップＣ８、Ｃ９）。一方、設置カメラ２の設置位置又はその付近でインターバル撮影が行われた場合には（ステップＣ９でＹＥＳ）、つまり、同じ場所で設置カメラ２による撮影とウェアラブルカメラ１による撮影が行われた場合には、ユーザ端末装置６から第１の撮影画像対応の各位置情報及び時刻情報のうち、指定した設置カメラ２の位置近辺に相当する位置範囲を編集箇所として特定する（ステップＣ１０、Ｃ１１）。

すなわち、第１の撮影画像対応の各位置情報のうち、指定した設置カメラ２の設置位置の前後に存在する位置情報と時刻情報を読み出す（ステップＣ１０）。例えば、図４（１）に示すように、ウェアラブルカメラ１を装着したマラソンランナが５ｋｍ地点の設置カメラ２を通過した場合、その設定位置の前後に存在する位置情報と時刻情報として（Ｐ２５、Ｔ２５）と（Ｐ２６、Ｔ２６）を読み出す。そして、この前後の位置情報と時刻情報（Ｐ２５、Ｔ２５）、（Ｐ２６、Ｔ２６）の間を編集箇所として特定する（ステップＣ１１）。そして、この編集箇所の時刻情報Ｔ２５、Ｔ２６に基づいて、そのマラソンランナが設置カメラ２を通過した通過時間帯を特定する（ステップＣ１２）。例えば、時刻情報Ｔ２５からＴ２６までの時間帯（１０時００分００秒〜１０時０１分００秒）を設置カメラ２を通過した通過時間帯として特定する。

そして、管理サーバ装置５は、指定の設置カメラ２による撮影画像（第２の撮影画像）に付加されている時刻情報を参照して、上述の通過時間帯（１０時００分００秒〜１０時０１分００秒）に対応する画像部分（６０秒間の動画像）を挿入対象として読み出し取得（抽出）する（ステップＣ１３）。そして、上述のように特定した編集箇所と、通過時間帯対応の画像部分（第２の撮影画像から挿入対象として抽出された画像部分）を要求元のユーザ端末装置６に対して送信する（ステップＣ１４）。そして、次のステップＣ１５に移り、全ての設置カメラ２を指定し終わったかを調べ、指定し終わるまで上述のステップＣ７に戻り、以下、同様の動作を繰り返す（ステップＣ８〜Ｃ１５）。

これによって全ての設置カメラ２を指定し終わった場合には（ステップＣ１５でＹＥＳ）、要求元のユーザ端末装置６に対して終了指示を送信すると共に（ステップＣ１６）、ユーザ（マラソンランナ）別の経路付き地図を作成して要求元のユーザ端末装置６に送信する（ステップＣ１７）。この場合、管理サーバ装置５は、地図情報サーバ装置（図示省略）から取得した地図上にマラソンランナが走行した経路を展開するが、その経路付き地図の詳細は後述する。その後、上述のアクセス待ち状態に戻る（ステップＣ３）。

他方、ユーザ端末装置６は、管理サーバ装置５から編集箇所及び通過時間帯対応の画像部分（第２の撮影画像から挿入対象として抽出された画像部分）を受信すると（図７のステップＢ６でＹＥＳ）、その編集箇所にその画像部分を挿入した映像を生成する編集処理を行う（ステップＢ７）。この場合、例えば、図４（３）に示すように、インターバル撮影の（Ｐ２５、Ｔ２５）と（Ｐ２６、Ｔ２６）の間に、第２の撮影画像から挿入対象として抽出された画像部分が連結挿入される。また、管理サーバ装置５から終了指示を受信したときには（ステップＢ８でＹＥＳ）、その終了指示と共に受信した経路付き地図を上述の編集結果の先頭部分又は末尾部分に付加して記憶する処理（ステップＢ９）を行った後、図７のフローの終了となる。

図９は、編集結果の先頭部分又は末尾部分に付加される経路付き地図を例示した図で、ユーザ端末装置６は、マラソンランナの移動経路（マラソンコース）を展開した地図を管理サーバ装置５から取得して編集処理結果に付加する。この場合、地図上の経路に沿って、どの位置でどのカメラで撮影されたのかを示すシンボル図形が順次配置されている。図中、黒塗り矩形は、ウェアラブルカメラ１によってインターバル撮影された位置範囲を示すシンボル図形を示し、白塗り矩形は、設置カメラ２によって撮影された位置範囲を示すシンボル図形を示している。これらのシンボル図形は、管理サーバ装置５が経路付き地図を作成する際に、インターバル撮影された画像に対応付けられている位置情報に基づいて黒塗り矩形のシンボル図形を経路に沿って配置し、設置カメラ２の設置位置に基づいて白塗り矩形のシンボル図形を経路に沿って配置したものである。

以上のように、第１実施形態において画像処理システム又はユーザ端末装置６は、移動体（マラソンランナ）に装着されているウェアラブルカメラ１によるインターバル撮影によって撮影された第１の撮影画像をその撮影位置を示す位置情報と共に取得し、かつ、設置カメラ２によって撮影された第２の撮影画像の中からそのマラソンランナが写し込まれている画像部分（移動体の撮影画像部分）を挿入対象として取得してこれらを含んだ映像を生成する画像編集を行うようにしたので、移動体を視点に間欠撮影された画像を主体としてその移動体を客観的な視点から見た画像を含めることができ、ウェアラブルカメラ１の小型軽量化を維持しながら画像全体として変化に富んだ画像を提供することが可能となる。

管理サーバ装置５は、ウェアラブルカメラ１及び設置カメラ２によって撮影された撮影画像にその撮影タイミングを示す時刻情報が対応付けられている状態において、第１の撮影画像の撮影位置を示す位置情報と設置カメラ２の設置位置とを比較し、その第１の撮影画像の各位置情報の中で設置カメラ２の位置近辺の位置範囲（例えば、図４の“Ｐ２５”〜“Ｐ２６”）を特定すると共に、第１及び第２の撮影画像に対応付けられている時刻情報に基づいて、この位置範囲に対応する時間帯（例えば、図４の“Ｔ２５”〜“Ｔ２６”）をマラソンランナが設置カメラ２を通過する時間として特定し、この特定した時間に該当する画像部分を移動体の撮影画像部分として抽出するようにしたので、マラソンランナが写し込まれている画像部分（移動体の撮影画像部分）を挿入対象として適切に抽出することが可能となる。

ユーザ端末装置６は、設置カメラ２の位置近辺に相当する位置範囲が特定された場合に、その位置範囲内に第１の撮影画像が存在していないことを条件に編集処理を行うようにしたから、つまり、ウェアラブルカメラ１と設置カメラ２の撮影が重複していないことを条件に編集処理を行うが、撮影が重複した場合には第２の撮影画像を挿入した映像を生成する編集処理を行わないようにしたので、第１の撮影画像を第２の撮影画像よりも優先させることができる。したがって、第１の撮影画像の中に第２の撮影画像が挿入されるのは、設置カメラ２の位置でウェアラブルカメラ１による撮影が行われない場合となる。

ウェアラブルカメラ１は、定期的なインターバル撮影を行うと共に、インターバル毎に撮影された第１の撮影画像とインターバル毎に取得した位置情報とを対応付けるようにしたので、走行速度が略一定であれば、マラソンコースの全体を略等間隔で撮影しながらその撮影位置を記録することができる。

第１及び第２の撮影画像は、動画像であり、ユーザ端末装置６は、第１の撮影画像（動画像）に第２の撮影画像（動画像）を挿入して連続結合した映像を生成する編集処理を行うようにしたので、切れ目のない一連の動画像に編集することができる。

ユーザ端末装置６は、編集処理を行うと共にマラソンランナの移動経路（マラソンコース）を展開した経路付きの地図をユーザ端末装置６から取得して編集処理結果に付加するようにしたので、撮影画像のほか地図上でもマラソン状況を表すことができる。この場合、図９に示すように、インターバル撮影された位置範囲を示すシンボル図形、設置カメラ２によって撮影された位置範囲を示すシンボル図形を経路上に配置することによって、編集後の撮影画像は、どの位置でどのカメラで撮影されたものかを視覚的に理解することが可能となる。

（第２実施形態）
以下、この発明の第２実施形態について図１０及び図１１を参照して説明する。
なお、上述した第１実施形態の画像処理システムにおいて、ウェアラブルカメラ１及び設置カメラ２は、その撮影画像にその撮影タイミングを示す時刻情報を対応付けて付加するようにしたが、この第２実施形態においては、時刻情報の付加に代わって移動体識別情報（ユーザＩＤ、カメラＩＤ）を第２の撮影画像に付加するようにしたものである。すなわち、ウェアラブルカメラ１は、その移動体識別情報（ユーザＩＤ、カメラＩＤ）を発信し、設置カメラ２は、その移動体識別情報を受信して第２の撮影画像に対応付けて記録し、管理サーバ装置５は、第２の撮影画像の中から移動体識別情報が対応付けられている画像部分を挿入対象として抽出するようにしたものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。

図１０は、第２実施形態の特徴部分を説明するための図である。
ウェアラブルカメラ１の通信処理部１７は、無線ＬＡＮ又はブルートゥスを有し、移動体識別情報を無線電波によって常時発信するようにしている。移動体識別情報は、移動体（マラソンランナ）を識別するユーザＩＤ又はウェアラブルカメラ１を識別するカメラＩＤである。図１０（１）に示した破線の円形は、ウェアラブルカメラ１から発信される無線電波の波到達範囲（距離）を示している。設置カメラ２は、撮影動作中にその通信処理部２７がウェアラブルカメラ１からの無線電波を受信すると、つまり、その電波到達範囲内にまでウェアラブルカメラ１が接近したときには、この無線電波から移動体識別情報を取得して、撮影中の第２の撮影画像に対応付けて記録保存するようにしている。

そして、管理サーバ装置５は、設置カメラ２から第２の撮影画像を受信取得すると共に、その第２の撮影画像の中から移動体識別情報が対応付けられている画像部分を挿入対象として抽出するようにしているが、その際、図１０（２）に示すように、移動体識別情報が対応付けられている第２の撮影画像の中心からその前後に所定量又は所定時間分の画像部分を挿入対象（移動体の撮影画像部分）として抽出するようにしている。なお、挿入対象として抽出する画像部分は全体として３０秒の画像部分としているが、それに限らないことは勿論である。そして、ユーザ端末装置６は、ウェアラブルカメラ１から取得した第１の撮影画像の編集箇所に、設置カメラ２からユーザ端末装置６を経由して取得した挿入対象（画像部分）を挿入する編集処理を行う。

次に、第２実施形態における画像処理システムの動作概念を図６〜図８及び図１１のフローチャートを参照して説明する。
第２実施形態においてウェアラブルカメラ１の動作は、図６のフローと基本的に同様であるために、そのフローチャートは図示省略するが、図６のステップＡ１に続いて移動体識別情報を含む無線電波信号を一定時間（例えば、１秒）毎に発信する動作を開始する処理を追加し、また、図６のステップＡ９の後に、無線電波信号の発信を停止する処理を追加し７、更に、図６のステップＡ５を削除し、かつ図６のステップＡ８で時刻情報の記録を削除するようにすればよい。その他は、図６のフローと同様であるためにその説明を省略するものとする。

図１１は、第２実施形態において設置カメラ２の動作概要を示したフローチャートである。
先ず、設置カメラ２の制御部２１は、撮影動作の開始／停止キーの操作によって撮影開始が指示されたかを調べる（ステップＤ１）。この場合、上述したように外部（例えば、管理サーバ装置５）からの無線電波によって撮影動作の開始を指示する指示信号を受信したかを調べたり、予め設定した撮影開始時刻に到達したかを調べたりしてもよい。いま、撮影開始の指示に応じて（ステップＤ１でＹＥＳ）、動画像の撮影動作及びその撮影画像の記録動作を開始（ステップＤ２）した後、ウェアラブルカメラ１から無線電波（移動体識別情報）を受信するまで待受け状態となる（ステップＤ３）。ここで、ウェアラブルカメラ１からの無線電波（移動体識別情報）を受信したときには（ステップＤ３でＹＥＳ）、この移動体識別情報をそのときの動画像に対応付けて記録保存する処理を行う（ステップＤ４）。そして、撮影動作の開始／停止キーの操作によって撮影開始が指示されたかを調べ（ステップＤ５）、終了が指示されるまでステップＤ３に戻り、移動体識別情報の待受け状態となる。

第２実施形態において管理サーバ装置５の動作は、図８のフローと基本的に同様であるために、そのフローチャートは図示省略するが、図７のステップＣ１２、Ｃ１３に代えて、次の処理を行う。すなわち、指定した設置カメラ２によって撮影された第２の撮影画像のうち、移動体識別情報が対応付けられている第２の撮影画像の中心を求める処理を行い、この中心からその前後に所定量又は所定時間分の画像部分を挿入対象（移動体の撮影画像部分）として抽出（取得）する処理を行う。そして、図７のステップＣ１、Ｃ６、Ｃ１０から時刻情報を削除すればよい。また、第２実施形態においてユーザ端末装置６の動作は、図７のフローと基本的に同様であるために、そのフローチャートは図示省略するが、図７のステップＢ１、Ｂ２、Ｂ４から時刻情報を削除すればよい。その他は、図７、図８のフローと同様であるためにその説明を省略するものとする。

以上のように、第２実施形態の画像処理システムにおいて、ウェアラブルカメラ１は、その移動体識別情報を発信し、設置カメラ２は、その移動体識別情報を受信して第２の撮影画像に対応付けて記録し、管理サーバ装置５は、第２の撮影画像の中から移動体識別情報が対応付けられている画像部分を挿入対象として抽出し、ユーザ端末装置６は、第１の撮影画像の編集箇所に抽出した画像部分を加えた映像を生成する編集処理を行うようにしたので、マラソンランナが写し込まれている画像部分（移動体の撮影画像部分）を挿入対象として適切に抽出することができる。

なお、上述した各実施形態においてウェアラブルカメラ１は、自己位置情報取得部１８を備えた構成としたが、この自己位置情報取得部を他の携帯機器、例えば、腕時計などのリスト型情報端末装置に備えるようにしてもよい。なお、他の携帯機器としては、腕時計などのリスト型情報端末装置に限らず、スマートフォン、音楽プレーヤなどであってもよい。
図１２は、実施形態の変形例を説明するための図として、ウェアラブルカメラ１とリスト型情報端末装置（腕時計）７の構成要素を示したブロック図で、ウェアラブルカメラ１は、図２で示した制御部１１、電源部１２、記憶部１３、操作部１４、撮像部１５、通信処理部１７を備えているが、図２で示した自己位置情報取得部１８を備えない構成となっている。リスト型情報端末装置（腕時計）７は、制御部７１、電源部７２、記憶部７３、操作部７４、通信処理部７５、自己位置情報取得部７６を備えている。

ここで、ウェアラブルカメラ１とリスト型情報端末装置７とは連携し、近距離通信（ＷＩ-Ｆｉ、ブルートゥス）によって位置情報の送受信を行うようにしている。この場合、ウェアラブルカメラ１の動作は、図６のフローと基本的に同様であるために、そのフローチャートは図示省略するが、図６のステップＡ３で撮影開始タイミングを検出すると、ステップＡ４に代わって、リスト型情報端末装置７に対して自己位置情報の送信を要求し、それに応答してリスト型情報端末装置７から送信された自己位置情報を受信取得する処理を行えばよい。ここで、ウェアラブルカメラ１は、取得した自己位置情報を撮影画像に対応付けて記録保存することは、図６のステップＡ８と同様である。この場合、リスト型情報端末装置７は、自己位置情報取得部７６を定期的にアクセスして位置情報を順次取得すると共に、この位置情報を一定容量の一時記憶用のメモリに循環的に順次記録しておき、ウェアラブルカメラ１から位置情報の要求を受けた際に、最新の位置情報を読み出してウェアラブルカメラ１に送信するようにしている。

このようにウェアラブルカメラ１は、リスト型情報端末装置７から自己位置情報を近距離通信を介して受信取得し、この自己位置情報を撮影画像に対応付けて記録保存することにより、ウェアラブルカメラ１側に自己位置情報取得機能を備える必要がなくなり、更なる小型軽量化が可能となる。

図１２において、ウェアラブルカメラ１は、リスト型情報端末装置７から受信取得した自己位置情報を撮影画像に対応付けて記録保存するようにしたが、インターバル撮影された画像をリスト型情報端末装置７に送信してリスト型情報端末装置７側で記録保存するようにしてもよい。この場合、リスト型情報端末装置７は、自己位置情報取得部７６を定期的にアクセスして位置情報を順次取得すると共に、この位置情報を一定容量の一時記憶用のメモリに循環的に順次記録しておき、第１の撮影画像を受信した際に、最新の位置情報を読み出して、第１の撮影画像に対応付けて記録保存するようにしてもよい。

このようにウェアラブルカメラ１は、インターバル撮影された画像をリスト型情報端末装置７に送信することにより、リスト型情報端末装置７側で自己位置情報を対応付けた撮影画像を記録保存することができ、メモリ容量などで更なる小型軽量化が可能となる。

上述した各実施形態において画像処理システムに適用した場合を示したが、画像処理装置にも同様に適用可能である。また、画像処理装置は、ユーザ端末装置６に限らず、ウェアラブルカメラ１、設置カメラ２、ユーザ端末装置６、リスト型情報端末装置７などであってもよい。画像処理装置としてリスト型情報端末装置７などに適用した場合には、ユーザ端末装置６の場合と同様に、移動体に装着されているウェアラブルカメラ１から第１の撮影画像をその撮影位置を示す位置情報と共に取得し、かつ、設置カメラ２から第２の撮影画像を取得しその中から移動体の撮影画像部分を挿入対象として抽出して画像編集を行うようすればよい。また、画像処理装置がウェアラブルカメラ１であれば、第１の撮影画像の取得はその記憶部１３からの読み出し取得となり、設置カメラ２であれば、第２の撮影画像の取得はその記憶部２３からの読み出し取得となる。このように画像処理装置に適用したとしても移動中に間欠撮影された画像を主体としてその移動体を客観的な視点から見た画像を含めることが可能となる。

また、画像処理装置に適用した場合に、第１実施形態では編集箇所の特定と挿入対象の抽出を管理サーバ装置５側で行うようにしたが、この特定処理及び抽出処理を画像処理装置側で行うようにすればよい。
すなわち、画像処理装置は、第１の撮影画像をその撮影位置を示す位置情報とその撮影タイミングを示す時刻情報と共に取得し、第２の撮影画像をその撮影タイミングを示す時刻情報と共に取得した後、第１の撮影画像の撮影位置を示す位置情報と設置カメラ２の存在位置とを比較して、設置カメラ２の位置近辺に相当する位置範囲を編集箇所として特定すると共に、この位置範囲に対応する時間帯を特定する。そして、この時間帯に相当する画像部分を挿入対象（移動体の撮影画像部分）として抽出し、第１の撮影画像内の編集箇所に挿入対象の画像部分を加えた映像を生成する編集処理を行うようにしてもよい。このように編集箇所の特定と挿入対象の抽出を画像処理装置側で行うようにしても、挿入対象を適切に抽出することが可能となる。

また、画像処理装置に適用した場合に、第１実施形態では編集箇所の特定と挿入対象の抽出を管理サーバ装置５側で行うようにしたが、この特定処理及び抽出処理を画像処理装置側で行うようにしてもよい。
すなわち、画像処理装置は、第１の撮影画像をその撮影位置を示す位置情報と共に取得し、第２の撮影画像を移動体識別情報と共に取得した後、第１の撮影画像の撮影位置を示す位置情報と設置カメラ２の存在位置とを比較して、設置カメラ２の位置近辺に相当する位置範囲を編集箇所として特定すると共に、移動体識別情報が対応付けられている第２の撮影画像の中から前記位置範囲に相当する画像部分を特定して挿入対象（移動体の撮影画像部分）として抽出し、第１の撮影画像内の編集箇所に挿入対象の画像部分を加えた映像を生成する編集処理を行うようにしてもよい。このように編集箇所の特定と挿入対象の抽出を画像処理装置側で行うようにしても、挿入対象を適切に抽出することが可能となる。

上述した各実施形態では、設置カメラ２の撮影画像に対応付けて時刻情報又は移動体識別情報を付加するようにしたが、撮影画像を解析することにより移動体の撮影画像部分を抽出するようにしてもよい。これによって撮影画像に時刻情報や移動体識別情報を付加する動作が不要となり、設置カメラ２の負担を軽減することが可能となる。この場合、自己の顔画像、服装、背番号などの個人情報を管理サーバ装置５側に予め登録しておき、この個人情報を参照しながら画像解析を行うようにすればよい。また、設置カメラ２は、ウェアラブルカメラ１から発信された無線電波を受信した際に、その受信強度を検出して接近具合を判別し、その接近具合に応じて画像を抽出するようにしてもよい。これによって移動体の撮影画像部分を確実に抽出することが可能となる。更に、設置カメラ２に集音機能を備え、周辺の音声を集音してその音量などから応援の歓声の大きさを認識し、マラソンランナが通過したタイミングを検出するようにすれば、移動体の撮影画像部分を確実に抽出することが可能となる。

上述した各実施形態においてウェアラブルカメラ１は、インターバル撮影として１５秒の動画撮影を６０秒間隔毎に実行するようにしたが、インターバル撮影に限らず、例えば、予め複数の時間帯が設定されている場合には、その時間帯毎に所定時間の動画撮影や複数枚の高速連続撮影を行うようにしてもよい。これによって所望する時間帯や予定場所での撮影が可能となる。

上述した各実施形態では第２の撮影画像として、設置カメラ２による視点固定の撮影画像を例示したが、設置カメラ２による撮影画像に限らず、例えば、撮影担当者所持のカメラによって撮影した画像であってもよい。これによって競技状況の変化に応じて撮影された画像を挿入することが可能となる。

上述した各実施形態においては、マラソン大会の参加者を撮影するようにしたが、マラソン大会に限らず、ウオーキングやレクリエーションなどの参加者を撮影する場合であってもよい。

また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
移動体に装着され複数回の撮影動作を行う第１の撮像手段と、
前記移動体が存在する位置を含む範囲を撮影する第２の撮像手段と、
前記第１の撮像手段の位置を示す位置情報を取得する位置取得手段と、
前記第１の撮像手段によって撮影された第１の撮影画像を取得する第１の画像取得手段と、
前記第２の撮像手段によって複数回に渡って撮影された第２の撮像画像から、前記位置取得手段によって取得された位置情報に基づいて特定された第２の撮像画像を取得する第２の画像取得手段と、
前記第１の画像取得手段によって取得された第１の撮影画像と前記第２の画像取得手段によって取得された第２の撮影画像とを含む映像を生成する生成手段と、
を備えたことを特徴とする画像処理システムである。
（請求項２）
請求項２に記載の発明は、請求項１に記載の画像処理システムにおいて、
前記第１の画像取得手段は、前記第１の撮像手段による撮影タイミングを取得し、
前記第２の画像取得手段は更に、前記撮影タイミングを取得し、
前記画像処理手段は、前記撮影タイミングに基づいて、前記第１の画像取得手段によって取得された第１の撮影画像と前記第２の画像取得手段によって取得された第２の撮影画像とを含む映像を生成することを特徴とする画像処理システムである。
（請求項３）
請求項３に記載の発明は、請求項１又は２に記載の画像処理システムにおいて、
前記第１の撮像手段は、複数回の間欠的な撮影動作を行い、
前記第１の画像取得手段は、前記第１の撮像手段によって間欠的に撮影された第１の撮像画像を取得する、ことを特徴とする画像処理システムである。
（請求項４）
請求項４に記載の発明は、請求項１〜請求項３のいずれか１項に記載の画像処理システムにおいて、
前記移動体に装着され、前記第１の撮像手段を有する撮影装置と、
前記移動体に装着され、前記位置取得手段を有する携帯機器と、
前記撮影装置と前記携帯機器とを通信接続する通信手段と、
を備え、更に前記撮影装置は、前記位置取得手段によって取得され前記通信手段を介して受信した位置情報が対応付けられた、前記第１の撮像手段によって撮影された第１の撮影画像を記憶する画像記憶手段と、を備えたことを特徴とする画像処理システムである。
（請求項５）
請求項５に記載の発明は、請求項１〜請求項３のいずれか１項に記載の画像処理システムにおいて、
前記移動体に装着され、前記第１の撮像手段を有する撮影装置と、
前記移動体に装着され、前記位置取得手段を有する携帯機器と、
前記撮影装置と前記携帯機器とを通信接続する通信手段と、
を備え、更に、前記携帯機器は、
前記位置取得手段によって取得された位置情報が対応付けられた、前記第１の撮像手段によって撮像され前記通信手段を介して受信した第１の撮影画像を記憶する画像記憶手段と、を備えたことを特徴とする画像処理システムである。
（請求項６）
請求項６に記載の発明は、請求項１〜請求項５のいずれか１項に記載の画像処理システムにおいて、
前記第１の撮影画像とは間欠的な撮影動作による所定時間の動画像であり、前記第２の撮影画像とは常時撮影された動画像であることを特徴とする画像処理システムである。
（請求項７）
請求項７に記載の発明は、
複数回の撮影動作を行う第１の撮像手段によって撮影された第１の撮像画像をその撮影位置を示す位置情報と共に取得する第１の画像取得手段と、
外部に存在する第２の撮像手段によって複数回に渡って撮影された第２の撮像画像から、前記第１の撮像画像に対応付けられた位置情報に基づいて特定された第２の撮像画像を取得する第２の画像取得手段と、
前記第１の画像取得手段によって取得された第１の撮影画像と前記第２の画像取得手段によって取得された第２の撮影画像とを含む映像を生成する生成手段と、
を備えたことを特徴とする画像処理装置である。
（請求項８）
請求項８に記載の発明は、
複数回の撮影動作を行う第１の撮像手段によって撮影された第１の撮像画像をその撮影位置を示す位置情報と共に取得する第１の画像取得ステップと、
外部に存在する第２の撮像手段によって複数回に渡って撮影された第２の撮像画像から、前記第１の撮像画像に対応付けられた位置情報に基づいて特定された第２の撮像画像を取得する第２の画像取得ステップと、
前記第１の画像取得ステップにて取得された第１の撮影画像と前記第２の画像取得ステップにて取得された第２の撮影画像とを含む映像を生成する生成ステップと、
を含むことを特徴とする画像処理方法である。
（請求項９）
請求項９に記載の発明は、
コンピュータを、
複数回の撮影動作を行う第１の撮像手段によって撮影された第１の撮像画像をその撮影位置を示す位置情報と共に取得する第１の画像取得手段、
外部に存在する第２の撮像手段によって複数回に渡って撮影された第２の撮像画像から、前記第１の撮像画像に対応付けられた位置情報に基づいて特定された第２の撮像画像を取得する第２の画像取得手段、
前記第１の画像取得手段によって取得された第１の撮影画像と前記第２の画像取得手段によって取得された第２の撮影画像とを含む映像を生成する生成手段、
として機能させることを特徴とするプログラムである。

１ ウェアラブルカメラ
２ 設置カメラ
３ 公衆無線通信網
４ インターネット
５ 管理サーバ装置
６ ユーザ端末装置
７ リスト型情報端末装置
１１、２１、５１、６１ 制御部
１２、２２、５１、６１ 記憶部
１５、２５ 撮像部
１７、２７、５６、６６ 通信処理部
１８ 自己位置情報取得部

Claims (5)

1. 移動体に装着され、間欠的な撮影を行うと共に、撮影した時刻を表す時刻情報および撮影した位置を表す位置情報を発生する第１の撮像手段と、
   前記移動体の移動経路に対応付けた複数の設置位置にそれぞれ設けられ、撮影時刻を計時しながら継続的な撮影を行う複数の第２の撮像手段と、
   前記第１の撮像手段が間欠的に撮影した第１の撮影画像、前記時刻情報および前記位置情報を取得する第１の画像取得手段と、
   前記複数の第２の撮像手段により前記複数の設置位置で各々撮影され、前記撮影時刻を含む複数の第２の撮影画像を取得する第２の画像取得手段と、
   前記複数の第２の撮像手段の各設置位置の内、何れかの設置位置の付近を前記移動体が通過する際に前記第１の撮像手段の間欠的な撮影が為されていない時間帯を前記第１の画像取得手段により取得された前記時刻情報と前記位置情報とから特定する特定手段と、
   前記第２の画像取得手段により取得された前記撮影時刻を含む複数の第２の撮影画像の内、前記何れかの設置位置で撮影された第２の撮影画像の中から前記特定手段により特定された時間帯の画像部分を抽出する抽出手段と、
   前記移動体が前記何れかの設置位置を通過する前に前記第１の画像取得手段が取得した第１の撮影画像と、当該設置位置を通過した後に前記第１の画像取得手段が取得した第１の撮影画像との間に、前記抽出手段によって抽出された画像部分を挿入した編集映像を生成する生成手段と、
   を備えたことを特徴とする画像処理システム。
2. 前記第１の撮影画像は、間欠的な撮影動作で撮影された所定時間の動画像であり、前記特定手段により特定された時間帯の画像部分は、動画像であることを特徴とする請求項１に記載の画像処理システム。
3. 移動体に装着され、間欠的な撮影を行う第１の撮像手段により撮影された第１の撮影画像、当該第１の撮影画像を撮影した時刻を表す時刻情報および撮影した位置を表す位置情報を取得する第１の画像取得手段と、
   前記移動体の移動経路に対応付けた複数の設置位置にそれぞれ設けられ、撮影時刻を計時しながら継続的な撮影を行う複数の第２の撮像手段を備え、これら複数の第２の撮像手段により前記複数の設置位置で各々撮影され、前記撮影時刻を含む複数の第２の撮影画像を取得する第２の画像取得手段と、
   前記複数の第２の撮像手段の各設置位置の内、何れかの設置位置の付近を前記移動体が通過する際に前記第１の撮像手段の間欠的な撮影が為されていない時間帯を前記第１の画像取得手段により取得された前記時刻情報と前記位置情報とから特定する特定手段と、
   前記第２の画像取得手段により取得された前記撮影時刻を含む複数の第２の撮影画像の内、前記何れかの設置位置で撮影された第２の撮影画像の中から前記特定手段により特定された時間帯の画像部分を抽出する抽出手段と、
   前記移動体が前記何れかの設置位置を通過する前に前記第１の画像取得手段が取得した第１の撮影画像と、当該設置位置を通過した後に前記第１の画像取得手段が取得した第１の撮影画像との間に、前記抽出手段によって抽出された画像部分を挿入した編集映像を生成する生成手段と、
   を備えたことを特徴とする画像処理装置。
4. 画像処理装置に用いられる画像処理方法であって、
   画像処理装置が、
   移動体に装着され、間欠的な撮影を行う第１の撮像装置により撮影された第１の撮影画像、当該第１の撮影画像を撮影した時刻を表す時刻情報および撮影した位置を表す位置情報を取得し、
   前記移動体の移動経路に対応付けた複数の設置位置にそれぞれ設けられ、撮影時刻を計時しながら継続的な撮影を行う複数の第２の撮像装置により各々撮影され、前記撮影時刻を含む複数の第２の撮影画像を取得し、
   前記複数の第２の撮像装置の各設置位置の内、何れかの設置位置の付近を前記移動体が通過する際に前記第１の撮像装置の間欠的な撮影が為されていない時間帯を前記時刻情報と前記位置情報とから特定し、
   前記撮影時刻を含む複数の第２の撮影画像の内、前記何れかの設置位置で撮影された第２の撮影画像の中から特定された時間帯の画像部分を抽出し、
   前記移動体が前記何れかの設置位置を通過する前に取得した第１の撮影画像と、当該設置位置を通過した後に取得した第１の撮影画像との間に、抽出された画像部分を挿入した編集映像を生成する、
   ことを特徴とする画像処理方法。
5. 画像処理装置に搭載されるコンピュータに、
   移動体に装着され、間欠的な撮影を行う第１の撮像装置により撮影された第１の撮影画像、当該第１の撮影画像を撮影した時刻を表す時刻情報および撮影した位置を表す位置情報を取得する第１の画像取得ステップと、
   前記移動体の移動経路に対応付けた複数の設置位置にそれぞれ設けられ、撮影時刻を計時しながら継続的な撮影を行う複数の第２の撮像装置を備え、これら複数の第２の撮像装置により前記複数の設置位置で各々撮影され、前記撮影時刻を含む複数の第２の撮影画像を取得する第２の画像取得ステップと、
   前記複数の第２の撮像装置の各設置位置の内、何れかの設置位置の付近を前記移動体が通過する際に前記第１の撮像装置の間欠的な撮影が為されていない時間帯を前記第１の画像取得ステップで取得された前記時刻情報と前記位置情報とから特定する特定ステップと、
   前記第２の画像取得ステップで取得された前記撮影時刻を含む複数の第２の撮影画像の内、前記何れかの設置位置で撮影された第２の撮影画像の中から前記特定ステップにおいて特定された時間帯の画像部分を抽出する抽出ステップと、
   前記移動体が前記何れかの設置位置を通過する前に前記第１の画像取得ステップで取得した第１の撮影画像と、当該設置位置を通過した後に前記第１の画像取得ステップで取得した第１の撮影画像との間に、前記抽出ステップにて抽出された画像部分を挿入した編集映像を生成する生成ステップと、
   を実行させることを特徴とするプログラム。

Images