JP6155593B2

JP6155593B2 - システム、装置及び方法

Info

Publication number: JP6155593B2
Application number: JP2012228011A
Authority: JP
Inventors: 知巳高階; 豊岩崎; 祐司國米; 秀貴佐々木; 洋紀矢澤
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2012-10-15
Filing date: 2012-10-15
Publication date: 2017-07-05
Anticipated expiration: 2032-10-15
Also published as: JP2014081722A

Description

本発明は、データを転送するシステム、装置及び方法に関する。

デジタルスチルカメラにより撮像した画像は、報告書又はブログ等の文書データ（ドキュメント）に貼り付けて用いられる場合がある。

デジタルスチルカメラにより撮像した画像をドキュメント内に貼り付けるためには、まず、撮像した画像を含む画像ファイルを、デジタルスチルカメラから通信ライン又は記録媒体を介してコンピュータに転送する。そして、コンピュータ上でアプリケーションプログラムを起動し、アプリケーションプログラム上で画像ファイルを読み出し、ドキュメント上の指定された位置に画像を挿入する。

しかし、ドキュメントに画像を貼り付けるという目的の実現においては、デジタルスチルカメラからコンピュータへデータを転送するための操作は冗長な操作であり、また、直感的に行える操作でもなかった。

本発明の第１の態様においては、画像を記憶する第１装置と、前記第１装置から画像を取得する転送装置とを備えるシステムであって、前記第１装置は、記憶している画像を表示する表示部と、前記表示部に表示した画像と表示したタイミングとを対応付けて記憶する記憶部と、を有し、前記転送装置は、使用者による第１のジェスチャを検出する第１検出部と、前記第１検出部が前記第１のジェスチャを検出したタイミングに対応付けて前記記憶部に記憶してある画像を前記第１装置から取得する取得部と、を有するシステム、装置及び方法を提供する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る転送システム１０の構成を示す。本実施形態に係る転送システム１０内の各部の構成を示す。本実施形態に係る転送システム１０の処理フローを示す。本実施形態の第１変形例に係る転送システム１０の操作例を示す。第１変形例に係る転送システム１０の各部の構成を示す。本実施形態の第２変形例に係る転送システム１０の操作例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る転送システム１０の構成を示す。転送システム１０は、撮像装置２０と、情報処理装置３０と、転送装置４０とを備える。

撮像装置２０は、被写体を撮像し、撮像して得られた画像をメモリに記憶する。また、撮像装置２０は、メモリに記憶している画像を使用者の操作に応じて表示する。なお、転送システム１０は、画像を記憶及び表示する機能を有するデバイスであれば、撮像装置２０に代えて他のデバイスを備えてもよい。

情報処理装置３０は、各種のアプリケーションプログラムを実行することができるコンピュータである。情報処理装置３０は、大型コンピュータであっても、携帯型コンピュータであってもよい。

転送装置４０は、撮像装置２０および情報処理装置３０のそれぞれと無線通信等により接続される。また、転送装置４０は、例えば物体の３次元位置を認識可能なカメラにより使用者の動作を検出し（例えば、使用者の手の動きを検出し）、使用者がどのようなジェスチャをしたかを判別する。さらに、転送装置４０は、撮像装置２０および情報処理装置３０の空間内における位置を特定して、使用者によるジェスチャが何れの機器に対してされたかを判別する。このような転送装置４０は、例えば部屋内の天井等の、撮像装置２０および情報処理装置３０の両者を撮像可能な位置に設けられる。

また、転送装置４０は、使用者が第１のジェスチャ（例えば撮像装置２０の特定部位に触れる動作）をしたことに応じて、第１のジェスチャを検出した時点において撮像装置２０に表示されていた画像５２を撮像装置２０から取得する。続いて、転送装置４０は、使用者が第２のジェスチャ（例えば情報処理装置３０のディスプレイに触れる動作）をしたことに応じて、取得した画像５２を情報処理装置３０に表示されているドキュメント５４における第２のジェスチャによって指定した位置に貼り付けさせる画像貼付命令を、取得した画像５２を含めて送信する。そして、情報処理装置３０は、転送装置４０から画像貼付命令を受信したことに応じて、表示しているドキュメント５４上における画像貼付命令により指定された位置に取得した画像５２を貼り付ける。

このような転送システム１０は、撮像装置２０と情報処理装置３０との間の接続作業および撮像装置２０から情報処理装置３０へのデータ転送操作をすること無く、使用者によるジェスチャによって、撮像装置２０に記憶されている画像５２を、情報処理装置３０に表示されているドキュメント５４上の使用者が指定した位置に貼り付けることができる。これにより、転送システム１０によれば、冗長な操作を無くすとともに、直感的な貼り付け操作を実現することができる。

図２は、本実施形態に係る転送システム１０内の各部の構成を示す。

撮像装置２０は、撮像部６２と、記憶部６４と、表示部６６と、通信部６８とを有する。撮像部６２は、使用者の操作に応じて被写体を撮像して画像を生成する。記憶部６４は、撮像部６２により撮像された画像を記憶する。表示部６６は、使用者による選択操作に応じて、記憶部６４に記憶されている画像を表示する。通信部６８は、転送装置４０と無線通信等によりデータの送受信をする。

ここで、本実施形態においては、記憶部６４は、記憶している画像が表示部６６上に表示された場合、表示部６６に表示した画像と表示したタイミングとを対応付けて記憶する。例えば、記憶部６４は、表示部６６に表示された表示した画像のそれぞれについて、表示開始時刻及び表示終了時刻を対応づけて記憶する。

また、通信部６８は、転送装置４０から画像取得要求を受信する。画像取得要求には、タイミング（例えば、時刻）を表すタイミング情報が含まれる。通信部６８は、画像取得要求を受信したことに応じて、当該画像取得要求に含まれているタイミング情報により表されたタイミングに対応付けて記憶してある画像を記憶部６４から読み出す。例えば、通信部６８は、各画像に対応付けられているタイミング（例えば表示開始時刻及び表示終了時刻）を検索して、タイミング情報により表された時刻において表示部６６に表示されていた画像を記憶部６４から読み出す。そして、通信部６８は、読み出した画像を転送装置４０に送信する。

情報処理装置３０は、情報処理部７２と、ディスプレイ７４と、通信部７６と、入力部７８とを有する。情報処理部７２は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等を含む演算及び制御回路であり、プログラムの処理を実行する。ディスプレイ７４は、情報処理部７２の制御に応じてプログラムの実行結果等を表示する。通信部７６は、転送装置４０と無線通信等によりデータの送受信をする。入力部７８は、使用者からの入力を受け付ける。

ここで、本実施形態においては、情報処理部７２は、ドキュメントを編集するためのプログラムを実行する。そして、ディスプレイ７４は、プログラムにより編集中のドキュメントを表示する。

また、通信部７６は、転送装置４０から画像貼付指示を受信する。画像貼付指示には、画像及び画面位置が含まれる。情報処理部７２は、通信部７６が画像貼付指示を受信すると、ディスプレイ７４に表示されたドキュメントの中における、画像貼付指示に含まれる画面位置に対応する位置に、画像貼付指示に含まれる画像を貼り付ける。

転送装置４０は、動作検出用カメラ８２と、特定部８４と、第１検出部８６と、第２検出部８８と、取得部９０と、送信部９２とを有する。

動作検出用カメラ８２は、空間内における使用者の動きを撮像するカメラである。動作検出用カメラ８２は、一例として、右側カメラと左側カメラとを有するステレオカメラである。動作検出用カメラ８２は、右側カメラにより撮像した画像と左側カメラにより撮像した画像との視差から、使用者の動き、並びに、撮像装置２０及び情報処理装置３０の空間内における位置を特定させることができる。

特定部８４は、動作検出用カメラ８２により撮像された画像に基づき、撮像装置２０および情報処理装置３０のそれぞれの空間内における位置、および、撮像装置２０および情報処理装置３０のそれぞれを識別するための識別情報を特定する。特定部８４は、一例として、動作検出用カメラ８２により撮像された画像に基づき、撮像装置２０および情報処理装置３０のそれぞれの筐体等に設けられた２次元バーコード、ＡＲタグ又はボコードをデコードして識別情報を特定する。なお、ボコードとは、光学タグの一例であり、コードを表示する装置にフォーカスを合わせた場合には読み取ることはできないが、フォーカスを無限遠に設定して撮像することにより読み取ることができるコードである。

このように空間位置および識別情報を特定することにより、転送装置４０は、撮像装置２０および情報処理装置３０のうちの使用者によりジェスチャにより指定された一方を特定し、特定した一方と無線通信等により情報の送受信をすることができる。

第１検出部８６は、動作検出用カメラ８２により撮像された画像に基づき、使用者による撮像装置２０を指定するための予め定められた動作である第１のジェスチャを検出する。第１検出部８６は、一例として、使用者による撮像装置２０の特定部位に触れる動作を第１のジェスチャとして検出する。また、第１検出部８６は、一例として、使用者が撮像装置２０に対して指を刺す動作を第１のジェスチャとして検出してもよい。

そして、第１検出部８６は、第１のジェスチャを検出したことに応じて、第１のジェスチャにより撮像装置２０が指定されたこと及び特定部８４により特定された撮像装置２０の識別情報を取得部９０に供給する。

第２検出部８８は、動作検出用カメラ８２により撮像された画像に基づき、使用者による情報処理装置３０のディスプレイ７４上における画面位置を指定するための予め定められた動作である第２のジェスチャを検出する。第２検出部８８は、一例として、使用者による情報処理装置３０のディスプレイ７４に触れる動作を第２のジェスチャとして検出する。この場合、第２検出部８８は、一例として、動作検出用カメラ８２により撮像された画像においてディスプレイ７４が占める範囲を検出し、ディスプレイ７４が占める範囲内における使用者が触れた位置の座標を算出し、算出した座標を画面位置とする。

そして、第２検出部８８は、第２のジェスチャを検出したことに応じて、第２のジェスチャにより情報処理装置３０が指定されたこと、第２のジェスチャにより指定された画面位置及び特定部８４により特定された情報処理装置３０の識別情報を送信部９２に供給する。

取得部９０は、第１検出部８６が第１のジェスチャを検出したことに応じて、第１検出部８６が第１のジェスチャを検出したタイミングに対応付けて記憶部６４に記憶してある画像を撮像装置２０から取得する。より具体的には、取得部９０は、第１検出部８６から受け取った識別情報により識別される機器（即ち、撮像装置２０）に対して無線通信等により画像取得要求を送信する。この場合において、画像取得要求には、第１のジェスチャを検出したタイミング（例えば、時刻）を表すタイミング情報が含まれる。撮像装置２０は、取得部９０から画像取得要求を受信すると、第１のジェスチャを検出したタイミングにおいて表示部６６に表示していた画像を取得部９０へと送信する。そして、取得部９０は、撮像装置２０から送信された画像を受信する。

送信部９２は、第２検出部８８が第２のジェスチャを検出したことに応じて、撮像装置２０から取得した画像および第２のジェスチャにより指定された画面位置を情報処理装置３０に送信し、ディスプレイ７４に表示されたドキュメントの中における第２のジェスチャにより指定された画面位置に対応する位置に、撮像装置２０から取得した画像を貼り付けさせる。より具体的には、送信部９２は、第２検出部８８から受け取った識別情報により識別される機器（即ち、情報処理装置３０）に対して無線通信等により、画像貼付指示を送信する。この場合において、画像貼付指示には、撮像装置２０から受信した画像および第２検出部８８により検出された画面位置が含まれる。

そして、情報処理装置３０は、転送装置４０から画像貼付指示を受信すると、ディスプレイ７４に表示されたドキュメントの中における第２のジェスチャにより指定された画面位置に対応する位置に、転送装置４０から取得した画像を貼り付ける。より具体的には、情報処理装置３０は、ディスプレイ７４内のドキュメントの表示位置および画面位置（例えばディスプレイ７４上における座標）から、画面位置に対応するドキュメント内の位置を算出する。そして、情報処理装置３０は、算出したドキュメント内の位置に、転送装置４０から取得した画像を貼り付ける。

図３は、本実施形態に係る転送システム１０の処理フローを示す。撮像装置２０に記憶されている画像を情報処理装置３０のディスプレイ７４上に表示されているドキュメント上に貼り付ける場合において、転送システム１０は、以下のような処理を実行する。

まず、ステップＳ１１において、転送装置４０の動作検出用カメラ８２は、視野内に存在する機器（本例においては、撮像装置２０及び情報処理装置３０）を撮像する。続いて、ステップＳ１２において、転送装置４０の特定部８４は、動作検出用カメラ８２により撮像された画像に基づき、撮像装置２０及び情報処理装置３０のそれぞれの空間内における位置および識別情報を特定する。

続いて、ステップＳ１３において、撮像装置２０は、使用者による操作に応じて、内部に記憶している画像を表示部６６に表示する。続いて、ステップＳ１４において、撮像装置２０は、画像を表示したタイミング（例えば、表示開始時刻及び表示終了時刻）を、当該画像に対応付けて記憶部６４に記憶する。なお、撮像装置２０は、複数の画像が順次に表示された場合には、それぞれの画像についてタイミングを対応付けて記憶部６４に記憶する。

続いて、ステップＳ１５において、転送装置４０の第１検出部８６は、動作検出用カメラ８２による撮像画像に基づき、使用者が第１のジェスチャをしたか否かを検出する。第１検出部８６が第１のジェスチャを検出した場合、続いて、ステップＳ１６において、転送装置４０の取得部９０は、画像取得要求を撮像装置２０に送信する。なお、画像取得要求には、第１のジェスチャを検出したタイミングを表すタイミング情報が含まれる。続いて、ステップＳ１７において、撮像装置２０は、転送装置４０から画像取得要求を受信したことに応じて、当該画像取得要求に含まれるタイミング情報により表されるタイミングに対応付けて記憶された画像を転送装置４０に送信する。

続いて、ステップＳ１８において、転送装置４０の第２検出部８８は、動作検出用カメラ８２による撮像画像に基づき、使用者が第２のジェスチャをしたか否かを検出する。この場合において、第２検出部８８は、第１のジェスチャから一定期間内に続けて第２のジェスチャを検出したことを条件として、第２のジェスチャを検出してもよい。続いて、第２検出部８８が第２のジェスチャをした場合、ステップＳ１９において、第２検出部８８は、第２のジェスチャにより指定されたディスプレイ７４上における画面位置を検出する。

続いて、ステップＳ２０において、転送装置４０の送信部９２は、画像貼付要求を情報処理装置３０に送信する。画像貼付要求には、撮像装置２０から取得した画像及び第２のジェスチャにより指定された画面位置が含まれる。

続いて、ステップＳ２１において、情報処理装置３０の情報処理部７２は、転送装置４０から画像貼付要求を受信したことに応じて、当該画像貼付要求に含まれる画像を、一時保存用のメモリ領域であるクリップボードに格納する。続いて、ステップＳ２２において、情報処理装置３０の情報処理部７２は、使用者による予め定められた入力操作（例えばペースト操作）に応じて、クリップボードに格納されている画像を、ディスプレイ７４に表示されたドキュメントの中における、画像貼付指示に含まれる画面位置に対応する位置に貼り付ける。

以上の処理を実行することにより、転送システム１０によれば、撮像装置２０と情報処理装置３０との間の接続作業および撮像装置２０から情報処理装置３０へのデータ転送操作をすること無く、使用者によるジェスチャによって、撮像装置２０に記憶されている画像を、情報処理装置３０に表示されているドキュメント５４上の使用者が指定した位置に貼り付けることができる。これにより、転送システム１０によれば、冗長な操作を無くすとともに、直感的な貼り付け操作を実現することができる。

なお、以上の処理に代えて、転送システム１０は、第１検出部８６が第１のジェスチャを検出し且つ第２検出部８８が第２のジェスチャを検出した後に、取得部９０が撮像装置２０から画像を取得し、送信部９２が撮像装置２０から取得した画像を情報処理装置３０に送信してもよい。これにより、転送システム１０は、第１のジェスチャおよび第２のジェスチャの両方が完了した後に、画像の転送処理を実行することができる。

また、転送システム１０は、第２検出部８８が第２のジェスチャを検出した後に、続けて第１検出部８６が第１のジェスチャを検出したことに応じて、取得部９０が撮像装置２０から画像を取得し、送信部９２が撮像装置２０から取得した画像を情報処理装置３０に送信してもよい。これにより、転送システム１０は、画像を貼り付ける位置を指定した後に貼り付けるべき画像を指定したことに応じて、画像の転送処理を実行することができる。

また、第２検出部８８は、第２のジェスチャとして、情報処理装置３０のディスプレイ７４に対する貼り付け対象となる領域（例えば矩形の領域）を指定する動作を検出してもよい。そして、情報処理部７２は、ドキュメント５４中における第２のジェスチャにより指定された領域に対応する部分に、転送装置４０から取得した画像の大きさを調整して貼り付ける。これにより、転送システム１０は、貼り付ける画像の大きさを簡単に且つ直観的に調整することができる。

また、第２検出部８８は、第１検出部８６が第１のジェスチャを検出したことに応じて、画像の送信先となる情報処理装置３０を予測してもよい。例えば、第２検出部８８は、撮像装置２０または使用者に最も近い装置を、送信先となる情報処理装置３０として予測する。そして、送信部９２は、撮像装置２０から取得した画像を画像貼付要求に含めて予測した情報処理装置３０へと送信する。この場合、画像貼付要求を受信した情報処理装置３０は、ドキュメント５４中における予め定められた位置に取得した画像を貼り付ける。これにより、転送システム１０は、使用者による第２のジェスチャを省略することができる。あるいは、第２のジェスチャが終了する前に送信先を予測して画像を予め転送しておくことにより、第２のジェスチャが終了後に、時間の遅れなしに画像を貼り付けることができる。

図４は、本実施形態の第１変形例に係る転送システム１０の操作例を示す。本変形例に係る転送システム１０は、図１から図３を参照して説明した転送システム１０と略同一の構成および機能を採るので、略同一の構成および機能の部材には同一の符号を付け、以下相違点を除き説明を省略する。

本変形例に係る転送システム１０は、撮像装置２０と、情報処理装置３０とを備える。本変形例に係る転送システム１０においては、撮像装置２０及び情報処理装置３０は、無線通信等により接続される。なお、撮像装置２０及び情報処理装置３０は、転送装置４０を介して接続されてもよい。

このような本変形例において、情報処理装置３０は、撮像装置２０がディスプレイ７４に近接したこと応じて、撮像装置２０に記憶されている画像を取得する。そして、情報処理装置３０は、ディスプレイ７４に表示されたドキュメント５４の中における撮像装置２０が近接した画面位置に対応する位置に、取得した画像を貼り付ける。

これにより本変形例に係る転送システム１０は、直感的な操作により、撮像装置２０に記憶されている画像５２を、情報処理装置３０に表示されているドキュメント５４上の使用者が指定した位置に貼り付けることができる。

図５は、第１変形例に係る転送システム１０の各部の構成を示す。本変形例において、情報処理装置３０は、位置検出部１０２を更に有する。位置検出部１０２は、ディスプレイ７４に撮像装置２０が近接したこと、及び、ディスプレイ７４に対する撮像装置２０が近接した画面位置を検出する。

位置検出部１０２は、画面に近接した物体位置を検出するセンサである。例えば、位置検出部１０２は、物体により光が遮られた場合にその座標を検出する光学式タッチパネル等である。また、本変形例において、撮像装置２０の通信部６８および情報処理装置３０の通信部７６は、無線通信等により互いに接続する。

情報処理装置３０の情報処理部７２は、撮像装置２０がディスプレイ７４に近接したことに応じて、撮像装置２０に記憶された画像のうちの撮像装置２０の表示部６６により表示されている画像または使用者により予め指定された画像を、撮像装置２０から無線通信を介して取得する。そして、情報処理部７２は、ディスプレイ７４に表示されたドキュメント５４の中における撮像装置２０が近接した画面位置に対応する位置に、取得した画像を貼り付ける。このような変形例に係る転送システム１０によれば、直観的な操作により、撮像装置２０に記憶されている画像を、情報処理装置３０において実行されているドキュメント５４に貼り付けることができる。

なお、位置検出部１０２は、撮像装置２０により撮像されている撮像画像を取得し、取得した撮像画像に基づき、撮像装置２０が近接した画面位置を検出してもよい。この場合、使用者は、撮像装置２０を動画像の撮像状態とし、レンズをディスプレイ７４に向けながら撮像装置２０をディスプレイ７４に近づける。通信部７６は、撮像装置２０から撮像装置２０により撮像された画像を受信して、位置検出部１０２に供給する。

位置検出部１０２は、撮像画像と、ディスプレイ７４に表示している画像イメージとを比較して、ディスプレイ７４と撮像装置２０との間の距離およびディスプレイ７４に対する撮像装置２０の位置を算出する。そして、位置検出部１０２は、算出して得られた距離および位置に基づき、撮像装置２０がディスプレイ７４に対して予め定められた距離以下に近接したことおよび撮像装置２０が近接したディスプレイ７４の画面位置を算出する。

また、撮像装置２０により撮像されている撮像画像に基づき画面位置を検出する場合において、情報処理部７２は、ディスプレイ７４上に画面位置を検出するための複数のマーカ、すかし画像、又はグリッド等を表示してもよい。そして、この場合、転送システム１０は、撮像装置２０による撮像画像に含まれる、マーカ、すかし画像およびグリッドから、ディスプレイ７４と撮像装置２０との間の距離およびディスプレイ７４に対する撮像装置２０の位置を算出する。これにより、位置検出部１０２は、撮像装置２０による撮像画像からより容易に距離および位置を算出することができる。

図６は、本実施形態の第２変形例に係る転送システム１０の操作例を示す。本変形例に係る転送システム１０は、図１から図３を参照して説明した転送システム１０と略同一の構成および機能を採るので、略同一の構成および機能の部材には同一の符号を付け、以下相違点を除き説明を省略する。

このような本変形例において、撮像装置２０は、例えば転送モードに設定された状態において、静止画像の撮像操作と同様の操作がされたことに応じて（例えば、シャッタボタンが押下されたことに応じて）、記憶している画像のうちの使用者により指定された画像を、情報処理装置３０に送信する。そして、情報処理装置３０は、撮像装置２０から画像を取得すると、ディスプレイ７４に表示されたドキュメント５４の中における撮像装置２０により撮影範囲として設定された画面位置に対応する位置に、取得した画像を貼り付ける。

これにより、本変形例に係る転送システム１０は、直感的な操作により、撮像装置２０に記憶されている画像５２を、情報処理装置３０に表示されているドキュメント５４上の使用者が指定した位置に貼り付けることができる。

なお、撮像装置２０は、貼付指示のための準備動作時（即ち、撮像のための準備動作と同様の動作時）において、表示部６６に表示されるスルー画像上に、画像を貼り付ける矩形領域を表す第１のグラフィックイメージ１０４を重畳して表示してもよい。情報処理装置３０は、撮像装置２０により撮像されているスルー画像と、ディスプレイ７４に表示している画像イメージとを比較して、スルー画像上に重畳されている第１のグラフィックイメージ１０４に対応するディスプレイ７４内における画面位置を算出する。そして、情報処理装置３０は、使用者によりシャッタボタンが押下されたことに応じて、撮像装置２０から使用者により指定された画像を取得して、ドキュメント５４の中における第１のグラフィックイメージ１０４に対応する位置に、取得した画像を貼り付ける。

また、撮像装置２０は、第１のグラフィックイメージ１０４に代えて、貼り付け対象となる画像自体を重畳して表示してもよい。また、情報処理装置３０は、貼付指示の準備動作時において、表示部６６に表示されるスルー画像を撮像装置２０から取得して、第１のグラフィックイメージ１０４に対応するディスプレイ７４内における画面位置を算出する。そして、情報処理装置３０は、ディスプレイ７４上に重畳して、算出した画面位置を示す第２のグラフィックイメージ１０６を重畳して表示してもよい。この場合、情報処理装置３０は、第２のグラフィックイメージ１０６に貼り付け対象となる画像自体を重畳して表示してもよい。

また、撮像装置２０は、貼付指示の準備動作時において、ズーミングの操作をすることに応じて、第１のグラフィックイメージ１０４または第２のグラフィックイメージ１０６の拡大または縮小をしてもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。本明細書によれば、以下の各項目に記載の事項もまた開示される。
［項目１］
画像を記憶する第１装置と、前記第１装置から画像を取得する転送装置とを備えるシステムであって、
前記第１装置は、
記憶している画像を表示する表示部と、
前記表示部に表示した画像と表示したタイミングとを対応付けて記憶する記憶部と、
を有し、
前記転送装置は、
使用者による第１のジェスチャを検出する第１検出部と、
前記第１検出部が前記第１のジェスチャを検出したタイミングに対応付けて前記記憶部に記憶してある画像を前記第１装置から取得する取得部と、
を有するシステム。
［項目２］
当該システムは、情報処理を行う第２装置を更に備え、
前記転送装置は、
前記使用者による第２のジェスチャを検出する第２検出部と、
前記第２検出部が前記第２のジェスチャを検出したことに応じて、前記第１装置から取得した画像を前記第２装置に送信する送信部と、
を更に有する項目１に記載のシステム。
［項目３］
前記第２装置は、
ドキュメントを編集するためのプログラムを実行する情報処理部と、
前記プログラムにより編集中の前記ドキュメントを表示するディスプレイと、
を有し、
前記第２検出部は、前記ディスプレイにおける前記第２のジェスチャにより指定された画面位置を検出し、
前記送信部は、前記画像とともに前記第２のジェスチャにより指定された前記画面位置を前記第２装置に送信し、
前記情報処理部は、前記ディスプレイに表示された前記ドキュメントの中における前記第２のジェスチャにより指定された前記画面位置に対応する位置に、前記転送装置から取得した前記画像を貼り付ける項目２に記載のシステム。
［項目４］
前記第１検出部は、前記使用者による前記第１装置の特定部位に触れる動作を前記第１のジェスチャとして検出する項目２又は３に記載のシステム。
［項目５］
前記第２検出部は、前記使用者による前記第２装置のディスプレイに触れる動作を前記第２のジェスチャとして検出する項目２から４の何れか１項に記載のシステム。
［項目６］
前記転送装置は、前記第１装置および前記第２装置の位置および識別情報を特定する特定部を更に有する項目２から５の何れか１項に記載のシステム。
［項目７］
前記第１検出部が前記第１のジェスチャを検出したことに応じて、前記取得部は、前記第１装置から画像を取得し、
前記第１検出部が前記第１のジェスチャを検出した後に、続けて前記第２検出部が前記第２のジェスチャを検出したことに応じて、前記送信部は、前記第１装置から取得した画像を前記第２装置に送信する項目２から６の何れか１項に記載のシステム。
［項目８］
前記第２検出部が前記第２のジェスチャを検出した後に、続けて前記第１検出部が前記第１のジェスチャを検出したことに応じて、前記取得部は、前記第１装置から画像を取得し、前記送信部は、前記取得部が前記第１装置から取得した画像を前記第２装置に送信する項目２から６の何れか１項に記載のシステム。
［項目９］
前記第２検出部は、前記第２のジェスチャとして、前記第２装置の前記ディスプレイに対する貼り付け対象となる領域を指定する動作を検出し、
前記情報処理部は、前記ドキュメント中における前記第２のジェスチャにより指定された領域に対応する部分に、前記転送装置から取得した前記画像の大きさを調整して貼り付ける項目３に記載のシステム。
［項目１０］
前記転送装置は、
前記第１検出部が前記第１のジェスチャを検出したことに応じて、前記画像の送信先となる第２装置を予測する第２検出部と、
前記第１装置から取得した画像を前記第２装置に送信する送信部と、
を更に有する項目１に記載のシステム。
［項目１１］
使用者による第１のジェスチャを検出する第１検出部と、
前記第１検出部が前記第１のジェスチャを検出したタイミングに対応付けて第１装置に記憶してある画像を、前記第１装置から取得する取得部とを有する装置。
［項目１２］
前記使用者による第２のジェスチャを検出する第２検出部と、
前記第２検出部が前記第２のジェスチャを検出したことに応じて、前記第１装置から取得した画像を第２装置に送信する送信部と、
を更に有する項目１１に記載の装置。
［項目１３］
記憶している画像を表示する表示部と、
前記表示部に表示した画像と表示したタイミングとを対応付けて記憶する記憶部と、
画像を表示したタイミングを表すタイミング情報とともに画像取得要求を転送装置から受信したことに応じて、前記タイミング情報に示されたタイミングに対応付けて前記記憶部に記憶してある画像を前記転送装置に送信する通信部と、
を備える装置。
［項目１４］
ドキュメントを編集するためのプログラムを実行する情報処理部と、
前記プログラムにより編集中の前記ドキュメントを表示するディスプレイと、
転送装置から画像とともに前記ディスプレイ上における画面位置を受信する通信部と、
を有し、
前記情報処理部は、前記ディスプレイに表示された前記ドキュメントの中における受信した前記画面位置に対応する位置に、前記転送装置から取得した前記画像を貼り付ける装置。
［項目１５］
第１装置が、記憶している画像を表示部に表示し、
前記第１装置が、前記表示部に表示した画像と表示したタイミングとを対応付けて記憶部に記憶し、
転送装置が、使用者による第１のジェスチャを検出し、
前記転送装置が、前記第１のジェスチャを検出したタイミングに対応付けて前記記憶部に記憶してある画像を前記第１装置から取得し、
前記転送装置が、前記使用者による第２のジェスチャを検出し、
前記転送装置が、前記第２のジェスチャを検出したことに応じて、前記第１装置から取得した画像を第２装置に送信する方法。

１０転送システム、２０撮像装置、３０情報処理装置、４０転送装置、５２画像、５４ドキュメント、６２撮像部、６４記憶部、６６表示部、６８通信部、７２情報処理部、７４ディスプレイ、７６通信部、７８入力部、８２動作検出用カメラ、８４特定部、８６第１検出部、８８第２検出部、９０取得部、９２送信部、１０２位置検出部、１０４第１のグラフィックイメージ、１０６第２のグラフィックイメージ

Claims

撮像ボタンによって画像を撮像して記憶する撮像装置と、
ドキュメントを編集するためのプログラムを実行する情報処理部、および、前記プログラムにより編集中の前記ドキュメントを表示するディスプレイを有する情報処理装置と、
を備え、
前記撮像装置は、前記ディスプレイの表示画面を視野内に導入して前記撮像ボタンを押す操作を使用者から入力されたことに応じて、前記撮像装置に記憶された撮像画像のうち使用者に指定された撮像画像をドキュメントにおける視野内に導入された位置に貼り付ける指示を前記情報処理装置に対して出力し、
前記情報処理装置は、前記指定された撮像画像を、前記位置に貼り付けるシステム。
前記撮像装置は、画像を貼り付けるための貼付領域を、撮像のための準備動作中に表示されるスルー画像上に重畳して表示する表示部を有し、
前記情報処理装置は、前記撮像装置から取得した前記スルー画像と前記ディスプレイに表示している画像イメージとを比較して、前記スルー画像上に重畳されている前記貼付領域に対する前記ディスプレイ内の貼付領域対応位置を前記位置として算出する
請求項１に記載のシステム。
前記撮像装置は、ズーミング操作が行われたことに応じて、前記貼付領域を拡大または縮小する
請求項２に記載のシステム。
前記撮像装置は、前記スルー画像上の前記貼付領域に第１のグラフィックイメージを表示する
請求項２または３に記載のシステム。
前記撮像装置は、前記スルー画像上の前記貼付領域に前記指定された撮像画像自体を表示する
請求項２または３に記載のシステム。
前記情報処理装置は、
前記貼付領域対応位置に第２のグラフィックイメージを重畳してプレビュー表示し、
前記撮像装置において前記ディスプレイの表示画面を視野内に導入して前記撮像ボタンを押す操作が入力されたことに応じて、前記位置に、前記指定された撮像画像を貼り付ける
請求項２から５の何れか１項に記載のシステム。
前記情報処理装置は、
前記貼付領域対応位置に前記指定された撮像画像自体を重畳してプレビュー表示し、
前記撮像装置において前記ディスプレイの表示画面を視野内に導入して前記撮像ボタンを押す操作が入力されたことに応じて、前記位置に、前記指定された撮像画像を貼り付ける
請求項２から５の何れか１項に記載のシステム。
前記撮像装置は、前記ディスプレイの表示画面を視野内に導入して前記撮像ボタンを押す操作が入力されたことに応じて、前記指定された撮像画像を前記情報処理装置に送信する
請求項１から６の何れか１項に記載のシステム。
前記撮像装置において前記ディスプレイの表示画面を視野内に導入して前記撮像ボタンを押す操作が入力されたことに応じて、前記指定された撮像画像を取得して前記情報処理装置に転送する転送装置を備える
請求項１から６の何れか１項に記載のシステム。
撮像ボタンによって画像を撮像して記憶する撮像装置であって、
情報処理を行う情報処理装置の表示画面が視野内に導入されて撮像ボタンを押す操作が入力されたことに応じて、前記撮像装置に記憶された撮像画像のうち使用者に指定された撮像画像を、前記情報処理装置により表示されたドキュメントにおける視野内に導入された位置に貼り付ける指示を前記情報処理装置に対して出力する撮像装置。
ドキュメントを編集するためのプログラムを実行する情報処理部と、
前記プログラムにより編集中の前記ドキュメントを表示するディスプレイと、
を備え、
撮像装置において前記ディスプレイの表示画面を視野内に導入して撮像ボタンを押す操作が入力されたことに応じて、前記撮像装置に記憶された撮像画像のうち使用者に指定された撮像画像をドキュメントにおける視野内に導入された位置に貼り付ける指示を受信し、前記指定された撮像画像をドキュメントにおける前記位置に貼り付ける情報処理装置。
撮像ボタンによって画像を撮像して記憶する撮像装置と通信するとともに、ドキュメントを編集するためのプログラムを実行する情報処理部、および、前記プログラムにより編集中の前記ドキュメントを表示するディスプレイを有する情報処理装置と通信し、
前記撮像装置において前記ディスプレイの表示画面を視野内に導入して前記撮像ボタンを押す操作が入力されたことに応じて、前記撮像装置に記憶された撮像画像のうち使用者に指定された撮像画像をドキュメントにおける視野内に導入された位置に貼り付ける指示を前記撮像装置から取得して前記情報処理装置に転送し、前記指定された撮像画像をドキュメントにおける前記位置に貼り付けさせる転送装置。
撮像装置が撮像ボタンによって画像を撮像して記憶する段階と、
情報処理装置がディスプレイにドキュメントを表示する段階と、
前記撮像装置が、前記ディスプレイの表示画面を視野内に導入して前記撮像ボタンを押す操作が入力されたことに応じて、前記撮像装置に記憶された撮像画像のうち使用者に指定された撮像画像をドキュメントにおける視野内に導入された位置に貼り付ける指示を前記情報処理装置に対して出力する段階と、
前記情報処理装置が、前記指定された撮像画像を、前記位置に貼り付ける段階と
を備える方法。