JP6418290B2 - 情報処理装置、画像ファイルのデータ構造及びプログラム - Google Patents
情報処理装置、画像ファイルのデータ構造及びプログラム Download PDFInfo
- Publication number
- JP6418290B2 JP6418290B2 JP2017139934A JP2017139934A JP6418290B2 JP 6418290 B2 JP6418290 B2 JP 6418290B2 JP 2017139934 A JP2017139934 A JP 2017139934A JP 2017139934 A JP2017139934 A JP 2017139934A JP 6418290 B2 JP6418290 B2 JP 6418290B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- information
- attribute information
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 34
- 238000000034 method Methods 0.000 claims description 77
- 230000008569 process Effects 0.000 claims description 70
- 238000001514 detection method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 53
- 230000006870 function Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 26
- 238000004891 communication Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000005401 electroluminescence Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 101100264195 Caenorhabditis elegans app-1 gene Proteins 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、情報処理装置、画像ファイルのデータ構造及びプログラムに関する。
特許文献1には、マークアップ言語を用いて定義したタグを画像ファイルの属性情報に記述するフォーマット、すなわちExif(Exchangeable image file)フォーマットが記載されている。
従来のJPEG(Joint Photographic Experts Group)フォーマットでは、撮影日といった簡易な属性情報の記載が認められている。しかし、属性情報に、被写体に関連するワークフロー処理を規定する情報を実行言語で記述することは想定されていない。
本発明の目的は、画像のデータファイルに付属する属性情報の一部に被写体に関連するワークフロー処理を規定する情報が記述されていない場合に比して、画像の利便性を向上させることにある。
請求項1に記載の発明は、属性情報が付属した各被写体を含む画像に対するユーザの指定を認識する認識部と、前記画像上でユーザが指定した被写体に付属する前記属性情報を、当該画像のデータファイルに付属する属性情報の中から読み出した後、読み出された当該属性情報が規定するワークフロー処理の実行を通じてユーザが指定した当該被写体に関連する情報の通知を要求する制御部と、を有する情報処理装置である。
請求項2に記載の発明は、前記画像のデータファイルは、JPEGフォーマットに準拠し、前記属性情報は、JSONで記述されていることを特徴とする請求項1に記載の情報処理装置である。
請求項3に記載の発明は、前記制御部は、前記ワークフロー処理の実行を通じて、前記被写体としての機器を操作するための操作画面を表示することを特徴とする請求項1に記載の情報処理装置である。
請求項4に記載の発明は、前記制御部は、前記操作画面を通じて受け付けた操作に関するコマンドを前記被写体としての機器に対して送信する又は送信させることを特徴とする請求項3に記載の情報処理装置である。
請求項5に記載の発明は、前記制御部は、前記操作によって実現された状態が反映されるように、前記画像内における前記被写体の表示に変化を与えることを特徴とする請求項4に記載の情報処理装置である。
請求項6に記載の発明は、前記制御部は、前記被写体としての機器に応じて用意されている複数の前記操作画面の何れか1つ以上を表示することを特徴とする請求項3に記載の情報処理装置である。
請求項7に記載の発明は、前記被写体に対応する実在する機器の状態を反映するように、当該被写体の表示を変更することを特徴とする請求項3に記載の情報処理装置である。
請求項8に記載の発明は、前記制御部は、前記ワークフロー処理の実行を通じて、前記被写体に関連付けられている音声ファイルを再生することを特徴とする請求項1に記載の情報処理装置である。
請求項9に記載の発明は、前記ワークフロー処理は、前記被写体がユーザに操作可能な機器の画像である場合、当該機器を操作する操作画面を表示し、当該被写体がユーザに操作不可能な画像である場合、当該被写体に関する情報を通知するように処理の内容を切り替えること、を特徴とする請求項1に記載の情報処理装置である。
請求項10に記載の発明は、前記制御部は、前記画像のデータファイルに付属する前記属性情報に記述されている前記情報の内容と、当該画像が貼り付けられる文書ファイルの文書内に記述されている内容とを組み合わせて1つの機能を実行することを特徴とする請求項1に記載の情報処理装置である。
請求項11に記載の発明は、前記制御部は、前記画像のデータファイルに含まれる前記属性情報に記述された前記情報の内容と、当該画像が貼り付けられる文書ファイルを開くアプリケーションに登録されている内容とを組み合わせて1つの機能を実行することを特徴とする請求項1に記載の情報処理装置である。
請求項12に記載の発明は、前記制御部は、前記情報の復号結果を外部装置から取得して前記ワークフロー処理を実行することを特徴とする請求項1に記載の情報処理装置である。
請求項13に記載の発明は、属性情報が付属した各被写体を含む画像上でユーザが指定した被写体に対応する領域部分を検出する又は予め定めた被写体が存在する当該画像上における領域部分を検出する検出部と、検出された前記領域部分の前記被写体に関連する情報の通知をワークフロー処理の実行を通じて要求するための情報を、前記画像のデータファイルに付属する前記属性情報の一部分に記述する制御部と、を有する情報処理装置である。
請求項14に記載の発明は、情報処理装置で処理される画像ファイルのデータ構造において、画像の本体を格納する第1のデータ領域と、前記画像の本体の属性情報を格納する第2のデータ領域であり、当該本体の属性情報の一部として、当該画像に含まれる各被写体に付属する属性情報を含む当該第2のデータ領域とを備え、前記画像上で前記被写体がユーザにより指定された場合、当該被写体に付属する前記属性情報が規定するワークフロー処理の実行を通じて、ユーザが指定した被写体に関連する情報の通知を前記情報処理装置に要求する画像ファイルのデータ構造である。
請求項15に記載の発明は、コンピュータを、属性情報が付属した各被写体を含む画像に対するユーザの指定を認識する認識部と、前記画像上でユーザが指定した被写体に付属する前記属性情報を、当該画像のデータファイルに付属する前記属性情報の中から読み出した後、読み出された当該属性情報が規定するワークフロー処理の実行を通じてユーザが指定した前記被写体に関連する情報の通知を要求する制御部と、として機能させるためのプログラムである。
請求項16に記載の発明は、コンピュータを、属性情報が付属した各被写体を含む画像上でユーザが指示した被写体に対応する領域部分を検出する又は予め定めた被写体が存在する当該画像上における領域部分を検出する検出部と、検出された前記領域部分の前記被写体に関連する情報の通知をワークフロー処理の実行を通じて要求するための情報を、前記画像のデータファイルに付属する前記属性情報の一部分に記述する制御部と、として機能させるためのプログラムである。
請求項2に記載の発明は、前記画像のデータファイルは、JPEGフォーマットに準拠し、前記属性情報は、JSONで記述されていることを特徴とする請求項1に記載の情報処理装置である。
請求項3に記載の発明は、前記制御部は、前記ワークフロー処理の実行を通じて、前記被写体としての機器を操作するための操作画面を表示することを特徴とする請求項1に記載の情報処理装置である。
請求項4に記載の発明は、前記制御部は、前記操作画面を通じて受け付けた操作に関するコマンドを前記被写体としての機器に対して送信する又は送信させることを特徴とする請求項3に記載の情報処理装置である。
請求項5に記載の発明は、前記制御部は、前記操作によって実現された状態が反映されるように、前記画像内における前記被写体の表示に変化を与えることを特徴とする請求項4に記載の情報処理装置である。
請求項6に記載の発明は、前記制御部は、前記被写体としての機器に応じて用意されている複数の前記操作画面の何れか1つ以上を表示することを特徴とする請求項3に記載の情報処理装置である。
請求項7に記載の発明は、前記被写体に対応する実在する機器の状態を反映するように、当該被写体の表示を変更することを特徴とする請求項3に記載の情報処理装置である。
請求項8に記載の発明は、前記制御部は、前記ワークフロー処理の実行を通じて、前記被写体に関連付けられている音声ファイルを再生することを特徴とする請求項1に記載の情報処理装置である。
請求項9に記載の発明は、前記ワークフロー処理は、前記被写体がユーザに操作可能な機器の画像である場合、当該機器を操作する操作画面を表示し、当該被写体がユーザに操作不可能な画像である場合、当該被写体に関する情報を通知するように処理の内容を切り替えること、を特徴とする請求項1に記載の情報処理装置である。
請求項10に記載の発明は、前記制御部は、前記画像のデータファイルに付属する前記属性情報に記述されている前記情報の内容と、当該画像が貼り付けられる文書ファイルの文書内に記述されている内容とを組み合わせて1つの機能を実行することを特徴とする請求項1に記載の情報処理装置である。
請求項11に記載の発明は、前記制御部は、前記画像のデータファイルに含まれる前記属性情報に記述された前記情報の内容と、当該画像が貼り付けられる文書ファイルを開くアプリケーションに登録されている内容とを組み合わせて1つの機能を実行することを特徴とする請求項1に記載の情報処理装置である。
請求項12に記載の発明は、前記制御部は、前記情報の復号結果を外部装置から取得して前記ワークフロー処理を実行することを特徴とする請求項1に記載の情報処理装置である。
請求項13に記載の発明は、属性情報が付属した各被写体を含む画像上でユーザが指定した被写体に対応する領域部分を検出する又は予め定めた被写体が存在する当該画像上における領域部分を検出する検出部と、検出された前記領域部分の前記被写体に関連する情報の通知をワークフロー処理の実行を通じて要求するための情報を、前記画像のデータファイルに付属する前記属性情報の一部分に記述する制御部と、を有する情報処理装置である。
請求項14に記載の発明は、情報処理装置で処理される画像ファイルのデータ構造において、画像の本体を格納する第1のデータ領域と、前記画像の本体の属性情報を格納する第2のデータ領域であり、当該本体の属性情報の一部として、当該画像に含まれる各被写体に付属する属性情報を含む当該第2のデータ領域とを備え、前記画像上で前記被写体がユーザにより指定された場合、当該被写体に付属する前記属性情報が規定するワークフロー処理の実行を通じて、ユーザが指定した被写体に関連する情報の通知を前記情報処理装置に要求する画像ファイルのデータ構造である。
請求項15に記載の発明は、コンピュータを、属性情報が付属した各被写体を含む画像に対するユーザの指定を認識する認識部と、前記画像上でユーザが指定した被写体に付属する前記属性情報を、当該画像のデータファイルに付属する前記属性情報の中から読み出した後、読み出された当該属性情報が規定するワークフロー処理の実行を通じてユーザが指定した前記被写体に関連する情報の通知を要求する制御部と、として機能させるためのプログラムである。
請求項16に記載の発明は、コンピュータを、属性情報が付属した各被写体を含む画像上でユーザが指示した被写体に対応する領域部分を検出する又は予め定めた被写体が存在する当該画像上における領域部分を検出する検出部と、検出された前記領域部分の前記被写体に関連する情報の通知をワークフロー処理の実行を通じて要求するための情報を、前記画像のデータファイルに付属する前記属性情報の一部分に記述する制御部と、として機能させるためのプログラムである。
請求項1記載の発明によれば、画像のデータファイルに付属する属性情報の一部に被写体に関連するワークフロー処理を規定する情報が記述されていない場合に比して、画像の利便性が向上する。
請求項2記載の発明によれば、JPEGフォーマットの属性情報に被写体に関するワークフロー処理がJSONで記述されていない場合に比して、JPEGフォーマットに準拠する画像の利便性が向上する。
請求項3記載の発明によれば、被写体である機器の操作画面が表示されない場合に比して、画像の利便性が向上する。
請求項4記載の発明によれば、操作に関するコマンドが被写体としての機器に送信されない場合に比して、画像の利便性が向上する。
請求項5記載の発明によれば、画像の被写体の表示が変化しない場合に比して、被写体である機器に対する操作結果の確認が容易になる。
請求項6記載の発明によれば、被写体である機器に応じて操作画面が複数用意されていない場合に比して、画像の利便性が向上する。
請求項7記載の発明によれば、画像の被写体の表示が実在する機器の状態を反映しない場合に比して、被写体である機器に対する操作結果の確認が容易になる。
請求項8記載の発明によれば、被写体に関連付けられている音声ファイルが再生されない場合に比して、画像の利便性が向上する。
請求項9記載の発明によれば、画像に含まれる被写体に応じた情報が得られるので、画像の利便性が向上する。
請求項10記載の発明によれば、画像の属性情報に記述されている情報と文書ファイルの文書中に記述された内容とを組み合わせて1つの機能を実行しない場合に比して、連携した機能を実行できる。
請求項11記載の発明によれば、画像の属性情報に記述されている情報と画像が貼り付けられる文書ファイルを開くアプリケーションに登録されている内容とを組み合わせて1つの機能を実行しない場合に比して、連携した機能を実行できる。
請求項12記載の発明によれば、画像の付属情報を外部装置に与えて復号させない場合に比して、復号結果の利便性が向上する。
請求項13記載の発明によれば、被写体に関連するワークフロー処理の実行を通じて情報の通知を要求するための情報を画像のデータファイルに付属する属性情報の一部分に記述しない場合に比して、画像の利便性が向上する。
請求項14記載の発明によれば、被写体に関連するワークフロー処理の実行を通じて情報の通知を要求するための情報を画像のデータファイルに付属する属性情報の一部分に含まない画像ファイルのデータ構造に比して、画像の利便性が向上する。
請求項15記載の発明によれば、画像のデータファイルに付属する属性情報の一部に被写体に関連するワークフロー処理を規定する情報が記述されていない場合に比して、画像の利便性が向上する。
請求項16記載の発明によれば、被写体に関連するワークフロー処理の実行を通じて情報の通知を要求するための情報を画像のデータファイルに付属する属性情報の一部分に記述しない場合に比して、画像の利便性が向上する。
請求項2記載の発明によれば、JPEGフォーマットの属性情報に被写体に関するワークフロー処理がJSONで記述されていない場合に比して、JPEGフォーマットに準拠する画像の利便性が向上する。
請求項3記載の発明によれば、被写体である機器の操作画面が表示されない場合に比して、画像の利便性が向上する。
請求項4記載の発明によれば、操作に関するコマンドが被写体としての機器に送信されない場合に比して、画像の利便性が向上する。
請求項5記載の発明によれば、画像の被写体の表示が変化しない場合に比して、被写体である機器に対する操作結果の確認が容易になる。
請求項6記載の発明によれば、被写体である機器に応じて操作画面が複数用意されていない場合に比して、画像の利便性が向上する。
請求項7記載の発明によれば、画像の被写体の表示が実在する機器の状態を反映しない場合に比して、被写体である機器に対する操作結果の確認が容易になる。
請求項8記載の発明によれば、被写体に関連付けられている音声ファイルが再生されない場合に比して、画像の利便性が向上する。
請求項9記載の発明によれば、画像に含まれる被写体に応じた情報が得られるので、画像の利便性が向上する。
請求項10記載の発明によれば、画像の属性情報に記述されている情報と文書ファイルの文書中に記述された内容とを組み合わせて1つの機能を実行しない場合に比して、連携した機能を実行できる。
請求項11記載の発明によれば、画像の属性情報に記述されている情報と画像が貼り付けられる文書ファイルを開くアプリケーションに登録されている内容とを組み合わせて1つの機能を実行しない場合に比して、連携した機能を実行できる。
請求項12記載の発明によれば、画像の付属情報を外部装置に与えて復号させない場合に比して、復号結果の利便性が向上する。
請求項13記載の発明によれば、被写体に関連するワークフロー処理の実行を通じて情報の通知を要求するための情報を画像のデータファイルに付属する属性情報の一部分に記述しない場合に比して、画像の利便性が向上する。
請求項14記載の発明によれば、被写体に関連するワークフロー処理の実行を通じて情報の通知を要求するための情報を画像のデータファイルに付属する属性情報の一部分に含まない画像ファイルのデータ構造に比して、画像の利便性が向上する。
請求項15記載の発明によれば、画像のデータファイルに付属する属性情報の一部に被写体に関連するワークフロー処理を規定する情報が記述されていない場合に比して、画像の利便性が向上する。
請求項16記載の発明によれば、被写体に関連するワークフロー処理の実行を通じて情報の通知を要求するための情報を画像のデータファイルに付属する属性情報の一部分に記述しない場合に比して、画像の利便性が向上する。
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。以下では、本発明を、静止画像ファイルに適用する実施の形態について説明するが、動画像ファイルに適用してもよい。また、後述する実施の形態では、便宜的にJPEGフォーマットに準拠したJPEGファイルの例を説明するが、属性情報をデータの一部に含む他の静止画像ファイルに適用してもよい。
<静止画像ファイルのデータ構造>
図1は、本実施の形態で使用するJPEGファイル10のデータ構造を示す図である。JPEGファイル10は、画像のデータファイルの一例であり、JPEGフォーマットに準拠する。
図1は、本実施の形態で使用するJPEGファイル10のデータ構造を示す図である。JPEGファイル10は、画像のデータファイルの一例であり、JPEGフォーマットに準拠する。
JPEGファイル10は、イメージの開始位置を示すイメージ開始セグメント(Start Of Image segment: SOI)11と、Exif情報などの記述に用いられるタイプ1のアプリケーションセグメント(Application type 1 segment: App1)12と、被写体に関連するワークフロー処理を規定する情報の記述に用いられるタイプ11のアプリケーションセグメント(Application type 11 segment: App11)13と、イメージデータ(Image Data: ID)14と、イメージの終了位置を示すイメージ終了セグメント(End Of Image segment: EOI)15とを有している。ここで、イメージデータ14は第1のデータ領域の一例であり、タイプ11のアプリケーションセグメント13は第2のデータ領域の一例である。イメージデータ14には静止画像の本体が保存される。
イメージ開始セグメント11とイメージ終了セグメント15で挟まれた領域はフレームとも呼ばれる。なお、図1では表していないが、JPEGファイルには、不図示の2つのセグメント、すなわち量子化テーブル定義セグメント(Define Quantization Table segment: DQT)、ハフマンテーブル定義セグメント(Define Huffman Table segment: DHT)も含まれている。これら以外のセグメントは、必要に応じて配置される。図1の場合、タイプ1のアプリケーションセグメント12とタイプ11のアプリケーションセグメント13が、JPEGファイル10の属性情報16である。従って、タイプ1のアプリケーションセグメント12とタイプ11のアプリケーションセグメント13はそれぞれ、属性情報16の一部分である。
図1のアプリケーションセグメント13には、JPEGファイル10が作成された静止画像に含まれる被写体に関連するワークフロー処理を規定する情報13A、13Bが記述されている。例えば情報13Aは被写体1に関連するワークフロー処理1に対応する情報であり、情報13Bは被写体2に関連するワークフロー処理2に対応する情報である。タイプ11のアプリケーションセグメント13に格納される情報の個数はゼロでもよいし、1個でもよいし、3個以上でもよい。
情報13A及び13Bは、1つの被写体に対応付けられていてもよい。すなわち、1つの被写体に対して複数の情報が対応付けられていてもよい。例えば情報13Aは第1の言語(例えば日本語、第1のOS用)での出力に用いられ、情報13Bは第2の言語(例えば英語、第2のOS用)での出力に用いられる。いずれの言語でワークフロー処理を出力するかは、例えばユーザが選択画面を通じて指定すればよい。ワークフロー処理には、例えば情報13A及び13Bに対応付けられている被写体に含まれる情報の保存、表示、集計、送信、取得などが含まれる。また、ワークフロー処理には、情報13A及び13Bが対応付けられている被写体に対応する実物の機器の動作を制御するための操作パネルの表示が含まれる。なお、情報13A及び13Bはいずれも、1つの機器の操作の種類別に設けられていてもよい。例えば情報13Aはテレビジョン受像機のチャンネルの操作用、情報13Bはテレビジョン受像機の電源ボタンの操作用であってもよい。
情報13A及び13Bはテキストとして記述される。本実施の形態では、テキストの記述に実行言語の一例であるJSON(Java Script Object Notation)を使用する。JSON(登録商標)は、JavaScript(登録商標)におけるオブジェクトの表記法の一部を構文のベースに使用する言語である。勿論、ワークフロー処理の記述に用いる実行言語はJSONに限らない。
<画像処理システム及び情報処理装置の構成>
図2は、本実施の形態で使用する画像処理システム100の構成例を示す図である。画像処理システム100は、ユーザが画像の視認に使用する携帯型のコンピュータ200と、静止画像の印刷やファックス送信に使用される画像形成装置300とで構成される。ここでのコンピュータ200と画像形成装置300は、いずれも情報処理装置の一例である。図2は、コンピュータ200と画像形成装置300とが不図示の通信手段を介して接続され、JPEGファイル10を送受する様子を表している。もっとも、コンピュータ200と画像形成装置300をそれぞれ単独で使用してもよい。
図2は、本実施の形態で使用する画像処理システム100の構成例を示す図である。画像処理システム100は、ユーザが画像の視認に使用する携帯型のコンピュータ200と、静止画像の印刷やファックス送信に使用される画像形成装置300とで構成される。ここでのコンピュータ200と画像形成装置300は、いずれも情報処理装置の一例である。図2は、コンピュータ200と画像形成装置300とが不図示の通信手段を介して接続され、JPEGファイル10を送受する様子を表している。もっとも、コンピュータ200と画像形成装置300をそれぞれ単独で使用してもよい。
コンピュータ200には、例えばノート型のコンピュータ、タブレット型のコンピュータ、スマートフォン、携帯電話機、カメラ、携帯型のゲーム機などを使用する。本実施の形態における画像形成装置300は、コピー機能、スキャナ機能、ファックス送受信機能、印刷機能を搭載する装置である。もっとも、画像形成装置300は、1つの機能に特化した装置、例えばスキャナ、ファックス送受信機、プリンタ(3次元プリンタを含む。)、画像編集装置であってもよい。
図3は、本実施の形態に係るコンピュータ200の構成例を示す図である。コンピュータ200は、装置全体を制御する制御部210と、JPEGファイル10等の記憶に用いられる記憶部214と、画像の表示に使用される表示部215と、ユーザの入力操作を受け付ける操作受付部216と、外部装置(例えば画像形成装置300)との通信に用いられる通信部217とを含む。前述した各部はバス218に接続され、バス218を介してデータの授受を行う。
制御部210は、制御手段の一例であり、CPU(Central Processing Unit)211、ROM(Read Only Memory)212、RAM(Random Access Memory)213により構成される。ROM212は、CPU211により実行されるプログラムを記憶する。CPU211は、ROM212に記憶されているプログラムを読み出し、RAM213を作業エリアに使用してプログラムを実行する。プログラムの実行を通じ、前述した情報13A、13Bが規定するワークフロー処理が実行される。ワークフロー処理の具体例については後述する。
記憶部214は、ハードディスク装置や半導体メモリなどの記憶装置により構成される。表示部215は、プログラム(オペレーションシステムやファームウェアを含む)の実行を通じて各種の画像を表示するディスプレイ装置である。表示部215は、例えば液晶ディスプレイパネルや有機EL(Electro Luminescence)ディスプレイパネルで構成される。操作受付部216は、ユーザからの操作を受け付けるデバイスであり、例えばキーボード、ボタン、スイッチ、タッチパッド、タッチパネル等で構成される。通信部217は、例えばLAN(Local Area Network)インターフェースで構成される。
図4は、本実施の形態に係る画像形成装置300の構成例を示す図である。画像形成装置300は、装置全体を制御する制御部310と、JPEGファイル10等の記憶に用いられる記憶部314と、操作受付画面や静止画像の表示に使用される表示部315と、ユーザの入力操作を受け付ける操作受付部316と、セットされた原稿の画像を読み取って画像データを生成する画像読み取り部317と、例えば電子写真方式やインクジェット方式で記録材の一例である用紙に画像を形成する画像形成部318と、外部装置(例えばコンピュータ200)との通信に用いられる通信部319と、画像データが表す画像に色補正や階調補正などの画像処理を施す画像処理部320を含む。前述した各部はバス321に接続され、バス321を介してデータの授受を行う。
制御部310は、制御手段の一例であり、CPU(Central Processing Unit)311、ROM(Read Only Memory)312、RAM(Random Access Memory)313により構成される。ROM312は、CPU311により実行されるプログラムを記憶する。CPU311は、ROM312に記憶されているプログラムを読み出し、RAM313を作業エリアに使用してプログラムを実行する。プログラムの実行を通じ、画像形成装置300の各部が制御される。例えば用紙表面への画像の形成、読み取り画像の生成などが制御される。
記憶部314は、ハードディスク装置や半導体メモリなどの記憶装置により構成される。表示部315は、プログラム(オペレーションシステムやファームウェアを含む)の実行を通じて各種の画像を表示するディスプレイ装置である。表示部315は、例えば液晶ディスプレイパネルや有機EL(Electro Luminescence)ディスプレイパネルで構成される。操作受付部316は、ユーザからの操作を受け付けるデバイスであり、例えばボタン、スイッチ、タッチパネル等で構成される。
画像読み取り部317は、いわゆるスキャナ装置である。画像形成部318は、例えば記録材の一例である用紙に画像を形成するプリントエンジンである。通信部319は、例えばLAN(Local Area Network)インターフェースで構成される。画像処理部320は、例えば画像データに色補正や階調補正などの画像処理を施す専用のプロセッサで構成される。
<静止画像例>
まず、各利用形態において使用する静止画像例について説明する。なお、動画像は、複数の静止画像の時間列として構成されるため、以下に説明する静止画像は動画像の場合にも適用される。図5は、各利用形態で使用する静止画像の一例を示す図である。表示部215に表示された静止画像400は、例えばデジタルカメラでオフィス内を撮影した場合に記録メディアに保存される電子写真に当たる。前述したように、静止画像400は、JPEGファイル10のイメージデータ14に保存されている。静止画像400には、画像形成装置401、テレビジョン受像機402、照明器具403、人404、植木405が被写体として写っている。本実施の形態の場合、静止画像400に対応するJPEGファイル10の属性情報16に、これら5つの被写体の少なくとも1つに対応付けられた情報13Aが記述されている。
まず、各利用形態において使用する静止画像例について説明する。なお、動画像は、複数の静止画像の時間列として構成されるため、以下に説明する静止画像は動画像の場合にも適用される。図5は、各利用形態で使用する静止画像の一例を示す図である。表示部215に表示された静止画像400は、例えばデジタルカメラでオフィス内を撮影した場合に記録メディアに保存される電子写真に当たる。前述したように、静止画像400は、JPEGファイル10のイメージデータ14に保存されている。静止画像400には、画像形成装置401、テレビジョン受像機402、照明器具403、人404、植木405が被写体として写っている。本実施の形態の場合、静止画像400に対応するJPEGファイル10の属性情報16に、これら5つの被写体の少なくとも1つに対応付けられた情報13Aが記述されている。
<復号機能に関する構成>
後述する各利用形態は、コンピュータ200により、又は、画像形成装置300により、又は、コンピュータ200と画像形成装置300の連携により実現される。以下の説明では、特に言及する場合を除き、各利用形態はコンピュータ200により実現される。また、特に言及する場合を除き、JPEGファイル10の属性情報16には、1つの被写体に対して1つの情報13Aが記述されているものとする。情報13Aは、1つの被写体に関連するワークフロー処理を規定する情報であり、JSONで記述される。
後述する各利用形態は、コンピュータ200により、又は、画像形成装置300により、又は、コンピュータ200と画像形成装置300の連携により実現される。以下の説明では、特に言及する場合を除き、各利用形態はコンピュータ200により実現される。また、特に言及する場合を除き、JPEGファイル10の属性情報16には、1つの被写体に対して1つの情報13Aが記述されているものとする。情報13Aは、1つの被写体に関連するワークフロー処理を規定する情報であり、JSONで記述される。
図6は、ワークフロー処理を規定する情報13Aを属性情報16に含むJPEGファイル10を処理する機能の観点から表現した制御部210の機能構成の一例を示すブロック図である。制御部210は、操作受付部216を通じて入力のあったユーザの指示を認識するために使用される指示認識部221と、被写体に関連するワークフロー処理を規定する情報13Aの実行を制御する実行制御部222として機能する。ここで、指示認識部221は認識部の一例であり、実行制御部222は制御手段の一例である。
ユーザの指示は、静止画像400に含まれる被写体の選択として認識される。ユーザの指示位置は、静止画像400について定められた座標系(例えば画面左上隅を原点とする座標系)に対する座標(ピクセル値,ピクセル値)として与えられる。指示位置は、静止画像400に重ねて表示されるカーソルの位置として認識してもよく、表示部215に対して手前(ユーザ側)に配置されたタッチパネルセンサをユーザがタッチした位置として認識してもよい。
実行制御部222は、JPEGファイル10に付属する属性情報16の一部に、被写体に関連するワークフロー処理を規定する情報13Aが記述されている場合、以下の処理を実行する。まず、実行制御部222は、情報13Aが対応付けられている領域又は範囲に、指示認識部221で認識された指示位置が含まれるか否かを判定する。指示認識部221で認識された指示位置が、情報13Aが対応付けられている領域又は範囲に含まれない場合、実行制御部222は、情報13Aが規定するワーク処理を実行しない。一方、指示認識部221で認識された指示位置が、情報13Aが対応付けられている領域又は範囲に含まれる場合、実行制御部222は、情報13Aが規定するワークフロー処理を実行する。
次に、制御部210で実行される処理の手順を説明する。図7は、制御部210で実行される処理の手順の一例を示すフローチャートである。まず、制御部210は、表示部215に表示する静止画像400に対応するJPEGファイル10を読み出すと、JPEGファイル10に付属する属性情報16を読み込む(ステップ101)。
次に、制御部210は、表示部215に表示された静止画像400上にあるマウスポインタの位置を認識する(ステップ102)。その後、制御部210は、マウスポインタで指示された位置に、JSONで記述された情報13Aが対応付けられているか否かを判定する(ステップ103)。ステップ103で否定結果が得られた場合、制御部210は、ステップ102に戻る。このことは、マウスポインタで指示された静止画像400上の領域には、情報13Aが対応付けられていないことを意味する。これに対し、ステップ103で肯定結果が得られた場合、制御部210は、JSONで記述されたワークフロー処理を実行する(ステップ104)。実行されるワークフロー処理の内容は、記述される内容により異なる。
<利用形態>
以下、属性情報16のアプリケーションセグメント13に記述された情報13Aの実行を通じて実現される利用形態を説明する。
以下、属性情報16のアプリケーションセグメント13に記述された情報13Aの実行を通じて実現される利用形態を説明する。
<利用形態1>
ここでは、JPEGファイル10の属性情報16に、静止画像400の被写体の一つである照明器具403に関連するワークフロー処理を規定する情報13Aが記述されている場合を説明する。すなわち、この利用形態1の場合、画像形成装置401、テレビジョン受像機402、人404、植木405には対応する情報13Aは、属性情報16に記述されていない。
ここでは、JPEGファイル10の属性情報16に、静止画像400の被写体の一つである照明器具403に関連するワークフロー処理を規定する情報13Aが記述されている場合を説明する。すなわち、この利用形態1の場合、画像形成装置401、テレビジョン受像機402、人404、植木405には対応する情報13Aは、属性情報16に記述されていない。
この利用形態1におけるワークフロー処理は、ユーザによる指示位置の確認、照明器具403の点灯と消灯をコントロールするための操作画面の表示、表示された操作画面に対する操作入力の受け付け、受け付けた操作入力に対応するコマンド信号の出力、照明器具403の表示態様の変更の順番に実行される。
以下、図8及び図9を用いて、本利用形態1におけるワークフロー処理の実行の様子を説明する。図8は、利用形態1のうちコマンドの出力までを説明する図である。図9は、利用形態1のうち静止画像400に加えられる変化例を説明する図である。
まず、ユーザは、表示部215の画面上に静止画像400を表示させる。すると、静止画像400の属性情報16が実行制御部222に与えられる。実行制御部222は、属性情報16に記述されている内容を復号し、アプリケーションセグメント13に記述されている情報13Aが対応付けられている領域又は範囲を特定する。
次に、ユーザは、静止画像400における照明器具403の上にマウスポインタ501を移動させる(図中の丸付き数字1で示されるステップ)。表示部215の手前側にタッチパネルセンサが配置されている場合、この操作は指先によるタッチ操作で行われる。なお、静止画像400内の照明器具403は、撮影した時点の状態であるので点灯状態である。このユーザの操作入力は、操作受付部216を通じて受付され、指示認識部221に与えられる。
この利用形態の場合、照明器具403には情報13Aが対応付けられているので、実行制御部222は、情報13Aに記述されているワークフロー処理を実行する。まず、表示部215の画面上に照明器具403を操作するためのポップアップ画面510を表示させる(図中の丸付き数字2で示されるステップ)。ポップアップ画面510にはオンボタン511とオフボタン512が示されている。次に、ユーザは、オフボタン512の上にマウスポインタ501を移動させ、オフボタン512をクリックする。この操作入力は、操作受付部216から指示認識部221に与えられる。ポップアップ画面510は、被写体に関連付けられた画面の一例である。
実行制御部222は、オフボタン512がクリックされたことを認識すると、静止画像400に写っている実在の照明器具601に対して消灯コマンドを送信する(図中の丸付き数字3で示されるステップ)。照明器具601の制御に必要なコマンド信号は、コンピュータ200に事前に登録されている。なお、照明器具601が赤外線受光部を有し、その点灯や消灯が赤外線信号の受信により実行される場合、実行制御部222は、コンピュータ200に搭載された不図示の赤外線発光部を使用して消灯コマンドを出力する。
この結果、実在の照明器具601は、点灯状態から消灯状態に切り替わる。すなわち、静止画像400は、実在の照明器具601のコントローラとして用いられる。なお、消灯コマンドの出力先は、照明器具601の操作用に実在するリモートコントローラであってもよい。この場合、リモートコントローラを介して消灯コマンドが照明器具601に送信される。
ところで、静止画像400に対応するJPEGファイル10は、デジタルデータであるので複数のユーザに配信することも容易である。換言すると、仮想のコントローラを複数人で共有することも容易である。従って、物理的なコントローラを複数人で共有する場合のような制約がない。このため、実在する照明器具601の点灯と消灯は、各自のコンピュータ200を通じて操作される。さらに、実在の照明器具601は、その撮影画像である静止画像400の照明器具403と一対一に対応する。このため、ユーザによる直感的な制御対象の特定が実現される。また、複数のユーザによる被写体のコントロール状況を分かりやすくする工夫として、静止画像400上に表示される仮想のコントローラに、現在の操作者名等を表示してもよい。
なお、実在する照明器具601又はそのリモートコントローラがIoT(Internet of Things)に対応していれば、静止画像400を閲覧しているユーザの居場と実在する照明器具601の取り付け場所とが物理的に離れていてもよい。ただし、制御対象とする照明器具601を特定するための追加の仕組みが必要になる。照明器具601の特定には、例えば撮像位置の情報、各機器に割り当てられている固有の情報、各機器に割り当てられている通信用のアドレスなどを必要に応じて使用する。
この後、本利用形態1における実行制御部222は、図9に示すように、画像処理により静止画像400に含まれる照明器具403の表示形態に変化を与える(図中の丸付き数字4で示されるステップ)。例えば照明器具403の消灯を反映するように対応領域の表示輝度を低下させる。なお、消灯された状態の照明器具403の画像イメージを作成し、作成された画像イメージで照明器具403の表示を置換してもよい。
すなわち、静止画像400は、実在する照明器具601が消灯状態に変化したことの確認に用いられる。このように被写体の表示形態を制御内容に応じて変化させる機能は、遠隔地から照明器具601の点灯又は消灯が制御される場合のユーザの利便性を向上させる。もちろん、複数のユーザで静止画像400に映った被写体をコントロールする場合、各被写体をコントロールすることで変化した表示形態を各静止画像に反映させるようにしてもよい。なお、静止画像400そのものは別物であっても、同一の被写体が映っている場合、ネットワークを介して同一の被写体の状況を取得し、各静止画像に映っている同一の被写体の表示形態を変化させるようにしても良い。
前述の説明では、照明器具403が静止画像400上で指定された場合について説明したが、例えばテレビジョン受像機402が静止画像400上で指定された場合には、静止画像400に対応するJPEGファイル10の属性情報16に記述されている情報13Aに基づいて、電源スイッチ、チャンネルの変更ボタン、チャンネルの選択ボタン、音量調整ボタンなどの操作画面を静止画像400に表示してもよい。また、電動式の窓やドアが指定された場合には、窓やドアの開閉ボタンを表示してもよい。これらの場合も、操作の結果を反映させて静止画像400に表示される被写体の色や形状を変更してもよい。
また、ワークフロー処理を通じて実現される機能が1つの静止画像400に対して複数用意されている場合には、JPEGファイル10を読み込むと、用意されている機能の一覧を静止画像400に表示してもよい。もっとも、この表示は、マウスポインタ501が情報13Aの記述されている被写体を指示した場合に行ってもよい。また、情報13Aが登録された被写体が静止画像400に1つしか写っていない場合、静止画像400に対応するJPEGファイル10が読み込まれると、マウスポインタ501による指示がなくても、予め定めておいたワークフロー処理が実行されるようにしてもよい。
この利用形態では、コンピュータ200にアプリケーションセグメント13の復号機能が搭載されているが、この復号機能が搭載されていないコンピュータ200では、当然ながら情報13Aに規定されたワークフロー処理を実行できない。この場合、コンピュータ200は、通信手段を介して、アプリケーションセグメント13の復号機能を搭載する外部装置を検索し、発見された外部装置と協働して前述の機能を実現してもよい。例えばコンピュータ200から画像形成装置300に属性情報16(少なくともアプリケーションセグメント13)を送信して復号させ、復号結果を画像形成装置300から取得してもよい。
<利用形態2>
ここでは、JPEGファイル10の属性情報16に被写体に関連するワークフロー処理を規定する情報13Aが含まれる場合に、対応する静止画像400を画像編集又は複製する場合に実行される処理の例を説明する。なお、利用形態2における処理も、コンピュータ200の制御部210が実行する。
ここでは、JPEGファイル10の属性情報16に被写体に関連するワークフロー処理を規定する情報13Aが含まれる場合に、対応する静止画像400を画像編集又は複製する場合に実行される処理の例を説明する。なお、利用形態2における処理も、コンピュータ200の制御部210が実行する。
図10は、ワークフロー処理を規定する情報13Aが属性情報16に記述されているJPEGファイル10を複製する場合の動作例を説明する図である。図10では、JPEGファイル10の全体、すなわち属性情報16も含めて複製されている。このように複製されたJPEGファイル10を複数のユーザに配布すれば、前述したように複数人が静止画像400を通じて被写体に対応する実在の機器をそれぞれ操作する利用形態が実現される。
図11は、ワークフロー処理を規定する情報13Aが属性情報16に記述されているJPEGファイル10を複製する場合の他の動作例を説明する図である。図11では、JPEGファイル10の複製の際に、属性情報16から情報13Aが削除される。この場合、オリジナルの電子写真を保持するユーザだけが、被写体に対応する実在の機器に対する静止画像400からの制御権を有することになる。なお、JPEGファイル10を複製する際に、属性情報16の全体を複製するか属性情報16のうち情報13Aを削除するかはユーザによる選択で行ってもよい。ここでの選択は、予め行ってもよいし、複製のタイミングで表示される操作画面を通じて行ってもよい。
図12は、JPEGファイル10の複製のタイミングで表示されるワークフロー処理を規定する情報13Aの複製を確認するポップアップ画面520の表示例を示す図である。ポップアップ画面520には、複製対象となっているJPEGファイル10の属性情報16には実行形式の情報13Aが含まれること、実行形式の情報13Aも含めて複製してもよいかの確認を求める内容とが含まれる。なお、YESボタン521がユーザにより選択された場合、制御部210は属性情報16の全体を複製し、NOボタン522がユーザにより選択された場合、制御部210は情報13Aを除いた属性情報16を複製する。
図13は、ワークフロー処理を規定する情報13Aが属性情報16に記述されている被写体を画像編集により削除する場合の動作例を説明する図である。図13では、情報13Aはテレビジョン受像機402に対応付けられており、テレビジョン受像機402の画像が静止画像400から削除されている。この場合、制御部210は、テレビジョン受像機402に対応付けられている情報13Aを属性情報16から削除する。この削除により、静止画像400上に既に存在しない被写体に関連する操作画面が表示される不都合が回避される。
図14は、ワークフロー処理を規定する情報13Aが属性情報16に記述されている1つの被写体を画像編集により複製する又は切り取る場合の動作例を説明する図である。図14では、情報13Aは照明器具403に対応付けられている。照明器具403の画像部分(枠線530で囲まれた部分)について新たに作成されるJPEGファイル10の属性情報16には、照明器具403に対応する情報13Aだけが複製されている。すなわち、テレビジョン受像機402に対応する情報13Bは複製されていない。このように、元の静止画像400の属性情報16に記述されていた情報13Aは、対応付けられている被写体を含む部分画像とともに、新たなJPEGファイル10に複製される。
この部分画像の複製機能は、静止画像400に含まれる電子機器を1つの画面上に配置する操作画面の作成に用いてもよい。図15は、複数の静止画像400から複製又は切り出された電子機器の小画像を1枚の静止画像540上に配置した例を示す図である。図15の場合、静止画像540には、リビングに配置された画像形成装置の画像、テレビジョン受像機の画像、照明器具の画像、空調機の画像、扇風機の画像、ビデオデッキの画像、エントランスに配置された照明器具の画像、子供部屋に配置された空調機の画像が含まれている。前述したように、これらの画像に対応するJPEGファイル10には被写体である電子機器に関する情報13Aが含まれている。従って、静止画像540は複数の電子機器の操作画面として用いられる。
<利用形態3>
ここでは、JPEGファイル10と他の文書との組み合わせにより実現される新たな利用形態の提供について説明する。図16は、ワークフロー処理を規定する情報13Aが属性情報16に記述されているJPEGファイル10の画像を電子文書550に貼り付ける場合に現れる画面例を説明する図である。電子文書550は文書ファイルの一例である。図16の場合、電子文書550には、実行言語による記述が埋め込まれた領域551が含まれる。領域551には、例えば実行言語で記述された情報13Aを含むJPEGファイル10が配置された場合に開かれるポップアップ画面552の配置位置やサイズを規定する内容がhtml言語で記述されている。
ここでは、JPEGファイル10と他の文書との組み合わせにより実現される新たな利用形態の提供について説明する。図16は、ワークフロー処理を規定する情報13Aが属性情報16に記述されているJPEGファイル10の画像を電子文書550に貼り付ける場合に現れる画面例を説明する図である。電子文書550は文書ファイルの一例である。図16の場合、電子文書550には、実行言語による記述が埋め込まれた領域551が含まれる。領域551には、例えば実行言語で記述された情報13Aを含むJPEGファイル10が配置された場合に開かれるポップアップ画面552の配置位置やサイズを規定する内容がhtml言語で記述されている。
この場合、ポップアップ画面552に表示される内容はJPEGファイル10側の情報13Aで規定され、ポップアップ画面552の配置位置やサイズは電子文書550側の領域551に記述された内容で規定される。これにより、情報13Aで規定されるワークフロー処理だけでは得られない複雑なワークフロー処理が実現される。なお、情報13Aと領域551側の記述との組み合わせにより、特殊な文字や図形が浮かび上がるようにしてもよい。
図17は、ワークフロー処理を規定する情報13Aが属性情報16に記述されているJPEGファイル10の画像を電子文書550に貼り付ける場合に現れる他の画面例を説明する図である。図17では、例えば実行言語で記述された情報13Aを、電子文書550を表示するアプリケーション600のマクロ601と組み合わせて動作させ、その実行結果がポップアップ画面553として表示される例を表している。例えば情報13Aのワークフロー処理によって収集された被写体の価格情報を、マクロを用いて集計してもよい。また、被写体がレシートである場合、情報13Aは料金部分を抽出してマクロに与える内容でもよい。
<利用形態4>
ここでは、ワークフロー処理を規定する情報13Aが属性情報16に記述されているJPEGファイル10の画像を記録材である用紙に印刷する場合の動作について説明する。前述の利用形態では、属性情報16の複製がデータファイルの形態で実行されているが、この利用形態では用紙を用いて行う。図18は、属性情報16の内容を表す低視認性のコード化画像560を静止画像400に埋め込んで印刷する利用形態を説明する図である。
ここでは、ワークフロー処理を規定する情報13Aが属性情報16に記述されているJPEGファイル10の画像を記録材である用紙に印刷する場合の動作について説明する。前述の利用形態では、属性情報16の複製がデータファイルの形態で実行されているが、この利用形態では用紙を用いて行う。図18は、属性情報16の内容を表す低視認性のコード化画像560を静止画像400に埋め込んで印刷する利用形態を説明する図である。
低視認性のコード化画像560は、出力文書の背景に配置される目立たない極小ドットで構成される画像である。このコード化画像560の作成技術には、例えばMISTCODE(Micro-dot Iterated and Superimposed Tag CODE)を使用する。MISTCODEは、ドットをある規則で配置したパターンで構成され、このパターンを用紙中に分散配置して情報を埋め込む。コンピュータ200の制御部210は、属性情報16から作成した低視認性のコード化画像560を静止画像400に埋め込んだ合成画像570を生成し、当該情報を画像形成装置300に与える。
図19は、JPEGファイル10を印刷する場合に制御部210で実行される処理の一例を示すフローチャートである。まず、印刷の指示を受けた制御部210は、印刷対象であるJPEGファイル10から属性情報16を取得する(ステップ201)。次に、制御部210は、属性情報16からコード化画像560を生成する(ステップ202)。もっとも、ワークフロー処理を規定する情報13Aは印刷の際に削除してもよい。
この後、制御部210は、生成されたコード化画像560と画像本体(すなわち、イメージデータ14)に相当する静止画像400を合成し、合成画像570を生成する(ステップ203)。その後、制御部210は、合成画像570を画像形成装置300に出力する(ステップ204)。なお、コード化画像560と静止画像400の合成処理は画像形成装置300内で実行されてもよい。
合成画像570を受け取った場合は、逆の処理が実行される。図20は、合成画像570からコード化画像560と静止画像400を分離し、コード化画像560から属性情報16を復元する様子を説明する図である。図20の処理の流れは、図18の処理の流れの逆向きになる。
図21は、印刷された画像に属性情報16から生成されたコード化画像560が埋め込まれている場合に制御部210で実行される処理の一例を示すフローチャートである。図21は、スキャナを搭載する画像形成装置300で生成されたスキャン画像が通信手段を通じてコンピュータ200に取り込まれた場合の動作である。勿論、画像形成装置300が後述する処理を実行してもよい。
まず、制御部210は、スキャン画像を解析する(ステップ301)。次に、制御部210は、スキャン画像に埋め込み情報があるか否かを判定する(ステップ302)。ステップ302で否定結果が得られた場合、制御部210は後述する処理を実行することなく終了する。一方、ステップ302で肯定結果が得られた場合、制御部210は、スキャン画像に埋め込まれている情報を復号する(ステップ303)。具体的にはコード化画像560が復号される。この後、制御部210は、スキャン画像をJPEGファイル10として保存し、その際に、復号された情報を属性情報16に記述する(ステップ304)。なお、アプリケーションセグメント13に対応付けられているワークフロー処理についてはJSONで記述される。
以上の処理機能をコンピュータ200に搭載することにより、JPEGファイル10の属性情報16がコード化画像560として埋め込まれている印刷物からワークフロー処理を規定する情報13Aを含むJPEGファイル10が生成される。
<利用形態5>
前述の利用形態では、ワークフロー処理を規定する情報13Aが被写体である機器に関連付けられている場合を想定した。しかし、ワークフロー処理を規定する情報13Aは、人404や植木405などに付されていてもよい。図22は、ワークフロー処理を規定する情報13Aが人404に関連付けて記述されている場合を説明する図である。
前述の利用形態では、ワークフロー処理を規定する情報13Aが被写体である機器に関連付けられている場合を想定した。しかし、ワークフロー処理を規定する情報13Aは、人404や植木405などに付されていてもよい。図22は、ワークフロー処理を規定する情報13Aが人404に関連付けて記述されている場合を説明する図である。
図22の場合、マウスポインタ501で人404が指定されると、制御部210は属性情報16から情報13Aを読み出し、情報13Aに記述されているワークフロー処理を実行する。この例では、ワークフロー処理の実行により、被写体であるAに関する個人情報がデータベースから読み出され、ポップアップ画面580に表示されている。また、「みなさんよろしく」との音声ファイルが再生される。ここでの再生音声は、被写体に関連づけられた音の一例である。
<利用形態6>
前述の利用形態の説明では、JPEGファイル10の属性情報16に被写体に関連するワークフロー処理を記述した情報13Aが含まれている場合に、情報13Aを読み出したコンピュータ200が実行する機能について説明した。この利用形態では、JPEGファイル10の属性情報16に情報13Aを記録する場合について説明する。
前述の利用形態の説明では、JPEGファイル10の属性情報16に被写体に関連するワークフロー処理を記述した情報13Aが含まれている場合に、情報13Aを読み出したコンピュータ200が実行する機能について説明した。この利用形態では、JPEGファイル10の属性情報16に情報13Aを記録する場合について説明する。
図23は、ワークフロー処理を規定する情報13Aを記録する観点から表現した制御部210の機能構成の一例を示すブロック図である。制御部210は、ユーザが指定する画像位置を検出する位置検出部231と、画像処理技術を用いて登録されている画像に合致する被写体を検出する被写体検出部232と、属性情報16のアプリケーションセグメント13に、検出位置にワークフロー処理を関連付けて記述する属性情報記述部233として機能する。
図24は、ユーザによる画像領域の指定の例を説明する図である。図24では、マウスポインタ501のドラッグにより、テレビジョン受像機402の表示位置を囲むように領域590が設定されている。この領域590を与える座標情報を指定位置として入力する位置検出部231は、最終的に確定した領域の座標情報を位置情報として出力する。
被写体検出部232は、予め情報13Aを記録する被写体の画像が登録されている場合に用いられる。被写体検出部232は、JPEGファイル10に含まれるイメージデータ14(すなわち静止画像400)と登録画像をマッチングし、登録画像にマッチした被写体が存在する座標情報を位置情報として出力する。
属性情報記述部233は、ワークフロー処理の記述を位置情報に関連付けて属性情報16のアプリケーションセグメント13に記録する。ここで、ワークフロー処理の記述は、ユーザが編集してもよいし、予め用意された記述を用いてもよい。また、ワークフロー処理は、JSONで記述したテキストで記述される。
図25は、ワークフロー処理を規定する情報13Aの属性情報16への書き込みを説明する図である。図25の上段に示すJPEGファイル10の属性情報16には情報13Aが含まれていないが、下段に示すJPEGファイル10の属性情報16には情報13Aが追加されている。このように、既存のJPEGファイル10にワークフロー処理を後から追記してもよい。
<他の実施形態>
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態では、画像のファイルフォーマットの例として静止画像のJPEGファイルで本発明の実施形態を説明したが、適用可能なファイルフォーマットは静止画像やJPEGファイルに限らず、動画像やJPEG以外のファイルフォーマットにも適用できる。上記実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態では、画像のファイルフォーマットの例として静止画像のJPEGファイルで本発明の実施形態を説明したが、適用可能なファイルフォーマットは静止画像やJPEGファイルに限らず、動画像やJPEG以外のファイルフォーマットにも適用できる。上記実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
10…JPEGファイル、13…タイプ11のアプリケーションセグメント、13A、13B…ワークフロー処理を規定する情報、100…画像処理システム、200…コンピュータ、221…指示認識部、222…実行制御部、231…位置検出部、232…被写体検出部、233…属性情報記述部、300…画像形成装置、400…静止画像、501…マウスポインタ、510、520、552、553、580…ポップアップ画面、530…枠線、540…静止画像、550…電子文書、551…実行言語による記述が埋め込まれた領域、600…アプリケーション、601…マクロ
Claims (16)
- 属性情報が付属した各被写体を含む画像に対するユーザの指定を認識する認識部と、
前記画像上でユーザが指定した被写体に付属する前記属性情報を、当該画像のデータファイルに付属する属性情報の中から読み出した後、読み出された当該属性情報が規定するワークフロー処理の実行を通じてユーザが指定した当該被写体に関連する情報の通知を要求する制御部と、
を有する情報処理装置。 - 前記画像のデータファイルは、JPEGフォーマットに準拠し、前記属性情報は、JSONで記述されていること
を特徴とする請求項1に記載の情報処理装置。 - 前記制御部は、前記ワークフロー処理の実行を通じて、前記被写体としての機器を操作するための操作画面を表示すること
を特徴とする請求項1に記載の情報処理装置。 - 前記制御部は、前記操作画面を通じて受け付けた操作に関するコマンドを前記被写体としての機器に対して送信する又は送信させること
を特徴とする請求項3に記載の情報処理装置。 - 前記制御部は、前記操作によって実現された状態が反映されるように、前記画像内における前記被写体の表示に変化を与えること
を特徴とする請求項4に記載の情報処理装置。 - 前記制御部は、前記被写体としての機器に応じて用意されている複数の前記操作画面の何れか1つ以上を表示すること
を特徴とする請求項3に記載の情報処理装置。 - 前記制御部は、前記被写体に対応する実在する機器の状態を反映するように、当該被写体の表示を変更すること
を特徴とする請求項3に記載の情報処理装置。 - 前記制御部は、前記ワークフロー処理の実行を通じて、前記被写体に関連付けられている音声ファイルを再生すること
を特徴とする請求項1に記載の情報処理装置。 - 前記ワークフロー処理は、前記被写体がユーザに操作可能な機器の画像である場合、当該機器を操作する操作画面を表示し、当該被写体がユーザに操作不可能な画像である場合、当該被写体に関する情報を通知するように処理の内容を切り替えること、
を特徴とする請求項1に記載の情報処理装置。 - 前記制御部は、前記画像のデータファイルに付属する前記属性情報に記述されている前記情報の内容と、当該画像が貼り付けられる文書ファイルの文書内に記述されている内容とを組み合わせて1つの機能を実行すること
を特徴とする請求項1に記載の情報処理装置。 - 前記制御部は、前記画像のデータファイルに含まれる前記属性情報に記述された前記情報の内容と、当該画像が貼り付けられる文書ファイルを開くアプリケーションに登録されている内容とを組み合わせて1つの機能を実行すること
を特徴とする請求項1に記載の情報処理装置。 - 前記制御部は、前記情報の復号結果を外部装置から取得して前記ワークフロー処理を実行すること
を特徴とする請求項1に記載の情報処理装置。 - 属性情報が付属した各被写体を含む画像上でユーザが指定した被写体に対応する領域部分を検出する又は予め定めた被写体が存在する当該画像上における領域部分を検出する検出部と、
検出された前記領域部分の前記被写体に関連する情報の通知をワークフロー処理の実行を通じて要求するための情報を、前記画像のデータファイルに付属する前記属性情報の一部分に記述する制御部と、
を有する情報処理装置。 - 情報処理装置で処理される画像ファイルのデータ構造において、
画像の本体を格納する第1のデータ領域と、
前記画像の本体の属性情報を格納する第2のデータ領域であり、当該本体の属性情報の一部として、当該画像に含まれる各被写体に付属する属性情報を含む当該第2のデータ領域と
を備え、
前記画像上で前記被写体がユーザにより指定された場合、当該被写体に付属する前記属性情報が規定するワークフロー処理の実行を通じて、ユーザが指定した被写体に関連する情報の通知を前記情報処理装置に要求する
画像ファイルのデータ構造。 - コンピュータを、
属性情報が付属した各被写体を含む画像に対するユーザの指定を認識する認識部と、
前記画像上でユーザが指定した被写体に付属する前記属性情報を、当該画像のデータファイルに付属する前記属性情報の中から読み出した後、読み出された当該属性情報が規定するワークフロー処理の実行を通じてユーザが指定した前記被写体に関連する情報の通知を要求する制御部と、
として機能させるためのプログラム。 - コンピュータを、
属性情報が付属した各被写体を含む画像上でユーザが指示した被写体に対応する領域部分を検出する又は予め定めた前記被写体が存在する当該画像上における領域部分を検出する検出部と、
検出された前記領域部分の前記被写体に関連する情報の通知をワークフロー処理の実行を通じて要求するための情報を、前記画像のデータファイルに付属する前記属性情報の一部分に記述する制御部と、
として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017139934A JP6418290B2 (ja) | 2017-07-19 | 2017-07-19 | 情報処理装置、画像ファイルのデータ構造及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017139934A JP6418290B2 (ja) | 2017-07-19 | 2017-07-19 | 情報処理装置、画像ファイルのデータ構造及びプログラム |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016207903A Division JP6187667B1 (ja) | 2016-10-24 | 2016-10-24 | 情報処理装置、画像ファイルのデータ構造及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018073386A JP2018073386A (ja) | 2018-05-10 |
| JP6418290B2 true JP6418290B2 (ja) | 2018-11-07 |
Family
ID=62115496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017139934A Active JP6418290B2 (ja) | 2017-07-19 | 2017-07-19 | 情報処理装置、画像ファイルのデータ構造及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6418290B2 (ja) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0773978A (ja) * | 1993-08-31 | 1995-03-17 | Toshiba Lighting & Technol Corp | 照明演出装置 |
| JP4088025B2 (ja) * | 2000-07-06 | 2008-05-21 | 株式会社東芝 | インターネット商品受注装置 |
| JP2004030281A (ja) * | 2002-06-26 | 2004-01-29 | Fuji Photo Film Co Ltd | データ転送方法、データ転送装置、及びデジタルカメラ |
| JP4799285B2 (ja) * | 2006-06-12 | 2011-10-26 | キヤノン株式会社 | 画像出力システム、画像出力装置、情報処理方法、記憶媒体ならびにプログラム |
| US8850571B2 (en) * | 2008-11-03 | 2014-09-30 | Fireeye, Inc. | Systems and methods for detecting malicious network content |
| US8997219B2 (en) * | 2008-11-03 | 2015-03-31 | Fireeye, Inc. | Systems and methods for detecting malicious PDF network content |
| EP2997798A1 (en) * | 2013-05-13 | 2016-03-23 | Koninklijke Philips N.V. | Device with a graphical user interface for controlling lighting properties |
| JP2015076001A (ja) * | 2013-10-10 | 2015-04-20 | 沖プリンテッドサーキット株式会社 | 画像データの履歴管理方法並びに画像データの履歴管理システム |
-
2017
- 2017-07-19 JP JP2017139934A patent/JP6418290B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018073386A (ja) | 2018-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10419618B2 (en) | Information processing apparatus having whiteboard and video conferencing functions | |
| JP3746378B2 (ja) | 電子メモ処理装置、電子メモ処理方法、および電子メモ処理プログラムを記録したコンピュータ読取り可能な記録媒体 | |
| CN102378958B (zh) | 信息输入装置及信息输入方法 | |
| JP2010146086A (ja) | データ配信システム、データ配信装置、データ配信方法およびデータ配信プログラム | |
| JP6187667B1 (ja) | 情報処理装置、画像ファイルのデータ構造及びプログラム | |
| KR101219410B1 (ko) | 화상판독장치, 화상판독장치 제어방법, 화상판독 시스템 및 화상판독 시스템 제어방법 | |
| JP6179653B1 (ja) | 情報処理装置及びプログラム | |
| US20160241743A1 (en) | Image processing system, image processing apparatus, and image forming apparatus | |
| CN107615230A (zh) | 信息处理装置、图像显示方法和程序 | |
| JP2019050520A (ja) | 情報処理装置及びプログラム | |
| JP7235072B2 (ja) | 情報処理装置、プログラム及び制御方法 | |
| JP2008003991A (ja) | 画像処理装置及び画像処理方法及びプログラム | |
| JP2019049902A (ja) | 情報処理装置及びプログラム | |
| JP2010261989A (ja) | 画像処理装置、表示履歴確認支援方法、およびコンピュータプログラム | |
| CN104219435A (zh) | 数据管理装置、信息处理终端和数据管理方法 | |
| US10805243B2 (en) | Artificial intelligence conversation interface for receiving and interpreting user input | |
| JP4533315B2 (ja) | 背景画像を設定する情報処理装置、情報表示方法、およびプログラム | |
| JP2019049899A (ja) | 情報処理装置及びプログラム | |
| JP6418290B2 (ja) | 情報処理装置、画像ファイルのデータ構造及びプログラム | |
| CN109492515B (zh) | 信息处理装置、图像文件的数据结构以及计算机可读介质 | |
| JP2011030234A (ja) | 表示制御装置及びその制御方法、プログラム | |
| JP4995701B2 (ja) | 画像形成装置および画像形成システム | |
| JP6455551B2 (ja) | 情報処理装置及びプログラム | |
| CN116912076A (zh) | 水印添加方法和图像形成装置 | |
| US9692938B2 (en) | Image forming apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180911 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180924 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6418290 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |