JP6433014B2 - 情報取得装置及び情報伝達システム - Google Patents

Description

本発明は、液晶モニタやプロジェクタなどの表示装置が表示する表示画像中に埋め込まれた情報を取得する情報取得装置や、当該情報取得装置を備えた情報伝達システムに関する。

近年、携帯端末やロボットなどの様々な電子機器にイメージセンサが搭載されており、このような電子機器の撮像機能を利用した様々なシステムが提案されている。そして、このようなシステムの中でも、表示装置と電子機器とが連携動作するシステム（具体的には、表示装置が表示する表示画像を電子機器が撮像することによって、当該電子機器が何らかの情報を取得して動作に利用するシステム）が、特に注目されている。

表示装置と電子機器とが連携動作するシステムでは、例えば、表示画像を撮像してプレビュー画像を表示する携帯端末において実在しない物体の画像を当該プレビュー画像中に合成して表示する拡張現実（Augmented Reality：ＡＲ）処理や、表示画像の撮像によって当該表示画像を表示する表示装置（または、当該表示画像のデータを生成して当該表示装置に出力するコンピュータ）を識別した携帯端末による当該表示装置（または、当該コンピュータ）の遠隔操作、表示画像の撮像により取得した情報に基づいて動作するロボットの自律運転など、が可能である。

ただし、上記のような表示装置と電子機器とが連携動作するシステムでは、表示画像を撮像した電子機器が情報を取得することができるように、情報を取得するための『しくみ』を表示画像中に設ける必要がある。

この最も簡単な方法として、当該情報を表すマーカを表示画像中に表示させる方法が考えられる。しかし、この方法では表示画像が見苦しくなってしまうという問題が生じる。そのため、当該『しくみ』は、表示画像を撮像する電子機器であれば認識可能であるが、表示画像を見る人間の視覚では認識不可能（または、認識が著しく困難）であることが要請される。

この要請を満たすシステムが、特許文献１及び２、並びに、非特許文献１及び２で提案されている。なお、特許文献２及び非特許文献２で提案されているシステムは、同一のものである。

特許文献１では、複数の表示装置のそれぞれにおいて、バックライトの輝度の変調方法を異ならせることによって、表示装置の表示面上を撮像するライトペンが、どの表示装置の表示面を撮像しているのかを識別可能としたシステムが提案されている。

また、非特許文献１では、人間の視覚では認識できない極めて短い時間に二次元コードを投影するプロジェクタを備え、当該プロジェクタが投影するタイミングとカメラが撮像するタイミングとを同期させることによって、投影された二次元コードが識別可能である画像データを生成するシステムが提案されている。

また、特許文献２及び非特許文献２では、補色である２色（青色及び黄色）の高速切替表示と、当該２色を加法混色して成る単色（白色または灰色）の継続表示と、を人間が識別できないことを利用して、表示画像中に情報を埋め込むシステムが提案されている。

具体的に、このシステムでは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどで採用されているローリングシャッタ方式のイメージセンサを搭載した携帯端末が使用される。なお、ローリングシャッタ方式とは、イメージセンサを構成するそれぞれの撮像画素回路を、所定の単位（例えば、行単位）毎に順次駆動することによって、当該単位毎に露光タイミングが異なる画素データを順次生成し、さらにこれらの画素データを接続することで１つの画像データを生成する方式である。また、表示装置は、表示画像内の所定の領域（文字や図画が表示されないブランクの領域であって、例えば外周のフレーム領域）に設けられた「セル」を、上述した２種類の表示方法で選択的に表示することによって、表示画像内に情報を埋め込む。

この「セル」を、ローリングシャッタ方式のイメージセンサを備えた携帯端末で撮像した場合、２色の高速切替表示をする「セル」は、携帯端末が生成する画像データ中において、青色の表示期間中に撮像して得られた青色の画素データと、黄色の表示期間中に撮像して得られた黄色の画素データと、が混在した状態（具体的には、青色と黄色の縞模様の状態）となる。一方、単色の継続表示をする「セル」は、携帯端末が生成する画像データ中において、全部が当該単色で塗りつぶされた状態となる。そこで、携帯端末は、表示画像を撮像して生成した画像データ中の「セル」に対応する領域が、２色（青色及び黄色）が混在した状態であるか、単色（白色または灰色）で塗りつぶされた状態であるか、を識別することによって、情報を取得する。

特開２０１４−４１５４０号公報 米国特許出願公開第２０１３／００８９１３３号

Anselm Grundhofer, et al., "Dynamic Adaptation of Projected Imperceptible Codes", In Proc. ISMAR 2007, pp.181-190. Grace Woo, et al., "VRCodes: Unobtrusive and Active Visual Codes for Interaction by Exploiting Rolling Shutter", In Proc. ISMAR 2012, pp.59-64.

しかしながら、特許文献１で提案されているシステムでは、バックライトの輝度を変調するための変調装置をバックライトに追加するとともに、バックライトの輝度の変調方法を識別するためのセンサ及び復調装置をライトペンに追加する必要があるため、システムの構成が大型化かつ複雑化する。さらに、このシステムでは、空間方向には変動せず時間方向にのみ変動するバックライトの輝度を用いて情報を伝達するため、単位時間当たりにライトペンが取得可能な情報量が極端に少なく、表示装置の識別コード程度の極めて単純な情報しか伝達することができない。

一方、非特許文献１で提案されているシステムでは、二次元コードを用いて情報を伝達するため、複雑な情報であっても伝達することが可能である。しかし、このシステムでは、二次元コードを投影するプロジェクタと、投影された二次元コードを撮像するカメラと、のそれぞれに接続してこれらの動作を同期させるための同期ユニットが必要になるため、システムの構成が大規模になる。さらに、このシステムでは、同期ユニットに接続されたカメラ以外は、二次元コードが識別可能である画像データを生成することが不可能であるため、システムの汎用性が極めて低い。

これらのシステムに対して、特許文献２及び非特許文献２で提案されているシステムでは、ローリングシャッタ方式のイメージセンサを備えた携帯端末であれば、表示画像中の「セル」に表示される二次元の情報を取得することが可能である。即ち、このシステムでは、任意の上記携帯端末において二次元の情報を取得することが可能になる。

しかしながら、特許文献２及び非特許文献２で提案されているシステムでは、携帯端末が、撮像して得た画像データ中の色を識別して情報を取得するため、表示装置が、「セル」に表示すべき色（青色、黄色、白色、灰色）の文字や図画を含む表示画像を表示することができないという制限がある。さらに、このシステムでは、「セル」は人間の視覚において単色（白色または灰色）で塗りつぶされた領域であると認識されるため、表示画像中の文字や図画を表示する領域内に「セル」を設けることは不可能であるから、文字や図画が表示されないフレーム領域などの限られた極狭い領域に「セル」を設けざるを得ないという制限がある。

このように、特許文献２及び非特許文献２で提案されているシステムでは、表示画像の内容の制限や、表示画像中の「セル」を設ける位置の制限など、様々な制限が課されるため、問題となる。

そこで、本発明は、表示画像の内容や表示画像中の情報を埋め込む位置を制限することなく、簡易な構成で当該表示画像中に埋め込まれた情報を取得することが可能な情報取得装置や情報伝達システムを提供することを目的とする。

上記目的を達成するため、本発明は、原画像に表示方法が順次切り替えられるパタンが埋め込まれた表示画像を、一連の撮像フレームの各撮像期間において順次撮像することで撮像画像データを順次生成する撮像部と、前記撮像部が順次生成する前記撮像画像データの前記一連の撮像フレームの異なるフレーム間の差分に基づいて、前記パタンを示す出力パタンデータを生成する画像処理部と、を備え、前記表示画像は、前記原画像中の埋込位置における原画素を変動させて前記パタンとしたものであって、前記パタンの前記表示方法が順次切り替えられると、人間の視覚では、前記パタンと前記原画像中の前記埋込位置における前記原画素とが区別できないように設定されており、前記撮像部は、１つの前記パタンに対応した前記表示画像を表示する表示期間である表示タイミングと、前記撮像部が前記表示画像を順次撮像する前記撮像期間である撮像タイミングの間にズレが生じている場合、当該ズレの生じている１つの前記撮像期間内に、前記ズレに応じた時間比で、前記表示方法の異なる連続する２つの前記パタンが各別に埋め込まれた２つの前記表示画像を順次撮像するように構成され、前記一連の撮像フレームにおける前記撮像タイミングが、所定周期で出現する前記表示タイミングに対して、１つの前記撮像期間の前記ズレに応じた時間比が時間方向に対して変動するように、設定されていることを特徴とする情報取得装置を提供する。

この情報取得装置によれば、撮像画像データの異なるフレーム間の差分に基づいて出力パタンデータを生成するため、表示動作及び撮像動作の同期を不要とした簡易な構成であっても、表示画像の内容や表示画像中の情報を埋め込む位置を制限することなく、当該表示画像中に埋め込まれた情報を取得することが可能になる。

さらに、この情報取得装置によれば、表示タイミング及び撮像タイミングのズレが時間方向に対して変動するため、パタンが完全にキャンセルされた撮像画像データのみが生成されることが避けられ、パタンが識別可能である出力パタンデータを生成することが可能になる。

さらに、上記特徴の情報取得装置において、前記撮像部は、前記原画像に所定のパタン表示切替レートで表示方法が順次切り替えられる前記パタンが埋め込まれた前記表示画像を、所定の撮像フレームレートで順次撮像することで前記撮像画像データを順次生成するものであり、前記表示タイミングと前記撮像タイミングとの間の前記ズレが、時間方向に対して周期的に変動してうなりが生じるように、前記パタン表示切替レート及び前記撮像フレームレートが設定されていると、好ましい。

この情報取得装置によれば、パタン表示切替レート及び撮像フレームレートをうなりが生じる大きさにするという簡易な方法で、表示タイミング及び撮像タイミングのズレを時間方向に対して変動させることができる。そのため、撮像部の動作制御を簡易なものにすることが可能になる。

さらに、上記特徴の情報取得装置において、前記画像処理部は、前記うなりの周波数で前記撮像フレームレートを除した数である繰り返し単位フレーム数以上となる、所定数の前記撮像画像データから得られる前記差分に基づいて、前記出力パタンデータを生成すると、好ましい。

この情報取得装置によれば、表示タイミング及び撮像タイミングのズレが異なる全種類の撮像画像データを用いて、フレーム間の差分が算出される。そのため、算出される撮像画像データのフレーム間の差分の中に、パタンが埋め込まれた位置の差分の絶対値が０よりも十分に大きくなるものが含まれる可能性を、高くすることが可能になる。

さらに、上記特徴の情報取得装置において、前記画像処理部は、前記所定数である前記撮像画像データの全ての組み合わせから得られる前記差分に基づいて、前記出力パタンデータを生成すると、好ましい。

この情報取得装置によれば、算出される撮像画像データのフレーム間の差分の中に、パタンが埋め込まれた位置の差分の絶対値が０よりも十分に大きくなるものが含まれる可能性を、高くすることが可能になる。

さらに、上記特徴の情報取得装置において、前記パタン表示切替レート及び前記撮像フレームレートは、前記繰り返し単位フレーム数が奇数となるように設定されていると、好ましい。

この情報取得装置によれば、露光期間中に複数の表示画像が表示されて生成される撮像画像データにおける当該表示画像の混合比が、順次生成される撮像画像データの全体にわたって一様になることで、パタンが埋め込まれた位置の差分の絶対値が全体的に小さくなることを、避けることが可能になる。

さらに、上記特徴の情報取得装置において、前記パタン表示切替レート及び前記撮像フレームレートは、前記撮像フレームレートが前記パタン表示切替レートよりも小さくなるように設定されていると、好ましい。

この情報取得装置によれば、三板式のプロジェクタを用いて表示画像を表示する場合や、撮像部がローリングシャッタ方式のイメージセンサを備える場合であっても、信頼性の高い出力パタンデータを生成することが可能になる。

さらに、上記特徴の情報取得装置において、前記パタン表示切替レート及び前記撮像フレームレートは、一方の値が固定されている場合に、他方が、前記うなりの周波数が最大となるように設定されていると、好ましい。

この情報取得装置によれば、差分を算出するために用いる撮像画像データの数を最小にすることが可能になり、撮像画像データの変動の影響を小さくすることができるため、出出力パタンデータの信頼性を向上することが可能になる。

さらに、上記特徴の情報取得装置において、前記パタンの前記表示方法が２種類であるとき、前記パタン表示切替レート及び前記撮像フレームレートは、前記撮像フレームレートが前記パタン表示切替レートの３／４倍となるように設定されていると、好ましい。

この情報取得装置によれば、うなりの周波数が最大であり、かつ、繰り返し単位フレーム数を奇数にすることが可能になる。

さらに、上記特徴の情報取得装置において、前記撮像部の露光期間の長さと、前記パタン表示切替レートの逆数である前記パタンの切替周期と、が等しくなるように設定されていると、好ましい。

この情報取得装置によれば、表示画像が過度に混合されてパタンが大幅にキャンセルされた撮像画像データが生成される可能性を低くすることが可能になるとともに、様々な種類の表示装置やイメージセンサを使用することが可能になる。

さらに、上記特徴の情報取得装置において、前記表示画像中の前記パタンは、前記原画像中の前記埋込位置における前記原画素の色度を変動させたものであると、好ましい。

この情報取得装置によれば、人間の視覚では認識し難いパタンが埋め込まれた表示装置を撮像して、パタンを取得することが可能になる。

また、本発明の情報伝達システムは、上記の情報取得装置と、前記表示画像を表示する情報提供装置と、を備え、前記情報提供装置は、前記原画像を示す原画像データに対して、入力パタンデータが示す前記パタンの前記埋込位置における前記原画素の画素値を変動させることで、前記表示画像を示す表示画像データを順次生成するパタン埋込部と、前記パタン埋込部が生成する前記表示画像データが示す前記表示画像を順次表示する表示部と、を備えることを特徴とする。

上記特徴の情報取得装置及び情報伝達システムによれば、表示動作及び撮像動作の同期を不要とした簡易な構成であっても、表示画像の内容や表示画像中のパタンを埋め込む位置を制限することなく、当該表示画像中に埋め込まれた情報を取得することが可能になる。さらに、パタンが完全にキャンセルされた撮像画像データのみが生成されることが避けられ、パタンが識別可能である出力パタンデータを生成することが可能になる。

本発明の実施形態に係る情報伝達システムの構成例について示すブロック図。 情報提供装置におけるパタン埋込部及び表示部の具体的な動作例について示す図。 撮像画像データのフレーム間の差分に基づいた出力パタンデータの生成方法の概略について示す図。 撮像画像データのフレーム間の差分に基づいた出力パタンデータの生成方法の概略について示す図。 撮像フレームレートとうなりの周波数との関係を示すグラフ。 撮像フレームレートがパタン表示切替レートの１／２^ｎ倍である場合のタイミング図。 撮像フレームレートがパタン表示切替レートの１／２^ｎ倍である場合のタイミング図。 撮像フレームレートがパタン表示切替レートの３／４倍である場合のタイミング図。 画像処理部による出力パタンデータの生成方法の具体例について示す図。 画像処理部による出力パタンデータの生成方法の具体例について示す図。 撮像フレームレートがパタン表示切替レートの２／３倍である場合のタイミング図。 パタンの表示方法が３種類である場合のタイミング図。 本発明の別の実施形態に係る情報伝達システムの動作例について示すタイミング図。

＜＜情報伝達システム＞＞
本発明の実施形態に係る情報伝達システムについて、図面を参照して説明する。図１は、本発明の実施形態に係る情報伝達システムの構成例について示すブロック図である。

図１に示すように、本発明の実施形態に係る情報伝達システム１は、情報提供装置１０と、情報取得装置２０と、を備える。情報提供装置１０は、情報取得装置２０に対して伝達すべき情報であるパタンが埋め込まれた表示画像を生成して表示する。また、情報取得装置２０は、情報提供装置１０が表示する表示画像を撮像することで、当該表示画像中に埋め込まれているパタンを取得する。

情報提供装置１０の典型例は、ディスプレイまたはプロジェクタ及びスクリーンなどの中型または大型の表示装置を備える据置型のコンピュータシステムや、デジタルサイネージなどである。また、情報取得装置２０の典型例は、動画撮像用カメラを有したスマートフォンやタブレット型端末、ノートパソコンなどの携帯端末、あるいはスマートグラスに代表されるヘッドマウントディスプレイなどのウエアラブル端末である。

＜情報提供装置＞
情報提供装置１０は、パタン埋込部１１と、表示部１２と、を備える。例えば、パタン埋込部１１は、ＣＰＵ（Central Processing Unit）などの演算装置や、データを一時的に保持するフレームメモリを備える。また例えば、表示部１２は、液晶モニタやプロジェクタなどの表示装置を備える。

パタン埋込部１１は、原画像を示す原画像データに対して、入力パタンデータが示すパタンの埋込位置における原画素の画素値を変動させることで、表示画像を示す表示画像データを生成する。また、表示部１２は、パタン埋込部１１が生成する表示画像データが示す表示画像を、順次表示する。なお、以下では、原画像及び原画像データ中の画素を「原画素」と称し、表示画像及び表示画像データ中の画素を「表示画素」と称する。

ここで、情報提供装置１０におけるパタン埋込部１１及び表示部１２の具体的な動作例について、図面を参照して説明する。図２は、情報提供装置におけるパタン埋込部及び表示部の具体的な動作例について示す図である。なお、図２に示す原画像は静止画であり、以下の説明においても原画像は静止画であるものとする。

図２に示す動作例は、パタン埋込部１１が、原画像データ中の埋込位置Ｐにおける原画素の画素値を、異なる２種類の変動方法を適用して交互に変動させることで、表示方法が交互に異なるパタンが埋め込まれた表示画像を示す表示画像データを順次生成するものである。なお、以下では、原画像データに対して一方の画素値の変動方法を適用して生成される表示画像データと当該表示画像データが示す表示画像とを共に「Ａ」と称し、原画像データに対して他方の画素値の変動方法を適用して生成される表示画像データと当該表示画像データが示す表示画像とを共に「Ｂ」と称する。

また、図２に示す動作例は、表示部１２が、パタン埋込部１１が順次生成する表示画像データが示す表示画像「Ａ」及び「Ｂ」を、所定の表示フレームレートで交互に切り替えて表示するものである。なお、表示フレームレートとは、表示部１２が表示画像を描画するフレームレート（例えば、６０ｆｐｓ）である。

図２に示すように、表示フレームレートと表示画像「Ａ」及び「Ｂ」の表示が切り替えられるレート（以下、「パタン表示切替レート」という）とは原則として一致するが、一致しない場合もあり得る。例えば、表示部１２が、６０ｆｐｓの表示フレームレートで、表示画像「Ａ」、表示画像「Ａ」、表示画像「Ｂ」、表示画像「Ｂ」と描画する場合、パタン表示切替レートは３０ｆｐｓとなり、表示フレームレート（６０ｆｐｓ）とは一致しない。また例えば、表示部１２が、１２０ｆｐｓの表示フレームレートで、表示画像「Ａ」、暗転画像（液晶モニタ等で残像を抑制するために挿入される黒画像）、表示画像「Ｂ」、暗転画像と描画する場合、表示画像「Ａ」及び「Ｂ」のそれぞれが表示される時間は１／１２０秒であるが、パタン表示切替レートは６０ｆｐｓとなり、表示フレームレート（１２０ｆｐｓ）とは一致しない。ただし、以下では説明の簡略化のため、図２に例示するように、表示フレームレートとパタン表示切替レートとが等しい場合について説明する。

図２に示す動作例では、表示部１２が、表示画像「Ａ」及び「Ｂ」を交互に表示することになるが、上述のように、表示画像「Ａ」及び「Ｂ」に埋め込まれているそれぞれのパタンは、人間の視覚では認識不可能（または、認識が著しく困難）であることが要請される。そこで、パタン埋込部１１は、パタン表示切り替えレートで表示画像「Ａ」及び「Ｂ」を交互に切り替えた場合に、残像効果によって、人間の視覚ではパタンと原画像中の埋込位置Ｐにおける原画素とが区別できないような、原画像データの原画素の画素値の変動方法（即ち、パタンの表示方法）を選択することとする。

具体的に、パタン埋込部１１は、表示画像「Ａ」及び「Ｂ」中の埋込位置Ｐにおける表示画素（即ち、パタンの画素）を、人間の視覚上で平均化すると、原画像中の埋込位置Ｐにおける原画素と同様になるような変動方法を選択する。例えば、パタン埋込部１１は、原画像データ中の埋込位置Ｐにおける原画素の画素値がＣ_Ｏの場合、表示画像データ「Ａ」の埋込位置Ｐにおける表示画素の画素値Ｃ_Ａと表示画像データ「Ｂ」の埋込位置Ｐにおける表示画素の画素値Ｃ_Ｂとが（Ｃ_Ａ＋Ｃ_Ｂ）／２＝Ｃ_Ｏとなるような変動方法を選択する。なお、この場合における画素値の変動方法とは、１つは画素値Ｃ_Ｏを画素値Ｃ_Ａに変動させるための演算式であり、もう１つは画素値Ｃ_Ｏを画素値Ｃ_Ｂに変動させるための演算式である。

このような画素値の変動方法は無数に存在するが、人間の視覚ではパタンを認識し難くなるような変動方法を選択すると、好ましい。特に、人間は輝度の変化には敏感であるが色度の変化には鈍感であるという性質を利用して、パタン埋込部１１が、原画像データの埋込位置Ｐにおける原画素の輝度値を変動させず色度値のみを変動させる変動方法を選択するようにすると、人間の視覚では特に認識し難いパタンを表示画像「Ａ」及び「Ｂ」に埋め込むことができるため、好ましい。

このような、原画像データの埋込位置Ｐにおける原画素の輝度値を変動させずに色度値のみを変動させる変動方法を選択する場合において、必要があれば、原画像データの原画素の画素値をＬ^＊ａ^＊ｂ^＊色空間の画素値に変換する。なお、Ｌ^＊ａ^＊ｂ^＊色空間の画素値とは、画素値を、輝度を表すＬ^＊の値（０以上を取り得る値であり、大きくなるほど画素が明るくなる）と、赤緑方向の色度を表すａ^＊の値（正負を取り得る値であり、正に大きくなるほど画素の赤みが増し、負に大きくなるほど画素の緑みが増す）と、黄青方向の色度を表すｂ^＊の値（正負を取り得る値であり、正に大きくなるほど画素の黄みが増し、負に大きくなるほど画素の青みが増す）と、で表現した画素値である。

例えば、ＲＧＢ色空間の画素値をＬ^＊ａ^＊ｂ^＊色空間の画素値に変換する場合、まず、下記式（１）に示すように、ＲＧＢ色空間の画素値をＸＹＺ色空間の画素値に変換する。なお、下記式（１）中の行列Ｍの各値は、白色基準光の選択に応じて決まるものであり、下記式（１）に例示する行列Ｍの各値は、白色基準光としてＤ６５を選択した場合のものである。

そして、上記式（１）によって得られたＸＹＺ色空間の画素値を、下記式（２）によってＬ^＊ａ^＊ｂ^＊色空間の画素値に変換する。なお、下記式（２）における関数ｆ（ｔ）、定数Ｘ_ｎ，Ｙ_ｎ及びＺ_ｎは、下記式（３）に示す通りである。また、下記式（３）の定数Ｘ_ｎ，Ｙ_ｎ及びＺ_ｎの各値は、白色基準光としてＤ６５を選択した場合のものである。

この場合、パタン埋込部１１は、少なくとも原画像データ中の埋込位置Ｐにおける原画素の画素値について、上記式（１）〜（３）の演算によってＬ^＊ａ^＊ｂ^＊色空間の画素値に変換し、ａ^＊ｂ^＊平面内で画素値を変動させることによって、表示画像データ「Ａ」及び「Ｂ」を生成する。そして、パタン埋込部１１は、上記式（１）〜（３）とは逆の演算を行うことで、Ｌ^＊ａ^＊ｂ^＊色空間の画素値をＲＧＢ色空間の画素値へと逆変換して、ＲＧＢ色空間の画素値から成る表示画像データ「Ａ」及び「Ｂ」を生成する。

なお、パタン表示切替レートが小さくなるほど、残像効果が弱くなって人間の視覚でもパタンが認識され易くなる。そのため、パタン埋込部１１が、パタン表示切替レートが小さいほど画素値の変動量が小さい変動方法を選択するように構成すると、好ましい。また、実験等によって人間の視覚では認識し難い画素値の変動方法を予め調べておき、パタン埋込部１１が当該変動方法を選択するように構成すると、好ましい。

また、パタン埋込部１１が、原画像データ中の埋込位置Ｐにおける原画素の画素値に応じた変動方法を選択するようにしてもよい。例えば、パタン埋込部１１が、表示画像データ中の埋込位置Ｐにおける表示画素の画素値（即ち、変動後の画素値）が上限値または下限値を超えないように、原画像データ中の埋込位置Ｐにおける原画素の画素値（即ち、変動前の画素値）に応じて、変動量や変動方向を決定してもよい。

＜情報取得装置＞
情報取得装置２０は、撮像部２１と、画像処理部２２と、を備える。例えば、撮像部２１は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳイメージセンサなどのイメージセンサを備える。また例えば、画像処理部２２は、ＣＰＵなどの演算装置や、データを一時的に保持するフレームメモリを備える。なお、撮像部２１が備えるイメージセンサは、ローリングシャッタ方式であってもよいし、グローバルシャッタ方式（イメージセンサを構成する全ての撮像画素回路の露光タイミングが同じとなる方式）であってもよい。

撮像部２１は、表示画像を表示する表示部１２を、所定の撮像フレームレートで順次撮像することで、表示画像を示すデータが含まれる撮像画像データを順次生成する。また、画像処理部２２は、撮像部２１が順次生成する撮像画像データの異なるフレーム間の差分に基づいて、表示画像中に埋め込まれたパタンを示す出力パタンデータを生成する。

ここで、画像処理部２２による、撮像画像データのフレーム間の差分に基づいた出力パタンデータの生成方法の概略と当該生成方法における問題とについて、図面を参照してそれぞれ説明する。図３及び図４は、撮像画像データのフレーム間の差分に基づいた出力パタンデータの生成方法の概略である。なお、図３及び図４は、パタン表示切替レートと撮像フレームレートとが一致する場合について示したものである。ただし、図３及び図４では、表示部１２による表示画像「Ａ」及び「Ｂ」の表示タイミングと、撮像部２１の撮像タイミングと、のズレの状態が異なっている。

ところで、実際の撮像画像データには、表示画像以外の被写体が含まれ得る。しかし、以下では説明の簡略化のため、図３及び図４に示す撮像画像データのように、撮像画像データには表示画像以外の被写体が含まれないものとする。また、実際の撮像画像データは、携帯端末等から成る情報取得装置２０を把持するユーザの手ぶれやユーザの移動などによって、撮像領域が異なり得る。しかし、撮像タイミングが時間的に近い撮像画像データの間では、この撮像領域の差異が極めて小さく無視することができる。そこで、以下説明する撮像画像データは、図３及び図４に示す撮像画像データと同様に、撮像領域の差異がないものとする。

図３では、表示部１２による表示画像「Ａ」及び「Ｂ」の表示タイミングと、撮像部２１の撮像タイミングと、が一致している。この場合、撮像部２１は、表示部１２が表示画像「Ａ」を表示している期間（表示タイミングが「Ａ」の期間）と一致する露光期間（撮像タイミングが「Ａ」の期間）の撮像によって、表示画像「Ａ」を示す撮像画像データ（以下、撮像画像データ「Ａ」という）を生成する。同様に、撮像部２１は、表示部１２が表示画像「Ｂ」を表示している期間（表示タイミングが「Ｂ」の期間）と一致する露光期間（撮像タイミングが「Ｂ」の期間）の撮像によって、表示画像「Ｂ」を示す撮像画像データ（以下、撮像画像データ「Ｂ」という）を生成する。

そして、図３では、撮像画像データ「Ａ」及び撮像画像データ「Ｂ」のそれぞれに、異なる表示方法で表示されたパタンが含まれる。即ち、撮像画像データ「Ａ」及び撮像画像データ「Ｂ」は、パタンの画素値のみが異なるデータとなる。そのため、これらの撮像画像データ「Ａ」及び「Ｂ」について、対応する位置毎に画素値の差分を算出すると、パタンが埋め込まれた位置では画素値が異なるために差分の絶対値が０よりも大きくなり、他の位置では差分がおよそ０になる。したがって、表示タイミング及び撮像タイミングのズレの状態が、図３に示す状態になる場合は、パタンが識別可能である二次元の出力パタンデータが生成される。

これに対して、図４では、表示部１２による表示画像「Ａ」及び「Ｂ」の表示タイミングと、撮像部２１の撮像タイミングと、が半周期ずれている。この場合、撮像部２１は、前半に表示部１２が表示画像「Ａ」を表示する期間があり後半に表示部１２が表示画像「Ｂ」を表示する期間がある露光期間（撮像タイミングが「Ａ＿Ｂ」の期間）の撮像によって、表示画像「Ａ」及び「Ｂ」を半分ずつ混合（即ち、平均化）した表示画像を示す撮像画像データ（以下、撮像画像データ「Ａ＿Ｂ」という）を生成する。同様に、撮像部２１は、前半に表示部１２が表示画像「Ｂ」を表示する期間があり後半に表示部１２が表示画像「Ａ」を表示する期間がある露光期間（撮像タイミングが「Ｂ＿Ａ」の期間）の撮像によって、表示画像「Ｂ」及び「Ａ」を半分ずつ混合（即ち、平均化）した表示画像を示す撮像画像データ（以下、撮像画像データ「Ｂ＿Ａ」という）を生成する。

上述のように、表示画像「Ａ」及び「Ｂ」に含まれるそれぞれのパタンは、人間の視覚上で平均化すると、原画像の埋込位置Ｐにおける原画素と同様になるように設定されている。そのため、図４における撮像画像データ「Ａ＿Ｂ」及び「Ｂ＿Ａ」は、いずれも原画像と同様の画像を示すものとなり、パタンが完全にキャンセルされた撮像画像データとなる。そのため、この撮像画像データ「Ａ＿Ｂ」及び「Ｂ＿Ａ」について、対応する位置毎に画素値の差分を算出すると、パタンが埋め込まれた位置であるか否かにかかわらず、全ての位置の差分がおよそ０になる。したがって、表示タイミング及び撮像タイミングのズレの状態が、図４に示す状態になる場合は、パタンを識別し得ない出力パタンデータが生成されてしまう。

そして、図３及び図４では、パタン表示切替レート及び撮像フレームレートが一致しているため、表示タイミング及び撮像タイミングのズレは一様になり、どれだけ時間が経過してもこのズレは維持される。したがって、図３の場合は、パタンが識別可能である出力パタンデータが継続的に生成されるが、図４の場合は、パタンを識別し得ない出力パタンデータが継続的に生成されてしまう。

図４に示したような事態が生じることを避ける１つの方法として、表示タイミング及び撮像タイミングのズレの状態が、必ず図３に示した状態となるように、表示部１２及び撮像部２１の動作を同期させることが考えられる。しかし、上述のように、表示部１２と撮像部２１の動作を同期させる構成を採用すると、情報伝達システム１の構成の大規模化や、複数の情報提供装置１０に埋め込まれたパタンを１つの情報取得装置２０で識別することができないなどの別の問題が生じるため、表示部１２及び撮像部２１の動作は非同期である方が好ましい。

そこで、本発明の実施形態に係る情報伝達システム１では、パタン表示切替レート及び撮像フレームレートの間に、敢えて所定の差を設けることで、表示タイミング及び撮像タイミングのズレを時間方向に対して変動させている（詳細は後述）。

これにより、図４に示したようなパタンを識別し得ない出力パタンデータが継続的に生成される事態を避けて、少なくともパタンを識別し得る出力パタンデータを生成することが可能になる。したがって、表示部１２及び撮像部２１の動作が非同期であっても、パタンを識別し得る出力パタンデータを生成することが可能になる。

なお、パタン表示切替レート及び撮像フレームレートの間に差を設けて、表示タイミング及び撮像タイミングのズレが時間方向に対して変動するように構成すると、表示タイミング及び撮像タイミングのズレが、周期的に変動する。この周期的な変動が『うなり』であり、詳細については後述するが、本発明の実施形態に係る情報伝達システム１では、この『うなり』が生じるようなパタン表示切替レート及び撮像フレームレートを選択する。

［パタン表示切替レート及び撮像フレームレートの具体例］
パタンを識別し得る出力パタンデータを得るための、パタン表示切替レート及び撮像フレームレートの具体例について、図面を参照して説明する。図５は、撮像フレームレートとうなりの周波数との関係を示すグラフである。なお、図５は、パタン表示切替レートが６０ｆｐｓであり、表示部１２が表示画像「Ａ」及び「Ｂ」の２種類を交互に切り替える場合のグラフである。また、以下では、撮像部２１の露光期間が、パタン表示切替レートの逆数であるパタンの切替周期と等しい大きさであるものとする。

図５に示すように、表示部１２が表示画像「Ａ」及び「Ｂ」の２種類を交互に切り替える場合、撮像フレームレートＳ_Ｒが６０／２^ｎであるときに（ｎは０以上の整数、以下同じ）、うなりの周波数Ｑが０回／ｓになる。なお、この関係を、パタン表示切替レートをＤ_Ｒ、パタンの表示方法の種類をｋ種類（ｋは２以上の整数、以下同じ）として一般化すると、『撮像フレームレートＳ_ＲがＤ_Ｒ／ｋ^ｎであるときに、うなりの周波数Ｑが０回／ｓになる』と表現され得る。

また、図５に示すように、うなりの周波数Ｑは、撮像フレームレートをＳ_Ｒとすると、Ｓ_Ｒ−６０／２^ｎ＋１及び６０／２^ｎ−Ｓ_Ｒの小さい方の値（ただし、６０／２^ｎ＋１≦Ｓ_Ｒ≦６０／２^ｎ）になる。なお、この関係を、パタン表示切替レートをＤ_Ｒ、パタンの表示方法の種類をｋ種類として一般化すると、『うなりの周波数Ｑは、Ｓ_Ｒ−Ｄ_Ｒ／ｋ^ｎ＋１及びＤ_Ｒ／ｋ^ｎ−Ｓ_Ｒの小さい方の値（ただし、Ｄ_Ｒ／ｋ^ｎ＋１≦Ｓ_Ｒ≦Ｄ_Ｒ／ｋ^ｎ）になる』と表現され得る。

ここで、パタン表示切替レート及び撮像フレームレートをうなりが生じない大きさにした場合について、図面を参照して説明する。図６及び図７は、撮像フレームレートがパタン表示切替レートの１／２^ｎ倍である場合のタイミング図である。なお、図６及び図７は、パタン表示切替レートが６０ｆｐｓであり、撮像フレームレートが６０ｆｐｓ、３０ｆｐｓ、１５ｆｐｓ、７．５ｆｐｓのそれぞれである場合について例示した図である。また、図６及び図７に示す撮像フレームレートが６０ｆｐｓの場合とは、図３及び図４に示したようにパタン表示切替レート及び撮像フレームレートが一致する場合である。

図６及び図７に示すように、うなりの周波数が０回／ｓである場合、表示タイミング及び撮像タイミングのズレは、図３及び図４と同様に一様である。具体的に、図６では、図３と同様に、表示タイミングと撮像タイミングとが常に一致する。一方、図７では、図４と同様に、表示タイミングと撮像タイミングとが常に半周期ずれる。

このように、うなりの周波数が０回／ｓである場合は、図４及び図７に示したように、パタンを識別し得ない出力パタンデータが継続的に生成される事態が生じ得る。

ところで、図６及び図７に示すように、パタン表示切替レート及び撮像フレームレートが、うなりが生じない大きさである場合、撮像部２１の露光期間を長くしたり短くしたりしても、表示タイミング及び撮像タイミングのズレを時間方向に対して変動させることはできない。したがって、表示タイミング及び撮像タイミングのズレを時間方向に対して変動させるためには、パタン表示切替レート及び撮像フレームレートの選択方法が重要となる。

次に、パタン表示切替レート及び撮像フレームレートをうなりが生じる大きさにした場合について、図面を参照して説明する。図８は、撮像フレームレートがパタン表示切替レートの３／４倍である場合に得られる撮像画像データについて示す図である。なお、図８は、パタン表示切替レートが６０ｆｐｓ、撮像フレームレートが４５ｆｐｓであり、うなりの周波数が１５回／ｓである場合について例示した図である。また、図８では、表示タイミング及び撮像タイミングのズレの状態が異なる３つの例を、並べて示している。

図８に示すように、パタン表示切替レート及び撮像フレームレートをうなりが生じる大きさにすると、表示タイミング及び撮像タイミングのズレが時間方向に対して変動するため、一様ではなくなる。具体的には、図８に示すように、うなりの周波数が１５回／ｓの場合、その逆数である１／１５秒の周期内において、表示タイミング及び撮像タイミングのズレが変動する。

例えば、図８の例１に示すように、撮像タイミング「Ｆ１１」では、露光期間の全体において表示画像「Ａ」が表示される。また、撮像タイミング「Ｆ１１」の次の撮像タイミング「Ｆ１２」では、露光期間の前７割程度に表示画像「Ｂ」が表示され、後３割程度に表示画像「Ａ」が表示される。また、撮像タイミング「Ｆ１２」の次の撮像タイミング「Ｆ１３」では、露光期間の前３割程度に表示画像「Ａ」が表示され、後７割程度に表示画像「Ｂ」が表示される。なお、図８の例２及び例３も、例１と同様に、１／１５秒の周期内において、表示タイミング及び撮像タイミングのズレが変動する（ただし、ズレの状態は例１と異なる）。また、以下では、撮像タイミング「Ｆ１１」〜「Ｆ１３」，「Ｆ２１」〜「Ｆ２３」，「Ｆ３１」〜「Ｆ３３」の撮像によって得られたそれぞれの撮像画像データについても、「Ｆ１１」〜「Ｆ１３」，「Ｆ２１」〜「Ｆ２３」，「Ｆ３１」〜「Ｆ３３」と称する。

図８の例１に示すように、撮像タイミング「Ｆ１３」の次の撮像タイミングでは、露光期間の全体において表示画像「Ａ」が表示されるものとなっており、撮像タイミング「Ｆ１１」に戻っている。即ち、図８の例１では、３フレーム分の撮像タイミング「Ｆ１１」〜「Ｆ１３」が、うなりの周波数である１５回／ｓで繰り返されることになる。なお、図８の例２及び例３も、例１と同様に、３フレーム分の撮像タイミング「Ｆ２１」〜「Ｆ２３」，「Ｆ３１」〜「Ｆ３３」が、うなりの周波数である１５回／ｓで繰り返されることになる。また、この関係を、撮像フレームレートをＳ_Ｒ、うなりの周波数をＱとして一般化すると、『Ｓ_Ｒ／Ｑフレーム分の撮像タイミングが、うなりの周波数Ｑで繰り返される』と表現され得る。

このように、パタン表示切替レート及び撮像フレームレートをうなりが生じる大きさにすると、表示タイミング及び撮像タイミングのズレを時間方向に対して変動させることが可能となる。そのため、図４及び図７に示した撮像画像データ「Ａ＿Ｂ」及び「Ｂ＿Ａ」のような、パタンが完全にキャンセルされた撮像画像データのみが継続的に生成されることが避けられる。したがって、画像処理部２２は、パタンが完全にはキャンセルされない撮像画像データのフレーム間の差分に基づいて、パタンを識別し得る出力パタンデータを生成することが可能になる。

なお、図８では、表示タイミング及び撮像タイミングのズレについて、例１における撮像タイミング「Ｆ１１」〜「Ｆ１３」、例２における撮像タイミング「Ｆ２１」〜「Ｆ２３」、例３における撮像タイミング「Ｆ３１」〜「Ｆ３３」のそれぞれが繰り返し単位となるかのように図示しているが、これは、表示タイミング及び撮像タイミングのズレの周期性について説明する便宜のために過ぎない。当然であるが、図８に示す例において、連続する３フレーム分の撮像タイミングであれば、どのように選択してもズレの繰り返し単位となる。具体的に例えば、図８の例１における撮像タイミング「Ｆ１２」、「Ｆ１３」、「Ｆ１１」もズレの繰り返し単位となるし、撮像タイミング「Ｆ１３」、「Ｆ１１」、「Ｆ１２」もズレの繰り返し単位となる。

［出力パタンデータの生成方法の具体例］
次に、図８に例示した場合（パタン表示切替レート：６０ｆｐｓ、撮像フレームレート：４５ｆｐｓ）に得られる撮像画像データを用いた、画像処理部２２による出力パタンデータの生成方法の具体例について、図面を参照して説明する。図９及び図１０は、画像処理部による出力パタンデータの生成方法の具体例について示す図である。なお、図９及び図１０に例示する出力パタンデータの生成方法は、原画像中の埋込位置における原画素の色度を変動させてパタンとした表示画像の撮像によって得られる撮像画像データを用いて、出力パタンデータを生成するものである。

図９及び図１０に示す出力パタンデータの生成方法では、表示タイミング及び撮像タイミングのズレの繰り返し単位となるフレーム数（Ｓ_Ｒ／Ｑ：以下、繰り返し単位フレーム数という）が３であるため、連続する３フレーム分の撮像画像データＦ１〜Ｆ３を用いる。具体的に例えば、図８の例１の場合、撮像画像データＦ１〜Ｆ３として、撮像画像データ「Ｆ１１」、「Ｆ１２」、「Ｆ１３」を用いてもよいし、撮像画像データ「Ｆ１２」、「Ｆ１３」、「Ｆ１１」を用いてもよいし、撮像画像データ「Ｆ１３」、「Ｆ１１」、「Ｆ１２」を用いてもよい。

本例の出力パタンデータの生成方法では、画像処理部２２が、撮像画像データＦ１〜Ｆ３について、Ｌ^＊ａ^＊ｂ^＊色空間の画素値の中で色度を表すａ^＊及びｂ^＊の値を対象とした演算を行う。これは、パタンが原画像中の色度を変動させたものである場合、色度を表すａ^＊及びｂ^＊の値を対象とした演算を行うことで、パタンを精度良く抽出することができるからである。

最初に、画像処理部２２は、必要に応じて上記式（１）〜（３）の演算を行うことで、撮像画像データＦ１〜Ｆ３の位置毎におけるａ^＊の値であるＦ１（ａ^＊）〜Ｆ３（ａ^＊）と、撮像画像データＦ１〜Ｆ３の位置毎におけるｂ^＊の値であるＦ１（ｂ^＊）〜Ｆ３（ｂ^＊）と、をそれぞれ算出する。

次に、画像処理部２２は、撮像画像データＦ１〜Ｆ３について、異なるフレーム間の位置毎の差分を算出する。具体的に、画像処理部２２は、ａ^＊及びｂ^＊のそれぞれについて、３つの撮像画像データＦ１〜Ｆ３の全ての組み合わせ（Ｆ１とＦ２、Ｆ２とＦ３、Ｆ３とＦ１の３通り）についてフレーム間の位置毎の差分を算出する。これにより、画像処理部２２は、ａ^＊の差分として、撮像画像データＦ１及びＦ２の位置毎の差分｜Ｆ１（ａ^＊）−Ｆ２（ａ^＊）｜と、撮像画像データＦ２及びＦ３の位置毎の差分｜Ｆ２（ａ^＊）−Ｆ３（ａ^＊）｜と、撮像画像データＦ３及びＦ１の位置毎の差分｜Ｆ３（ａ^＊）−Ｆ１（ａ^＊）｜と、をそれぞれ算出する。また同様に、画像処理部２２は、ｂ^＊の差分として、撮像画像データＦ１及びＦ２の位置毎の差分｜Ｆ１（ｂ^＊）−Ｆ２（ｂ^＊）｜と、撮像画像データＦ２及びＦ３の位置毎の差分｜Ｆ２（ｂ^＊）−Ｆ３（ｂ^＊）｜と、撮像画像データＦ３及びＦ１の位置毎の差分｜Ｆ３（ｂ^＊）−Ｆ１（ｂ^＊）｜と、をそれぞれ算出する。

図３及び図４を参照して説明したように、パタンが埋め込まれていない位置の差分はおよそ０になるが、パタンが埋め込まれた位置の差分は、表示タイミング及び撮像タイミングのズレの状態に応じて様々な値を取り得る。ただし、撮像画像データＦ１〜Ｆ３は、表示タイミング及び撮像タイミングのズレが時間方向に対して変動するため、図４に示したようなパタンが完全にキャンセルされた撮像画像データのみで構成されることはない（図８参照）。そのため、本例の出力パタンデータの生成方法では、３種類の差分の算出結果のうち少なくとも１つにおいて、パタンが埋め込まれた位置の差分の絶対値を０よりも大きくすることが可能になる。

このように、本例の出力パタンデータの生成方法では、表示タイミング及び撮像タイミングのズレの繰り返し単位フレーム数（Ｓ_Ｒ／Ｑ、本例では３）以上の撮像画像データを用いて、フレーム間の差分が算出される。即ち、表示タイミング及び撮像タイミングのズレが異なる全種類の撮像画像データを用いて、フレーム間の差分が算出される。さらに、本例の出力パタンデータの生成方法では、撮像画像データＦ１〜Ｆ３の全ての組み合わせについて、フレーム間の差分が算出される。したがって、算出される撮像画像データＦ１〜Ｆ３のフレーム間の差分の中に、パタンが埋め込まれた位置の差分の絶対値が０よりも十分に大きくなるものが含まれる可能性を、高くすることが可能になる。

次に、画像処理部２２は、色度値ａ^＊及びｂ^＊毎に、算出した差分の位置毎における合計値を算出する。これにより、画像処理部２２は、色度値ａ^＊について、差分の位置毎における合計値ＳＵＭ（ａ^＊）＝｜Ｆ１（ａ^＊）−Ｆ２（ａ^＊）｜＋｜Ｆ２（ａ^＊）−Ｆ３（ａ^＊）｜＋｜Ｆ３（ａ^＊）−Ｆ１（ａ^＊）｜を算出する。同様に、画像処理部２２は、色度値ｂ^＊について、差分の位置毎における合計値ＳＵＭ（ｂ^＊）＝｜Ｆ１（ｂ^＊）−Ｆ２（ｂ^＊）｜＋｜Ｆ２（ｂ^＊）−Ｆ３（ｂ^＊）｜＋｜Ｆ３（ｂ^＊）−Ｆ１（ｂ^＊）｜を算出する。

このように、撮像画像データＦ１〜Ｆ３のフレーム間の差分の算出結果を合計すると、仮に、パタンが埋め込まれた位置の差分の絶対値が３種類の差分において全体的に小さかったとしても、パタンが識別可能となる程度まで、パタンが埋め込まれていない位置における差分とパタンが埋め込まれている位置における差分との差を拡大することが可能になる。

次に、画像処理部２２は、差分の位置毎における合計値ＳＵＭ（ａ^＊）及びＳＵＭ（ｂ^＊）を成分とする位置毎のベクトルについて、当該ベクトルの大きさに対応した評価値ＰＯＷを算出する。例えば、画像処理部２２は、位置毎の合計値ＳＵＭ（ａ^＊）及びＳＵＭ（ｂ^＊）の２乗和を、位置毎の評価値ＰＯＷとして算出する。

そして、画像処理部２２は、例えば、位置毎の評価値ＰＯＷについて、所定の閾値以上であれば１，当該閾値未満であれば０とする二値化を行うことで、出力パタンデータを生成する。なお、このようにして生成される出力パタンデータは、パタンを１で表し、パタン以外を０で表したデータとなる。

以上のように、本発明の実施形態に係る情報取得システム１は、撮像画像データの異なるフレーム間の差分に基づいて出力パタンデータを生成するため、表示部１２及び撮像部２１の動作の同期を不要とした簡易な構成であっても、表示画像の内容や表示画像中の情報を埋め込む位置を制限することなく、当該表示画像中に埋め込まれた情報を取得することが可能になる。

さらに、本発明の実施形態に係る情報取得システム１は、パタン表示切替レート及び撮像フレームレートをうなりが生じる大きさにすることで、表示タイミング及び撮像タイミングのズレを時間方向に対して変動させるため、パタンが完全にキャンセルされた撮像画像データのみが生成されることが避けられ、パタンが識別可能である出力パタンデータを生成することが可能になる。

なお、画像処理部２２に対して撮像画像データが順次入力され、画像処理部２２が出力パタンデータを順次生成する場合、画像処理部２２が、直近に入力された３フレーム分の撮像画像データを用いて、出力パタンデータを生成してもよい。

例えば、図８の例１に示す撮像タイミングで撮像された撮像画像データが画像処理部２２に対して順次入力される場合、画像処理部２２が、撮像画像データ「Ｆ１１」、「Ｆ１２」、「Ｆ１３」を用いて出力パタンデータを生成し、その次に、前回の演算で使用した撮像画像データ「Ｆ１２」及び「Ｆ１３」と新たに入力された撮像画像データ「Ｆ１１」とを用いて出力パタンデータを生成し、さらにその次に、前回の演算で使用した撮像画像データ「Ｆ１３」及び「Ｆ１１」と新たに入力された撮像画像データ「Ｆ１２」とを用いて出力パタンデータを生成してもよい。

このように出力パタンデータを生成すると、新たな撮像画像データが入力される都度、新たな出力パタンデータを生成することが可能になるため、出力パタンデータの生成密度を高めるとともに、出力パタンデータの生成のリアルタイム性を向上することが可能になる。

また、上記のように、画像処理部２２に対して撮像画像データが順次入力され、画像処理部２２が出力パタンデータを順次生成する場合、画像処理部２２が、撮像画像データの連続するフレーム間の差分のみを算出してもよい。

例えば、図８の例１に示す撮像タイミングで撮像された撮像画像データが画像処理部２２に対して順次入力される場合であって、第１「Ｆ１１」、第１「Ｆ１２」、第１「Ｆ１３」、第２「Ｆ１１」、第２「Ｆ１２」、第２「Ｆ１３」の順番で撮像画像データが順次入力される場合について想定する。このとき、画像処理部２２が、第１「Ｆ１１」及び第１「Ｆ１２」、第１「Ｆ１２」及び第１「Ｆ１３」、第１「Ｆ１３」及び第２「Ｆ１１」のそれぞれの差分を用いて出力パタンデータを生成し、その次に、第１「Ｆ１２」及び第１「Ｆ１３」、第１「Ｆ１３」及び第２「Ｆ１１」、第２「Ｆ１１」及び第２「Ｆ１２」のそれぞれの差分を用いて出力パタンデータを生成し、さらにその次に、第１「Ｆ１３」及び第２「Ｆ１１」、第２「Ｆ１１」及び第２「Ｆ１２」、第２「Ｆ１２」及び第２「Ｆ１３」のそれぞれの差分を用いて出力パタンデータを生成してもよい。

この場合、直前の演算で用いた２つの差分を、次の演算に流用することができる。そのため、画像処理部２２が備えるフレームメモリの簡素化を図るとともに、画像処理部２２の演算量を低減することが可能になる。

ただし、この場合、連続する４フレーム分の撮像画像データを用いて差分を算出することになる。そのため、撮像画像データの変動（例えば、情報取得装置２０を把持するユーザの手ぶれやユーザの移動などによる撮像領域の変動）の影響が大きくなり易い。したがって、連続する４フレーム分の撮像画像データを用いて差分を算出する場合は、上述したような連続する３フレーム分の撮像画像データを用いて差分を算出する場合と比較して、出力パタンデータの信頼性が低下し得る。

＜＜変形等＞＞
［１］ 図８〜図１０では、パタン表示切替レートが６０ｆｐｓであるときに、うなりの周波数が最大となる撮像フレームレート（４５ｆｐｓ）を選択した場合における出力パタンデータの生成方法について説明したが、パタン表示切替レート及び撮像フレームレートは、必ずしもうなりの周波数を最大とするものでなくてもよい。

ここで、パタン表示切替レート及び撮像フレームレートの組み合わせを、図８〜図１０に示した場合とは異なるものとした場合における表示タイミング及び撮像タイミングについて、図面を参照して説明する。図１１は、撮像フレームレートがパタン表示切替レートの２／３倍である場合のタイミング図である。なお、図１１は、パタン表示切替レートが６０ｆｐｓ、撮像フレームレートが４０ｆｐｓであり、うなりの周波数が１０回／ｓである場合について例示した図である。また、図１１では、表示タイミング及び撮像タイミングのズレの状態が異なる２つの例を、並べて示している。

図１１に示すように、うなりの周波数が１０回／ｓとなるようにすると、その逆数である１／１０秒の周期内において、表示タイミング及び撮像タイミングのズレが異なる。この場合、表示タイミング及び撮像タイミングのズレの繰り返し単位フレーム数（Ｓ_Ｒ／Ｑ）は４となるが、表示タイミング及び撮像タイミングのズレが異なることについては、図８に示した例と変わらない。

したがって、図８〜図１０の場合と同様に、図１１に示す場合についても、出力パタンデータを生成することが可能である。なお、この場合、図９及び図１０に示したように連続する３フレーム分の撮像画像データを用いて出力パタンデータを生成してもよいし、連続する４フレーム分の撮像画像データを用いて出力パタンデータを生成してもよい。

なお、図１１に示すように、表示タイミング及び撮像タイミングのズレの繰り返し単位フレーム数を偶数（本例では４）にすると、ズレの対称性が高くなる。そのため、図１１の例２に示すように、露光期間中に表示画像「Ａ」及び「Ｂ」のそれぞれが表示されて生成される撮像画像データにおける表示画像「Ａ」及び「Ｂ」の混合比が、順次生成される撮像画像データの全体にわたって一様になり、パタンが埋め込まれた位置の差分の絶対値が全体的に小さくなることが生じ得る。このことを避ける観点から、図８〜図１０に示したように、表示タイミング及び撮像タイミングのズレの繰り返し単位フレーム数が奇数（図８の例では３）になるようにすると、好ましい。

また、表示タイミング及び撮像タイミングのズレの繰り返し単位フレーム数（Ｓ_Ｒ／Ｑ）以上の撮像画像データを用いてフレーム間の差分を算出する場合、うなりの周波数Ｑを大きくするほど、差分を算出するために用いる撮像画像データを少なくすることが可能になる。特に、うなりの周波数Ｑを最大にすることで、差分を算出するために用いる撮像画像データの数を最小にすることが可能になる。そして、差分を算出するために用いる撮像画像データを少なくすることで、撮像画像データの変動（例えば、情報取得装置２０を把持するユーザの手ぶれやユーザの移動などによる撮像領域の変動）の影響を小さくすることができるため、出力パタンデータの信頼性を向上することが可能となる。

［２］ 上述の実施形態では、主としてパタンの表示方法（原画像データ中の原画素の画素値の変動方法）が２種類である場合について例示しているが、３種類以上であってもよい。ここで、パタンの表示方法が３種類である場合について、図面を参照して説明する。図１２は、パタンの表示方法が３種類である場合のタイミング図である。なお、図１２は、パタン表示切替レートが６０ｆｐｓ、撮像フレームレートが４０ｆｐｓであり、うなりの周波数が２０回／ｓである場合について例示した図である。また、図１２では、表示タイミング及び撮像タイミングのズレの状態が異なる２つの例を、並べて示している。

図１２に示すように、パタンの表示方法が３種類（さらには、それ以上）であっても、パタンの表示方法が２種類である場合と同様に、表示タイミング及び撮像タイミングのズレを時間方向に対して変動させることが可能である。

［３］ 上述の実施形態では、主として原画像が静止画である場合について例示しているが、原画像は動画であってもよい。原画像が動画であっても、時間的に近い数フレームではそれほど差異がないため、上述したような撮像画像データのフレーム間の差分に基づいた出力パタンデータの生成が可能である。

ただし、原画像が動画である場合、パタンを埋め込んでいない位置の差分が大きくなり易い。そのため、出力パタンデータにおいてパタンが識別し難くなる。そこで、出力パタンデータにおいてパタンを識別し易くするために、出力パタンデータを生成する際に用いる撮像画像データの数やフレーム間の差分を算出するための撮像画像データの組み合わせの数を増やしてもよいし、順次生成される出力パタンデータを蓄積して合成する（例えば、論理積を求める）などしてもよい。

［４］ 表示部１２が備える表示装置や撮像部２１が備えるイメージセンサの仕様（例えば、表示画素回路や撮像画素回路の数や配置、駆動方法）などの影響により、パタン表示切替レート及び撮像フレームレートの少なくとも一方が、目標とする大きさとは僅かに異なることがある。しかし、上述のように、表示タイミング及び撮像タイミングのズレを時間方向対して変動させることさえできれば、パタンを識別可能な出力パタンデータを生成することができる。そのため、パタン表示切替レート及び撮像フレームレートは、目標とする大きさに対して、必ずしも厳密に一致させなくてもよい。

［５］ 上述の実施形態では、主として撮像フレームレートをパタン表示切替フレームレートよりも小さくしてうなりを生じさせる場合について例示しているが、撮像フレームレートをパタン表示切替フレームレートよりも大きくしてうなりを生じさせてもよい。

ただし、この場合、撮像部２１の露光期間が、表示部１２が１つの表示画像を表示する期間よりも短くなる。そのため、表示部１２が三板式のプロジェクタ（１つの表示画像を投影する際に、赤、緑、青の各画像を順に投影するプロジェクタ）を備える場合や、撮像部２１がローリングシャッタ方式のイメージセンサを備える場合は、完全な表示画像を撮像した撮像画像データが得られず、信頼性の高い出力パタンデータが得られない可能性がある。したがって、少なくともこれらの構成を採用する場合は、撮像フレームレートをパタン表示切替フレームレートよりも小さくすると、好ましい。

［６］ 上述の実施形態と同様に、撮像フレームレートをパタン表示切替フレームレートよりも小さくしてうなりを生じさせる場合、撮像部２１の露光期間を、撮像タイミングが重複しない限度まで長くすることが可能である。

ただし、撮像部２１の露光期間を、パタン表示切替レートの逆数であるパタンの切替周期よりも長くすると、露光期間に複数の表示画像が表示される。そのため、表示画像が過度に混合されてパタンが大幅にキャンセルされた撮像画像データが生成される可能性が高くなる。

また、これとは逆に、撮像部２１の露光期間をパタンの切替周期よりも短くすると、［５］で述べたように、三板式のプロジェクタやローリングシャッタ方式のイメージセンサを使用し難くなる。

したがって、撮像部２１の露光期間を、パタン表示切替レートの逆数であるパタンの切替周期と等しい大きさとなるように設定すると、表示画像が過度に混合されてパタンが大幅にキャンセルされた撮像画像データが生成される可能性を低くすることが可能になるとともに、様々な種類の表示装置やイメージセンサを使用することが可能になる。

［７］ パタン表示切替レート及び撮像フレームレートに差を設ける際に、表示部１２を構成する表示装置を制御してパタン表示切替レートを変更してもよいし、撮像部２１を構成するイメージセンサを制御して撮像フレームレートを変更してもよいし、パタン表示切替レート及び撮像フレームレートの双方を変更してもよい。ただし、情報提供装置１０及び情報取得装置２０の動作を可能な限り阻害しないような変更方法を採用すると、好ましい。

例えば、表示部１２を構成する表示装置の表示フレームレート（パタン表示切替レート）が、業界標準で所定の大きさ（例えば、６０ｆｐｓ）に固定されている場合、情報取得装置２０が、パタンを取得するための動作モードに遷移する際に、撮像部２１を構成するイメージセンサの撮像フレームレートが所定の大きさ（例えば、４５ｆｐｓ）となるように制御してもよい。

また、撮像部２１を構成するイメージセンサを制御して撮像フレームレートを変更する場合、情報取得装置２０が、撮像フレームレートを動的に変更してもよい。

例えば、情報取得装置２０が、パタンを取得するための動作モードに遷移すると、最初に、撮像フレームレートが所定の大きさ（例えば、４５ｆｐｓ）になるように制御するが、その後、出力パタンデータ中のパタンが精度良く識別できない状態（例えば、パタンが識別できない、パタンの位置が定まらない等）であることを検出すると、撮像フレームレートが当該所定の大きさとは異なる大きさ（例えば、４０ｆｐｓ）になるように制御してもよい。

［８］ これまで、パタン表示切替レート及び撮像フレームレートを適宜設定することによって、表示タイミング及び撮像タイミングのズレを時間方向に対して変動させる実施形態について述べてきたが、上述の実施形態以外の形態でも、表示タイミング及び撮像タイミングのズレを時間方向に対して変動させることは可能である。ここでは、一例として、撮像間隔を等間隔にせずに異ならせることにより、表示タイミング及び撮像タイミングのズレを時間方向に対して変動させる形態について、図面を参照して説明する。図１３は、本発明の別の実施形態に係る情報伝達システムの動作例について示すタイミング図である。なお、図１３は、パタン表示切替レートが６０ｆｐｓ、撮像フレームレートが（全体として）３０ｆｐｓである場合について例示した図である。また、図１３では、表示タイミング及び撮像タイミングのズレの状態が異なる２つの例を、並べて示している

図１３は、撮像部２１の撮像フレームレートが、全体としては３０ｆｐｓ（撮像間隔が等間隔であればうなりが生じない撮像フレームレート、図５参照）である。しかし、図１３に示す例では、撮像間隔が等間隔ではなく異なっている。具体的に、図１３に示す例は、短い撮像間隔で連続的に２回の撮像を行った後で、これよりも長い撮像間隔を設けて待機するものであり、これらの動作を順次繰り返すことで全体として３０ｆｐｓとするものである。

このように、撮像間隔を等間隔にせずに異ならせることでも、表示タイミング及び撮像タイミングのズレを時間方向に対して変動させることが可能である。ただし、これまで述べてきた実施形態のように、撮像間隔を等間隔のままにして、パタン表示切替レート及び撮像フレームレートの関係を調整した方が、撮像部２１の動作制御を簡易なものにすることができるとともに、既存の撮像装置を使用することができるため、好ましい。

本発明は、表示装置が表示する表示画像中に埋め込まれた情報を取得する情報取得装置や、当該情報取得装置を備えた情報伝達システムに適用することができる。

１ ： 情報伝達システム
１０ ： 情報提供装置
１１ ： パタン埋込部
１２ ： 表示部
２０ ： 情報取得装置
２１ ： 撮像部
２２ ： 画像処理部
Ｐ ： 埋込位置
Ｑ ： うなりの周波数
Ｓ_Ｒ ： 撮像フレームレート
Ｄ_Ｒ ： パタン表示切替フレームレート

Claims (11)

1. 原画像に表示方法が順次切り替えられるパタンが埋め込まれた表示画像を、一連の撮像フレームの各撮像期間において順次撮像することで撮像画像データを順次生成する撮像部と、
   前記撮像部が順次生成する前記撮像画像データの前記一連の撮像フレームの異なるフレーム間の差分に基づいて、前記パタンを示す出力パタンデータを生成する画像処理部と、を備え、
   前記表示画像は、前記原画像中の埋込位置における原画素を変動させて前記パタンとしたものであって、前記パタンの前記表示方法が順次切り替えられると、人間の視覚では、前記パタンと前記原画像中の前記埋込位置における前記原画素とが区別できないように設定されており、
   前記撮像部は、１つの前記パタンに対応した前記表示画像を表示する表示期間である表示タイミングと、前記撮像部が前記表示画像を順次撮像する前記撮像期間である撮像タイミングの間にズレが生じている場合、当該ズレの生じている１つの前記撮像期間内に、前記ズレに応じた時間比で、前記表示方法の異なる連続する２つの前記パタンが各別に埋め込まれた２つの前記表示画像を順次撮像するように構成され、
   前記一連の撮像フレームにおける前記撮像タイミングが、所定周期で出現する前記表示タイミングに対して、１つの前記撮像期間の前記ズレに応じた時間比が時間方向に対して変動するように、設定されていることを特徴とする情報取得装置。
   
2. 前記撮像部は、前記原画像に所定のパタン表示切替レートで表示方法が順次切り替えられる前記パタンが埋め込まれた前記表示画像を、所定の撮像フレームレートで順次撮像することで前記撮像画像データを順次生成するものであり、
   前記表示タイミングと前記撮像タイミングとの間の前記ズレが、時間方向に対して周期的に変動してうなりが生じるように、前記パタン表示切替レート及び前記撮像フレームレートが設定されていることを特徴とする請求項１に記載の情報取得装置。
3. 前記画像処理部は、前記うなりの周波数で前記撮像フレームレートを除した数である繰り返し単位フレーム数以上となる、所定数の前記撮像画像データから得られる前記差分に基づいて、前記出力パタンデータを生成することを特徴とする請求項２に記載の情報取得装置。
4. 前記画像処理部は、前記所定数である前記撮像画像データの全ての組み合わせから得られる前記差分に基づいて、前記出力パタンデータを生成することを特徴とする請求項３に記載の情報取得装置。
5. 前記パタン表示切替レート及び前記撮像フレームレートは、前記繰り返し単位フレーム数が奇数となるように設定されていることを特徴とする請求項３または４に記載の情報取得装置。
6. 前記パタン表示切替レート及び前記撮像フレームレートは、前記撮像フレームレートが前記パタン表示切替レートよりも小さくなるように設定されていることを特徴とする請求項２〜５のいずれか１項に記載の情報取得装置。
7. 前記パタン表示切替レート及び前記撮像フレームレートは、一方の値が固定されている場合に、他方が、前記うなりの周波数が最大となるように設定されていることを特徴とする請求項６に記載の情報取得装置。
8. 前記パタンの前記表示方法が２種類であるとき、
   前記パタン表示切替レート及び前記撮像フレームレートは、前記撮像フレームレートが前記パタン表示切替レートの３／４倍となるように設定されていることを特徴とする請求項７に記載の情報取得装置。
9. 前記撮像部の露光期間の長さと、前記パタン表示切替レートの逆数である前記パタンの切替周期と、が等しくなるように設定されていることを特徴とする請求項２〜８のいずれか１項に記載の情報取得装置。
10. 前記表示画像中の前記パタンは、前記原画像中の前記埋込位置における前記原画素の色度を変動させたものであることを特徴とする請求項１〜９のいずれか１項に記載の情報取得装置。
11. 請求項１〜１０のいずれか１項に記載の情報取得装置と、
    前記表示画像を表示する情報提供装置と、を備え、
    前記情報提供装置は、
    前記原画像を示す原画像データに対して、入力パタンデータが示す前記パタンの前記埋込位置における前記原画素の画素値を変動させることで、前記表示画像を示す表示画像データを順次生成するパタン埋込部と、
    前記パタン埋込部が生成する前記表示画像データが示す前記表示画像を順次表示する表示部と、を備えることを特徴とする情報伝達システム。

Images