JP4111231B2 - 立体表示システム - Google Patents

Description

本発明は立体表示システムに関するものである。

複数人でひとつのテーマについて討議するとき、互いの情報、意図あるいは思いなどを共有することで議論を深め、より良い結論を出すというコラボレーションによる会議形態が盛んになってきた。その際、見やすく、また理解しやすい形でデータを提示する目的で立体ディスプレイ（立体表示装置）を用いる機会が増加している。

立体表示技術は現在までにさまざまな形式が提案されている。代表的な例として、偏光メガネとレンチキュラ方式があるが、これ以外にも、どこからみてもあたかもそこに物体があるような表示をすることができる空間表示方式（Ｖｏｌｕｍｅｔｒｉｃ Ｄｉｓｐｌａｙ）方式も提案されている。

例えば、積層断面投影方式（特許文献１）は、電気的駆動により透明状態または散乱状態となる液晶セルを積層し、表示対象物の断面画像を投射装置により順次投射するものである。ここで、１枚の液晶セルのみを散乱状態としその他の液晶セルを透明状態とする。散乱状態の液晶セルを電気的に順次スキャンさせ、該当する断面画像を投射装置から走査に同期させて投影することで立体表示を行う。また、複数のピンで三次元形状を表示する方式（特許文献２）は、上下に摺動させるためのアクチュエータを取り付けた複数個のピンをマトリクス状に並べ、コンピュータ制御により複数のピンを上下させ三次元形状を表示する。ここで、ピンは透明材料で構成し、形状を表示したピンマトリクスの基板下方からディスプレイにより図形をピン基板に結像させ、上方からピンマトリックスを見て図形を認識する。さらに、多数の画像表示素子を垂直に移動させる方式（特許文献３）は、三次元情報に基づいて、二次元状に配列した多数の画像表示素子をその配列面に垂直に移動させ、その配列面を変化させるとともに所望の色・輝度でその表面を発光させる。この画像表示素子の表示面をスクリーンで覆い、各画像表示素子毎の色・輝度信号をスクリーン上に投影する。

ところで、遠く離れた２地点間でフェイス・トゥ・フェイスの会議を行うことができる図１に示すような遠隔会議システムが近年盛んに用いられるようになってきている。このシステムは、図示のとおり、遠隔地間の地点Ａと地点Ｂをネットワーク１０を介して結ぶ。地点Ａおよび地点Ｂにはそれぞれディスプレイ１１，１２が備えられており、各会議参加者１３，１４はディスプレイ１１，１２の画面を見ながら遠隔地間で会議を行うことができる。

遠隔会議システムに大型の三次元（３Ｄ）ディスプレイを用いてさらに大きな臨場感を与えるシステムも提案されている（非特許文献１）。このシステムは地点Ａで入力装置として２台のカメラによるステレオカメラを用い、撮影された左目用の画像と右目用の画像を地点Ｂに送信する。地点Ｂでは、観察者が図２に示すような偏光メガネ２１，２２および３Ｄディスプレイ２３を用いて、地点Ａから送信された左目用および右目用の画像を立体視するものである。
特開２００２−１３９７００公報 特許第２７３６９０８号公報 特許第３１２７４４７号公報 電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ８０−Ｄ−ＩＩ、Ｎｏ．５、ｐｐ１２２１−１２３０、１９９７

本発明は、立体視するために特別な装置を装着することなく、物体を立体視するかのように、異なる視点から立体形状を立体視できると共に、複数地点間で共通の立体形状を立体視しながら会議等のコミュニケーションを可能とするものである。
本発明の目的は、物体を立体視するかのように、立体形状の立体視ができ、複数の地点間で、立体形状の立体視に基づく情報を共有することが可能な立体表示システムを提供することにある。

上記目的は、立体形状が制御可能に設けられ立体形状を復元する立体形状復元装置と、前記立体形状復元装置の上面側からの投影光を前記立体形状復元装置の側面に反射する反射装置と、立体形状情報に基づいて前記立体形状復元装置の立体形状を制御する制御装置と、前記立体形状の上面の表面画像を前記立体形状の上面に投影しおよび前記立体形状の側面の表面画像を前記反射装置を介して前記立体形状の側面に投影する投影装置とを含む第１の地点に配置された第１の装置と、前記立体形状情報並びに前記立体形状の上面および側面の表面画像を前記第１の装置に送信する送信装置を含む第２の地点に配置された第２の装置とを備えた立体表示システムにより達成される。

ここで、前記第２の装置は、実物体の上面側からの投影光を前記実物体の側面に反射する反射装置と、前記投影光を投影する投影装置と、前記実物体の上面および前記反射装置を介して前記実物体の側面を撮影する撮影装置とを含み、前記実物体に投影された投影光を前記撮影装置で撮影して得られた情報に基づいて前記立体形状情報を取得し、並びに前記実物体の上面および側面を前記撮影装置で撮影することにより前記立体形状の上面および側面の表面画像を取得するものとすることができる。

また、前記第１の装置は、前記立体形状の上面および前記反射装置を介して前記立体形状の側面を撮影する撮影装置と、前記撮影装置により撮影した前記立体形状の上面および側面の表面画像を前記第２の装置に送信する送信装置とを含むことができる。前記第２の装置の撮影装置により撮影された表面画像は、投光指示器で指示した輝点を含むことができる。前記第１の装置の撮影装置により撮影された表面画像は、投光指示器で指示した輝点を含むことができる。前記第１の装置および前記第２の装置はそれぞれ、前記投影装置による投影と前記撮影装置による撮影を時分割で分離して行うことが好ましい。

さらに、前記第２の装置は、立体形状が制御可能に設けられ立体形状を復元する立体形状復元装置と、前記立体形状復元装置の上面側からの投影光を前記立体形状復元装置の側面に反射する反射装置と、立体形状情報に基づいて前記立体形状復元装置の立体形状を制御する制御装置と、前記立体形状の上面の表面画像を前記立体形状の上面に投影しおよび前記立体形状の側面の表面画像を前記反射装置を介して前記立体形状の側面に投影する投影装置とを含むことができる。

ここで、前記第１の装置および前記第２の装置の少なくとも一方は、前記立体形状の上面および前記反射装置を介して前記立体形状の側面を撮影する撮影装置を備えることができる。前記撮影装置は、前記投影装置と光軸および画角をそろえるための撮影ミラー又はハーフミラーを伴うことができる。前記第２の装置の送信装置が送信する前記立体形状情報並びに前記立体形状の上面および側面の表面画像は、予め作成した物体情報に基づくものとすることができる。前記第２の装置の送信装置は、前記立体形状の上面および側面の表面画像に付加される付加画像を前記第１の装置に送信することができる。前記付加画像は、コンピュータシミュレーションの結果画像とすることができる。前記立体形状復元装置は高さ制御可能な複数のピンを配列して構成され、前記各ピンの高さが前記制御装置により制御可能とされるものとすることができる。

また、本発明に係る立体表示装置は、立体形状が制御可能に設けられ立体形状を復元する立体形状復元装置と、前記立体形状復元装置の上面側からの投影光を前記立体形状復元装置の側面に反射する反射装置と、立体形状情報に基づいて前記立体形状復元装置の立体形状を制御する制御装置と、前記立体形状の上面の表面画像を前記立体形状の上面に投影しおよび前記立体形状の側面の表面画像を前記反射装置を介して前記立体形状の側面に投影する投影装置と、前記立体形状の上面および前記反射装置を介して前記立体形状の側面を撮影する撮影装置とを含む。さらに、前記撮影装置により撮影した前記立体形状の上面および側面の表面画像を外部に送信する送信装置を含むことができる。前記撮影装置は、前記投影装置と光軸および画角をそろえるための撮影ミラー又はハーフミラーを伴うことができる。

また、本発明に係る立体表示方法は、立体形状情報を送信する工程と、前記立体形状の上面および側面の表面画像を送信する工程と、受信した前記立体形状情報に基づいて、立体形状が制御可能に設けられ立体形状を復元する立体形状復元装置を用いて前記立体形状を復元する工程と、受信した前記立体形状の上面および側面の表面画像を前記復元した立体形状に投影する工程とを含む。ここで、前記送信される立体形状情報は実物体を形状計測することにより得られ、前記送信される立体形状の上面および側面の表面画像は前記実物体を撮影することにより得られるものとすることができる。また、前記送信される立体形状情報並びに前記立体形状の上面および側面の表面画像は、予め作成した物体情報に基づくものとすることができる。前記送信側において、前記予め作成した物体情報に基づいて形状復元装置を用いて前記立体形状を復元する工程と、前記予め作成した物体情報に基づいて前記立体形状の上面および側面の表面画像を前記復元した立体形状に投影する工程とを含むことができる。

本発明によれば、立体形状情報及び立体形状の上面及び側面の表面情報に基づいて、物体(立体)を異なる地点で復元できるので、立体視するために特別な装置を装着することなく、物体を立体視するかのように、異なる視点から立体形状を立体視できると共に、複数地点間で、共通の立体形状の立体視に基づく情報を共有することができる。複数の地点の一方は実物体とし、他方はその実物体を復元したものを構成とすることで、よりリアルな情報を共有することができる。また、複数の地点に復元されるものが、それぞれ予め作成した物体情報に基づくものとする構成とすれば、実物体を用意することなく、物体の三次元情報を共有することができる。本発明の立体表示システムを遠隔会議システムとする構成によれば、共通の立体形状を立体視しながら会議等のコミュニケーションが可能となる。投光指示器を用いる構成によれば、物体を指示して表示される投光指示器の輝点を複数の地点間で共有でき、各地点間のコミュニケーションを容易とすることができる。また、表面画像に物体に係るコンピュータシミュレーションの結果画像を付加する構成によれば、コンピュータシミュレーションの結果画像を共有でき、三次元情報としての理解を深めることができる。投影と撮影を時分割で行う構成を持つ場合には、ハレーションを起こすことなく、双方向通信を行うことができる。撮影ミラーに代えてハーフミラーを用いる構成では、光学系を簡単化でき装置を小型化できる。

以下、本発明の実施例について図を参照しながら説明する。
図９は本発明に係る立体表示システムの一実施例を示す図である。本システムは、図示のように、地点Ａに配置された装置９０と地点Ｂに配置された装置９１とがネットワーク９２を介して接続されている。地点Ａと地点Ｂとは必ずしも互いに遠隔地にある必要はなく隣同士であってもよい。本システムは、地点Ａと地点Ｂとが互いに遠隔地にある場合、遠隔会議システムとして用いることができる。ネットワーク９２の形態は特に限定されず、例えば公衆回線でもよいし、また専用回線でもよい。地点Ａに配置された装置９０は以下に説明する地点Ｂに配置された装置９１と同様に構成することができる。本例では、後述のように、装置９０から装置９１へ立体形状情報並びに立体形状の上面の表面画像および側面の表面画像が送信される。

地点Ｂに配置された装置９１は、図示のように、立体形状が制御可能に設けられ立体形状を復元する立体形状復元装置（以下、単に「形状復元装置」という）１と、形状復元装置１の立体形状の上面側からの投影光を形状復元装置１の側面に反射する反射装置としての側面投影ミラー２と、受信した立体形状情報（立体形状データ）に基づいて形状復元ドライブ装置３を介して形状復元装置１の立体形状を制御する制御装置としての制御用コンピュータ４と、受信した立体形状の上面の表面画像としてのテクスチャ画像を復元された立体形状の上面に投影し、受信した立体形状の側面の表面画像としてのテクスチャ画像を側面投影ミラー２を介して、復元された立体形状の側面に投影する投影装置としてのプロジェクタ５とを備える。プロジェクタ５は制御用コンピュータ４に接続される。制御用コンピュータ４は、例えばパーソナルコンピュータ（ＰＣ）等のコンピュータで構成することができ、操作性を良くするためにマウスやジョイスティックなどの入力装置６を接続することができる。

装置９１は、立体形状の上面、および側面投影ミラー２を介して立体形状の側面を撮影する撮影装置としてのカメラ７、およびプロジェクタ５とカメラ７の光軸および画角をそろえるための撮影ミラー８を備えることができる。カメラ７は制御用コンピュータ４に接続される。撮影ミラー８は図の両方向矢印に示すように移動可能である。さらに、装置９１は、カメラ７により撮影した立体形状の上面および側面のテクスチャ画像を、地点Ａに配置された装置９０に送信するための送信装置９を含むことができる。本例では、送信装置９は制御用コンピュータ４に組み込まれているが、制御用コンピュータ４とは別に設けることもできる。

形状復元装置１は、立体形状を制御可能に設けられるが、本実施の形態の一例では、ピン（角柱）１５のような形状可変素子をステージ１６上に多数マトリックス状に配列し、その高さを各々制御することにより形状を復元する方式（ピンマトリクス方式）を用いている。ピンマトリクス自体は、例えば上記特許文献２に記載のように周知のものである。本発明においては、形状復元装置１は精密な立体形状を復元する必要はなく、全体のスケールの２〜３％の精度があれば十分である。例えば１００ｍｍの大きさの機械部品を３次元表示するには、２ｍｍ〜３ｍｍ角の断面積を持つピンを用いればよい。このピン１５は光を拡散反射する材料で構成することが好ましい。ピン１５を透明や鏡面材料で構成すると、プロジェクタから投影されるテクスチャ画像が透過し、または極度に反射され、立体形状に十分な表面テクスチャを付与することができないからである。

本実施例のようにピンマトリクス方式の形状復元装置１を用いる場合は、マトリクス状に配列されたピン１５を駆動するための形状復元ドライブ装置３が設けられる。形状復元ドライブ装置３は、形状復元装置１と制御用コンピュータ４の間に接続され、制御用コンピュータ４から立体形状情報を入手し、このデータに基づいて形状復元装置１を構成する複数のピン１５を上下に駆動して、立体形状を形成する。この立体形状情報並びに立体形状の上面および側面のテクスチャ画像は、地点Ａに配置された装置９０からネットワーク９２を介して地点Ｂに配置された装置９０の制御用コンピュータ４に送られる。

カメラ７とプロジェクタ５はそれぞれのレンズ主点から等距離に置かれた平面において撮影範囲と投影範囲が一致するように、即ち画角が一致するように設計されたレンズを用いる。プロジェクタ５は光軸がステージ１６の上面に垂直になるように、また投影範囲が４枚の側面投影ミラー２をカバーするように設置される。実物体のテクスチャ画像を取得する場合、図３に示すように、撮影ミラー８をプロジェクタ５の図示しないレンズ前に移動し、カメラ７の主点位置がプロジェクタ５の主点位置と一致するようにして、ステージ１６上に配置した実物体（図示せず）を撮影ミラー８を介してカメラ７で撮影する。一方、実物体の立体形状情報を取得する場合、撮影ミラー８をプロジェクタ５のレンズ前から外れた図の破線位置に移動し、プロジェクタ５から形状計測用のパターンをステージ１６上の実物体（図示せず）に投影し、これを撮影ミラー８を介してカメラ７で撮影する。また、プロジェクタ５から形状復元装置１で復元した立体形状（図示せず）にテクスチャ画像を投影する場合、撮影ミラー８をプロジェクタ５のレンズ前から外れた図の破線位置に移動し、ステージ１６上の復元した立体形状にプロジェクタ５からテクスチャ画像を投影する。このように撮影ミラー８は撮影装置と前記投影装置との光軸および画角をそろえるために用いられる。なお、図３では、関連する制御用コンピュータ、形状復元ドライブ装置、配線等の図示は省略している。後述する図４等も同様である。

本システムは、図１８に示すように、地点Ａに配置された装置９０と地点Ｂに配置された装置９１とが、例えばネットワーク９２を介して接続される。地点Ａで取得された対象物のテクスチャ画像および立体形状情報は制御用コンピュータ４Ａで処理されネットワーク９２を通じて地点Ｂの制御用コンピュータ４Ｂに転送することができる。また、地点Ｂで取得された対象物のテクスチャ画像および立体形状情報も同様に制御用コンピュータ４Ｂで処理されネットワーク９２を通じて地点Ａの制御用コンピュータ４Ａに転送することができる。なお、本図では、装置９０，９１を構成する他の要素については図示を省略している。

次に、本発明に係る立体表示システムの一実施例の動作を説明する。本例は、実物体が地点Ａに存在する場合である。図１０は、本システムの動作を示すフローチャートである。図４から図６は、図１０のフローチャートの各ステップにおける状態を表した図である。図４から図６において、プロジェクタ５Ａ，５Ｂ，カメラ７Ａ，７Ｂ，ステージ１６Ａ，１６Ｂ，側面投影ミラー２Ａ，２Ｂ，撮影ミラー８Ａ，８Ｂはそれぞれ地点Ａおよび地点Ｂにおいて相対的な位置を一致させるように設置する。こうすることによって、地点Ａの実物体が置かれた位置に対応する地点Ｂの位置にその立体形状が再現され、カメラで撮影された実物体の上面および側面のテクスチャ画像が、その再現された立体形状の対応する位置に投影される。以下、具体的に説明する。

図４（ａ）に示すように、地点Ａのステージ１６Ａ上に実物体４０を載せ（図１０のステップ１０１）、地点Ａの撮影ミラー８Ａを図示のようにプロジェクタ５Ａのレンズ前から外れた地点にセットする（ステップ１０２）。図４（ｂ）に示すように、この時点ではまだ地点Ｂのステージ１６Ｂ上に立体形状は現れない。

次に、図５（ａ）に示すように、プロジェクタ５Ａからストライプ状の明暗パターン４１を複数回実物体４０に投影し、撮影ミラー８Ａを通した画像をカメラ７Ａで撮影する（ステップ１０３）。投影するストライプ状の明暗パターン４１は、たとえば図１１（ａ）〜（ｆ）に示すようなものであり、グレイコードであってもカラーコードであってもよい。撮影された画像は、図７（ａ）〜（ｆ）に示すように、ストライプ状の明暗パターンが実物体４０の形状（高低差）により歪んだ状態となる。この歪みを計算することにより各ストライプエッジの奥行き情報（立体形状情報）が算出される。

この形状計測方式は「空間コード化法」としてよく知られる方法である。図１７に示すように、プロジェクタ５から物体Ｍに投影された明暗パターンの投影角度をθ、カメラ７で撮影された明暗パターンの撮影角度をφ、プロジェクタ５とカメラ７のレンズ間距離（基線長）をＬとすると、物体Ｍまでの距離Ｚは次のように表される。
Ｚ＝Ｌ・（ｔａｎθ・ｔａｎφ）／（ｔａｎθ＋ｔａｎφ）
この距離Ｚを繰り返し求めて、物体Ｍの立体形状情報を取得する。このように、複数の明暗パターンを投影した実物体を撮影した複数の画像から、空間コード化法により形状計測を行い、立体形状情報を作成する（ステップ１０４）。

実物体の形状を計測する方法はこの空間コード化法である必要はなく、たとえばＴｉｍｅ ｏｆ Ｆｌｉｇｈｔ方式、ステレオ法などどのような方法でもかまわない。また、形状計測点の密度は形状復元装置のマトリクス状に配列されたピンの密度より高くする必要はなく、たとえば形状復元装置で３ｍｍピッチのピンを使用する場合は３ｍｍピッチの密度で形状計測を行えば充分である。算出された立体形状情報は地点Ａから地点Ｂの制御用コンピュータに送信され、そこで地点Ｂの形状復元装置１Ｂのピン１５Ｂの突出量が計算される。地点Ｂの制御用コンピュータは形状復元ドライブ装置を駆動して、図５（ｂ）に示すように、形状復元装置１Ｂのマトリクス状に配列されたピン１５Ｂを突き出し、地点Ａの実物体４０の形状を、対応する立体形状として地点Ｂの形状復元装置１Ｂで復元する（ステップ１０５）。

次に、図６（ａ）に示すように、地点Ａの撮影ミラー８Ａをプロジェクタ５Ａのレンズ前にセットする（ステップ１０６）。そして、プロジェクタ５Ａのレンズ中心と同じ位置からカメラ７Ａで実物体４０を撮影する。その際、実物体４０の上面だけでなく、側面投影ミラー２Ａに映った実物体４０の側面テクスチャも合わせて撮影する。図８は、撮影されたテクスチャ画像の一例を示す図で、（ａ）は左側面画像、（ｂ）は後側面画像、（ｃ）は上面画像、（ｄ）は前側面画像、（ｅ）は右側面画像である。これらの撮影された実物体４０の上面および側面のテクスチャ画像を地点Ｂに送信し、図６（ｂ）に示すように、図示しない制御用コンピュータによりプロジェクタ５Ｂから、復元した立体形状に投影する（ステップ１０７）。側面投影ミラー２Ｂに照射される側面テクスチャ画像は、地点Ａと地点Ｂで側面投影ミラー２Ａ，２Ｂが同一の状態にセットされているので、復元された立体形状の該当する位置に正確に投影される。

以上は実物体が地点Ａに存在する場合であるが、実物体が双方に存在しない場合でも三次元（３Ｄ）情報を共有することが可能である。以下、地点Ａにのみ３Ｄ−ＣＡＤ等で予め作成した物体情報（以下、「３Ｄモデリングデータ」という）が存在する場合を例にとって説明する。

図１２は、地点Ａに３Ｄモデリングデータが存在する場合の例を示す図で、（ａ）は地点Ａの装置、（ｂ）は地点Ｂの装置を示すものであり、図１３はその動作説明のためのフローチャートである。まず、図１２（ａ）、（ｂ）に示すように、地点Ａおよび地点Ｂの撮影ミラー８Ａ，８Ｂをプロジェクタ５Ａ，５Ｂのレンズから外れた位置にセットする（図１３のステップ１３１）。地点Ａに存在する３Ｄモデリングデータをもとに表示したい姿勢および倍率から立体形状を復元するための立体形状情報並びに上面および側面のテクスチャを算出し、地点Ｂに送信する（ステップ１３２）。この３Ｄモデリングデータは、例えば地点Ａの制御コンピュータ４Ａに格納されている。

次に、この立体形状情報に基づいて地点Ａおよび地点Ｂの形状復元装置１Ａ，１Ｂで立体形状を復元する（ステップ１３３）。復元した立体形状の位置や向きに合わせて、上面および側面テクスチャ画像をプロジェクタ５Ａ，５Ｂから、復元した立体形状に投影する（ステップ１３４）。こうすることにより実物体の存在しない複数の地点においてそれぞれ３Ｄ−ＣＡＤ等で作成された３Ｄモデリングデータを立体表示し、複数の地点間で三次元情報を共有することができる。

復元した立体形状に投影する画像は、実物体のテクスチャに限らない。たとえば、３Ｄモデリングされた仮想物体の熱解析や変形解析、流体力学解析などのコンピュータシミュレーションの結果画像を投影して、複数の地点間でシミュレーション情報を共有することが可能である。

図１９は、コンピュータによる応力シミュレーションの結果を離れた地点に提示する例を示す図である。地点Ａの装置９０における制御用コンピュータ４Ａ上で３Ｄモデリングされたオブジェクト１９Ａに対し、力学解析用ソフトウェアを用いて表面応力のシミュレーションを行う。地点Ｂの装置９１における制御用コンピュータ４Ｂにオブジェクト１９Ａの立体形状情報と表面応力シミュレーション結果による表面テクスチャ画像を送信する。このテクスチャ画像は、シミュレーション結果画像を含むオブジェクト１９Ａの上面および側面のテクスチャ画像である。地点Ｂでは、まず形状復元装置１Ｂによりオブジェクト１９Ａの形状が再現され、次にプロジェクタ５Ｂにより応力シミュレーション結果による表面テクスチャが投影される。これにより、離れた地点Ｂにおいて、オブジェクト１９Ａの応力分布等が立体的に確認できる。

図２０（ａ），（ｂ）は、地点Ａに実物体、地点Ｂに形状復元装置による再現形状が存在する場合について、地点Ａにおいて投光指示器としてのレーザポインタにより指示した輝点を、地点Ｂに復元した立体形状の対応する位置に表示する場合の例を示す図である。地点Ａから地点Ｂにポインタで指示した輝点を表示する方法を以下説明する。地点Ａの実物体４０上にレーザポインタ５１から輝点５２Ａを投影する。地点Ａのカメラ７Ａは実物体の表面テクスチャおよびポインタで指示した輝点を同時に撮影し、これを物体の上面および側面のテクスチャ画像として地点Ｂに送信する。地点Ｂでは、受信したテクスチャ画像から、地点Ａで撮影された表面テクスチャおよびポインタで指示した輝点を、復元した立体形状に投影する。これにより地点Ｂにおいて地点Ａでポインティングされた位置を復元形状の上で輝点５２Ｂとして確認することができる。

図１４（ａ），（ｂ）は、双方向でポインタで指示した輝点を表示する場合の例を示す図である。この場合、撮影ミラーをハーフミラー５８Ａ，５８Ｂとし、実物体および復元した立体形状について、ポインタで指示した輝点の撮影と表面テクスチャの投影を行う。まず、地点Ａおよび地点Ｂともにハーフミラー５８Ａ，５８Ｂをプロジェクタ５Ａ，５Ｂとカメラ７Ａ，７Ｂの交差光軸上に設置し、表面テクスチャを実物体４０および復元した立体形状に投影しながら同時に撮影を行う。これによりポインタで指示した輝点を含む表面テクスチャ画像を地点Ａおよび地点Ｂにおいて取得することができる。

地点Ａのポインタで指示した輝点を地点Ｂに表示する場合、地点Ａで取得したポインタ５１Ａで指示した輝点５２Ａを含む表面テクスチャ画像を地点Ｂに送信し、この表面テクスチャ画像を地点Ｂの立体形状に投影する。これにより、地点Ｂの立体形状には、実物体４０上の輝点５２Ａが輝点５２Ｂとして再現される。逆に、地点Ｂのポインタで指示した輝点を地点Ａに表示する場合、地点Ｂで取得したポインタ５１Ｂで指示した輝点５３Ｂを含む表面テクスチャ画像を地点Ａに送信し、この表面テクスチャ画像を地点Ａの実物体４０に投影する。これにより、地点Ａの実物体４０には、地点Ｂの立体形状上の輝点５３Ｂが輝点５３Ａとして再現される。

その際、投影と撮影を同時に行うと不都合が生ずることがある。これについて図１５を用いて説明する。図１５（ａ）は、地点Ａの実物体を地点Ｂに復元する場合を示す。この場合、地点Ａでは、実物体に、地点Ｂにおいてポインタで指示した輝点を含む復元形状のテクスチャ画像（テクスチャＢ＋ポインタＢ）が投影され、同時に、ポインタで指示した輝点を含む実物体のテクスチャ画像（テクスチャＡ＋ポインタＡ）を撮影する。地点Ｂでは、復元形状に、地点Ａにおいてポインタで指示した輝点を含む実物体のテクスチャ画像（テクスチャＡ＋ポインタＡ）が投影され、同時に、ポインタで指示した輝点を含む復元形状のテクスチャ画像（テクスチャＢ＋ポインタＢ）を撮影する。また、図１５（ｂ）は、３Ｄ−ＣＡＤ上の３Ｄモデルを双方向の地点に復元する場合を示す。この場合、地点Ａでは、その復元形状に、地点Ｂにおいてポインタで指示した輝点とその復元形状のコンピュータグラフィックス（ＣＧ）テクスチャ画像（ＣＧテクスチャ＋ポインタＢ）が投影され、同時に、ポインタで指示した輝点とその復元形状のＣＧテクスチャ画像（ＣＧテクスチャ＋ポインタＡ）を撮影する。地点Ｂでは、その復元形状に、地点Ａにおいてポインタで指示した輝点とその復元形状のＣＧテクスチャ画像（ＣＧテクスチャ＋ポインタＡ）が投影され、同時に、ポインタで指示した輝点とその復元形状のＣＧテクスチャ画像（ＣＧテクスチャ＋ポインタＢ）を撮影する。図１５（ａ）、（ｂ）の場合、地点Ａで撮影したものを地点Ｂで投影および撮影し、さらにその画像を地点Ａで投影および撮影することになり、投影および撮影が無限ループを回ってしまう。そのため投影画像の明るさが激増しハレーションを起こしてしまう。

そこで、図１６に示すように投影と撮影を時分割で分離し、撮影時にはプロジェクタの画像投影を行わないようにする。図１６（ａ）は、地点Ａの実物体を地点Ｂに復元する場合を示す。この場合、地点Ａでは、実物体に、地点Ｂにおいてポインタで指示した輝点（ポインタＢ）が投影され、その投影終了後、ポインタで指示した輝点を含む実物体のテクスチャ画像（テクスチャＡ＋ポインタＡ）を撮影する。地点Ｂでは、地点Ａにおいてポインタで指示した輝点を含む実物体のテクスチャ画像（テクスチャＡ＋ポインタＡ）が投影され、その投影終了後、地点Ｂにおいてポインタで指示した輝点（ポインタＢ）を撮影する。また、図１６（ｂ）は、３Ｄ−ＣＡＤ上の３Ｄモデルを双方向の地点に復元する場合を示す。この場合、地点Ａでは、その復元形状に、地点Ｂにおいてポインタで指示した輝点とその復元形状のコンピュータグラフィックス（ＣＧ）テクスチャ画像（ＣＧテクスチャ＋ポインタＢ）が投影され、その投影終了後、ポインタで指示した輝点（ポインタＡ）を撮影する。地点Ｂでは、地点Ａにおいてポインタで指示した輝点とその復元形状のＣＧテクスチャ画像（ＣＧテクスチャ＋ポインタＡ）が投影され、その投影終了後、地点Ｂにおいてポインタで指示した輝点（ポインタＢ）を撮影する。この投影と撮影は例えば１フレーム（１／３０秒）の時間間隔で交互に行われる。こうすることにより投影および撮影が無限ループを回らなくなり、投影画像がハレーションを起こすこともなくなる。

本発明は立体表示システムに関するものであり、産業上の利用可能性がある。

遠隔会議システムの一例を示す図である。 偏光メガネ方式の一例を示す図である。 本発明に係る立体表示システムに用いる立体表示装置の一例を示す概略図である。 （ａ），（ｂ）はそれぞれ各地点に設けられる本発明に係る立体表示システムに用いる立体表示装置の一例を示す概略図である。 （ａ），（ｂ）はそれぞれ各地点に設けられる本発明に係る立体表示システムに用いる立体表示装置の一例を示す概略図である。 （ａ），（ｂ）はそれぞれ各地点に設けられる本発明に係る立体表示システムに用いる立体表示装置の一例を示す概略図である。 （ａ）〜（ｆ）はそれぞれストライプ状の明暗パターンが投影された実物体の一例を示す図である。 撮影されたテクスチャ画像の一例を示す図で、（ａ）は左側面画像、（ｂ）は後側面画像、（ｃ）は上面画像、（ｄ）は前側面画像、（ｅ）は右側面画像である。 本発明に係る立体表示システムの一実施例を示す図である。 本発明の一実施例の動作を説明するためのフローチャートである。 （ａ）〜（ｆ）はそれぞれプロジェクタから投影されるストライプ状の明暗パターンの一例を示す図である。 （ａ），（ｂ）はそれぞれ各地点に設けられる本発明に係る立体表示システムに用いる立体表示装置の一例を示す概略図である。 図１２の動作説明のためのフローチャートである。 （ａ），（ｂ）は本発明に係る立体表示システムにおいて双方向でポインタで指示した輝点を表示する場合の例を示す図である。 （ａ）は地点Ａの実物体を地点Ｂに復元する場合の例を示し、（ｂ）は３Ｄ−ＣＡＤ上の３Ｄモデルを双方向の地点に復元する場合の例を示す。 投影と撮影を時分割で分離する例を示すもので、（ａ）は地点Ａの実物体を地点Ｂに復元する場合、（ｂ）は３Ｄ−ＣＡＤ上の３Ｄモデルを双方向の地点に復元する場合を示す。 空間コード化法による形状計測の一例を説明するための図である。 本発明に係る立体表示システムにおける地点Ａ，Ｂ間の接続関係を説明するための図である。 コンピュータによる応力シミュレーションの結果を離れた地点に提示する例を示す図である。 （ａ），（ｂ）は、地点Ａに実物体、地点Ｂに形状復元装置による再現形状が存在する場合について、地点Ａにおいて投光指示器としてのレーザポインタにより指示した輝点を、地点Ｂに復元した立体形状の対応する位置に表示する場合の例を示す図である。

符号の説明

１ 形状復元装置
２ 側面投影ミラー
３ 形状復元ドライブ装置
４ 制御用コンピュータ
５ プロジェクタ
６ 入力装置
７ カメラ
８ 撮影ミラー
９ 送信装置
１５ ピン
１６ ステージ
９０ 地点Ａの装置
９１ 地点Ｂの装置
９２ ネットワーク

Claims (20)

1. 立体形状が制御可能に設けられ立体形状を復元する立体形状復元装置と、前記立体形状復元装置の上面側からの投影光を前記立体形状復元装置の側面に反射する反射装置と、立体形状情報に基づいて前記立体形状復元装置の立体形状を制御する制御装置と、前記立体形状の上面の表面画像を前記立体形状の上面に投影しおよび前記立体形状の側面の表面画像を前記反射装置を介して前記立体形状の側面に投影する投影装置とを含む第１の地点に配置された第１の装置と、
   前記立体形状情報並びに前記立体形状の上面および側面の表面画像を前記第１の装置に送信する送信装置を含む第２の地点に配置された第２の装置と、
   を備えたことを特徴とする立体表示システム。
2. 前記第２の装置が、実物体の上面側からの投影光を前記実物体の側面に反射する反射装置と、前記投影光を投影する投影装置と、前記実物体の上面および前記反射装置を介して前記実物体の側面を撮影する撮影装置とを含み、前記実物体に投影された投影光を前記撮影装置で撮影して得られた情報に基づいて前記立体形状情報を取得し、並びに前記実物体の上面および側面を前記撮影装置で撮影することにより前記立体形状の上面および側面の表面画像を取得することを特徴とする請求項１記載の立体表示システム。
3. 前記第１の装置が、前記立体形状の上面および前記反射装置を介して前記立体形状の側面を撮影する撮影装置と、前記撮影装置により撮影した前記立体形状の上面および側面の表面画像を前記第２の装置に送信する送信装置とを含むことを特徴とする請求項２記載の立体表示システム。
4. 前記第２の装置の撮影装置により撮影された表面画像が、投光指示器で指示した輝点を含むことを特徴とする請求項２記載の立体表示システム。
5. 前記第１の装置の撮影装置により撮影された表面画像が、投光指示器で指示した輝点を含むことを特徴とする請求項３記載の立体表示システム。
6. 前記第１の装置および前記第２の装置がそれぞれ、前記投影装置による投影と前記撮影装置による撮影を時分割で分離して行うことを特徴とする請求項３記載の立体表示システム。
7. 前記第２の装置が、立体形状が制御可能に設けられ立体形状を復元する立体形状復元装置と、前記立体形状復元装置の上面側からの投影光を前記立体形状復元装置の側面に反射する反射装置と、立体形状情報に基づいて前記立体形状復元装置の立体形状を制御する制御装置と、前記立体形状の上面の表面画像を前記立体形状の上面に投影しおよび前記立体形状の側面の表面画像を前記反射装置を介して前記立体形状の側面に投影する投影装置とを含むことを特徴とする請求項１記載の立体表示システム。
8. 前記第１の装置および前記第２の装置の少なくとも一方が、前記立体形状の上面および前記反射装置を介して前記立体形状の側面を撮影する撮影装置を備えたことを特徴とする請求項７記載の立体表示システム。
9. 前記撮影装置が、前記投影装置と光軸および画角をそろえるための撮影ミラー又はハーフミラーを伴うことを特徴とする請求項２〜６または８のいずれかに記載の立体表示システム。
10. 前記第２の装置の送信装置が送信する前記立体形状情報並びに前記立体形状の上面および側面の表面画像が、予め作成した物体情報に基づくものであることを特徴とする請求項１記載の立体表示システム。
11. 前記第２の装置の送信装置が、前記立体形状の上面および側面の表面画像に付加される付加画像を前記第１の装置に送信することを特徴とする請求項１〜１０のいずれかに記載の立体表示システム。
12. 前記付加画像が、コンピュータシミュレーションの結果画像であることを特徴とする請求項１１記載の立体表示システム。
13. 前記立体形状復元装置が高さ制御可能な複数のピンを配列して構成され、前記各ピンの高さが前記制御装置により制御可能とされることを特徴とする請求項１〜１２のいずれかに記載の立体表示システム。
14. 立体形状が制御可能に設けられ立体形状を復元する立体形状復元装置と、前記立体形状復元装置の上面側からの投影光を前記立体形状復元装置の側面に反射する反射装置と、立体形状情報に基づいて前記立体形状復元装置の立体形状を制御する制御装置と、前記立体形状の上面の表面画像を前記立体形状の上面に投影しおよび前記立体形状の側面の表面画像を前記反射装置を介して前記立体形状の側面に投影する投影装置と、前記立体形状の上面および前記反射装置を介して前記立体形状の側面を撮影する撮影装置とを含むことを特徴とする立体表示装置。
15. 前記撮影装置により撮影した前記立体形状の上面および側面の表面画像を外部に送信する送信装置を含むことを特徴とする請求項１４記載の立体表示装置。
16. 前記撮影装置が、前記投影装置と光軸および画角をそろえるための撮影ミラー又はハーフミラーを伴うことを特徴とする請求項１４または１５記載の立体表示装置。
17. 立体形状情報を送信する工程と、前記立体形状の上面および側面の表面画像を送信する工程と、受信した前記立体形状情報に基づいて、立体形状が制御可能に設けられ立体形状を復元する立体形状復元装置を用いて前記立体形状を復元する工程と、受信した前記立体形状の上面の表面画像を前記復元した立体形状の上面に投影しおよび前記立体形状の側面の表面画像を反射装置を介して前記復元した立体形状の側面に投影する工程とを含むことを特徴とする立体表示方法。
    
18. 前記送信される立体形状情報が実物体を形状計測することにより得られ、前記送信される立体形状の上面および側面の表面画像が前記実物体を撮影することにより得られることを特徴とする請求項１７記載の立体表示方法。
19. 前記送信される立体形状情報並びに前記立体形状の上面および側面の表面画像が、予め作成した物体情報に基づくものであることを特徴とする請求項１７記載の立体表示方法。
20. 前記送信側において、前記予め作成した物体情報に基づいて形状復元装置を用いて前記立体形状を復元する工程と、前記予め作成した物体情報に基づいて前記立体形状の上面および側面の表面画像を前記復元した立体形状に投影する工程とを含むことを特徴とする請求項１９記載の立体表示方法。

Images