JP7385180B2

JP7385180B2 - 高所作業装置の表示システム、販売システム、及び、データ生成受託システム

Info

Publication number: JP7385180B2
Application number: JP2019073672A
Authority: JP
Inventors: 義高長谷川
Original assignee: Hasegawa Kogyo Co Ltd
Current assignee: Hasegawa Kogyo Co Ltd
Priority date: 2019-04-08
Filing date: 2019-04-08
Publication date: 2023-11-22
Anticipated expiration: 2039-04-08
Also published as: JP2020173510A

Description

本発明は、拡張現実技術を用いて高所作業装置を表示するシステム、販売するシステム、及び、これらのシステムで用いる三次元データの生成を受託するシステムに関する。

従来、ユーザーが物品を購入する際に、その物品を設置した際の状況を把握できるように、拡張現実技術を用いて物品を表示する技術が用いられている（例えば、特許文献１を参照）。特許文献１には、物品を拡張現実処理して表示する際に、その物品の追加情報を表示する技術が記載されている。詳細には、特許文献１に記載の技術によれば、拡張現実処理を施した表示画面にウィンドウを表示し、このウィンドウ内に物品の購入情報、物品情報等を表示する構成としている。

特開２０１７－１８２８１０号公報

上記の如く、前記特許文献に記載の技術においては、ウィンドウを表示することにより、物品の追加情報を二次元的に表示する構成としている。一方、例えば高所作業装置のように使用者が乗って使用する物品や、複数の装置を組み合わせて使用する物品を選ぶ際は、安全な使用方法に則った上で、実際に使用者が使用して手が届く範囲を表示することなど、当該物品に関連した使用者等の三次元データとともに拡張現実処理を行うことが求められていた。

本発明は以上の如き状況に鑑みてなされたものであり、本発明が解決しようとする課題は、高所作業装置の三次元データを、当該高所作業装置に関連した使用者等の三次元データとともに拡張現実処理を行うことにより、ユーザーの使い勝手を向上させることのできる、高所作業装置の表示システム、販売システム、及び、データ生成受託システムを提供することである。

以下では、上記課題を解決するための手段を説明する。

（１）本発明に係る高所作業装置の表示システムは、周囲の状況を撮像して画像データを生成する撮像部と、前記撮像部が生成した前記画像データをリアルタイムで表示する表示部と、複数の高所作業装置の三次元データである装置データを記憶する第一の記憶部と、前記高所作業装置に関連する三次元データである付加データを記憶する第二の記憶部と、拡張現実感処理プログラムがインストールされた処理部と、を備え、前記処理部が、前記画像データと、前記第一の記憶部が記憶する一の高所作業装置の前記装置データと、前記一の高所作業装置に関連する前記付加データと、に対して拡張現実感処理を行い、前記第二の記憶部は、前記付加データとして、前記高所作業装置の使用者の身長データを記憶し、前記処理部が、前記画像データに生成された周囲の状況の寸法と前記一の高所作業装置の前記装置データの寸法とを対応させて拡張現実感処理を行い、前記表示部が、前記処理部により拡張現実感処理が施された、前記画像データと、前記一の高所作業装置の前記装置データと、前記第二の記憶部が記憶する前記身長データに基づいて生成された使用者データと、を重ね合わせて表示するものである。

（２）また、本発明に係る高所作業装置の表示システムにおいて、前記表示部は、前記使用者データで表示する使用者の作業可能領域を表示するものである。

（３）また、本発明に係る高所作業装置の表示システムにおいて、前記表示部は、前記装置データにおいて前記使用者データを配置できる箇所であるか否かを表示するものである。

（４）また、本発明に係る高所作業装置の表示システムにおいて、前記第一の記憶部は、前記高所作業装置の形態ごとに前記装置データを記憶するものである。

（５）また、本発明に係る高所作業装置の表示システムにおいて、前記第二の記憶部は、前記付加データとして、前記身長データに加えて、前記高所作業装置の製品データを記憶するものである。

（６）また、本発明に係る高所作業装置の表示システムにおいて、入力された前記高所作業装置の二次元データ、及び／又は、動画データに基づいて、前記装置データを生成する、装置データ生成部を備えるものである。

（７）また、本発明に係る高所作業装置の販売システムは、商品の表示システムとして、（１）から（６）の何れか一に記載の高所作業装置の表示システムを備えるものである。

（８）また、本発明に係る高所作業装置のデータ生成受託システムは、前記高所作業装置の二次元データ、及び／又は、動画データを受信する受信部と、前記二次元データ、及び／又は、前記動画データに基づいて、（１）から（６）の何れか一に記載の高所作業装置の表示システム、又は、（７）に記載の高所作業装置の販売システムで表示可能な前記装置データ及び前記付加データを生成する生成部と、前記装置データ及び前記付加データを送信する送信部と、を備えるものである。

本発明に係る高所作業装置の表示システム、販売システム、及び、データ生成受託システムによれば、高所作業装置の三次元データを、当該高所作業装置に関連した使用者等の三次元データとともに拡張現実処理を行うことにより、使用者の使い勝手を向上させることができる、という効果を奏する。

一実施形態に係る表示システムのブロック図。物品の選択画面を示した図。周囲の状況を撮像する状態を示した図。周囲の画像データと物品の三次元データとを拡張現実処理で重ね合わせて表示した図。（ａ）第一のアイコンをタッチした状態を表示した図、（ｂ）使用者データを表示した図。（ａ）及び（ｂ）はそれぞれ使用者データを操作した状態を表示した図。（ａ）第二のアイコンをタッチした状態を表示した図、（ｂ）第一の製品データを表示した図。（ａ）第二の製品データを表示した図、（ｂ）第三の製品データを表示した図。（ａ）第三のアイコンをタッチした状態を表示した図、（ｂ）第一のオプションデータを表示した図。第四のアイコンをタッチした状態を表示した図。（ａ）第一の変形データを表示した図、（ｂ）第二の変形データを表示した図。

まず、本実施形態に係るの表示システム１について、図１及び図２を用いて説明する。図１及び図２に示す如く、本実施形態に係る表示システム１は、本発明に係る物品の一実施例である高所作業装置を、スマートフォンやタブレットである携帯端末Ｍの表示部１２によって表示可能に構成される。表示システム１は、販売システム（例えば、インターネット回線を介して物品の商取引を行うシステム）における商品の表示システムとして用いることが可能である。なお、本発明に採用される物品は高所作業装置に限定されるものではなく、他の什器や機器等、一般的な物品を広く採用することが可能である。

図１に示す如く、表示システム１は撮像部１１、表示部１２、第一の記憶部１３、第二の記憶部１４、及び、処理部１５を備える。なお、表示システム１を構成する各部については、本実施形態の如く一体的に構成しても、各種データを相互に通信可能に接続された状態で分離して構成しても差し支えない。以下、各構成について順に説明する。

撮像部１１は、図３に示す如く表示システム１のユーザー（以下、単に「ユーザー」と記載する）が周囲の状況である風景画像を動画又は静止画として撮像することで画像データを生成するものである。図２に示す如く、本実施形態における撮像部１１としては携帯端末Ｍに設けられたカメラが用いられる。本実施態様に係る表示システム１において、撮像部１１は、撮影した画像をデジタルの画像データに変換して出力する小型のデジタルカメラが採用される。撮像部１１で生成した画像データは図１に示す処理部１５に入力される。

表示部１２は、撮像部１１が生成した画像データをリアルタイムで表示するものである。即ち、表示部１２は図４に示す如く、撮像部１１が撮影方向を変化させたり撮影場所を移動したりした場合に、画像データをリアルタイムで表示することができる。図２に示す如く、本実施形態における表示部１２としては、携帯端末Ｍに設けられたタッチパネル機能付きの液晶ディスプレイが用いられる。

第一の記憶部１３及び第二の記憶部１４は、携帯端末Ｍが備える記憶手段である。本実施形態における第一の記憶部１３及び第二の記憶部１４としては、それぞれ携帯端末Ｍに設けられたメモリが用いられる。なお、第一の記憶部１３及び／又は第二の記憶部１４として、ＵＳＢメモリやＣＤ－ＲＯＭなどの外部メモリを採用することも可能である。また、インターネット回線を通じて携帯端末Ｍを外部のサーバー等と接続することにより、第一の記憶部１３及び／又は第二の記憶部１４を携帯端末Ｍと異なる機器に設けることも可能である。

第一の記憶部１３は、複数の物品の三次元データである装置データを記憶する。本実施形態においては、装置データとして、種々の物品の三次元データが第一の記憶部１３に記憶される。また、第一の記憶部１３は、装置データとして、種々の物品を変形させた三次元データである変形データを、物品の形態ごとに記憶することも可能である。装置データは、図２の装置選択画面Ｐ１・Ｐ２・Ｐ３・・・の如く、表示部１２において表示されて、ユーザーにより選択可能とされる。

また、表示システム１は、入力された物品の二次元データ（例えば六面図データなど）、及び／又は、動画データに基づいて装置データを生成する、装置データ生成部を備える構成とすることもできる。装置データ生成部により、二次元データ／動画データを入力することで表示システム１を使用することが可能となる。

第二の記憶部１４は、物品に関連する三次元データである付加データを記憶する。付加データとして、例えば、物品の使用者（以下、単に「使用者」と記載する）の身長データに基づいて生成された使用者データ、物品の寸法、重心位置等の製品データなどが第二の記憶部１４に記憶される。

処理部１５には拡張現実感処理プログラム、及び、画像処理プログラム等、以下に記載する処理を実行するその他のプロブラムがインストールされており、処理部１５において拡張現実感処理及び種々の処理を実行する。本実施態様の表示システム１においては、処理部１５として、中央演算処理装置（ＣＰＵ）及び必要なメモリが用いられる。具体的には、撮像部１１から画像データを受け取り、その画像データに、第一の記憶部１３に記憶された装置データを合成する拡張現実感処理を行うものとなっている。この拡張現実感処理によって、図４に示すような合成画像が得られる。このように、本実施態様に係る表示システム１は、ユーザーが物品を購入する際などに、その物品を設置した際の状況を把握できように構成される。

処理部１５における拡張現実感処理は、通常、処理部１５に組み込まれたソフトウェア又は電子回路により実現される。処理部１５で実行される拡張現実感処理の具体的な方法は、特に限定されるものではない。本実施態様の表示システム１における拡張現実感処理を実現するためのソフトウェアとしては、「ＮｙＡＲＴｏｏｌＫｉｔ」や「ＡｎｄＡＲ」などのＡＲＴｏｏｌＫｉｔ等を採用することが可能である。

本実施態様の表示システム１では、上記の通り、撮像部１１が動画を撮影するものとなっていることに加えて、装置データを、仮想三次元空間上でモデリングされた実時間処理可能な三次元コンピュータグラフィックスにより作成しているので、撮影方向や撮影場所が変化しても、リアルタイムに合成画像が更新されるようになっている。したがって、異なる撮影方向や撮影場所からの物品の装置データ及び風景をリアルタイムに確認することができるようになっている。

本実施態様に係る表示システム１で物品を表示する際には、まず、図２の装置選択画面Ｐ１・Ｐ２・Ｐ３・・・の如く、表示部１２に第一の記憶部１３に記憶される装置データを表示する。ユーザーは装置選択画面Ｐ１・Ｐ２・Ｐ３・・・の何れかをタッチすることにより、物品を選択する。本実施形態においては、装置選択画面Ｐ１が選択されたものとして説明する。この際、選択された装置選択画面Ｐ１において、色やサイズのバリエーションを変更可能に構成することも可能である。なお、カタログ等に記載されているＱＲコード（登録商標）を撮像部１１で読み取ることにより装置を選択し、第一の記憶部１３に記憶される装置データのうち選択された装置データを表示部１２に表示する構成とすることも可能である。

次に、図３に示す如く、ユーザーが拡張現実感処理を施す場所Ｒの風景画像を撮像部１１で撮像して画像データを生成する。そして、処理部１５が、場所Ｒの画像データと、選択された物品の装置データＡ１と、に対して拡張現実感処理を行う。そして、図４に示す如く、表示部１２が、処理部１５により拡張現実感処理が施された、場所Ｒの画像データと、選択された物品の装置データＡ１と、を重ね合わせて表示する。これにより、ユーザーが、装置データＡ１に係る物品を場所Ｒに設置した際の状況を把握することが可能となる。本実施形態において、ユーザーは指で表示部１２の画面にタッチすることにより、装置データＡ１を表示部１２の画面上で表示する表示位置を変更したり、配置方向を変えたりすることができる。

この際、場所Ｒにおける設置面の状況に基づいて、装置データＡ１が設置可能か否かを判断する構成とすることも可能である。例えば、設置面が許容範囲以上に傾斜している場合などは、「設置不能」の表示を表示部１２に表示させる構成とすることもできる。

上記の如く、処理部１５が拡張現実感処理を行う際には、画像データに生成された場所Ｒの状況の寸法と、選択された物品の装置データＡ１の寸法とを対応させている。これにより、ユーザーが、装置データＡ１に係る物品を場所Ｒに設置した際の配置状況をより正確に把握することが可能となる。また、場所Ｒに配置されている物と装置データＡ１とが干渉するか否かを判断することもできる。さらに、場所Ｒに配置されている物と装置データＡ１との距離（空間寸法）を表示させることも可能である。

本実施形態に係る表示システム１においては、処理部１５が、場所Ｒの画像データと、選択された物品の装置データＡ１と、に加えて、第二の記憶部１４に記憶されている、選択された物品に関連する付加データと、に対して拡張現実感処理を行い、表示部１２が、処理部１５により拡張現実感処理が施された、場所Ｒの画像データと、選択された物品の装置データＡ１と、選択された物品に関連する付加データと、を重ね合わせて表示することを可能としている。

以下、付加データの表示方法について、順に説明する。表示システム１において場所Ｒの画像データと物品の装置データＡ１とを重ね合わせて表示した際には、図４に示す如く、表示部１２の下部にアイコンＩ１～Ｉ４が表示される。これらのアイコンＩ１～Ｉ４をユーザーがタッチすることにより、表示部１２に、第二の記憶部１４に記憶される付加データが表示される。

図４における表示部１２に表示されるアイコンＩ１は、付加データのうち、物品の使用者の身長データに基づいて生成された使用者データＦａを表示させるものである。具体的には、図５（ａ）に示す如くユーザーが指ＦでアイコンＩ１をタッチすると、１３０ｃｍから１０ｃｍ刻みで１９０ｃｍまでの身長が記載されたウィンドウＷ１が表示される。ユーザーがウィンドウＷ１における１７０ｃｍの部分をタッチすると、図５（ｂ）に示す如く、身長１７０ｃｍに相当する大きさの使用者データＦａが表示される。

図６（ａ）に示す如く、ユーザーは指Ｆで表示部１２の画面にタッチすることにより、使用者データＦａを表示部１２の画面上で移動させることができる。この際、使用者データＦａが装置データＡ１において配置できない箇所（装置データＡ１である脚立において使用を禁止されている天板部分）に位置した場合、図６（ａ）に示す如く「ＮＧ」の表示がなされる。一方、使用者データＦａが装置データＡ１において配置できる箇所（装置データＡ１である脚立において使用が認められている踏桟部分）に位置した場合、図６（ｂ）に示す如く「Ｇｏｏｄ」の表示がなされる。

上記の如く、表示システム１においては、表示部１２が、処理部１５により拡張現実感処理が施された、場所Ｒの画像データと、選択された物品の装置データＡ１と、選択された物品に関連する付加データである使用者データＦａと、を重ね合わせて表示する構成としている。これにより、ユーザーが、装置データＡ１に係る物品を場所Ｒに設置した際の使用状況を正確に把握することが可能となる。具体的には、場所Ｒにおいて自身の身長でどの高さまで手が届くかを容易に判断することができる。表示システム１を物品の販売システムの一部として用いる場合は、ユーザーが物品を購入する際の判断をより容易に行うことが可能となるため、ユーザーが表示システム１を使う際の使い勝手を向上させることができる。

表示システム１において、図６（ｂ）に示す如く、場所Ｒの画像データ、物品の装置データＡ１、及び、使用者データＦａを重ね合わせて表示した際に、使用者データＦａの手が届く領域を表示することも可能である。これにより、選択された身長の使用者が作業できる領域を、ユーザーが容易に把握することができる。また、道具を持った使用者データを付加データとして使用することもできる。これにより、道具を持った使用者の作業可能領域を表示することも可能である。

図４における表示部１２に表示されるアイコンＩ２は、付加データのうち、物品の製品諸元、寸法、重心位置、禁止事項、注意事項、ＰＬ情報、取扱説明情報等の種々の製品データを表示させるものである。具体的には、図７（ａ）に示す如くユーザーが指ＦでアイコンＩ２をタッチすると、製品データの種類が記載されたウィンドウＷ２が表示される。ユーザーがウィンドウＷ２における製品諸元に相当する部分をタッチすると、図７（ｂ）に示す如く、装置データＡ１に関する第一の製品データである材質、重量、耐荷重等の表示画面データＩａが表示される。同様に、ウィンドウＷ２における禁止事項、注意事項、ＰＬ情報、取扱説明情報等に相当する部分をタッチすると、それぞれの表示画面データが表示される。

また、ユーザーがウィンドウＷ２における寸法に相当する部分をタッチすると、図８（ａ）に示す如く、装置データＡ１の第二の製品データである寸法データＩｂが表示される。この際、表示される寸法を、メートル表示、ヤード表示、又は尺貫法表示の何れかに選択可能とすることもできる。

また、ユーザーがウィンドウＷ２における重心位置に相当する部分をタッチすると、図８（ｂ）に示す如く、装置データＡ１の第三の製品データである、重心位置を示す重心データＧが表示される。この際、クレーンで装置データＡ１に係る物品を吊下げる時の吊下げ位置（ボルト等の取り付け位置）を表示させることも可能である。また、装置データＡ１に係る物品を吊下げる際に用いるクレーンを表示させることも可能である。

上記の如く、表示システム１においては、表示部１２が、処理部１５により拡張現実感処理が施された、場所Ｒの画像データと、選択された物品の装置データＡ１と、選択された物品に関連する付加データである製品データと、を重ね合わせて表示する構成としている。これにより、ユーザーが、装置データＡ１に係る物品を場所Ｒに設置した際の状況を正確に把握することが可能となる。表示システム１を物品の販売システムの一部として用いる場合は、場所Ｒにおける物品の重量、寸法、重心位置等に基づいて、ユーザーが物品を購入する際の判断をより容易に行うことが可能となる。

図４における表示部１２に表示されるアイコンＩ３は、付加データのうち、物品に追加して組付けるオプション器具のデータであるオプションデータを表示させるものである。具体的には、図９（ａ）に示す如くユーザーが指ＦでアイコンＩ３をタッチすると、オプションデータの種類が記載されたウィンドウＷ３が表示される。ユーザーがウィンドウＷ３における一のオプションデータの表示部分をタッチすると、図９（ｂ）に示す如く、装置データＡ１に関するオプションデータＯｐが表示される。

上記の如く、表示システム１においては、表示部１２が、処理部１５により拡張現実感処理が施された、場所Ｒの画像データと、選択された物品の装置データＡ１と、選択された物品に関連する付加データであるオプションデータと、を重ね合わせて表示する構成としている。これにより、ユーザーが、装置データＡ１に係る物品を場所Ｒに設置した際の状況を正確に把握することが可能となる。表示システム１を物品の販売システムの一部として用いる場合は、場所Ｒにおける物品のオプション器具の配置構成に基づいて、ユーザーが物品を購入する際の判断をより容易に行うことが可能となる。

図４における表示部１２に表示されるアイコンＩ４は、第一の記憶部１３が記憶する、物品の形態が変化した変形データを表示させるものである。具体的には、図１０に示す如くユーザーが指ＦでアイコンＩ４をタッチすると、変形データの種類が記載されたウィンドウＷ４が表示される。ユーザーがウィンドウＷ４における一の変形データである収納状態の表示部分をタッチすると、図１１（ａ）に示す如く、装置データＡ１に係る脚立を収納状態とした第一変形データＡ２が表示される。ユーザーがウィンドウＷ４における他の変形データであるはしご状態の表示部分をタッチすると、図１１（ｂ）に示す如く、装置データＡ１に係る脚立をはしご状態とした第二変形データＡ３が表示される。

上記の如く、表示システム１においては、表示部１２が、処理部１５により拡張現実感処理が施された、場所Ｒの画像データと、選択された物品の変形データと、を重ね合わせて表示する構成としている。これにより、ユーザーが、装置データＡ１に係る物品を変形させた際の状況を正確に把握することが可能となる。表示システム１を物品の販売システムの一部として用いる場合は、場所Ｒにおける物品を変形させた状態に基づいて、ユーザーが物品を購入する際の判断をより容易に行うことが可能となる。なお、なお、第一の記憶部１３で記憶する変形データとしては、物品において調整可能部分を可動範囲で調整させたものを採用することも可能である。また、変形データの他の例として、複数の装置データを積み重ねたり、並べたりしたものを採用することも可能である。

なお、表示システム１、又は、表示システム１を用いた販売システムで表示する装置データ及び付加データの生成を、データ生成受託システムを介して受託する構成とすることもできる。具体的には、データ生成受託システムは、受信部、生成部、及び、送信部を備える。受信部は、物品の二次元データ、及び／又は、動画データを委託者から受信する。生成部は、受信部が受信した二次元データ／動画データに基づいて、表示システム１又は販売システムで表示可能な装置データ及び付加データを生成する。送信部は、生成した装置データ及び付加データを委託者に送信する。この際、装置データ又は付加データをＱＲコード（登録商標）の形にして送信することも可能である。これにより、委託者は自らが装置データ及び付加データを生成することなく、表示システム１及び販売システムを利用することが可能となる。

１表示システム
１１撮像部１２表示部
１３第一の記憶部１４第二の記憶部
１５処理部Ａ１装置データ
Ａ２第一変形データＡ３第二変形データ
Ｆ指Ｆａ使用者データ
Ｍ携帯端末Ｉアイコン
Ｉａ表示画面データＩｂ寸法データ
ＯｐオプションデータＧ重心データ
Ｒ場所Ｐ装置選択画面
Ｗウィンドウ

Claims

周囲の状況を撮像して画像データを生成する撮像部と、前記撮像部が生成した前記画像データをリアルタイムで表示する表示部と、複数の高所作業装置の三次元データである装置データを記憶する第一の記憶部と、前記高所作業装置に関連する三次元データである付加データを記憶する第二の記憶部と、拡張現実感処理プログラムがインストールされた処理部と、を備え、
前記処理部が、前記画像データと、前記第一の記憶部が記憶する一の高所作業装置の前記装置データと、前記一の高所作業装置に関連する前記付加データと、に対して拡張現実感処理を行い、
前記第二の記憶部は、前記付加データとして、前記高所作業装置の使用者の身長データを記憶し、
前記処理部が、前記画像データに生成された周囲の状況の寸法と前記一の高所作業装置の前記装置データの寸法とを対応させて拡張現実感処理を行い、
前記表示部が、前記処理部により拡張現実感処理が施された、前記画像データと、前記一の高所作業装置の前記装置データと、前記第二の記憶部が記憶する前記身長データに基づいて生成された使用者データと、を重ね合わせて表示する、高所作業装置の表示システム。
前記表示部が、前記使用者データで表示する使用者の作業可能領域を表示する、請求項１に記載の高所作業装置の表示システム。
前記表示部が、前記装置データにおいて前記使用者データを配置できる箇所であるか否かを表示する、請求項１又は請求項２に記載の高所作業装置の表示システム。
前記第一の記憶部は、前記高所作業装置の形態ごとに前記装置データを記憶する、請求項１から請求項３の何れか１項に記載の高所作業装置の表示システム。
前記第二の記憶部は、前記付加データとして、前記身長データに加えて、前記高所作業装置の製品データを記憶する、請求項１から請求項４の何れか１項に記載の高所作業装置の表示システム。
入力された前記高所作業装置の二次元データ、及び／又は、動画データに基づいて、前記装置データを生成する、装置データ生成部を備える、請求項１から請求項５の何れか１項に記載の高所作業装置の表示システム。
商品の表示システムとして、請求項１から請求項６の何れか１項に記載の高所作業装置の表示システムを備える、高所作業装置の販売システム。
前記高所作業装置の二次元データ、及び／又は、動画データを受信する受信部と、
前記二次元データ、及び／又は、前記動画データに基づいて、請求項１から請求項６の何れか１項に記載の高所作業装置の表示システム、又は、請求項７に記載の高所作業装置の販売システムで表示可能な前記装置データ及び前記付加データを生成する生成部と、
前記装置データ及び前記付加データを送信する送信部と、を備える、高所作業装置のデータ生成受託システム。