JP7440972B2

JP7440972B2 - 室内レイアウト支援方法、システム及びプログラム

Info

Publication number: JP7440972B2
Application number: JP2023102990A
Authority: JP
Inventors: 栄駿劉
Original assignee: ｎａｔ株式会社
Priority date: 2022-06-23
Filing date: 2023-06-23
Publication date: 2024-02-29
Anticipated expiration: 2043-06-23
Also published as: JP2024036542A; WO2024262060A8; US20260004011A1; JP2024002979A; WO2024262060A1; CN119563186A

Description

本発明は、室内における商品のレイアウトを検討するために用いられる室内レイアウト支援方法、システム及びプログラムに関するものである。

例えば、建築やリフォーム・引っ越しといった不動産関係事業においては、安全性能や正確性を強く求められる業界である上、設計図や現場見取り図等の図面引きが必要業務の一つです。これらは従来、建築士やＣＡＤを扱える専門家の手によって作られている。
この場合に、先ず現場の測量を行い、それを元に縮尺した平面の設計図に起こし、図面に専門的な記号や数値・材料・色合い等々を書き入れて仕上げ、この作業だけで約１～２週間を要する。

特開２０２１―０１２５２８号公報

そうしてできた図面や指示書は、それを見た人たちの頭の中で立体的にイメージ化され、描かれている寸法通りに建付けを行ったり、配線や物の設置や色付け作業等を行う。
建物を建てたりリフォームしたりする際に関わる事業者は多岐に亘るため、それぞれの頭の中の立体イメージがずれないよう、都度お互いに確認を行いながら慎重に作業が進めている。
また、各事業者それぞれが描かれた紙の設計図や指示書を何十枚も手に携えて作業するので、膨大な枚数の紙が必要になる。
このように、従来の作業現場では「人手」「時間」「資源」の無駄が多いという問題がある。
また、室内ＣＡＤデータを基に、家電や家具などの商材を効率的に選択して購入したいと要請がある。

本発明はかかる事情に鑑みてなされたものであり、その目的は、室内に商材を配置する際に、商材を配置する位置を検討したり、購入する商材を選択するのに便利な室内レイアウト支援方法、システム及びプログラムを提供することにある。

本発明は、室内の３ＤのＣＡＤデータを取得又は生成する第１の工程と、前記室内に配置する家具及び家電の少なくとも一方の商材の分類とその予算との指定をユーザから受ける第２の工程と、前記第１の工程で取得または生成した前記ＣＡＤデータと、前記第２の工程で指定した商材の分類及び予算とを基に、前記室内における前記商材を配置可能なスペースと当該スペースに配置する商材とを異なる組み合わせで示す複数の配置候補を決定する第３の工程と、前記第３の工程で決定した複数の配置候補のそれぞれについて、前記配置可能なスペースに前記商材を配置した３ＤのＣＡＤ画像を表示する第４の工程と、前記第４の工程で表示した前記ＣＡＤ画像上で、ユーザが商材を指定すると、表示している商材と同じ分類の他の商材を選択する選択画面を表示し、前記選択画面上で他の商材が選択された場合には、当該他の商材を配置した前記ＣＡＤデータを生成する第５の工程と、過去に商材を購入したユーザの室内の前記ＣＡＤデータと、当該ユーザが選択した前記配置候補と、前記ユーザが購入した商材とを関連付けて履歴データとしてメモリに記憶する第６の工程とをコンピュータが実行し、前記第３の工程は、前記第６の工程でメモリに記憶された前記履歴データを基に、室内の前記ＣＡＤデータ、前記指定された分類とその予算の組み合わせと類似度が高い組み合わせを持つ他のユーザが選択した前記配置候補及び商材を優先度が高い前記配置候補及び商材として決定し、前記第３の工程は、過去に商材を購入したユーザの室内の前記ＣＡＤデータと、当該ユーザが選択した前記配置候補と、前記ユーザが購入した商材と、当該ユーザの属性との組み合わせを教師データとして機械学習された学習モデルを用いて、前記配置候補及び商材として決定する、室内レイアウト支援方法である。

本発明は、室内の３ＤのＣＡＤデータを取得又は生成する第１の工程と、前記室内に配置する家具及び家電の少なくとも一方の商材の分類とその予算との指定をユーザから受ける第２の工程と、前記第１の工程で取得または生成した前記ＣＡＤデータと、前記第２の工程で指定した商材の分類及び予算とを基に、前記室内における前記商材を配置可能なスペースと当該スペースに配置する商材とを異なる組み合わせで示す複数の配置候補を決定する第３の工程と、前記第３の工程で決定した複数の配置候補のそれぞれについて、前記配置可能なスペースに前記商材を配置した３ＤのＣＡＤ画像を表示する第４の工程と、前記第４の工程で表示した前記ＣＡＤ画像上で、ユーザが商材を指定すると、表示している商材と同じ分類の他の商材を選択する選択画面を表示し、前記選択画面上で他の商材が選択された場合には、当該他の商材を配置した前記ＣＡＤデータを生成する第５の工程と、過去に商材を購入したユーザの室内の前記ＣＡＤデータと、当該ユーザが選択した前記配置候補と、前記ユーザが購入した商材とを関連付けて履歴データとしてメモリに記憶する第６の工程とをコンピュータに実行させるプログラムであって、前記第３の工程は、前記第６の工程でメモリに記憶された前記履歴データを基に、室内の前記ＣＡＤデータ、前記指定された分類とその予算の組み合わせと類似度が高い組み合わせを持つ他のユーザが選択した前記配置候補及び商材を優先度が高い前記配置候補及び商材として決定し、前記第３の工程は、過去に商材を購入したユーザの室内の前記ＣＡＤデータと、当該ユーザが選択した前記配置候補と、前記ユーザが購入した商材と、当該ユーザの属性との組み合わせを教師データとして機械学習された学習モデルを用いて、前記配置候補及び商材として決定する、プログラムである。

本発明は、室内の３ＤのＣＡＤデータを取得又は生成する第１の手段と、前記室内に配置する家具及び家電の少なくとも一方の商材の分類とその予算との指定をユーザから受ける第２の手段と、前記第１の手段で取得または生成した前記ＣＡＤデータと、前記第２の手段で指定した商材の分類及び予算とを基に、前記室内における前記商材を配置可能なスペースと当該スペースに配置する商材とを異なる組み合わせで示す複数の配置候補を決定する第３の手段と、前記第３の手段で決定した複数の配置候補のそれぞれについて、前記配置可能なスペースに前記商材を配置した３ＤのＣＡＤ画像を表示する第４の手段と、前記第４の手段で表示した前記ＣＡＤ画像上で、ユーザが商材を指定すると、表示している商材と同じ分類の他の商材を選択する選択画面を表示し、前記選択画面上で他の商材が選択された場合には、当該他の商材を配置した前記ＣＡＤデータを生成する第５の手段と、過去に商材を購入したユーザの室内の前記ＣＡＤデータと、当該ユーザが選択した前記配置候補と、前記ユーザが購入した商材とを関連付けて履歴データとしてメモリに記憶する第６の手段とを有し、前記第３の手段は、前記第６の手段でメモリに記憶された前記履歴データを基に、室内の前記ＣＡＤデータ、前記指定された分類とその予算の組み合わせと類似度が高い組み合わせを持つ他のユーザが選択した前記配置候補及び商材を優先度が高い前記配置候補及び商材として決定し、前記第３の手段は、過去に商材を購入したユーザの室内の前記ＣＡＤデータと、当該ユーザが選択した前記配置候補と、前記ユーザが購入した商材と、当該ユーザの属性との組み合わせを教師データとして機械学習された学習モデルを用いて、前記配置候補及び商材として決定する、室内レイアウト支援システムである。

本発明によれば、室内に商材を配置する際に、商材を配置する位置を検討したり、購入する商材を選択するのに便利な室内レイアウト支援方法、システム及びプログラムを提供することができる。

図１は、本発明の実施形態に係る室内レイアウト支援方法において、通信端末装置の画面に表示される室内の３Ｄ画像を説明するための図である。図２は、本発明の実施形態に係る室内レイアウト支援方法において、通信端末装置の画面に表示される室内の３Ｄ画像を説明するための図である。図３は、本発明の実施形態に係る室内レイアウト支援方法において、通信端末装置の画面に表示される室内の３Ｄ画像を説明するための図である。図４は、本発明の実施形態に係る通信端末装置の機能ブロック図である。図５は、本発明の実施形態に係るサーバ装置の機能ブロック図である。図６は、本発明の第１実施形態の室内レイアウト支援方法の全体の流れを説明するためのフローチャートである。図７は、本発明の第１実施形態の室内レイアウト支援方法におけるフローリング等の商材購入動作の流れを説明するためのフローチャートである。図８は、学習済モデルを用いて、配置候補と購入候補の商材とを決定する第２変形例を説明するための図である。図９は、図６に示す室内の３Ｄ画像の生成方法の詳細を説明するためのフローチャートである。図１０は、本発明の第２実施形態の室内レイアウト支援方法の全体の流れを説明するためのフローチャートである。図１１は、本発明の第３実施形態の室内レイアウト支援方法の全体の流れを説明するためのフローチャートである。

＜第１実施形態＞
本実施形態の室内レイアウト支援方法は、スマートフォン等の通信端末装置１１を用いて実施できる。既にライダーを用いた３Ｄモデル化アプリは存在するが、ミリ単位の計測ができる点で差別化できている。管理画面では撮影した部屋の寸法などが表示される。

部屋のリフォームなどを行う際、建設業界ではスタッフが図面の作製やメジャーを用いて人手で計測しており高コスト化している。本実施形態の室内レイアウト支援方法により、これらの業務を効率化できる。

本実施形態の室内レイアウト支援方法は、通信端末装置で、室内をレーザ照射及びカメラでスキャンして室内３ＤのＣＡＤデータを生成し、そのＣＡＤデータを基に室内のサイズを特定する。
例えば、本実施形態の室内レイアウト支援方法では、図１～図３に示すように、ＣＡＤデータを基に室内の３ＤのＣＡＤ画像を表示る。
当該３ＤのＣＡＤ画像には、特定した室内のサイズが表示される。例えば、図１～図３に示すように、室内の天井高さ、床の縦横サイズ等が３Ｄ画像内に表示される。

図４は、本発明の実施形態に係る通信端末装置１１の機能ブロック図である。
図４に示すように、通信端末装置１１は、例えば、レーザー５０，カメラ５１，ディスプレイ５２，操作部５３，通信部５５，ブルートゥース通信部５７，メモリ５９及び処理部６１を有する。

レーザー５０は、ユーザが室内を移動しないがら室内にレーザを照射し、その反射を受信する。
カメラ５１は、ユーザが室内を移動しないがら室内を撮像して撮像データを生成する。
レーザー５０が取得した計測結果と、カメラ５１の撮像結果とは同期できるように管理されている。

ディスプレイ５１は、処理部６１からの信号に基づいた画像を表示する。
操作部５３は、タッチパネル、キーボードやマウス等の操作手段である。
通信部５５は、動画配信サイトサーバ装置１１及び管理サーバ装置２１と通信を行う。
ブルートゥース通信部５７は、外部機器とブルートゥース通信を行う。
メモリ５９は、処理部６１が実行するプログラムＰＲＧ１を記憶する。
処理部６１は、メモリ５９に記憶されたプログラムＰＲＧ１を実行して、本実施形態で規定する通信端末装置１１の処理を行う。

図５は、本発明の実施形態に係るサーバ装置２１の機能ブロック図である。
図５に示すように、サーバ装置２１は、例えば、通信部７５，メモリ７９及び処理部８１を有する。
メモリ７９は、処理部８１が実行するプログラムＰＲＧ２を記憶する。
処理部８１は、メモリ７９に記憶されたプログラムＰＲＧ２を実行して、本実施形態で規定するサーバ装置２１の行う。

以下、本実施形態の室内レイアウト支援方法の流れについて説明する。
＜全体動作＞
図６は、本発明の第１実施形態の室内レイアウト支援方法の全体の流れを説明するためのフローチャートである。
各ステップについて説明する。
本明細書で記載する通信端末装置１１の処理部６１による処理の一部、又は全部をサーバ装置２１の処理部８１が実行してもよい。

ステップＳＴ１１：
通信端末装置１１は、処理部６１からの制御に応じて、レーザー５０からのレーザを室内に照射して、室内をスキャンし、そのスキャン結果とカメラ５１の撮像結果とを基に、室内の３Ｄ画像データを生成する。そして、処理部６１は、当該３Ｄ画像データを３ＤのＣＡＤデータに変換する。
処理部６１は、当該３ＤのＣＡＤデータに応じた室内の３ＤのＣＡＤ画像をディスプレイ５２に表示する。例えば、図３に示すＣＡＤ画像を表示する。
ここで、３Ｄ画像データはメッシュデータとカメラ撮像結果とを合成したデータだえる。ＣＡＤデータは、綺麗にコンピュータグラフィックに変換したＣＡＤフォーマットのデータだえり、メッシュ・写真データは含んでいない。
なお、通信端末装置１１は、ＣＡＤデータを生成するのではなく外部から取得してもよい。

このとき、処理部６１は、通信端末装置１１の室内位置とカメラ５１の撮像画像とを基に、室内のうち点群を既に取得した領域と取得していない領域とを判別する。そして、処理部６１は、点群を既に取得した領域と取得していない領域とを異なる色でディスプレイ５２に画面表示する。これにより、室内の必要な領域の点群を漏れなく取得できる。

ステップＳＴ１２：
ユーザが操作部５３を操作して、対象となる室内に配置する家具や家電等の商材の分類（種類）を指定・選択する操作を行う。
例えば、処理部６１は、商品分類選択欄をディスプレイ５２に表示し、そこからユーザが選択してもよいし、ユーザが商品分類を直接入力してもよい。当該商品分類は、冷蔵庫、棚、本箱、ソファー等の商品カテゴリー等である。

ステップＳＴ１３：
処理部６１は、ステップＳＴ１１で生成又は取得したＣＡＤデータと、ステップＳＴ１２で指定・選択操作された商材の種類と予算とを基に、室内における前記商材を配置可能なスペースと、当該スペースに配置する商材とを異なる組み合わせで示す複数の配置候補を決定する。それぞれの配置候補では、商材と、その商材を配置する位置が相互に異なるようになっている。このとき、商材の種類の配置が同じでも異なる商材を配置する候補は異なる配置候補としてもよい。

処理部６１は、ステップＳＴ１１のＣＡＤデータを基に、室内における商材の配置可能なスペースのサイズを特定する。具体的には、幅、奥行き、高さ等を特定する。
また、処理部６１は、外部のサーバから、予算等と、上記特定したサイズとを基に、室内のスペースに配置可能な商材の有無と、有りの場合にはその商材のデータを取得する。
例えば、処理部６１は、ステップＳＴ１２で指定された商品分類を基に、予算内の商品候補を外部サーバにアクセスして検索し、その商品候補のサイズを取得する。
次に、処理部６１はｍ、室内のスペースのなかで、上記取得したサイズの商品候補を配置可能なスペースを特定する。当該特定したスペースが複数ある場合には、それぞれについて配置候補を決定する。
複数の商材の分類が指定されている場合には、各商材毎に配置可能なスペースを特定する。このとき、一つの配置候補では、異なる分類の商材が同じスペースに配置されらいように配置候補を決定する。

ステップＳＴ１４：
処理部６１は、ステップＳＴ１３で決定した複数の配置候補のそれぞれについて、商材の配置可能なスペースに、商材を配置した３ＤのＣＡＤ画像を表示する処理を行う。
ユーザは、複数の配置候補のＣＡＤ画像を見ながら、どのパターン（商材とその配置の組み合わせ）がよいか検討し、決定する操作を行う。
また、ＣＡＤ画像上で、ユーザが操作部５３を操作して商材を指定すると、処理部６１は、表示している商材と同じ分類の他の商材を選択する選択画面をディスプレイ５２に表示する。
処理部６１は、選択画面上で他の商材が選択された場合には、当該他の商材を配置したＣＡＤデータを生成し、それを基にＣＡＤ画像を表示する。

ステップＳＴ１５：
処理部６１は、ユーザが操作部５３を操作して、ステップＳＴ１４で表示されたＣＡＤ画像上で選択された商品の購入要求をした場合にステップＳＴ１６に進む。

ステップＳＴ１６：
処理部６１は、ステップＳＴ１５で購入要求が入力されると、ユーザによって選択された商品の購入処理を行う。
通信端末装置１１は、通信部５５を介して、サーバ装置２１又はその他の商品販売サイトにアクセスして購入処理を行う。

＜フローリング等の商材購入動作＞
図７は、本発明の第１実施形態の室内レイアウト支援方法におけるフローリング等の商材購入動作の流れを説明するためのフローチャートである。
各ステップについて説明する。

ステップＳＴ２１：
図６に示すステップＳＴ１１で生成されたＣＡＤデータを基にディスプレイ５２に表示された室内のＣＡＤ画像上で、ユーザが操作部５３を操作して、室内の壁やフローリング等の商材を指定操作する。

ステップＳＴ２２：
処理部６１は、ステップＳＴ２１で指定操作された商材の分類（種別）を特定し、当該商材分類に予め対応付けられた当該商材を提供する業者を示す業者情報を取得する。
そして、処理部６１は、当該指定操作されたＣＡＤ画像に対応するＣＡＤデータを、当該取得した業者情報を基に当該業者の通信装置に提供する。
当該ＣＡＤデータの提供の方法は、当該業者のメールアドレスにＣＡＤデータを送信したり、当該業者がアクセス可能なシステムにアップロードしてもよい。

ステップＳＴ２３：
業者は、ステップＳＴ２２で取得したＣＡＤデータを基に、複数の候補となる商材の商材データ（候補商材データ）を通信端末装置１１に送信する。
処理部６１は、業者から受信した複数の候補商材データをメモリ５９に記憶する。
また、通信端末装置１１は、業者から商材データとともに、当該商材の価格、並びに施工費用の見積もり情報を取得し、ディスプレイ５２に表示してもよい。

ステップＳＴ２４：
処理部６１は、室内のＣＡＤデータと、ステップＳＴ２３でメモリ５９に記憶した候補商材データとを基に、当該候補商材データに応じた画像を商材の箇所に組み込んだ新たなＣＡＤデータを生成し、それに応じたＣＡＤ画像を生成する。
当該ＣＡＤ画像の生成は、複数の候補商材データの各々について行う。

ステップＳＴ２５：
処理部６１は、ユーザが操作部５３を操作して、ステップＳＴ２３で表示されたＣＡＤ画像上で選択された商材の購入要求をした場合にステップＳＴ２５に進む。

ステップＳＴ２６：
処理部６１は、ステップＳＴ２４で購入要求が入力されると、ユーザによって選択された商材の購入処理を行う。

＜第１実施形態の第１変形例＞
処理部６１は、上述した第１実施形態の処理を経て、過去に商材を購入したユーザの室内のＣＡＤデータと、当該ユーザが選択した前記配置候補と、前記ユーザが購入した商材とを関連付けて履歴データとしてメモリ５９に記憶する。

処理部６１は、図６に示すステップＳＴ１４において、複数の候補のＣＡＤ画像をディスプレイ５２に表示する際に、メモリ５９に記憶された履歴データを基に、ステップＳＴ１１で生成又は取得した室内のＣＡＤデータ、ステップＳＴ１２で指定された商品分類とその予算の組み合わせと類似度が高い組み合わせを持つ他のユーザが選択した配置候補及び商材を、優先度が高い配置候補及び商材として決定する。

類似度高いとは、例えば、ＣＡＤデータを基に室内の面積や形状の共通点の数が多い、指定した商品分類の共通点の数が多い、予算が近いほど高くする。
そして、ステップＳＴ１３において、類似度が高い配置候補及び商材を、より優先的にＣＡＤ画像としてディスプレイ５２に表示する。
優先的に高く表示するとは数字等により優先度を示してもよいし、優先度が高い順に画面上に表示する、表示順番を前にする等がある。
これにより、ユーザがより選択する可能性がある配置候補と商材を優先的に表示でき、ユーザが効率的に決定できる。

＜第１実施形態の第２変形例＞
処理部６１は、図６に示すステップＳＴ１３において、学習済モデルを用いて、配置候補と購入候補商材を決定してもよい。

図８は、学習済モデルを用いて、配置候補と購入候補の商材とを決定する第２変形例を説明するための図である。
すなわち、処理部６１は、図６に示すステップＳＴ１３との処理を学習済モデルを用いて行う。
当該学習済モデルは、過去に商材を購入したユーザの室内のＣＡＤデータと、当該ユーザが選択した配置候補と、前記ユーザが購入した商材と、当該ユーザの属性との組み合わせを教師データとして機械学習をして得たものである。
処理部６１が学習済モデルを作成してもよいし、新たに取得した情報を基に、再学習してもよい。また、別の組織で学習済モデルを生成してもよい。

処理部６１は、ＣＡＤデータと当該ユーザの属性と学習済モデルに入力し、配置候補と購入候補の商材の情報を出力する。当該出力は、最優先の情報のみでのよいし、優先順位を付けて複数出力してもよい、
ステップＳＴ１４では、処理部６１は、当該学習モデルの出力と、ＣＡＤデータとを基に、候補となるＣＡＤ画像を生成する。
このように、学習済モデルを用いることで、教師データを数が増えるに従って、ユーザの属性等に適した候補を決定できる。

以下、図６に示すステップＳＴ１１の通信端末装置１１を用いた室内の３ＤのＣＡＤデータの生成方法について説明する。
図９は、図６に示す室内の３Ｄ画像の生成方法の詳細を説明するためのフローチャートである。
以下、図７の各ステップを説明する。

ステップＳＴ４１：
通信端末装置１１の処理部６１は、通信端末装置１１の室内で位置を特定（推定）する。自己位置推定として、例えば、LiDARによる自己位置推定技術が用いられる。

ステップＳＴ４２：
通信端末装置１１をユーザが移動させて室内の全域又は一部の領域にレーザー５０からレーザーを照射し、その反射を検出する。そして、処理部６１は、当該検出結果を基に室内及び室内にあるオブジェクトの点群データを生成する。
それと同時に、レーザー５０によるレーザ照射位置を、カメラ５１で撮像する。

ステップＳＴ４３：
処理部６１は、ステップＳＴ４２で生成した点群データを、ステップＳＴ４１で特定した通信端末装置１１の位置の座標系から室内座標系に変換する。

ステップＳＴ４４：
処理部６１は、ステップＳＴ４３で変換した点群データから有効データ抽出する（不要データを削除する）。当該抽出処理は、予め不要であると特定した点群と同一又は類似の属性を持つ点群を削除等して行われる。

ステップＳＴ４５：
処理部６１は、ステップＳＴ４４の抽出処理を経た点群データをメッシュ（ポリゴン）データに変換する。

ステップＳＴ４６：
処理部６１は、ステップＳＴ４５で生成したメッシュをサーフェイス（面）データに変換する。当該変換には、所定の平面検出技術を用いる。

ステップＳＴ４７：
処理部６１は、ステップＳＴ４６で生成したサーフェイスデータを基に、メッシュにステップＳＴ４２で取得したカメラ５１の撮像画像を貼り付けて３Ｄ画像データ（３Ｄ画像）を生成する。

ステップＳＴ４８：
処理部６１は、ステップＳＴ４７で生成した３Ｄ画像データを３Ｄの前記ＣＡＤデータに変換して、ディスプレイ５２に表示する。
処理部６１は、３ＤのＣＡＤデータを基に、室内のサイズ（高さ、縦横幅、レイアウト）を特定（計測）し、その寸法を３ＤのＣＡＤ画像に表示する。
また、上述した処理により、壁を認識すればＣＡＤデータを生成できるので、室内の家具等がないレイアウトの３Ｄ画像を生成できる。

なお、上述した処理の一部のステップにおいて学習モデルを採用してもよい。

本実施形態の室内レイアウト支援方法によれば、スマートフォン等の通信端末装置１１を用いることで、どこでも即時に簡単にかつ高精度な３Ｄ化が可能になるので、３Ｄ技術をあらゆる分野での活用や一般普及に結び付けられる。
例えば、リフォーム業、工務店、引越業など不動産界隈の事業に使用できる。

また、本実施形態の室内レイアウト支援方法によれば、建設業界の人手不足や、リフォームの際の体験改善ができる。
すなわち、今まで人の手で行っていた測量や図面引きを３Ｄスキャナーで代替できるようになれば、その他のより高度な作業に人手を割り当てることができ、より高付加価値な製品を提供することができるようになりますし、コストカットにもつながる。

また、働く人自身にとっても、本来やるべき業務に集中できる環境が整い、今まで経験を積んで覚えるしかなかった職人仕事をある程度単純明快にすることができるようになる。これからを担う若い人材の入職と育成にも寄与できるる。

３Ｄスキャン技術を用いることによって、測量がとても簡単に時間をかけずに行えるようなる。
さらに、立体映像に色を付けたり写真をはめ込んだり、前後左右３６０度から見ることが出来ることで、各人の頭の中だけのイメージから解放され、関わる人全員が同じ出来上がりイメージをもって作業に当たることができるようになる。
デバイス上で管理できるのでムダな紙の排出も抑えられる。こうした効率化は、結果、最終的に消費者へも還元され、従来よりも賢い費用で建物周りを整えることがでる。

また、本実施形態によれば、LiDAR搭載されたスマートフォン（通信端末装置１１）のみで高精度・高品質の計測が可能な３Ｄモデルを作成できるアプリを開発し、誰でも簡単に安価で３Ｄスキャンができる。

本実施形態によれば、通信端末装置１１を用いて室内ビデオを撮影するだけで計測可能な３Ｄモデルと写真データを取得・保存できる。
また、本実施形態によれば、点群やメッシュなど様々なフォーマットでパーソナルコンピュータに出力や共有できる。
また、通信端末装置１１によれば、図７の処理により、メジャーと比べ、高精度な計測が可能になる。

また、本実施形態によれば、ユーザが購入を希望する商材の種類と予算に応じて、異なる複数のパターンの配置候補をユーザに提供でき、ユーザ自身が思いつかない配置候補を検討対象に入れることができる
複数の配置候補と共に候補となる商材を決定し、各配置候補に商材の画像を配置したＣＡＤ画像をユーザに提供できるので、ユーザはＣＡＤ画像を基に各配置候補に商材を配置したイメージをより具体的に持つことができ、イメージと実際とのギャップが生じることを回避できる。

また、本実施形態によれば、ＣＡＤ画像上でフローリング等の商材をユーザが指定操作するだけ、商材の提供業者からの商材データを基に、その商材を用いた場合の室内のイメージをＣＡＤ画像から容易に把握できる。

＜第２実施形態＞
図１０は、本発明の第２実施形態の室内レイアウト支援方法の全体の流れを説明するためのフローチャートである。
各ステップについて説明する。
本明細書で記載する通信端末装置１１の処理部６１による処理の一部、又は全部をサーバ装置２１の処理部８１が実行してもよい。

ステップＳＴ５１：
通信端末装置１１は、処理部６１からの制御に応じて、レーザー５０からのレーザを室内に照射して、室内をスキャンし、そのスキャン結果とカメラ５１の撮像結果とを基に、室内の３Ｄ画像データを生成する。そして、処理部６１は、当該３Ｄ画像データを３ＤのＣＡＤデータに変換する。
処理部６１は、当該３ＤのＣＡＤデータに応じた室内の３ＤのＣＡＤ画像をディスプレイ５２に表示する。例えば、図３に示すＣＡＤ画像を表示する。
ここで、３Ｄ画像データはメッシュデータとカメラ撮像結果とを合成したデータだえる。ＣＡＤデータは、綺麗にコンピュータグラフィックに変換したＣＡＤフォーマットのデータだえり、メッシュ・写真データは含んでいない。
なお、通信端末装置１１は、ＣＡＤデータを生成するのではなく外部から取得してもよい。

ステップＳＴ５２：
ステップＳＴ５１で表示したＣＡＤ画像上でユーザが、操作部５３を操作して室内に商品を配置するスペースを指定する。当該スペースの指定は、カーソル等を領域を囲むように動かす等で行われる。

ステップＳＴ５３：
ユーザが、操作部５３を操作して、ステップＳＴ５２で指定したスペースに配置する商品の商品分類を入力する。当該入力は、商品分類選択欄をディスプレイ５２に表示し、そこからユーザが選択してもよいし、ユーザが商品分類を直接入力してもよい。当該商品分類は、冷蔵庫、棚、本箱、ソファー等の商品カテゴリー等である。

ステップＳＴ５４：
通信端末装置１１の処理部６１は、ステップＳＴ５１のＣＡＤデータを基に、ステップＳＴ５２で指定されたスペースのサイズを特定する。具体的には、幅、奥行き、高さ等を特定する。

ステップＳＴ５５：
処理部６１は、ステップＳＴ５３で入力された商品分類に属する商品のうち、ステップＳＴ５４で特定されたサイズのスペースに配置可能な商品を検索する。当該検索に当たり、ユーザから予算、商品のブランド及び機能の少なくとも一つの指定を受け、当該指定の内容に適合した商品を検索するようにしてもよい。
処理部６１は、検索結果を示す商品選択画面をディスプレイ５２に表示する。
ユーザは、当該商品選択画面を用いて商品を選択する。
通信端末装置１１は、サーバ装置２１又はその他の商品販売サイトにアクセスして検索結果を表示する。

ステップＳＴ５６：
処理部６１は、ステップＳＴ５２で指定したスペースに、ステップＳＴ５５で選択した商品を配置した３ＤのＣＡＤ画像をディスプレイ５２に表示する。

ステップＳＴ５７：
処理部６１は、ユーザが操作部５３を操作して、ステップＳＴ５５で選択した商品の購入要求をした場合にステップＳＴ５８に進む。

処理部６１は、ステップＳＴ５７で購入要求が入力されると、ユーザによって選択された商品の購入処理を行う。
通信端末装置１１は、通信部５５を介して、サーバ装置２１又はその他の商品販売サイトにアクセスして購入処理を行う。

＜第３実施形態＞
上述した実施形態では、スキャンした室内に配置する商品を購入する場合を例示したが、本実施形態では、室内の壁やフローリング等の商材（資材）のリニューアルを検討する場合について説明する。

以下、本実施形態の室内レイアウト支援方法の流れについて説明する。
図１１は、本発明の第３実施形態の室内レイアウト支援方法の全体の流れを説明するためのフローチャートである。
各ステップについて説明する。

ステップＳＴ６１：
通信端末装置１１は、処理部６１からの制御に応じて、レーザー５０からのレーザを室内に照射して、室内をスキャンし、そのスキャン結果とカメラ５１の撮像結果とを基に、室内の３Ｄ画像データを生成する。そして、処理部６１は、当該３Ｄ画像データを３ＤのＣＡＤデータに変換する。
当該ステップＳＴ６１は、第１実施形態で説明したステップＳＴ１１の処理と同じである。

ステップＳＴ６２：
ステップＳＴ６１で表示したＣＡＤ画像上でユーザが、操作部５３を操作して室内のフローリングや壁等の商材（建材）を指定する。当該指定は、カーソル等を用いて、商材の画像をポイントで指定したり、その領域を囲むように動かす等して行われる。

ステップＳＴ６３：
ユーザが、操作部５３を操作して、ステップＳＴ６２で指定した商材の商材分類を入力する。当該入力は、商材分類選択欄をディスプレイ５２に表示し、そこからユーザが選択してもよいし、ユーザが商材分類を直接入力してもよい。当該商材分類は、例えば、壁、フローリング等の商材のカテゴリー等である。

ステップＳＴ６４：
通信端末装置１１の処理部６１は、ステップＳＴ６３でユーザが指定した商材分類に予め関連付けられた業者（設計、デザイン、施工等の業者）に、ステップＳＴ６１でユーザが指定した商材を３Ｄ画像と共に送信（共有）する。このとき、通信端末装置１１は、商材のサイズ（壁のサイズ、フローリングのサイズ等）の情報を業者端末装置に送信する。また、通信端末装置１１から業者の端末装置に、当該商材に関するユーザの要望等の情報を送信してもよい。

ステップＳＴ６５：
業者は、ステップＳＴ６４で共有した商材、ユーザの要望及びＣＡＤ画像を基に、ユーザの室内に適した商材を提案すると共に、商材価格や施工費用等の見積もり情報を通信端末装置１１に送信する。このとき、業者は、商材の画像を採用したＣＡＤ画像を通信端末装置１１に提供してもよい。また、業者の端末装置から通信端末装置１１に、当該商材に関する提案情報を送信してもよい。

以上説明したように、第２実施形態の室内レイアウト支援方法によれば、室内の建材等の商材についても、ユーザが通信端末装置１１を用いて室内のＣＡＤ画像から商材を指定するだけで、業者に対して提案依頼や見積依頼をすることができる。
また、業者は、ユーザの室内の３Ｄ画像を取得できるので、リフォーム等を含め、より適格な提案や見積が可能になる。
また、通信端末装置１１の機能を設計事務所等の業者が使えるようにすることで、より適格な提案が可能になる。

本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。

本発明は、室内に配置する商品を選択するシステムに適用可能である。

１１…通信端末装置
２１…サーバ装置
５０…レーザー
５１…カメラ
５２…ディスプレイ
５３…操作部
５５…通信部
５７…ブルートゥース通信部
６１…処理部
７５…通信部
７９…メモリ

Claims

室内の３ＤのＣＡＤデータを取得又は生成する第１の工程と、
前記室内に配置する家具及び家電の少なくとも一方の商材の分類とその予算との指定をユーザから受ける第２の工程と、
前記第１の工程で取得または生成した前記ＣＡＤデータと、前記第２の工程で指定した商材の分類及び予算とを基に、前記室内における前記商材を配置可能なスペースと当該スペースに配置する商材とを異なる組み合わせで示す複数の配置候補を決定する第３の工程と、
前記第３の工程で決定した複数の配置候補のそれぞれについて、前記配置可能なスペースに前記商材を配置した３ＤのＣＡＤ画像を表示する第４の工程と、
前記第４の工程で表示した前記ＣＡＤ画像上で、ユーザが商材を指定すると、表示している商材と同じ分類の他の商材を選択する選択画面を表示し、前記選択画面上で他の商材が選択された場合には、当該他の商材を配置した前記ＣＡＤデータを生成する第５の工程と、
過去に商材を購入したユーザの室内の前記ＣＡＤデータと、当該ユーザが選択した前記配置候補と、前記ユーザが購入した商材とを関連付けて履歴データとしてメモリに記憶する第６の工程と
をコンピュータが実行し、
前記第３の工程は、前記第６の工程でメモリに記憶された前記履歴データを基に、室内の前記ＣＡＤデータ、前記指定された分類とその予算の組み合わせと類似度が高い組み合わせを持つ他のユーザが選択した前記配置候補及び商材を優先度が高い前記配置候補及び商材として決定し、
前記第３の工程は、
過去に商材を購入したユーザの室内の前記ＣＡＤデータと、当該ユーザが選択した前記配置候補と、前記ユーザが購入した商材と、当該ユーザの属性との組み合わせを教師データとして機械学習された学習モデルを用いて、前記配置候補及び商材として決定する
室内レイアウト支援方法。
前記ＣＡＤデータを基に、前記室内のフローリング及び壁の少なくとも一つの商材の指定をユーザから受ける第７の工程と、
前記第７の工程で指定された商材に予め関連付けられた業者に前記ＣＡＤデータを送信する第８の工程と、
前記第７の工程で前記指定された商材の候補に関する商材データを前記業者から受信する第９の工程と、
をさらに前記コンピュータが実行し、
前記第４の工程で、前記第９の工程で受信した商材データを基に、前記ＣＡＤ画像を表示する
請求項１に記載の室内レイアウト支援方法。
前記第２の工程は、前記ユーザの家族構成の指定を当該ユーザから受け、
前記第３の工程は、前記第２の工程で指定された前記家族構成を基に、前記複数の配置候補を決定する
請求項１に記載の室内レイアウト支援方法。
前記第４の工程の後に、前記ユーザからの指示に応じて購入候補をユーザが購入する処理を行う工程をさらに有する
請求項１に記載の室内レイアウト支援方法。
前記第１の工程は、
レーザ照射を行う本体機器の室内の位置を特定する第１１の工程と、
前記レーザ照射により、前記室内及び室内のオブジェクトの点群を生成する第１２の工程と、
前記生成した点群を、前記特定した本体機器の座標系から室内座標系に変換する第１３の工程と、
前記点群から有効データ抽出する第１４の工程と、
点群をメッシュ（ポリゴン）データに変換する第１５の工程と、
メッシュをサーフェイスデータに変換する第１６の工程と、
前記サーフェイスデータを基に前記メッシュに撮像画像を貼り付けて３Ｄ画像データを生成する第１７の工程と、
前記第１７の工程で生成した前記３Ｄ画像データを３Ｄの前記ＣＡＤデータに変換する第１８の工程と
を前記コンピュータが実行する請求項１に記載の室内レイアウト支援方法。
前記サーフェイスデータを基に、室内の形状及びサイズを特定し、前記表示画像内にサイズを表示する
請求項５に記載の室内レイアウト支援方法。
前記本体機器の位置と前記撮像画像とを基に、前記室内のうち前記点群を既に取得した領域と取得していない領域とを判別し、前記点群を既に取得した領域と取得していない領域とを異なる色で画面表示する
請求項５に記載の室内レイアウト支援方法。
室内の３ＤのＣＡＤデータを取得又は生成する第１の工程と、
前記室内に配置する家具及び家電の少なくとも一方の商材の分類とその予算との指定をユーザから受ける第２の工程と、
前記第１の工程で取得または生成した前記ＣＡＤデータと、前記第２の工程で指定した商材の分類及び予算とを基に、前記室内における前記商材を配置可能なスペースと当該スペースに配置する商材とを異なる組み合わせで示す複数の配置候補を決定する第３の工程と、
前記第３の工程で決定した複数の配置候補のそれぞれについて、前記配置可能なスペースに前記商材を配置した３ＤのＣＡＤ画像を表示する第４の工程と、
前記第４の工程で表示した前記ＣＡＤ画像上で、ユーザが商材を指定すると、表示している商材と同じ分類の他の商材を選択する選択画面を表示し、前記選択画面上で他の商材が選択された場合には、当該他の商材を配置した前記ＣＡＤデータを生成する第５の工程と、
過去に商材を購入したユーザの室内の前記ＣＡＤデータと、当該ユーザが選択した前記配置候補と、前記ユーザが購入した商材とを関連付けて履歴データとしてメモリに記憶する第６の工程と
をコンピュータに実行させるプログラムであって、
前記第３の工程は、前記第６の工程でメモリに記憶された前記履歴データを基に、室内の前記ＣＡＤデータ、前記指定された分類とその予算の組み合わせと類似度が高い組み合わせを持つ他のユーザが選択した前記配置候補及び商材を優先度が高い前記配置候補及び商材として決定し、
前記第３の工程は、
過去に商材を購入したユーザの室内の前記ＣＡＤデータと、当該ユーザが選択した前記配置候補と、前記ユーザが購入した商材と、当該ユーザの属性との組み合わせを教師データとして機械学習された学習モデルを用いて、前記配置候補及び商材として決定する
プログラム。
室内の３ＤのＣＡＤデータを取得又は生成する第１の手段と、
前記室内に配置する家具及び家電の少なくとも一方の商材の分類とその予算との指定をユーザから受ける第２の手段と、
前記第１の手段で取得または生成した前記ＣＡＤデータと、前記第２の手段で指定した商材の分類及び予算とを基に、前記室内における前記商材を配置可能なスペースと当該スペースに配置する商材とを異なる組み合わせで示す複数の配置候補を決定する第３の手段と、
前記第３の手段で決定した複数の配置候補のそれぞれについて、前記配置可能なスペースに前記商材を配置した３ＤのＣＡＤ画像を表示する第４の手段と、
前記第４の手段で表示した前記ＣＡＤ画像上で、ユーザが商材を指定すると、表示している商材と同じ分類の他の商材を選択する選択画面を表示し、前記選択画面上で他の商材が選択された場合には、当該他の商材を配置した前記ＣＡＤデータを生成する第５の手段と、
過去に商材を購入したユーザの室内の前記ＣＡＤデータと、当該ユーザが選択した前記配置候補と、前記ユーザが購入した商材とを関連付けて履歴データとしてメモリに記憶する第６の手段と
を有し、
前記第３の手段は、前記第６の手段でメモリに記憶された前記履歴データを基に、室内の前記ＣＡＤデータ、前記指定された分類とその予算の組み合わせと類似度が高い組み合わせを持つ他のユーザが選択した前記配置候補及び商材を優先度が高い前記配置候補及び商材として決定し、
前記第３の手段は、
過去に商材を購入したユーザの室内の前記ＣＡＤデータと、当該ユーザが選択した前記配置候補と、前記ユーザが購入した商材と、当該ユーザの属性との組み合わせを教師データとして機械学習された学習モデルを用いて、前記配置候補及び商材として決定する
室内レイアウト支援システム。
前記ＣＡＤデータを基に、前記室内のフローリング及び壁の少なくとも一つの商材の指定をユーザから受け付ける第７の手段と、
前記第７の手段で指定された商材に予め関連付けられた業者に前記ＣＡＤデータを送信する第８の手段と、
前記第７の手段で前記指定された商材の候補に関する商材データを前記業者から受信する第９の手段と、
をさらに有し、
前記第４の手段は、前記第９の手段で受信した商材データを基に、前記ＣＡＤ画像を表示する
請求項９に記載の室内レイアウト支援システム。
前記第２の手段は、前記ユーザの家族構成の指定を当該ユーザから受け付け、
前記第３の手段は、前記第２の手段で指定された前記家族構成を基に、前記複数の配置候補を決定する
請求項９に記載の室内レイアウト支援システム。