Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7683482B2 - データ処理装置、データ処理方法、移動体 - Google Patents
[go: Go Back, main page]

JP7683482B2 - データ処理装置、データ処理方法、移動体 - Google Patents

データ処理装置、データ処理方法、移動体 Download PDF

Info

Publication number
JP7683482B2
JP7683482B2 JP2021550649A JP2021550649A JP7683482B2 JP 7683482 B2 JP7683482 B2 JP 7683482B2 JP 2021550649 A JP2021550649 A JP 2021550649A JP 2021550649 A JP2021550649 A JP 2021550649A JP 7683482 B2 JP7683482 B2 JP 7683482B2
Authority
JP
Japan
Prior art keywords
sensing
human sensing
human
program
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021550649A
Other languages
English (en)
Other versions
JPWO2021065610A1 (ja
Inventor
健一 瀬田
礼史 後藤
雅弘 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2021065610A1 publication Critical patent/JPWO2021065610A1/ja
Application granted granted Critical
Publication of JP7683482B2 publication Critical patent/JP7683482B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1694—Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/65—Updates
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Description

本技術は、特に、適切なアルゴリズムを用いて、人のセンシングを行うことができるようにしたデータ処理装置、データ処理方法、移動体に関する。
従来、機能の追加や他のデバイスとの互換性の確保といった観点から、デバイスのソフトウェアを更新する技術が各種提案されている。
例えば、特許文献１には、カメラと通信装置の組み合わせによって実現可能なサービスを判定し、そのサービスを提供するソフトウェアをインストールする技術が開示されている。
また、特許文献２には、撮像デバイス上のファームウェアがホスト・システムと互換性がないことを検出した場合に、撮像デバイスとホスト・システムとの間でファームウェアを更新する技術が開示されている。
特開２００７－２８６８５０号公報 特表２００２－５０４７２４号公報
カメラなどの撮像デバイスのソフトウェアを変更する技術については各種開示されているものの、センシングを行うデバイスのソフトウェアを、センシング対象の状況などに応じて適応的に変更することについては開示されていない。
本技術はこのような状況に鑑みてなされたものであり、適切なアルゴリズムを用いて、人のセンシングを行うことができるようにするものである。
本技術の第１の側面のデータ処理装置は、移動体本体に対して可動な動作部を有する移動体に実装されるセンサから出力されたセンサデータに基づいて人をセンシングする人センシングアルゴリズムを、人センシング条件に応じて決定し、決定した前記人センシングアルゴリズムが規定された人センシングプログラムを、複数の前記人センシングプログラムの組み合わせであり、前記人センシングアルゴリズムの種類を表す情報と、前記人センシングプログラムの実行順を表す情報との組み合わせを含む人センシングプログラムセットから選択して実行し、前記移動体の移動および前記動作部の動作を制御する。
本技術の第２の側面のデータ処理装置は、移動体本体に対して可動な動作部を有する移動体に実装されるセンサから出力されたセンサデータに基づいて人をセンシングする人センシングアルゴリズムを、人センシング条件に応じて決定し、決定した前記人センシングアルゴリズムが規定された人センシングプログラムを、複数の前記人センシングプログラムの組み合わせであり、前記人センシングアルゴリズムの種類を表す情報と、前記人センシングプログラムの実行順を表す情報との組み合わせを含む人センシングプログラムセットから選択して、前記移動体に対して送信する。
本技術の第３の側面の移動体は、センシング結果を表すセンサデータを出力するセンサと、前記センサから出力された前記センサデータに基づいて人をセンシングする人センシングアルゴリズムが規定された人センシングプログラムを、人センシング条件に応じて適応的に選択して実行するセンシング制御部と、前記センシング制御部による前記人センシングプログラムの実行結果に基づいて、動作計画を設定する動作計画設定部と、前記動作計画設定部により設定された前記動作計画に従って動作を行う動作部とを備え、前記動作部は、移動体本体に対して可動である。
本技術の第１の側面においては、移動体本体に対して可動な動作部を有する移動体に実装されるセンサから出力されたセンサデータに基づいて人をセンシングする人センシングアルゴリズムが、人センシング条件に応じて決定され、決定された前記人センシングアルゴリズムが規定された人センシングプログラムが、複数の前記人センシングプログラムの組み合わせであり、前記人センシングアルゴリズムの種類を表す情報と、前記人センシングプログラムの実行順を表す情報との組み合わせを含む人センシングプログラムセットから選択されて実行され、前記移動体の移動および前記動作部の動作が制御される。
本技術の第２の側面においては、移動体本体に対して可動な動作部を有する移動体に実装されるセンサから出力されたセンサデータに基づいて人をセンシングする人センシングアルゴリズムが、人センシング条件に応じて決定され、決定された前記人センシングアルゴリズムが規定された人センシングプログラムが、複数の前記人センシングプログラムの組み合わせであり、前記人センシングアルゴリズムの種類を表す情報と、前記人センシングプログラムの実行順を表す情報との組み合わせを含む人センシングプログラムセットから選択されて、前記移動体に対して送信される。
本技術の第３の側面においては、センシング結果を表すセンサデータを出力するセンサから出力されたセンサデータに基づいて人をセンシングする人センシングアルゴリズムが規定された人センシングプログラムが、人センシング条件に応じて適応的に選択して実行され、人センシングプログラムの実行結果に基づいて、動作計画が設定され、設定された動作計画に従って、移動体本体に対して可動である動作部の動作が行われる。
本技術の一実施形態に係るプログラム提供システムの構成例を示す図である。 センサデバイスの構成例を示す図である。 センサデバイスの外観の例を示す図である。 センシングプログラムの例を示す図である。 センシングプログラムの他の例を示す図である。 センシングプログラムのさらに他の例を示す図である。 センシングプログラムの更新の例を示す図である。 センシングプログラムの更新の例を示す図である。 センシングプログラムの更新の他の例を示す図である。 センシングプログラムセットの例を示す図である。 センシングプログラムセットの例を示す図である。 センシングプログラムセットの例を示す図である。 センシングプログラムの更新の例を示す図である。 センシングプログラムの提供元の例を示す図である。 センシングプログラムセットの生成の例を示す図である。 運搬ロボットによる運搬の様子を示す図である。 運搬ロボットの外観を拡大して示す図である。 料理を載せるときの運搬ロボットの姿勢の例を示す図である。 運搬ロボットが移動する空間のレイアウトを示す平面図である。 センシングアルゴリズムの例を示す図である。 運搬ロボットのハードウェアの構成例を示すブロック図である。 運搬ロボットの機能構成例を示すブロック図である。 運搬ロボットの処理について説明するフローチャートである。 図２３のステップＳ１において行われる精度選択処理について説明するフローチャートである。 図２４のステップＳ１４において行われる屋内処理について説明するフローチャートである。 図２４のステップＳ１６において行われる屋外処理について説明するフローチャートである。 図２３のステップＳ２において行われる人センシング処理について説明するフローチャートである。 図２３のステップＳ２において行われる人センシング処理について説明するフローチャートである。 人センシングの適用例を示す図である。 センシングアルゴリズムの制御の例を示す図である。 プログラム管理サーバを実現するコンピュータのハードウェアの構成例を示すブロック図である。
＜本技術の概要＞
本技術は、ロボット、移動体、スマートフォンなどの各種の装置に搭載されるセンサデバイスにおいて、最適なアルゴリズムを用いてセンシングを行うことが以下のような要因によって困難である点に着目し、その解決方法を実現するものである。
要因
・要素技術の種類が多い
・要素技術の成熟度が様々
・コストのバリエーションが多い
・用途のバリエーションが多い
・システムの設計と実装の難易度が高い
・ユーザの要求の種類が多い
・プロセッサのパワー、消費電力、回路規模等の、実装上の制約が多い
・センシング対象の種類が多い
本技術は、特に、人のセンシングを行うセンサデバイスにおいて、センシングに関するアルゴリズムであるセンシングアルゴリズムとして、最適なアルゴリズムを用いてセンシングを行うことができるようにするものである。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．プログラム提供システム
２．センシングプログラムのユースケース
３．運搬ロボットの構成と動作
４．他のユースケース
５．変形例
＜プログラム提供システム＞
図１は、本技術の一実施形態に係るプログラム提供システムの構成例を示す図である。
図１のプログラム提供システムは、プログラム管理サーバ１に対して、携帯端末２－１、アームロボット２－２、移動体２－３、調理ロボット２－４、運搬ロボット２－５などの各種の装置が、インターネットなどよりなるネットワーク１１を介して接続されることによって構成される。
携帯端末２－１はスマートフォンである。
アームロボット２－２は、双腕型のロボットである。アームロボット２－２の筐体には台車が設けられている。アームロボット２－２は移動可能なロボットである。
移動体２－３は自動車である。移動体２－３には、自動運転の機能などが搭載される。
調理ロボット２－４は、キッチン型のロボットである。調理ロボット２－４は、複数の調理アームを駆動させることによって調理を行う機能を有する。調理アームにより、人が行う調理動作と同様の動作が再現される。
運搬ロボット２－５は、載置台として用意された天板の上に運搬対象物を載せ、その状態のまま、目的とする位置まで移動可能なロボットである。運搬ロボット２－５のベース部には車輪が設けられる。
図１に示す各装置には、環境のセンシング、物体のセンシング、人のセンシングなどに用いられるセンサデバイスが搭載される。
図２は、センサデバイスの構成例を示す図である。
図２に示すように、センサデバイス２１には、コントローラ３１とセンサ群３２が設けられる。
コントローラ３１は、センサ群３２を構成する各センサを制御して、環境のセンシング、物体のセンシング、人のセンシングなどの、各種の対象のセンシングを行う。コントローラ３１によるセンシングは、センサ群３２を構成する各センサが出力するセンサデータに基づいて行われる。
コントローラ３１は、センシング結果をホスト側のデバイスに出力する。コントローラ３１によるセンシング結果に基づいて、ホスト側のデバイスにおいて各種の処理が行われる。センサデバイス２１が携帯端末２－１に搭載される場合、携帯端末２－１のCPU(Central Processing Unit)がホスト側のデバイスとなる。コントローラ３１には、ホスト側のデバイスとの間で通信を行う機能も設けられる。
センサ群３２は、各種の対象のセンシングを行う複数のセンサにより構成される。図２の例においては、センサ群３２は、RGBカメラ３２Ａ、ステレオカメラ３２Ｂ、ToFセンサ３２Ｃ、structured-lightセンサ３２Ｄ、および、LiDAR３２Ｅにより構成される。
RGBカメラ３２Ａは、RGB画像用のイメージセンサを有する。RGBカメラ３２Ａは、イメージセンサを駆動させることによって周囲の様子を撮影し、撮影によって得られたRGB画像をセンサデータとして出力する。
ステレオカメラ３２Ｂは、ステレオカメラ方式の距離センサであり、距離画像用の２つのイメージセンサを有する。ステレオカメラ３２Ｂは、対象物までの距離を表す距離画像をセンサデータとして出力する。
ToFセンサ３２Ｃは、ToF(Time Of Flight)方式の距離センサである。ToFセンサ３２Ｃは、対象物までの距離をToF方式で計測し、距離情報をセンサデータとして出力する。
structured-lightセンサ３２Ｄは、structured-light方式の距離センサである。structured-lightセンサ３２Ｄは、対象物までの距離をstructured-light方式で計測し、距離情報をセンサデータとして出力する。
LiDAR(Light Detection and Ranging)３２Ｅは、対象物の各点の３次元位置を計測し、計測結果を表す情報をセンサデータとして出力する。
測位センサ、ジャイロセンサ、加速度センサ、温度センサ、照度センサなどの、図２に示すセンサとは異なるセンサがセンサ群３２に含まれるようにしてもよい。
センサデバイス２１が搭載される装置によって、センサ群３２を構成するセンサの種類は適宜変更される。１つのセンサによってセンサ群３２が構成されるようにしてもよい。
センサデバイス２１は、コントローラ３１とセンサ群３２を配置した基板によって構成されるようにしてもよいし、図３に示すような、各センサを配置した基板を筐体２１Ａ内に収納した装置として構成されるようにしてもよい。
このような構成を有するセンサデバイス２１において、コントローラ３１は、センシング用のプログラムであるセンシングプログラムを実行し、環境、物体、人などの各種の対象のセンシング機能を実現する。コントローラ３１のセンシング機能は、センサ群３２を構成する１つのセンサの出力に基づいて、または、複数のセンサの出力の組み合わせに基づいて実現される。
環境センシング（環境のセンシング）には、例えば以下のものが含まれる。
・RGBカメラ３２Ａを利用したRGB画像の撮影
・ステレオカメラ３２Ｂ、ToFセンサ３２Ｃ、structured-lightセンサ３２Ｄの出力を利用した、対象物までの距離の計測
・LiDAR３２Ｅの出力を利用した３次元マップの生成
・３次元マップを用いた自己位置の推定
センサデバイス２１がセンシングの対象とする環境には、センサデバイス２１の外部またはセンサデバイス２１が搭載された装置の外部の状態であって、センシングを行うことによって定量的なデータとして表現可能な様々な物理状態が含まれる。
物体センシング（物体のセンシング）には、例えば以下のものが含まれる。
・RGBカメラ３２Ａにより撮影されたRGB画像を用いた対象物の認識、識別
・形状、大きさ、色、温度などの、対象物の特性の計測
センサデバイス２１がセンシングの対象とする物体には、センサデバイス２１の周囲またはセンサデバイス２１が搭載された装置の周囲にある各種の静止物体と動作物体が含まれる。
人センシング（人のセンシング）には、例えば以下のものが含まれる。
・RGBカメラ３２Ａにより撮影されたRGB画像を用いた人の認識、人の顔の認識、人の識別
・頭部、腕、手、目、鼻などの、人物の特定の部位の認識
・ボーン推定を含む、特定の部位の位置の推定
・身長、体重などの人の身体的な特徴の推定
・年齢、性別などの人の属性の推定
センサデバイス２１がセンシングの対象とする人には、センサデバイス２１の周囲またはセンサデバイス２１が搭載された装置の周囲にいる人が含まれる。
コントローラ３１は、それぞれのセンシング機能を実現するためのセンシングプログラムとして、アルゴリズムが異なる複数のプログラムを有している。
図４は、センサデバイス２１に用意されるセンシングプログラムの例を示す図である。
図４の例においては、測距プログラムＡ、測距プログラムＢ、測距プログラムＣがOS(Operating System)上で動作するファームウェアとして用意されている。測距プログラムＡ、測距プログラムＢ、測距プログラムＣは、人センシング機能としての測距機能を実現するセンシングプログラムである。
測距プログラムＡ、測距プログラムＢ、測距プログラムＣは、同じ測距機能を、それぞれ異なるセンシングアルゴリズムによって実現するセンシングプログラムである。測距プログラムＡ、測距プログラムＢ、測距プログラムＣは、それぞれ異なるセンシングアルゴリズムを規定する。
測距プログラムＡは、測距アルゴリズムＡによって測距を行うセンシングプログラムである。測距プログラムＢは、測距アルゴリズムＢによって測距を行うセンシングプログラムである。測距プログラムＣは、測距アルゴリズムＣによって測距を行うセンシングプログラムである。
例えば、測距アルゴリズムＡ乃至Ｃは、同じセンサに異なるパラメータを設定し、センサの出力に基づいて同じ計算を行うことによって距離を算出するといったように、それぞれ異なるパラメータを用いて測距を行うセンシングアルゴリズムである。
また、測距アルゴリズムＡ乃至Ｃは、同じセンサに対して同じパラメータを設定し、センサの出力に基づいて異なる計算を行うことによって距離を算出するといったように、異なる計算方法を用いて測距を行うセンシングアルゴリズムである。
ステレオカメラ３２Ｂ、ToFセンサ３２Ｃ、structured-lightセンサ３２Ｄなどの複数の距離センサが用意されている場合、測距アルゴリズムＡ乃至Ｃが、それぞれ異なる距離センサを用いて測距を行うセンシングアルゴリズムであってもよい。
この場合、例えば、測距アルゴリズムＡはステレオカメラ３２Ｂの出力に基づいて測距を行い、測距アルゴリズムＢはToFセンサ３２Ｃの出力に基づいて測距を行う。また、測距アルゴリズムＣは、structured-lightセンサ３２Ｄの出力に基づいて測距を行う。
このように、センサデバイス２１には、同じ測距機能を実現するためのセンシングプログラムとして、センシングアルゴリズムが異なる複数のプログラムが用意される。それぞれのセンシングアルゴリズムと、それぞれのセンシングアルゴリズムを規定するセンシングプログラムとのうちの少なくともいずれかに対しては、測距に用いるセンサが紐付けられている。センシングプログラムが実行された場合、そのことに連動して、紐付けられているセンサの動作が制御される。
例えば運搬ロボット２－５に搭載されたセンサデバイス２１においては、センシング条件に応じたセンシングアルゴリズムを選択して測距が行われる。センシング条件は、運搬ロボット２－５の状況に応じて決定される、センシングアルゴリズムの選択の条件である。
例えば、測距アルゴリズムＡに適した状況になった場合、測距プログラムＡが実行され、測距アルゴリズムＡを用いて測距が行われる。また、測距アルゴリズムＢに適した状況になった場合、測距プログラムＢが実行され、測距アルゴリズムＢを用いて測距が行われる。測距アルゴリズムＣに適した状況になった場合、測距プログラムＣが実行され、測距アルゴリズムＣを用いて測距が行われる。
センシング条件に応じたセンシングアルゴリズム（センシングプログラム）を適応的に選択して測距が行われるため、最適なセンシングアルゴリズムでの測距が可能となる。センシング対象が距離以外の場合も同様である。
１つのセンシングプログラムは、１つのセンシングアルゴリズムを規定する。センシングプログラムを選択することは、センシングアルゴリズムを選択することに相当する。
なお、センシングアルゴリズムを適応的に選択することは、センシング条件に対して紐付けられているセンシングアルゴリズムを、その条件になったことが検出されたときに選択することを意味する。想定されるそれぞれの状況に応じたセンシング条件に対しては、適していると考えられるセンシングアルゴリズムが紐付けられている。センシング条件とセンシングアルゴリズムの紐付けが動的に変更されるようにしてもよい。
図５は、センシングプログラムの他の例を示す図である。
図５の例においては、食材認識プログラムＡ、食材認識プログラムＢ、食材認識プログラムＣがOS上で動作するファームウェアとして用意されている。食材認識プログラムＡ乃至Ｃは、物体センシング機能としての食材認識機能を実現するセンシングプログラムである。
食材認識プログラムＡは、食材認識アルゴリズムＡによって食材認識を行うセンシングプログラムである。食材認識プログラムＢは、食材認識アルゴリズムＢによって食材認識を行うセンシングプログラムである。食材認識プログラムＣは、食材認識アルゴリズムＣによって食材認識を行うセンシングプログラムである。例えば調理ロボット２－４に搭載されたセンサデバイス２１においては、調理工程などにより決定されるセンシング条件に応じたセンシングアルゴリズムを選択して食材の認識が行われる。
図６は、センシングプログラムのさらに他の例を示す図である。
図６の例においては、顔認識プログラムＡ、顔認識プログラムＢ、顔認識プログラムＣがOS上で動作するファームウェアとして用意されている。顔認識プログラムＡ乃至Ｃは、人センシング機能としての顔認識機能を実現するセンシングプログラムである。
顔認識プログラムＡは、顔認識アルゴリズムＡによって顔認識を行うセンシングプログラムである。顔認識プログラムＢは、顔認識アルゴリズムＢによって顔認識を行うセンシングプログラムである。顔認識プログラムＣは、顔認識アルゴリズムＣによって顔認識を行うセンシングプログラムである。例えば調理ロボット２－４に搭載されたセンサデバイス２１においては、調理工程などにより決定されるセンシング条件に応じたセンシングアルゴリズムを選択して顔の認識が行われる。
・センシングプログラムの更新
図１のプログラム提供システムにおいては、各装置のセンサデバイス２１にファームウェアとして用意されるセンシングプログラムの更新が可能とされる。
図７は、センシングプログラムの更新の例を示す図である。
図７の矢印で示すように、プログラム管理サーバ１は、各装置に対してセンシングプログラムを提供する。プログラム管理サーバ１は、各装置に提供するセンシングプログラムのDB(Data Base)を有している。
図７の例においては、測距アルゴリズムＤによって測距を行う測距プログラムＤが携帯端末２－１に対して提供され、顔認識アルゴリズムＨによって顔認識を行う顔認識プログラムＨがアームロボット２－２に対して提供されている。
また、自己位置推定アルゴリズムＪによって自己位置推定を行う自己位置推定プログラムＪが移動体２－３に対して提供され、物体認識アルゴリズムＫによって物体認識を行う物体認識プログラムＫが調理ロボット２－４に対して提供されている。人物認識アルゴリズムＭによって人物認識を行う人物認識プログラムＭが運搬ロボット２－５に対して提供されている。
図８は、センシングプログラムの更新の例を示す図である。
各装置のセンサデバイス２１においては、図８のＡに示すようにセンシングプログラムを追加することが可能とされる。図８のＡの例においては、測距アルゴリズムＡ乃至Ｃによって測距を行う測距プログラムＡ乃至Ｃに対して、測距アルゴリズムＤによって測距を行う測距プログラムＤが追加されている。
各装置のセンサデバイス２１には、デフォルトの状態では、一般的な状況に応じたセンシングアルゴリズムを規定するセンシングプログラムが用意されている。各装置のセンサデバイス２１は、あらかじめ用意されているセンシングプログラムでは対応できない状況になった場合でも、そのような特殊な状況に応じたセンシングアルゴリズムを規定するセンシングプログラムを追加することにより、特殊な状況に対応することが可能となる。
また、図８のＢに示すように、不要になったプログラムを削除（アンインストール）することも可能とされる。図８のＢの例においては、破線の枠で示すように、測距プログラムＡ乃至Ｃのうちの測距プログラムＣが削除されている。
図９は、センシングプログラムの更新の他の例を示す図である。
図９に示すように、複数のセンシングプログラムから構成されるセンシングプログラムセット単位での更新も可能とされる。図９の例においては、測距アルゴリズムＤによって測距を行う測距プログラムＤ、測距アルゴリズムＥによって測距を行う測距プログラムＥ、測距アルゴリズムＦによって測距を行う測距プログラムＦから構成されるセンシングプログラムセットがプログラム管理サーバ１から提供され、追加されている。
プログラム管理サーバ１のDBには、図１０に示すように、複数のセンシングプログラムを場所、状況、目的などの使用条件毎にまとめたセンシングプログラムセットが複数用意されている。
図１０の例においては、屋内測距用のセンシングプログラムセットと屋外測距用のセンシングプログラムセットが用意されている。これらのセンシングプログラムセットは、場所に応じたセンシングプログラムセットである。
場所に応じたセンシングプログラムセットは、例えば、移動機能を有する装置に搭載されたセンサデバイス２１において用いられるセットとなる。同じ屋内でも、キッチン用のセンシングプログラムセット、ダイニングルーム用のセンシングプログラムセットといったように、さらに細かい場所の単位でセンシングプログラムセットが用意されるようにしてもよい。
海用のセンシングプログラムセット、山用のセンシングプログラムセット、電車内用のセンシングプログラムセットといったように、様々な場所毎のセンシングプログラムセットを用意することも可能である。
また、図１０の例においては、晴天時測距用のセンシングプログラムセットと雨天時測距用のセンシングプログラムセットが用意されている。これらのセンシングプログラムセットは、天気に応じたセンシングプログラムセットである。
天気に応じたセンシングプログラムセットは、例えば、移動機能を有しており、屋外に移動する可能性がある装置に搭載されたセンサデバイス２１において用いられるセットとなる。朝昼夜などの時間帯毎のセンシングプログラムセット、明るさ毎のセンシングプログラムセット、気温毎のセンシングプログラムセットといったように、変化する様々な状況毎のセンシングプログラムセットを用意することも可能である。
ランニング時用のセンシングプログラムセット、野球時用のセンシングプログラムセット、カレーの調理時用のセンシングプログラムセット、サラダの調理時用のセンシングプログラムセットといったように、様々な目的毎のセンシングプログラムセットを用意することも可能である。
各装置のセンサデバイス２１は、使用条件に応じたセンシングプログラムセットのIDを指定することによって、センシングプログラムをまとめて追加することが可能となる。それぞれのセンシングプログラムセットには、識別データとしてのIDが設定されている。センシングプログラムセットを構成するそれぞれのセンシングプログラムにも、識別データとしてのIDが設定されている。
同じ測距機能を異なるセンシングアルゴリズムによって実現するセンシングプログラムのセットではなく、図１１に示すように、異なる機能を実現するセンシングプログラムのセットが追加されるようにしてもよい。
図１１の例においては、測距プログラムＤ、顔認識プログラムＨ、物体認識プログラムＫによってセンシングプログラムセットが構成されている。測距プログラムＤは、測距アルゴリズムＤによって測距を行うセンシングプログラムであり、顔認識プログラムＨは、顔認識アルゴリズムＨによって顔認識を行うセンシングプログラムである。物体認識プログラムＫは、物体認識アルゴリズムＫによって物体認識を行うセンシングプログラムである。
図１２は、センシングプログラムセットの例を示す図である。
図１２に示すセンシングプログラムセットには、アルゴリズムの適応的な選択を制御するプログラムであるアルゴリズムマネージャが含まれている。
センサデバイス２１は、アルゴリズムマネージャを実行し、センシング条件に応じたセンシングアルゴリズムを選択することになる。アルゴリズムマネージャには、実行を制御するセンシングプログラムの種類を表す情報と、センシングプログラムの実行順を表す情報との組み合わせが設定されている。このように、センシングプログラムセット毎にアルゴリズムマネージャが用意されるようにしてもよい。
図１３は、センシングプログラムの更新の例を示す図である。
センサデバイス２１とホスト側のデバイスであるコントローラ５１とのそれぞれにおいてセンシングプログラムが実行され、測距機能などの所定の機能が実現されるようにしてもよい。この場合、コントローラ５１のセンシングプログラムについても、センサデバイス２１のセンシングプログラムと同様にして更新することが可能とされる。コントローラ５１は、例えば、携帯端末２－１のCPU、アームロボット２－２に搭載されたPCのCPUなどの、ホスト側のデータ処理装置である。
センサデバイス２１のファームウェアを更新するセンシングプログラムと、コントローラ５１のファームウェアを更新するセンシングプログラムが１つのセンシングプログラムセットに含められ、提供されるようにしてもよい。
センシングプログラムとセンシングプログラムセットの提供が、有料で行われるようにしてもよいし、無料で行われるようにしてもよい。１つのセンシングプログラムセットの中に、有料のセンシングプログラムと無料のセンシングプログラムが混在して含まれるようにしてもよい。
以上のようにして行われるセンシングプログラムの更新時、認証用の鍵情報に基づいてセンサデバイス２１の認証がプログラム管理サーバ１により行われ、正当なデバイスであることが確認された場合に更新が行われるようにしてもよい。それぞれのセンサデバイス２１には、認証用の鍵情報が固有の情報として用意される。
認証用の鍵情報を用いたセンサデバイス２１の認証が、センシングプログラムの更新時に行われるのではなく、センシングプログラムの実行時に行われるようにしてもよい。
・センシングプログラムの提供元
図１４は、センシングプログラムの提供元の例を示す図である。
プログラム管理サーバ１から各装置に対して提供されるセンシングプログラムは、図１４に示すように、例えば、プログラム提供システムにおけるサービスのユーザ登録を行った開発者により開発される。各開発者には、センサデバイス２１の仕様に関する情報、SDK(Software Development Kit)などの開発ツールが、プログラム提供システムを利用したサービスを運営するサービス事業者により提供される。
各開発者は、SDKを利用するなどしてセンシングプログラムやセンシングプログラムセットを開発し、自身のコンピュータからプログラム管理サーバ１にアップロードする。アップロードされたセンシングプログラムとセンシングプログラムセットはセンシングプログラムDBに記憶され、管理される。
プログラム管理サーバ１は、インストール回数、各装置における実行回数などの、それぞれのセンシングプログラムとセンシングプログラムセットの使用状況を管理する。サービス事業者から開発者に対して、使用状況に応じた金額の支払い、ポイントの発行などの、所定のインセンティブが提供されるようにしてもよい。
図１５は、センシングプログラムセットの生成の例を示す図である。
各開発者により開発され、アップロードされたセンシングプログラムを任意のユーザがまとめることによってセンシングプログラムセットが生成されるようにしてもよい。
図１５の例においては、測距プログラムＡ乃至Ｇのうち、測距プログラムＤ、測距プログラムＥ、測距プログラムＦの３つのセンシングプログラムをまとめることによって、屋内測距用プログラムセットが生成されている。
このようにして生成された屋内測距用プログラムセットは、インストール可能なセンシングプログラムセットとしてプログラム管理サーバ１において公開され、所定の装置にインストールされる。
複数のセンシングプログラムをまとめることによってセンシングプログラムセットを生成したユーザに対しても、インセンティブが提供されるようにしてもよい。
＜センシングプログラムのユースケース＞
・運搬ロボットのユースケース
ここで、人センシングのユースケースについて説明する。
例えば、運搬ロボット２－５がレストランなどの店内において料理を運搬対象物として運搬する、すなわち、料理を配膳する場合、運搬ロボット２－５に搭載されたセンサデバイス２１においては、センシングプログラムに従って人センシングが行われる。注文した人に料理を配膳するためには、周りにいる人を認識して、料理を注文した人を特定する必要がある。
図１６は、運搬ロボット２－５による運搬の様子を示す図である。
図１６には、建物の中のキッチンを移動する運搬ロボット２－５の様子が示されている。運搬対象物の載置台として用意された天板の上には調理済みの料理が置かれている。この例においては、料理を配膳する用途に運搬ロボット２－５が用いられている。
運搬ロボット２－５は、センサデバイス２１による人センシングの結果に基づいて、移動経路の計画、障害物の回避などを行い、目的地まで移動して配膳を行う。また、運搬ロボット２－５は、センサデバイス２１による人センシングの結果に基づいて、接客の仕方を制御する。
図１７は、運搬ロボット２－５の外観を拡大して示す図である。
図１７に示すように、運搬ロボット２－５は、環状のベース部１０１と、円形薄板状の天板１０２を、細い棒状の支持アーム１０３で連結することによって構成される。ベース部１０１の底面側には複数のタイヤが設けられる。ベース部１０１は、運搬ロボット２－５の移動を実現する移動部として機能する。
ベース部１０１の径方向の長さと天板１０２の径方向の長さは略同一の長さである。ベース部１０１の略真上に天板１０２がある場合、図１７に示すように支持アーム１０３は斜めの状態になる。
支持アーム１０３は、アーム部材１０３－１とアーム部材１０３－２から構成される。天板１０２側のアーム部材１０３－１の径は、ベース部１０１側のアーム部材１０３－２の径より一回り小さい。アーム部材１０３－１がアーム部材１０３－２の内側に伸縮部１０３Ａにおいて収納されることによって、双方向の矢印で示すように、支持アーム１０３の長さが調整される。
支持アーム１０３は、ベース部１０１と支持アーム１０３の連結部分、および、天板１０２と支持アーム１０３の連結部分のそれぞれの部分において角度を調整することが可能とされる。
図１８は、料理を載せるときの運搬ロボット２－５の姿勢の例を示す図である。
図１８の例においては、支持アーム１０３を略垂直とし、長さを最大の長さとすることによって、天板１０２の高さが、調理ロボット２－４の天板の高さと略同じ高さに調整されている。
運搬ロボット２－５の状態がこのような状態にあるときに、調理ロボット２－４の調理アームによって、料理が天板１０２に載せられる。図１８の例においては、調理ロボット２－４の調理動作によって出来上がった料理が、調理アームにより載せられている。
図１８に示すように、調理ロボット２－４には、食材を切る、食材を焼く、調理済みの食材を盛り付ける、などの各種の調理動作を行う調理アームが複数設けられる。調理アームによる調理動作は、調理動作の内容や順番を規定した調理データに従って行われる。調理データには、料理の完成に至るまでのそれぞれの調理工程に関する情報が含まれる。
このように、運搬ロボット２－５が配膳する料理は、調理ロボット２－４により作られた料理である。人により作られた料理が人によって天板１０２に載せられ、配膳されるようにしてもよい。
図１９は、運搬ロボット２－５が移動する空間のレイアウトを示す平面図である。
図１９に示すように、運搬ロボット２－５が移動するレストランには、キッチン＃１とホール＃２が用意される。キッチン＃１とホール＃２の間には廊下＃１１がある。
破線で範囲を示す図１９の建物の外には、ホール＃２に面する形で庭＃２１が設けられる。ホール＃２だけでなく庭＃２１にも、客が食事を行うテーブルなどが用意される。
このような空間を運搬ロボット２－５が移動し、接客を行う場合について説明する。運搬ロボット２－５が行う接客には、注文の受け付け、料理の配膳、飲み物の提供などが含まれる。
運搬ロボット２－５に搭載されたセンサデバイス２１による人センシングは、運搬ロボット２－５がいる場所などの運搬ロボット２－５の状況により設定される人センシング条件に応じたアルゴリズムを用いて行われる。人センシングを行うセンシングプログラムが、人センシング条件に応じて適応的に選択され、センサデバイス２１において実行される。
・センシングアルゴリズムの具体例
図２０は、運搬ロボット２－５に用意されるセンシングプログラムにより規定されるセンシングアルゴリズムの例を示す図である。
図２０に示すように、運搬ロボット２－５には、人センシングに用いるセンシングアルゴリズムとして、個人識別アルゴリズムＡ１と属性認識アルゴリズムＡ２が用意される。
個人識別アルゴリズムＡ１は、センシング対象となっている対象者がだれであるのかを識別することと、対象者の属性を認識することに用いられるセンシングアルゴリズムである。対象者の属性には、性別と年齢が含まれる。また、対象者の属性には、利き手、髪の毛の長さなどの外観に現れる特徴も含まれる。
一方、属性認識アルゴリズムＡ２は、対象者の属性を認識することに用いられるセンシングアルゴリズムである。属性認識アルゴリズムＡ２によっては、対象者の識別は行われずに、対象者の属性の認識だけが行われる。
また、個人識別アルゴリズムＡ１と属性認識アルゴリズムＡ２のそれぞれについて、屋内用のセンシングアルゴリズム、屋外用のセンシングアルゴリズム、暗所用のセンシングアルゴリズム、・・といったような、状況毎のセンシングアルゴリズムが用意される。
図２０において、例えば、個人識別アルゴリズムＡ１－１は屋内用のセンシングアルゴリズムであり、個人識別アルゴリズムＡ１－２は屋外用のセンシングアルゴリズムである。また、個人識別アルゴリズムＡ１－３は暗所用のセンシングアルゴリズムである。
同様に、属性認識アルゴリズムＡ２－１は屋内用のセンシングアルゴリズムであり、属性認識アルゴリズムＡ２－２は屋外用のセンシングアルゴリズムである。また、属性認識アルゴリズムＡ２－３は暗所用のセンシングアルゴリズムである。
このように、運搬ロボット２－５には、状況に応じて設定される人センシング条件に応じたそれぞれの個人識別アルゴリズムＡ１を規定するセンシングプログラムと、それぞれの属性認識アルゴリズムＡ２を規定するセンシングプログラムが用意される。運搬ロボット２－５においては、人センシング条件に応じた個人識別アルゴリズムＡ１、または属性認識アルゴリズムＡ２が選択され、人センシングが行われる。
個人識別アルゴリズムＡ１と属性認識アルゴリズムＡ２が用意されるのは、属性とともに対象者が誰であるのかを特定する必要があるのか、属性だけを特定する必要があるのかといった目的によって、必要となるセンシングアルゴリズムが異なるためである。
また、個人識別アルゴリズムＡ１と属性認識アルゴリズムＡ２のそれぞれについて状況毎のセンシングアルゴリズムが用意されるのは、対象者のいる場所などの状況によって、精度を確保するために処理を変える必要があるためである。
例えば、人センシングを行う場所が暗い場所である場合には、暗所（ノイズ）に強いセンシングアルゴリズムが必要となる。
また、人センシングを行う場所が屋外である場合には、直射日光に強いセンシングアルゴリズムが必要となる。雨や曇りといった天気によってもノイズが異なることから、それぞれの天気に応じたセンシングアルゴリズムが必要となる。
さらに、時間の経過、天気の急変により照度が変化することから、それぞれの照度に応じたセンシングアルゴリズムが必要となる。
ここで、個人識別アルゴリズムＡ１と属性認識アルゴリズムＡ２のユースケース毎の切り替えについて説明する。
・ユースケース１
ユースケース１は、図１９のレストランにおいて、客の入店を運搬ロボット２－５が確認するユースケースである。
ユースケース１においては、属性認識アルゴリズムＡ２を用いて客の属性が認識される。属性の認識結果に基づいて、例えば、案内する席を決定する処理が運搬ロボット２－５により行われる。
・ユースケース２
ユースケース２は、注文を受けるときに、量や調理の好みを確認するユースケースである。ユースケース２においては、個人識別アルゴリズムＡ１を用いるケースと属性認識アルゴリズムＡ２を用いるケースとがある。
属性認識アルゴリズムＡ２を用いるケースにおいては、属性認識アルゴリズムＡ２を用いて客の属性が認識される。
属性の認識結果に基づいて、例えば、注文を受け付けた人と、受け付けていない人が識別される。
また、属性の認識結果に基づいて、客の属性の情報が保存される。保存された情報は、次の来店時などの接客に用いられる。
さらに、属性の認識結果に基づいて、注文の受け付け方が決定される。例えば相手が女性の場合、注文を受け付けるときに、量を減らすかどうかの確認が行われる。また、相手が子どもの場合、おすすめの飲み物を提案するときに、アルコール系の飲み物以外の飲み物の提案が行われる。
個人識別アルゴリズムＡ１を用いるケースにおいては、個人識別アルゴリズムＡ１を用いて、対象者が誰であるのかが属性とともに認識される。
個人の識別結果に基づいて、その人の注文履歴に応じて、注文の受け付け方が決定される。例えば、前回来店時の注文内容を提示したり、注文履歴からその人の好みを分析し、おすすめの料理を提案したりする処理が行われる。また、その人の好みやアレルギーに関する情報に基づいて料理を提案したり、その人の知識のバックグラウンドに合わせてメニューを説明したりする処理が行われる。
・ユースケース３
ユースケース３は、ホールにいる客に料理を届ける（配膳する）ユースケースである。ユースケース３においては、属性認識アルゴリズムＡ２を用いて客の属性が認識される。
属性の認識結果に基づいて、例えば、注文した対象者に対して料理が届けられる。また、優先的に配膳する人の属性が設定されている場合、設定されている属性の人に対して優先的に料理が届けられる。対象者の利き手に合わせて、配膳する方向を変える処理が行われる。
以上のようなユースケースに応じた一連の処理についてはフローチャートを参照して後述する。
＜運搬ロボットの構成と動作＞
・運搬ロボットの構成
図２１は、運搬ロボット２－５のハードウェアの構成例を示すブロック図である。
運搬ロボット２－５は、コントローラ１２１に対して、天板昇降駆動部１２２、タイヤ駆動部１２３、センサ群１２４、および通信部１２５が接続されることによって構成される。コントローラ１２１には、センサデバイス２１も接続される。
コントローラ１２１は、CPU，ROM，RAM、フラッシュメモリなどを有する。コントローラ１２１は、所定のプログラムを実行し、センサデバイス２１を含む、運搬ロボット２－５の全体の動作を制御する。コントローラ１２１が、ホスト側のコントローラ５１（図１３）に相当する。
天板昇降駆動部１２２は、ベース部１０１と支持アーム１０３の連結部、天板１０２と支持アーム１０３の連結部などに設けられたモータなどにより構成される。天板昇降駆動部１２２は、それぞれの連結部を駆動させる。
また、天板昇降駆動部１２２は、支持アーム１０３の内部に設けられたレールやモータにより構成される。天板昇降駆動部１２２は、支持アーム１０３を伸縮させる。
タイヤ駆動部１２３は、ベース部１０１の底面に設けられたタイヤを駆動させるモータにより構成される。
センサ群１２４は、測位センサ、ジャイロセンサ、加速度センサ、温度センサ、照度センサなどの各種のセンサにより構成される。センサ群１２４による検出結果を表すセンサデータはコントローラ１２１に出力される。
通信部１２５は、無線LANモジュール、携帯通信モジュールなどの無線通信モジュールである。通信部１２５は、プログラム管理サーバ１などの外部の装置との間で通信を行う。
図２２は、運搬ロボット２－５の機能構成例を示すブロック図である。
図２２に示す機能部のうちの少なくとも一部は、コントローラ１２１を構成するCPUと、センサデバイス２１のコントローラ３１を構成するCPUにより所定のプログラムが実行されることによって実現される。
コントローラ１２１においては、経路情報取得部１５１、測位制御部１５２、移動制御部１５３、姿勢制御部１５５、環境データ取得部１５６、および周囲状態認識部１５７が実現される。
一方、センサデバイス２１のコントローラ３１においては、状況検出部２０１とセンシング制御部２０２が実現される。センサデバイス２１は、センシングアルゴリズムを制御するデータ処理装置である。
コントローラ１２１の経路情報取得部１５１は、通信部１２５を制御し、図示せぬ制御装置から送信されてきた目的地と移動経路の情報を受信する。経路情報取得部１５１により受信された情報は移動制御部１５３に出力される。
運搬対象物が用意されたタイミングなどにおいて、目的地と運搬ロボット２－５の現在の位置に基づいて、移動経路が経路情報取得部１５１により計画されるようにしてもよい。
この場合、経路情報取得部１５１は、運搬ロボット２－５の動作を計画し、動作計画を設定する動作計画設定部として機能する。
測位制御部１５２は、運搬ロボット２－５の現在位置を検出する。例えば、測位制御部１５２は、センサデバイス２１を構成する距離センサによる検出結果に基づいて、調理ロボット２－４が設置されている空間の地図を生成する。センサデバイス２１の出力となるセンサデータは、環境データ取得部１５６により取得され、測位制御部１５２に供給されてくる。
測位制御部１５２は、生成した地図における自身の位置を特定することによって、現在位置を検出する。測位制御部１５２により検出された現在位置の情報は移動制御部１５３に出力される。測位制御部１５２による現在位置の検出が、センサ群１２４を構成する測位センサの出力に基づいて行われるようにしてもよい。運搬ロボット２－５の現在位置の検出が、センサデバイス２１により行われるようにしてもよい。
移動制御部１５３は、タイヤ駆動部１２３を制御することによって、経路情報取得部１５１から供給された情報と、測位制御部１５２により検出された現在位置に基づいて運搬ロボット２－５の移動を制御する。
また、移動制御部１５３は、周囲にある障害物に関する情報が周囲状態認識部１５７から供給された場合、障害物を回避するように移動を制御する。障害物には、人、家具、家電製品などの各種の動作物体と静止物体とが含まれる。このように、移動制御部１５３は、センサデバイス２１による人センシングの結果に基づいて、運搬対象物の運搬に伴う運搬ロボット２－５の移動を制御する。
姿勢制御部１５５は、天板昇降駆動部１２２を制御し、運搬ロボット２－５の姿勢を制御する。また、姿勢制御部１５５は、移動制御部１５３による制御と連動して、天板１０２の水平を保つように運搬ロボット２－５の移動中の姿勢を制御する。
姿勢制御部１５５は、周囲状態認識部１５７により認識された周囲の状態に応じて、運搬ロボット２－５の姿勢を制御する。例えば、姿勢制御部１５５は、周囲状態認識部１５７により認識された、調理ロボット２－４の天板やダイニングテーブルの天板の高さに天板１０２の高さを近づけるように、運搬ロボット２－５の姿勢を制御する。
環境データ取得部１５６は、センサデバイス２１を制御して人センシングを行わせるとともに、人センシングの結果を表すセンサデータを取得する。環境データ取得部１５６により取得されたセンサデータは測位制御部１５２と周囲状態認識部１５７に供給される。
周囲状態認識部１５７は、環境データ取得部１５６から供給された、人センシングの結果を表すセンサデータに基づいて周囲の状態を認識する。周囲状態認識部１５７による認識結果を表す情報は移動制御部１５３と姿勢制御部１５５に供給される。
障害物の検知、障害物までの距離の計測、障害物の方向の推定、自己位置の推定などがセンサデバイス２１により行われている場合、周囲状態認識部１５７は、障害物に関する情報を、周囲の状態の認識結果を表す情報として出力する。
障害物の検知、障害物までの距離の計測、障害物の方向の推定、自己位置の推定などが、センサデバイス２１によるセンシング結果に基づいて周囲状態認識部１５７により行われるようにしてもよい。この場合、周囲状態認識部１５７が行う各処理に用いられるセンサデータが、センサデバイス２１によって検出されることになる。
このように、センサデバイス２１において行われる処理の内容は任意である。すなわち、センサデバイス２１に設けられたセンサにより検出されたrawデータがそのままセンサデータとしてコントローラ１２１に供給されるようにしてもよいし、rawデータの加工や解析がセンサデバイス２１側で行われ、加工や解析の結果がセンサデータしてコントローラ１２１に供給されるようにしてもよい。
センサデバイス２１側の状況検出部２０１は、運搬ロボット２－５の状況を検出する。運搬ロボット２－５の状況は、例えば、センサ群１２４を構成するセンサが出力するセンサデータ、または、センサデバイス２１に設けられたセンサが出力するセンサデータに基づいて検出される。
運搬ロボット２－５の状況には、例えば、どのような動作を行っているかといった運搬ロボット２－５の動作、運搬ロボット２－５がいる場所、運搬ロボット２－５がいる場所の天気、温度、湿度、明るさが含まれる。また、運搬ロボット２－５の状況には、運搬ロボット２－５がコミュニケーションをとっている人物の状況、運搬ロボット２－５の周囲にある障害物の状況などの外部の状況も含まれる。
状況検出部２０１は、このような運搬ロボット２－５の状況を表す情報をセンシング制御部２０２に出力する。
センシング制御部２０２は、状況検出部２０１により検出された状況において人センシングを行うという人センシング条件に応じてセンシングアルゴリズムを選択し、選択したセンシングアルゴリズムを規定するセンシングプログラムを実行する。
例えば、それぞれの人センシング条件に対しては、センシングアルゴリズム、または、センシングプログラムが紐付けられている。センシング制御部２０２は、識別データとしてのIDを用いて、人センシング条件に応じたセンシングアルゴリズム、または、センシングプログラムを選択する。人センシング条件に応じて、センシングプログラムセットが選択されるようにしてもよい。
センシング制御部２０２は、センシングプログラムを実行することによって、センサデバイス２１に設けられた各センサを駆動させ、各センサの出力に基づいて人センシングを行う。センシング制御部２０２は、人センシングの結果を表すセンサデータをコントローラ１２１に出力する。センシング制御部２０２は、適宜、人センシングの結果以外の各種のセンサデータを出力する。
・運搬ロボットの動作
図２３のフローチャートを参照して、運搬ロボット２－５の処理について説明する。
ステップＳ１において、センシング制御部２０２は精度選択処理を行う。精度選択処理により、人センシングの精度を確保するためのセンシングアルゴリズムの選択が行われる。精度選択処理の詳細については、図２４のフローチャートを参照して後述する。
ステップＳ２において、センシング制御部２０２は人センシング処理を行う。人センシング処理は、上述したようなユースケースに応じた処理となる。人センシング処理の詳細については、図２７のフローチャートを参照して後述する。
次に、図２４のフローチャートを参照して、図２３のステップＳ１において行われる精度選択処理について説明する。
ステップＳ１１において、状況検出部２０１は、センサ群１２４からのセンサデータ、または、センサデバイス２１を構成する各センサが出力するセンサデータに基づいて、運搬ロボット２－５の場所を検出する。センサ群１２４からのセンサデータと、センサデバイス２１を構成する各センサが出力するセンサデータとの双方のセンサデータを用いて、運搬ロボット２－５の状況が検出されるようにしてもよい。
ステップＳ１２において、センシング制御部２０２は、状況検出部２０１による検出結果に基づいて、運搬ロボット２－５のいる場所が屋内であるか否かを判定する。
運搬ロボット２－５のいる場所が屋内であるとステップＳ１２において判定した場合、ステップＳ１３において、センシング制御部２０２は、屋内用基本アルゴリズムを選択し、人センシングを行う。
屋内用基本アルゴリズムは、シャッタースピード、感度などの、RGBカメラ３２Ａの撮影パラメータを環境光の強さに応じて調整し、人センシングを行うセンシングアルゴリズムである。シャッタースピードは、標準から遅めのスピードに設定され、感度は、標準から高めの感度に設定される。
ステップＳ１４において、センシング制御部２０２は屋内処理を行う。屋内処理においては、屋内の状況に応じてセンシングアルゴリズムが選択され、人センシングが行われる。人センシングに用いるセンシングアルゴリズムが、屋内用基本アルゴリズムから、他のセンシングアルゴリズムに適宜切り替えられる。屋内処理の詳細については図２５のフローチャートを参照して後述する。
一方、運搬ロボット２－５の場所が屋内ではない、すなわち屋外であるとステップＳ１２において判定した場合、ステップＳ１５において、センシング制御部２０２は、屋外用基本アルゴリズムを選択し、人センシングを行う。
屋外用基本アルゴリズムは、シャッタースピード、感度などの、RGBカメラ３２Ａの撮影パラメータを環境光の強さに応じて調整し、人センシングを行うセンシングアルゴリズムである。シャッタースピードは、標準から速めのスピードに設定され、感度は、標準から低めの感度に設定される。
ステップＳ１６において、センシング制御部２０２は屋外処理を行う。屋外処理においては、屋外の状況に応じてセンシングアルゴリズムが選択され、人センシングが行われる。人センシングに用いるセンシングアルゴリズムが、屋外用基本アルゴリズムから、他のセンシングアルゴリズムに適宜切り替えられる。屋外処理の詳細については図２６のフローチャートを参照して後述する。
ステップＳ１４において屋内処理が行われた後、または、ステップＳ１６において屋外処理が行われた後、図２３のステップＳ１に戻り、それ以降の処理が繰り返される。
次に、図２５のフローチャートを参照して、図２４のステップＳ１４において行われる屋内処理について説明する。
ステップＳ２１において、センシング制御部２０２は、状況検出部２０１による検出結果に基づいて、運搬ロボット２－５の場所が暗い場所であるか否かを判定する。
運搬ロボット２－５の場所が暗い場所であるとステップＳ２１において判定した場合、ステップＳ２２において、センシング制御部２０２は、暗い場所で人センシングを行うという人センシング条件に応じて、暗所用アルゴリズムを選択し、人センシングを行う。暗所用アルゴリズムは、例えば、RGBカメラ３２Ａの感度を標準の感度より高く設定してRGB画像の撮影を行い、撮影によって得られたRGB画像に基づいて人センシングを行うセンシングアルゴリズムである。
運搬ロボット２－５の場所が暗い場所ではないとステップＳ２１において判定した場合、ステップＳ２３において、センシング制御部２０２は、明るい場所で人センシングを行うという人センシング条件に応じて、明所用アルゴリズムを選択し、人センシングを行う。明所用アルゴリズムは、例えば、RGBカメラ３２Ａの感度を標準の感度より低く設定してRGB画像の撮影を行い、撮影によって得られたRGB画像に基づいて人センシングを行うセンシングアルゴリズムである。
運搬ロボット２－５の場所に応じて選択されたセンシングアルゴリズムを用いて人センシングが行われた後、処理は図２４のステップＳ１４に戻り、それ以降の処理が行われる。
次に、図２６のフローチャートを参照して、図２４のステップＳ１６において行われる屋外処理について説明する。
ステップＳ３１において、センシング制御部２０２は、運搬ロボット２－５がいる場所の天気が快晴であるか否かを判定する。天気が快晴であるか否かの判定が、状況検出部２０１による状況の検出結果に基づいて行われる。
運搬ロボット２－５の場所の天気が快晴であるとステップＳ３１において判定した場合、ステップＳ３２において、センシング制御部２０２は、影が発生しやすい場所であるか否かを判定する。
影が発生しやすい場所であるとステップＳ３２において判定した場合、ステップＳ３３において、センシング制御部２０２は、影が発生しやすい場所で人センシングを行うという人センシング条件に応じて、影ノイズに強いアルゴリズムを選択する。ここで選択されるセンシングアルゴリズムは、輝度のダイナミックレンジを拡張するようにRGBカメラ３２Ａの撮影パラメータを調整して撮影を行い、撮影によって得られたRGB画像に基づいて人センシングを行うセンシングアルゴリズムである。
センシングアルゴリズムが選択された後、選択されたセンシングアルゴリズムを規定するセンシングプログラムが実行され、人センシングが行われる。他のセンシングアルゴリズムが選択された場合も同様である。
影が発生しやすい場所ではないとステップＳ３２において判定した場合、ステップＳ３４において、センシング制御部２０２は、直射日光下で人センシングを行うという人センシング条件に応じて、直射日光に強いアルゴリズムを選択する。ここで選択されるセンシングアルゴリズムは、シャッタースピードを速くするとともに感度を落とすようにRGBカメラ３２Ａの撮影パラメータを調整して撮影を行い、撮影によって得られたRGB画像に基づいて人センシングを行うセンシングアルゴリズムである。
一方、天気が快晴ではないとステップＳ３１において判定した場合、処理はステップＳ３５に進む。
ステップＳ３５において、センシング制御部２０２は、雨が降っているか否かを判定する。雨が降っているか否かの判定が、状況検出部２０１による状況の検出結果に基づいて行われる。
雨が降っているとステップＳ３５において判定した場合、ステップＳ３６において、センシング制御部２０２は、雨が降っている場所で人センシングを行うという人センシング条件に応じて、雨ノイズに強いアルゴリズムを選択する。ここで選択されるセンシングアルゴリズムは、RGBカメラ３２Ａにより撮影されたRGB画像に対するノイズ除去の画像処理を行った後に、ノイズ除去後のRGB画像に基づいて人センシングを行うセンシングアルゴリズムである。
ノイズ除去には公知の技術が用いられる。ノイズ除去の技術については、例えば、「https://digibibo.com/blog-entry-3422.html」、「http://www.robot.t.u-tokyo.ac.jp/~yamashita/paper/A/A025Final.pdf」に開示されている。
雨が降っていないとステップＳ３５において判定した場合、ステップＳ３７において、センシング制御部２０２は、薄暗い場所で人センシングを行うという人センシング条件に応じて、薄暗い場所に適応可能なアルゴリズムを選択する。ここで選択されるセンシングアルゴリズムは、シャッタースピードを遅くするとともに感度を上げるようにRGBカメラ３２Ａの撮影パラメータを調整して撮影を行い、撮影によって得られたRGB画像に基づいて人センシングを行うセンシングアルゴリズムである。
運搬ロボット２－５の場所に応じて選択されたセンシングアルゴリズムを用いて人センシングが行われた後、図２４のステップＳ１６に戻り、それ以降の処理が行われる。
次に、図２７のフローチャートを参照して、図２３のステップＳ２において行われる人センシング処理について説明する。
ここでは、ユースケース２として説明したように、注文を受ける運搬ロボット２－５の処理について説明する。図２７の処理は、例えば、注文を受ける対象者の近傍まで運搬ロボット２－５が移動した後に行われる。
ステップＳ５１において、センシング制御部２０２は、注文を受けるときに個人識別を行うか否かを判定する。
個人識別を行うとステップＳ５１において判定した場合、ステップＳ５２において、センシング制御部２０２は、個人識別を行うという人センシング条件に応じて、個人識別アルゴリズムを用いて人センシングを行う。
個人識別を行わないとステップＳ５１において判定した場合、ステップＳ５３において、センシング制御部２０２は、属性認識を行うという人センシング条件に応じて、属性認識アルゴリズムを用いて人センシングを行う。
個人識別を行うか否かに応じて選択されたアルゴリズムを用いて人センシングが行われた後、処理はステップＳ５４に進む。
ステップＳ５４において、コントローラ１２１（例えば周囲状態認識部１５７）は、人センシングにより特定した人が、初めて来店した客であるか否かを人センシングの結果に基づいて判定する。
初めて来店した客であるとステップＳ５４において判定した場合、ステップＳ５５において、コントローラ１２１は、初来店客用の対応を行う。
ステップＳ５６において、コントローラ１２１は、個人識別の結果、または属性の認識結果に基づいて、注文を受け付ける。例えば、人センシングにより特定した人が女性の場合、量を減らすかどうかの確認が行われる。
一方、初めて来店した客ではないとステップＳ５４において判定した場合、ステップＳ５７において、コントローラ１２１は、来店回数に応じた対応を行う。ステップＳ５６またはステップＳ５７において客の対応が行われた後、処理はステップＳ５８に進む。
ステップＳ５８において、センシング制御部２０２は、個人識別アルゴリズムを用いている場合には、人センシングに用いるセンシングアルゴリズムを、属性認識アルゴリズムに切り替える。その後、図２３のステップＳ２に戻り、上述した処理が繰り返される。
次に、図２８のフローチャートを参照して、図２３のステップＳ２において行われる他の人センシング処理について説明する。
ここでは、ユースケース３として説明したように、料理を配膳する運搬ロボット２－５の処理について説明する。図２８の処理は、例えば、配膳相手となる対象者（注文者）の近傍まで運搬ロボット２－５が移動した後に行われる。
ステップＳ７１において、センサデバイス２１のセンシング制御部２０２は、属性認識を行うという人センシング条件に応じて、属性認識アルゴリズムを用いて人センシングを行う。
ステップＳ７２において、コントローラ１２１は、センサデバイス２１による人センシングの結果に基づいて、優先的に配膳すべき注文者がいるか否かを判定する。
優先的に配膳すべき注文者がいるとステップＳ７２において判定された場合、ステップＳ７３において、センシング制御部２０２は、優先的に配膳すべき注文者の探索を行う。
一方、優先的に配膳すべき注文者がいないとステップＳ７２において判定した場合、ステップＳ７４において、センシング制御部２０２は、最も近い注文者の探索を行う。
ステップＳ７３またはステップＳ７４において注文者の探索が行われた後、処理はステップＳ７５に進む。
ステップＳ７５において、コントローラ１２１（例えば移動制御部１５３）は、センサデバイス２１による人センシングの結果に基づいて移動する。例えば、探索により見つかった注文者に近づくように運搬ロボット２－５の移動が行われる。
ステップＳ７６において、コントローラ１２１は、センサデバイス２１による人センシングの結果に基づいて、配膳方向を変更するか否かを判定する。例えば、運搬ロボット２－５の位置が注文者の利き手と反対の手側の位置である場合、配膳方向を変更するものとして判定される。反対に、運搬ロボット２－５の位置が注文者の利き手側の位置である場合、配膳方向を変更しないものとして判定される。
配膳方向を変更するとステップＳ７６において判定した場合、ステップＳ７７において、コントローラ１２１は、運搬ロボット２－５を移動させ、配膳方向を変更する。配膳方向を変更しないとステップＳ７６において判定された場合、ステップＳ７７の処理はスキップされる。
ステップＳ７８において、コントローラ１２１の例えば姿勢制御部１５５は、運搬ロボット２－５の姿勢を制御し、天板１０２の高さを客が使っているテーブルの高さに合わせ、注文者に対して料理を配膳する。
ステップＳ７９において、センシング制御部２０２は、全ての料理を配膳したか否かを判定する。
配膳していない料理があるとステップＳ７９において判定した場合、ステップＳ７２に戻り、上述した処理が繰り返される。
一方、全ての料理を配膳したとステップＳ７９において判定した場合、ステップＳ８０において、センシング制御部２０２は、属性認識アルゴリズムを用いて人センシングを行う。その後、図２３のステップＳ２に戻り、上述した処理が繰り返される。
以上の処理により、運搬ロボット２－５は、自分のいる場所などの状況に応じてセンシングアルゴリズムを選択し、人センシングを行うことができる。また、運搬ロボット２－５は、状況に応じて選択したセンシングアルゴリズムを用いて行われた人センシングの結果に基づいて、配膳などの各種の動作を制御することができる。
＜他のユースケース＞
運搬ロボット２－５による人センシングの他のユースケースについて説明する。
・ユースケース４
ユースケース４は、ドリンクを配膳するユースケースである。
ユースケース４においては、属性認識アルゴリズムＡ２を用いて客の属性が認識される。属性の認識結果に基づいて、例えば、配膳するドリンクの種類を決定する処理が運搬ロボット２－５により行われる。例えば、配膳対象とする人の属性が子どもである場合、アルコール系のドリンク以外のドリンクが配膳される。
・ユースケース５
ユースケース５は、注文した料理に合わせて、ガムやアメなどのお菓子を渡すユースケースである。
ユースケース５においては、属性認識アルゴリズムＡ２を用いて客の属性が認識される。属性の認識結果に基づいて、例えば、注文者の属性と、その人が注文した料理とを紐付けて管理する処理が運搬ロボット２－５により行われる。食事を終えて店舗を出る人がいる場合、注文した料理に応じてお菓子が渡される。
以上においては、運搬ロボット２－５による人センシングのユースケースについて説明したが、他の装置による人センシングについても、同様にして各種のユースケースが想定される。
ここでは、調理ロボット２－４による人センシングのユースケースについて説明する。
・ユースケース６
ユースケース６は、食材の盛り付けを行うときのユースケースである。ユースケース６においては、個人識別アルゴリズムＡ１を用いるケースと属性認識アルゴリズムＡ２を用いるケースとがある。
なお、調理ロボット２－４による食材の盛り付けは、調理アームを駆動させ、調理済みの食材を食器の所定の位置に配置することによって行われる。センサデバイス２１などによる物体センシングの結果に基づいて、調理済みの食材の位置、食器の位置などが認識され、盛り付けが行われる。
属性認識アルゴリズムＡ２を用いるケースにおいては、属性認識アルゴリズムＡ２を用いて、盛り付けを行っている料理を注文した人の属性が認識される。
属性の認識結果に基づいて、例えば、注文した対象者が女性である場合には女性らしい食器を使う、対象者が子どもである場合には子ども向けの盛り付けを行うといったように盛り付け方が変更される。
個人識別アルゴリズムＡ１を用いるケースにおいては、個人識別アルゴリズムＡ１を用いて、対象者が誰であるのかが属性とともに認識される。
個人の識別結果に基づいて、例えば、その人の好みに応じて盛り付け方を変えたり、使用する食材を変えたりする処理が調理ロボット２－４により行われる。
・ユースケース７
ユースケース７は、メニューを決めるときのユースケースである。調理ロボット２－４による調理は、メニューに応じた調理データに従って行われる。調理データには、料理の完成に至るまでのそれぞれの調理工程における、調理アームの調理動作の内容や順番を規定した情報が含まれる。
ユースケース７においては、個人識別アルゴリズムＡ１を用いて、対象者が誰であるのかが属性とともに認識される。
個人の識別結果に基づいて、例えば、対象者の食事内容の履歴が特定され、栄養バランスを考慮したメニューが決定される。
・ユースケース８
ユースケース８は、家庭において調理を行うときのユースケースである。ユースケース８においては、個人識別アルゴリズムＡ１を用いて、対象者が誰であるのかが属性とともに認識される。
個人の識別結果に基づいて、例えば、家族しかいないことが特定された場合には、古い食材から順に用いて調理が行われる。また、家族の健康状況にあわせて、調理内容（味の濃さ・焼き加減・湯で加減など）を変える処理が行われる。
・ユースケース９
ユースケース９は、手を洗うときのユースケースである。調理ロボット２－４の天板の所定の位置には、手を洗う溝が用意されている。溝には、水や洗浄液を手に向けて噴射する構成が設けられる。
ユースケース９においては、個人識別アルゴリズムＡ１を用いるケースと属性認識アルゴリズムＡ２を用いるケースとがある。
属性認識アルゴリズムＡ２を用いるケースにおいては、属性認識アルゴリズムＡ２を用いて、手を洗っている人の属性が認識される。
属性の認識結果に基づいて、例えば、手を洗っている人が女性や子どもである場合には水の勢いを抑えて手の洗浄が行われる。
個人識別アルゴリズムＡ１を用いるケースにおいては、個人識別アルゴリズムＡ１を用いて、対象者が誰であるのかが属性とともに認識される。
個人の識別結果に基づいて、例えば、その人の好みに応じて洗浄の強さや洗浄液の種類が変更される。
・ユースケース１０
ユースケース１０は、調理ロボット２－４を使用するときのユースケースである。ユースケース１０においては、属性認識アルゴリズムＡ２を用いて対象者の属性が認識される。
属性の認識結果に基づいて、例えば、子どもが使用することができないような制御が調理ロボット２－４により行われる。
＜変形例＞
・他のシステムに対する適用例
図２９は、人センシングの適用例を示す図である。
１つの店舗に設けられる複数のシステムにおいてそれぞれ人センシングが行われる場合、図２９に示すように、ユースケースに応じた人センシングがシステム毎に規定される。
図２９に示す配膳系システムは、運搬ロボット２－５により構成されるシステムである。配膳系システムにおいては、図２３を参照して説明した処理によって、ユースケースに応じた人センシングが行われる。
図２９に示す店内監視系システムは、センサデバイス２１を監視カメラとして用いるシステムである。店内の各位置にセンサデバイス２１が取り付けられる。店内監視系システムにおいても、図２３を参照して説明した処理と同様の処理によって、ユースケースに応じた人センシングが行われる。
・センシングアルゴリズムの選択が外部から行われる場合の例
人センシング条件に応じたセンシングアルゴリズムの選択が、センサデバイス２１内で行われるものとしたが、センサデバイス２１が搭載された装置の外部の装置により行われるようにしてもよい。
図３０は、センシングアルゴリズムの制御の例を示す図である。
図３０の例においては、センシング条件に応じたセンシングアルゴリズムの選択が外部の装置であるプログラム管理サーバ１により行われる。この場合、図２２のコントローラ３１の構成は、プログラム管理サーバ１において実現される。プログラム管理サーバ１は、運搬ロボット２－５に搭載されたセンサデバイス２１が実行するセンシングプログラムを制御するデータ処理装置である。
矢印＃１で示すように、運搬ロボット２－５からプログラム管理サーバ１に対しては、状況の検出に用いられるセンサデータが送信され、センシングプログラムの実行が要求される。
プログラム管理サーバ１の状況検出部２０１においては、運搬ロボット２－５から送信されてきたセンサデータに基づいて運搬ロボット２－５の状況が検出される。また、運搬ロボット２－５の状況に応じた人センシング条件がセンシング制御部２０２により決定され、センシングアルゴリズムが選択される。
プログラム管理サーバ１のセンシング制御部２０２は、運搬ロボット２－５に搭載されたセンサデバイス２１に対して、人センシング条件に応じたセンシングアルゴリズムを規定するセンシングプログラムを送信し、実行させる。
このように、センシングアルゴリズムの制御が、センサデバイス２１の外部の装置により行われるようにしてもよい。例えば、センサデバイス２１が搭載された運搬ロボット２－５のコントローラ１２１を外部の装置として、コントローラ１２１によってセンシングアルゴリズムの制御が行われるようにすることも可能である。
外部の装置であるプログラム管理サーバ１やコントローラ１２１によって、人センシング条件に応じたセンシングアルゴリズムを規定するセンシングプログラムが実行され、実行結果を表す情報がセンサデバイス２１に対して送信されるようにしてもよい。
図３１は、プログラム管理サーバ１を実現するコンピュータのハードウェアの構成例を示すブロック図である。
CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。
バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
上述したようなセンシングアルゴリズムの制御は、CPU１００１により所定のプログラムが実行されることによって実現される。
・プログラムの例
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図３１に示されるリムーバブルメディア１０１１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
１ プログラム管理サーバ， ２－１ 携帯端末， ２－２ アームロボット， ２－３ 移動体， ２－４ 調理ロボット， ２－５ 運搬ロボット， ２１ センサデバイス， ３１ コントローラ， ３２ センサ群， １２１ コントローラ， １２４ センサ群， ２０１ 状況検出部， ２０２ センシング制御部

Claims (16)

  1. 移動体本体に対して可動な動作部を有する移動体に実装されるセンサから出力されたセンサデータに基づいて人をセンシングする人センシングアルゴリズムを、人センシング条件に応じて決定し、
    決定した前記人センシングアルゴリズムが規定された人センシングプログラムを、複数の前記人センシングプログラムの組み合わせであり、前記人センシングアルゴリズムの種類を表す情報と、前記人センシングプログラムの実行順を表す情報との組み合わせを含む人センシングプログラムセットから選択して実行し、
    前記移動体の移動および前記動作部の動作を制御する
    データ処理装置。
  2. 前記人センシングアルゴリズムが規定された前記人センシングプログラムを、ネットワーク経由で取得する
    請求項１に記載のデータ処理装置。
  3. 前記人センシングプログラムセットをネットワーク経由で取得する
    請求項１に記載のデータ処理装置。
  4. 前記人センシングプログラムセットを識別する識別データを用いて、前記人センシングプログラムセットを選択する
    請求項３に記載のデータ処理装置。
  5. 複数の前記人センシングプログラムに規定された前記人センシングアルゴリズムは、同じセンサに対して異なるパラメータを設定して出力されたセンサデータに適用されるアルゴリズムである
    請求項１に記載のデータ処理装置。
  6. 複数の前記人センシングプログラムに規定された前記人センシングアルゴリズムは、同じセンサに対して同じパラメータを設定して出力されたセンサデータに適用されるアルゴリズムである
    請求項１に記載のデータ処理装置。
  7. 複数の前記人センシングプログラムに規定された前記人センシングアルゴリズムは、異なるセンサから出力されたセンサデータに適用されるアルゴリズムである
    請求項１に記載のデータ処理装置。
  8. 前記人センシングプログラム、および、前記人センシングプログラムに規定された前記人センシングアルゴリズムのうちの少なくともいずれかは、センサと紐付けられており、
    前記人センシングプログラムを選択して実行することに連動して、複数のセンサの動作を制御する
    請求項７に記載のデータ処理装置。
  9. 前記人センシングプログラムの実行結果に基づいて、運搬対象物の運搬に伴う移動部による移動の状態を制御する
    請求項１に記載のデータ処理装置。
  10. 前記動作部は、前記運搬対象物を載置する天板と、前記天板を支持する伸縮可能な支持部とを含み、
    前記移動部は、前記支持部に接続され、
    前記人センシングプログラムの実行結果に基づいて、前記天板の状態および前記支持部の状態を含む姿勢状態と、前記移動部による移動の状態とを制御する
    請求項９に記載のデータ処理装置。
  11. 前記天板は、調理工程に従って駆動する調理システムの調理アームまたは人により載せられた前記運搬対象物を載置する
    請求項１０に記載のデータ処理装置。
  12. データ処理装置が、
    移動体本体に対して可動な動作部を有する移動体に実装されるセンサから出力されたセンサデータに基づいて人をセンシングする人センシングアルゴリズムを、人センシング条件に応じて決定し、
    決定した前記人センシングアルゴリズムが規定された人センシングプログラムを、複数の前記人センシングプログラムの組み合わせであり、前記人センシングアルゴリズムの種類を表す情報と、前記人センシングプログラムの実行順を表す情報との組み合わせを含む人センシングプログラムセットから選択して実行し、
    前記移動体の移動および前記動作部の動作を制御する
    データ処理方法。
  13. 移動体本体に対して可動な動作部を有する移動体に実装されるセンサから出力されたセンサデータに基づいて人をセンシングする人センシングアルゴリズムを、人センシング条件に応じて決定し、
    決定した前記人センシングアルゴリズムが規定された人センシングプログラムを、複数の前記人センシングプログラムの組み合わせであり、前記人センシングアルゴリズムの種類を表す情報と、前記人センシングプログラムの実行順を表す情報との組み合わせを含む人センシングプログラムセットから選択して、前記移動体に対して送信する
    データ処理装置。
  14. 前記移動体からの要求に応じて、前記人センシングアルゴリズムが規定された前記人センシングプログラムを送信する
    請求項１３に記載のデータ処理装置。
  15. データ処理装置が、
    移動体本体に対して可動な動作部を有する移動体に実装されるセンサから出力されたセンサデータに基づいて人をセンシングする人センシングアルゴリズムを、人センシング条件に応じて決定し、
    決定した前記人センシングアルゴリズムが規定された人センシングプログラムを、複数の前記人センシングプログラムの組み合わせであり、前記人センシングアルゴリズムの種類を表す情報と、前記人センシングプログラムの実行順を表す情報との組み合わせを含む人センシングプログラムセットから選択して、前記移動体に対して送信する
    データ処理方法。
  16. センシング結果を表すセンサデータを出力するセンサと、
    前記センサから出力された前記センサデータに基づいて人をセンシングする人センシングアルゴリズムが規定された人センシングプログラムを、人センシング条件に応じて適応的に選択して実行するセンシング制御部と、
    前記センシング制御部による前記人センシングプログラムの実行結果に基づいて、動作計画を設定する動作計画設定部と、
    前記動作計画設定部により設定された前記動作計画に従って動作を行う動作部と
    を備え、
    前記動作部は、移動体本体に対して可動である
    移動体。
JP2021550649A 2019-10-03 2020-09-23 データ処理装置、データ処理方法、移動体 Active JP7683482B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019183085 2019-10-03
JP2019183085 2019-10-03
PCT/JP2020/035754 WO2021065610A1 (ja) 2019-10-03 2020-09-23 データ処理装置、データ処理方法、ロボット

Publications (2)

Publication Number Publication Date
JPWO2021065610A1 JPWO2021065610A1 (ja) 2021-04-08
JP7683482B2 true JP7683482B2 (ja) 2025-05-27

Family

ID=75337326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021550649A Active JP7683482B2 (ja) 2019-10-03 2020-09-23 データ処理装置、データ処理方法、移動体

Country Status (4)

Country Link
US (1) US12304089B2 (ja)
JP (1) JP7683482B2 (ja)
CN (1) CN114450726B (ja)
WO (1) WO2021065610A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12304089B2 (en) * 2019-10-03 2025-05-20 Sony Group Corporation Data processing device, data processing method, and robot
US12202144B2 (en) * 2021-06-29 2025-01-21 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a robot to load and unload a target object
JP7690506B2 (ja) * 2023-03-15 2025-06-10 Ｎｅｃプラットフォームズ株式会社 プログラム、情報処理装置、情報処理方法、情報処理システム、配膳ロボット、及び、端末装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008068342A (ja) 2006-09-13 2008-03-27 Hitachi Ltd 運搬システム
JP2011198021A (ja) 2010-03-19 2011-10-06 Nec Corp 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
US20120232697A1 (en) 2009-11-17 2012-09-13 Lee Jeihun Robot cleaner and controlling method thereof
WO2018112495A2 (de) 2016-12-22 2018-06-28 RobArt GmbH Autonomer mobiler roboter und verfahren zum steuern eines autonomen mobilen roboters
CN110281248A (zh) 2019-06-21 2019-09-27 闫志伟 一种送菜机器人

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6360362B1 (en) 1998-02-20 2002-03-19 Intel Corporation Automatic update of camera firmware
US7127087B2 (en) * 2000-03-27 2006-10-24 Microsoft Corporation Pose-invariant face recognition system and process
KR100543706B1 (ko) * 2003-11-28 2006-01-20 삼성전자주식회사 비젼기반 사람 검출방법 및 장치
JP4210270B2 (ja) * 2005-06-07 2009-01-14 ファナック株式会社 ロボット制御装置及びロボット制御方法
JP4898269B2 (ja) 2006-04-14 2012-03-14 キヤノン株式会社 通信装置及びそのインストール方法
KR20090062210A (ko) * 2007-12-12 2009-06-17 엘지전자 주식회사 로봇 청소기의 위상 지도 장치 및 위상 지도를 이용한 로봇청소기의 제어 방법
US8918208B1 (en) * 2012-02-07 2014-12-23 Ryan Hickman Projection of interactive map data
US8965104B1 (en) 2012-02-10 2015-02-24 Google Inc. Machine vision calibration with cloud computing systems
US9321173B2 (en) * 2012-06-22 2016-04-26 Microsoft Technology Licensing, Llc Tracking and following people with a mobile robotic device
US9046414B2 (en) * 2012-09-21 2015-06-02 Google Inc. Selectable lens button for a hazard detector and method therefor
US20150199917A1 (en) * 2012-11-12 2015-07-16 Barry J. French Fitness assessment method and system
US20210001810A1 (en) * 2019-07-02 2021-01-07 Duelight Llc System, method, and computer program for enabling operation based on user authorization
US20150314454A1 (en) * 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
US9542626B2 (en) * 2013-09-06 2017-01-10 Toyota Jidosha Kabushiki Kaisha Augmenting layer-based object detection with deep convolutional neural networks
US9737990B2 (en) * 2014-05-16 2017-08-22 Microsoft Technology Licensing, Llc Program synthesis for robotic tasks
US9953187B2 (en) * 2014-11-25 2018-04-24 Honeywell International Inc. System and method of contextual adjustment of video fidelity to protect privacy
US9722640B2 (en) * 2015-01-06 2017-08-01 Discovery Robotics Method and system for determining precise robotic position and orientation using near-simultaneous radio frequency measurements
JP2019506694A (ja) * 2016-01-12 2019-03-07 プリンストン・アイデンティティー・インコーポレーテッド 生体測定分析のシステムおよび方法
JP2017126935A (ja) * 2016-01-15 2017-07-20 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP6681800B2 (ja) * 2016-07-15 2020-04-15 株式会社日立製作所 制御装置、制御システム、および制御方法
US10987804B2 (en) * 2016-10-19 2021-04-27 Fuji Xerox Co., Ltd. Robot device and non-transitory computer readable medium
US10068135B2 (en) * 2016-12-22 2018-09-04 TCL Research America Inc. Face detection, identification, and tracking system for robotic devices
WO2018121750A1 (en) * 2016-12-29 2018-07-05 Kwan Kin Keung Kevin Monitoring and tracking system, method, article and device
AU2018210818B2 (en) * 2017-01-23 2022-04-28 Qualcomm Incorporated Single-processor computer vision hardware control and application execution
US10586106B2 (en) * 2017-02-02 2020-03-10 Microsoft Technology Licensing, Llc Responsive spatial audio cloud
CN106914894A (zh) * 2017-03-10 2017-07-04 上海云剑信息技术有限公司 一种具有自我意识能力的机器人系统
DE102017006529A1 (de) * 2017-07-11 2019-01-17 Drägerwerk AG & Co. KGaA Verfahren, Vorrichtung und Computerprogramm zur Erfassung von optischen Bilddaten einer Patientenumgebung und zur Erkennung einer Patientenüberprüfung
TWI808981B (zh) * 2017-09-11 2023-07-21 美商促美股份有限公司 可配置之烤箱架系統
US10898999B1 (en) * 2017-09-18 2021-01-26 X Development Llc Selective human-robot interaction
US10723027B2 (en) * 2017-09-26 2020-07-28 Toyota Research Institute, Inc. Robot systems incorporating cloud services systems
KR102500634B1 (ko) * 2018-01-05 2023-02-16 엘지전자 주식회사 안내 로봇 및 그의 동작 방법
US11615623B2 (en) * 2018-02-19 2023-03-28 Nortek Security & Control Llc Object detection in edge devices for barrier operation and parcel delivery
US10438477B1 (en) * 2018-03-16 2019-10-08 Sean Michael Siembab Surrounding intelligent motion sensor
US11318961B2 (en) * 2018-07-20 2022-05-03 Lg Electronics Inc. Robot for vehicle and control method thereof
WO2020058334A1 (en) * 2018-09-21 2020-03-26 Starship Technologies Oü Method and system for modifying image data captured by mobile robots
CN114494768B (zh) * 2018-10-29 2025-09-26 赫克斯冈技术中心 对设施进行监视的监视系统和方法、计算机程序产品
US20220016757A1 (en) * 2018-12-07 2022-01-20 Sony Group Corporation Information processing device, information processing method, and program
US12157235B2 (en) * 2019-05-31 2024-12-03 Siemens Aktiengesellschaft Method for dynamic multi-dimensional spatio-temporal human machine interaction and feedback
CN113316501B (zh) * 2019-05-31 2022-02-18 乐恩吉室株式会社 以危险度判断为基础的机器人移动控制方法及利用其的移动机器人装置
US11370123B2 (en) * 2019-06-17 2022-06-28 Lg Electronics Inc. Mobile robot and method of controlling the same
KR102736215B1 (ko) * 2019-06-28 2024-11-28 엘지전자 주식회사 로봇 시스템 및 그 제어방법
KR102300574B1 (ko) * 2019-07-10 2021-09-09 엘지전자 주식회사 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 방법 및 이를 구현하는 카트로봇
KR102628102B1 (ko) * 2019-08-16 2024-01-23 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
US11433544B2 (en) * 2019-08-18 2022-09-06 Cobalt Robotics Inc. Latency control in human operated mobile robot
KR102767657B1 (ko) * 2019-08-21 2025-02-17 엘지전자 주식회사 로봇 시스템 및 그 제어방법
US12304089B2 (en) * 2019-10-03 2025-05-20 Sony Group Corporation Data processing device, data processing method, and robot

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008068342A (ja) 2006-09-13 2008-03-27 Hitachi Ltd 運搬システム
US20120232697A1 (en) 2009-11-17 2012-09-13 Lee Jeihun Robot cleaner and controlling method thereof
JP2011198021A (ja) 2010-03-19 2011-10-06 Nec Corp 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
WO2018112495A2 (de) 2016-12-22 2018-06-28 RobArt GmbH Autonomer mobiler roboter und verfahren zum steuern eines autonomen mobilen roboters
CN110281248A (zh) 2019-06-21 2019-09-27 闫志伟 一种送菜机器人

Also Published As

Publication number Publication date
US20220288790A1 (en) 2022-09-15
CN114450726B (zh) 2026-02-06
US12304089B2 (en) 2025-05-20
WO2021065610A1 (ja) 2021-04-08
JPWO2021065610A1 (ja) 2021-04-08
CN114450726A (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
US12279701B2 (en) Controlling elements of furnishing units
US11270363B2 (en) Systems and methods for providing AI-based cost estimates for services
JP7683482B2 (ja) データ処理装置、データ処理方法、移動体
US8386078B1 (en) Methods and systems for providing a data library for robotic devices
US9424601B2 (en) Method, computer program product, and system for providing a sensor-based environment
CN110263611B (zh) 上下文感知定位、映射和跟踪
US20160366348A1 (en) Using a Depth Map of a Monitored Scene to Identify Floors, Walls, and Ceilings
US20190294129A1 (en) Work support system and information processing method
CN110174888A (zh) 自移动机器人控制方法、装置、设备及存储介质
US20250060732A1 (en) Data processing device, data processing method, and robot
EP3550493A1 (en) Systems and methods for providing ai-based cost estimates for services
CN114432699A (zh) 虚拟房间的装饰方法、装置、设备及介质
US20220318816A1 (en) Speech, camera and projector system for monitoring grocery usage
JP7741074B2 (ja) 行動認識装置、行動認識方法、及びプログラム
US20250017383A1 (en) Temperature controlled heating-capable seating unit
EP4730823A1 (en) Method and apparatus for providing recipe image
CN113848781A (zh) 智能服务系统和方法
KR102637589B1 (ko) 로봇을 이용하여 광고 콘텐츠를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CA3153861A1 (en) Controlling elements of furnishing units
US20240427484A1 (en) Client device for facilitating experiences based on proximity-based interactions with furnishing units
US20240423376A1 (en) Temperature controlled multi-zone seating unit
US20250085721A1 (en) Generation device, robot, generation method, and program
US20240345596A1 (en) Mobile robot and method for controlling mobile robot
JP7388309B2 (ja) 遠隔ショッピングシステム、遠隔ショッピング方法、及びプログラム
KR20240095592A (ko) 물품을 서빙하기 위한 서빙 로봇 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250415

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250428

R150 Certificate of patent or registration of utility model

Ref document number: 7683482

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150