JP7719783B2 - 制御モード切替装置、制御モード切替方法、および、プログラム - Google Patents

Description

本開示は、ロボットの制御モードを切り替える制御モード切替装置、および、制御モード切替方法に関する。

近年、多くのロボットシステム（ロボット）が、日常生活で利用されるようになり、ロボットの重要性が高まってきている。特に最近では労働力不足、物流の増加等の背景により、自動運転トラック、自律配送ロボット等の普及が期待されている。

このようなモビリティロボットは、工場等の予め定められた環境で動作する従来型の産業用ロボットとは異なり、公道等の公共の場で動作することが想定されている。

公共の場で動作するロボットには、不正アクセス、不正制御等の多様なセキュリティリスクが存在する。さらにロボットのセキュリティリスクは、従来のＩＴシステムにおける情報窃取、サービス不全のリスク等だけでなく、ロボット近辺の人、モノ、環境等に影響が及ぶ場合がある。

このような状況において、例えば自動車の制御ネットワークでは、セキュリティ異常が発生していないかを監視し、対応する方法が開示されている（例えば特許文献１を参照）。

特許第６５０８６３１号公報

しかしながら、特許文献１のような方法では、車載ネットワークに対する攻撃が発生したことを検出することが可能となるものの、制御中のロボットに対して即時に取るべき対応までを判断することはできない。

例えば、攻撃検出時のロボットの制御状態によっては、単純にロボットを停止させることで、反って被害が大きくなることも考えられる。そのため、攻撃検出時には、安全な制御モードでロボットの制御を継続可能とすることが求められることがある。

そこで、本開示は、安全な制御を継続するための制御モード切替装置、および、制御モード切替方法を提供する。

本開示の一態様に係る制御モード切替装置は、ロボットの制御モードを切り替える制御モード切替装置であって、前記制御モードは、外部ネットワークを介して第１ユーザにより制御される遠隔制御モード、第２ユーザからの前記外部ネットワークを介さない操作により制御される手動制御モード、および、前記ロボットに設けられたセンサにより取得されたセンサ情報に基づいて制御される自律制御モードのうちの２つ以上を含み、前記制御モード切替装置は、前記ロボット内の制御ネットワーク上の通信メッセージと、前記制御モードとに基づいて、前記第１ユーザまたは前記第２ユーザの制御に起因するユーザ異常、前記制御ネットワークに起因するロボット異常、前記ロボットの動作環境に起因する動作環境異常、および、前記制御ネットワークに接続され前記ロボットを制御する制御装置が動作させるアプリケーションに起因するアプリケーション異常のいずれか１つ以上の異常の検知結果を取得する取得部と、取得された前記検知結果に基づいて、検知された前記異常の種類ごとに、当該異常の種類が前記ロボットにおける異常発生の要因である可能性を示すスコアを算出し、算出された前記スコアに基づいて、前記ロボットの制御モードを切り替える切替部とを備える。

本開示の一態様に係る制御モード切替方法は、ロボットの制御モードを切り替える制御モード切替方法であって、前記制御モードは、外部ネットワークを介して第１ユーザにより制御される遠隔制御モード、第２ユーザからの前記外部ネットワークを介さない操作により制御される手動制御モード、および、前記ロボットに設けられたセンサにより取得されたセンサ情報に基づいて制御される自律制御モードのうちの２つ以上を含み、前記制御モード切替方法は、前記ロボット内の制御ネットワーク上の通信メッセージと、前記制御モードとに基づいて、前記第１ユーザまたは前記第２ユーザの制御に起因するユーザ異常、前記制御ネットワークに起因するロボット異常、前記ロボットの動作環境に起因する動作環境異常、および、前記制御ネットワークに接続され前記ロボットを制御する制御装置が動作させるアプリケーションに起因するアプリケーション異常のいずれか１つ以上の異常の検知結果を取得し、取得された前記検知結果に基づいて、検知された前記異常の種類ごとに、当該異常の種類が前記ロボットにおける異常発生の要因である可能性を示すスコアを算出し、算出された前記スコアに基づいて、前記ロボットの制御モードを切り替える。

本開示によれば、安全な制御を継続することを可能な制御モード切替装置等を実現することができる。

図１は、実施の形態における、ロボット監視システムの全体構成図である。 図２は、実施の形態における、ロボットに搭載されるロボットネットワークの構成図である。 図３は、実施の形態における、ＴＣＵ（Ｔｅｌｅｍａｔｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）の構成図である。 図４は、実施の形態における、セントラルＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）の構成図である。 図５は、実施の形態における、ユーザインタフェースＥＣＵの構成図である。 図６は、実施の形態における、Ｅｔｈｅｒｎｅｔ（登録商標、以下同様）スイッチの構成図である。 図７は、実施の形態における、自律運転ＥＣＵの構成図である。 図８は、実施の形態における、センサＥＣＵの構成図である。 図９は、実施の形態における、フリート管理サーバの構成図である。 図１０は、実施の形態における、監視サーバの構成図である。 図１１は、実施の形態における、遠隔制御端末の構成図である。 図１２は、実施の形態における、異常検知結果の一例を示す図である。 図１３は、実施の形態における、信用スコアの一例を示す図である。 図１４は、実施の形態における、ユーザ情報の一例を示す図である。 図１５は、実施の形態における、制御モードの一例を示す図である。 図１６は、実施の形態における、ロボット状態の一例を示す図である。 図１７は、実施の形態における、アカウント情報の一例を示す図である。 図１８は、実施の形態における、ロボット信用スコアの一例を示す図である。 図１９は、実施の形態における、ユーザ信用スコアの一例を示す図である。 図２０は、実施の形態における、ユーザの不正な遠隔制御に対する制御モード切替シーケンスを示す図である。 図２１は、実施の形態における、近接第三者による攻撃に対する制御モード切替シーケンスを示す図である。 図２２は、実施の形態における、セントラルＥＣＵの異常対応処理の全体を示すフローチャートである。 図２３は、実施の形態における、セントラルＥＣＵの信用スコア更新処理を示すフローチャートである。 図２４は、実施の形態における、セントラルＥＣＵの異常対応処理を示すフローチャートである。 図２５は、実施の形態における、セントラルＥＣＵの制御モード切替処理を示すフローチャートである。

（本開示に至った経緯）
本開示の説明に先立ち、本開示に至った経緯について説明する。

「背景技術」でも記載したように、自動運転トラック、自律配送ロボット等のロボットの普及が期待されている。しかし、このようなモビリティロボットは、工場等の予め定められた環境で動作する従来型の産業用ロボットとは異なり、公道等の様々な環境で動作することを想定しており、完全自律制御の実現には課題が残る。

そこで、ロボットが自律制御困難な場面への対応、ロボットの効率的な運行等を実現するため、遠隔オペレータによる遠隔監視または遠隔制御が可能なロボット、多数のロボットの状態を管理するフリートマネジメントシステム等が求められる。

このような技術を活用することで、リモートワーク市場を拡大し、身体的な理由、居住地、労働時間の問題等により働けなかった人に対しても職場を提供することが可能になり、多くの課題の解消に寄与することができる。

一方で、公共の場で動作するロボットに対するサイバーセキュリティの課題も存在する。例えば、自動車においては、遠隔から車載ネットワークに侵入し、自動車を不正に制御する事例が報告されている。また、船舶システムのＧＰＳ（Ｇｒｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）に対して偽装した信号を送信することで、船舶を誘導する攻撃事例も発生している。

このように、公共の場で動作するロボットは、ロボット内の制御ネットワーク、制御アプリケーション、制御装置、センサのセキュリティを確保するだけでなく、ロボットが実際に動作する環境が信頼できないこと、悪意のある第三者が物理的にアクセスする可能性等も考慮にいれる必要がある。

また、ロボットにアクセスする外部装置、例えばサーバ、クライアントアプリケーションが動作する端末等のセキュリティも考慮する必要がある。

さらに、遠隔制御ロボットにおいては、不特定多数の遠隔オペレータが不特定多数のロボットの制御を行うことにより、遠隔オペレータの負荷分散、および、必要な時に必要な労働力を得ることによる労働力の効率的なシェアリングが進むことも予想される。このような場合に、不特定多数の遠隔オペレータによる不正な制御等も考慮にいれる必要がある。

このように、公共の場で動作するロボットは、様々なセキュリティリスクが存在する。さらにロボットのセキュリティリスクは、従来のＩＴシステムにおける情報窃取、サービス不全のリスク等だけでなく、ロボット近辺の人、モノ、環境等に影響が及ぶ場合がある。

公共の場で動作するロボットのセキュリティリスクは、人・モノ・環境への物理的な損害へつながる可能性があるため、攻撃検出時にはただちに安全な状態へ移行する必要があるものの、攻撃検出時のロボットの制御状態によっては、単純にロボットを停止させることで、反って被害が大きくなることも考えられる。

そのため、攻撃検出時には、ロボットに発生した攻撃の原因を突き止め、適切な制御モードでロボットの制御を継続可能なシステムが求められることがある。例えば、攻撃検出時に安全な制御モードでロボットの制御を継続可能なシステムが求められることがある。

そこで、本願発明者らは、安全な制御を継続するための制御モード切替装置、および、制御モード切替方法について鋭意検討し、以下に示す制御モード切替装置、および、制御モード切替方法を創案した。

本開示の一態様に係る制御モード切替装置は、ロボットの制御モードを切り替える制御モード切替装置であって、前記制御モードは、外部ネットワークを介して第１ユーザにより制御される遠隔制御モード、第２ユーザからの前記外部ネットワークを介さない操作により制御される手動制御モード、および、前記ロボットに設けられたセンサにより取得されたセンサ情報に基づいて制御される自律制御モードのうちの２つ以上を含み、前記制御モード切替装置は、前記ロボット内の制御ネットワーク上の通信メッセージと、前記制御モードとに基づいて、前記第１ユーザまたは前記第２ユーザの制御に起因するユーザ異常、前記制御ネットワークに起因するロボット異常、前記ロボットの動作環境に起因する動作環境異常、および、前記制御ネットワークに接続され前記ロボットを制御する制御装置が動作させるアプリケーションに起因するアプリケーション異常のいずれか１つ以上の異常の検知結果を取得する取得部と、取得された前記検知結果に基づいて、検知された前記異常の種類ごとに、当該異常の種類が前記ロボットにおける異常発生の要因である可能性を示すスコアを算出し、算出された前記スコアに基づいて、前記ロボットの制御モードを切り替える切替部とを備える。

これにより、ロボットにおける異常の検知結果に基づく異常発生の要因に応じて制御モードを切り替えることが可能となり、ロボットを安全に保つために効果的である。よって、安全な制御を継続することを可能な制御モード切替装置を実現することができる。

また、例えば、前記センサ情報には、前記ロボットの位置情報、加速度、走行速度、および、カメラ画像のうち少なくとも１つ以上が含まれ、前記ユーザ異常は、前記制御モードが前記手動制御モードまたは前記遠隔制御モードであるときに、前記位置情報が予め制御が想定されている範囲の逸脱、所定の閾値を超える前記加速度または前記走行速度、および、前記カメラ画像に基づく予め想定されていない人またはモノとの接触または接近のいずれかが検知される異常であり、前記ロボット異常は、前記制御ネットワークの通信情報に含まれる故障の通知、または、前記制御ネットワークの通信異常のいずれかが検知される異常であり、前記動作環境異常は、前記位置情報の不連続な変化または無効な値、前記外部ネットワークの通信異常、前記制御ネットワークの電圧変化、前記ロボットの分解のいずれかが検知される異常であってもよい。

これにより、ユーザに起因する異常と、ロボットに起因する異常と、動作環境に起因する異常とを検出することが可能となり、異常に対して適切に制御モードを切り替えることができ効果的である。

また、例えば、前記異常の種類は、ユーザ、ロボット、動作環境、および、アプリケーションのうち少なくとも２つ以上を含み、前記切替部は、前記検知結果が、前記ユーザ異常を検知したことを含む場合にユーザのスコアを更新し、前記ロボット異常を検知したことを含む場合に前記ロボットのスコアを更新し、前記動作環境異常を検知したことを含む場合に動作環境のスコアを更新し、前記アプリケーション異常を検知したことを含む場合に、前記アプリケーションのスコアを更新してもよい。

これにより、検出した異常の種類をもとに、異常の発生原因の候補に対してスコアを算出することが可能となり、スコアに基づいて適切な制御モードに切り替えることができ効果的である。

また、例えば、前記スコアの更新は、スコアを減少することであり、前記切替部は、さらに、複数の前記第１ユーザごとに前記スコアを算出し、前記制御モードが前記遠隔制御モードであり、かつ、前記スコアが第１閾値以下となった不正な第１ユーザが前記ロボットの制御を行っている場合に、当該不正な第１ユーザによる前記制御を受け付けない、他の第１ユーザへの変更を要求、または、前記制御モードを前記遠隔制御モード以外の制御モードに切り替えの少なくとも１つを行い、前記ロボットのスコアが、第２閾値以下となった場合に、前記制御モードを、前記ロボットの制御を限定して、安全な状態で停止させる縮退モードに切り替え、前記動作環境のスコアが、第３閾値以下となった場合に、前記動作環境の確認を行うためのアラートを外部へ要求してもよい。

これにより、スコアの値と、現在の制御モードとに基づいて、ロボットの制御モードの切り替え方法を決定することが可能となり、より安全なロボットの実現に効果的である。

また、例えば、前記切替部は、２種類以上の前記スコアが所定の閾値以下となった場合は、前記ロボットのスコア、前記動作環境のスコア、前記ユーザのスコアの優先順位で、各スコアに基づく対応を行ってもよい。

これにより、制御モードの切り替えのみでは安全な対応が困難なロボットに起因する異常に対して優先的に対応することで、安全性を重視したロボットの実現に効果的である。

また、例えば、前記切替部は、前記検知結果が前記ユーザ異常を検知したことを含み、かつ、前記ロボットのスコア、前記動作環境のスコア、および、前記アプリケーションのスコアのいずれかが所定の条件を満たす場合、前記ユーザのスコアを更新しなくてもよい。

ユーザ異常が他の異常によって引き起こされている、つまりユーザが原因ではないのにユーザ異常が検知されることがある。このような場合に、ユーザのスコアが低く算出されることを抑制することができる。つまり、ユーザのスコアをより正確に算出することができる。

また、例えば、前記アプリケーションは、前記遠隔制御モードのための第１アプリケーション、前記手動制御モードのための第２アプリケーション、および、前記自律制御モードのための第３アプリケーションを含み、前記検知結果には、前記アプリケーション異常として、前記第１アプリケーションの異常、前記第２アプリケーションの異常、および、前記第３アプリケーションの異常が含まれ、前記切替部は、前記第１アプリケーションの異常が検知された場合に、前記第１アプリケーションのスコアを減少させ、前記第２アプリケーションの異常が検知された場合に、前記第２アプリケーションのスコアを減少させ、前記第３アプリケーションの異常が検知された場合に、前記第３アプリケーションのスコアを減少させ、前記第１アプリケーションのスコアが第４閾値以下となった場合に、前記制御モードが前記遠隔制御モードとなることを禁止し、前記第２アプリケーションのスコアが第５閾値以下となった場合に、前記制御モードが前記手動制御モードとなることを禁止し、前記第３アプリケーションのスコアが第６閾値以下となった場合に、前記制御モードが前記自律制御モードとなることを禁止してもよい。

これにより、ロボット内部の異常を詳細に分類することが可能となり、適切な（例えば、安全な）制御モードの切り替え先を選択でき、安全性の向上に効果的である。

また、例えば、前記切替部は、前記センサ情報、および、前記ロボットの状態の少なくとも１つに基づいて前記ロボットが所定の制御状態であるか否かを判断し、前記ロボットが所定の制御状態である場合のみ、前記制御モードの切り替えを行ってもよい。

これにより、ロボットが、制御モードをただちに切り替えた場合に、安全性に問題がある制御を行っている期間を避けて、制御モードを切り替えることが可能となる。つまり、ロボットが安全な状態で、制御モードを切り替えることができる。

また、例えば、前記切替部は、前記ロボットの前記位置情報に基づいて、前記ロボットが所定の範囲に存在している場合のみ、前記制御モードの切り替えを行ってもよい。

これにより、ロボットが、制御モードをただちに切り替えた場合に、安全性に問題があるエリアで制御を行っている期間を避けて、制御モードを切り替えることが可能となる。つまり、制御モードを安全に切り替えられる範囲において、制御モードを切り替えることができる。

また、例えば、前記取得部は、前記通信メッセージと、前記制御モードとに基づいて、前記ユーザ異常、前記ロボット異常、前記動作環境異常、および、前記アプリケーション異常のいずれか１つ以上の異常を検知する異常検知部により実現されてもよい。

これにより、外部の装置から判断結果を取得することなく制御モード切り替えの処理を行うことができる。例えば、通信環境が悪い場合であっても、制御モード切り替えの処理をより確実に行うことができる。

また、本開示の一態様に係る制御モード切替方法は、ロボットの制御モードを切り替える制御モード切替方法であって、前記制御モードは、外部ネットワークを介して第１ユーザにより制御される遠隔制御モード、第２ユーザからの前記外部ネットワークを介さない操作により制御される手動制御モード、および、前記ロボットに設けられたセンサにより取得されたセンサ情報に基づいて制御される自律制御モードのうちの２つ以上を含み、前記制御モード切替方法は、前記ロボット内の制御ネットワーク上の通信メッセージと、前記制御モードとに基づいて、前記第１ユーザまたは前記第２ユーザの制御に起因するユーザ異常、前記制御ネットワークに起因するロボット異常、前記ロボットの動作環境に起因する動作環境異常、および、前記制御ネットワークに接続され前記ロボットを制御する制御装置が動作させるアプリケーションに起因するアプリケーション異常のいずれか１つ以上の異常の検知結果を取得し、取得された前記検知結果に基づいて、検知された前記異常の種類ごとに、当該異常の種類が前記ロボットにおける異常発生の要因である可能性を示すスコアを算出し、算出された前記スコアに基づいて、前記ロボットの制御モードを切り替える。

これにより、上記の制御モード切替装置と同様の効果を奏する。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭ等の非一時的記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。プログラムは、記録媒体に予め記憶されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。

以下、図面を参照しながら、本開示の実施の形態に係る制御モード切替装置および制御モード切替方法について説明する。なお、以下で説明する実施の形態は、いずれも本開示の好ましい一具体例を示す。つまり、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序等は、本開示の一例であり、本開示を限定する主旨ではない。本開示は、請求の範囲の記載に基づいて特定される。したがって、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素は、本開示の課題を達成するために必ずしも必要ではないが、より好ましい形態を構成する構成要素として説明される。

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、例えば、各図において縮尺等は必ずしも一致しない。また、各図において、実質的に同一の構成については同一の符号を付しており、重複する説明は省略または簡略化する。

また、本明細書において、同じ等の要素間の関係性を示す用語、並びに、数値、および、数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度（例えば、１０％程度）の差異をも含むことを意味する表現である。

（実施の形態）
以下、遠隔、自律、手動での制御を行う制御装置により制御可能なロボットにおける、当該ロボットの制御モードを切り替える制御モード切替装置および制御モード切替方法について説明する。

［１．１ ロボット監視システムの全体構成］
図１は、本実施の形態における、ロボット監視システムの全体構成図である。図１においてロボット監視システムは、ロボット１０ａと、ロボット１０ｂと、ロボット１０ｃと、ネットワーク２０と、フリート管理サーバ３０と、監視サーバ４０と、遠隔制御端末５０とを備える。

ロボット１０ａ、１０ｂおよび１０ｃは、公道等の公共の場を含む領域において、所定の作業を行うロボットであり、例えば、自動運転トラック、自律配送ロボット等が例示されるが、これに限定されない。ロボット１０ａ、１０ｂおよび１０ｃは、２以上の制御モードで動作可能な移動体である。ロボット１０ａ、１０ｂおよび１０ｃが有する制御モードは、外部ネットワークを介して第１ユーザにより制御される遠隔制御モード、第２ユーザからの外部ネットワークを介さない操作（例えば、手動の操作）により制御される手動制御モード、および、ロボット１０ａ、１０ｂおよび１０ｃのそれぞれに設けられたセンサにより取得されたセンサ情報に基づいてそれぞれが制御される自律制御モードのうちの２つ以上を含む。本実施の形態では、ロボット１０ａ、１０ｂおよび１０ｃは、遠隔制御モード、手動制御モード、および、自律制御モードの３つのモードを有する。

ロボット１０ａ、１０ｂおよび１０ｃは、ロボットの制御状態、位置情報、セキュリティアラート等のロボット状態を、ネットワーク２０を介して、フリート管理サーバ３０、および、監視サーバ４０へ通知する。ロボット１０ａ、１０ｂ、１０ｃは同じ構成であるため、これらをまとめてロボット１０として説明する場合がある。

ネットワーク２０は、ロボット１０ａと、ロボット１０ｂと、ロボット１０ｃと、フリート管理サーバ３０と、監視サーバ４０と、遠隔制御端末５０とを互いに通信可能（例えば、無線通信可能）に接続する。ネットワーク２０は、インターネットまたは専用回線を含みうる。ネットワーク２０は、ロボット１０とロボット１０の外部の装置とを接続するネットワークであり、外部ネットワークの一例である。

フリート管理サーバ３０は、ロボット１０から当該ロボット１０のロボット状態を受信し、ロボット１０が適切に運行されているか否かを管理するためのインタフェースをロボット１０の管理者へ提供する。

監視サーバ４０は、主にロボット１０にセキュリティインシデントが発生していないかを監視するサーバであり、ロボット１０からセキュリティアラートを受信し、分析・対応するためのインタフェースを、セキュリティオペレーションセンター、または、セキュリティインシデントレスポンスチームに提供する。

なお、ロボット１０を遠隔制御するためのインタフェースは、フリート管理サーバ３０から提供されていてもよい。

遠隔制御端末５０は、遠隔操作モードで動作するロボット１０を遠隔から操作するための情報処理装置である。遠隔制御端末５０は、遠隔操作者からの入力（例えば、アクセル開度、ブレーキ圧、ステアリング角度等）に基づいた制御信号を生成し、ネットワーク２０を介してロボット１０に送信することで、当該ロボット１０を遠隔操作する。なお、遠隔操作者は、例えば、ロボット１０を遠隔管理してもよい。遠隔操作者は、第１ユーザの一例である。ネットワーク２０を介して遠隔操作者によりロボット１０が制御される制御モードは、遠隔制御モードの一例である。

［１．２ ロボットのネットワーク構成］
図２は、本実施の形態における、ロボット１０に搭載されるロボットネットワークシステムの構成図である。図２においてロボットネットワークシステム（ロボットネットワーク）は、ＴＣＵ（Ｔｅｌｅｍａｔｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１００と、セントラルＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）２００と、ユーザインタフェースＥＣＵ３００と、Ｅｔｈｅｒｎｅｔスイッチ４００と、自律運転ＥＣＵ５００と、センサＥＣＵ６００と、アクチュエータＥＣＵ７００とを備える。図２では省略されているが、ロボットネットワークには、さらに多くのＥＣＵが含まれうる。ロボットネットワークシステムは、制御システムの一例である。また、ロボットネットワークシステム内で送受信される情報は、通信メッセージの一例である。

各ＥＣＵは、例えば、プロセッサ（マイクロプロセッサ）、メモリ等のデジタル回路、アナログ回路、通信回路等を含む装置である。メモリは、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等であり、プロセッサにより実行される制御プログラム（コンピュータプログラム）を記憶することができる。例えばプロセッサが、制御プログラムにしたがって動作することにより、ＥＣＵは各種機能を実現する。コンピュータプログラムは、所定の機能を実現するために、プロセッサに対する命令コードが複数個組み合わされて構成されたものである。

本実施の形態では、各装置がＥｔｈｅｒｎｅｔ（Ｅｔｈｅｒｎｅｔに準拠して構築されるＥｔｈｅｒｎｅｔネットワーク）により接続し、通信を行う例を示しているが、ロボットネットワークはＥｔｈｅｒｎｅｔ（Ｅｔｈｅｒｎｅｔネットワーク）に限らない。ロボットネットワークは、例えば、Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＣＡＮ）（ＣＡＮネットワーク）であってもよいし、ＦｌｅｘＲａｙ、専用通信線、無線通信を用いたネットワークであってもよい。また、ロボットネットワークは、ネットワーク２０とは異なるネットワークであり、ロボット１０を制御するためにロボット１０の内部（物理的に内部）に設けられる制御ネットワーク（車載制御ネットワーク）である。

ＴＣＵ１００は、ロボット１０の外のネットワーク（外部ネットワーク）との通信インタフェースを備えており、セントラルＥＣＵ２００から通知される分析レポート等を、ネットワーク２０を介して、フリート管理サーバ３０および監視サーバ４０へ通知する機能を有する。

セントラルＥＣＵ２００は、ロボット１０の中心的な役割を担うＥＣＵであり、様々なアプリケーションが動作し、ロボット１０の機能を実現する。

セントラルＥＣＵ２００は、ロボット１０の制御モードを遠隔制御とするか、自律制御とするか、手動制御とするかの判断を行う。

セントラルＥＣＵ２００は、ロボット１０で発生した異常を検知し、発生した異常を分析することで、ロボット１０に発生した異常の原因を推定し、現在のロボット１０の制御状態に応じて、安全な制御モードに切り替える機能を持つ。セントラルＥＣＵ２００は、例えば、発生した異常（検知された異常）と当該異常の原因とが対応付けられたテーブルに基づいて、異常の原因を推定してもよい。

また、セントラルＥＣＵ２００は、Ｅｔｈｅｒｎｅｔスイッチ４００から受信するＥｔｈｅｒｎｅｔフレームに含まれる制御ネットワークの情報をもとに、ロボット１０の制御状態を判断し、フリート管理サーバ３０へ通知するための情報をＴＣＵ１００に通知する。

また、セントラルＥＣＵ２００は、ロボット１０内で発生した、異常について、監視サーバ４０へ通知するための情報をＴＣＵ１００に通知する。

セントラルＥＣＵ２００は、制御モード切替装置の一例である。

ユーザインタフェースＥＣＵ３００は、主に手動制御モード時に、ロボット１０を制御するためのユーザインタフェースからユーザによる操作を受け付け、ロボット１０を制御するための操作内容、例えば、ステアリング、加減速等を制御する操作内容をセントラルＥＣＵ２００へ通知する。ユーザインタフェースとしては、例えば、操作機器、タッチパネル、ＵＳＢポート、Ｗｉ－Ｆｉ（登録商標、以下同様）モジュール等の機器が例示される。なお、当該ユーザは、第２ユーザの一例である。また、ユーザインタフェースＥＣＵ３００を介した制御は、ネットワーク２０を介さない操作による制御の一例である。また、ユーザインタフェースＥＣＵ３００を介してユーザによりロボット１０が制御される（例えば、直接制御される）制御モードは、手動制御モードの一例である。

Ｅｔｈｅｒｎｅｔスイッチ４００は、セントラルＥＣＵ２００、自律運転ＥＣＵ５００およびアクチュエータＥＣＵ７００と、Ｅｔｈｅｒｎｅｔにより接続され、各装置から送信されるＥｔｈｅｒｎｅｔフレーム（通信メッセージの一例）を適切な装置に届けるために転送する。

自律運転ＥＣＵ５００は、主にロボット１０が自律制御モードの時に、センサＥＣＵ６００により取得されるＥｔｈｅｒｎｅｔフレームに含まれるセンサ情報を用いて、アクチュエータＥＣＵ７００に対してアクチュエータの制御指令を行うことでロボット１０の制御を実現する。

センサＥＣＵ６００は、例えば、ロボット１０の周辺の映像を撮影するカメラ、ロボット１０の周辺の物体検知を行うミリ波レーダ、速度センサ、加速度センサ、または、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）と接続され、各種情報をＥｔｈｅｒｎｅｔフレームに含めてＥｔｈｅｒｎｅｔスイッチ４００を介して、他の装置に通知する。例えば、センサ情報には、ロボット１０の位置情報、加速度、走行速度、および、カメラ画像のうち少なくとも１つ以上が含まれる。

アクチュエータＥＣＵ７００は、ロボット１０の駆動・制御に関わるアクチュエータ、例えば、走行・飛翔するためのモータおよびエンジン、旋回、方向転換するためのステアリング等の制御を行う。

なお、本実施の形態では、センサＥＣＵ６００と、アクチュエータＥＣＵ７００とがそれぞれ一つずつ存在する例を示しているが、ロボットネットワーク上には複数のセンサＥＣＵ、または、複数のアクチュエータＥＣＵが存在してもよい。

［１．３ ＴＣＵの構成］
図３は、本実施の形態における、ＴＣＵ１００の構成図である。図３においてＴＣＵ１００は、外部通信部１０１と、アプリ部１０２と、内部通信部１０３と、侵入検知部１０４とを有する。

外部通信部１０１は、ネットワーク２０との通信インタフェースであり、フリート管理サーバ３０および監視サーバ４０との通信を行い、通信内容について、アプリ部１０２と情報のやりとりを行う。

アプリ部１０２は、ロボット１０の状態に関する情報をフリート管理サーバ３０または監視サーバ４０へ通知するためのアプリケーション、および、ネットワーク２０から受信したデータに基づいて、セントラルＥＣＵ２００へデータを送信するアプリケーションが動作する。

内部通信部１０３は、セントラルＥＣＵ２００と接続し、アプリ部１０２とＥｔｈｅｒｎｅｔフレームのやりとりを行う。

侵入検知部１０４は、Ｉｎｔｒｕｓｉｏｎ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ（ＩＤＳ）であり、アプリ部１０２の挙動からアプリケーションが不正な動作を行っていないかを監視する。例えば、侵入検知部１０４は、アプリケーションのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはメモリのリソース使用率、通信量、通信先、ファイルのアクセス権限、および、不正なプロセスの起動等を監視し、基準値に収まっているかを監視する。また、侵入検知部１０４は、外部通信部１０１が不正なアクセス先と通信を行っていないか、通信フレーム内にマルウェアが含まれていないか、通信量が通常値よりも増大していないか等を監視する。異常な挙動が観測された場合、侵入検知部１０４は、セキュリティアラートを通知するため、アプリ部１０２へセキュリティアラートの送信要求を行い、セントラルＥＣＵ２００へセキュリティ異常を通知する。

［１．４ セントラルＥＣＵの構成］
図４は、本実施の形態における、セントラルＥＣＵ２００の構成図である。図４においてセントラルＥＣＵ２００は、通信ポート部２０１と、ホストＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）部２０２と、ゲストＯＳ部２０３と、対応判断部２０４と、異常検知部２０５と、信用スコア更新部２０６と、ユーザ管理部２０７と、異常検知結果保持部２０８と、信用スコア保持部２０９と、ユーザ情報保持部２１０と、制御モード保持部２１１とを有する。

通信ポート部２０１は、ＴＣＵ１００、ユーザインタフェースＥＣＵ３００、および、Ｅｔｈｅｒｎｅｔスイッチ４００のそれぞれと接続されており、通信を行う。また、通信ポート部２０１は、通信内容に応じて適切なネットワークへ転送する機能を有する。また、通信ポート部２０１は、ホストＯＳ部２０２と情報の送受信を行う。

ホストＯＳ部２０２は、セントラルＥＣＵ２００のメインのＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）であり、通信ポート部２０１と情報の授受を行い、通信内容をゲストＯＳ部２０３に通知する。また、ホストＯＳ部２０２は、対応判断部２０４へも同様に通信内容の通知を行う。

ホストＯＳ部２０２は、定期的にロボット１０の状態を、フリート管理サーバ３０と、監視サーバ４０とに通知する。ロボット１０の状態は、位置情報、制御モード、ユーザ情報、異常検知結果等が含まれうる。

ゲストＯＳ部２０３は、セントラルＥＣＵ２００のアプリケーションが動作するＯＳである。セントラルＥＣＵ２００のアプリケーションは、例えば、ユーザインタフェースＥＣＵ３００から受信したユーザの制御情報をもとに、ロボット１０を制御するための制御指示をＥｔｈｅｒｎｅｔスイッチ４００へ送信要求を行う手動制御アプリケーション（手動制御アプリ）、ＴＣＵ１００から受信した遠隔ユーザの制御情報をもとにロボット１０を制御するための制御指示をＥｔｈｅｒｎｅｔスイッチ４００へ送信要求を行う遠隔制御アプリケーション（遠隔制御アプリ）等が動作している。ゲストＯＳ部２０３は、ロボットネットワークに接続されロボット１０を制御する制御装置の一例である。制御装置は、ロボット１０内に設けられる。

対応判断部２０４は、ロボットネットワークから受信したセキュリティアラートを異常検知結果保持部２０８へ格納する。

また、ロボット１０に異常が発生したときに、対応判断部２０４は、信用スコア保持部２０９に格納されている信用スコアと、制御モード保持部２１１に格納されているロボット１０の制御モード（例えば、現在の制御モード）とに基づいて、安全な制御を継続可能な制御モードに切り替えるための処理を行う。対応判断部２０４は、ロボット１０に異常が発生したときに、例えば、安全な制御を継続可能な制御モードに切り替える判断を行う。対応判断部２０４は、信用スコア更新部２０６により算出された（更新された）信用スコアに基づいて、ロボットの制御モードを切り替える。具体的には、対応判断部２０４は、算出された信用スコアが所定値以下となった場合に、所定値以下となった信用スコアの種類と、現在の制御モードとに応じて、制御モード保持部２１１の制御モードを変更する。なお、信用スコアは、異常発生の要因である可能性を示すスコアの一例である。また、制御モード保持部２１１の制御モードを変更することは、制御モードを切り替えることの一例である。

異常検知部２０５は、ゲストＯＳ部２０３で動作するアプリケーションの監視と、通信ポート部２０１から受信した制御ネットワーク上のフレームをもとに異常制御の監視とを行う。当該フレームは、通信メッセージの一例である。

ゲストＯＳ部２０３のアプリケーションの監視において、異常検知部２０５は、アプリケーションが不正な動作を行っていないかを監視する。異常検知部２０５は、例えば、アプリケーションのＣＰＵまたはメモリのリソース使用率、通信量、通信先、ファイルのアクセス権限、不正なプロセスの起動等を監視し、基準値に収まっているかを監視する。

異常制御の監視において、異常検知部２０５は、ロボット１０の危険な制御、不審な制御等に関わる異常挙動を検知する。

異常挙動としては、例えば、閾値を超える加速度、緊急ブレーキ等の安全機構の発動、ロボット１０が想定していない人もしくはモノとの接触、または、ロボット１０の人もしくはモノとの閾値以下の距離までの接近、ロボット１０の予め設定されている運行ルートからの逸脱、ＧＰＳ信号の不整合、ロボット１０に対するタンパリング、ロボット１０の分解、ユーザインタフェースＥＣＵ３００への不正な装置の接続等が例示される。ロボット１０に対するタンパリングとしては、例えば、内部ネットワーク（ロボットネットワーク）へのタッピングである。

異常挙動としては、加えてユーザの認証失敗、通信メッセージの認証失敗、ＥＣＵの故障情報の通知等が含まれていてもよい。

異常検知部２０５は、検出した異常を異常検知結果保持部２０８に異常検知時刻とともに記録し、異常を検出したことを信用スコア更新部２０６、および、対応判断部２０４に通知する。

ここで、異常検知部２０５が検知する異常について説明する。異常検知部２０５は、上記の監視等により、第１ユーザまたは第２ユーザの制御に起因するユーザ異常、制御ネットワークに起因するロボット異常、ロボット１０の動作環境に起因する動作環境異常、および、制御ネットワークに接続されロボット１０を制御する制御装置が動作させるアプリケーションに起因するアプリケーション異常のいずれか１つ以上の異常を検知する。異常検知部２０５は、例えば、ロボット１０内の制御ネットワーク上の通信メッセージと、ロボット１０の現在の制御モードとに基づいて、当該いずれか１つ異常を検知する。

ユーザ異常は、制御モードが手動制御モードまたは遠隔制御モードであるときに、位置情報が予め制御が想定されている範囲の逸脱、所定の閾値を超える加速度または走行速度、および、カメラ画像に基づく予め想定されていない人またはモノとの接触または接近のいずれかが検知される異常である。

ロボット異常は、制御ネットワークの通信情報に含まれる故障の通知、または、制御ネットワークの通信異常のいずれかが検知される異常である。

動作環境異常は、ロボット１０の位置情報の不連続な変化または無効な値、外部ネットワークの通信異常、制御ネットワークの電圧変化、ロボット１０の分解のいずれかが検知される異常である。

なお、異常検知部２０５は、異常を検知することで当該異常を取得する取得部の一例である。言い換えると、取得部は、通信メッセージと、制御モードとに基づいて、ユーザ異常、ロボット異常、動作環境異常、および、アプリケーション異常のいずれか１つ以上の異常を検知する異常検知部２０５により実現される。

なお、本実施の形態では、異常検知部２０５は、セントラルＥＣＵ２００内部に存在するが、異常検知部２０５の機能は、ロボット１０の内部に分散して配置されていてもよいし、フリート管理サーバ３０または監視サーバ４０にあってもよい。この場合、通信ポート部２０１は、フリート管理サーバ３０または監視サーバ４０の検知結果をＴＣＵ１００を介して取得する取得部の一例である。

信用スコア更新部２０６は、異常検知結果保持部２０８に格納されている異常検知結果と、制御モード保持部２１１に格納されている制御モードとに基づいて、異常発生の要因と考えられる対象の信用スコアを算出する。異常発生の要因と考えられる対象としては、アプリ（アプリケーション）、ユーザ、ロボット、通信、動作環境が例示される。アプリ、ユーザ、ロボット、通信、動作環境は、異常の対象（異常の種類）の一例である。

信用スコアは、アプリケーションごと、ユーザごと、ロボット１０内の装置ごと、通信路ごと、動作環境ごとに算出される。例えば、信用スコア更新部２０６は、ロボット１０が遠隔制御中にルートの逸脱の不正な制御のみが検出される場合には、ロボット１０の遠隔制御を行っているユーザが信用できないとして、ロボット１０を制御しているユーザの信用スコアを減少させる。また、信用スコア更新部２０６は、ルートの逸脱の不正な制御に加えて、ＧＰＳ信号の不整合も検出される場合には、ロボット１０が動作している環境の信用スコアを減少させ、ロボット１０で異常が検出される要因となる対象の信用スコアを減少させる。信用スコア更新部２０６は、例えば、検知された異常と、当該異常において減少させる異常の対象とが対応付けられたテーブルに基づいて、ロボット１０での異常の発生要因となる対象の信用スコア、つまり検知された異常に対応する異常の対象の信用スコアを減少させてもよい。

このように、信用スコア更新部２０６は、信用スコアを算出し、算出した信用スコアが所定値よりも低くなった場合には、ロボット１０の制御を現在のモードで継続するリスクが高いことを、対応判断部２０４へ通知する。信用スコア更新部２０６は、異常検知結果に基づいて、検知された異常に基づいて分類される異常の対象ごとの信頼スコアを算出するとも言える。

なお、上記では、信用スコア更新部２０６は、異常が検出されると、信用スコアを減少させる例について説明したが、これに限定されず、信用スコアを上昇させてもよい。

なお、上記の対応判断部２０４と信用スコア更新部２０６とを含んで、切替部が構成される。

ユーザ管理部２０７は、ロボット１０にログインしているユーザを管理する。ロボット１０には複数のユーザがログイン可能であり、ログインしているユーザはロボット１０のアプリケーションを利用することができる。ユーザごとに予めロボット１０の制御、監視、管理者の権限が与えられている。

ロボット１０にログインしており、かつ、制御権を与えられているユーザは、ロボット１０の遠隔制御が可能であり、ロボット１０にログインし、監視権を与えられているユーザは、ロボット１０のセンサ情報（例えばカメラ画像）にアクセスが可能になる。

また、ロボット１０にログインしており、かつ、管理者の権限を与えられているユーザは、制御権および監視権に加えて、異常検知結果保持部２０８に格納される異常検知結果、信用スコア保持部２０９に格納される信用スコア、ユーザ情報保持部２１０に格納されるユーザ情報、および、制御モード保持部２１１に格納される制御モードの情報の読み取りが可能になる。

ユーザ管理部２０７は、ロボット１０にログインするユーザの認証を行い、ユーザの権限とともにユーザ情報保持部２１０に格納されているユーザ情報の更新を行う。

異常検知結果保持部２０８には、ロボット１０に関わる異常検知結果が格納されている。異常検知結果保持部２０８に格納される異常検知結果の詳細は、図１２を用いて後述する。

信用スコア保持部２０９には、異常検知結果保持部２０８に格納されている異常検知結果と、制御モード保持部２１１に格納される制御モードとに基づいて、異常の発生要因となりうる対象ごとに保持される信用スコア、すなわち異常の発生要因となっている可能性の高さ、リスクの大きさ等の情報を保持している。信用スコア保持部２０９に格納される信用スコアの詳細は、図１３を用いて後述する。

ユーザ情報保持部２１０には、ロボット１０内にログインしているユーザの情報が格納されている。ユーザ情報保持部２１０に格納されるユーザ情報の詳細は、図１４を用いて後述する。

制御モード保持部２１１には、ロボット１０の現在の制御モードが格納されている。制御モード保持部２１１に格納される制御モードの詳細は、図１５を用いて後述する。

［１．５ ユーザインタフェースＥＣＵの構成図］
図５は、本実施の形態における、ユーザインタフェースＥＣＵ３００の構成図である。図５においてユーザインタフェースＥＣＵ３００は、通信ポート部３０１と、外部機器接続部３０２とを有する。

通信ポート部３０１は、セントラルＥＣＵ２００と接続されており、セントラルＥＣＵ２００とメッセージの授受を行う。通信ポート部３０１は、主に外部機器接続部３０２から受信した制御情報をセントラルＥＣＵ２００へ通知する役割を担う。

外部機器接続部３０２は、ロボット１０の手動制御を行うユーザが操作する機器、または、機器のインタフェースに接続している。外部接続機器としては、ステアリング、コントローラ、スイッチ、タッチパネル等が例示される。また、外部接続機器のインタフェースとしては、ＵＳＢポート、Ｗｉ－Ｆｉモジュール、診断ポート、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信インタフェースが例示される。

［１．６ Ｅｔｈｅｒｎｅｔスイッチの構成図］
図６は、本実施の形態における、Ｅｔｈｅｒｎｅｔスイッチ４００の構成図である。図６において、Ｅｔｈｅｒｎｅｔスイッチ４００は、通信ポート部４０１と、侵入検知部４０２とを有する。

通信ポート部４０１は、４つの物理ポートを備え、４つの物理ポートはそれぞれ、セントラルＥＣＵ２００、自律運転ＥＣＵ５００、センサＥＣＵ６００、および、アクチュエータＥＣＵ７００と接続されており、受信したフレームの内容に応じて、フレームの転送を行う。

また、４つの物理ポートはそれぞれ、受信したフレームの監視を行うため、侵入検知部４０２にフレームを通知する。

侵入検知部４０２は、通信ポート部４０１から通知されたフレームを監視し、不正な通信が発生していないかどうかを確認するネットワークＩＤＳ（Ｉｎｔｒｕｓｉｏｎ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ）である。

不正な通信が発生していると判断された場合、侵入検知部４０２は、セキュリティアラートを生成し、通信ポート部４０１へセキュリティアラートの送信要求を行い、セントラルＥＣＵ２００に対してセキュリティアラートを通知する。

不正な通信は、予め設定されているアドレス以外のアドレスの利用がある、異常な通信量であるまたは通信パターンが所定の攻撃パターンに一致する場合に検知されうる。

［１．７ 自律運転ＥＣＵの構成図］
図７は、本実施の形態における、自律運転ＥＣＵ５００の構成図である。図７において自律運転ＥＣＵ５００は、通信ポート部５０１と、アプリ部５０２と、アプリ監視部５０３とを有する。

通信ポート部５０１は、Ｅｔｈｅｒｎｅｔスイッチ４００に接続され、フレームの送受信を行う通信インタフェースである。

アプリ部５０２は、ロボット１０の制御モードが自律制御モードの時に動作する自律制御アプリケーションが動作する。自律制御アプリケーションは、センサＥＣＵ６００から受信したセンサ値に基づいて、アクチュエータＥＣＵ７００に対してアクチュエータの制御指示のフレームの送信を行う。

アプリ監視部５０３は、アプリ部５０２の挙動を監視し、不正なプロセスの実行、異常なリソース使用の検出、診断コマンドのアクセスエラーおよびフレームに含まれるメッセージ認証コードの検証失敗等のセキュリティに関するイベントを検出する。

不正なセキュリティのイベントが検出された場合、アプリ監視部５０３は、セキュリティアラートを生成し、通信ポート部５０１へセキュリティアラートの送信要求を行い、セントラルＥＣＵ２００へセキュリティアラートを通知する。

［１．８ センサＥＣＵおよびアクチュエータＥＣＵの構成図］
次に、センサＥＣＵ６００およびアクチュエータＥＣＵ７００の構成について説明する。アクチュエータＥＣＵ７００の構成は、基本的にはセンサＥＣＵ６００と同じ構成であるので説明を省略する。なお、アクチュエータＥＣＵ７００の構成は、センサＥＣＵ６００と同じであるが、機能が異なる構成がある。

図８は、本実施の形態における、センサＥＣＵ６００の構成図である。図８においてセンサＥＣＵ６００は、通信ポート部６０１と、アプリ部６０２と、外部機器接続部６０３とを有する。

通信ポート部６０１は、Ｅｔｈｅｒｎｅｔスイッチ４００との通信インタフェースである。

アプリ部６０２は、外部機器接続部６０３から通知されるセンサ情報を、Ｅｔｈｅｒｎｅｔフレームとして構成し、通信ポート部６０１に対して送信要求を行う。アクチュエータＥＣＵ７００の場合、アプリ部６０２は、センサＥＣＵ６００から通知されるセンサ情報、セントラルＥＣＵ２００または自律運転ＥＣＵ５００から通知される制御指示等に基づいて、外部機器接続部６０３に接続されるアクチュエータを制御する。

外部機器接続部６０３は、ロボット１０に搭載される周辺環境およびロボット１０の状態を把握する（例えば、計測する）センサと接続され、センサ情報（例えば、計測結果）を受け取る。センサは、例えば、走行速度センサ、加速度センサ、ヨーレートセンサ、ＧＰＳ、カメラ、ＬｉＤＡＲ、ミリ波レーダ等である。アクチュエータＥＣＵ７００の場合、外部機器接続部６０３は、ロボット１０を制御するアクチュエータと接続される。アクチュエータは例えば、モータ、エンジン、ハンドル等である。

［１．９ フリート管理サーバの構成図］
図９は、本実施の形態における、フリート管理サーバ３０の構成図である。図９においてフリート管理サーバ３０は、通信部３１と、フリート管理部３２と、ロボット状態保持部３３と、アカウント情報保持部３４とを有する。

通信部３１は、ネットワーク２０と接続されており、ロボット１０および監視サーバ４０と通信を行う通信インタフェースである。

フリート管理部３２は、通信部３１から受信したロボット１０の情報を管理する。フリート管理部３２は、通信部３１から受信したロボット１０の制御状態に応じて、ロボット状態保持部３３に格納されているロボット１０の状態を更新する。

また、フリート管理部３２は、ロボット１０にログインしているユーザの情報をロボット１０から受け取り、アカウント情報保持部３４に保持されているアカウント情報を更新する。

ロボット状態保持部３３は、ロボット１０の状態が格納されている。ロボット状態保持部３３に格納されるロボット状態の詳細は、図１６を用いて後述する。

アカウント情報保持部３４は、ロボット１０にアクセス可能なユーザの情報を格納している。アカウント情報保持部３４に格納されているアカウント情報の詳細は、図１７を用いて後述する。

［１．１０ 監視サーバの構成図］
図１０は、本実施の形態における、監視サーバ４０の構成図である。図１０において監視サーバ４０は、通信部４１と、監視部４２と、分析インタフェース部４３と、ロボット信用スコア保持部４４と、ユーザ信用スコア保持部４５とを有する。

通信部４１は、ネットワーク２０と接続されており、ロボット１０およびフリート管理サーバ３０と通信を行う通信インタフェースである。

監視部４２は、ロボット１０から通知される、ロボット１０の状態、セキュリティアラート等に基づいて、ロボットにセキュリティインシデントが発生していないかを監視する。また、監視部４２は、ロボット１０から通知される信用スコアに基づいて、ロボット信用スコア保持部４４に格納されるロボット１０の信用スコアと、ユーザ信用スコア保持部４５に格納されるユーザの信用スコアとを更新する。

分析インタフェース部４３は、セキュリティインシデント発生時に、セキュリティオペレーションセンターまたはセキュリティインシデントレスポンスチームに対して、発生したセキュリティインシデントのレポートを通知するための、または、セキュリティアナリストが詳細な分析を行うための分析インタフェースである。

ロボット信用スコア保持部４４は、ロボット１０から通知される信用スコアに基づいてロボット１０に関わる信用スコアを格納している。ロボット信用スコア保持部４４に格納されるロボットの信用スコアの詳細は、図１８を用いて後述する。

ユーザ信用スコア保持部４５は、ロボット１０から通知される信用スコアに基づいて、ユーザに関わる信用スコアを格納している。ユーザ信用スコア保持部４５に格納されるユーザの信用スコアの詳細は、図１９を用いて後述する。

［１．１１ 遠隔制御端末の構成図］
図１１は、本実施の形態における、遠隔制御端末５０の構成図である。図１１において遠隔制御端末５０は、通信部５１と、遠隔制御アプリ部５２と、ユーザインタフェース部５３とを有する。

通信部５１は、ネットワーク２０と接続されており、ロボット１０およびフリート管理サーバ３０と通信を行う通信インタフェースである。

遠隔制御アプリ部５２は、ロボット１０の遠隔制御を行うためのアプリケーションであり、ユーザインタフェース部５３からユーザの操作内容を受けて、通信部５１を介してロボット１０へ制御内容を通知する。

ユーザインタフェース部５３は、ユーザがロボット１０を制御するためのインタフェースを提供する。ユーザインタフェース部５３は、例えば、タッチパネル、コントローラ等によるユーザ用のインタフェースである。

［１．１２ 異常検知結果の一例］
図１２は、本実施の形態における、異常検知結果の一例を示す図である。図１２に示す異常検知結果は、異常検知結果保持部２０８に格納されている。異常検知結果は、セントラルＥＣＵ２００の異常検知部２０５により更新されるだけでなく、ロボット１０内のＴＣＵ１００の侵入検知部１０４、Ｅｔｈｅｒｎｅｔスイッチ４００の侵入検知部４０２、および、自律運転ＥＣＵ５００のアプリ監視部５０３のいずれかから通知されるセキュリティアラートによっても更新されうる。また、異常検知結果は、ロボット１０内の故障を通知するメッセージ等によっても更新されうる。

図１２では、異常検知結果として、異常検知内容と、時刻（例えば、発生時刻）と、検知装置（例えば、異常を検知した装置）とを対応付けて保持している。ここでの時刻は、セントラルＥＣＵ２００で計測される内部のシステム時刻であってもよいし、セキュリティアラートに含まれる時刻であってもよい。

図１２では、１０時５０分２０秒に、セントラルＥＣＵ２００によって、ルート逸脱の異常が検知され、１０時４５分３０秒に、セントラルＥＣＵ２００によって、緊急ブレーキ発動が検知され、１０時４５分２９秒に、セントラルＥＣＵ２００によって、急な加減速を検知したことを示している。

なお、本実施の形態では、異常検知結果は、ロボット１０内で検出された異常を保持している例を示したが、異常はロボット１０内で検出されていなくてもよい。例えば、フリート管理サーバ３０上において、ロボット１０の異常が検出された場合に、フリート管理サーバ３０からロボット１０にセキュリティアラートを通知することで、異常検知結果が更新されてもよい。同様に、監視サーバ４０から通知されるセキュリティアラートに基づいて異常検知結果が更新されてもよい。

［１．１３ 信用スコアの一例］
図１３は、本実施の形態における、信用スコアの一例を示す図である。図１３に示す信用スコアは、信用スコア保持部２０９に格納されている。信用スコアは、例えば、信用スコア更新部２０６により異常検知結果が更新されるタイミングで更新される。

図１３では、信用スコアとして、信用スコアを保持する対象（異常の種類）がそれぞれ、アプリ（アプリケーション）、ユーザ、ロボット、通信、および、動作環境に分類されている。なお、当該対象は、少なくとも１つに分類されればよい。また、検知された異常と発生要因の対象とが対応付けられたテーブルに基づいて、異常がいずれの対象に分類されるかが判断されてもよい。

アプリは、セントラルＥＣＵ２００のゲストＯＳ部２０３で動作する遠隔制御アプリと、自律運転ＥＣＵ５００のアプリ部５０２で動作する自律制御アプリと、セントラルＥＣＵ２００のゲストＯＳ部２０３で動作する手動制御アプリとにさらに分類される。遠隔制御アプリは、遠隔制御モードのための第１アプリケーションであり、ロボット１０の制御モードが遠隔操作モードである場合に実行される。自律制御アプリは、自律制御モードのための第３アプリケーションであり、ロボット１０の制御モードが自律制御モードである場合に実行される。手動制御アプリは、手動制御モードのための第２アプリケーションであり、ロボット１０の制御モードが手動制御モードである場合に実行される。例えば、遠隔制御アプリと自律制御アプリと手動制御アプリとは、排他的に実行される。

ユーザは、ロボット１０にアクセスしログインしているユーザごとに信用スコアが保持される。

ロボット１０は、主にロボット１０の制御プラットフォームに関わる装置等に分類され、図１３では、センサＥＣＵ６００とアクチュエータＥＣＵ７００とに分類されている。

通信は、ロボット内のネットワーク（ロボットネットワーク）と、ネットワーク２０等の外部通信とにさらに分類される。

動作環境は、ロボットが動作する環境に分類され、図１３では、ロボット１０に近接する人または通信インフラの環境（通信環境）である。

図１３の例では、遠隔制御アプリの信用スコアが１００であり、自律制御アプリの信用スコアが１００であり、手動制御アプリの信用スコアが１００であり、ユーザＡの信用スコアが８０であり、ユーザＢの信用スコアが８０であり、センサＥＣＵ６００の信用スコアが１００であり、アクチュエータＥＣＵ７００の信用スコアが１００であり、ロボット内ネットワーク（制御ネットワーク）の信用スコアが１００であり、外部通信の信用スコアが１００であり、人／通信環境の信用スコアが５０である。

なお、異常の種類は、アプリ、ユーザ、ロボット、通信、動作環境であってもよいし、遠隔制御アプリ、自律制御アプリ、手動制御アプリ、ユーザＡ、ユーザＢ、センサＥＣＵ、アクチュエータＥＣＵ、ロボット内ネットワーク、外部通信、人／通信環境であってもよい。

なお、アプリ、ユーザ、ロボット、通信、および、動作環境、または、遠隔制御アプリ、自律制御アプリ、手動制御アプリ、ユーザＡ、ユーザＢ、センサＥＣＵ、アクチュエータＥＣＵ、ロボット内ネットワーク、外部通信、人／通信環境は、信用スコアの種類であるとも言える。

なお、対象がアプリおよびユーザである信頼スコアは、ロボット１０ａ～１０ｃで共通に用いられるスコアである。また、対象「ロボット」に、アプリおよび通信が含まれていてもよい。また、信用スコアの初期値は、予め設定されている。

［１．１４ ユーザ情報の一例］
図１４は、本実施の形態における、ユーザ情報の一例を示す図である。図１４に示すユーザ情報は、セントラルＥＣＵ２００のユーザ情報保持部２１０に格納されている。ユーザ情報は、ロボット１０にログインしているユーザのＩＤとユーザの権限とが対応付けられて格納されている。

図１４では、ロボット１０にログインしているユーザは２人であり、ユーザＡは制御権限を持ち、ユーザＢは監視権限を持っている例を示している。

［１．１５ 制御モードの一例］
図１５は、本実施の形態における、制御モードの一例を示す図である。図１５に示す制御モードは、セントラルＥＣＵ２００の制御モード保持部２１１に格納されている。図１５では、ロボット１０の制御モードが遠隔制御されている状態（遠隔制御モード）であることを示している。例えば、ロボット１０の現在の制御モードが、「遠隔制御」である。

なお、本実施の形態では、ロボット１０の制御モードとして、ロボット１０が遠隔制御されている遠隔制御モードと、ロボット１０が自律制御している自律制御モードと、ロボット１０が手動で制御されている手動制御モードとしたが、制御モードはこれに限らない。他の制御モードとして、例えば、緊急制御モード等が含まれていてもよい。

また、図１５の例では、制御モード保持部２１１に格納される情報にはロボット１０の制御モードのみが含まれているが、さらにロボット１０の制御に関わる状態を含んでもよい。制御モード保持部２１１に格納される情報には、例えば、ロボット１０の位置情報、ロボット１０の制御状態（走行中、停止中等）等が含まれていてもよい。つまり、制御モード保持部２１１に、ロボット１０の位置情報、ロボット１０の制御状態等が格納されていてもよい。

［１．１６ ロボット状態の一例］
図１６は、本実施の形態における、ロボット状態の一例を示す図である。図１６に示すロボット状態は、フリート管理サーバ３０のロボット状態保持部３３に格納されている。ロボット状態保持部３３には、フリート管理サーバ３０が管理するすべてのロボット１０（図１の例では、ロボット１０ａ、１０ｂおよび１０ｃ）の状態が格納されている。

図１６の例では、ロボット１０ａは、制御モードが遠隔制御モードであり、位置情報がＸＸＸであり、動作状態が歩道走行中であり、ロボット１０ｂは、制御モードが自律制御モードであり、位置情報がＹＹＹであり、動作状態が停車中であり、ロボット１０ｃは、制御モードが手動制御モードであり、位置情報がＺＺＺであり、動作状態が停止中である。なお、図１６に示すロボット状態は、例えば、現時点での（例えば、最新の）状態である。

［１．１７ アカウント情報の一例］
図１７は、本実施の形態における、アカウント情報の一例を示す図である。図１７に示すアカウント情報は、フリート管理サーバ３０のアカウント情報保持部３４に格納されている。アカウント情報保持部３４には、フリート管理サーバ３０が管理するユーザのアカウント情報が格納されている。例えば、アカウント情報保持部３４には、フリート管理サーバ３０が管理するすべてのユーザのアカウント情報が格納されている。

図１７の例では、ユーザＡがロボット１０ａを制御中であり、ユーザＢがロボット１０ａを監視中であり、ユーザＣがロボット１０ｂを監視中であり、ユーザＤがロボット１０ｃを監視中であることを示している。

なお、ユーザ１人が１台のロボット１０を制御または監視することに限定されず、ユーザ１人が複数台のロボット１０を制御または監視してもよいし、複数のユーザで１台のロボット１０を制御または監視してもよい。

なお、アカウント情報には、ユーザの状態だけでなく、ロボット１０に対してユーザに許可されている権限情報、接続元情報等が含まれていてもよい。

［１．１８ ロボット信用スコアの一例］
図１８は、本実施の形態における、ロボット信用スコアの一例を示す図である。図１８に示すロボット信用スコアは、監視サーバ４０のロボット信用スコア保持部４４に格納されている。監視サーバ４０に格納される信用スコアは、ロボット１０より通知される信用スコアに基づいて更新される。例えば、図１３に示す信用スコアがロボット１０より通知された場合に、ロボット信用スコア保持部４４に格納される当該ロボット１０の信用スコアは、対象がユーザと動作環境とを除いたもののうち最小のものに更新される。

図１８の例では、ロボット１０ａの信用スコアは１００であり、ロボット１０ｂの信用スコアは１００であり、ロボっと１０ｃの信用スコアは５０である。

なお、信用スコアは、ロボット１０単位ではなくロボット１０の構成要素単位でロボット信用スコア保持部４４に格納されていてもよい。

［１．１９ ユーザ信用スコアの一例］
図１９は、本実施の形態における、ユーザ信用スコアの一例を示す図である。図１９に示すユーザ信用スコアは、監視サーバ４０のユーザ信用スコア保持部４５に格納されている。監視サーバ４０に保持されるユーザの信用スコアは、ロボット１０により通知される信用スコアに基づいて更新される。例えば、図１３に示す信用スコアがロボット１０より通知された場合に、ユーザ信用スコア保持部４５に格納される当該のユーザの信用スコアは、通知されたユーザの信用スコアに更新される。

図１９の例では、ユーザＡの信用スコアは８０であり、ユーザＢの信用スコアは８０であり、ユーザＣの信用スコアは５０であり、ユーザＤの信用スコアは２０であることを示している。

［１．２０ ユーザの不正な遠隔制御に対する制御モード切替シーケンス］
図２０は、本実施の形態における、ユーザの不正な遠隔制御に対する制御モード切替シーケンス（制御モード切替方法）を示す図である。具体的には、図２０は、遠隔制御端末５０を操作する正規のユーザがロボット１０ａを制御し、不正なルートを走行するように制御した場合に、ロボット１０ａの制御モードを切り替えるシーケンスを示した図である。

（Ｓ１０１）遠隔制御端末５０は、ユーザ（遠隔操作者）からの操作により、ロボット１０ａにログインする処理を行い、ロボット１０ａの遠隔制御を開始する。ユーザは、遠隔制御端末５０を操作し、ロボット１０ａにログインし、ロボット１０ａの遠隔制御を開始するとも言える。

（Ｓ１０２）ロボット１０ａのユーザ管理部２０７は、ユーザの認証を完了し、ログインを完了させる。ログインが完了するとユーザにロボット１０ａの制御権が与えられ、ロボット１０ａは遠隔制御モードに移行する。

（Ｓ１０３）ロボット１０ａは、ロボット１０ａの制御モードと、ユーザ情報のロボット状態（制御モード、ユーザ情報、位置情報等）とを、フリート管理サーバ３０と監視サーバ４０とに通知する。

（Ｓ１０４）フリート管理サーバ３０は、通知されたロボット状態に従って、ロボット状態保持部３３に格納されるロボット状態と、アカウント情報保持部３４に格納されるアカウント情報とを更新する。

（Ｓ１０５）監視サーバ４０は、通知されたロボット状態に従って、ユーザ信用スコア保持部４５に格納されている、ロボット１０ａにログインしたユーザの信用スコアをロボット１０ａに通知する。

（Ｓ１０６）ロボット１０ａの信用スコア更新部２０６は、監視サーバ４０より通知されたユーザの信用スコアに基づいて、セントラルＥＣＵ２００の信用スコア保持部２０９に格納される対応するユーザの信用スコアを更新する。

（Ｓ１０７）ユーザは、遠隔制御端末５０を介して、ロボット１０ａに対して不正な制御を行う。例えば、ユーザは、遠隔制御端末５０を介して、ロボット１０ａを予め制御が許されるエリアを超えて移動するように制御したとする。

（Ｓ１０８）ロボット１０ａの異常検知部２０５は、現在の位置情報と、予め定められた制御エリアとに基づいて、予め設定されている運行ルート（制御ルート）を逸脱していることを検知（ルート逸脱検知）し、セキュリティアラートをフリート管理サーバ３０と監視サーバ４０とに通知する。

（Ｓ１０９）ロボット１０ａの信用スコア更新部２０６は、異常検知部２０５が検知したルートを逸脱している異常に基づいて、当該異常の発生要因の対象であるユーザの信用スコアを減少させる。このように、信用スコア更新部２０６は、検知結果がユーザ異常を検知したことを含む場合にユーザの信用スコアを減少する。また、対応判断部２０４は、ユーザの信用スコアが所定の値（第１閾値の一例）以下となると、当該ユーザのロボット１０ａに対する制御権を剥奪すると判断してもよい。なお、スコアの減少は、スコアの更新の一例である。

（Ｓ１１０）ロボット１０ａの対応判断部２０４は、制御モードを遠隔制御モードから自律制御モードへ移行し、更新された信用スコアと制御モードのロボット１０ａの状態とをフリート管理サーバ３０および監視サーバ４０へ通知する。なお、対応判断部２０４は、ステップＳ１１０において、制御モードを遠隔制御モードから手動制御モードへ移行してもよい。

なお、対応判断部２０４は、複数のユーザがいる場合、複数のユーザごとに信用スコアを算出し、制御モードが遠隔制御モードであり、かつ、スコアが第１閾値以下となった不正なユーザがロボット１０ａの制御を行っている場合に、当該不正なユーザによる制御を受け付けない、他のユーザへの変更を要求、または、制御モードを遠隔制御モード以外の制御モードに切り替えの少なくとも１つを行ってもよい。

［１．２１ 近接第三者による攻撃に対する制御モード切替シーケンス］
図２１は、本実施の形態における、近接第三者による攻撃に対する制御モード切替シーケンス（制御モード切替方法）を示す図である。図２１は、ロボット１０ａに近接する悪意のある第三者が、ロボット１０ａの位置情報を改ざんし、ロボット１０ａを不正に制御しようとした場合に対応する制御モード切替シーケンスである。ロボット１０ａに近接する悪意のある第三者は、ロボット１０ａにログインしていないものとする。

（Ｓ２０１）ロボット１０ａは、自律制御モードで、自律制御を開始する。

（Ｓ２０２）ロボット１０ａは、制御モードの状態を、フリート管理サーバ３０と、監視サーバ４０とに通知する。

（Ｓ２０３）フリート管理サーバ３０は、通知されたロボット１０ａの状態をもとに、ロボット状態保持部３３に格納されるロボット状態を更新する。

（Ｓ２０４）ロボット１０ａに近接する悪意のある第三者がロボット１０ａに対して、ＧＰＳ信号の改ざんを行い、ロボット１０ａを不正に制御する。

（Ｓ２０５）ロボット１０ａは、ＧＰＳ信号の非連続な変化による異常、改ざんされたＧＰＳ信号に基づく現在位置、および、カメラ等で認識する現在位置の不整合を検出し、セキュリティアラートをフリート管理サーバ３０および監視サーバ４０へ通知する。ステップＳ２０５の動作は、例えば、異常検知部２０５により実行される。

（Ｓ２０６）ロボット１０ａの信用スコア更新部２０６は、異常検知部２０５が検知した異常検知結果に基づいて動作環境の信用スコアを減少させる。このように、信用スコア更新部２０６は、検知結果が動作環境異常を検知したことを含む場合に動作環境の信用スコアを減少する。

（Ｓ２０７）ロボット１０ａの対応判断部２０４は、動作環境の信用スコアが減少し所定の値（第３閾値の一例）以下となると、ロボット１０ａの安全な自律制御の継続が困難と判断し、自律制御モードから縮退モードに移行し、フリート管理サーバ３０および監視サーバ４０へセキュリティアラートとともにロボット１０ａの状態を通知する。縮退モードは、ロボット１０ａの機能を制限した自律運転モードであり、安全に停止可能なエリアまで必要最低限の自律走行を行い、停止するモードである。また、対応判断部２０４は、動作環境のスコアが所定の値（第３閾値）以下となった場合に、動作環境の確認を行うためのアラートを外部（例えば、フリート管理サーバ３０および監視サーバ４０）へ要求してもよい。

（Ｓ２０８）監視サーバ４０は、セキュリティアラートを受けて、動作環境に異常が発生していることを確認するために、ロボット１０ａにログインして、監視権を得て、ロボット１０ａの周辺環境を確認する。

（Ｓ２０９）フリート管理サーバ３０は、ロボット状態の通知を受けて、ロボット状態保持部３３に格納されるロボット状態を更新する。

なお、図２０および図２１では図示していないが、信用スコア更新部２０６は、検知結果がロボット異常を検知したことを含む場合にロボット１０ａの信用スコアを減少し、対応判断部２０４は、ロボット１０ａの信用スコアが、所定の値（第２閾値）以下となった場合に、制御モードを縮退モードに切り替えてもよい。また、信用スコア更新部２０６は、検知結果がアプリケーション異常を検知したことを含む場合にアプリケーションの信用スコアを減少し、対応判断部２０４は、アプリケーションの信用スコアが、所定の値以下となった場合に、信用スコアが所定の値以下となったアプリケーション以外のアプリケーションを用いる制御モードに切り替えてもよい。

［１．２２ セントラルＥＣＵの異常対応処理全体フローチャート］
図２２は、本実施の形態における、セントラルＥＣＵ２００の異常対応処理の全体を示すフローチャート（制御モード切替方法）である。図２２は、セントラルＥＣＵ２００の異常検知から異常対応を行うまでの全体フローチャートである。

（Ｓ３０１）セントラルＥＣＵ２００は、異常が検知されたか、または、異常が通知されたか否かを判断する。セントラルＥＣＵ２００は、異常が検知されていない、かつ、異常が通知されていない場合（Ｓ３０１でＮｏ）、処理を終了する。また、セントラルＥＣＵ２００は、異常が検知または異常が通知された場合（Ｓ３０１でＹｅｓ）、ステップＳ３０２を実行する。異常の検知は、例えば、異常検知部２０５が異常を検知したか否かにより判断される。また、異常の通知は、例えば、ＴＣＵ１００を介して異常が検知された検知結果が取得されか否かにより判断される。

（Ｓ３０２）セントラルＥＣＵ２００は、検知または通知された異常に基づいて、異常検知結果保持部２０８に格納される異常検知結果を更新する。

（Ｓ３０３）セントラルＥＣＵ２００は、異常検知結果保持部２０８に格納されている異常検知結果に基づいて、信用スコア保持部２０９に格納されている信用スコアを更新する。ステップＳ３０３の動作の詳細は、図２３を用いて後述する。

（Ｓ３０４）セントラルＥＣＵ２００は、信用スコア保持部２０９に格納されている、信用スコアが所定値以下（例えば５０）となっているものが存在するか否かを確認する。信用スコアが所定値以下となっているものが存在しない場合（Ｓ３０４でＮｏ）、セントラルＥＣＵ２００は、処理を終了する。また、信用スコアが所定値以下となっているものが存在する場合（Ｓ３０４でＹｅｓ）、セントラルＥＣＵ２００は、ステップＳ３０５を実行する。

（Ｓ３０５）セントラルＥＣＵ２００は、所定値以下となった信用スコアと、現在の制御モードとに基づいて、異常対応処理を行って終了する。ステップＳ３０５の動作の詳細は、図２４および図２５を用いて後述する。

［１．２３ セントラルＥＣＵの信用スコア更新フローチャート］
図２３は、本実施の形態における、セントラルＥＣＵ２００の信用スコア更新処理を示すフローチャート（制御モード切替方法）である。図２３は、セントラルＥＣＵ２００における図２２のステップＳ３０３の信用スコアを更新する処理の詳細を示すフローチャートである。

（Ｓ４０１）セントラルＥＣＵ２００は、検知した異常の種類を判断する。検知した異常が、環境異常である場合、セントラルＥＣＵ２００は、ステップＳ４０２を実行する。検知した異常がアプリ異常である場合、セントラルＥＣＵ２００は、ステップＳ４０３を実行する。検知した異常がロボット異常である場合、セントラルＥＣＵ２００は、ステップＳ４０４を実行する。検知した異常が通信異常である場合、セントラルＥＣＵ２００は、ステップＳ４０５を実行する。検知した異常がユーザ異常である場合、セントラルＥＣＵ２００は、ステップＳ４０６を実行する。

セントラルＥＣＵ２００は、ステップＳ４０１において、例えば、検知された異常と、当該異常に対応する異常の種類とが対応づけられたテーブルとに基づいて、検知した異常の種類（発生要因）を推定するとも言える。

（Ｓ４０２）セントラルＥＣＵ２００の信用スコア更新部２０６は、検知した異常が環境異常である場合、例えば、ＧＰＳ信号の異常、タンパリングの検出、外部通信環境の遮断等が検知された場合、動作環境の信用スコアを所定の値、例えば１減少させる。

（Ｓ４０３）セントラルＥＣＵ２００の信用スコア更新部２０６は、検知した異常がアプリ異常である場合、例えば、アプリケーションのＣＰＵまたはメモリのリソース使用率、通信量、通信先、ファイルのアクセス権限、または、不正なプロセスの起動等が所定のルールの範囲外である場合、当該アプリの信用スコアを所定の値、例えば１減少させる。アプリケーションのＣＰＵまたはメモリのリソース使用率、通信量、通信先、ファイルのアクセス権限、または、不正なプロセスの起動等は、アプリ監視部５０３により監視されていてもよい。また、異常検知部２０５により、所定のルールの範囲外であるか否かが判断されてもよい。また、所定のルールは、基準値を満たす（例えば、基準値以下である）ことである。基準値は、予め設定されており、例えば、セントラルＥＣＵ２００に記憶されている。

この場合は、検知結果には、例えば、アプリケーション異常として、遠隔操作アプリの異常（第１アプリケーションの異常）、手動制御アプリの異常（第２アプリケーションの異常）、および、自律制御アプリの異常（第３アプリケーションの異常の異常）のいずれかが含まれる。遠隔操作アプリ、手動制御アプリおよび自律制御アプリは、異常の種類の一例である。そして、信用スコア更新部２０６は、遠隔操作アプリが検知された場合、遠隔操作アプリスコアを減少させ、手動制御アプリの異常が検知された場合に、手動制御アプリのスコアを減少させ、自律制御アプリの異常が検知された場合に、自律制御アプリのスコアを減少させる。

（Ｓ４０４）セントラルＥＣＵ２００の信用スコア更新部２０６は、検知した異常がロボット異常である場合、例えば、ＥＣＵから故障コードが通知される等であった場合、当該ＥＣＵの信用スコアを所定の値、例えば１減少させる。

（Ｓ４０５）セントラルＥＣＵ２００の信用スコア更新部２０６は、検知した異常が通信異常である場合、例えば、ネットワークの通信量、通信メッセージの不整合等がネットワークＩＤＳによって通知された場合、当該ネットワークの信用スコアを所定の値、例えば１減少させる。

（Ｓ４０６）セントラルＥＣＵ２００の信用スコア更新部２０６は、検知した異常がユーザ異常である場合、例えば、所定の値を超える加速度検知、所定の速度を超えた走行制御、所定のエリアの逸脱、緊急ブレーキ等の安全機構の発動等、遠隔制御モード時にユーザの不正によって検出されたと考えられる異常を検出した場合、ユーザの信用スコア以外に、所定の閾値以下の信用スコアとなっている対象（異常）があるか否かを確認する。

所定の値以下の信用スコアが存在する場合（Ｓ４０６でＹｅｓ）、セントラルＥＣＵ２００の信用スコア更新部２０６は、信用スコアの低い対象に起因してユーザ異常が引き起こされたと判断して、処理を終了する。つまり、ユーザの信用スコアは、更新されない。このように、信用スコア更新部２０６は、検知結果がユーザ異常を検知したことを含み、かつ、ロボット１０ａのスコア、動作環境のスコア、および、アプリケーションのスコアのいずれかが所定の条件を満たす場合、ユーザのスコアを更新しなくてもよい。所定の条件は、ロボット１０ａのスコアが所定値以下である、動作環境のスコアが所定値以下である、および、アプリケーションのスコアが所定値以下であることの少なくとも１つを含む。

また、所定の値以下の信用スコアが存在しない場合（Ｓ４０６でＮｏ）、セントラルＥＣＵ２００は、ステップＳ４０７を実行する。

（Ｓ４０７）セントラルＥＣＵ２００の信用スコア更新部２０６は、対応するユーザの信用スコアを所定の値、例えば１減少させる。

このように、信用スコア更新部２０６は、検知した異常から異常の発生原因を推定し、推定した異常の発生要因に対応する信用スコアを減少させる。

図２３に示す処理は、例えば、異常が検知されるごとに実行される。言い換えると、異常が検知されるごとに、いずれかの信用スコアが更新される。なお、ステップＳ４０６の判断は行われなくてもよい。

［１．２４ セントラルＥＣＵの異常対応フローチャート］
図２４は、本実施の形態における、セントラルＥＣＵ２００の異常対応処理を示すフローチャート（制御モード切替方法）である。図２４は、セントラルＥＣＵ２００における図２２のステップＳ３０５に示す異常対応する処理の詳細を示すフローチャートである。

（Ｓ５０１）セントラルＥＣＵ２００の対応判断部２０４は、閾値以下となった信用スコアの種類を確認する。閾値以下となった信用スコアの種類が環境（例えば、動作環境）であった場合、セントラルＥＣＵ２００は、ステップＳ５０２を実行する。閾値以下となった信用スコアの種類がアプリであった場合、セントラルＥＣＵ２００は、ステップＳ５０３を実行する。閾値以下となった信用スコアの種類がロボット１０ａであった場合、セントラルＥＣＵ２００は、ステップＳ５０６を実行する。閾値以下となった信用スコアの種類が通信であった場合、セントラルＥＣＵ２００は、ステップＳ５０７を実行する。閾値以下となった信用スコアの種類がユーザであった場合、セントラルＥＣＵ２００は、ステップＳ５０８を実行する。

（Ｓ５０２）セントラルＥＣＵ２００の対応判断部２０４は、フリート管理サーバ３０および監視サーバ４０に監視要求または通知を行う。

（Ｓ５０３）セントラルＥＣＵ２００の対応判断部２０４は、対応するアプリ（信用スコアが閾値以下となったアプリ）を介した制御モードを禁止とする。セントラルＥＣＵ２００の対応判断部２０４は、例えば、自律制御アプリの信用スコアが所定の閾値（第６閾値）以下であった場合、自律制御モードを禁止し、遠隔制御アプリの信用スコアが所定の閾値（第４閾値）以下であった場合、遠隔制御モードを禁止し、手動制御アプリの信用スコアが所定の閾値（第５閾値）以下であった場合、手動制御モードを禁止とすると判断する。判断結果は、フリート管理サーバ３０および監視サーバ４０に通知されてもよい。

なお、第４～第６閾値は、同じ値であってもよいし、互いに異なる値であってもよい。

（Ｓ５０４）セントラルＥＣＵ２００の対応判断部２０４は、制御モード保持部２１１に保持される現在の制御モードが禁止されているかを確認する。対応判断部２０４は、現在の制御モードが禁止されていた場合（Ｓ５０４でＹｅｓ）、ステップＳ５０５を実行し、現在の制御モードが禁止されていない場合（Ｓ５０４でＮｏ）、処理を終了する。

（Ｓ５０５）セントラルＥＣＵ２００の対応判断部２０４は、制御モードを切り替えて、終了する。ステップＳ５０５の動作の詳細は、図２５を用いて後述する。

（Ｓ５０６）セントラルＥＣＵ２００の対応判断部２０４は、制御モードを切り替えて、終了する。ステップＳ５０６の動作の詳細は、図２５を用いて後述する。

（Ｓ５０７）セントラルＥＣＵ２００の対応判断部２０４は、監視サーバ４０に対して、ネットワーク異常の分析を要求するセキュリティアラートを通知して終了する。

（Ｓ５０８）セントラルＥＣＵ２００の対応判断部２０４は、対応するユーザの制御権を剥奪すると判断する。具体的には、セントラルＥＣＵ２００の対応判断部２０４は、対応するユーザの権限を監視権にする、または、対応するユーザのロボット１０へのログインを禁止すると判断する。

（Ｓ５０９）セントラルＥＣＵ２００の対応判断部２０４は、制御モードを切り替える、または、代替のユーザによる遠隔制御へ切り替えて、終了する。ステップＳ５０９の制御モードを切り替える動作の詳細は、図２５を用いて後述する。

なお、対応判断部２０４は、２種類以上の信用スコアが所定の閾値以下となった場合は、ロボット１０ａの信用スコア、動作環境の信用スコア、ユーザの信用スコアの優先順位で、各スコアに基づく対応を行ってもよい。つまり、実行される対応に優先順位が設けられてもよい。当該優先順位は、予め設定されセントラルＥＣＵ２００に記憶されている。対応判断部２０４は、ロボット１０ａの信用スコアおよびユーザの信用スコアが所定の閾値以下となった場合、ステップＳ５０８の処理よりステップＳ５０６の処理を優先して実行してもよい。優先して実行とは、例えば、ステップＳ５０８の処理より先にステップＳ５０６の処理を実行すること、ステップＳ５０６およびステップＳ５０８のうちステップＳ５０６の処理のみを実行すること等を含む。

［１．２５ セントラルＥＣＵの制御モード切替フローチャート］
図２５は、本実施の形態における、セントラルＥＣＵ２００の制御モード切替処理を示すフローチャート（制御モード切替方法）である。図２５は、セントラルＥＣＵ２００における図２４のステップＳ５０５、Ｓ５０６およびＳ５０９の制御モード切替を行う動作の詳細を示すフローチャートである。図２４に示すステップＳ５０５、Ｓ５０６およびＳ５０９において、図２５に示す処理が実行される。図２５に示す動作は、例えば、ステップＳ５０５、Ｓ５０６およびＳ５０９における共通の動作である。

（Ｓ６０１）セントラルＥＣＵ２００の対応判断部２０４は、ロボット１０ａの現在位置が制御モード切替可能なエリアであり、かつ、制御モード切替可能な状態であるか否かを判断する。制御モード切替可能なエリアは予め定められており、ロボット１０ａが安全な状態で停止可能な場所が制御モード切替可能なエリアとして選択される。

また、制御モード切替可能状態とは、ロボット１０ａが所定の制御中であり、安全に制御主体の切り替えが困難な場合でない状態である。所定の制御中は、例えば、走行動作中（走行制御中）である。例えば、走行動作中は、制御モード切替可能状態でなく、停車中は制御モード切替可能状態である。

セントラルＥＣＵ２００の対応判断部２０４は、制御モード切替可能であると判断した場合（Ｓ６０１でＹｅｓ）、ステップＳ６０２を実行する。また、セントラルＥＣＵ２００の対応判断部２０４は、制御モード切替可能でないと判断した場合（Ｓ６０１でＮｏ）、ステップＳ６０６を実行する。

なお、ステップＳ６０１では、センサ情報、および、ロボット１０ａの状態の少なくとも１つに基づいて、ロボット１０ａの現在位置が制御モード切替可能なエリアであるか否か、および、制御モード切替可能な状態であるか否かの少なくとも１つの判断が行われればよい。これにより、ロボット１０ａが所定の制御状態である場合、および、ロボット１０ａが所定の範囲に存在している場合の少なくとも１つの場合のみにおいて、制御モードの切り替えを行うことができる。

（Ｓ６０２）セントラルＥＣＵ２００の対応判断部２０４は、ロボット１０ａの制御継続が必要であり、かつ、ロボット異常でないか否か（例えば、ロボット１０ａの信用スコアが所定の閾値以下でないか否か）を確認する。対応判断部２０４は、ロボット１０ａの制御継続が必要でない、または、ロボット異常である（例えば、ロボット１０ａの信用スコアが所定の値以下である）場合（Ｓ６０２でＮｏ）、ステップＳ６０７を実行する。また、対応判断部２０４は、ロボット１０ａの制御継続が必要、かつ、ロボット異常ではない（例えば、ロボット１０ａの信用スコアが所定の値より大きい）場合（Ｓ６０２でＹｅｓ）、ステップＳ６０３を実行する。

なお、ロボット１０ａの制御継続が必要な場合とは、ロボット１０ａが所定の作業中（例えば荷物の運搬等）であり、ロボット１０ａの制御中断により、サービスの可用性が低下する場合、または、ロボット１０ａの制御中断により、周囲の人、モノ、環境に安全性の影響が及ぶ場合である。

（Ｓ６０３）セントラルＥＣＵ２００の対応判断部２０４は、ユーザ異常であり（例えば、現在制御権を持つユーザの信用スコアが所定の値以下であり）、かつ、制御モードが遠隔制御モードであるか否かを確認する。対応判断部２０４は、ユーザ異常であり（例えば、信用スコアが所定の値以下であり）、かつ、遠隔制御モードであった場合（Ｓ６０３でＹｅｓ）、ステップＳ６０４を実行する。また、対応判断部２０４は、ユーザ異常ではない（例えば、信用スコアが所定の値より大きい）、または、遠隔制御モードでない場合（Ｓ６０３でＮｏ）、ステップＳ６０８を実行する。

なお、例えば、ユーザ異常ではないが遠隔操作モードである、ユーザ異常であるが遠隔操作モードではない、および、アプリ異常である場合に、ステップＳ６０３でＮｏと判断される。言い換えると、ステップＳ６０３でＮｏと判断された場合、異常がユーザ異常またはアプリ異常である可能性が残っている。

（Ｓ６０４）セントラルＥＣＵ２００の対応判断部２０４は、制御権を与えることができるユーザが存在するか否かを判断する。対応判断部２０４は、例えば、図１７に示すアカウント情報、および、図１９に示すユーザ信用スコアの少なくとも一つに基づいて、ステップＳ６０４の判断を行う。

制御権を与えることができるユーザは、例えばロボット１０ａにすでにログイン済みであり監視権を与えられているユーザであってもよいし、フリート管理サーバ３０により新規に割り当てられたユーザであってもよい。

対応判断部２０４は、制御権を与えるユーザが存在する場合（Ｓ６０４でＹｅｓ）、ステップＳ６０５を実行する。また、対応判断部２０４は、制御権を与えるユーザが存在しない場合（Ｓ６０４でＮｏ）、ステップＳ６０９を実行する。

（Ｓ６０５）セントラルＥＣＵ２００の対応判断部２０４は、制御権を与えることが可能なユーザへ制御権を与え、遠隔制御モードを継続し、終了する。対応判断部２０４は、ステップＳ５０８（図２４）とステップＳ６０５とにより、ユーザ異常と判断されたユーザからステップＳ６０４でＹｅｓと判断されたユーザに、ロボット１０ａの制御権を切り替えるとも言える。これにより、ユーザ異常と判断されたユーザは、ロボット１０ａを遠隔操作できなくなる。ユーザを切り替えることも、制御モードを切り替えることに含まれる。

（Ｓ６０６）セントラルＥＣＵ２００の対応判断部２０４は、制御モードを縮退モードに移行させ、ロボット１０ａを制御モード切替可能エリアへ移動させ、かつ、切替可能状態として、ステップＳ６０２を実行する。対応判断部２０４は、例えば、ロボット１０ａを制御モード切替可能エリアへ移動し、かつ、停止した後、ステップＳ６０２を実行する。

（Ｓ６０７）セントラルＥＣＵ２００の対応判断部２０４は、ロボット１０ａを安全なエリアで停止させ、終了する。ロボット１０ａが動作しなくても問題がない範囲が安全なエリアとして選択される。安全なエリアで停止させることも、制御モードを切り替えることに含まれる。

（Ｓ６０８）セントラルＥＣＵ２００の対応判断部２０４は、現在の制御モードが遠隔制御モードであるか否かを確認する。対応判断部２０４は、例えば、制御モード保持部２１１に格納されている現在の制御モードに基づいて、ステップＳ６０８の判断を行う。そして、対応判断部２０４は、遠隔制御モードであった場合（Ｓ６０８でＹｅｓ）、ステップＳ６０９を実行する。また、対応判断部２０４は、遠隔制御モードでない場合（Ｓ６０８でＮｏ）、ステップＳ６１０を実行する。

（Ｓ６０９）セントラルＥＣＵ２００の対応判断部２０４は、制御モードを自律制御モード、または、手動制御モードのうち、禁止されていない制御モードに切り替えて、制御を継続し、終了する。対応判断部２０４は、ステップＳ６０８でＹｅｓの場合、遠隔制御アプリの異常である可能性があるので、他のアプリを用いる制御モードに切り替える。

なお、対応判断部２０４は、いずれの制御モードも禁止されていない場合、より信用スコアの高いアプリによる制御モードに切り替えてもよいし、制御切替までの時間が短く済む制御モードに切り替えてもよい。また、対応判断部２０４は、いずれの制御モードも禁止されている場合、ロボット１０ａの制御を停止させる。対応判断部２０４は、例えば、ステップＳ６０７と同様、安全なエリアでロボット１０ａを停止させてもよい。

（Ｓ６１０）セントラルＥＣＵ２００の対応判断部２０４は、現在の制御モードが自律制御モードであるか否かを確認する。対応判断部２０４は、例えば、制御モード保持部２１１に格納される制御モードに基づいて、ステップＳ６１０の判断を行う。そして、対応判断部２０４は、現在の制御モードが自律制御モードであった場合（Ｓ６１０でＹｅｓ）、ステップＳ６１１を実行する。また、対応判断部２０４は、現在の制御モードが自律制御モードでない場合（Ｓ６１０でＮｏ）、ステップＳ６１２を実行する。

（Ｓ６１１）セントラルＥＣＵ２００の対応判断部２０４は、制御モードを遠隔制御モードまたは手動制御モードに切り替え、終了する。対応判断部２０４は、ステップＳ６１０でＹｅｓの場合、自律制御アプリの異常である可能性があるので、他のアプリを用いる制御モードに切り替える。

（Ｓ６１２）セントラルＥＣＵ２００の対応判断部２０４は、制御モードを自律制御モードまたは遠隔制御モードに切り替え、終了する。対応判断部２０４は、ステップＳ６１０でＮｏの場合、手動制御アプリの異常である可能性があるので、他のアプリを用いる制御モードに切り替える。

［１．２６ 実施の形態の効果］
本実施の形態に係るロボット制御モード切替方法では、ロボットシステムにおいて検出されるセキュリティ異常と、現在のロボット１０の制御状態とに応じて、セキュリティ異常の原因を分析し、安全な制御モードを選択することを可能にする。これにより、異常が検知された場合であっても、安全な制御を継続可能なロボットシステムを実現することができる。

［その他変形例］
なお、本開示を上記各実施の形態に基づいて説明してきたが、本開示は、上記各実施の形態に限定されないのはもちろんである。以下のような場合も本開示に含まれる。

（１）上記の実施の形態では、ロボットシステムについて特定のサービスまたはアプリケーションを規定していなかったが、対象となるロボットは何でもよい。例えばロボットは、自動運転車両であってもよいし、船舶システム、ドローンのようなモビリティロボットであってもよいし、産業用ロボット、ヒト型ロボットのように特定のタスクを実行するロボットであってもよい。また、ロボットは、当該ロボットの全体が移動可能であってもよいし、ロボットを構成する一部（例えば、ロボットアーム）のみが動作可能であってもよい。本明細書におけるロボットは、移動しないロボットも含まれる。

（２）上記実施の形態では、ロボットには、自律制御、手動制御、遠隔制御の３つの制御方法が存在したが、必ずしも３つの制御手段を備える必要はない。例えば遠隔制御および自律制御のように、少なくとも２つの制御モードを備えていればよい。また、制御モードも、これらの３つに限定するものではない。ロボットは、例えば、他の制御モードとして、他のロボットと協調して動作する協調制御モード、管制センターからの命令により動作する制御モード等を備えていてもよい。

（３）上記実施の形態では、遠隔制御端末がロボットと接続し、ユーザの認証を行うことでロボットが遠隔制御モードに移行する例を示したが、ユーザの認証はフリート管理サーバが行ってもよい。また、遠隔制御端末は、フリート管理サーバを介して、ロボットの制御を行ってもよい。これにより、フリート管理サーバはユーザの操作履歴を確認することが可能となり、安全性が高まる。

（４）上記実施の形態では、フリート管理サーバと、監視サーバとに機能を分離したロボット監視システムについて説明したが、フリート管理サーバと監視サーバとの機能を集約してもよい。

（５）上記実施の形態では、セントラルＥＣＵは、定期的に、フリート管理サーバと、監視サーバとに、ロボットの状態を通知するとしたが、ロボットの状態通知は定期的でなくてもよい。例えば、フリート管理サーバあるいは、監視サーバの要求に応じて、ロボットの状態を通知してもよいし、ロボット内のイベントの発生タイミング、例えばユーザのログイン、制御モードの変化、異常の検知等のタイミングでロボットの状態を通知してもよい。これにより、ロボットとサーバとの通信における通信量を削減することができる。

（６）上記実施の形態では、対応判断部はロボット内にあるとしたが、監視サーバまたはフリート管理サーバ上で制御モード切替の判断を行ってもよい。これにより、さらに、サーバ上にあるエリア情報、近隣ロボットの状態等を用いた対応の判断が可能になる。一方、ロボットで判断する場合、即時の制御モード切替、サーバとの通信が困難な状況においても制御モードの切替等が可能になり安全性が高まる場合がある。

（７）上記実施の形態では、セントラルＥＣＵは、ハイパーバイザー等を利用した仮想マシン上にゲストＯＳ部が動作する例を示したが、セントラルＥＣＵに、ハイパーバイザーまたは仮想化技術が搭載されていなくてもよい。

（８）上記実施の形態では、セントラルＥＣＵは、異常を検知したタイミングで信用スコアを更新していたが、信用スコアを更新するタイミングは、異常を検知したタイミングでなくてもよい。例えば、所定の間隔で異常検知結果保持部を参照し、信用スコアを更新してもよい。この時、前回の信用スコア更新時から新規に検出された異常検知結果を総合的に判断して信用スコアを更新してもよい。例えば、異常検知結果として、新規にユーザの危険運転および動作環境異常が同時に検出されている場合、動作環境異常の結果、ユーザの危険運転の異常が検出されたとして、ユーザの危険運転による当該ユーザの信用スコア減少は行われなくてもよい。

（９）上記実施の形態では、異常検知結果保持部に、異常検知内容、時刻および検知装置が格納されていたが、異常検知結果に他の情報を付与してもよい。例えば、異常検知結果に異常の深刻度を含めてもよい。深刻度は、異常発生によるロボットの制御への影響により決定されてよい。例えば、重度、中度、軽度の３段階で深刻度を表してもよい。重度は、ロボットの制御または周囲の安全性に重大な影響が発生しうる／発生している状態であり、中度は、ロボットの制御または周囲の安全性に影響を与える可能性がある状態である。また、軽度は、ロボットの制御または周囲の安全性に影響を与える可能性は低い状態であるとしてもよい。これにより、検知した異常の深刻度に応じて、即時対応または監視サーバへのアラート通知の対応を行うことが可能になる。

（１０）上記実施の形態では、信用スコアの更新時に、検出した異常に対応する信用スコアを１ずつ減少させる例を示したが、信用スコアの更新方法はこれに限らない。例えば、その他の変形例（９）で、説明したように異常の深刻度に応じて減少値を変更してもよい。深刻度の高い異常の場合は、１０減少させ、中度の場合は５減少させ、軽度の場合は１減少させるようにしてもよい。信用スコアの減少量（更新量の一例）は、深刻度に応じて重みづけされてもよい。また、信用スコアの最大値は１００でなくても構わないし、数値化されていなくてもよい。例えば、信用スコアは、高、中、低のように段階的に示されてもよい。

（１１）上記実施の形態では、信用スコアが減少するように更新される例のみを示したが、信用スコアが上昇する処理が行われてもよい。例えば１日ごとに信用スコアが所定の値が上昇してもよいし、監視サーバにより、異常の発生原因が判明した場合に、発生原因でなかった対象の信用スコアを上昇させる処理を行ってもよいし、異常の原因のリカバリが行われた場合に（例えばロボットにインストールされた不正なアプリケーションが除去された等）、信用スコアを回復（例えば、信用スコアをリセットまたは上昇）させてもよい。また、所定の時間、異常を検知しなかった場合に信用スコアを上昇させてもよい。

（１２）上記実施の形態では、ユーザ情報保持部に、遠隔制御端末からログインしたユーザの情報のみを保持していたが、手動制御を行うユーザの情報を保持してもよい。この時、ユーザは、ロボットに認証されログインする手続きを行う。例えば、ユーザが所有するＩＣカード、スマートフォン等のユーザの所有物によりユーザを認証してもよいし、ＩＤおよびパスワードの入力等のユーザの記憶内容によりユーザを認証してもよいし、顔認証、指紋認証等のユーザの生体情報によりユーザを認証してもよいし、上記を組み合わせた多要素認証によりユーザを認証してもよい。これにより、ロボットを近接から手動で制御するユーザの操作についても、フリート管理サーバでの管理およびロボットのアクセス制御をより強力に実現でき、安全性の向上に効果的である。

（１３）上記実施の形態では、信用スコアを保持する対象を、アプリ、ユーザ、ロボット、通信、動作環境に分類したうえで、それぞれさらに詳細化を行ったが、詳細化は行わなくてもよいし、分類方法はこれに限らない。遠隔制御を行うユーザに起因する異常であるか、ロボット内の構成要素に起因する異常であるか、ロボットの動作環境に起因する異常であるかのいずれか２つ以上を含んでいればよい。

（１４）上記実施の形態では、制御モードが遠隔制御モードの時に、ロボットの危険な制御が検知された場合に、ユーザに起因する異常が検知されたとして、ユーザの信用スコアを減少させたが、さらに、ユーザの制御履歴の情報を加えて、ユーザの制御の結果、危険な制御が検知されたかを判断してもよい。例えば、信用スコア更新部は、ロボットの制御モードが、遠隔制御モードであり、かつ、閾値を超える加速度が検知されたときに、直近のユーザの制御履歴を参照し、ユーザが移動に関わる制御を行っていない場合には、ユーザの制御によりロボットで異常が検知された可能性は低く、動作環境に起因して異常が発生した可能性が高いとして、動作環境の信用スコアを減少させてもよい。これにより、正確に異常の原因を判断することが可能になり、適切な対応により安全性を高めることに効果的である。

（１５）上記実施の形態では、環境異常が発生した場合に、監視要求および通報の対応を行う例を示したが、対応方法はこれに限らない。例えば、動作環境が信用できない状況において、ロボットの自律制御は危険であるとして、自律制御モードを禁止としてもよい。

（１６）上記実施の形態では、動作環境の異常検知の対応に監視要求を行う例を示したが、遠隔制御モード中に遠隔ユーザに動作環境を確認する要求を行ってもよいし、不正な近接する第三者の存在または動作環境の異常を遠隔オペレータが通知してもよい。

（１７）上記実施の形態では、ユーザの信用スコアが所定の値以下となった場合に、ロボットの制御権が剥奪される例を示したが、ロボットの制御権をさらに詳細に分類して、制御権の一部を制限してもよい。例えば、移動に関わる制御権、ドアの開閉に関わる制御権等、ロボットの制御を機能ごとに分類することで、移動に関わる制御権のみを剥奪する等してもよい。

（１８）上記実施の形態では、ユーザの信用スコアが監視サーバに格納されており、ユーザのログイン時にロボットが、ユーザの信用スコアを同期することで、ロボットでユーザの制御権に関する判断を行っていたが、信用スコアの低いユーザについては、監視サーバが失効リストを作成し、ロボットまたはフリート管理サーバへ事前に配布していてもよい。これにより、不正なユーザによるアクセスをただちに排除することが可能となり、安全性が高まる。

（１９）上記実施の形態では、所定の閾値以下となった信用スコアの種類によって対応を定めていたが、閾値は、信用スコアの種類によって異なってもよいし、ロボットごとに各閾値が異なっていてもよい。これにより、ロボットの種類や動作環境ごとによって安全性と可用性のバランスを柔軟に設計することが可能となる。

（２０）上記の実施の形態における各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウス等から構成されるコンピュータシステムである。ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記録されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２１）上記の実施の形態における各装置は、構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等を含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記録されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

また、上記の各装置を構成する構成要素の各部は、個別に１チップ化されていても良いし、一部またはすべてを含むように１チップ化されてもよい。

また、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

（２２）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（２３）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本開示は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリ等に記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。

また、本開示は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本開示は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、メモリは、上記コンピュータプログラムを記録しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作するとしてもよい。

また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（２４）また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

また、上記実施の形態等に係る制御モード切替装置は、単一の装置として実現されてもよいし、複数の装置により実現されてもよい。制御モード切替装置が複数の装置によって実現される場合、当該制御モード切替装置が有する各構成要素は、複数の装置にどのように振り分けられてもよい。制御モード切替装置が複数の装置で実現される場合、当該複数の装置間の通信方法は、特に限定されず、無線通信であってもよいし、有線通信であってもよい。また、装置間では、無線通信および有線通信が組み合わされてもよい。また、制御モード切替装置の各構成要素は、例えば、フリート管理サーバ、監視サーバ、遠隔制御端末のいずれかに備えられてもよい。

（２５）また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が他のステップと同時（並列）に実行されてもよいし、上記ステップの一部は実行されなくてもよい。また、ステップＳ５０５、Ｓ５０６およびＳ５０９は、共通の動作である例について説明したが、これに限定されず、互いに異なっていてもよい。

（２６）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。例えば、本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示に含まれてもよい。

本開示は、公共の場を移動するロボットを管理するシステムにおいて有用である。

１０、１０ａ、１０ｂ、１０ｃ ロボット
２０ ネットワーク
３０ フリート管理サーバ
３１、４１、５１ 通信部
３２ フリート管理部
３３ ロボット状態保持部
３４ アカウント情報保持部
４０ 監視サーバ
４２ 監視部
４３ 分析インタフェース部
４４ ロボット信用スコア保持部
４５ ユーザ信用スコア保持部
５０ 遠隔制御端末
５２ 遠隔制御アプリ部
５３ ユーザインタフェース部
１００ ＴＣＵ
１０１ 外部通信部
１０２、５０２、６０２ アプリ部
１０３ 内部通信部
１０４、４０２ 侵入検知部
２００ セントラルＥＣＵ（制御モード切替装置）
２０１、３０１、４０１、５０１、６０１ 通信ポート部
２０２ ホストＯＳ部
２０３ ゲストＯＳ部
２０４ 対応判断部
２０５ 異常検知部
２０６ 信用スコア更新部
２０７ ユーザ管理部
２０８ 異常検知結果保持部
２０９ 信用スコア保持部
２１０ ユーザ情報保持部
２１１ 制御モード保持部
３００ ユーザインタフェースＥＣＵ
３０２、６０３ 外部機器接続部
４００ Ｅｔｈｅｒｎｅｔスイッチ
５００ 自律運転ＥＣＵ
５０３ アプリ監視部
６００ センサＥＣＵ
７００ アクチュエータＥＣＵ

Claims (10)

1. ロボットの制御モードを切り替える制御モード切替装置であって、
   前記制御モードは、外部ネットワークを介して第１ユーザにより制御される遠隔制御モード、第２ユーザからの前記外部ネットワークを介さない操作により制御される手動制御モード、および、前記ロボットに設けられたセンサにより取得されたセンサ情報に基づいて制御される自律制御モードのうちの２つ以上を含み、
   前記制御モード切替装置は、
   前記ロボット内の制御ネットワーク上の通信メッセージと、前記制御モードとに基づいて、前記第１ユーザまたは前記第２ユーザの制御に起因するユーザ異常、前記制御ネットワークに起因するロボット異常、前記ロボットの動作環境に起因する動作環境異常、および、前記制御ネットワークに接続され前記ロボットを制御する制御装置が動作させるアプリケーションに起因するアプリケーション異常のいずれか１つ以上の異常の検知結果を取得する取得部と、
   取得された前記検知結果に基づいて、検知された前記異常の種類ごとに、当該異常の種類が前記ロボットにおける異常発生の要因である可能性を示すスコアを算出し、算出された前記スコアに基づいて、前記ロボットの制御モードを切り替える切替部とを備え、
   前記異常の種類は、ユーザ、ロボット、動作環境、および、アプリケーションのうち少なくとも２つ以上を含み、
   前記切替部は、前記検知結果が、前記ユーザ異常を検知したことを含む場合にユーザのスコアを更新し、前記ロボット異常を検知したことを含む場合に前記ロボットのスコアを更新し、前記動作環境異常を検知したことを含む場合に動作環境のスコアを更新し、前記アプリケーション異常を検知したことを含む場合に、前記アプリケーションのスコアを更新し、
   前記スコアの更新は、スコアを減少することであり、
   前記切替部は、さらに、
   複数の前記第１ユーザごとに前記スコアを算出し、前記制御モードが前記遠隔制御モードであり、かつ、前記スコアが第１閾値以下となった不正な第１ユーザが前記ロボットの制御を行っている場合に、当該不正な第１ユーザによる前記制御を受け付けない、他の第１ユーザへの変更を要求、または、前記制御モードを前記遠隔制御モード以外の制御モードに切り替えの少なくとも１つを行い、
   前記ロボットのスコアが、第２閾値以下となった場合に、前記制御モードを、前記ロボットの制御を限定して、安全な状態で停止させる縮退モードに切り替え、
   前記動作環境のスコアが、第３閾値以下となった場合に、前記動作環境の確認を行うためのアラートを外部へ要求する、
   制御モード切替装置。
2. 前記センサ情報には、前記ロボットの位置情報、加速度、走行速度、および、カメラ画像のうち少なくとも１つ以上が含まれ、
   前記ユーザ異常は、前記制御モードが前記手動制御モードまたは前記遠隔制御モードであるときに、前記位置情報が予め制御が想定されている範囲の逸脱、所定の閾値を超える前記加速度または前記走行速度、および、前記カメラ画像に基づく予め想定されていない人またはモノとの接触または接近のいずれかが検知される異常であり、
   前記ロボット異常は、前記制御ネットワークの通信情報に含まれる故障の通知、または、前記制御ネットワークの通信異常のいずれかが検知される異常であり、
   前記動作環境異常は、前記位置情報の不連続な変化または無効な値、前記外部ネットワークの通信異常、前記制御ネットワークの電圧変化、前記ロボットの分解のいずれかが検知される異常である、
   請求項１に記載の制御モード切替装置。
3. 前記切替部は、２種類以上の前記スコアが所定の閾値以下となった場合は、前記ロボットのスコア、前記動作環境のスコア、前記ユーザのスコアの優先順位で、各スコアに基づく対応を行う、
   請求項１または２に記載の制御モード切替装置。
4. 前記切替部は、前記検知結果が前記ユーザ異常を検知したことを含み、かつ、前記ロボットのスコア、前記動作環境のスコア、および、前記アプリケーションのスコアのいずれかが所定の条件を満たす場合、前記ユーザのスコアを更新しない、
   請求項１～３のいずれか１項に記載の制御モード切替装置。
5. 前記アプリケーションは、前記遠隔制御モードのための第１アプリケーション、前記手動制御モードのための第２アプリケーション、および、前記自律制御モードのための第３アプリケーションを含み、
   前記検知結果には、前記アプリケーション異常として、前記第１アプリケーションの異常、前記第２アプリケーションの異常、および、前記第３アプリケーションの異常が含まれ、
   前記切替部は、前記第１アプリケーションの異常が検知された場合に、前記第１アプリケーションのスコアを減少させ、前記第２アプリケーションの異常が検知された場合に、前記第２アプリケーションのスコアを減少させ、前記第３アプリケーションの異常が検知された場合に、前記第３アプリケーションのスコアを減少させ、
   前記第１アプリケーションのスコアが第４閾値以下となった場合に、前記制御モードが前記遠隔制御モードとなることを禁止し、
   前記第２アプリケーションのスコアが第５閾値以下となった場合に、前記制御モードが前記手動制御モードとなることを禁止し、
   前記第３アプリケーションのスコアが第６閾値以下となった場合に、前記制御モードが前記自律制御モードとなることを禁止する、
   請求項１～４のいずれか１項に記載の制御モード切替装置。
6. 前記切替部は、前記センサ情報、および、前記ロボットの状態の少なくとも１つに基づいて前記ロボットが所定の制御状態であるか否かを判断し、前記ロボットが所定の制御状態である場合のみ、前記制御モードの切り替えを行う、
   請求項１～５のいずれか１項に記載の制御モード切替装置。
7. 前記切替部は、前記ロボットの前記位置情報に基づいて、前記ロボットが所定の範囲に存在している場合のみ、前記制御モードの切り替えを行う、
   請求項２に記載の制御モード切替装置。
8. 前記取得部は、前記通信メッセージと、前記制御モードとに基づいて、前記ユーザ異常、前記ロボット異常、前記動作環境異常、および、前記アプリケーション異常のいずれか１つ以上の異常を検知する異常検知部により実現される、
   請求項１～７のいずれか１項に記載の制御モード切替装置。
9. ロボットの制御モードを切り替える制御モード切替方法であって、
   前記制御モードは、外部ネットワークを介して第１ユーザにより制御される遠隔制御モード、第２ユーザからの前記外部ネットワークを介さない操作により制御される手動制御モード、および、前記ロボットに設けられたセンサにより取得されたセンサ情報に基づいて制御される自律制御モードのうちの２つ以上を含み、
   前記制御モード切替方法は、
   前記ロボット内の制御ネットワーク上の通信メッセージと、前記制御モードとに基づいて、前記第１ユーザまたは前記第２ユーザの制御に起因するユーザ異常、前記制御ネットワークに起因するロボット異常、前記ロボットの動作環境に起因する動作環境異常、および、前記制御ネットワークに接続され前記ロボットを制御する制御装置が動作させるアプリケーションに起因するアプリケーション異常のいずれか１つ以上の異常の検知結果を取得し、
   取得された前記検知結果に基づいて、検知された前記異常の種類ごとに、当該異常の種類が前記ロボットにおける異常発生の要因である可能性を示すスコアを算出し、算出された前記スコアに基づいて、前記ロボットの制御モードを切り替え、
   前記異常の種類は、ユーザ、ロボット、動作環境、および、アプリケーションのうち少なくとも２つ以上を含み、
   前記切り替えは、前記検知結果が、前記ユーザ異常を検知したことを含む場合にユーザのスコアを更新し、前記ロボット異常を検知したことを含む場合に前記ロボットのスコアを更新し、前記動作環境異常を検知したことを含む場合に動作環境のスコアを更新し、前記アプリケーション異常を検知したことを含む場合に、前記アプリケーションのスコアを更新し、
   前記スコアの更新は、スコアを減少することであり、
   前記切り替えは、さらに、
   複数の前記第１ユーザごとに前記スコアを算出し、前記制御モードが前記遠隔制御モードであり、かつ、前記スコアが第１閾値以下となった不正な第１ユーザが前記ロボットの制御を行っている場合に、当該不正な第１ユーザによる前記制御を受け付けない、他の第１ユーザへの変更を要求、または、前記制御モードを前記遠隔制御モード以外の制御モードに切り替えの少なくとも１つを行い、
   前記ロボットのスコアが、第２閾値以下となった場合に、前記制御モードを、前記ロボットの制御を限定して、安全な状態で停止させる縮退モードに切り替え、
   前記動作環境のスコアが、第３閾値以下となった場合に、前記動作環境の確認を行うためのアラートを外部へ要求する、
   制御モード切替方法。
10. 請求項９に記載の制御モード切替方法をコンピュータに実行させるためのプログラム。