JP7204804B2 - スマートバックミラーのインタラクション方法、装置、電子機器及び記憶媒体 - Google Patents

Description

本願は、人工知能分野に関し、特に、スマートバックミラーのインタラクション方法、装置、電子機器及び記憶媒体に関する。

車両のインテリジェンスの発達に伴い、車載電子機器も徐々に増加してきた。バックミラーも、最初のリアビュー機能から、補助反転機能を備えたスマートバックミラーへと発展し、従来のスマートバックミラーは、ユーザと音声インタラクションを行うことができ、スマートバックミラーでの音楽再生や、マップナビゲーションなどの多数の機能を実現するようにする。

従来の技術において、ユーザはウェイクワードを話してスマートバックミラーをウェイクアップさせることができ、スマートバックミラーは、ユーザが話したウェイクワードを認識した後に、音声アシスタントインタフェースを表示するか、又は音声を再生する方式により、次の音声インタラクションに進むようにユーザに注意させる。ユーザとスマートバックミラーとの音声インタラクションプロセスに、スマートバックミラーは、ユーザ音声の語義を認識し、音楽再生又はマップナビゲーションなどの動きを実行することができる。

しかし、一部の応用シーンで、例えば、車両が騒がしい環境にあるとき、ユーザの音声が環境中の音で覆われ、スマートバックミラーがユーザの音声を認識できず、さらに、正確な応答操作ができなくなる。

本願は、スマートバックミラーのインタラクション方法、装置、電子機器及び記憶媒体を提供し、ポータブルなインタラクション方式を用いてユーザとインタラクションすることができ、インタラクション成功率を増加し、さらに、ユーザ体験を向上させる。

第１の態様では、本願は、スマートバックミラーのインタラクション方法を提供し、スマートバックミラーをウェイクアップさせた後に、前記スマートバックミラーの現在の使用状態を確定するステップと、前記スマートバックミラーの現在の使用状態に基づき、前記スマートバックミラーがユーザとインタラクションするように制御するステップと、を含む。

本実施例において、ユーザとのインタラクション方式を増加した前提で、従来の音声インタラクションにより、特定シーンでユーザの音声を認識できないという問題を解決することもでき、スマートバックミラーの現在の使用状態に基づき、ポータブルなインタラクション方式を用いてユーザとインタラクションし、インタラクション成功率を増加し、さらに、ユーザ体験を向上させる。

第２の態様では、本願は、スマートバックミラーのインタラクション装置を提供し、スマートバックミラーをウェイクアップさせた後に、前記スマートバックミラーの現在の使用状態を確定するための第１の処理モジュールと、前記スマートバックミラーの現在の使用状態に基づき、前記スマートバックミラーがユーザとインタラクションするように制御するための第２の処理モジュールと、を含む。

上記の第２の態様に係るスマートバックミラーのインタラクション装置の有益な効果について、上記の第１の態様による有益な効果を参照でき、ここで繰り返して説明しない。

第３の態様では、本願は、電子機器を提供し、少なくとも１つのプロセッサ、メモリ、カメラ及びオーディオ出力装置を含み、前記メモリはコンピュータ実行命令を記憶し、前記少なくとも１つのプロセッサは前記メモリに記憶されたコンピュータ実行命令を実行し、前記電子機器に上記の第１の態様のスマートバックミラーのインタラクション方法を実行させるようにし、前記カメラは、前記プロセッサの制御下でユーザの動きを収集し、電子機器とユーザとの間動きインタラクションを実現するためのものであり、前記オーディオ出力装置は、前記プロセッサの制御下でオーディオを出力し、前記電子機器とユーザとの間音声インタラクションを実現するためのものである。

第４の態様では、本願は、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体には、コンピュータ実行命令が記憶されており、前記コンピュータ実行命令がプロセッサによって実行されるとき、上記の第１の態様のスマートバックミラーのインタラクション方法を実現する。

第５の態様では、本願は、コンピュータ可読記憶媒体に記憶されたコンピュータプログラムを提供し、前記コンピュータプログラムでの命令はプロセッサによって実行されるとき、コンピュータに上記の第１の態様のスマートバックミラーのインタラクション方法を実行させる。

本願に係るスマートバックミラーのインタラクション方法、装置、電子機器及び記憶媒体は、ビッグデータ分野に関する。本願では、スマートバックミラー内のフロントカメラに基づいてユーザとの動きインタラクションを実現することができ、ユーザとのインタラクション方式を増加した前提で、従来の音声インタラクションにより、特定シーンでユーザの音声を認識できないという問題を解決することもできる。しかも、本願では、また、スマートバックミラーの現在の使用状態に基づき、前記スマートバックミラーがユーザとインタラクションするように制御することができ、これにより、スマートバックミラーは、スマートバックミラーの現在の使用状態に基づき、よりポータブルなインタラクション方式を用いてユーザとインタラクションすることができ、インタラクション成功率を増加し、さらに、ユーザ体験を向上させる。

この部分に記述した内容は、本願の実施例の肝心な又は重要な特徴をマークすることを主旨としているわけではなく、本願の範囲を制限するためにも使用されないと理解すべきである。本願の他の特徴について、以下の明細書を通じて理解しやすくなる。

図面は、本解決手段をよりよく理解するために使用されるものであり、本願に対する限定を構成しない。
本願に係るスマートバックミラーのインタラクション方法を適用するシーンの概略図である。 本願に係るスマートバックミラーのインタラクション方法の実施例のフローチャート１である。 本願に係るスマートバックミラーのインタラクション方法の実施例のフローチャート２である。 本願に係るスマートバックミラーとユーザとのインタラクションの概略図１である。 本願に係るスマートバックミラーとユーザとのインタラクションの概略図２である。 本願に係るスマートバックミラーとユーザとのインタラクションの概略図３である。 本願に係るスマートバックミラーとユーザとのインタラクションの概略図５である。 本願に係るスマートバックミラーのインタラクション装置の構造概略図である。 本願に係る電子機器の構造概略図である。

以下、図面を参照しながら本願の例示的な実施例を説明するが、本願の実施例の様々な細部が理解を容易にするために含まれており、それらは単なる例示的なものと考えられるべきである。したがって、当業者は、本願の範囲及び精神から逸脱することなく、本明細書に記載された実施例に対して様々な変更及び修正を行うことができることを認識すべきである。同様に、以下の説明では、明瞭かつ簡潔にするため、周知の機能及び構造についての説明は省略される。

車両のインテリジェンスの発達に伴い、車載電子機器も徐々に増加してきた。ユーザは、車両に設置された車載スピーカー、スマートバックミラーなどの車載電子機器とのインタラクションにより、エンタテイメント、ナビゲーションなどの機能を実現することができる。従来の技術において、ユーザと車載電子機器とのインタラクション方式は、音声インタラクションであってもよく、例えば、ユーザがウェイクワードを話して車載電子機器をウェイクアップさせ、さらに、車載電子機器によりユーザの音声を認識し、ユーザの語義を解析し、対応するフィードバック動きを実行するようにする。例示的に、ユーザが「曲Ａを再生する」を話すと、車載電子機器がユーザの音声の語義を認識し、さらに、曲Ａを再生する。

従来の技術における車載分野ではユーザとのインタラクション方式は、単一で、音声インタラクションの方式しかない。車両が騒がしい環境にある場合、音声インタラクションの方式を用いると、ユーザの音声を正確に認識できず、さらに、正確な応答動きを行うことができなくなり、ユーザが繰り返して説明する必要があり、ユーザ体験が悪い恐れがある。従来の車両に基づいて、ユーザとインタラクションする方式、例えば、動きインタラクションを増加した場合、車両にカメラを装着しなければならなくなり、さらに、カメラは、ユーザの動きを収集することができ、そして、ユーザの動きに基づいて対応する応答動きを実行することができるようにする。車両にカメラを装着するには、車両の車種、車両の中央制御モータの型番、操作システムなどに基づいて特定型番のカメラを取り付ける必要があるため、動きインタラクションの応用が限定される。なお、一部の車両はカメラの装着をサポートしない可能性があり、その結果、ユーザとの動きインタラクションを実現できなくなる。

現在、スマートバックミラーの発展が本格化しており、その機能も元のリアビュー機能から補助反転機能や運転記録機能などへと発展している。注意するべきなものとして、本願におけるスマートバックミラーは、車両内に設置されたスマートバックミラーであり、スマートバックミラーには、リアカメラが設置されており、車両の運転データを容易に記録するようにする。上記の問題を解決するために、スマートバックミラーにフロントカメラを設置することができ、該フロントカメラは、車両の車種、車両の中央制御モータの型番、操作システムなどを考慮する必要がなく、普遍性が高い。理解するべきなものとして、スマートバックミラーのフロントカメラは、車両の内部を撮るカメラであり、スマートバックミラーのリアカメラは、車両の外部や車両の走行画面を撮るカメラである。

よって、本願は、上記の技術的課題を解決するために、スマートバックミラーのインタラクション方法を提供し、スマートバックミラーに設置されたフロントカメラを制御してユーザの動きを収集することにより、従来のスマートバックミラーとユーザとの音声インタラクションに基づいて、スマートバックミラーとユーザとの間の動きインタラクションを増加するようにし、本願の技術的解決手段において、車載電子機器とユーザとの間インタラクション方式を増加した前提で、また、従来の音声インタラクションにより、騒がしい環境でユーザの音声を認識できない問題を解決することもでき、ユーザ体験を向上させる。

図１は、本願に係るスマートバックミラーのインタラクション方法を適用するシーンの概略図であり、図１に示すように、該シーンには、車両１０にいるユーザ、およびスマートバックミラー１１が含まれる。該スマートバックミラーには、車内のユーザの動きを収集し、ユーザとスマートバックミラーと間の動きインタラクションを実現するためのフロントカメラが集積される。理解すべきなものとして、図１では、スマートバックミラー上での円形でフロントカメラを示す。

理解すべきなものとして、本願に係るスマートバックミラーのインタラクション方法の実行主体は、スマートバックミラーのインタラクション装置であってもよく、該スマートバックミラーのインタラクション装置は、スマートバックミラー、または、スマートバックミラーにおけるプロセッサ、チップなどであってもよい。スマートバックミラーには、フロントカメラが集積されている。

以下、具体的な実施例を参照しながら本願に係るスマートバックミラーのインタラクション方法について説明する。注意するべきものとして、以下のいくつかの実施例は、相互に組み合わせることができる。図２は、本願に係るスマートバックミラーのインタラクション方法の実施例のフローチャート１である。図２に示すように、本実施例に係るスマートバックミラーのインタラクション方法は、以下のステップを含むことができる。

Ｓ２０１、スマートバックミラーをウェイクアップさせた後に、スマートバックミラーの現在の使用状態を確定する。

Ｓ２０２、スマートバックミラーの現在の使用状態に基づき、スマートバックミラーがユーザとインタラクションするように制御する。

上記のＳ２０１で、スマートバックミラーをウェイクアップさせた後に、スマートバックミラーの現在の使用状態を確定することができる。スマートバックミラーをウェイクアップさせた後ということは、スマートバックミラーがウェイクアップ状態にあると表現することもできる。

注意するべきものとして、本実施例において、ユーザがスマートバックミラーをウェイクアップさせる方式は、限定されない。選択可能に、ユーザは、音声インタラクションの方式によってスマートバックミラーをウェイクアップすることができ、例えば、ユーザは、ウェイクワードによってスマートバックミラーをウェイクアップさせることができる。例示的に、例えば、スマートバックミラーをオンにしてから待機状態に入ると、ユーザの音声にウェイクワードが含まれると検出した場合、ウェイクアップ状態に入る。選択可能に、ユーザは、また、動きインタラクションの方式によってスマートバックミラーをウェイクアップさせることもできる。例示的に、スマートバックミラーをオンにするとき、フロントカメラを起動させ、フロントカメラがユーザの動きを収集するように制御することができ、カメラによって収集された動きがウェイクアップ動きであると確定したとき、ウェイクアップ状態に入る。ウェイクアップ動きは、手による愛心、プリセット回数の連続的なウィンクなどであってもよい。理解すべきなものとして、スマートバックミラーをウェイクアップさせるウェイクワード又はウェイクアップ動きは、ユーザによりカスタマイズに設定できる。

本実施例において、スマートバックミラーの現在の作動状況を検出することができ、スマートバックミラーの現在の使用状態を取得するようにする。または、車両に設置されたセンサーとインタラクションしてスマートバックミラーの現在の使用状態を取得することもでき、センサーは、スマートバックミラーの現在の使用状態を検出することができる。

本実施例におけるスマートバックミラーの現在の使用状態は、スマートバックミラーの現在の作動状態、例えば、スマートバックミラーの作動時間、作動中のアプリケーションプログラムなどであってもよい。または、スマートバックミラーの現在の使用状態は、スマートバックミラーがある車両の状態であってもよく、例えば、車両が運転状態又は静止状態にあり、運転状態が高速運転状態又は低速運転状態に分けられる。理解すべきなものとして、スマートバックミラーの現在の使用状態によって、その対応するスマートバックミラーとユーザに適するインタラクション方式も異なる。

上記のＳ２０２で、スマートバックミラーの現在の使用状態を確定した後に、スマートバックミラーの現在の使用状態に基づき、スマートバックミラーがユーザとインタラクションするように制御することができる。理解すべきなものとして、本実施例において、スマートバックミラーとユーザとのインタラクション方式は、音声インタラクション及び動きインタラクションを含むが、これらに限定されない。対応的に、スマートバックミラーとユーザとが音声インタラクションを行うように制御することは、即ち、ユーザの音声を収集し、ユーザの音声に基づいて相応な操作を行うことである。スマートバックミラーとユーザとが動きインタラクションを行うように制御することは、即ち、スマートバックミラーのカメラがユーザの動きを収集するように制御し、ユーザの動きに基づいて相応な操作を行うことができることである。

スマートバックミラーの異なる使用状態について、対応するスマートバックミラーとユーザとのインタラクション方式、例えば、音声インタラクション又は動きインタラクションを予め設定することができる。さらに、本実施例において、スマートバックミラーの現在の使用状態を確定した後に、予め設定された対応関係に基づき、スマートバックミラーとユーザとが音声インタラクション、または、動きインタラクションを行うのを確定することができる。

例示的に、スマートバックミラーの現在の使用状態は、スマートバックミラーがある環境の状態である場合、スマートバックミラーがある環境の異なる状態とインタラクション方式との対応関係を予め設定することができ、例えば、ユーザの運転安全を確保するために、スマートバックミラーがある車両は高速走行状態にあるとき、スマートバックミラーとユーザとのインタラクション方式が動きインタラクションの方式であるように設定し、車両は低速走行状態にあるとき、スマートバックミラーとユーザとのインタラクション方式が音声インタラクションの方式であるように設定することができる。

本実施例に係るスマートバックミラーのインタラクション方式において、スマートバックミラーに設置されたフロントカメラにより、ユーザとの動きインタラクションを実現することができ、ユーザとのインタラクション方式を増加した前提で、従来の音声インタラクションにより、特定シーンでユーザの音声を認識できないという問題を解決することもでき、ユーザ体験を向上させる。しかも、本実施例において、また、スマートバックミラーの現在の使用状態に基づき、スマートバックミラーがユーザとインタラクションするように制御することもでき、スマートバックミラーの現在の使用状態に基づき、よりポータブルなインタラクション方式を用いてユーザとインタラクションし、インタラクション成功率を増加し、さらに、ユーザ体験を向上させる。

上記の実施例に基づいて、本実施例において、スマートバックミラーの現在の使用状態は、スマートバックミラーがある環境の状態、スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプ、又はスマートバックミラーが現在でユーザと音声インタラクションを行うインタラクション内容であってもよい。以下、スマートバックミラーの現在の使用状態は、スマートバックミラーがある環境の状態、スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプ、又はスマートバックミラーが現在ユーザと音声インタラクションを行うインタラクション内容という３つのシーンの角度から、本実施例に係るスマートバックミラーのインタラクション方法についてそれぞれ説明する。

スマートバックミラーがある環境の状態は、騒がしい状態又は非騒がしい状態であってもよく、スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプは、表示サービスタイプ、オーディオやビデオサービスタイプ又は記憶サービスタイプなどであってもよく、スマートバックミラーが現在ユーザと音声インタラクションを行うインタラクション内容は、音声インタラクション内容、表示インタラクション内容などであってもよい。本実施例において、スマートバックミラーがある環境の状態を取得するには、車両におけるセンサーとインタラクションする方式によって取得されることができる。スマートバックミラーがある環境の状態は、車両におけるデシベルメーター又は他の環境噪声を検出するセンサーとインタラクションすることによって得ることができる。本実施例においてスマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプ及びスマートバックミラーが現在ユーザと音声インタラクションを行うインタラクション内容を取得するには、スマートバックミラーが現在作動されている内容を検出することによって取得することができる。例えば、スマートバックミラーに現在表示されているアプリケーションを検出し、該アプリケーションのタイプをスマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプとするか、または、スマートバックミラーに現在表示されている内容又はスマートバックミラーによって再生されている内容を検出し、それをスマートバックミラーが現在ユーザと音声インタラクションを行うインタラクション内容とすることができる。

第１種のシーンにおいて、スマートバックミラーの現在の使用状態は、スマートバックミラーがある環境の状態である。

スマートバックミラーが現在の環境のノイズのデシベル値を取得し、該ノイズのデシベル値に基づいてスマートバックミラーは環境が騒がしい状態にあるか否かを確定することができる。スマートバックミラーは現在、環境が騒がしい状態にある場合、ユーザの音声を認識できないと確定し、動きインタラクションを用いるほうがよいと確定し、スマートバックミラーとユーザとが動きインタラクションを行うように制御する。スマートバックミラーは現在の環境が非騒がしい状態にある場合、ユーザの音声を正確に認識できると確定し、ユーザの運転安全を確保するために、スマートバックミラーとユーザとが音声インタラクションを行うように制御することができる。

選択可能に、本実施例における車両には、デシベルメーター、または、デシベルを検出する他の機器が設置されており、該車両におけるデシベルメーター、または、デシベルを検出する他の機器とインタラクションし、スマートバックミラーが現在の環境のノイズのデシベル値を取得することができる。選択可能に、スマートバックミラー上に、また、デシベルメーター、または、デシベルを検出する他の機器の機能が集積されてもよく、スマートバックミラーが現在の環境のノイズのデシベル値を取得するために使用される。

本実施例において、プリセットデシベル閾値を予め設定することができ、該プリセットデシベル閾値は、ユーザの音声を認識できないデシベル値であってもよく、該プリセットデシベル閾値が、シミュレーション実験によって得られることができ、または、該プリセットデシベル閾値が、ユーザによりカスタマイズに設定されることもできる。スマートバックミラーが現在の環境のノイズのデシベル値が、プリセットデシベル閾値以上であるとき、スマートバックミラーは環境が騒がしい状態にあると確定することができ、スマートバックミラーが現在の環境のノイズのデシベル値が、プリセットデシベル閾値より小さいとき、スマートバックミラーは環境が非騒がしい状態にあると確定することができる。さらに、本実施例において、スマートバックミラーが現在の環境のノイズのデシベル値に基づき、スマートバックミラーは現在、環境が騒がしい状態にあると確定し、さらに、スマートバックミラーとユーザとの正確的なインタラクション方式を確定するためにの基礎を築く。

このようなシーンでは、正確的なインタラクション方式を用いてユーザとインタラクションすることができるように確保し、騒がしい環境で、ユーザの音声を正確に認識できなく、さらに、相応な操作を正確に行うことができないという問題を招くことを避け、インタラクションの成功率を増加し、ユーザ体験を向上させることができる。

第２種のシーンにおいて、スマートバックミラーの現在の使用状態は、スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプである。

スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプは、表示サービスタイプ、オーディオやビデオサービスタイプ又は記憶サービスタイプなどを含むことができる。表示サービスタイプのインタラクションアプリケーションは、気象クエリアプリケーション、ショッピングアプリケーション、ソーシャルアプリケーション、ナビゲーションアプリケーション、車両パラメータ制御アプリケーションなどを含むことができ、オーディオやビデオサービスタイプのインタラクションアプリケーションは、音楽アプリケーション、ビデオアプリケーション、ブロードキャストアプリケーションなどを含むことができ、記憶サービスタイプのインタラクションアプリケーションは、運転記録アプリケーション、画像記録アプリケーションなどを含む。理解すべきなものとして、車両パラメータ制御アプリケーションは、車両温度の調節、車内空気の浄化などのために使用されることができる。

本実施例において、スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプに基づき、スマートバックミラーとユーザとが音声インタラクション、または、動きインタラクションを行うように制御することができる。異なるタイプのインタラクションアプリケーションには、その自体の属性があるため、本実施例において、インタラクションアプリケーションのタイプに基づいて、現在インタラクションアプリケーションのより適合なインタラクション方式を確定し、インタラクション成功率を増加することができる。

理解すべきなものとして、オーディオやビデオサービスタイプのインタラクションアプリケーションは作動中に、オーディオを絶えずに再生し、再生されたオーディオにより、ユーザの音声を正確に認識できなくなる恐れがある。

一可能な実現形態において、本実施例において、オーディオやビデオサービスタイプを第１のタイプとして設定することができ、つまり、第１のタイプのインタラクションアプリケーションは、オーディオサービスをユーザに提供するインタラクションアプリケーションである。

本実施例において、スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプが第１のタイプであると検出した場合、スマートバックミラーとユーザとが動きインタラクションを行うように制御する。スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプが第１のタイプではないと確定した場合、スマートバックミラーとユーザとが音声インタラクションを行うように制御する。オーディオサービスタイプのインタラクションアプリケーションが作動中に、オーディオを絶えずに再生し、再生されたオーディオにより、ユーザの音声を正確に認識できなくなる恐れがあるため、オーディオサービスタイプのインタラクションアプリケーションには、動き認識を用いて、オーディオサービスタイプではないインタラクションアプリケーションには、音声認識を用いることができ、インタラクション成功率を増加することができる。

インタラクション方式に対する個々のユーザの多様な選択を確保するために、本実施例において、ユーザのインタラクション習慣に応じて、スマートバックミラーとユーザとが動きインタラクション、または、音声インタラクションを行うように制御することを確定することにより、ユーザの習慣により適するインタラクション方式を用いてユーザとインタラクションするようにし、ユーザ体験を向上させることができる。

一可能な実現形態において、本実施例において、スマートバックミラー上での種々のタイプのインタラクションアプリケーションに対するユーザの好みのインタラクションを取得し、さらに、スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプを確定した後に、スマートバックミラーとユーザとが該タイプのインタラクションアプリケーションの好みのインタラクションを行うように制御することができる。理解すべきなものとして、好みのインタラクションとは、ユーザの習慣又は好みで用いられるインタラクション方式であり、好みのインタラクションは、音声インタラクション、または、動きインタラクションである。

本実施例において、ユーザとスマートバックミラー上での種々のタイプのインタラクションアプリケーションとの履歴インタラクションデータに基づき、種々のタイプのインタラクションアプリケーションに対するユーザの好みのインタラクションを確定することができる。選択可能に、該履歴インタラクションデータは、本回のスマートバックミラーがウェイクアップされた前のプリセット期間内のインタラクションデータであってもよい。理解すべきなものとして、ずっと前の履歴インタラクションデータを使用する代わりに、本回のスマートバックミラーがウェイクアップされた前のプリセット期間内のインタラクションデータを履歴インタラクションデータとして使用するのは、ユーザの最近の好みのインタラクションをより正確に確定し、確定されたユーザの好みのインタラクションの正確さを向上させ、さらに、スマートバックミラーとユーザとのインタラクション方式を制御する正確さを向上させるためである。

本実施例において、履歴インタラクションデータに基づき、種々のタイプのインタラクションアプリケーションに対するユーザの好みのインタラクションを確定する方式は、履歴インタラクションデータに基づき、ユーザと種々のタイプのインタラクションアプリケーションとの動きインタラクションの割合及び音声インタラクションの割合を確定する。理解すべきなものとして、本実施例において、ユーザとインタラクションアプリケーションとの好みのインタラクションの動きインタラクションの回数及び音声インタラクションの回数を統計し、インタラクション総回数に対する動きインタラクションの回数の比率を動きインタラクションの割合とし、インタラクション総回数に対する音声インタラクションの回数の比率を音声インタラクションの割合とすることができる。ユーザとインタラクションアプリケーションとのインタラクションプロセスにおける一つ一つの動きを１回の動きインタラクションとし、ユーザとインタラクションアプリケーションとのインタラクションプロセスにおける話した毎回の話しを１回の音声インタラクションとすることができる。

第２のタイプのインタラクションアプリケーションの動きインタラクションの割合は音声インタラクションの割合以上であると確定した場合、第２のタイプのインタラクションアプリケーションに対するユーザの好みのインタラクションが動きインタラクションであると確定する。第２のタイプのインタラクションアプリケーションの動きインタラクションの割合は音声インタラクションの割合より小さいと確定した場合、第２のタイプのインタラクションアプリケーションに対するユーザの好みのインタラクションが音声インタラクションであると確定する。第２のタイプは、スマートバックミラー内のインタラクションアプリケーションタイプの中の任意のタイプであり、例えば、第２のタイプは、オーディオやビデオサービスタイプ、表示サービスタイプ又は記憶サービスタイプなどであってもよい。

例示的に、オーディオやビデオサービスタイプのインタラクションアプリケーションの履歴インタラクションデータに基づき、ユーザと該タイプのインタラクションアプリケーションとの動きインタラクションの割合が８０％で、ユーザと該タイプのインタラクションアプリケーションとの音声インタラクションの割合が２０％であると確定した場合、オーディオやビデオサービスタイプのインタラクションアプリケーションに対するユーザの好みのインタラクションが動きインタラクションであると確定する。表示サービスタイプのインタラクションアプリケーションの履歴インタラクションデータに基づき、ユーザと該タイプのインタラクションアプリケーションとの動きインタラクションの割合が３０％で、ユーザと該タイプのインタラクションアプリケーションとの音声インタラクションの割合が７０％である確定した場合、表示サービスタイプのインタラクションアプリケーションに対するユーザの好みのインタラクションが音声インタラクションであると確定する。

さらに、スマートバックミラー上での種々のタイプのインタラクションアプリケーションに対するユーザの好みのインタラクションを確定した後に、スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプに基づき、スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションに対するユーザの好みのインタラクションを確定し、さらに、スマートバックミラーとユーザとが好みのインタラクションを行うように制御することができる。本実施例において、スマートバックミラー上での種々のタイプのインタラクションアプリケーションの履歴インタラクションデータに基づき、種々のタイプのインタラクションアプリケーションに対する前記ユーザの好みのインタラクションを確定し、これにより、ユーザの好みのインタラクションを確定し、さらに、正確的なインタラクション方式を確定するために、基礎を築く。

このようなシーンでは、スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプ、または、種々のタイプのインタラクションアプリケーションに対するユーザの好みのインタラクションに基づき、スマートバックミラーでは、より正確で、ユーザの習慣により適するインタラクション方式を用いてユーザとインタラクションすることを確定し、ユーザ体験を向上させることができる。

第３種のシーンにおいて、スマートバックミラーの現在の使用状態は、スマートバックミラーが現在ユーザと音声インタラクションを行うインタラクション内容である。

本実施例において、スマートバックミラーが現在ユーザと音声インタラクションを行うインタラクション内容に基づき、スマートバックミラーとユーザとが音声インタラクション、または、動きインタラクションを行うように制御することができる。スマートバックミラーが現在ユーザと音声インタラクションを行うインタラクション内容は、スマートバックミラーで現在再生されているオーディオの内容であってもよい。理解すべきなものとして、該スマートバックミラーで現在再生されているオーディオは、ユーザの音声又は動きに応答して再生されたオーディオ、例えば「この曲を再生してよろしいですか」であってもよい。または、該スマートバックミラーで現在再生されているオーディオは、また、スマートバックミラーをオンにした後自ら再生したオーディオ、例えば、「今から、家へのルートをご計画してよろしいですか」であってもよい。理解すべきなものとして、該自ら再生したオーディオは、予め定義された、又はユーザによって設定されたものであってもよい。該設計では、インタラクション内容によってユーザが応答する方式が異なる可能性があり、本実施例において、インタラクション内容に基づいてユーザにより適するインタラクション方式を用いることができ、ユーザ体験を向上させることができる。

一可能な実現形態において、本実施例において、スマートバックミラーが現在ユーザと音声インタラクションを行うインタラクション内容の語義に基づき、スマートバックミラーとユーザとが音声インタラクション、または、動きインタラクションを行うように制御することを確定することができる。具体的に、インタラクション内容により、ユーザが確認、選択又はページをめくる操作を行うように指示するか否かを判断することにより、スマートバックミラーとユーザとが音声インタラクション、または、動きインタラクションを行うように制御することを確定することができる。インタラクション内容により、ユーザが確認、選択又はページをめくる操作を行うように指示する場合、スマートバックミラーとユーザとが動きインタラクションを行うように制御し、そうでないと、スマートバックミラーとユーザとが音声インタラクションを行うように制御する。

例示的に、スマートバックミラーが現在ユーザと音声インタラクションを行うインタラクション内容は「今から、家へのルートをご計画してよろしいですか」で、該インタラクション内容により、ユーザが確認する操作を行うように指示する場合、スマートバックミラーとユーザとが動きインタラクションを行うように制御することができる。ユーザが確認操作を行うことは、頭部動きであってもよく、具体的に、頭をうなずいたり振ったりすることができる。

例示的に、スマートバックミラーが現在ユーザと音声インタラクションを行うインタラクション内容は、「２曲を見つけました。一番目は曲Ａで、二番目は曲Ｂです」で、該インタラクション内容により、ユーザが選択する操作を行うように指示する場合、スマートバックミラーとユーザとが動きインタラクションを行うように制御することができる。ユーザが行う選択操作は、ハンド動きであってもよく、具体的に、伸び出した指の数で選択される曲を表し、例えば、指を１本伸ばすと、曲Ａを選択することを表し、指を２本伸ばすと、曲Ｂを選択することを表す。

例示的に、スマートバックミラーが現在ユーザと音声インタラクションを行うインタラクション内容は、「次のページであなたの電話番号を入力してください」で、該インタラクション内容により、ユーザがページをめくる操作を行うように指示する場合、スマートバックミラーとユーザとが動きインタラクションを行うように制御することができる。ページをめくるユーザ操作は、ハンド動きであってもよく、具体的に、手のひらを右から左へスライドすることでページをめくることを表すことができる。

一可能な実現形態において、本実施例におけるスマートバックミラーが現在ユーザと音声インタラクションを行うインタラクション内容は、いずれもラベルがマークされており、該ラベルにより、インタラクション内容に基づくユーザのインタラクション方式を指示する。例示的に、スマートバックミラーが現在ユーザと音声インタラクションを行うインタラクション内容は、「次のページであなたの電話番号を入力してください」で、該インタラクション内容のラベルは「音声インタラクション、動きインタラクション」である場合、該ラベルにより、インタラクション内容に基づくユーザのインタラクション方式は、音声インタラクションと動きインタラクションを含むことを指示し、つまり、該ラベルにより、ユーザが該インタラクション内容に応答すインタラクション方式は、音声インタラクションと動きインタラクションを含むことを指示する。

本実施例において、インタラクション内容、およびインタラクション内容のラベルに基づき、スマートバックミラーとユーザとが音声インタラクション、または、動きインタラクションを行うように制御することができる。インタラクション内容のラベルには、動きインタラクションがある限り、スマートバックミラーとユーザとが動きインタラクションを行うように制御することができる。つまり、インタラクション内容のラベルに、動きインタラクションが含まれた場合、スマートバックミラーとユーザとが動きインタラクションを行うように制御し、インタラクション内容のラベルに、動きインタラクションが含まれない場合、スマートバックミラーとユーザとが音声インタラクションを行うように制御する。

このようなシーンでは、スマートバックミラーが現在ユーザと音声インタラクションを行うインタラクション内容の語義又はラベルにより、スマートバックミラーは、より正確で、ユーザの習慣により適するインタラクション方式を用いてユーザとインタラクションすることを確定することができ、ユーザ体験を向上させることができる。

上記の実施例に基づいて、以下、図３を参照しながら本願に係るスマートバックミラーのインタラクション方法についてさらに詳細に説明する。図３は、本願に係るスマートバックミラーのインタラクション方法の実施例のフローチャート２である。図３に示すように、本実施例に係るスマートバックミラーのインタラクション方法は、以下のステップを含むことができる。

Ｓ３０１、スマートバックミラーをウェイクアップさせた後に、スマートバックミラーの現在の使用状態を確定する。

Ｓ３０２、スマートバックミラーの現在の使用状態に基づき、スマートバックミラーとユーザとが動きインタラクションを行うように制御することを確定した場合、スマートバックミラーのカメラを開くように制御し、カメラがユーザの動きを収集するように制御する。

Ｓ３０３、ユーザの動きに基づき、相応な操作を実行する。

Ｓ３０４、スマートバックミラーの現在の使用状態に基づき、スマートバックミラーとユーザとが音声インタラクションを行うように制御することを確定した場合、ユーザの音声を収集し、音声の語義を取得する。

Ｓ３０５、音声の語義に基づき、相応な操作を実行する。

上記のＳ３０１における実施形態について、上記の実施例Ｓ２０１の関連記述を参照することができ、ここで繰り返して説明しなく、Ｓ３０２で、スマートバックミラーとユーザとが動きインタラクションを行うように制御することを確定する方式、およびＳ３０４で、スマートバックミラーとユーザとが音声インタラクションを行うように制御することを確定する方式について、上記の実施例Ｓ２０２の関連記述を参照することができ、ここで繰り返して説明しない。理解すべきなものとして、上記のＳ３０２－Ｓ３０３とＳ３０４－Ｓ３０５のいずれかを選択する。

上記のＳ３０２で、スマートバックミラーの現在の使用状態に基づき、スマートバックミラーとユーザとが動きインタラクションを行うように制御することを確定した場合、スマートバックミラーとユーザとが動きインタラクションを行うように制御し、具体的に、スマートバックミラーのカメラを開くように制御することができ、カメラがユーザの動きを収集するように制御することができる。理解すべきなものとして、本実施例において、スマートバックミラーを起動させるとき、スマートバックミラーのカメラを開くように制御することができる。そのうち、カメラが開かれた後に、スマートバックミラーとユーザとがプリセット期間内に音声インタラクションを行う場合、カメラが休眠状態に入るように制御することができる。本実施例において、スマートバックミラーとユーザとが動きインタラクションを行うと確定したとき、カメラが開かれるように制御し、これにより、カメラがユーザの動きを収集するように制御し、カメラの消費電力を減少させることができる。理解すべきなものとして、カメラがユーザの動きを収集するように制御するとき、収集する必要があるユーザの動きをカメラへ送信することができる。ユーザの動きは、頭部動き、ジェスチャー動き又は体の動きなどを含むことができる。頭部動きは、頷く、首を振る、目を瞬く、おどけた顔をするなどの動きを含むことができる。ジェスチャー動きは、数本の指の伸び出し、手のひらのスライド、手によるＯＫ、手による愛心などの動きを含むことができる。体の動きは、両手の交差、ファイトのポーズなどであってもよい。

ユーザの運転安全を確保するために、車両の走行状態に基づいてユーザの動きを設定することを確定することができる。選択可能に、車両が走行状態にある場合、ユーザの両手をハンドルから離させないように確保するために、ユーザの動きは頭部動きである。車両が走行ではない状態にある場合、ユーザの動きは、頭部動き及び／又はハンド動きを含む。

上記のＳ３０３で、カメラがユーザの動きを収集するように制御することができ、且つ収集する必要があるユーザの動きのマーク、即ち、プリセット動きのマークをカメラへ送信することができる。プリセット動きのマークは、該プリセット動きを表徴するためのものである。カメラには、いずれもプリセット動きのマークとプリセット動きのマークとの対応関係を記憶することができる。カメラは、プリセット動きのマークに基づき、収集する必要があるユーザの動きを確定することができ、ユーザの動きを収集した後に、収集された動きと収集される必要がある動き（即ち、プリセット動き）を比較し、該プリセット動きであるか否かを確定することができる。

プリセット動きを収集したことを確定すると、成功した収集情報およびユーザの動きのマーク（即ち、プリセット動きのマーク）をスマートバックミラーのインタラクション装置へ送信することができ、該スマートバックミラーのインタラクション装置は、ユーザの動きがプリセット動きであると確定し、ユーザの動きのマークに基づいて相応な操作を実行するようにする。理解すべきなものとして、スマートバックミラーのインタラクション装置には、プリセット動きのマークと命令との対応関係が記憶されることができ、カメラによって送信された成功した収集応答を受信したとき、プリセット動きのマークと命令との対応関係に基づき、該動きに対応する命令を取得し、さらに、命令に基づき、相応な操作を実行することができる。

例示的に、表１には、スマートバックミラーのインタラクション装置に記憶されたプリセット動きのマークと命令との対応関係であり、

スマートバックミラーがオーディオ「今から、家へのルートをご計画してよろしいですか」を再生し、該オーディオにより、ユーザが確認操作を行うことを指示する場合、スマートバックミラーのカメラがユーザの動きを収集するように制御することができる。ユーザが確認するプリセット動きは、頭部動きであってもよく、具体的に、頷くか、または、首を振るかであってもよい。収集する必要がある１又は２であるユーザの動きのマークをカメラへ送信することができる。カメラがユーザの頷き動きを収集した場合、プリセット動き１又は２と比較することができ、ユーザの動きがプリセット動き１であると確定するとき、該プリセット動きのマーク１および成功した収集情報をスマートバックミラーのインタラクション装置に送信することができ、スマートバックミラーのインタラクション装置は、ユーザの動きがプリセット動き１であると確定するようにし、該プリセット動き１に対応する命令に基づき、相応な操作を実行することができる。

図４は、本願に係るスマートバックミラーとユーザとのインタラクションの概略図１である。図４におけるａに示すように、例示的に、スマートバックミラーがオーディオ「今から、家へのルートをご計画してよろしいですか」を再生し、該オーディオにより、ユーザが確認操作を行うことを指示する場合、スマートバックミラーのカメラはユーザが頷く又は首を振る動きを収集するように制御することができる。例えば、図４におけるａに示すように、カメラがユーザの頷き動きを収集したとき、ユーザの頷き動きのマークをスマートバックミラーのインタラクション装置へ送信することができ、スマートバックミラーのインタラクション装置は、該ユーザの頷き動きがプリセット動きであると確定するようにし、プリセット動きのマークと命令との対応関係に基づき、該ユーザの頷き動きに対応する、該提案に同意するものである命令を確定することができるため、図４におけるｂに示すように、スマートバックミラーのインタフェースに計画されたルートを表示することができる。

選択可能に、プリセット動きに対応する相応な操作を実行するとき、オーディオを再生することができ、オーディオにより、相応な操作を実行していることを指示する。このような状況では、実行されている相応な操作を再生することにより、ユーザが実行されている動きを注意させることができ、ユーザが頭を上げてスマートバックミラーを見る必要がなく、ユーザの運転安全を確保することができる。例示的に、図４におけるｂに示すように、例えば、「家へのルートをご計画致しました。もうすぐ出発致しますので、道路ＸＸまで走行してください」を再生することができる。

図５は、本願に係るスマートバックミラーとユーザとのインタラクションの概略図２である。図５におけるａに示すように、例示的に、例えば、スマートバックミラーがオーディオ「２曲を見つけました。一番目は曲Ａで、二番目は曲Ｂです。どちらにしますか」を再生し、該オーディオにより、ユーザが選択する操作を指示する場合、スマートバックミラーのカメラがユーザの動きを収集するように制御することができる。そのうち、ユーザが選択を行うプリセット動きは、ハンド動きであってもよく、具体的に、指を伸ばす動きであってもよく、指の数は、ユーザの選択を表す。図５におけるａに示すように、カメラは、ユーザが指を１本伸ばす動きを収集したとき、ユーザが指を１本伸ばす動きのマークをスマートバックミラーのインタラクション装置へ送信することができ、スマートバックミラーのインタラクション装置は、該ユーザが指を１本伸ばす動きがプリセット動きであると確定することができるようにし、プリセット動きのマークと命令との対応関係に基づき、該ユーザの指を１本伸ばす動きに対応する命令はユーザの選択が１であると確定することができ、図５におけるｂに示すように、スマートバックミラーによって再生されたオーディオに合わせて該命令により曲Ａを再生するように指示すると確定したため、曲Ａを再生することができる。選択的に、本実施例において、図５におけるｂに示すように、また、例えば、「曲Ａを再生致します」を再生することができ、相応な操作を実行しているように指示するようになる。

図６は、本願に係るスマートバックミラーとユーザとのインタラクションの概略図３である。図６におけるａに示すように、例示的に、例えば、スマートバックミラーがオーディオ「次のページであなたの電話番号を入力してください」を再生し、該オーディオにより、ユーザがページをめくる操作を行うように指示する場合、スマートバックミラーのカメラがユーザの動きを収集するように制御することができる。ユーザがページをめくるプリセット動きは、ハンド動きであってもよく、具体的に、手のひらの左右スライドであってもよく、手のひらが右から左へスライドすることは、右へページをめくることを代表し、手のひらが左から右へスライドすることは、左へページをめくることを代表する。図６におけるａに示すように、カメラは、ユーザの手のひらが右から左へスライドする動きを収集したとき、手のひらが右から左へスライドする動きのマークをスマートバックミラーのインタラクション装置へ送信することができ、スマートバックミラーのインタラクション装置は、該手のひらが右から左へスライドする動きがプリセット動きであると確定するようにし、プリセット動きのマークと命令との対応関係に基づき、該ユーザ手のひらが右から左へスライドする動きに対応する命令が右へページをめくる命令であると確定することができるため、スマートバックミラーで右へページをめくる操作を実行することができ、図６におけるｂに示すように、スマートバックミラーのインタフェースは、ユーザによる電話番号入力のインタフェースへ変化した。選択的に、本実施例において、図６におけるｂに示すように、また、例えば、「べーじをめくっています」または「ページをめくりました」を再生することもでき、相応な操作を実行しているように指示するようにする。

注意するべきものとして、スマートバックミラーのカメラがユーザの動きを収集し、プリセット動きと比較するとき、ユーザの動きがプリセット動きではないと確定すると、スマートバックミラーのインタラクション装置へ失敗した収集情報を送信することができ、該収集失敗情報を受信した後に、ユーザの動きがプリセット動きではないと確定することができると、スマートバックミラーとユーザとが音声インタラクションを行うように制御する。

図７は、本願に係るスマートバックミラーとユーザとのインタラクションの概略図４である。図７におけるａに示すように、例示的に、例えば、スマートバックミラーがオーディオ「次のページであなたの電話番号を入力してください」を再生し、該オーディオにより、ユーザがページをめくる操作を行うように指示する場合、スマートバックミラーのカメラがユーザの動きを収集するように制御することができる。ユーザがプリセット動きを行わなかった、又は行った動きが手のひらでスライドしてページをめくる操作ではない場合、カメラは、失敗した収集情報をスマートバックミラーのインタラクション装置へ送信することができ、このとき、スマートバックミラーとユーザとが音声インタラクションを行うように制御することができる。図７におけるｂに示すように、ユーザは、「次のページにめくる」を話し、さらに、ユーザの音声に基づいてページをめくる操作を実行することができ、図７におけるｂには、スマートバックミラーのインタフェースは、ユーザによる電話番号入力のインタフェースである。

上記のＳ３０４で、本実施例において、スマートバックミラーの現在の使用状態に基づき、スマートバックミラーとユーザとが音声インタラクションを行うように制御することを確定した場合、スマートバックミラーとユーザとが音声インタラクションを行うように制御し、具体的に、ユーザの音声を収集し、音声の語義を取得することができる。

上記のＳ３０５で、音声の語義に基づき、相応な操作を実行する。

本実施例において、ユーザの音声の語義の取得、および相応な操作を実行する方式について、具体的に、従来の技術における音声インタラクション方式を参照することができる。例示的に、図７に示すように、スマートバックミラーとユーザとが音声インタラクションを行うように制御するとき、ユーザの音声、例えば、「次のページにめくる」を収集することができ、図７におけるｂに示すように、該音声の語義がページをめくるように指示することであると、ページをめくる相応な操作を実行する。

理解すべきなものとして、図４－図７には、スマートバックミラーとユーザとが動きインタラクションを行うとき、スマートバックミラーが白い輪であることでスマートバックミラーが開かれた状態にあることを表し、スマートバックミラーとユーザとが音声インタラクションを行うとき、スマートバックミラーが黒い輪であることでスマートバックミラーが閉められた状態にあることを表す。

本実施例において、スマートバックミラーとユーザとが動きインタラクションを行うように制御するとき、収集されたユーザの動きがプリセット動きである場合、相応な操作を実行することができ、収集されたユーザの動きがプリセット動きではない場合、スマートバックミラーとユーザとが音声インタラクションを行うように制御することができ、本実施例において、スマートバックミラーの現在の使用状態、およびユーザの動きに基づき、スマートバックミラーが相応な操作を実行する又はユーザと音声インタラクションを行うと確定することができ、さらに、より容易で且つユーザ行動により適するインタラクション方式を用いてユーザとインタラクションし、ユーザとのインタラクション方式を増加した前提で、また、インタラクション成功率を増加することができる。

図８は、本願に係るスマートバックミラーのインタラクション装置の構造概略図である。図８に示すように、該スマートバックミラーのインタラクション装置８００は、第１の処理モジュール８０１と第２の処理モジュール８０２とを含む。

第１の処理モジュール８０１は、スマートバックミラーをウェイクアップさせた後に、スマートバックミラーの現在の使用状態を確定するために使用される。

第２の処理モジュール８０２は、スマートバックミラーの現在の使用状態に基づき、スマートバックミラーがユーザとインタラクションするように制御するために使用される。

一可能な設計において、第１の処理モジュール８０１は、具体的に、スマートバックミラーは現在環境が騒がしい状態にあるか否かを確定するために使用される。

対応的に、第２の処理モジュール８０２は、具体的に、スマートバックミラーは現在、環境が騒がしい状態にある場合、スマートバックミラーとユーザとが動きインタラクションを行うように制御すること、及びスマートバックミラーは現在、環境が非騒がしい状態にある場合、スマートバックミラーとユーザとが音声インタラクションを行うように制御することに用いられる。

一可能な設計において、第１の処理モジュール８０１は、また、スマートバックミラーが現在ある環境のノイズのデシベル値を取得し、ノイズのデシベル値がプリセットデシベル閾値より大きい場合、スマートバックミラーは現在、環境が騒がしい状態にあると確定するために使用される。

一可能な設計において、第１の処理モジュール８０１は、具体的に、スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプを確定するために使用される。

対応的に、第２の処理モジュール８０２は、具体的に、スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプに基づき、スマートバックミラーとユーザとが音声インタラクション、または、動きインタラクションを行うように制御するために使用される。

一可能な設計において、インタラクションアプリケーションは、音楽アプリケーション、ナビゲーションアプリケーション又は車両パラメータ制御アプリケーションを含む。

一可能な設計において、第２の処理モジュール８０２は、具体的に、スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプが第１のタイプであると確定する場合、スマートバックミラーとユーザとが動きインタラクションを行うように制御し、第１のタイプのインタラクションアプリケーションは、オーディオサービスをユーザに提供するインタラクションアプリケーションであること、及びスマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプが第１のタイプではないと確定する場合、スマートバックミラーとユーザとが音声インタラクションを行うように制御することに用いられる。

一可能な設計において、第２の処理モジュール８０２は、具体的に、ユーザとスマートバックミラー上での種々のタイプのインタラクションアプリケーションとの履歴インタラクションデータに基づき、種々のタイプのインタラクションアプリケーションに対するユーザの好みのインタラクションを確定し、好みのインタラクションは、音声インタラクション、または、動きインタラクションであること、種々のタイプのインタラクションアプリケーションに対するユーザの好みのインタラクション、およびスマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプに基づき、スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションに対するユーザの好みのインタラクションを確定すること、及びスマートバックミラーとユーザとが好みのインタラクションを行うように制御するために使用される。

一可能な設計において、第２の処理モジュール８０２は、具体的に、履歴インタラクションデータに基づき、ユーザと種々のタイプのインタラクションアプリケーションとの動きインタラクションの割合及び音声インタラクションの割合を確定すること、第２のタイプのインタラクションアプリケーションの動きインタラクションの割合が音声インタラクションの割合以上であると確定した場合、第２のタイプのインタラクションアプリケーションに対するユーザの好みのインタラクションが動きインタラクションであると確定し、第２のタイプは、スマートバックミラー内のインタラクションアプリケーションタイプの中の任意の１つのタイプであること、及び第２のタイプのインタラクションアプリケーションの動きインタラクションの割合が音声インタラクションの割合より小さいと確定した場合、第２のタイプのインタラクションアプリケーションに対するユーザの好みのインタラクションが音声インタラクションであると確定することに使用される。

一可能な設計において、第１の処理モジュール８０１は、具体的に、スマートバックミラーが現在ユーザと音声インタラクションを行うインタラクション内容を確定するために使用される。

対応的に、第２の処理モジュール８０２は、具体的に、スマートバックミラーが現在ユーザと音声インタラクションを行うインタラクション内容に基づき、スマートバックミラーとユーザとが音声インタラクション、または、動きインタラクションを行うように制御するために使用される。

一可能な設計において、第２の処理モジュール８０２は、具体的に、インタラクション内容により、ユーザが確認、選択又はページをめくる操作を行うように指示するか否かを判断すること、そうである場合、スマートバックミラーとユーザとが動きインタラクションを行うように制御すること、及び、そうではない場合、スマートバックミラーとユーザとが音声インタラクションを行うように制御することに使用される。

一可能な設計において、第２の処理モジュール８０２は、具体的に、インタラクション内容、およびインタラクション内容のラベルに基づき、スマートバックミラーとユーザとが音声インタラクション、または、動きインタラクションを行うように制御し、ラベルにより、インタラクション内容に基づくユーザのインタラクション方式を指示するために使用される。

一可能な設計において、第２の処理モジュール８０２は、具体的に、インタラクション内容のラベルに、動きインタラクションが含まれた場合、スマートバックミラーとユーザとが動きインタラクションを行うように制御すること、及びインタラクション内容のラベルに、動きインタラクションが含まれない場合、スマートバックミラーとユーザとが音声インタラクションを行うように制御することに使用される。

一可能な設計において、第２の処理モジュール８０２は、具体的に、スマートバックミラーのカメラを開くように制御し、カメラがユーザの動きを収集するように制御すること、及びユーザの動きに基づき、相応な操作を実行することに使用される。

一可能な設計において、第２の処理モジュール８０２は、具体的に、動きがプリセット動きであると確定した場合、動きに対応する命令を取得すること、及び命令に基づき、相応な操作を実行することに使用される。

一可能な設計において、第２の処理モジュール８０２は、また、動きがプリセット動きではないと確定した場合、スマートバックミラーとユーザとが音声インタラクションを行うように制御するために使用される。

一可能な設計において、第２の処理モジュール８０２は、具体的に、ユーザの音声を収集し、音声の語義を取得すること、及び音声の語義に基づき、相応な操作を実行することに使用される。

一可能な設計において、第２の処理モジュール８０２は、さらに、相応な操作を実行するとき、オーディオを再生し、オーディオにより、相応な操作を実行しているように指示するために使用される。

一可能な設計において、車両が走行状態にある場合、ユーザの動きは頭部動きであり、車両が走行ではない状態にある場合、ユーザの動きは、頭部動き及び／又はハンド動きを含む。

本実施例に係るスマートバックミラーのインタラクション装置は、実現する原理や技術的効果が上記のスマートバックミラーのインタラクション方法と類似しているため、ここで繰り返して説明しない。

本願の実施例により、本願は、電子機器及び可読記憶媒体をさらに提供する。図９は、本願に係る電子機器の構造概略図である。該電子機器は、スマートバックミラーであってもよい。本明細書に示したコンポーネント、それらの連結や関係、及び、それらの機能は、あくまで例示的なものにすぎず、本明細書に記述した及び／又は求める本願の実現を制限することを意図しない。

図９に示すように、該電子機器は、１つまたは複数のプロセッサ９０１、メモリ９０２、及び高速インターフェース及び低速インターフェースを備える各コンポーネントを接続するためのインターフェースを備える。各コンポーネントは、異なるバスで相互に接続されており、共通のマザーボードにインストールしてもよいし、必要に応じて、他の方法でインストールしてもよい。プロセッサは、ＧＵＩのグラフィック情報を外部入／出力装置（例えばインターフェースに結合されたディスプレイ機器など）に表示できるように、メモリ内またはメモリ上に記憶された命令を含む電子機器で実行された命令を処理できる。他の実施形態では、必要とすれば、複数のプロセッサおよび／または複数のバスを、複数のメモリと共に使用することができる。同様に、複数の電子機器を接続でき、各機器はいくつかの必要なオペレーティングを提供する。図９では、１つのプロセッサ９０１を例にする。

メモリ９０２は、本願に係る非一時的なコンピュータ可読記憶媒体である。前記メモリには、少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記少なくとも１つのプロセッサに本願に係るスマートバックミラーのインタラクション方法を実行させるようにする。本願の非一時的なコンピュータ可読記憶媒体は、コンピュータ命令を記憶しており、該コンピュータ命令は、コンピュータに本願に係るスマートバックミラーのインタラクション方法を実行させるために使用される。

メモリ９０２は、非一時的なコンピュータ可読記憶媒体として、本願の実施例におけるスマートバックミラーのインタラクション方法に対応するプログラム命令／モジュールなどの非一時的なソフトウェアプログラム、非一時的なコンピュータによる実行可能なプログラムおよびモジュールを記憶するために使用されるものであってもよい。プロセッサ９０１は、メモリ９０２に記憶された非一時的なソフトウェアプログラム、命令およびモジュールを実行することにより、サーバの様々な機能アプリケーションおよびデータ処理を実行し、即ち、上記の方法の実施例におけるスマートバックミラーのインタラクション方法を実現する。

メモリ９０２は、記憶プログラム領域と記憶データ領域を含んでもよく、ただし、記憶プログラム領域は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶してもよく、記憶データ領域は、スマートバックミラーのインタラクション方法を実行するための電子機器の使用に作成されるデータなどを記憶することができる。また、メモリ９０２は、高速ランダムアクセスメモリを含むことができ、また、少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の非一時的なソリッドステートストレージデバイスなどの非一時的なメモリを含むこともできる。いくつかの実施例において、メモリ９０２は、プロセッサ９０１に対して遠隔に設置されているメモリを選択的に含むことができ、それらの遠隔メモリは、ネットワークを介し、スマートバックミラーのインタラクション方法を実現するための電子機器に接続されることができる。上記のネットワークの実例は、インターネット、企業イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせを含むが、これらに限定されない。

スマートバックミラーのインタラクション方法の電子機器は、さらに、入力装置９０３、オーディオ出力装置９０４、カメラ９０５及び表示装置９０６を含むことができる。該カメラ９０５は、スマートバックミラーのフロンカメラであってもよく、カメラ９０５は、プロセッサ９０１の制御下でユーザの動きを収集し、上記の実施例におけるカメラの動きを実行するために使用されるものであり、オーディオ出力装置９０４は、プロセッサ９０１の制御下でオーディオを出力し、ユーザとのインタラクションを実現するために使用されるものであり、表示装置９０６は、電子機器のインタフェース、例えば、上記の図４－図７に示したスマートバックミラーのインタフェースを表示するために使用されるものである。

プロセッサ９０１、メモリ９０２、入力装置９０３、オーディオ出力装置９０４、カメラ９０５及び表示装置９０６は、バスまたはその他の方式によって接続することができ、図９では、バスによる接続を例とする。

入力装置９０３は、入力された数字又はキャラクタ情報を受信し、スマートバックミラーのインタラクション方法を実行するための電子機器のユーザ設定、および機能制御に関連するキー信号の入力を発生することができ、タッチスクリーン、キーパッド、マウス、トラックボード、タッチパッド、ポインティングスティック、１つ以上のマウスボタン、トラックボール、ジョイスティックなどの入力装置が挙げられる。表示装置９０６は、表示デバイス、補助照明装置（ＬＥＤなど）や触感フィードバック装置（振動モータなど）などを含むことができる。該表示デバイスは、液晶表示（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイやプラズマディスプレイを含むことができるが、それらに限定されない。いくつかの実施形態では、表示デバイスはタッチスクリーンであってもよい。

ここに記載のシステムや技術的様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピューターハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせにおいて実現できる。これらの様々な実施例形態は、以下を含んでもよく、１つまたは複数のコンピュータープログラムに実施され、該１つまたは複数のコンピュータープログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行および／または解釈されてもよく、該プログラマブルプロセッサは、ストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータと命令を受信し、そのデータと命令をストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置に送信できる専用または汎用のプログラマブルプロセッサであってもよい。

これらのコンピュータープログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、高レベルのプロセス及び／またはオブジェクト指向プログラミング言語、及び／またはアセンブリ／機械言語を利用してこれらのコンピュータープログラムを実施することができる。本文で使用されるように、「機械読み取り可能な媒体」及び「コンピューター読み取り可能な媒体」という用語は、プログラマブルプロセッサに機械命令および／またはデータを提供するために用いられる任意のコンピュータープログラム製品、機器、および／または装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジック装置（ＰＬＤ）を指す。機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、プログラマブルプロセッサに機械命令および／またはデータを提供するために用いられる任意の信号を指す。

ユーザとのインタラクションを提供するために、コンピューターにここでは説明されるシステム及び技術を実施してもよく、該コンピューターは、ユーザーに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニター）、及びキーボードとポインティング装置（マウスやトラックボールなど）を備え、ユーザーが該キーボードとポインティング装置を介してコンピューターに入力を提供することができる。他のタイプの装置もユーザーとのインタラクションを提供するために用いられ、例えば、ユーザーに提供されるフィードバックは、任意の形式の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、任意の形式（音入力、音声入力、または触覚入力を含み）でユーザーからの入力を受信することができる。

ここに記載のシステムや技術は、バックエンドコンポーネント（例えば、データサーバー）を含むコンピューターシステム、ミドルウェアコンポーネント（例えば、アプリケーションサーバー）を含むコンピューターシステム、またはフロントエンドコンポーネントを含むコンピューターシステム（例えば、グラフィカルユーザーインターフェイスまたはＷｅｂブラウザーを備え、ユーザーが該ラフィカルユーザーインターフェイスまたはＷｅｂブラウザーでシステムと技術の実施例とインタラクションできるユーザーのコンピューター）、またはそのようなバックエンドコンポーネント、ミドルウェアコンポーネント、またはフロントエンドコンポーネントを含む任意の組み合わせに実施してもよく、システムのコンポーネントは、任意の形式または媒体のデジタルデータ通信（通信ネットワークなど）を介して相互に接続してもよい。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネットが挙げられる。

コンピュータシステムは、クライアント及びサーバーを含んでもよい。クライアントとサーバーは、一般的に互いに離れており、通常は通信ネットワークを介してインタラクションする。対応するコンピューター上で、互いにクライアント／サーバー関係を持つコンピュータープログラムを実行することによりクライアントとサーバーの関係を生成する。

本願の一実施例によれば、本願は、コンピュータ可読記憶媒体に記憶されたコンピュータプログラムをさらに提供し、前記コンピュータプログラムでの命令はプロセッサによって実行されるとき、コンピュータに本願の実施例のスマートバックミラーのインタラクション方法を実行させる。

理解すべきものとして、上記に示される様々な形態のプロセスを使用してソートし、ステップを追加し、削除できる。例えば、本願に記載される各ステップは、本願に開示される技術的解決手段の所望の結果を達成できる限り、並行、順次、または異なる順序で実行されてもよく、ここでは本文に限定されない。

上記の具体的な実施形態は、本願の特許範囲を限定するものではない。当業者は、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブ組み合わせ、及び置換を行うことができると理解すべきである。本願の精神及び原則を逸脱せずに行われる補正、等価置換、改良などはすべて本願の特許範囲に含まれるべきである。

Claims (20)

1. スマートバックミラーのインタラクション方法であって、
   スマートバックミラーをウェイクアップさせた後に、前記スマートバックミラーの現在の使用状態を確定するステップと、
   前記スマートバックミラーの現在の使用状態に基づき、前記スマートバックミラーがユーザとインタラクションするように制御するステップと、を含み、
   前記スマートバックミラーの現在の使用状態を確定するステップは、
   前記スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプを確定するステップを含み、
   対応的に、前記スマートバックミラーの現在の使用状態に基づき、前記スマートバックミラーがユーザとインタラクションするように制御するステップは、
   前記スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプに基づき、前記スマートバックミラーとユーザとが音声インタラクション、または、動きインタラクションを行うように制御するステップを含み、
   前記スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプに基づき、前記スマートバックミラーとユーザとが音声インタラクション、または、動きインタラクションを行うように制御するステップは、
   前記ユーザと前記スマートバックミラー上での種々のタイプのインタラクションアプリケーションとの履歴インタラクションデータに基づき、種々のタイプのインタラクションアプリケーションに対する前記ユーザの好みのインタラクションを確定するステップであって、前記好みのインタラクションは、音声インタラクション、または、動きインタラクションであるステップと、
   種々のタイプのインタラクションアプリケーションに対する前記ユーザの好みのインタラクション、および前記スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプに基づき、前記スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションに対する前記ユーザの好みのインタラクションを確定するステップと、
   前記スマートバックミラーとユーザとが前記スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションの好みのインタラクションを行うように制御するステップと、を含むことを特徴とするスマートバックミラーのインタラクション方法。
2. 前記スマートバックミラーの現在の使用状態を確定するステップは、
   前記スマートバックミラーは現在環境が騒がしい状態にあるか否かを確定するステップをさらに含み、
   対応的に、前記スマートバックミラーの現在の使用状態に基づき、前記スマートバックミラーがユーザとインタラクションするように制御するステップは、
   前記スマートバックミラーは現在、環境が騒がしい状態にある場合、前記スマートバックミラーとユーザとが動きインタラクションを行うように制御するステップと、
   前記スマートバックミラーは現在、環境が騒がしい状態にない場合、前記スマートバックミラーとユーザとが音声インタラクションを行うように制御するステップと、をさらに含むことを特徴とする請求項１に記載の方法。
3. 前記スマートバックミラーは現在環境が騒がしい状態にあるか否かを確定するステップは、
   前記スマートバックミラーが現在ある環境のノイズのデシベル値を取得するステップと、
   前記ノイズのデシベル値がプリセットデシベル閾値より大きい場合、前記スマートバックミラーは現在、環境が騒がしい状態にあると確定するステップと、を含むことを特徴とする請求項２に記載の方法。
4. 前記インタラクションアプリケーションは、
   音楽アプリケーション、ナビゲーションアプリケーション又は車両パラメータ制御アプリケーションを含むことを特徴とする請求項１に記載の方法。
5. 前記スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプに基づき、前記スマートバックミラーとユーザとが音声インタラクション、または、動きインタラクションを行うように制御するステップは、
   前記スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプが第１のタイプであると確定した場合、前記スマートバックミラーとユーザとが動きインタラクションを行うように制御するステップであって、前記第１のタイプのインタラクションアプリケーションがオーディオサービスを前記ユーザに提供するインタラクションアプリケーションであるステップと、
   前記スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプが前記第１のタイプではないと確定する場合、前記スマートバックミラーとユーザとが音声インタラクションを行うように制御するステップと、を含むことを特徴とする請求項１又は請求項４に記載の方法。
6. 前記ユーザと前記スマートバックミラー上での種々のタイプのインタラクションアプリケーションとの履歴インタラクションデータに基づき、種々のタイプのインタラクションアプリケーションに対する前記ユーザの好みのインタラクションを確定するステップは、
   前記履歴インタラクションデータに基づき、前記ユーザと種々のタイプのインタラクションアプリケーションとの動きインタラクションの割合及び音声インタラクションの割合を確定するステップと、
   第２のタイプのインタラクションアプリケーションの動きインタラクションの割合が音声インタラクションの割合以上であると確定した場合、第２のタイプのインタラクションアプリケーションに対する前記ユーザの好みのインタラクションが動きインタラクションであると確定し、前記第２のタイプが前記スマートバックミラー内のインタラクションアプリケーションタイプの中の任意の１つのタイプであるステップと、
   第２のタイプのインタラクションアプリケーションの動きインタラクションの割合が音声インタラクションの割合より小さいと確定した場合、第２のタイプのインタラクションアプリケーションに対する前記ユーザの好みのインタラクションが音声インタラクションであると確定するステップと、を含むことを特徴とする請求項１に記載の方法。
7. 前記スマートバックミラーの現在の使用状態を確定するステップは、
   前記スマートバックミラーが現在ユーザと音声インタラクションを行うインタラクション内容を確定するステップをさらに含み、
   対応的に、前記スマートバックミラーの現在の使用状態に基づき、前記スマートバックミラーがユーザとインタラクションするように制御するステップは、
   前記スマートバックミラーが現在ユーザと音声インタラクションを行うインタラクション内容に基づき、前記スマートバックミラーとユーザとが音声インタラクション、または、動きインタラクションを行うように制御するステップをさらに含むことを特徴とする請求項１に記載の方法。
8. 前記スマートバックミラーが現在ユーザと音声インタラクションを行うインタラクション内容に基づき、前記スマートバックミラーとユーザとが音声インタラクション、または、動きインタラクションを行うように制御するステップは、
   前記インタラクション内容により、ユーザが確認、選択又はページをめくる操作を行うように指示するか否かを判断するステップと、
   そうである場合、前記スマートバックミラーとユーザとが動きインタラクションを行うように制御するステップと、
   そうではない場合、前記スマートバックミラーとユーザとが音声インタラクションを行うように制御するステップと、を含むことを特徴とする請求項７に記載の方法。
9. 前記スマートバックミラーが現在ユーザと音声インタラクションを行うインタラクション内容に基づき、前記スマートバックミラーとユーザとが音声インタラクション、または、動きインタラクションを行うように制御するステップは、
   前記インタラクション内容、および前記インタラクション内容のラベルに基づき、前記スマートバックミラーとユーザとが音声インタラクション、または、動きインタラクションを行うように制御し、前記ラベルにより、前記ユーザが前記インタラクション内容に基づくインタラクション方式を指示するステップを含むことを特徴とする請求項７に記載の方法。
10. 前記インタラクション内容、および前記インタラクション内容のラベルに基づき、前記スマートバックミラーとユーザとが音声インタラクション、または、動きインタラクションを行うように制御するステップは、
    前記インタラクション内容のラベルに動きインタラクションが含まれた場合、前記スマートバックミラーとユーザとが動きインタラクションを行うように制御するステップと、
    前記インタラクション内容のラベルに動きインタラクションが含まれない場合、前記スマートバックミラーとユーザとが音声インタラクションを行うように制御するステップと、を含むことを特徴とする請求項９に記載の方法。
11. 前記スマートバックミラーとユーザとが動きインタラクションを行うように制御するステップは、
    前記スマートバックミラーのカメラを開くように制御し、前記カメラが前記ユーザの動きを収集するように制御するステップと、
    前記ユーザの動きに基づき、相応な操作を実行するステップと、を含むことを特徴とする請求項２～請求項１０のいずれか１項に記載の方法。
12. 前記ユーザの動きに基づき、相応な操作を実行するステップは、
    前記動きがプリセット動きであると確定した場合、前記動きに対応する命令を取得するステップと、
    前記命令に基づき、前記相応な操作を実行するステップと、を含むことを特徴とする請求項１１に記載の方法。
13. 前記方法は、また、
    前記動きがプリセット動きではないと確定した場合、前記スマートバックミラーとユーザとが音声インタラクションを行うように制御するステップを含むことを特徴とする請求項１１又は請求項１２に記載の方法。
14. 前記スマートバックミラーとユーザとが音声インタラクションを行うように制御するステップは、
    前記ユーザの音声を収集し、前記音声の語義を取得するステップと、
    前記音声の語義に基づき、相応な操作を実行するステップと、を含むことを特徴とする請求項２～請求項１３のいずれか１項に記載の方法。
15. 前記方法は、さらに、
    前記相応な操作を実行するとき、前記相応な操作を実行していることを示すオーディオを再生するステップを含むことを特徴とする請求項１１～請求項１４のいずれか１項に記載の方法。
16. 前記車両が走行状態にある場合、前記ユーザの動きは頭部動きであり、
    前記車両が走行しない状態にある場合、前記ユーザの動きは、頭部動き及び／又はハンド動きを含むことを特徴とする請求項１１～請求項１４のいずれか１項に記載の方法。
17. スマートバックミラーのインタラクション装置であって、
    スマートバックミラーをウェイクアップさせた後に、前記スマートバックミラーの現在の使用状態を確定するために使用される第１の処理モジュールと、
    前記スマートバックミラーの現在の使用状態に基づき、前記スマートバックミラーがユーザとインタラクションするように制御するために使用される第２の処理モジュールと、を含み、
    前記第１の処理モジュールは、
    前記スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプを確定するためにも使用され、
    対応的に、前記第２の処理モジュールは、
    前記スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプに基づき、前記スマートバックミラーとユーザとが音声インタラクション、または、動きインタラクションを行うためにも使用され、
    前記第２の処理モジュールは、
    前記ユーザと前記スマートバックミラー上での種々のタイプのインタラクションアプリケーションとの履歴インタラクションデータに基づき、種々のタイプのインタラクションアプリケーションに対する前記ユーザの好みのインタラクションを確定することであって、前記好みのインタラクションは、音声インタラクション、または、動きインタラクションであることと、
    種々のタイプのインタラクションアプリケーションに対する前記ユーザの好みのインタラクション、および前記スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションのタイプに基づき、前記スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションに対する前記ユーザの好みのインタラクションを確定することと、
    前記スマートバックミラーとユーザとが前記スマートバックミラーによってユーザに現在提供されているインタラクションアプリケーションの好みのインタラクションを行うように制御することと、にも使用される、ことを特徴とするスマートバックミラーのインタラクション装置。
18. 電子機器であって、
    少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信接続されたメモリと、
    カメラと、オーディオ出力装置と、を含み、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令が前記少なくとも１つのプロセッサによって実行されることで、前記少なくとも１つのプロセッサに請求項１～請求項１６のいずれか１項に記載の方法を実行させることができるようにし、前記カメラが、前記プロセッサの制御下でユーザの動きを収集し、電子機器とユーザとの間の動きインタラクションを実現するためのものであり、前記オーディオ出力装置が、前記プロセッサの制御下でオーディオを出力し、前記電子機器とユーザとの間の音声インタラクションを実現するためのものであることを特徴とする電子機器。
19. コンピュータ命令が記憶された非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ命令は、コンピュータに請求項１～請求項１６のいずれか１項に記載の方法を実行させるためのものであることを特徴とする非一時的なコンピュータ可読記憶媒体。
20. コンピュータプログラムであって、前記コンピュータプログラムはプロセッサによって実行されるとき、請求項１～請求項１６のいずれか１項に記載の方法を実現することを特徴とするコンピュータプログラム。
    
    

Images