JP6023779B2

JP6023779B2 - オーディオ情報処理の方法及び装置

Info

Publication number: JP6023779B2
Application number: JP2014244741A
Authority: JP
Inventors: ▲海▼▲ティン▼ 李
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2013-12-06
Filing date: 2014-12-03
Publication date: 2016-11-09
Anticipated expiration: 2034-12-03
Also published as: CN104699445A; KR20150066455A; JP2015115952A; EP2882170B1; US20150163587A1; EP2882170A1

Description

本願は情報処理分野に関し、特に、オーディオ情報処理の方法及び装置に関する。

科学技術のたゆまぬ進歩に伴い、電子製品の機能の数はますます増加している。現在、圧倒的多数のポータブル電子デバイスはオーディオ情報収集機能を有し、収集されたオーディオ情報を出力することができる。携帯電話がその一例である。携帯電話を使用して電話をかける、及びビデオを録画するなどの動作を実行するとき、携帯電話のオーディオ情報収集機能が適用される。

しかしながら、従来技術では、電子デバイスを使用してオーディオ情報を収集するとき、基本的に、電子デバイスによって収集されたオーディオ情報は直接出力されるか、又はそれ以上処理されることなく保存されるため、電子デバイスによって収集されたオーディオ情報内の雑音又は干渉音源の音量が、ターゲット音源の音量よりも大きくなり得る。

例えば、携帯電話がビデオの録画に使用されるとき、撮影するユーザが携帯電話に近いため、録画されるビデオ内でユーザが発する音は、通常、撮影対象が発する音よりも大きく、これにより、電子デバイスによって収集されるオーディオ情報内で、ターゲット音源の音量が雑音又は干渉音源の音量よりも小さくなる。

本願の目的は、オーディオ収集ユニットによって収集されるオーディオ情報を処理することにより、音源の音量が雑音の音量よりも小さいという問題を解決することができる、オーディオ情報処理の方法及び装置を提供することである。

前述の目的を達成するために、本願は、以下の解決策を提供する。

本願の第１の態様の第１の可能な実装様式によると、本願はオーディオ情報処理の方法を提供し、該方法は電子デバイスに適用され、電子デバイスは少なくとも前向きカメラ及び後ろ向きカメラを有し、前向きカメラ及び後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、前向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、後ろ向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前向きカメラが第１のカメラであるとき、前向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、後ろ向きカメラが第１のカメラであるとき、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、該方法は、
第１のカメラを決定するステップと、
第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するステップと、
第２のオーディオ収集ユニットによって収集された第２のオーディオ情報を獲得するステップと、
第３のオーディオ情報を取得するために第１のオーディオ情報及び第２のオーディオ情報を処理するステップであって、第３のオーディオ情報にとって、第１のカメラの撮影方向からの音声信号のゲインが第１のゲインであり、第３のオーディオ情報にとって、撮影方向の反対方向からの音声信号のゲインが第２のゲインであり、第１のゲインは第２のゲインよりも大きい、処理するステップと、
第３のオーディオ情報を出力するステップと、
を含む。

第１の態様の第２の可能な実装様式を参照して、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットの両方が無指向性オーディオ収集ユニットであり、第３のオーディオ情報を取得するために第１のオーディオ情報及び第２のオーディオ情報を処理するステップは、
差分アレイ処理技法を使用することによって、第３のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報を処理するステップを含み、
差分アレイ処理技法を使用することによって処理するステップが実行された後、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビームはカージオイドであり、
カージオイドの最大値の方向は撮影方向と同じであり、最小値の方向は撮影方向の反対方向と同じである。

第１の態様の第３の可能な実装様式を参照して、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットの両方が無指向性オーディオ収集ユニットであり、第３のオーディオ情報を取得するために第１のオーディオ情報及び第２のオーディオ情報を処理するステップは、
第１の処理モードにおいて、第４のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報を処理するステップと、
第２の処理モードにおいて、第５のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報を処理するステップと、を含み、
第１の処理モードにおいて、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビームは第１のビームであり、
第２の処理モードにおいて、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビームは第２のビームであり、第１のビーム及び第２のビームは異なる方向を有し、
事前に設定された重み付け係数に従って、第３のオーディオ情報を取得するために、第４のオーディオ情報及び第５のオーディオ情報を合成するステップをさらに含む。

第１の態様の第４の可能な実装様式を参照して、第１のオーディオ収集ユニットは無指向性オーディオ収集ユニットであり、第２のオーディオ収集ユニットはカージオイド・オーディオ収集ユニットであって、ここでカージオイドの最大値の方向は撮影方向の反対方向と同じであり、最小値の方向は撮影方向と同じであって、第３のオーディオ情報を取得するために第１のオーディオ情報及び第２のオーディオ情報を処理するステップは、
第１のオーディオ情報をターゲット信号として、及び第２のオーディオ情報を参照雑音信号として、使用するステップと、第３のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報に関して雑音抑制処理を実行するステップと、を含む。

第１の態様の第５の可能な実装様式を参照して、第１のオーディオ収集ユニットは第１のカージオイド・オーディオ収集ユニットであり、第２のオーディオ収集ユニットは第２のカージオイド・オーディオ収集ユニットであって、ここで第１のカージオイドの最大値の方向は撮影方向と同じであり、最小値の方向は撮影方向の反対方向と同じであり、第２のカージオイドの最大値の方向は撮影方向の反対方向と同じであり、最小値の方向は撮影方向と同じであって、第３のオーディオ情報を取得するために第１のオーディオ情報及び第２のオーディオ情報を処理するステップは、
第１のオーディオ情報をターゲット信号として、及び第２のオーディオ情報を参照雑音信号として、使用するステップと、第３のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報に関して雑音抑制処理を実行するステップと、を含む。

本願の第２の態様の第１の可能な実装様式によると、本願は別のオーディオ情報処理の方法を提供し、該方法は電子デバイスに適用され、電子デバイスは少なくとも前向きカメラ及び後ろ向きカメラを有し、前向きカメラ及び後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、前向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、後ろ向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前向きカメラが第１のカメラであるとき、前向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、後ろ向きカメラが第１のカメラであるとき、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、該方法は、
第１のカメラを決定するステップと、
第１のオーディオ収集ユニットを使用可能にするステップと、
第２のオーディオ収集ユニットを使用不可にするステップと、
第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するステップと、
第１のオーディオ情報を出力するステップと、
を含む。

本願の第３の態様の第１の可能な実装様式によると、本願はオーディオ情報処理装置を提供し、該装置は電子デバイスに適用され、電子デバイスは少なくとも前向きカメラ及び後ろ向きカメラを有し、前向きカメラ及び後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、前向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、後ろ向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前向きカメラが第１のカメラであるとき、前向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、後ろ向きカメラが第１のカメラであるとき、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、該装置は、
第１のカメラを決定するように構成された決定ユニットと、
第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するように構成され、
第２のオーディオ収集ユニットによって収集された第２のオーディオ情報を獲得するようにさらに構成された、獲得ユニットと、
第３のオーディオ情報を取得するために第１のオーディオ情報及び第２のオーディオ情報を処理するように構成された、処理ユニットであって、第３のオーディオ情報にとって、第１のカメラの撮影方向からの音声信号のゲインが第１のゲインであり、第３のオーディオ情報にとって、撮影方向の反対方向からの音声信号のゲインが第２のゲインであり、第１のゲインは第２のゲインよりも大きい、処理ユニットと、
第３のオーディオ情報を出力するように構成された出力ユニットと、
を含む。

第３の態様の第２の可能な実装様式を参照して、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットの両方が無指向性オーディオ収集ユニットであり、処理ユニットは、
差分アレイ処理技法を使用することによって、第３のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報を処理するように構成され、
差分アレイ処理技法を使用することによって処理するステップが実行された後、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビームはカージオイドであり、
カージオイドの最大値の方向は撮影方向と同じであり、最小値の方向は撮影方向の反対方向と同じである。

第３の態様の第３の可能な実装様式を参照して、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットの両方が無指向性オーディオ収集ユニットであり、処理ユニットは、
第１の処理モードにおいて、第４のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報を処理し、
第２の処理モードにおいて、第５のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報を処理し、
第１の処理モードにおいて、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビームは第１のビームであり、
第２の処理モードにおいて、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビームは第２のビームであり、第１のビーム及び第２のビームは異なる方向を有し、
事前に設定された重み付け係数に従って、第３のオーディオ情報を取得するために、第４のオーディオ情報及び第５のオーディオ情報を合成するように構成される。

第３の態様の第４の可能な実装様式を参照して、第１のオーディオ収集ユニットは無指向性オーディオ収集ユニットであり、第２のオーディオ収集ユニットはカージオイド・オーディオ収集ユニットであって、ここでカージオイドの最大値の方向は撮影方向の反対方向と同じであり、最小値の方向は撮影方向と同じであって、処理ユニットは、
第１のオーディオ情報をターゲット信号として、及び第２のオーディオ情報を参照雑音信号として、使用し、第３のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報に関して雑音抑制処理を実行するように構成される。

第３の態様の第５の可能な実装様式を参照して、第１のオーディオ収集ユニットは第１のカージオイド・オーディオ収集ユニットであり、第２のオーディオ収集ユニットは第２のカージオイド・オーディオ収集ユニットであって、ここで第１のカージオイドの最大値の方向は撮影方向と同じであり、最小値の方向は撮影方向の反対方向と同じであり、第２のカージオイドの最大値の方向は撮影方向の反対方向と同じであり、最小値の方向は撮影方向と同じであって、処理ユニットは、
第１のオーディオ情報をターゲット信号として、及び第２のオーディオ情報を参照雑音信号として、使用し、第３のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報に関して雑音抑制処理を実行するように構成される。

本願の第４の態様の第１の可能な実装様式によると、本願は別のオーディオ情報処理装置を提供し、該装置は電子デバイスに適用され、電子デバイスは少なくとも前向きカメラ及び後ろ向きカメラを有し、前向きカメラ及び後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、前向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、後ろ向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前向きカメラが第１のカメラであるとき、前向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、後ろ向きカメラが第１のカメラであるとき、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、ここで、第１のオーディオ収集ユニットのビームはカージオイドであり、カージオイドの最大値の方向は撮影方向と同じであり、最小値の方向は撮影方向の反対方向と同じであり、該装置は、
第１のカメラを決定するように構成された決定ユニットと、
第１のオーディオ収集ユニットを使用可能にするように構成された、使用可能化ユニットと、
第２のオーディオ収集ユニットを使用不可にするように構成された、使用不可化ユニットと、
第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するように構成された、獲得ユニットと、
第１のオーディオ情報を出力するように構成された、出力ユニットと、
を含む。

本願の第５の態様の第１の可能な実装様式によると、本願は電子デバイスを提供し、電子デバイスは少なくとも前向きカメラ及び後ろ向きカメラを有し、前向きカメラ及び後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、前向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、後ろ向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前向きカメラが第１のカメラであるとき、前向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、後ろ向きカメラが第１のカメラであるとき、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、電子デバイスは、第３の態様及び第４の態様に従った任意のオーディオ情報処理装置をさらに含む。

本願の第６の態様の第１の可能な実装様式によると、本願は別の電子デバイスを提供し、該電子デバイスは少なくとも前向きカメラ及び後ろ向きカメラを有し、前向きカメラ及び後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、前向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、後ろ向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前向きカメラが第１のカメラであるとき、前向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、後ろ向きカメラが第１のカメラであるとき、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、ここで、第１のオーディオ収集ユニットのビームがカージオイドであり、カージオイドの最大値の方向は撮影方向と同じであり、最小値の方向は撮影方向の反対方向と同じであり、電子デバイスは、第４の態様に従ったオーディオ情報処理装置をさらに含む。

本願で提供される特定の実施形態に従い、本願は以下の技術的効果を開示する。

本願で開示されるオーディオ情報処理の方法又は装置に従い、第１のカメラが決定され、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットによって収集された情報は第３のオーディオ情報を取得するために処理され、ここで、第３のオーディオ情報にとって、カメラの撮影方向からの音声信号のゲインがより大きなゲイン値を備える第１のゲインであり、撮影方向の反対方向からの音声信号のゲインがより小さなゲイン値を備える第２のゲインであるため、電子デバイスがビデオ撮影用及びオーディオ収集用に同時に使用されるとき、ビデオ撮影方向のターゲット音源の音量を上昇させることができ、ビデオ撮影方向の反対方向の雑音又は干渉音源の音量を低下させることができ、したがって、同期して出力されるオーディオ情報において、最終ビデオ・イメージ内のターゲット音源の音量は、ビデオ・イメージ外の雑音又は干渉音源の音量よりも高い。

本願の実施形態又は従来技術における技術的解決策をより明確に説明するために、下記に、実施形態を説明するために必要な添付の図面を簡単に紹介する。明らかに、下記の説明における添付の図面は本願のいくつかの実施形態を単に示すものであり、当業者であれば、創造的努力無しにこれらの添付の図面からさらに他の図面を導出し得る。

本願に従った、オーディオ情報処理方法の実施形態１を示すフローチャートである。本願に従った、オーディオ情報処理方法の実施形態２及び実施形態３における、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットのビーム方向性を示す概略図である。本願に従った、オーディオ情報処理方法の実施形態２を示すフローチャートである。本願に従った、オーディオ情報処理方法の実施形態２において差分アレイ処理技法が使用された後の、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビーム方向性を示す概略図である。本願に従った、オーディオ情報処理方法の実施形態３を示すフローチャートである。本願に従った、オーディオ情報処理方法の実施形態３において第１の処理モードが使用された後の、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体の第１のビームのビーム方向性を示す概略図である。本願に従った、オーディオ情報処理方法の実施形態３において第２の処理モードが使用された後の、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体の第２のビームのビーム方向性を示す概略図である。本願に従った、オーディオ情報処理方法の実施形態４における第１のオーディオ収集ユニットの第１のビーム方向性を示す概略図である。本願に従った、オーディオ情報処理方法の実施形態４における第１のオーディオ収集ユニットの第２のビーム方向性を示す概略図である。本願に従った、オーディオ情報処理方法の実施形態４における第２のオーディオ収集ユニットのビーム方向性を示す概略図である。本願に従った、オーディオ情報処理方法の実施形態４を示すフローチャートである。本願に従った、別のオーディオ情報処理方法の実施形態１を示すフローチャートである。本願に従った、オーディオ情報処理装置の実施形態１を示すフローチャートである。本願に従った、別のオーディオ情報処理装置の実施形態１を示す構造図である。本願に従った、コンピューティング・ノードを示す構造図である。本願の実施形態に従った、電子デバイスを示す正面概略構造図である。本願の実施形態に従った、電子デバイスを示す背面概略構造図である。本願の実施形態に従った、電子デバイスを示す正面概略構造図である。本願の実施形態に従った、電子デバイスを示す背面概略構造図である。

下記は、本願の実施形態における添付の図面を参照して、本願の実施形態における技術的解決策を明確に説明する。明らかに、説明される実施形態は本願の実施形態のすべてではなく、単なる一部である。創造的な努力無しに本願の実施形態に基づいて当業者によって取得されるすべての他の実施形態は、本願の保護範囲内にある。

本願の前述の目的、特徴、及び利点をより明らかに且つより理解しやすくするために、以下で、添付の図面及び特定の実施形態を参照して、本願をより詳細に説明する。

本願のオーディオ情報処理方法が電子デバイスに適用され、ここで電子デバイスは少なくとも前向きカメラ及び後ろ向きカメラを有し、前向きカメラ及び後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、前向きカメラが配置された一方の側面上に少なくとも１つの第１のオーディオ収集ユニットが存在し、他方の側面上に少なくとも１つの第２のオーディオ収集ユニットが存在する。

電子デバイスは、携帯電話、タブレット・コンピュータ、デジタル・カメラ、デジタル・ビデオ・レコーダなどであり得る。第１のカメラは前向きカメラであり得、後ろ向きカメラでもあり得る。オーディオ収集ユニットはマイクロフォンであり得る。本願の電子デバイスは少なくとも２つのオーディオ収集ユニットを有する。前向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、後ろ向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前向きカメラが第１のカメラであるとき、前向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、後ろ向きカメラが第１のカメラであるとき、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成される。

図１は、本願に従ったオーディオ情報処理方法の実施形態１を示すフローチャートである。図１に示されるように、該方法は以下のステップを含み得る。

ステップ１０１：第１のカメラを決定するステップ。

一般に、電子デバイスのカメラは常に開始状態にある訳ではない。カメラを使用してイメージを撮影する必要があるとき、電子デバイスのカメラを開始し得る。

カメラが開始されると、カメラの回路の信号変化に従って、開始状態にあるカメラが前向きカメラであるか又は後ろ向きカメラであるかが決定され得る。確かに、前向きカメラ及び後ろ向きカメラは同時に開始状態にあり得る。

カメラの状態を示すために使用されるボタンも電子デバイス用に構成されうることに留意されたい。ユーザがボタンの操作を実行した後、カメラが開始状態にあることが決定され得る。いくつかの特殊な場合、ボタンの操作を実行した後、ユーザは必ずしもカメラを物理レベルで実際に開始せず、カメラの状態のみを切り替え得ることにさらに留意されたい。

電子デバイスが複数のカメラを有するとき、このステップにおいて、開始状態にあるカメラが第１のカメラであることが決定され得ることにさらに留意されたい。

例えば、電子デバイスは前向きカメラ及び後ろ向きカメラを有する。もし、前向きカメラが開始状態にあるならば、このステップにおいて、前向きカメラが第１のカメラであり、第１のオーディオ収集ユニットは電子デバイスの前向きカメラが配置された側面上にあり、第２のオーディオ収集ユニットは電子デバイスの後ろ向きカメラが配置された側面上にあることが決定され得る。もし、後ろ向きカメラが開始状態にあるならば、このステップにおいて、後ろ向きカメラが第１のカメラであり、第１のオーディオ収集ユニットは電子デバイスの後ろ向きカメラが配置された側面上にあり、第２のオーディオ収集ユニットは電子デバイスの前向きカメラが配置された側面上にあることが決定され得る。

もし、前向きカメラ及び後ろ向きカメラの両方が開始状態にあるならば、電子デバイスのすべてのオーディオ収集ユニットによってリアル・タイムで収集されたオーディオ情報について、本実施形態のオーディオ情報処理方法は、第１のカメラとして使用される前向きカメラを用いて１片の第３のオーディオ情報を取得するために、前向きカメラを第１のカメラとして使用することによって実行され得る一方で、本実施形態のオーディオ情報処理方法は、第１のカメラとして使用される後ろ向きカメラを用いて１片の第３のオーディオ情報を取得するために、後ろ向きカメラを第１のカメラとして使用することによって実行され、これら２片の第３のオーディオ情報は同時に出力される。前向きカメラが第１のカメラとして使用されるとき、第１のオーディオ収集ユニットは電子デバイスの前向きカメラが配置された側面上にあり、第２のオーディオ収集ユニットは電子デバイスの後ろ向きカメラが配置された側面上にある。後ろ向きカメラが第１のカメラとして使用されるとき、第１のオーディオ収集ユニットは電子デバイスの後ろ向きカメラが配置された側面上にあり、第２のオーディオ収集ユニットは電子デバイスの前向きカメラが配置された側面上にある。

ステップ１０２：第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するステップ。

第１のオーディオ収集ユニットの電源が投入され、適切に作動するとき、第１のオーディオ収集ユニットによって収集されたオーディオ情報が第１のオーディオ情報である。

ステップ１０３：第２のオーディオ収集ユニットによって収集された第２のオーディオ情報を獲得するステップ。

第２のオーディオ収集ユニットの電源が投入され、適切に作動するとき、第２のオーディオ収集ユニットによって収集されたオーディオ情報が第２のオーディオ情報である。

ステップ１０４：第３のオーディオ情報を取得するために第１のオーディオ情報及び第２のオーディオ情報を処理するステップであり、ここで第３のオーディオ情報にとって、第１のカメラの撮影方向からの音声信号のゲインが第１のゲインであり、第３のオーディオ情報にとって、撮影方向の反対方向からの音声信号のゲインが第２のゲインであり、第１のゲインは第２のゲインよりも大きい、処理するステップ。

音声処理技法を使用することによって、異なる方向からのオーディオ情報に対して異なる調整が実行できるため、調整されたオーディオ情報は異なる方向に異なるゲインを有することになる。処理された後、より大きなゲインが存在する方向から収集されたオーディオ情報はより大きな音量を有し、処理された後、より小さなゲインが存在する方向から収集されたオーディオ情報はより小さな音量を有する。

カメラが前向きカメラであるとき、カメラの撮影方向は電子デバイスの前面が向いている方向である。カメラが後ろ向きカメラであるとき、カメラの撮影方向は電子デバイスの背面が向いている方向である。

カメラが撮影に使用されるとき、電子デバイスが収集する必要のある人の声などのオーディオ情報は、一般に撮影範囲から来る。したがって、カメラの撮影方向から来る音声信号のゲインは、より大きなゲイン値を備える第１のゲインとなるように調整され、これによって撮影範囲からのオーディオ情報の音量を大きくし、録音されることが予測される話者のオーディオの音量をより大きくすることができる。加えて、撮影方向の反対方向からの音声信号のゲインは、より小さなゲイン値を備える第２のゲインとなるように調整され、これによって非撮影範囲からのオーディオ情報の音量を抑制し、背景の雑音又は干渉音源の音量をより小さくすることができる。

ステップ１０５：第３のオーディオ情報を出力するステップ。

第３のオーディオ情報を出力することは、第３のオーディオ情報が格納用にビデオ・ファイルに出力されることであり得、ここでビデオ・ファイルは電子デバイスによって記録され、さらに、第３のオーディオ情報が直接出力され、直接のリアル・タイム再生用に電子デバイスと通信している電子デバイスに伝送されることであり得る。

結論として、本実施形態の方法に従い、第１のカメラが決定され、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットによって収集されたオーディオ情報は、第３のオーディオ情報を取得するために処理され、第３のオーディオ情報にとって、第１のカメラの撮影方向からの音声信号のゲインがより大きなゲイン値を備える第１のゲインであり、撮影方向の反対方向からの音声信号のゲインがより小さなゲイン値を備える第２のゲインであるため、電子デバイスがビデオ撮影用及びオーディオ収集用に同時に使用されるとき、ビデオ撮影方向の音源の音量を上昇させることができ、ビデオ撮影方向の反対方向の雑音又は干渉音源の音量を低下させることができ、したがって、同期して出力されるオーディオ情報において、最終ビデオ・イメージ内のターゲット音源の音量は、ビデオ・イメージ外の雑音又は干渉音源の音量よりも高い。

以下で、オーディオ収集ユニットの物理的属性及びオーディオ収集ユニットが電子デバイス内に配置される位置に関して、本願の方法を説明する。

図２は、本願に従った、オーディオ情報処理方法の実施形態２及び実施形態３における、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットのビーム方向性を示す概略図である。ビーム方向性の概略図において、座標軸なしの閉曲線がビームと呼ばれる。ビーム上の点と原点との間の距離が、オーディオ収集ユニットによってピックアップされる、その点と原点との接続線方向のオーディオのゲイン値を表す。

図２において、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットの両方が、無指向性オーディオ収集ユニットである。いわゆる「無指向性」とは、すべての方向からのオーディオ情報のピックアップされたゲインが同じであることを言い表す。

図３は、本願に従った、オーディオ情報処理方法の実施形態２を示すフローチャートである。図３に示されるように、該方法は以下のステップを含み得る。

ステップ３０１：開始状態にある第１のカメラを決定するステップ。

ステップ３０２：第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するステップ。

ステップ３０３：第２のオーディオ収集ユニットによって収集された第２のオーディオ情報を獲得するステップ。

ステップ３０４：差分アレイ処理技法を使用することによって、第３のオーディオ情報を取得するために第１のオーディオ情報及び第２のオーディオ情報を処理するステップ。

差分アレイ処理技法が使用された後、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビームはカージオイドであり、
カージオイドの最大値の方向は撮影方向と同じであり、最小値の方向は撮影方向の反対方向と同じである。

差分アレイ処理において、異なる構成角度での応答及びマイクロフォン間の位置関係に従って、差分ビームフォーマの重み付け係数を設計し、設計された重み付け係数を格納することが必要である。

Ｎはマイクロフォン・アレイに含まれるマイクロフォンの数であり、原則として、Ｍ個の角度において応答の程度が構成され得、ここでＭ≦Ｎであり、Ｍは正の整数であって、ｉ番目の角度はθ_ｉであり、余弦関数の周期性に従い、θ_ｉは任意の角度であり得る。もし、ｉ番目の角度での応答がβ_ｉであり、ｉ＝１、２、．．．、Ｍであるならば、差分ビームフォーミング重み付け係数を設計するための方法を使用することによって重み付け係数を計算するための式は、以下のとおりである。
ｈ（ω）＝Ｄ^−１（ω，θ）β

ステアリング・アレイＤ（ω，θ）の式は以下のとおりである。
（外１）

ｄ（ω，ｃｏｓθ_ｉ）＝［ｅ^{−ｉωτ１ｃｏｓθｉ} ｅ^{−ｉωτ２ｃｏｓθｉ} ．．．ｅ^{−ｉωτＮｃｏｓθｉ}］^Ｔ，ｉ＝１、２、．．．、Ｍ

応答行列βの式は以下のとおりである。
β＝［β_１ β_２．．． β_Ｍ］^Ｔ

式内の上付き文字−１は逆操作を示し、上付き文字Ｔは転置操作を示す。
（外２）

上式で、ｋ＝１、２、．．．、Ｎであり、ｃは音速であって、一般に３４２ｍ／ｓ又は３４０ｍ／ｓであり得、ｄ_ｋはｋ番目のマイクロフォンとアレイの構成された原点の位置との間の距離である。一般にアレイの原点の位置はアレイの幾何学的中心であり、アレイ内のマイクロフォン（例えば第１のマイクロフォン）の位置をも原点として使用し得る。

マイクロフォン・アレイに含まれるマイクロフォンの数が２つであるとき、差分ビームフォーミング重み付け係数の設計において、もし、撮影方向、すなわち最大応答ポイントとしてＺ軸の０°方向が使用されるならば、応答は１であり、もし、撮影方向の反対方向、すなわちゼロ・ポイントとしてＺ軸の１８０°方向が使用されるならば、応答は０である。この場合、ステアリング・アレイは以下のようになる。
（外３）

そして、応答行列βはβ＝［１０］となる。第１のオーディオ及び第２のオーディオの情報が収集された後、第１のオーディオ及び第２のオーディオの情報は周波数ドメインに変換される。もし、周波数ドメインへの変換後の第１のオーディオがＸ_１（ω）であり、周波数ドメインへの変換後の第２のオーディオがＸ_２（ω）であると想定されるならば、Ｘ（ω）＝［Ｘ_１（ω）Ｘ_２（ω）］^Ｔであり、差分アレイ処理の後、周波数ドメインにおける第３のオーディオＹ（ｋ）が取得され、ここでＹ（ω）＝ｈ^Ｔ（ω）Ｘ（ω）であり、時間ドメインにおける第３のオーディオは時間周波数変換後に取得される。

図４は、本願に従った、オーディオ情報処理方法の実施形態２において差分アレイ処理技法が使用された後の、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビーム方向性を示す概略図である。

図４において、Ｚ軸の０°方向は撮影方向であり、Ｚ軸の１８０°方向は撮影方向の反対方向である。カージオイド・ビームの最大値の方向は正確にＺ軸の０°方向であり、最小値の方向は正確にＺ軸の１８０°方向であることがわかる。

差分アレイ処理技法は、従来技術においてオーディオ収集ユニットのビーム方向性を調整するための方法であり、詳細は本明細書では繰り返し説明しない。

ステップ３０５：第３のオーディオ情報を出力するステップ。

結論として、処理用の特定の方法は、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットの両方が無指向性オーディオ収集ユニットであるとき、本実施形態では第３のオーディオ情報を取得するための第１のオーディオ情報及び第２のオーディオ情報が提供される。

図５は、本願に従った、オーディオ情報処理方法の実施形態３を示すフローチャートである。図５に示されるように、該方法は以下のステップを含み得る。

ステップ５０１：開始状態にある第１のカメラを決定するステップ。

ステップ５０２：第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するステップ。

ステップ５０３：第２のオーディオ収集ユニットによって収集された第２のオーディオ情報を獲得するステップ。

ステップ５０４：第１の処理モードで、第４のオーディオ情報を取得するために第１のオーディオ情報及び第２のオーディオ情報を処理するステップ。

ステップ５０５：第２の処理モードで、第５のオーディオ情報を取得するために第１のオーディオ情報及び第２のオーディオ情報を処理するステップ。

第１の処理モードでは、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビームは第１のビームであり、
第２の処理モードでは、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビームは第２のビームであって、第１のビーム及び第２のビームは異なる方向を有する。

図６は、本願に従った、オーディオ情報処理方法の実施形態３において第１の処理モードが使用された後の、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体の第１のビームのビーム方向性を示す概略図である。

本実施形態において、音源の方向は依然としてＺ軸の０°方向である。図６では、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビームの方向は、依然としてカージオイドである。しかしながら、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットが電子デバイス内に配置される位置により、カージオイドの最大値の方向は音源の方向を直接指せないが、音源の方向を伴う開先角度（ｉｎｃｌｕｄｅｄａｎｇｌｅ）を有する。図６において、開先角度は３０°である。確かに、特定の適用例では、開先角度は３０°に限定されず、別の角度であり得る。

図７は、本願に従った、オーディオ情報処理方法の実施形態３において第２の処理モードが使用された後の、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体の第２のビームのビーム方向性を示す概略図である。

図７において、第２のビームのビーム方向性はスーパー・カージオイドに近い。第２のビームの最大値の方向と音源の方向との間の開先角度も３０°であり、第１のビームの最大値の方向と音源の方向との間の開先角度と同じである。

ステップ５０６：事前に設定された重み付け係数を使用することによって、第３のオーディオ情報を取得するために、第４のオーディオ情報及び第５のオーディオ情報を合成するステップ。

第３のオーディオ情報は、以下の式を使用することによって合成し得る。
（外４）

ｙ（ｎ）は合成された第３のオーディオ情報を示し、ＤＭＡ_ｉ（ｎ）はｉ番目のビームが処理に採用された後に取得されたオーディオ情報を示し、Ｗ（ｉ）はｉ番目のビームが処理された後に取得されたオーディオ情報の事前に設定された重み付け係数であり、Ｎは採用されたビームの数を示し、ｎは入力されるオリジナルのオーディオ信号のサンプリング・ポイントを示す。

この実施形態では、オーディオ情報を処理するために２つの処理モードが使用され、形成されるビームの数は２であるため、Ｎ＝２である。事前に設定される重み付け係数は実際の状況に従って設定可能であり、図６及び図７のビーム方向性に従い、第４のオーディオ情報及び第５のオーディオ情報の両方の事前に設定された重み付け係数は、本実施形態では０．５であり得る。すなわち、第４のオーディオ情報及び第５のオーディオ情報は、第３のオーディオ情報を取得するために以下の式を使用することによって合成され得る。
（外５）

ステップ５０７：第３のオーディオ情報を出力するステップ。

本実施形態において、第１のビーム、第２のビーム、及び事前に設定された重み付け係数の記述は、すべて例示であることに留意されたい。実際の適用では、複数の処理モードが使用され得、各処理モードにおけるビーム方向性も任意であり得、最終的に合成された第３のオーディオ情報の音源の方向のゲインが反対方向のゲインより大きい限り、事前に設定された重み付け係数も任意であり得る。

結論として、処理用の別の特定の方法は、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットの両方が無指向性オーディオ収集ユニットであるとき、本実施形態では第３のオーディオ情報を取得するための第１のオーディオ情報及び第２のオーディオ情報が提供される。

図８は、本願に従った、オーディオ情報処理方法の実施形態４における第１のオーディオ収集ユニットの第１のビーム方向性を示す概略図である。

図９は、本願に従った、オーディオ情報処理方法の実施形態４における第１のオーディオ収集ユニットの第２のビーム方向性を示す概略図である。

図１０は、本願に従った、オーディオ情報処理方法の実施形態４における第２のオーディオ収集ユニットのビーム方向性を示す概略図である。

図８から図１０に示されるように、第１のオーディオ収集ユニットは無指向性オーディオ収集ユニット又はカージオイド・オーディオ収集ユニットであり、第２のオーディオ収集ユニットはカージオイド・オーディオ収集ユニットである。

本実施形態において、第１のオーディオ収集ユニットのカージオイドの最大値の方向は撮影方向と同じであり、最小値の方向は撮影方向の反対方向と同じであって、第２のオーディオ収集ユニットのカージオイドの最大値の方向は撮影方向の反対方向と同じであり、最小値の方向は撮影方向と同じである。

図１１は、本願に従った、オーディオ情報処理方法の実施形態４を示すフローチャートである。図１１に示されるように、該方法は以下のステップを含み得る。

ステップ１１０１：開始状態にある第１のカメラを決定するステップ。

ステップ１１０２：第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するステップ。

ステップ１１０３：第２のオーディオ収集ユニットによって収集された第２のオーディオ情報を獲得するステップ。

ステップ１１０４：第１のオーディオ情報をターゲット信号として、及び第２のオーディオ情報を参照雑音信号として使用し、第３のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報に関して雑音抑制処理を実行する。

雑音抑制処理は、スペクトル減算に基づく雑音抑制方法であり得る。周波数ドメインに変換された後、参照雑音信号として使用される第２のオーディオ情報はスペクトル減算において雑音推定スペクトルとして直接使用され得るか、又は周波数ドメインに変換された後、参照雑音信号は事前に設定された係数によって乗算され、そして積が、スペクトル減算において雑音推定スペクトルとして使用される。周波数ドメインに変換された後、ターゲット信号として使用される第１のオーディオ情報は、雑音抑制信号スペクトルを取得するために雑音推定スペクトルが減算され、そして、雑音抑制信号スペクトルが時間ドメインに変換された後、第３のオーディオ情報が取得される。

雑音抑制処理は、適応フィルタリング・アルゴリズムに基づく雑音抑制方法でもあり得る。参照雑音信号は適応フィルタにおいて雑音参照チャネルとして使用され、ターゲット信号の雑音成分は、第３のオーディオ情報を取得するために、適応フィルタリング方法を使用することによってフィルタ除去される。

雑音抑制処理は、さらに以下のようであり得る。周波数ドメインに変換された後、参照雑音信号として使用される第２のオーディオ情報は、雑音スペクトル推定中に最小統計値として使用される。異なる周波数での雑音抑制ゲイン・ファクタは、統計値に基づく雑音抑制方法を使用することによって計算され、周波数ドメインに変換された後、ターゲット信号として使用される第１のオーディオ情報は、雑音抑制済み周波数スペクトルを取得するために、雑音抑制ゲイン・ファクタによって乗算され、次に雑音抑制済み周波数スペクトルが時間ドメインに変換された後、第３のオーディオ情報が取得される。

ステップ１１０５：第３のオーディオ情報を出力するステップ。

本実施形態において、第２のオーディオ収集ユニット自体がカージオイドであり、カージオイドにおいて、最大値の方向は撮影方向の反対方向と同じであるため、第２のオーディオ収集ユニットについて、撮影方向の反対方向からのオーディオ情報のゲイン値が最大である。言い換えれば、第２のオーディオ収集ユニットは雑音に対して非常に高い感度を有する。したがって、第１のオーディオ情報をターゲット信号として、第２のオーディオ情報を参照雑音信号として使用し得、第１のオーディオ情報及び第２のオーディオ情報に関して、第３のオーディオ情報を取得するために雑音抑制処理が実行され、そのため、同期的に出力されるオーディオ情報において、最終ビデオ・イメージ内の音源の音量はビデオ・イメージ外の雑音の音量よりも大きくなる。

異なるビデオ・イメージに対応するオーディオ情報の音量をビデオ・イメージの領域と一致させるために、本願の前述の実施形態では、第３のオーディオ情報を出力する前に、該方法は以下のステップをさらに含み得る。

ビデオ・イメージ全体において第１のカメラによって撮影されるビデオ・イメージの第１の割合を決定し、
音量全体における第３のオーディオ情報の音量の割合が第１の割合と同じになるように、第１の割合に従って、第３のオーディオ情報の音量を調整するステップ。

音量全体は、ビデオ・イメージ全体が再生されるときの音量である。

前述のステップを実行することによって、より小さなイメージ・サイズを伴うビデオ・イメージに対応するオーディオ信号の音量をより低くすることができ、より大きなイメージ・サイズを伴うビデオ・イメージに対応するオーディオ信号の音量をより高くすることができる。

本願は、別のオーディオ情報処理方法をさらに提供する。該方法は電子デバイスに適用され、電子デバイスは少なくとも前向きカメラ及び後ろ向きカメラを有し、前向きカメラ及び後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、第１のカメラが配置された側面上に少なくとも１つの第１のオーディオ収集ユニットが存在し、他方の側面上に少なくとも１つの第２のオーディオ収集ユニットが存在し、第１のオーディオ収集ユニットのビームはカージオイドであり、カージオイドの最大値の方向は撮影方向と同じであり、最小値の方向は撮影方向の反対方向と同じである。

図１２は、本願に従った、別のオーディオ情報処理方法の実施形態１を示すフローチャートである。図１２に示されるように、該方法は以下のステップを含み得る。

ステップ１２０１：開始状態にある第１のカメラを決定するステップ。

ステップ１２０２：第１のオーディオ収集ユニットを使用可能にするステップ。

ステップ１２０３：第２のオーディオ収集ユニットを使用不可にするステップ。

ステップ１２０４：第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するステップ。

ステップ１２０５：第１のオーディオ情報を出力するステップ。

本実施形態において、第１のオーディオ収集ユニットのビームの最大値の方向が撮影方向と同じであるため、第１のオーディオ収集ユニット自体によって直接獲得されるオーディオ情報にとって、撮影方向からのオーディオ情報のゲインは、撮影方向の反対方向からのオーディオ情報のゲインよりも大きい。したがって、第１のオーディオ収集ユニットはオーディオ情報を収集するために直接使用し得、第２のオーディオ収集ユニットは使用不可であるため、第２のオーディオ収集ユニットが反対方向からの雑音を収集するのを防ぐことができる。最終的に、同期的に出力されるオーディオ情報において、形成されたビデオ・イメージ内のターゲット音源の音量を、ビデオ・イメージ外の雑音又は干渉音源の音量よりも高くすることもできる。

本願は、オーディオ情報処理装置をさらに提供する。該装置は電子デバイスに適用され、電子デバイスは少なくとも前向きカメラ及び後ろ向きカメラを有し、前向きカメラ及び後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、第１のカメラが配置された側面上に少なくとも１つの第１のオーディオ収集ユニットが存在し、他方の側面上に少なくとも１つの第２のオーディオ収集ユニットが存在する。

電子デバイスは、携帯電話、タブレット・コンピュータ、デジタル・カメラ、又はデジタル・ビデオ・レコーダなどの、電子デバイスであり得る。カメラは前向きカメラであり得、後ろ向きカメラでもあり得る。オーディオ収集ユニットはマイクロフォンであり得る。本願の電子デバイスは少なくとも２つのオーディオ収集ユニットを有する。第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットは、電子デバイスの２つの側面上に別々に配置される。第１のカメラが前向きカメラであるとき、第１のオーディオ収集ユニットは電子デバイスの前向きカメラが配置された側面上にあり、第２のオーディオ収集ユニットは電子デバイスの後ろ向きカメラが配置された側面上にある。第１のカメラが後ろ向きカメラであるとき、第１のオーディオ収集ユニットは電子デバイスの後ろ向きカメラが配置された側面上にあり、第２のオーディオ収集ユニットは電子デバイスの前向きカメラが配置された側面上にある。

図１３は、本願に従った、オーディオ情報処理装置の実施形態１を示すフローチャートである。図１３に示されるように、該装置は、決定ユニット１３０１、獲得ユニット１３０２、処理ユニット１３０３、及び出力ユニット１３０４を含み得る。

決定ユニット１３０１は、開始状態にある第１のカメラを決定するように構成される。

カメラが開始されるとき、カメラの回路の信号変化に従って、開始状態にあるカメラが前向きカメラであるか又は後ろ向きカメラであるかが決定され得る。確かに、前向きカメラ及び後ろ向きカメラは同時に開始状態にあり得る。

カメラの状態を示すために使用されるボタンが電子デバイス用にも構成され得ることに留意されたい。ユーザがボタンの操作を実行した後、カメラが開始状態にあることが決定されることができる。いくつかの特殊な場合、ボタンの操作を実行した後、ユーザは必ずしもカメラを物理レベルで実際に開始せず、カメラの状態のみを切り替え得ることにさらに留意されたい。

電子デバイスが複数のカメラを有するとき、ユニットは、開始状態にあるカメラが第１のカメラであることを決定し得ることに、さらに留意されたい。

例えば、電子デバイスは前向きカメラ及び後ろ向きカメラを有する。もし、前向きカメラが開始状態にあるならば、ユニットは、前向きカメラが第１のカメラであり、第１のオーディオ収集ユニットは電子デバイスの前向きカメラが配置された側面上にあり、第２のオーディオ収集ユニットは電子デバイスの後ろ向きカメラが配置された側面上にあることを決定することができる。もし、後ろ向きカメラが開始状態にあるならば、ユニットは、後ろ向きカメラが第１のカメラであり、第１のオーディオ収集ユニットは電子デバイスの後ろ向きカメラが配置された側面上にあり、第２のオーディオ収集ユニットは電子デバイスの前向きカメラが配置された側面上にあることを決定することができる。

もし、前向きカメラ及び後ろ向きカメラの両方が開始状態にあるならば、電子デバイスのすべてのオーディオ収集ユニットによってリアル・タイムで収集されたオーディオ情報について、本願のオーディオ情報処理方法は、第１のカメラとして使用される前向きカメラを用いて１片の第３のオーディオ情報を取得するために、前向きカメラを第１のカメラとして使用することによって実行され得る一方で、本願のオーディオ情報処理方法は、第１のカメラとして使用される後ろ向きカメラを用いて１片の第３のオーディオ情報を取得するために、後ろ向きカメラを第１のカメラとして使用することによって実行され、これら２片の第３のオーディオ情報は同時に出力される。前向きカメラが第１のカメラとして使用されるとき、第１のオーディオ収集ユニットは電子デバイスの前向きカメラが配置された側面上にあり、第２のオーディオ収集ユニットは電子デバイスの後ろ向きカメラが配置された側面上にある。後ろ向きカメラが第１のカメラとして使用されるとき、第１のオーディオ収集ユニットは電子デバイスの後ろ向きカメラが配置された側面上にあり、第２のオーディオ収集ユニットは電子デバイスの前向きカメラが配置された側面上にある。

獲得ユニット１３０２は、第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するように構成され、
第２のオーディオ収集ユニットによって収集された第２のオーディオ情報を獲得するようにさらに構成される。

第１のオーディオ収集ユニットの電源が投入され、適切に作動するとき、第１のオーディオ収集ユニットによって収集できるオーディオ情報が第１のオーディオ情報である。

第２のオーディオ収集ユニットの電源が投入され、適切に作動するとき、第２のオーディオ収集ユニットによって収集できるオーディオ情報が第２のオーディオ情報である。

処理ユニット１３０３は、第３のオーディオ情報を取得するために第１のオーディオ情報及び第２のオーディオ情報を処理するように構成され、ここで第３のオーディオ情報にとって、第１のカメラの撮影方向からの音声信号のゲインが第１のゲインであり、第３のオーディオ情報にとって、撮影方向の反対方向からの音声信号のゲインが第２のゲインであり、第１のゲインは第２のゲインよりも大きい。

出力ユニット１３０４は、第３のオーディオ情報を出力するように構成される。

結論として、本実施形態の方法に従い、第１のカメラが決定され、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットによって収集されたオーディオ情報は、第３のオーディオ情報を取得するために処理され、第３のオーディオ情報にとって、カメラの撮影方向からの音声信号のゲインがより大きなゲイン値を備える第１のゲインであり、撮影方向の反対方向からの音声信号のゲインがより小さなゲイン値を備える第２のゲインであるため、電子デバイスがビデオ撮影用及びオーディオ収集用に同時に使用されるとき、ビデオ撮影方向のターゲット音源の音量を上昇させることができ、ビデオ撮影方向の反対方向の雑音及び干渉音源の音量を低下させることができ、したがって、同期して出力されるオーディオ情報において、最終ビデオ・イメージ内の音源の音量は、ビデオ・イメージ外の雑音又は干渉音源の音量よりも高い。

実際の適用では、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットの両方が無指向性オーディオ収集ユニットであるとき、処理ユニット１３０３は、
差分アレイ処理技法を使用することによって、第３のオーディオ情報を取得するために第１のオーディオ情報及び第２のオーディオ情報を処理するように、
構成され得る。

実際の適用において、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットの両方が無指向性オーディオ収集ユニットであるとき、処理ユニット１３０３は、
第１の処理モードにおいて、第４のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報を処理し、
第２の処理モードにおいて、第５のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報を処理し、
第１の処理モードにおいて、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビームは第１のビームであり、
第２の処理モードにおいて、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビームは第２のビームであり、第１のビーム及び第２のビームは異なる方向を有し、
事前に設定された重み付け係数を使用することによって、第３のオーディオ情報を取得するために、第４のオーディオ情報及び第５のオーディオ情報を合成するようにさらに構成され得る。

実際の適用において、第１のオーディオ収集ユニットが無指向性オーディオ収集ユニットであり、第２のオーディオ収集ユニットがカージオイド・オーディオ収集ユニットであって、ここでカージオイドの最大値の方向は撮影方向の反対方向と同じであり、最小値の方向は撮影方向と同じであるとき、処理ユニット１３０３は、
第１のオーディオ情報をターゲット信号として、及び第２のオーディオ情報を参照雑音信号として、使用し、第３のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報に関して雑音抑制処理を実行するように構成され得る。

実際の適用において、第１のオーディオ収集ユニットが第１のカージオイド・オーディオ収集ユニットであり、第２のオーディオ収集ユニットが第２のカージオイド・オーディオ収集ユニットであり、第１のカージオイドの最大値の方向は撮影方向と同じであり、最小値の方向は撮影方向の反対方向と同じであり、第２のカージオイドの最大値の方向は撮影方向の反対方向と同じであり、最小値の方向は撮影方向と同じであるとき、処理ユニット１３０３は、
第１のオーディオ情報をターゲット信号として、及び第２のオーディオ情報を参照雑音信号として、使用し、第３のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報に関して雑音抑制処理を実行するように構成され得る。

実際の適用において、決定ユニット１３０１は、
第３のオーディオ情報が出力される前に、ビデオ・イメージ全体において、第１のカメラによって撮影されるビデオ・イメージの第１の割合を決定するように、
さらに構成され得る。

処理ユニット１３０３は、音量全体における第３のオーディオ情報の音量の割合が第１の割合と同じになるように、第１の割合に従って、第３のオーディオ情報の音量を調整するように、さらに構成される。

本願は、別のオーディオ情報処理装置をさらに提供する。該装置は電子デバイスに適用され、電子デバイスは少なくとも前向きカメラ及び後ろ向きカメラを有し、前向きカメラ及び後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、第１のカメラが配置された側面上に少なくとも１つの第１のオーディオ収集ユニットが存在し、他方の側面上に少なくとも１つの第２のオーディオ収集ユニットが存在し、第１のオーディオ収集ユニットのビームはカージオイドであり、カージオイドの最大値の方向は撮影方向と同じであり、最小値の方向は撮影方向の反対方向と同じである。

図１４は、本願に従った、別のオーディオ情報処理装置の実施形態１を示す構造図である。図１４に示されるように、該装置は、
開始状態にある第１のカメラを決定するように構成された、決定ユニット１４０１と、
第１のオーディオ収集ユニットを使用可能にするように構成された、使用可能化ユニット１４０２と、
第２のオーディオ収集ユニットを使用不可にするように構成された、使用不可化ユニット１４０３と、
第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するように構成された、獲得ユニット１４０４と、
第１のオーディオ情報を出力するように構成された、出力ユニット１４０５と、
を含み得る。

本実施形態において、第１のオーディオ収集ユニットのビームの最大値の方向が撮影方向と同じであるため、第１のオーディオ収集ユニット自体によって直接獲得されるオーディオ情報にとって、撮影方向からのオーディオ情報のゲインは、撮影方向の反対方向からのオーディオ情報のゲインよりも大きい。したがって、第１のオーディオ収集ユニットはオーディオ情報を収集するために直接使用され得、第２のオーディオ収集ユニットは使用不可であるため、第２のオーディオ収集ユニットが反対方向からの雑音を収集するのを防ぐことができる。最終的に、同期的に出力されるオーディオ情報において、形成されたビデオ・イメージ内のターゲット音源の音量を、ビデオ・イメージ外の雑音又は干渉音源の音量よりも高くすることができる。

加えて、本願の実施形態はコンピューティング・ノードをさらに提供し、該コンピューティング・ノードは、コンピューティング機能を有するホスト・サーバ、パーソナル・コンピュータＰＣ、ポータブル・コンピュータ又は端末などであり得る。本願の特定の実施形態は、コンピューティング・ノードの特定の実装にいかなる制限をも課すものではない。

図１５は、本願に従った、コンピューティング・ノードを示す構造図である。図１５に示されるように、コンピューティング・ノード７００は、
プロセッサ（ｐｒｏｃｅｓｓｏｒ）７１０、通信インターフェイス（ＣｏｍｍｕｎｉｃａｔｉｏｎｓＩｎｔｅｒｆａｃｅ）７２０、メモリ（ｍｅｍｏｒｙ）７３０、及びバス７４０
を含む。

プロセッサ７１０、通信インターフェース７２０、及びメモリ７３０は、バス７４０を使用することによって相互通信を達成する。

プロセッサ７１０はプログラム７３２を実行するように構成される。

プログラム７３２はプログラム・コードを含み得、プログラム・コードはコンピュータ動作命令を含む。

プロセッサ７１０は中央処理ユニットＣＰＵ、又は特定用途向け集積回路ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ−ＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）又は、本願の本実施形態を実装するように構成された１以上の集積回路であり得る。

メモリ７３０はプログラム７３２を格納するように構成される。メモリ７３０は高速ＲＡＭメモリを含み得、不揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅｍｅｍｏｒｙ）、例えば少なくとも１つのディスク・メモリをも含み得る。

プログラム７３２内のモジュールの特定の実装については、図１２及び図１３に示される実施形態における対応するモジュール又はユニットを参照されたい。詳細は本明細書では繰り返し説明されない。

本願は、電子デバイスをさらに提供する。該電子デバイスは、携帯電話などの端末であり得る。図１６は、本願に従った電子デバイス実施形態を示す正面概略構造図である。図１７は、本願に従った電子デバイス実施形態を示す背面概略構造図である。図１６及び図１７に示されるように、電子デバイス１６０１は少なくとも前向きカメラ１６０２及び後ろ向きカメラ１６０４を有し、前向きカメラ１６０２及び後ろ向きカメラ１６０４からの開始状態にあるカメラが第１のカメラであり、前向きカメラ１６０２が配置された側面上に少なくとも１つのオーディオ収集ユニット１６０３が存在し、後ろ向きカメラ１６０４が配置された側面上に少なくとも１つのオーディオ収集ユニット１６０５が存在し、前向きカメラ１６０２が第１のカメラであるとき、前向きカメラ１６０２が配置された側面上のオーディオ収集ユニット１６０３は第１のオーディオ収集ユニットとして構成され、後ろ向きカメラ１６０４が配置された側面上のオーディオ収集ユニット１６０５は第２のオーディオ収集ユニットとして構成され、後ろ向きカメラ１６０４が第１のカメラであるとき、後ろ向きカメラ１６０４が配置された側面上のオーディオ収集ユニット１６０５は第１のオーディオ収集ユニットとして構成され、前向きカメラ１６０２が配置された側面上のオーディオ収集ユニット１６０３は第２のオーディオ収集ユニットとして構成され、電子デバイスは、図１３に示された（図１６及び図１７には図示せず）オーディオ情報処理装置をさらに含む。

結論として、本願の電子デバイスに従い、第１のカメラが決定され、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットによって収集されたオーディオ情報は、第３のオーディオ情報を取得するために処理され、第３のオーディオ情報にとって、カメラの撮影方向からの音声信号のゲインがより大きなゲイン値を備える第１のゲインであり、撮影方向の反対方向からの音声信号のゲインがより小さなゲイン値を備える第２のゲインであるため、電子デバイスがビデオ撮影用及びオーディオ収集用に同時に使用されるとき、ビデオ撮影方向のターゲット音源の音量を上昇させることができ、ビデオ撮影方向の反対方向の雑音又は干渉音源の音量を低下させることができ、したがって、同期して出力されるオーディオ情報において、最終ビデオ・イメージ内の音源の音量は、ビデオ・イメージ外の雑音又は干渉音源の音量よりも高い。

本願は、別の電子デバイスをさらに提供する。電子デバイスは携帯電話などの端末であり得る。図１８は、本願に従った電子デバイス実施形態を示す正面概略構造図である。図１９は、本願に従った電子デバイス実施形態を示す背面概略構造図である。図１８及び図１９に示されるように、電子デバイス１８０１は少なくとも前向きカメラ１８０２及び後ろ向きカメラ１８０４を有し、前向きカメラ１８０２及び後ろ向きカメラ１８０４からの開始状態にあるカメラが第１のカメラであり、前向きカメラ１８０２が配置された側面上に少なくとも１つのオーディオ収集ユニット１８０３が存在し、後ろ向きカメラ１８０４が配置された側面上に少なくとも１つのオーディオ収集ユニット１８０５が存在し、前向きカメラ１８０２が第１のカメラであるとき、前向きカメラ１８０２が配置された側面上のオーディオ収集ユニット１８０３は第１のオーディオ収集ユニットとして構成され、後ろ向きカメラ１８０４が配置された側面上のオーディオ収集ユニット１８０５は第２のオーディオ収集ユニットとして構成され、後ろ向きカメラ１８０４が第１のカメラであるとき、後ろ向きカメラ１８０４が配置された側面上のオーディオ収集ユニット１８０５は第１のオーディオ収集ユニットとして構成され、前向きカメラ１８０２が配置された側面上のオーディオ収集ユニット１８０３は第２のオーディオ収集ユニットとして構成され、電子デバイスは、図１４に示された（図１８及び図１９には図示せず）オーディオ情報処理装置をさらに含む。

第１のオーディオ収集ユニットのビームはカージオイドであり、カージオイドの最大値の方向は撮影方向と同じであり、最小値の方向は撮影方向の反対方向と同じである。

本実施形態において、第１のオーディオ収集ユニットのビームの最大値の方向が撮影方向と同じであるため、第１のオーディオ収集ユニット自体によって直接獲得されるオーディオ情報にとって、撮影方向からのオーディオ情報のゲインは、撮影方向の反対方向からのオーディオ情報のゲインよりも大きい。したがって、第１のオーディオ収集ユニットはオーディオ情報を収集するために直接使用され得、第２のオーディオ収集ユニットは使用不可であるため、第２のオーディオ収集ユニットが反対方向からの雑音を収集するのを防ぐ。最終的に、同期的に出力されるオーディオ情報において、形成されたビデオ・イメージ内のターゲット音源の音量を、ビデオ・イメージ外の雑音又は干渉音源の音量より高くすることもできる。

最後に、本明細書において、第１及び第２などの関係語は、１つのエンティティ又は動作を別のそれらと区別するためにのみ使用されるものであり、いずれかの実際の関係又はシーケンスがこれらのエンティティ又は動作間に存在することを必要とするか又は示唆するものではないことに、さらに留意されたい。さらに、用語「含む」、「備える」、又はそれらの任意の他の変形は、非排他的包含をカバーすることを意図するため、要素のリストを含むプロセス、方法、物品、又は装置は、それらの要素を含むのみならず、明示的に列挙されていない他の要素も含むか、又は、かかるプロセス、方法、物品、若しくは装置につきものの要素をさらに含む。「〜を含む」が先行する要素は、それ以上の制約なしに、要素を含むプロセス、方法、物品、又は装置における追加の同一の要素の存在を排除しない。

当業者は、実施形態の前述の説明に基づき、本願が必要なハードウェア・プラットフォーム並びにソフトウェアによって、又はハードウェアのみによって、実装可能であることを明確に理解し得る。ほとんどの状況において、前者は好ましい実装様式である。かかる理解に基づき、背景部分の技術に寄与する本願の技術的解決策のすべて又は一部は、ソフトウェア製品の形で実装し得る。コンピュータ・ソフトウェア製品は、ＲＯＭ／ＲＡＭ、磁気ディスク、又は光ディスクなどの記憶媒体内に格納され得、本願の実施形態又は実施形態のいくつかの部分で説明された方法を実行するよう、コンピュータ・デバイス（パーソナル・コンピュータ、サーバ、ネットワーク・デバイスなどであり得る）に命令するための、いくつかの命令を含む。

本明細書の実施形態はすべて漸進的に説明されており、実施形態内の同一又は同様の部分について、これらの実施形態を参照し得、各実施形態は他の実施形態との相違にフォーカスしている。実施形態で開示された装置は、実施形態で開示された方法に対応しているため比較的簡単に説明されており、それらの方法に関係する部分については、方法の説明を参照し得る。

本明細書では、本願の原理及び実装様式を説明するために特定の例が使用される。前述の実施形態は、本願の方法及び核となる概念を理解する一助となることのみが意図されている。加えて、当業者は、実装方法及び適用範囲に関して本願の概念に従って修正し得る。したがって本明細書の内容は、本願に対する制限と解釈されてはならない。

Claims

オーディオ情報処理の方法であって、当該方法は電子デバイスに適用され、前記電子デバイスは少なくとも１つの前向きカメラ及び１つの後ろ向きカメラを有し、前記前向きカメラ及び前記後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、前記前向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前記後ろ向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前記前向きカメラが前記第１のカメラであるときは、前記前向きカメラが配置された前記側面上の前記オーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前記後ろ向きカメラが配置された前記側面上の前記オーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、前記後ろ向きカメラが前記第１のカメラであるときは、前記後ろ向きカメラが配置された前記側面上の前記オーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前記前向きカメラが配置された前記側面上の前記オーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、当該方法は、
前記第１のカメラを決定するステップと、
前記第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するステップと、
前記第２のオーディオ収集ユニットによって収集された第２のオーディオ情報を獲得するステップと、
第３のオーディオ情報を取得するために前記第１のオーディオ情報及び前記第２のオーディオ情報を処理するステップであって、前記第３のオーディオ情報にとって、前記第１のカメラの撮影方向からの音声信号のゲインが第１のゲインであり、前記第３のオーディオ情報にとって、前記撮影方向の反対方向からの音声信号のゲインが第２のゲインであり、前記第１のゲインは前記第２のゲインよりも大きい、処理するステップと、
前記第３のオーディオ情報を出力するステップと、
を含み、
前記第１のオーディオ収集ユニット及び前記第２のオーディオ収集ユニットの両方が無指向性オーディオ収集ユニットであり、第３のオーディオ情報を取得するために前記第１のオーディオ情報及び前記第２のオーディオ情報を処理する前記ステップは、
第１の処理モードにおいて、第４のオーディオ情報を取得するために、前記第１のオーディオ情報及び前記第２のオーディオ情報を処理するステップと、
第２の処理モードにおいて、第５のオーディオ情報を取得するために、前記第１のオーディオ情報及び前記第２のオーディオ情報を処理するステップと、を含み、
前記第１の処理モードにおいて、前記第１のオーディオ収集ユニット及び前記第２のオーディオ収集ユニットを備える収集ユニット全体のビームは第１のビームであり、
前記第２の処理モードにおいて、前記第１のオーディオ収集ユニット及び前記第２のオーディオ収集ユニットを備える収集ユニット全体のビームは第２のビームであり、前記第１のビーム及び前記第２のビームは異なる方向を有し、
事前に設定された重み付け係数に従って、前記第３のオーディオ情報を取得するために、前記第４のオーディオ情報及び前記第５のオーディオ情報を合成するステップを含む、方法。
オーディオ情報処理の装置であって、当該装置は電子デバイスに適用され、前記電子デバイスは少なくとも前向きカメラ及び後ろ向きカメラを有し、前記前向きカメラ及び前記後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、前記前向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前記後ろ向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前記前向きカメラが前記第１のカメラであるときは、前記前向きカメラが配置された前記側面上の前記オーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前記後ろ向きカメラが配置された前記側面上の前記オーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、前記後ろ向きカメラが前記第１のカメラであるときは、前記後ろ向きカメラが配置された前記側面上の前記オーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前記前向きカメラが配置された前記側面上の前記オーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、当該装置は、
前記第１のカメラを決定するように構成された決定ユニットと、
前記第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するように構成され、
前記第２のオーディオ収集ユニットによって収集された第２のオーディオ情報を獲得するようにさらに構成された、獲得ユニットと、
第３のオーディオ情報を取得するために前記第１のオーディオ情報及び前記第２のオーディオ情報を処理するように構成された、処理ユニットであって、前記第３のオーディオ情報にとって、前記第１のカメラの撮影方向からの音声信号のゲインが第１のゲインであり、前記第３のオーディオ情報にとって、前記撮影方向の反対方向からの音声信号のゲインが第２のゲインであり、前記第１のゲインは前記第２のゲインよりも大きい、処理ユニットと、
前記第３のオーディオ情報を出力するように構成された出力ユニットと、
を備え、
前記第１のオーディオ収集ユニット及び前記第２のオーディオ収集ユニットの両方が無指向性オーディオ収集ユニットであり、前記処理ユニットは、
第１の処理モードにおいて、第４のオーディオ情報を取得するために、前記第１のオーディオ情報及び前記第２のオーディオ情報を処理し、
第２の処理モードにおいて、第５のオーディオ情報を取得するために、前記第１のオーディオ情報及び前記第２のオーディオ情報を処理し、
前記第１の処理モードにおいて、前記第１のオーディオ収集ユニット及び前記第２のオーディオ収集ユニットを備える収集ユニット全体のビームは第１のビームであり、
前記第２の処理モードにおいて、前記第１のオーディオ収集ユニット及び前記第２のオーディオ収集ユニットを備える収集ユニット全体のビームは第２のビームであり、前記第１のビーム及び前記第２のビームは異なる方向を有し、
事前に設定された重み付け係数に従って、前記第３のオーディオ情報を取得するために、前記第４のオーディオ情報及び前記第５のオーディオ情報を合成する、ように構成された、
装置。
電子デバイスであって、当該電子デバイスは少なくとも前向きカメラ及び後ろ向きカメラを有し、前記前向きカメラ及び前記後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、前記前向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前記後ろ向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前記前向きカメラが前記第１のカメラであるときは、前記前向きカメラが配置された前記側面上の前記オーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前記後ろ向きカメラが配置された前記側面上の前記オーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、前記後ろ向きカメラが前記第１のカメラであるときは、前記後ろ向きカメラが配置された前記側面上の前記オーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前記前向きカメラが配置された前記側面上の前記オーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、請求項２に記載された前記オーディオ情報処理の装置をさらに備える、電子デバイス。