Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6499308B2 - Electronic device, program, and control method of electronic device - Google Patents
[go: Go Back, main page]

JP6499308B2 - Electronic device, program, and control method of electronic device - Google Patents

Electronic device, program, and control method of electronic device Download PDF

Info

Publication number
JP6499308B2
JP6499308B2 JP2017542948A JP2017542948A JP6499308B2 JP 6499308 B2 JP6499308 B2 JP 6499308B2 JP 2017542948 A JP2017542948 A JP 2017542948A JP 2017542948 A JP2017542948 A JP 2017542948A JP 6499308 B2 JP6499308 B2 JP 6499308B2
Authority
JP
Japan
Prior art keywords
microphone
electronic device
function
sound
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017542948A
Other languages
Japanese (ja)
Other versions
JPWO2017056621A1 (en
Inventor
鈴木 直也
直也 鈴木
貴裕 井上
貴裕 井上
暁 本村
暁 本村
智隆 高橋
智隆 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ROBO GARAGE CO.,LTD.
Sharp Corp
Original Assignee
ROBO GARAGE CO.,LTD.
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ROBO GARAGE CO.,LTD., Sharp Corp filed Critical ROBO GARAGE CO.,LTD.
Publication of JPWO2017056621A1 publication Critical patent/JPWO2017056621A1/en
Application granted granted Critical
Publication of JP6499308B2 publication Critical patent/JP6499308B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Manipulator (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、複数のマイクを備えた電子機器に関する。   The present invention relates to an electronic device including a plurality of microphones.

従来から、集音機能付き電子機器の開発が進められている。特に近年、ロボットの外観を有する集音機能付き携帯電話の開発が活発化している。例えば、特許文献1には、両耳部、口部、腕部、足部、頭部および目部の少なくともいずれかと、胴体部とを備えたロボットの形状を有する携帯電話が開示されている。この携帯電話の口部には、通話相手への音声を集音するマイクが配置されている。また、特許文献2には、柔軟体から成り、胴体部分、頭部分、手部分および脚部分を含み、かつ、電話基板が内蔵された本体を備えた携帯電話機が開示されている。この携帯電話機の本体は、人間のミニマルデザインともいうべき全体形状を有しており、その胴体部分には、ユーザの音声を取得するマイクが内蔵されている。   Conventionally, development of electronic devices with a sound collection function has been underway. In particular, in recent years, the development of mobile phones with a sound collecting function having the appearance of a robot has been activated. For example, Patent Document 1 discloses a mobile phone having a robot shape including at least one of a binaural part, a mouth part, an arm part, a foot part, a head part, and an eye part, and a torso part. At the mouth portion of the mobile phone, a microphone that collects sound to the other party is arranged. Further, Patent Document 2 discloses a mobile phone that is made of a flexible body, includes a trunk portion, a head portion, a hand portion, and a leg portion, and includes a main body with a built-in telephone board. The main body of the cellular phone has an overall shape that can be called a human minimal design, and a microphone for acquiring a user's voice is incorporated in the body portion.

日本国公開特許公報「特開2009−177761号公報(2009年8月6日公開)」Japanese Patent Publication “Japanese Unexamined Patent Application Publication No. 2009-177771 (Released on August 6, 2009)” 日本公開特許公報「特開2012−29066号公報(2012年2月9日公開)」Japanese Published Patent Publication "Japanese Patent Laid-Open No. 2012-29066 (published on February 9, 2012)"

しかしながら、特許文献1に開示された携帯電話および特許文献2に開示された携帯電話機ともに、1つしかマイクを備えていない。すなわち、これらの携帯電話等が有する各種機能の特性に応じて、複数のマイクのそれぞれが当該携帯電話等のいずれかの場所に配置されている構成にはなっていない。したがって、これらの携帯電話等は、ユーザが使用する機能に応じて、複数のマイクの中からいずれかのマイクを適宜選択することができないという問題点があった。   However, both the mobile phone disclosed in Patent Document 1 and the mobile phone disclosed in Patent Document 2 have only one microphone. In other words, each of the plurality of microphones is not arranged at any location on the mobile phone or the like according to the characteristics of various functions of the mobile phone or the like. Therefore, these mobile phones and the like have a problem in that any one of the microphones cannot be appropriately selected according to the function used by the user.

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、電子機器が有する複数の機能の各特性に応じて複数のマイクを電子機器のいずれかの部位に配置することで、ユーザが使用する機能に応じて利用するマイクを適宜切り替えることにある。   The present invention has been made in view of the above problems, and an object of the present invention is to arrange a plurality of microphones in any part of the electronic device in accordance with the characteristics of the plurality of functions of the electronic device. The microphone to be used is appropriately switched according to the function used by the user.

上記の課題を解決するために、本発明の一態様に係る電子機器は、集音機能を有するマイクを複数備えている電子機器であって、上記電子機器に備えられている複数のマイクのそれぞれは、上記電子機器が有する複数の機能に対応付けられているとともに、上記電子機器において異なる部位に配置されており、上記電子機器が実行する上記複数の機能のそれぞれに応じて、集音機能をオン状態にするマイクを、上記複数のマイクから選択するマイク選択部を備えている。   In order to solve the above problem, an electronic device according to one embodiment of the present invention is an electronic device including a plurality of microphones having a sound collection function, and each of the plurality of microphones provided in the electronic device. Are associated with a plurality of functions of the electronic device and are arranged at different parts of the electronic device, and a sound collecting function is provided according to each of the plurality of functions executed by the electronic device. A microphone selection unit that selects a microphone to be turned on from the plurality of microphones is provided.

本発明の一態様によれば、電子機器が有する複数の機能の各特性に応じて複数のマイクを電子機器のいずれかの部位に配置することにより、ユーザが使用する電子機器の機能に応じて、利用するマイクをマイク選択部で適宜選択することができる。   According to one aspect of the present invention, a plurality of microphones are arranged in any part of an electronic device according to the characteristics of the plurality of functions of the electronic device, so that the user can use the electronic device according to the function of the electronic device. The microphone to be used can be appropriately selected by the microphone selection unit.

(a)は、本発明の実施形態1〜3に係るロボットの概略を示す正面図である。(b)は、上記ロボットの概略を示す背面図である。(A) is a front view which shows the outline of the robot which concerns on Embodiments 1-3 of this invention. (B) is a rear view showing an outline of the robot. 上記ロボットが備えている第1駆動部〜第3駆動部の配置を示す概略図である。It is the schematic which shows arrangement | positioning of the 1st drive part-3rd drive part with which the said robot is provided. 上記ロボットの各種機能と選択マイクとの対応関係を示す選択マイクデータテーブルの一例である。It is an example of the selection microphone data table which shows the correspondence of the various functions of the said robot, and a selection microphone. 上記ロボットの各種機能とノイズキャンセル用マイクとの対応関係を示すノイズキャンセル用マイクデータテーブルの一例である。It is an example of the noise cancellation microphone data table showing the correspondence between the various functions of the robot and the noise cancellation microphone. 電話通話機能を使用する場合における、ユーザと上記ロボットとの位置関係を示す概略図である。It is the schematic which shows the positional relationship of a user and the said robot in the case of using a telephone call function.

〔実施形態1〕
以下、本発明の実施の形態について、図1〜図4を参照しながら、詳細に説明する。なお、本実施形態以下の各実施形態においては、本発明に係る電子機器が、電話機能付きの2足歩行ヒューマノイドロボットの場合を例に挙げて説明する。しかしながら、2足歩行ヒューマノイドロボットに限らず、例えば、脚部のないアニメキャラクタの戦闘ロボットおよび動物ロボット(少なくとも頭部および胴体部を含んだロボット)、植物ロボット等のロボット全般、携帯端末、無線通信機器等が本発明の適用対象となる。
Embodiment 1
Hereinafter, embodiments of the present invention will be described in detail with reference to FIGS. In the following embodiments, the case where the electronic apparatus according to the present invention is a biped walking humanoid robot with a telephone function will be described as an example. However, the robot is not limited to a biped walking humanoid robot. For example, robots such as battle robots and animal robots (animal robots including at least a head and a torso) of an anime character without legs, plant robots, mobile terminals, wireless communication Devices and the like are subject to application of the present invention.

また、以下の各説明においては、説明の便宜上、鉛直上側を上方、鉛直下側を下方、紙面向かって右側を右方、紙面向かって左側を左方とする。   In the following descriptions, for convenience of explanation, the upper vertical side is the upper side, the lower vertical side is the lower side, the right side is the right side of the page, and the left side is the left side of the page.

<ロボットの概要>
まず、図1〜図4を参照して、ロボット1の概要について説明する。図1の(a)および(b)に示すように、ロボット(電子機器)1は、頭部1a、肩部1d、胴体部1e、上腕部1f、前腕部1g、大腿部1hおよび足部1iを備えている。頭部1aは、目部1b、口部1c、第1マイク2a〜第3マイク2c、カメラ部4および制御部を備えている。口部1cには、スピーカ3が内蔵されている。胴体部1eは、第4マイク2d、表示部5および操作入力部6を備えている。また、胴体部1eには、マイク選択部7およびノイズキャンセルマイク選択部8が内蔵されている。
<Overview of the robot>
First, an outline of the robot 1 will be described with reference to FIGS. As shown in FIGS. 1A and 1B, a robot (electronic device) 1 includes a head 1a, a shoulder 1d, a torso 1e, an upper arm 1f, a forearm 1g, a thigh 1h, and a foot. 1i. The head 1a includes an eye 1b, a mouth 1c, a first microphone 2a to a third microphone 2c, a camera unit 4, and a control unit. A speaker 3 is built in the mouth 1c. The body part 1e includes a fourth microphone 2d, a display part 5, and an operation input part 6. In addition, the body portion 1e includes a microphone selection unit 7 and a noise canceling microphone selection unit 8.

第1マイク2a〜第4マイク2d(複数のマイク)は、集音機能を有する集音器である。上記各マイクの配置の詳細については後述する。スピーカ3は、音データを含む情報を再生する機能と、音出力機能とを有する再生部である。カメラ部4は、被写体を撮像する撮像部である。カメラ部4は、例えば、2つの目部1bにそれぞれ内蔵されてもよい。表示部5は、ロボット1が有するアプリケーションソフト等が実行されることに起因する画像等の各種画像を表示する。操作入力部6は、入力されたユーザ操作を取得する。表示部5および操作入力部6は、例えば、胴体部1eの胸部から腹部にかけての部位に配置されてもよい。制御部(図示せず)は、ロボット1を統括的に制御する。マイク選択部7およびノイズキャンセルマイク選択部8の詳細については後述する。   The first microphone 2a to the fourth microphone 2d (a plurality of microphones) are sound collectors having a sound collecting function. Details of the arrangement of the microphones will be described later. The speaker 3 is a reproduction unit having a function of reproducing information including sound data and a sound output function. The camera unit 4 is an imaging unit that images a subject. For example, the camera unit 4 may be incorporated in each of the two eyes 1b. The display unit 5 displays various images such as images resulting from execution of application software and the like that the robot 1 has. The operation input unit 6 acquires the input user operation. The display part 5 and the operation input part 6 may be arrange | positioned at the site | part from the chest part of the trunk | drum 1e to the abdomen, for example. A control unit (not shown) controls the robot 1 in an integrated manner. Details of the microphone selection unit 7 and the noise cancellation microphone selection unit 8 will be described later.

また、図1の(b)に示すように、頭部1aは首部(図2参照)を介して、肩部1dおよび上腕部1fは肩関節部1jを介して一体的に、大腿部1hは股関節部1lを介して、それぞれ胴体部1eに対して可動に接続されている。前腕部1gは肘関節部1kを介して、上腕部1fに対して可動に接続されている。足部1iは足関節部1mを介して、大腿部1hに対して可動に接続されている。   Further, as shown in FIG. 1B, the head 1a is integrated with the neck (see FIG. 2), and the shoulder 1d and the upper arm 1f are integrated with the thigh 1h via the shoulder joint 1j. Are movably connected to the body portion 1e via the hip joint portion 11. The forearm 1g is movably connected to the upper arm 1f via an elbow joint 1k. The foot 1i is movably connected to the thigh 1h via the ankle joint 1m.

図2に示すように、ロボット1の骨格20を構成する首部および各関節部には、第1駆動部10a〜第3駆動部10cがそれぞれ内蔵されている。頭部1a、肩部1d、上腕部1f、前腕部1g、大腿部1hおよび足部1iは、これらの各駆動部が駆動することによって、それぞれ所定の方向に可動する。   As shown in FIG. 2, a first drive unit 10 a to a third drive unit 10 c are built in the neck portion and each joint portion constituting the skeleton 20 of the robot 1. The head 1a, the shoulder 1d, the upper arm 1f, the forearm 1g, the thigh 1h, and the foot 1i are respectively movable in a predetermined direction by being driven by these driving units.

第1駆動部10aは、駆動対象となるロボット1の部位をピッチの方向に駆動する。第2駆動部10bは、駆動対象となるロボット1の部位をロールの方向に駆動する。第3駆動部10cは、駆動対象となるロボット1の部位をヨーの方向に駆動する。ここで、「ピッチ」は、図2中のY軸周りを回転する方向のことを指す。「ロール」は、図2中のX軸周りを回転する方向を指す。「ヨー」は、図2中のZ軸周りを回転する方向を指す。したがって、例えば、首部には第1駆動部10a〜第3駆動部10cの全てが内蔵されていることから、頭部1aは全ての軸周りについて可動する。   The first drive unit 10a drives the part of the robot 1 to be driven in the pitch direction. The 2nd drive part 10b drives the site | part of the robot 1 used as a drive object to the direction of a roll. The third drive unit 10c drives the part of the robot 1 to be driven in the yaw direction. Here, “pitch” refers to the direction of rotation around the Y axis in FIG. “Roll” refers to the direction of rotation around the X axis in FIG. “Yaw” refers to the direction of rotation around the Z-axis in FIG. Therefore, for example, since all of the first drive unit 10a to the third drive unit 10c are built in the neck, the head 1a is movable about all axes.

第1駆動部10a〜第3駆動部10cには、サーボモータの他、油圧シリンダ、空圧シリンダ等の各種アクチュエータが用いられる。   In addition to the servo motor, various actuators such as a hydraulic cylinder and a pneumatic cylinder are used for the first driving unit 10a to the third driving unit 10c.

さらに、ロボット1は、第1マイク2a〜第4マイク2dのいずれかを利用して実行する複数の機能を有している。具体的には、ロボット1は、音声方向検知機能、音声認識機能、ハンズフリー通話機能および電話通話機能を有している。音声方向検知機能は、ロボット1から見て外部の音声発生源が存在する方向を検知する機能である。音声認識機能は、ユーザがロボット1に対して発話する音声を音声認識する機能である。ハンズフリー通話機能は、ユーザがロボット1を把持していない状態でユーザの発話した内容を、ロボット1が集音して外部に電話通話のために送信する機能である。電話通話機能は、ユーザがロボット1を把持している状態で、ロボット1が電話通話における受話器として機能するものである。   Furthermore, the robot 1 has a plurality of functions to be executed using any one of the first microphone 2a to the fourth microphone 2d. Specifically, the robot 1 has a voice direction detection function, a voice recognition function, a hands-free call function, and a telephone call function. The voice direction detection function is a function of detecting a direction in which an external voice generation source exists as viewed from the robot 1. The speech recognition function is a function for recognizing speech uttered by the user to the robot 1. The hands-free call function is a function in which the robot 1 collects the content of the user's utterance while the user is not holding the robot 1 and transmits it to the outside for a telephone call. The telephone call function is a function in which the robot 1 functions as a handset in a telephone call while the user is holding the robot 1.

なお、ロボット1は、上記4つの機能に加えて、あるいは上記4つの機能のいずれかに代えて、第1マイク2a〜第4マイク2dのいずれかを利用して実行する他の機能を有してもよい。また、ロボット1が、上記各マイク以外の内蔵部品等を利用して実行する各種機能を有していることは言うまでもない。   In addition to the above four functions, or in place of any of the above four functions, the robot 1 has other functions that are executed using any of the first microphone 2a to the fourth microphone 2d. May be. Needless to say, the robot 1 has various functions that are executed by using built-in components other than the microphones.

マイク選択部7は、ロボット1が実行する音声方向検知機能、音声認識機能、ハンズフリー通話機能および電話通話機能のそれぞれに応じて、集音機能をオン状態にする選択マイクを、第1マイク2a〜第4マイク2dから選択する。   The microphone selection unit 7 selects, as the first microphone 2a, a selection microphone that turns on the sound collection function according to each of the voice direction detection function, voice recognition function, hands-free call function, and telephone call function executed by the robot 1. Select from the fourth microphone 2d.

具体的には、ユーザの所望する機能が選択されるように操作入力部6をユーザ操作することで、マイク選択部7は、操作入力部6からユーザが選択した機能を示す入力データを取得する。ここで、マイク選択部7には、図3に示すような、ロボット1が有する複数の機能とマイク選択部7によって選択される選択マイクとの対応関係を記録した選択マイクデータテーブルが格納されている。それゆえ、マイク選択部7は、取得した入力データを選択マイクデータテーブルに記録することにより、当該入力データに示されたロボット1の機能に対応するマイクを選択する処理を実行する。選択マイクデータテーブルは、例えば、制御部に内蔵された記憶部(図示せす)に格納されてもよい。   Specifically, by operating the operation input unit 6 so that a function desired by the user is selected, the microphone selection unit 7 acquires input data indicating the function selected by the user from the operation input unit 6. . Here, the microphone selection unit 7 stores a selected microphone data table in which the correspondence between a plurality of functions of the robot 1 and the selected microphone selected by the microphone selection unit 7 is recorded as shown in FIG. Yes. Therefore, the microphone selection unit 7 performs a process of selecting a microphone corresponding to the function of the robot 1 indicated by the input data by recording the acquired input data in the selected microphone data table. The selected microphone data table may be stored, for example, in a storage unit (not shown) built in the control unit.

なお、例えば、選択マイクデータテーブルに記録された各データに加えて、上記4つの機能のそれぞれに対応付けられたロボット1の各姿勢(例えば、直立不動の姿勢、体育座りの姿勢等)に関するデータを記録した別のデータテーブル(図示せず)を、マイク選択部7に格納してもよい。この場合、ユーザ操作によってユーザが所望するロボット1の機能に対応付けられたロボット1の姿勢になるよう姿勢制御することにより、マイク選択部7による選択処理が実行される。また、例えば、音声認識機能を実行する場合、操作入力部6への入力操作に加えて、カメラ部4が撮像した撮像データにユーザの画像が含まれている場合にのみ、マイク選択部7による選択処理が実行されるようにしてもよい。   In addition, for example, in addition to each data recorded in the selected microphone data table, data on each posture of the robot 1 associated with each of the above four functions (for example, an upright stationary posture, a physical education sitting posture, etc.) Another data table (not shown) in which is recorded may be stored in the microphone selection unit 7. In this case, the selection processing by the microphone selection unit 7 is executed by controlling the posture so that the posture of the robot 1 associated with the function of the robot 1 desired by the user is achieved by a user operation. Further, for example, when executing the voice recognition function, the microphone selection unit 7 performs only when the user's image is included in the imaging data captured by the camera unit 4 in addition to the input operation to the operation input unit 6. The selection process may be executed.

ノイズキャンセルマイク選択部8は、ユーザが音声認識機能およびハンズフリー通話機能の少なくとも一方の使用を選択した場合に、マイク選択部7によって選択されたマイク以外の少なくとも1つのマイクをノイズキャンセル用マイクとして選択する。一方、ユーザが音声方向検知機能または電話通話機能の使用を選択した場合、ノイズキャンセルマイク選択部8は、ノイズキャンセル用マイクの選択を行わない(図4参照)。   The noise cancellation microphone selection unit 8 uses at least one microphone other than the microphone selected by the microphone selection unit 7 as a noise cancellation microphone when the user selects use of at least one of the voice recognition function and the hands-free call function. select. On the other hand, when the user selects the use of the voice direction detection function or the telephone call function, the noise cancellation microphone selection unit 8 does not select the noise cancellation microphone (see FIG. 4).

具体的には、操作入力部6への入力操作によってユーザが音声認識機能およびハンズフリー通話機能の少なくとも一方の使用を選択した場合、ノイズキャンセルマイク選択部8は、操作入力部6からユーザが選択した機能を示す入力データを取得する。ここで、ノイズキャンセルマイク選択部8には、図4に示すような、ロボット1が有する複数の機能とノイズキャンセルマイク選択部8によって選択されるノイズキャンセル用マイクとの対応関係を記録したノイズキャンセル用マイクデータテーブルが格納されている。それゆえ、ノイズキャンセルマイク選択部8は、取得した入力データをノイズキャンセル用マイクデータテーブルに記録することにより、当該入力データに示された音声認識機能またはハンズフリー通話機能のいずれかに対応するマイクを選択する処理を実行する。ノイズキャンセル用マイクデータテーブルについても、記憶部に格納されてもよい。   Specifically, when the user selects use of at least one of the voice recognition function and the hands-free call function by an input operation to the operation input unit 6, the noise canceling microphone selection unit 8 is selected by the user from the operation input unit 6. Get the input data indicating the function that was performed. Here, the noise canceling microphone selection unit 8 records a noise canceling recording of correspondence between a plurality of functions of the robot 1 and a noise canceling microphone selected by the noise canceling microphone selection unit 8 as shown in FIG. A microphone data table is stored. Therefore, the noise canceling microphone selection unit 8 records the acquired input data in the noise canceling microphone data table, so that the microphone corresponding to either the voice recognition function or the hands-free call function indicated by the input data. The process of selecting is executed. The noise cancellation microphone data table may also be stored in the storage unit.

音出力機能制御部9は、ユーザが音声認識機能およびハンズフリー通話機能の少なくとも一方の使用を選択した場合に、スピーカ3がノイズキャンセル用マイク、すなわち、ノイズキャンセルマイク選択部8によって選択されたマイクにより集音された音と逆位相の消去音を出力するように、スピーカ3の音出力機能を制御する。具体的には、音出力機能制御部9は、ユーザが音声認識機能およびハンズフリー通話機能の少なくとも一方の使用を選択した場合に操作入力部6から出力される入力データを取得することにより、スピーカ3から消去音を出力させる。   When the user selects at least one of the voice recognition function and the hands-free call function, the sound output function control unit 9 is configured such that the speaker 3 is a noise canceling microphone, that is, a microphone selected by the noise canceling microphone selection unit 8 The sound output function of the speaker 3 is controlled so as to output an erasing sound having a phase opposite to that of the sound collected by. Specifically, the sound output function control unit 9 acquires the input data output from the operation input unit 6 when the user selects use of at least one of the voice recognition function and the hands-free call function, thereby The erasing sound is output from 3.

なお、マイク選択部7、ノイズキャンセルマイク選択部8および音出力機能制御部9については、その機能を実現する各ブロックを図1の(a)において示している。当該各ブロックは、あくまでロボット1がマイク選択部7、ノイズキャンセルマイク選択部8および音出力機能制御部9を備えているという点を明確にするために図示しており、マイク選択部7、ノイズキャンセルマイク選択部8および音出力機能制御部9に係る形状や搭載(配置)位置等の物理的構成を示すものではない。   In addition, about the microphone selection part 7, the noise cancellation microphone selection part 8, and the sound output function control part 9, each block which implement | achieves the function is shown in (a) of FIG. Each block is illustrated to clarify that the robot 1 includes a microphone selection unit 7, a noise canceling microphone selection unit 8, and a sound output function control unit 9. The microphone selection unit 7, noise It does not indicate a physical configuration such as a shape or a mounting (arrangement) position according to the cancel microphone selection unit 8 and the sound output function control unit 9.

<音声方向検知機能とマイクとの関係>
次に、図1および図3を参照して、音声方向検知機能と第1マイク2a〜第4マイク2dとの関係について説明する。
<Relationship between voice direction detection function and microphone>
Next, the relationship between the voice direction detection function and the first microphone 2a to the fourth microphone 2d will be described with reference to FIGS.

図3に示すように、ユーザが音声方向検知機能を選択した場合、マイク選択部7は、選択マイクとして第1マイク2a〜第3マイク2c(マイク群)を選択する。ここで、図1の(a)および(b)に示すように、第1マイク2aおよび第2マイク2bはそれぞれ目部1bの上方の配置されており、第3マイク2cは、後頭部におけるカメラ部4と略対向する位置に配置されている。また、第1マイク2a〜第3マイク2cは、机上、床上等のロボット1が載置されている載置面からの鉛直方向の高さが略同一となるような配置となっている。   As illustrated in FIG. 3, when the user selects the voice direction detection function, the microphone selection unit 7 selects the first microphone 2a to the third microphone 2c (microphone group) as the selected microphone. Here, as shown to (a) and (b) of FIG. 1, the 1st microphone 2a and the 2nd microphone 2b are each arrange | positioned above the eye part 1b, and the 3rd microphone 2c is a camera part in a back head. 4 is disposed at a position substantially opposite to 4. Further, the first microphone 2a to the third microphone 2c are arranged so that the heights in the vertical direction from the placement surface on which the robot 1 is placed such as on a desk or on the floor are substantially the same.

ここで、「ロボット1が載置されている載置面からの鉛直方向の高さが略同一」の記載における「高さが略同一」の意義としては、第1マイク2a〜第3マイク2cのそれぞれについて、ロボット1の載置面からの鉛直方向の高さが完全に一致している場合について、「高さが略同一」の概念に含まれることは勿論である。そして、第1マイク2a〜第3マイク2cのそれぞれに係る高さが完全に一致していない場合でも、これらのマイクの高さが音声方向検知機能に影響を与えない範囲で相違している場合であれば、「高さが略同一」の概念に含まれる。例えば、本実施形態では、第1マイク2a〜第3マイク2cにおける上記鉛直方向の高さの値から任意に2つを抽出して求めた差が、いずれも0mmよりも大きく5.0mm以内の範囲に収まるように3つのマイクの配置している。なお、この数値範囲はあくまで一例であり、上記のようにして求めた3つの差のいずれかが5.0mmを超える場合であっても、音声方向検知機能に影響を与えないのであれば、第1マイク2a〜第3マイク2cの上記鉛直方向の高さは「略同一」といえる。   Here, the meaning of “substantially the same height” in the description of “the height in the vertical direction from the placement surface on which the robot 1 is placed is substantially the same” means the first microphone 2a to the third microphone 2c. Of course, the case where the heights in the vertical direction from the placement surface of the robot 1 are completely the same is included in the concept of “substantially the same height”. Even when the heights of the first microphone 2a to the third microphone 2c do not completely match, the heights of these microphones differ within a range that does not affect the voice direction detection function. If so, it is included in the concept of “substantially the same height”. For example, in the present embodiment, the difference obtained by arbitrarily extracting two values from the height values in the vertical direction in the first microphone 2a to the third microphone 2c are both larger than 0 mm and within 5.0 mm. Three microphones are arranged to fit within the range. Note that this numerical range is merely an example, and if any of the three differences obtained as described above exceeds 5.0 mm, it does not affect the voice direction detection function. It can be said that the vertical heights of the first microphone 2a to the third microphone 2c are “substantially the same”.

このようなマイクの数および配置とすることにより、ロボット1から見て外部の音声発生源がいかなる方向に存在しても、第1マイク2a〜第3マイク2cのいずれかが音声発生源が存在する方向に略対向することとなる。したがって、音声発生源から発生する音をいずれかのマイクで精度高く集音することができる。   With such a number and arrangement of microphones, any of the first microphone 2a to the third microphone 2c has a sound source regardless of the direction of the external sound source as viewed from the robot 1. It will be substantially opposite to the direction to do. Therefore, the sound generated from the sound source can be collected with high accuracy by any microphone.

なお、音声方向検知機能に対応するマイクの数および配置には、様々なバリエーションが考えられる。例えば、第1マイク2a〜第3マイク2cのいずれか1つを2つの目部1bの間で、かつ、カメラ部4の鉛直下方に配置し、残りの2つのマイクを後頭部における2つの目部1bのそれぞれと略対向する位置に配置してもよい。また、音声方向検知機能の実行に際して、第1マイク2a〜第3マイク2cの全てを利用する必要はなく、これらのうちの少なくとも2つのマイクが利用されればよい。第1マイク2a〜第3マイク2cのうちの2つのマイクを記録することとなる。さらに、第1マイク2a〜第3マイク2cとロボット1の載置面からの鉛直方向の高さが略同一の第5マイク(図示せず)を頭部1aのいずれかの部位に配置して、音声方向検知機能に対応する選択マイクとしてもよい。   Various variations can be considered in the number and arrangement of microphones corresponding to the voice direction detection function. For example, any one of the first microphone 2a to the third microphone 2c is arranged between the two eyes 1b and vertically below the camera unit 4, and the remaining two microphones are the two eyes in the back of the head. You may arrange | position in the position which substantially opposes each of 1b. Further, when executing the voice direction detection function, it is not necessary to use all of the first microphone 2a to the third microphone 2c, and at least two of these may be used. Two microphones of the first microphone 2a to the third microphone 2c are recorded. Further, a first microphone 2a to third microphone 2c and a fifth microphone (not shown) having substantially the same height in the vertical direction from the placement surface of the robot 1 are arranged in any part of the head 1a. Alternatively, a selection microphone corresponding to the voice direction detection function may be used.

また、音声方向検知機能に対応する選択マイクとして、第4マイク2dを利用してもよい。例えば、ロボット1が仰向けになって寝ている状態の場合、第1マイク2aおよび第2マイク2bに加えて第4マイク2dを選択する。この場合、第1マイク2aおよび第2マイク2bと、第4マイク2dとは、ロボット1の載置面からの鉛直方向の高さが音声方向検知機能に影響を与えない範囲で相違することから(図1の(a)参照)、これらのマイクの上記鉛直方向の高さは略同一といえる。したがって、ロボット1が仰向けになって寝ている状態において、ユーザが音声方向検知機能を選択した場合、マイク選択部7は、第1マイク2a、第2マイク2bおよび第4マイク2dを選択マイクとして選択してもよい。   Moreover, you may utilize the 4th microphone 2d as a selection microphone corresponding to an audio | voice direction detection function. For example, when the robot 1 is lying on its back, the fourth microphone 2d is selected in addition to the first microphone 2a and the second microphone 2b. In this case, the first microphone 2a, the second microphone 2b, and the fourth microphone 2d are different in the range in which the vertical height from the placement surface of the robot 1 does not affect the voice direction detection function. (See FIG. 1A.) The vertical heights of these microphones can be said to be substantially the same. Therefore, when the user selects the voice direction detection function while the robot 1 is lying on its back, the microphone selection unit 7 uses the first microphone 2a, the second microphone 2b, and the fourth microphone 2d as the selected microphones. You may choose.

換言すれば、ユーザが音声方向検知機能を選択した場合、ロボット1の足裏部、胸部および背中部に内蔵された加速度センサ、感圧センサ(ともに図示せず)等によってロボット1の載置状態(直立不動の姿勢、仰向けになって寝ている状態等)を検知するようにしてもよい。そして、マイク選択部7は、検知結果からロボット1の載置面(以下、基準面とする)を決定し、基準面からの鉛直方向の高さにおける差の平均あるいは分散が最も小さい3つのマイクを、第1マイク2a〜第4マイク2dの中から選択してもよい。   In other words, when the user selects the voice direction detection function, the placement state of the robot 1 by the acceleration sensor, pressure sensor (both not shown) or the like built in the sole, chest and back of the robot 1. (An upright fixed posture, a state of sleeping on the back, etc.) may be detected. Then, the microphone selection unit 7 determines the placement surface (hereinafter referred to as a reference surface) of the robot 1 from the detection result, and the three microphones having the smallest difference or average variance in the vertical height from the reference surface. May be selected from the first microphone 2a to the fourth microphone 2d.

〔実施形態2〕
本発明の他の実施形態について、図1、図3および図4に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
[Embodiment 2]
The following will describe another embodiment of the present invention with reference to FIGS. For convenience of explanation, members having the same functions as those described in the embodiment are given the same reference numerals, and descriptions thereof are omitted.

<音声認識機能およびハンズフリー通話機能とマイクとスピーカとの関係>
図1、図3および図4を参照して、音声認識機能およびハンズフリー通話機能と第1マイク2a〜第4マイク2dとスピーカ3との関係について説明する。
<Relationship between voice recognition function and hands-free call function and microphone and speaker>
With reference to FIG. 1, FIG. 3, and FIG. 4, the relationship between the voice recognition function, the hands-free call function, the first microphone 2a to the fourth microphone 2d, and the speaker 3 will be described.

図3に示すように、ユーザが音声認識機能またはハンズフリー通話機能を選択した場合、マイク選択部7は、いずれの場合についても選択マイクとして第1マイク2aを選択する。また、図4に示すように、ノイズキャンセルマイク選択部8は、いずれの場合についてもノイズキャンセル用マイクとして第3マイク2cおよび第4マイク2dを選択する。ここで、第1マイク2aは、実施形態1で説明したように右側の目部1bの上方、換言すれば、ロボット1の前面側に配置されている。「ロボット1の前面側」とは、ロボット1における目部1b、口部1c、胸部および腹部等と同じ側に存在する部位の面であり、音声認識機能またはハンズフリー通話機能を実行する際に、他の部位に比べてユーザと対向する可能性の高い部位の面を指す。また、図1の(a)に示すように、第4マイク2dは、胴体部1eにおける左側下腹部に配置されている。   As shown in FIG. 3, when the user selects the voice recognition function or the hands-free call function, the microphone selection unit 7 selects the first microphone 2a as the selected microphone in any case. Also, as shown in FIG. 4, the noise cancellation microphone selection unit 8 selects the third microphone 2c and the fourth microphone 2d as noise cancellation microphones in any case. Here, the first microphone 2 a is disposed above the right eye 1 b as described in the first embodiment, in other words, on the front side of the robot 1. The “front side of the robot 1” is a surface of a part existing on the same side as the eye 1b, the mouth 1c, the chest, the abdomen, and the like in the robot 1, and is used when performing a voice recognition function or a hands-free call function The surface of the site | part with high possibility of facing a user compared with another site | part. Further, as shown in FIG. 1A, the fourth microphone 2d is disposed on the left lower abdomen portion of the body portion 1e.

そして、主として第1マイク2aによってユーザの音声が集音されるとともに、第3マイク2cおよび第4マイク2dによって集音された音に基づいてスピーカ3から消去音が出力される。   Then, the user's voice is collected mainly by the first microphone 2a, and an erasing sound is output from the speaker 3 based on the sounds collected by the third microphone 2c and the fourth microphone 2d.

このように、ロボット1は、スピーカ3から消去音を出力しつつ、主として第1マイク2aを利用してユーザの音声を集音することから、ノイズキャンセル効果によりユーザの音声を精度高く集音することができる。また、ロボット1を机上、床上等の載置面に載置した場合、第4マイク2dは、第1マイク2aおよび第3マイク2cよりもユーザの口元から遠い位置にあることから、高いノイズキャンセル効果を得ることができる。   As described above, the robot 1 collects the user's voice mainly by using the first microphone 2a while outputting the erasing sound from the speaker 3. Therefore, the robot 1 collects the user's voice with high accuracy by the noise canceling effect. be able to. Further, when the robot 1 is placed on a placement surface such as a desk or on the floor, the fourth microphone 2d is located farther from the user's mouth than the first microphone 2a and the third microphone 2c. An effect can be obtained.

なお、音声認識機能およびハンズフリー通話機能に対応するマイクの数および配置には、様々なバリエーションが考えられる。例えば、第2マイク2bはロボット1の前面側に配置されていることから、ユーザが音声認識機能またはハンズフリー通話機能を選択した場合、マイク選択部7は、第1マイク2aに代えて第2マイク2bを選択マイクとして選択してもよい。あるいは、第1マイク2aおよび第2マイク2bの両方を選択マイクとしてもよい。   Various variations are conceivable in the number and arrangement of microphones corresponding to the voice recognition function and the hands-free call function. For example, since the second microphone 2b is disposed on the front side of the robot 1, when the user selects the voice recognition function or the hands-free call function, the microphone selection unit 7 replaces the first microphone 2a with the second microphone 2a. You may select the microphone 2b as a selection microphone. Alternatively, both the first microphone 2a and the second microphone 2b may be selected microphones.

また、第4マイク2dもロボット1の前面側に配置されていることから、ユーザが音声認識機能またはハンズフリー通話機能を選択した場合、マイク選択部7は、第1マイク2aに代えて第4マイク2dを選択マイクとして選択してもよい。あるいは、第1マイク2aおよび第4マイク2dの両方を選択マイクとしてもよい。これらの場合、ノイズキャンセルマイク選択部8は、ノイズキャンセル用マイクとして第3マイク2cのみ、あるいは第3マイク2cおよび第2マイク2bの両方を選択する。   Further, since the fourth microphone 2d is also arranged on the front side of the robot 1, when the user selects the voice recognition function or the hands-free call function, the microphone selection unit 7 replaces the first microphone 2a with the fourth microphone 2d. The microphone 2d may be selected as the selection microphone. Alternatively, both the first microphone 2a and the fourth microphone 2d may be selected microphones. In these cases, the noise cancellation microphone selection unit 8 selects only the third microphone 2c or both the third microphone 2c and the second microphone 2b as the noise cancellation microphone.

また、ロボット1のいずれかの部位に第5マイク(図示せず)以下の複数のマイクをさらに配置して、それぞれ選択マイクおよびノイズキャンセル用マイクとして利用してもよい。   Further, a plurality of microphones below a fifth microphone (not shown) may be further disposed at any part of the robot 1 and used as a selection microphone and a noise canceling microphone, respectively.

また、第3マイク2cまたは第4マイク2dのいずれか一方のみをノイズキャンセル用マイクとしてもよい。音声認識機能とハンズフリー通話機能とで、ノイズキャンセル用マイクとして選択するマイクを異ならせてもよい(例えば、音声認識機能用として第3マイク2cを選択し、ハンズフリー通話機能用として第4マイク2dを選択する等)。さらには、音声認識機能およびハンズフリー通話機能の実行においてノイズキャンセル用マイクは必須の部材ではないことから、ノイズキャンセル用マイクを選択しない構成を採用してもよい。この場合、スピーカ3から消去音を出力する必要もないことから、ロボット1は、ノイズキャンセルマイク選択部8および音出力機能制御部9を備えていなくてもよい。   Only one of the third microphone 2c and the fourth microphone 2d may be a noise canceling microphone. The voice recognition function and the hands-free call function may have different microphones to be selected as noise canceling microphones (for example, the third microphone 2c is selected for the voice recognition function and the fourth microphone is used for the hands-free call function). 2d etc.). Furthermore, since the noise canceling microphone is not an essential member in executing the voice recognition function and the hands-free call function, a configuration in which the noise canceling microphone is not selected may be employed. In this case, since it is not necessary to output an erasing sound from the speaker 3, the robot 1 may not include the noise canceling microphone selection unit 8 and the sound output function control unit 9.

〔実施形態3〕
本発明の他の実施形態について、図3および図5に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
[Embodiment 3]
The following will describe another embodiment of the present invention with reference to FIGS. For convenience of explanation, members having the same functions as those described in the embodiment are given the same reference numerals, and descriptions thereof are omitted.

<電話通話機能とマイクとの関係>
図3および図5を参照して、電話通話機能と第1マイク2a〜第4マイク2dとの関係について説明する。
<Relationship between phone call function and microphone>
With reference to FIG. 3 and FIG. 5, the relationship between the telephone call function and the first microphone 2a to the fourth microphone 2d will be described.

図3に示すように、ユーザが電話通話機能を選択した場合、マイク選択部7は、選択マイクとして第4マイク2dを選択する。ここで、第4マイク2dは、胴体部1eにおける左側下腹部に配置されている。すなわち、第4マイク2dは、図5に示すように、ユーザがロボット1を把持した状態で口部1c(スピーカ3が内蔵されている)を耳に近づけた場合に、ユーザの口と対向する位置に配置されている。したがって、電話通話機能の実行の際に第4マイク2dを利用することにより、ロボット1はユーザの音声を精度高く集音することができる。   As shown in FIG. 3, when the user selects the telephone call function, the microphone selection unit 7 selects the fourth microphone 2d as the selected microphone. Here, the 4th microphone 2d is arrange | positioned at the left lower abdominal part in the trunk | drum 1e. That is, as shown in FIG. 5, the fourth microphone 2 d faces the user's mouth when the user holds the robot 1 and brings the mouth portion 1 c (with the built-in speaker 3) close to the ear. Placed in position. Therefore, by using the fourth microphone 2d when executing the telephone call function, the robot 1 can collect the user's voice with high accuracy.

なお、ロボット1の形状および大きさに応じて、第4マイク2dの配置場所を適宜変更してもよい。例えば、胴体部1eの鉛直方向の長さが図5に示すものより長い場合、第4マイク2dは、腹部または胸部に配置されてもよい。また、胴体部1eの鉛直方向の長さが図5に示すものより短い場合、またはロボット1全体の大きさが図5に示すものより小さい場合、第4マイク2dは、大腿部1hまたは足部1iに配置されてもよい。換言すれば、第4マイク2dは、ロボット1の形状および大きさに拘らず、ユーザがロボット1を把持した状態においてユーザの口と対向するような位置に配置されていればよい。   Note that the location of the fourth microphone 2d may be changed as appropriate according to the shape and size of the robot 1. For example, when the length of the trunk portion 1e in the vertical direction is longer than that shown in FIG. 5, the fourth microphone 2d may be disposed on the abdomen or chest. Further, when the vertical length of the body portion 1e is shorter than that shown in FIG. 5, or when the overall size of the robot 1 is smaller than that shown in FIG. 5, the fourth microphone 2d is connected to the thigh 1h or the foot. You may arrange | position to the part 1i. In other words, regardless of the shape and size of the robot 1, the fourth microphone 2 d may be disposed at a position facing the user's mouth when the user is holding the robot 1.

さらには、第4マイク2dを音声認識機能およびハンズフリー通話機能におけるノイズキャンセル用マイクとしてのみ利用し、ロボット1の下腹部に電話通話機能用の第5マイク(図示せず)を別途配置してもよい。   Further, the fourth microphone 2d is used only as a noise canceling microphone in the voice recognition function and the hands-free call function, and a fifth microphone (not shown) for the telephone call function is separately arranged on the lower abdomen of the robot 1. Also good.

〔ソフトウェアによる実現例〕
ロボット1の制御ブロック(特に、マイク選択部7、ノイズキャンセルマイク選択部8および音出力機能制御部9)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。後者の場合、ロボット1は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
[Example of software implementation]
The control blocks of the robot 1 (in particular, the microphone selection unit 7, the noise cancellation microphone selection unit 8, and the sound output function control unit 9) are realized by a logic circuit (hardware) formed on an integrated circuit (IC chip) or the like. Alternatively, it may be realized by software using a CPU (Central Processing Unit). In the latter case, the robot 1 includes a CPU that executes instructions of a program that is software that realizes each function, a ROM (Read Only Memory) or a memory in which the program and various data are recorded so as to be readable by the computer (or CPU). An apparatus (these are referred to as “recording media”), a RAM (Random Access Memory) for expanding the program, and the like are provided. And the objective of this invention is achieved when a computer (or CPU) reads the said program from the said recording medium and runs it. As the recording medium, a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used. The program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program. The present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.

〔まとめ〕
本発明の態様1に係る電子機器(ロボット1)は、集音機能を有するマイク(第1マイク2a、第2マイク2b、第3マイク2c、第4マイク2d)を複数備えている電子機器であって、上記電子機器に備えられている複数のマイクのそれぞれは、上記電子機器が有する複数の機能に対応付けられているとともに、上記電子機器において異なる部位(頭部1a、胴体部1e)に配置されており、上記電子機器が実行する上記複数の機能のそれぞれに応じて、集音機能をオン状態にするマイクを、上記複数のマイクから選択するマイク選択部(7)を備えている。
[Summary]
The electronic device (robot 1) according to aspect 1 of the present invention is an electronic device including a plurality of microphones (first microphone 2a, second microphone 2b, third microphone 2c, and fourth microphone 2d) having a sound collecting function. And each of the some microphone with which the said electronic device is equipped is matched with the some function which the said electronic device has, and it is in a different site | part (head 1a, trunk | drum 1e) in the said electronic device. A microphone selection unit (7) is provided that selects a microphone for turning on the sound collection function from the plurality of microphones according to each of the plurality of functions executed by the electronic device.

上記構成によれば、電子機器に備えられた複数のマイクはそれぞれ、当該電子機器が有する複数の機能に対応付けられているとともに、電子機器において異なる部位に配置されている。   According to the above configuration, each of the plurality of microphones provided in the electronic device is associated with a plurality of functions of the electronic device, and is disposed in different parts of the electronic device.

したがって、例えば、本発明に係る電子機器が小型の2足歩行ヒューマノイドロボットであり、直立不動状態の上記ロボットとユーザの身体とが離間した状態でユーザの音声を認識する、音声認識機能に対応付けられたマイクを頭部に配置した場合、当該マイクを足部に配置する場合よりもユーザの音声を集音し易くなる。また、例えば、通話機能に対応付けられたマイクを足部に配置した場合、ユーザが上記ロボットを把持して頭部(スピーカが配置されている)を耳元に近づけた状態で、上記マイクがユーザの口元付近に位置することになる。そのため、音声認識機能の場合と同じくユーザの音声を集音し易くなる。   Therefore, for example, the electronic apparatus according to the present invention is a small biped walking humanoid robot, and is associated with a voice recognition function that recognizes a user's voice in a state where the robot in an upright and immobile state is separated from the user's body. When the microphone is placed on the head, the user's voice can be collected more easily than when the microphone is placed on the foot. Also, for example, when a microphone associated with a call function is placed on the foot, the microphone is held by the user with the robot gripped and the head (speaker is placed) close to the ear. It will be located near the mouth. Therefore, it becomes easy to collect the user's voice as in the case of the voice recognition function.

以上より、電子機器が有する複数の機能の各特性に応じて、当該複数の機能のそれぞれに対応付けられた各マイクを電子機器のいずれかの部位に配置することで、上記複数の機能を効率よく発揮させることができる。   As described above, according to the characteristics of the plurality of functions of the electronic device, the microphones associated with each of the plurality of functions are arranged in any part of the electronic device, so that the plurality of functions can be efficiently performed. Can be demonstrated well.

また、上記構成によれば、マイク選択部は、電子機器が実行する複数の機能のそれぞれに応じて、集音機能をオン状態とするマイクを複数のマイクから選択する。したがって、ユーザは、当該ユーザが使用する電子機器の機能に対応付けられたマイクをマイク選択部で選択することにより、ユーザが使用する電子機器の機能に応じて利用するマイクを適宜切り替えることができる。   Moreover, according to the said structure, a microphone selection part selects the microphone which makes a sound collection function an ON state from a several microphone according to each of the several function which an electronic device performs. Therefore, the user can appropriately switch the microphone to be used according to the function of the electronic device used by the user by selecting the microphone associated with the function of the electronic device used by the user using the microphone selection unit. .

さらに、マイク選択部が選択していないマイクについては、集音機能がオフ状態、すなわち利用できない状態になっている。したがって、無駄なマイクの利用を防止するとともに、電子機器の消費電力の抑制を図ることができる。   Furthermore, the microphones that are not selected by the microphone selection unit are in a state where the sound collection function is off, that is, cannot be used. Therefore, useless use of the microphone can be prevented and power consumption of the electronic device can be suppressed.

本発明の態様2に係る電子機器は、上記態様1において、上記電子機器から見て外部の音声発生源が存在する方向を検知する音声方向検知機能を上記電子機器が実行している場合、上記マイク選択部は、上記電子機器が載置されている載置面からの鉛直方向の高さが略同一となるマイク群(第1マイク2a、第2マイク2b、第3マイク2c)を、集音機能をオン状態にするマイクとして選択してもよい。   The electronic device according to aspect 2 of the present invention is the electronic device according to aspect 1, in which the electronic device performs a sound direction detection function for detecting a direction in which an external sound source is present when viewed from the electronic device. The microphone selection unit collects microphone groups (first microphone 2a, second microphone 2b, and third microphone 2c) having substantially the same height in the vertical direction from the mounting surface on which the electronic device is mounted. You may select as a microphone which turns on a sound function.

上記構成によれば、電子機器が音声方向検知機能を実行している場合、マイク選択部は、電子機器が載置されている載置面からの鉛直方向の高さが略同一となるマイク群を、集音機能をオン状態にするマイクとして選択する。したがって、マイク選択部が上記鉛直方向の高さにばらつきのある各マイクをマイク群として選択する場合と比較して、本発明に係る電子機器は、音声発生源が存在する方向を精度高く検知することができる。   According to the above configuration, when the electronic device performs the voice direction detection function, the microphone selection unit is a microphone group in which the height in the vertical direction from the placement surface on which the electronic device is placed is substantially the same. Is selected as the microphone that turns on the sound collection function. Therefore, compared with the case where the microphone selection unit selects each microphone having a variation in the vertical height as the microphone group, the electronic device according to the present invention detects the direction in which the sound source is present with high accuracy. be able to.

また、例えば、本発明に係る電子機器が2足歩行ヒューマノイドロボットであり、マイク群を当該ロボットの頭部に配置した場合、当該マイク群を足部に配置する場合よりも音声発生源からの音声を集音し易くなる。そのため、音声方向検知機能の特性に適合したロボットの部位にマイク群を配置することで、音声方向検知機能を効率よく発揮することができるロボットを実現することができる。   Also, for example, when the electronic device according to the present invention is a biped walking humanoid robot, and the microphone group is disposed on the head of the robot, the sound from the sound source is more than when the microphone group is disposed on the foot. It becomes easy to collect sound. Therefore, it is possible to realize a robot capable of efficiently exhibiting the voice direction detection function by arranging the microphone group in a part of the robot suitable for the characteristics of the voice direction detection function.

本発明の態様3に係る電子機器は、上記態様1または2において、上記電子機器に対して発話する音声を音声認識する音声認識機能、および上記電子機器を把持していない状態で発話した内容を、上記電子機器が集音して外部に電話通話のために送信するハンズフリー通話機能の少なくとも一方を上記電子機器が実行している場合、上記マイク選択部は、少なくとも、上記電子機器の前面側に配置されているマイク(第1マイク2a)を、集音機能をオン状態にするマイクとして選択してもよい。   The electronic device according to aspect 3 of the present invention is the electronic device according to aspect 1 or 2, in which the speech recognition function for recognizing the speech uttered to the electronic device and the content uttered without holding the electronic device. When the electronic device performs at least one of hands-free call functions for collecting the sound collected by the electronic device and transmitting it to the outside for a phone call, the microphone selection unit is at least on the front side of the electronic device. May be selected as a microphone that turns on the sound collecting function.

ユーザが電子機器に対して発話する場合、例えば当該電子機器がヒューマノイドロボットであれば、顔部が設けられているロボットの前面側の部位と対向する状態で、ユーザが発話するのが通常である。   When a user speaks to an electronic device, for example, if the electronic device is a humanoid robot, the user usually speaks in a state of facing the front side portion of the robot provided with a face portion. .

その点、上記構成によれば、電子機器が音声認識機能およびハンズフリー通話機能の少なくとも一方を実行している場合、マイク選択部は、少なくとも、電子機器の前面側に配置されているマイクを、集音機能をオン状態にするマイクとして選択する。したがって、マイク選択部が電子機器の背面側に配置されているマイクのみを選択する場合と比較して、ユーザの音声を精度高く集音することができる。   In that regard, according to the above configuration, when the electronic device is executing at least one of the voice recognition function and the hands-free call function, the microphone selection unit at least includes a microphone disposed on the front side of the electronic device. Select the microphone to turn on the sound collection function. Therefore, the user's voice can be collected with higher accuracy than when the microphone selection unit selects only the microphone arranged on the back side of the electronic device.

また、例えば、本発明に係る電子機器が2足歩行ヒューマノイドロボットであり、当該ロボットの顔部にマイクが配置されている場合、ユーザはロボットの頭部に向かって話しかけると考えられるため、当該マイクが脚部の前面側に配置されている場合よりもユーザの音声を集音し易くなる。そのため、音声認識機能およびハンズフリー通話機能の特性に適合したロボットの部位にマイクを配置することで、音声認識機能およびハンズフリー通話機能を効率よく発揮することができるロボットを実現することができる。   In addition, for example, when the electronic device according to the present invention is a biped walking humanoid robot and a microphone is arranged on the face of the robot, it is considered that the user speaks toward the head of the robot. It is easier to collect the user's voice than when the is placed on the front side of the leg. Therefore, it is possible to realize a robot capable of efficiently exhibiting the voice recognition function and the hands-free call function by arranging the microphone at the site of the robot that is suitable for the characteristics of the voice recognition function and the hands-free call function.

本発明の態様4に係る電子機器は、上記態様3において、音出力機能を有するスピーカ(3)と、上記音声認識機能および上記ハンズフリー通話機能の少なくとも一方の使用を選択した場合に、上記マイク選択部によって選択されたマイク以外の少なくとも1つのマイクをノイズキャンセル用マイク(第3マイク2c、第4マイク2d)として選択するノイズキャンセルマイク選択部(8)と、上記音声認識機能および上記ハンズフリー通話機能の少なくとも一方の使用を選択した場合に、上記スピーカが、上記ノイズキャンセルマイク選択部によって選択されたマイクにより集音された音と逆位相の消去音を出力するように、上記スピーカの音出力機能を制御する音出力機能制御部(9)と、をさらに備えてもよい。   In the electronic device according to aspect 4 of the present invention, when the use of at least one of the speaker (3) having a sound output function and the voice recognition function and the hands-free call function is selected in the aspect 3, the microphone A noise canceling microphone selection unit (8) for selecting at least one microphone other than the microphone selected by the selection unit as a noise canceling microphone (third microphone 2c, fourth microphone 2d), the voice recognition function, and the hands-free When the use of at least one of the call functions is selected, the speaker sound is output so that the speaker outputs an erasing sound having a phase opposite to that of the sound collected by the microphone selected by the noise canceling microphone selection unit. And a sound output function control unit (9) for controlling the output function.

上記構成によれば、本発明に係る電子機器は、音声認識機能およびハンズフリー通話機能の少なくとも一方の使用を選択した場合に、マイク選択部によって選択されたマイク以外の少なくとも1つのマイクをノイズキャンセル用マイクとして選択するノイズキャンセルマイク選択部をさらに備えている。また、本発明に係る電子機器は、上記機能の使用を選択した場合に、ノイズキャンセルマイク選択部によって選択されたマイクにより集音された音と逆位相の消去音が出力されるようにスピーカの音出力機能を制御する音出力機能制御部をさらに備えている。   According to the above configuration, the electronic device according to the present invention performs noise cancellation on at least one microphone other than the microphone selected by the microphone selection unit when the use of at least one of the voice recognition function and the hands-free call function is selected. And a noise canceling microphone selection unit that selects the microphone for use. In addition, when the electronic device according to the present invention is selected to use the above function, an erasure sound having a phase opposite to that of the sound collected by the microphone selected by the noise canceling microphone selection unit is output. A sound output function controller for controlling the sound output function is further provided.

したがって、電子機器の周囲に雑音が存在する場合であっても、スピーカから消去音を出力することにより、上記雑音が消去音によって打ち消されて聴こえなくなるノイズキャンセル効果を得ることができる。そのため、マイク選択部によって選択されたマイクは、ユーザの音声をより精度高く集音することができる。   Therefore, even when there is noise around the electronic device, by outputting the erasing sound from the speaker, it is possible to obtain a noise canceling effect in which the noise is canceled by the erasing sound and cannot be heard. Therefore, the microphone selected by the microphone selection unit can collect the user's voice with higher accuracy.

以上より、音声認識機能およびハンズフリー通話機能をより効率的に発揮することができる電子機器を実現することができる。   As described above, it is possible to realize an electronic device that can more efficiently exhibit the voice recognition function and the hands-free call function.

また、例えば、ノイズキャンセルマイク選択部が、マイク選択部によって選択されたマイク以外の2つ以上のマイクを選択し、かつ、当該2つ以上のマイクの少なくとも1つのマイクを、他のマイクよりも電子機器の載置面に近い位置に配置した場合、当該少なくとも1つのマイクは、当該他のマイクよりもユーザの口元から遠い位置にある。   In addition, for example, the noise cancellation microphone selection unit selects two or more microphones other than the microphone selected by the microphone selection unit, and at least one microphone of the two or more microphones is selected from other microphones. When arranged at a position close to the placement surface of the electronic device, the at least one microphone is located farther from the user's mouth than the other microphones.

そのため、上記少なくとも1つのマイクは、上記他のマイクよりもユーザの音声の影響が少ない音を集音することができることから、より高いノイズキャンセル効果を得ることができる。   Therefore, the at least one microphone can collect a sound with less influence of the user's voice than the other microphones, so that a higher noise canceling effect can be obtained.

本発明の態様5に係る電子機器は、上記態様1から4のいずれかにおいて、上記電子機器を把持している状態で、上記電子機器が電話通話における受話器として機能する電話通話機能を上記電子機器が実行している場合、上記マイク選択部は、口と対向するマイク(第4マイク2d)を、集音機能をオン状態にするマイクとして選択してもよい。   An electronic device according to Aspect 5 of the present invention is the electronic device according to any one of Aspects 1 to 4, wherein the electronic device has a telephone call function in which the electronic device functions as a handset in a telephone call while holding the electronic device. In this case, the microphone selection unit may select a microphone (fourth microphone 2d) facing the mouth as a microphone that turns on the sound collection function.

上記構成によれば、電子機器が電話通話機能を実行している場合、マイク選択部は、口と対向するマイクを集音機能をオン状態にするマイクとして選択することから、ユーザの音声を精度高く集音することができる。そのため、電話通話機能を効率よく発揮することができる電子機器を実現することができる。   According to the above configuration, when the electronic device performs the telephone call function, the microphone selection unit selects the microphone that faces the mouth as the microphone that turns on the sound collection function, so that the user's voice can be accurately High sound collection. Therefore, an electronic device that can efficiently perform the telephone call function can be realized.

本発明の態様6に係る電子機器は、上記態様1から5のいずれかにおいて、少なくとも頭部(1a)および胴体部(1e)を含んだロボットであり、上記複数のマイクとして、上記頭部に配置されたマイク(第1マイク2a、第2マイク2b、第3マイク2c)と、上記胴体部に配置されたマイク(第4マイク2d)とを含んでもよい。   An electronic device according to an aspect 6 of the present invention is the robot according to any one of the above aspects 1 to 5 including at least the head (1a) and the torso (1e). You may include the microphone (1st microphone 2a, 2nd microphone 2b, 3rd microphone 2c) arrange | positioned, and the microphone (4th microphone 2d) arrange | positioned at the said trunk | drum part.

上記構成によれば、本発明に係る電子機器が、例えばヒューマノイドロボットおよび動物ロボットの場合において、当該ロボットが有する複数の機能を効率よく発揮させることができる。   According to the above configuration, when the electronic apparatus according to the present invention is, for example, a humanoid robot or an animal robot, a plurality of functions of the robot can be efficiently exhibited.

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。   The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention. Furthermore, a new technical feature can be formed by combining the technical means disclosed in each embodiment.

1 ロボット(電子機器)
1a 頭部
1e 胴体部
2a 第1マイク(マイク)
2b 第2マイク(マイク)
2c 第3マイク(マイク、ノイズキャンセル用マイク)
2d 第4マイク(マイク、ノイズキャンセル用マイク)
7 マイク選択部
8 ノイズキャンセルマイク選択部
9 音出力機能制御部
1 Robot (electronic equipment)
1a head 1e body 2a first microphone (microphone)
2b Second microphone (microphone)
2c 3rd microphone (microphone, noise canceling microphone)
2d 4th microphone (microphone, noise canceling microphone)
7 Microphone selection unit 8 Noise canceling microphone selection unit 9 Sound output function control unit

Claims (8)

集音機能を有するマイクを複数備えている電子機器であって、
上記電子機器に備えられている複数のマイクのそれぞれは、上記電子機器が有する、音声入力後に実行される複数の機能に対応付けられているとともに、上記電子機器において異なる部位に配置されており、
上記電子機器が実行する上記複数の機能のそれぞれに応じて、集音機能をオン状態にするマイクを、上記複数のマイクから選択するマイク選択部と、
上記電子機器が実行する上記複数の機能のそれぞれに対応付けられた、上記電子機器の可動部位を作動させることにより、上記電子機器の姿勢を制御する制御部と、を備えていることを特徴とする電子機器。
An electronic device including a plurality of microphones having a sound collecting function,
Each of the plurality of microphones provided in the electronic device is associated with a plurality of functions executed by the electronic device after voice input, and is disposed in different parts of the electronic device.
According to each of the plurality of functions executed by the electronic device, a microphone selection unit that selects a microphone for turning on the sound collection function from the plurality of microphones;
A control unit that controls a posture of the electronic device by operating a movable part of the electronic device associated with each of the plurality of functions executed by the electronic device. Electronic equipment.
上記電子機器から見て外部の音声発生源が存在する方向を検知する音声方向検知機能を上記電子機器が実行している場合、上記マイク選択部は、上記電子機器が載置されている載置面からの鉛直方向の高さが略同一となるマイク群を、集音機能をオン状態にするマイクとして選択することを特徴とする請求項1に記載の電子機器。   When the electronic device is executing a sound direction detection function for detecting a direction in which an external sound source is present when viewed from the electronic device, the microphone selection unit is mounted on which the electronic device is mounted. 2. The electronic apparatus according to claim 1, wherein a group of microphones having substantially the same height in the vertical direction from the surface is selected as a microphone that turns on the sound collection function. 上記電子機器は、ロボットであり、
記電子機器を把持していない状態で発話した内容を、上記電子機器が集音して外部に電話通話のために送信するハンズフリー通話機能を上記電子機器が実行している場合、上記マイク選択部は、少なくとも、上記電子機器における、ユーザと上記電子機器とが正対した場合に上記ユーザと対向する部位に配置されているマイクを、集音機能をオン状態にするマイクとして選択することを特徴とする請求項1または2に記載の電子機器。
The electronic device is a robot,
If the contents uttered when no gripping the upper Symbol electronic device, a hands-free call function to send for a telephone call outside the electronic apparatus collects the above electronic devices are running, the The microphone selection unit selects at least a microphone disposed in a portion facing the user when the user and the electronic device face each other in the electronic device as a microphone that turns on the sound collection function. The electronic device according to claim 1, wherein the electronic device is an electronic device.
音出力機能を有するスピーカと、
記ハンズフリー通話機能の使用を選択した場合に、上記マイク選択部によって選択されたマイク以外の少なくとも1つのマイクをノイズキャンセル用マイクとして選択するノイズキャンセルマイク選択部と
記ハンズフリー通話機能の使用を選択した場合に、上記スピーカが、上記ノイズキャンセルマイク選択部によって選択されたマイクにより集音された音と逆位相の消去音を出力するように、上記スピーカの音出力機能を制御する音出力機能制御部と、をさらに備えていることを特徴とする請求項3に記載の電子機器。
A speaker having a sound output function;
If you choose to use the upper Symbol handsfree function, and the noise canceling microphone selector for selecting at least one microphone than the microphone selected by the microphone selection section as a noise canceling microphone,
If you choose to use the upper Symbol handsfree function, so that the speaker outputs the cancellation sound of collected sounds and opposite phase by the microphone selected by the noise canceling microphone selection unit, the speaker The electronic device according to claim 3, further comprising a sound output function control unit that controls the sound output function of the electronic device.
上記電子機器を把持している状態で、上記電子機器が電話通話における受話器として機能する電話通話機能を上記電子機器が実行している場合、上記マイク選択部は、口と対向するマイクを、集音機能をオン状態にするマイクとして選択することを特徴とする請求項1から4のいずれか1項に記載の電子機器。   When the electronic device performs a telephone call function in which the electronic device functions as a handset in a telephone call while holding the electronic device, the microphone selection unit collects a microphone facing the mouth. The electronic device according to claim 1, wherein the electronic device is selected as a microphone that turns on a sound function. 上記電子機器は、少なくとも頭部および胴体部を含んだロボットであり、
上記複数のマイクとして、上記頭部に配置されたマイクと、上記胴体部に配置されたマイクとを含んでいることを特徴とする請求項1から5のいずれか1項に記載の電子機器。
The electronic device is a robot including at least a head and a torso,
6. The electronic device according to claim 1, wherein the plurality of microphones includes a microphone disposed on the head and a microphone disposed on the body part. 6.
請求項1から6のいずれか1項に記載の電子機器が備えている各部としてコンピュータを機能させるためのプログラム。   The program for functioning a computer as each part with which the electronic device of any one of Claim 1 to 6 is provided. 集音機能を有するマイクを複数備えている電子機器の制御方法であって、
上記電子機器に備えられている複数のマイクのそれぞれは、上記電子機器が有する、音声入力後に実行される複数の機能に対応付けられているとともに、上記電子機器において異なる部位に配置されており、
上記電子機器が実行する上記複数の機能のそれぞれに応じて、集音機能をオン状態にするマイクを、上記複数のマイクから選択する第1ステップと、
上記電子機器が実行する上記複数の機能のそれぞれに対応付けられた、上記電子機器の可動部位を作動させることにより、上記電子機器の姿勢を制御する第2ステップと、を含んでいることを特徴とする電子機器の制御方法。
A method for controlling an electronic device including a plurality of microphones having a sound collecting function,
Each of the plurality of microphones provided in the electronic device is associated with a plurality of functions executed by the electronic device after voice input, and is disposed in different parts of the electronic device.
A first step of selecting, from the plurality of microphones, a microphone that turns on a sound collection function according to each of the plurality of functions executed by the electronic device;
And a second step of controlling the posture of the electronic device by operating a movable part of the electronic device associated with each of the plurality of functions executed by the electronic device. A control method for electronic equipment.
JP2017542948A 2015-09-30 2016-07-08 Electronic device, program, and control method of electronic device Active JP6499308B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015193556 2015-09-30
JP2015193556 2015-09-30
PCT/JP2016/070320 WO2017056621A1 (en) 2015-09-30 2016-07-08 Electronic device

Publications (2)

Publication Number Publication Date
JPWO2017056621A1 JPWO2017056621A1 (en) 2018-01-11
JP6499308B2 true JP6499308B2 (en) 2019-04-10

Family

ID=58427398

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017542948A Active JP6499308B2 (en) 2015-09-30 2016-07-08 Electronic device, program, and control method of electronic device

Country Status (2)

Country Link
JP (1) JP6499308B2 (en)
WO (1) WO2017056621A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120302200A (en) * 2022-12-24 2025-07-11 荣耀终端股份有限公司 Microphone control method and electronic device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007221300A (en) * 2006-02-15 2007-08-30 Fujitsu Ltd Robot and robot control method
JP2012029107A (en) * 2010-07-23 2012-02-09 Nec Casio Mobile Communications Ltd Electronic apparatus
JP2013025281A (en) * 2011-07-26 2013-02-04 Nec Casio Mobile Communications Ltd Electronic device, noise processing method, and program
JP2014103536A (en) * 2012-11-20 2014-06-05 Sharp Corp Mobile terminal device
JP2014155051A (en) * 2013-02-08 2014-08-25 Kyocera Corp Portable communication terminal, control method, and control program

Also Published As

Publication number Publication date
WO2017056621A1 (en) 2017-04-06
JPWO2017056621A1 (en) 2018-01-11

Similar Documents

Publication Publication Date Title
JP5429462B2 (en) Communication robot
JP6977312B2 (en) Information processing equipment, information processing methods and programs
US9900688B2 (en) Beamforming audio with wearable device microphones
JP2024023193A (en) Information processing device and information processing method
CN107105359B (en) A kind of switching earphone operating mode method and a kind of earphone
JP2006340986A (en) Facial information detection device and facial information detection type communication device
CN108632695A (en) A kind of earphone
CN102340719B (en) Method and device for acquiring sound signal based on sensor
JP6499308B2 (en) Electronic device, program, and control method of electronic device
CN108683790A (en) Method of speech processing and Related product
JP2026035806A (en) Audio augmented reality object playback device and audio augmented reality object playback method
CN106302974B (en) information processing method and electronic equipment
JP2003195886A (en) robot
JP6719140B1 (en) Neck hanging device
JP6476938B2 (en) Speech analysis apparatus, speech analysis system and program
KR101536214B1 (en) Handsfree of Multi-function sports hair band type
CN120877696A (en) Noise reduction method, device, apparatus, storage medium, and program product
JP5842245B2 (en) Communication robot
WO2016002673A1 (en) Posture control device, robot, and program
JP6786139B1 (en) Voice input device
JP2001157988A (en) Robot hearing device
JP2016022537A (en) robot
US20230351261A1 (en) Learning data generating device, learning data generating method, learning device, learning method, data structure, information processor, and acoustic treatment device
JP2007082914A (en) Conversation system and magnetic resonance imaging system
KR102502574B1 (en) Method and apparatus for processing an audio signal

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170906

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190314

R150 Certificate of patent or registration of utility model

Ref document number: 6499308

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150