JP6741968B2 - 食品処理システム - Google Patents

Description

開示の実施形態は、食品処理システムに関する。

特許文献１には、食品容器に食品を盛り付ける作業ラインが記載されている。作業ラインでは、食品容器を搬送する搬送コンベアの近傍に、食品容器に食品の盛り付けを行う作業ロボットと作業員が配置されている。

特開２０１７−１８９８６２号公報

作業ロボットは、例えばタッチパネルやティーチングペンダント等の操作端末を用いて操作されるのが一般的である。しかしながら、上記従来技術のように食品を扱う作業ラインにおいて、作業員が食品を触った手で操作端末を操作する場合、衛生状態が低下する可能性があった。

本発明はこのような問題点に鑑みてなされたものであり、衛生状態を良好に維持できる食品処理システムを提供することを目的とする。

上記課題を解決するため、本発明の一の観点によれば、食品に所定の作業を行う食品作業装置と、前記食品作業装置を制御するコントローラと、作業者の音声を入力する音声入力装置と、入力された前記音声を認識し、認識結果に基づいて前記コントローラに所定の処理を実行させる音声認識装置と、を有する食品処理システムが適用される。

本発明によれば、衛生状態を良好に維持することができる。

本実施形態に係る食品処理システムの全体構成の一例を表す説明図である。 音声認識装置の機能構成の一例を表すブロック図である。 音声認識装置により実行される処理手順の一例を表すフローチャートである。 音声認識装置により実行される処理手順の一例を表すフローチャートである。 音声認識装置により実行される処理手順の一例を表すフローチャートである。 視線を検出して対象物を特定する変形例における、食品処理システムの全体構成の一例を表す説明図である。 視線を検出して対象物を特定する変形例における、音声認識装置の機能構成の一例を表すブロック図である。 音声認識装置により実行される対象特定処理の処理手順の一例を表すフローチャートである。 アラームの発生により動作不良対処処理を実行する変形例における、音声認識装置により実行される処理手順の一例を表すフローチャートである。 音声認識装置のハードウェア構成の一例を示すブロック図である。

以下、一実施の形態について図面を参照しつつ説明する。

＜１．食品処理システムの全体構成＞
まず、図１を参照しつつ、本実施形態に係る食品処理システムの全体構成の一例について説明する。

図１に示すように、食品処理システム１は、食品作業装置２と、コントローラ３と、タッチパネル４と、音声入力装置５と、音声認識装置６と、音声出力装置７とを有する。

食品作業装置２は、食品に所定の作業を行う自動作業機である。「食品」は、いわゆる中食（家庭外で調理された食品を持ち帰るか配達等により家庭内で食べる食事形態）と呼ばれる食事形態において購入される調理済みの食品であり、例えばおにぎり、サンドイッチ、総菜、弁当等が含まれる。「所定の作業」は、食品の生産ラインに関わる作業であり、例えば調理、盛り付け、ソースがけ、包装、箱詰め等が含まれる。「自動作業機」は、上記所定の作業をコントローラによる制御で自動的に実行する機械であり、例えば垂直多関節型、水平多関節型、パラレルリンク型等の汎用ロボットでもよいし、例えばＸＹＺθ方向のうち少なくとも１方向に移動可能なアクチュエータを備えた特定の作業専用に設計された専用作業機等でもよい。食品作業装置２は、複数のモータ制御装置８及び複数のモータ９を有する。

コントローラ３は、食品作業装置２を制御する制御装置であり、例えば汎用パーソナルコンピュータ、ＰＬＣ（Ｐｒｏｇｒａｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）、又はモーションコントローラ等のいずれか１つ又は複数の組み合わせにより構成される。コントローラ３は、位置指令、速度指令、トルク指令の少なくとも１つを生成し、複数のモータ制御装置８のそれぞれに送信する。各モータ制御装置８は、コントローラ３からの指令に基づいてモータ９をそれぞれ制御する。

タッチパネル４（表示装置の一例）は、コントローラ３による食品作業装置２の運転に関わる画面を表示する。運転に関わる画面には、例えばメイン画面、モニタ画面、自動運転画面、アラーム画面等が含まれる。作業者は、各画面において表示されたボタンに触れる等により、所望の操作入力を行うことができる。なお、タッチパネルの代わりに、液晶パネル等の表示機能のみを有する表示装置を設けてもよい。この場合、キーボードやペンダント等の操作端末を別途設けてもよい。

音声入力装置５は、作業者が発話した音声を入力する装置であり、例えばマイク等により構成される。音声入力装置５は、作業者の音声を検知すると当該音声を電気信号に変換し、音声認識装置６に送信する。音声入力装置５は、コントローラ３や音声認識装置６等の機器に設置されてもよいし、作業者に装着されてもよい。機器に設置する場合には、例えば特定の方向やエリア（食品生産ラインにおいて作業者が配置される方向、エリア等）からの音を選択的に集音する指向性の集音マイクとしてもよい。また、作業者が装着する場合には、例えば作業者が食品衛生上装着するマスクに取付け又は内蔵されてもよいし、例えばマイクとイヤホンが一体となったヘッドセットを食品用作業着のフードの内側に装着してもよい。また、集音マイクに限らず、例えば骨伝導型マイクとしてもよい。音声入力装置５を上記構成とすることにより、作業者が装着するマスク、周囲の雑音（食品の取り扱いに付随する水の流水音、食品作業装置の機械音等）、隣接作業者の音声等の影響を低減し、音声入力精度を高めることができる。

音声認識装置６は、音声入力装置５から入力された音声を認識し、認識結果に基づいてコントローラ３に所定の処理を実行させる。音声の認識手法は特に限定されるものではなく、様々な手法を用いることができる。音声認識装置６がコントローラ３に実行させる処理内容については後述する。

音声出力装置７は、音声認識装置６が合成した音声を出力する装置であり、例えばスピーカー等により構成される。音声出力装置７は、コントローラ３に実行させた処理に関わる内容を表す音声を出力する。音声出力装置７は、コントローラ３や音声認識装置６等の機器に設置されてもよいし、作業者に装着されてもよい。機器に設置する場合には、例えば特定の方向やエリア（食品生産ラインにおいて作業者が配置される方向、エリア等）に位置する作業者に選択的に音を出力する指向性のスピーカーとしてもよい。また、作業者が装着する場合には、例えばイヤホンや、マイクとイヤホンが一体となったヘッドセットを食品用作業着のフードの内側に装着してもよい。また、例えば骨伝導型イヤホンとしてもよい。音声出力装置７を上記構成とすることにより、食品用作業着のフード、周囲の雑音（食品の取り扱いに付随する水の流水音、食品作業装置の機械音等）、隣接作業者の音声等の影響を低減し、作業者による音声の聞き取り精度を高めることができる。

なお、上述した食品処理システム１の構成は一例であり、上述の内容に限定されるものではない。例えば、音声認識装置６の全部又は一部の機能をコントローラ３に組み込む等により、音声認識装置６とコントローラ３とを一体的に構成してもよい。また、タッチパネル４を音声認識装置６にも接続しておき、音声認識装置６による処理結果等をコントローラ３を介さずにタッチパネル４で表示してもよい。また、食品作業装置２の各モータ制御装置８の全部又は一部の機能をコントローラ３に組み込んでもよいし、反対に、コントローラ３の全部又は一部の機能を食品作業装置２の各モータ制御装置８に組み込んでもよい。

＜２．音声認識装置の機能構成＞
次に、図２を参照しつつ、音声認識装置６の機能構成の一例について説明する。

図２に示すように、音声認識装置６は、テキスト変換処理部１０と、画面更新キーワード判定処理部１１と、画面更新処理実行部１２と、動作不良キーワード判定処理部１３と、動作不良対処処理実行部１４と、アラーム判定処理部１５と、運転制御キーワード判定処理部１６と、運転制御処理実行部１７と、音声合成処理部１８と、キーワードデータベース１９と、対処方法データベース２０とを有する。

テキスト変換処理部１０は、音声入力装置５から入力された音声を対応するテキスト（文字列）に変換する。具体的には、例えば音声を周波数解析等により分析し、音声認識辞書（音響モデル、言語モデル、発音辞書等）を用いて音素を認識し、テキストに変換する。当該テキスト変換処理部１０による処理に機械学習やディープラーニング等の技術を用いてもよい。

画面更新キーワード判定処理部１１（第１キーワード判定処理部の一例）は、テキスト変換処理部１０により変換されたテキストに、タッチパネル４の画面更新に関わるキーワード（以下「画面更新キーワード」という）が含まれるか否かを判定する。画面更新キーワード（第１キーワードの一例）には、例えば「メイン画面」、「モニタ画面」、「自動運転画面」、「アラーム画面」等の画面を直接指定するキーワードや、「次のページ（画面）」、「前のページ（画面）」等の画面のページ構成における進みや戻りを指定するキーワード等が含まれる。画面更新キーワードはキーワードデータベース１９に予め登録されており、適宜変更、追加、削除することが可能である。

画面更新処理実行部１２（第１処理実行部の一例）は、画面更新キーワード判定処理部１１により画面更新キーワードが含まれると判定された場合に、タッチパネル４の画面を画面更新キーワードに対応する画面に更新する画面更新処理をコントローラ３に実行させる。これにより、タッチパネル４の画面が画面更新キーワードに対応する画面に変更される。

動作不良キーワード判定処理部１３（第２キーワード判定処理部の一例）は、テキスト変換処理部１０により変換されたテキストに、食品作業装置２の動作不良に関わるキーワード（以下「動作不良キーワード」という）が含まれるか否かを判定する。動作不良キーワード（第２キーワードの一例）には、例えば「動かない」、「動作しない」、「停止した」、「壊れた」、「故障」等が含まれる。動作不良キーワードはキーワードデータベース１９に予め登録されており、適宜変更、追加、削除することが可能である。

動作不良対処処理実行部１４（第２処理実行部の一例）は、動作不良キーワード判定処理部１３により動作不良キーワードが含まれると判定された場合に、動作不良キーワードに対応する動作不良に対する対処方法をタッチパネル４に表示する動作不良対処処理をコントローラ３に実行させる。これにより、タッチパネル４に動作不良に対する対処方法が表示される。

アラーム判定処理部１５は、コントローラ３がアラームを発生しているか否か（例えばタッチパネル４にアラーム画面が表示されているか否か）を判定する。動作不良対処処理実行部１４は、アラーム判定処理部１５によりアラームが発生していると判定された場合には、コントローラ３のアラーム情報（例えばアラームコード等）を読み出し、当該アラーム情報に基づいて対処方法データベース２０から対処方法を取得する。一方、アラーム判定処理部１５によりアラームが発生していないと判定された場合には、動作不良対処処理実行部１４は、作業者に追加情報（動作不良の状態等）を要求し、当該追加情報に基づいて対処方法データベース２０から対処方法を取得する。対処方法データベース２０には、アラーム情報とその原因及び対処方法とが関連づけられて格納されると共に、動作不良の状態等とその原因及び対処方法とが関連づけられて格納されている。

運転制御キーワード判定処理部１６（第３キーワード判定処理部の一例）は、テキスト変換処理部１０により変換されたテキストに、食品作業装置２の運転制御に関わるキーワード（以下「運転制御キーワード」という）が含まれるか否かを判定する。運転制御キーワード（第３キーワードの一例）には、例えば「サーボオン」、「サーボオフ」、「運転開始」、「運転終了」等が含まれる。運転制御キーワードはキーワードデータベース１９に予め登録されており、適宜変更、追加、削除することが可能である。

運転制御処理実行部１７（第３処理実行部の一例）は、運転制御キーワード判定処理部１６により運転制御キーワードが含まれると判定された場合に、運転制御キーワードに対応する運転制御処理をコントローラ３に実行させる。これにより、食品作業装置２の各モータ９のサーボオン、サーボオフ、食品作業装置２の自動運転開始、自動運転停止等が実行される。

音声合成処理部１８は、上述の画面更新処理実行部１２、動作不良対処処理実行部１４、運転制御処理実行部１７によりコントローラ３に実行させた処理に関わる内容を表す音声を合成する。合成された音声は、音声出力装置７により出力される。例えば、画面更新処理実行部１２により画面更新処理が実行された場合には、例えば「〜画面を表示します」、「次のページを表示します」、「前のページに戻ります」等の音声が出力される。また例えば、動作不良対処処理実行部１４により動作不良対処処理が実行された場合には、例えば「〜を確認してください」、「〜を操作してください」、「〜を交換してください」等の対処方法の内容を表す音声が出力される。また例えば、運転制御処理実行部１７により運転制御処理が実行された場合には、例えば「サーボオンします」、「自動運転を開始します」等の音声が出力される。

なお、上述した各処理部、各実行部における処理等は、これらの処理の分担の例に限定されるものではなく、例えば、更に少ない数の処理部（例えば１つの処理部）で処理されてもよく、また、更に細分化された処理部により処理されてもよい。また、各処理部、各実行部の機能は後述するＣＰＵ９０１（図１０参照）が実行するプログラムにより実装されてもよいし、その一部又は全部がＡＳＩＣやＦＰＧＡ、その他の電気回路等の実際の装置により実装されてもよい。

また、上述した音声認識装置６の機能構成は一例であり、上述の内容に限定されるものではない。例えば、周囲の雑音（水の流水音、機械音等）や隣接作業者の音声の影響を低減し、音声入力精度を高めるために、音声認識装置６がそれらのノイズを除去するノイズ除去処理部（例えばノイズキャンセリングやノイズフィルタ等）を有していてもよい。

＜３．音声認識装置の処理手順＞
次に、図３〜図５を参照しつつ、音声認識装置６により実行される処理手順の一例について説明する。

図３に示すように、ステップＳ１では、音声認識装置６は、音声入力装置５から音声の入力があるか否かを判定する。音声の入力があるまで本ステップを繰り返し（ステップＳ１：ＮＯ）、音声の入力があった場合には（ステップＳ１：ＹＥＳ）、次のステップＳ３に移る。

ステップＳ３では、音声認識装置６は、テキスト変換処理部１０により、音声入力装置５から入力された音声を対応するテキストに変換する。

ステップＳ５では、音声認識装置６は、ステップＳ３で変換されたテキストに、キーワードデータベース１９に登録されたキーワードが含まれるか否かを判定する。変換されたテキストに登録されたキーワードが含まれない場合には（ステップＳ５：ＮＯ）、ステップＳ１に戻る。一方、変換されたテキストに登録されたキーワードが含まれる場合には（ステップＳ５：ＹＥＳ）、ステップＳ７に移る。

ステップＳ７では、音声認識装置６は、画面更新キーワード判定処理部１１により、上記ステップＳ３で変換されたテキストに、タッチパネル４の画面更新に関わる画面更新キーワードが含まれるか否かを判定する。画面更新キーワードが含まれる場合には（ステップＳ７：ＹＥＳ）、ステップＳ９に移る。

ステップＳ９では、音声認識装置６は、画面更新処理実行部１２により、上記ステップＳ７で含まれると判定された画面更新キーワードに対応する画面情報（例えばページ番号等）をコントローラ３に送信し、当該画面をタッチパネル４に表示させる画面更新処理をコントローラ３に実行させる。

ステップＳ１１では、音声認識装置６は、音声合成処理部１８により、上記ステップＳ７で含まれると判定された画面更新キーワードに対応する画面を表示する旨を表す音声を合成し、音声出力装置７により出力させる。その後、先のステップＳ１に戻る。

なお、上記ステップＳ７において、変換されたテキストに画面更新キーワードが含まれない場合には（ステップＳ７：ＮＯ）、ステップＳ１３に移る。

ステップＳ１３では、音声認識装置６は、上記ステップＳ３で変換されたテキストに、音声認識システムの終了に関わるキーワード（以下「システム終了キーワード」という）が含まれるか否かを判定する。システム終了キーワードには、例えば「シャットダウン」、「システム終了」、「さよなら」等が含まれる。システム終了キーワードはキーワードデータベース１９に登録されており、適宜変更、追加、削除することが可能である。システム終了キーワードが含まれる場合には（ステップＳ１３：ＹＥＳ）、ステップＳ１５に移る。

ステップＳ１５では、音声認識装置６は、音声認識システムを終了する。そして、本フローを終了する。

なお、上記ステップＳ１３において、システム終了キーワードが含まれない場合には（ステップＳ１３：ＮＯ）、図４に示すステップＳ１７に移る。

図４に示すように、ステップＳ１７では、音声認識装置６は、動作不良キーワード判定処理部１３により、上記ステップＳ３で変換されたテキストに、食品作業装置２の動作不良に関わる動作不良キーワードが含まれるか否かを判定する。動作不良キーワードが含まれる場合には（ステップＳ１７：ＹＥＳ）、ステップＳ１９に移る。

ステップＳ１９では、音声認識装置６は、アラーム判定処理部１５により、コントローラ３がアラームを発生しているか否かを判定する。アラームが発生中である場合には（ステップＳ１９：ＹＥＳ）、ステップＳ２１に移る。

ステップＳ２１では、音声認識装置６は、動作不良対処処理実行部１４により、コントローラ３からアラーム情報を読み出す。

ステップＳ２３では、音声認識装置６は、動作不良対処処理実行部１４により、対処方法データベース２０を参照し、上記ステップＳ２１で読み出したアラーム情報に基づいて動作不良に対する対処方法を特定する。その後、後述するステップＳ２９に移る。

なお、上記ステップＳ１９において、アラームが発生中でない場合には（ステップＳ１９：ＮＯ）、ステップＳ２５に移る。

ステップＳ２５では、音声認識装置６は、動作不良対処処理実行部１４により、作業者に追加情報（動作不良の状態等）を要求する。例えば、確認事項をタッチパネル４に表示するとともに、音声出力装置７から出力する。

ステップＳ２７では、音声認識装置６は、テキスト変換処理部１０により作業者が回答した音声をテキスト変換して追加情報を取得し、動作不良対処処理実行部１４により、取得した追加情報に基づいて対処方法データベース２０を参照して対処方法を特定する。

ステップＳ２９では、音声認識装置６は、追加情報が必要か否か、言い換えると対処方法を１つに絞れたか否かを判定する。追加情報が必要である場合には（ステップＳ２９：ＹＥＳ）、上記ステップＳ２５に戻り、ステップＳ２５及びステップＳ２７を繰り返す。追加情報が不要である場合には（ステップＳ２９：ＮＯ）、ステップＳ３１に移る。

ステップＳ３１では、音声認識装置６は、動作不良対処処理実行部１４により、上記ステップＳ２３又は上記ステップＳ２７において特定した対処方法をコントローラ３に送信し、タッチパネル４に表示させる。また、音声認識装置６は、音声合成処理部１８により上記対処方法の内容を表す音声を合成し、音声出力装置７により出力させる。その後、先のステップＳ１に戻る。

なお、先のステップＳ１７において、上記ステップＳ３で変換されたテキストに動作不良キーワードが含まれない場合には（ステップＳ１７：ＮＯ）、ステップＳ３３に移る。

ステップＳ３３では、音声認識装置６は、上記ステップＳ３で変換されたテキストに、上記ステップＳ３１で出力した対処方法に基づく対処が完了した旨を表すキーワード（以下「対処完了キーワード」という）が含まれるか否かを判定する。対処完了キーワードには、例えば「完了」、「解決」、「動いた」、「直った」等が含まれる。対処完了キーワードはキーワードデータベース１９に登録されており、適宜変更、追加、削除することが可能である。対処完了キーワードが含まれる場合には（ステップＳ３３：ＹＥＳ）、ステップＳ３５に移る。

ステップＳ３５では、音声認識装置６は、コントローラ３に指令を送信し、食品作業装置２を運転待機状態とする。運転待機状態は、例えば作業者の音声又はタッチパネル４の操作による運転開始の指示入力待ちの状態である。その後、先のステップＳ１に戻る。

なお、上記ステップＳ３３において、上記ステップＳ３で変換されたテキストに対処完了キーワードが含まれない場合には（ステップＳ３３：ＮＯ）、図５に示すステップＳ３７に移る。

図５に示すように、ステップＳ３７では、音声認識装置６は、運転制御キーワード判定処理部１６により、上記ステップＳ３で変換されたテキストに、食品作業装置２の運転制御に関わる運転制御キーワードが含まれるか否かを判定する。運転制御キーワードが含まれない場合には（ステップＳ３７：ＮＯ）、先のステップＳ１に戻る。一方、運転制御キーワードが含まれる場合には（ステップＳ３７：ＹＥＳ）、ステップＳ３９に移る。

ステップＳ３９では、音声認識装置６は、運転制御処理実行部１７により、運転制御キーワードに対応する制御コマンドをコントローラ３に送信し、対応する運転制御処理をコントローラ３に実行させる。なお、当該運転制御を実行中であることはコントローラ３によりタッチパネル４に表示される。

ステップＳ４１では、音声認識装置６は、音声合成処理部１８により運転制御キーワードに対応する運転制御を実行する旨の音声を合成し、音声出力装置７により出力させる。その後、先のステップＳ１に戻る。

＜４．実施形態の効果＞
以上説明したように、本実施形態の食品処理システム１は、食品に所定の作業を行う食品作業装置２と、食品作業装置２を制御するコントローラ３と、作業者の音声を入力する音声入力装置５と、入力された音声を認識し、認識結果に基づいてコントローラ３に所定の処理を実行させる音声認識装置６と、を有する。これにより、次の効果を得る。

食品の製造ライン等で使用される食品作業装置は、例えばタッチパネルやティーチングペンダント等の操作端末を用いて操作されるのが一般的である。しかしながら、作業者が食品を触った手で操作端末を操作する場合、操作端末を操作した手で食品を扱うという面と、操作端末に食品が付着する（操作端末自体の洗浄は難しい）という面で、衛生状態が低下する可能性がある。

本実施形態の食品処理システム１では、上記構成により、作業者は音声によりコントローラ３に所定の処理を実行させることができる。これにより、作業者は食品を触った手でタッチパネル４等の操作端末を操作することなく、食品作業装置２の操作等を行うことができる。したがって、衛生状態を良好に維持できる。

また、例えば食品の製造ライン等における作業者は、アルバイトやパートタイム等の機械の操作に不慣れな者である場合も多い。このため、タッチパネル４等の操作端末をどのように操作すると所望の動作や所望の情報が得られるのか判断が難しい場合があり、操作性の向上が要望されていた。本実施形態によれば、作業者は音声によりコントローラ３に所定の処理を実行させることができるので、タッチパネル４等の操作端末の操作に不慣れな場合でも、適切な操作や適切な情報へのアクセスが可能となる。

また、本実施形態では特に、食品処理システム１は、コントローラ３による食品作業装置２の運転に関わる画面を表示するタッチパネル４をさらに有し、音声認識装置６は、認識した音声に、タッチパネル４の画面更新に関わる画面更新キーワードが含まれるか否かを判定する画面更新キーワード判定処理部１１と、認識した音声に画面更新キーワードが含まれる場合に、タッチパネル４の画面を画面更新キーワードに対応する画面に更新する画面更新処理をコントローラ３に実行させる画面更新処理実行部１２と、を有する。

これにより、作業者は食品を触った手でタッチパネル４等の操作端末を操作することなく、音声によりタッチパネル４の画面を所望の画面に変更することができる。したがって、衛生状態を良好に維持できる。また、例えばタッチパネル４において画面が階層構造となっている場合、他の画面を経由しないと所望の画面が表示されない（複数の画面遷移が必要となる）場合があるが、本実施形態によれば直接所望の画面に遷移して表示させることができるので、操作性を向上できる。

また、本実施形態では特に、食品処理システム１は、コントローラ３による食品作業装置２の運転に関わる画面を表示するタッチパネル４をさらに有し、音声認識装置６は、認識した音声に、食品作業装置２の動作不良に関わる動作不良キーワードが含まれるか否かを判定する動作不良キーワード判定処理部１３と、認識した音声に動作不良キーワードが含まれる場合に、動作不良キーワードに対応する動作不良に対する対処方法をタッチパネル４に表示する動作不良対処処理をコントローラ３に実行させる動作不良対処処理実行部１４と、を有する。

これにより、作業者は食品を触った手でタッチパネル４等の操作端末を操作することなく、音声により動作不良が生じたことを入力してその対処方法を表示させることができる。したがって、動作不良に適切に対処することができる。また、対処方法の表示に必要なスイッチやボタン等を探す必要がないので、タッチパネル４の操作に不慣れな作業者でも動作不良に対する適切な操作や適切な情報へのアクセスが可能となる。

また、本実施形態では特に、音声認識装置６は、コントローラ３がアラームを発生しているか否かを判定するアラーム判定処理部１５を有し、動作不良対処処理実行部１４は、アラームが発生している場合には、コントローラ３のアラーム情報に基づいて対処方法を取得し、アラームが発生していない場合には、作業者に追加情報を要求し、当該追加情報に基づいて対処方法を取得する。

これにより、音声認識装置６がアラーム情報と対処方法を格納した対処方法データベース２０を有しておくことにより、アラームが発生している場合にはコントローラ３から取得したアラーム情報に応じて適切な対処方法を提供することができる。また、音声認識装置６が動作不良の状態と対処方法を格納した対処方法データベース２０を有しておくことにより、アラームが発生していない場合には作業者に要求して取得した動作不良の状態に応じて適切な対処方法を提供することができる。

また、本実施形態では特に、音声認識装置６は、認識した音声に、食品作業装置２の運転制御に関わる運転制御キーワードが含まれるか否かを判定する運転制御キーワード判定処理部１６と、認識した音声に運転制御キーワードが含まれる場合に、運転制御キーワードに対応する運転制御処理をコントローラ３に実行させる運転制御処理実行部１７と、を有する。

これにより、作業者は食品を触った手でタッチパネル４等の操作端末を操作することなく、音声により食品作業装置２の運転準備や運転開始、運転終了等を行うことができる。したがって、衛生状態を良好に維持できる。また、運転操作に必要なスイッチやボタン等を探す必要がないので、タッチパネル４等の操作端末の操作に不慣れな作業者でも適切な運転操作が可能となる。

また、本実施形態では特に、音声認識装置６は、コントローラ３に実行させた処理に関わる内容を表す音声を合成する音声合成処理部１８を有し、食品処理システム１は、音声合成処理部１８により合成した音声を出力する音声出力装置７をさらに有する。

これにより、作業者はコントローラ３で実行された処理内容を音声で確認できるので、利便性を向上できる。また、動作不良に対する対処方法を音声で出力させることにより、作業者はコントローラ３から離れた位置で音声出力された対処方法を聞きながら実際に作業を実行することができるので、作業性を向上できる。

＜５．変形例＞
なお、開示の実施形態は、上記に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。以下、そのような変形例を説明する。

（５−１．視線を検出して対象物を特定する場合）
まず、図６を参照しつつ、本変形例に係る食品処理システム１Ａの全体構成の一例について説明する。なお、図６では前述の図１と同様の構成には同じ符号を付し、適宜説明を省略する。

図６に示すように、食品処理システム１Ａは、前述の実施形態における食品処理システム１の構成に加えて、ＡＲ（オーグメンテッドリアリティ：拡張現実）端末２１を有する。ＡＲ端末２１は、例えば作業者が頭部又は顔部に装着可能な透過型のヘッドマウントディスプレイとして構成されている。ＡＲ端末２１は、表示部２２と、視線検出部２３とを有する。

表示部２２は、例えば液晶ディスプレイや有機ＥＬディスプレイ等で構成されており、音声認識装置６により生成された画像を、作業者の周囲の現実の光景に重ね合わせて表示する。

視線検出部２３（視線検出装置の一例）は、作業者の視線の方向を検出し、検出した視線情報を音声認識装置６に送信する。視線の検出手法は特に限定されるものではなく、様々な手法を用いることができる。例えば、可視光カメラによりユーザの目を撮影し、当該画像に基づいて基準点を目頭とし、動点を虹彩（いわゆる黒目）として、目頭に対する虹彩の位置に基づいて視線情報を算出してもよい。また例えば、赤外線カメラで赤外線ＬＥＤを照射した目を撮影し、基準点を赤外線ＬＥＤの照射によりできた反射光（角膜反射）の角膜上の位置とし、動点を瞳孔として、角膜反射の位置に対する瞳孔の位置に基づいて視線情報を算出してもよい。また、作業者の顔の表面筋電位や眼球を動かす際に発生する微弱な筋電位（眼電位）の変化を検出する等の手法を用いてもよい。

食品処理システム１Ａの上記以外の構成は、前述の実施形態における食品処理システム１と同様であるので説明を省略する。

次に、図７を参照しつつ、本変形例に係る音声認識装置６Ａの機能構成の一例について説明する。なお、図７では前述の図２と同様の構成には同じ符号を付し、適宜説明を省略する。

図７に示すように、音声認識装置６Ａは、前述の実施形態における音声認識装置６の構成に加えて、指示キーワード判定処理部２４と、対象特定処理部２５と、画像合成処理部２６とを有する。

指示キーワード判定処理部２４（第４キーワード判定処理部の一例）は、テキスト変換処理部１０により変換されたテキストに、あいまいな指示語に関わるキーワード（以下「指示キーワード」という）が含まれるか否かを判定する。指示キーワード（第４キーワードの一例）には、例えば「あれ」、「これ」、「それ」等が含まれる。指示キーワードはキーワードデータベース１９に予め登録されており、適宜変更、追加、削除することが可能である。

対象特定処理部２５は、指示キーワード判定処理部２４により指示キーワードが含まれると判定された場合に、ＡＲ端末２１の視線検出部２３からの視線情報に基づいて処理対象を特定する。対象特定処理部２５は、例えば表示部２２上で視線が向いている物品あるいはその一部を対象物として特定する。

画像合成処理部２６は、対象特定処理部２５により特定された対象物を、対象物以外の物と区別可能なように識別表示する画像を生成し、ＡＲ端末２１の表示部２２に送信する。識別表示は、例えば対象物を着色したり、対象物を囲む線を表示する等である。

対象特定処理部２５による特定結果は、必要に応じて、画面更新処理実行部１２による画面更新処理、動作不良対処処理実行部１４による動作不良対処処理、運転制御処理実行部１７による運転制御処理に用いられる。例えば、作業者が特定のモータ９の状態を見たい場合に、当該モータ９を見ながら「あれのモニタ画面」と言う等により、画面更新処理実行部１２は、タッチパネル４の画面を当該モータ９の状態を含むモニタ画面に更新する。また例えば、食品作業装置２の特定の部位が動作不良である場合に、作業者が当該部位を見ながら「これが動かない」と言う等により、動作不良対処処理実行部１４は当該部位の動作不良に対する対処方法を対処方法データベース２０から取得し、タッチパネル４に表示すると共に音声出力する。また例えば、特定のモータ９についてサーボオンさせたい場合に、作業者が当該モータ９を見ながら「それをサーボオン」と言う等により、運転制御処理実行部１７は当該モータ９のサーボオンを実行する。

音声認識装置６Ａの上記以外の構成は、前述の実施形態における音声認識装置６と同様であるので説明を省略する。

次に、図８を参照しつつ、本変形例に係る音声認識装置６Ａにより実行される対象特定処理の処理手順の一例について説明する。音声認識装置６Ａは、図８に示す対象特定処理を、前述の図３〜図５で説明した処理と同時に並行して実行する。

図８において、ステップＳ５１〜ステップＳ５５は、前述の図３におけるステップＳ１〜ステップＳ５と同様であるので説明を省略する。

ステップＳ５７では、音声認識装置６Ａは、指示キーワード判定処理部２４により、上記ステップＳ５３で変換されたテキストに、あいまいな指示語に関わる指示キーワードが含まれるか否かを判定する。指示キーワードが含まれない場合には（ステップＳ５７：ＮＯ）、本フローを終了する。一方、指示キーワードが含まれる場合には（ステップＳ５７：ＹＥＳ）、ステップＳ５９に移る。

ステップＳ５９では、音声認識装置６Ａは、ＡＲ端末２１の表示部２２上で対象物が指定されているか否かを判定する。対象物が指定されているか否かは、例えば作業者が視線を特定の物品あるいはその一部に所定時間以上継続して向けているか否かにより判定される。対象物が指定されていない場合には（ステップＳ５９：ＮＯ）、ステップＳ６１に移る。

ステップＳ６１では、音声認識装置６Ａは、音声合成処理部１８により、対象物を視線で指定するように作業者を促す音声を合成し、音声出力装置７により出力させる。なお、音声に加えて又は代えて、表示部２２上に対象物を指定するように促す表示を行ってもよい。その後、上記ステップＳ５９に戻る。

ステップＳ５９において、対象物が指定されている場合には（ステップＳ５９：ＹＥＳ）、ステップＳ６３に移る。

ステップＳ６３では、音声認識装置６Ａは、対象特定処理部２５により、視線検出部２３からの視線情報に基づいて視線で指定された対象物を特定する。

ステップＳ６５では、音声認識装置６Ａは、画像合成処理部２６により、上記ステップＳ６３で特定された対象物を、対象物以外の物と区別可能なように識別表示する画像を生成してＡＲ端末２１の表示部２２に送信する。これにより、表示部２２上で対象物が識別可能に表示される。以上により本フローを終了する。

なお、上記ステップＳ６３において特定された対象物の情報は、前述のように、画面更新処理実行部１２による画面更新処理（図３のステップＳ９〜ステップＳ１１）、動作不良対処処理実行部１４による動作不良対処処理（図４のステップＳ１９〜ステップＳ３１）、運転制御処理実行部１７による運転制御処理（図５のステップＳ３９〜ステップＳ４１）に用いられる。

以上説明した変形例によれば、作業者が見ているものを例えば「あれ」や「それ」というようなあいまいな指示語で入力した場合でも、作業者の意図を推測して対象を特定し、適切な入力として処理することができる。

（５−２．アラームの発生により動作不良対処処理を実行する場合）
前述の実施形態では、作業者が音声で動作不良キーワードを入力した際に動作不良対処処理を実行する場合について説明したが、作業者が音声入力に関わらず、アラームの発生により動作不良対処処理を実行してもよい。

図９を参照しつつ、本変形例に係る音声認識装置６Ｂ（図示省略）により実行される処理手順の一例について説明する。

図９に示すように、ステップＳ７１では、音声認識装置６Ｂは、アラーム判定処理部１５により、コントローラ３がアラームを発生しているか否かを判定する。アラームが発生するまで本ステップを繰り返し（ステップＳ７１：ＮＯ）、アラームが発生中した場合には（ステップＳ７１：ＹＥＳ）ステップＳ７３に移る。

ステップＳ７３では、音声認識装置６Ｂは、動作不良対処処理実行部１４により、コントローラ３からアラーム情報を読み出す。

ステップＳ７５では、音声認識装置６Ｂは、動作不良対処処理実行部１４により、対処方法データベース２０を参照し、上記ステップＳ７３で読み出したアラーム情報に基づいて動作不良に対する対処方法を特定する。

ステップＳ７７では、音声認識装置６Ｂは、追加情報が必要か否かを判定する。追加情報が不要である場合には（ステップＳ７７：ＮＯ）、後述のステップＳ８３に移る。追加情報が必要である場合には（ステップＳ７７：ＹＥＳ）、ステップＳ７９に移る。

ステップＳ７９では、音声認識装置６Ｂは、動作不良対処処理実行部１４により、作業者に追加情報（動作不良の状態等）を要求する。例えば、確認事項をタッチパネル４に表示するとともに、音声出力装置７から出力する。

ステップＳ８１では、音声認識装置６Ｂは、テキスト変換処理部１０により作業者が回答した音声をテキスト変換して追加情報を取得し、動作不良対処処理実行部１４により、取得した追加情報に基づいて対処方法データベース２０を参照して対処方法を特定する。

ステップＳ８３では、音声認識装置６Ｂは、動作不良対処処理実行部１４により、上記ステップＳ７５又は上記ステップＳ８１において特定した対処方法をコントローラ３に送信し、タッチパネル４に表示させる。また、音声認識装置６は、音声合成処理部１８により上記対処方法の内容を表す音声を合成し、音声出力装置７により出力させる。

ステップＳ８５では、音声認識装置６Ｂは、音声入力装置５から対処完了キーワードを含む音声が入力されたか否かを判定する。対処完了キーワードが入力されるまで本ステップを繰り返し（ステップＳ８５：ＮＯ）、対処完了キーワードが入力された場合には（ステップＳ８５：ＹＥＳ）、ステップＳ８７に移る。

ステップＳ８７では、音声認識装置６Ｂは、コントローラ３に指令を送信し、食品作業装置２を運転待機状態とする。その後、本フローを終了する。

（５−３．トラブル対応の履歴等を学習する場合）
例えば、動作不良等のトラブルに対応した際に、その履歴等を音声認識装置６に学習させてもよい。図示は省略するが、例えば作業者が音声入力装置５から対処完了キーワードを含む音声を入力する際に、動作不良対処処理により出力された対処方法と異なる対処方法を実行した場合や、新たな動作不良等のトラブルに対処した場合には、その履歴や対処方法について音声等により入力してもよい。当該入力内容を、対応するアラームや動作不良の状態等と関連づけて対処方法データベース２０に蓄積していくことで、音声認識装置６にトラブル対応を学習させることができる。

＜６．音声認識装置のハードウェア構成例＞
次に、図１０を参照しつつ、以上において説明したＣＰＵ９０１が実行するプログラムにより実装された各処理部、各実行部による処理を実現する音声認識装置６（６Ａ，６Ｂ）のハードウェア構成例について説明する。

図１０に示すように、音声認識装置６（６Ａ，６Ｂ）は、例えば、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、ＡＳＩＣ又はＦＰＧＡ等の特定の用途向けに構築された専用集積回路９０７と、入力装置９１３と、出力装置９１５と、記録装置９１７と、ドライブ９１９と、接続ポート９２１と、通信装置９２３とを有する。これらの構成は、バス９０９や入出力インターフェース９１１を介し相互に信号を伝達可能に接続されている。

プログラムは、例えば、ＲＯＭ９０３やＲＡＭ９０５、記録装置９１７等に記録しておくことができる。

また、プログラムは、例えば、フレキシブルディスクなどの磁気ディスク、各種のＣＤ・ＭＯディスク・ＤＶＤ等の光ディスク、半導体メモリ等のリムーバブルな記録媒体９２５に、一時的又は非一時的（永続的）に記録しておくこともできる。このような記録媒体９２５は、いわゆるパッケージソフトウエアとして提供することもできる。この場合、これらの記録媒体９２５に記録されたプログラムは、ドライブ９１９により読み出されて、入出力インターフェース９１１やバス９０９等を介し上記記録装置９１７に記録されてもよい。

また、プログラムは、例えば、ダウンロードサイト・他のコンピュータ・他の記録装置等（図示せず）に記録しておくこともできる。この場合、プログラムは、ＬＡＮやインターネット等のネットワークＮＷを介し転送され、通信装置９２３がこのプログラムを受信する。そして、通信装置９２３が受信したプログラムは、入出力インターフェース９１１やバス９０９等を介し上記記録装置９１７に記録されてもよい。

また、プログラムは、例えば、適宜の外部接続機器９２７に記録しておくこともできる。この場合、プログラムは、適宜の接続ポート９２１を介し転送され、入出力インターフェース９１１やバス９０９等を介し上記記録装置９１７に記録されてもよい。

そして、ＣＰＵ９０１が、上記記録装置９１７に記録されたプログラムに従い各種の処理を実行することにより、上記の各処理部、各実行部による処理が実現される。この際、ＣＰＵ９０１は、例えば、上記記録装置９１７からプログラムを直接読み出して実行してもよいし、ＲＡＭ９０５に一旦ロードした上で実行してもよい。更にＣＰＵ９０１は、例えば、プログラムを通信装置９２３やドライブ９１９、接続ポート９２１を介し受信する場合、受信したプログラムを記録装置９１７に記録せずに直接実行してもよい。

また、ＣＰＵ９０１は、必要に応じて、例えばマウス・キーボード・マイク（図示せず）等の入力装置９１３から入力する信号や情報に基づいて各種の処理を行ってもよい。

そして、ＣＰＵ９０１は、上記の処理を実行した結果を、例えば表示装置や音声出力装置等の出力装置９１５から出力してもよく、さらにＣＰＵ９０１は、必要に応じてこの処理結果を通信装置９２３や接続ポート９２１を介し送信してもよく、上記記録装置９１７や記録媒体９２５に記録させてもよい。

なお、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。その他、一々例示はしないが、上記実施形態や各変形例は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。

１ 食品処理システム
１Ａ 食品処理システム
２ 食品作業装置
３ コントローラ
４ タッチパネル（表示装置）
５ 音声入力装置
６ 音声認識装置
６Ａ 音声認識装置
６Ｂ 音声認識装置
７ 音声出力装置
１１ 画面更新キーワード判定処理部（第１キーワード判定処理部）
１２ 画面更新処理実行部（第１処理実行部）
１３ 動作不良キーワード判定処理部（第２キーワード判定処理部）
１４ 動作不良対処処理実行部（第２処理実行部）
１５ アラーム判定処理部
１６ 運転制御キーワード判定処理部（第３キーワード判定処理部）
１７ 運転制御処理実行部（第３処理実行部）
１８ 音声合成処理部
２３ 視線検出部（視線検出装置）
２４ 指示キーワード判定処理部（第４キーワード判定処理部）
２５ 対象特定処理部

Claims (5)

1. 食品に所定の作業を行う食品作業装置と、
   前記食品作業装置を制御するコントローラと、
   作業者の音声を入力する音声入力装置と、
   入力された前記音声を認識し、認識結果に基づいて前記コントローラに所定の処理を実行させる音声認識装置と、
   前記コントローラによる前記食品作業装置の運転に関わる画面を表示する表示装置と、を有し、
   前記音声認識装置は、
   認識した前記音声に、前記食品作業装置の動作不良の状態に関わる動作不良キーワードが含まれるか否かを判定する動作不良キーワード判定処理部と、
   前記認識した音声に前記動作不良キーワードが含まれる場合に、前記動作不良キーワードに対応する前記動作不良の対処方法を前記表示装置に表示する動作不良対処処理を前記コントローラに実行させる動作不良対処処理実行部と、
   前記コントローラがアラームを発生しているか否かを判定するアラーム判定処理部と、
   アラーム情報とこれに対応する対処方法とを格納した第１対処方法データベースと、
   動作不良の状態とこれに対応する対処方法とを格納した第２対処方法データベースと、
   を有し、
   前記動作不良対処処理実行部は、
   前記アラームが発生している場合には、前記第１対処方法データベースを参照し、前記コントローラのアラーム情報に基づいて前記対処方法を取得する第１処理を実行し、
   前記アラームが発生していない場合には、前記作業者に追加情報を要求し、当該追加情報に基づいて前記第２対処方法データベースを参照し、前記対処方法を取得する第２処理を実行する
   ことを特徴とする食品処理システム。
2. 前記音声認識装置は、
   認識した前記音声に、前記表示装置の画面更新に関わる画面更新キーワードが含まれるか否かを判定する画面更新キーワード判定処理部と、
   前記認識した音声に前記画面更新キーワードが含まれる場合に、前記表示装置の画面を前記画面更新キーワードに対応する画面に更新する画面更新処理を前記コントローラに実行させる画面更新処理実行部と、を有する
   ことを特徴とする請求項１に記載の食品処理システム。
3. 前記音声認識装置は、
   認識した前記音声に、前記食品作業装置の運転制御に関わる運転制御キーワードが含まれるか否かを判定する運転制御キーワード判定処理部と、
   前記認識した音声に前記運転制御キーワードが含まれる場合に、前記運転制御キーワードに対応する運転制御を実行するための運転制御処理を前記コントローラに実行させる運転制御処理実行部と、を有する
   ことを特徴とする請求項１又は請求項２記載の食品処理システム。
4. 前記音声認識装置は、
   前記コントローラに実行させた処理に関わる内容を表す音声を合成する音声合成処理部を有し、
   前記食品処理システムは、
   前記音声合成処理部により合成した前記音声を出力する音声出力装置をさらに有する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の食品処理システム。
5. 作業者の視線を検出する視線検出装置をさらに有し、
   前記音声認識装置は、
   認識した前記音声に、あいまいな指示語に関わる指示キーワードが含まれるか否かを判定する指示キーワード判定処理部と、
   前記認識した音声に前記指示キーワードが含まれる場合に、前記視線の検出結果に基づいて処理対象を特定する対象特定処理部と、を有する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の食品処理システム。

Images