この記事は Christiaan Prins と Max Gubin による The Firebase Blog の記事 "ML Kit expands into NLP with Language Identification and Smart Reply " を元に翻訳・加筆したものです。詳しくは元記事をご覧ください。
Christiaan Prins Max Gubin
プロダクト マネージャー ソフトウェア エンジニア
言語識別 とスマート リプライ です。
以前のメッセージの内容を元に応答を提案する
textPlus アプリは、スマート リプライを使って応答候補の提案を行っている。
私たちは、スマート リプライが十分実用に耐えられるように、textPlus などのパートナーと密に連携してきました。そして現在、最新バージョンの textPlus アプリには、アプリ内で応答候補を提案する機能が実装されています（上のスクリーンショット）。
val smartReply = FirebaseNaturalLanguage.getInstance().smartReply
smartReply.suggestReplies(conversation)
.addOnSuccessListener { result ->
if (result.status == SmartReplySuggestionResult.STATUS_NOT_SUPPORTED_LANGUAGE) {
// The conversation's language isn't supported, so the
// the result doesn't contain any suggestions.
} else if (result.status == SmartReplySuggestionResult.STATUS_SUCCESS) {
// Task completed successfully
// ...
}
}
.addOnFailureListener {
// Task failed with an exception
// ...
}
スマート リプライのインスタンスを初期化し、直近のメッセージのリストを suggestReplies に渡すと、コールバックで提案のリストを含む result を受け取ることができます。
ドキュメント をご覧ください。
さらに詳しく...
デベロッパーとしてこの新しい API をアプリに組み込むのは簡単ですが、内部で何が行われているのかについて知りたい方もいるでしょう。スマート リプライの中枢部分には、
TensorFlow Lite で実行される機械学習モデルと、SentencePiece テキスト エンコーディング [
1 ] および Transformer [
2 ] に基づく最新アーキテクチャが存在します。
しかし、API の開発を始めたときに気づいたのですが、デベロッパーがアプリで使えるソリューションを提供するために必要なのは、中核となる提案モデルだけではありませんでした。たとえば、悪口に応答する場合や個人的な不幸や困難が起きている場合は提案を避けられるように、問題となる可能性があるトピックを検知するモデルを追加しました。また、中核となるモデルのトレーニングが行われていない言語に対して提案を行うことがないように、言語識別の機能も含めました。スマート リプライ機能は、まず英語のサポートからリリースされます。
テキストの一部から言語を識別する
110 種類の言語 のテキストを認識します。通常は、いくつかの単語さえあれば、正確に判断できます。また高速に処理でき、iOS や Android を搭載したスマートフォンでは、1 ミリ秒から 2 ミリ秒以内に応答を返します。
val languageIdentification =
FirebaseNaturalLanguage.getInstance().languageIdentification
languageIdentification
.identifyLanguage("¿Cómo estás?")
.addOnSuccessListener { identifiedLanguage ->
Log.i(TAG, "Identified language: $identifiedLanguage")
}
.addOnFailureListener { e ->
Log.e(TAG, "Language identification error", e)
}
identifyLanguage 関数に何文字かのテキストを渡すと、コールバックで BCP-47 言語コード を受け取ることができます。確実に言語を識別できない場合、ML Kit は未確定（undetermined）を示すコード und を返します。Language Identification API から、可能性のある言語のリストとその信頼値を受け取ることもできます。
ドキュメント をご覧ください。
さっそく使ってみましょう
Firebase Talk Google Group からご連絡ください。
Google I/O での ML Kit の発表もお楽しみに。