Deprecated : The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
Google Developers Japan: TensorFlow Probability
この記事は Dave Moore、Jacob Burnim と TFP チームによる TensorFlow - Medium の記事 "Structural Time Series modeling in TensorFlow Probability " を元に翻訳・加筆したものです。詳しくは元記事をご覧ください。
投稿者: Dave Moore、Jacob Burnim と TFP チーム TensorFlow Probability の新しいライブラリ tfp.sts について紹介します。このライブラリは、構造時系列モデルを使って時系列を予測します [3]。
概要
「予想とは難しいものだ。特に未来に関しては」
— Karl Kristian Steincke
未来の出来事の予想はどうしても不確かなものになりますが、予測なしに将来の計画を立てることはできません。ウェブサイトの所有者は、サイトにアクセスするユーザーの数を予測して十分なハードウェア リソースを準備しなければなりません。また将来の収益や費用も予想する必要があります。企業は消費者製品の将来の需要を予測し、十分な在庫を確保する必要があります。電力会社は、電気の需要を予測し、その情報に基づいて電力の購買契約を結んだり、新しい発電所を建設したりする必要があります。
構造時系列モデル
構造時系列（STS）モデル [3] は時系列を扱う確率モデルの一種で、次のような多くの標準的な時系列モデルの考え方を取り入れて汎用化したものです。
自己回帰プロセス
移動平均
ローカル線形トレンド
周期性
外部共変量（関心対象の時系列に関係する可能性がある他の時系列）に対する回帰と変数選択
STS モデルは、観測された時系列をより簡単な構成要素の合計として表現します。
例: CO2 濃度の予測
実際の構造時系列の例として、ハワイのマウナロア観測所で月ごとに記録した大気中の CO2 濃度について考えてみます [5]。この例のコード は、すべて Github で公開されています。
例: 電気の需要予測
次に、もう少し複雑な例について考えてみます。オーストラリアのビクトリア州の電力需要予測です。上のグラフは、2014 年最初の 6 週間の 1 時間ごとの記録です（[4] のデータ、https://github.com/robjhyndman/fpp2-package で公開されているもの）。この例のコード は、すべて Github で公開されています。
TensorFlow Probability STS ライブラリ
以上の例からわかるように、TFP ではモデルの構成要素を組み合わせて STS モデルを構築できます。STS は、次のようなモデルの要素を提供しています。変分推論 とハミルトニアン・モンテカルロ法 を使って結果の時系列モデルをフィッティングする手法を提供します。TFP ホームページ で、コードやドキュメント、その他の例をご覧ください。tfprobability@tensorflow.org フォーラムに参加してください。
参考文献
[1] Brodersen, K. H., Gallusser, F., Koehler, J., Remy, N., & Scott, S. L. (2015). Inferring causal impact using Bayesian structural time-series models. The Annals of Applied Statistics , 9 (1), 247–274.Forecasting, structural time series models and the Kalman filter . Cambridge University Press. Kaz Sato - Staff Developer Advocate, Google Cloud
この記事は Ian Fischer、Alex Alemi、Joshua V. Dillon と TFP チーム による TensorFlow - Medium の記事 "Variational Autoencoders with Tensorflow Probability Layers " を元に翻訳・加筆したものです。詳しくは元記事をご覧ください。 投稿者: Ian Fischer、Alex Alemi、Joshua V. Dillon と TFP チーム 発表されました 。その際のプレゼンテーションでは、ほんのわずかなコードで強力な回帰モデルを構築する方法を紹介しました。この記事では、TFP を使うことで変分オートエンコーダ（VAE）の実装がどれだけ簡単になるかを解説します。
TensorFlow Probability
TFP は、Keras とディープ ネットワークを使って確率分布を生成する高レベル API を提供します。この API を使うと、ディープ ラーニングと確率的プログラミングを組み合わせたモデルを簡単に構築できます。たとえば、確率分布のパラメータを決めるのにディープ ネットワークの出力を使えます。以下では、この TFP のアプローチを紹介します。
変分オートエンコーダと ELBO
変分 オートエンコーダ （VAE）は、協調フィルタリング 、イメージ圧縮 、強化学習 、音楽 やスケッチ の生成などのさまざまな領域で使われいるポピュラーな生成モデルです。MNIST にある数字を書く処理について考えてみましょう。
サンプルとして、 潜在表現 z を選びます。これは、事前確率分布 z ~ p (z ) の中から選ばれます。これが、頭の中にある漠然とした図です。ここでは、「3」としましょう。
サンプルに基づき、実際の図としての表現 x を書きます。これは、自身を確率過程 x ~ p (x|z ) としてモデリングしたものです。これにより、「3」を書くたびに少しずつ違ったものができる仕組みを表せます。
このように、手書き数字を書くときに毎回生じる変化について、そのある部分は何らかのシグナル （例えば MNIST の数字の種類）によるものであり、その他の部分はノイズ によるものと考えます。例えば同じ人が書いた同じ数字のサンプルでも、厳密な線の角度は毎回異なります。VAE とは、大まかに言えば、このシグナルとノイズのそれぞれについて明確なモデルを与え、ノイズからシグナルを分離しようという試みです。
p (z ) - 潜在表現 z の事前確率 q (z|x ) - 変分エンコーダ p (x|z ) - デコーダ — 潜在的表現 z が与えられた場合の画像 x の確率
ELBO は、観測されたデータポイントの対数確率 log p (x ) の下限を表します。この式の最初の積分は、復元 項です。画像 x が z にエンコードされ、さらにデコードされて元の x を復元できる確率を表します。第 2 項は、 KL ダイバージェンス 項です 。エンコーダと事前確率がどのくらい近いかを測る式であり、エンコーダのシンプルさを保つためのものと言えます。ある事前確率のもとで尤度の低い z をエンコーダが生成すると、ELBO の値も低くなります。そのため、エンコーダーと事前確率に差が生じるのは、復元項を上回る効果が得られる場合に限られます。
コード
以上の説明から、 事前確率 p(z) 、 変分エンコーダ q(z|x) 、 デコーダ p(x|z) という 3 つの異なるコンポーネントを個々にモデリングする方法が自然だとわかります。こちらの colab を使うと、MNIST に対する VAE の学習をクラウド上の GPU で数分で実行できます。
事前確率
通常、VAE で使われる最も単純な事前確率は、等方性ガウス分布です。z が 16 次元となるように指定しています。
エンコーダ
エンコーダ分布には、完全共分散ガウス分布を使います。平均および共分散行列は、ニューラル ネットワークの出力によってパラメータ化されています。複雑に聞こえるかもしれませんが、TFP レイヤーを使えばとても簡単に表現できます。KL 項 です（ちなみに、引数 weight を 1 以外のものに変えるだけで、この VAE を β -VAE
デコーダ
デコーダには、単純な「平均場デコーダ」を使います。今回の場合、これはピクセル間で独立したベルヌーイ分布になります。
損失関数
ここまでで、完全なモデルを構築して残りの損失関数を指定する準備ができました。x と、モデルの出力です。これは確率変数なので rv_x と記しています。この例は、TFP レイヤーの内側でどのような「魔法」が働いているか表しています。Keras と TensorFlow からは、TFP が単にテンソルを出力するレイヤーとして見える一方で、TFP レイヤーの実際の中身は Distribution オブジェクトで構成されています。そのため、モデルに与えられたデータに対する負の対数尤度 -rv_x.log_prob(x) を損失関数として指定できる仕組みです。
TFP の内側
Keras の中にシームレスに組み込まれた TFP レイヤーが実際にどのような処理を実行しているのか、もう少し詳しく見てみましょう。前述のように、TFP レイヤーは実際には Distribution オブジェクトを出力します。これは、次のコードで確かめることができます。
モデルの学習
このモデルの学習は、Keras モデルの学習と同じように簡単で、vae_model.fit() を呼ぶだけです。nat はビットの自然対数です。115 nat はおよそ 165 ビット）。もちろん、これは最高のパフォーマンスというわけではありません。しかし、3 つのコンピューティングのいずれについても、この基本設定から始めて、簡単に強化できます。それに、このままでもすでに数字を生成してくれます。MNIST テストセットのイメージをエンコードして生成したデコーダ最頻値 事前確率をサンプリングして生成したデコーダ最頻値
まとめ
このブログ記事では、ディープ ラーニングと確率的プログラミングを組み合わせる方法について紹介し、TFP レイヤーを使って Keras の Sequential モデルの出力を TFP の確率分布に渡す VAE を構築しました。テンソルとしても確率分布としてもふるまえる TFP レイヤーを用いることで、シンプルなコードを記述できることがお分かりいただけたと思います。Kaz Sato - Staff Developer Advocate, Google Cloud