• x→ := (x1, x2)^T. サンプルから抽出した特徴を並べたもので，特徴ベクトル(feature vector)とよぶ。サンプルが魚の場合は長さ，明度など。
• ω. 性質，状態(state of nature)。ω = ω₁ などとして，サンプルが実際にどのクラスに属するのかを表す。例えば，ω₁　はスズキ，ω₁　は鮭など。
• P(ω₁). アプリオリ確率，事前確率，プライヤー(prior)。事前の知識による，次に現れるサンプルが ω₁ である確率。サンプルに ω₁ と ω₂ しかない場合は P(ω₁) + P(ω₂) = 1.
• 事前確率しか与えられていない場合は P(ω₁) > P(ω₂) の場合はサンプルは ω₁ であり，それ以外の場合は ω₂ という意思決定方式(decision rule)を適用できる。
• p(x|ω). 観測 x を連続確率変数と考えた場合，x の分布はサンプルの状態に依存した p(x|ω) と表すことができる。これをクラス条件付確率密度関数(class-conditional probability density function)とよぶ。
• p(ω_j|x) = p(x|ω_j)p(ω_j) / p(x). ベイズの公式(Bayes formula)。事後確率 = もっともらしさ * 事前確率 / エビデンス，と書くこともできる。ベイズの公式は x の値を観測することによって，事前確率 p(ω_j) をアポステリオリ確率，事後確率，ポステリア(posterior) p(ω_j|x)，つまり特徴の値が x の場合にサンプルの状態が ω_j である確率，に変換できることを示す。
• p(x|ω_j). x に関するω_j の「もっともらしさ」，尤度（ゆうど）とよぶ。
• p(x). 証拠，エビデンス(evidence)。二値の場合は p(x) = ∑(j=1,2){p(x|ω_j)p(ω_j)}。事後確率の和が 1 になるような係数であるため，決定には影響を及ぼさない。
• ある決定方式が他の決定方式より優れていることを示すには，その方法の誤差率(probability of error)を計算しなければならない。状態がω₁, ω₂　の二値の場合，誤差率は ω₁と決定した場合は真の状態がω₂である確率，ω₂と決定した場合は真の状態がω₁である確率がそれぞれ誤差率となる。誤差率を最小化したベイズ決定方式は，P(ω₁|x) > P(ω₂|x) の場合はサンプルはω₁ であり，それ以外の場合は ω₂ という決定ルールとなる。その誤差率は P(error|x) = min[P(ω₁|x), P(ω₂|x)]。

• ここでスカラー値の観測である x を特徴ベクトルの x→ に拡張して考える。特徴ベクトルは d次元の特徴空間(feature space)に存在する。
• {ω₁,...,ω_c} を c個の状態（カテゴリー）からなる有限集合とし，{α₁,...,α_a} を a個の取りうる行動からなる有限集合とする。損失関数 λ(α_i|ω_j) は状態が ω_j のときに行動α_iを取った場合の損失を表す。
• x→ を確率変数ベクトルとすると，事後確率のp(ω_j|x→) はベイズ公式により p(ω_j|x→) = p(x→|ω_j)p(ω_j) / p(x→) となる。
• ある観測が x→ で，行為α_iを取ろうと思っているとする。
  真の状態が ω_jの場合，定義より λ(α_i|ω_j)の損失をこうむることになる。真の状態が ω_j である確率は p(ω_j|x→) であるため，行動α_iを取ることによる期待損失は
  R(α_i|x→) = ∑(j=1,c){λ(α_i|ω_j)p(ω_j|x→)} と書くことができる。意思決定論の用語では期待損失をリスク(risk)とよび，R(α_i|x→) を条件付リスク(conditional risk)とよぶ。
• 決定方式は全ての観測値 x→ に対する行動を返す行動関数 α(x→) と表すことができる。ある決定方式に対する総合リスク R は決定方式の期待損失である。
  R = ∫ R(α(x→)|x→)p(x→)dx→。リスクを最小化するためには，条件付リスクを全ての行動α_iについて計算しR(α_i|x→)が最小の行動α_iを選ぶ。その結果の最小化された総合リスクはベイズリスク(Bayes risk)とよばれ，R*で表される。

• ベイズ決定方式の特殊形である二値分類問題について考える。α₁ を状態がω₁であると意思決定することと定義し，α₂も同様に定義する。便宜的に，λ_ij := λ(α_i|ω_j)，つまり真の状態が ω_j であるときに状態が ω_i であると意思決定したときのリスクと定義する。
• リスク最小化方式を事後確率で表すと，
  (λ₂₁ - λ₁₁)P(ω₁|x→) > (λ₁₂ - λ₂₂)P(ω₂|x→) であるときには状態がω₁であると決定すると表すことができる。
• ベイズ公式を適用し，さらに(λ₂₁ > λ₁₁)と仮定すると，
  p(x→|ω₁)/p(x→|ω₂) > (λ₁₂ - λ₂₂)/(λ₂₁ - λ₁₁) * p(ω₂)/p(ω₁) であるときには状態がω₁であると決定すると表すことができる。

参照

• Duda, Hart, and Stork, Pattern Classification 2nd ed.
• 栗田多喜夫, パターン認識とニューラルネットワーク