Passive Aggressive


※上記の広告は60日以上更新のないWIKIに表示されています。更新することで広告が下部へ移動します。


作成中。

概略

Passive Aggressive(PA)はオンライン学習アルゴリズムの一つ。パーセプトロンのようなアルゴリズムだがヒンジロスに基づいて更新する。オンライン版のSVM的位置づけ。

準備

線形識別器

ある重みベクトルwと入力ベクトルxの内積が0以上か0未満かで識別器を構成する。つまり、次式の関数となる。なお、定数(バイアス)項のために入力ベクトルの最初に常に1の値をとる要素を加える。
 \def\vector#1{\mbox{\boldmath $#1$}} \begin{document}
\vector{x} & \mapsto & 
  \begin{cases} 
    +1 & if \ \vector{w} \cdot \vector{x} \ge 0 \\ 
    -1 & otherwise \end{cases}

\end{document}

ヒンジロス

ヒンジロスは次式で表される。なお、\ge 1であることは必然ではない。
 \def\vector#1{\mbox{\boldmath $#1$}} \begin{document}
\\
\l(\vector{w};(\vector{x},y)) & = & 
  \begin{cases} 
    0 & if \ y (\vector{w} \cdot \vector{x}) \ge 1 \\ 
    1 - y (\vector{w} \cdot \vector{x}) & otherwise    
  \end{cases}

\end{document}

導出

更新方法(目的関数)

PAでは次式によって重みベクトルを更新する。

 
\def\vector#1{\mbox{\boldmath $#1$}} \begin{array}{l l} 

\vector{w_{t+1}} =  
  argmin [\vector{w} \in \mathbb{R}^{n}] \
    \frac{1}{2} \| \vector{w} - \vector{w_{t}} \| \\
\\
s.t. \\
& \l(\vector{w};(\vector{x}, y)) = 0 \\
& y_{t} (\vector{w} \cdot \vector{x}) \ge 1 \\
& 1-y_{t} (\vector{w} \cdot \vector{x}) \le 0 \\

\end{array}
|新しいページ|検索|ページ一覧|RSS|@ウィキご利用ガイド | 管理者にお問合せ
|ログイン|


統計・機械学習


計算機


プログラミング



Raspberry Pi


その他



工事中


関係ない話題


管理者用



プロフィール

但馬慶行
(TAJIMA Yoshiyuki)

機械学習とロボットを趣味で勉強中。
連絡先はトップページ