[ML] 機器學習技法：第三講 Kernel SVM

ML：基礎技法學習
Package：scikit-learn
課程：機器學習技法
簡介：第三講 Kernel SVM (support vector machine)

dual SVM model

$$\begin{array}{rl}\underset{\mathit{\alpha }}{min}& \frac{1}{2}{\mathit{\alpha }}^T{\mathbf{Q}}_{\mathbf{D}}\mathit{\alpha }-({\mathbf{1}}_{N\times 1}{)}^T\mathit{\alpha }\\ subjectto& {\mathbf{y}}^T\mathit{\alpha }=0\\ & {\alpha }_n\ge 0,forn=1,2,\cdots ,N\end{array}$$ $q_{n,m}=y_n{y}_m{\mathbf{z}}_n^T{\mathbf{z}}_m$ inner product in ${\mathbb{R}}^{\tilde{d}}$
${\mathbf{z}}_n^T{\mathbf{z}}_m=\mathrm{\Phi }({\mathbf{x}}_n{)}^T\mathrm{\Phi }({\mathbf{x}}_m)$

如何簡化 ${\mathbf{z}}_n^T{\mathbf{z}}_m=\mathrm{\Phi }({\mathbf{x}}_n{)}^T\mathrm{\Phi }({\mathbf{x}}_m)$ ？將 $\mathrm{\Phi }({\mathbf{x}}_n{)}^T\mathrm{\Phi }({\mathbf{x}}_m)$ 簡化為 $K({\mathbf{x}}_n,{\mathbf{x}}_m)$

Kernel Hard-Margin SVM Algorithm

General Polynomial Kernel

$$K_Q(\mathbf{x},{\mathbf{x}}^{\prime })=(\zeta +\gamma {\mathbf{x}}^T{\mathbf{x}}^{\prime }{)}^{Q}with\gamma >0,\zeta \ge 0$$

先從二次轉換來看
假設 ${\mathrm{\Phi }}_2(\mathbf{x})=(1,x_1,x_2,\cdots ,x_d,x_1^2,x_1{x}_2,\cdots ,x_1{x}_d,x_2{x}_1,x_2^2,\cdots ,x_2{x}_d,\cdots ,x_d^2)$
為求化簡，故同時包含 $x_1{x}_2$ & $x_2{x}_1$，即使兩者是完全一樣的
展開 轉換與內積可得
$$\begin{array}{rl}{\mathrm{\Phi }}_2(\mathbf{x}{)}^T{\mathrm{\Phi }}_2({\mathbf{x}}^{\prime })& =1+\sum _d^{i=1}{x}_i{x_i}^{\prime }+\sum _{i=1}^d\sum _{j=1}^d{x}_i{x}_j{x_i}^{\prime }{x_j}^{\prime }\\ & =1+\sum _d^{i=1}{x}_i{x_i}^{\prime }+\sum _{i=1}^d{x}_i{x_i}^{\prime }\sum _{j=1}^d{x}_j{x_j}^{\prime }\\ & =1+{\mathbf{x}}^T{\mathbf{x}}^{\prime }+({\mathbf{x}}^T{\mathbf{x}}^{\prime })({\mathbf{x}}^T{\mathbf{x}}^{\prime })\end{array}$$ 可看到原本若轉換後再內積需要花 $O(\tilde{d})=O(d^2)$ 的時間，但展開後只需花原本維度的 $O(d)$

定義 轉換 $\mathrm{\Phi }$ $\iff$ kernel function: $K_{\mathrm{\Phi }}(\mathbf{x},{\mathbf{x}}^{\prime })\equiv \mathrm{\Phi }(\mathbf{x}{)}^T\mathrm{\Phi }({\mathbf{x}}^{\prime })$
故 ${\mathrm{\Phi }}_2\iff K_{{\mathrm{\Phi }}_2}(\mathbf{x},{\mathbf{x}}^{\prime })=1+({\mathbf{x}}^T{\mathbf{x}}^{\prime })+({\mathbf{x}}^T{\mathbf{x}}^{\prime }{)}^2$
利用此特性，可將各個參數皆轉換與 $\varphi$ 有關，如下

• $q_{n,m}=y_n{y}_m{\mathbf{z}}_n^T{\mathbf{z}}_m=y_n{y}_{m}K({\mathbf{x}}_n,{\mathbf{x}}_m)$
• 從 $SV({\mathbf{x}}_s,y_s)$ 取出一個
  $$\begin{array}{rl}b& =y_s-{\mathbf{w}}^T{\mathbf{z}}_s\\ & =y_s-(\sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n{)}^T{\mathbf{z}}_s\\ & =y_s-\sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n^T{\mathbf{z}}_s\\ & =y_s-\sum _{n=1}^N{\alpha }_n{y}_{n}K({\mathbf{x}}_n,{\mathbf{x}}_s)\end{array}$$
• 最佳方程式可得
  
  $$\begin{array}{rl}{g}_{SVM}(\mathbf{x})& =sign({\mathbf{w}}^T\mathrm{\Phi }(\mathbf{x})+b)\\ & =sign((\sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n{)}^T\mathrm{\Phi }(\mathbf{x})+b)\\ & =sign(\sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n^T\mathrm{\Phi }(\mathbf{x})+b)\\ & =sign(\sum _{n=1}^N{\alpha }_n{y}_n\mathrm{\Phi }({\mathbf{x}}_n{)}^T\mathrm{\Phi }(\mathbf{x})+b)\\ & =sign(\sum _{n=1}^N{\alpha }_n{y}_{n}K({\mathbf{x}}_n,\mathbf{x})+b)\end{array}$$

故計算效率已與 $\tilde{d}$ 無關

那如何再小修一下 轉換 $\varphi$，加入 $\sqrt{2\gamma }$ 跟 $\gamma$，$\gamma >0$ 不然開根號會為虛數
${\mathrm{\Phi }}_2(\mathbf{x})=(1,\sqrt{2\gamma }{x}_1,\cdots ,\sqrt{2\gamma }{x}_d,\gamma x_1^2,\gamma x_1{x}_2,\cdots ,,\gamma x_d^2)\iff K_2(\mathbf{x},{\mathbf{x}}^{\prime })=1+2\gamma {\mathbf{x}}^T{\mathbf{x}}^{\prime }+({\mathbf{x}}^T{\mathbf{x}}^{\prime }{)}^2$

那理論上 1 也可以替換為變數 $\zeta$，$\zeta \ge 0$ 不然開根號會為虛數
$\zeta$ 可為 0 是因為它不影響轉換，但 $\gamma$ 為 0 會只剩下常數項，跟原來的目的完全違背
故可得到一簡單的算式
$$\begin{array}{rl}{\mathrm{\Phi }}_2(\mathbf{x})& =(\zeta ,\sqrt{2\zeta \gamma }{x}_1,\cdots ,\sqrt{2\zeta \gamma }{x}_d,\gamma x_1^2,\gamma x_1{x}_2,\cdots ,,\gamma x_d^2)\\ \Rightarrow K_2(\mathbf{x},{\mathbf{x}}^{\prime })& ={\zeta }^2+2\zeta \gamma {\mathbf{x}}^T{\mathbf{x}}^{\prime }+(\gamma {\mathbf{x}}^T{\mathbf{x}}^{\prime }{)}^2\\ & =(\zeta +\gamma {\mathbf{x}}^T{\mathbf{x}}^{\prime }{)}^2\end{array}$$ 此結論可推廣至高次項，也只是略調整係數，故
$$K_Q(\mathbf{x},{\mathbf{x}}^{\prime })=(\zeta +\gamma {\mathbf{x}}^T{\mathbf{x}}^{\prime }{)}^{Q}with\gamma >0,\zeta \ge 0$$

因使用 Polynomial Kernel，故稱作 Polynomial SVM
事實上調整 kernel 就等同在調整 margin definition
因 kernel 隱含映射的函數，不同的映射函數，即使對應到同樣的 ${\mathbb{R}}^2$，${\mathbf{x}}_n\Rightarrow {\mathbf{z}}_n$ 的位置也都不一樣
如下圖，SV 的點完全不同

因有最大化 margin 的限制，故即使是十次方，表示仍可接受，甚至 margin 為 0.1

Linear Kernel 就是最原本的線性轉換，$K_1(\mathbf{x},{\mathbf{x}}^{\prime })=(0+1\cdot {\mathbf{x}}^T{\mathbf{x}}^{\prime }{)}^1$
記住，若 Linear Kernel 已足夠好，那就無需往下做，越簡單越準確

Infinite Dimensional Transform (Gaussian SVM)

$$\begin{gathered} K(\mathbf{x},{\mathbf{x}}^{\prime })=e^{-\gamma {\Vert \mathbf{x}-{\mathbf{x}}^{\prime }\Vert }^2}with\gamma >0 \\ \mathrm{\Phi }(\mathbf{x})=e^{-\gamma {\mathbf{x}}^T\mathbf{x}}(1,\sqrt{\frac{2^1\gamma }{1!}}(x_1,x_2,\cdots ,x_d), \\ \sqrt{\frac{2^2\gamma }{2!}}(x_1^2,x_1{x}_2,\cdots ,x_d^2), \\ \sqrt{\frac{2^3\gamma }{3!}}(x_1^3,x_1^2{x}_2,\cdots ,x_d^3), \\ \sqrt{\frac{2^i\gamma }{i!}}(x_1^i,x_1^{i-1}{x}_2,\cdots ,x_d^i),\cdots ) \end{gathered}$$

$$\begin{array}{rl}K(\mathbf{x},{\mathbf{x}}^{\prime })& =e^{-\gamma {\Vert \mathbf{x}-{\mathbf{x}}^{\prime }\Vert }^2}\\ & =e^{-\gamma ({\mathbf{x}}^T\mathbf{x}-2\cdot {\mathbf{x}}^T{\mathbf{x}}^{\prime }+{\mathbf{x}}^{\prime T}{\mathbf{x}}^{\prime })}\\ & =e^{-\gamma {\mathbf{x}}^T\mathbf{x}}\cdot e^{-\gamma {\mathbf{x}}^{\prime T}{\mathbf{x}}^{\prime }}\cdot e^{\gamma 2\cdot {\mathbf{x}}^T{\mathbf{x}}^{\prime }}\\ byTaylor& =e^{-\gamma {\mathbf{x}}^T\mathbf{x}}\cdot e^{-\gamma {\mathbf{x}}^{\prime T}{\mathbf{x}}^{\prime }}\cdot \sum _{i=0}^{\mathrm{\infty }}\frac{(2\gamma {\mathbf{x}}^T{\mathbf{x}}^{\prime }{)}^i}{i!}\\ & =\sum _{i=0}^{\mathrm{\infty }}{e}^{-\gamma {\mathbf{x}}^T\mathbf{x}}\cdot e^{-\gamma {\mathbf{x}}^{\prime T}{\mathbf{x}}^{\prime }}\cdot \frac{(2\gamma {\mathbf{x}}^T{\mathbf{x}}^{\prime }{)}^i}{i!}\\ & =\sum _{i=0}^{\mathrm{\infty }}{e}^{-\gamma {\mathbf{x}}^T\mathbf{x}}\cdot e^{-\gamma {\mathbf{x}}^{\prime T}{\mathbf{x}}^{\prime }}\cdot \sqrt{\frac{2^i\gamma }{i!}}\sqrt{\frac{2^i\gamma }{i!}}({\mathbf{x}}^T{\mathbf{x}}^{\prime }{)}^i\\ & =\sum _{i=0}^{\mathrm{\infty }}\sqrt{\frac{2^i\gamma }{i!}}{e}^{-\gamma {\mathbf{x}}^T\mathbf{x}}\cdot \sqrt{\frac{2^i\gamma }{i!}}{e}^{-\gamma {\mathbf{x}}^{\prime T}{\mathbf{x}}^{\prime }}\cdot (\sum _{n=1}^d{x}_n{x}_n^{\prime }{)}^i\\ & =e^{-\gamma {\mathbf{x}}^T\mathbf{x}}\cdot e^{-\gamma {\mathbf{x}}^{\prime T}{\mathbf{x}}^{\prime }}\sum _{i=0}^{\mathrm{\infty }}\sqrt{\frac{2^i\gamma }{i!}}\cdot \sqrt{\frac{2^i\gamma }{i!}}\cdot (\sum _{n=1}^d{x}_n{x}_n^{\prime }{)}^i\\ & =e^{-\gamma {\mathbf{x}}^T\mathbf{x}}\cdot e^{-\gamma {\mathbf{x}}^{\prime T}{\mathbf{x}}^{\prime }}(1+\sqrt{\frac{2^1\gamma }{1!}}\sqrt{\frac{2^1\gamma }{1!}}\sum _{n_1=1}^d{x}_{n_1}{x}_{n_1}^{\prime }+\sqrt{\frac{2^2\gamma }{2!}}\sqrt{\frac{2^2\gamma }{2!}}\sum _{n_1=1}^d{x}_{n_1}{x}_{n_1}^{\prime }\sum _{n_2=1}^d{x}_{n_2}{x}_{n_2}^{\prime }+\sqrt{\frac{2^3\gamma }{3!}}\sqrt{\frac{2^3\gamma }{3!}}\sum _{n_1=1}^d{x}_{n_1}{x}_{n_1}^{\prime }\sum _{n_2=1}^d{x}_{n_2}{x}_{n_2}^{\prime }\sum _{n_3=1}^d{x}_{n_3}{x}_{n_3}^{\prime }+\cdots )\\ & =e^{-\gamma {\mathbf{x}}^T\mathbf{x}}\cdot e^{-\gamma {\mathbf{x}}^{\prime T}{\mathbf{x}}^{\prime }}(1+\sqrt{\frac{2^1\gamma }{1!}}\sqrt{\frac{2^1\gamma }{1!}}\sum _{n_1=1}^d{x}_{n_1}{x}_{n_1}^{\prime }+\sqrt{\frac{2^2\gamma }{2!}}\sqrt{\frac{2^2\gamma }{2!}}\sum _{n_1=1}^d\sum _{n_2=1}^d{x}_{n_1}{x}_{n_2}{x}_{n_1}^{\prime }{x}_{n_2}^{\prime }+\sqrt{\frac{2^3\gamma }{3!}}\sqrt{\frac{2^3\gamma }{3!}}\sum _{n_1=1}^d\sum _{n_2=1}^d\sum _{n_3=1}^d{x}_{n_1}{x}_{n_2}{x}_{n_3}{x}_{n_1}^{\prime }{x}_{n_2}^{\prime }{x}_{n_3}^{\prime }+\cdots )\\ & =e^{-\gamma {\mathbf{x}}^T\mathbf{x}}\cdot e^{-\gamma {\mathbf{x}}^{\prime T}{\mathbf{x}}^{\prime }}(1+\sqrt{\frac{2^1\gamma }{1!}}\sqrt{\frac{2^1\gamma }{1!}}(x_1,x_2,\cdots ,x_d)\cdot (x_1^{\prime },x_2^{\prime },\cdots ,x_d^{\prime })\\ & +\sqrt{\frac{2^2\gamma }{2!}}\sqrt{\frac{2^2\gamma }{2!}}(x_1^2,x_1{x}_2,\cdots ,x_d^2)\cdot (x_1^{\prime 2},x_1^{\prime }{x}_2^{\prime },\cdots ,x_d^{\prime 2})\\ & +\sqrt{\frac{2^3\gamma }{3!}}\sqrt{\frac{2^3\gamma }{3!}}(x_1^3,x_1^2{x}_2,\cdots ,x_d^3)\cdot (x_1^{\prime 3},x_1^{\prime 2}{x}_2^{\prime },\cdots ,x_d^{\prime 3})+\cdots )\\ & =\mathrm{\Phi }(\mathbf{x}{)}^T\mathrm{\Phi }({\mathbf{x}}^{\prime })\\ \\ \mathrm{\Phi }(\mathbf{x})& =e^{-\gamma {\mathbf{x}}^T\mathbf{x}}(1,\sqrt{\frac{2^1\gamma }{1!}}(x_1,x_2,\cdots ,x_d),\sqrt{\frac{2^2\gamma }{2!}}(x_1^2,x_1{x}_2,\cdots ,x_d^2),\sqrt{\frac{2^3\gamma }{3!}}(x_1^3,x_1^2{x}_2,\cdots ,x_d^3),\sqrt{\frac{2^i\gamma }{i!}}(x_1^i,x_1^{i-1}{x}_2,\cdots ,x_d^i),\cdots )\end{array}$$ 可以看到其實就是各個次項的組合，從 0次項直到無限次項皆包含在內

$$\begin{array}{rl}{g}_{SVM}(\mathbf{x})& =sign(\sum _{SV}{\alpha }_n{y}_{n}K({\mathbf{x}}_n,\mathbf{x})+b)\\ & =sign(\sum _{SV}{\alpha }_n{y}_n{e}^{-\gamma {\Vert \mathbf{x}-{\mathbf{x}}_n\Vert }^2}+b)\end{array}$$

如上，解其實就是在 SV 上的高斯函數的線性組合
因為此特性也叫做 Radial Basis Function (RBF) kernel
能做無限多維，又有 maximum margin 限制，是否就很美好呢？不
當 $\gamma$ 選太大時，仍會有 overfit 的風險
甚至無限大時就等同於 $K_{\gamma \to \mathrm{\infty }}(\mathbf{x},{\mathbf{x}}^{\prime })=(\mathbf{x}=={\mathbf{x}}^{\prime })$，完全跟訓練點一樣才會為 1

Kernel 比較

• Kernel 代表著兩者之間的相似性，因為是內積
• Linear Kernel
• $K(\mathbf{x},{\mathbf{x}}^{\prime })={\mathbf{x}}^T{\mathbf{x}}^{\prime }$
• 優點
• 安全
• 快速，使用特別的 QP solver
• 可被解釋
• 缺點
• 若不是 線性可分 無法分類
• Polynomial Kernel
• $K(\mathbf{x},{\mathbf{x}}^{\prime })=(\zeta +\gamma {\mathbf{x}}^T{\mathbf{x}}^{\prime }{)}^Q$
• Q 若很低次，有時候回到原本的 primal 解法，用特別的 solver，還比較快
• 優點
• 比 linear 限制少一點，不需要 線性可分
• 透過 Q 表示限制轉換空間的維度
• 缺點
• 數值範圍太大會影響電腦處理
  $|\zeta +\gamma {\mathbf{x}}^T{\mathbf{x}}^{\prime }|$
  小於 1 時，Q 比較大會近乎 0
  大於 1 時，Q 比較大會是很大的值 
• 參數太多
• Gaussian Kernel
• $K(\mathbf{x},{\mathbf{x}}^{\prime })=e^{-\gamma {\Vert \mathbf{x}-{\mathbf{x}}^{\prime }\Vert }^2}$
• 優點
• 最強大
• 數值範圍比 polynomial 好
• 參數只有一個
• 缺點
• 無法解釋在做什麼
• 計算慢
• 容易 overfit

Mercer's condition

可自定 kernel，只要 Kernel Matrix 滿足條件，以下為充要條件

• symmetric
• let $k_{ij}=K({\mathbf{x}}_i,{\mathbf{x}}_j)$，此 Kernel Matrix 必定是半正定
  $\begin{array}{rl}\mathbf{K}& =\left[\begin{array}{cccc}\mathrm{\Phi }({\mathbf{x}}_1{)}^T\mathrm{\Phi }({\mathbf{x}}_1)& \mathrm{\Phi }({\mathbf{x}}_1{)}^T\mathrm{\Phi }({\mathbf{x}}_2)& \cdots & \mathrm{\Phi }({\mathbf{x}}_1{)}^T\mathrm{\Phi }({\mathbf{x}}_N)\\ \mathrm{\Phi }({\mathbf{x}}_2{)}^T\mathrm{\Phi }({\mathbf{x}}_1)& \mathrm{\Phi }({\mathbf{x}}_2{)}^T\mathrm{\Phi }({\mathbf{x}}_2)& \cdots & \mathrm{\Phi }({\mathbf{x}}_1{)}^T\mathrm{\Phi }({\mathbf{x}}_N)\\ ⋮& ⋮& \ddots & ⋮\\ \mathrm{\Phi }({\mathbf{x}}_N{)}^T\mathrm{\Phi }({\mathbf{x}}_1)& \mathrm{\Phi }({\mathbf{x}}_N{)}^T\mathrm{\Phi }({\mathbf{x}}_2)& \cdots & \mathrm{\Phi }({\mathbf{x}}_1{)}^T\mathrm{\Phi }({\mathbf{x}}_N)\end{array}\right]\\ & ={\left[\begin{array}{cccc}{\mathbf{z}}_1& {\mathbf{z}}_2& \cdots & {\mathbf{z}}_N\end{array}\right]}^T\left[\begin{array}{cccc}{\mathbf{z}}_1& {\mathbf{z}}_2& \cdots & {\mathbf{z}}_N\end{array}\right]\\ & ={\mathbf{ZZ}}^T\end{array}$

假設 $K$ 為有效的 kernel function
$$k_{ij}=K({\mathbf{x}}_i,{\mathbf{x}}_j)=\mathrm{\Phi }({\mathbf{x}}_i{)}^T\mathrm{\Phi }({\mathbf{x}}_j)=\mathrm{\Phi }({\mathbf{x}}_j{)}^T\mathrm{\Phi }({\mathbf{x}}_i)=K({\mathbf{x}}_j,{\mathbf{x}}_i)=k_{ji}$$ 內積兩者交換，值不變，故必定是對稱的
而對於任意向量 $\mathbf{z}$
$$\begin{array}{rl}{\mathbf{z}}^T\mathbf{K}\mathbf{z}& =\sum _i{z}_i\sum _j{k}_{ij}{z}_j\\ & =\sum _i\sum _j{z}_i{k}_{ij}{z}_j\\ & =\sum _i\sum _j{z}_i\mathrm{\Phi }({\mathbf{x}}_i{)}^T\mathrm{\Phi }({\mathbf{x}}_j)z_j\\ & =\sum _i\sum _j{z}_i\sum _k{\mathrm{\Phi }}_k({\mathbf{x}}_i){\mathrm{\Phi }}_k({\mathbf{x}}_j)z_j\\ & =\sum _i\sum _j\sum _k{z}_i{\mathrm{\Phi }}_k({\mathbf{x}}_i){\mathrm{\Phi }}_k({\mathbf{x}}_j)z_j\\ & =\sum _k\sum _i{z}_i{\mathrm{\Phi }}_k({\mathbf{x}}_i)\sum _j{z}_j{\mathrm{\Phi }}_k({\mathbf{x}}_j)\\ & =\sum _k{(\sum _i{z}_i{\mathrm{\Phi }}_k({\mathbf{x}}_i))}^2\\ & \ge 0\end{array}\mathrm{故}\mathrm{必}\mathrm{定}\mathrm{為}\mathrm{半}\mathrm{正}\mathrm{定}\mathrm{矩}\mathrm{陣}，\mathrm{反}\mathrm{之}\mathrm{亦}\mathrm{然}$$

程式碼

參數定義

import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm
 
# 訓練資料
X = np.c_[(.4, -.7),
          (-1.5, -1),
          (-1.4, -.9),
          (-1.3, -1.2),
          (-1.1, -.2),
          (-1.2, -.4),
          (-.5, 1.2),
          (-1.5, 2.1),
          (1, 1),
          # --
          (1.3, .8),
          (1.2, .5),
          (.2, -2),
          (.5, -2.4),
          (.2, -2.3),
          (0, -2.7),
          (1.3, 2.1)].T
Y = [0] * 8 + [1] * 8
 
# C 越大表示越無法容忍錯誤，故設定一很大的值 for hard margin
C = 1e10
# fit 表示訓練
# x^Tx'
g_svm_linear = svm.SVC(kernel='linear', C=C).fit(X, Y)
# (5+10x^Tx')^3
g_svm_poly = svm.SVC(kernel='poly', degree=3, coef0=5, gamma=10, C=C).fit(X, Y)
# exp(-0.3|x-x'|^2)
g_svm_rbf = svm.SVC(kernel='rbf', gamma=.3, C=C).fit(X, Y)
 
# title for the plots
titles = ['linear kernel => $\mathbf{x}^T\mathbf{x}\'$',
          'polynomial kernel => $(5+10\mathbf{x}^T\mathbf{x}\')^3$',
          'Gaussian kernel => $e^{(-0.3|\mathbf{x}-\mathbf{x}\'|^2)}$',]
 
# 產生 meshgrid，共 200x100 的點
XX1, XX2 = np.mgrid[-2:2:200j, -3:3:100j]
 
for i, g_svm in enumerate([g_svm_linear, g_svm_poly, g_svm_rbf]):
    plt.subplot(3, 1, i + 1)
    # 調整之間的空白高度
    plt.subplots_adjust(hspace=.6)
    
    # 代進值，得到距離
    # 回傳判斷結果
    YY = g_svm.predict(np.c_[XX1.ravel(), XX2.ravel()])
    # 重新排列結果，符合 XX1
    YY = YY.reshape(XX1.shape)  
 
    # 畫圖，contour 不填滿顏色，contourf 填滿顏色
    plt.contourf(XX1, XX2, YY, cmap=plt.cm.bone, alpha=0.5)
 
    # 畫出所有點
    plt.scatter(X[:, 0], X[:, 1], c=Y, cmap=plt.cm.Paired)
    # 將 support vector 標示出來
    plt.scatter(g_svm.support_vectors_[:, 0], g_svm.support_vectors_[:, 1], color='g', linewidths=3, linestyle='-', s=100, facecolors='none')
 
    # 得到 SV 的距離
    margin = np.mean(abs(g_svm.decision_function(np.c_[g_svm.support_vectors_[:, 0],g_svm.support_vectors_[:, 1]])))
    # 回傳距離
    YY = g_svm.decision_function(np.c_[XX1.ravel(), XX2.ravel()])
    # 重新排列結果，符合 XX1
    YY = YY.reshape(XX1.shape)  
    # 畫出界線
    plt.contour(XX1, XX2, YY, colors=['k', 'k', 'k'], linestyles=['--', '-', '--'], levels=[-margin, 0, margin])
    # 標題
    plt.title(titles[i])
 
plt.show()

參考

支持向量机（三）核函数
sklearn.svm.SVC