[ML] 機器學習技法：第二講 dual SVM

ML：基礎技法學習
Package：scikit-learn
課程：機器學習技法
簡介：第二講 dual SVM (support vector machine)

$$\begin{array}{rl}\underset{b,\mathbf{w}}{min}& \frac{1}{2}{\mathbf{w}}^T\mathbf{w}\\ s.t.& y_n({\mathbf{w}}^T\underset{\mathbf{\Phi }({\mathbf{x}}_n)}{\underbrace{{\mathbf{z}}_n}}+b)\ge 1\\ & forn=1,2,\cdots ,N\end{array}$$

原始演算法

1. $Q=\left[\begin{array}{cc}0& {\mathbf{0}}_{1\times \tilde{d}}\\ {\mathbf{0}}_{\tilde{d}\times 1}& {\mathbf{I}}_{\tilde{d}\times \tilde{d}}\end{array}\right];\mathbf{p}={\mathbf{0}}_{1\times \tilde{d}+1};{\mathbf{a}}_n^T=y_n\left[\begin{array}{cc}1& {\mathbf{z}}_n^T\end{array}\right];c_n=1$
2. $\left[\begin{array}{c}b\\ \mathbf{w}\end{array}\right]\Leftarrow \mathrm{QP}(\mathbf{Q},\mathbf{p},\mathbf{A},c)$
3. 得 $g_{svm}(\mathbf{x})=sign({\mathbf{w}}^T\mathbf{\Phi }(\mathbf{x})+b)$ with $\left[\begin{array}{c}b\in \mathbb{R}\\ \mathbf{w}\in {\mathbb{R}}^{\tilde{d}}\end{array}\right]$

從上述式子，可發現 QP 需解 $\tilde{d}+1$ 個變數 跟 N 個條件
但因特徵轉換，$\tilde{d}$ 可能會很大甚至無限，導致計算過度複雜，甚至無法實現
所以此講的目的是，令變數的數量與資料量一樣，進而縮減其計算量，需搭配下一講

Dual Model

$$\begin{array}{rl}\underset{\mathit{\alpha }}{min}& \frac{1}{2}\sum _{n=1}^N\sum _{m=1}^N{\alpha }_n{\alpha }_m{y}_n{y}_m{\mathbf{z}}_n^T{\mathbf{z}}_m-\sum _{n=1}^N{\alpha }_n\\ subjectto& \sum _{n=1}^N{y}_n{\alpha }_n=0;\\ & {\alpha }_n\ge 0,forn=1,2,\cdots ,N\end{array}$$

利用 Lagrange multipliers，隱藏限制條件，此處將 ${\lambda }_n$ 用 ${\alpha }_n$ 取代
$$L(b,\mathbf{w},\mathit{\alpha })=\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+\sum _{n=1}^N{\alpha }_n(1-y_n({\mathbf{w}}^T{\mathbf{z}}_n+b))$$ 當 $\underset{all{\alpha }_n\ge 0}{max}L(b,\mathbf{w},\mathit{\alpha })$ 會發現

• $(b,\mathbf{w})$ 違反限制條件時，會導致 $1-y_n({\mathbf{w}}^T{\mathbf{z}}_n+b)>0$
  又因 $L(b,\mathbf{w},\mathit{\alpha })$ 針對 ${\alpha }_n$ 取 max 的緣故，${\alpha }_n$ 越大越好，使得 $L(b,\mathbf{w},\mathit{\alpha })\to \mathrm{\infty }$
• $(b,\mathbf{w})$ 符合限制條件時，會導致 $1-y_n({\mathbf{w}}^T{\mathbf{z}}_n+b)\le 0$
  又因 $L(b,\mathbf{w},\mathit{\alpha })$ 針對 ${\alpha }_n$ 取 max 的緣故，${\alpha }_n$ 與 $1-y_n({\mathbf{w}}^T{\mathbf{z}}_n+b)$ 兩者至少有一個必須為 0，使得 $L(b,\mathbf{w},\mathit{\alpha })\to \frac{1}{2}{\mathbf{w}}^T\mathbf{w}$

故此式子與原本的求解一樣，如下，只是限制條件被隱藏到 max 中
$$SVM\equiv \underset{b,\mathbf{w}}{min}(\underset{all{\alpha }_n\ge 0}{max}L(b,\mathbf{w},\mathit{\alpha }))=\underset{b,\mathbf{w}}{min}(\mathrm{\infty }ifviolate;\frac{1}{2}{\mathbf{w}}^T\mathbf{w}iffeasible)$$
此時 $(b,\mathbf{w})$ 仍在式子最外面，如何把它跟裡面的 ${\alpha }_n$ 交換呢？這樣才能初步得到 N 個變數的式子
任取一個 ${\mathit{\alpha }}^{\prime }$ with ${\alpha }_n^{\prime }\ge 0$，因取 max 一定比任意還大，可得下式
$\underset{b,\mathbf{w}}{min}(\underset{all{\alpha }_n\ge 0}{max}L(b,\mathbf{w},\mathit{\alpha }))\ge \underset{b,\mathbf{w}}{min}L(b,\mathbf{w},{\mathit{\alpha }}^{\prime })$
那如果對 ${\mathit{\alpha }}^{\prime }\ge 0$ 取 max，也不影響此等式，如下
$\underset{b,\mathbf{w}}{min}(\underset{all{\alpha }_n\ge 0}{max}L(b,\mathbf{w},\mathit{\alpha }))\ge \underset{Lagrangedualproblem}{\underbrace{\underset{all{\alpha }_n^{\prime }\ge 0}{max}(\underset{b,\mathbf{w}}{min}L(b,\mathbf{w},{\mathit{\alpha }}^{\prime }))\stackrel{{\mathit{\alpha }}^{\prime }=\mathit{\alpha }}{\to }\underset{all{\alpha }_n\ge 0}{max}(\underset{b,\mathbf{w}}{min}L(b,\mathbf{w},\mathit{\alpha }))}}$
比較直覺的想法，就像是「從最大的一群中取最小」一定 $\ge$ 「從最小的一群中取最大」
$$\underset{original(primal))SVM}{\underbrace{\underset{b,\mathbf{w}}{min}(\underset{all{\alpha }_n\ge 0}{max}L(b,\mathbf{w},\mathit{\alpha }))}}\ge \underset{Lagrangedual}{\underbrace{\underset{all{\alpha }_n\ge 0}{max}(\underset{b,\mathbf{w}}{min}L(b,\mathbf{w},\mathit{\alpha }))}}$$ 目前的關係稱作 $\ge$ weak duality

但這還不夠，最好是 $=$ strong duality，才能初步得到 N 個變數的式子
幸運的是，在 QP 中，只要滿足以下條件，便是 strong duality

• convex primal (原來的問題為 convex)
• feasible primal (原來的問題有解的，也就是線性可分)
• linear constraints (限制條件為線性的)

對於 SVM 滿足這些條件並不困難，故解以下的式子，如同解原本的式子
$$\underset{all{\alpha }_n\ge 0}{max}\left(\underset{b,\mathbf{w}}{min}\underset{L(b,\mathbf{w},\mathit{\alpha })}{\underbrace{\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+\sum _{n=1}^N{\alpha }_n(1-y_n({\mathbf{w}}^T{\mathbf{z}}_n+b))}}\right)$$
但如何把內部的 $(b,\mathbf{w})$ 拿掉呢？
內部的問題，當最佳化時，必定符合
$$\begin{array}{rl}\frac{\partial L(b,\mathbf{w},\mathit{\alpha })}{\partial b}& =0=-\sum _{n=1}^N{\alpha }_n{y}_n\Rightarrow \sum _{n=1}^N{\alpha }_n{y}_n=0\\ \frac{\partial L(b,\mathbf{w},\mathit{\alpha })}{\partial \mathbf{w}}& =\mathbf{0}=\mathbf{w}-\sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n\Rightarrow \mathbf{w}=\sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n\end{array}$$ 從以上的這些條件，可得
$$\begin{array}{rl}dual& =\underset{all{\alpha }_n\ge 0}{max}(\underset{b,\mathbf{w}}{min}\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+\sum _{n=1}^N{\alpha }_n(1-y_n({\mathbf{w}}^T{\mathbf{z}}_n+b)))\\ & =\underset{all{\alpha }_n\ge 0}{max}(\underset{b,\mathbf{w}}{min}\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+\sum _{n=1}^N{\alpha }_n(1-y_n{\mathbf{w}}^T{\mathbf{z}}_n-y_{n}b))\\ & =\underset{all{\alpha }_n\ge 0}{max}(\underset{b,\mathbf{w}}{min}\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+\sum _{n=1}^N{\alpha }_n(1-y_n{\mathbf{w}}^T{\mathbf{z}}_n)-\sum _{n=1}^N{\alpha }_n{y}_n\cdot b)\\ [\because \sum _{n=1}^N{\alpha }_n{y}_n=0]& =\underset{all{\alpha }_n\ge 0,\sum _{n=1}^N{\alpha }_n{y}_n=0}{max}(\underset{b,\mathbf{w}}{min}\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+\sum _{n=1}^N{\alpha }_n(1-y_n{\mathbf{w}}^T{\mathbf{z}}_n))\\ & =\underset{all{\alpha }_n\ge 0,\sum _{n=1}^N{\alpha }_n{y}_n=0}{max}(\underset{b,\mathbf{w}}{min}\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+\sum _{n=1}^N{\alpha }_n-\sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{w}}^T{\mathbf{z}}_n)\\ & =\underset{all{\alpha }_n\ge 0,\sum _{n=1}^N{\alpha }_n{y}_n=0}{max}(\underset{b,\mathbf{w}}{min}\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+\sum _{n=1}^N{\alpha }_n-{\mathbf{w}}^T\sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n)\\ [\because \mathbf{w}=\sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n]& =\underset{all{\alpha }_n\ge 0,\sum _{n=1}^N{\alpha }_n{y}_n=0,\mathbf{w}=\sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n}{max}(\underset{b,\mathbf{w}}{min}\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+\sum _{n=1}^N{\alpha }_n-{\mathbf{w}}^T\mathbf{w})\\ & =\underset{all{\alpha }_n\ge 0,\sum _{n=1}^N{\alpha }_n{y}_n=0,\mathbf{w}=\sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n}{max}(\underset{b,\mathbf{w}}{min}-\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+\sum _{n=1}^N{\alpha }_n)\\ & =\underset{all{\alpha }_n\ge 0,\sum _{n=1}^N{\alpha }_n{y}_n=0,\mathbf{w}=\sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n}{max}(\underset{b,\mathbf{w}}{min}-\frac{1}{2}{\Vert \sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n\Vert }^2+\sum _{n=1}^N{\alpha }_n)\\ [\because nob,\mathbf{w}removemin]& =\underset{all{\alpha }_n\ge 0,\sum _{n=1}^N{\alpha }_n{y}_n=0,\mathbf{w}=\sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n}{max}-\frac{1}{2}{\Vert \sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n\Vert }^2+\sum _{n=1}^N{\alpha }_n\\ & =\underset{all{\alpha }_n\ge 0,\sum _{n=1}^N{\alpha }_n{y}_n=0,\mathbf{w}=\sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n}{min}\frac{1}{2}{\Vert \sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n\Vert }^2-\sum _{n=1}^N{\alpha }_n\\ & =\underset{all{\alpha }_n\ge 0,\sum _{n=1}^N{\alpha }_n{y}_n=0,\mathbf{w}=\sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n}{min}\frac{1}{2}\sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n^T\left(\sum _{m=1}^N{\alpha }_m{y}_m{\mathbf{z}}_m\right)-\sum _{n=1}^N{\alpha }_n\\ & =\underset{all{\alpha }_n\ge 0,\sum _{n=1}^N{\alpha }_n{y}_n=0,\mathbf{w}=\sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n}{min}\frac{1}{2}\sum _{n=1}^N\sum _{m=1}^N{\alpha }_n{\alpha }_m{y}_n{y}_m{\mathbf{z}}_n^T{\mathbf{z}}_m-\sum _{n=1}^N{\alpha }_n\end{array}$$
將限制條件移出，$\mathbf{w}=\sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n$ 只是求 $\mathbf{w}$ 並不限制 $\mathit{\alpha }$，可得
$$\begin{array}{rl}\underset{\mathit{\alpha }}{min}& \frac{1}{2}\sum _{n=1}^N\sum _{m=1}^N{\alpha }_n{\alpha }_m{y}_n{y}_m{\mathbf{z}}_n^T{\mathbf{z}}_m-\sum _{n=1}^N{\alpha }_n\\ subjectto& \sum _{n=1}^N{y}_n{\alpha }_n=0;\\ & {\alpha }_n\ge 0,forn=1,2,\cdots ,N\end{array}$$

KKT(Karush-Kuhn-Tucker) Optimality Conditins

若最佳解 $(b,\mathbf{w},\mathit{\alpha })$ 同時滿足兩邊 primal & dual
則同時滿足以下條件

• primal feasible
• $y_n({\mathbf{w}}^T{\mathbf{z}}_n+b)\ge 1$ (原來問題的條件)
• dual feasible
• ${\alpha }_n\ge 0$ (對偶問題的條件)
• dual-inner optimal
•  $\sum _{n=1}^N{y}_n{\alpha }_n=0$，$\mathbf{w}={\alpha }_n{y}_n{\mathbf{z}}_n$ (推導過程中得到的最佳化條件)
• primal-inner optimal
•  ${\alpha }_n(1-y_n({\mathbf{w}}^T{\mathbf{z}}_n+b))=0$
  (原來問題取 max 得到的條件，兩者必定至少一個為 0)
• 事實上，若滿足以上條件的 $(b,\mathbf{w},\mathit{\alpha })$，則必為最佳解
  此為充要條件

Dual Hard-Margin SVM Algorithm

• 利用 Quadratic Programming 解
  (程式語言都有 QP Solver 的套件，建議選擇特別為 SVM 設計的)
  

  
  $$\begin{array}{rl}& \frac{1}{2}\sum _{n=1}^N\sum _{m=1}^N{\alpha }_n{\alpha }_m{y}_n{y}_m{\mathbf{z}}_n^T{\mathbf{z}}_m-\sum _{n=1}^N{\alpha }_n\\ & =\frac{1}{2}\sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n^T\sum _{m=1}^N{\alpha }_m{y}_m{\mathbf{z}}_m-\sum _{n=1}^N{\alpha }_n\\ & =\frac{1}{2}({\alpha }_1{y}_1{\mathbf{z}}_1+{\alpha }_2{y}_2{\mathbf{z}}_2+\cdots +{\alpha }_N{y}_N{\mathbf{z}}_N{)}^T({\alpha }_1{y}_1{\mathbf{z}}_1+{\alpha }_2{y}_2{\mathbf{z}}_2+\cdots +{\alpha }_N{y}_N{\mathbf{z}}_N)-\sum _{n=1}^N{\alpha }_n\\ & =\frac{1}{2}({\left[\begin{array}{cccc}{y}_1{\mathbf{z}}_1& y_2{\mathbf{z}}_2& \cdots & y_N{\mathbf{z}}_N\end{array}\right]}_{\tilde{d}\times N}{\mathit{\alpha }}_{N\times 1}{)}^T({\left[\begin{array}{cccc}{y}_1{\mathbf{z}}_1& y_2{\mathbf{z}}_2& \cdots & y_N{\mathbf{z}}_N\end{array}\right]}_{\tilde{d}\times N}{\mathit{\alpha }}_{N\times 1})-{\mathbf{1}}_{N\times 1}^T{\mathit{\alpha }}_{N\times 1}\\ & =\frac{1}{2}({\mathit{\alpha }}_{N\times 1}{)}^T{\left[\begin{array}{c}{y}_1{\mathbf{z}}_1\\ y_2{\mathbf{z}}_2\\ \cdots \\ y_N{\mathbf{z}}_N\end{array}\right]}_{N\times \tilde{d}}{\left[\begin{array}{cccc}{y}_1{\mathbf{z}}_1& y_2{\mathbf{z}}_2& \cdots & y_N{\mathbf{z}}_N\end{array}\right]}_{\tilde{d}\times N}{\mathit{\alpha }}_{N\times 1}-({\mathbf{1}}_{N\times 1}{)}^T{\mathit{\alpha }}_{N\times 1}\\ & =\frac{1}{2}{\mathit{\alpha }}^T\mathbf{Q}\mathit{\alpha }+{\mathbf{p}}^T\mathit{\alpha }\end{array}$$ $=$ 可以看作兩個條件 $\le$ 和 $\ge$
  $$\sum _{n=1}^N{y}_n{\alpha }_n=0\Rightarrow \{\begin{array}{c}\sum _{n=1}^N{y}_n{\alpha }_n\ge 0\\ \sum _{n=1}^N{y}_n{\alpha }_n\le 0\end{array}\Rightarrow \{\begin{array}{cc}& \sum _{n=1}^N{y}_n{\alpha }_n\ge 0\\ -& \sum _{n=1}^N{y}_n{\alpha }_n\ge 0\end{array}\Rightarrow \{\begin{array}{cc}& {\mathbf{y}}^T\mathit{\alpha }\ge 0\\ -& {\mathbf{y}}^T\mathit{\alpha }\ge 0\end{array}\Rightarrow \{\begin{array}{cc}& {\mathbf{a}}_{\ge }^T\mathit{\alpha }\ge c_{\ge }\\ & {\mathbf{a}}_{\le }^T\mathit{\alpha }\ge c_{\le }\end{array}$$ $$\begin{array}{rl}{\alpha }_n& \ge 0,forn=1,2,\cdots ,N\\ {\mathbf{U}}_n\mathit{\alpha }& \ge 0,forn=1,2,\cdots ,N\\ {\mathbf{U}}_1& =\left[\begin{array}{cccc}1& 0& \cdots & 0\end{array}\right]\\ {\mathbf{U}}_2& =\left[\begin{array}{cccc}0& 1& \cdots & 0\end{array}\right]\\ & ⋮\\ {\mathbf{U}}_N& =\left[\begin{array}{cccc}0& 0& \cdots & 1\end{array}\right]\\ {\mathbf{a}}_n^T\mathit{\alpha }& \ge c_n,forn=1,2,\cdots ,N\end{array}$$
• dual SVM 的 $Q$ 通常稱作 $Q_D$
• $Q_D$ 內的值幾乎不為 0，需使用專門 for SVM 的 QP solver
• 如何得 $\mathbf{w}$
• $\mathbf{w}=\sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n$
• 如何得 b
• 任意 ${\alpha }_n>0$，則 $1-y_n({\mathbf{w}}^T{\mathbf{z}}_n+b)=0$ (by KKT)
• $b=y_n-{\mathbf{w}}^T{\mathbf{z}}_n$
  $$\begin{array}{rl}0& =1-y_n({\mathbf{w}}^T{\mathbf{z}}_n+b)\\ y_{n}b& =1-y_n{\mathbf{w}}^T{\mathbf{z}}_n\\ b& =\frac{1-y_n{\mathbf{w}}^T{\mathbf{z}}_n}{y_n}\\ if{y}_n& =\pm 1\\ b& =y_n-{\mathbf{w}}^T{\mathbf{z}}_n\end{array}$$
• ${\alpha }_n>0$ 的意義
• 只有 ${\alpha }_n>0$ 才會影響 $\mathbf{w}$ 的值
• ${\alpha }_n>0$ 的 ${\mathbf{z}}_n$ 必定落在邊界，因 $y_n({\mathbf{w}}^T{\mathbf{z}}_n+b)=1$ 
• 只有 ${\alpha }_n>0$ 的 ${\mathbf{z}}_n$ 才稱作 support vectors
  落在邊界上的 ${\mathbf{z}}_n$ 不見得是 support vectors
• SV $\subseteq {\mathbf{z}}_n$位於邊界

SVM 概念

• 除了 SV 以外的資料皆是無用的
• ${\mathbf{w}}_{svm}=\sum _{n=1}^N{\alpha }_n(y_n{\mathbf{z}}_n)$  
• $\mathbf{w}$ 是由 SV 所表示出來
• $\mathbf{w}$ 為 $y_n{\mathbf{z}}_n$ 的線性組合
• 稱為  $\mathbf{w}$ 可被資料所表示
• ${\mathbf{w}}_0=0$ 時，以下的演算法也是如此的
• PLA
• ${\mathbf{w}}_{PLA}=\sum _{n=1}^N{\beta }_n(y_n{\mathbf{z}}_n)$
  ${\beta }_n$ 為錯誤的次數
• 所以 PLA 的 $\mathbf{w}$ 是由錯誤的資料所表示出來
• GD-based LogReg/LinReg 
• SGD-based LogReg/LinReg 
• 適用範圍
• Primal
• $\tilde{d}$ 夠小
• Dual
• $N$ 夠小

程式碼

import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm
 
# 建立 40 筆資料
np.random.seed(0)
# np.r_ 詳細說明 https://www.ptt.cc/bbs/Python/M.1490169034.A.2D4.html
# np.r_ 的功能為新建立一個 row 陣列
X = np.r_[np.random.randn(20, 2) - [2, 2], np.random.randn(20, 2) + [2, 2]]
Y = [0] * 20 + [1] * 20
# phi = (x1, x2, x1^4)
Z = np.c_[X[:, 0], X[:, 1], X[:, 0]**4]
 
# C 越大表示越無法容忍錯誤，故設定一很大的值 for hard margin
g_svm = svm.SVC(kernel='linear', C=1e10)
# 訓練
g_svm.fit(Z, Y)
 
# 得到係數，為 wx+b
w = g_svm.coef_[0]
b = g_svm.intercept_[0]
# 方程式 y=(-w1*x-w3*x^4-b)/w2
xx = np.linspace(-5, 5)
yy = (-w[0] * xx -w[2] * (xx**4) - b)/ w[1]
 
# 得到第一個 support vectors
p = g_svm.support_vectors_[0]
# 參數不變，求截距為 b1 = -wx
yy_down = (-w[0] * xx -w[2] * (xx**4) + np.dot(w, [p[0], p[1], p[0]**4]))/ w[1]
 
# 得到最後一個 support vectors，與上面相反的 y
p = g_svm.support_vectors_[-1]
# 參數不變，求截距為 b = -wx
yy_up = (-w[0] * xx -w[2] * (xx**4) + np.dot(w, [p[0], p[1], p[0]**4]))/ w[1]
 
# 畫圖
plt.plot(xx, yy, 'k-')
plt.plot(xx, yy_down, 'k--')
plt.plot(xx, yy_up, 'k--')
 
# 畫出所有點
plt.scatter(X[:, 0], X[:, 1], c=Y, cmap=plt.cm.Paired)
# 將 support vector 標示出來
plt.scatter(g_svm.support_vectors_[:, 0], g_svm.support_vectors_[:, 1], color='g', linewidths=3, linestyle='-', s=100, facecolors='none')
 
plt.show()

參考

【整理】深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件
sklearn.svm.SVC