[ML] 機器學習技法：第十六講 Finale

ML：基礎技法學習
Package：scikit-learn
課程：機器學習技法
簡介：第十六講 Finale

總結

• Feature Exploitation Techniques
• Kernel
• \(K_\Phi \) 執行內積，比較相似性
• 特性
• 加法 \(K_3=K_1+K_2\)
• 乘法 \(K_3=K_1K_2\)
• 符合 Mercer Condition
  [ML] 機器學習技法：第三講 Kernel SVM
• 種類
• Sum of Kernels
• 用加法組合
• Product of Kernels
• 用乘法組合
• Polynomial Kernel
• 特別的放縮轉換
• [ML] 機器學習技法：第三講 Kernel SVM
• Gaussian Kernel
• 無限維的轉換
• [ML] 機器學習技法：第三講 Kernel SVM
• Stump Kernel
• decision-stumps 的轉換
• Support Vector Machinery for Infinite Ensemble Learning
• Mercer Kernels
• 符合 Mercer Condition 的 Kernel
• [ML] 機器學習技法：第三講 Kernel SVM
• 應用
• SVM
• [ML] 機器學習技法：第四講 soft-margin SVM
• SVR
• [ML] 機器學習技法：第六講 Support Vector Regression (SVR)
• Kernel Ridge Regression(KRR)
• [ML] 機器學習技法：第六講 Support Vector Regression (SVR)
• Kernel Logistic Regression(KLR)
• [ML] 機器學習技法：第五講 Kernel Logistic Regression
• probabilistic SVM (Platt's Model)
• [ML] 機器學習技法：第五講 Kernel Logistic Regression
• Kernel PCA
• 內積的動作轉化為 Kernel
• [ML] 機器學習技法：第十三講 Deep Learning
• Kernel k-Means
• 內積的動作轉化為 Kernel
• [ML] 機器學習技法：第十四講 Radial Basis Function Network
• Aggregation
• \(\phi _t(\mathbf{x})=g_t(\mathbf{x})\) 的混合，具備無限多種，只有想不到，沒有做不到
• 可用的 \(g_t(\mathbf{x})\)
• Decision Stump
• [ML] 機器學習技法：第八講 Adaptive Boosting
• Decision Tree
• [ML] 機器學習技法：第九講 Decision Tree
• (Gaussian) RBF
• [ML] 機器學習技法：第十四講 Radial Basis Function Network
• 方式
• 已具備 \(g_t(\mathbf{x})\)
• Uniform
• 平均
• Non-Uniform
• 線性組合
• Condional
• 有條件式的組合
• 未具備 \(g_t(\mathbf{x})\)
• Bagging
• [ML] 機器學習技法：第七講 Blending and Bagging
• [ML] 機器學習技法：第十講 Random Forest
• AdaBoost
• [ML] 機器學習技法：第八講 Adaptive Boosting
• [ML] 機器學習技法：第十一講 Gradient Boosted Decision Tree
• probabilistic SVM (Platt's Model)，第二階段的線性組合
• [ML] 機器學習技法：第五講 Kernel Logistic Regression
• Condional
• [ML] 機器學習技法：第九講 Decision Tree
• Nearest Neighbor，只選出最靠近的作判斷
• [ML] 機器學習技法：第十四講 Radial Basis Function Network
• Extraction
• 萃取出特徵後，可再套用到其他更加合適的 model 上
• supervised
• neuron weights
• [ML] 機器學習技法：第十二講 Neural Network
• RBF centers
• [ML] 機器學習技法：第十四講 Radial Basis Function Network
• user/movie factors
• [ML] 機器學習技法：第十五講 Matrix Factorization
• \(g_t\) parameters
• [ML] 機器學習技法：第八講 Adaptive Boosting
• [ML] 機器學習技法：第十一講 Gradient Boosted Decision Tree
• unsupervised
• k-Means
• [ML] 機器學習技法：第十四講 Radial Basis Function Network
• Autoencode/PCA
• [ML] 機器學習技法：第十三講 Deep Learning
• Compression
• 將資料投影至低維度執行處理
• 方法
• Decision Stump
• 一維
• [ML] 機器學習技法：第九講 Decision Tree
• Random Forest
• 低維
• [ML] 機器學習技法：第十講 Random Forest
• Autoencoder/PCA
• 低維且資訊不失真
• [ML] 機器學習技法：第十三講 Deep Learning
• Matrix Factorization
• 從抽象到具體
• [ML] 機器學習技法：第十五講 Matrix Factorization
• Feature Selection
• 挑選出有用的維度
• [ML] 機器學習技法：第十講 Random Forest
• Error Optimization Techniques
• Gradient Descent
• \(\mathbf{w_{t+1}}\leftarrow \mathbf{w_t}-\eta \triangledown E\) 變化形：二次逼近 或是 限定條件
• SGD/Minibatch/GD
• [ML] 機器學習基石：第十講 Logistic Regression
• [ML] 機器學習技法：第十二講 Neural Network
• [ML] 機器學習技法：第十五講 Matrix Factorization
• Steepest Descent
• [ML] 機器學習技法：第八講 Adaptive Boosting
• [ML] 機器學習技法：第十一講 Gradient Boosted Decision Tree
• Functional GD
• [ML] 機器學習技法：第八講 Adaptive Boosting
• [ML] 機器學習技法：第十一講 Gradient Boosted Decision Tree
• Equivalent Solution
• 轉換至等效的問題
• Dual SVM
• 等效 convex QP
• ML] 機器學習技法：第二講 dual SVM
• Kernel LogReg/Kernel RidgeReg
• 運用 representer
• [ML] 機器學習技法：第五講 Kernel Logistic Regression
• [ML] 機器學習技法：第六講 Support Vector Regression (SVR)
• PCA
• 等效 eigenproblem
• [ML] 機器學習技法：第十三講 Deep Learning
• Multiple Steps
• 切割問題分成各個簡單的部分
• Multi-Stage
• probabilistic SVM (Platt's Model)
• [ML] 機器學習技法：第五講 Kernel Logistic Regression
• Linear Blending 
• [ML] 機器學習技法：第七講 Blending and Bagging
• [ML] 機器學習技法：第十四講 Radial Basis Function Network
• [ML] 機器學習技法：第十三講 Deep Learning
• Alternating Optimum
• k-Means
• [ML] 機器學習技法：第十四講 Radial Basis Function Network
• alternating LeastSquare
• [ML] 機器學習技法：第十五講 Matrix Factorization
• steepest descent
• [ML] 機器學習技法：第十一講 Gradient Boosted Decision Tree
• Divide & Conquer
• [ML] 機器學習技法：第九講 Decision Tree
• Overfitting Elimination Techniques
• Regularization
• large-margin
• [ML] 機器學習技法：第一講 linear SVM
• [ML] 機器學習技法：第十一講 Gradient Boosted Decision Tree
• L2
• [ML] 機器學習技法：第四講 soft-margin SVM
• [ML] 機器學習技法：第六講 Support Vector Regression (SVR)
• [ML] 機器學習技法：第十二講 Neural Network
• voting/averaging
• [ML] 機器學習技法：第七講 Blending and Bagging
• [ML] 機器學習技法：第十講 Random Forest
• denoising
• Autoencoder
• [ML] 機器學習技法：第十三講 Deep Learning
• weight-elimination
• [ML] 機器學習技法：第十二講 Neural Network
• constraining
• Autoencoder，限定兩邊 weight 一樣
• [ML] 機器學習技法：第十三講 Deep Learning
• RBF，限定中心點數量
• [ML] 機器學習技法：第十四講 Radial Basis Function Network
• pruning
• [ML] 機器學習技法：第九講 Decision Tree
• early stopping
• [ML] 機器學習技法：第十二講 Neural Network
• Validation
• 做太多次仍會汙染資料
• # SV
• [ML] 機器學習技法：第四講 soft-margin SVM
• [ML] 機器學習技法：第六講 Support Vector Regression (SVR)
• OOB
• [ML] 機器學習技法：第十講 Random Forest
• Internal Validation (挑選參數)
• 中心點數量
• [ML] 機器學習技法：第十四講 Radial Basis Function Network
• pruning
• [ML] 機器學習技法：第九講 Decision Tree
• Machine Learning in Practice
• ICDM 2006 Top 10 Data Mining Algorithms
1. C4.5：another decision tree
• [ML] 機器學習技法：第九講 Decision Tree
2. k-Means
• [ML] 機器學習技法：第十四講 Radial Basis Function Network
3. SVM
• [ML] 機器學習技法：第四講 soft-margin SVM
4. Apriori
5. EM：alternating optimization
6. PageRank：matrix factorization
• [ML] 機器學習技法：第十五講 Matrix Factorization
7. AdaBoost
• [ML] 機器學習技法：第八講 Adaptive Boosting
8. k Nearest Neighbor
• [ML] 機器學習技法：第十四講 Radial Basis Function Network
9. Naive Bayes：linear model
• [ML] 機器學習基石：第十一講 Linear Models for Classification
10. C&RT
• [ML] 機器學習技法：第九講 Decision Tree
• 其他推薦
• LinReg
• [ML] 機器學習基石：第九講 Linear Regression
• LogReg
• [ML] 機器學習基石：第十講 Logistic Regression
• Random Forest
• [ML] 機器學習技法：第十講 Random Forest
• GBDT
• [ML] 機器學習技法：第十一講 Gradient Boosted Decision Tree
• NNet
• [ML] 機器學習技法：第十二講 Neural Network
• [ML] 機器學習技法：第十三講 Deep Learning

參考

scikit-learn