[ML] Support Vector Machine(SVM)

1. Support Vector Machine 모델 개요

SVM

:  고차원 데이터의 분류 문제에 좋은 성능을 타나낸다

• 기번적으로 Training Data에 대해 성능이 좋아야하지만 Overfitting되면 안된다(Generalization ability)
• 보통 Generalization abality와 Training Data의 성능은 Trade-Off 관계
• 하지만 SVM은 Test data의 성능이 좋을수록 Generalization ability가 좋아진다.

 

2classification model에서는 두 class를 잘 나누는 Hyperplane을 찾아야 한다.

질문: 어떤 Hyperplane이 가장 좋을까??

- Maximizing Margin over the train set = minimizing generalization error

 

Margin

 

파란색 hyperplane, 초록색 hyperplane 사이의 거리

2. Margin의 수학적 정의

Linear SVM for linearly separable cases(Hard Margin SVM)

 

Decision Variable(알고싶은 것): W,b.     목적식: margin의 범위

목적시는 이차식, 제약식은 Linear: 이러한 식을 quadratic programming(qp)이라고 함 >> convex optimization >> 이미 푸는 법 존재함

결국 분류는

Linear SVM for linearly nonseparable cases(Soft Margin SVM)

e: 허용하는 오류의 정도

Kennel Methods for Nonlinear Classification

해당 자료는 고려대학교 산업경영학부 김성범교수님의 유튜브 핵심 머신러닝을 바탕으로 작성된 글입니다.