Lab Study/ML

1. Detour convex f''(X) >= 0일 때, function f는 convex(아래로 볼록) 증명. MLE에서 위로 볼록임을 증명할 때(concave) f''(x)

Exponential Family Models 아이디어: "If p has special form, some questions, inference learning come for free." 확률분포 p가 특정한 수학적인 형태로 나타날 수 있다면, 여러가지 계산이 간단하게 이루어질 수 있다. Form: Example 1: Bernoulli Random variables Exmple 2: Gaussian with Fixed Variance Exponential Family 쓰는 이유 Design Assumtions Design Choices 2가지 가정을 바탕으로, 분포가 지수족이면, MLE로 학습시키는것과, 추론은 매우 쉬워진다. natural parameter을 통해 model parameter을 쉽게..

Decision Stump >> Decision Trees >> Random Forest 순으로 발전한다. Supervised Learning Notation(표기법) Supervised Learning: Input is data and the output will be a program and This is called 'Training' Training: Mapping Input Data to Program Supervised Learning 적용 어려울 때 문제가 너무 복잡해 프로그래밍 똑바로 못할 것 같으면 지도학습 적용 어려움 레이블링 할 때 전문가조차 특정 레이블을 왜 설정했는지 명확시 설명하기 어려운 경우 인간 전문가가 없는 경우 노동을 자동화하고자 할때: 데이터 분류, 고객 서비스 자동화,..

Data : Examples의 집합으로, Column을 Feature라 정의할 수 있다. Types of Data Categorical Feautres : from an unordered set Binary: 직업의 유무 등 Nominal: 국가 별 도시명 등 Numerical Feautres : from ordered sets Discrete counts: age Ordinal: 순위 Continous/real-valued: 키 Converting to Numerical Features 보통 모든 sample들을 Numerical Vector로 변환해야한다. Categorical Data를 변환 시 "1 of K Encoding" 또는 "One Hot Encoding"을 진행한다. 이를 통해 sampl..