Exponential Family Models
아이디어:
"If p has special form, some questions, inference learning come for free."
확률분포 p가 특정한 수학적인 형태로 나타날 수 있다면, 여러가지 계산이 간단하게 이루어질 수 있다.
Form:
Example 1: Bernoulli Random variables
Exmple 2: Gaussian with Fixed Variance
Exponential Family 쓰는 이유
Design Assumtions
Design Choices
2가지 가정을 바탕으로, 분포가 지수족이면, MLE로 학습시키는것과, 추론은 매우 쉬워진다.
natural parameter을 통해 model parameter을 쉽게 학습시켜야 한다.
Multiclass Classification via Softmax
