분산표상 방법론인 Word2Vec NNLM vs Word2Vec NNLM: 순차적으로 단어가 주어질 때 다음 단어 예측 Word2Vec: 중심단어로 주변단어 예측(CBow) or 주변단어로 중심단어 예측(Skip-gram) Word2Vec: Skip-gram Neural Network이긴 하지만 가장 기본적인 구조라 activation function도 없다. Objective Function(목적함수): Maximize the log probability of any context word given the current center word (K번째 단어가 주어질 때 K 앞뒤로 주어지는 단어의 생성확률 높이기) Input: 1 x 10000 >> 10000개의 단어 Hidden Layer Linear..
