1. 미니배치 경사하강법(Mini-batch Gradient Descent) Batch gradient descent에서는 모든 반복에서 전체 훈련세트를 진행하고 각각의 반복마다 비용이 감소하기를 기대한다. 그렇기에 모든 반복마다 감소해야 한다. Mini Batch gradient descent는 모든 반복마다 감소하지는 않는다. 약간의 노이즈가 발생함. X{1}, Y{1}은 상대적 쉬운 미니배치라 비용이 낮은데 우연적으로 X{2}, Y{2}가 비용이 높은 미니배치일 수 있다. 미니배치 사이즈의 크기에 따라 학습 속도의 차이가 나기에 최적의 값을 찾아야 한다. 훈련 세트가 작을 떄(2000개 이하): 모든 훈련세트 한번에 삭습시키는 배치 경사 하강 진행 훈련세트가 클 때: 64,138,356,512와 같..
