경사하강법

1. 최적화 알고리즘 1-1. 미니 배치 경사하강법(Mini-Batch Gradient Descent) 배치 경사하강법(Batch Gradient Descent)는 모든 전체 훈련세트를 한번에 처리하기에 매우 오래걸린다. 한 단계의 업데이트를 위해 전체 훈련세트를 고려해야 한다. 이때 훈련 샘플을 작은 '미니배치' 라는 훈련 세트로 나눈다. 예를들어 5000000개의 훈련 세트에서 사이즈가 1000인 미니배치이면면 5000개의 미니배치가 생긴다. 1-2. 미니 배치 경사하강법 이해하기 Batch Gradient Descent에서의 비용함수 J는 모든 iteration에 대해 감소해야 한다. 증가하면 잘못된 것이다. 하지만 Mini-Batch Gradient Descent에서는 비용함수 J가 감소되는 경향..