Encoder

Abstract 현재 지배적인 Sequence 변환 모델은 Encoder와 Decoder를 포함한 복잡한 RNN or CNN 모델로 이루어져있다. 이 중 Best performace를 보이는 모델은 Encoder와 Decoder를 Attention Mechanism으로 연결 한 것이다. 본 논문에서는 새로운 Newtork: Transformer를 제안한다. Transformer을 두 가지 번역 과제를 대상으로 실험 한 결과, 품질 향상과 병렬 처리성으로 학습에 훨씬 적은 시간이 소요됐다. Transformer는 최고의 BLUE 를 달성했으며 크고 제한된 학습 데이터를 바탕으로 영어 뿐 아닌 다른 일반화된 작업에 역시 잘 적용할 수 있다. BLUE(Bilingual Evaluation Understandi..

Image Classification: 일반적으로 이미지를 입력, 클래스 레이블을 출력으로 학습 Traditional superviesed(지도학습) image classifiers: 대규모 데이터셋을 기반으로 모델을 pre-training(ResNet,VGGNet,EfficientNet 등) Pretraining(사전학습): 모델을 우리가 원하는 데이터에 학습시키기 전, 다른 데이터에 대해 먼저 학습시키는 것. 다른 데이터에 대한 파라미터를 바탕으로 우리가 원하는 데이터의 파라미터를 만들어간다.(재학습) Limitation: Fine-tuning없이 새로운 task에 적용하기 어려워 모델의 일반화가 어렵다. 새로운 downstream task에 적합한 다량의 이미지와 레이블링 작업을 요함. 그렇기에 이..