Last Time : CNN Architectures

2010, 11년까지는 약 25%의 성능을 나타냄 → shallow neural net

2012년 AlexNet으로 성능 향상

2015년에는 층을 152개 정도 아주 깊이 쌓음 → 기계가 사람보다 더 높은 성능을 보임

• AlexNet

  Convolutional Neural Net의 가장 기본, 이미지를 인풋으로 집어넣고 CONV, ReLU, POOL을 거쳐 FC의 softmax를 통해서 한 개의 클래스를 나눔

• VGGNet

  단순한 구조, filter의 크기를 3x3으로 고정, 모델의 param 수가 많음(무거움)

• GoogLeNet

  FC를 사용하지 않고 Average Pooling을 통해서 같은 효과를 내면서 모델의 parameter 수를 효과적으로 줄임, Inception module, 1x1 conv(bottleneck)

• ResNet

  Residual block(identity를 short cut으로)

Simple Recurrent Neural Networks

"Vanilla" Neural Network

단일 input이 어떤 hidden network을 구성하고 output layer로 출력이 나오는 형태

one to one(하나의 인풋에 대해 하나의 아웃풋이 나오는 것)

Recurrent Neural Networks : Process Sequences