HW : GPU / TPU를 사용해서 효율적으로 학습
SW
PyTorch : Dynamic
TensorFlow : 2.0 이전에는 Static, 2.0 이후에는 Dynamic 이 기본
기본적인 딥러닝에서의 pipeline은 비슷, low-level에서의 구현도 거의 같지만 high-level에서는 함수, 메소드의 이용에 차이가 있음
SW의 문법적인 부분은 업데이트되며 수정될 수 있음
Conv filters were 5x5, applied at stride 1
Subsampling (Pooling) layers were 2x2 applieed at stride 2
i.g. architecture is [CONV - POOL - CONV - POOL - FC - FC]
227 x 227 x 3 images55 x 55 x 9627 x 27 x 96$$ \vdots $$
First Layer (CONV1)
First layer (CONV1) : 96 11 x 11 filters applied at stride 4
Q. What is the output volume size?
(227 - 11) / 4 + 1 = 55
Output volume : [55 x 55 x 96]
Q. What is the total number of parameters in this layer?
Parameters : (11 * 11 * 3) * 96 = 35K (근사값, bias 제외하고 계산한 값)
모델의 계산량이 얼마나 될지, 모델이 차지하는 메모리 공간이 얼마나 될지 등이 모델의 성능 중 하나