❗ 이 수업의 하이라이트 Convolutional Neural Networks❗
forward pass, backward pass 정확한 개념, 이해
x, y 두 개의 입력에 따른 출력 결과를 얻는 것 → forward
계산된 출력 결과과 실제 결과의 차이를 통해 loss를 얻을 수 있다. loss가 작으면 모델이 잘 학습된 것
upstream gradient * local gradient를 통해 gradient를 구할 수 있다.
gradient : x, y의 값을 어떻게 변화시켜야 어떤 영향력을 갖고 loss가 변화되는가를 계산
⇒ 입력값을 줄일지 늘릴지 방향 제시 : gradient가 크면 더 많이 늘려야함.
gradient가 여러 개 들어오면 단순히 더해주면 됨
<aside> 💡 $f(x, W) = \parallel W \cdot x\parallel ^2 = \sum_{i=1}^n(W\cdot x)_i^2$ $x \in \R^n, W \in \R^{n\times n}$
</aside>