팀 목표: 컴퓨터비전 공부하기

개인 목표: Resnet 배경 공부하기

CNN은 이미지 인식 분야에서 뛰어난 성능을 보여주지만 네트워크의 layer를 깊이 쌓을수록 gradient vanishing/exploding이 일어나고 성능이 더 떨어지는 문제가 발생함. 이 문제점 해결을 위해 Resnet 구조를 사용함

ResNet은 Block단위로 Parameter을 전달하기 전에 이전의 값을 더하는 방식임.

기존의 신경망은 입력값 x를 타겟값 y로 매핑하는 함수 H(x)를 얻는 것이 F(x) := H(x)이 목적이었음.

그러나 ResNet은 F(x) 에 자기자신 x를 추가한 값이 H(x) 가 되게 하는 방식임. 원래 Output에서 자기자신을 빼는 것이 F(x)의 정의이므로, 'Residual learning'이라는 이름을 갖게 됨. 또한, x가 F(x)를 통과하고 나서 다시 x를 더해주기 때문에 이를 Skip Connection이라고 부름.

기존 신경망이 H(x)−x=0을 만들려 했다면 ResNet은 H(x)−x=F(x)로 두어 F(x)를 최소화 시키려고 함. 즉 F(x)=0 이라는 목표를 두고 학습을 진행함. 이렇게 학습을 진행하면 목표값이 주어지기 때문에 학습이 더 쉬워짐.