패스트캠퍼스 환급챌린지 2일차 : Computer Vision Signature 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

공부 시작 시각 / 공부 종료 시각

 수강 인증 사진 

학습 인증샷 (필기)

챌린지 대상 강의 완강률 

2일자: CNN과 RNN 발전사 학습 노트

CNN 아키텍처의 진화

ResNet: 깊이의 한계를 극복하다

네트워크를 깊게 쌓으면 성능이 좋아질 것이라는 직관과 달리, 실험 결과 20층보다 56층이 오히려 성능이 떨어지는 현상을 발견했습니다. 이는 vanishing gradient 문제 때문인데, ResNet은 skip connection으로 이를 해결했습니다.

수식적으로 보면 F(x) + x 형태가 되어, F(x)가 소실되더라도 x의 미분값 1이 남아 gradient가 완전히 사라지는 것을 방지합니다.

개인적 생각: ResNet의 아이디어가 정말 단순하면서도 강력하다고 느꼈습니다. 단순히 입력을 그대로 더해주는 것만으로도 이런 큰 개선이 가능하다는 점이 인상적입니다.

DenseNet: 모든 것을 연결하라

ResNet이 한 개의 skip connection을 사용한다면, DenseNet은 모든 이전 layer들과 연결합니다. 이는 feature의 재사용을 극대화하여 parameter 수를 줄이면서도 풍부한 특징을 학습할 수 있게 합니다.

학습하며 느낀 점: DenseNet의 concatenation 방식이 ResNet의 summation보다 정보 보존 측면에서 더 우수하다는 설명이 이해가 잘 됐습니다. 다만 모든 layer를 연결하면 메모리 사용량이 많아질 것 같다는 우려가 듭니다.

EfficientNet: 균형잡힌 스케일링

기존 모델들이 depth, width, resolution 중 하나만 조정했다면, EfficientNet은 compound scaling으로 세 요소를 균형있게 조정합니다. φ라는 계수를 통해 α^φ, β^φ, γ^φ 형태로 비례적 스케일링을 수행하여 최적의 성능을 달성합니다.

인상 깊었던 부분: 지금까지는 직관적으로 모델을 키웠다면, EfficientNet은 수학적으로 체계화된 접근법을 제시한 점이 흥미롭습니다.

MobileNet: 모바일 환경의 혁신

Depthwise Separable Convolution이 핵심입니다. 기존 convolution을 channel별 연산과 pointwise convolution으로 분해하여 연산량을 대폭 줄였습니다.

실용적 관점: 스마트폰에서도 AI가 돌아간다는 게 신기합니다. 성능을 조금 포기하더라도 실용성을 택한 현실적인 접근이라고 생각합니다.

RNN 계열의 진화

RNN의 한계와 LSTM의 등장

RNN은 sequential data 처리에 적합하지만 긴 시퀀스에서 초기 정보를 잊어버리는 문제가 있습니다. LSTM은 cell state와 hidden state 두 개의 상태를 통해 장기/단기 기억을 분리하고, 세 개의 게이트(forget, input, output)로 정보 흐름을 제어합니다.

학습하며 어려웠던 점: 게이트들의 역할을 처음엔 이해하기 어려웠는데, "얼마나 잊을까/받아들일까/전달할까"로 정리하니 훨씬 명확해졌습니다.

GRU: 간소화의 미학

LSTM의 복잡성을 줄여 비슷한 성능을 내는 모델입니다. Update gate와 Reset gate 두 개만으로 LSTM의 기능을 수행하여 더 빠른 학습이 가능합니다.

궁금한 점: LSTM과 GRU 중 어떤 상황에서 어느 것을 선택해야 할지 명확한 기준이 궁금합니다.

Attention: 새로운 패러다임의 시작

Seq2Seq 모델의 고정 벡터 문제를 해결하기 위해 등장했습니다. 매 시점마다 encoder의 모든 hidden state를 참조하되, 현재 예측과 관련있는 부분에 더 집중하는 메커니즘입니다.

개인적 느낌: 인간이 글을 읽을 때 중요한 부분에 집중하는 것과 비슷해서 직관적으로 이해가 잘 됩니다. Transformer의 기반이 된다니 더 자세히 공부하고 싶습니다.

 

 URL: https://fastcampus.info/4n8ztzq