패스트캠퍼스 환급챌린지 6일차 : Computer Vision Signature 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

공부 시작 시각 / 공부 종료 시각

 수강 인증 사진 

학습 인증샷 (필기)

챌린지 대상 강의 완강률 

비전 트랜스포머 포즈 추정 학습 후기
📚 전반적인 인상
- 생각보다 혁신적인 접근법들이 많았음
- 복잡함에서 단순함으로의 패러다임 전환이 인상적
- 이론적 설명과 실제 구현 사이의 간격 느껴짐

🔍 ViT Pose 관련 소감
놀라웠던 점들
- 기존 방법들(TokenPose, TransPose, PRTR)의 복잡성 재인식
    - CNN + Transformer 조합의 필연성에 대한 의문 생김
    - "복잡하면 성능이 좋다"는 편견 깨짐

- Simple Decoder의 구성 요소가 충격적
    - Bilinear Interpolation + ReLU + Predictor만으로 충분하다니
    - Deconvolution, Batch Normalization 없어도 성능 유지

가장 흥미로웠던 부분
- Token-based Distillation의 철학
    - 단순 정답 모방 vs 문제 해결 방법론 학습
    -  Knowledge Token이라는 개념이 너무 참신함
    -  선생님의 "사고방식"까지 전수한다는 아이디어

4가지 장점 중 가장 와닿은 것
 - 유연성(Flexibility) 부분이 실무적으로 가장 유용해 보임
    -  다양한 해상도 대응
    -  어텐션 방식 선택 가능
    -  파인튜닝 전략의 다양성

🎯 Category-Agnostic 관련 느낌
학습 과정에서의 어려움
- 처음엔 Support Image 개념 이해 어려웠음
- POM-Net → CAPE-Former → Pose Anything 발전 과정 따라가기 벅참
- 각 방법론의 차이점 파악하는 데 시간 걸림

POM-Net에 대한 생각
- 아쉬운 점들이 명확히 보임
    -  Positional Embedding 없어서 좌우 구분 못하는 게 치명적
    -  키포인트 개수만큼 디코더 반복하는 비효율성
    -  오버피팅 문제 예상 가능했을 듯

CAPE-Former의 개선점 평가
- Two-stage 접근이 현실적
    -  1단계에서 대략적 위치, 2단계에서 정제
    -  정보 융합 과정 3번 반복하는 게 적절해 보임
- 동일 백본 사용하는 게 당연한 선택
    -  서로 다른 인코더 쓸 이유가 없었음

Pose Anything에 대한 개인적 선호
- 그래프 접근법이 가장 직관적
    -  키포인트 독립성 가정이 애초에 이상했음
    -  사람 몸, 동물, 사물 모두 연결된 구조체

- Graph Convolutional Network 활용이 자연스러움
    -  인접 행렬 사용하는 게 수학적으로 깔끔

 

🤔 아쉬웠던 부분들

실무적 디테일 부족
- 하이퍼파라미터 설정 가이드라인 없음
- 실제 구현시 마주칠 문제점들 언급 부족
- 데이터셋별 성능 차이 분석 아쉬움

비교 실험의 한계
- 공정한 비교를 위한 실험 설정 설명 부족
- Failure case에 대한 분석 너무 간략함
- 연산 효율성 측면의 구체적 수치 부족

💡 개인적 깨달음
연구 발전 패턴 관찰
- 복잡성 → 단순성으로의 회귀
    -  ViT Pose가 보여준 "Less is More" 철학
    -  불필요한 구조 제거의 중요성
- 독립성 → 관계성으로의 전환
    -  Pose Anything의 그래프 접근
    -  전체적 구조 이해의 필요성


향후 적용 가능성
- 다른 컴퓨터 비전 분야도 비슷한 방향으로 발전할 듯
- Token-based Distillation 아이디어는 다양하게 응용 가능
- Category-Agnostic 접근법이 범용 AI의 방향성과 일치

URL: https://fastcampus.info/4n8ztzq