패스트캠퍼스 환급챌린지 21일차 : Computer Vision Signature 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

공부 시작 시각 / 공부 종료 시각

 

 수강 인증 사진

학습 인증샷 (필기)

챌린지 대상 강의 완강률 

21일차, 강의 후기

 

이번 강의는 정말 SLAM의 핵심을 다룬다는 느낌이었다. 지금까지 "카메라가 어떻게 3D 정보를 알아내지?"라고 막연하게 궁금했는데, 두 시점 사이의 기하학적 관계라는 개념으로 설명해주니까 퍼즐이 맞춰지는 기분이었음.

---

Ch03-01. Feature Tracking의 필요성

연속된 프레임에서 같은 점을 따라가는 게 왜 중요한지 확실히 이해됐다. 사실 사람도 움직이는 물체를 볼 때 무의식적으로 특징점들을 추적하고 있었구나 싶었음. KLT tracker의 원리를 들으니까 Lucas-Kanade 알고리즘이 이런 식으로 응용되는구나 하고 감탄했다.
특히 추적 실패 조건들(급격한 조명 변화, 빠른 움직임, 가려짐 등)을 설명해주실 때 "아, 그래서 실제 환경에서 SLAM이 어려운 거구나" 싶었다. 실험실 환경과 실제 환경의 차이가 이런 디테일에서 나온다는 걸 깨달았음.

---
Ch03-02. Epipolar Geometry 이론

이 부분이 정말 핵심이었다. 두 카메라가 같은 3D 점을 바라볼 때의 기하학적 관계라는 설명이 직관적이었음. Epipole, Epipolar line 개념을 처음엔 어렵게 느꼈는데, "한쪽 눈을 감고 보면 점이지만 두 눈으로 보면 선이 된다"는 비유로 이해가 됐다.
Fundamental Matrix가 이 모든 관계를 하나의 3x3 행렬로 표현한다는 게 정말 우아하다고 느꼈음. 수학의 힘이랄까... x'ᵀFx=0 이라는 간단한 식 하나로 복잡한 3D 관계를 설명할 수 있다니.

---
Ch03-03. Essential Matrix와 Camera Pose
내부 파라미터를 알 때의 Essential Matrix 개념도 흥미로웠다. Fundamental Matrix의 "정제된" 버전이라는 설명이 와닿았음. 여기서 카메라의 회전과 평행이동을 분해해낼 수 있다는 게 신기했다.
다만 4가지 가능한 해가 나온다는 부분에서 "어떻게 올바른 답을 고르지?"라는 의문이 들었는데, triangulation으로 검증한다는 설명을 듣고 납득됐다. 결국 3D 복원까지 해봐야 맞는지 알 수 있다는 거구나.

---
Ch03-04. Homography 이해하기
평면에서 평면으로의 변환이라는 개념이 처음엔 단순해 보였는데, 실제 응용을 보니까 생각보다 강력했다. 책상 위의 문서를 스캔할 때 왜곡을 보정하는 것도 homography라는 걸 알고 "아, 이런 곳에도 쓰이는구나" 싶었음.
특히 평면 장면이나 순수 회전 시에만 적용된다는 제약 조건이 중요하다는 걸 깨달았다. 언제 epipolar geometry를 쓰고 언제 homography를 쓸지 판단하는 게 실제로는 어려운 문제겠다 싶었다.

---

개인적인 소감

이번 강의를 통해 stereo vision의 전체적인 그림이 그려졌다. Feature matching → Epipolar geometry → Triangulation으로 이어지는 파이프라인이 어떻게 3D 정보를 추출하는지 이해하게 됐음.
특히 이론과 실제 구현 사이의 gap을 많이 느꼈다. 수학적으로는 완벽해 보이는 알고리즘들도 실제로는 noise, outlier, 수치적 불안정성 등 고려할 게 정말 많더라. 그래서 OpenCV 같은 라이브러리가 얼마나 많은 노하우를 담고 있는지 새삼 깨달았다.

 

 URL: https://fastcampus.info/4n8ztzq