패스트캠퍼스 환급챌린지 31일차 : Computer Vision Signature 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

공부 시작 시각 / 공부 종료 시각

 

 수강 인증 사진

학습 인증샷 (필기)

챌린지 대상 강의 완강률 

 

31일차, FoundationPose 실습 정리

GPU 메모리 요구사항의 현실

FoundationPose가 최소 7.5GB VRAM을 요구한다는 것은 꽤 부담스러운 조건이다. 대부분의 개인용 GPU로는 실행하기 어려운 수준이고, RTX 4090 정도는 되어야 안정적으로 돌릴 수 있다. 3D 포즈 추정이라는 작업 자체가 계산량이 많긴 하지만, 아직은 연구용 모델의 한계를 보여주는 부분이다.

환경 설정의 복잡함

CUDA 11.8, PyTorch, OpenCV 등 여러 라이브러리의 버전을 맞춰야 하는 과정이 생각보다 까다롭다. 특히 PyTorch3D나 nvdiffrast 같은 특수한 라이브러리들은 CUDA 버전과 궁합이 잘 맞지 않으면 설치 자체가 실패하는 경우가 많다. 연구 코드의 재현성 문제가 여전히 존재한다는 것을 실감할 수 있었다.

모델 구조의 흥미로운 점

2023년에 만들어진 Refiner와 2024년의 Scorer를 함께 사용하는 구조가 인상적이다. 각각 다른 역할을 담당하면서도 하나의 파이프라인으로 작동한다. Refiner는 초기 포즈를 정제하고, Scorer는 여러 후보 중에서 최적의 포즈를 선택하는 역할을 한다. 단일 모델보다는 전문화된 모듈들의 조합이 더 효과적일 수 있다는 것을 보여준다.

데모 결과에서 본 성능

머스타드 병을 대상으로 한 데모는 확실히 인상적이었다. CAD 모델이 있는 상황에서는 거의 완벽에 가까운 추적 성능을 보여준다. 특히 그리퍼가 객체를 가릴 때도 포즈가 유지되는 것을 보면, 단순히 이미지 매칭이 아니라 3D 기하학적 정보를 잘 활용하고 있다는 것을 알 수 있다.

Model-free 접근법의 필요성

현재 데모는 CAD 모델을 미리 알고 있는 상황에서만 작동한다. 실제 응용에서는 모르는 객체도 많을 텐데, 이때는 NeRF나 다른 방법을 써야 한다고 한다. 이 부분이 실용성 측면에서는 아직 해결해야 할 과제로 보인다.

실습의 아쉬운 점

설치와 데모 실행에 시간을 많이 쓰다 보니, 실제 알고리즘의 동작 원리나 파라미터 조정 같은 부분은 깊이 다루지 못했다. 다음 시간에 Isaac ROS와 연동하는 부분에서 더 실질적인 내용을 다룰 것 같아서 기대된다.

 

 URL: https://fastcampus.info/4n8ztzq