패스트캠퍼스 환급챌린지 16일차 : Computer Vision Signature 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

공부 시작 시각 / 공부 종료 시각

 

 수강 인증 사진

학습 인증샷 (필기)

챌린지 대상 강의 완강률 

16일차, 강의 후기

각 챕터별 느낀 점
Ch05-01. Vision Language Model의 BLIP 개요
처음에 BLIP이 뭔지 몰라서 당황했다. 또 복잡한 모델인가 싶었는데 그냥 이미지랑 텍스트 같이 이해하고 만들어주는 모델이었음. 기존엔 이해만 하거나 생성만 했는데 이제 둘 다 한 번에 한다니 효율적이긴 했다. 근데 진짜 성능이 좋을지는 의문이다. CapFilt라는 방법으로 데이터 품질 높인다는 게 신기했는데 구체적으로 어떻게 하는지 더 알고 싶었다.

Ch05-02. BLIP 학습 및 성능 비교
학습 방법 설명이 생각보다 괜찮았다. Captioner랑 Filter가 서로 도와가며 데이터 품질 높인다는 bootstrapping 개념이 흥미로웠음. 다만 그냥 설명만 들으니까 실제로 어떻게 작동하는지 잘 안 와닿았다. 성능 비교 결과는 좋아 보이는데 다른 모델들과 공정하게 비교한 건지 궁금했다.

Ch05-03. BLIP2 모델 리뷰
메인 내용이라 그런지 집중해서 들었다. Q-Former라는 새로운 구조가 신기했음. 이미지랑 텍스트 사이 간극을 메운다는 게 딱 필요한 기능 같았다. 2단계 학습 과정도 체계적으로 설계된 것 같고. 내가 만들고 싶은 챗봇에 바로 써먹을 수 있을 것 같았다.

 

개인적으로 든 생각들
Vision Language 분야 발전 속도가 정말 빠르다는 걸 느꼈다. BLIP에서 BLIP2로 넘어가면서 성능은 더 좋아지고 효율은 더 높아지니까. 계속 새로운 모델 나오니까 따라가기 힘들긴 하지만 그래도 재밌긴 하다. 당장 회사에서 이미지 검색 기능 만들 때 써먹을 수 있을 것 같아서 설렘도 있고. 멀티모달 AI가 진짜 미래인 것 같다.

 

어려웠던 부분
Q-Former 구조가 처음엔 이해가 안 됐다. 왜 굳이 쿼리 벡터를 써야 하나 싶었는데 설명 들으니 이해가 됐음. 2단계 학습 과정도 복잡해 보였는데 각 단계에서 뭘 학습하는지 명확히 구분되니까 괜찮았다. 모델 내부 작동 원리는 여전히 완전히 이해하지 못한 느낌이다. 실제로 이걸 어떻게 파인튜닝하는지도 궁금한데 그 부분은 잘 안 나왔다.

가장 인상 깊었던 점
"이 이미지에 대해 설명해줘" 하면 자연스럽게 캡션 생성하고 "이 사람이 뭘 하고 있어?" 하면 VQA로 답변하는 게 진짜 신기했다. 하나의 모델로 이해와 생성 둘 다 할 수 있다니 효율적이다. 특히 BLIP2에서 frozen 모델 활용하는 게 현실적이고 똑똑한 접근 같았다. 처음부터 다 학습하지 않고 기존 모델 활용하는 게 리소스 절약에도 좋고. 나중에 개인 프로젝트로 "우리 집 사진 설명해주는 AI" 이런 것도 만들 수 있을 것 같았다.

앞으로 해볼 것들
당장 허깅페이스에서 BLIP2 모델 찾아서 직접 돌려보려고 한다. 한국어로도 잘 작동하는지 테스트해보고 싶고. 내가 찍은 여행 사진들에 자동으로 캡션 달아주는 앱 만들어보고 싶다. Q-Former 구조 코드도 뜯어보면서 어떻게 구현되어 있는지 공부해야겠다. 회사 프로젝트에 적용할 수 있는 부분도 찾아보려고.

종합 평가
처음엔 정말 혁신적이고 재밌었다. 특히 하나의 모델로 이해와 생성 둘 다 할 수 있다는 게 너무 효율적이어서 당장 써보고 싶어졌다. BLIP2의 개선점들도 합리적이고 실용적이어서 좋았다. 물론 완벽하게 이해하지는 못했지만 큰 그림은 잡힌 것 같아서 만족스럽다.

 

 URL: https://fastcampus.info/4n8ztzq