패스트캠퍼스 환급챌린지 17일차 : Computer Vision Signature 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

공부 시작 시각 / 공부 종료 시각

 

 수강 인증 사진

학습 인증샷 (필기)

챌린지 대상 강의 완강률 

17일차, 강의 후기

 

각 챕터별 느낀 점
Ch06-01. Flamingo 모델과 Few-shot Prompting 처음엔 또 새로운 모델이냐 싶었는데 Flamingo가 생각보다 흥미로웠다. Few-shot prompting이라는 게 진짜 신박했음. 예제 몇 개만 보여주면 바로 따라한다니 사람 학습 방식이랑 비슷해서 신기했다. GPT에서 프롬프트 엔지니어링하는 것처럼 비전에서도 할 수 있다는 게 놀라웠고. 근데 예제 품질에 따라 성능이 많이 달라질 것 같아서 실제 사용할 때 어려울 듯하다. OCR 기능이나 계산 문제까지 푼다는 건 진짜 대단한데 얼마나 정확한지는 의문이다.

Ch06-02. LLaVA와 비전 인스트럭션 튜닝 InstructGPT 설명부터 시작하니까 맥락이 잘 잡혔다. GPT-3에서 3.5로 넘어갈 때 그 엄청난 성능 향상이 인스트럭션 튜닝 때문이었다니 몰랐던 사실이었음. 라벨러들이 일일이 질문-답변 만들고 평가하고 강화학습까지 하는 과정이 복잡하긴 하지만 효과가 확실한 것 같다. LLaVA에서 GPT로 데이터 만드는 아이디어도 똑똑했다. 이미지는 못 보지만 캡션이랑 바운딩 박스로 대신하는 게 현실적인 해결책이었고. 다만 이렇게 만든 데이터가 실제 인간이 원하는 답과 얼마나 비슷할지는 궁금하다.

개인적으로 든 생각들
비전 언어 모델 발전이 정말 가파르다는 걸 느꼈다. 단순히 구조만 개선하는 게 아니라 학습 방법론까지 혁신하니까 성능 차이가 확연하다. 특히 인스트럭션 튜닝 개념이 인상적이었음. 모델한테 "어떻게 답변해야 하는지" 가르쳐주는 게 이렇게 중요할 줄 몰랐다. 회사에서 고객 문의 답변 챗봇 만들 때 이런 방식 써먹으면 좋을 것 같다. 그냥 사실만 나열하는 게 아니라 친근하고 도움이 되는 톤으로 답변하도록 학습시킬 수 있을 듯하다. 멀티모달 AI가 진짜 실생활에 들어올 날이 얼마 안 남은 것 같다.

어려웠던 부분
Flamingo의 Cross-Attention 구조가 처음엔 헷갈렸다. 이미지 피처랑 텍스트를 어떻게 연결하는지 이해하는 데 시간이 걸렸음. Resampler라는 개념도 Q-Former랑 비슷한 것 같은데 정확한 차이점을 모르겠다. LLaVA에서 GPT로 만든 데이터를 실제 이미지랑 매핑하는 과정도 좀 복잡했다. 텍스트로 답 만들어놓고 나중에 이미지랑 연결한다는 게 이론적으론 이해되는데 실제 구현할 때 어떤 식으로 하는지 궁금하다. 프로젝션 레이어 학습하고 나서 전체 모델 학습하는 2단계 과정도 왜 꼭 나눠야 하는지 완전히 납득이 안 된다.

가장 인상 깊었던 점
BLIP이나 Flamingo는 짧고 건조한 답변하는데 LLaVA는 진짜 사람처럼 자세하고 자연스럽게 답변한다는 게 놀라웠다. 택시 뒤에서 다림질하는 이상한 사진 보고도 상황을 제대로 파악해서 설명하는 걸 보니 인스트럭션 튜닝 효과가 확실하다. 치킨 너겟으로 만든 지구 밈도 제대로 이해하고 유머러스하다고 표현하는 게 인상적이었음. 이제 AI가 단순히 사실만 나열하는 게 아니라 맥락과 의도를 파악해서 적절한 톤으로 답변할 수 있다는 게 신기하다. 개인 프로젝트로 "내 일상 사진 보고 일기 써주는 AI" 같은 거 만들어보고 싶어졌다.

앞으로 해볼 것들
당장 LLaVA 모델 찾아서 직접 돌려보려고 한다. 한국어 성능도 테스트해보고 내가 찍은 사진들로 실험해보고 싶다. 인스트럭션 튜닝 데이터셋 만드는 과정도 직접 해보면서 어떤 프롬프트가 좋은 답변을 만들어내는지 확인하고 싶고. Few-shot prompting도 실제로 적용해보면서 예제 개수나 품질에 따른 성능 차이를 측정해보려고. 회사 프로젝트에서 제품 이미지 자동 설명 기능 만들 때 이런 모델들 활용할 수 있을 것 같아서 기술적 feasibility도 체크해봐야겠다.

종합 평가
처음엔 그냥 또 다른 비전 언어 모델들인 줄 알았는데 학습 방법론의 중요성을 깨달았다. 특히 인스트럭션 튜닝이 모델 성능에 미치는 영향이 이렇게 클 줄 몰랐다. 기술적인 디테일은 아직 완전히 이해 못했지만 큰 방향성은 잡힌 것 같아서 만족스럽다. 실제 활용 가능성도 높아 보이고.

 

 URL: https://fastcampus.info/4n8ztzq