패스트캠퍼스 환급챌린지 14일차 : Computer Vision Signature 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

공부 시작 시각 / 공부 종료 시각

 

 수강 인증 사진

학습 인증샷 (필기)

챌린지 대상 강의 완강률 

14일차, 강의 후기

 

 

📌 전반적인 소감

 - 멀티모달 AI의 역사적 의미를 제대로 알게 됨
 -  2021년 논문이지만 지금 봐도 혁신적인 아이디어라고 생각
 -  복잡해 보이지만 핵심 개념은 생각보다 직관적이었음
 -  강의 내용이 체계적으로 구성되어 있어서 따라가기 수월했음
 -  교수님 설명이 차근차근 단계별로 이해하기 쉽게 되어 있음

👍 좋았던 점

 -  기존 비전 모델의 한계점부터 차근차근 설명해주신 점
 -  GPT 성공 사례와 연결지어 설명한 게 이해하기 쉬웠음
 -  50억 개 LAION 데이터셋 규모에 정말 놀람
 -  Contrastive Learning 개념이 명확하게 와닿음
 -  바나나 스케치 예시가 제로샷 성능을 잘 보여줌
 -  이미지-텍스트 페어 학습 방식의 참신함
 -  레이블링 없이도 학습 가능한 점이 인상적
 -  실제 활용 예시들이 구체적이고 실용적

🤔 아쉬웠던 점

 -  수식이나 구체적인 Loss 함수 설명 부족
 -  ViT 구조에 대한 설명이 좀 더 자세했으면 좋겠음
 -  실제 성능 수치 비교 데이터가 부족
 -  다른 멀티모달 모델과의 비교 설명 필요
 -  한국어 데이터셋에 대한 성능은 어떤지 궁금함
 -  코사인 유사도 계산 과정 예시가 더 있었으면

💡 인상 깊었던 내용

 -  레이블링 작업을 텍스트 인코더가 대신한다는 발상 전환
 -  같은 임베딩 공간에서 이미지-텍스트 매칭하는 방식의 우아함
 -  웹 크롤링만으로 50억 개 데이터 확보한 스케일의 압도적임
 -  제로샷으로 새로운 클래스 분류 가능한 점의 혁신성
 -  Self-supervised Learning 방식의 효과성
 -  기존 ImageNet 학습 모델보다 일반화 성능이 뛰어난 점
 -  GPT-like 텍스트 인코더 설계의 섬세함

🎯 다음 시간 기대사항

 -  실제 코드 구현 과정이 정말 궁금함
 -  GPU 세팅 방법 배우고 싶음
 -  직접 돌려보면서 성능 확인해보고 싶음
 -  다른 멀티모달 모델과의 비교도 기대
 -  실습을 통해 이론을 체감해보고 싶음
 -  내가 원하는 이미지로 테스트해보고 싶음

📝 추가 공부 계획

 -  CLIP 원논문 정독 예정
 -  LAION 데이터셋 구조 더 알아보기
 -  Contrastive Learning 관련 논문들 찾아보기
 -  최신 멀티모달 모델들(GPT-4V, DALL-E 등)과 비교 연구
 -  한국어 멀티모달 데이터셋 현황 조사
 -  실제 프로젝트 적용 방안 고민

전체적으로 멀티모달 AI 입문에 정말 좋은 강의였음. 실습이 더 기대됨.

 URL: https://fastcampus.info/4n8ztzq