패스트캠퍼스 환급챌린지 18일차 : Computer Vision Signature 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

공부 시작 시각 / 공부 종료 시각

 

 수강 인증 사진

학습 인증샷 (필기)

챌린지 대상 강의 완강률 

18일차, 강의 후기

각 챕터별 느낀 점

 

Ch08-01. Vision Language Action 모델 개요

- VLA라는 개념이 처음엔 좀 추상적으로 느껴졌는데 로봇이 카메라로 보고 사람 말 듣고 행동까지 한다는 게 SF 영화 같았다. 그동안 배운 비전 언어 모델들이 단순히 이미지 설명하는 수준이었다면 이젠 실제 물리적 행동까지 연결된다니 차원이 다르다는 생각이 들었음. 근데 로봇 제어가 얼마나 복잡한지 생각해보니 정말 어려운 문제일 것 같다.

 

Ch08-02. SayCan 모델 소개

- 구글 답게 실용적인 접근이었다. "냉장고에서 음료 가져와"라고 말하면 실제로 로봇이 움직여서 가져온다는 게 신기했음. 언어 이해와 행동 계획을 분리해서 처리하는 아이디어가 깔끔했다. 다만 미리 정의된 행동들의 조합으로만 움직인다는 한계가 아쉬웠다. 예상치 못한 상황에서는 어떻게 대응할지 궁금하고.

 

Ch08-03. RT-1 모델 분석

- 트랜스포머를 로봇 제어에 쓴다는 발상이 참신했다. 텍스트나 이미지 처리하던 구조를 로봇 관절 제어에까지 적용한다니. 13만 개 로봇 에피소드로 학습했다는데 데이터 수집이 정말 힘들었을 것 같다. 로봇 하나하나 사람이 조작해서 데이터 만들어야 하니까. 성공률 97%라는 수치는 인상적이지만 비교적 단순한 태스크에서의 결과인 것 같아서 복잡한 일은 어떨지 의문이다.

 

Ch08-04. PaLM-E 모델 심화

- 5400억 파라미터라는 크기에 놀랐다. GPT 수준의 언어 모델을 로봇에 넣는다는 게 정말 과감한 시도였음. 텍스트, 이미지, 로봇 센서 데이터를 모두 토큰화해서 처리한다는 아이디어가 우아했다. 다만 이렇게 큰 모델을 실시간 로봇 제어에 쓸 수 있을지 의문이다. 추론 속도가 너무 느릴 것 같은데.

 

Ch08-05. RT-2 모델 발전사항

- 웹 데이터로 사전 학습한 VLM을 파인튜닝한다는 접근이 똑똑했다. 일반적인 상식을 가진 모델에 로봇 제어 능력을 추가하는 방식이라서 효율적인 것 같다. 제로샷 성능이 RT-1보다 3배나 좋다는 결과도 인상적이었음. 새로운 물체나 상황에서도 어느 정도 대응할 수 있다는 게 실용성 면에서 큰 발전이다.

 

Ch08-06. OpenVLA 모델 특징

- 오픈소스로 나온 게 가장 반가웠다. 그동안 구글이나 대기업 연구소에서만 할 수 있던 일을 일반 연구자들도 접근할 수 있게 됐다는 점이 의미있다. 7B 파라미터로 상당한 성능을 낸다는 것도 놀라웠고. 실제로 내려받아서 테스트해볼 수 있다는 게 기대된다.

 

개인적으로 든 생각들

- VLA 모델들이 로봇 산업에 미칠 영향이 엄청날 것 같다. 지금까지는 로봇마다 따로 프로그래밍해야 했는데 이제는 자연어로 명령하면 알아서 행동한다니. 제조업부터 가사 도우미까지 적용 범위가 무궁무진할 듯하다.

특히 멀티태스크 학습 능력이 인상적이었다. 한 모델로 여러 가지 일을 할 수 있다는 건 범용 로봇의 가능성을 보여준다. 다만 안전성 문제가 걱정된다. 잘못 행동하면 물리적 피해가 생길 수 있으니까.

데이터 수집의 어려움도 느꼈다. 언어나 이미지는 인터넷에 널려있지만 로봇 행동 데이터는 직접 만들어야 하니까 확장성에 한계가 있을 것 같다.

 URL: https://fastcampus.info/4n8ztzq