트웰브랩스, 로봇 학습용 1인칭 영상 분석 강화한 페가수스 1.6 출시

트웰브랩스가 10월 7일 1인칭 영상 이해를 강화한 비전언어모델 페가수스 1.6을 출시했다고 밝혔다. 작업 영상을 행동별로 나누고 사물·도구·작업 결과와 발생 시점을 기록한다. 회사 설명에 따르면 촬영 품질이 낮은 영상을 걸러내고, 필요한 작업 장면을 자연어로 검색하는 기능도 제공한다.

기업이 필요한 정보의 종류와 출력 형식을 지정하면 행동이 발생한 시점까지 기록할 수 있다.

영상 속 얼굴과 개인정보 등 검토가 필요한 부분도 식별한다.

회사는 미국의 한 로보틱스 학습 데이터 기업이 페가수스로 하루 수십만 시간의 영상을 처리한다고 설명했다. 이 수치는 해당 기업의 활용 규모이며, 모델의 처리 속도 벤치마크는 아니다.

공개 데이터셋 Ego-Exo4D는 1286시간 영상에 행동·작업 과정을 표시하는 데 20만 시간 이상의 노동력이 투입된 사례로 소개됐다.

로봇 학습용 영상 수집 이후의 선별·행동 설명 작업을 자동화하는 데 초점을 맞췄다.