인하대 PRI, 이미지 패치 재활용으로 데이터 없는 모델 지식 전달 가속

인하대가 원본 학습 데이터 없이 비전 트랜스포머의 지식을 다른 모델에 전달하는 PRI 기술을 개발했다고 밝혔다. 초기에 중요도가 낮은 이미지 패치도 계속 최적화해 합성 이미지 생성에 재활용한다. 논문 실험에서 생성 속도는 기존 희소 역변환보다 최대 2배, 밀집 역변환보다 최대 10배 빨랐다.

학습된 모델의 정보로 합성 이미지를 만드는 모델 역변환을 이용하며, 생성한 이미지는 다른 모델의 학습 자료로 쓴다.

기존 방식은 초기 중요도가 낮은 패치를 제거하지만, PRI는 중요한 패치를 단계적으로 분리하면서 남은 패치도 계속 최적화한다.

속도 수치는 논문 실험의 합성 이미지 생성 단계에 해당한다.

논문 ‘Patch Rebirth: Fast and Transferable Model Inversion of Vision Transformers’는 NeurIPS 2026 채택 논문 목록에 올랐다.

버릴 패치를 계속 다듬어 후속 이미지에 쓰는 구조가 합성 학습 자료를 만드는 비용을 줄이는 접근이다.