IDM-VTON은 사용자가 인물 사진 한 장과 상의 이미지를 함께 입력하면, 사진 속 인물의 상의를 자연스럽게 변경해 주는 AI 모델입니다.
해당 모델은 카이스트 ALIN 연구소와 옴니어스 AI가 함께 개발한 모델로, 데모 페이지를 통해 체험해 볼 수 있습니다.
IDM-VTON 사용법 및 작동 방식
인물과 상의를 하나씩 입력한 후 이미지를 생성 요청하면, 변경된 영역이 표시된 이미지와 함께 상의가 변경된 모델 이미지가 제공됩니다.
데모 페이지에서 기본 옵션으로 제공하는 인물과 상의를 선택해서 사용할 수도, 직접 이미지를 업로드하여 진행할 수도 있습니다.
IDM-VTON 이미지 샘플
지금부터 기본으로 제공되는 인물, 의상과 제가 직접 업로드한 인물, 의상을 다양하게 조합해 보며 얼마나 자연스럽게 상의를 변경하는지 확인해 보겠습니다.
테스트는 Use Auto-generated mask 옵션과 Use Auto-crop & resizing 옵션이 활성화된 상태에서 진행되었습니다.
1. 기본 제공 인물 + 기본 제공 상의
인물과 상의 모두 데모 페이지에서 제공하는 기본 옵션을 선택한 예시입니다. 상의가 매우 자연스럽게 된 것을 알 수 있습니다.
2. AI 인물 업로드 + 기본 제공 상의
다음으로 미드저니에서 생성한 여성 이미지를 직접 업로드한 후, 세 가지 다른 기본 상의 옵션을 적용해 보았습니다.
첫 번째 예시입니다. 입력한 푸른색 상의가 어색함 없이 자연스럽게 반영된 것을 볼 수 있습니다.
옥에 티로는 상의에 해당되지 않는 귀걸이가 변경 영역에 포함되어, 일반적이지 않은 형태로 변경되었습니다. 포토샵으로 쉽게 수정 가능한 수준의 오류입니다.
다음으로 동일한 모델에 다른 상의를 적용해 보았습니다.
인물의 어깨 모양을 유지하느라 상의가 다소 부자연스럽게 반영되었습니다. 인물의 포즈와 상의의 종류에 따라 자연스러운 정도가 다른 것을 알 수 있습니다.
마지막으로 멋진 포즈를 취하고 있는 여성의 의상을 변경해 보겠습니다.
모델의 자세가 복잡해지면 제대로 반영하지 못하는 한계를 보여주는 예시입니다.
3. 기본 제공 인물 + 실제 상의 업로드
기본 제공 모델에 제가 실제로 즐겨 입는 얇은 니트를 적용해 보았습니다.
니트가 옷걸이에 걸려있고, 제대로 펼쳐져 있지 않았음에도 불구하고 굉장히 자연스럽게 반영되었습니다.
손도 변경 영역에 포함되어 원본과 다르게 표현된 것은 살짝 아쉬운 부분입니다.
다음 예시에서도 상의가 상당히 자연스럽게 반영되었습니다. 정면을 똑바로 바라보고 있는 인물 사진에는 새로운 옷이 자연스럽게 반영되는 것을 알 수 있습니다.
한쪽 바지 주머니 근처에 원본 재킷의 모양을 따라 니트가 꼬리처럼 표현된 것은 아쉬웠습니다.
마지막으로 하얀 반팔 티를 입은 실제 사람에 동일한 옷을 입혀보았습니다.
이번에는 AI가 변경할 영역을 설정할 때 옷이 아닌데 옷으로 오해할 만한 요소가 없었기에, 거의 완벽하게 새로운 상의가 반영되었습니다.
온라인 쇼핑몰에서 상의를 구매하는 경우, 해당 모델로 가상 피팅을 해봄으로써 구매 예정인 상의가 나에게 어울리는지 미리 확인해 볼 수 있을 것 같습니다.
사용 후기
AI 이미지 생성 분야에서 눈에 띄는 모델이 없었던 한국에서 IDM-VTON과 같은 모델이 개발되고 있었다는 사실이 놀라웠고, 자랑스럽습니다.
의상 변경 기능은 많은 유저들이 오랫동안 기다려온 다양한 영역에 활용할 수 있는 실용적인 기능입니다.
이 모델의 성능이 조금 더 개선되어 정식으로 출시된다면, 많은 유저들이 비용을 지불해서라도 이용할 것으로 예상됩니다.
한국에서 IDM-VTON과 같은 모델이 앞으로 더 많이 개발되길 바라며 이번 포스팅을 마치겠습니다.