Link
Abstrct
Retrieval-Augmented Diffusion Models(RDM)의 추론 중에 검색 DB를 특정 비주얼 스타일의 이미지만 포함하는 보다 전문화된 DB로 교체합니다. 이것은 일반 훈련된 모델에 특정 시각적 스타일을 지정하는 새로운 방법을 제공합니다.
Recap on Retrieval-Argmented Diffusion Models
RDM의 목적 함수
Dtrain을 Dstyle로 교체합니다.
Text-Guided Synthesis of Artistic Images with RDMs
하단 : ImageNet에서 훈련된 RDM 모델
상단 : DB를 ImageNet에서 WikiArt로 교체
Fine-Grained Stylization with ArtBench
일반적인 AI-Art 모델은 프롬프트에 접미사 ”... in the style of ...”를 추가하여 스타일화를 에뮬레이트 할 수 있습니다.
본 논문에서는 스타일 별로 DB를 적용하여 대안적인 스타일화 방법을 제시합니다.
아래 그림은 LAION-2B-en에서 훈련된 RDM에서 Artbench의 각 style DB에 대해 ”Day and night fighting for the domination of time.” 문장에 대한 결과를 보여줍니다.
정량적 평가를 위해 스타일 당 70개의 샘플을 생성하고 본 논문의 방식과 접미사 기반 스타일화를 비교를 하였습니다.
이때 정확도와 분류기 로짓 모두 본 논문의 방식이 우위였습니다.
Additional Result
