Stable Diffusion ControlNet : reference only 알아보기

ControlNet이 업데이트되면서 새로운 기능들이 추가되었습니다.

가장 대표적인 예로 이번에 소개해드릴 reference only입니다.

물론 reference only가 추가된지는 꽤 시간이 지낫지만 늦게나마 reference only에 대해서 소개해 드리도록 하겠습니다.

Ⅰ. reference only란?

reference only는 컨트롤넷 모델의 종류로 ControlNet 1.1.15v 이상부터 사용할 수 있습니다.

만약 ControlNet 구버전을 사용하고 계시다면 업데이트하여 사용하셔야 합니다.

ControlNet 업데이트 방법은 아래 포스팅을 참고해 주세요.

안녕하세요 Allan입니다. 컨트롤넷이 1.1 버젼으로 업데이트 된지 시간이 꽤 지났지만 티스토리 운영을 한동안 하지 않아 소식을 전해드리지 못했습니다. 이번 포스팅에서는 컨트롤넷(controlnet) 1.1

ai-designer-allan.tistory.com

Reference only는 다른 컨트롤넷 모델들과 완전히 다른 방식으로 사용됩니다.

Reference only는 컨트롤넷에 레퍼런스 이미지를 전달하고 오직 레퍼런스 이미지만을 참고하여 이미지를 생성합니다.

reference only의 특징은 다음과 같습니다.

reference only는 사실상 img2img와 비슷한 역할을 하지만 스테이블 디퓨전 모델에 영향을 받지 않고 오직 레퍼런스 이미지만을 참고한다는 점에서 훨씬 편리하다는 장점이 있습니다.

예를 들면, img2img를 사용하기 위해서는 레퍼런스 이미지와 비슷한 스타일의 모델을 적용해야 하지만 reference only를 사용하게 되면 그러한 수고로움을 덜어줄 수 있습니다.

다음은 reference only를 사용한 이미지 생성 예시입니다,

아래에서 우측에 있는 이미지가 레퍼런스 이미지이고 나머지는 reference only를 이용하여 생성한 이미지입니다.

레퍼런스 이미지와 매우 비슷한 이미지들을 생성한 것을 확인할 수 있습니다.

1. 구 버전의 컨트롤넷을 사용하고 있다면 신버전으로 업데이트 해줍니다.

2. 다음과 같이 설정해 줍니다.

레퍼런스 이미지를 업로드하고 나머지 파라미터 값은 위와 같이 설정합니다.

Control Mode는 취향에 맞게 설정해 주시면 됩니다.

3. img2img로 가서 이미지를 업로드합니다.

4. Interrogate DeepBooru 혹은 CLIP으로 레퍼런스 이미지의 프롬프트를 추출합니다.

5. 프롬프트를 text2img 탭으로 가져옵니다.

6. 이미지를 생성합니다.

저작자표시 비영리 변경금지