구글 코랩에서 SDXL 실행하는 방법

안녕하세요 Allan입니다.

이번 포스팅에서는 코랩에서 SDXL을 실행하는 방법에 대해서 알아보도록 하겠습니다.

Ⅰ. 코랩에서 SDXL 세팅하기

webui 1.6.0 부터 SDXL 모델을 지원합니다.

그렇기 때문에 SDXL 모델만 준비가 된다면 우리가 SD1.5를 실행하는 것처럼 webui에서 SDXL을 실행할 수 있습니다.

주의해야할 점은 코랩으로 SDXL을 실행하려면 고용량 RAM으로 설정하여 코랩을 실행해야 한다는 것입니다.

먼저, SDXL 모델을 준비해 줍니다.

SDXL은 Civitai에서 다운받을 수 있습니다.

저는 아래 링크의 모델을 다운받도록 하겠습니다.

다운 받았다면 SD1.5와 동일한 경로로 모델을 넣어줍니다.

SDXL은 SD1.5와 다르게 모델 외에도 refiner 모델이 추가로 필요합니다.

SDXL 기본 refiner 모델은 아래 링크에서 다운받을 수 있습니다.

https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/tree/main

stabilityai/stable-diffusion-xl-refiner-1.0 at main

huggingface.co

refiner모델은 Hires.fix 밑 혹은 우측에서 설정할 수 있습니다.

여기까지 코랩에서 SDXL을 사용하기 위한 세팅을 정리해보도록 하겠습니다.

Ⅱ. SDXL로 이미지 생성하기

SDXL로 이미지를 생성하기 위해 빼먹지 말고 설정해 두어야 하는 것이 있습니다.

VAE : Automatic 혹은 SDXL 전용 VAE 사용하기. SD 1.5 전용 VAE를 사용하면 이미지가 망가져서 생성됩니다.
이미지 사이즈
SD 1.5에서 자주 사용하던 이미지 사이즈는 512*512, 512*768 등입니다. 하지만 SDXL에서는 768*1280,1024*1024로 이미지 사이즈를 설정해야 됩니다.

저는 VAE를 SD1.5 전용으로 설정하여 꽤나 고생을 했었습니다.

아무튼, 이대로 이미지를 생성해 보도록 하겠습니다.

refiner는 적용해도 되고, 적용하지 않아도 좋습니다.

refiner의 역할을 간단하게 말씀드리면, 설정해둔 모델로 이미지를 어느정도 생성한 후 설정한 값에 따라 refiner모델로 나머지 부분을 생성하는 것입니다.

예를 들어 refiner switch at을 0.6으로 설정하고 Sampling steps를 20으로 설정했다면, 12스텝은 설정한 모델로, 8스텝은 리파이너 모델로 이미지를 생성합니다.

switch at은 언제부터 리파이너 모델을 사용할 것인지 설정하는 파라미터입니다.

개인적으로는 적용하나 적용하지 않으나 결과물의 차이가 크지 않다고 생각하여 적용하지 않고 실행해 보도록 하겠습니다.

xxmixgirl, woman with a necklace and a necklace with a neon sign in the background, popular korean makeup, character album cover, dark psychedelia style, joy, promotional photoshoot, with a dark fringe, vogue cover style, promotional render, center parted curtain bangs
Negative prompt: (worst quality, low quality, illustration, 3d, 2d, painting, cartoons, sketch), tooth, open mouth
Steps: 30, Sampler: Restart, CFG scale: 10, Seed: 443837757, Size: 768x1280, Model hash: a94255c529, Model: xxmix9realisticsdxl_v10, Clip skip: 2, Version: v1.6.0

참고로 Hires.fix는 적용하지 않았습니다.

언뜻봐도 SD 1.5 보다 퀄리티가 훨씬 좋은 것을 볼 수 있습니다.

얼굴 부분이 어색하여 인페인트 작업을 해보도록 하겠습니다.