안녕하세요 Allan입니다.
이번 포스팅에서는 SDXL Turbo에 대한 간단한 설명과 webui에서의 사용 방법에 대해서 소개해 드리겠습니다.
SDXL에 대한 내용과 사용 방법을 먼저 알고 오시면 도움이 됩니다.
구글 코랩에서 SDXL 실행하는 방법
안녕하세요 Allan입니다. 이번 포스팅에서는 코랩에서 SDXL을 실행하는 방법에 대해서 알아보도록 하겠습니다. Ⅰ. 코랩에서 SDXL 세팅하기 webui 1.6.0 부터 SDXL 모델을 지원합니다. 그렇기 때문에 SDXL
ai-designer-allan.tistory.com
SDXL Turbo란?
SDXL Turbo는 SDXL 모델을 파인튜닝하여 낮은 샘플링 스텝으로 이미지를 생성할 수 있도록 한 모델입니다.
하지만 베이스 모델인 SDXL과 다르게 1024*1024 이미지를 생성하도록 훈련된 모델이 아닌 SD 1.5 모델과 같은 512*512 해상도의 이미지를 생성하도록 훈련되었습니다.
요약하자면 다음과 같습니다.
- SDXL Trubo는 SDXL을 파인튜닝한 모델.
- SDXL보다 훨씬 더 빠르게 이미지를 생성할 수 있지만 퀄리티 저하 존재.
- 512*512 해상도 이미지 생성
SDXL Trubo 사용 방법
터보모델 사용 방법은 SDXL과 동일합니다.
SDXL Turbo 모델을 다운 받은 후 Checkpoint 폴더에 넣어주시면 됩니다.
SDXL Turbo 모델은 Civitai에서 turbo 모델로 필터 적용 후에 확인하실 수 있습니다.
대표적인 모델로는 SDXL, SD1.5 에서도 자주 사용하는 체크포인트인 Dreamshaper가 있으니 이 체크포인트를 사용하시는 것을 추천드립니다.
참고로 공식 모델은 아래 stablilityai Hugging Face에서 다운받으실 수 있습니다.
https://huggingface.co/stabilityai/sdxl-turbo/blob/main/sd_xl_turbo_1.0_fp16.safetensors
SDXL Turbo 기본 세팅
SDXL Turbo는 이전까지의 스테이블 디퓨전 모델들과 파라미터 세팅 값이 조금 다릅니다.
위에서 설명드린 것처럼 낮은 샘플링 스텝이 대표적인 예입니다.
파라미터 세팅 값은 공식 모델과 Dreamshaper 모델과 약간의 차이가 있으니 확인하시고 본인이 선택한 모델에 맞게 설정해 주시면 되겠습니다.
Dreamshaper
1. Sampling steps : 4~7
2. Sampling method : DPM++ SDE Karras
3. CFG scale : 2
sd_xl_turbo_1.0_fp16.safetensors
1. Sampling steps : 1
2. Sampling method : Euler a
3. CFG scale : 1
이번 포스팅에서는 Dreamshaper 모델을 사용해 보겠습니다.
SDXL Turbo 모델로 이미지 생성하기
turbo 모델을 사용하기에 앞서, 먼저 SDXL 모델 전용 VAE로 설정해주셔야 합니다,
SDXL 전용 VAE는 맨 위에 링크한 SDXL에 관한 포스팅에서 확인하실 수 있습니다.
설정해 주셨다면 프롬프트를 다음과 같이 작성하도록 하겠습니다.
Prompt
anime girl, night, blue light behind her, ((Galaxy, Lens flare)), short hair, flower field, night sky, cinematic shot. Wallpaper. (Blue color schema), detailed background, a city in the distance
negative Prompt
cgi, 3d render, bad quality, worst quality, text, signature, watermark, extra limbs
파라미터는 다음과 같이 설정해 주겠습니다.
이미지 해상도는 당연하게도 다르게 설정하는 것도 가능하지만, 512*512 해상도의 이미지를 생성하도록 훈련되었다고 하니 권장되는 값인 512*512로 설정해 주고 이미지를 생성해 보겠습니다.
anime girl, night, blue light behind her, ((Galaxy, Lens flare)), short hair, flower field, night sky, cinematic shot. Wallpaper. (Blue color schema), detailed background, a city in the distance
Negative prompt: cgi, 3d render, bad quality, worst quality, text, signature, watermark, extra limbs
Steps: 7, Sampler: DPM++ SDE Karras, CFG scale: 2, Seed: 1778337642, Size: 512x512, Model hash: 676f0d60c8, Model: dreamshaperXL_turboDpmppSDE, Clip skip: 2, Version: v1.6.1
Time taken: 3.5 sec.
퀄리티가 SDXL 보다는 나쁘지만, 시간은 확실히 개선된 것을 확인할 수 있습니다.
photo of the warrior Aragorn from Lord of the Rings, film grain, 8k hd
Negative prompt: (deformed iris, deformed pupils), text, worst quality, low quality, ugly, BadDream UnrealisticDream
Steps: 7, Sampler: DPM++ SDE Karras, CFG scale: 2, Seed: 1911318199, Size: 512x512, Model hash: 676f0d60c8, Model: dreamshaperXL_turboDpmppSDE, Clip skip: 2, Version: v1.6.1
Time taken: 3.7 sec
2D 보다 실사에 특화된 모델인 Dreamshaper 모델 답게 실사 쪽에서는 조금 더 나은 퀄리티를 보여주고 있습니다.
no humans, landscape, oil on matte canvas, sharp details, the expanse scifi spacescape ceres colony, intricate, highly detailed, digital painting, rich color, smooth, sharp focus, illustration, Unreal Engine 5, 8K, art by artgerm and greg rutkowski and alphonse mucha
Negative prompt: render, cartoon, cgi, render, illustration, painting, drawing
Steps: 7, Sampler: DPM++ SDE Karras, CFG scale: 2, Seed: 4062436736, Size: 512x512, Model hash: 676f0d60c8, Model: dreamshaperXL_turboDpmppSDE, Denoising strength: 0.4, Clip skip: 2, Hires upscale: 2, Hires upscaler: 4x-UltraSharp, Version: v1.6.1
Time taken: 22.1 sec
이 이미지는 hires.fix를 적용한 이미지입니다.
22.1 초는 코랩 T4 GPU 기준 SD 1.5 hires.fix 보다 1/3 정도 되는 소요 시간이니 엄청나게 빠른 속도하고 볼 수 있습니다.
SDXL Turbo 사용 후기
이렇게 SDXL Turbo 모델을 사용하여 이미지를 생성해 보았습니다.
사용해 보며 느낀 점들을 정리해 보겠습니다.
- 속도 개선은 정말 놀라울 정도로 체감된다.
- 512*512 해상도로 훈련되었다고는 하나 다른 해상도의 이미지와의 퀄리티 차이는 크게 없다.
- SDXL 모델과 비교했을 때 약간의 퀄리티 저하는 존재한다.
- hirex.fix를 적용하면 생성 시간이 비약적으로 증가하나, SDXL이나 SD 1.5에 비해서는 훨씬 빠르다.
아직 Turbo 모델이 없는 경우가 많지만, 더 많은 체크포인트들이 Turbo 모델을 지원한다면, 이미지 생성 속도에 혁신을 불러올 수 있을 것이라 생각합니다.
속도 개선은 엄청나나 이미지 퀄리티 저하는 그렇게 크지 않아 SDXL을 사용해 보신 분들은 반드시 Turbo 모델도 사용해 보시는 것을 추천드립니다.
긴 글 읽어주셔서 감사합니다.
도움이 되셨다면 광고 한 번 씩 클릭해 주시면 감사하겠습니다 ^^
