StableDiffsion Upscaler(업스케일러) 어떤 걸 써야 할까?

Stable DIffusion Upscaler의 처음부터 끝까지 알아보자.

 

안녕하세요 Allan입니다.

 

이번 포스팅에서는 스테이블 디퓨전 업스케일러의 종류 및 각각의 차이점,
그리고 어떤 업스케일러를 써야 할지에 대해 알아보겠습니다.

 

---

미드저니, 스테이블 디퓨전 등 이미지 생성 AI를 체계적으로 그리고 효율적으로 공부해보고 싶은 분들을 위해서, 현재  와디즈에서 앵콜 펀딩을 진행하고 있습니다.

 

제 블로그에서 전달해드리는 미드저니, 스테이블 디퓨전에 관한 모든 정보를 체계적이고 누구나 이해할 수 있도록 정리해놓은 전자책과 강의 VOD를 구매하실 수 있습니다(평생 개인 소장). 

 

단순한 정보 정리를 넘어서 이미지 생성, 이미지 AI 수익화 노하우와 관련된 저 Allan의 실전적인 경험과 노하우를 모두 담았습니다.

 

저 Allan의 강의를 최초로 만나보실 수 있는 기회이고, 전자책과 강의 VOD를 가장 싼 가격에 만나볼 수 있는 기회이니 놓치지 않으셨으면 좋겠습니다. 아래의 링크로 접속하시면 상세한 정보 확인하실 수 있습니다.

[미드저니&스테이블 디퓨전의 모든 것] : 올인원 가이드북 펀딩

[앵콜] 미드저니&스테이블 디퓨전의 모든 것 : 올인원 가이드북

 

 

 

Ⅰ. Upscaler(업스케일러)란?

업스케일러란 StableDiffusion 등과 같은 생성 ai에서만 사용하는 용어가 아닌

말 그대로 이미지의 해상도를 높여주는 방법을 말합니다.

 

512*512해상도의 이미지를 1024*1024로 바꿔줄 때 픽셀과 픽셀 사이에 새로운 픽셀을 끼워 넣게 되는데,

여기서 픽셀을 끼워넣는 작업을 업스케일러가 하게 됩니다.

 

 

 

Ⅱ. Upscaler(업스케일러)의 종류

webui에서 제공하는 업스케일러는 다음과 같습니다.

업스케일러는 또 AI업스케일러와 비 AI업스케일러로 나뉘게 됩니다.

 

webui에서 제공하는 업스케일러들을 AI업스케일러와 비 AI업스케일러로 나눠보면 다음과 같습니다.

 

- 비AI 업스케일러 : Lanczos, Nearest

- AI 업스케일러 : LDSR, ESRGAN 4x, R-ESRGAN 4x, ScuNet, SwinIR, Latent

 

반응형

 

Ⅲ. Upscaler별 특징

몇 가지 주요 업스케일러의 특징에 대해서 알아보겠습니다.

 

1. 비AI Upscaler : Lanczos, Nearest

Lanczos와 Nearest은 단순한 수학적 알고리즘을 통해 업스케일을 합니다.
조금 구식 업스케일러이며 성능 또한 AI업스케일러에 비해 많이 뒤처집니다.

 

다음은 Lanczos와 AI업스케일러 중 하나인 R-ESRGAN으로 업스케일한 이미지의 비교자료입니다.

출처 : https://stable-diffusion-art.com/ai-upscaler/

한눈에 봐도 R-ESRGAN이 훨씬 좋은 성능을 가지고 있는 것을 볼 수 있습니다.

 

따라서, Lanczos와 Nearest는 없는 셈 치고 사용하시지 않는 것을 추천드립니다.

 

 

 

2. ESRGAN 4x, R-ESRGAN 4x

- ESRGAN 4x : Enhanced Super-Resolution Generative Adversarial Networks의 약자로 어느 업스케일링 대회에서 우승한 업스케일러라고 합니다. R-ESRGAN 4x가 나온 이후에는 거의 사용되지 않습니다. 

 

- R-ESRGAN 4x : ESRGAN 4x의 업그레이드 버전으로 현재 가장 많이 사용되는 업스케일러입니다.

실제사진에서 가장 성능이 좋으며 webui에서는 anime 버전의 R-ESRGAN도 제공하고 있습니다.

 

 

R-ESRGAN 4x 업스케일러를 이용해서 업스케일한 이미지를 보여드리겠습니다.

 

좌 : 원본, 우 : R-ESRGAN 4x, 출처 : https://stable-diffusion-art.com/ai-upscaler/

 

역시 가장 널리 사용되는 업스케일러답게 정말 뛰어난 성능을 가지고 있는 것을 볼 수 있습니다.

 

 

 

3. ScuNet, SwinIR

이 친구들은 거의 사용되지 않기 때문에 패스하겠습니다.

 

4.LDSR

성능은 좋으나 속도가 너무 느려 사용하지 않는 것을 추천드립니다.

 

 

5. Latent

Latent업스케일러는 AI에서만 사용되는 업스케일러입니다.

원리에 대해서 간략하게 말씀드리자면 Stable Diffusion은 그림을 생성할 때 Diffusion모델을 사용하는데

이 Diffusion모델은 가상의 공간에서 생성되는데 이와 동일한 가상의 공간에서 업스케일을 하는 것이라 보시면 됩니다.

 

즉, 다른 업스케일러는 이미 완성된 이미지를 업스케일하는 것이고

이 Latent업스케일러는 이미지가 생성될 때 동시에 업스케일을 하는 것입니다.

 

그래서 webui의 Extra탭에서는 Latent업스케일러를 사용할 수 없는 것을 볼 수 있습니다.

latent업스케일은 이미지가 생성되는 t2i의 hires.fix 혹은 i2i에서만 사용하실 수 있습니다.

 

 

 

Ⅳ. 어떤 Upscaler를 사용해야 할까?

제가 추천드리는 Upscaler는 Latent와 R-ESRGAN 4x입니다.

 

Latent업스케일러와 R-ESRGAN 4x는 근본적으로 다른 업스케일러이기 때문에 중복으로 적용할 수 있습니다.

 

저의 경우에는 고해상도의 이미지를 생성할 때
Latent업스케일을 t2i 혹은 i2i에서 진행한 후 Extras에서 R-ESRGAN 4x 업스케일을 적용하여 이미지를 생성합니다.

 

고화질의 이미지를 생성하시는 자세한 방법에 대해서 궁금하시다면 아래 포스팅을 참고해 주세요.

webui Upscale : 나만 고화질 이미지 생성이 안된다면??

webui Upscale : 나만 고화질 이미지 생성이 안된다면??

 

이 글을 읽는 모든 분들이 업스케일러를 잘 활용해서 고해상도의 이미지를 생성할 수 있기를 바라겠습니다.

 

 

Allan의 모든 경험과 노하우가 담긴 [미드저니&스테이블 디퓨전의 모든 것] 전자책 구매 링크

[미드저니&스테이블 디퓨전의 모든 것] : 올인원 가이드북

미드저니, 스테이블 디퓨전의 모든것 - 크몽

 

 

도움이 되셨다면 광고 한번씩 클릭해 주시면 정말 감사하겠습니다. :)