스테이블 디퓨전 colab에서 lora와 embedding 적용하기

안녕하세요 Allan 입니다.

 

이번 포스팅에서는
lora 와 embedding을 적용하는 방법에 대해서 알아보겠습니다.

 

로라를 적용할 때 입력해야 할 trigger words,

로라와 임베딩의 가중치 

등등 처음시작하시는 분들이 헷갈려 하시는 부분들에 대해서도
상세하게 알아보도록 하겠습니다.

 

lora와 embedding에 대해서 잘 모르신다면
아래 게시물을 참고해 주세요.

스테이블 디퓨전 Checkpoint, lora, vae, embedding 완벽정리

스테이블 디퓨전 Checkpoint, lora, vae, embedding 완벽정리

---

미드저니, 스테이블 디퓨전 등 이미지 생성 AI를 체계적으로 그리고 효율적으로 공부해보고 싶은 분들을 위해서, 현재  와디즈에서 앵콜 펀딩을 진행하고 있습니다.

 

제 블로그에서 전달해드리는 미드저니, 스테이블 디퓨전에 관한 모든 정보를 체계적이고 누구나 이해할 수 있도록 정리해놓은 전자책과 강의 VOD를 구매하실 수 있습니다(평생 개인 소장). 

 

단순한 정보 정리를 넘어서 이미지 생성, 이미지 AI 수익화 노하우와 관련된 저 Allan의 실전적인 경험과 노하우를 모두 담았습니다.

 

저 Allan의 강의를 최초로 만나보실 수 있는 기회이고, 전자책과 강의 VOD를 가장 싼 가격에 만나볼 수 있는 기회이니 놓치지 않으셨으면 좋겠습니다. 아래의 링크로 접속하시면 상세한 정보 확인하실 수 있습니다.

[미드저니&스테이블 디퓨전의 모든 것] : 올인원 가이드북 펀딩

[앵콜] 미드저니&스테이블 디퓨전의 모든 것 : 올인원 가이드북

 

 

 

Ⅰ. lora 적용하기

 

먼절 로라를 다운받아 주도록 하겠습니다.

 

(아래 사이트에서 다른 로라파일을 다운하셔도 좋습니다.)

 

https://civitai.com/models/8217/fashion-girl

Fashion Girl | Stable Diffusion LORA | Civitai

 

다운로드를 하셨다면 구글 드라이브의 아래 경로에 넣어주도록 하겠습니다.

sd/stable-diffusion-webui/models/lora/

 

그럼 다시 webui로 돌아와 우측 Generate 버튼 아래

show extra networks(빨간 네모박스 친 부분)을 눌러 주겠습니다.

 

버튼을 누르게 되면 Negative prompt 아래 다음과 같은 창이 

새로 생겨난 것을 볼 수 있습니다.

 

상단에 보면 Textual inversion, hypernetworks,Checkpoints 가 있는 것을 볼 수 있습니다.

 

드라이브의 올바른 경로에 로라파일을 넣으셨다면

 

다음과 같이 다운받은 로라파일을 볼 수 있습니다.

 

(로라 파일이 안뜬다면 우측의 Refresh 버튼을 눌러주세요.)

 

 

그럼 이제 lora파일을 적용하는 방법에 대해서 알아보겠습니다.

 

첫번째로 이미지에서 사용하고 싶은 lora파일을 클릭해 줍니다.

클릭하셨다면 위와 같이 새로운프롬프트가 추가된 것을 볼 수 있습니다.

":1"부분은 로라파일의 가중치로
1이하로 설정하실 수 있습니다.

 

또한 여러 로라파일을 동시에 적용할 수도 있는데

가중치 합을 1로 맟춰 주셔서 동시에 적용하시면 됩니다.

 

예를들면 다음과 같습니다.

<lora 파일1:0.5><lora 파일2:0.5>

 

두 번째로는 Trigger Words를 프롬프트에 입력해 주는 것입니다.

 

위에서 로라파일을 다운받았던 사이트에 들어가보면

다음과 같이 우측에 Trigger Words가 있습니다.

위의 Trigger Words들을 프롬프트에 복사해주면

더 효과적으로 로라파일을 적용할 수 있게 됩니다.

 

(Trigger Words를 입력하지 않는다고 로라가 적용되지 않는 것은 아니지만

입력하는 것을 추천드립니다.)

 

반응형

 

 

Ⅱ. embedding 적용하기

embedding은 textual inversion으로 불리기도 합니다.

 

먼저 다운받아 주도록 하겠습니다.

 

https://civitai.com/models/7808/easynegative

EasyNegative | Stable Diffusion TextualInversion | Civitai

 

EasyNegative는 자주 사용되는 Negative prompt를
한번에 적용할 수 있도록 해주는 embedding입니다.

 

(별로 효과 없다는 사람들도 있으니 취향에 맞게

다른 임베딩을 사용하셔도 좋습니다.)

 

embedding의 다운 경로는 다음과 같습니다.

sd/stable-diffusion-webui/embeddings/

 

적용하는 방법은 로라와 거의 동일합니다.

 

'show extra networks' 버튼을 누르신 후

다음과 같이 Textual  inversion에 들어가

다운받은 임베딩이 있는지 확인 해 줍니다.

로라를 적용시킬 때와 같이 임베딩 파일을 클릭해 줍니다.

 

아래와 같이 negative prompt에 새로운 프롬프트가 추가된 것을 볼 수 있습니다.

주의 하셔야 할 점은 '네거티브 프롬프트'가 아닌

그냥 '프롬프트'에 입력하시면 안된다는 것입니다.

 

추가적으로 임베딩도 가중치를 조절할 수 있습니다.

저는 easynegative를 0.75의 가중치로 사용하는 것을

선호하기 때문에

다음과 같이 수정해 주도록 하겠습니다.

 

Ⅲ. 이미지 생성하기

마지막으로 lora와 embedding을 적용하여

이미지를 생성해 보도록 하겠습니다.

 

모델은 아래 포스팅에서 사용한 모델을 사용하겠습니다.

모델 적용방법을 모르신다면
아래 포스팅을 참고해 주세요.

스테이블 디퓨전 colab : Checkpoint/model 적용하기

스테이블 디퓨전 colab : Checkpoint/model 적용하기

 

먼저 lora파일을 다운받은 사이트에 들어가셔서

다음과 같이 빨간 네모박스 안의 설정들을 그대로 따라해 주도록 하겠습니다.

(seed값은 그대로 두셔도 좋습니다.)

 

이후에 
이번 포스팅에서 배운대로 로라파일과 임베딩 파일을 적용해 줍니다.

 

easynegive같은 경우는 이미 Negative prompt에 들어가 있으므로

가중치만 조절해 주도록 하겠습니다.

 

적용을 다 하셨다면 Generate 버튼 눌러주시면 그림생성 완료입니다.

 

제가 생성한 그림 보여드리면서 마치도록 하겠습니다.

 

 

Allan의 모든 경험과 노하우가 담긴 [미드저니&스테이블 디퓨전의 모든 것] 전자책 구매 링크

[미드저니&스테이블 디퓨전의 모든 것] : 올인원 가이드북

미드저니, 스테이블 디퓨전의 모든것 - 크몽

 

 

도움이 되셨다면 광고 한번씩 클릭해 주시면 정말 감사하겠습니다. :)