컨트롤넷(controlnet) 1.1 업데이트 분석│설치 방법 및 기존 버전에서 업데이트 방법

안녕하세요 Allan입니다.

 

컨트롤넷이 1.1 버젼으로 업데이트 된지 시간이 꽤 지났지만 티스토리 운영을 한동안 하지 않아 소식을 전해드리지 못했습니다.

 

이번 포스팅에서는 컨트롤넷(controlnet) 1.1 버젼 업데이트 내용과 업데이트 방법에 대해서도 말씀해 드리겠습니다.

 

컨트롤넷의 기본적인 내용이 궁금하시다면 아래 포스팅을 먼저 보고 오시면 도움이 될 것 같습니다.

webui ControlNet(컨트롤넷) 다운/기능/사용방법/종류/설치방법

webui ControlNet(컨트롤넷) 다운/기능/사용방법/종류/설치방법

 

 

Ⅰ. 컨트롤넷 1.1v 업데이트 내용

컨트롤넷 1.1버젼으로 업데이트 되면서 기존 컨트롤넷 모델들의 성능이 좋아짐은 물론 다양한 모델들이 새로 업데이트 되었습니다.

 

기존에 있던 Openpose를 예시로 들어보겠습니다.

 

Openpose는 1.1 버젼으로 넘어오면서, openpose는 다음과 같이 세부적으로 나뉘었습니다.

 

1. openpose

2. openpose_face

3. openpose_faceonly

4. openpose_hand

 

저는 컨트롤 넷 중 오픈포즈를 자주 사용하기 때문에 이렇게 오픈포즈의 기능이 좋아지고 다양하게 된 것에 대해 매우 만족하며 사용하고 있습니다.

 

다음은 새로 도입된 모델들에 대해서 간략하게 말씀드리겠습니다.

 

개인적으로 생각했을 때 주요한 업데이트 내용들만 소개해 드리니 자세한 내용은 아래 링크에서 확인해 보시면 감사하겠습니다.

 

1. Canny와 비슷한 역할을 하는 lineart

제목에서 말씀드린 것처럼 lineart는 기존의 Canny와 유사한 역할을 합니다.

(Canny가 사라진 것은 아닙니다.)

 

Canny와 구체적으로 어떠한 차이가 있는지는 모르겠지만 경험상 linearart의 성능이 조금 더 좋은 것으로 생각됩니다.

 

lineart의 전처리기(preprocessor)는 다음과 같이 세분화 됩니다.

1. lineart_anime

2. lineart_anime_denoise

3. lineart_coarse

4. lineart_realistic

5. lineart_standard

 

저는 1번과 4번을 주로 사용하며 다른 모델들은 테스트 해보지는 않았습니다.

테스트 하는 것 자체는 어려운 방법이 아니니 관심 있으시면 직접 테스트 해보시면서 본인에게 맞는 모델을 사용하시는 것을 추천드립니다.

 

2. ControlNet 1.1 Shuffle

셔플은 말 그대로 전처리기를 셔플하여 새로운 이미지를 생성하는 모델입니다.

(전 처리기는 아래 사진에서 좌측 이미지를 말합니다. 지금 까지 제 포스팅에서는 레퍼런스 이미지로 명칭하였습니다.)

전체적으로 비슷한 색감, 비슷한 분위기의 이미지를 재생성해 줍니다.

 

유사한 이미지를 생성하고 싶을 때, 유용하게 사용될 수 있는 모델입니다.

 

 

3. reference_only

이 모델은 이번 업데이트에서 가장 주목할 만한 업데이트입니다.

 

레퍼런스 온리는 모델에 영향을 받지도 않고 오로지 레퍼런스 이미지에만 영향을 받습니다.

 

즉, 레퍼런스 이미지만을 참고하여 그와 유사한 이미지를 생성해내는  컨트롤넷 모델입니다.

개인적으로 매우 신기한 기능으므로 꼭 사용해 보시는 것을 추천드립니다.

 

 

이렇게 새롭게 업데이트된 내용에 대해서 간략하게 알아보았습니다.

 

많은 업데이트 내용 중 일부만을 말씀드렸기 때문에 관심 있으신 분들은 아래 사이트를 참고해 보시면 좋을 것 같습니다.

 

기회가 된다면 추후에 각 모델들에 대해서 자세하게 다뤄보도록 하겠습니다.

 

https://github.com/lllyasviel/ControlNet-v1-1-nightly

GitHub - lllyasviel/ControlNet-v1-1-nightly: Nightly release of ControlNet 1.1

 

 

Ⅱ. 컨트롤넷 1.1v 업데이트 방법

다른 익스텐션과 마찬가지로 Extensions 탭에서 Install fron URL에 다음 링크를 삽입한 후 설치를 해줍니다.

https://github.com/Mikubill/sd-webui-controlnet.git

 

 

새로 설치하는 방법

 

1. "Extensions" 탭을 엽니다.
   
   
2. 탭에서 "Installed from URL" 탭을 엽니다.
   
   
3. "URL for extension's git repository"에 https://github.com/Mikubill/sd-webui-controlnet.git 을 입력합니다.
4. "Install" 버튼을 누릅니다.
   
   
5. 5초간 기다리면 "Installed into stable-diffusion-webui\extensions\sd-webui-controlnet. Use Installed tab to restart" 라는 메시지가 표시됩니다.
   
   
6. "Installed" 탭으로 이동하여 "Check for updates"을 클릭한 다음 "Apply and restart UI"을 클릭합니다. 
   
   
7. 아래 사이트에서 모델을 다운로드합니다. (pth 확장자와 yaml 확장자 모두 다운 받아 줍니다.)
   https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
   
8. 사용할 모델을 옳바른 경로에 다운 받아 줍니다.
   (내 드라이브 > SD > extensions > sd-webui-controlnet > models)
   
   
9. 다음 화면에서 다운 받은 모델을 확인할 수 있습니다. 혹시나 표시되지 않는다면 우측의 새로고침 버튼을 눌러주시면 됩니다.

 

 

 

Controlnet1.0에서 1.1로 업데이트 하는 방법

내 드라이브 > SD > extensions > sd-webui-controlnet 폴더를 삭제한 뒤 위의 방법을 순서대로 진행해 주시면 됩니다.

 

 

스테이블 디퓨전에 대해 더 많은 정보를 알고 싶다면 아래 포스팅을 참고해 주세요.

 

스테이블디퓨전 webui 사용 방법 총 정리

스테이블디퓨전 webui 사용 방법 총 정리