catch-img

【Stable Diffusion Web UI】ControlNetの使い方まとめ+Cannyの紹介

この記事では、Stable Diffusion WebUI(AUTOMATIC1111)で、ContorlNetをインストールする方法をまとめて紹介しています。併せてControlNetのモデルの1つであるCannyについて紹介します。


目次[非表示]

  1. 1.Stable Diffusionとは
  2. 2.Stable Diffusion Web UI(AUTOMATIC1111)とは
  3. 3.ContorlNetとは
    1. 3.1.Canny
    2. 3.2.Inpaint
    3. 3.3.Openpose
    4. 3.4.Reference only
    5. 3.5.Tile
    6. 3.6.Depth
    7. 3.7.Scribble
    8. 3.8.SDXL版ContorlNet
  4. 4.ControlNetのインストール方法
  5. 5.ContorlNet専用モデルのダウンロード
    1. 5.1.一括でモデルをダウンロードする方法
    2. 5.2.1つずつモデルをダウンロードする方法
  6. 6.ContorlNet Cannyとは
  7. 7.事前準備
  8. 8.ContorlNet Cannyの設定
  9. 9.ContorlNetをアップデートする方法
  10. 10.もっと自由な画像生成を
  11. 11.まとめ


Stable Diffusionとは

Stable Diffusionは、無料で使える画像生成AIです。テキストを打ち込むと、それに応じた画像が生成されるしくみです。人物や動物、風景など、さまざまな画像を生成できます。


例えば、「サングラスをかけた猫」と入力するとそのような画像が生成されます。生成する画像のスタイルも多様でイラストや写真、水彩画やアニメ調など、自分の好きなテーマでAIに生成してもらうことができます。

stablediffusion


Stable Diffusion Web UI(AUTOMATIC1111)とは

Stable Diffusion Web UI(AUTOMATIC1111)ブラウザを通じて手軽に画像生成を行える無料のWEBアプリケーションで、Google Chromeなどの主要なブラウザで利用できます。


プログラミングを一切必要とせず、WEB UIによる簡単なグラフィカルな操作が可能です。Stable Diffusion Web UIをローカルPCにインストールして使用する、もしくはクラウドサーバーにインストールして使用します。

stablediffusionwebui



Stable Diffusion Web UI(AUTOMATIC1111)に関する全般的な使い方については、以下の記事でまとめていますので、あわせてご覧ください。

  Stable Diffusion Web UIとは?ダウンロード・インストール・使い方 | 画像生成AI この記事では、画像生成AI Stable Diffusion WebUI(AUTOMATIC1111)のインストール・ダウンロード・使用する方法をまとめて紹介しています。 業界最安級GPUクラウド | GPUSOROBAN


ContorlNetとは

ControlNetはStable Diffusionの拡張機能の一つで、キャラクターのポーズや輪郭を参考画像から指定できる機能です。


プロンプトによる指定では、思っていたポーズと違う画像が生成されることもあります。
ControlNetの拡張機能を使うことで、参考画像のポーズと類似した画像を生成することができます。


写真やイラスト、手書きの絵からポーズや輪郭を型取りして、指定できるため、かなり厳密に参考画像のポーズを再現することが可能です。


ContorlNetは複数の機能があり、その機能はContorlNetのモデルによって異なります。

ContorlNetの代表的なモデルと機能は以下のとおりです。


Canny

元画像から線画を抽出して、異なる画風の画像を生成するモデルです。

controlnet

この記事内でControlNet Cannyの使い方を解説していきます。


Inpaint

ControlNet Inpaintは画像の一部を修正するモデルです。髪型や服装、背景を指定して修正できます。

controlnet


ControlNet Inpaintの使い方は以下の記事で解説しています。


  【Stable Diffusion Web UI】ControlNet Inpaintの使い方 この記事では、ControlNet Inpaintについて解説しています。 ControlNet Inpaintは顔や髪型や服装を変更したり、画像から不要なものを取り除くことができます。 業界最安級GPUクラウド | GPUSOROBAN


Openpose

ControlNet Openposeは元画像や棒人間から人物のポーズを検出し、そのポーズを元に画像を生成します。

controlnet


ControlNet Openposeの使い方は以下の記事で解説しています。


  【Stable Diffusion Web UI】ControlNetの使い方 OpenPose この記事では、ControlNetのOpenPoseについて解説しています。 OpenPoseを使用することによって、元画像や棒人間と同じポーズの画像を生成できるようになります。 業界最安級GPUクラウド | GPUSOROBAN


Reference only

ControlNet Reference onlyは、元画像の特徴を含んだ画像を生成できます。

元画像の特徴を継承しながら、服装や背景、画風の変更が可能です。

controlnet


ControlNet Reference onlyの使い方は以下の記事で解説しています。


  【Stable Diffusion Web UI】ControlNet Reference onlyの使い方 この記事では、ControlNetのReference onlyについて解説しています。 Reference onlyを使用することによって、元画像の特徴を引き継ぎつつ、服装や背景、画風を変更できます。 業界最安級GPUクラウド | GPUSOROBAN


Tile

ControlNetのTileは、高解像度の画像を生成するためのモデルです。
画像のアップスケールが可能です。

controlnet


ControlNet Tileの使い方は以下の記事で解説しています。


  【Stable Diffusion Web UI】ControlNet Tileの使い方 この記事では、ControlNet Tileについて解説しています。 ControlNet Tileは画像を高品質・高解像度化する拡張機能になります。 業界最安級GPUクラウド | GPUSOROBAN


Depth

ControlNet Depthは元画像から深度情報を抽出して別画像を生成するモデルです。

controlnet


ControlNet Depthの使い方は以下の記事で解説しています。


  【Stable Diffusion Web UI】ControlNet Depthの使い方 この記事では、ControlNet Depthについて解説しています。 ControlNet Depthは、元画像から奥行きや構図を抽出して、別の画像を生成することができます。 業界最安級GPUクラウド | GPUSOROBAN


Scribble

ControlNet Scribbleは、手書きの線からリアルな画像を生成するモデルです。

Preprocessorを使用して、元画像から手書きの線を抽出することもできます。

controlnet


ControlNet Scribbleの使い方は以下の記事で解説しています。


  【Stable Diffusion Web UI】ControlNet Scribbleの使い方 この記事では、ControlNet Scribbleについて解説しています。 ControlNet Scribbleは手書きの線から、きれいな画像を生成することができます。 業界最安級GPUクラウド | GPUSOROBAN


SDXL版ContorlNet

SDXLは高品質・高画質な画像が生成可能なStable Diffusionのモデルです。

ControlNetはバージョンがv1.1.4以降は、Stable Diffusion XL(SDXL)に対応しています。

SDXL版ControlNetのモデルは、別途ダウロードが必要です。

controlnet


SDXL版ControlNetのインストール方法は、以下の記事で解説しています。


  【Stable Diffusion Web UI】SDXL版ControlNetの使い方 この記事では、Stable Diffusion WebUI(AUTOMATIC1111)で、SDXL版ContorlNetの使い方を紹介しています。 業界最安級GPUクラウド | GPUSOROBAN


ControlNetのインストール方法

Stable DiffusionとControlNetのバージョンが合わないと動作しませんので、ご注意ください。


これから設定するControlNetのバージョンはv1.1430ですが、Stable Diffusionのバージョンv1.5~v1.7に対応しています。


Stable Diffusionのバージョンは、Stable Diffusion Web UIのフッターで確認できます。

この記事ではStable Diffusion WebUIのバージョンv1.7を扱います。

controlnet


ContorlNetをインストールする場合の手順は以下のとおりです。

  1. Stable Diffusion WebUIの[Extensions]タブを開きます。
  2. [Install from URL]タブを開きます。
  3. [URL for extension’s git repository]にControlNetをインストールするURL(

    https://github.com/Mikubill/sd-webui-controlnet.git)を入力します。

  4. [Install]をクリックし、インストールを開始します。

controlnet


[Installed]タブを開き、拡張機能がインストールされたことを確認し、[Apply and restart UI]ボタンをクリックし、Web UIに変更を反映させます。

controlnet


更新が完了したら、[txt2img]タブから[ControlNet v****]が表示されていることを確認します。

controlnet


ContorlNet専用モデルのダウンロード

ControlNetを利用するためには、前述のControlNetのインストールに加えて、ControlNet専用のモデルをダウンロードする必要があります。


ダウンロードするControlNetのモデルは約30ファイルほど存在します。

一括でモデルをダウンロードする方法と1つずつダウンロードする方法の2通りを紹介します。

1つずつを手動でダウンロードすることは、手間がかかりますので、一括ダウンロードをオススメしています。


一括でモデルをダウンロードする方法

ControlNetモデルを一括ダウンロードする方法を紹介します。

コマンドプロンプトで次のコマンドを実行します。

pip install huggingface_hub

controlnet


Pythonを起動して次のコマンドを実行します。

python

controlnet


from huggingface_hub import snapshot_download

controlnet


snapshot_download(repo_id="comfyanonymous/ControlNet-v1-1_fp16_safetensors", revision="main",allow_patterns="*.safetensors", local_dir= ,)

controlnet


[Ctrl] +[D]キを押して、でPythonインタラクティブモードから抜けます。

ダウンロードしたモデルが所定のフォルダに格納されているか確認します。

ls ~/stable-diffusion-webui/extensions/sd-webui-controlnet/models

controlnet


1つずつモデルをダウンロードする方法

ControlNetのモデルを1つずつダウンロードする方法を紹介します。

こちらのHugging Faceのページにアクセスしてください。


  comfyanonymous/ControlNet-v1-1_fp16_safetensors at main We’re on a journey to advance and democratize artificial intelligence through open source and open science. https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/tree/main


図に表示されている拡張子safetensorsの複数のファイルがControlNet専用のモデルになります
[ダウンロード]アイコンをクリックして、モデルファイルを1つずつダウンロードしていきます。

controlnet


ダウンロードしたモデルファイルを[stable-diffusion-webui] > [models] > [ControlNet]のディレクトリに格納します。

controlnet


ContorlNet Cannyとは

この記事ではContorlNetのCannyというモデルを使用して画像を生成します。

Cannyは元画像から線画を抽出して、人物の髪や目などの色を自由に変えることができるモデルです。

これによって同じ形をした人物で様々な色合いや画風の画像を生成することができます。

controlnet


事前準備

事前にCannyに使用する元画像を用意してください。

Stable Diffusionで生成した画像でもよいですし、外部から用意した画像でも構いません。

また元画像は写真、アニメ風、手書きなど制限はありませんが、線画を抽出するので輪郭がはっきりした画像のほうが望ましいです。

この記事では、元画像から線画を抽出し、画風を変換するために、モデル(Checkpoint)を用意しています。

モデル(Checkpoint)は以下のものを使用しました。


  Ether Blu Mix - Ether Blue Mix 6 | Stable Diffusion Checkpoint | Civitai 🔹☁️ Hello, this is Ether Blu Mix ☁️🔹 Ether Blu Mix is a stylized anime model specialized in creating character illustrations with vibrant colors, exp... https://civitai.com/models/17427/ether-blu-mix


モデル(Checkpoint) の使い方は以下の記事で解説しています。


  【Stable Diffusion Web UI】モデルの使い方(Checkpoint) この記事では、Stable Diffusion WebUI(AUTOMATIC1111)のモデルの使い方について紹介します。 業界最安級GPUクラウド | GPUSOROBAN


ContorlNet Cannyの設定

ControlNet Cannyの設定手順を紹介します。

Stable Diffusion Web UIを起動します。

[txt2image]の[ControlNet v****]の[◀]アイコンをクリックします。

controlnet


[Sigle Image]の[ここに画像をドロップまたはクリックしてアップロード]に元画像をドラッグ&ドロップでアップロードします。

この元画像は線画を抽出するための画像になります。

controlnet


元画像のアップロードが完了したら、以下の手順でControlNet Cannyの設定をします。

  1. [Enable]にチェックを入れます。
  2. [Control Type]で[Canny]を選択します。
  3. [Preprocessor]のプルダウンメニューから[Canny]を選択します。
  4. [Model]の[更新]アイコンをクリックし、プルダウンメニューから[control_v11p_sd15_canny_fp16]を選択します。
  5. 特徴抽出をする[💥]のアイコンをクリックします。

controlnet


設定が完了したら、[Prompt]にテキストを入力し、[Generate]をクリックします。この記事では実行したプロンプトは以下のとおりです。

controlnet


(プロンプト)
masterpiece, best quality, movie still, 1girl, floating in the sky, cloud girl, cloud, (close-up:1.1), bright, smug, smirk, happy, fun, soft lighting, volumetric lighting, Bauhaus, shapes, lines, abstract,blue hair

(ネガティブプロンプト)
Negative prompt: NSFW, (worst quality, low quality:1.3)

(生成パラメータ)
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 11.5, Seed:2639696517, Size: 512x760, Model hash: 835487e6da, Model: etherBluMix_etherBlueMix6, VAE hash: 63aeecb90f, VAE: klF8Anime2VAE_klF8Anime2VAE.safetensors, Denoising strength: 0.7, ControlNet 0: "Module: canny, Model: control_v11p_sd15_canny_fp16 [b18e0966], Weight: 1, Resize Mode: Crop and Resize, Low Vram: False, Processor Res: 512, Threshold A: 100, Threshold B: 200, Guidance Start: 0, Guidance End: 1, Pixel Perfect: False, Control Mode: Balanced, Hr Option: Both, Save Detected Map: True", Hires upscale: 2, Hires upscaler: Latent, Version: v1.7.0


元画像の線画を維持したまま、アニメ風の画像を生成しました。

左が「元画像」、真ん中が「抽出した線画(Preprocessor)」、右が「抽出した線画にモデル+プロンプトの要素を加えた画像」になります。

controlnet


ContorlNetをアップデートする方法

ContorlNetをアップデートする方法は以下のとおりです。

  1. Stable Diffusion Web UIの[Extensions]タブを開きます。
  2. [Installed]タブを開きます。
  3. [Check for updates]ボタンをクリックします。
  4. [Update]に[latest(最新版)]または[new commits(更新可能)]、[unkown(不明)]が表示されます。
  5. [Apply and restart UI]ボタンをクリックするとControlNetを含む拡張機能が一括で更新されます。

controlnet


もっと自由な画像生成を

Stable Diffusionを実行する環境で、次のような悩みをお持ちではないでしょうか?

  • 画像生成が遅い
  • 使いたいGPUが使えない
  • GPUメモリ(VRAM)が足りない
  • ランタイムがリセットされる度にデータが消えるため、設定のやり直しが大変
  • 画像データのバックアップが面倒
  • Web UIの起動に時間がかかる
  • コンピューティングユニットの制限がストレス
  • 動作が不安定

制限を気にせず、高速かつ格安に画像生成がしたいなら、GPUクラウドサービス「GPUSOROBAN」がおすすめです。


  生成AIに最適なGPUクラウド「高速コンピューティング」|GPUSOROBAN GPUSOROBANの高速コンピューティングは、NVIDIAの高速GPUが業界最安級で使えるクラウドサービスです。NVIDIA A100を始めする高速GPUにより、画像生成AI、大規模言語モデルLLM、機械学習、シミュレーションを高速化します。 業界最安級GPUクラウド | GPUSOROBAN


まとめ

この記事では、Stable Diffusion Web UIにControlNetをインストールする方法を紹介しました。

ControlNetを使うことで、元画像を参考に生成する画像のコントロールがしやすくなります。

Stable Diffusionに関する記事を以下のページでまとめていますので、あわせてご覧ください。


  Stable Diffusion Web UIとは?ダウンロード・インストール・使い方 | 画像生成AI この記事では、画像生成AI Stable Diffusion WebUI(AUTOMATIC1111)のインストール・ダウンロード・使用する方法をまとめて紹介しています。 業界最安級GPUクラウド | GPUSOROBAN



MORE INFORMATION

GPUでお困りの方はGPUSOROBANで解決!
お気軽にご相談ください

10日間無料トライアル
詳しい資料はこちら
質問・相談はこちら