【Stable Diffusion Web UI】ControlNet Scribbleの使い方

この記事では、ControlNet Scribbleについて解説しています。

ControlNet Scribbleは手書きの線から、きれいな画像を生成することができます。

Stable Diffusionとは

Stable Diffusionは、無料で使える画像生成AIです。テキストを打ち込むと、それに応じた画像が生成されるしくみです。人物や動物、風景など、さまざまな画像を生成できます。

例えば、「サングラスをかけた猫」と入力するとそのような画像が生成されます。生成する画像のスタイルも多様でイラストや写真、水彩画やアニメ調など、自分の好きなテーマでAIに生成してもらうことができます。

Stable Diffusion Web UI（AUTOMATIC1111版・Forge版）とは

Stable Diffusion Web UI（AUTOMATIC1111）ブラウザを通じて手軽に画像生成を行える無料のWEBアプリケーションで、Google Chromeなどの主要なブラウザで利用できます。

プログラミングを一切必要とせず、WEB UIによる簡単なグラフィカルな操作が可能です。Stable Diffusion Web UIをローカルPCにインストールして使用する、もしくはクラウドサーバーにインストールして使用します。

Stable Diffusion Web UIに関する全般的な使い方については、以下の記事でまとめていますので、あわせてご覧ください。

ControlNet Scribbleとは

ControlNetはStable Diffusionの拡張機能の一つであり、その機能はContorlNetのモデルによって異なります。

ControlNet Scribbleは手書きの線から、きれいな画像を生成することができます。

この記事ではScribbleを解説していきます。

Scribble以外のモデルをお探しの方は、以下のContorlNetのまとめ記事をご覧ください。

ControlNet Scribbleのインストール

ContorlNet Scribbleは、Stable Diffusion Web UIの拡張機能のContorlNetの1つのモデルです。

拡張機能のContorlNetをインストールして、ControlNet Scribbleのモデルを設定することで利用できるようになります。

ContorlNetのインストールおよびモデルの設定方法は以下の記事をご覧ください。

上記記事にControlNet Scribbleモデルのダウンロード手順が含まれます。

[control_v11p_sd15_scribble_fp16]がScribbleのモデル名になります。

ControlNet Scribbleの使い方

ControlNet Scribbleの使い方は以下の手順のとおりです。

Stable Diffusion Web UIの[txt2img]のタブを開きます。

1. [ControlNet v****]の[◀]ボタンをクリックし、メニューを開きます。
   　※Forge版の場合は、[ControlNet Integrated◀]ボタンをクリックし、メニューを開きます。
2. [Single Image]の[ここに画像をドロップ -または-クリックしてアップロード]に、元画像をアップロードします。
3. [Enable]にチェックを入れます。
4. [Scribble/Sketch]にチェックを入れます。
5. [Preprocessor]のプルダウンメニューから[scribble_pidinet]を選択します。
6. [Model]の横にある[更新]アイコンをクリックします。
7. [Model]のプルダウンメニューから[control_v11p_sd15_scribble_fp16]を選択します。
8. 特徴抽出をする[💥]のアイコンをクリック

任意のモデル・プロンプト・生成パラメータを設定し、[Generate]ボタンをクリックします。
使用したプロンプト、生成パラメータ、モデル情報は以下のとおりです。

(プロンプト)
black wearing

(生成パラメータ)
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 955557797, Size: 512x768, Model hash: 835487e6da, Model: etherBluMix_etherBlueMix6, VAE hash: 63aeecb90f, VAE: vae-ft-mse-840000-ema-pruned.safetensors, ControlNet 0: "Module: scribble_pidinet, Model: control_v11p_sd15_scribble_fp16 [4e6af23e], Weight: 1, Resize Mode: Crop and Resize, Low Vram: False, Processor Res: 512, Guidance Start: 0, Guidance End: 1, Pixel Perfect: False, Control Mode: Balanced, Hr Option: Both, Save Detected Map: True", Version: v1.7.0

右が[元画像]、真ん中が[抽出した線]、右が[生成画像]になります。

Preprocessorについて

各プリプロセッサの違いは以下のとおりです。

線の細かさや、顔のパーツまで線を含むかの違いがあります。

• scribble hed：線粗め、顔のパーツの線まで抽出
• scribble pidnet：線粗め、顔のパーツを抽出
• t2ia sketch pidi：pidnetとxdogの中間の細かさ
• scribble xdog：線細かい、顔のパーツを抽出

もっと自由な画像生成を

Stable Diffusionを実行する環境で、次のような悩みをお持ちではないでしょうか？

• 画像生成が遅い
• 使いたいGPUが使えない
• GPUメモリ（VRAM）が足りない
• ランタイムがリセットされる度にデータが消えるため、設定のやり直しが大変
• 画像データのバックアップが面倒
• Web UIの起動に時間がかかる
• コンピューティングユニットの制限がストレス
• 動作が不安定

制限を気にせず、高速かつ格安に画像生成がしたいなら、GPUクラウドサービス「GPUSOROBAN」がおすすめです。

まとめ

この記事では、Stable Diffusion Web UIでContorlNet Scribbleを使用する方法を紹介しました。

ControlNet Scribbleは、手書きの線から、きれいな画像を生成することができます。

Stable DiffusionやControlNetに関する記事を以下のページでまとめていますので、あわせてご覧ください。