【Stable Diffusion Web UI】ControlNet Inpaintの使い方

この記事では、ControlNet Inpaintについて解説しています。

ControlNet Inpaintは顔や髪型や服装を変更したり、画像から不要なものを取り除くことができます。

Stable Diffusionとは

Stable Diffusionは、無料で使える画像生成AIです。テキストを打ち込むと、それに応じた画像が生成されるしくみです。人物や動物、風景など、さまざまな画像を生成できます。

例えば、「サングラスをかけた猫」と入力するとそのような画像が生成されます。生成する画像のスタイルも多様でイラストや写真、水彩画やアニメ調など、自分の好きなテーマでAIに生成してもらうことができます。

Stable Diffusion Web UI（AUTOMATIC1111版・Forge版）とは

Stable Diffusion Web UI（AUTOMATIC1111版・Forge版）ブラウザを通じて手軽に画像生成を行える無料のWEBアプリケーションで、Google Chromeなどの主要なブラウザで利用できます。

プログラミングを一切必要とせず、WEB UIによる簡単なグラフィカルな操作が可能です。Stable Diffusion Web UIをローカルPCにインストールして使用する、もしくはクラウドサーバーにインストールして使用します。

Stable Diffusion Web UIに関する全般的な使い方については、以下の記事でまとめていますので、あわせてご覧ください。

ControlNet Inpaintとは

ControlNetはStable Diffusionの拡張機能の一つであり、その機能はContorlNetのモデルによって異なります。
ControlNet Inpaintは顔や髪型や服装を変更したり、画像から不要なものを取り除くことができます。

この記事ではInpaintを解説していきます。

Inpaint以外のモデルをお探しの方は、以下のContorlNetのまとめ記事をご覧ください。

ControlNet Inpaintのインストール

ContorlNet Inpaintは、Stable Diffusion Web UIの拡張機能のContorlNetの1つのモデルです。

拡張機能のContorlNetをインストールして、ControlNet Inpaintのモデルを設定することで利用できるようになります。

ContorlNetのインストールおよびモデルの設定方法は以下の記事をご覧ください。

上記記事にControlNet Inpaintモデルのダウンロード手順が含まれます。

[control_v11p_sd15_inpaint_fp16]がInpaintのモデル名になります。

ControlNet Inpaintで髪型を変更する

ControlNet Inpaintの使い方は以下の手順のとおりです。

ここでは元画像をベースに髪型を変更する使い方を解説します。

Stable Diffusion Web UIの[txt2img]のタブを開きます。

1. [ControlNet v****]の[◀]ボタンをクリックし、メニューを開きます。
   ※Forge版の場合は[ControlNet Integrated◀]をクリックし、メニューを開きます。
2. [Single Image]の[ここに画像をドロップ -または-クリックしてアップロード]に、先程[ダウンロードした元画像]をアップロードします。
       アップロード後に、画像の変更したい箇所をマウスクリックで塗りつぶします。
3. [Enable]にチェックを入れます。
4. [Inpaint]にチェックを入れます。
5. [Preprocessor]のプルダウンメニューから[Inpaint_only]を選択します。
6. [Model]の横にある[更新]アイコンをクリックします。
7. [Model]のプルダウンメニューから[control_v11p_sd15_inpaint_fp16]を選択します。
8. 特徴抽出をする[💥]のアイコンをクリック

ControlNet Inpaintの設定が完了したら、モデルをセットしてプロンプトを入力し、[Generate]ボタンをクリックします。

使用したモデルとプロンプトは以下のとおりです。

(モデル)

(プロンプト)

black short hair

左が[元画像]、真ん中が[Preprocessorで髪型を指定した画像]、右が[生成画像]になります。

ControlNet Inpaintで服装を変更する

ControlNet Inpaintで服装を変更する方法を紹介します。

基本的に前述と同じ手順になりますが、ここでは服装を塗りつぶしています。

特徴抽出をする[💥]のアイコンをクリックします。

プロンプトを入力し、[Generate]ボタンをクリックします。

使用したプロンプトは以下のとおりです。

black jacket

左が[元画像]、真ん中が[Preprocessorで服装を指定した画像]、右が[生成画像]になります。

ControlNet Inpaintで物体を除去する

ControlNet Inpaintで物体を除去する方法を紹介します。

基本的に前述と同じ手順になりますが、ここでは背景にある人物の影を塗りつぶしています。

Preprocessorを[inpaint_only+lama]に変更します。
特徴抽出をする[💥]のアイコンをクリックします。

[Generate]ボタンをクリックします。

※プロンプトの入力は不要です。

左が[元画像]、真ん中が[Preprocessorで髪型を指定した画像]、右が[生成画像]になります。

もっと自由な画像生成を

Stable Diffusionを実行する環境で、次のような悩みをお持ちではないでしょうか？

• 画像生成が遅い
• 使いたいGPUが使えない
• GPUメモリ（VRAM）が足りない
• ランタイムがリセットされる度にデータが消えるため、設定のやり直しが大変
• 画像データのバックアップが面倒
• Web UIの起動に時間がかかる
• コンピューティングユニットの制限がストレス
• 動作が不安定

制限を気にせず、高速かつ格安に画像生成がしたいなら、GPUクラウドサービス「GPUSOROBAN」がおすすめです。

まとめ

この記事では、Stable Diffusion Web UIでContorlNet Inpaintを使用する方法を紹介しました。
ControlNet Inpaintは顔や髪型や服装を変更したり、画像から不要なものを取り除くことができます。
Stable DiffusionやControlNetに関する記事を以下のページでまとめていますので、あわせてご覧ください。