catch-img

【Stable Diffusion Web UI】ControlNet Inpaintの使い方

この記事では、ControlNet Inpaintについて解説しています。

ControlNet Inpaintは顔や髪型や服装を変更したり、画像から不要なものを取り除くことができます。


目次[非表示]

  1. 1.Stable Diffusionとは
  2. 2.Stable Diffusion Web UI(AUTOMATIC1111)とは
  3. 3.ControlNet Inpaintとは
  4. 4.ControlNet Inpaintのインストール
  5. 5.ControlNet Inpaintで髪型を変更する
  6. 6.ControlNet Inpaintで服装を変更する
  7. 7.ControlNet Inpaintで物体を除去する
  8. 8.もっと自由な画像生成を
  9. 9.まとめ


Stable Diffusionとは

Stable Diffusionは、無料で使える画像生成AIです。テキストを打ち込むと、それに応じた画像が生成されるしくみです。人物や動物、風景など、さまざまな画像を生成できます。


例えば、「サングラスをかけた猫」と入力するとそのような画像が生成されます。生成する画像のスタイルも多様でイラストや写真、水彩画やアニメ調など、自分の好きなテーマでAIに生成してもらうことができます。

inpaint


Stable Diffusion Web UI(AUTOMATIC1111)とは

Stable Diffusion Web UI(AUTOMATIC1111)ブラウザを通じて手軽に画像生成を行える無料のWEBアプリケーションで、Google Chromeなどの主要なブラウザで利用できます。


プログラミングを一切必要とせず、WEB UIによる簡単なグラフィカルな操作が可能です。Stable Diffusion Web UIをローカルPCにインストールして使用する、もしくはクラウドサーバーにインストールして使用します。

inpaint


Stable Diffusion Web UI(AUTOMATIC1111)に関する全般的な使い方については、以下の記事でまとめていますので、あわせてご覧ください。


  Stable Diffusion Web UIとは?ダウンロード・インストール・使い方 | 画像生成AI この記事では、画像生成AI Stable Diffusion WebUI(AUTOMATIC1111)のインストール・ダウンロード・使用する方法をまとめて紹介しています。 業界最安級GPUクラウド | GPUSOROBAN


ControlNet Inpaintとは

ControlNetはStable Diffusionの拡張機能の一つであり、その機能はContorlNetのモデルによって異なります。
ControlNet Inpaintは顔や髪型や服装を変更したり、画像から不要なものを取り除くことができます。

inpaint


この記事ではInpaintを解説していきます。

Inpaint以外のモデルをお探しの方は、以下のContorlNetのまとめ記事をご覧ください。


  【Stable Diffusion Web UI】ControlNetの使い方まとめ+Cannyの紹介 この記事では、Stable Diffusion WebUI(AUTOMATIC1111)で、ContorlNetをインストールする方法をまとめて紹介しています。併せてControlNetのモデルの1つであるCannyについて紹介します。 業界最安級GPUクラウド | GPUSOROBAN


ControlNet Inpaintのインストール

ContorlNet Inpaintは、Stable Diffusion Web UIの拡張機能のContorlNetの1つのモデルです。

拡張機能のContorlNetをインストールして、ControlNet Inpaintのモデルを設定することで利用できるようになります。


ContorlNetのインストールおよびモデルの設定方法は以下の記事をご覧ください。


  【Stable Diffusion Web UI】ControlNetの使い方まとめ+Cannyの紹介 この記事では、Stable Diffusion WebUI(AUTOMATIC1111)で、ContorlNetをインストールする方法をまとめて紹介しています。併せてControlNetのモデルの1つであるCannyについて紹介します。 業界最安級GPUクラウド | GPUSOROBAN


上記記事にControlNet Inpaintモデルのダウンロード手順が含まれます。

[control_v11p_sd15_inpaint_fp16]がInpaintのモデル名になります。


ControlNet Inpaintで髪型を変更する

ControlNet Inpaintの使い方は以下の手順のとおりです。

ここでは元画像をベースに髪型を変更する使い方を解説します。

Stable Diffusion Web UIの[txt2img]のタブを開きます。

  1. [ControlNet v****]の[◀]ボタンをクリックし、メニューを開きます。
  2. [Single Image]の[ここに画像をドロップ -または-クリックしてアップロード]に、先程[ダウンロードした元画像]をアップロードします。
        アップロード後に、画像の変更したい箇所をマウスクリックで塗りつぶします。
  3. [Enable]にチェックを入れます。
  4. [Inpaint]にチェックを入れます。
  5. [Preprocessor]のプルダウンメニューから[Inpaint_only]を選択します。
  6. [Model]の横にある[更新]アイコンをクリックします。
  7. [Model]のプルダウンメニューから[control_v11p_sd15_inpaint_fp16]を選択します。
  8. 特徴抽出をする[💥]のアイコンをクリック

inpaint


ControlNet Inpaintの設定が完了したら、モデルをセットしてプロンプトを入力し、[Generate]ボタンをクリックします。

inpaint


使用したモデルとプロンプトは以下のとおりです。

(モデル)

  Beautiful Realistic Asians - v7 | Stable Diffusion Checkpoint | Civitai Im currently preparing and collecting dataset for SDXL, Its gonna be huge and a monumental task. I wanna thank everyone for supporting me so far, a... https://civitai.com/models/25494/beautiful-realistic-asians


(プロンプト)

black short hair


左が[元画像]、真ん中が[Preprocessorで髪型を指定した画像]、右が[生成画像]になります。

inpaint



ControlNet Inpaintで服装を変更する

ControlNet Inpaintで服装を変更する方法を紹介します。

基本的に前述と同じ手順になりますが、ここでは服装を塗りつぶしています。

特徴抽出をする[💥]のアイコンをクリックします。

inpaint


プロンプトを入力し、[Generate]ボタンをクリックします。

inpaint


使用したプロンプトは以下のとおりです。

black jacket


左が[元画像]、真ん中が[Preprocessorで服装を指定した画像]、右が[生成画像]になります。

inpaint


ControlNet Inpaintで物体を除去する

ControlNet Inpaintで物体を除去する方法を紹介します。

基本的に前述と同じ手順になりますが、ここでは背景にある人物の影を塗りつぶしています。

Preprocessorを[inpaint_only+lama]に変更します。
特徴抽出をする[💥]のアイコンをクリックします。

inpaint


[Generate]ボタンをクリックします。

※プロンプトの入力は不要です。

inpaint


左が[元画像]、真ん中が[Preprocessorで髪型を指定した画像]、右が[生成画像]になります。

inpaint


もっと自由な画像生成を

Stable Diffusionを実行する環境で、次のような悩みをお持ちではないでしょうか?

  • 画像生成が遅い
  • 使いたいGPUが使えない
  • GPUメモリ(VRAM)が足りない
  • ランタイムがリセットされる度にデータが消えるため、設定のやり直しが大変
  • 画像データのバックアップが面倒
  • Web UIの起動に時間がかかる
  • コンピューティングユニットの制限がストレス
  • 動作が不安定

制限を気にせず、高速かつ格安に画像生成がしたいなら、GPUクラウドサービス「GPUSOROBAN」がおすすめです。


  生成AIに最適なGPUクラウド「高速コンピューティング」|GPUSOROBAN GPUSOROBANの高速コンピューティングは、NVIDIAの高速GPUが業界最安級で使えるクラウドサービスです。NVIDIA A100を始めする高速GPUにより、画像生成AI、大規模言語モデルLLM、機械学習、シミュレーションを高速化します。 業界最安級GPUクラウド | GPUSOROBAN


まとめ

この記事では、Stable Diffusion Web UIでContorlNet Inpaintを使用する方法を紹介しました。
ControlNet Inpaintは顔や髪型や服装を変更したり、画像から不要なものを取り除くことができます。
Stable DiffusionやControlNetに関する記事を以下のページでまとめていますので、あわせてご覧ください。


  【Stable Diffusion Web UI】ControlNetの使い方まとめ+Cannyの紹介 この記事では、Stable Diffusion WebUI(AUTOMATIC1111)で、ContorlNetをインストールする方法をまとめて紹介しています。併せてControlNetのモデルの1つであるCannyについて紹介します。 業界最安級GPUクラウド | GPUSOROBAN


  Stable Diffusion Web UIとは?ダウンロード・インストール・使い方 | 画像生成AI この記事では、画像生成AI Stable Diffusion WebUI(AUTOMATIC1111)のインストール・ダウンロード・使用する方法をまとめて紹介しています。 業界最安級GPUクラウド | GPUSOROBAN


MORE INFORMATION

GPUでお困りの方はGPUSOROBANで解決!
お気軽にご相談ください

10日間無料トライアル
詳しい資料はこちら
質問・相談はこちら