【Stable Diffusion Web UI】ControlNet Reference onlyの使い方

この記事では、ControlNetのReference onlyについて解説しています。

Reference onlyを使用することによって、元画像の特徴を引き継ぎつつ、服装や背景、画風を変更できます。

Stable Diffusionとは

Stable Diffusionは、無料で使える画像生成AIです。テキストを打ち込むと、それに応じた画像が生成されるしくみです。人物や動物、風景など、さまざまな画像を生成できます。

例えば、「サングラスをかけた猫」と入力するとそのような画像が生成されます。生成する画像のスタイルも多様でイラストや写真、水彩画やアニメ調など、自分の好きなテーマでAIに生成してもらうことができます。

Stable Diffusion Web UI（AUTOMATIC1111版・Forge版）とは

Stable Diffusion Web UI（AUTOMATIC1111版・Forge版）ブラウザを通じて手軽に画像生成を行える無料のWEBアプリケーションで、Google Chromeなどの主要なブラウザで利用できます。

プログラミングを一切必要とせず、WEB UIによる簡単なグラフィカルな操作が可能です。Stable Diffusion Web UIをローカルPCにインストールして使用する、もしくはクラウドサーバーにインストールして使用します。

Stable Diffusion Web UIに関する全般的な使い方については、以下の記事でまとめていますので、あわせてご覧ください。

ControlNet Reference onlyとは

ControlNetはStable Diffusionの拡張機能の一つであり、その機能はContorlNetのモデルによって異なります。

ControlNetのReference onlyは、元画像の特徴を含んだ画像を生成できます。
元画像の特徴を継承しながら、服装や背景、画風の変更が可能です。

この記事ではReference onlyを解説しますので、
Reference only以外のモデルをお探しの方は、以下のContorlNetのまとめ記事をご覧ください。

ControlNet Reference onlyの設定

ContorlNet Reference onlyは、Stable Diffusion Web UIの拡張機能のContorlNetの1つの機能です。

拡張機能のContorlNetをインストールして、Reference onlyを設定することで利用できるようになります。

ContorlNetのインストール方法は以下の記事をご覧ください。

※Reference onlyはControlNetの拡張機能のインストールのみで使用できますので、モデルの設定は不要です。

Reference onlyの設定手順は以下のとおりです。

1. [ControlNet v1****]の[◀]ボタンをクリックして開きます。
   　※Forge版の場合、[ControlNet Integrated◀]ボタンをクリックして開きます。
2. [Single Image]の[ここに画像をドロップ -または- クリックしてアップロード]に元画像をドラッグ&ドロップでアップロードします。
3. [Enable]にチェックを入れます。
4. [Control Type]から[Reference]を選択します。
5. [Preprocessor]から[reference_only]を選択します。

ここまでで設定が完了です。

ControlNet Reference onlyで服装を変更する

前述の設定が完了した状態で、アップロードした元画像から変更したい内容をプロンプト入力し、生成します。

服をTシャツに変更する場合のプロンプト例は以下のとおりです。

プロンプト：1girl,t-shirts

ネガティブプロンプトは任意に入力します。

元画像の特徴を継承しつつ、服装が変更された画像が生成されました。

ControlNet Reference onlyで背景を変更する

前述の設定が完了した状態で、アップロードした元画像から変更したい内容をプロンプト入力し、生成します。

背景を変更する場合のプロンプト例は以下のとおりです。

プロンプト：1girl,pedestrian crossing

ネガティブプロンプトは任意に入力します。

元画像の特徴を継承しつつ、背景が変更された画像が生成されました。

ControlNet Reference onlyで画風を変更する(アニメ風)

前述の設定が完了した状態で、変更したい画風のモデルを変更してプロンプトを実行します。

プロンプト：1girl,black wearing

ネガティブプロンプトは任意に入力します。

元画像の特徴を継承しつつ、画風が変更された画像が生成されました。

もっと自由な画像生成を

Stable Diffusionを実行する環境で、次のような悩みをお持ちではないでしょうか？

• 画像生成が遅い
• 使いたいGPUが使えない
• GPUメモリ（VRAM）が足りない
• ランタイムがリセットされる度にデータが消えるため、設定のやり直しが大変
• 画像データのバックアップが面倒
• Web UIの起動に時間がかかる
• コンピューティングユニットの制限がストレス
• 動作が不安定

制限を気にせず、高速かつ格安に画像生成がしたいなら、GPUクラウドサービス「GPUSOROBAN」がおすすめです。

まとめ

この記事では、Stable Diffusion Web UIでContorlNet Reference onlyを使用する方法を紹介しました。
Reference onlyを使用することによって、元画像の特徴を引き継ぎつつ、服装や背景、画風を変更できます。
Stable DiffusionやControlNetに関する記事を以下のページでまとめていますので、あわせてご覧ください。