【Stable Diffusion Web UI】VAEの使い方

2024-02-11 20:00高速コンピューティング

Stable Diffusion基本機能

この記事では、Stable Diffusion WebUIのVAEの使い方について紹介しています。

目次[非表示]

1.Stable Diffusionとは
2.Stable Diffusion Web UI（AUTOMATIC1111版・Forge版）とは
3.VAEとは
4.VAEの種類
5.VAEの設定方法
6.VAEファイルのダウンロード

6.1.Hugging FaceからVAEをダウンロード

7.VAEファイルを格納する

7.1.Windows・Mac・GPUSOROBANの場合
7.2.Google Colabの場合

8.Stable Diffusion Web UIでVAEの設定をする
9.VAEを使って画像生成
10.モデル指定のVAEを確認する方法
11.VAEを切り替える方法
12.もっと自由な画像生成を
13.まとめ

Stable Diffusionとは

Stable Diffusionは、無料で使える画像生成AIです。テキストを打ち込むと、それに応じた画像が生成されるしくみです。人物や動物、風景など、さまざまな画像を生成できます。

例えば、「サングラスをかけた猫」と入力するとそのような画像が生成されます。生成する画像のスタイルも多様でイラストや写真、水彩画やアニメ調など、自分の好きなテーマでAIに生成してもらうことができます。

sd-vae

Stable Diffusion Web UI（AUTOMATIC1111版・Forge版）とは

Stable Diffusion Web UI（AUTOMATIC1111）は、ブラウザを通じて手軽に画像生成を行える無料のWEBアプリケーションで、Google Chromeなどの主要なブラウザで利用できます。

プログラミングを一切必要とせず、WEB UIによる簡単なグラフィカルな操作が可能です。Stable Diffusion Web UIをローカルPCにインストールして使用する、もしくはクラウドサーバーにインストールして使用します。

sd-vae

Stable Diffusion Web UI（AUTOMATIC1111版・Forge版）に関する全般的な使い方については、以下の記事でまとめていますので、あわせてご覧ください。

Stable Diffusion Web UIとは？ダウンロード・インストール・使い方 | 画像生成AI この記事では、画像生成AI Stable Diffusion WebUI（AUTOMATIC1111版・Forge版）のインストール・ダウンロード・使用する方法をまとめて紹介しています。業界最安級GPUクラウド | GPUSOROBAN

VAEとは

VAE（Variational Auto Encoder）はオートエンコーダーと呼ばれ、入力データの圧縮と復元をするニューラルネットワークです。

VAEは、高次元の画像を低次元の潜在表現（ベクトル）という形に変換して、その後再び高次元の画像に変換するしくみです。画像生成AIでは非常に多くの計算をします。

高次元の画像をそのまま計算すると処理の量が多すぎて時間がかかるので、低次元の潜在空間（ベクトル）という形に変換をして、データサイズを圧縮し計算量を減らして処理をします。その後、潜在表現（ベクトル）から高次元の画像に戻して出力します。

Stable Diffusion Web UIで使われるVAEは、画像を鮮明にする効果があります。VAEを導入すると同じプロンプトでも画質が良くなり、色がくすんでいたり、暗かったり、ボヤけていたりする画像を鮮やかにしてくれます。

vae

VAEの種類

VAEはモデルと組み合わせて使用します。VAEの種類は２つあり、汎用VAEとモデル専用のVAEに分かれます。

汎用VAEは、Stability AI 社が公開している stabilityai/sd-vae-ft-mse はどのモデルでも使えるVAEです。一方の専用VAEは、特定のモデルと組み合わせて使用する専用のVAEで、他のモデルと組み合わせ仕様しても効果がありません。

VAEの設定方法

Stable Diffusion Web UIにVAEを設定する方法を説明します。

ここではStability AI社が公開している汎用VAEファイル「stabilityai/sd-vae-ft-mse-original」を設定していきます。

VAEファイルのダウンロード

VAEファイルは、Hugging Faceもしくは、Civitaiからダウンロードできます。

Hugging FaceからVAEをダウンロード

Huggigng Faceにアクセスし、メニューバーから[Models]をクリックします。

sd-vae

Modelsの[検索窓]に、“VAEファイル名”を入力し、抽出して表示したものをクリックして詳細ページに遷移します。この記事では”stabilityai/sd-vae-ft-mse-original”のVAEファイルを検索しています。

sd-vae

詳細ページに遷移したら[Files and versions]をクリックし、[vae-ft-mse-840000-ema-pruned.safetensors]の[ダウンロード]ボタンをクリックするとダウンロードが開始します。

VAEファイルの拡張子は、.ckptと.safetensorsの２つがありますが、より安全なsafetensorsを選択します。

sd-vae

VAEファイルを格納する

ダウンロードしたVAEファイルは次のフォルダに格納します。

Windows・Mac・GPUSOROBANの場合

[stable-diffusion-webui] > [models] > [VAE]のフォルダにVAEファイルを格納します。

※Forge版の場合は、
[stable-diffusion-webui-forge] > [models] > [VAE]のフォルダにVAEファイルを格納します。

sd-vae

短時間でアップロードしたい場合は、WinSCPやFileZillaを使ったファイル転送をおすすめします。

Windows PCをお使いの場合（WinSCP）

WinSCPでWinodws PCからファイル転送 | GPUSOROBAN WinSCPを使ってローカル環境からGPUSOROBANのインスタンスへのファイル転送手順を解説しています。GPUSOROBANは低コストで高性能なGPUインスタンスを提供するクラウドサービスであり、詳細は公式サイトで確認できます業界最安級GPUクラウド | GPUSOROBAN

Macをお使いの場合（FileZilla）

FileZillaでMacからファイル転送する方法 | GPUSOROBAN この記事ではFileZillaを用いてローカル環境（Mac）からインスタンスへファイル転送する方法を解説しています。業界最安級GPUクラウド | GPUSOROBAN

Google Colabの場合

コードセルでを次のコマンド実行します。

!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui

※Forge版の場合は、以下のコマンドを実行します。

!git clone https://github.com/lllyasviel/stable-diffusion-webui-forge.git

VAEのディレクトリへ移動し、VAEをダウンロードします。

%cd /content/stable-diffusion-webui/models/VAE
!wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.safetensors

※Forge版の場合、以下のコマンドを実行します。

%cd /content/stable-diffusion-webui-forge/models/VAE
!wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.safetensors

※!wget横のhttps://xxxxは、VAEのダウンロードURLです。VAEによってダウンロードURLが異なりますので、ご注意ください。

ダウンロードURLの取得方法は以下のとおりです。

Hugging FaceのVAEダウンロードページにおいて、[Files and versions]タブを開きます。

[ダウンロード]ボタンにカーソルをあわせて、[右クリック]を押して、[リンクのアドレスをコピー]をクリックすると、ダウンロードURLを取得できます。

sd-vae