【Stable Diffusion Web UI】追加学習モデルLoRAの使い方

この記事では、Stable Diffusion WebUI（AUTOMATIC1111版・Forge版）の追加学習モデルLoRAの使い方について紹介しています。

Stable Diffusionとは

Stable Diffusionは、無料で使える画像生成AIです。テキストを打ち込むと、それに応じた画像が生成されるしくみです。人物や動物、風景など、さまざまな画像を生成できます。

例えば、「サングラスをかけた猫」と入力するとそのような画像が生成されます。生成する画像のスタイルも多様でイラストや写真、水彩画やアニメ調など、自分の好きなテーマでAIに生成してもらうことができます。

Stable Diffusion Web UI（AUTOMATIC1111版・Forge版）とは

Stable Diffusion Web UI（AUTOMATIC1111）は、ブラウザを通じて手軽に画像生成を行える無料のWEBアプリケーションで、Google Chromeなどの主要なブラウザで利用できます。

プログラミングを一切必要とせず、WEB UIによる簡単なグラフィカルな操作が可能です。Stable Diffusion Web UIをローカルPCにインストールして使用する、もしくはクラウドサーバーにインストールして使用します。

Stable Diffusion Web UI（AUTOMATIC1111版・Forge版）に関する全般的な使い方については、以下の記事でまとめていますので、あわせてご覧ください。

モデルとは

Stable Diffusion Web UI ではあらかじめ設定したモデルのもと、プロンプトに合わせて画像が生成されます。

モデルによって実写風や、アニメ調、油絵など様々な特徴があり、生成される画像の雰囲気やスタイル、画風に影響します。

生成したい画像に近いモデルを使うことで、想定したイメージに近い画像を生成することができます。

追加学習ファイルLoRA

Stable Diffusion Web UIのモデルにおいて「Checkpoint」と「LoRA」という言葉がよく使われます。

Checkpointは、モデルファイルの本体になります。LoRAは追加学習ファイルと呼び、モデルファイル（Checkpoint）に対して追加学習を行った差分ファイルになります。

Checkpointがモデルの本体だとすると、LoRAはパーツのような役割で、背景のLoRA、髪型のLoRA、服装のLoRAなど、複数のLoRAを１つのCheckpointに対して適用することができます

CheckpointとLoRAはセットで使用するため、それぞれの組み合わせを事前に把握しておく必要があります。

モデルファイル（Checkpoint）の使い方については、以下の記事で解説しています。

この記事では既存のLoRAファイルの使い方を紹介していますが、画像データを追加学習させてオリジナルのLoRAファイルを作ることもできます。

LoRAの学習では、計算量が比較的少なく済むため、20枚ほどの画像データで学習することが可能です。

オリジナルのLoRAの作り方は以下の記事で解説しています。

LoRAの入手先

LoRAのファイルは、Hugging FaceやCivitaiや から無料で入手できます。
LoRAによってライセンスや制限がありますので、よく読まれてご利用ください。

Hugging Faceからモデルをダウンロードする場合

LoRAのサンプルとして、[Kanbara/doll-likeness-series]のモデルをダウンロードしてみます

Hugging Faceにアクセスし、ヘッダーの[Models]をクリックします。

遷移したページの[検索窓]に”Kanbara/doll-likeness-series”と入力し、抽出して表示された[Kanbara/doll-likeness-series]をクリックします。

詳細ページから[Files and versions]のタブを開き、[ダウンロード]アイコンをクリックし、モデルファイルをダウンロードします。

このモデルファイルは複数のバージョンがありますので、見本がある場合は、そのバージョンにあわせることを推奨します。

※どのファイルがCheckpointに該当するかは、ファイルの拡張子を参照します。
Checkpointの拡張子：.safetensors .ckpt
.safetensorsと.ckptは両方ダウンロードできる場合は、より安全な.safetensorsを推奨します。

Civitaiからモデルをダウンロードする場合

検索窓にモデルファイル名を入力して[Enter]キーを押します。（Kanbara/doll-likeness-seriesのモデルがCivitaiに掲載がなかったため、ここでは他のモデルを扱っています。）

[フィルター]アイコンをクリックします。

[Filter by Model Type]のセクションから[LoRA]をクリックすると、LoRAファイルの画像が抽出表示されます。

[モデルファイルの画像]をクリックすると詳細ページに遷移します。
詳細ページで、[ダウンロード]ボタンをクリックすると、モデルファイルのダウンロードができます。

LoRAファイルをセットする（Windows・Mac・GPUSOROBANの場合）

Stable Diffusion WebUIにモデルファイルを読み込ませる手順は下記のとおりです。
[stable-diffusion-webui]>[models]>[LoRA]のフォルダに、ダウンロードしたモデルファイルを格納します。

※Forge版の場合は、
[stable-diffusion-webui-forge]>[models]>[LoRA]のフォルダに、ダウンロードしたモデルファイルを格納します。

LoRAはファイルサイズが大きいため、VSCodeを経由したファイルアップロードでは、時間がかかる場合があります。

短時間でアップロードしたい場合は、WinSCPやFileZillaを使ったファイル転送をおすすめします。

Windows PCをお使いの場合（WinSCP）

Macをお使いの場合（FileZilla）

Stable Diffusion WebUIを起動し、[Lora]タブを開くと、セットした[LoRA]サムネイルが表示されますので、[LoRA]サムネイルをクリックするとプロンプトにトリガーワードの<lora:xxxxxx>が追加されます。

トリガーワードを追加した状態で画像を生成してみると、LoRAモデルの特徴を含んだ画像が生成されます。

この記事の例では、モデルファイルCheckpointの設定は事前に済ませています。
モデルファイル（Checkpoint）の使い方については、以下の記事で解説しています。

Google ColabにLoRAファイルをセットする場合

Hugging Faceの場合

Colabのコードセルで、Stable Diffusion WebUIのリポジトリをコピーします。

!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui

※Forge版の場合は、以下のコマンドでStable Diffusion WebUIのリポジトリをコピーします。

!git clone https://github.com/lllyasviel/stable-diffusion-webui-forge.git

次のコマンドを実行し、[Lora]ディレクトリを作成し、LoRAファイルをダウンロードおよび格納します。

!mkdir -p /content/stable-diffusion-webui/models/Lora
%cd /content/stable-diffusion-webui/models/Lora
!wget https://huggingface.co/Kanbara/doll-likeness-series/resolve/main/koreanDollLikeness_v10.safetensors

※Forge版の場合は、以下のコマンドでLoRAのディレクトリ作成およびLoRAファイルをダウンロードします。

!mkdir -p /content/stable-diffusion-webui-forge/models/Lora
%cd /content/stable-diffusion-webui-forge/models/Lora
!wget https://huggingface.co/Kanbara/doll-likeness-series/resolve/main/koreanDollLikeness_v10.safetensors

※!wgetの後ろにあるURL[https://xxxx]がLoRAファイルのダウンロードURLになります。

Hugging FaceのLoRAファイルをダウンロードするページの[ダウンロード]ボタンにカーソルをあてて、[右クリック]して、[リンクのアドレスをコピー]をクリックすると、ダウンロードURLが取得できます。

Civitaiの場合

Colabのコードセルで、次のコマンドでStable Diffusion WebUIのリポジトリをコピーします。

!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui

※Forge版の場合は、次のコマンドでリポジトリをコピーします。

!git clone https://github.com/lllyasviel/stable-diffusion-webui-forge.git

次のコマンドを実行し、[Lora]ディレクトリを作成します。

!mkdir -p /content/stable-diffusion-webui/models/Lora

※Forge版の場合は、次のコマンドでLoRAディレクトリを作成します。

!mkdir -p /content/stable-diffusion-webui-forge/models/Lora

CivitaiのLoRAの詳細ページから、LoRAファイルをダウンロードします。

Colabのサイドバーから[フォルダ]アイコンをクリックし、[stable-diffusion-webui]>[models]>[Lora]にLoRAファイルをアップロードします。

※Forge版の場合、
[stable-diffusion-webui-forge]>[models]>[Lora]にLoRAファイルをアップロードします。

※Colabの場合、ランタイム接続解除されるとモデルは再度アップロードする必要がありますので、ご注意ください。

もっと自由な画像生成を

Stable Diffusionを実行する環境で、次のような悩みをお持ちではないでしょうか？

• 画像生成が遅い
• 使いたいGPUが使えない
• GPUメモリ（VRAM）が足りない
• ランタイムがリセットされる度にデータが消えるため、設定のやり直しが大変
• 画像データのバックアップが面倒
• Web UIの起動に時間がかかる
• コンピューティングユニットの制限がストレス
• 動作が不安定

制限を気にせず、高速かつ格安に画像生成がしたいなら、GPUクラウドサービス「GPUSOROBAN」がおすすめです。

まとめ

この記事では、Stable Diffusion Web UIの追加学習モデルLoRAの使い方を紹介しました。LoRAを使うことで、自分のイメージに近い画像が生成できるようになります。

Stable Diffusionに関する記事を以下のページでまとめていますので、あわせてご覧ください。