高速化省メモリ技術 上記の生成フロー番号で適用箇所を示しどのような高速化や省メモリ化技術が適用されているか解説します。 ノード間キャッシュ 起動オプション 起動オプションの処理はcomfy/cli_args.pyで実装されています。 例えば、--cache-classicオプションをつけた場合、args.cache_classic 変数に対応付けされ、オプションに基づく処理の分岐を行う際にこの変数が活用されます。 ノードの実装 ノードはnodes.pyとcomfy_extras以下で実装されています。 ノード間の処理 ワークフローの実行はexecution.py で実装されています。ノード単位で処理が行われ、ノードの実行結果をキャッシュするようになっています。 同じワークフローを 2 回目以降実行する際に、変更されていないノードの実行結果がキャッシュに存在するならそのノードを実行することを
１．設定とモデル(1)モデルIllustrious系なら何でもいいです。３個くらい試して決めましょう。 ①なぜ何でもいい？ 画風はモデルに大きく影響されますが、昔よりも応答性が上がっているので、PromptやLoRAでねじ伏せられます。モデルを探すことに時間を費やすより、自分の好みを出す作業をするほうが得策です。 水彩画風：watercolor(medium) 色鉛筆風：colored pencil (medium) など色々試しましょう。 ②バージョンがいっぱいあるけどどれがいい？ 「新しい＝良いモデルでは無い」というのが罠です。新しいバージョンから少しずつバージョンダウンして好みのバージョンを探してください。”出せる範囲”は新しいバージョンのほうが多いです。 ③37番は？ 以下2つを使うことが多いです。マージも面倒だからあんまりしません。 ①にあるようPrompt等でカバーします。 (
何ができるか ちょい強い GPU を使った Stable Diffusion Web UI 環境を比較的安価に作れる ※Billing は 2,3 時間ぐらいずつ使った参考値 Stable Diffusion WebUI については作成上限などの観点から自前で用意するメリットが多くあります。しかし自前で実行環境を用意するとなると、5万~10万ぐらいの GPU を用意する必要があり、かなりコスト面でハードルが高いです。 そこで、使いたい時だけサーバー建てて Stable Diffusion WebUI 実行できるようにして、 極力低コストで使いたいとみなさん思ってることでしょう。 そこで、私が今回目を付けたのが Runpod というクラウドサービスです ❗ 選定理由は、おおよそ使い方簡単そう+AWS や GCP に比べて安価そう、という点です。 最安を狙うなら vast.io が良さそうです
今回はLoRA Block Weightの１７階層について調査していこうと思います。 調査するLoRAは前回に引き続きこちら、LEOSAM様のFilmVelvia3でございます。 FilmVelviaはAIイラストからより実写風にするためのLoRAになってます。 基本的には今回の調査結果が他のLoRAにも応用可能な内容にしているつもりで検討をやっていきますのでよろしくお付き合いください。 前回のおさらいはい、それでは前回のおさらいから。 LoRA Block Weightを使用しない場合のLoRAのプロンプトは次のようになりますね。 <lora:FilmVelvia3:1> これにLoRA Block Weightを使用するとプロンプトが以下のように変化します。 <lora:FilmVelvia3:1:1:lbw=ALL> はい、そして、Block Weightの有無で対応するプロンプトは
■記事の対象ユーザ １．LoRA作成可能な環境(VRAM10GB以上)を持っている ２．オリジナルキャラクターのLoRAの作り方を探している ３．昔は覚えていたLoRAの作り方が思い出せない人 久々過ぎて記憶を失っていた■ようするに？ こんな感じのウチの子LoRAを作ったのでその手順をまとめています。 ウチの子１（AIアシスタントKhaulaちゃん）ウチの子２（代理アバターのヴァイオレンちゃん） ０．はじめにこの記事はローカル画像生成の浦島太郎シリーズの第四弾、キャラクターLoRA作成編です。 前回の記事(主流モデル比較)でillustrious系列のモデルにAnimagineベースのLoRAを使っても効果が得られにくいということが判ったので、今の環境でキャラクターLoRAを作る手順について記事に残しておこうと思います。 とはいえ、SDXL時代のLoRA作成手順と大きくは変わっていないので
flash-attn) (3.2.0)\nRequirement already satisfied: sympy==1.13.1 in /usr/local/lib/python3.10/site-packages (from torch->flash-attn) (1.13.1)\nRequirement already satisfied: mpmath<1.4,>=1.1.0 in /usr/local/lib/python3.10/site-packages (from sympy==1.13.1->torch->flash-attn) (1.3.0)\nRequirement already satisfied: MarkupSafe>=2.0 in /usr/local/lib/python3.10/site-packages (from jinja2->torch->fla
はじめに 今回は、満を持してVAE（Variational Auto Encoder）をちゃんと理解していこうと思います。 VAEに関しては、だいたい知っていますが、MusicGenという音楽生成AIを理解しようと思った時に、関連してRVQ-GANが出てきたので、再勉強をしています。 今後、下記の流れで記事を書いていく予定です。 VAE（今回） ↓ VQ-VAE ↓ RQ-VAE,RVQ-GAN ↓ MusicGen 今回は、流れの最初であり、現在でも非常に重要な概念であるVAEに関して記事を書きます。 VAEは、Stable Diffusionの中でも中核として使われていたりと、比較的古い概念でありながら、まだまだ活躍が期待できる汎用ネットワークです。 本記事が、みなさまの理解の手助けになれば、これほど嬉しいことはございません。 参考文献 VAEの論文です。 ゼロから作るDeep Lea
"1girl, 1boy"ぐらいシンプルでも１人しか描かれない傾向があって、anything-v3だとその傾向がより強いですけど、negative promptに"1girl"と入れてあげると、バランスよく２人描かれやすくなるというハックを見つけました。 左：negative prompt なし 右：あり#stablediffusion #anythingv3 pic.twitter.com/RFGW979cCj — 七師🐾🖋 (@tomo161382) November 19, 2022 "1girl, red hair, blue eye"で、目の色に赤色が混ざる問題も、同じようにnegative promptで回避可能でした。要素が３つ以上になると工夫が必要そうですが。 左：negative promptなし 右："1girl, blue hair, red eye"をnegat
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く