コードは以下のとおりです。 %cd /content !git clone -b dev https://github.com/camenduru/MagicAnimate-hf !pip install -q diffusers==0.21.4 transformers==4.32.0 accelerate==0.22.0 omegaconf==2.3.0 einops==0.6.1 av gradio !pip install -q https://download.pytorch.org/whl/cu118/xformers-0.0.22.post4%2Bcu118-cp310-cp310-manylinux2014_x86_64.whl !apt -y install -qq aria2 BaseModelUrl = "https://huggingface.co/runwayml
この記事は、「AnimateDiffをComfyUI環境で実現する。簡単ショートムービーを作る」に続く、KosinkadinkさんのComfyUI-AnimateDiff-Evolved（AnimateDiff for ComfyUI）を使った、AnimateDiffを使ったショートムービー制作のやり方の紹介です。今回は、ControlNetを使うやり方を紹介します。ControlNetと組み合わせることで、制御できることの幅が一気に広がります。 AnimateDiff for ComfyUIは、ControlNetに対応しています。ただし、使い方に少し癖があり、公式ページではあまり詳しく解説が行われていないため、引っかかりやすい状態になっています。この記事は、公式ページを補完する目的で書いています。 Control Net付きのサンプルワークフロー サンプルのワークフローを含んだ画像がい
ControlNetでAnimateDiffをコントロールするやつの設定についてです。 自分の設定例を載せておきます。 ControlNetとAnimateDiffが使用できることが前提です。 基本設定 サンプラーはDPM2 Karrasを使っています。DDIMがいいという情報もあります。この辺はまだあまり試せていません。 AnimateDiffのモデルはv14です。 Enable AnimateDiffをチェックすると、AnimateDiffが実行されるモードになります。hook.pyを差し替えていれば、ControlNetもAnimateDiffに対応するようになります。 チェックされていない場合、ControlNetは従来通りの動作をするはずです。 Tileの設定 Tileを２個使うことができます。番号が小さい方が開始フレーム、大きい方が終了フレームをコントロールします。１個の場合は
画像生成AI「Stable Diffusion」はプロンプトあるいは呪文と呼ばれる入力した文章から画像を自動で生成することができます。このStable Diffusionで生成した画像をフレームにしたアニメーションを生成できる「Deforum」を、ウェブUIの決定版といえるAUTOMATIC1111版Stable Diffusion web UIの拡張機能で追加できるようになったので、実際にアニメーションを生成してみました。 deforum/deforum_stable_diffusion – Run with an API on Replicate https://replicate.com/deforum/deforum_stable_diffusion GitHub - deforum-art/deforum-for-automatic1111-webui: Deforum exte
「Deforum Diffusion」と「Waifu Diffusion」によるAI動画生成を試したので、手順をまとめました。 ・Deforum Stable Diffusion v0.4 ・Waifu Diffusion v1.2 1. Deforum Stable Diffusion「Deforum Stable Diffusion」は、「Stable Diffusion」でズームやシフトさせながら画像生成を繰り返すことで、印象的な動画を作成できるColabノートブックです。 以下のColabノートブックを開いて、上から順番に実行していくことで動画生成することができます。 ・Deforum Stable Diffusion v0.4 2. Setup(1) 「NVIDIA GPU」のセルを実行。 Colabに割り当てられたGPUの情報が表示されます。 Tesla P100-PCIE-1
１.はじめに 文から画像生成をするモデルを使って、出力画像をズームやシフト等をさせ、それを初期値にして文で画像生成することを繰り返すと面白い動画が出来ます。今回ご紹介するのは deforum氏が開発した Stable Diffusion を使った動画生成をするGoogle Colabです。 2.学習済みパラメータのダウンロード まず学習済みパラメータをダウンロードします。Hugging Faceからアクセストークンの取得をしてない方は、このブログの「２．アクセストークンの取得」を参考に取得してから下記に進んで下さい。 このリンクをクリックし、学習済みパラメータ（stable-diffusion-v-1-4-original）の使用申請をします。I have read the Licence and agree with its terms のチェックボックスにチェックを入れ、Access
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く