Apps & Leitfäden

Stable Video Diffusion

Generative neuronale Netze können verschiedene Arten von Inhalten erstellen. Stable Diffusion wurde entwickelt, um Bilder aus Textbeschreibungen zu erzeugen. Es kann jedoch auch zur Erstellung von Musik, Sounds und sogar Videos verwendet werden. Heute zeigen wir Ihnen, wie Sie mit Stable Diffusion mit WebUI und ComfyUI kurze Videos aus einem einzigen Bild erstellen können.

Installieren Sie Stable Diffusion

Beginnen wir mit der Installation von Stable Diffusion anhand unserer Schritt-für-Schritt-Anleitung. Nach der Installation unterbrechen Sie bitte die Ausführung des Skripts webui.sh durch Drücken der Tastenkombination Strg + C und schließen Sie die SSH-Verbindung. Das System erlaubt es nicht, Erweiterungen mit der aktivierten Option --listen (--share) zu installieren. Das bedeutet, dass Sie eine Portweiterleitung (7860 und 8189) von Ihrem lokalen Rechner zum Remote-Server einrichten müssen. Der erste Port wird für WebUI und der zweite für ComfyUI benötigt.

In PuTTY müssen Sie zum Beispiel Connection >> SSH >> Tunnels öffnen und zwei neue weitergeleitete Ports hinzufügen, wie im folgenden Screenshot gezeigt:

Nun können Sie sich erneut mit dem Remote-Server verbinden und ./webui.sh erneut ausführen.

Öffnen Sie diese URL in Ihrem Browser:

http://127.0.0.1:7860

Navigieren Sie zu Extensions >> Available und klicken Sie dann auf die Schaltfläche Load from::

Das System wird die JSON-Datei mit allen verfügbaren Erweiterungen herunterladen. Geben Sie ComfyUI in das Sucheingabefeld ein und klicken Sie auf die Schaltfläche Install:

Die Webseite wird neu geladen und Sie erhalten eine neue Registerkarte ComfyUI im Hauptfenster. Wechseln Sie dorthin und klicken Sie auf Install ComfyUI:

Wenn die Installation abgeschlossen ist, unterbrechen Sie die Ausführung des Skripts webui.sh erneut, indem Sie Ctrl + C drücken.

Stable Video Diffusion Modell installieren

Öffnen Sie das Verzeichnis des Modells:

cd stable-diffusion-webui/models/Stable-diffusion/

Laden Sie das vollständige Stable Video Diffusion-Modell herunter:

curl -L https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/resolve/main/svd_xt.safetensors?download=true --output svd_xt.safetensors

Zurück zum Home-Verzeichnis:

cd ~/

Führen Sie den Stable Diffusion-Dienst erneut aus:

./webui.sh

Laden Sie das Beispiel für den Stable Video Diffusion Workflow im JSON-Format herunter. Löschen Sie den ComfyUI-Standard-Workflow, indem Sie auf Clear drücken und dann Load das heruntergeladene Beispiel:

Vergewissern Sie sich, dass Sie das richtige Modell im Knoten Image Only Checkpoint Loader (img2vid model) ausgewählt haben:

Klicken Sie auf die Schaltfläche choose file to upload im Knoten Load Image und wählen Sie ein beliebiges Einzelbild aus, das das generative neuronale Netzwerk in ein Video umwandeln soll:

Versuchen Sie, ein Video mit allen Standardparametern zu erzeugen, indem Sie auf die Schaltfläche Queue Prompt klicken:

Nachdem der Prozess abgeschlossen ist, erhalten Sie Ihr Video im WEBP-Format im Knoten SaveAnimatedWEBP. Klicken Sie mit der rechten Maustaste auf das generierte Video und wählen Sie Save Image:

Hier sehen Sie das Endergebnis als GIF.

Fehlersuche

Wenn Sie eine Fehlermeldung erhalten: ModuleNotFoundError: No module named 'utils.json_util'; 'utils' is not a package führen Sie bitte die folgenden Schritte aus:

Benennen Sie das Verzeichnis utils in utilities um:

mv /home/usergpu/stable-diffusion-webui/extensions/sd-webui-comfyui/ComfyUI/utils /home/usergpu/stable-diffusion-webui/extensions/sd-webui-comfyui/ComfyUI/utilities

Bearbeiten Sie custom_node_manager.py:

nano /home/usergpu/stable-diffusion-webui/extensions/sd-webui-comfyui/ComfyUI/app/custom_node_manager.py

Ersetzen Sie diese Zeile:

from utils.json_util import merge_json_recursive

mit:

from utilities.json_util import merge_json_recursive

Speichern Sie die Datei (Ctrl + O) und beenden Sie den Editor (Ctrl + X). Bearbeiten Sie dann main.py:

nano /home/usergpu/stable-diffusion-webui/extensions/sd-webui-comfyui/ComfyUI/main.py

Ersetzen Sie diese Zeile:

import utils.extra_config

mit:

import utilities.extra_config

Speichern Sie die Datei, beenden Sie den Editor, und führen Sie den Stable Diffusion-Dienst erneut aus:

./webui.sh

Siehe auch:

Aktualisiert: 04.04.2025

Veröffentlicht: 22.01.2025