Google VideoPoet: KI-generierte Videos mit weniger Artefakten und mehr Flexibilität

Google VideoPoet
Quelle: Google

Google hat ein neues KI-Modell namens VideoPoet vorgestellt, das die Grenzen der Videogenerierung verschiebt. Das Modell ist in der Lage, 10-Sekunden-Clips zu generieren, die weniger Artefakte produzieren als frühere Modelle. Darüber hinaus ist VideoPoet in der Lage, eine Reihe von Aufgaben der Videogenerierung auszuführen, darunter Text-zu-Video-Konvertierung, Bild-zu-Video-Transformation, Videostilisierung, Inpainting und Video-zu-Audio-Funktionen.

Im Gegensatz zu seinen Vorgängern zeichnet sich VideoPoet durch die Fähigkeit aus, kohärente Videos mit großen bewegten Bildern zu erzeugen. Es beweist seine Fähigkeiten bei der Produktion von zehn Sekunden langen Videos und übertrifft damit seine Konkurrenten. Bemerkenswert ist, dass VideoPoet bei der Videogenerierung nicht auf spezifische Daten angewiesen ist, was es von anderen Modellen unterscheidet, die detaillierte Eingaben benötigen, um optimale Ergebnisse zu erzielen.

Diese Vielseitigkeit wird durch die Verwendung eines großen multimodalen Modells ermöglicht, das auf dem besten Weg ist, zum Mainstream in der Videogenerierung zu werden.

Wie funktioniert VideoPoet?

VideoPoet nutzt die Leistungsfähigkeit großer Sprachmodelle (LLMs) für die Videogenerierung. Das Modell integriert verschiedene Aufgaben der Videogenerierung nahtlos in ein einziges LLM, so dass nicht für jede Funktion separate Komponenten trainiert werden müssen.

Die resultierenden Videos haben unterschiedliche Längen sowie verschiedene Aktionen und Stile, die auf dem eingegebenen Textinhalt basieren. Darüber hinaus kann VideoPoet Eingabebilder in Animationen umwandeln, die auf bereitgestellten Eingabeaufforderungen basieren, und so seine Anpassungsfähigkeit an verschiedene Eingaben demonstrieren.

Hier klicken, um den Inhalt von YouTube anzuzeigen.
Erfahre mehr in der Datenschutzerklärung von YouTube.

Quelle(n):
Google

Links mit einem * sind Partner-Links. Durch einen Klick darauf ge­lan­gt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalte ich ei­ne kleine Provision. Für euch ändert sich am Preis nichts. Danke für eure Unterstützung!

Um über alle News auf dem Laufenden zu bleiben, folge mir auf Google News oder Facebook, abonniere meinen Telegram-, WhatsApp-, X/Twitter- oder Mastodon-Kanal oder RSS-Feed!

Der einzige Tech-Newsletter, den Du brauchst

Abonniere Schmidtis Blog, um tägliche Updates der neuesten Artikel direkt in Deinem Posteingang zu erhalten

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert