Sora je generativní text-to-video model AI, vydaný společností OpenAI v únoru 2024. Sora je schopna tvořit filmy z textových pokynů pomocí kombinace AI technologií: pokročilých NLP modelů, GAN ^[1], VQ-VAE, sémantických a kontextových modelů, technik pro syntézu videa a animaci, a metod posíleného učení pro tvorbu videí z textových pokynů.^[2][3][4]

Technologie

Přehled Sora

Sora je architektura založená na nejnovější generaci difúzních transformátorů. Začíná proces s inicializačním šumem a postupně provádí serii úprav, aby dosáhla přesného cílového videa. Významným prvkem teto technologie je implementace adaptivního vzorkování, které umožňuje modelu Sora dynamicky se přizpůsobit a optimalizovat pro různé kodeky, rozlišení a poměry videa. To je dosaženo pomocí pokročilého algoritmického řešení, které umožňují měnit úroveň podrobnosti ve procesu výběru vzorků a efektivně rekonfigurovat vstupní data tak, aby byla maximalizována kompatibilita s požadovanými výstupními formáty videa.^[5][6]

Proces Generování Videa

Proces generování videa Sora zahrnuje tři hlavní kroky:

Zpočátku Sora komprimuje zdrojové video do reprezentace latentního prostoru, což zachytává interní vlastnosti dat. Tento vysoce dimenzionální prostor je využíván k abstrakci videodat, umožňující AI efektivněji manipulovat s složitými vzory v datech a generovat detailní, vysokokvalitní video výstupy.^[5]

Po kompresi se tokenizovaná latentní reprezentace videa zpracovává pomocí Vision Transformer (ViT). Tento krok zlepšuje čistotu videa odstraněním šumu z abstraktní reprezentace.^[7]

Nakonec Sora využíva mechanismus CLIP^[8] (Contrastive Language–Image Pre-training), který umožňuje Sora porozumět a aplikovat textové popisy poskytnuté uživateli^[9]. Tyto popysy mohou být vylepšeny pomocí velkých jazykových modelů (LLMs) pro větší jasnost a specifičnost a mohou zahrnovat i vizuální podněty. To řídí difúzní model při vytváření videí, která odpovídají požadovaným tématům nebo stylům.^[7][10][11]

Po opakovaném aplikování kroků odstranění šumu je abstraktní video transformováno do své konečné formy. Toto video je poté dekódováno zpět do standardního video formátu a připraveného k prohlížení.^[12][5]

Použití

Aplikace Sora má potenciál pro využití v různých oblastí včetně zábavy, vzdělávání, simulačního tréninku a dalších, kde může vytvářet přizpůsobený video obsah na základě konkrétních textových pokynů^[5], ale v současné době ještě není k dispozici veřejnosti, protože ji vědci zkoumají pro společenskou bezpečnost.^[13][14]

Reference