V pátek vědci z NVIDIA oznámil Magic3D – model umělé inteligence, který dokáže generovat 3D modely z textových popisů. Po zadání vodítka, jako je „Modrá žába jedovatá, sedící na leknínu“, Magic3D vygeneruje 40D model sítě s barevnou texturou přibližně za XNUMX minut. S úpravami lze výsledný model použít ve videohrách nebo uměleckých scénách ve formátu CGI.
Ve svém vědeckém článku NVIDIA vnímá Magic3D jako odpověď na DreamFusion, model převodu textu do 3D, který výzkumníci Google oznámili v září. Stejně jako DreamFusion používá model text-to-image k vytvoření 2D obrazu, který je následně optimalizován na objemová data NeRF (Neural radiance field), Magic3D používá dvoukrokový proces, který vezme hrubý model vytvořený v nízkém rozlišení a optimalizuje jej tak, aby vyšším rozlišením. Podle autorů článku dokáže výsledná metoda Magic3D generovat trojrozměrné objekty dvakrát rychleji než DreamFusion.
Magic3D může také provádět úpravy 3D sítí za běhu. Pomocí 3D modelu s nízkým rozlišením a základního popisku můžete změnit text a změnit tak výsledný model. Magic3D také demonstruje zachování stejného spiknutí po několik generací (koncept často nazývaný koherence) a použití stylu 2D obrazu (jako je kubistická malba) na 3D model.
NVIDIA neuvolnila žádný kód Magic3D se svým výzkumným dokumentem.
Schopnost generovat 3D z textu se zdá být přirozeným vývojem v moderních difúzních modelech, které využívají neuronové sítě k syntéze nového obsahu po intenzivním tréninku na řadě dat. Až v roce 2022 jsme viděli vznik výkonných modelů převodu textu na obrázek, jako jsou DALL-E a Stable Diffusion, a také základních generátorů převodu textu na video od Googlu a Meta.
Pokud jde o Magic3D, vědci za ním doufají, že umožní komukoli vytvářet 3D modely bez potřeby speciálního školení. Po zdokonalení by výsledná technologie mohla urychlit vývoj videoher (a virtuální reality) a nakonec by mohla najít využití ve speciálních efektech pro film a televizi. Na konci svého článku píší: "Doufáme, že s Magic3D dokážeme demokratizovat 3D syntézu a odemknout kreativní potenciál každého při vytváření 3D obsahu."
Můžete pomoci Ukrajině v boji proti ruským vetřelcům. Nejlepším způsobem, jak toho dosáhnout, je darovat finanční prostředky ozbrojeným silám Ukrajiny prostřednictvím Zachraňte život nebo přes oficiální stránku NBÚ.
Přečtěte si také:
- Ve Švédsku se naučili tisknout mikroelektroniku na 3D tiskárnách
- Prach lze použít pro 3D tisk na Marsu