Vývoj humanoidních robotů se po většinu dvou desetiletí ubíral pomalým tempem, ale v poslední době jsme v této oblasti svědky stále více průlomů. Jak jsme nedávno psali, na MWC 2024 byl představen AI robot Amerikaa další vývoj, Unitree H1, překonal rychlostní rekord mezi humanoidními roboty. A nyní se na internetu objevil velkolepý výsledek spolupráce mezi společnostmi Figure AI a OpenAI – ohromující video humanoidního robota, který nyní dokáže vést rozhovory s lidmi.
Startup Figure AI zveřejnilo video ukazující robota Figure 01 pracujícího s novým modelem vizuálního jazyka (VLM). Figura 01 v ní stojí u stolu, na kterém je talíř, jablko a šálek. Vlevo je sušička. A na otázku člověka, co robot vidí před sebou, odpovídá podrobným popisem všeho, co leží na stole.
A pak se muž zeptá, jestli může něco sníst, a robot odpoví: „Samozřejmě“, a pak obratným plynulým pohybem jablko vezme a podá ho muži. Poté přichází další ohromující ukázka – muž vysype z koše před figurkou 01 zmačkané odpadky a požádá robota, aby vysvětlil, proč to udělal, a zároveň odpadky do koše posbíral. A svou „myšlenku“ vysvětluje, zatímco papír vrací zpět do koše. "Tak jsem ti dal jablko, protože je to jediný jedlý předmět, který ti můžu dát ze stolu," řekl robot.
Zástupci společnosti vysvětlili, že obrázek 01 používá předem vyškolený multimodální model OpenAI, VLM, aby porozuměl obrázkům a textům a při generování odpovědí se spoléhá na hlasové výzvy. Tím se liší, řekněme, od OpenAI GPT-4, který se zaměřuje na psané výzvy.
Používá také to, co společnost nazývá „naučené bimanuální manipulace na nízké úrovni“. Systém koordinuje přesnou kalibraci obrazu (až na úroveň pixelů) se svou neuronovou sítí pro řízení pohybu. "Tyto sítě přijímají snímky při 10 Hz a generují 24-DOF akce (pozice zápěstí a úhly prstových kloubů) při 200 Hz," uvedl Figure AI v prohlášení.
Společnost tvrdí, že každé chování ve videu je založeno na systémovém učení, takže nikdo v zákulisí netahá za nitky z obrázku 01. Samozřejmě existuje nuance - není známo, kolikrát robot tímto postupem prošel. Možná to bylo po sté, což vysvětluje jeho přesné pohyby. Ale v každém případě tento úspěch vypadá velkolepě a trochu fantasticky.
Obrázek 01 nyní plní úkoly ze skutečného světa
Vše je autonomní:
-Autonomní navigace a manipulace založená na síle
- Naučený model vidění pro detekci a stanovení priorit
-Reaktivní manipulace se zásobníkem (odolná vůči variaci pozice)
-Zobecnitelné na jiné úkoly typu pick/place obr.twitter.com/0wFmYnq0GC— Figurka (@Figure_robot) Února 26, 2024
Přečtěte si také: