Tým z Tokijské univerzity odhalil Alter3, humanoidního robota, který dokáže provádět pohyby pomocí velkého jazykového modelu GPT-4 (LLM). Alter3 používá nejnovější nástroj Otevřete AI dynamicky zaujmout různé pozice, od selfie pozice po duchy, to vše bez potřeby předprogramovaných záznamů v databázi.
„Reakce Alter3 na konverzační obsah pomocí výrazů obličeje a gest je významným pokrokem v humanoidní robotice, kterou lze snadno přizpůsobit jiným androidům s minimálními změnami,“ uvedli vědci.
V oblasti integrace LLM s roboty je důraz kladen na zlepšení základní komunikace a modelování realistických reakcí. Výzkumníci se také ponořují do schopností LLM umožnit robotům porozumět a provádět složité instrukce, čímž zvyšují jejich funkčnost.
Tradičně nízkoúrovňový management roboti je vázán na hardware a leží mimo dosah korporací LLM. To vytváří potíže pro přímé řízení prací založených na LLM. Japonský tým tento problém vyřešil a vyvinul metodu převodu výrazů lidských pohybů do kódu srozumitelného pro Android. To znamená, že robot může nezávisle generovat sekvence akcí v průběhu času, aniž by vývojáři museli individuálně programovat každou část těla.
Během interakce může osoba dávat Alter3 příkazy, jako je „Udělej si selfie s iPhonem“. Následně robot zahájí sérii požadavků na GPT-4, aby získal pokyny k nezbytným krokům. GPT-4 převede to do kódu Pythonu, který umožní práci „porozumět“ a provést potřebné pohyby. Tato inovace umožňuje Alter3 pohybovat horní částí těla, zatímco spodní část těla zůstává nehybná, připevněná ke stojanu.
Alter3 je třetí iterací v řadě humanoidních robotů Alter od roku 2016 a může se pochlubit 43 aktuátory zodpovědnými za mimiku a pohyby končetin poháněné stlačeným vzduchem. Tato konfigurace poskytuje širokou škálu výrazových gest. Robot neumí chodit, ale dokáže napodobit typické pohyby chůze a běhu.
Alter3 také prokázal schopnost kopírovat lidské pózy pomocí fotoaparátu a rámce OpenPose. Robot přizpůsobí své klouby pozorovaným polohám a zdařilé napodobeniny si uloží pro pozdější použití. Interakce s člověkem vedla k rozmanitějším pozicím, což podporuje myšlenku, že různé pohyby pocházejí z napodobování člověka, podobně jako se novorozenci učí prostřednictvím napodobování.
Před LLM museli vědci pečlivě ovládat všech 43 ovladačů, aby znovu vytvořili pózu osoby nebo simulovali chování, jako je podávání čaje nebo hraní šachů. To vyžadovalo četné ruční úpravy, ale AI pomohl osvobodit tým od této rutiny. „Očekáváme, že se Alter3 efektivně zapojí do dialogu zobrazením výrazů obličeje a gest souvisejících s kontextem. Prokázala schopnost zrcadlit emoce, například ukázat smutek nebo štěstí v reakci, a tím s námi sdílet emoce,“ říkají vědci.
Přečtěte si také: