){kind=link}
Výzkumníci Apple vyvinuli systém umělé inteligence nazvaný ReALM (Reference Resolution as Language Modeling), jehož cílem je radikálně zlepšit způsob, jakým hlasoví asistenti rozumí příkazům a reagují na ně.
Ve výzkumném článku Apple popisuje nový rámec pro to, jak velké jazykové modely řeší problém rozlišení odkazů, který zahrnuje dešifrování nejednoznačných odkazů na objekty na obrazovce a také porozumění konverzačnímu kontextu a kontextu na pozadí. V důsledku toho může ReALM vést k intuitivnější a přirozenější interakci se zařízeními.
Rozpoznávání odkazů je důležitou součástí porozumění přirozenému jazyku a umožňuje uživatelům používat zájmena a další nepřímé odkazy v konverzaci bez zmatků. Pro digitální asistenty byla tato schopnost historicky významnou výzvou, omezenou potřebou interpretovat širokou škálu verbálních signálů a vizuálních informací. Systém ReALM od Apple si klade za cíl vyřešit tento problém přeměnou složitého procesu rozpoznávání odkazů na čistě úlohu modelování jazyka. Tímto způsobem může porozumět odkazům na vizuální prvky zobrazené na obrazovce a integrovat toto porozumění do toku konverzace.
ReALM rekonstruuje vizuální strukturu obrazovky pomocí textových reprezentací. To zahrnuje analýzu objektů obrazovky a jejich uspořádání tak, aby se vytvořil textový formát, který odráží obsah a strukturu obrazovky. Výzkumníci Apple zjistili, že tato strategie v kombinaci se speciálním laděním jazykových modelů pro problémy s rozlišením benchmarků výrazně překonává tradiční metody, včetně schopností OpenAI GPT-4.
ReALM může uživatelům umožnit mnohem efektivnější interakci s digitálními asistenty na základě toho, co je aktuálně zobrazeno na obrazovce, bez potřeby přesných a podrobných pokynů. Díky tomu by hlasoví asistenti mohli být mnohem užitečnější v různých situacích, jako je pomoc řidičům při navigaci v informačních a zábavních systémech za jízdy nebo pomoc uživatelům se zdravotním postižením poskytováním snadnějších a přesnějších prostředků nepřímé interakce.
Apple již publikoval několik výzkumných prací v oblasti AI. Minulý měsíc společnost představila novou metodu pro výuku velkých jazykových modelů, která hladce integruje textové i vizuální informace. To se očekává Apple představí řadu funkcí umělé inteligence na červnové konferenci WWDC.
Přečtěte si také: