Meta Platforms na každoroční akci Meta Connect v Kalifornii prezentovány několik nových funkcí umělé inteligence pro své oblíbené aplikace Facebook, Instagram a WhatsApp, ale nejpůsobivější inovace od technologického giganta možná zůstala mnohými nepovšimnuta. Řeč je o modelu Llama 2 Long AI.
Tým výzkumníků ze společnosti Meta nějak potichu zveřejnil článek, ve kterém představil nový model umělé inteligence Llama 2 Long, schopný generovat koherentní a relevantní odpovědi na dlouhé uživatelské dotazy. Říká se, že nanejvýš předčí některé z nejlepších konkurentů v oboru.
Llama 2 Long je rozšíření Llama 2, open-source model umělé inteligence Meta vydaný v létě, který se může učit z různých zdrojů dat a provádět různé úkoly, jako je kódování, matematika, porozumění jazyku a další. Llama 2 Long však byla trénována na více datech obsahujících delší texty a tento algoritmus byl upraven tak, aby zpracovával delší sekvence informací. To mu umožňuje překonat OpenAI GPT-3.5 Turbo a Claude 2, které mají limity na množství kontextu, který mohou použít ke generování odpovědí.
Výzkumníci meta používal různé verze Llama 2 - od 7 miliard do 70 miliard parametrů, tedy hodnot, které může AI model změnit učením se z dat. Přidali dalších 400 miliard tokenů (jednotek textu) dat, která obsahovala delší texty než původní modelová datová sada. Také mírně vylepšili architekturu modelu AI pomocí techniky Rotary Positional Embedding (RoPE), takže model může generovat přesné a užitečné odpovědi s použitím menšího množství informací a paměti než jiné metody.
Tým použil posílení učení z lidské zpětné vazby (RLHF), metodu, kdy je model umělé inteligence odměňován za správné odpovědi a opravován lidskými hodnotiteli a syntetická data jsou generována samotným chatem Llama 2. ke zlepšení jeho výkonu v různých úkolech. .
List tvrdí, že model dokáže generovat vysoce kvalitní odpovědi na uživatelské výzvy dlouhé až 200 40 znaků, což odpovídá asi 2 stránkám textu. Výzkumníci říkají, že Llama XNUMX Long je krokem k vytvoření obecnějších a všestrannějších modelů umělé inteligence, které dokážou splnit složité a různorodé potřeby uživatelů. Uvědomují si také potenciální etické a sociální důsledky takových modelů a vyzývají k dalšímu výzkumu a dialogu o tom, jak je zodpovědně a prospěšně používat.
Přečtěte si také: