Model umělé inteligence Phi od Microsoft - malý, levný a netrpí "halucinacemi". To je to, co říkají o novém jazykovém modelu, kterému se předpovídá velká budoucnost.
GPT je úplně super, ale zároveň je strašně drahý a nemůže být perfektní pro každého. Z těchto a mnoha dalších důvodů Microsoft experimentuje s mnohem menšími modely umělé inteligence. Říká se, že Phi-3-mini dokonce dokáže zahanbit práci inženýrů OpenAI.
Zajímavé také: Tranzistory budoucnosti: Čeká nás nová éra čipů
ChatGPT není všelék
ChatGPT je vynález, který je financován, kurátorován a vylepšován Microsoft. Vlastně to nepatří Microsoft, a společnost OpenAI, která Microsoft nevlastní (je předním, i když ne největším investorem). Jazykový model GPT dal Microsoft obrovská výhoda oproti zbytku velkých technologických korporací, které se nyní spěchají dohnat. S GPT je však obrovské množství problémů, z nichž mnohé zatím nelze vyřešit.
Především se jedná o jazykový model velmi náročný na zdroje. Web orientovaný Microsoft OpenAI Copilot nebo ChatGPT generují velmi vysoké provozní náklady Microsoft. To je vlastnost nejen GPT, ale také všech hlavních jazykových modelů. Kromě toho je GPT, stejně jako jeho konkurenti, náchylný k „halucinacím“, to znamená, že může generovat odpovědi na dotazy, které obsahují nepravdivé nebo zavádějící informace. Čím více dat takový model absorbuje, tím více má tendenci generovat podobný obsah. Halucinace a nepravdivá prohlášení proto nejsou mýtem vycucaným z digitálního prstu. Uživatelé často poznamenávají, že velké jazykové modely často dělají chyby, poskytují nepřesná data a pracují na neexistujících faktech.
Oba problémy jsou velmi vážné, a proto OpenAI, Microsoft, Meta, Google a další pracují na vývoji nejen technologie Large Language Model, ale také Small Language Model, který v praxi může přinést mnohem lepší výsledky.
Asistent digitálního účetního toho o kvantové fyzice moc vědět nemusí. Může být mnohem menší a méně komplexní (a tedy levnější) a tréninkem pouze na datech nezbytných pro jeho účel by teoreticky měl méně halucinovat. I když, to se snadněji řekne, než udělá. Technologie GenAI je stále divoký IT podnik. A přestože práce postupují nebývalým tempem, stále je obtížné prakticky prosadit zásadní otázky. Ale společnost Microsoft nedávno oznámil takový průlom. Mluvíme o malém jazykovém modelu Microsoft Phi.
Zajímavé také: Jak Tchaj-wan, Čína a USA bojují o technologickou dominanci: velká válka čipů
O čem se ví Microsoft Phi
Předně je třeba poznamenat, že experiment probíhal bez účasti společnosti OpenAI. To znamená, že jde o vývoj inženýrů Microsoft.
Modelky Microsoft Phi je řada malých jazykových modelů (SLM), které dosahují výjimečných výsledků v různých testech. První model, Phi-1, měl 1,3 miliardy parametrů a dosáhl nejlepších výsledků kódování v Pythonu mezi existujícími SLM.
Vývojáři se pak zaměřili na porozumění jazyku a myšlení a vytvořili model Phi-1.5, který měl rovněž 1,3 miliardy parametrů a vykazoval výkon srovnatelný s modely s pětinásobnými parametry.
Phi-2 je model s 2,7 miliardami parametrů, který demonstruje vynikající schopnosti uvažování a porozumění jazyku, přičemž funguje na úrovni nejlepších základních modelů s 13 miliardami parametrů. Phi-2 se odlišuje od ostatních modelů díky svým inovacím v oblasti škálování modelů a školení o správě dat.
Je k dispozici v katalogu modelů Azure AI Studio, který usnadňuje výzkum a vývoj v oblasti jazykových modelů. Phi-2 byl spuštěn v prosinci 2023. Vývojáři ujišťují, že funguje stejně dobře jako Mistral nebo lama 2 od Meta. A Phi-3 funguje ještě lépe než předchozí verze.
Model Phi-3, který byl právě oznámen, je však kvalitativně zcela nový. Alespoň tak můžete soudit z poskytnutých informací Microsoft. Podle společnosti podle ukazatelů všech známých benchmarků si Phi-3 vede lépe než jakýkoli jiný model podobné velikosti, včetně jazykové analýzy, programátorské práce nebo matematické práce.
Phi-3-mini, nejmenší verze tohoto modelu, se právě stala dostupnou pro všechny zájemce. To znamená, že je k dispozici od 23. dubna. Phi-3-mini má 3,8 miliardy parametrů a podle měření Microsoft, dvakrát efektivnější než jakýkoli jiný model stejné velikosti. Lze jej nalézt v katalogu AI modelů cloudové služby Microsoft Azure, platforma pro model strojového učení Hugging Face, a Ollama, rámec pro spouštění modelů na místním počítači.
Jak tvrdí Microsoft, Phi-3-mini nevyžaduje výkonné čipy Nvidia. Model může pracovat na běžných počítačových čipech. Nebo se vejde i na telefon, který není připojen k internetu.
Menší výkon také znamená, že modely nebudou tak přesné. Phi-3 nebude vhodný pro lékaře nebo daňové účetní, ale pomůže v jednodušších úkonech. Například pro cílení reklamy nebo shrnutí recenzí na internetu.
Vzhledem k tomu, že menší modely vyžadují méně zpracování, budou pro soukromé společnosti levnější. Tedy v Microsoft bude více zákazníků, kteří by rádi zapojili AI do své práce, ale považovali to za příliš drahé. Zatím však není jasné, kolik budou stát.
Kdy se objeví malé a střední modely, zatím není známo. Ten druhý ale bude výkonnější a dražší. I když je již známo, že Phi-3-small bude mít 7 miliard parametrů a Phi-3-medium bude mít dokonce 14 miliard parametrů.
Přečtěte si také:
- Díky grafenovým mikročipům budou telefony rychlejší a jednodušší
- O kvantových počítačích jednoduchými slovy
Jak používat Phi-3-mini?
GPT-4 Turbo vyžaduje výkonné AI čipy, které jsou stále velmi drahé. Malý řečový model Phi-3 může fungovat offline, bez cloudu, dokonce i s čipem v mobilním telefonu.
Phi-3 není produkt pro koncové uživatele, ale technologie, kterou budou moci vývojáři využívat a implementovat do svých aplikací – jak cloudových, tedy vzdáleně umístěných, tak těch, které fungují lokálně a offline. Očekává se, že bude bezproblémově spolupracovat se zařízeními a jejich součástmi, jako jsou mobilní telefony, automobily a jejich informační a zábavní systémy nebo dokonce IoT senzory. V některých scénářích může být tato technologie neocenitelná.
Microsoft dokonce uvádí konkrétní příklad, abychom nemuseli napínat svou představivost. Představte si farmáře, který kontroluje úrodu a na listech, stoncích a větvích vidí známky nemoci. Vzhledem k tomu, že je daleko od telekomunikačních stožárů, bude muset pouze vytáhnout telefon, vyfotit poškození, vložit jej do aplikace využívající technologii Phi-3 – a model rychle a offline analyzuje fotografii a poradí, jak jak přesně s touto nemocí bojovat.
Jak vysvětluje MicrosoftKlíčem k úspěchu GPT bylo poskytnutí obrovského množství dat pro školení. U takto velkých datových sad nepřichází v úvahu vysoká kvalita dat. Mezitím při trénování modelu Phi byl použit zcela opačný přístup OpenAI. Namísto nacpání modelu informacemi se pozornost soustředila na postupné a důkladné učení.
Místo toho, aby používali nezpracovaná internetová data, výzkumníci Microsoft vytvořili datovou sadu TinyStories, která generovala miliony miniaturních „dětských“ příběhů. Tyto příběhy byly použity k trénování velmi malých jazykových modelů. Výzkumníci poté šli ještě dále a vytvořili datovou sadu CodeTextbook, která používala pečlivě vybraná, veřejně dostupná data, která byla filtrována pro vzdělávací hodnotu a kvalitu obsahu. Tato data byla poté několikrát filtrována a vrácena zpět do velkého jazykového modelu (LLM) pro další syntézu.
To vše umožnilo vytvořit pole dat dostatečné pro trénování schopnějšího SLM. Při vývoji modelu Phi-3 byl navíc použit víceúrovňový přístup k řízení a zmírňování rizik, včetně hodnocení, testování a ručních úprav. Ve výsledku, jak tvrdí Microsoft, mohou vývojáři využívající rodinu modelů Phi-3 využít sadu nástrojů dostupných v Azure AI k vytváření bezpečnějších a spolehlivějších aplikací.
Přečtěte si také: Teleportace z vědeckého hlediska a její budoucnost
Microsoft Nahradí Phi modely typu ChatGPT?
Vůbec ne. Malé jazykové modely (SLM), i když jsou trénovány na vysoce kvalitních datech, mají svá omezení a nejsou určeny pro hluboké učení. Velké jazykové modely (LLM) předčí SLM v komplexním uvažování díky své velikosti a výpočetnímu výkonu. LLM jsou a nadále budou zvláště užitečné v oblastech, jako je objevování léků, kde je třeba prohledávat rozsáhlé sbírky vědeckých prací a analyzovat složité vzorce. Na druhou stranu lze SLM použít pro jednodušší úkoly, jako je shrnutí hlavních bodů dlouhého textového dokumentu, vytváření obsahu nebo napájení chatbotů zákaznických služeb.
Microsoft, řekla, již interně používá sady hybridních modelů, kde LLM přebírá vedení a směruje určité dotazy, které vyžadují menší výpočetní výkon, na SLM, zatímco jiné, složitější dotazy zpracovává sám. Phi je umístěno pro výpočetní techniku na zařízeních bez použití cloudu. Stále však bude existovat propast mezi malými jazykovými modely a úrovní inteligence, kterou lze získat s velkými modely v cloudu. Tato mezera, díky pokračujícímu rozvoji LLM, pravděpodobně v dohledné době nezmizí.
Phi-3 musí ještě ověřit externí nezávislé strany. Microsoft někdy hovoří o 25x vyšší účinnosti nebo v extrémních případech energetické účinnosti oproti konkurenci, což zní docela pohádkově. I když na druhou stranu nelze zapomenout, že tyto roky uplynuly Microsoft nás trochu odnaučil od toho, že je jasným lídrem v IT inovacích a možná i proto tomu moc nevěříme. Programy založené na umělé inteligenci, které okamžitě reagují a místo generování běží offline? To by bylo důstojné vyvrcholení současné revoluce. Bohužel je tu jeden zásadní problém.
Přečtěte si také: Vše o čipu Neuralink Telepathy: co to je a jak funguje
Phi-3 od Microsoft rozumí pouze anglicky
Phi-3 nepohltil masově nahozené petabajty. Pečlivé a svědomité trénování modelu zahrnuje jeden menší problém. Phi-3 byl vyškolen s informacemi v angličtině a zatím nemá ponětí o žádném jiném jazyce. Nejen ukrajinština, ale i němčina, španělština, francouzština nebo čínština. To samozřejmě značně snižuje jeho přitažlivost pro většinu uživatelů po celém světě.
Ale v Microsoft ujistil, že práce na jeho vývoji a zlepšování probíhají. I když byste se neměli klamat tím, že ukrajinský trh je prioritou žádné z velkých korporací. Na podporu ukrajinského jazyka si proto budeme muset ještě velmi dlouho počkat. Tato skutečnost ale nikdy nezastavila nadšence a ty, kteří chtějí držet krok s pokrokem.
Přečtěte si také: