Vývojári vytvorili efektívnejší AI algoritmus, ktorý prekoná GPT-3 a využíva o 99,9 % menej parametrov

Výskum a vývoj
0

Výskumníci z Univerzity Ludwiga Maximiliána (ULM) v Mníchove vyvinuli textový generátor, ktorý dokáže prekonať najmodernejšie GPT-3 od OpenAI s využitím iba malého zlomku jeho parametrov. GPT-3 je systém umelej inteligencie, ktorý je schopný reagovať na takmer všetky zadania pomocou jedinečných, originálnych odpovedí, ktoré sú často prekvapivo presvedčivé. Je príkladom toho, čo môžu robiť vývojári so špičkovými algoritmami a softvérom, keď dostanú neobmedzený prístup k superpočítaču.

Nový systém vyvinutý výskumníkmi ULM Timom Schickom a Hinrichom Schutzem je však oveľa efektívnejší. Podľa dokumentu uverejneného na predtlačovom serveri arXiv systém tejto dvojice prekonáva GPT-3 v teste SuperGLUE s iba 223 miliónmi parametrov, čo je rádovo menej. Parametre sú premenné používané na vyladenie modelov AI. V podstate platí, že na čím viac parametroch je model AI vycvičený, tým robustnejší by mal byť.

Keď je systém využívajúci o 99,9 % menej parametrov schopný dosiahnuť v testovacej úlohe vynikajúci výsledok, je to dosť veľká vec. To však neznamená, že systém ULM je lepší ako GPT-3, ani to, že je schopný ho poraziť v iných testoch, ako je benchmark SuperGLUE. Znamená to iba toľko, že „prekoná GPT-3 v SuperGLUE s 32 tréningovými príkladmi, pričom vyžaduje iba 0,1 % jeho parametrov “. No otvára tak nové cesty pre výskumníkov, ktorí chcú posúvať hranice AI so skromnejším hardvérom.

Zdroj: thenextweb.com.

Redakcia

Všetky autorove články

Pridať komentár

Mohlo by vás zaujímať

Mohlo by vás zaujímať