Mezi nejlepší modely umělé inteligence pro zpracování přirozeného jazyka (Bert, …

Mezi nejlepší modely umělé inteligence pro zpracování přirozeného jazyka (Bert, Robert, GPT-2 či Megatron) přišel minulý týden další hráč ALBERT! Alberta nám přináší společnosti Google Research a Toyota Technological Institute. Zajímavý není model jen tím, že podává fantastické výsledky v klasických úlohách jako GLUE, RACE či SQuAD, ale především tím, že je menší, než jeho předchůdci! Například starý BERT x-large má zhruba 1,27 miliardy parametrů, oproti ALBERTu x-large s „pouze“ 59 milionů parametrů.

Jak se autorům podařilo zvětšit přesnost a zároveň zmenšit počet „mozkových buněk“?

Mohou za to tři důvody: 1 — Factorized Embedding Parameterization Čili efektivnější využití parametrů. Albert používá místo jedné embedding vrstvy dvě menší. One hot vektor je přenášen do menší vrstvy s nížím počtem dimenzí.

2 — Cross Layer Parameter Sharing vrstvy Albert zase o kousek zefektivňuje sílení parametrů (Feed Forward Network i Attention) napříč všemi vrstvami. Představte si zjednodušeně, že nový mozeček má jednotlivá mozková centra lépe propojena.

3 — SOP (Sentence Order Prediction) algoritmus nahrazuje NSP (Next Sentence Prediction) Už autoři RoBERTa si všimli, že NSP algoritmus nebyl moc účinný. Autoři Alberta však nově přicházejí s vlastním lepším algoritmem SOP. Zatímco v NSP se model učí rozeznat správnou větu tak, že je se stejného dokumentu a špatnou, že vezme větu z jiného dokumentu. SOP bere obě věty ze stejného dokumentu a správná dvojice je v korektním pořadí, kdežto ta špatná v prohozeném. Tím se vyhnul Albert nechtěnému předpovídání tématu a je schopen naučit se jemnějšího vztahu mezi jednotlivými větami.

Sečteno podtrženo, na svět přišla nová sada modelů pro práci s textem, která je velice přesná, a zároveň zabírá méně místa.

Zdroje: https://medium.com/@lessw/meet-albert-a-new-lite-bert-from-google-toyota-with-state-of-the-art-nlp-performance-and-18x-df8f7b58fa28

https://arxiv.org/abs/1909.11942v1

Původně publikováno na Facebooku — odkaz na post