Budou jazykové modely zdarma?

Budou jazykové modely zdarma?

Cílem výzkumného týmu EleutherAI je vytvořit klon GPT-3, který bude k dispozici všem a zadarmo!

EleutherAI je volná skupina nezávislých vědců, kteří vyvíjí GPT-Neo, otevřenou, volně použitelnou verzi jazykového modelu OpenAI. Model by mohl být hotový již v srpnu, řekl člen týmu Connor Leahy The Batch.

Jak to funguje: Cílem je přizpůsobit rychlost a výkon plnohodnotné verzi GPT-3 se 175 miliardami parametrů se zvláštní pozorností na odstraňování sociálních předsudků. Tým úspěšně dokončil verzi s 1 miliardou parametrů a nyní probíhají architektonické experimenty. • CoreWeave je poskytovatel cloudových výpočtů, poskytuje projektu bezplatný přístup k infrastruktuře. Nakonec plánuje hostit instance pro platící zákazníky. • Trénovací korpus obsahuje 825 GB textu. Kromě zavedených textových datových sad obsahuje protokoly chatu IRC, titulky YouTube a souhrny z archivu lékařského výzkumu PubMed. • Tým zkoušel párování slov a pomocí analýzy sentimentu hodnotil údaje o pohlaví, náboženství a rasové předpojatosti. Byly odstraněny příklady, které vykazovaly nepřijatelně vysokou úroveň zkreslení.

Zdroje: https://www.eleuther.ai/projects/gpt-neo/?utm_campaign=The%20Batch&utm_medium=email&_hsmi=109400193&_hsenc=p2ANqtz-97S8QHC4I_gD5FOS4x1Kbemxu1-QOgYDK7ISGHv5FI0DCD8PUTp7MassDJNXr1aO6dHfbkD3TRsccIpLzA-5BMG0ZkAw&utm_content=109401005&utm_source=hs_email

https://pile.eleuther.ai/paper.pdf?utm_campaign=The%20Batch&utm_medium=email&_hsmi=109400193&_hsenc=p2ANqtz-8GfD5dSxg11QbzBCl0w-ZoJo35KrnM-mJNriVL8xDJVeaZWWK5d0XxNuIzaKuReGaqTJN9rzDFEYNuA66cntMoIbycqA&utm_content=109401005&utm_source=hs_email

Původně publikováno na Facebooku — odkaz na post