Generálny riaditeľ a spoluzakladateľ OpenAI Sam Altman začiatkom marca oznámil, že modely GPT-4.5 a GPT-5 budú predstavené v najbližších „týždňoch/mesiacoch“. Nepriblížil však konkrétne dôvody dlhého vývoja.
Za týmto oznámením sa však skrýva oveľa dôležitejšia správa: OpenAI potichu mení svoju základnú stratégiu vývoja. Spoločnosť dlhé roky stavila na predpoklad, že väčšie modely trénované na čoraz väčších množstvách dát prinesú neustále zlepšovanie výkonu. S. Altman však teraz naznačil, že táto stratégia už neprináša dostatočné výsledky. OpenAI preto upravuje prístup, aby dokončilo vývoj GPT-5.
Podľa informácií médií The Information a Wall Street Journal OpenAI absolvovalo niekoľko veľkých tréningových cyklov pre novú verziu četbota, no výsledky neboli dostatočne presvedčivé. Plánovaný model síce v testoch prekonával GPT-4 v niektorých jazykových úlohách, ale v kódovaní a matematike nepriniesol výrazné zlepšenie.
Prečo už nestačí len pridávať dáta
Škálovanie modelov narazilo na zásadné limity. Bývalý hlavný vedec OpenAI Ilya Sutskever už v roku 2023 upozornil, že „máme len jeden internet“, a teda dostupnosť dát na trénovanie nerastie dostatočne rýchlo.
Zväčšovanie modelov navyše prináša klesajúcu návratnosť. Odhaduje sa, že GPT-4 má 1,8 bilióna parametrov, no ich ďalšie zvyšovanie už nevedie k výraznému zlepšeniu výkonu.
ChatGPT is the most powerful conversational AI in the world.
— Alex Banks (@thealexbanks) February 16, 2023
It has 175 billion parameters.
GPT-4 is estimated to have 100 trillion.
Here’s what parameters mean and why you must understand them: pic.twitter.com/FIfkLEwqpg
Ďalším problémom sú rastúce náklady. Tréning GPT-5 môže stáť až miliardu dolárov len na cloudových výpočtoch. Plánované dátové centrum Stargate s dvomi miliónmi GPU si vyžiada sto miliárd dolárov a ročne spotrebuje jeden gigawatt elektriny, čo zodpovedá spotrebe veľkého amerického mesta. Tieto faktory naznačujú, že doterajší prístup k vývoju AI dosiahol svoje hranice.
Kombinácia rýchlosti a premýšľania
Prístup chain of thought (reťazec úvah), ktorý sa objaví v GPT-5, pridáva do modelov schopnosť premýšľať krok za krokom, čím zlepšuje výkony v logických úlohách, matematike a programovaní. Tento prístup však zároveň spomaľuje odpovede, čo nie je vždy žiaduci efekt.
Model Claude 3.7 Sonnet od spoločnosti Anthropic predstavil AI systém, ktorý dokáže dynamicky prepínať medzi týmito dvoma režimami myslenia – rýchlym intuitívnym spracovaním a systematickým premýšľaním krok za krokom. Tento hybridný prístup umožňuje modelu efektívne riešiť široké spektrum úloh oveľa lepšie ako ChatGPT.
Obrat v stratégii a jeho dôsledky
Hoci nový smer OpenAI zatiaľ nie je úplne jasný, jeho dôsledky sa môžu prejaviť v celom AI ekosystéme. Zmena stratégie môže ovplyvniť nielen vývoj modelov, ale aj investície do špecializovaných čipov, dátových centier a energetickej infraštruktúry.
Jedným z najviditeľnejších príkladov tejto zmeny je Stargate, ambiciózny projekt na výstavbu masívnych dátových centier, ktorý v januári predstavil S. Altman spolu s prezidentom USA Donaldom Trumpom, generálnym riaditeľom Oraclu Larrym Ellisonom a šéfom SoftBank Masayoshim Sonom. Pôvodne sa predpokladalo, že tento 500-miliardový projekt bude nevyhnutný na ďalší rozvoj AI. Ak sa však ukáže, že nové modely si vystačia s menšími výpočtovými nárokmi, jeho význam sa môže zmeniť.
Aj spoločnosť Microsoft, ktorá do OpenAI investovala 13 miliárd dolárov, stavila na predpoklad, že vývoj AI bude pokračovať predvídateľným, postupným tempom. Táto trajektória sa teraz zdá byť menej istá.
Bude GPT-5 prelomový?
Vďaka úspechu ChatGPT presiahli ročné výnosy OpenAI dve miliardy dolárov. Tento rast zaraďuje OpenAI medzi hŕstku spoločností zo Silicon Valley – ako Google a Meta – ktoré za desaťročie od založenia dosiahli príjmy vo výške jednej miliardy dolárov.
Podľa generálneho riaditeľa OpenAI Sama Altmana 92 percent spoločností z rebríčka Fortune 500 k novembru minulého roka používalo produkty OpenAI vrátane ChatGPT a GPT-4, zatiaľ čo chatbot dosiahol 200 miliónov používateľov týždenne.
Hoci S. Altman v posledných mesiacoch naznačuje, že OpenAI „vie, ako postaviť AGI (umelá všeobecná inteligencia),“ mnohí odborníci zostávajú skeptickí. Odborník na kognitívnu vedu Gary Marcus tvrdí, že dnešné modely AI nie sú skutočne racionálne a ich schopnosti sú stále obmedzené.
Hlavný vedec v spoločnosti Meta Yann LeCun upozorňuje, že GPT modely nemajú skutočné chápanie fyzického sveta, nevedia spoľahlivo plánovať a nedokážu sa učiť z vlastných skúseností.
Bez ohľadu na to, či sa GPT-5 ukáže ako významný krok smerom k umelej všeobecnej inteligencii, jeho uvedenie bude dôležitým testom novej stratégie OpenAI. Ak bude úspešný, môže definovať ďalšiu generáciu AI modelov. Ak však neprinesie očakávaný skok vpred, potvrdí sa, že OpenAI potrebuje hľadať úplne nový prístup.
Meta investuje miliardy do AI robotov a čítania myšlienok. Prerazí, alebo spáli ďalšie peniaze?
