La startup xAI di Elon Musk ha rivelato la sua ultima creazione: un supercomputer chiamato Colossus.
Questo enorme sistema di addestramento all’intelligenza artificiale vanta attualmente 100.000 processori Nvidia Hopper H100.
Situato a Memphis, nel Tennesse, Colossus verrà ampliato con 50.000 dei nuovi e più avanzati chip della serie H200 di Nvidia, più o meno due volte più potenti degli H100.
Questo renderebbe quasi certamente Colossus il computer più potente del pianeta, se già non lo fosse.
Per contestualizzare, Meta ha annunciato l’intenzione di accumulare 350.000 GPU H100 entro la fine del 2024, mentre si ritiene che OpenAI utilizzi circa 25.000 GPU per GPT-4, anche se potrebbero essere molte di più.
Musk stesso ha annunciato il lancio di Colossus su X durante il weekend del Labor Day, dichiarando: “Dall’inizio alla fine, è stato realizzato in 122 giorni. Colossus è il sistema di addestramento AI più potente al mondo. Inoltre, raddoppierà le sue dimensioni fino a 200k (50k H200s) in pochi mesi”
Questo fine settimana, il team di @xAI ha messo online il nostro cluster di formazione Colossus 100k H100. Dall’inizio alla fine, è stato realizzato in 122 giorni.
Colossus è il sistema di addestramento AI più potente al mondo. Inoltre, raddoppierà le sue dimensioni fino a 200k (50k H200) in pochi mesi.
Eccellente..
– Elon Musk (@elonmusk) 2 settembre 2024
Alimentare il futuro di Grok
Lo scopo immediato di Colossus è quello di addestrare il modello linguistico di grandi dimensioni (LLM) di xAI, noto come Grok.
Attualmente Grok è disponibile solo per gli abbonati paganti della piattaforma di social media X di Musk. L’azienda ha già rilasciato una prima beta di Grok-2, che è stata addestrata su circa 15.000 Nvidia H100.
Nonostante questo set di dati di addestramento relativamente piccolo, Grok-2 è già considerato uno dei modelli linguistici AI di grandi dimensioni più capaci secondo le classifiche dei chatbot della concorrenza.
Inoltre è open-source, in controtendenza rispetto ai modelli closed-source rilasciati dai concorrenti OpenAI, Anthropic e Google.
Le ambizioni di Musk per Grok sono stravaganti. Sta già guardando a Grok-3, il cui rilascio è previsto per dicembre 2024.
In un’intervista rilasciata a luglio a Jordan Peterson, Musk ha affermato con coraggio: “Grok-3 dovrebbe essere l’IA più potente del mondo a quel punto”
L’aumento massiccio del numero di GPU per l’addestramento di Grok-3 suggerisce che Musk fa sul serio.
E gli altri obiettivi di xAI?
Fondata nel luglio del 2023, xAI vuole scoprire “Cosa diavolo sta succedendo davvero?” Nelle parole di Musk, ciò significa sondare le domande fondamentali sulla realtà, la materia oscura, il paradosso di Fermi e altri misteri cosmici.
il team fondatore di xAI è stato scelto per perseguire questa visione. Igor Babuschkin, che in passato ha lavorato al Large Hadron Collider del CERN, ha dichiarato che l’azienda vuole “dare una svolta alla nostra comprensione dell’universo”
Jimmy Ba, un ricercatore di intelligenza artificiale dell’Università di Toronto, ha spiegato che l’obiettivo è quello di costruire una “macchina per la risoluzione di problemi di carattere generale” per affrontare i problemi più impegnativi dell’umanità.
Per alimentare la ricerca e lo sviluppo, xAI siè assicurata 6 miliardi di dollari in un round di finanziamento di serie B nel maggio 2024, sostenuto da società di venture capital come Andreessen Horowitz e Sequoia Capital, oltre che da investitori di grande spessore come Fidelity e la Kingdom Holding del principe saudita Alwaleed bin Talal.
Molti esperti di Tesla ritengono che Grok potrebbe alimentare l’intelligenza artificiale alla base del robot umanoide di Tesla, Optimus. Musk ha affermato che Optimus potrebbe generare 1.000 miliardi di dollari di profitti annuali per Tesla. Musk ha anche accennato alla possibilità di proporre un investimento di 5 miliardi di dollari da parte di Tesla in xAI, che alcuni azionisti hanno accolto con favore.
Con Colossus ora online, xAI potrebbe essere pronta ad andare oltre la creazione di altri LLM e tentare qualcosa di audace e nuovo?
Certo, Grok-3 sarà probabilmente molto potente. Probabilmente sarà solo leggermente più potente dei suoi simili e solo per un breve periodo di tempo, prima che qualcosa lo superi.
Bisogna chiedersi quali siano gli obiettivi fondamentali a lungo termine. Le aziende produttrici di IA si trovano a competere con modelli simili addestrati con stack hardware praticamente identici. È costoso e l’innovazione rischia di fermarsi a piccoli incrementi.
Questo lascia il campo libero a uno dei principali attori che vuole andare oltre l’era dei LLM. Con Colossus, xAI sarà il primo a farsi avanti come Musk aveva lasciato intendere al momento della sua fondazione?
