Il vantaggio competitivo di Nvidia non sta solo nei chip: sta nel fatto che il software con cui tutti scrivono intelligenza artificiale gira sui suoi chip e basta. Amazon Web Services ha appena presentato TorchNeuron, uno strumento che serve esattamente a smontare quel vantaggio.
Il meccanismo è semplice da raccontare e pesante nelle conseguenze. PyTorch è la libreria open source con cui si costruiscono, si addestrano e si fanno girare i modelli, e secondo Amazon l’85% delle applicazioni di intelligenza artificiale è scritto lì dentro. TorchNeuron si aggancia al modo standard con cui PyTorch riconosce nuovo hardware, quindi un’applicazione già scritta gira su Trainium, il chip di Amazon, cambiando una sola riga di configurazione. Nessuna riscrittura del codice.
Perché il codice conta più del silicio
Per anni Nvidia ha lavorato perché CUDA, cioè lo strato software che permette alle applicazioni di parlare con le sue schede, funzionasse con PyTorch senza il minimo attrito. Il risultato è che l’hardware di Nvidia è finito incorporato nel toolkit come opzione naturale, non perché qualcuno l’abbia deciso ma perché tutto il resto chiedeva mesi di lavoro per adattarsi. Amazon pubblica il codice di TorchNeuron e dichiara di testarlo su centinaia di migliaia di modelli a ogni build.
Non è la prima a provarci: chi usa PyTorch può già spostare le proprie applicazioni su schede AMD o sui chip Apple con un cambio di configurazione. La differenza che AWS rivendica è il contorno, cioè il fatto che su Trainium ci si porta dietro tutto il resto del cloud, a differenza delle neocloud specializzate come Coreweave, Nebius e Firmus, quasi tutte legate a Nvidia e al suo hardware. “State costruendo su AWS. Non state scommettendo su un fornitore di calcolo monouso, costretti poi a mettere insieme tutto il resto intorno”, ha detto a TechCrunch Colin Brace, vicepresidente del software di AWS Annapurna Labs, la divisione che progetta i chip di Amazon.
L’argomento economico è che lo stesso chip fa addestramento e inferenza, cioè sia la fase in cui il modello impara sia quella in cui risponde agli utenti, e questo migliora i conti sull’intero carico di lavoro anche quando il prezzo per token non è il più basso sul mercato. L’esempio che Brace porta è Deepgram, che fa voce sintetica e compete con ElevenLabs: dopo il passaggio a Trainium processa il 70% di audio in più per dollaro speso.
La parte più interessante, però, non riguarda Trainium. Amazon dice che contribuirà al progetto PyTorch vero e proprio, lavorando con la community per togliere dal framework il codice che lo lega a chip specifici, con l’obiettivo dichiarato di renderlo indipendente dall’hardware per tutti e non solo per i suoi clienti. Il rilascio avviene sotto licenza Apache 2.0 alla PyTorch Conference nordamericana del 20 ottobre.
Resta il dubbio che uno sviluppatore si porrà subito, perché uno dei motivi per cui PyTorch esiste è proprio nascondere le rogne di far girare il codice sull’hardware. Scollegare PyTorch da Nvidia può voler dire più scelta e prezzi più bassi, come promette Amazon, oppure semplicemente più configurazioni da sbagliare. Brace la mette così: la storia vera è togliere il lock-in che ha impedito agli sviluppatori di avere una scelta reale.
Immagine: David Paul Morris / Bloomberg via Getty Images
