Google Cloud ha ampliato la famiglia di acceleratori Tensor Processing Unit di ottava generazione con 8tx e 8i Max. Le due varianti sono destinate a esigenze diverse di addestramento e inferenza dei modelli di intelligenza artificiale.
L'annuncio estende il portafoglio hardware dell'azienda, ma non significa che ogni cliente possa già utilizzare ogni configurazione in tutte le regioni. Disponibilità, quote e accesso devono essere verificati nella documentazione del servizio.
Le TPU sono chip specializzati per operazioni matematiche tipiche delle reti neurali. Le prestazioni dipendono da memoria, interconnessione, precisione numerica, dimensione dei cluster e ottimizzazione del software. Un valore di picco non coincide con la velocità di un'applicazione reale, che può essere limitata dal trasferimento dei dati o dalla struttura del modello.
Confronti con GPU e generazioni precedenti richiedono lo stesso carico, la stessa qualità di output e un costo complessivo comparabile.
Una variante orientata all'inferenza può ridurre latenza e costo delle risposte, mentre un sistema più grande può sostenere l'addestramento di modelli complessi. Le imprese devono però valutare dipendenza dalla piattaforma, portabilità e consumo energetico. Hardware più efficiente per operazione non garantisce una riduzione assoluta dell'energia se la quantità di calcolo aumenta.
Anche raffreddamento e localizzazione dei centri dati incidono sull'impronta ambientale.
La notizia è l'espansione dell'offerta Google, non una rivoluzione già misurata nel mercato. I benchmark pubblicati dal fornitore devono restare attribuiti finché non siano replicati. Per gli utenti, la prova utile consiste nell'eseguire un carico rappresentativo e confrontare tempo, costo, affidabilità e facilità di sviluppo.
8tx e 8i Max offrono nuove opzioni, ma la scelta dipenderà dalla compatibilità del software e non soltanto dalla generazione del chip.
La disponibilità di compilatori e librerie aggiornate sarà decisiva: un acceleratore teoricamente più potente può restare sottoutilizzato se il modello richiede operatori non ottimizzati o trasferimenti continui verso la memoria esterna. La prova va condotta sull’intera applicazione.
