L'uso è gratuito, ma quanto costa?

Da tempo usiamo applicazioni come Alexa, Cortana, eccc... Senza contare l'uso inconsapevole tramite i motori di ricerca come Google, Bing, Yahoo, Yandex, Baidu, ecc...
Recentemente molti, moltissimi sono stati //ammaliati// da OpenAI nelle sue molteplici incarnazioni come ChatGPT. Lo sbarramento di fuoco nell'informazione fatto dalle società è stato imponente e ha funzionato (molto) bene!
Normalmente l'uso è gratuito a fronte di una iscrizione (senza costi diretti).

Ma quanto costano, in realtà, queste AI?

Panorama AI

Iniziamo con una piccola premessa.
Parlando di AI parliamo di svariate applicazioni. ChatGPT è solo una delle tante.
Ma parlando di AI parliamo anche di molte applicazioni trasparenti, immerse in applicazioni più complesse. Ad esempio è il caso di "Copilot" fuso dentro Windows. Oppure la recente "Gemini", nome dato all'AI di Google fusa nel motore di ricerca (o meglio, fusa nella rete Google).

Recentemente la Nvidia ha presentato il suo nuovo processore chiamato "Balckwell" sviluppato espressamente per l'AI. L'occasione ha permesso di avere dei dati interessanti come quelli del prezzo e dei consumi elettrici.

Ai ed Architetture

Da alcuni anni siamo abituati a usare CPU multicore nei nostri smartphone e nei PC.
Siamo abituati che le App installate funzionano con il solo processore presente presente nel nostro dispositivo.
Se sono lente (o se non girano) va aggiornato o cambiato il dispositivo con uno più potente e più recente.

Molti, invece, non hanno consapevolezza che diverse app non funzionano se non sono connesse alla rete. Infatti diverse app sono solo l'ultimo pezzettino di applicazioni enormi che risiedono nel cloud.

Gli utenti di Windows vedono da tempo che questo sistema operativo non funziona più se lo mettiamo offline.
Lo stesso per OS per i Mac (ma questo è da molti anni con i prodotti Apple).
Così chi scarica l'app di ChatGPT... non scarica ChatGPT, ma solo l'app per parlare con ChatGPT che vive dentro un cloud piuttosto grande.

Insomma: molte applicazioni non sono più dentro i nostri dispositivi, ma nel cloud e per funzionare usano molti processori, molta memoria e tanta, tanta rete!

Costi e Consumi

A questo punto dovrebbe essere chiaro che per far girare un'//app// di AI, come ChatGPT, servono:

• tanti processori;
• tanta memoria (sia RAM, sia di hard disk);
• tanta rete (e anche molto veloce).

Per capire quanto è grande e quanto può costare un'istallazione di OpenAI (il motore di ChatGPT e di molte altre AI) dobbiamo aggiunge 4 elementi:

• la corrente: insomma quanta corrente serve per alimentare i server, la rete ed il raffreddamento;
• il raffreddamento: i server vanno raffreddati altrimenti si rompono. E serve molto più freddo dell'aria condizionata di casa;
• manutenzione umana: una volta accesi i server, l'infrastruttura gli edifici hanno bisogno di persone in carne ed ossa presenti perché tutto continui a funzionare;
• addestramento: una AI, una volta accesa, non funziona. Servono grandi quantità di informazioni per addestrarla, servono persone specializzate per accompagnare l'addestramento, servono mesi di addestramento.

A questo punto passiamo ai numeri.
Partiamo dai listini dei PC domestici o da gaming normalmente equipaggiati con componentistica Nvidia: non vanno presi inconsiderazione!
Per i nodi di AI serve un'altra gamma di computer e di processori. Vediamo cosa può costare il necessario per un piccolo nodo:

• un server legacy rackmount con un equipaggiato medio lo possiamo collocare sulla fascia €15.000,00;
• uno storage da 30TB per CED lo possiamo collocare sulla fascia €10.000,00;
• un aggregatore per fibre con gbic e patch corde possiamo aggiungere altri €30.000,00;
• un gruppo di continuità da 5Kw rackmount lo possiamo collocare nella fascia €5.000,00;
• un condizionatore da CED per un carico da 4KW ipotizziamo €4.000.

A questo primo quadro di costi dobbiamo aggiungere l'adeguamento della sala CED, contratti e/o service per l'assistenza, un sistema antincendio a gas e il costo di un router e l'abbonamento con un operatore per la connessione a internet e del personale.

Se il nostro nodo deve essere in HA (=Alta Disponibilità) dobbiamo fondamentalmente raddoppiare il tutto.

Aggiungiamo che se siamo ambiziosi come OpenAI e offrire i nostri servizi a tutto il mondo è necessario:

• avere connessioni globali ad alta velocità;
• avere almeno un nodo per ogni region (Europa, Americhe, Asie, ecc...);
• un pool di operatori specializzati.

Dobbiamo anche aggiungere:

• una smisurata quantità di dati per addestrare il sistema (può non essere sufficiente l'acceso libero a internet);
• alcuni mesi di attività di addestramento (dove non viene prodotto o venduto nulla);
• la corrente consumata per far funzionare tutto 24H al giorno senza interruzione.

A questo punto possiamo dare un primo dimensionamento al budget necessario per partire di circa €120.000 per regione IT senza gli abbonamenti, la connessione, i service, la preparazione dell'ambiente e il costo del personale.

Ma per far girare OpenAI non basta un server con 32 core, ne servono circa 1000. Inoltre i processori Xeon Intel o Epyc AMD non sono i migliori per le applicazioni AI. Per questo campo le migliori sono le Nvidia.

Il 18 marzo la Nvidia ha annunciato il suo nuovo processore dedicato all'AI: si chiama "Blackwell B200". L'azienda ha dato diffuso anche alcuni dati molto interessanti immaginando proprio l'impiego per l'AI con un modello LLM da 1.880 miliardi di parametri. Nvidia sostiene:

• sono sufficienti 2000 GPU;
• consumo stimato 4MW;
• costo di vendita tra i 30.000 ed i 40.000 mila dollari americani.

Questi primi dati mostra no i dati sopra riportati, corretti per un nodo server ordinario, sono ampiamente sotto-dimensionati.

Detto ciò è più corretto porte l'ordine del costo di un singolo nodo è sui €100.000. Immaginando un CED con 2000 core la cifra di partenza potrebbe aggirarsi sui €3.500.000.

A questo va aggiunta la corrente (almeno 4MW), l'edificio, le connessioni, il personale, ecc...

Nota: le cifre esposte sono calcolate come ordine di grandezza per offrire una corretta idea delle dimensioni economiche necessarie.

Considerazioni

Se l'ordine di costi per far girare una installazione di AI come è possibile che l'uso sia gratuito?
Quello che adesso vediamo con l'AI è affascinante (testi, foto, video, doppiaggi, ecc... veramente verosimili), ma oltre a produrre ottime fake news non riesce a produrre nemmeno un panino: a che serve in termini pratici?

Va anche considerato che l'attuale tecnologia AI è una primizia, pertanto stiamo ancora ampiamente costruendo questa tecnologia. Ma possiamo porci un paio di questioni di crescita:

• i costi così alti spiegano perché solo poche grandi aziende possono possederla: come possiamo renderla veramente open, ovvero accessibile anche a chi si sta sviluppando?
• Come possiamo portare l'AI in un solo dispositivo autonomo capace di avere consumi analoghi a quello delle persone (si stima che il cervello umano consumi 20W di energia)?
• Attualmente il campo dove l'AI esprime meglio le sue potenzialità è nella ricerca scientifica: possiamo dirottare li le gratuità piuttosto che in fake news, immagini o video fatti per gioco?