Tra i colli bolognesi abbiamo trovato una perla di tecnologia, capace di abilitare l’AI generativa e una nuova generazione di High Performance Computing (HPC). E4 Computer Engineering ha infatti confermato la propria partnership ufficiale con NVIDIA, lanciando sul mercato italiano il superchip Nvidia Grace Hopper. Che grazie al lavoro di E4 a fianco di Nvidia e all’istituzione dell’E4 Chiron Laboratory, permetterà di accelerare la ricerca: da quella farmaceutica con Dompé fino alla fisica sperimentale con il CERN.
E4 e il lancio di NVIDIA Grace Hopper sul mercato italiano
Nel 2022, Nvidia aveva già annunciato il chip Grace, che Roderick Evans, EMEA Director – High Performance Computing & AI di NVIDIA, spiega essere il “mattone” con cui costruire il superchip. Si tratta di un chip da 72 Core Arm Neoverse V2, con SVE2 4x128b SIMD. Ha una connessione di 3,2 TB/s che connette fra loro i core e supporta fino a 480 GB di memoria LPDDR5X , con bandwidth di 500GB/s.
NVIDIA GH200 Grace Hopper è il superchip che combina le prestazioni della GPU NVIDIA Hopper con la versatilità della CPU NVIDIA Grace, connessi tramite il chip NVIDIA NVLink Chip-2. Questo collegamento, ci spiega Piero Altoè, Developer Relations di Life & Materials Science di Nvidia, permette di eseguire thread CPU e GPU simultaneamente e di accedere in modo trasparente alla memoria sia della CPU che della GPU. La velocità della connessione fra i due chip arriva a 900 GB/s, che è sette volte più veloce rispetto a PCIe Gen5. Lo stesso collegamento si trova anche nel superchip Grace, che collega due CPU.
Questo superchip può fornire accesso a una vasta quantità di memoria e larghezza di banda, ideale per carichi di lavoro di calcolo ad alte prestazioni e intelligenza artificiale. La CPU Nvidia Grace utilizza la CPU Neoverse V2 a 72 core, offrendo elevate prestazioni. La GPU NVIDIA Hopper è progettata per applicazioni AI e HPC su larga scala e offre miglioramenti significativi rispetto alle generazioni precedenti. Questo superchip unisce CPU e GPU attraverso NVLink-C2C, fornendo un modello di programmazione unificato per entrambi.
La collaborazione di E4 e NVIDIA: nasce l’E4 Chiron Laboratory
I benchmark mostrati durante l’evento parlano chiaro: più aumenta la complessità delle operazioni, maggiore è il guadagno computazionale nell’utilizzare questo Superchip. A questo proposito, E4 ha predisposto l’E4 Chiron Laboratory, che offrirà la possibilità di accedere a diversi sistemi NVIDIA Grace e Grace Hopper a esperti software per supportare l’ottimizzazione di applicazioni e flussi di lavoro. In questo modo, potrà offrire prestazioni ancora più sorprendenti agli utenti europei.
In un’intervista a margine dell’evento di lancio, il CEO di E4 Cosimo Gianfreda ci spiega che la collaborazione con Nvidia nasce da lontano. “La ricerca di un prodotto innovativo e tecnologicamente avanzato per noi è fondamentale. Un esempio di questa ricerca è stata la nostra collaborazione con NVIDIA, già da quando era noto solo per i prodotti per il gaming. Abbiamo testato le prime versioni di CUDA, quando NVIDIA lanciò la prima versione stabile 1.0 di CUDA, eravamo già pronti ad investire. Questo è stato l’inizio della nostra collaborazione con NVIDIA, e abbiamo visto in loro un potenziale costruttore che avrebbe potuto rivoluzionare il settore dell’HPC. Il nostro rapporto continua dal 2009″.
Durante la presentazione di questo lavoro fianco a fianco, Gianfreda sottolinea che questa collaborazione continuerà per accogliere nuove sfide tecnologiche. Specialmente quelle che riguardano l’intelligenza artificiale. “L’AI Generativa sta evolvendo molto velocemente, dovremmo essere bravi a correre e acquisire le competenze per queste tecnologie, che hanno il potenziale per cambiare il mondo”.
Da qui, la volontà di lavorare all’E4 Chiron Laboratory per fornire il meglio ai clienti dell’azienda emiliana, che includono istituzioni importanti come il CERN. ““Il calcolo ad alte prestazioni è la tecnologia chiave per risolvere alcune delle sfide più impegnative che il mondo si trova ad affrontare e noi di E4 abbiamo l’ambizioso obiettivo di accelerare l’adozione delle CPU NVIDIA Grace e dei Superchip GH200 nel mondo accademico, nell’industria e nei laboratori. E4 e NVIDIA condividono la stessa visione di questo obiettivo, con un’enfasi particolare su sostenibilità ed efficienza. Siamo entusiasti di collaborare con NVIDIA per far sì che questo viaggio diventi realtà”.
Una soluzione più efficiente dal punto di vista energetico
Nel marzo 2023, il CEO di NVIDIA Jen-Hsun Huang ha detto che “il momento ‘iPhone’ per l’AI è iniziato”. Vedremo sempre più codice scritto con ChatGPT e simili, utilizzeremo l’intelligenza artificiale generativa come supporto per creare testi, immagini, musica. Rod Evans, che si occupa di HPC e AI per NVIDIA, ci spiega che sono oltre 1600 le compagnie che utilizzano NVIDIA per abilitare l’AI generativa.
Utilizzare le GPU, infatti, rappresenta un vantaggio enorme per sfruttare appieno il potenziale dell’AI. Il manager ci spiega che per alimentare un sistema LLM (Large Language Model) come GPT, servono 960 server CPU, per un costo di 10 milioni di dollari e consumando 11 GWh di energia. Per ottenere lo stesso risultato, basterebbero due server GPU, spendendo solo 400 mila dollari e consumando 0,13 GWh. A parità di costo, potremmo addestrare 44 modelli, a parità di consumo energetico ben 150.
In una chiacchierata a margine dell’evento, Evans ci spiega: “Se ho un sistema con CPU e supponiamo che stia consumando 200 watt per CPU, in un tipico server X86, che consuma 900 watt di potenza. Ma anche quando è inattivo, consuma ingenti quantità di energia. Il funzionamento delle GPU è basato su carichi di lavoro intermittenti. Quindi non utilizza costantemente la stessa quantità di energia”.
Evans ci spiega che NVIDIA sta lavorando per ridurre i cicli di inattività al minimo, in modo da ridurre il fabbisogno energetico. Ma il vantaggio dal punto di vista energetico di soluzioni come Grace Hopper farà la differenza, specie in Europa dove le aziende devono puntare velocemente a un bilancio netto a zero emissioni. “Nessuno approverà investimenti non ecosostenibili. Quindi, le aziende inizieranno a lavorare entro un certo budget di potenza e cercheranno di ottenere il massimo rendimento da quel budget di potenza. Penso che sarà un’evoluzione positiva. La sfida è come ottenere più efficienza dalla piattaforma del server.”
Democratizzare l’AI
Evans ci spiega che se NVIDIA presta particolare attenzioni all’efficienza energetica, l’altro punto fisso della sua politica riguarda la democratizzazione dell’HPC e dell’AI generativa. “NVIDIA sta cercando di rendere facile per le persone utilizzare la nostra tecnologia. È possibile acquistare la nostra tecnologia e utilizzarla nel cloud o in locale. Le persone stanno iniziando a consumarla nel cloud, ma rendiamo anche facile l’uso della nostra tecnologia se si acquista una delle nostre schede grafiche consumer. È possibile programmare ed eseguire il codice CUDA su una scheda grafica consumer. Non lo raccomandiamo per l’uso in un ambiente di produzione, ma se si vuole solo testare e sviluppare programmi personali a casa, è perfettamente possibile farlo su un laptop“.
Ma testare i nuovi potentissimi superchip Grace e Grace Hopper non è altrettanto facile. Serve un partner che metta a dispositizione questa tecnologia. In questo senso, l’evento E4 Evolution dove l’azienda emiliana ha presentato in Italia NVIDIA Grace Hopper rappresenta una strategia interessante. Fra gli oltre cento partecipanti, c’erano molti clienti di E4 che hanno avuto la possibilità di testare in demo i Superchip. E che presto potranno sfruttarli per abilitare calcoli impensabili fino a poco tempo fa.
E4 e il superchip Nvidia Grace Hopper: dal CERN a Dompé
Il caso d’uso più impressionante delle tecnologie di E4 e di NVIDIA Grace Hopper senza dubbio è la collaborazione con il CERN. Cosimo Gianfreda ci spiega che, sebbene la partnership ufficiale con CERN Openlab sia del 2018, E4 collabora con l’istituto svizzero dal 2005. Tanto che “quando nel 2012 il CERN ha presentato la propria ricerca sul bosone di Higgs, E4 ha ricevuto un riconoscimento ufficiale per il contributo fattivo alle ricerche”.
Luca Atzori, di CERN Openlab, spiega che rinnovare la collaborazione risulta importantissimo, soprattutto ora che il CERN sta lavorando all’High Luminosity Large Hadron Collider (HL-LHC). Già oggi, infatti, il LHC produce un petabyte di dati al secondo: è come se nell’acceleratore i ricercatori scattassero fino a 40 milioni di fotografie ogni attimo che passa. Con l’HL-LHC, questa quantità di dati verrà moltiplicata per dieci. “Con le attuali tecnologie dovremmo aumentare di cinquanta o cento volte il parco macchine, qualcosa di non sostenibile”.
Le soluzioni GPU di NVIDIA e in particolare Grace Hopper fornito da E4, apre a nuove possibilità. “Fino a poco tempo fa, quasi tutto l’hardware al CERN era costruito specificamente, con un team dedicato. Utilizzare prodotti commerciali può liberare risorse e fare la differenza” conclude Atzori.
Dello stesso avviso Anna Fava, Senior Software Engineer di Dompé Farmaceutici. Che ci spiega che il mondo farmaceutico deve affrontare due problemi importanti. Da un lato, solo una piccola percentuale di principi attivi arriva in clinica dal paziente. Dall’altro, pochi farmaci risultano pienamente attivi per curare le malattie: nel migliore dei casi funzionano per un paziente su quattro, ma si arriva fino al 4%. La medicina deve quindi diventare medicina di precisione, basata su modelli quantitativi che utilizzano moltissimi dati.
Dompé ha quindi creato un database di migliaia di miliardi di componenti e reagenti, il Tangible Chemical Space (TCS). Le possibili permutazioni arriva a 23 trilioni, che permettono di considerare tossicità, efficacia e riducono il numero di composti chimici da testare. Abbassando i costi e il tempo per i test. Dompé con E4 ha già lavorato per gestire questa enorme quantità di dati; con NVIDIA Grace Hopper non solo potrà ottimizzare i calcoli, ma anche puntare sul futuro della medicina: l’analisi predittiva.
E4 e NVIDIA Grace e Grace Hopper: superchip per il futuro dell’HPC e dell’AI
Con il lancio di Grace Hopper in Italia, E4 e NVIDIA confermano una partnership importante. Che permetterà di avanzare la conoscenza scientifica in ambito fisico e farmaceutico, ma non solo. L’AI generativo e l’HPC diventano sempre più parte del lavoro di diverse aziende: trovate maggiori informazioni sul sito di E4.
