Akamai ha annunciato il lancio di Akamai Cloud Inference, una soluzione progettata per ottimizzare l’inferenza dell’intelligenza artificiale. Il servizio promette un throughput triplo, una latenza ridotta del 60% e un taglio dei costi dell’86% rispetto ai tradizionali hyperscaler.
Akamai Cloud Inference è un cloud distribuito per l’AI inference
L’intelligenza artificiale genera una mole crescente di dati e processarli in modo rapido è una sfida. Akamai Cloud Inference sfrutta la rete globale di Akamai per avvicinare il calcolo agli utenti e ai dispositivi, migliorando prestazioni e reattività. Il servizio si integra con l’ecosistema AI Enterprise di Nvidia e con il data fabric di VAST Data, garantendo un accesso rapido ai dati e uno storage scalabile per i modelli AI.
Volendo entrare più nello specifico, Akamai Cloud Inference utilizza un’architettura flessibile con diverse opzioni di calcolo: CPU per inferenze di precisione, GPU accelerate e ASIC VPU per modelli più avanzati. L’integrazione con software come Triton, Tao Toolkit e TensorRT permette di ottimizzare il funzionamento delle reti neurali.
Il sistema di gestione dati consente di memorizzare e recuperare i dati dei modelli AI con bassa latenza. Akamai supporta anche database vettoriali come Aiven e Milvus, strumenti essenziali per l’AI generativa. La containerizzazione con Kubernetes assicura una scalabilità dinamica e la possibilità di operare su ambienti ibridi e multicloud. La nuova piattaforma Linode Kubernetes Engine – Enterprise è stata pensata per carichi di lavoro su larga scala.
Infine Akamai Cloud Inference include funzionalità WebAssembly (WASM), che permettono di eseguire inferenze direttamente da applicazioni serverless. Questa tecnologia, sviluppata in collaborazione con Fermyon, offre maggiore efficienza per applicazioni a bassa latenza come l’assistenza vocale in auto o la personalizzazione degli e-commerce.
- ALEXA PUÒ MOSTRARTI MOLTE COSE: Echo Show 5 è dotato di uno schermo da 5,5", per controllare a colpo d’occhio il meteo e le ultime notizie, fare videochiamate, visualizzare le videocamere compatibili, ascoltare musica e programmi in streaming, e molto altro.
- PICCOLE DIMENSIONI, MIGLIORI PRESTAZIONI AUDIO: ascolta la tua musica o i tuoi podcast preferiti, guarda le serie TV che ami e molto altro su Amazon Music, Spotify, Prime Video o altri servizi, ora con bassi ancora più profondi e voci più nitide. Questo dispositivo è dotato di uno schermo da 5,5’’, per guardare a colpo d’occhio serie TV, titoli di canzoni e molto altro.
- LA TUA CASA GESTITA IN TUTTA COMODITÀ: controlla i dispositivi per Casa Intelligente, come lampadine e termostati, anche quando non sei in casa.
- VEDI ANCORA DI PIÙ CON LA VIDEOCAMERA INTEGRATA: controlla come sta la tua famiglia, i tuoi animali domestici e molto altro con la videocamera integrata. Effettua chiamate Drop In quando non sei a casa o monitora la porta d’ingresso dal tuo Echo Show 5, grazie ai videocitofoni compatibili.
- UTILIZZA LE TUE FOTO COME SFONDO: quando il dispositivo non è in uso, grazie ad Amazon Photos le tue foto possono scorrere sullo schermo del dispositivo. I membri Prime possono archiviare illimitate foto nel Cloud.
L’adozione aziendale dell’intelligenza artificiale si sta spostando dalla fase di training dei modelli alla fase di inferenza. Se la formazione dei modelli richiede enormi risorse, l’inferenza deve essere veloce e accessibile. Un’infrastruttura cloud distribuita permette di elaborare i dati in tempo reale e ottimizzare i processi decisionali.
