Databricks ha annunciato diverse novità per il mondo open source al Data + AI Summit di San Francisco. Arrivano infatti nuove feature di Delta Lake per la Linux Foundation con Delta Lake 2.0. E poi MLflow 2.0 con ML Pipelines, Spark Connect per l’esecuzione di Apache Spark e il progetto Lightspeed. Inoltre, ha annunciato l’evoluzione di Databricks Lakehouse Platform, per un evento davvero pieno di novità.
Data + AI Summit, tutte le novità annunciate da Databricks
Ali Ghodsi, Co-Founder e CEO di Databricks, ha voluto ricordare da subito l’importanza che l’open source ha per l’azienda. E per l’intero sistema. “Fin dall’inizio, Databricks si è impegnata a favore di standard open e della comunità open source. Abbiamo creato, partecipato, donato e favorito la crescita di alcune delle tecnologie open source di maggior impatto esistenti. I data lakehouse aperti stanno rapidamente diventando lo standard per la gestione dei dati e dell’IA per le aziende più innovative. Delta Lake, MLflow e Spark sono tutti elementi fondamentali di questa trasformazione architetturale e siamo orgogliosi di fare la nostra parte per accelerarne l’innovazione e l’adozione”.
Delta Lake 2.0 quindi offrirà a tutti gli utenti di Delta Lake delle query dalle performance uniche, costruendo data lakehouse open. Delta Lake 2.0 Release Candidate è già disponibile e il lancio è previsto per la fine dell’anno. Ci sono oltre 6.400 membri che contribuiscono a questo progetto.
Il lancio di MLflow 2.0 introduce MLflow Pipelines nella piattaforma, offrendo ai data scientist modelli predefiniti e predisposti alla produzione in base al tipo di modello. Un’accelerazione dei tempi importante per arrivare in scala.
Databricks ha inoltre presentato Spark Connect, che fa da interfaccia client e server per Apache Spark. Si basa sulle API DataFrame e consentirà miglior stabilità, pur consentendo di accedere a Spark da ogni dispositivo. Il Project Lightspeed, in collaborazione con la community Spark, è un motore di streaming Spark di nuova generazione. L’obiettivo è migliorare le prestazioni e ottimizzare le funzionalità.
Potete trovare ulteriori informazioni su Databricks e l’open source qui.
Le novità della piattaforma di data lakehouse
Al Data + AI Summit, svelata anche l’evoluzione della Databricks Lakehouse Platform. Ci sono migliori prestazioni e nuove funzionalità per il data warehousing, una migliore governance dei dati. Inoltre innovazioni per la condivisione dei dati: Databricks Marketplace, in arrivo nei prossimi mesi, crea un mercato aperto per confezionare e distribuire dati e analytics. Cleanrooms invece permette di convidere e unire dati di diverse aziende, in un ambiente sicuro e protetto senza la necessità di replicare i dati.
Inoltre Databricks ha annunciato importanti novità in termini di ottimizzazione di data engineering, permettendo di eseguire automaticamente pipeline di dati in batch e anche in streaming. Un efficientamento dei costi che potrebbe essere significativo.
L’azienda ha poi esposto altre novità, come il miglioramento del machine learning per semplificare le MLOps a livello produttivo. Se volete approfondire, trovate maggiori informazioni a questo indirizzo.
- Processore Intel Core i7-1250U 13.4" Full HD+ 16GB 512GB SSD Intel ADL-P P28 UMA Iris Windows 11 Home Plus
- XPS 13 pollici più sottile e leggero, è progettato per gli utenti che sono sempre in movimento
- ExpressSign-in associato a Windows Hello semplifica la tua esperienza di connessione, rilevando la tua presenza o assenza per connetterti e disconnetterti in modo rapido e sicuro
Rimani aggiornato seguendoci su Google News!
Da non perdere questa settimana su Techbusiness
✒️ La nostra imperdibile newsletter Caffellattech! Iscriviti qui
🎧 Ma lo sai che anche Fjona ha la sua newsletter?! Iscriviti a SuggeriPODCAST!
📺 Trovi Fjona anche su RAI Play con Touch - Impronta digitale!
💌 Risolviamo i tuoi problemi di cuore con B1NARY
🎧 Ascolta il nostro imperdibile podcast Le vie del Tech
💸E trovi un po' di offerte interessanti su Telegram!