Cloudera Data Platform: un approccio open agli hybrid data per una piena portabilità sul cloud

Negli ultimi dieci anni, il successo dell’implementazione di piattaforme dati su larga scala presso i clienti ha agito come un moltiplicatore, spingendo la domanda a introdurre ancora più dati, ad applicare analisi più sofisticate e ad assumere molti nuovi professionisti dei dati, dagli analisti aziendali ai data scientist. Questo livello senza precedenti di carichi di lavoro sui dati però, non è privo di sfide. Il livello dell’architettura dei dati è una di queste aree in cui i dataset in crescita hanno superato i limiti della scalabilità e delle prestazioni. Per questo, Cloudera ha deciso di integrare il formato Iceberg all’interno della propria Cloudera Data Platform.

I diversi elementi di Cloudera Data Platform

Cloudera è stata fondamentale per l’espansione dello standard di settore Apache Iceberg, un formato ad alte prestazioni per enormi tabelle analitiche. Chi ha familiarità con il tradizionale linguaggio di interrogazione strutturato (SQL) riconoscerà immediatamente il formato delle tabelle Iceberg, che consente a più applicazioni come Hive, Impala, Spark, Trino, Flink e Presto di lavorare contemporaneamente sugli stessi dati. Inoltre, tiene traccia dello stato di evoluzione del set di dati e di altri cambiamenti nel tempo. Iceberg è un elemento centrale della Cloudera Data Platform (CDP), e consente agli utenti di costruire un’architettura di data lakehouse aperta per fornire analisi multifunzionali su grandi insiemi di dati sia in streaming che archiviati.

Il tutto in un object store cloud-native che funziona sia on-premise che su più cloud. Ottimizzando i vari servizi dati CDP, tra cui Cloudera Data Warehousing (CDW), Cloudera Data Engineering (CDE) e Cloudera Machine Learning (CML), gli utenti possono definire e manipolare i dataset con comandi SQL. Gli utenti possono anche costruire pipeline di dati complesse utilizzando funzioni come le time travel. Possono inoltre distribuire modelli di machine learning (ML) realizzati a partire dai dati contenuti nelle tabelle di Iceberg. Grazie al contributo alla comunità open-source, Cloudera ha esteso il supporto a Hive e Impala, realizzando un’architettura di dati per l’analisi multifunzione in grado di gestire carichi di lavoro di ingegneria dei dati su larga scala, BI, query veloci e ML.

Cloudera ha integrato Iceberg nel layer Shared Data Experience (SDX) di CDP. In questo modo ha reso più rapidi i vantaggi di produttività e prestazioni del formato aperto delle tabelle. Inoltre, l’integrazione nativa di Iceberg beneficia di varie funzionalità di livello enterprise di SDX, come le funzionalità di data lineage, audit e sicurezza. Cloudera assicura che le organizzazioni possono costruire un lakehouse aperto ovunque, su qualsiasi cloud pubblico o on-premise. Inoltre, l’approccio open garantisce la libertà di scegliere lo strumento di analisi preferito senza alcun lock-in.

Apache Ranger e Apache Atlas

Apache Ranger è un framework software che abilita, monitora e gestisce la sicurezza completa dei dati nella piattaforma CDP. È lo strumento per la creazione e la gestione dei criteri di accesso ai dati e ai servizi dello stack CDP. Gli amministratori della sicurezza possono definire politiche di sicurezza a livello di database, tabelle, colonne e file e amministrare le autorizzazioni per gruppi o individui specifici. Ranger gestisce l’intero processo di autenticazione degli utenti e i diritti di accesso alle risorse di dati. Ad esempio, un particolare utente potrebbe essere autorizzato a creare una policy e a visualizzare i report, ma non a modificare utenti e gruppi.

Apache Atlas è un sistema di gestione e governance dei metadati utilizzato per aiutare a trovare, organizzare e gestire le risorse di dati. Creando rappresentazioni di metadati di oggetti e operazioni all’interno del data lake, Atlas consente agli utenti di capire perché i modelli producono risultati specifici, risalendo fino all’origine dei dati di partenza. Utilizzando i metadati raccolti, Atlas crea relazioni tra le risorse di dati. Quando Atlas riceve informazioni sulle query, annota l’input e l’output della query e genera una mappa del percorso che traccia l’utilizzo e la trasformazione dei dati nel tempo. Questa visualizzazione delle trasformazioni dei dati consente ai team di governance di identificare rapidamente una fonte di dati e di comprendere l’impatto delle modifiche ai dati e allo schema.

Apache Ozone è la risposta open source per uno storage on-premise ad alta densità

La separazione delle risorse di calcolo e di dati nel cloud offre molti vantaggi a un’implementazione di Cloudera Data Platform. Presenta più opzioni per l’allocazione delle risorse di calcolo e di archiviazione e consente di spegnere i cluster di server per evitare spese di calcolo non necessarie, lasciando i dati a disposizione di altre applicazioni. Inoltre, i carichi di lavoro ad alta intensità di risorse possono essere isolati su cluster di calcolo dedicati, separati per i diversi carichi di lavoro. Affinché questi vantaggi siano coerenti ovunque, anche in sede, CDP Private Cloud, la versione on-premises di CDP, utilizza Apache Ozone per separare lo storage dall’elaborazione. Apache Ozone è un object store on-premises distribuito, scalabile e ad alte prestazioni che supporta lo stesso modello di interazione di AWS S3, Microsoft Azure Data Lake Storage (ADLS) o Google Cloud Storage (GCS).

Cloud Essentials: Un viaggio nel Cloud Computing

• Mittica, Gabriele (Autore) - Nash, Phil, Peters, Sven, Poccia, Danilo (Narratori)

25,99 EUR

Acquista su Amazon

Nozioni di base sul cloud computing: Panoramica sul cloud computing

• Abdul Nabi, Shaik (Autore)

65,90 EUR

Acquista su Amazon