Sicurezza e governance, i principi dello sviluppo di Kubeflow

Negli ultimi anni, Red Hat ha dimostrato un impegno costante verso l’innovazione nell’ambito dell’intelligenza artificiale (AI) e del machine learning (ML), e questo impegno è riflesso nel percorso all’interno della comunità Kubeflow. Jeremy Eder, Distinguished Engineer, Red Hat, Ricardo Martinelli de Oliveira MLOps Senior Software Engineer, Red Hat e Yuan Tang Principal Engineer, Red Hat ci hanno spiegato l’importanza di condividere conoscenze e risorse attraverso progetti open source. E’ per questo motivo che Red Hat presenta Kubeflow e Open Data Hub.

Il contributo di Red Hat alla community Kubeflow: un viaggio nell’AI open source

Open Data Hub, nato come un semplice operatore per distribuire software AI/ML e dati su cluster Red Hat OpenShift. Questo ha segnato l’inizio del viaggio nell’ecosistema Kubeflow. Tuttavia, per affrontare sfide di supportabilità e scalabilità, ci siamo rivolti a Kubeflow. Si tratta di un progetto che prometteva di semplificare e rendere più scalabili le distribuzioni di carichi di lavoro ML su Kubernetes. Questa mossa ha portato a un rinnovato interesse di Red Hat verso questo progetto, non solo contribuendo al codice, ma anche supportando attivamente la crescita e l’adozione della community.

Il lancio di Kubeflow 1.9 ha rappresentato un momento significativo. Grazie al contributo di Ricardo Martinelli, senior software engineer di Red Hat, come release manager, il team di red hat è stato in grado di portare diverse nuove funzionalità a questa versione.

Registry model (modello di registro)

Uno dei contributi principali è stato il Modello di Registro. Questo strumento si integra perfettamente con le pipeline e i componenti di servizio di Kubeflow, consentendo la creazione di un catalogo completo di artefatti. Questo catalogo comprende non solo modelli, ma anche dataset, metriche e altri elementi essenziali. Inoltre, il Modello di Registro facilita la distribuzione dei modelli memorizzati nello storage. Oltre a questa funzionalità centrale, Red Hat ha contribuito ad arricchire Kubeflow 1.9 con altre importanti caratteristiche, tra cui la distribuzione di grafici operatore/helm, il supporto per RBAC (Role-Based Access Control), il multi-tenancy e molte altre ancora. La comunità Kubeflow ha lavorato attivamente per supportare questa nuova funzionalità, creando un nuovo gruppo di lavoro dedicato.

Ottieni 65% di Sconto con NordVPN – Scopri qui la super offerta

Pipeline di Kubeflow

Un’altra area in cui Red Hat ha portato un contributo significativo è la Pipeline di Kubeflow. Il nostro lavoro su Kubeflow Pipelines 2.0 ha comportato il miglioramento dell’integrazione con Argo Workflows 3.4. Questo aggiornamento ha risolto vari problemi di sicurezza e licenze legate a MinIO, nonché implementato miglioramenti delle prestazioni sia per Argo che per Tekton.

Kubeflow Notebooks 2.0

Con il rilascio di Kubeflow 1.9, la comunità ha deciso di concentrarsi sullo sviluppo di Kubeflow Notebooks 2.0. Questo aggiornamento prevede l’introduzione di una serie di nuove definizioni di risorse personalizzate, tra cui Workspace e WorkspaceKind. Queste Custom Resource Definitions offrono agli amministratori un maggiore controllo sugli spazi di lavoro, consentendo anche la possibilità di aggiornare la configurazione dei notebook esistenti. Il progetto è stato avviato nella fase di pianificazione all’inizio del 2024, con il gruppo di lavoro “Notebooks” che ne guida l’architettura. Gli ingegneri di Red Hat coinvolti nel progetto, stanno attivamente sviluppando il documento di progettazione e mirano a fornire ulteriori contributi di codice nel prossimo futuro.

Ecco il nuovo progetto di Red Hat

KServe, diventato un progetto autonomo dopo l’incubazione in Kubeflow, è stato un’altra area in cui Red Hat ha giocato un ruolo chiave. Collaborando strettamente con la community di KServe, l’azienda ha contribuito a integrare i due progetti, aggiungendo nuove funzionalità come i runtime HuggingFace e vLLM. Si tratta di miglioramenti fondamentali per la sicurezza e correzioni di bug.

Un ulteriore programma dell’azienda è l’integrazione di Kubeflow in un progetto certificato dalla Cloud Native Computing Foundation (CNCF). Questo processo richiede un’attenzione particolare alla sicurezza e alla governance, aree in cui Red Hat si impegna a fornire il proprio supporto. Collaborando con il team di sicurezza dei prodotti e l’open source program di Red Hat, l’azienda si assicura che Kubeflow soddisfi i requisiti di certificazione CNCF e mantenga gli standard più elevati di sicurezza e affidabilità.

Inoltre, Red Hat ha recentemente partecipato alla Google Summer of Code con una proposta a nome della comunità Kubeflow. Questo ha permesso di coinvolgere gli studenti nel lavoro e di condividere l’esperienza dell’azienda nell’ambito dell’open source. L’entusiasmo e l’energia che sono emersi da parte degli studenti hanno confermato l’importanza di investire nel futuro della collaborazione open source.

L’impegno di Red Hat nella comunità Kubeflow rappresenta un esempio di come la collaborazione tra aziende e community possa portare a risultati straordinari.

Offerta

L'intelligenza artificiale. Una guida per esseri umani pensanti

• Mitchell, Melanie (Autore)

22,10 EUR

Acquista su Amazon