L’impatto di Deepseek è stato da subito immediato, e non si può negare che stia attuando una vera e propria rivoluzione nel mondo delle AI. Non solo il modello si è dimostrato all’altezza dei concorrenti più avanzati, ma è stato sviluppato con una frazione del budget e reso disponibile gratuitamente.
Tuttavia, l’aspetto più sorprendente non è solo la qualità del modello, ma la trasparenza con cui DeepSeek ha reso pubbliche le tecniche utilizzate per costruirlo. Questo ha dimostrato che la creazione di modelli di reasoning AI potrebbe essere molto più semplice di quanto si pensasse. Quale potrebbe essere, allora, il futuro dell’Intelligenza Artificiale?
Deepseek e la rivoluzione dell’AI
Come funziona Deepseek: una piccola rivoluzione del mondo dell’AI
La costruzione di un modello linguistico avviene in due fasi principali: pretraining e post-training. Il pretraining consiste nell’alimentare la rete neurale con miliardi di documenti per farle apprendere la struttura del linguaggio, generando così un modello di base. Questa fase richiede un’enorme quantità di dati e di risorse computazionali.
Il post-training, invece, affina il modello per compiti specifici. Di solito, questa fase si basa su supervised fine-tuning, in cui il modello viene addestrato su domande e risposte fornite da tester umani. OpenAI ha introdotto anche il reinforcement learning con feedback umano, che affina ulteriormente il modello facendo valutare le risposte da persone reali.
DeepSeek ha radicalmente rivoluzionato questa fase. Infatti, ha sostituito il feedback umano con un sistema completamente automatizzato basato su reinforcement learning. Invece di affidarsi a persone per valutare le risposte, R1 utilizza punteggi generati da un algoritmo. Itamar Friedman, ex direttore della ricerca di Alibaba e oggi CEO di Qodo, ha sottolineato che questo metodo riduce drasticamente i costi di sviluppo e accelera l’addestramento.
Efficienza e qualità: un compromesso
L’approccio di DeepSeek, nonostante sia innovativo, ha anche dei limiti. I modelli basati su reinforcement learning automatico eccellono in compiti strutturati, come matematica e programmazione. Hanno però difficoltà con domande più aperte o soggettive. Per colmare questa lacuna, DeepSeek continua a usare feedback umano in alcune fasi, ma con costi ridotti rispetto ai modelli occidentali. La Cina, infatti, dispone di una forza lavoro altamente qualificata a costi più bassi.
Un altro elemento chiave è la metodologia di trial-and-error, simile a quella che Google DeepMind ha utilizzato nel 2016 per addestrare AlphaGo, il modello che ha sconfitto i campioni mondiali di Go. R1 ha imparato a fornire risposte strutturate e dettagliate attraverso un processo iterativo.
Per ottimizzare ulteriormente il processo, DeepSeek ha sviluppato un nuovo algoritmo chiamato Group Relative Policy Optimization, che consente di affinare il modello senza dover utilizzare un secondo modello di supporto.
Il futuro dell’AI
L’innovazione di DeepSeek non è passata inosservata. Due settimane prima del rilascio di R1, Microsoft Asia aveva annunciato rStar-Math, un modello addestrato con una tecnica simile. Anche AI2 con Tulu e la società Hugging Face, che sta sviluppando un clone di R1 chiamato OpenR1, stanno adottando strategie analoghe.
Secondo Matt Zeiler, CEO di Clarifai, è molto probabile che le aziende leader come OpenAI, Google DeepMind e Anthropic stiano già utilizzando metodi simili per i loro prossimi modelli di AI, ma senza averli ancora rivelati al pubblico.
Un nuovo paradigma
Una delle innovazioni più sorprendenti di DeepSeek riguarda l’efficienza computazionale. L’azienda ha trovato modi per ottimizzare i modelli usando hardware meno recente, riducendo così la necessità di investire in GPU di ultima generazione. Gli ingegneri di DeepSeek hanno bypassato il software standard fornito da Nvidia, utilizzando un linguaggio di programmazione a basso livello per spremere il massimo dalle GPU disponibili.
Questa strategia ha permesso di ridurre drasticamente i costi di calcolo e di rendere il modello accessibile a un pubblico più ampio. Tuttavia, gli esperti mettono in dubbio il reale budget di 6 milioni di dollari dichiarato da DeepSeek per lo sviluppo di V3. Secondo Dario Amodei, CEO di Anthropic, la società ha probabilmente impiegato risorse hardware per oltre 1 miliardo di dollari, basandosi su stime che parlano di 50.000 GPU Nvidia H100 utilizzate nel training.
L’open source è la strada che deve intraprendere l’Intelligenza Artificiale?
La mossa di DeepSeek di rendere pubbliche le sue tecniche potrebbe ridefinire il mercato dell’AI. Secondo Lewis Tunstall di Hugging Face, il rilascio di R1 dimostra che modelli avanzati di reasoning AI possono essere costruiti senza un’enorme supervisione umana, aprendo la strada a una maggiore concorrenza e collaborazione nel settore.
Se il costo di sviluppo di modelli di AI si ridurrà drasticamente, potremmo assistere a una proliferazione di modelli gratuiti e open source con capacità sempre più avanzate. Itamar Friedman prevede che questa evoluzione potrebbe ridurre il vantaggio competitivo delle grandi aziende tech, favorendo una maggiore democratizzazione dell’AI.
- SUONO RICCO E AVVOLGENTE: goditi un’esperienza audio migliorata con voci più nitide e bassi più profondi per un’esperienza Echo Dot immersiva.
- MUSICA E PODCAST: ascolta musica, audiolibri e podcast da Amazon Music, Audible, Apple Music, Spotify e molto altro, tramite wi-fi o Bluetooth.
- FELICE DI AIUTARTI: chiedi ad Alexa le previsioni del tempo, di impostare dei timer, di rispondere alle tue domande o semplicemente raccontarti barzellette.
- LA TUA CASA INTELLIGENTE, SEMPRE PIÙ SEMPLICE: controlla i dispositivi per Casa Intelligente compatibili con la tua voce o imposta routine per azioni basate sulla temperatura.
- MIGLIORI INSIEME: sincronizza più dispositivi Echo compatibili o associa Fire TV per la massima esperienza visiva.
