Distillazione IA: come DeepSeek sfida OpenAI con soli 6 milioni di dollari

L’ascesa della Distillazione nell’Intelligenza Artificiale

Negli ultimi anni, una tecnica innovativa chiamata “distillazione” sta emergendo come un elemento chiave nel panorama dell’intelligenza artificiale. Questa metodologia promette di abbattere i costi, consentire una specializzazione più precisa e favorire una diffusione più ampia dell’IA, pur presentando alcune limitazioni intrinseche. Il concetto di distillazione dell’intelligenza artificiale sta guadagnando sempre più attenzione, soprattutto dopo l’emergere di DeepSeek, una startup cinese che ha dimostrato come sia possibile ottenere risultati sorprendenti con una frazione delle risorse solitamente necessarie.

Il Caso DeepSeek: Un Punto di Svolta

Poco dopo il lancio dei modelli V3 e R1 di DeepSeek tra dicembre 2024 e gennaio 2025, un dettaglio curioso ha iniziato a circolare: interrogato sulla sua identità, il sistema linguistico rispondeva di essere ChatGPT. Questo comportamento, seppur di breve durata, ha sollevato interrogativi significativi. La startup, fondata da Liang Wenfeng, ha speso solamente 6 milioni di dollari per addestrare i suoi modelli, una cifra notevolmente inferiore rispetto ai costi sostenuti per GPT-4, stimati in circa il 95% in meno. Questo risultato è stato ottenuto utilizzando solo 2.000 GPU Nvidia dalle prestazioni ridotte, in contrasto con le decine di migliaia di GPU più potenti impiegate da OpenAI e altre aziende.

Questo sviluppo ha suscitato reazioni forti, con l’investitore Marc Andreessen che l’ha definito il “momento Sputnik” del nostro secolo. Il Guardian ha persino descritto DeepSeek come “una reale minaccia al dominio tecnologico occidentale”, paragonando la competizione nel campo dell’IA alla corsa allo spazio degli anni ’50 e ’60. Il segreto di DeepSeek risiede nella sua capacità di replicare il funzionamento dei modelli open source Llama di Meta e Qwen di Alibaba con risorse limitate. Questo è stato reso possibile grazie alla distillazione, una tecnica che permette ai modelli più piccoli di apprendere da quelli più grandi già esistenti. DeepSeek avrebbe utilizzato ChatGPT come “insegnante”, bombardandolo di domande e utilizzando le risposte per addestrare i propri modelli.

Come Funziona la Distillazione

Il processo di trasmissione della sapienza da un modello linguistico di vaste proporzioni, denominato “insegnante”, a un modello più compatto, chiamato “studente”, è ciò che definiamo distillazione. L’obiettivo è mantenere un rendimento comparabile, riducendo però l’impiego di risorse di calcolo.

Come Funziona la Distillazione

Il processo di distillazione implica il trasferimento del sapere da un modello linguistico esteso, designato come “insegnante”, a un modello di dimensioni più contenute, etichettato come “studente”, preservando un livello di performance paragonabile ma minimizzando gli oneri computazionali.

La distillazione consiste nel trasferire la conoscenza da un modello linguistico di grandi dimensioni (“insegnante”) a uno più piccolo (“studente”), mantenendo prestazioni simili ma riducendo i costi computazionali. Il modello studente viene esposto alle risposte del modello insegnante anziché ai dati grezzi, accelerando l’apprendimento di schemi complessi. Un gruppo di ricercatori dell’Università di Berkeley è riuscito a creare un large language model spendendo solo 450 dollari grazie alla distillazione. Questo record è stato poi superato da ricercatori delle università di Stanford e Washington, che hanno sviluppato il modello S1 spendendo solamente 50 dollari. S1 è stato addestrato in soli 26 minuti utilizzando 16 GPU H100 di Nvidia e le risposte del modello Gemini 2.0 Flash Thinking Experimental di Google. I ricercatori affermano che S1 ha raggiunto prestazioni simili a quelle di OpenAI o1 e DeepSeek R1 in alcuni benchmark di matematica e programmazione.

Nonostante questi progressi, è importante notare che la distillazione permette di ricreare le capacità di modelli già esistenti, ma lo sviluppo di nuovi sistemi di intelligenza artificiale richiede ancora risorse significative. L’avvento dei modelli addestrati tramite distillazione mette in discussione la necessità di investimenti massicci come il progetto Stargate da 500 miliardi di dollari o i 200 miliardi promessi dall’Unione Europea. Se una startup può replicare le tecnologie più avanzate con una frazione dei costi, del tempo e dei consumi, l’efficacia di tali investimenti su larga scala diventa discutibile.

Implicazioni e Sfide Future

La vicenda di DeepSeek solleva questioni complesse sulla proprietà intellettuale e la concorrenza nel settore dell’IA. OpenAI accusa la startup cinese di aver copiato ChatGPT, ma a sua volta ha costruito i suoi modelli attingendo liberamente dal web.

OpenAI imputa alla startup cinese una condotta di copiatura nei confronti di ChatGPT, malgrado essa stessa abbia sviluppato i propri modelli sfruttando informazioni liberamente disponibili online.

A chi spetta il diritto di proprietà intellettuale sul sapere?

Dovrebbero le intelligenze artificiali corrispondere un compenso per l’utilizzo dei dati impiegati nel loro addestramento?

Lo scontro tra OpenAI e DeepSeek non si limita alla questione della proprietà intellettuale, bensì verte sul dominio delle tecnologie destinate a modellare l’avvenire.

L’intelligenza artificiale rappresenta ora il nuovo terreno di confronto per il predominio tecnologico su scala mondiale, e questa disputa evidenzia come la potenza digitale sia concentrata in misura crescente nelle mani di un’élite ristretta.

La trasmissione del sapere, teorizzata da Geoffrey Hinton nel 2015, si concretizza nel trasferimento delle competenze da un modello di IA “maestro” di ampie dimensioni a un modello “discente” più ridotto, garantendo che le sue performance non ne risentano.

Il fulcro di tale concetto risiede nel fatto che il modello studente non si limita a replicare le risposte esatte, ma acquisisce dal modello “insegnante” la logica operativa complessiva che gli consente di fornire tali risposte agli utilizzatori.

Questo approccio ibrido, che combina annotazioni manuali, campionamenti guidati di large language model e dati ottimizzati via reinforcement learning, cerca di bilanciare efficienza, accuratezza, creatività e allineamento ai valori umani.

Verso un Futuro Distillato: Democratizzazione o Centralizzazione?

La distillazione dell’intelligenza artificiale rappresenta una svolta significativa, aprendo la strada a modelli più accessibili ed efficienti. Tuttavia, solleva interrogativi cruciali sul futuro dell’IA: assisteremo a una democratizzazione della tecnologia, con una proliferazione di modelli specializzati e a basso costo, o a una centralizzazione del potere nelle mani di poche aziende capaci di sviluppare i modelli “insegnanti” più avanzati? La risposta a questa domanda dipenderà dalle scelte politiche e legali che verranno fatte nei prossimi anni, e dalla capacità di trovare un equilibrio tra la protezione della proprietà intellettuale e la promozione dell’innovazione.

Parlando di distillazione, è utile ricordare un concetto base dell’intelligenza artificiale: il transfer learning. Immagina di aver imparato a suonare la chitarra e poi di voler imparare a suonare l’ukulele. Le competenze che hai acquisito con la chitarra ti renderanno molto più facile imparare l’ukulele. Allo stesso modo, il transfer learning permette a un modello di IA di utilizzare le conoscenze acquisite in un compito per migliorare le prestazioni in un altro compito correlato. Un concetto più avanzato è l’apprendimento federato, dove modelli di IA vengono addestrati su dati decentralizzati, mantenendo la privacy degli utenti. Questo potrebbe essere un modo per democratizzare l’accesso ai dati e ridurre la dipendenza dai grandi dataset centralizzati. Riflettiamo: in un mondo sempre più guidato dall’IA, come possiamo garantire che i benefici di questa tecnologia siano accessibili a tutti, e non solo a pochi privilegiati?