I LLM stanno diventando sempre più potenti: la loro evoluzione ha dimostrato una capacità sorprendente nel generare testi, immagini e video coerenti e complessi. Questa potenza, però, non è senza costi. Lo sviluppo e l’addestramento di modelli LLM richiedono risorse significative. Le aziende e le istituzioni devono investire ingenti somme di denaro per sviluppare e mantenere le intelligenze artificiali. A questo si aggiunge un enorme costo energetico che solleva anche questioni legate alle emissioni di CO2.
Le prestazioni dei modelli attuali, come riporta ilsole24ore.com, sono direttamente influenzate dalla quantità di parametri (le istruzioni complesse che un modello è in grado di comprendere), e ad oggi, AI come GPT-3 ne contano centinaia di miliardi.
Microsoft ha pensato di lanciare Phi-3 Mini, un modello linguistico AI in grado di eguagliare GPT-3.5 di OpenAI con dimensioni notevolmente ridotte. Phi-3 Mini riesce a gestire 3,8 miliardi di parametri, ben lontane dai dispendiosi 175 miliardi di GPT-3. Nonostante questa differenza, i modelli sono equiparabili. In questo modo, Microsoft è riuscita a presentare un modello che fornisce risposte comparabili a quelle di un modello dieci volte più grande.
Microsoft si è ispirata al modo in cui imparano i bambini: l’obiettivo è stato quello di allenare il modello con frasi semplici per ottenere come output risposte basate su conoscenze generali, ma con alte capacità di risoluzione dei problemi e un livello di ragionamento superiore. Per carenza di dati di input, Microsoft ha utilizzato alcuni LLM per creare libri per bambini, su cui poi allenare Phi-3 Mini.
Lo sviluppo di Phi-3 Mini porta più di un beneficio. In primo luogo, è un approccio che consente un nuovo paradigma, quello di affinamento dei modelli con un dispendio minore e risultati migliori. In secondo luogo, un modello di questo genere non solo potrà essere adottato da realtà che hanno un budget limitato, ma potrà essere inserito anche in device poco potenti come smartphone e laptop, con la possibilità di essere utilizzato direttamente sulla macchina, riducendo i problemi di privacy e sicurezza.