Il settore dell'intelligenza artificiale è esploso alla fine del 2022, in seguito allo straordinario successo del rilascio ChatGPT di OpenAI nel novembre dello stesso anno. Gli strumenti di intelligenza artificiale generativa, dai chatbot ai generatori di musica e voce straordinariamente realistici, ai creatori di immagini e video e altro ancora, continuano a stupire il pubblico, mentre i progressi dell'intelligenza artificiale e dell'apprendimento automatico continuano a trovare applicazioni in campi come la sanità e la scoperta di farmaci.

Solo un problema: nemmeno le persone che creano tutta questa intelligenza artificiale capiscono appieno come funziona realmente.

"Ovviamente, non siamo del tutto ignoranti", ha detto al MIT Technology Review Mikhail Belkin, scienziato informatico dell'Università della California, a San Diego. "Ma la nostra analisi teorica è così lontana da ciò che questi modelli possono fare." I ricercatori hanno scoperto che in alcuni casi, i modelli potrebbero apparentemente non riuscire ad apprendere un compito e poi all’improvviso riuscirci, come se si fosse accesa una lampadina. Non era così che avrebbe dovuto funzionare il deep learning. Hanno chiamato questo comportamento "grokking".

Il grokking è solo uno dei tanti strani fenomeni che fanno grattare la testa ai ricercatori di intelligenza artificiale. I modelli più grandi, e in particolare i modelli linguistici di grandi dimensioni, sembrano comportarsi in modi che la matematica dei libri di testo dice che non dovrebbero. Ciò evidenzia un fatto notevole relativo al deep learning, la tecnologia fondamentale dietro l’attuale boom dell’intelligenza artificiale: nonostante tutto il suo travolgente successo, nessuno sa esattamente come, o perché, funzioni.

In effetti, come spiega il MIT Tech, molti modelli di intelligenza artificiale sono notoriamente scatole nere, il che in breve significa che, sebbene un algoritmo possa produrre un risultato utile, non è chiaro ai ricercatori come ci sia effettivamente arrivato. Questo è il caso da anni, con i sistemi di intelligenza artificiale che spesso sfidano i modelli teorici basati sulle statistiche. Indipendentemente da ciò, l’industria dell’intelligenza artificiale sta andando avanti, alimentata da miliardi di dollari di investimenti e da una buona parte di convinzioni quasi fanatiche. (E, naturalmente, la visione dei C-Suite di eliminare vaste fasce della forza lavoro.)

I modelli più grandi sono ormai così complessi che i ricercatori li studiano come se fossero strani fenomeni naturali, effettuando esperimenti e cercando di spiegarne i risultati. Molte di queste osservazioni sono in contrasto con la statistica classica, che aveva fornito la nostra migliore serie di spiegazioni sul comportamento dei modelli predittivi. In altre parole, l’intelligenza artificiale è già ovunque. Ma poiché è sempre più integrata nella vita umana, gli scienziati che stanno sviluppando la tecnologia stanno ancora cercando di comprendere appieno come apprende e funziona.

Vecchio codice, nuovi trucchi
La maggior parte delle sorprese riguardano il modo in cui i modelli possono imparare a fare cose che non è stato loro mostrato come fare. Conosciuta come generalizzazione, questa è una delle idee fondamentali dell'apprendimento automatico e il suo più grande enigma. I modelli imparano a svolgere un compito (individuare volti, tradurre frasi, evitare i pedoni) addestrandosi con una serie specifica di esempi. Tuttavia possono generalizzare, imparando a svolgere questo compito con esempi che non hanno mai visto prima. In qualche modo, i modelli non si limitano a memorizzare i modelli che hanno visto, ma escogitano regole che consentono loro di applicare tali modelli a nuovi casi. E a volte, come nel caso del grokking, la generalizzazione avviene quando non ce lo aspettiamo.

Alcuni esperti attribuiscono la mancanza di comprensione alla natura fiorente del campo, sostenendo che la nascita dell'intelligenza artificiale significa che a volte i ricercatori dovranno lavorare a ritroso a partire dai risultati e dagli output sperimentali.

Al momento, i progressi sono stati rapidi ma imprevedibili. Molte delle cose che GPT-4 di OpenAI può fare sono state una sorpresa anche per le persone che lo hanno realizzato. I ricercatori stanno ancora discutendo su cosa si può e cosa non si può ottenere. "Senza una sorta di teoria fondamentale, è molto difficile avere idea di cosa possiamo aspettarci da queste cose", afferma Belkin.

Non si tratta solo di gestire il progresso, ma anche di anticipare i rischi. Molti dei ricercatori che lavorano sulla teoria alla base dell’apprendimento profondo sono motivati ​​da preoccupazioni sulla sicurezza per i modelli futuri. "Non sappiamo quali capacità avrà GPT-5 finché non lo addestreremo e lo testeremo", afferma Langosco. “Potrebbe essere un problema di medie dimensioni in questo momento, ma diventerà un problema davvero grosso in futuro man mano che i modelli diventeranno più potenti”.

Boaz Barak, uno scienziato informatico dell'Università di Harvard che è distaccato per un anno nel team di superallineamento di OpenAI, afferma che anche le garanzie sono importanti. E qui? Non esistono ancora. "Sono molto interessato ad ottenere garanzie", dice. “Se puoi fare cose straordinarie ma non puoi controllarle, allora non è così sorprendente. A cosa serve un’auto che può guidare a 300 miglia all’ora se ha il volante che traballa?”

Ma dietro a tutto ciò c’è anche una grande sfida scientifica. "L'intelligenza è sicuramente uno dei grandi misteri del nostro tempo", afferma Barak.

"Siamo una scienza molto infantile", dice. “Le domande che mi entusiasmano di più questo mese potrebbero essere diverse da quelle che mi interesseranno di più il mese prossimo. Stiamo ancora scoprendo cose. Abbiamo davvero bisogno di sperimentare e di sorprenderci”.