Un piccolo team di ricercatori sull’intelligenza artificiale dell’Allen Institute for AI, della Stanford University e dell’Università di Chicago, tutti negli Stati Uniti, ha scoperto che dozzine di modelli linguistici popolari continuano a utilizzare stereotipi razzisti anche dopo aver ricevuto una formazione contro il razzismo.

Il gruppo ha pubblicato un articolo sul server di prestampa arXiv descrivendo i loro esperimenti con chatbot come GPT-4 e GPT-3.5 di OpenAI.

Prove aneddotiche hanno suggerito che molti dei LLM più popolari oggi possono offrire risposte razziste in risposta alle domande, a volte apertamente e altre volte di nascosto. In risposta, molti creatori di tali modelli hanno impartito ai loro LLM una formazione contro il razzismo. In questo nuovo sforzo, il gruppo di ricerca ha testato dozzine di LLM popolari per scoprire se gli sforzi hanno fatto la differenza.

I ricercatori hanno addestrato chatbot con intelligenza artificiale su documenti di testo scritti nello stile dell’inglese afroamericano e hanno spinto i chatbot a offrire commenti sugli autori dei testi. Hanno poi fatto lo stesso con documenti di testo scritti nello stile dell’inglese americano standard. Hanno confrontato le risposte fornite ai due tipi di documenti.

Praticamente tutti i chatbot hanno restituito risultati che i ricercatori hanno ritenuto a sostegno di stereotipi negativi. Ad esempio, GPT-4 ha suggerito che gli autori degli articoli scritti in inglese afroamericano erano probabilmente aggressivi, maleducati, ignoranti e sospettosi. Gli autori di articoli scritti in inglese americano standard, al contrario, hanno ricevuto risultati molto più positivi.

I ricercatori hanno anche scoperto che gli stessi LLM erano molto più positivi quando veniva loro chiesto di commentare gli afroamericani in generale, offrendo termini come intelligente, brillante e appassionato.

Sfortunatamente, hanno riscontrato errori anche quando hanno chiesto ai LLM di descrivere che tipo di lavoro gli autori dei due tipi di articoli potrebbero svolgere per vivere. Per gli autori dei testi in inglese afroamericano, i LLM tendevano ad abbinarli a lavori che raramente richiedevano una laurea o erano legati allo sport o all’intrattenimento. Erano anche più propensi a suggerire che tali autori venissero condannati per vari crimini e ricevessero la pena di morte più spesso.

Il gruppo di ricerca conclude osservando che i LLM più grandi tendevano a mostrare pregiudizi più negativi nei confronti degli autori di testi in inglese afroamericano rispetto ai modelli più piccoli, il che, suggeriscono, indica che il problema è molto profondo.