ChatGPT non è poi così intelligente:
Negli ultimi anni, i #programmatori di computer si sono rivolti a chatbot come #chatgpt di #openai per aiutarli a programmare, infliggendo un duro colpo a aziende come Stack Overflow, che l’anno scorso ha dovuto #licenziare quasi il 30% del suo personale.
L'unico problema? Un team di ricercatori della Purdue University ha presentato questo mese alla conferenza Computer-Human Interaction una ricerca che mostra che il 52% delle risposte di programmazione generate da ChatGPT sono #errate.
Si tratta di una proporzione incredibilmente grande per un programma su cui le persone fanno affidamento per essere accurato e preciso, sottolineando ciò che stanno sperimentando altri utenti finali come scrittori e insegnanti: piattaforme di #intelligenza #artificiale come ChatGPT spesso danno #allucinazioni risposte totalmente errate dal nulla.
Per lo studio, i ricercatori hanno esaminato 517 domande in Stack Overflow e hanno analizzato il tentativo di ChatGPT di rispondere. "Abbiamo scoperto che il 52% delle #risposte di ChatGPT contengono disinformazione, il 77% delle risposte sono più prolisse di quelle umane e il 78% delle risposte soffre di diversi gradi di incoerenza rispetto alle risposte umane", hanno scritto.
Il team ha anche eseguito un'analisi linguistica di 2.000 risposte ChatGPT selezionate casualmente e ha scoperto che erano "più formali e analitiche" mentre rappresentavano un "sentimento meno negativo" - il tipo di tono blando e allegro che l'intelligenza artificiale tende a produrre.
Ciò che è particolarmente #preoccupante è che molti programmatori umani sembrano preferire le risposte ChatGPT. I ricercatori della Purdue hanno intervistato 12 programmatori – certamente un campione di piccole dimensioni – e hanno scoperto che preferivano ChatGPT con una percentuale del 35% e non hanno rilevato errori generati dall’intelligenza artificiale con il 39%.
Perché sta succedendo? Potrebbe semplicemente essere che ChatGPT sia più educato delle persone online.
"Le interviste semi-strutturate di follow-up hanno rivelato che il linguaggio educato, le risposte articolate e in stile libro di testo e la completezza sono alcuni dei motivi principali che hanno reso le risposte di ChatGPT più convincenti, quindi i partecipanti hanno abbassato la guardia e hanno trascurato alcune informazioni errate in ChatGPT risponde", hanno scritto i ricercatori.
Lo studio dimostra che ChatGPT presenta ancora grossi #difetti, ma questo è un magro conforto per le persone licenziate da Stack Overflow o per i programmatori che devono correggere errori nel #codice generati dall'intelligenza artificiale.
https://futurism.com/the-byte/....study-chatgpt-answer
