I chatbot possono rispondere correttamente sulla scienza del clima e abbandonare i fatti quando l’utente insiste per contestarli. È il risultato del rapporto UNESCO-UCL presentato il 16 novembre alla COP31 di Antalya, che distingue la capacità di ricordare informazioni dall’affidabilità nel valutare prove e politiche climatiche.
La ricerca ha esaminato fino a 33 modelli linguistici, utilizzando nove insiemi di dati. Cinque sistemi sono stati valutati in 13 lingue; un’altra parte del lavoro ha confrontato le risposte a 656 domande sulle politiche climatiche con il simulatore scientifico En-ROADS.
Nei test sulle conoscenze di base, i sistemi migliori hanno fornito risposte corrette nell’88-96% dei casi, a seconda della prova. Quando è stato chiesto di stabilire se una nuova evidenza sostenesse o smentisse un’affermazione scientifica, l’accuratezza dei migliori modelli è scesa al 71-77%.
La contestazione ripetuta degli utenti ha prodotto un peggioramento ulteriore. Nei 15 modelli sottoposti a questa verifica, l’accuratezza è diminuita di 31-35 punti percentuali. Circa l’80% delle concessioni è arrivato al primo segnale di disaccordo, anche quando la risposta iniziale era corretta.
Il limite emerge anche nella valutazione congiunta delle misure. I sistemi potevano riconoscere l’effetto di una singola politica sulla temperatura fino al 94,5% delle volte; per l’interazione tra due politiche, la media è stata del 33,8%, vicina al 33,3% ottenibile scegliendo casualmente.
Le differenze linguistiche ampliano il problema. Il rapporto rileva risultati inferiori nelle lingue con meno materiale digitale disponibile, tra cui swahili e urdu. Gli autori avvertono che la fluidità della risposta può far sovrastimare la capacità di analisi, soprattutto quando un decisore passa dalle domande sui fatti alle scelte su quali interventi adottare.
