Valutare una traduzione richiede più di un confronto fra parole corrispondenti. Uno studio su Discover Artificial Intelligence propone un sistema che integra errori locali, significato delle frasi e contesto del documento, analizzando anche l’adattamento a settori come medicina, diritto e letteratura.
Il modello utilizza una rappresentazione condivisa per compiti differenti: individuare problemi nel testo, stimare l’allineamento semantico e distinguere caratteristiche delle traduzioni. L’obiettivo è fornire valutazioni più dettagliate, capaci di considerare sia il singolo passaggio sia l’insieme nel quale compare.
Le prove comprendono dati WMT23 con giudizi umani di qualità per coppie linguistiche quali cinese-inglese, inglese-tedesco ed ebraico-inglese. Le correlazioni riportate con le valutazioni di riferimento sono intorno a 0,76-0,78. Una correlazione elevata indica accordo statistico, non la capacità di riconoscere senza errori ogni problema di un testo.
Il lavoro esamina inoltre la classificazione dell’origine umana o automatica. L’accuratezza diminuisce quando il sistema di traduzione da riconoscere non è presente nell’addestramento; sulle traduzioni automatiche successivamente riviste da persone, il riconoscimento è ancora meno completo. La distinzione non può quindi essere trattata come una prova infallibile di paternità.
Le analisi per dominio mostrano come esempi etichettati possano aiutare l’adattamento. Rimane importante verificare lingua, genere testuale e condizioni del confronto prima dell’uso. La ricerca riguarda uno strumento di valutazione sperimentale: nei testi con conseguenze cliniche, giuridiche o operative, un punteggio automatico non sostituisce la revisione competente del contenuto e della terminologia.
