Google DeepMind e Artificial Analysis hanno presentato il 10 novembre MKA, un benchmark per valutare agenti che lavorano su file visivamente complessi. Il set privato comprende 200 attività in dieci settori e 83 professioni, dalla costruzione alla finanza, fino a scienza e software.
Ogni prova riproduce un progetto che richiederebbe a un professionista da tre a otto ore. La valutazione usa una griglia di circa settanta controlli, pesata per il 75% sull’accuratezza e per il 25% sul design.
Un sistema automatico non sviluppato da Google assegna i punteggi. Nel confronto dichiarato dagli autori, gli esperti di settore hanno concordato con il valutatore nel 96% dei casi. Il set completo resta nascosto per ridurre il rischio che i modelli memorizzino le risposte; dieci compiti sono pubblici.
I risultati mostrano differenze forti di efficienza: i modelli hanno utilizzato in media da 30 a 130 turni. Gemini 4 Carbon è arrivato secondo per qualità e ha completato i compiti a un costo medio sei volte inferiore al primo classificato. Il benchmark misura prestazioni nel suo ambiente, non tutte le attività professionali.
La ponderazione privilegia i fatti rispetto all’aspetto visivo. Resta comunque una valutazione costruita: altri lavori, strumenti o vincoli potrebbero cambiare l’ordine dei modelli e i costi osservati.
