Tecnologia / Intelligenza artificiale

IA, una backdoor può nascondersi in meno di dieci neuroni: il test di Microsoft

I ricercatori hanno alterato una porzione minima dei pesi di un modello per attivare comportamenti nascosti; non risultano impieghi reali osservati.

· Redmond · 2 min di lettura

A cura della Redazione CurioMondo

Ricercatrice davanti a una parete di monitor con una rete neurale astratta e un piccolo nodo evidenziato.
Illustrazione editoriale CurioMondo generata con IA per rappresentare questa notizia; non è una fotografia documentaria.

Microsoft ha dimostrato che un comportamento nascosto può essere inserito in un modello di intelligenza artificiale modificando meno di dieci neuroni, cioè una frazione estremamente piccola dei suoi parametri.

Il lavoro, pubblicato il 10 novembre dai ricercatori di sicurezza dell’azienda, descrive un esperimento controllato: non documenta attacchi osservati in prodotti commerciali, ma mostra perché la provenienza e l’integrità dei pesi di un modello devono essere trattate come elementi della catena di fornitura software.

Nel test, i ricercatori hanno creato un cosiddetto sleeper agent, un modello che si comporta normalmente nella maggior parte delle richieste ma cambia risposta quando riconosce un innesco prestabilito. La manipolazione ha interessato meno di dieci neuroni ed è stata progettata per restare difficile da rilevare con valutazioni standard.

Il risultato non significa che ogni modello scaricato nasconda una backdoor: indica però che controllare soltanto la qualità delle risposte o eseguire una breve batteria di test può non bastare a escludere alterazioni mirate.

Il rischio è particolarmente rilevante per imprese e sviluppatori che importano modelli, adattamenti o checkpoint da archivi esterni. Un file può apparire funzionante e superare verifiche ordinarie, mentre il comportamento pericoloso resta inattivo fino alla comparsa della parola, del formato o della condizione scelta dall’attaccante.

Microsoft sottolinea che il caso studiato richiede accesso ai pesi e competenze specifiche; la ricerca serve quindi a preparare difese prima che la tecnica venga osservata in scenari operativi.

Tra le contromisure proposte figurano controlli sulla provenienza dei modelli, firme e registri delle versioni, analisi delle differenze tra pesi, valutazioni avversarie e limitazione dei privilegi concessi agli agenti.

Quest’ultimo punto è concreto anche per gli utenti italiani: un sistema IA collegato a posta, documenti, pagamenti o strumenti aziendali dovrebbe poter compiere soltanto le azioni indispensabili, con conferme umane per quelle irreversibili o sensibili.

La ricerca sposta l’attenzione dalla sola sicurezza dei prompt alla sicurezza dell’intero ciclo di vita del modello. Per aziende europee soggette a obblighi di gestione del rischio, tracciabilità e protezione dei dati, la lezione è operativa: conservare la storia di ogni modello, verificare chi lo ha prodotto e separare ambienti di prova e produzione riduce l’impatto di una possibile alterazione.

Microsoft non afferma di avere eliminato il problema; presenta invece un metodo riproducibile per studiarlo e rendere più mirati i controlli futuri.

Fonti consultate

Redazione CurioMondo · Come lavoriamo
Testo originale CurioMondo.
Illustrazione editoriale CurioMondo generata con IA per rappresentare questa notizia; non è una fotografia documentaria.