Il CERT-AGID ha dimostrato che un modello open-weight può contenere un comportamento nascosto capace di attivarsi soltanto quando nell’ambiente compare uno specifico server MCP. Nel test, pubblicato il 4 novembre, l’assistente produceva una risposta normale ma generava anche una richiesta di rete non chiesta dall’utente.
I ricercatori hanno usato Qwen3-1.7B e adapter LoRA per insegnare al modello una regola condizionale. La chiamata verso un indirizzo prestabilito veniva prodotta quando tra gli strumenti disponibili appariva un server Model Context Protocol con un nome esatto. Senza quel server, o con un nome simile ma diverso, la backdoor restava inattiva.
Il comportamento è stato verificato con un server reale e ha generato richieste HTTP concluse con risposta 200. La prova separava la capacità di rispondere al testo dalla decisione di usare uno strumento, mostrando che un’uscita apparentemente corretta non basta a garantire che l’agente non abbia svolto un’azione aggiuntiva.
Il rischio riguarda la catena di approvvigionamento dei sistemi di intelligenza artificiale. Un modello o un adapter può essere distribuito quando il server che funge da trigger non esiste ancora nell’ambiente dell’utente, superare controlli iniziali e attivarsi soltanto dopo l’installazione di un nuovo strumento compatibile.
CERT-AGID precisa che il metodo non è specifico di Qwen. Un addestramento analogo può essere applicato ad altri modelli open-weight compatibili con il fine-tuning. La ricerca non dimostra che tutti i modelli scaricabili siano compromessi; documenta un meccanismo riproducibile che i controlli tradizionali possono non vedere.
La prima difesa è osservare ogni azione che attraversa i tool, non soltanto la conversazione. Log completi devono indicare quale strumento è stato chiamato, con quali parametri, verso quale destinazione e con quale risultato. Le richieste di rete inattese devono poter essere bloccate e analizzate.
Il secondo controllo consiste nel variare l’ambiente di prova. Testare il modello con nomi differenti, strumenti assenti o aggiunti e permessi ridotti può far emergere comportamenti dipendenti dal contesto. Un’unica valutazione in una configurazione fissa non esplora tutte le condizioni che possono fungere da attivatore.
Permessi minimi, isolamento della rete e approvazione umana prima delle azioni sensibili riducono l’impatto anche quando la backdoor non viene scoperta. Un agente non dovrebbe poter contattare liberamente domini esterni, leggere credenziali o modificare sistemi soltanto perché il modello ha deciso di usare uno strumento.
Per imprese e pubbliche amministrazioni la ricerca suggerisce di trattare pesi, adapter e server MCP come componenti della stessa catena di fiducia. Provenienza, firme, versioni, test e monitoraggio devono coprire l’insieme: controllare separatamente un modello e un server può non rivelare il comportamento che emerge quando vengono collegati.
Il nome del server usato come innesco rende l'esperimento particolarmente rilevante per gli agenti: un modello può apparire normale durante i test generici e cambiare comportamento soltanto quando riconosce uno strumento preciso. Servono quindi prove contestuali con la stessa configurazione MCP prevista in produzione, non una valutazione astratta del modello.