OpenAI ha descritto il 9 novembre Control Room, un sistema centrale capace di fermare la produzione di output dei carichi di ricerca entro un massimo dichiarato di 35 secondi dalla decisione di intervento. L’infrastruttura è già attiva sui lavori di frontiera e copre campionamenti agentici, addestramento, valutazioni e trattamento dei dati.
Lo stop può essere richiesto da una persona o attivato da un sistema di monitoraggio.
Ogni lavoro riceve un identificatore collegato a un caso di sicurezza approvato. Quando il processo chiede nuovi token a un motore di inferenza, il motore interroga Control Room per verificare che quell’identificatore sia ancora autorizzato.
Se il lavoro è stato terminato, la richiesta viene rifiutata e il modello non produce altro output, anche se il programma che ha avviato l’esperimento continua a funzionare.
La scelta tecnica sposta il controllo dal codice dei ricercatori al livello di inferenza. I programmi sperimentali cambiano spesso e possono contenere errori; i percorsi che eseguono i modelli sui processori sono invece pochi e più uniformi. OpenAI afferma di effettuare controlli continui per individuare implementazioni non autorizzate o motori avviati senza il meccanismo di controllo.
Il sistema è progettato per fallire in modalità chiusa. Se Control Room diventa indisponibile per un guasto o un tentativo di manomissione, le richieste di inferenza vengono negate finché il servizio non torna operativo.
Il ritardo massimo di 35 secondi dipende da una cache usata per sostenere il volume delle autorizzazioni; l’azienda dichiara di voler ridurre questo intervallo fino allo stop immediato.
Control Room è collegato ai monitor dei lavori di apprendimento per rinforzo. Un secondo modello osserva le azioni del modello in addestramento e può segnalare comportamenti problematici; nei casi più gravi invia l’ordine di arresto.
Questo non elimina il rischio di una valutazione errata, perché la decisione dipende dalla qualità dei monitor, dalle soglie adottate e dalla copertura reale dei percorsi di inferenza.
La misura riguarda l’infrastruttura interna di ricerca, non un nuovo pulsante disponibile agli utenti di ChatGPT. È però rilevante perché rende verificabile un principio spesso discusso nella sicurezza dell’IA: la possibilità di interrompere rapidamente un esperimento senza affidarsi al processo che potrebbe essere difettoso. Restano da valutare audit indipendenti, falsi allarmi e prestazioni del sistema durante guasti complessi.
