Il sistema che non si lascia guardare

Il 9 ottobre la Commissione europea ha convocato una riunione straordinaria del panel scientifico che consiglia l'AI Office. Il motivo è scritto nella nota ufficiale, senza giri di parole: recenti incidenti di perdita di controllo, e sviluppi tecnici sulla monitorabilità dei modelli e sull'auto-miglioramento ricorsivo.

Ho letto le raccomandazioni presentate dalla presidenza del panel. Una mi ha fermato più delle altre: aumentare il controllo sulle tecniche di addestramento e sulle architetture che riducono la monitorabilità dei modelli.

Tradotto: esistono modi di costruire un sistema che lo rendono più difficile da guardare dentro. E il tema è entrato in una raccomandazione ufficiale.

Il diritto presume di capire

Ogni regola dà per scontata una cosa che non scrive mai: che chi la applica possa capire ciò che regola. L'ispettore entra in fabbrica e vede le macchine. Il giudice legge il contratto. Il garante esamina il trattamento.

Quando l'oggetto smette di essere osservabile, la regola resta scritta ma perde presa. Non diventa sbagliata. Diventa cieca.

È lo stesso problema su cui lavoro da anni, visto dall'altro lato. In Habeas Mentem parlo della presunzione di comprensione: il diritto finge che le persone capiscano ciò che firmano, accettano, cliccano. Non è vero, e si può misurare. In Mente e Tecnologia, con uno studio esplorativo, abbiamo osservato con EEG e fNIRS come cento persone leggono documenti giuridici. La complessità si vede nei dati, non nelle opinioni.

Qui la finzione si sposta. Non è più il cittadino che "dovrebbe" capire il contratto. È l'autorità che "dovrebbe" capire il sistema. E anche questa presunzione comincia a scricchiolare.

L'onere sta su chi progetta

La risposta che propongo per le persone vale anche qui. Quando un ambiente è progettato da qualcuno, l'onere di renderlo comprensibile sta su chi lo progetta. Non su chi lo subisce, né su chi lo deve controllare.

Applicato ai modelli più potenti, significa una cosa semplice: la monitorabilità non è un dettaglio tecnico. È una condizione per stare sul mercato. Se una scelta di progetto riduce la possibilità di osservare il comportamento del sistema, tocca a chi la fa dimostrare che il rischio resta governabile.

Il quadro c'è già, almeno in parte. L'AI Act chiede ai fornitori di modelli per finalità generali con rischio sistemico di valutare e mitigare i possibili rischi sistemici a livello dell'Unione e di segnalare senza indebito ritardo all'AI Office gli incidenti gravi (art. 55, par. 1). Secondo la Commissione, l'AI Office ha già chiesto e ricevuto segnalazioni di incidenti gravi e ha chiesto informazioni sulle pratiche di sicurezza. La vicepresidente esecutiva Henna Virkkunen lo rivendica: "The EU has the first law in the world that addresses systemic risk from AI".

Avere la legge è il primo passo. Il secondo è poter vedere ciò che la legge deve governare. Una segnalazione d'incidente vale quanto la capacità di capire cosa è successo. Se il sistema è costruito per essere opaco, la segnalazione arriva, ma non spiega.

Il panel chiede anche di governare il rischio dei modelli interni, durante lo sviluppo e quando vengono usati per i test. È un punto decisivo. Il rischio non aspetta il lancio commerciale.

Chiarezza, anche per chi controlla

Nel legal design ripeto spesso una formula: chiarezza, non semplicità. Non chiediamo che un contratto sia banale. Chiediamo che sia leggibile da chi deve decidere.

Per i sistemi vale lo stesso. Nessuno pretende che siano semplici. Si può pretendere che restino leggibili da chi deve controllarli. Che le scelte che li rendono illeggibili siano dichiarate, giustificate, verificate.

Dopo habeas corpus e habeas data, sostengo che serva un diritto a comprendere. Questa vicenda mi dice che quel diritto ha una seconda faccia. Non riguarda solo le persone davanti ai sistemi. Riguarda le istituzioni davanti a ciò che devono governare. Una democrazia che non può guardare dentro gli strumenti che la trasformano ha già ceduto qualcosa, anche se nessuna norma è cambiata.

La comprensione si misura. Anche quella di chi controlla.