La persona non è un timbro

Il diritto europeo ha una risposta ricorrente quando una decisione la prende un sistema automatico: mettiamoci accanto una persona.

L'articolo 22 del GDPR dà all'interessato il diritto di non essere sottoposto a una decisione basata unicamente su un trattamento automatizzato, quando produce effetti giuridici o incide in modo analogo e significativo sulla sua persona. E in alcuni dei casi in cui quella decisione è ammessa, gli garantisce almeno il diritto di ottenere l'intervento umano, di esprimere la propria opinione e di contestarla.

L'AI Act va oltre. Per i sistemi ad alto rischio l'articolo 14 chiede una sorveglianza umana efficace. E l'articolo 26 obbliga chi usa questi sistemi ad affidarla a persone fisiche con la competenza, la formazione e l'autorità necessarie, oltre al supporto necessario.

Il problema del timbro

C'è un rischio che entrambe le norme conoscono. Una persona può essere presente e non contare nulla. Guarda lo schermo, vede la raccomandazione, conferma. Cento volte al giorno.

L'AI Act lo dice espressamente. Tra le capacità che la sorveglianza deve garantire c'è quella di restare consapevoli della possibile tendenza a fare affidamento automatico, o eccessivo, sull'output del sistema. La norma le dà un nome: automation bias.

Le altre capacità elencate sono altrettanto concrete. Capire le capacità e i limiti del sistema. Interpretarne correttamente l'output. Decidere, in qualsiasi situazione, di non usarlo, o di ignorarne, scavalcarne o ribaltarne l'output. Interromperlo con un pulsante di arresto o una procedura analoga.

Capire prima di firmare

Leggo queste regole come un'applicazione del principio di cui parlo in Habeas Mentem. La persona non serve se non è messa in condizione di capire. E capire richiede tempo, informazioni, autorità per dire di no.

Un controllo umano che non può dissentire è un timbro. E un timbro non protegge nessuno.

Per chi progetta questi sistemi ne derivano domande pratiche. Quante decisioni deve rivedere una persona all'ora? Vede le ragioni del sistema o solo il risultato? Ha mai ribaltato una raccomandazione? Cosa le succede se lo fa?

Sono domande di progettazione, non solo di conformità. Si possono misurare. E le risposte dicono se la persona c'è davvero.