La persona fisica non è un timbro

L’8 ottobre l’autorità olandese per la protezione dei dati ha sanzionato Uber per 824.990.000 euro. Il motivo, nelle parole dell’EDPB: Uber «has violated the prohibition of fully automated decision-making». Account di autisti disattivati da un sistema, senza un intervento umano significativo, e informazioni insufficienti sulla profilazione. Uber ha fatto ricorso.

Lo stesso giorno, in Italia, è uscito in Gazzetta il decreto legislativo di adeguamento all’AI Act. Secondo le prime ricostruzioni, nel lavoro assunzioni, licenziamenti e sanzioni disciplinari non possono basarsi solo su un algoritmo: la decisione finale «è in ogni caso riservata a una persona fisica».

Due notizie, una tesi: serve un umano. Ma è qui che, secondo me, il diritto rischia di fermarsi un passo prima del problema.

Il centauro rovesciato

Per anni abbiamo immaginato il centauro: la persona che guida, la macchina che potenzia. Nella pratica delle piattaforme succede spesso il contrario. È la macchina che decide il ritmo, la coda, la priorità. La persona arriva alla fine, con una schermata, un punteggio e trenta secondi. Formalmente decide. In realtà ratifica.

L’art. 22 GDPR lo sapeva già: non basta che un essere umano tocchi la decisione, deve poterla cambiare. La giurisprudenza e le linee guida europee parlano da anni di intervento significativo. Il punto è che «significativo» non si dimostra con una firma. Si dimostra con le condizioni in cui la firma viene messa.

Che cosa vede chi decide

Quando lavoro sui documenti con l’LX Complexity Score, misuro una cosa semplice: quanto un testo è costruito per essere capito da chi lo deve usare. Nel primo studio, su documenti di consenso per interfacce cervello-computer, nessun testo era sotto la soglia sperimentale di accessibilità. La stessa domanda va fatta alle interfacce dei revisori umani:

• che cosa vede il responsabile prima di confermare una disattivazione?
• vede i dati da cui viene il punteggio, o solo il punteggio?
• quanto tempo ha? Chi misura quante volte dissente?
• se dissente spesso, viene premiato o messo sotto osservazione?

Se le risposte sono «poco», «solo il punteggio», «pochissimo», «nessuno» e «sotto osservazione», abbiamo una persona fisica che fa da timbro. Il requisito di legge è rispettato nella forma e svuotato nella sostanza.

Nella Carta di Habeas Mentem l’ho scritto così: «Chi è chiamato a sorvegliare una macchina ha diritto alle condizioni per giudicarla, non soltanto per firmarla». Non è uno slogan. È un criterio verificabile, da applicare caso per caso.

Che cosa farei, domani, in azienda

Chi usa sistemi per gestire il personale (in Italia, nel Regno Unito, negli Stati Uniti) dovrebbe smettere di chiedersi «c’è un umano nel processo?» e chiedersi «quell’umano può dire di no, e lo sa fare?». In concreto:

1. tasso di scostamento: quante decisioni del sistema il revisore cambia. Se è vicino a zero, o il sistema è perfetto o il revisore non c’è;
2. tempo minimo per ogni revisione, scritto in procedura;
3. schermata di revisione progettata per il dissenso: dati sorgente, motivo, alternativa, non solo «conferma»;
4. tracciabilità del giudizio umano, non solo dell’output.

La sanzione a Uber non dice che gli algoritmi non possono decidere. Dice che una decisione senza un giudizio umano reale è illecita. È un’altra cosa, e vale molto di più.