Cosa succederebbe se ti dicessi che in questo momento, il tuo viso potrebbe essere contrassegnato come quello di un criminale—e tu non ne avresti idea fino a quando le manette non scattano?
Questo è esattamente quello che è successo a una donna del Tennessee che si è trovata arrestata per crimini commessi nel North Dakota, uno stato che sostiene di non aver mai visitato. Il colpevole? La tecnologia di riconoscimento facciale AI su cui la polizia si è affidata per effettuare l’arresto.
Essendo qualcuno che testa strumenti AI per lavoro, ho visto molti sistemi che promettono tanto ma non mantengono. Ma questo caso è diverso. Non stiamo parlando di un chatbot che ti dà cattivi consigli sui ristoranti o di un generatore di immagini che sbaglia a rappresentare le mani di qualcuno. Stiamo parlando di una nonna seduta in prigione perché un algoritmo ha commesso un errore.
L’errore di Fargo
Secondo diverse fonti di notizie, la polizia di Fargo ha usato un software di riconoscimento facciale per identificare un sospetto in un caso di frode. Il sistema ha indicato la nostra donna del Tennessee. La polizia ha effettuato l’arresto. È stata incarcerata. E poi—ops—si scopre che non era lei.
Il capo della polizia di Fargo ha poi chiesto scusa per gli errori in questo arresto assistito dall’AI. Ma un’escusa non restituisce il tempo perso dietro le sbarre, non cancella l’umiliazione e non risolve il problema fondamentale: le forze dell’ordine stanno usando strumenti di riconoscimento facciale senza comprendere a pieno i loro tassi di errore.
Perché questo è importante per gli strumenti AI
Recensisco kit di strumenti AI ogni settimana. Testo i tassi di accuratezza, controllo i pregiudizi, spingo i sistemi ai loro limiti. Ecco cosa so: il riconoscimento facciale non è magia. È matematica. E la matematica può sbagliare.
L’accuratezza di questi sistemi varia notevolmente a seconda delle condizioni di luce, degli angoli delle telecamere, della qualità delle immagini e—cosa più preoccupante—delle caratteristiche demografiche della persona scansionata. Studio dopo studio ha dimostrato che il riconoscimento facciale funziona peggio su donne e persone di colore. Questi non sono casi marginali. Sono difetti sistemici.
Quando testo uno strumento di gestione progetti e si blocca, qualcuno perde una scadenza. Fastidioso, ma riparabile. Quando il riconoscimento facciale fallisce nelle forze dell’ordine, qualcuno perde la propria libertà.
Il vero costo di “abbastanza buono”
I dipartimenti di polizia stanno adottando questi strumenti perché funzionano la maggior parte delle volte. E “la maggior parte delle volte” suona piuttosto bene quando cerchi di risolvere crimini con risorse limitate. Ma “la maggior parte delle volte” significa che c’è una percentuale di casi in cui persone innocenti vengono catturate nella rete.
Questa donna del Tennessee è quella percentuale. È il margine di errore fatto carne.
Quello che mi infastidisce di più come revisore di kit di strumenti è che questa tecnologia venga utilizzata in situazioni ad alto rischio senza la stessa attenzione che applicheremmo, ad esempio, ai dispositivi medici o ai sistemi aeronautici. Immagina se i sistemi di autopilota degli aerei fossero precisi “la maggior parte delle volte.” Non voleremmo mai.
Cosa dovrebbe succedere dopo
In primo luogo, il riconoscimento facciale non dovrebbe mai essere l’unica base per un arresto. Dovrebbe essere un dato tra molti, richiedendo verifica umana e prove corroboranti prima che qualcuno venga ammanettato.
In secondo luogo, i dipartimenti di polizia devono essere trasparenti riguardo ai sistemi che stanno utilizzando, quali sono i tassi di errore noti e come stanno formando gli ufficiali per interpretare i risultati. Se io posso pubblicare recensioni dettagliate di strumenti AI con metriche di accuratezza e modalità di errore, anche le forze dell’ordine possono.
Terzo, deve esserci responsabilità quando questi sistemi falliscono. Non solo scuse, ma conseguenze reali e compensazioni per le persone le cui vite vengono stravolte da errori algoritmici.
Testare vs. Fidarsi
Il mio lavoro è testare strumenti in modo che tu non debba fidarti delle affermazioni di marketing. Calcolo i numeri, documento i fallimenti e ti dico cosa funziona realmente. Quello che ho imparato è che gli strumenti AI sono potenti, ma non sono infallibili.
Il problema con il riconoscimento facciale nelle forze dell’ordine è che viene fidato prima di essere adeguatamente testato in condizioni reali con conseguenze reali. E quando il test fallisce, non è l’algoritmo a pagare il prezzo—sono persone come questa nonna del Tennessee.
Quindi, la prossima volta che senti parlare di AI che rende le nostre strade più sicure o che aiuta la polizia a risolvere i crimini più rapidamente, ricorda questo caso. Ricorda che dietro ogni “corrispondenza” c’è un essere umano la cui vita potrebbe essere stravolta da un falso positivo.
Il tuo viso è tuo. Non dovrebbe diventare prova del crimine di qualcun altro solo perché un algoritmo lo ha detto.
🕒 Published: